취약점 분석 도구는 사전에 구성된 패턴을 인식하여 분석하는 방식으로 다양한 범위의 취약점을 검출할 수 있다는 장점이 있지만, 어디까지나 표준화 된 정보를 기반으로 취약점을 분류화 하므로 스캐닝 엔진에 따라 일부 오탐(false positive)이 발생하기도 합니다. 특정 프레임워크가 아닌 사용자지정의 개발 애플리케이션의 심각한 보안 결함을 발견하지 못합니다. 또한, 검사 된 네트워크에 특화되지 않기에 네트워크 요소 간의 어떠한 연결도 드러나지 않고 실제 위협되는지를 판단할 수 없기에 실제 해킹 위협과는 거리가 먼 부분이 있습니다.

취약점 분석은 자동화 된 도구가 한번에 하나의 문제를 질의하기 때문에 전체적인 흐름을 파악할 수 없습니다. 침투 테스트의 경우 전문 엔지니어의 경험과 판단 그리고 추론 및 기술을 바탕으로 자동화 도구와 상반되는 결과를 제공하기도 합니다. 예를 들면 로그인 폼을 보호하기 위한 CAPTCHA와 같은 보안 문자 기능을 사용하고 있는 경우, 취약점 분석 스캐너는 단순한 이미지로 판별하는 반면, 침투 테스트의 경우 해당 기능(Function)에 대한 취약점을 검출합니다. 만약, 고객의 아이디나 비밀번호 또는 계좌번호가 URL 매개 변수에서 사용되고 있다면, 보안 엔지니어는 비즈니스 로직을 이해하고 취약점과 대응 방법을 제출하겠지만 취약점 스캐너는 고객의 비즈니스 로직을 분석할 수 없습니다.