GitHub, 시크릿 스캐닝 거짓 양성 75% 감소...LLM 문맥 인식으로

깃허브가 비밀정보 탐지(Secret Scanning) 기능의 거짓 양성 문제를 대규모언어모델(LLM) 기반 문맥 분석으로 해결했다. 마이크로소프트 보안팀과의 협력으로 75.76% 거짓 양성을 감소시키며, 목표치 65%를 상회했다.

개발자 신뢰도를 깎는 '경고 노이즈' 문제

시크릿 스캐닝은 API 키, 데이터베이스 자격증명 등 노출된 비밀정보를 조기에 포착해 심각한 보안 사건을 예방하는 핵심 도구다. 깃허브는 수억 건의 푸시를 처리하고 수천만 명의 개발자를 보호하고 있다.

다만 거짓 양성이 많으면 문제가 된다. 의미 없는 경고가 쌓이면서 개발자들이 경고 자체를 신뢰하지 못하고, 중요한 이슈 해결에 집중할 시간이 줄어든다. 이는 결국 보안 대응 속도 저하로 이어진다.

깃허브는 이미 패턴 기반 탐지(알려진 토큰·API 키 형식)에서는 업계 최고 수준의 정확도를 갖추고 있다. 문제는 구조화되지 않은 비밀정보(패턴에 맞지 않는 비밀번호 등)를 AI로 탐지할 때였다. AI 탐지된 비밀정보도 패턴 탐지 수준의 정확도를 갖춰야 했다.

"더 많은 맥락보다 더 나은 맥락"

깃허브와 마이크로소프트 보안팀은 기존 탐지 파이프라인에 검증 단계를 강화했다. 핵심은 LLM이 "올바른 신호"를 받도록 하는 것이었다.

전체 파일이나 저장소를 넘기면 노이즈가 많고 처리 비용과 지연 시간이 증가한다. 대신 깃허브는 "고신호 정보"만 추출했다.

예를 들어, 코드에서 특정 값이 변수에 할당되고 나중에 API 요청, 인증 헤더, 데이터베이스 클라이언트, 클라우드 SDK 호출에 전달되는 패턴을 탐지한다. 패턴 매칭은 값이 "비밀정보처럼 보인다"는 것만 알려주지만, LLM은 그 값이 실제로 비밀정보로 "사용되는지"를 판단할 수 있다. 무작위 UUID나 불투명한 문자열 같은 거짓 경고를 필터링할 수 있다는 뜻이다.

정확도는 올렸는데, 비용은 낮춘 것

흥미로운 점은 맥락을 "더" 넘기지 않고 "더 나은" 맥락을 넘겼다는 것이다. 대부분의 거짓 양성은 파일 수준의 제한된 맥락만으로도 해결된다. 모델이 보는 코드의 양이 아니라 올바른 신호 여부가 중요했다.

플레이스홀더, 테스트 데이터, 미사용 설정값 같은 값들은 깊은 저장소 분석 없이도 걸러낼 수 있다. 이는 높은 정확도를 유지하면서도 낮은 지연 시간과 대규모 코드베이스 확장성을 모두 확보한다는 뜻이다.

구체적 성과: 거짓 양성 75.76% 감소

깃허브는 고객 확인 거짓 양성 경고 수백 건을 기반으로 검증했다. 목표는 65% 감소였다.

결과는 75.76%로, 목표를 초과했다. 탐지 성능을 유지하면서 말이다.

실제로 개발자들이 경험하는 변화는 다음과 같다. 무의미한 경고가 크게 줄어들면서 신뢰도가 높아진다. 경고 분류에 쏟는 시간이 줄고, 실제 이슈 우선순위 파악과 수정이 빨라진다.

앞으로의 방향: 신호 품질 개선

깃허브는 더 큰 데이터셋과 실제 트래픽에서 이 접근법을 계속 평가 중이다. 맥락 추출 방식도 지속적으로 개선하고 있다.

개발자 보안 도구의 역사적 과제는 "얼마나 많은 위협을 탐지할 것인가"였다. 깃허브는 이제 "탐지한 위협을 얼마나 명확히 신호할 것인가"에 초점을 옮겼다. 이는 보안 팀의 대응 피로를 줄이면서도 실제 위협에 대한 감시 능력을 유지한다는 뜻이다.

경고 노이즈가 줄어들수록, 신호가 명확해질수록, 실제 위험에 대한 조치는 빨라진다. 규모의 경제에서 신호의 품질 우위로 전환하는 깃허브의 보안 전략 진화를 보여주는 사례다.