AI 사이버 위협 탐지는 이렇게... Microsoft CTI-REALM 가이드

CTI-REALM: 새 시대의 보안 벤치마크

2026년 3월, 마이크로소프트는 보안 업계에 새로운 평가 도구를 선물했다. CTI-REALM(사이버 위협 인텔리전스 실제 평가 및 LLM 벤치마킹)은 마이크로소프트의 오픈소스 벤치마크로, AI 에이전트가 엔드-투-엔드 탐지 엔지니어링을 수행하는 능력을 평가하도록 설계되었다.

이것이 의미하는 바는 간단하지만 중요하다: AI가 실제로 위협을 찾아낼 수 있는가?

기존 벤치마크의 한계

지금까지 보안 벤치마크들은 주로 이론적 능력을 측정했다. 이전의 ExCyTIn-Bench처럼 위협 조사에 대한 AI 에이전트 능력을 평가했지만, CTI-REALM은 범위를 다음 단계의 보안 워크플로우인 탐지 규칙 생성으로 확대했다.

CTI-REALM은 모델이 CTI 트리비아에 답하거나 고립된 기법을 분류할 수 있는지 테스트하는 대신, AI 에이전트를 도구로 풍부한 실제 환경에 배치하고 보안 분석가가 매일 하는 일을 하도록 요구한다: 위협 인텔리전스 보고서를 읽고, 원격측정을 탐색하고, KQL 쿼리를 작성하고 정제하며, 검증된 탐지 규칙을 생성하는 것이다.

평가 프레임워크의 세 가지 핵심 원칙

1단계: 운영화, 회상이 아닌 것

에이전트는 서술형 위협 인텔리전스를 작동하는 Sigma 규칙과 KQL 쿼리로 변환해야 하며, 이는 실제 공격 원격측정에 대해 검증되어야 한다. 이는 시험 환경이 아닌 실제 운영 환경(Linux, AKS, Azure 클라우드)에서 검증된다는 의미다.

2단계: 전체 워크플로우 포함

점수 계산은 중간 결정 품질을 포착하며, CTI 보고서 선택, MITRE 기법 매핑, 데이터 소스 식별, 반복적 쿼리 정제 등이 평가 대상이다. 최종 결과만 중요한 것이 아니라 그 과정 자체가 평가된다는 뜻이다.

3단계: 현실적인 도구 사용

에이전트는 보안 분석가가 실제로 의존하는 것과 같은 종류의 도구를 사용한다: CTI 저장소, 스키마 탐색기, Kusto 쿼리 엔진, MITRE ATT&CK 및 Sigma 규칙 데이터베이스이다.

실제 성과: 소형 모델의 기적

CTI-REALM이 밝혀낸 흥미로운 사실 중 하나는 지도(guidance)의 힘이다. 구조화된 인간 작성 워크플로우 팁을 제공하면, 소형 모델과 대형 모델 간의 성능 격차의 약 3분의 1을 해소할 수 있으며, 주로 위협 기법 식별을 개선함으로써 이를 달성할 수 있다는 뜻이다.

이는 조직이 대규모 신경망 모델에만 의존할 필요가 없다는 의미다. 적절한 지도와 함께라면 더 작고 비용 효율적인 모델로도 충분할 수 있다.

보안팀을 위한 실전 가이드

1단계: 기초 구성하기

CTI-REALM은 조직이 보안 운영 전에 AI 에이전트가 위협 인텔리전스를 탐지로 변환할 수 있는지 신뢰할 수 있도록 도와준다.

먼저 자신의 환경에서:

• 위협 인텔리전스 소스 정리
• MITRE ATT&CK 프레임워크와의 매핑 방식 결정
• 보유한 데이터 소스 목록화

2단계: AI 에이전트 평가

CTI-REALM을 사용하여 다음을 검증하세요:

• 모델이 실제 위협 보고서를 이해하는가?
• KQL 또는 Sigma 규칙을 정확하게 작성하는가?
• 생성된 규칙이 실제 공격 신호를 탐지하는가?

3단계: 워크플로우 팁 제공

작은 모델도 잘 작성된 워크플로우 팁이 있으면 큰 모델에 필적하는 성능을 낼 수 있다는 것을 기억하세요. 조직의 특수성을 반영한 지침을 만들되:

• 명확한 단계: 각 단계를 구체적으로 설명
• 사례 제시: 좋은 사례와 나쁜 사례 모두 제시
• 제약 설정: 어떤 데이터 소스를 사용할 수 있는지 명시

다양한 환경에서의 검증

37개의 공개 출처 CTI 보고서(Microsoft Security, Datadog Security Labs, Palo Alto Networks, Splunk)를 큐레이션하여 충실히 시뮬레이션할 수 있도록 했다는 의미는, 다양한 위협 유형에 대해 모델을 테스트할 수 있다는 뜻이다.

오픈소스 접근의 의미

CTI-REALM은 오픈소스로 공개되었으며 Inspect AI 저장소에서 사용 가능하다. 이는:

누구나 시작할 수 있다는 뜻이다. Microsoft 고객이 아니어도, 보안 팀이 모델 선택을 검증할 수 있고, 더 나은 코드를 작성하며, 더 안전한 시스템을 함께 구축할 수 있다.

한국 보안팀을 위한 실행 로드맵

Phase 1: 평가 (1-2개월)

1. CTI-REALM 벤치마크 이해
2. 조직의 주요 위협 환경 정의
3. 보유한 위협 인텔리전스 소스 목록화

Phase 2: 시험 (2-3개월)

1. 1-2개의 샘플 CTI 보고서로 시작
2. 내부 AI 모델 또는 외부 API로 테스트
3. 생성된 규칙을 테스트 환경에서 검증

Phase 3: 최적화 (3개월+)

1. 조직 특화 워크플로우 팁 개발
2. 다양한 모델 비교
3. 운영 환경에 점진적 배포

중요한 주의사항

중간 결정 품질이 점수에 포함된다는 것은 AI의 '추론 과정'이 중요하다는 의미다. 올바른 결론에 도달했더라도 그 과정이 오류를 보이면 신뢰하기 어렵다는 뜻이다.

따라서:

• 모델의 추론 과정을 검토하라
• 왜 특정 기법을 선택했는지 설명하도록 요구하라
• 오류 발생 시 자체 수정하는 능력을 확인하라

결론: AI 시대의 탐지는 협업이다

CTI-REALM이 시사하는 바는 명확하다. AI는 보안 분석가를 대체하는 것이 아니라, 더 나은 분석가를 만드는 도구다.

마이크로소프트는 테스트 결과를 공유하도록 초대하고 있으며, GitHub 저장소를 통해 모델 개발자와 보안팀이 기여하고 벤치마크하고 결과를 공유할 수 있도록 했다.

2026년, 우리의 보안 방어는 더 이상 인간만의 것이 아니다. 하지만 여전히 인간의 판단과 검증이 필수적인 그 무언가다.