오픈AI가 챗GPT의 안전 관리를 한층 강화한다. 폭력 위험 적발 및 미성년자 보호 기능을 대폭 개선하고, 업계 최초로 커뮤니티 안전 보고서를 정기 공개하기로 결정했다.

법 집행과 협력, Q3에만 200건 이상 신고

오픈AI는 10월 30일 공식 블로그를 통해 이 같은 계획을 발표했다. 올해 3분기(Q3 2026) 동안 폭력 협박, 테러 계획, 자해 위험 등의 혐의로 법 집행 기관에 200건 이상을 신고했다고 밝혔다. 이들 신고가 실제 폭력 음모 적발에 기여했으며, 이 과정에서 정신 건강·행동 심리 전문가들과 협력 중이라고 강조했다.

챗GPT는 전 세계에서 가장 널리 사용되는 생성형 AI 제품 중 하나인 만큼, 안전 장치의 고도화는 산업 전체의 신뢰도 향상에 영향을 미친다. 오픈AI는 "AI 기업, 법 집행, 가족, 정신 건강 전문가, 정책 입안자가 각각 고유한 역할을 한다"며 "우리는 우리의 역할을 최선을 다해 수행할 책임이 있다"고 밝혔다.

커뮤니티 안전 보고서, 2027년 상반기 첫 공개

오픈AI는 오는 2027년 초(2026년 하반기 분 기준)부터 6개월마다 '커뮤니티 안전 보고서'를 공개할 예정이다. 보고서는 폭력 예방과 커뮤니티 안전, 그리고 오픈AI의 안전장치 효과를 다룬다. 시스템 학습·조사·대응 절차, 익명화된 사례, 신규 완화 조치, 정책 변경 내용과 관련 데이터를 포함한다.

이는 생성형 AI 안전 분야에서 업계 관행을 세우는 시도다. 투명성 부족을 지적해온 학계·시민사회의 요구에 부응하면서, 동시에 자사 시스템의 실질적 효과를 객관화하려는 의도로 해석된다.

과거 대량 학살 정보 제공 제한...조건부 완화

오픈AI는 챗GPT의 정책 경계를 강화했다. 과거 대량 피해 사건(mass attack)과 가해자에 대한 질문에 대해 의도적으로 상세한 정보를 제한한다. 단, 폭력 예방, 피해 커뮤니티 이해, 경고 신호 학습 등의 정당한 목적은 지원한다. 무기·장비 획득 방법, 피해 규모 비교(가해자의 악명 증폭 가능성) 등은 사용자 연령 관계없이 제한된다.

동시에 챗GPT는 사용자의 이전 대화 맥락을 분석해 폭력 신호가 있을 경우 정보 제공에 더욱 신중해진다. 대화에서 폭력 집착이나 타인 해악 의도가 감지되면 챗GPT가 대화를 자동으로 종료할 수 있다. 이런 종료가 반복되면 계정이 일시 중지될 수 있다.

미성년자 보호 강화...무기 정보 거의 차단

챗GPT 미성년자 버전(ChatGPT for Teens)은 18세 미만 사용자를 위해 추가 제한을 도입했다. 무기·보안 시스템 정보 중 폭력에 악용될 가능성이 있는 실용적 정보를 제한한다. 폭력 의도가 없어 보이는 질문도 마찬가지다. 다만 폭력 예방·진정, 심리 지원, 믿을 수 있는 어른과의 연결은 여전히 지원한다.

오픈AI는 사용자의 행동 패턴 분석을 통한 '나이 예측' 기술을 강화했다. 사용자가 챗GPT를 사용하는 과정에서 새로운 신호를 계속 학습해 18세 미만 사용자를 자동으로 미성년자 환경으로 이동시킨다. 잘못 분류된 성인 사용자는 검증 파트너 Persona를 통해 빠르고 개인정보 보호적인 방식으로 성인임을 확인하고 미성년자 보호를 해제할 수 있다.

부모 통제 기능도 확대

오픈AI의 부모 통제 기능은 기존 안전 경고(자해 우려, 섭식 장애 우려 신호)를 넘어 폭력 관련 정책 위반 계정 비활성화 관련 알림을 부모에게 전송하기 시작했다(7월부터). 향후 미성년자 계정이 반복적 폭력 논의로 일시 중지될 경우도 부모에게 알릴 계획이다.

산업과 사회의 균형점

폭력 위험 탐지는 기술만으로는 해결되지 않는 문제다. 행동심리, 맥락 이해, 실제 개입 권한을 가진 기관(법 집행, 정신 건강 전문가, 부모)의 협력이 필수다. 오픈AI의 접근은 이 같은 역할 분담을 명시적으로 설계한 것이다. 정책 투명성 공개(커뮤니티 안전 보고서)는 신뢰도 구축의 필수 조건이고, 동시에 다른 AI 회사들의 벤치마크가 될 가능성이 높다. 다만 "기술 만능주의 우려"를 우려하는 이들은 이들 조치가 실제 폭력 예방으로 이어지는지 추적 모니터링이 필요하다고 지적할 것으로 보인다.