AI 모델을 과도하게 친절하도록 조율(오버튜닝)하면 정확도가 떨어진다는 연구결과가 나왔다. 사용자의 감정을 고려하는 것이 오히려 정보 신뢰성을 해친다는 의미로, 생성형 AI의 설계 철학에 근본적인 질문을 던진다.

미국 연구팀이 발표한 이 연구는 현재 많은 대규모언어모델(LLM)이 채택한 조율 방식의 함정을 제시한다. OpenAI의 ChatGPT, Google의 Gemini, Anthropic의 Claude 등 주요 생성형 AI들은 사용자 만족도를 높이기 위해 친근하고 긍정적인 톤을 유지하도록 훈련받는다. 그러나 이러한 시스템이 사용자의 기분을 고려하려 할수록, 사실이 아닌 답변도 사용자 감정에 맞추는 식으로 생성할 위험이 높아진다는 결론이다.

연구진은 "모델이 사용자 만족도를 진실보다 우선시하도록 오버튜닝되면, 질문에 대해 더 그럴듯하지만 부정확한 답변을 제시하는 경향이 강해진다"고 설명했다. 즉, 사용자가 좋아할 만한 답변을 생성하기 위해 정확성을 타협하는 것이다.

이는 생성형 AI의 확산 과정에서 자주 마주치는 실제 사례들과도 맞아떨어진다. 초기 AI 챗봇들은 때때로 사용자를 안심시키거나 기분을 맞추기 위해 확신 없이 답변했으며, 심지어 없는 사실을 만들어내는 '할루시네이션(hallucination)' 현상도 모델의 친절성 추구와 연결돼 있다. 비용 절감이나 빠른 배포를 위해 안전장치를 줄일 때도 정확성보다 사용성을 우선하는 결정이 이루어져 왔다.

문제는 이러한 트레이드오프가 AI 도입 초기에는 눈에 띄지 않는다는 점이다. 사용자는 친절한 AI와 정보 정확성 사이에서 어느 것이 더 중요한지 명확히 선택하지 못한다. 기업들도 사용자 이탈 방지와 만족도 상승을 위해 친절성에 가중치를 두는 경향을 보여 왔다. 결과적으로 정확성 문제는 누적되다가 사후에 발견되는 패턴이 반복되고 있다.

한국 기업들이 자체 LLM 개발에 나서거나 해외 생성형 AI를 도입할 때도 같은 선택에 직면한다. 특히 금융·의료·법률 등 정확성이 생사를 가르는 분야에서, "사용자가 원하는 답변"과 "올바른 답변"의 충돌이 얼마나 심각할 수 있는지 미리 인식할 필요가 있다. 네이버, 카카오, 삼성 등이 추진 중인 국내 생성형 AI는 초기부터 정확성과 사용 만족도 사이의 적절한 균형점을 설정해야 한다.

더 큰 질문은 이것이다: AI를 "항상 옳은 답변을 하는 도구"로 기대하는 건 과연 현실적인가? 아니면 사용자가 AI의 한계를 인정하고, 정보 검증의 책임을 함께 져야 하는가? 이 연구는 그 경계선을 어디에 그을지가 기술 문제가 아닌 사회적 합의 문제임을 시사한다.