음성 상담 AI 플랫폼 레텔AI(Retell AI)가 월간 콜 규모를 6개월 만에 3배 확장했다. 초기 2026년 3,000만 건에서 9월 1억 건을 돌파했으며, OpenAI 모델이 이 과정의 핵심 엔진 역할을 했다는 것이 핵심이다.

OpenAI 의존도 80%...토큰 누적 1조 건너뛴 규모

레텔AI는 콜센터 운영을 자동화하는 음성 AI 플랫폼이다. 상담사 역할을 하는 에이전트가 고객 질문에 답하고, 필요시 직원에게 인계한다. 현재 4,000곳 이상의 기업이 이 플랫폼을 쓰고 있다.

OpenAI 모델은 이 시스템의 중추다. 레텔AI 플랫폼의 콜 중 80%에서 OpenAI 모델이 응답을 생성하며, 누적 1조 개 이상의 토큰(텍스트 단위)을 소비했다. 이는 단순히 큰 수가 아니라, AI 에이전트가 실제 비즈니스에서 대규모 트래픽을 처리하고 있다는 증거다.

고객 해결율 80% 이상, 실제 사례가 증명

레텔AI의 고객 해결율은 80%를 넘는다. 이는 에이전트가 인간의 개입 없이 상담을 마무리한 비율을 뜻한다.

전자제품 기업 앙커(Anker)는 레텔AI 에이전트를 미국·영국 고객 지원에 도입했다. 상품 배송 추적, 보증 확인, 문제 해결 등 1차 상담을 전담하는 방식이다. 결과는 해결율 80.4%, 순추천고객지수(NPS) 63을 기록했다. 특히 앙커 팀은 에이전트의 톤, 속도, 따뜻함이 인간 상담사 수준에 미쳤다고 평가했다.

의료 기업 파인파크헬스(Pine Park Health)는 레텔AI로 환자 예약 상기와 사전 스케줄링을 자동화했다. 이를 통해 의료 보조원 2.1명 상당의 시간을 절약했으며, 스케줄링 에이전트의 예약 성공률(콜 당 실제 예약 비율)은 55.7%에 달했다.

왜 OpenAI인가...벤치마크로 입증한 우월성

레텔AI가 OpenAI 모델에 베팅하는 이유는 명확하다. 동사가 직접 설계한 'vCX 벤치마크'라는 음성 AI 평가 체계가 있기 때문이다.

이 벤치마크는 실제 콜센터 업무에서 나오는 복잡한 다중 턴 대화를 사용한다. 지시 따르기, 정보에 기반한 답변 유지, 도구 호출 정확도, 자연스러운 표현 등을 평가한다.

10월 13일 최신 벤치마크에서 GPT-6 Astra는 지시 준수 항목에서 89.7%로 1위를 기록했다. 앞선 모델 GPT-5.5도 환각(거짓 정보 생성) 회피율 88.0%, 도구 호출 정확도 88.3%로 클로드 4.6과 제미나이 3.1 프로를 앞섰다.

레텔AI 공동창업자 빙 우는 "우리는 데모가 아닌 실제 콜로 모델을 선택한다. OpenAI는 계속 그 자리를 벌고 있을 뿐"이라고 말했다.

초당 50배 변동하는 트래픽도 견딘다...기술 안정성이 차별점

음성 콜은 시간대에 따라 변동이 극심하다. 낮 시간 최고 트래픽은 밤의 50배에 달한다. 이 변동성 속에서도 빠른 응답 속도를 유지하는 게 음성 AI의 생명이다.

레텔AI는 OpenAI와의 전용 서버 구성으로 이를 해결한다. 10월 벤치마크에서 GPT-6 Astra와 GPT-6 Sol은 첫 문장 생성까지의 중앙값 지연(레이턴시) 883밀리초를 기록했다. GPT-5.6 Luna는 497밀리초로 더 빨랐으나, 세 모델 모두 실시간 음성 상담 수준의 응답 속도를 유지했다.

또한 API 지역별 엔드포인트 활용으로 네트워크 지연을 줄이고, 의료·금융 같은 규제 산업의 데이터 거주지 요건을 맞춘다. 전화 스택, 음성 서비스, 모델 서비스 각 계층에 백업을 두어 한 부분 장애 시에도 콜이 끊기지 않도록 설계했다.

개발 생산성 혁신...Codex로 코드 리서치·디버깅

레텔AI의 엔지니어들은 Codex를 개발 전 과정에서 쓴다.

기존 코드를 잘 모르는 영역에 진입할 때, 엔지니어는 Codex에 고급 요구사항을 설명한다. Codex는 코드를 조사하고 실제 데이터와 대조한 뒤 필요한 변경을 설명해준다. 한 엔지니어는 "Codex가 내가 할 수 있는 것보다 훨씬 빠르고 더 정확하게 한다"고 언급했다.

구현 단계에서도 Codex는 엔지니어가 놓친 세부사항을 포착한다. 디버깅 시에는 로그와 데이터베이스 기록을 코드와 교차 검증해 문제의 근본 원인을 찾는다. 고객이 OpenAI 모델로 애플리케이션을 구축할 때도 지시문 작성 같은 작업을 가속화한다.

GPT-6 Astra의 컴퓨터 사용 능력도 프론트엔드 테스트에 투입된다. 엔지니어가 풀 리퀘스트를 열면, GPT-6 Astra는 인터페이스를 직접 열고 클릭하며 흐름을 테스트하고, 문제를 찾아낸다. 레텔AI는 이전 모델들이 이 작업을 안정적으로 수행하지 못했다고 전했다.

레텔AI의 엔지니어 규모는 매출 성장에 미치지 못한다. 현재 직원당 연 매출은 160만 달러(약 2.3억 원) 수준이다.

산업 의미...생성형 AI, 이제 '음성 고객서비스'의 대규모 실행 기술

5년 전만 해도 음성 AI는 음성 명령 인식(음성 검색), 또는 IVR(자동응답) 수준이었다.

레텔AI는 이를 완전히 다른 차원으로 끌어올렸다. 텍스트 생성 AI가 고객과 대화하고, 도구를 호출하고, 복잡한 지시를 따르며, 필요시 인간에게 매끄럽게 인계한다. 월 1억 콜이라는 규모는 이게 더 이상 실험이 아니라 프로덕션 기술이 됐음을 의미한다.

OpenAI 모델이 이 전환의 핵심 기반이 된 것도 주목할 점이다. 단순히 "좋은 모델"이 아니라, 기업이 대규모 인프라에 올려놓고 신뢰할 수 있을 만큼 안정적이고, 빠르고, 정확해야 한다는 뜻이다.

한국의 통신사·금융사·전자상거래 기업들도 고객상담 자동화 과제를 앞두고 있다. 레텔AI 같은 플랫폼의 성공은, 국내에서도 생성형 AI 기반 음성 상담 에이전트 도입이 기술 실현 가능한 단계에 진입했음을 시사한다.

레텔AI는 다음으로 품질 보증과 시뮬레이션, 다국어 지원, 지식베이스 자동학습 기능을 고려 중이다.