식품 유통 플랫폼 초코(Choco)가 OpenAI의 생성형 AI 에이전트 기술을 활용해 식품 유통 자동화 시스템을 구축했다. 이메일, SMS, 음성메일, 이미지, 필기 메모 등 다양한 채널로 들어오는 주문을 자동으로 처리하는 'OrderAgent'와 '음성주문에이전트(VoiceAgent)'를 도입한 것이다.

다채로운 채널, 수동 처리의 병목

초코는 현재 21,000여 개 유통업체와 100,000개의 바이어를 미국, 영국, 유럽, 걸프협력회의(GCC) 지역에서 연결하고 있다. 주문량이 증가하면서 문제가 드러났다. 고객들이 여전히 이메일, 문자메시지, 음성메일, 이미지, 손으로 적은 메모 등 다양한 형태로 주문을 보냈기 때문이다. 초코 팀은 이러한 입력값을 수동으로 해석해 구조화된 전사적자원관리(ERP) 주문으로 변환했는데, 이 과정이 느리고 오류가 많았다.

더 근본적인 과제는 암묵적 맥락(implicit context)이었다. 고객별 상품코드(SKU) 매핑, 단위 선호도, 배송 패턴 같은 정보는 주문 담당자들의 머리에만 있었다. 초코의 공학 담당 부사장 나르베 미르자에이는 "처리 자체가 첫 번째 장애였지만, 가장 어려운 문제는 아니었다"며 "진정한 문제는 이러한 암묵적 맥락을 추론 계층으로 인코딩해 주문 입수 시점에 모호함을 해결하는 것"이라고 설명했다.

AI 에이전트의 두 가지 인스턴스

초코는 OpenAI의 API를 플랫폼 핵심에 탑재해 'OrderAgent'를 개발했다. OrderAgent는 이메일, SMS, 이미지, 문서 등 다중 모달 입력을 받아 구조화된 ERP 주문으로 자동 변환한다. 각 고객의 주문 이력과 카탈로그에 대한 동적 맥락 학습 인프라를 구축한 것이 핵심이다. 미르자에이는 "음성 변환, 정보 추출 기능이 견고한 기초를 제공했고, 진정한 공학적 과제는 고객별 주문 이력과 카탈로그를 기반으로 모호함을 해결하는 동적 맥락 학습 인프라를 구축하는 것"이라며 "이것이 자동화와 지능의 차이를 만든다"고 밝혔다.

초코는 또한 OpenAI의 실시간(Realtime) API를 활용한 'VoiceAgent'도 구축했다. 고객들이 전화로 자연스럽게 주문하면 1초 미만의 지연 시간으로 처리되며, 업무시간 외에도 24시간 주문 수락이 가능하다.

OpenAI 선택의 이유

OpenAI 선택 이유는 모델 성능, 다중 모달 기능, 구조화된 출력, 대규모 운영 신뢰성이었다. 텍스트, 비전, 오디오를 단일 생태계 내에서 처리할 수 있어 이전에 분리되어 있던 워크플로우를 하나의 지능형 시스템으로 통합할 수 있었다.

도입 속도도 빨랐다. OpenAI의 소프트웨어 개발 키트(SDK)와 API를 활용해 음성 인식, 임베딩, 함수 호출 기능을 빠르게 통합했다. 초코 팀은 정확성과 운영 성과 보장을 위해 실제 데이터 기반의 엄격한 평가 프레임워크, 지속적 모니터링, A/B 테스트를 구축했다.

입증된 성과

초코의 성과는 주문 워크플로우 전체에 걸친 원활한 통합으로 가능했다. 고객들은 전화, 문자, 이메일 어느 방식으로든 주문하면 시스템이 자동으로 적응했다.

연 880만 건 이상의 주문을 처리하며 수백만 건의 수동 작업을 제거했다. 수동 주문 입력은 최대 50% 감소했고, 팀들은 보다 부가가치 있는 업무로 전환할 수 있었다. 생산성은 2배 증가했으며, 추가 인력 채용 없이도 규모 확장이 가능해졌다. 오류율도 1~5% 이하로 유지되면서 자동화 임계값을 설정 가능하게 했다.

미래 방향

초코는 식품 유통 생태계 전반에 AI 기능을 확대할 계획이다. AI 시스템이 더 많은 책임을 지면서 엔지니어가 아닌 일반 사용자들이 '에이전트 오케스트레이터' 역할을 하게 된다. 이들은 비즈니스 성과를 도출하는 지능형 시스템을 설계하고 관리하는 새로운 사용자 계층이 될 것이다.

향후 초코는 OpenAI API 활용을 더욱 확대해 영업, 상거래, 공급망 운영 전반에 자율적이고 맥락 인식형 시스템을 구축할 방침이다. 단순 워크플로우 소프트웨어에서 AI 기반 실행 인프라로의 전환을 완성하는 것이 목표다.