구글이 오픈소스 대규모언어모델(LLM) 제미나 4의 추론 속도를 획기적으로 높이는 멀티토큰 예측(Multi-Token Prediction, MTP) 기술을 개발자 도구로 공개했다. 이 기술은 한 번에 여러 토큰을 동시에 예측하는 '드래프터(drafter)' 방식으로 최대 3배까지 응답 속도를 개선한다.

멀티토큰 예측, 추론 병목 해결책

대규모언어모델의 가장 큰 한계 중 하나는 '추론 지연'이다. 모델이 한 번에 1개의 토큰(단어의 최소 단위)만 생성하기 때문에, 긴 응답을 만드는 데 상당한 시간이 걸린다. 특히 모바일 애플리케이션이나 엣지 디바이스에서 이 문제는 사용자 경험을 크게 좌우한다.

멀티토큰 예측 기술은 이 문제에 정면으로 대응한다. 드래프터라는 경량 보조 모델이 먼저 여러 토큰을 한꺼번에 예측한 후, 메인 모델이 그것을 검증하는 '투 스테이지(two-stage)' 방식이다. 이렇게 하면 계산량을 크게 줄이면서도 정확성을 유지할 수 있다.

개발자 도구로 확대, 생태계 활성화 목표

구글은 이 기술을 제미나 4 모델군에 적용한 후 개발자용 도구와 API로 공개했다. 소규모 스타트업부터 엔터프라이즈까지 누구든 이 기술을 자신의 애플리케이션에 통합할 수 있도록 한 것이다.

이는 오픈소스 LLM 진영에서 구글의 경쟁 전략을 보여준다. 메타의 라마나 미스트랄 같은 경쟁 모델들과의 성능 차이를 '속도'로 극복하려는 의도가 엿보인다. 실제로 클라우드 컴퓨팅 비용이 LLM 애플리케이션의 주요 지출 항목인 만큼, 추론 속도 개선은 곧 비용 절감으로 직결된다.

산업 구도 변화의 신호

이번 공개는 LLM 개발의 초점이 '모델 크기'에서 '효율성'으로 이동하고 있음을 시사한다. 지난해 오픈AI가 GPT-4o, 앤트로픽이 클로드 3.5를 출시했던 시기와는 달리, 올해 AI 업계는 기존 모델의 성능을 끌어내는 최적화 기술에 집중하고 있다.

드래프터 기반의 토큰 예측 방식이 표준화되면, 오픈소스 진영에서도 상용 모델 수준의 성능을 저비용으로 달성할 수 있는 길이 열린다. 이는 클라우드 인프라 시장에 미치는 영향도 클 것으로 예상된다. 추론 비용이 낮아지면 LLM 기반 서비스의 활용도가 급증하기 때문이다.

다만 아직 과제도 있다. MTP 기술이 모든 작업에서 동일한 효율성을 보장하는지, 한국어처럼 언어별 최적화가 필요한지 등은 개발자 커뮤니티의 실제 사용을 통해 검증되어야 한다.

구글의 이번 움직임은 오픈소스 LLM 시장이 단순한 '모델 공개'를 넘어 '실용성 경쟁'으로 진화하고 있음을 보여준다.