Interfaze, Vercel에서 월 5천만 요청 처리...결정론적 AI 모델의 스케일링 기법

AI 스타트업 Interfaze가 Vercel 서버리스 플랫폼 위에서 월 5천만 개의 API 요청을 처리하고 있다. 문서 처리, 광학 문자 인식(OCR), 객체 탐지, 웹 스크래핑 등 결정론적 작업에 특화된 모델을 제공하는 이 회사의 기술 스택이 주목받고 있다.

LLM의 한계, 결정론적 AI로 채우다

Interfaze의 요에벤 켐라니 창업자 겸 최고경영자(CEO)는 "대부분의 모델은 본질적으로 비결정론적이다. 에세이를 작성할 때는 문제없지만, 병원이나 법무팀이 문서를 처리해야 할 때 LLM을 선택하지는 않는다"고 설명했다.

구체적 예를 들면, LLM에 청구서의 합계를 묻으면 숫자는 나오지만 그 출처가 어디인지 확인하기 어렵다. 반면 Interfaze의 모델은 금액뿐 아니라 페이지 내 위치를 나타내는 바운딩 박스와 신뢰도 점수를 함께 반환한다. 모든 결과가 검증 가능하면서도 LLM처럼 프롬프트를 받아 작동한다.

이러한 차별성이 금융, 법률, 의료 같은 규제 산업에서 Interfaze의 모델에 대한 수요를 만들었다.

서버리스 인프라가 스타트업 진입장벽을 낮추다

Interfaze의 모든 인프라는 Vercel 위에서 구동된다. 월 5천만 요청을 처리하는 API, 모델이 생성한 코드를 실행하는 샌드박스, 써드파티 모델 프로바이더 장애 시 데이터 전처리를 유지하는 라우팅 모두 포함이다.

켐라니 CEO는 "다른 플랫폼에서 백엔드를 구축하려면 네트워킹, 보안, 함수 제한 등을 먼저 설정해야 한다. Vercel에서는 폴더를 만들면 그것이 곧 백엔드가 된다"고 강조했다.

Vercel의 Fluid compute는 트래픽에 따라 자동으로 스케일 조정되며, 메모리와 타임아웃 제한이 충분해 Puppeteer 기반 웹 스크래핑도 문제없이 작동한다. 켐라니는 "Vercel의 백엔드 사용을 예상하지 못했지만, Fluid compute가 실제 Node.js 서버이기 때문에 가장 무거운 작업도 즉시 작동한다"고 덧붙였다.

멀티 프로바이더 라우팅으로 안정성 확보

Interfaze는 대량의 데이터 정제 작업을 오픈소스 모델을 통해 처리하는데, 이 모델들은 여러 써드파티 프로바이더에서 호스팅된다. 단일 프로바이더는 서비스 장애나 속도 제한의 위험이 있다.

더 복잡한 문제는 프로바이더 간 품질 편차다. 같은 오픈소스 모델이라고 주장하면서도 4비트와 8비트 양자화 수준이 다를 수 있다는 뜻이다.

Vercel의 AI Gateway를 활용해 프로바이더 간 자동 장애조치를 구현했다. 요청이 실패하면 다음 프로바이더로 자동 전환되며, 팀이 직접 어느 프로바이더가 특정 모델을 더 잘 서빙하는지 실시간으로 비교할 수 있다. 켐라니는 "두 프로바이더가 같은 모델을 호스팅한다고 주장해도 AI Gateway를 통해 라우팅하면서 누가 실제로 더 나은지 확인할 수 있다"고 설명했다.

모델 버전 관리의 스마트한 접근

Interfaze는 동시에 여러 모델 버전을 운영하며, 각 버전은 별도의 URL을 갖는다. 에러 발생 시 어느 버전에서 생긴 것인지 파악이 필수인데, Vercel의 각 배포(deployment)가 자체 로그를 갖기 때문에 버전을 특정하기 쉽다.

신규 모델 버전은 별도의 Git 브랜치로 관리되며, 프리뷰 URL을 통해 몇몇 고객에게 먼저 테스트 기회를 준다. Vercel 측 배포는 약 3분 만에 완료되고, GPU 가중치 호스팅이 시간이 걸리는 부분이다.

Workflow SDK는 제품 사용량에 따라 조건부로 실행되는 라이프사이클 이메일 시스템을 지원한다. 실패한 단계가 전체 시퀀스를 중단하지 않도록 자동 재시도를 처리하며, 워크플로우는 몇 개월 뒤에도 상태를 유지한 채 재개될 수 있다.

한국 개발자·스타트업의 시사점

Interfaze의 사례는 한국 스타트업들에게 중요한 메시지를 전달한다. LLM 열풍 속에서 특정 도메인(법률, 금융, 의료)의 실제 문제를 푸는 "결정론적 AI"의 시장이 분명히 존재한다는 것이다. 또한 Vercel 같은 서버리스 플랫폼을 전략적으로 활용하면 초기 인프라 부담 없이 월 수천만 요청 규모의 프로덕션 서비스를 운영할 수 있음을 보여준다.

국내에서도 영역 특화 AI 모델, 혹은 규제 산업용 AI 솔루션을 구축하는 팀들이 Interfaze의 기술 스택을 참고할 만하다. 서버리스 인프라 + 멀티 프로바이더 전략 + 버전 관리 자동화는 규모 있는 AI 서비스의 핵심 아키텍처가 되고 있다.