클라우드플레어가 AI 게이트웨이(AI Gateway)에 지출 제한(spend limits) 기능을 추가했다. 기업들이 직면한 AI 비용 폭발 문제를 원가 추적과 예산 제어를 통해 해결하기 위한 조치다. 동시에 클라우드플레어 액세스(Access)와 기존 신원 제공자(IdP)를 연동한 신원 기반 예산 정책도 폐쇄형 베타로 공개했다.

AI 비용 추적 불가능, 왜 생겼나

대부분의 기업들이 뒤처질까 봐 직원들에게 "AI를 최대한 공격적으로 사용하되, 비용은 나중에 결산하자"는 지시를 내렸다. 결과는 예상 밖이었다. 공유된 API 키로 모든 엔지니어가 최신 모델에 접근할 수 있도록 열어두니, 누가 얼마나 썼는지 추적이 불가능해졌다. 어느 직원이 토큰을 태웠는지, CI/CD 파이프라인이 주말에 5천만 토큰을 소진했는지 알 방법이 없었던 것이다.

"비용이 없고, 투명성도 없고, 라우팅 로직도 없으면, 합리적 선택은 가장 강력한 모델을 모든 일에 쓰는 것입니다."(클라우드플레어)

그러나 대부분의 업무는 최강 모델이 필요 없다. 코드 리뷰 요약은 복잡한 아키텍처 리팩토링과 다른 모델이 필요하고, 로그 파서는 고객 대면 콘텐츠 생성과 다른 모델을 쓰면 충분하다. 문제는 이런 선택 기준이 없다는 점이다.

AI Gateway의 역할 — 통합 추적·제어

AI Gateway는 애플리케이션과 AI 제공자(OpenAI, 앤트로픽, Google 등) 사이에 위치한 중간 계층이다. 이를 통하면 다음을 얻을 수 있다:

• 통합 청구: 여러 제공자·모델 간 쉬운 전환
• 전사 로깅: 모든 요청, 토큰 수, 비용이 한 곳에 기록
• 응답 캐싱과 속도 제한
• 콘텐츠 보안: PII와 시크릿 차단

이제 새로 추가된 기능이 지출 제한이다.

"$5,000/월, 프론티어 모델만"...세분화된 예산 제어

클라우드플레어는 달러 기반 예산을 모델·제공자·커스텀 속성(사용자/팀/애플리케이션)의 조합으로 설정할 수 있도록 했다. 예를 들면:

• 엔지니어 팀: 프론티어 모델(GPT-4o, Claude Opus) 월 5,000달러(약 715만원)
• 인턴: 경량 모델(Kimi K2.6) 월 200달러(약 286만원)
• 개인별 상한선: 월 500달러(약 71.5만원)

윈도우는 고정(매월 1일, 매주 월요일, 매일 자정 리셋) 또는 롤링으로 설정 가능하다. AI Gateway는 실시간으로 각 요청의 원가를 계산하고 누적 지출을 추적한다.

예산 초과 시 동작도 선택 가능하다. 기본은 차단이지만, 동적 라우팅(Dynamic Routes)을 통해 저가 모델로 자동 전환할 수도 있다. 예를 들어 프론티어 모델 예산을 초과하면 오픈소스 모델로 요청을 넘기는 식이다. 예산 도달 시 알림 기능도 준비 중이다.

신원 기반 예산 정책 — 폐쇄형 베타

더 정교한 제어를 원하는 기업을 위해, 클라우드플레어 액세스와 기존 신원 제공자를 연동한 정책도 출시했다. 직원이 액세스로 인증하면, JWT(JSON Web Token)에서 신원 정보를 추출해 AI Gateway 요청에 메타데이터로 붙인다.

이렇게 하면:

• 직원별 토큰 사용량 추적 (개별 기여자 500달러/월, 시니어 엔지니어 2,000달러/월)
• 팀별 모델 정책 자동 적용 (ML팀은 Claude Opus·GPT-4o, 디자인팀은 생성 이미지/영상 모델, 인턴은 Workers AI)
• CI/CD 파이프라인·자동화 에이전트 추적 (코드 리뷰 봇 500만 토큰/주, 문서 생성기 50만 토큰/주)

산업적 의미 — 예측 가능한 AI 예산

클라우드플레어 내부에서도 매달 수십억 토큰을 AI Gateway를 통해 처리하고 있다. 같은 문제에 직면한 기업들이 지금 절실한 것은 비용 가시성과 통제다.

그동안 많은 SaaS 플랫폼들(Stripe, AWS, Google Cloud 등)이 비용 제어 기능을 기본으로 제공해왔다. 하지만 AI 서비스 비용은 여전히 "한 달 뒤에 청구서로 깨닫는" 구조다. 클라우드플레어는 이번 기능으로 AI 비용 관리를 SaaS 수준의 투명성으로 맞추고자 한다.

엔지니어 조직이 클수록, 다양한 모델을 쓸수록 이런 세분화 제어 기능이 필요하다. 기업 CFO가 AI 예산을 재무 중심으로 관리하는 추세 속에서 이 기능은 그 필요를 직접 반영한 것으로 보인다.