AI를 프로덕션 환경에서 안정적으로 운영하는 것은 모델 성능만으로는 부족하다. Stack Overflow는 팟캐스트를 통해 AI 인프라 전문가들과 프로덕션 AI 시스템 운영의 현실적 과제를 논의했다.

AI 프로덕션 배포의 현실적 난제들

CoreWeave의 CTO 겸 공동 설립자 피터 살란키(Peter Salanki)는 AI가 프로덕션에서 실제로 돌아가려면 세 가지 핵심 영역이 반드시 해결돼야 한다고 밝혔다.

첫 번째는 **관찰 가능성(Observability)**이다. 프로덕션 AI 시스템은 입력값부터 출력값까지 전 과정을 실시간으로 모니터링해야 한다. 모델이 어떤 데이터로 학습되었고, 현재 어떤 입력이 들어오고 있으며, 그에 따라 무엇이 출력되는지를 투명하게 추적할 수 없다면 문제가 발생했을 때 원인을 규명하기 어렵다.

두 번째는 **자원 활용률(Utilization)**의 최적화다. AI 워클로드는 일반 애플리케이션보다 자원 집약적이다. GPU, 메모리, 스토리지 같은 고가의 자원을 어떻게 효율적으로 사용하는지가 운영 비용을 크게 좌우한다. 살란키는 "많은 팀이 자원을 과도하게 할당해 비용을 낭비하거나, 반대로 과하게 절약해 성능을 포기하는 양극단에 빠진다"고 지적했다.

세 번째는 **스케줄링(Scheduling)**이다. 여러 AI 작업이 동시에 실행될 때 자원을 어떤 순서로, 어떻게 배분할지를 결정하는 문제다. 배치 작업, 실시간 추론, 재학습 같은 다양한 워클로드가 같은 인프라에서 경쟁할 때 발생하는 복잡성을 관리해야 한다.

과도한 아키텍처 설계의 함정

주목할 점은 살란키가 "많은 엔지니어 팀이 초기 단계부터 아키텍처를 복잡하게 설계한다"고 경고했다는 것이다.

프로덕션 AI 시스템은 복잡하지만, 초기부터 모든 극단적 상황을 대비해 과도한 추상화 계층을 쌓으면 오히려 유지보수를 어렵게 하고 성능을 저해할 수 있다. 사이드 카(sidecar) 기반 모니터링, 복잡한 멀티 테넌트 격리, 예상하지 못한 장애에 대비한 다층 페일오버 메커니즘 같은 것들이 초기 MVP(최소 기능 제품) 단계에서는 불필요할 수 있다는 뜻이다.

산업 현황: 시행착오 진행 중

CoreWeave는 AI 전용 클라우드 플랫폼으로, 생성형 AI 모델 학습부터 추론 배포까지 전 스펙트럼의 워클로드를 담당해왔다. 이러한 경험에서 나온 살란키의 조언은 현재 많은 기업이 "AI를 프로덕션에 올린다"는 것이 얼마나 도전적인지를 시사한다.

한국의 기업들도 예외가 아니다. 대형 IT 기업은 물론 스타트업, 심지어 전통 산업 기업들까지 생성형 AI 모델을 자체 시스템에 통합하려는 움직임이 활발하다. 하지만 대부분은 초기 단계에서 오픈소스 모델(예: Llama, Mistral)을 API 수준으로 호출하거나 가벼운 미세조정(fine-tuning)에 그친다. 프로덕션 규모의 관찰 가능성, 비용 최적화, 안정성을 모두 갖춘 AI 시스템을 구축하는 것은 소수 선도 기업의 영역이다.

핵심은 "구축 우선, 최적화는 필요할 때"

살란키의 조언의 핵심은 단순하다: 완벽한 설계를 기다리지 말고, 작동하는 시스템부터 만들어라. 관찰 가능성, 활용률, 스케줄링이라는 세 축을 염두에 두되, 초기에는 모니터링 데이터를 수집하는 기본기부터 시작하고, 실제 운영 경험을 쌓으면서 점진적으로 최적화하는 것이 현명하다.

이는 전통적 소프트웨어 엔지니어링의 원칙과도 맞닿아 있다: "조기 최적화는 만악의 근원"이라는 경구가 AI 인프라 분야에서도 동일하게 적용된다는 의미다.

Stack Overflow의 이 인터뷰는 생성형 AI 기술이 단순한 실험 단계를 넘어 실무 배포 단계에 들어섰음을 보여준다. 동시에 그 과정이 시행착오와 학습으로 가득하다는 점도 보여준다.