GitHub가 데이터 분석의 민주화를 목표로 내부 AI 에이전트 'Qubot'을 개발해 공개했다. 쿠보트는 자연어 질문만으로 GitHub 데이터 웨어하우스의 모든 데이터 모델을 쿼리하고 수초 내에 답을 얻을 수 있는 GitHub Copilot 기반 분석 도구다.

"많은 대규모 데이터 및 분석 조직이 수십 년에 걸쳐 데이터 접근을 자급화하려 시도했지만 결국 실패했다. 이제 AI가 이 문제의 진정한 솔루션을 제시한다"는 게 GitHub의 평가다. GitHub 규모의 조직에서 데이터 분석팀이 모든 제품팀을 직접 지원하기는 불가능하기 때문이다.

아키텍처: 세 계층의 시스템

Qubot의 아키텍처는 사용자 인터페이스, 맥락층(Context Layer), 쿼리 엔진 세 가지로 구성된다.

사용자 인터페이스는 Slack, VS Code, Copilot CLI 세 곳에서 접근 가능하다. Slack이 가장 인기 있는 입구인데, 직원이 Qubot 채널에 질문을 남기면 인스턴스가 자동 생성되고 결과가 스레드로 반환된다. 모든 결과는 마크다운 리포트 형식으로 풀 리퀘스트에 저장돼 나중에 참조하거나 대시보드에 활용할 수 있다.

맥락층이 이 시스템의 핵심이다. GitHub의 데이터 웨어하우스는 큐레이션 정도에 따라 세 단계로 나뉜다:

• 원본 이벤트 데이터(Bronze): 제품팀이 기여한 텔레메트리 맥락
• 정제된 팩트와 차원(Silver): 데이터팀이 유지하는 쿼리 예제와 필터 규칙
• 비즈니스 특화 데이터(Gold): 데이터 소유팀이 정의한 메트릭과 비즈니스 규칙

이런 분산된 맥락 기여를 자동화하는 맥락 에이전트도 구축했다. 팀이 표준 템플릿으로 기여하면 에이전트가 자동으로 수집, 정렬, 정규화해 Qubot이 효과적으로 활용할 수 있는 구조화된 형식으로 변환한다.

쿼리 엔진은 Kusto와 Trino 두 쿼리 엔진을 지원한다. 최근 데이터 탐색에는 빠른 Kusto를, 복잡한 조인과 깊은 히스토리 분석에는 Trino를 사용하는데, 사용자는 이를 의식할 필요가 없다. Qubot이 자동으로 최적의 엔진을 선택한다.

평가 프레임워크: 배포 전 자동 검증

맥락층이나 에이전트 구성이 변경될 때마다 오프라인 평가 프레임워크가 정확도와 레이턴시를 자동으로 측정하고 회귀를 감지한다.

벤치마크 시스템은 세 부분으로 나뉜다:

• 테스트 케이스: 정답이 있는 질문, 정답 SQL, 도메인·난이도 메타데이터
• 자동화 실행: GitHub CLI를 통해 각 테스트를 에이전트 작업으로 병렬 실행하고 결과 수집
• 통계 집계: 완료율, 정확도, 소요 시간(평균/최소/최대)을 산출

변경 사항이 사용자에게 닿기 전에 이 과정을 거쳐 품질을 보증하는 구조다.

맥락층이 성능을 3배로 높인다

이제 핵심 학습이다. GitHub가 실험을 통해 발견한 것은 구조화되고 잘 큐레이션된 맥락층이 Qubot의 정확도를 높일 뿐 아니라 답변 속도를 3배로 단축한다는 점이었다.

이는 분석 엔지니어링 분야에 깊은 함의를 갖는다. 맥락 아티팩트(데이터 문서, 메트릭 정의, 쿼리 가이드)가 더 이상 '나중에 할 일'이 아니라 데이터 모델링의 핵심 산출물로 대우받아야 한다는 뜻이다. 즉, 데이터 품질이 데이터 엔지니어링의 문제만이 아니라 조직의 정보 자산 관리 전략 자체가 돼야 한다.

분산된 지식의 중앙화 효과

Qubot 출시 후 GitHub 직원들의 데이터 자급도는 급상승했다. 데이터 및 분석 Slack 채널로 들어오는 질문이 대폭 줄었는데, 이는 많은 직원이 이제 자율적으로 탐색적 질문("이번 주 어느 기능이 메트릭을 가장 크게 움직였나?" 같은)에 답할 수 있게 됐다는 뜻이다. 동시에 데이터 웨어하우스를 처음 다루던 직원들도 이제 거리낌 없이 접근해 의사결정 데이터를 얻을 수 있다.

흥미로운 점은 hub-and-spoke 실행 모델의 성공이다. Qubot이 데이터 분석팀의 부담을 덜어줄 뿐 아니라, 각 제품팀이 자신의 텔레메트리를 소유하고 비즈니스팀이 메트릭 정의를 소유하는 분산 구조를 가능하게 했다. Qubot은 이렇게 흩어진 지식을 한 도구에 모으는 중력 역할을 함으로써, 각 팀이 자신의 도구를 따로 만드는 대신 함께 기여하게끔 유도했다.

한국의 데이터 병목 상황과의 공통점

한국의 스타트업과 대기업도 유사한 pain point를 겪고 있다. 비즈니스팀과 엔지니어링팀이 데이터에 접근하려면 데이터 분석팀의 병목을 거쳐야 하고, 이는 조직의 의사결정 속도를 떨어뜨린다. Qubot 같은 AI 에이전트는 이 병목을 근본적으로 해결할 수 있는 벤치마크가 될 것 같다. 특히 맥락층 설계와 자동 검증 프레임워크라는 GitHub의 아이디어는 국내 조직도 즉시 차용할 수 있는 실용적 인사이트다.

Qubot은 단순한 보고 도구나 대시보드가 아니다. AI를 통한 기술 민주화의 한 사례이며, 동시에 데이터 기반 의사결정이 조직 전체의 역량이 될 수 있음을 보여준다.