카카오 AI 육성 프로젝트 대상 수상…멀티 가속기 기반 서빙 기술 제시

KAIST는 전산학부 박종세 교수를 중심으로 한 애니브릿지(AnyBridge) AI 팀이 GPU에만 의존하지 않고 다양한 AI 가속기를 통합해 대규모 언어모델(LLM)을 효율적으로 서비스할 수 있는 인프라 소프트웨어를 개발했다고 30일 밝혔다. 해당 기술은 카카오가 주최한 ‘4대 과학기술원×카카오 AI 육성 프로젝트’에서 대상을 수상했다. 현재 챗GPT 등 LLM 서비스는 고가의 GPU 서버에 주로 의존해 운영되고 있으며, 서비스 규모가 커질수록 비용과 전력 소모가 증가하는 구조적 한계를 안고 있다. 애니브릿지 AI 팀은 이러한 문제의 원인을 특정 하드웨어 성능이 아니라, GPU 외에도 NPU, PIM 등 다양한 AI 가속기를 효율적으로 연결·운용할 수 있는 시스템 소프트웨어 계층의 부재로 분석했다.

연구팀은 가속기 종류와 관계없이 동일한 인터페이스와 런타임 환경에서 LLM을 서비스할 수 있는 통합 소프트웨어 스택을 제시했다. 해당 기술은 GPU 중심으로 고착된 기존 LLM 서빙 구조에서 벗어나, 여러 종류의 AI 가속기를 하나의 시스템에서 함께 활용할 수 있도록 설계된 ‘멀티 가속기 LLM 서빙 런타임 소프트웨어’다. 이를 통해 특정 벤더나 하드웨어에 종속되지 않으면서, 작업 특성에 따라 적합한 AI 가속기를 선택·조합하는 운영이 가능하도록 했다. 연구팀은 이 방식이 LLM 서비스의 운영 비용과 전력 소모를 줄이고, 인프라 확장성을 높일 수 있다고 설명했다.

이번 프로젝트는 카카오와 KAIST, GIST, DGIST, UNIST 등 4대 과학기술원이 공동으로 추진한 산학 협력 프로그램으로, AI 기술 기반 예비 창업팀의 기술력과 사업성을 종합 평가해 우수 팀을 선발했다. 대상 팀에는 상금 2,000만 원과 함께 최대 3,500만 원 규모의 카카오클라우드 크레딧이 제공된다.

애니브릿지 AI 팀은 박종세 교수(대표)를 중심으로 권영진 교수, 허재혁 교수가 참여한 기술 창업팀으로, AI 시스템과 컴퓨터 아키텍처 분야 연구 성과를 바탕으로 산업 현장 적용을 목표로 하고 있다. 또한 미국 실리콘밸리 AI 반도체 시스템 스타트업 삼바노바 공동창업자이자 스탠퍼드대 교수인 쿤레 올루코툰 교수가 자문위원으로 참여하고 있다. 박종세 KAIST 전산학부 교수는 “이번 수상은 GPU 중심 AI 인프라의 한계를 넘어, 다양한 AI 가속기를 통합하는 시스템 소프트웨어의 필요성이 인정된 결과”라며 “연구 성과를 산업 현장과 창업으로 확장할 수 있었다는 점에서 의미가 있다”고 말했다.

KAIST 측은 이번 수상이 연구 성과가 논문을 넘어 차세대 AI 인프라 기술과 창업으로 이어지고 있음을 보여주는 사례라고 설명했다. 애니브릿지 AI 팀은 향후 카카오 및 산업 파트너들과의 협력을 통해 기술 고도화와 실증을 진행할 계획이다.