전산학부 박종세 교수팀, LLMServingSim 2.0으로 ISPASS 2026 최우수 논문상 수상

KAIST 연구진이 대규모 AI 서버를 실제로 구축하기 전에 컴퓨터 안에서 성능과 효율을 미리 검증할 수 있는 거대언어모델 서비스 인프라 시뮬레이터를 개발했다. 연구팀이 개발한 ‘LLMServingSim 2.0’은 다양한 하드웨어와 소프트웨어 조합을 가상 환경에서 분석할 수 있는 플랫폼으로, 차세대 AI 인프라 설계에 필요한 시간과 비용을 줄이는 데 활용될 것으로 기대된다. KAIST는 전산학부 박종세 교수 연구팀이 개발한 거대언어모델 서비스 인프라 시뮬레이터 연구가 컴퓨터 시스템 성능 분석 분야 국제학회인 ‘ISPASS 2026’에서 최우수 논문상을 수상했다고 29일 밝혔다. ISPASS는 IEEE International Symposium on Performance Analysis of Systems and Software의 약자로, 컴퓨터 시스템과 소프트웨어 성능 분석 분야의 주요 학회다.

챗GPT와 같은 거대언어모델 서비스를 운영하려면 수만 대 규모의 서버 인프라가 필요하다. 새로운 AI 반도체나 시스템 구조를 검증할 때마다 실제 장비를 구축하는 데에는 많은 비용과 시간이 들어간다. KAIST 연구팀은 이러한 부담을 줄이기 위해 실제 서버를 구축하지 않고도 차세대 AI 반도체와 거대언어모델 시스템을 실험할 수 있는 시뮬레이션 플랫폼을 개발했다.

LLMServingSim 2.0은 복잡한 AI 서비스 환경에서 다양한 하드웨어와 소프트웨어 조합을 가상으로 분석할 수 있도록 설계됐다. 연구자와 개발자는 값비싼 대규모 서버 인프라를 직접 마련하지 않고도 여러 설계안을 실험하고, 서비스 속도와 전력 소모, 메모리 사용량, 처리량 등을 비교할 수 있다.

특히 이 플랫폼은 기존 GPU 중심 환경을 넘어 차세대 AI 반도체로 주목받는 NPU와 PIM, CXL 기반 메모리 등 다양한 하드웨어 환경을 지원한다. NPU는 신경망처리장치, PIM은 메모리 내부에서 연산을 수행하는 프로세싱 인 메모리 기술을 의미한다. 아직 상용화되지 않은 미래형 AI 반도체도 가상의 데이터센터 환경에서 미리 시험해볼 수 있는 구조다.

이종 하드웨어와 분산형 인프라 통합 분석

LLMServingSim 2.0의 특징은 LLM 서비스 운영 과정에서 발생하는 복잡한 동작을 시스템 수준에서 재현한다는 점이다. 실제 AI 서비스에서는 사용자 요청이 들어오는 패턴, 배치 형성, 요청 라우팅, 메모리 배치와 이동, 인터커넥트 경쟁, 전력 소모 등이 동시에 작동한다. 연구팀은 이러한 요소를 하나의 통합된 런타임 구조 안에서 모델링했다.

광고

연구팀은 각 LLM 실행 단위를 모델 서빙 그룹으로 추상화하고, 그 안에 배치 스케줄러, 연산자 매핑 모듈, 연산자 스케줄러, 메모리 모델, 전력 모델을 구성했다. 이를 통해 GPU, TPU, NPU, PIM, CXL 기반 메모리 등 다양한 이종 하드웨어를 같은 프레임워크 안에서 표현할 수 있도록 했다.

또한 device memory, host memory, CXL memory, storage로 이어지는 다중 메모리 계층에서 KV cache의 배치와 이동, 재사용을 모델링했다. 이를 바탕으로 prefill-decode 분리, prefix caching, 다중 인스턴스 간 prefix cache 공유, MoE 모델의 expert routing과 offloading, 연산자 단위 offloading 등 최신 LLM 서빙 기법을 시뮬레이션할 수 있도록 했다.

연구팀은 LLMServingSim 2.0을 실제 vLLM 기반 GPU 및 TPU 서빙 시스템과 비교해 검증했다. 그 결과 처리량, 지연시간, 메모리 사용량, 전력 소모를 높은 정확도로 재현했으며, 평균 0.95% 수준의 오차와 실용적인 시뮬레이션 시간을 달성했다.

이 결과는 LLMServingSim 2.0이 기존 시뮬레이터들이 충분히 다루기 어려웠던 이종 하드웨어와 분리형 서빙 구조를 통합적으로 분석할 수 있음을 보여준다. 특히 여러 서버 자원을 분리하거나 연결해 사용하는 분산형 인프라 환경까지 분석할 수 있어 차세대 AI 데이터센터 연구에도 활용 가능성이 크다.

이번 시뮬레이터는 연구자뿐 아니라 LLM 서비스 기업과 AI 반도체 스타트업이 차세대 AI 인프라를 설계하고 최적화하는 데 활용될 수 있다. 새로운 AI 반도체나 서비스 구조를 실제로 구축하기 전에 빠르게 검증할 수 있기 때문에, AI 인프라 개발 과정에서 비용과 시간을 줄이는 데 기여할 것으로 예상된다.

박종세 교수는 “AI 서비스 경쟁력은 모델 자체뿐 아니라 이를 안정적이고 효율적으로 운영하는 인프라 기술에서 결정된다”며 “이번 시뮬레이터가 연구자와 산업계가 차세대 AI 인프라를 더욱 빠르고 효율적으로 개발하는 데 중요한 기반이 되길 기대한다”고 말했다.

연구팀은 LLMServingSim 2.0을 공개하고, vLLM과 같은 실제 LLM 서빙 프레임워크와의 연동 및 검증을 확대할 계획이다. 또한 GPU뿐 아니라 NPU, PIM, CXL memory 등 다양한 하드웨어 프로파일을 지속적으로 추가해 연구자와 기업이 새로운 LLM 인프라 아이디어를 더 빠르고 낮은 비용으로 검증할 수 있는 플랫폼으로 발전시킬 방침이다.

이번 연구는 KAIST 전산학부 조재홍 석사과정과 최현민 석사과정 학생이 공동 제1저자로 주도했다. 연구팀은 지난 2024년 IISWC에서도 최우수 논문상을 받은 데 이어, 이번 ISPASS 2026에서도 최우수 논문상을 수상하며 AI 인프라 분야 연구 성과를 이어갔다.

논문 제목은 ‘LLMServingSim 2.0: A Unified Simulator for Heterogeneous and Disaggregated LLM Serving Infrastructure’이며, DOI는 10.1109/ISPASS69572.2026.00012다. 연구는 과학기술정보통신부, 정보통신기획평가원, 한국전자통신연구원, SK하이닉스의 지원을 받아 수행됐다.

이번 성과는 거대언어모델 인프라 설계에서 하드웨어와 소프트웨어를 함께 고려하는 방식의 필요성을 보여준다. LLM 서비스가 검색, 코딩, 문서 작성, 업무 자동화, 에이전트 시스템 등으로 확대되면서 서버 인프라의 성능과 에너지 효율은 서비스 경쟁력의 중요한 요소가 되고 있다. LLMServingSim 2.0은 실제 시스템 구축 이전에 다양한 설계 선택지를 검증할 수 있는 사전 분석 도구로 활용될 수 있다는 점에서 차세대 AI 인프라 연구와 산업계에 실질적인 기반을 제공할 것으로 보인다.

#KAIST #박종세교수 #LLMServingSim #AI인프라 #ISPASS2026