안정섭 교수팀, 동적 청크 프리필·지연 스케줄링 기술 개발… 고가 NVLink 없이 일반 GPU 서버 활용 가능성 제시
고려대학교 전기전자공학부 안정섭 교수 연구팀이 대규모언어모델(LLM) 서비스의 GPU 활용 효율을 높이고 병목 현상을 줄이는 스케줄링 기술을 개발했다. 이번 기술은 고가의 전용 고속 연결망 없이 일반적인 PCIe 기반 GPU 서버에서도 LLM 처리 성능을 높이는 데 초점을 맞췄다. 연구 성과는 7월 13일부터 15일까지 미국 시애틀에서 열리는 컴퓨터 시스템 분야 국제 학술대회 ‘OSDI 2026(USENIX Symposium on Operating Systems Design and Implementation)’에 채택됐다. 고려대 연구진의 논문이 OSDI에 채택된 것은 이번이 처음이다.
챗GPT와 제미나이 같은 LLM은 모델 규모가 커 여러 대의 GPU에 작업을 나누는 병렬화 기술이 필요하다. 현재 업계에서 주로 사용하는 텐서 병렬화는 여러 GPU가 데이터를 주고받으며 동시에 작업을 처리하는 방식으로, NVLink와 같은 고속 연결망을 요구한다.
파이프라인 병렬화는 모델을 층 단위로 나누고 여러 GPU가 순차적으로 처리하는 방식이다. GPU 간 통신량이 상대적으로 적어 일반적인 PCIe 기반 서버에서도 활용할 수 있지만, 이전 GPU의 작업이 끝날 때까지 다른 GPU가 기다리는 ‘파이프라인 버블’ 때문에 실제 온라인 서비스에서는 활용에 한계가 있었다.
연구팀은 사용자별 입력 길이와 요청량이 서로 다른 실제 서비스 환경에서도 파이프라인 버블을 줄일 수 있도록 두 가지 스케줄링 기술을 제안했다.
첫 번째는 시스템이 응답 속도 목표를 실시간으로 확인하면서 긴 입력 문장을 적절한 크기로 나눠 처리하는 ‘동적 청크 프리필’ 기술이다. 두 번째는 단계별 작업량을 점검해 특정 GPU에 작업이 몰리거나 유휴 시간이 발생하지 않도록 조정하는 ‘지연 스케줄링’ 기술이다.
연구팀은 두 기술을 LLM 추론 엔진인 SGLang에 구현하고 실제 서비스와 유사한 환경에서 성능을 평가했다. 검증에는 엔비디아 A100 40GB GPU 4대와 오픈소스 AI 모델 Qwen2.5 32B·14B가 활용됐다.
평가 결과, 연구팀이 개발한 파이프라인 병렬화 방식은 업계 표준으로 사용되는 텐서 병렬화보다 높은 처리 성능을 기록했다. 특히 사용자가 질문하고 AI가 답하는 대화형 워크로드에서는 기존 파이프라인 병렬화 방식보다 답변 속도가 35% 빨라졌고, 질문 후 최종 답변까지의 대기 시간은 32% 줄었다.
연구팀은 고속 GPU 연결망을 갖추지 않은 일반 서버 환경에서도 파이프라인 병렬화의 성능을 높일 수 있다는 점에서 LLM 서비스 운영비 절감과 자원 활용 효율 개선 가능성을 확인했다고 설명했다. 이번 논문의 제목은 ‘Revisiting Pipeline Parallelism for LLM Serving’이다. 고려대 전기전자공학부 황순재 박사과정생이 제1저자로, 안정섭 교수가 교신저자로 참여했다.
안정섭 교수는 “고가의 전용 고속 연결망인 NVLink 없이 일반 GPU 서버만으로도 현재 업계 표준인 텐서 병렬화보다 더 높은 처리 성능을 달성했다”며 “이는 LLM 서비스의 운영 비용을 낮추고 자원 효율을 높일 수 있는 길을 열었다는 점에서 의미가 크다”고 밝혔다.
이번 연구는 정보통신기획평가원, 한국전자통신연구원, SK하이닉스의 지원을 받아 수행됐다.
#고려대학교 #대규모언어모델 #파이프라인병렬화 #GPU스케줄링 #OSDI2026
