DAC 2026 최우수논문상 후보 선정… 선점 방식이 오히려 GPU 낭비·학습 지연 초래 확인

AI 학습 속도를 높이기 위해 널리 쓰여 온 작업 관리(스케줄링) 방식이 오히려 학습을 늦출 수 있다는 사실이 확인됐다. 고려대학교 정보대학 컴퓨터학과 양경식·유혁 교수 연구팀은 그 원인으로 GPU(그래픽처리장치)의 ‘헛된 선점(futile preemption)’ 현상을 규명하고, 이를 해결하는 작업 배치 기술 ‘Lazer’를 개발했다고 밝혔다.

이번 연구 성과는 7월 26~29일 미국 롱비치에서 개최된 컴퓨팅 시스템 및 반도체 설계 분야 최고 권위 국제 학술대회 ‘DAC(Design Automation Conference) 2026’에 채택됐다. 특히 올해 제출된 논문 2,400여 편 가운데 13편(0.5%)만 선정된 최우수논문상 후보(Best Paper Candidate)에 올랐다. 논문명은 ‘Making Sense of Job Preemption for Distributed Deep Learning Acceleration’이며, 컴퓨터학과 고영훈 박사과정이 제1저자로, 신창용·강민철 박사과정과 성균관대 황재현 교수가 공동저자로 참여했다.

AI 모델 하나를 학습시키는 데는 수백~수천 대의 GPU가 몇 주 이상 투입된다. 대당 수천만 원에 달하는 GPU를 대규모로 갖추기 어려운 만큼, 기업과 연구기관은 한정된 GPU를 모아 클러스터를 구축하고 여러 학습 작업이 이를 나눠 쓰도록 한다. 이때 GPU 클러스터의 핵심 소프트웨어인 ‘스케줄러’가 여러 학습 작업의 실행 순서를 결정하는데, 기존에는 우선순위가 높은 작업이 새로 들어오면 실행 중인 작업을 멈추고 GPU를 넘겨주는 ‘선점’ 방식이 널리 활용돼 왔다.

연구팀은 대규모 GPU 클러스터의 6개월 치 운영 기록을 여러 스케줄링 방식으로 재현해 실제 효율성을 확인했다. 분석 결과, 새로운 작업이 GPU에서 본격적인 실행을 시작하기도 전에 더 높은 우선순위의 작업에 밀려나는 일이 반복됐고, 그때마다 실행 준비에 투입된 시간이 그대로 낭비되는 것으로 나타났다. 연구팀은 이 현상에 ‘헛된 선점’이라는 이름을 붙이고 그 원인과 발생 규모를 처음으로 규명했다. AI 학습 작업은 GPU 실행을 준비하는 데만 수 분에서 수십 분이 걸리는데, 실제 GPU 클러스터의 운영 기록을 분석한 결과 헛된 선점으로 허비된 시간이 전체 사용 시간의 최대 13%에 달했다. 이는 GPU 512대를 약 35일 동안 사용하지 못하는 것과 맞먹는 규모다.

연구팀이 개발한 ‘Lazer’는 새 작업이 도착하는 간격, 각 작업의 남은 실행 시간, 작업을 GPU에 배치해 실행을 준비하는 데 걸리는 시간 등을 종합해, 실행 중인 작업 교체와 선점 유예 중 어느 쪽이 더 효율적인지를 판단한다. 새로운 학습 작업이 들어오면 스케줄링 오케스트레이터가 어떤 작업을 선점할지 결정하고, 선점 지연 예측기가 작업 특성과 도착 간격을 분석해 선점 시점을 조율함으로써 자원이 낭비되는 헛된 선점을 방지하는 구조다. 기존 작업이 완료되면 완료 처리기가 새로 확보된 GPU에 대기 중인 작업을 배치해 GPU가 불필요하게 비어 있는 시간도 줄인다.

실제 GPU 서버에서 검증한 결과, Lazer는 헛된 선점을 제거했으며 학습 작업 제출부터 완료까지 걸린 시간은 기존 대비 평균 3.8배, 최대 8.8배 단축됐다. 특히 GPU를 추가로 도입하지 않고 소프트웨어를 개선하는 것만으로 성능을 개선할 수 있다는 점에서 의미가 크다. 이미 확보한 GPU의 불필요한 낭비를 줄이고 활용도를 높이면 AI 데이터센터의 자원 및 에너지 효율 향상에도 기여할 수 있을 것으로 기대된다.

양경식 교수는 “선점이 학습 속도를 높인다는 통념과 달리, 오히려 GPU 낭비와 학습 지연을 초래할 수 있음을 확인했다”며 “원인을 구체적으로 규명하고, 시스템 소프트웨어를 개선하는 것만으로도 AI 인프라의 효율을 크게 높일 수 있음을 보인 연구”라고 말했다.

한편 이번 연구는 교육부와 과학기술정보통신부의 재원으로 한국연구재단의 기초연구사업, 정보통신기획평가원의 ICT명품인재양성사업, 차세대네트워크(6G)산업기술개발의 지원을 받아 수행됐다.

#고려대학교 #헛된선점 #Lazer #DAC2026 #GPU스케줄링