KAIST, 트랜스포머의 지능과 맘바의 효율 결합한 AI 반도체 두뇌 개발

‘PIMBA’ 기술로 연산 속도 4배 향상·전력 2.2배 절감…MICRO 2025 발표 예정

KAIST(총장 이광형)는 전산학부 박종세 교수 연구팀이 미국 조지아공과대학교(Georgia Tech), 스웨덴 웁살라대학교(Uppsala University)와 공동연구를 통해 거대언어모델(LLM)의 추론 속도를 4배 높이고 전력 소비를 절반 이하로 줄인 차세대 AI 반도체 두뇌 기술 ‘PIMBA’ 를 세계 최초로 개발했다고 17일 밝혔다. 이번 기술은 기존 트랜스포머(Transformer)의 고성능 지능과 맘바(Mamba) 구조의 효율성을 결합한 하이브리드 형태의 인공지능 반도체로, 데이터 이동 없이 메모리 내부에서 직접 연산을 수행하는 지능형 메모리 반도체 아키텍처(Processing-in-Memory, PIM) 기반으로 구현됐다.

현재 ChatGPT, Claude, Gemini, Llama 등 대형 AI 모델은 모든 단어를 동시에 분석하는 트랜스포머 구조를 기반으로 작동한다. 이 방식은 복잡한 문장이나 대규모 데이터를 처리하는 데 강점을 가지지만, 모델의 규모가 커질수록 연산량과 메모리 사용량이 급격히 증가해 속도 저하와 전력 소모가 주요 한계로 지적되어 왔다. 이 문제를 보완하기 위해 최근 등장한 순차형 모델 ‘맘바(Mamba)’는 시간 순서에 따라 데이터를 처리해 효율을 높였으나, 여전히 메모리 병목(memory bottleneck) 현상이 남아 있었다.

박종세 교수 연구팀은 이 두 구조의 장점을 결합하고 단점을 상호 보완하기 위해 트랜스포머–맘바 하이브리드 모델을 기반으로 새로운 메모리 반도체 구조 ‘PIMBA’(Processing-in-Memory for Mamba)를 설계했다. PIMBA는 기존 GPU 시스템처럼 데이터를 외부로 옮겨 연산하지 않고, 저장장치 내부에서 직접 계산을 수행한다. 이를 통해 데이터 이동 시간을 최소화하고 전력 소모를 크게 줄였으며, 실제 실험 결과 연산 성능은 최대 4.1배 향상,에너지 소비는 평균 2.2배 감소하는 성과를 거뒀다.

이번 연구결과는 인공지능 반도체 분야의 세계적 권위 학술대회 ‘제58회 국제 마이크로아키텍처 심포지엄(MICRO 2025)’에서 10월 20일 서울에서 발표될 예정이다. 또한 앞서 ‘제31회 삼성휴먼테크 논문대상’ 금상을 수상하며 기술의 우수성을 인정받았다. 논문명은 「Pimba: A Processing-in-Memory Acceleration for Post-Transformer Large Language Model Serving」이며, DOI는 10.1145/3725843.3756121이다. 박종세 교수는 “PIMBA는 차세대 인공지능 반도체의 두뇌 역할을 수행할 포스트-트랜스포머(Post-Transformer) 시대의 핵심 기술”이라며 “AI 모델의 처리 효율을 높이고 연산 속도와 전력 절감이라는 양대 목표를 동시에 달성할 수 있다”고 말했다.

공동 연구진에는 조지아공대 다비야 마하잔(Dhavia Mahajan) 교수, 웁살라대 박창현 교수, KAIST 오성룡·김윤성·김원웅·이유빈 박사과정생, 정지용 석사과정생이 참여했다. 이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)의 ‘인공지능 반도체대학원 지원사업’과 ‘ICT R&D 프로그램’의 일환으로 한국전자통신연구원(ETRI)의 지원을 받아 수행됐다. 또한 반도체설계교육센터(IDEC)의 EDA(전자설계자동화) 툴 지원을 받았다.

연구팀은 향후 PIMBA 기술을 대규모 AI 서버와 엣지(Edge) 단말에 적용해 연산 효율을 높이고, AI 반도체의 실용화를 앞당길 계획이다. 이 기술이 상용화될 경우, AI 서비스의 전력 비용 절감과 데이터센터의 탄소 배출 감소에도 기여할 것으로 기대된다.

#KAIST #AI반도체 #PIMBA #트랜스포머 #맘바 #MICRO2025 #박종세교수 #스포트라이트유