KAIST 정명수 교수팀, 메타와 차세대 AI 데이터센터 구조 제시… 네이처 리뷰 저널 게재

CXL로 CPU·가속기·메모리를 하나로 묶어 최대 960개 가속기 연결, 데이터 접근 지연 10분의 1로 단축

KAIST에서 축적된 반도체·컴퓨터 시스템 연구가 교원 창업을 거쳐 글로벌 빅테크 메타와의 협력으로 확장되며 차세대 AI 데이터센터의 새로운 설계 방향을 제시했다. CPU와 AI 가속기, 메모리를 하나로 묶어 데이터센터 전체가 마치 하나의 거대한 칩처럼 움직이도록 하는 구조다.

KAIST(총장 배충식)는 전기및전자공학부 정명수 교수와 교원창업기업인 반도체 설계 전문기업 파네시아 연구진이 메타 연구진과 함께 차세대 AI 데이터센터 구조를 제시한 리뷰 논문을 네이처가 발행하는 국제 학술지 ‘네이처 리뷰 일렉트리컬 엔지니어링(Nature Reviews Electrical Engineering)’에 게재했다고 9일 밝혔다. 논문은 8월 10일 게재됐으며, 제목은 ‘One-Chip-Like Datacenter Design Enabled by CXL-Based Scale-Up Fabrics’다.

이번 성과는 KAIST에서 시작된 연구가 교원 창업을 통해 실제 반도체 기술로 발전하고, 글로벌 기업과의 공동 연구로 이어져 미래 AI 데이터센터의 기술 방향을 제시했다는 데 의미가 있다. 배충식 총장이 추진하는 5대 혁신 전략 가운데 연구성과를 산업과 창업으로 연결하는 ‘Beyond Laboratory’와 글로벌 협력을 확대하는 ‘Beyond KAIST–Global Connect’의 방향과도 맞닿아 있다. 배 총장은 “KAIST의 연구성과가 창업을 통해 산업으로 이어지고, 다시 세계적인 기업과의 협력으로 확장돼 미래 기술의 방향을 제시한 의미 있는 사례”라며 “연구와 창업, 산업과 세계를 연결해 우리 기술이 글로벌 혁신의 새로운 기준을 만들어갈 수 있도록 지원하겠다”고 말했다.

최근 생성형 AI와 초거대 AI가 발전하면서 AI 연산에 수백~수천 개의 가속기를 동시에 사용하는 시대가 됐다. 하지만 가속기를 많이 연결한다고 무조건 빨라지는 것은 아니다. 여러 가속기가 데이터를 반복적으로 주고받으며 연산을 함께 진행하기 때문에, 가장 느린 하나가 전체 속도를 좌우한다. 실제 데이터센터에서는 어쩌다 한 번 발생하는 최악의 지연시간이 평소보다 5배가량 길어지는 것으로 측정되며, 참여 장치가 많아질수록 이런 지연은 더 자주, 더 크게 나타난다. 개별 반도체의 성능뿐 아니라 수많은 가속기와 메모리를 얼마나 빠르고 예측 가능하게 연결하느냐가 관건인 셈이다.

연구팀은 칩 내부가 이미 이 문제를 해결해온 방식에 주목했다. 칩 안에서는 CPU 코어와 가속기, 메모리가 짧고 균일한 통로로 연결돼 신호가 일정한 시간에 오가고, 하나의 메모리 공간을 함께 쓰며 데이터의 최신 값을 하드웨어가 자동으로 맞춰 준다. 칩이 갖춘 이 예측 가능성을 서버와 랙을 넘어 데이터센터 전체로 확장하자는 것이 이번 연구의 출발점이다.

이를 위해 연구팀은 여러 장치가 하나의 메모리 공간을 공유하며 최신 데이터를 자동으로 맞춰주는 캐시 일관성 기능을 표준으로 지원하는 CXL(Compute Express Link)을 기반으로 삼았다. 다만 CXL 표준은 기본 규칙만 정할 뿐 데이터가 어떤 경로로 얼마나 빨리 전달되는지는 만드는 회사의 선택에 맡겨두기 때문에, 이 빈틈을 채우는 것이 이번 연구의 핵심이었다. 연구팀은 CXL 위에 세 가지 전용 하드웨어를 더했다. 한 번에 많은 장치를 연결해 경로 길이를 비슷하게 유지하는 고성능 패브릭 스위치, 장치 간 연결 지점에서 반복되는 처리를 전담해 일정한 시간 안에 끝내는 링크 가속 유닛(LAU), 요청 처리 순서를 시스템 전체에 동일하게 적용하는 패브릭 컨트롤러가 그것이다.

배치 방식도 칩의 설계 원리를 따랐다. 칩이 회로 블록을 타일로 묶어 반복 배치하듯, CPU·가속기·메모리·스위치를 종류별로 묶은 트레이, 이를 묶은 포드, 여러 포드를 잇는 패브릭이라는 계층 구조로 규칙적으로 배치해 어디서든 비슷한 속도로 통신이 이뤄지도록 했다. 기존 데이터센터가 여러 컴퓨터가 네트워크를 통해 협업하는 방식이라면, 이번 구조는 서버 간 경계를 낮춰 데이터센터 전체를 하나의 거대한 컴퓨터처럼 움직이게 한다. 엔비디아의 NVLink나 UALink가 주로 랙 내부 연결에 초점을 두는 것과 달리, 가속기뿐 아니라 CPU와 메모리까지 CXL로 연결하고 그 범위를 데이터센터 전체로 확대한 점이 차별점이다.

연구팀은 엔비디아 GB200 NVL72 구성을 비교 기준으로 삼아 개선 효과를 제시했다. CPU 한 개가 직접 관리할 수 있는 가속기 수는 기존 2개에서 16개로 8배 늘고, 하나의 연결 영역에서 함께 동작하는 가속기 규모는 최대 약 960개까지 커진다. 연구진에 따르면 현행 NVLink 기반 랙보다 약 13배 큰 규모다. 장치 간 데이터 접근 속도는 기존 네트워크 기반 구조의 마이크로초(100만분의 1초) 수준에서 수백 나노초(10억분의 1초) 수준으로, 약 10분의 1로 단축된다. AI 데이터센터에서는 이런 작은 지연도 반복되면 전체 성능에 큰 영향을 미친다.

운영도 유연해진다. CPU·가속기·메모리를 각각의 자원처럼 연결해 두었기 때문에 고장이 나도 서버 한 대 전체가 아니라 문제가 생긴 장치 하나만 교체하면 되고, 남는 연산·메모리 자원을 필요한 곳에 활용할 수 있다. 결국 이번 연구는 AI 데이터센터의 기본 단위를 서버에서 데이터센터 전체로 확장하는 설계 방향을 제시한 것이다.

이러한 설계는 도면 위 구상에 그치지 않는다. 논문에는 파네시아가 실제로 만든 CXL 스위치·패브릭 컨트롤러 칩의 실물 회로 배치가 함께 실렸다. 칩 중앙에 전체를 조율하는 제어 회로를 두고 외부 포트를 둘레에 대칭으로 배치해 어떤 장치가 연결되더라도 신호 이동 거리가 같아지도록 했고, 각 포트에는 링크 가속 유닛과 패브릭 컨트롤러, 버퍼가 통합돼 어느 포트로 데이터가 들어오든 같은 순서로 처리된다. 이론으로 제시한 설계 원리를 실제 칩으로 구현해 검증까지 마쳤다는 의미다. 파네시아는 이 구조의 핵심 부품을 실제 칩으로 만들어 이미 제품 공급 단계에 들어선 상태다.

논문은 여러 AI 작업이 동시에 돌아가는 환경을 고려해 사용자별 접근 범위를 나누고 하드웨어 차원에서 허용된 사용자만 접근하도록 제한하는 방법, 데이터를 암호화해 주고받는 방법 등 보안 대책도 함께 다뤘다. 또 전기 신호가 멀리 갈수록 약해지는 물리적 한계를 넘기 위해, 최신 규격(128GT/s) 기준 약 7미터, 랙 6~7개 수준에 그치는 연결 범위를 데이터센터 전체로 넓히는 방안으로 나머지 설계는 그대로 두고 신호만 빛으로 주고받는 CXL-over-Optics를 다음 단계로 제시했다.

이번 논문이 실린 리뷰 논문은 학술지 측이 해당 분야 전문가에게 직접 집필을 요청하는 초청 방식으로 기획된다. 정명수 교수와 파네시아 연구진은 메타의 데이터센터 인프라 연구진과 함께 CXL 기술의 발전 현황을 분석하고 차세대 AI 데이터센터의 설계 방향을 제시했다. 정 교수 연구진은 KAIST에서 CXL 기반 컴퓨터 시스템과 반도체 기술을 지속적으로 연구해 왔으며, 창업 이후에는 관련 핵심 기술을 실제 반도체 칩으로 제작해 작동을 검증하는 등 연구성과의 실용화를 이어가고 있다.

정명수 KAIST 전기및전자공학부 교수 겸 파네시아 대표는 “AI가 거대해질수록 개별 가속기의 성능만큼 수많은 가속기와 메모리를 얼마나 빠르고 효율적으로 연결하느냐가 중요하다”며 “이번 연구는 CXL을 기반으로 데이터센터 전체를 하나의 컴퓨팅 시스템처럼 동작시키는 차세대 AI 인프라의 방향을 제시했다는 데 의미가 있다”고 말했다. 장치 간 속도 편차를 구조적으로 줄인 이번 접근은 대규모 AI 인프라의 성능과 안정성을 함께 끌어올리는 토대가 될 것으로 기대된다.

#KAIST #AI데이터센터 #CXL #파네시아 #메타