KAIST, 구글 Gemini 구조 악용한 ‘악성 전문가 AI’ 보안 위협 세계 최초 규명

전문가 혼합(MoE) 구조 취약점 실증… 단 하나의 악성 전문가로 유해 응답률 최대 80%까지 급증

거대언어모델(LLM)의 효율성을 높이기 위해 널리 채택되고 있는 ‘전문가 혼합(Mixture-of-Experts, MoE)’ 구조가 새로운 보안 위협이 될 수 있다는 사실이 국내 연구진에 의해 처음으로 규명됐다. 구글의 Gemini를 비롯한 주요 상용 LLM에 적용되는 핵심 설계 방식이 공격의 표적이 될 수 있음을 실증적으로 보여준 연구다.

KAIST는 전기및전자공학부 신승원 교수와 전산학부 손수엘 교수가 이끄는 공동연구팀이 전문가 혼합 구조를 악용해 LLM의 안전성을 심각하게 훼손할 수 있는 공격 기법을 세계 최초로 규명했다고 12월 26일 밝혔다. 해당 연구는 정보보안 분야 최고 권위 국제학회인 ACSAC 2025에서 최우수논문상(Distinguished Paper Award)을 수상했다.

MoE 구조는 여러 개의 ‘전문가 AI 모델’ 가운데 입력 상황에 맞는 일부만 선택적으로 활성화해 연산 효율을 높이는 방식이다. Google의 Gemini 등 다수의 상용 LLM이 이 구조를 채택하고 있다. 연구팀은 바로 이 선택 메커니즘이 새로운 공격 경로가 될 수 있다는 점에 주목했다.

연구 결과에 따르면, 공격자는 거대언어모델의 내부 구조에 직접 접근하지 않더라도 악의적으로 조작된 ‘전문가 모델’ 하나만을 오픈소스로 유통시켜 전체 시스템의 안전성을 무너뜨릴 수 있다. 정상적인 전문가들 사이에 단 하나의 악성 전문가가 섞여 있을 경우, 특정 조건에서 해당 전문가가 반복적으로 선택되며 유해 응답이 급증하는 현상이 확인됐다.

실험에서 연구팀이 제안한 공격 기법을 적용하자, 기존에는 유해 응답이 거의 발생하지 않던 모델에서 유해 응답률이 최대 80%까지 증가했다. 특히 문제는 이러한 상황에서도 모델의 전반적인 성능 저하가 거의 나타나지 않아, 운영자가 사전에 이상 징후를 감지하기 어렵다는 점이다. 이는 MoE 기반 LLM이 ‘겉보기 성능’만으로는 안전성을 판단하기 어렵다는 구조적 한계를 보여준다.

이번 연구는 오픈소스 기반 LLM 개발 환경이 확산되는 상황에서 발생할 수 있는 새로운 보안 위협을 최초로 제시했다는 점에서 의미가 크다. 전문가 모델의 출처와 무결성 검증이 미흡할 경우, 전체 시스템이 의도치 않게 위험한 응답을 생성할 수 있음을 실증적으로 입증했다.

신승원 교수와 손수엘 교수는 효율성을 이유로 빠르게 확산 중인 전문가 혼합 구조가 보안 측면에서는 새로운 취약점이 될 수 있음을 확인했다며, 앞으로는 모델 성능뿐 아니라 전문가 모델의 출처와 안전성 검증을 필수 요소로 고려해야 한다고 강조했다. 연구진은 이번 성과가 인공지능 보안의 중요성을 국제적으로 인정받은 사례라고 설명했다.

이번 연구에는 KAIST 전기및전자공학부 김재한·송민규 박사과정생과 나승호 박사(현 삼성전자)가 참여했으며, 연구 결과는 2025년 12월 미국 하와이에서 열린 ACSAC에서 발표됐다. 연구는 과학기술정보통신부와 한국인터넷진흥원(KISA), 정보통신기획평가원(IITP)의 지원을 받았다.

#KAIST #AI보안 #거대언어모델 #MoE #Gemini #악성전문가AI #ACSAC2025 #최우수논문상 #오픈소스AI #인공지능위협