KAIST–마이크로소프트연구소 아시아, 뇌파로 인간-AI 어긋남 잡는 ‘신경 가치 정렬’ 기술 개발

AI가 목표 오류와 방식 오류를 뇌파 신호로 구분해 스스로 수정…IEEE 트랜잭션스 온 사이버네틱스 게재

사람이 일일이 말하거나 몸짓으로 알려주지 않아도, 인공지능(AI)이 사람의 뇌에서 나오는 ‘이게 아닌데’라는 반응을 알아채 스스로 행동을 고치는 기술이 개발됐다. KAIST는 뇌인지과학과 이상완 석좌교수(신경과학-인공지능 융합연구센터장) 연구팀이 마이크로소프트연구소 아시아(Microsoft Research Asia)와의 국제 공동연구를 통해 인간의 뇌파를 이용해 AI를 실시간으로 인간의 목표에 맞추는 차세대 뇌-컴퓨터 인터페이스(BCI) 기술인 ‘신경 가치 정렬(Neural Value Alignment, NVA)’을 개발했다고 10일 밝혔다.

AI가 사람과 자연스럽게 협업하려면 사람이 실제로 무엇을 원하는지 정확히 파악해야 한다. 그러나 지금까지 AI는 주로 사람의 말이나 행동, 몸짓처럼 외부로 드러난 정보를 바탕으로 의도를 추정해 왔다. 문제는 같은 행동이라도 목적이 다를 수 있다는 점이다. 사람이 컵을 집는 행동 하나만 봐도 직접 물을 마시려는 것인지, 다른 사람에게 건네려는 것인지 구별하기 어렵다. 연구팀은 이러한 ‘목표-행동 모호성’ 때문에 AI가 사람의 의도를 잘못 이해하면 사용자가 다시 명령하거나 행동을 교정해야 하는 한계가 있었다고 설명했다.

연구팀은 이 문제를 풀기 위해 사람이 예상과 다른 상황을 마주했을 때 뇌에서 무의식적으로 발생하는 ‘예측 오차’에 주목했다. AI가 잘못된 행동을 했을 때 사람이 순간적으로 느끼는 ‘이게 아닌데’라는 뇌의 반응을 활용한 것이다. 특히 연구팀은 이 반응을 두 종류로 구분했다. AI가 사람의 궁극적인 목표 자체를 잘못 이해했을 때 나타나는 ‘보상 예측 오차(RPE)’와, 목표는 맞지만 행동 과정이나 방식이 예상과 다를 때 나타나는 ‘상태 예측 오차(SPE)’다.

연구팀은 AI가 작업하는 모습을 지켜보는 사람의 실시간 뇌파(EEG)를 측정했다. 그 결과 AI가 목표 자체를 잘못 이해했을 때와 목표는 맞지만 행동 방식이 잘못됐을 때 사람의 뇌가 서로 다른 신호를 보내는 것을 확인했고, 두 가지 오류가 동시에 발생했을 때 나타나는 특징적인 뇌파 패턴도 찾아냈다. 연구팀은 여기에 딥러닝을 적용해 뇌파만으로 사람이 AI의 행동을 어떻게 받아들이고 있는지 구분하는 기술을 개발했다. 사람이 직접 ‘틀렸다’고 말하지 않아도 뇌파를 통해 ‘목표가 틀렸다’거나 ‘방법이 틀렸다’는 반응을 AI가 알아챌 수 있게 한 것이다.

연구팀은 이어 이렇게 읽어낸 뇌 신호를 AI에 실시간으로 전달해 스스로 행동을 고치도록 하는 ‘신경 가치 정렬 기반 인간-AI 시너지’ 알고리즘을 제안했다. AI는 상태 예측 오차가 감지되면 ‘원하는 목표는 맞지만 방법이 잘못됐다’고 판단해 행동 방식을 바꾸고, 보상 예측 오차가 나타나면 ‘목표 자체를 잘못 이해했다’고 판단해 사람이 실제로 원하는 것이 무엇인지 다시 찾는다. 시뮬레이션 결과 사람의 목표가 갑자기 바뀌거나 일부 신호가 빠지는 등 불확실한 상황에서도 기존 방식보다 빠르게 사람의 의도 변화에 적응하는 것으로 나타났다.

이번 연구의 의미는 사람이 AI에게 계속 ‘이렇게 해’, ‘그게 아니야’라고 말하거나 몸짓으로 알려주지 않아도 AI가 사람의 무의식적인 뇌 반응을 읽고 스스로 행동을 고칠 수 있다는 가능성을 보여줬다는 데 있다. 향후 기술이 발전하면 가정이나 산업 현장의 피지컬 AI 로봇이 사용자의 의도를 보다 자연스럽게 파악하고 행동을 조정하는 데 활용될 수 있다. 자율주행차가 운전자의 판단을 빠르게 반영하거나, 말을 하거나 몸을 움직이기 어려운 환자가 의료·재활 로봇을 제어하고, AI가 학생의 인지 상태에 맞춰 학습을 돕는 기술로도 확장될 수 있다. 연구팀은 사람이 일일이 명령해야 움직이는 AI에서 사람의 반응을 알아채고 스스로 맞춰가는 AI로 발전하는 새로운 인간-AI 협업 방식을 제시한 연구라고 평가했다.

이번 국제 공동연구를 주도한 이상완 교수는 “인공지능이 눈에 보이는 행동 결과만으로 인간의 의도를 추정하던 기존 방식에서 벗어나, 행동 이면에서 발생하는 뇌의 인지 신호를 AI와의 협업에 직접 활용할 수 있음을 보여줬다는 데 의미가 있다”며 “향후 피지컬 AI, BCI, 자율주행, 정밀 맞춤형 교육, 의료용 로봇, 인간-컴퓨터 상호작용(HCI) 등 인간의 판단과 AI의 행동을 긴밀하게 연결해야 하는 다양한 분야로 확장될 수 있을 것”이라고 말했다. 마이크로소프트연구소 이미란 전무는 “이번 성과는 KAIST와 마이크로소프트연구소 아시아가 지속해 온 국제 공동연구의 결실”이라며 “앞으로도 양 기관의 협력을 통해 인간과 AI가 보다 자연스럽게 소통하고 협력할 수 있는 세계적 수준의 BCI 기술 개발을 이어갈 것으로 기대한다”고 말했다.

이번 연구에는 KAIST 뇌인지과학과 박사과정 서흔(Xin Xu) 학생이 제1저자로 참여했으며, 마이크로소프트연구소 아시아의 얀센 왕(Yansen Wang), 동치 한(Dongqi Han), 동쉔 리(Dongsheng Li) 박사 등이 공동 연구진으로 참여했다. 연구 결과는 사이버네틱스 분야 대표 국제 학술지인 ‘IEEE 트랜잭션스 온 사이버네틱스(IEEE Transactions on Cybernetics)’에 2026년 8월 온라인 게재됐다. 논문명은 ‘Neural Value Alignment: Human–AI Collaboration Under Goal-Action Ambiguity’다.

한편 이상완 교수 연구팀과 마이크로소프트연구소 아시아의 또 다른 공동연구도 있다. 지속적으로 변화하는 환경에서 AI가 새로운 정보에 빠르게 적응하도록 하는 연구로, KAIST 뇌인지과학과 박사과정 니클라스 쾨페(Niklas Koeppe) 학생이 제1저자로 참여해 인공지능 분야 대표 국제학회인 ICML 2026(International Conference on Machine Learning)에서 지난 6월 발표됐다. 논문명은 ‘Mitigating Plasticity Loss through Architectural Design in Continual Learning’이다. 이번 연구는 과학기술정보통신부 정보통신기획평가원의 디지털분야글로벌연구지원사업 지원을 받아 수행됐다.