KAIST 백세범 석좌교수팀, AI 과신 원인 규명… 노이즈 예열 학습으로 신뢰성 개선

딥러닝 초기화 단계에서 과도한 확신 발생 확인… 자율주행·의료 AI·생성형 AI 등 적용 가능성 제시

KAIST 연구진이 인공지능이 스스로 모르는 상황을 인식하도록 하는 학습 방법을 개발했다. 자율주행과 의료 진단, 생성형 AI 등에서 주요 위험으로 지적돼 온 과도한 확신 문제를 줄이고, 인공지능 모델의 신뢰성을 높일 수 있는 접근법이다. KAIST는 뇌인지과학과 백세범 석좌교수 연구팀이 딥러닝 모델에서 널리 사용되는 무작위 가중치 초기화가 인공지능의 과신을 유발하는 원인일 수 있음을 규명하고, 이를 완화하기 위한 ‘노이즈 예열 학습’ 전략을 제안했다고 27일 밝혔다.

인공지능 모델은 예측 결과와 함께 해당 예측에 대한 확신도를 출력하지만, 이 확신도가 실제 정답률과 일치하지 않는 경우가 적지 않다. 잘 모르는 입력에 대해서도 높은 확신을 보이면 실제 응용 환경에서 잘못된 판단으로 이어질 수 있다. 특히 자율주행, 의료 인공지능, 생성형 AI처럼 신뢰성과 안전성이 중요한 분야에서는 모델이 무엇을 알고 무엇을 모르는지를 구분하는 능력이 핵심적인 과제로 다뤄져 왔다. 기존 연구는 주로 학습이 끝난 뒤 확신도를 보정하는 방식으로 문제를 다뤄왔다. 반면 KAIST 연구팀은 과신 문제가 학습 이후가 아니라 학습의 출발점인 초기화 단계에서 이미 나타날 수 있다는 점에 주목했다. 연구팀은 표준 방식으로 무작위 초기화된 신경망에 임의의 데이터를 입력했을 때, 모델이 아직 아무것도 배우지 않은 상태임에도 높은 확신도를 보이는 현상을 확인했다. 이는 실제 데이터를 학습하기 전부터 신경망 내부에 과신 편향이 존재할 수 있음을 보여준다.

연구팀은 해결의 실마리를 생물학적 두뇌의 발달 과정에서 찾았다. 인간의 두뇌는 태어나기 전부터 외부 자극 없이도 자발적 신경 활동을 통해 신경회로를 형성한다. 연구팀은 이 개념을 인공신경망에 적용해, 실제 데이터를 학습하기 전에 무작위 노이즈와 무작위 라벨을 이용해 신경망을 짧게 학습시키는 예열 단계를 도입했다. 이 과정은 인공지능이 본격적으로 데이터를 배우기 전에 스스로의 불확실성을 먼저 조정하도록 하는 방식이다. 예열 과정을 거친 모델은 초기 확신도가 우연 수준에 가까운 낮은 값으로 정렬됐고, 기존 초기화 방식에서 나타나던 과신 편향도 크게 완화됐다. 실제 데이터를 배우기 전에 ‘아직 알지 못한다’는 상태를 먼저 학습하게 한 것이다.

연구팀은 이 방식을 적용한 모델에서 정확도와 확신도가 더 자연스럽게 대응하는 결과를 확인했다. 기존 모델은 학습하지 않은 데이터에 대해서도 높은 확신을 보이며 잘못된 답을 제시하는 경향이 있었지만, 예열 학습을 적용한 모델은 확신도를 낮춰 모르는 입력을 구분하는 능력이 향상됐다. 이를 통해 학습 데이터와 다른 성격의 데이터를 식별하는 분포 밖 데이터 탐지에서도 높은 성능을 보였다.

이번 연구는 KAIST 뇌인지과학과 백세범 석좌교수 연구팀이 수행했으며, KAIST 천정환 뇌인지과학과 석사 과정 연구자 현 육군 일병이 제1저자로 참여했다. 연구 결과는 인공지능 분야 국제 학술지 ‘네이처 머신 인텔리전스(Nature Machine Intelligence)’에 2026년 4월 9일 온라인 게재됐다. 논문명은 ‘Brain-inspired warm-up training with random noise for uncertainty calibration’이며, 주목할 만한 논문으로 선정돼 ‘뉴스 앤 뷰스(News & Views)’에도 소개됐다.

백세범 석좌교수는 이번 연구가 두뇌 발달 과정을 모사함으로써 인공지능이 인간과 유사하게 자신의 지식 상태를 인식할 수 있음을 보여준 사례라고 설명했다. 또한 정확도를 높이는 데 그치지 않고, 인공지능이 스스로의 불확실성을 판단하는 원리를 제시했다는 점에 의의가 있다고 밝혔다. 이번 연구는 한국연구재단의 이공분야기초연구사업과 KAIST 싱귤래러티 연구사업의 지원을 받아 수행됐다. 백 교수는 UC Berkeley 물리학 박사 출신으로, KAIST 뇌인지과학과 석좌교수이자 한국계산뇌과학회 회장, Science Advances 신경과학분과 부편집장 등을 맡고 있다.

이번 연구는 인공지능이 단순히 정답을 맞히는 수준을 넘어, 자신이 아는 것과 모르는 것을 구분할 수 있는 가능성을 제시했다는 점에서 의미가 있다. 특히 생성형 AI에서 사실과 다른 내용을 그럴듯하게 만들어내는 환각 문제, 자 율주행과 의료 AI에서 잘못된 판단이 실제 피해로 이어질 수 있는 문제와도 연결된다. 무작위 노이즈 예열 학습은 거의 모든 딥러닝 모델의 초기화 방식에 적용될 수 있는 접근법으로 제시됐다. 연구팀의 결과는 신경과학과 기계학습을 결합해 인공지능의 신뢰성 문제를 다룬 사례로, 향후 고신뢰 인공지능 개발을 위한 초기 학습 조건 설계에 활용될 가능성이 있다.

#KAIST #백세범 #천정환 #인공지능신뢰성 #노이즈예열학습