KAIST, AI에 ‘가정교사’ 붙였다…사람의 선호를 더 정확히 배우는 학습 기술 개발

This post is also available in:

적은 데이터로도 안정적 학습 구현…신뢰 가능한 AI 정렬 기술 새 해법 제시

아무리 많은 데이터를 학습해도 인공지능이 사람의 의도를 정확히 이해하지 못하는 문제는 AI 기술 발전의 고질적인 과제로 남아 있었다. 특히 “A가 B보다 낫다”와 같은 단순 선호 비교 데이터에 의존한 기존 학습 방식은 데이터가 부족하거나 판단이 모호한 상황에서 AI를 오히려 혼란스럽게 만드는 한계를 드러내 왔다.

KAIST 전기및전자공학부 김준모 교수 연구팀은 이러한 문제를 해결하기 위해, 인간의 선호를 깊이 이해한 ‘교사(Teacher) 모델’이 핵심 정보만을 ‘학생(Student) 모델’에게 전달하는 새로운 강화학습 프레임워크 TVKD(Teacher Value-based Knowledge Distillation)를 개발했다. 연구팀은 이 방식을 복잡한 개념을 정리해 가르치는 가정교사에 비유하며, AI 학습의 효율성과 안정성을 동시에 끌어올리는 해법으로 제시했다.

TVKD의 핵심은 단순 모방이나 비교 학습이 아니라, 각 선택이 지닌 가치를 수치적으로 판단하는 가치 함수(Value Function)를 중심에 둔다는 점이다. 교사 모델은 인간 선호 데이터를 기반으로 상황별 가치를 먼저 학습하고, 이를 학생 모델에 전달해 학습을 유도한다. 이 과정에서 AI는 단편적인 비교 결과가 아니라, “왜 이 선택이 더 나은지”를 문맥 전체에서 이해하며 학습하게 된다. 이를 통해 기존 방식에서 빈번히 발생하던 학습 불안정성과 판단 오류가 크게 줄어들었다.

연구팀은 두 가지 핵심 기술적 장치를 통해 학습 안정성을 강화했다. 첫째, 문맥 전체를 고려한 가치 판단을 학생 모델에 반영함으로써 단편적 응답이 아닌 일관된 의사결정 구조를 학습하도록 했다. 둘째, 선호 데이터의 신뢰도에 따라 학습 가중치를 조절하는 방식을 도입해, 명확한 데이터는 크게 반영하고 모호하거나 잡음이 섞인 데이터는 영향력을 줄였다. 이로 인해 현실과 같이 불완전하고 노이즈가 많은 환경에서도 AI가 안정적으로 수렴하며 학습을 이어갈 수 있는 기반이 마련됐다.

연구팀이 TVKD를 여러 AI 모델에 적용해 실험한 결과, MT-Bench와 AlpacaEval 등 주요 평가 지표에서 기존 최고 성능을 안정적으로 상회하는 결과가 확인됐다. 특히 성능 편차가 줄어들며 일관성이 크게 향상됐다는 점에서, 실제 서비스 환경에 적용 가능한 정렬 기술로서의 가능성이 주목된다. 김준모 교수는 “현실에서는 사람의 선호 데이터가 항상 충분하거나 완벽하지 않다”며 “이번 기술은 이러한 제약 속에서도 AI가 일관되게 학습할 수 있도록 해, 다양한 분야에서 실용성이 매우 높다”고 설명했다.

이번 연구에는 KAIST 전기및전자공학부 권민찬 박사과정생이 제1저자로 참여했으며, 연구 성과는 인공지능 분야 최고 권위 학회 중 하나인 신경정보처리시스템학회(NeurIPS 2025)에 채택돼 국제적으로 연구 가치를 인정받았다. 해당 연구는 AI의 안전성 강화와 사용자 맞춤형 모델, 멀티모달 정렬 등 다양한 응용 분야로 확장될 가능성을 지닌 기술로 평가된다. 연구는 과학기술정보통신부와 정보통신기획평가원의 지원을 받아 수행됐으며, 향후 신뢰 가능한 AI 모델 개발의 핵심 기반 기술로 활용될 것으로 기대된다.

#KAIST #AI강화학습 #선호학습 #TVKD #신뢰가능한AI #NeurIPS #AI정렬