시간 데이터베이스 기반 자동 생성·검증 구조… 평가 비용 51% 절감
거대언어모델(LLM)은 방대한 정보를 바탕으로 답변을 생성하지만, 시간에 따라 변하는 사실을 정확히 반영하는 데에는 한계를 보여왔다. 겉으로는 맞는 답처럼 보이지만 실제 시점과 맞지 않는 이른바 ‘시간 환각(Temporal Hallucination)’ 문제가 대표적이다. KAIST 전기및전자공학부 황의종 교수 연구팀은 마이크로소프트연구소와의 공동연구를 통해, 이러한 시간 기반 오류를 자동으로 평가·진단하는 기술을 개발했다. 이번 연구는 LLM의 신뢰성을 정량적으로 평가할 수 있는 기반을 제시했다는 점에서 의미가 있다.
기존 AI 평가 방식은 최종 답이 맞는지를 중심으로 판단해 왔다. 그러나 시간 정보가 중요한 질문에서는 단순 정답 여부만으로는 오류를 판별하기 어렵다. 예를 들어 특정 인물의 직위나 사건 시점이 바뀌었음에도, 과거 정보를 기반으로 답변할 경우 겉보기에는 자연스럽지만 실제로는 틀린 답이 될 수 있다. 이처럼 답변 과정에서 발생하는 시간적 오류는 기존 평가 체계로는 충분히 걸러내기 어려웠다. 연구팀은 평가 방식 자체를 바꿨다. 40여 년간 축적된 시간 데이터베이스(Temporal Database) 설계 이론을 AI 평가에 적용해, 데이터베이스만으로 다양한 시간 기반 문제를 자동 생성하는 구조를 설계했다. 이를 통해 기존에는 사람이 직접 만들던 평가 문제를 자동화하고, 총 13가지 유형의 복잡한 시간 관계를 반영한 테스트가 가능해졌다.
이번 기술의 핵심은 평가 기준의 확장이다. 연구팀은 최종 답의 정오 여부뿐 아니라, 답변 과정에서 제시된 날짜와 기간의 논리적 타당성까지 함께 검증하는 지표를 도입했다. 그 결과 기존 방식으로는 탐지하기 어려웠던 시간 환각을 평균 21.7% 더 정확하게 검출하는 성과를 확인했다. 이 구조는 평가 효율성 측면에서도 변화를 만든다. 데이터가 변경될 경우 데이터베이스만 업데이트하면 평가 문제와 정답이 자동으로 갱신되기 때문에, 기존처럼 문제를 일일이 수정할 필요가 없다. 연구팀은 이를 통해 평가 데이터 구축 비용을 약 51% 절감할 수 있음을 확인했다.
이번 기술은 일반 데이터뿐 아니라 전문 영역에도 적용 가능하다. 연구팀은 의료·법률과 같이 시간 정보의 정확성이 중요한 분야에서도 데이터베이스 기반 평가를 통해 AI 성능을 보다 정밀하게 검증할 수 있을 것으로 보고 있다. 이는 AI 활용이 확대되는 환경에서 신뢰성 확보를 위한 핵심 기술로 작용할 가능성이 있다.
이번 연구에는 KAIST 김소연 박사과정이 제1저자로 참여했으며, 연구 결과는 인공지능 분야 국제 학술대회 ICLR 2026에서 발표될 예정이다. AI 성능 경쟁은 단순한 정확도를 넘어 신뢰성의 문제로 이동하고 있다. 이번 연구는 평가 방식 자체를 자동화하고 정밀화함으로써, AI 신뢰성 검증의 새로운 기준을 제시했다는 점에서 의미를 갖는다.
#KAIST #AI #LLM #인공지능 #데이터베이스 #AI평가 #신뢰성
