GPT·LLaMA·Qwen 등 주요 LLM 비교 분석… Qwen은 Attention 구조에 지식 저장, 모델별 학습 메커니즘 차이 첫 규명

조선대학교(총장 김춘성) AI소프트웨어학부 정보통신공학전공 김현일 교수 연구팀이 대형 언어모델(LLM)의 지식 저장 메커니즘이 모델 구조에 따라 달라진다는 사실을 세계 최초로 규명했다. 이번 연구는 인공지능 분야 최고 권위 학회인 『The 2025 Conference on Empirical Methods in Natural Language Processing(EMNLP 2025)』 메인 포스터 트랙에 채택되어 발표됐다. 김현일 교수(교신저자)와 최민영 석사과정생(제1저자)이 이끄는 연구팀은 숭실대, 공주대 공동연구진과 함께 GPT, LLaMA, Qwen 등 주요 범용 언어모델을 대상으로 AI가 ‘지식을 저장하고 재활용하는 방식’을 비교 분석했다. 그 결과, 기존 연구에서 대부분의 언어모델이 피드포워드(feed-forward) 계층에 정보를 저장한다고 알려졌던 것과 달리, Qwen 계열 모델은 Attention 구조(주의집중 기제)에 지식을 저장한다는 사실을 밝혀냈다.

이번 연구는 AI의 내부 작동 원리가 모델 구조에 따라 달라질 수 있음을 실험적으로 입증한 첫 사례다. 연구팀은 각 모델의 파라미터와 내부 신호 변화를 분석한 결과, 모델의 구조적 특성이 ‘정보의 기억 위치와 형태’를 결정짓는 주요 요인으로 작용한다는 점을 확인했다. 즉, 같은 데이터를 학습하더라도 모델 구조에 따라 어떤 층(layer)에, 어떤 방식으로, 어떤 형태의 연관성으로 지식이 저장되는지가 달라진다는 것이다. 이 발견은 AI 학습의 효율성과 정보 수정 가능성을 높이기 위한 ‘모델 맞춤형 학습 및 지식 편집 기술’ 개발의 새로운 전환점으로 평가된다.

이번 연구는 AI가 데이터를 단순히 암기하는 것이 아니라, 내부에서 정보를 ‘어디에’ ‘어떻게’ 구조화하는지를 설명할 수 있는 근거를 제시했다는 점에서도 큰 의미를 가진다. 이는 최근 AI 분야의 핵심 화두인 ‘해석가능성(Interpretability)’ 연구와도 맞닿아 있다. 김현일 교수는 “AI의 지식 저장 메커니즘을 이해한다는 것은 모델이 왜 특정한 판단을 내리는지를 설명할 수 있는 첫 단추”라며 “이 연구를 통해 AI의 신뢰성과 안정성을 높이는 기술 발전이 가속화될 것”이라고 밝혔다.

연구팀은 이번 성과가 챗봇, 번역기 등 범용 언어모델의 정확도 향상은 물론, 기업·공공기관에서 활용되는 산업 특화형 AI의 학습 효율화와 지식 업데이트 기술에도 활용될 것으로 전망했다. 특히 모델별 특성에 따른 지식 편집·재학습 최적화 알고리즘 개발이 가능해져, 데이터 수정이나 정보 갱신이 필요한 산업 분야에서 AI 유지·보수 비용을 대폭 줄이는 효과가 기대된다. 김 교수 연구팀은 이번 성과 이전에도 ‘AI 보안성 평가를 위한 백도어 공격 고도화 연구’ 를 수행해 국제학술지 『IEEE Transactions on Dependable and Secure Computing』(JCR 상위 5%)에 2025년 7월자로 논문을 게재한 바 있다. 이 연구는 AI 내부 취약점을 분석해 보안성과 신뢰성을 동시에 확보하는 해석가능 AI의 확장 연구로 평가받고 있다.

김현일 교수는 “AI가 스스로 학습한 정보를 어떻게 저장하고 활용하는지를 이해하는 것은, 인공지능의 진화 방향을 인간이 통제하고 신뢰할 수 있게 만드는 핵심 열쇠”라며 “이번 연구를 토대로 모델별로 최적화된 학습·지식 수정 기술 개발을 이어갈 계획”이라고 밝혔다.

#조선대학교 #김현일교수 #AI언어모델 #LLM #EMNLP2025 #해석가능AI #GPT #LLaMA #Qwen #인공지능연구 #스포트라이트유

광고