김창익 교수팀, 개인화 성능 유지하며 위험 응답률 약 8%로 낮춰… ICML 2026 스포트라이트 선정
KAIST 전기및전자공학부 김창익 교수 연구팀이 대형언어모델을 개인이나 기업의 데이터에 맞게 재학습하는 과정에서 안전성이 약화되는 문제를 줄이는 ‘버퍼 앤드 리인포스(Buffer-and-Reinforce)’ 학습 프레임워크를 개발했다.
대형언어모델은 출시 전 위험한 요청에 답하지 않도록 안전 정렬 과정을 거친다. 그러나 사용자가 자신의 문서나 데이터로 모델을 파인튜닝하면 새로운 업무 능력은 높아지는 반면, 기존 안전 규칙이 약화될 수 있다는 문제가 제기돼 왔다.
연구팀은 사용자 맞춤형 성능을 유지하면서도 안전성을 보존하고 강화할 수 있도록 완충 모듈과 안전성 강화 모듈을 결합한 2단계 학습 방식을 제안했다.
연구팀은 AI가 위험한 요청에도 응답할 수 있는 탈옥 상태에서 맞춤형 학습을 진행하면, 위험한 정보에 대한 추가 학습은 줄어드는 반면 정상적인 업무 능력은 계속 학습할 수 있다는 기존 현상에 주목했다.
연구팀은 이 원리를 실제 서비스에 그대로 사용하는 대신, 맞춤형 학습 과정에만 임시로 적용하는 완충 모듈 ‘버퍼로라(BufferLoRA)’를 개발했다.
버퍼로라는 사용자 데이터를 학습하는 동안 AI 본체에 임시로 부착돼 악성 데이터가 모델에 직접 영향을 미치지 않도록 하는 역할을 한다. 맞춤형 학습이 끝나면 해당 모듈은 제거된다.
이후에는 안전성 강화 모듈인 ‘리인포스로라(ReinforceLoRA)’를 적용해 AI의 안전성을 다시 높인다. 연구팀은 QR 분해 기법을 활용해 사용자가 학습시킨 새로운 기능과 안전성 강화 기능이 충돌하지 않도록 설계했다.
연구팀은 경사도 분석을 통해 일시적 탈옥 상태에서 위험한 응답을 유도하는 학습 신호가 포화돼 추가적인 악성 데이터의 영향을 덜 받는다는 점을 규명했다. 반면 사용자가 원하는 정상적인 업무와 관련된 학습 신호는 유지되는 것으로 나타났다.
실험에서는 사용자 데이터 전체가 위험한 질문과 답변으로 구성된 환경에서도 모델이 높은 안전성을 유지했다. 재학습 이후 위험한 답변을 생성하는 비율은 약 8%로 나타나, 재학습하지 않은 기존 모델의 약 18%보다 낮았다.
연구팀은 별도의 안전성 재학습이나 추가적인 계산 비용 증가 없이 맞춤형 작업 성능과 안전성을 함께 확보했다고 설명했다. 버퍼로라와 리인포스로라는 서비스 배포 전에 한 번 학습한 뒤 여러 사용자의 파인튜닝 과정에 반복적으로 활용할 수 있다.
이번 연구에는 KAIST 전기및전자공학부 함석일 박사과정이 제1저자로 참여했다. 장재혁·이원준 박사과정이 공동 연구에 참여했으며, 김창익 교수가 교신저자를 맡았다.
연구 논문은 ‘Jailbreak to Protect: Buffering and Reinforcing via Temporary Jailbreaking for Safe Fine-Tuning in Large Language Models’로, 국제머신러닝학회 ICML 2026에서 전체 투고 논문 중 상위 약 2.2%에 해당하는 스포트라이트 논문으로 선정됐다.
김창익 교수는 “이번 연구는 누구나 자신의 데이터로 맞춤형 AI를 자유롭게 만들면서도 더욱 안전하게 사용할 수 있도록 하는 핵심 기반 기술”이라며 “AI 안전성이 더욱 강조되는 AI 개인화와 AI 에이전트 시대에 신뢰할 수 있는 AI 서비스 환경을 구축하는 데 기여할 것으로 기대한다”고 말했다.
이번 기술은 기업 내부 문서 기반 업무 보조 AI, 의료·법률·금융 분야의 전문 AI, 교육용 맞춤형 AI, 고객 상담 챗봇, 연구 보조 AI 등 대형언어모델을 사용자 목적에 맞게 재학습하는 분야에 적용될 수 있다. 연구팀은 앞으로 텍스트 기반 대형언어모델을 넘어 멀티모달 AI와 에이전트형 AI 시스템에서도 안전한 개인화가 가능하도록 후속 연구를 이어갈 계획이다.
이번 연구는 과학기술정보통신부와 정보통신기획평가원의 ‘공존가능한 신뢰AI를 위한 AI Safety 기술개발사업’ 지원을 받아 수행됐다.
#KAIST #김창익교수 #AI개인화 #대형언어모델 #AI안전성
답글 남기기