김대수 교수팀, 생쥐 골격 움직임 토큰화해 학습… 자폐 모델 생쥐 사회행동 결함 발견

KAIST 뇌인지과학과 김대수 교수 연구팀이 동물의 움직임을 언어처럼 읽고 해석하는 인공지능 모델 ‘비헤이버트(BehaVERT)’를 개발했다.

비헤이버트는 생쥐의 골격 움직임을 자연어의 단어에 해당하는 ‘토큰(token)’으로 변환해 학습하는 AI 모델이다. 연구팀은 생쥐의 코, 귀, 척추, 사지, 꼬리 등 신체 부위의 골격 좌표를 토큰으로 변환한 뒤, 자연어 처리에 널리 사용되는 BERT 기반 트랜스포머 모델에 입력해 시간 흐름 속에서 행동의 의미를 학습하도록 했다.

이번 연구는 AI가 단순히 동물 행동을 분류하는 데 그치지 않고, 행동 데이터 안에서 생물학적으로 중요한 단서를 찾아낼 수 있음을 보였다는 점에서 의미가 있다. 연구팀은 비헤이버트가 별도의 사전 생물학 지식 없이도 자폐 모델 생쥐의 핵심 사회행동 결함을 스스로 발견할 수 있음을 확인했다.

기존 자동 행동 분석 도구들은 영상에서 동물의 자세나 골격 좌표를 추출하고, 특정 행동을 분류하는 데 초점을 맞춰 왔다. 그러나 좌표의 시계열 데이터가 실제로 어떤 의미를 갖는 행동인지 해석하는 과정은 여전히 전문가의 수작업에 의존하는 경우가 많았다. 또 모델이 왜 그런 판단을 내렸는지 설명하기 어려워 생물학적 해석으로 이어지는 데 한계가 있었다.

연구팀은 이 문제를 해결하기 위해 동물의 골격 움직임을 언어처럼 다루는 접근법을 적용했다. 비디오에서 추출한 골격 좌표를 매 프레임 단위의 토큰으로 변환하고, 이를 트랜스포머 모델에 입력해 행동의 시간적 흐름과 의미를 함께 학습하도록 설계했다. 모델은 매 프레임의 행동뿐 아니라 전체 행동 시퀀스의 상태도 분류할 수 있으며, 어떤 행동에 주목해 판단했는지도 어텐션 분석을 통해 확인할 수 있다.

비헤이버트는 사회적 상호작용, 다개체 행동, 3차원 움직임 분석, 자폐 행동 분석 등 다양한 분야의 국제 표준 벤치마크 5종에서 기존 최고 수준의 성능을 넘어섰다. 연구팀은 CaLMS21, MABe22, PAIR-R24M, DeepEthogram, SBeA 등 다섯 개 벤치마크에서 모델 성능을 검증했다.

광고

연구팀은 비헤이버트가 자폐 모델 생쥐와 정상 생쥐를 구분할 때 어떤 행동에 주목하는지도 분석했다. 실험 결과, 모델은 Shank3B 유전자 결손 자폐 모델 생쥐와 정상 생쥐를 구분하는 과정에서 두 마리가 가까이 있는 상태를 먼저 탐색한 뒤, 그 안에서 ‘입과 입을 맞대는 접촉(oral-oral contact)’에 집중하는 것으로 나타났다.

이는 자폐 모델 생쥐가 접근 행동은 정상적으로 수행하지만 실제 상호적 사회행동에는 결함을 보인다는 기존 행동신경과학 연구 결과와 일치한다. 연구팀은 AI가 사전에 생물학적 지식을 학습하지 않았음에도 행동 관찰만으로 자폐 행동의 핵심 특징을 찾아낸 것으로 설명했다.

비헤이버트의 내부 표현 공간에서는 행동들이 이동성, 수직 주의, 사회적 관여 등 해석 가능한 축을 따라 정렬되는 것으로 나타났다. 행동 간 의미 관계도 단어 임베딩처럼 일관된 벡터 변환으로 표현됐다. 연구팀은 이를 통해 동물의 움직임 자체에도 언어와 유사한 의미 구조가 존재할 수 있음을 확인했다고 밝혔다.

이번 연구에는 KAIST 뇌인지과학과 신승재 박사가 제1저자로 참여했다. 연구진은 모두 생명과학을 전공한 연구자들로, 인공지능을 직접 학습하고 행동 분석에 특화된 모델과 학습 전략을 설계했다. 김대수 교수 연구실은 그동안 동물 행동 데이터를 활용한 AI 연구를 수행해 왔으며, 쥐의 행동을 가상공간에 구현하는 ‘아바타(AVATAR)’ 기술을 개발해 ㈜액트노바를 창업한 바 있다.

신승재 박사는 “동물의 움직임에도 언어와 같은 구조가 존재할 수 있다는 질문에서 연구가 시작됐다”고 말했다. 연구팀은 사람이 정답을 알려주지 않아도 AI가 행동 데이터만으로 스스로 학습하는 방식을 도입했으며, 쥐의 행동으로 학습한 모델이 생쥐의 행동 분석에도 성공적으로 활용되는 것을 확인했다.

김대수 교수는 “비헤이버트는 단순히 행동을 분류하는 것을 넘어 행동의 의미까지 이해할 수 있는 새로운 인공지능 모델”이라며 “향후 신약 개발과 정신질환 연구, 행동유전학 등 다양한 생명과학 분야에서 새로운 발견을 이끄는 핵심 연구 도구가 될 것으로 기대한다”고 말했다.

연구 결과는 컴퓨터비전 분야 학술지 ‘International Journal of Computer Vision(IJCV)’에 2026년 3월 24일 게재됐다. 논문명은 ‘BehaVERT: A Transformer-Based Motion Language Model for Decoding Behavioral Semantics in Mice’이며, DOI는 10.1007/s11263-026-02834-y이다.

이번 연구는 과학기술정보통신부가 지원하고 한국연구재단이 주관하는 중견연구자지원사업과 뇌과학선도융합기술개발사업의 지원을 받아 수행됐다. 연구팀은 비헤이버트 모델과 웹 기반 골격·행동 라벨링 도구, 표준화된 데이터셋을 공개해 생명과학 연구자들이 자신의 행동 영상 분석에 활용할 수 있도록 했다.

#KAIST #김대수교수 #비헤이버트 #동물행동분석 #행동파운데이션모델