최정우 교수팀, ‘공간 의미 기반 음향 장면 분할’ 분야 우승… 차세대 AR·국방 AI 핵심기술 입증

KAIST(총장 이광형) 전기및전자공학부 최정우 교수 연구팀이 이 질문에 기술로 답하며 세계 최고 권위의 음향 AI 대회에서 1위를 차지했다. 연구팀은 지난 6월 말 발표된 ‘IEEE DCASE Challenge 2025’에서 ‘공간 의미 기반 음향 장면 분할(Spatial Semantic Segmentation of Sound Scenes)’ 분야 세계 1위를 차지하는 쾌거를 이뤘다. 대회 참가 팀만 86개국, 총 6개 트랙에서 치열한 경합이 벌어진 가운데, KAIST는 첫 참가임에도 압도적인 성과로 정상을 밟았다.

최 교수팀은 박사 후 연구원 이동헌, 석·박사통합과정 권영후, 석사과정 김도환 학생으로 구성되어 있으며, 오는 10월 바르셀로나에서 열리는 국제 워크숍에서 연구 성과를 공식 발표할 예정이다.

크루서블처럼 혼란 속 진실을 찾는 AI – 기술 원리와 의미

KAIST 연구팀이 우승한 분야는 다채널 오디오 신호로부터 혼합된 음향을 분리하고 의미를 분류하는 AI 기술이다. 예컨대 한 공간 안에서 사람 말소리, 기계음, 알람, 동물 울음소리가 섞여 있을 때, AI가 그 모든 소리를 각각 분리하고 ‘이건 말소리, 이건 드론 소리’라고 정확히 판단하는 것이다. 연구팀은 ‘단계적 추론 기반 AI 모델’을 개발했다. 이는 인간이 여러 소리를 구분해 듣는 방식과 유사하다. 먼저 소리를 들어 주요 단서를 파악하고, 그것을 바탕으로 다시 분석하는 반복적 추론 과정을 통해 AI가 소리의 파형, 종류, 위치를 동시에 이해하도록 설계된 것이다.

특히 평가 지표인 신호대 왜곡비 향상도(CA-SDRi)에서 유일하게 두 자릿수 성능(11dB)을 기록하며 기술적 우수성을 입증했다. 이는 AI가 기존 음원보다 훨씬 선명하게 각 소리를 분리해냈다는 의미다.

최 교수는 “사람이 시끄러운 공간에서도 특정 사람의 말소리만 집중해 듣는 것처럼, AI도 특정 상황에서 필요한 소리만 정확하게 추출할 수 있도록 설계했다”며, “이는 단순한 분류를 넘어, 의미기반의 상황 이해를 가능케 하는 핵심 기술”이라고 설명했다.

AR·VR, 드론 감시, 국경 보안까지… 응용 무한대

이 기술은 단순한 오디오 편집 수준을 넘어 공간 인식형 AI 시스템의 뇌로 기능할 수 있다. 대표적 활용 사례는 다음과 같다. AR/VR 콘텐츠 제작: 공간에서 들려오는 다양한 음향을 개별 음원으로 분리하여 입체적으로 편집 가능, 국방 및 보안 시스템: 드론, 공장 배관, 국경 감시 시스템 등에서 이상 음향 조기 탐지,지능형 로봇: 시끄러운 환경에서도 특정 음성만 인식해 작동하는 청각기반 인터페이스 구축,스마트 팩토리: 기계 이상음을 사전에 감지해 안전사고 예방 .이는 멀티모달 AI, 실시간 센서 융합, 엣지컴퓨팅 기반 실시간 음향 분석 등과 접목될 경우, 미래 사회의 실시간 인지 시스템의 핵심 기술이 될 수 있다.

최정우 교수는 “단기간 집중 연구를 통해 큰 성과를 만든 연구팀의 집중력과 창의성에 깊은 자부심을 느낀다”며, “앞으로도 기술을 고도화해, AI가 공간을 이해하고 반응하는 기반 기술을 확장해 나가겠다”고 전했다.

DCASE 챌린지란?

‘DCASE(Detection and Classification of Acoustic Scenes and Events)’ 챌린지는 IEEE 신호처리학회(Signal Processing Society) 산하 대회로, 음향 AI 분야에서 세계 최고 권위를 자랑하는 국제 경진대회다. 2013년 시작된 이래, 매년 전 세계 연구자들이 자율주행, 감시 시스템, 환경 감지 등 다양한 분야에 활용될 수 있는 AI 모델을 제출하고 경쟁한다. KAIST의 이번 성과는 세계 최고 수준의 AI 청각 기술력을 입증한 사례이며, 단순한 학술 성과를 넘어 산업·국방·공공안전 분야에서의 활용 가능성을 입증한 ‘기술 인증’이기도 하다.

#KAIST #최정우교수 #음향AI #DCASE챌린지 #AI음원분리 #공간의미AI #국방AI기술 #AR음향편집 #AI청각기술 #청각AI우승