윤성의 교수 연구팀, GLINT·RadioGS·Visual-RRT·CLaD 개발… 인식·물리 이해·행동 계획 연결

KAIST 전산학부 윤성의 교수 연구팀이 현실 세계의 물리적 특성을 이해하고 스스로 판단·행동하는 피지컬 AI(Physical AI) 핵심 기술을 개발했다.

KAIST는 연구팀이 유리나 물처럼 투명한 물체를 인식하는 기술, 빛과 물질의 상호작용을 분석해 주변 환경을 이해하는 기술, 사진 한 장만으로 로봇이 목적지를 찾아가는 기술, 미래 상황을 예측해 행동을 계획하는 기술을 개발했다고 밝혔다.

이번 연구는 AI가 시각 정보를 인식하는 수준을 넘어 물리적 환경을 이해하고, 미래 상황을 예측하며, 행동 계획으로 이어지는 기술 흐름을 제시했다는 점에서 의미가 있다. 연구 성과는 ICLR 2026과 CVPR 2026에서 구두 발표 2편과 하이라이트 논문 2편 등 총 4편의 논문으로 발표됐다.

연구팀은 투명 환경 시각 인식 기술인 GLINT(Gaussian Radiance Transport)를 개발했다. 사람은 유리창을 볼 때 유리에 비친 모습과 유리 너머의 풍경을 구분할 수 있지만, 기존 AI는 두 정보를 하나의 영상으로 인식해 투명 물체를 제대로 해석하지 못하는 경우가 많았다.

GLINT는 유리 표면에서 반사되는 빛과 유리를 통과한 빛을 분리해 분석하는 방식으로, 투명 물체와 그 뒤의 공간을 함께 복원할 수 있도록 했다. 이 연구는 ‘GLINT: Modeling Scene-Scale Transparency via Gaussian Radiance Transport’라는 논문으로 CVPR 2026 구두 발표 논문에 선정됐으며, 발표 논문 약 4천 편 가운데 74편이 선정된 Award Candidate에도 포함됐다.

연구팀은 빛과 재질을 이해하는 장면 복원 기술인 RadioGS(Radiometrically Consistent Gaussian Surfels for Inverse Rendering)도 개발했다. 이 기술은 물체의 색이나 형태만 분석하는 것이 아니라, 빛이 물체에 닿아 반사되고 퍼지는 과정을 함께 이해하도록 설계됐다. 조명 조건이 달라질 때도 장면 구조와 물체 재질을 더 일관되게 복원할 수 있도록 한 것이 핵심이다. 해당 논문은 ICLR 2026 구두 발표 논문으로 선정됐다.

연구팀은 시각 정보를 실제 행동으로 연결하는 Visual-RRT(Visual-RRT: Finding Paths toward Visual-Goals via Differentiable Rendering)도 제안했다. 기존 로봇 경로 계획 기술은 목적지의 좌표나 관절 각도 같은 수치 정보가 필요한 경우가 많았지만, Visual-RRT는 로봇이 현재 보고 있는 장면과 목표 사진을 비교하며 목적지에 가까워지는 경로를 탐색하도록 했다. 연구팀은 실제 로봇 실험에서도 사진 한 장만으로 목적지에 도달하는 것을 확인했다. 해당 연구는 CVPR 2026 하이라이트 논문으로 선정됐다.

미래 예측 기반 행동 계획 기술인 CLaD(CLaD: Planning with Grounded Foresight via Cross-Modal Latent Dynamics)는 AI가 행동하기 전에 앞으로의 상황 변화를 예측하고, 그 결과를 바탕으로 행동을 선택하도록 하는 기술이다. 사람이 행동하기 전 “이렇게 움직이면 다음에는 어떤 일이 생길까”를 예상하듯, AI가 행동 결과를 미리 예측한 뒤 계획을 세우는 방식이다. 이 연구 역시 CVPR 2026 하이라이트 논문으로 선정됐다.

연구팀은 이들 기술이 AI의 과정을 ‘보고, 이해하고, 예측하고, 행동하는’ 흐름으로 연결한다고 설명했다. 이는 자율주행차, 휴머노이드 로봇, 산업용 로봇, 디지털 트윈, 증강현실과 혼합현실, 스마트 제조, 물류 자동화 등 실제 환경을 이해하고 의사결정을 수행해야 하는 분야에 적용될 수 있다.

이번 연구에는 윤성의 교수가 교신저자로 참여했으며, 연구진으로 정앤드류, 나영주, 이주민, 이세빈 박사과정 학생이 함께했다. 윤 교수는 물리 기반 렌더링, 로봇 경로생성, 컴퓨터 비전 분야를 연구해 왔다.

윤성의 교수는 “이번 연구는 AI가 단순히 눈으로 보는 것을 넘어 현실 세계를 이해하고 앞으로 일어날 상황까지 예측해 스스로 행동을 결정하는 방향으로 발전하고 있음을 보여준다”며 “이번 성과가 자율주행차와 휴머노이드 로봇 등 실제 환경에서 작동하는 다양한 피지컬 AI 기술의 발전에 기여하기를 기대한다”고 말했다.

이번 연구들은 과학기술정보통신부와 정보통신기획평가원(IITP), 한국연구재단(NRF)의 지원을 받아 수행 중인 피지컬 AI 및 지능형 로봇 연구과제의 일환으로 진행됐다. 연구팀은 향후 세계 모델, 미래 예측, 행동 계획을 통합한 차세대 피지컬 AI 기술을 개발하고, 다양한 환경에서 지속적으로 학습하는 체화형 인공지능 구현으로 연구를 확장할 계획이다.

#KAIST #윤성의교수 #피지컬AI #투명물체인식 #로봇행동계획

Social Share