‘조커의 눈’으로 본다…KAIST, 3인칭 영상을 1인칭으로 바꾸는 AI

단 하나의 영상으로 시점 변환…3D 공간 이해 기반 ‘EgoX’ 공개, CVPR 발표 예정

영화 속 인물을 바라보는 관객이 아니라, 그 인물의 시선으로 장면을 경험할 수 있다면 영상 소비 방식은 어떻게 달라질까. 이러한 상상을 기술로 구현한 인공지능 모델이 국내 연구진에 의해 개발됐다. KAIST 김재철AI대학원 주재걸 석좌교수 연구팀은 일반적인 제3자 시점 영상(Exocentric video) 단 하나만으로 1인칭 시점 영상(Egocentric video)을 생성하는 인공지능 모델 ‘EgoX’를 개발했다고 밝혔다. 기존에는 고가의 액션캠이나 스마트 글래스를 착용해야만 확보할 수 있었던 1인칭 데이터를, 별도의 장비 없이 생성할 수 있는 기반을 마련했다는 설명이다.

기존 시점 변환 기술은 정지 이미지에 국한되거나 다수의 카메라 입력이 필요했고, 동영상에서는 빛과 움직임 변화로 인해 화면이 부자연스러워지는 한계가 있었다. EgoX는 단순 화면 회전이 아니라, 인물의 위치와 자세, 주변 환경의 3차원 구조를 종합적으로 이해한 뒤 이를 기반으로 시각 정보를 재구성한다는 점이 핵심이다.

연구 개요에 따르면 EgoX는 3차원 구조 이해 및 재구성 모듈을 통해 제3자 시점 영상을 공간 정보로 변환하고, 이를 거대 비디오 생성 모델에 조건으로 전달한다. 특히 ‘Geometry Guided Self-Attention’ 기법을 활용해 실제 1인칭에서 보이는 정보에 집중하도록 설계함으로써 왜곡을 줄였다. 머리 움직임과 실제 시야 전환의 상관관계를 정밀 모델링해 고개를 돌릴 때 시야가 자연스럽게 이동하는 효과도 구현했다.

KAIST가 제시한 예시에서는 영화 ‘The Dark Knight’의 한 장면을 등장인물 조커의 시점으로 변환한 결과가 제시됐다. 학습에 포함되지 않은 영상에서도 안정적으로 1인칭 시점이 생성됐다는 점이 특징이다. 방법론 모식도 역시 3인칭 영상 입력 → 3차원 정보 구성 → 조건 기반 비디오 생성 모델 → 1인칭 영상 출력의 구조를 보여준다.

EgoX는 요리, 운동, 작업 등 다양한 일상 장면에서도 안정적인 성능을 보였으며, 별도 웨어러블 장비 없이 기존 영상 자산을 1인칭 데이터로 전환할 수 있는 가능성을 제시했다. 이는 AR·VR·메타버스 콘텐츠 제작은 물론, 로봇이 인간의 행동을 보고 학습하는 모방학습(Imitation Learning) 분야에도 활용될 수 있다. 스포츠 중계나 브이로그를 주인공 시점으로 재구성하는 새로운 영상 서비스 모델도 가능하다. 해당 연구는 arXiv에 선공개된 이후 NVIDIA, Meta 등 글로벌 빅테크 기업의 주목을 받았으며, 2026년 6월 미국에서 열리는 IEEE/CVF 국제 학술대회 CVPR에서 공식 발표될 예정이다.

주재걸 교수는 이번 연구가 단순 영상 변환을 넘어 인공지능이 인간의 ‘시야’와 ‘공간 이해’를 학습해 재구성한 사례라고 설명하며, 기존 영상만으로도 누구나 몰입형 콘텐츠를 제작하고 경험할 수 있는 환경이 열릴 것이라고 밝혔다. 영상 시점의 주도권이 카메라가 아닌 알고리즘으로 이동하는 시대, 생성형 비디오 기술이 콘텐츠 제작과 AI 학습 환경에 어떤 변화를 가져올지 주목된다.

광고

#KAIST #EgoX #1인칭시점 #생성형AI #비디오AI #ARVR #CVPR #공간이해 #모방학습 #몰입형콘텐츠