[소식] 박재식 교수 연구진, 엔터테인먼트 영상 재구성 및 편집 기법 개발

• 엔터테인먼트 영상을 입력받으면 배우와 배경을 3차원으로 재구성하여 방송 관제실처럼 편집을 가능하게 하는 기법을 개발 • 카메라 시점 변환 및 배우 폐색에 강건하며, 재구성 시 배우의 표정을 함께 복원 • 재구성된 장면의 새로운 시점을 합성하거나 배우 제거, 이동, 추가, 자세 조작과 같은 응용이 가능    박재식 교수님(협동과정 인공지능전공 / 컴퓨터공학부) 연구진이 엔터테인먼트 영상 재구성 및 편집 기법인 ShowMak3r를 개발하였다. 영상 재구성(dynamic reconstruction)은 2차원의 동영상을 입력 받아, 3차원의 형태로 재구성하여 새로운 시점의 합성(novel view synthesis)을 가능하게 하는 기술이다. 기존의 영상 재구성 기술들은 다중 카메라나 사람이 완전히 관찰되는 상황을 가정하였지만, 시트콤과 같은 엔터테인먼트 영상처럼 배우들이 서로 가리거나, 복잡한 배경이 존재하는 상황에서 카메라 시점이 급격하게 편집된 영상의 경우 재구성에 어려움을 겪는다. 특히 배우의 위치 및 크기를 추정하기 위해 기존 기술들은 카메라 시점이 바뀔 때 배우의 크기를 대조하거나, 지면에 닿아 있는 지점을 포착하였으나, 카메라 시점이 바뀔 때 동일 배우가 등장하지 않거나 배우의 발이 보이지 않는 경우 위치 및 크기가 추정 불가능하다는 문제가 있었다. 또한 배우들의 다양한 표정 변화도 반영하지 못하였다.  연구진을 이러한 문제를 해결하기 위해 엔터테인먼트 영상으로부터 가려진 부분 및 배우들의 표정을 복원하여 영상을 3차원으로 재구성하고, 각 샷(Shot) 마다 동일 배우를 추적하는 기법인 ShowMak3r를 제안하였다. 본 기법은 3차원 래디언스 필드를 배우와 배경을 각각 복원한 다음 합성(composite)하는 방식으로 영상을 재구성하였다. 본 기법의 핵심 구성요소는 아래와 같다.     1.   3DLocator: 정렬된 깊이 정보를 활용하여 배우들을 배경의 좌표계 속 정확한 3차원 위치에 배치     2.   ShotMatcher: 카메라 시점이 바뀔 때 두 프레임의 배우들 사이 유클리드 거리를 측정하여 동일 배우 간 매칭을 수행     3.   Face-Fitting Network: 다층 퍼셉트론(MLP)을 활용하여 배우 가우시안(Gaussian)들의 투명도와 색상을 조정  위 3가지 핵심 모듈을 기반으로 ShowMak3r는 효과적으로 엔터테인먼트 영상을 3차원으로 재구성 가능하고 더 나아가 배우 추가, 삭제, 이동, 자세 조작 등의 편집 또한 가능하다. 연구진은 Sitcoms3D, CMU panoptic 데이터셋을 활용한 실험을 통해 다른 영상 재구성 기술 대비 개선된 재구성 품질을 확인하였다. 본 연구는 협동인공지능전공 석박통합과정 김상민, 박사과정 도승욱 학생과 진행한 연구이며, 컴퓨터 비전 분야 최우수 학술대회 중 하나인 CVPR 2025에 채택되어 오는 6월 발표될 예정이다.

[소식] 국종성 교수 연구팀, 지구온난화에 따른 바다의 역할 변화 확인

국종성 교수님(협동과정 인공지능전공 / 지구환경과학부) 연구팀이 지구온난화에 따른 바다의 역할 변화를 확인했습니다. 아래는 기사 본문입니다.   지구온난화 지속되면 북대서양 '탄소 저장소' 기능 상실 [문세영 기자] 바다는 인류가 배출하는 이산화탄소의 약 30%를 흡수하며 지구 기후를 안정화화는 핵심 역할을 하고 있다. 지구 최대 탄소 저장소인 바다의 탄소 흡수 기능이 급격히 저하될 가능성이 있는 것으로 확인됐다. 지구온난화가 지속되면 […]