시공간 제한 없는 비디오에서 다중 휴먼 3차원 형상, 자세, 동작 복원 및 예측


시공간 제한 없는 비디오에서 다중 휴먼 3차원 형상, 자세, 동작 복원 및 예측
Holistic Multi-Human Reconstruction and Prediction from Videos with Unconstrained Space-Time

(2019.06 ~ 2022.05)


  • 연구목표
    • CCTV, 스마트폰, 유튜브 비디오, 고전 영화 등 제한 없는 환경에서 취득한 일상생활의 임의의 비디오에 존재하는 다수의 휴먼 객체의 형상(shape), 자세(pose), 동작(motion)을 시공간 일관성 있게 정확히 추정하고 심층신경망 학습을 통해 미래의 동작과 비디오를 예측
  • 주요연구내용
    • 휴먼 객체의 형상, 자세, 동작 정보 등의 사전지식(prior knowledge)을 영상 개선 알고리즘의 입력 및 목적 함수 설계에 반영하여 비디오 화질 복원을 동시에 수행
    • 다수의 휴먼 객체에 대한 형상/자세/동작을 동시에 복원하기 위해 다수의 출력 변수들 사이의 구조적인 관계를 학습하는 구조적 예측에 기반한 심층 신경망 개발
    • 입력 비디오로부터 복원된 형상/자세/동작 정보를 이용하여 동작 시퀀스를 예측 생성하는 심층 회귀 신경망을 개발하고, 현실적인 미래 비디오 생성

  • Funded by Samsung Research Funding & Incubation Center for Future Technology (삼성미래기술육성사업)