포인트 주석 기반의 비디오 위치 추정의 한계점 분석과 포인트 분포 모델링을 통한 개선방법 연구

초록

비디오에서 행동의 위치를 추정하기 위해 행동의 시작과 끝에 모두 주석을 다는 것은 많은 비용을 요구한다. 따라서 주석 생성 비용을 줄이기 위해 비디오 단위의 행동 카테고리만 존재하는 약지도 학습이 활발히 진행되고 있지만 약지도 학습은 행동단위 주석의 부재에 따른 많은 한계가 존재한다. 최근에는 주석의 생성 비용은 줄이면서 약지도 학습에 비해 훨씬 개선된 성능을 낼 수 있는 포인트 주석 기반 약지도 학습에 대한 연구가 진행되고 있다. 하지만 이는 행동구간 내의 포인트가 존재하는 위치에 많이 의존한다는 한계가 있다. 본 연구진은 이런 점을 보완하고자, 행동구간을 나타낼 수 있는 확률분포를 설계하고 포인트 주석을 샘플링하여 학습이 진행됨에 따라 점차 포인트 주석을 행동구간의 가운데 방향으로 움직일 수 있게끔 하는 포인트 업데이트 방식을 제안한다. 실험은 제안하는 방법이 기존의 포인트 주석 기반 학습에서 치우친 포인트가 주어진 경우 성능의 한계를 개선함을 보여준다.

키워드