비전 언어 모델을 이용한 영화 태그 생성 기법

초록

본 연구는 사전학습된 비전-언어 모델을 활용하여 영화 이미지에서 자동으로 태그를 생성하는 기법을 제안한다. 본 연구에서는 LLaVA 모델을 사용하여 영화 프레임별로 정교한 캡션을 생성한 후, 이를 바탕으로 보다 세밀하고 다양한 태그를 할당하는 과정을 수행한다. 특히, 영화 이미지 데이터를 활용해 모델을 파인튜닝 함으로써 태그 생성 성능을 크게 향상시켰다. 이러한 접근법은 콘텐츠의 시각적 특징을 효과적으로 추출하고, 수작업 태깅 과정에서 발생할 수 있는 주관성과 시간 소모 문제를 해결하는 데 기여할 수 있다. 그러나 상업적 활용을 위해서는 저작권 문제와 데이터 신뢰성 문제 등의 한계가 존재하며, 이에 대한 추가적인 연구와 개선이 필요하다. 본 연구는 멀티모달 추천 시스템, 영상 검색, 전자상거래 등 다양한 분야에서 이 방법론이 폭넓게 활용될 가능성을 시사하며, 향후 다양한 응용 분야에서 중요한 기여를 할 수 있을 것으로 기대된다. 또한, 본 연구에서 제안한 태그 생성 방식은 사용자 맞춤형 콘텐츠 제공과 같은 새로운 서비스 개발에도 기여할 수 있을 것이다.

키워드