Vision-Language 모델에서의 Variational 오토인코더와 대조 학습을 이용한 멀티모달 정렬

초록

기존 Vision-Language 모델 연구에서는 이미지-텍스트 데이터를 각각의 인코더를 두어 독립적으로 학습하는 연구들이 많이 제안되었다. 이러한 모델들은 각 modality를 서로 다른 인코더에서 개별적으로 처리하기 때문에, 이미지 임베딩과 텍스트 임베딩 사이의 연관성이 없고 서로 다른 임베딩 벡터 공간을 가진다는 heterogeneity gap의 문제점이 있다. 이러한 문제점을 해결하기 위한 방법으로 본 논문에서는 기존의 Transformer 기반의 사전학습 모델에 Variational 오토인코더와 대조 학습을 추가로 구조한 모델을 제안한다. 제안 방법론들을 통해 이미지 임베딩과 텍스트 임베딩이 유사한 벡터를 가지도록 모델을 학습하였다. 모델의 학습과 평가는 MSCOCO 캡셔닝 데이터셋을 사용하였고 BLEU, ROUGE-1, ROUGE-L, METEOR를 이용하여 성능을 평가하였다. 본 논문에서 제안하는 Variational 오토인코더와 대조 학습을 차용한 Transformer-VAE-CL 모델이 기존의 Transformer 기반 모델보다 BLEU가 12.1, ROUGE-1이 46.1, ROUGE-L이 44.7, METEOR가 39.9로 더 높은 성능을 보임을 확인하였다.

키워드