RAG 기반 방사선치료학 교육용 챗봇의 지식소스 유형 및 임베딩 모델 성능 비교

초록

본 연구는 검색 증강 생성(Retrieval-Augmented Generation, RAG) 기반 방사선치료학 교육 시스템에서 지식소스 유형(교재, 보고서, 요약) 및 임베딩 모델(일반 vs. 도메인 특화)에 따른 성능 차이를 비교 평가하였다. 지식소스에는 교재(Textbook), 보고서(Report), 요약(Summary)이고, 언어 생성 모델에는 오픈AI사의 GPT-3.5-turbo 모델과 임베딩 모델에는 총 7가지 모델(OpenAI, MiniLM, BGE, E5, KoSBERT, BioClinicalBERT, PubMedBERT)를 사용했다. 성능 평가는 총 일곱 가지 지표{BLEU, ROUGE-L, Sentence BERT (SBERT), BERTScore, Semantic similarity, Accuracy, Time (s)} 지표를 사용했고, 총 10회 반복 측정하여 평균(Mean)과 표준편차(Standard deviation, SD)를 산출했다. 통계분석에는 독립 표본 t-검정과 이원분산분석(Two-way ANOVA)이적용되었다. 요약 지식소스 유형의 의미적 유사도는 평균 0.898 (89.8%)였고, 교재 및 보고서 유형보다 통계적으로 성능이 우수하였다(p < 0.001). 전반적으로 요약 지식소스 유형에서 일반 임베딩 모델이 도메인 특화 모델보다 우수했고, 교재 및 보고서 유형에서는 일부 지표에서만 유의한 차이를 확인하였다. 일반 임베딩 모델이 도메인 특화 모델보다 통계적으로 유의한 차이를 보이며성능이 높았다. 본 연구는 방사선치료학 교육을 위한 RAG 시스템 개발 시 지식소스 구성과 임베딩 모델이 시스템 성능에 미치는영향을 평가하였다. 향후 의료 교육용 인공지능 챗봇 설계 및 개발 시 최적화를 위한 유용한 기초자료가 될 것으로 기대한다.

키워드