의료 LLM 신뢰성 평가를 위한 RV 프레임워크

초록

대규모 언어모델(Large Language Models, LLM)은 임상 의사결정 지원에서 높은 잠재력을 보이지만, 환각(hallucination), 편향, 결과의 비일관성 등으로 신뢰성 문제가 제기되고 있다. 기존의 LLM 평가 체계는 기술적 성능 지표에 치중되어 임상적 안전성, 설명가능성, 윤리적 적합성을 충분히 반영하지 못하는 한계가 있다. 본 연구는 이러한 한계를 극복하기 위해 역할 기반 멀티에이전트 구조와 이중 검증 체계를 결합한 의료 LLM 신뢰성 평가 프레임워크를 제안한다. 제안된 구조는 진단 응답을 평가하는 루브릭 에이전트와 이를 검증하는 검증 에이전트로 구성되며, 정확성, 일관성, 설명가능성, 안전성 등 다차원적 평가 항목을 반영한다. 또한, 텍스트 의료 질의응답 데이터 세트(MedQA)을 활용한 파일럿 평가를 통해 프레임워크의 효과를 검증하였으며, 제안된 이중 검증 구조가 단일 에이전트 평가 대비 재현성과 일관성을 향상시킬 수 있음을 확인하였다. 본 연구는 의료 현장에 안전하고 책임 있는 LLM 도입을 위한 기초적 검증 체계로서 의미를 가지며, 향후 멀티모달 입력을 포함한 확장 평가 및 임상 전문가 참여 기반의 실증 연구로 발전시킬 수 있다.

키워드