Context-Aware Decoding과 Layer별 성능 비교를 통한 대규모 언어 모델의 환각현상 완화

초록

대규모 언어 모델(LLM)은 뛰어난 성능에도 불구하고 환각적 텍스트를 생성하거나 문맥을 충분히 반영하지 못한다. 이를 해결하기 위해 본 연구에서는 Layer-aware Context-aware Decoding(LACD)을 제안한다. LACD는 모든 레이어에 문맥 지식 충돌 처리 기법을 주입한 뒤, 중간 레이어와 최종 레이어의 토큰 확률을 대조·분석하여 사전 학습 지식과 새로운 문맥 정보 간 균형을 동적으로 조정한다. 구체적으로, Contrast Decoding을 적용해 중간 레이어에서 이미 반영된 문맥 신호를 보존하면서, 최종 레이어가 과도하게 사전 학습 지식에 의존하지 않도록 제어한다. HotPotQA 데이터셋 실험 결과, LACD는 기존의 단순 문맥 보강 기법 대비 최대 1.9% 성능 향상을 달성하였으며, DoLa 및 CAD 등 기존 기법과 유사하거나 더 나은 결과를 보여 대규모 언어 모델의 환각 현상을 효과적으로 완화함을 확인하였다.

키워드