XR 글래스 기반 캐릭터 콘텐츠를 활용한 시각장애인 시기능 훈련 시스템

초록

본 논문은 저시력 시각장애인을 위한 XR 글래스 기반 캐릭터 훈련 시스템을 제안한다. 제안 시스템은 기존의 오프라인 훈련 대비 장소 제약 없이 개인 시력 유형에 맞춘 맞춤형 콘텐츠 제공이 가능하다는 장점이 있다. 관리자 단말에서 등록된 캐릭터 이미지 기반으로, 객체 탐지(YOLOv8), 키워드 추출(Transformer), 설명문 생성(KoGPT-3), TTS 변환 등 AI 기반 캐릭터 상황 인지 절차를 수행하여 훈련용 콘텐츠를 자동 생성하며, 생성된 콘텐츠는 XR 글래스를 통해 실시간 제공된다. 성능 평가 결과, 평균 응답 속도 0.11초, 동시 접속 처리량 307.2건/초, 객체 탐지 정확도 96.96%, 키워드 추출 정확도 98.98%, 문장 생성 정확도 89.64%로, 실제 활용 환경에서도 높은 신뢰성과 처리 성능을 입증하였다.

키워드