IMU 및 Skeleton 기반 딥러닝을 이용한 재활 동작 분류

초록

최근 재활 분야에서는 환자의 동작을 자동으로 인식하고 평가하는 인간 행동 인식(Human Activity Recognition, HAR) 기술의 중요성이 커지고 있다. 이는 환자의 상태를 객관적으로 파악하고 치료 과정을 정량적으로 모니터링할 수 있게 하여, 전문 치료 기관뿐 아니라 가정에서도 자율적인 재활 훈련을 가능하게 한다. 그러나 기존 HAR 연구들은 주로 Skeleton이나 IMU 같은 단일 모달리티에 의존해 왔으며, Skeleton 데이터는 가림과 동역학적 정보 부족의 한계가 있으며, IMU 데이터는 전신 관절 간의 구조적 관계를 직접적으로 반영하기 어렵다는 제약이 존재했다. 본 연구에서는 이러한 단일 모달리티 기반 접근의 한계를 극복하기 위해, IMU와 Skeleton 데이터를 결합한 멀티 모달 재활 동작 인식 방법을 제안한다. IMU 센서를 참가자의 양 손목에 부착 후 3축 기준으로 가속도와 각속도를 기록하여 사용한다. 동시에 RGB-D 카메라를 통해 촬영된 영상에서 MMPose COCO WholeBody 프레임워크를 사용하여 상반신 중심의 55개 관절 랜드마크를 추출하고 이를 Skeleton 데이터로 사용한다. IMU 데이터는 시계열 패턴의 장·단기 변화를 학습하기 위해 TCN layer 기반 모델로 처리하였으며, Skeleton 데이터는 관절 간 공간적 관계와 시간적 변화를 동시에 학습할 수 있는 2s-AGCN을 적용하여 동작 수행 과정에서의 관절 구조 변화를 모델링하였다. 이후 두 모달리티는 온도 보정과 엔트로피 기반 가중치 앙상블을 적용하여 멀티모달로 사용한다. 실험 결과, 제안한 멀티 모달 접근법은 단일 모달리티 기반 모델보다 향상된 정확도를 보였다. 특히 Skeleton 모델이 혼동하던 유사 동작에서 IMU 정보가 효과적으로 보완 역할을 수행함을 확인하였다. 또한 Skeleton 데이터를 기반으로 중요 관절을 시각화하고, 관절 간 각도를 분석하는 추가적인 시각화를 제공하여 재활 훈련 평가의 해석 가능성을 높였다.

키워드