어그리게이터 클라이언트를 활용한 클러스터링 기반 탈중앙 연합학습 프레임워크

초록

탈중앙 연합학습은 중앙서버 없이 각 노드 간의 통신을 통해 모델을 교환하고 결합하는 분산 협력 학습 방식이다. 기존의 연합학습과 비교했을 때, 단일 장애점, 병목 현상 문제를 극복할 수 있다는 장점이 있다. 하지만 탈중앙 연합학습은 어그리게이터의 부재로 인한 학습성능 저하를 겪게 된다. 또한, 연합학습과 같은 분산학습에서는 모델의 일반화 역량 및 개인화 역량 모두 갖춘 모델을 학습하는 것이 중요하다. 본 연구는 어그리게이터 노드를 도입하여 어그리게이터의 부재로 인한 학습 성능 저하를 극복하고, 개인화 역량 및 일반화 역량을 모두 갖출 수 있는 클러스터링 기반 탈중앙 연합학습 프레임워크를 제안한다. 본 논문에서 제시한 방법은 어그리게이터를 효과적으로 도입하기 위해 학습 방향 유사도를 기반으로 한 클러스터링을 진행한다. 클러스터 내 학습에서는 어그리게이터 노드를 활용하여 유사한 학습 방향을 가진 노드들과의 협업을 통해 개인화 역량을 갖추고자 한다. 이후 지나친 개인화 방지 및 일반화 역량 확보를 위해 클러스터 간 학습을 진행한다. 탈중앙 연합학습에서 어그리게이터 활용의 효용성에 대해 실험적인 분석을 진행하였고, 제안된 방식은 CIFAR-10 데이터셋에 대해 기존의 탈중앙 연합학습 대비 4.2% 정확도 향상이 있음을 보여준다.

키워드