VROFed: 부분 분산 감소를 이용한 최적화된 공정한 연합학습

초록

현재 연합학습에서 데이터 이질성 문제를 해결하기 위해 클라이언트와 서버 모델을 정렬하거나 제어 변수를 사용하여 클라이언트 모델 드리프트를 수정했지만, 딥 신경망과 같은 과도하게 매개변수화된 모델에서는 한계가 명확하다. 본 논문에서는 연합 학습이 심층 신경망의 특징 추출 계층을 효율적으로 업데이트하는 반면, 클라이언트 간 최종 분류 계층의 다양성은 성능에 부정적인 영향을 미친다는 것을 관찰했다. 이를 해결하기 위해 우리는 최종 계층에서 특히 분산을 줄이는 새로운 접근 방식인 VROFed(partial Variance Reduced Optimization Fair Federated Learning)를 제안한다. 모델 드리프트를 수정하면 non-IID(non-independent and identically distributed) 데이터에서도 클라이언트 전체에서 모델 성능이 보다 일관되게 유지된다. 우리의 방법은 정확성을 유지하면서 통신 효율성을 크게 향상시켰다. CIFAR-10 및 CIFAR-100과 같은 벤치마크 데이터 세트에 대한 실험 결과는 VROFed가 속도와 공정성 모두에서 기존 방법보다 성능이 뛰어나 연합 학습 환경을 위한 강력한 솔루션임을 보여준다.

키워드