On bridging generic and personalized federated learning for image classification (ICLR 2022 Spotlight)

안녕하세요 서울대학교 VMO 연구실 김민재입니다. 7/28 세미나 내용 간략히 공유해 드립니다.

 

연합 학습은 각 클라이언트가 가지고 있는 데이터에 직접 접근하지 않으면서도, 여러 클라이언트가 서로 협력하여 글로벌 모델을 학습할 수 있게 하지만 각 클라이언트가 가지고 있는 데이터가 heterogeneous 할 경우 그 성능이 떨어지는 문제를 가지고 있습니다. 이러한 차이는 더 나아가 다음과 같은 딜레마로 이어집니다. "학습된 모델의 일반 성능(Generic) 혹은 개인화된 성능(Personalized)을 우선시해야 하는가?"

 

겉보기에 상충되는 이 두 가지 목표는 FL paper 들이 둘 중 하나에 초점을 맞추게 하였지만, 본 논문에서는 두 가지 목표에 동시에 접근할 수 있음을 보여줍니다. 구체적으로, 모델의 두 가지 목표를 (generic & personalize) 두 가지의 predictor 를 통해 명시적으로 분리하는 새로운 연합 학습 프레임워크를 제안합니다.

 

한편으로, class-imbalanced 를 완화하기 위한 손실함수를 도입하여 데이터의 분포가 hereogeneous 하더라도 클라이언트가 일관된 목표를 가지고 general purpose predictor를 훈련할 수 있도록 합니다. 반면에 개인화된 predictor 는 각 클라이언트의 empirical risk을 최소화하도록 학습합니다. FED-ROD(Federated Robust Decoupling)라고 하는 두 가지의 손실, 두 가지의 predictor 를 가진 프레임워크를 통해 학습된 모델은 generic & personalized 측면에서 모두 우수한 성능을 달성할 수 있었습니다.

 

감사합니다.