KDST

KDST는 딥러닝을 중심으로 AI와 데이터에 관련된 여러 주제에 대해서 연구하는 팀입니다.

카테고리 없음

On bridging generic and personalized federated learning for image classification (ICLR 2022 Spotlight)

너드가되고싶은일반인 2022. 8. 27. 12:40

안녕하세요 서울대학교 VMO 연구실 김민재입니다. 7/28 세미나 내용 간략히 공유해 드립니다.

 

연합 학습은 각 클라이언트가 가지고 있는 데이터에 직접 접근하지 않으면서도, 여러 클라이언트가 서로 협력하여 글로벌 모델을 학습할 수 있게 하지만 각 클라이언트가 가지고 있는 데이터가 heterogeneous 할 경우 그 성능이 떨어지는 문제를 가지고 있습니다. 이러한 차이는 더 나아가 다음과 같은 딜레마로 이어집니다. "학습된 모델의 일반 성능(Generic) 혹은 개인화된 성능(Personalized)을 우선시해야 하는가?"

 

겉보기에 상충되는 이 두 가지 목표는 FL paper 들이 둘 중 하나에 초점을 맞추게 하였지만, 본 논문에서는 두 가지 목표에 동시에 접근할 수 있음을 보여줍니다. 구체적으로, 모델의 두 가지 목표를 (generic & personalize) 두 가지의 predictor 를 통해 명시적으로 분리하는 새로운 연합 학습 프레임워크를 제안합니다.

 

한편으로, class-imbalanced 를 완화하기 위한 손실함수를 도입하여 데이터의 분포가 hereogeneous 하더라도 클라이언트가 일관된 목표를 가지고 general purpose predictor를 훈련할 수 있도록 합니다. 반면에 개인화된 predictor 는 각 클라이언트의 empirical risk을 최소화하도록 학습합니다. FED-ROD(Federated Robust Decoupling)라고 하는 두 가지의 손실, 두 가지의 predictor 를 가진 프레임워크를 통해 학습된 모델은 generic & personalized 측면에서 모두 우수한 성능을 달성할 수 있었습니다.

 

감사합니다.