LAST LAYER RE-TRAINING IS SUFFICIENT FOR ROBUSTNESS TO SPURIOUS CORRELATIONS (ICLR2023)

안녕하세요, KDST팀 김동진입니다.

 

오늘 소개해드릴 논문은 “LAST LAYER RE-TRAINING IS SUFFICIENT FOR ROBUSTNESS TO SPURIOUS CORRELATIONS“로 ICLR2023에 Spotlight로 선정되었습니다.

 

주요 내용은 아래와 같습니다. 

본 논문은 딥러닝 모델이 학습하기 쉬운 spurious correlation을 기반으로 class label 예측을 하더라도 label과 관련된 core feature가 feature extractor에서 추출되는 것을 다양한 비율의 spurious correlation이 존재하는 데이터셋들에서 실험을 통해 보였습니다. 또한, 저자들은 feature extractor가 core feature를 추출하더라도 모델이 class를 잘못 예측하는 이유는 classifier가 spurious feature에 맞춰져 있다는 것을 발견하였습니다. 이러한 발견을 통해 classifier를 biasing 되어 있지 않은 데이터셋(group balanced dataset)을 통해 re-weighting 해주는 방식인 Deep Feature Re-weighting (DFR) 방식을 제안하고, 이를 통해 가벼운 학습만으로 Group robustness task에서 SOTA를 달성하였으며, ImageNet-trained model에서의 background와 texture 특징에 대한 의존도를 DFR을 활용하여 연구하였습니다.

 

흥미로운 내용의 논문이라 다른 분들도 읽어보시면 좋을 것 같습니다.

 

감사합니다.