Representational Continuity For Unsupervised Continual Learning(ICLR 2022)

안녕하세요. KDST팀 학부연구생 박태주입니다. 12월 9일 진행했던 논문세미나 내용에 대해 간단하게 요약해보도록 하겠습니다.

 

continual learning(CL)은 sequence of tasks를 학습하면서도  previous tasks에서 배운 내용들을 까먹지 않는 것을 목표로합니다. 하지만 기존 연구들은 supervised task에 국한되어 있어, 이 논문에서는 continual learning을 unsupervised representation learning에 접목시킵니다.

 

Unsupervised representation learning을 위해서는 "SimSiam"과 "BarlowTwins" loss term을 사용했습니다. 그리고 continual learning에 적용하기 위해서 SI, PNN, DER과 같은 methods들을 사용하고, catastrophic forgetting을 잘 해결하기 위해 mixup을 활용한 LUMP method 또한 제시하였습니다.

 

실험 결과에서도 모든 데이터 셋에서 Unsupervised Continual Learning(UCL)이 Supervised Continual Learning(SCL)보다 accuracy가 높고 forgetting이 낮은 것을 확인할 수 있습니다. 또한 few-shot training, out-of-distribution tasks 실험에서도 UCL이 더 높은 성능을 보였습니다. feature maps을 시각화한 결과에서도 UCL이 더 구분가능한 특성을 보이며 forgetting에도 잘 대응했습니다. 또한 loss landscape을 보았을 때도 UCL LUMP가 catastrophic forgetting을 잘 해결한다는 것을 보였습니다.

 

감사합니다.