KDST

안녕하세요, KDST 팀원 김동진입니다. 괜찮은 논문을 읽게 되어 간략한 내용 공유해 드립니다.

 해당 논문은 Transfer learning에서 fine-tuning이 언제 그리고 왜 linear proving보다 out-of-distribution에 대한 높은 error를 보이는지 이론 및 실험으로 잘 설명한 논문입니다.

 논문에서는 fine-tuning 시 feature distortion이 발생하게 되고 이는 큰 out-of-distribution error를 가져와 linear probing에 비해 낮은 성능을 보이게 된다고 주장하였습니다. (feature distortion: feature가 특정 방향으로만 update 되는 현상. 여기서는 ID의 subspace 방향으로만 학습되는 것을 의미합니다.) 또한, fine-tuning에서 발생하는 out-of-distribution error의 lower bound를 간단한 모델에서 수식화하여 1. 초기 head의 initialization이 좋을수록, 2. pretrained model이 좋지 않을수록 낮은 error를 가질 수 있다고 주장하였습니다.

흥미로운 논문이라 읽어보시길 추천해 드립니다.

감사합니다.

올해 들어서 저희 팀이 글을 한번도 못 올렸네요. 

활동이 뜸해진건 아니고 오히려 정반대로 모두들 연구를 열심히 하고 계셔서 글을 올리지 못했습니다. 

특히 다들 학회에 논문 제출을 준비하다보니 아무래도 블로그에 글을 올릴 여력이 없었네요. 

그래도 그 사이에 새로운 분들이 많이 합류해주셨고, 

저희 팀 내부의 학술적 교류는 이전보다 더 다양하고 넓은 범위로 더 끈끈하게 진행하고 있습니다. 

최근 사진들 몇 장을 공유하면서 오늘은 마무리하고,

앞으로 가끔씩이라도 괜찮은 논문 공유하겠습니다.