KDST

안녕하세요, KDST 팀원 김동진입니다. 괜찮은 논문을 읽게 되어 간략한 내용 공유해 드립니다. 해당 논문은 Transfer learning에서 fine-tuning이 언제 그리고 왜 linear proving보다 out-of-distribution에 대한 높은 error를 보이는지 이론 및 실험으로 잘 설명한 논문입니다. 논문에서는 fine-tuning 시 feature distortion이 발생하게 되고 이는 큰 out-of-distribution error를 가져와 linear probing에 비해 낮은 성능을 보이게 된다고 주장하였습니다. (feature distortion: feature가 특정 방향으로만 update 되는 현상. 여기서는 ID의 subspace 방향으로만 학습되는 것을 의미합니..

올해 들어서 저희 팀이 글을 한번도 못 올렸네요. 활동이 뜸해진건 아니고 오히려 정반대로 모두들 연구를 열심히 하고 계셔서 글을 올리지 못했습니다. 특히 다들 학회에 논문 제출을 준비하다보니 아무래도 블로그에 글을 올릴 여력이 없었네요. 그래도 그 사이에 새로운 분들이 많이 합류해주셨고, 저희 팀 내부의 학술적 교류는 이전보다 더 다양하고 넓은 범위로 더 끈끈하게 진행하고 있습니다. 최근 사진들 몇 장을 공유하면서 오늘은 마무리하고, 앞으로 가끔씩이라도 괜찮은 논문 공유하겠습니다.