KDST

안녕하세요, KDST에서 인턴 연구원으로 근무했던 김우정입니다.

이번에 김수현 박사님, 박민철 인턴 연구원님, 전근석 학연님과 함께 제출했던 논문이 NeurIPS (NIPS) 2020에 poster presentation으로 accept 되었습니다. 논문 제목은 "Neuron Merging: Compensating for Pruned Neurons" 입니다.

기존 structured network pruning 논문들에서는 신경망에서 덜 중요한 뉴런이나 필터를 제거하고 accuracy를 회복하기 위하여 fine-tuning을 합니다. 하지만 이때 제거된 뉴런에 상응하는 다음 layer의 차원 또한 제거됩니다. 따라서 pruning 직후에 다음 layer의 output feature map이 원래 모델과 매우 달라지게 되어 accuracy loss가 발생합니다.

본 논문에서는 제거된 neuron의 효과를 보상할 수 있는 "Neuron Merging" 컨셉을 제안했습니다. 또한 Neuron Merging 컨셉 안에서의 한가지 방법론으로, 추가적인 training이나 data 없이 pruning 직후 accuracy를 향상시키는 알고리즘을 제안했습니다. 

더욱 자세한 내용은 Conference 후에 다른 게시글로 소개하겠습니다. 감사합니다.