KDST

오는 5월에 열리는 ICLR 2023에 아래 논문이 채택되었습니다. 

지난번 AAAI에 이어서 연이어 좋은 일이 생겨서 기쁘고 올 한해 좋은 소식들이 이어졌으면 합니다.

- DepthFL : Depthwise Federated Learning for Heterogeneous Clients

안녕하세요. 박민철입니다. 2023년 1월 13일 진행했던 논문세미나 내용에 대해 간단하게 요약해보도록 하겠습니다.

인공신경망의 활용을 2D나 3D 영상에 대해 표현할 수 있는 형태로 학습하는 implicit representation 기술들이 활발하게 연구되고 있습니다. 하지만 도메인 내의 여러 인스턴스에 대해 개별적으로 representation을 만들어야 하는 문제때문에, 전체 학습 시간에 대한 이슈, 그리고 메모리 및 저장 공간에 대한 이슈가 존재합니다.

이에 따라, KAIST에서 수행한 Meta-Learning Sparse Implicit Neural Representations라는 NeurIPS 2021에 게재된 논문은 프루닝을 이용하여, 전체 모델 사이즈를 감소시키는 한편, meta learning을 이용하여 학습 시간에 대한 문제를 adaptation으로 풀고자 하였습니다.

프루닝 방법론에 대해서는 간단한 weight pruning을 사용했고, meta learning을 위해서는 MAML 기법을 사용했습니다. 이들은, 전체 neural representation을 만드는 방법을 sparse INR을 만들기 위한 파이프라인을 사전에 구축하고 적절하게 설계된 공통된 sparse neural network를 제작한 뒤, instance 마다 adaptation을 하는 기법을 제안했습니다.

실험 결과에서는 CelebA, Imagenette, SDF 등의 2D 영상물에 대하여 PSNR 수치를 측정하여, Meta-SparseINR이 신뢰할만한 성능을 보여주고 있음을 제시하였고, 특히 대비되는 구조 중 Dense-Narrow라는, 유사한 파라미터를 갖고 있지만, densely 연결된 모델에 대해 sparse neural network가 더 좋은 representation 성능을 보여주고 있음을 제시하였습니다.

감사합니다.