KDST

Motivation

GPU 클러스터를 팀에서 공용으로 사용하는 경우 사용자간 환경 분리와 유저 권한에 대한 관리가 필요하다.

이러한 환경에서는 서로 모순되는 요구사항이 존재한다.

• 누구든 실수로 문제를 발생시킬 수 있기 때문에 모두에게 sudo 권한을 주는 것은 지양되어야 한다.
• 연구 환경 세팅을 위해 apt 같은 sudo를 요구하는 패키지 관리 툴을 사용할 수 있어야한다.
• 프로젝트에 따라 고립된 환경의 구축을 할 수 있어야한다.

Current situation

이러한 요구사항을 고려하기 위해 KDST에서는 그동안 Docker를 사용해왔다.

서버의 sudo group 대신 docker group에 사용자를 추가함으로써,

각각 연구자가 docker container 내부에서 자유롭게 환경을 세팅하고 연구를 수행할 수 있다.

Problem

하지만 Docker에도 sudo의 리스크를 완전히 지울 수는 없다.

OS-level virtualization을 활용하는 Docker 특성상 root user 권한을 지닌 docker daemon이 항상 실행되고 있고,
docker group에 속한 사용자는 간접적으로 root 권한을 가지게 되어 잠재적 위험(Docker Daemon Attack Surface)이 발생한다.

예) imagenet 등 공유 데이터 폴더를 컨테이너에 마운트해서 사용하다 실수로 삭제/변형 시킬 수 있음

Solution

컨테이너 실행과정에서 root 권한을 완전히 제거하면서도 연구수행에 지장이 없는 대안이 필요했다.

KDST에서는 HPC 환경에서 많이 사용되던 Singularity container를 적용하기로 결정했다.

Singularity는 Docker에 비해 더 낮은 수준의 가상화를 제공하고,
별도의 데몬이 없으며 instance 생성 시 완전히 유저 권한으로 container를 실행할 수 있다.

Singularity workflow in our lab

다만, singularity를 사용하더라도 원하는 환경을 구축하고 빌드하기 위해서는 sudo 권한이 필요하다.

• 먼저, 별도의 컴파일 서버에 연구원들이 root user로 접속해 원하는 이미지(.sif)를 빌드하고

• 2. 이미지를 GPU 서버에 복사한 후 container instance를 실행해 연구를 수행한다.
  $ Singularity shell -nv our_image.sif

위의 간단한 프로세스를 통해 공용 GPU 클러스터에서 여러 연구자들이 각자 환경을 구축하고 isolation 침해 등 잠재적 위협에 대한 우려 없이 사용할수 있게 된다.

오는 5월에 열리는 ICLR 2023에 아래 논문이 채택되었습니다. 

지난번 AAAI에 이어서 연이어 좋은 일이 생겨서 기쁘고 올 한해 좋은 소식들이 이어졌으면 합니다.

- DepthFL : Depthwise Federated Learning for Heterogeneous Clients

안녕하세요. 박민철입니다. 2023년 1월 13일 진행했던 논문세미나 내용에 대해 간단하게 요약해보도록 하겠습니다.

인공신경망의 활용을 2D나 3D 영상에 대해 표현할 수 있는 형태로 학습하는 implicit representation 기술들이 활발하게 연구되고 있습니다. 하지만 도메인 내의 여러 인스턴스에 대해 개별적으로 representation을 만들어야 하는 문제때문에, 전체 학습 시간에 대한 이슈, 그리고 메모리 및 저장 공간에 대한 이슈가 존재합니다.

이에 따라, KAIST에서 수행한 Meta-Learning Sparse Implicit Neural Representations라는 NeurIPS 2021에 게재된 논문은 프루닝을 이용하여, 전체 모델 사이즈를 감소시키는 한편, meta learning을 이용하여 학습 시간에 대한 문제를 adaptation으로 풀고자 하였습니다.

프루닝 방법론에 대해서는 간단한 weight pruning을 사용했고, meta learning을 위해서는 MAML 기법을 사용했습니다. 이들은, 전체 neural representation을 만드는 방법을 sparse INR을 만들기 위한 파이프라인을 사전에 구축하고 적절하게 설계된 공통된 sparse neural network를 제작한 뒤, instance 마다 adaptation을 하는 기법을 제안했습니다.

실험 결과에서는 CelebA, Imagenette, SDF 등의 2D 영상물에 대하여 PSNR 수치를 측정하여, Meta-SparseINR이 신뢰할만한 성능을 보여주고 있음을 제시하였고, 특히 대비되는 구조 중 Dense-Narrow라는, 유사한 파라미터를 갖고 있지만, densely 연결된 모델에 대해 sparse neural network가 더 좋은 representation 성능을 보여주고 있음을 제시하였습니다.

감사합니다.

저희 팀 김유진 님이 AAAI 2022 논문으로 올해 KIST AI-로봇 연구소 최우수 논문상을 수상하였습니다. 

안녕하세요. KDST팀 학부연구생 박태주입니다. 12월 9일 진행했던 논문세미나 내용에 대해 간단하게 요약해보도록 하겠습니다.

continual learning(CL)은 sequence of tasks를 학습하면서도  previous tasks에서 배운 내용들을 까먹지 않는 것을 목표로합니다. 하지만 기존 연구들은 supervised task에 국한되어 있어, 이 논문에서는 continual learning을 unsupervised representation learning에 접목시킵니다.

Unsupervised representation learning을 위해서는 "SimSiam"과 "BarlowTwins" loss term을 사용했습니다. 그리고 continual learning에 적용하기 위해서 SI, PNN, DER과 같은 methods들을 사용하고, catastrophic forgetting을 잘 해결하기 위해 mixup을 활용한 LUMP method 또한 제시하였습니다.

실험 결과에서도 모든 데이터 셋에서 Unsupervised Continual Learning(UCL)이 Supervised Continual Learning(SCL)보다 accuracy가 높고 forgetting이 낮은 것을 확인할 수 있습니다. 또한 few-shot training, out-of-distribution tasks 실험에서도 UCL이 더 높은 성능을 보였습니다. feature maps을 시각화한 결과에서도 UCL이 더 구분가능한 특성을 보이며 forgetting에도 잘 대응했습니다. 또한 loss landscape을 보았을 때도 UCL LUMP가 catastrophic forgetting을 잘 해결한다는 것을 보였습니다.

감사합니다.