KDST

KDST는 딥러닝을 중심으로 AI와 데이터에 관련된 여러 주제에 대해서 연구하는 팀입니다.

전체 글 113

CMT: Convolutional Neural Networks Meet Vision Transformer(CVPR 2022)

안녕하세요, KDST팀 학부연구생 이원준입니다. 2023년 6월 30일에 진행하였던 논문 세미나 내용 간단하게 전달드리겠습니다. 본 논문에서 제안하는 내용은 다음과 같습니다. 저자는 vision transformer가 image task에서 이미지를 확인하는 long-range dependency로 인해 성공적으로 적용되고 있다고 말합니다. 하지만 논문에서 기존의 cnn과 vision transformer 사이의 성능과 computational cost 사이의 gap이 존재하는데 이러한 서로간의 장단점을 극복하기 위해 CMT라는 새로운 아키텍쳐를 제안합니다 Vision transformer의 long-range dependency 뿐만 아니라, CNN의 Local Feature의 장점을 활용한 하이브리드..

카테고리 없음 2023.07.21

Rootless 공용 딥러닝 연구 환경을 위한 Singularity 컨테이너 도입

Motivation GPU 클러스터를 팀에서 공용으로 사용하는 경우 사용자간 환경 분리와 유저 권한에 대한 관리가 필요하다. 이러한 환경에서는 서로 모순되는 요구사항이 존재한다. 누구든 실수로 문제를 발생시킬 수 있기 때문에 모두에게 sudo 권한을 주는 것은 지양되어야 한다. 연구 환경 세팅을 위해 apt 같은 sudo를 요구하는 패키지 관리 툴을 사용할 수 있어야한다. 프로젝트에 따라 고립된 환경의 구축을 할 수 있어야한다. Current situation 이러한 요구사항을 고려하기 위해 KDST에서는 그동안 Docker를 사용해왔다. 서버의 sudo group 대신 docker group에 사용자를 추가함으로써, 각각 연구자가 docker container 내부에서 자유롭게 환경을 세팅하고 연구를 ..

카테고리 없음 2023.03.14

MetaSparse-INR, NeurIPS, 2021 포스팅

안녕하세요. 박민철입니다. 2023년 1월 13일 진행했던 논문세미나 내용에 대해 간단하게 요약해보도록 하겠습니다. 인공신경망의 활용을 2D나 3D 영상에 대해 표현할 수 있는 형태로 학습하는 implicit representation 기술들이 활발하게 연구되고 있습니다. 하지만 도메인 내의 여러 인스턴스에 대해 개별적으로 representation을 만들어야 하는 문제때문에, 전체 학습 시간에 대한 이슈, 그리고 메모리 및 저장 공간에 대한 이슈가 존재합니다. 이에 따라, KAIST에서 수행한 Meta-Learning Sparse Implicit Neural Representations라는 NeurIPS 2021에 게재된 논문은 프루닝을 이용하여, 전체 모델 사이즈를 감소시키는 한편, meta lear..

카테고리 없음 2023.01.30

Representational Continuity For Unsupervised Continual Learning(ICLR 2022)

안녕하세요. KDST팀 학부연구생 박태주입니다. 12월 9일 진행했던 논문세미나 내용에 대해 간단하게 요약해보도록 하겠습니다. continual learning(CL)은 sequence of tasks를 학습하면서도 previous tasks에서 배운 내용들을 까먹지 않는 것을 목표로합니다. 하지만 기존 연구들은 supervised task에 국한되어 있어, 이 논문에서는 continual learning을 unsupervised representation learning에 접목시킵니다. Unsupervised representation learning을 위해서는 "SimSiam"과 "BarlowTwins" loss term을 사용했습니다. 그리고 continual learning에 적용하기 위해서 SI..

카테고리 없음 2022.12.16

When Vision Transformers Outperform ResNets without Pre-training or Strong Data Augmentations (ICLR 2022)

안녕하세요. VMO 연구실 신광용입니다. 2022년 11월 4일 세미나 내용을 간략히 공유해 드립니다. Transformer 및 MLP-Mixer와 같은 general-purpose 아키텍처를 잘 학습할 수 있으면 모델 구조 최적화를 거치지 않고도 높은 성능을 얻을 수 있습니다. NLP 용도로 개발된 Transformer가 ImageNet classification에서 기존 Convolution 기반 모델과 비슷하거나 그 이상의 성능을 얻을 수 있다는것을 보여줬지만 (Vision transformer), 매우 큰 데이타셋에서의 pre-training 그리고 강한 data augmentation에 의존한다는 단점이 있습니다. Pre-training 및 strong data augmentation 없이 Im..

카테고리 없음 2022.12.06

TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers (2022 CVPR)

안녕하세요. KDST 학부 연구생 공경은입니다. 2022/12/02 논문 세미나 내용을 간략하게 요약해보겠습니다. 3D-Lidar, Camera의 Sensor Fusion을 통한 3D object detection에 대한 많은 연구가 진행되어 왔습니다. 이 논문에선 Point-Wise Sensor Fusion 방식의 단점을 지적하고 있습니다. Camera 센서의 경우 bad ilumination 환경에서 매우 부정확하며 이는 Sensor Fusion 과정에서 Noise로 작용 할 수 있습니다. 논문에선 Point-Wise 하게 연결되는 hard-association을 transformer을 통한 soft-association으로 바꿔야 한다고 주장합니다. 모델 구조는 다음과 같습니다. 1. 3D, 2D ..

카테고리 없음 2022.12.02

Learning Strides in Convolutional Neural Networks(ICLR 2022)

안녕하세요. KDST팀 학부연구생 박태주입니다. 9월 23일 진행했던 논문세미나 내용에 대해 간단하게 요약해보도록 하겠습니다. CNN에서 downsampling을 하는 것이 이미지의 해상도를 줄이며 중요한 정보만 뽑게됩니다. 기존의 striding은 미분 불가능해서 학습이 불가능해 hyper-parameter로 설정을 해줘야했습니다. 본 논문에서는 미분이 가능한 stride인 "DiffStride" 방식을 제안합니다. spatial domain의 이미지를 푸리에 변환을 통해 frequency domain으로 표현하고, cropping window(masking function)를 사용하여 downsampling을 진행합니다. 마지막으로 다시 역변환으로 spatial domain으로 이미지를 표현합니다. ..

카테고리 없음 2022.12.02