KDST

안녕하세요, KDST팀 김동진입니다. 오늘 소개해드릴 논문은 “What Can Transformers Learn In-Context? A Case Study of Simple Function Classes “로 NeurIPS2022에서 좋은 평가를 받은 논문입니다. GPT-3 모델의 등장으로 번역과 같은 다양한 downstream task에서 Zero-shot 또는 few-shot으로도 준수한 성능을 낼 수 있게 되었습니다. 이러한 발전으로 prompt engineering에 관한 관심 또한 높아졌으며, 이번 논문은 prompt engineering의 방식 중 하나인 in-context learning에 관한 내용입니다. (In-context learing이란 모델의 weight가 update가 되지 않..

안녕하세요, KDST 팀 강민수입니다. 오늘 소개해드릴 논문은 "Segment Anything," 이고 Meta AI에서 공개한 논문입니다. Segment anything은 모델과 데이터셋을 제안한 논문으로 foundation 모델을 지향하는 논문입니다. NLP에서는 prompt engineering으로 이를 달성할 수 있었고, web-scale dataset이 있었기에 가능했습니다. 하지만, vision field에서는 이것이 매우 어렵습니다. CLIP이나 ALIGN도 language-vision model을 통해서 비슷하게 가능하게 했지만, foundation모델로 인정받지 못하는 것이 그것입니다. 본 논문의 목표는 segmentation task에서 foundation model을 만드는 것으로 3..

안녕하세요. KDST에서 현장실습을 하고 있는 성균관대학교 데이터사이언스융합전공 김지환이라고 합니다. 제가 오늘 소개드릴 논문은 2020년 NeurIPS에 나온 논문으로, OOD 탐지할 때 사용할 수 있는 score로 Energy score를 제시합니다. 기존에 사용하였던 softmax score의 단점인 overconfidence를 줄일 수 있는 차별화된 방법이라고 저자들은 주장합니다. NeurIPS 버전과 아카이브 버전이 달라서 두 버전 모두 링크를 달아두겠습니다. [NeurIPS 버전] https://proceedings.neurips.cc/paper/2020/file/f5496252609c43eb8a3d147ab9b9c006-Paper.pdf [아카이브 버전] https://arxiv.org/pd..

안녕하세요, KDST팀 김동진입니다. 오늘 소개해드릴 논문은 “LAST LAYER RE-TRAINING IS SUFFICIENT FOR ROBUSTNESS TO SPURIOUS CORRELATIONS“로 ICLR2023에 Spotlight로 선정되었습니다. 주요 내용은 아래와 같습니다. 본 논문은 딥러닝 모델이 학습하기 쉬운 spurious correlation을 기반으로 class label 예측을 하더라도 label과 관련된 core feature가 feature extractor에서 추출되는 것을 다양한 비율의 spurious correlation이 존재하는 데이터셋들에서 실험을 통해 보였습니다. 또한, 저자들은 feature extractor가 core feature를 추출하더라도 모델이 clas..

올해 10월에 파리에서 열리는 ICCV 2023에 아래 논문이 채택되었습니다. 이미지 생성 모델의 품질을 측정하는 향상된 metric(precision & recall)을 제안하는 논문입니다. 기존의 improved precision & recall 보다는 확실히 더 나아졌다고 말씀드릴 수 있으니 관련 연구 하시는 분들은 한번 사용해 보시길 추천드립니다. Probabilistic Precision and Recall Towards Reliable Evaluation of Generative Models

안녕하세요, 학부연구생 박윤아입니다. 지난 4월에 처음으로 논문 리뷰 발표를 했었는데, 오늘 7월 21일 두번째 발표를 하게 되었습니다. 이 논문의 핵심 아이디어는, Attention Similarity Knowledge Distillation (A-SKD)로 Teacher model의 attention map을 student model로 전달하여, 저해상도 이미지에서도 얼굴인식 성능을 내도록 하는것 입니다. attention map을 distillation할 때 '고해상도 모델의 channel과 저해상도 모델의 channel의 역할(혹은 파라미터)가 다를텐데, attention map을 바로 전달해도 되는건지' 에 대해 질문하셨는데, 답하지 못했습니다. 논문에서 CBAM attention module을..

안녕하세요, KDST팀 학부연구생 이원준입니다. 2023년 6월 30일에 진행하였던 논문 세미나 내용 간단하게 전달드리겠습니다. 본 논문에서 제안하는 내용은 다음과 같습니다. 저자는 vision transformer가 image task에서 이미지를 확인하는 long-range dependency로 인해 성공적으로 적용되고 있다고 말합니다. 하지만 논문에서 기존의 cnn과 vision transformer 사이의 성능과 computational cost 사이의 gap이 존재하는데 이러한 서로간의 장단점을 극복하기 위해 CMT라는 새로운 아키텍쳐를 제안합니다 Vision transformer의 long-range dependency 뿐만 아니라, CNN의 Local Feature의 장점을 활용한 하이브리드..

Motivation GPU 클러스터를 팀에서 공용으로 사용하는 경우 사용자간 환경 분리와 유저 권한에 대한 관리가 필요하다. 이러한 환경에서는 서로 모순되는 요구사항이 존재한다. 누구든 실수로 문제를 발생시킬 수 있기 때문에 모두에게 sudo 권한을 주는 것은 지양되어야 한다. 연구 환경 세팅을 위해 apt 같은 sudo를 요구하는 패키지 관리 툴을 사용할 수 있어야한다. 프로젝트에 따라 고립된 환경의 구축을 할 수 있어야한다. Current situation 이러한 요구사항을 고려하기 위해 KDST에서는 그동안 Docker를 사용해왔다. 서버의 sudo group 대신 docker group에 사용자를 추가함으로써, 각각 연구자가 docker container 내부에서 자유롭게 환경을 세팅하고 연구를 ..

오는 5월에 열리는 ICLR 2023에 아래 논문이 채택되었습니다. 지난번 AAAI에 이어서 연이어 좋은 일이 생겨서 기쁘고 올 한해 좋은 소식들이 이어졌으면 합니다. - DepthFL : Depthwise Federated Learning for Heterogeneous Clients

안녕하세요. 박민철입니다. 2023년 1월 13일 진행했던 논문세미나 내용에 대해 간단하게 요약해보도록 하겠습니다. 인공신경망의 활용을 2D나 3D 영상에 대해 표현할 수 있는 형태로 학습하는 implicit representation 기술들이 활발하게 연구되고 있습니다. 하지만 도메인 내의 여러 인스턴스에 대해 개별적으로 representation을 만들어야 하는 문제때문에, 전체 학습 시간에 대한 이슈, 그리고 메모리 및 저장 공간에 대한 이슈가 존재합니다. 이에 따라, KAIST에서 수행한 Meta-Learning Sparse Implicit Neural Representations라는 NeurIPS 2021에 게재된 논문은 프루닝을 이용하여, 전체 모델 사이즈를 감소시키는 한편, meta lear..