KDST

안녕하세요. VMO 연구실 신광용입니다. 2022년 11월 4일 세미나 내용을 간략히 공유해 드립니다. Transformer 및 MLP-Mixer와 같은 general-purpose 아키텍처를 잘 학습할 수 있으면 모델 구조 최적화를 거치지 않고도 높은 성능을 얻을 수 있습니다. NLP 용도로 개발된 Transformer가 ImageNet classification에서 기존 Convolution 기반 모델과 비슷하거나 그 이상의 성능을 얻을 수 있다는것을 보여줬지만 (Vision transformer), 매우 큰 데이타셋에서의 pre-training 그리고 강한 data augmentation에 의존한다는 단점이 있습니다. Pre-training 및 strong data augmentation 없이 Im..

안녕하세요. KDST 학부 연구생 공경은입니다. 2022/12/02 논문 세미나 내용을 간략하게 요약해보겠습니다. 3D-Lidar, Camera의 Sensor Fusion을 통한 3D object detection에 대한 많은 연구가 진행되어 왔습니다. 이 논문에선 Point-Wise Sensor Fusion 방식의 단점을 지적하고 있습니다. Camera 센서의 경우 bad ilumination 환경에서 매우 부정확하며 이는 Sensor Fusion 과정에서 Noise로 작용 할 수 있습니다. 논문에선 Point-Wise 하게 연결되는 hard-association을 transformer을 통한 soft-association으로 바꿔야 한다고 주장합니다. 모델 구조는 다음과 같습니다. 1. 3D, 2D ..

안녕하세요. KDST팀 학부연구생 박태주입니다. 9월 23일 진행했던 논문세미나 내용에 대해 간단하게 요약해보도록 하겠습니다. CNN에서 downsampling을 하는 것이 이미지의 해상도를 줄이며 중요한 정보만 뽑게됩니다. 기존의 striding은 미분 불가능해서 학습이 불가능해 hyper-parameter로 설정을 해줘야했습니다. 본 논문에서는 미분이 가능한 stride인 "DiffStride" 방식을 제안합니다. spatial domain의 이미지를 푸리에 변환을 통해 frequency domain으로 표현하고, cropping window(masking function)를 사용하여 downsampling을 진행합니다. 마지막으로 다시 역변환으로 spatial domain으로 이미지를 표현합니다. ..

안녕하세요. KDST팀 김유진입니다. 10월 21일에 진행했던 MLP-Mixer에 대한 세미나 내용을 간략하게 요약해보도록 하겠습니다. 현재까지 Computer vision task를 수행하기위해 다양한 아키텍쳐가 제안되어 왔습니다. 그중에서도 MLP-Mixer는 기존의 CNN 기반의 아키텍쳐와 달리 MLP layer만을 활용하여 아키텍쳐를 구성한다는 특징이 있습니다. MLP-Mixer는 기존 CNN기반의 아키텍쳐와 달리 레이어의 노드간 완전 연결을 통해, locality 현상을 극복하고 global feature를 학습할 수 있습니다. 또한 Vision Transformer가 추구하는 방향 (inductive bias문제 해결, self-attention을 활용하여 global feature를 학습) ..

안녕하세요 서울대학교 VMO 연구실 김민재입니다. 11/18 세미나 내용 간략히 공유해 드립니다. 헤즈업 노리밋 텍사스 홀덤(HUNL)게임은 정보가 불완전한 전형적인 게임입니다. DeepStack 및 Libratus와 같은 대표적인 선행 연구들은 HUNL을 해결하기 위해 CFR 및 그 변형에 크게 의존하지만 CFR 에는 많은 연산 오버헤드가 존재합니다. 본 논문은 엔드 투 엔드 셀프 플레이 강화 학습 프레임워크로 학습할 수 있는 고성능 경량 HUNL AI인 AlphaHoldem을 제시합니다. 제안된 프레임워크는 학습된 모델을 다른 과거 버전들과 경쟁하여 end-to-end로 직접 학습하기 위한 CNN 아키텍처를 채택합니다. 주요 contribution에는 카드 및 베팅 정보의 새로운 상태 표현, 멀티태스..

안녕하세요 KDST 팀의 강민수입니다. 오늘 소개해드릴 논문은 Facebook AI 팀에서 발표한 Simsiam architecture를 활용하여 unsupervised learning 방식 중 하나인 contrastive learning 을 하는 방식입니다. 전통적인 contrastive learning method들은 한 이미지를 대상으로 strong augmentation을 취해서 유사한 이미지를 만듭니다. 이후, augmentation된 이미지들은 서로 같게, 서로 다른 instance의 이미지는 embedding vector가 다르게 학습함으로서 feature representation learning을 하게 됩니다. 이런 상황에서 model을 shared해서 모두 같은 이미지를 흘리는 방식도 ..

안녕하세요, KDST팀 김동진입니다. 오늘 소개해드릴 논문은 distribution shift에서의 generalization 발생을 분석 가능하게 하는 framework을 제안하고, 이 framework를 이용하여 다양한 distribution shift의 기반이 되는 3가지 distribution shift를 정의하고 추가적인 2가지 조건(label noise, train dataset 사이즈)에서 robustness를 가져올 수 있는 다양한 방법론들을 평가 및 비교한 논문입니다. 논문에는 진행한 실험 분석의 결과들이 Takeaways에 정리되어있고, distribution shift 문제에 대응해야 할 때 도움이 될 수 있는 팁들 또한 Pratical tips에 정리되어있어 참고하시면 좋을 것 같습..

안녕하세요 고려대학교 KDST 연구실 석사과정 강민수입니다. 2022년 9월 22일 세미나 내용을 간략히 요약해드리겠습니다. Deep neural network는 보통 dataset에 존재하는 spurious correlation에 기반해서 prediction을 하는 경우가 많다고 합니다. 쉽게 말하면 ground truth라고 알고있는 대상을 보지 않고 correlated된 다른 feature를 기반으로 하는 경우가 많다는 것이죠. 이러한 것은 unbiased data distribution환경에서 generalization에 실패하는 경우도 많았기에 이러한 문제를 다뤘던 기존의 approach들이 있었다고 합니다. 흔히 생각해볼 수 있는 것은 pre-defined된 bias attribute를 통해서..

안녕하세요 인턴 김준수입니다. 2022년 9월 22일 세미나 내용을 간략히 요약해드리겠습니다. 일반적인 컴퓨터는 exponential complexitiy를 가지는 문제들을 푸는데 한계가 존재하고, 이를 양자컴퓨팅을 통해 극복할 수 있습니다. 양자컴퓨팅은 기존의 정보단위인 bit대신 quantum bit (qubit)를 사용하고, 양자역학의 2가지 특성인 superposition과 entanglement를 이용합니다. superposition은 qubit 하나가 0또는 1의 상태를 동시에 가질 수 있음을 의미하고, entanglement는 서로 다른 큐빗들이 서로의 state에 간섭할 수 있음을 뜻합니다. 위 두가지 특성을 통해 여러가지 문제를 efficient하게 풀 수 있는데, 예를 들면 주어진 함수..

안녕하세요. 서울대학교 VMO 연구실 신광용입니다. 8/11 세미나 내용 요약입니다. 효율적인 학습을 위해 학습 데이터를 랜덤하게 선택하는 대신 데이터를 선별해서 학습하는 방법이 존재하는데, 보통 데이터를 선택할 때 training loss 또는 gradient 값이 큰 데이터 위주로 선택했습니다. 이 논문은 기존 방법들은 학습해서는 안되는 noisy, 혹은 학습 중요도가 낮은 outlier 데이터 위주로 선택하는 단점이 있다는 점을 보여주고, 이 단점들을 개선한 방법을 제안합니다. 이 논문의 학습 데이터 선택 기준은 training loss뿐만 아니라, 따로 분리한 holdout 데이터셋에 학습한 모델에서의 loss 값 또한 참고합니다. 후자 loss을 irreducible holdout loss(IL..