KDST

안녕하세요. KDST 박민철입니다. 컴퓨터 비전 분야에서는 데이터 분포의 불균형, 즉 long-tailed 문제로 인해 소수 클래스에 대한 인식 성능이 떨어지는 문제가 꾸준히 제기되고 있습니다. 이런 문제를 해결하기 위해 여러 연구들이 진행되고 있는데, 이번 포스팅에서는 “Disentangling Label Distribution for Long-tailed Visual Recognition”  CVPR 2021의 논문을 통해 제안된 혁신적인 방법을 살펴보도록 하겠습니다.  현실 세계의 데이터는 종종 몇몇 클래스에 데이터가 몰려있고, 일부 클래스는 상대적으로 적은 데이터만을 보유하는 long-tailed 분포를 보입니다. 이런 불균형은 모델이 주로 다수 클래스에 집중하게 만들고, 소수 클래스에 대한 인식..

안녕하세요. KDST 박민철입니다. 오늘은 NeurIPS 2022에 발표된 "Revisiting Realistic Test-Time Training: Sequential Inference and Adaptation by Anchored Clustering" 제목의 도메인 적응 연구 결과를 포스팅하고자 합니다. 본 연구는 도메인 적응 문제를 테스트 시점에서 접근하기 위한 학습 방법으로 Test-Time Adaptation (TTA)과 유사해 보이지만, 소스 도메인에 대한 통계적 정보를 활용하고, 테스트 데이터가 연속적으로 주어지는 상황에서 비지도 학습을 통해 적응하는 기술이라고 볼 수 있습니다. 본 논문은 도메인 적응 상황에서 2가지 상황에 대한 한계점을 언급합니다.1. 소스 및 타겟 데이터 접근 요구: ..

안녕하세요. KDST 박민철입니다. 오늘은 최근 CVPR 2024에 발표된 "Diffusion Models Without Attention" 제목의 연구 결과를 포스팅하고자 합니다. Diffusion Models (DMs)는 우리가 잘 알고 있는 이미지 생성 AI 모델 중 하나입니다. 본 연구는 그동안 널리 활용되어온 U-Net기반의 diffusion backbone에서 나아가 구조적 스케일 확장을 위해 Transformer를 바탕으로 backbone 설계를 제안한 "Scalable Diffusion Models with Transformers, ICCV 2023 (oral)"에서 동기를 받아 출발합니다. 앞서 Transformer를 diffusione의 backbone으로 제안했던 Diffusion T..

안녕하세요, KDST팀 이원준입니다.금일 진행한 세미나에 대해서 공유드리도록 하겠습니다.  NeurIPS 2024에서 Oral Paper로 선정된 논문입니다.  LLM이 발전하면서 LLM으로 evaluation을 진행하는 비중이 많아졌습니다. 이러한 LLM의 역할이 많아짐과 동시에 LLM이 특정한 bias를 가질 수 있다라는게 논문에서 지적하는 포인트입니다.구체적으로, LLM은 LLM 스스로가 생성한 아웃풋에 대해서 다른 LLM이나 인간이 작성한 텍스트보다 자신의 출력을 더 높게 평가한다라는 것입니다. 논문의 주요 Contribution은 아래와 같습니다.LLMs는 self-preference를 가진다 LLMs는 이러한 self-preference의 이유로 self-recognition 능력이 존재한다...

안녕하세요 KDST 박민철입니다. 이번 공유 내용에서는 지난 업로드와 마찬가지로 생소한 주제를 준비해보았습니다. 제가 준비한 내용은 직접 범주화하기에 까다롭지만, Neural Architecture Search (NAS)처럼 보일 수 있는, model stitching에 관한 한 가지 연구, "Stitchable Neural Networks, CVPR 2023 (Spotlight)"를 소개드리고자 합니다. Model stitching은 최근 공개 저장소에 딥러닝 모델들의 급격한 배포가 이루어짐에 따라 (HuggingFace ~81k models, timm ~800 models), 수많은 사전 학습된 모델의 중간 중간 피쳐를 잘 연결하면, 기존 모델보다 더 비용적으로 효율적이고, 우수한 성능을 만들 수 ..

다음달에 Vancouver에서 열리는 NeurIPS 2024에 작년에 이어 1편의 논문을 발표하게 되었습니다.일반적인 filter pruning을 적용하면 성능 저하가 심해서 기존 filter pruning 방법들이 포기하였던 depth-wise separable convolution layer에 대한 사실상 최초의 structured pruning 논문이라서 MobileNet, EfficientNet 등 depth-wise separable convolution이 포함된 모델을 활용하시는 분들에게는 꼭 추천드릴 만한 기술입니다. "DEPrune: Depth-wise Separable Convolution Pruning for Maximizing GPU Parallelism"

안녕하세요. KDST 박민철입니다. 이번 공유 내용에서는 "Adversarial Purification"이라는 생소한 주제의 연구 내용을 소개드리고자 합니다. Adversarial purification  deep learning 모델을 속이기 위해 adversarial attack에 의해 악의적으로 제작된 adversarial example (AE)이라는 데이터에 대하여 이를 초기의 깨끗한 이미지처럼 정화하여 deep learning의 결정 능력을 보존하는 방어 기술입니다. 우리는 흔히 이를 모델이 얼마나 강건한지에 대한 논의로 robustness라는 주제로 공부하기도 합니다만, 과거에 수 많은 방법으로 연구되었던 모델 자체의 강건성을 증가시키기 위한 adversarial training 방법과는 달..

안녕하세요. 안녕하세요. KDST팀 김유진입니다. 9월 27일에 진행했던 Point-based image editing에 대한 세미나 내용을 간략하게 요약해보도록 하겠습니다. 이번에 소개해 드릴 논문은 CVPR 2024에서 Highlight를 받은 "DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing" 입니다. Point-based image edit이란 사용자가 먼저 주어진 이미지에서 Handling point와 Target point pair를 여러 개 지정 후, 모델이 해당 이미지에서 의미론적으로 일관된 편집을 수행하여 Handling point의 content를 target point로 이동하여 이..

안녕하세요. KDST 박민철입니다. 이번 공유 내용에서는 최근 파라미터 기반의 이미지 생성 모델에서 고려되어야 할 두 가지 핵심 사항 ((1) 텍스트 프롬프트와 생성된 이미지의 일치성 및 파라미터를 터치하는 source content의 identity와 유사한 보존적 특성을 갖는 것)을 효과적으로 달성하기 위해 제안된 Posterior Distillation Sampling, CVPR 2024 논문을 소개드리고자 합니다. 논문의 도입에서 기술하는 내용을 잠시 살펴보면, 2D 이미지를 생성하는 diffusion 모델들은 Internet-scale의 이미지와 text 데이터셋에 힘입어 상당히 강력한 generative prior을 갖게 되었지만, 이들의 강력한 2D generative prior는 광범위한 ..

안녕하세요. KDST 박민철입니다. 이번 공유 내용에서는, 최근 초해상도 영상 특별히 파노라마 영상 등을 생성하기 위해 기존 생성 모델의 표현 범위의 한계로 인하여 다수의 생성 모델을 필요로하는 경우 크기가 제한된 생성된 영상들에 대한 상호간 짜깁기 (Montage)에서 표현 정보의 coherency를 잘 유지하려는 목적을 다루었던 방법론을 소개하고자 합니다. 소개드릴 NeuIPS 2023의 SyncDiffusion: Coherent Montage via Synchronized Joint Diffusions는 이 문제를 적극적으로 다루고 있습니다. 구체적으로, 텍스트 prompt가 주어지고, 해당 prompt를 표현하는 파노라마 영상을 생성할 때, 여러 diffusion 모델들을 도입하여 사용하는 경우..