KDST

안녕하세요 KDST 한용진입니다. 이번 논문 세미나에서 소개해드린 논문, "Seeking Consistent Flat Minima for Better Domain Generalization via Refining Loss Landscapes"을 살펴보고자 합니다. 논문 제목을 통해 유추할 수 있듯이 loss landscape를 조정해 가며 Domain Generalization을 위해 consistent flat minima를 찾는 방법을 제안하는 논문입니다. SummaryDomain Generalization을 위해서 여러 연구들이 flat minima를 효율적으로 찾는 방법을 제안해오고 있습니다. 그러나 기존 방법들은 서로 다른 도메인 간의 consistency를 고려하지 않는다는 문제점이 존재합니다..

안녕하세요 KDST 한용진입니다. 이번 세미나에서는 2025년도 ICLR에서 발표된 "Robustness Reprogramming for Representation Learning"이란 논문을 발표하였습니다. 논문에 대해 간략하게 먼저 설명을 해보자면, 본 논문에서는 feature의 패턴 매칭 관점에서 신경망 모델의 취약점을 살펴보고 이를 해결하기 위해 비선형 패턴 매칭 방법을 제안합니다. 비선형 패턴 매칭을 통해 유도된 아키텍처로 변환하는 것만으로도 모델의 robustness가 향상됨을 보입니다. Robustness 향상을 위해 고비용의 적대적 학습을 하였던 기존 방법을 벗어나 representation learning 관점으로 재해석하여 추가적인 학습 없이도 robustness를 향상할 수 있음을 보..

7월에 캐나다 밴쿠버에서 열리는 ICML 2025에 다음 2편의 논문을 발표하게 되었습니다. "When Model Knowledge meets Diffusion Model: Diffusion-assisted Data-free Image Synthesis with Alignment of Domain and Class""ELITE: Enhanced Language-Image Toxicity Evaluation for Safety"

안녕하세요 KDST팀 이원준입니다. 금일 진행한 세미나 논문에 대해서 공유드리도록 하겠습니다. CVPR 2025에 accept된 논문이고, Yann Lecun과 Kaiming He가 저자에 포함되어 있는 논문입니다.  Introduction 최근 Normalization 레이어는 필수적으로 사용되고 있지만, 본 논문에서는 제안한 방법을 통해 이러한 Normalization 없는 trasnformer가 이와 비슷한 성능 혹은 더 나은 성능을 입증한 논문입니다. 본 논문에서는 Normalization을 대체하기 위해, Dynamic Tanh (DyT)를 제안합니다.  위 방식은 굉장히 심플한 방식만으로 기존에 사용되어왔던  Normalization을 대체함으로써 효과성을 입증합니다.  위 그림에서 저자들은 ..

안녕하세요. KDST 한용진입니다. 이번에 소개해드릴 논문은 2025년도 ICLR에 게재된 "Resolution Attack: Exploiting Image Compression to Deceive Deep Neural Networks"에 대해 소개해드리겠습니다. 기존에 딥뉴럴넷 모델을 공격하는 기법들은 주로 adversarial perturbation이나 noisy label에 대한 robustness 연구가 진행되어 왔습니다. 반면 resolution에 대한 robustness 연구는 거의 이루어지고 있지 않습니다. 하지만, 저희는 일상생활에서 생각보다 자주 low-resolution image를 접하고 있습니다. 예를 들어, 네트워크 비용 감소를 위해 SNS에 사진을 업로드 시 이 사진은 압축되어 ..

6월에 Nashville, Tennessee에서 열리는 CVPR 2025에 1편의 논문을 발표하게 되었습니다. 논문의 자세한 내용은 추후에 올리도록 하겠습니다. 1저자인 김현수 님이 저희 팀에서 학부연구생 4개월 하시고 석사 입학후 두 달만에 쓰신 논문입니다.  "Difference Inversion : Interpolate and Isolate the Difference with Token Consistency for Image Analogy Generation"

현재 필라델피아에서 열리고 있는 AAAI 2025에 3(!)편의 논문을 발표하게 되었습니다. 각 논문의 자세한 내용은 추후에 올리도록 하겠습니다.  “Maximizing the Position Embedding for Vision Transformers with Global Average Pooling.”“Salient Frequency-aware Exemplar Compression for Resource-constrained Online Continual Learning.” “Convergence Analysis of Federated Learning Methods Using Backward Error Analysis.”

안녕하세요. KDST 박민철입니다. 컴퓨터 비전 분야에서는 데이터 분포의 불균형, 즉 long-tailed 문제로 인해 소수 클래스에 대한 인식 성능이 떨어지는 문제가 꾸준히 제기되고 있습니다. 이런 문제를 해결하기 위해 여러 연구들이 진행되고 있는데, 이번 포스팅에서는 “Disentangling Label Distribution for Long-tailed Visual Recognition”  CVPR 2021의 논문을 통해 제안된 혁신적인 방법을 살펴보도록 하겠습니다.  현실 세계의 데이터는 종종 몇몇 클래스에 데이터가 몰려있고, 일부 클래스는 상대적으로 적은 데이터만을 보유하는 long-tailed 분포를 보입니다. 이런 불균형은 모델이 주로 다수 클래스에 집중하게 만들고, 소수 클래스에 대한 인식..

안녕하세요. KDST 박민철입니다. 오늘은 NeurIPS 2022에 발표된 "Revisiting Realistic Test-Time Training: Sequential Inference and Adaptation by Anchored Clustering" 제목의 도메인 적응 연구 결과를 포스팅하고자 합니다. 본 연구는 도메인 적응 문제를 테스트 시점에서 접근하기 위한 학습 방법으로 Test-Time Adaptation (TTA)과 유사해 보이지만, 소스 도메인에 대한 통계적 정보를 활용하고, 테스트 데이터가 연속적으로 주어지는 상황에서 비지도 학습을 통해 적응하는 기술이라고 볼 수 있습니다. 본 논문은 도메인 적응 상황에서 2가지 상황에 대한 한계점을 언급합니다.1. 소스 및 타겟 데이터 접근 요구: ..

안녕하세요. KDST 박민철입니다. 오늘은 최근 CVPR 2024에 발표된 "Diffusion Models Without Attention" 제목의 연구 결과를 포스팅하고자 합니다. Diffusion Models (DMs)는 우리가 잘 알고 있는 이미지 생성 AI 모델 중 하나입니다. 본 연구는 그동안 널리 활용되어온 U-Net기반의 diffusion backbone에서 나아가 구조적 스케일 확장을 위해 Transformer를 바탕으로 backbone 설계를 제안한 "Scalable Diffusion Models with Transformers, ICCV 2023 (oral)"에서 동기를 받아 출발합니다. 앞서 Transformer를 diffusione의 backbone으로 제안했던 Diffusion T..