KDST

안녕하세요 KDST팀 이원준입니다. 금일 진행한 세미나 논문에 대해서 공유드리도록 하겠습니다. CVPR 2025에 accept된 논문이고, Yann Lecun과 Kaiming He가 저자에 포함되어 있는 논문입니다.  Introduction 최근 Normalization 레이어는 필수적으로 사용되고 있지만, 본 논문에서는 제안한 방법을 통해 이러한 Normalization 없는 trasnformer가 이와 비슷한 성능 혹은 더 나은 성능을 입증한 논문입니다. 본 논문에서는 Normalization을 대체하기 위해, Dynamic Tanh (DyT)를 제안합니다.  위 방식은 굉장히 심플한 방식만으로 기존에 사용되어왔던  Normalization을 대체함으로써 효과성을 입증합니다.  위 그림에서 저자들은 ..

안녕하세요. KDST 한용진입니다. 이번에 소개해드릴 논문은 2025년도 ICLR에 게재된 "Resolution Attack: Exploiting Image Compression to Deceive Deep Neural Networks"에 대해 소개해드리겠습니다. 기존에 딥뉴럴넷 모델을 공격하는 기법들은 주로 adversarial perturbation이나 noisy label에 대한 robustness 연구가 진행되어 왔습니다. 반면 resolution에 대한 robustness 연구는 거의 이루어지고 있지 않습니다. 하지만, 저희는 일상생활에서 생각보다 자주 low-resolution image를 접하고 있습니다. 예를 들어, 네트워크 비용 감소를 위해 SNS에 사진을 업로드 시 이 사진은 압축되어 ..

6월에 Nashville, Tennessee에서 열리는 CVPR 2025에 1편의 논문을 발표하게 되었습니다. 논문의 자세한 내용은 추후에 올리도록 하겠습니다. 1저자인 김현수 님이 저희 팀에서 학부연구생 4개월 하시고 석사 입학후 두 달만에 쓰신 논문입니다.  "Difference Inversion : Interpolate and Isolate the Difference with Token Consistency for Image Analogy Generation"

현재 필라델피아에서 열리고 있는 AAAI 2025에 3(!)편의 논문을 발표하게 되었습니다. 각 논문의 자세한 내용은 추후에 올리도록 하겠습니다.  “Maximizing the Position Embedding for Vision Transformers with Global Average Pooling.”“Salient Frequency-aware Exemplar Compression for Resource-constrained Online Continual Learning.” “Convergence Analysis of Federated Learning Methods Using Backward Error Analysis.”