KDST

안녕하세요, KDST팀 이원준입니다.금일 진행한 세미나에 대해서 공유드리도록 하겠습니다.  NeurIPS 2024에서 Oral Paper로 선정된 논문입니다.  LLM이 발전하면서 LLM으로 evaluation을 진행하는 비중이 많아졌습니다. 이러한 LLM의 역할이 많아짐과 동시에 LLM이 특정한 bias를 가질 수 있다라는게 논문에서 지적하는 포인트입니다.구체적으로, LLM은 LLM 스스로가 생성한 아웃풋에 대해서 다른 LLM이나 인간이 작성한 텍스트보다 자신의 출력을 더 높게 평가한다라는 것입니다. 논문의 주요 Contribution은 아래와 같습니다.LLMs는 self-preference를 가진다 LLMs는 이러한 self-preference의 이유로 self-recognition 능력이 존재한다...

안녕하세요 KDST 박민철입니다. 이번 공유 내용에서는 지난 업로드와 마찬가지로 생소한 주제를 준비해보았습니다. 제가 준비한 내용은 직접 범주화하기에 까다롭지만, Neural Architecture Search (NAS)처럼 보일 수 있는, model stitching에 관한 한 가지 연구, "Stitchable Neural Networks, CVPR 2023 (Spotlight)"를 소개드리고자 합니다. Model stitching은 최근 공개 저장소에 딥러닝 모델들의 급격한 배포가 이루어짐에 따라 (HuggingFace ~81k models, timm ~800 models), 수많은 사전 학습된 모델의 중간 중간 피쳐를 잘 연결하면, 기존 모델보다 더 비용적으로 효율적이고, 우수한 성능을 만들 수 ..

다음달에 Vancouver에서 열리는 NeurIPS 2024에 작년에 이어 1편의 논문을 발표하게 되었습니다.일반적인 filter pruning을 적용하면 성능 저하가 심해서 기존 filter pruning 방법들이 포기하였던 depth-wise separable convolution layer에 대한 사실상 최초의 structured pruning 논문이라서 MobileNet, EfficientNet 등 depth-wise separable convolution이 포함된 모델을 활용하시는 분들에게는 꼭 추천드릴 만한 기술입니다. "DEPrune: Depth-wise Separable Convolution Pruning for Maximizing GPU Parallelism"

안녕하세요. KDST 박민철입니다. 이번 공유 내용에서는 "Adversarial Purification"이라는 생소한 주제의 연구 내용을 소개드리고자 합니다. Adversarial purification  deep learning 모델을 속이기 위해 adversarial attack에 의해 악의적으로 제작된 adversarial example (AE)이라는 데이터에 대하여 이를 초기의 깨끗한 이미지처럼 정화하여 deep learning의 결정 능력을 보존하는 방어 기술입니다. 우리는 흔히 이를 모델이 얼마나 강건한지에 대한 논의로 robustness라는 주제로 공부하기도 합니다만, 과거에 수 많은 방법으로 연구되었던 모델 자체의 강건성을 증가시키기 위한 adversarial training 방법과는 달..

안녕하세요. 안녕하세요. KDST팀 김유진입니다. 9월 27일에 진행했던 Point-based image editing에 대한 세미나 내용을 간략하게 요약해보도록 하겠습니다. 이번에 소개해 드릴 논문은 CVPR 2024에서 Highlight를 받은 "DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing" 입니다. Point-based image edit이란 사용자가 먼저 주어진 이미지에서 Handling point와 Target point pair를 여러 개 지정 후, 모델이 해당 이미지에서 의미론적으로 일관된 편집을 수행하여 Handling point의 content를 target point로 이동하여 이..

안녕하세요. KDST 박민철입니다. 이번 공유 내용에서는 최근 파라미터 기반의 이미지 생성 모델에서 고려되어야 할 두 가지 핵심 사항 ((1) 텍스트 프롬프트와 생성된 이미지의 일치성 및 파라미터를 터치하는 source content의 identity와 유사한 보존적 특성을 갖는 것)을 효과적으로 달성하기 위해 제안된 Posterior Distillation Sampling, CVPR 2024 논문을 소개드리고자 합니다. 논문의 도입에서 기술하는 내용을 잠시 살펴보면, 2D 이미지를 생성하는 diffusion 모델들은 Internet-scale의 이미지와 text 데이터셋에 힘입어 상당히 강력한 generative prior을 갖게 되었지만, 이들의 강력한 2D generative prior는 광범위한 ..

안녕하세요. KDST 박민철입니다. 이번 공유 내용에서는, 최근 초해상도 영상 특별히 파노라마 영상 등을 생성하기 위해 기존 생성 모델의 표현 범위의 한계로 인하여 다수의 생성 모델을 필요로하는 경우 크기가 제한된 생성된 영상들에 대한 상호간 짜깁기 (Montage)에서 표현 정보의 coherency를 잘 유지하려는 목적을 다루었던 방법론을 소개하고자 합니다. 소개드릴 NeuIPS 2023의 SyncDiffusion: Coherent Montage via Synchronized Joint Diffusions는 이 문제를 적극적으로 다루고 있습니다. 구체적으로, 텍스트 prompt가 주어지고, 해당 prompt를 표현하는 파노라마 영상을 생성할 때, 여러 diffusion 모델들을 도입하여 사용하는 경우..

지난 7월 1일 베트남 팜민찐 총리의 방한 공식 행사로 열린 한국의 반도체와 인공지능 분야 전문가 15명과의 간담회에 김수현 박사가 인공지능 전문가로서 참석하였습니다. 자세한 내용은 아래 링크에서 확인하실 수 있습니다. (로그인 문제로 늦게 포스팅하였습니다)http://www.goodmorningvietnam.co.kr/news/article.html?no=73633 [굿모닝베트남미디어] [한국방문6] 팜민찐 총리, 한국의 반도체 및 AI 전문가와 과학자와 오찬한국 15명의 한국 전문가와 과학자들은 팜민찐 총리와의 토론에서 베트남이 반도체와 인공지능 분야를 발전시킬 수 있도록 돕겠다고 약속했다. 7월 1일 팜민찐 총리는 공식 방한의 틀 안에서 반www.goodmorningvietnam.co.kr

안녕하세요, KDST팀 이원준입니다.금일 진행한 세미나에 대해서 공유드리도록 하겠습니다.  CVPR 2024에서 Oral + Best Student Paper runner-up을 받은 논문입니다. 논문에서 지적하는 포인트는 아래와 같습니다.Transformer와 CNN의 근본적으로 어떤 차이로 인해 달라지는가?흔히 Transformer의 장점 중 하나인 self-attention이 그러한 원인이라면, attention이 없음에도 더 좋은 성능을 보이는 ConvNeXt 모델은 무엇인가?attention이 원인이 아니라면, 내부 아키텍쳐가 원인인가?그렇다면, 내부 아키텍쳐의 어떤 부분이 원인인가?본 논문에서는 이러한 차이를 밝히기 위해, 아래와 같은 Method를 제안합니다.Sub-explanation co..

안녕하세요. KDST 박민철입니다.오랜만에 인사드립니다. 그동안 연구하며 공부한 개념을 바탕으로 제가 몰입했던 다양한 딥러닝 연구 주제를 공유하고 소통하는 시간을 갖고자 합니다. 이번 공유 내용에서는, 딥러닝 모델을 배포하고 예측 모델로 활용할 때, 모델이 잘 학습했던 source 데이터와 target 데이터의 분포간 차이로 인해 예측의 어려움을 겪는 상황에서 target 데이터만으로 적응 (adaptation)되도록 지도하는 방법론 중 하나인 Test-Time Adaptation (TTA)에 관한 기술을 소개하겠습니다. TTA는 모델이 배포된 시점, 즉 테스트 시점에 모델의 일부 파라미터를 fine-tuning하는 adaptation 기술입니다.예를 들면, 테스트 데이터 즉 앞서 언급한 target 데..