KDST

KDST는 딥러닝을 중심으로 AI와 데이터에 관련된 여러 주제에 대해서 연구하는 팀입니다.

2024/07 6

베트남 총리와의 간담회 참석

지난 7월 1일 베트남 팜민찐 총리의 방한 공식 행사로 열린 한국의 반도체와 인공지능 분야 전문가 15명과의 간담회에 김수현 박사가 인공지능 전문가로서 참석하였습니다. 자세한 내용은 아래 링크에서 확인하실 수 있습니다. (로그인 문제로 늦게 포스팅하였습니다)http://www.goodmorningvietnam.co.kr/news/article.html?no=73633 [굿모닝베트남미디어] [한국방문6] 팜민찐 총리, 한국의 반도체 및 AI 전문가와 과학자와 오찬한국 15명의 한국 전문가와 과학자들은 팜민찐 총리와의 토론에서 베트남이 반도체와 인공지능 분야를 발전시킬 수 있도록 돕겠다고 약속했다. 7월 1일 팜민찐 총리는 공식 방한의 틀 안에서 반www.goodmorningvietnam.co.kr

카테고리 없음 2024.07.30

Comparing the Decision-Making Mechanisms by Transformers and CNNs via Explanation Methods (CVPR 2024, Oral, Best Student Paper)

안녕하세요, KDST팀 이원준입니다.금일 진행한 세미나에 대해서 공유드리도록 하겠습니다.  CVPR 2024에서 Oral + Best Student Paper runner-up을 받은 논문입니다. 논문에서 지적하는 포인트는 아래와 같습니다.Transformer와 CNN의 근본적으로 어떤 차이로 인해 달라지는가?흔히 Transformer의 장점 중 하나인 self-attention이 그러한 원인이라면, attention이 없음에도 더 좋은 성능을 보이는 ConvNeXt 모델은 무엇인가?attention이 원인이 아니라면, 내부 아키텍쳐가 원인인가?그렇다면, 내부 아키텍쳐의 어떤 부분이 원인인가?본 논문에서는 이러한 차이를 밝히기 위해, 아래와 같은 Method를 제안합니다.Sub-explanation co..

카테고리 없음 2024.07.26

TEA: Test-time Energy Adaptation

안녕하세요. KDST 박민철입니다.오랜만에 인사드립니다. 그동안 연구하며 공부한 개념을 바탕으로 제가 몰입했던 다양한 딥러닝 연구 주제를 공유하고 소통하는 시간을 갖고자 합니다. 이번 공유 내용에서는, 딥러닝 모델을 배포하고 예측 모델로 활용할 때, 모델이 잘 학습했던 source 데이터와 target 데이터의 분포간 차이로 인해 예측의 어려움을 겪는 상황에서 target 데이터만으로 적응 (adaptation)되도록 지도하는 방법론 중 하나인 Test-Time Adaptation (TTA)에 관한 기술을 소개하겠습니다. TTA는 모델이 배포된 시점, 즉 테스트 시점에 모델의 일부 파라미터를 fine-tuning하는 adaptation 기술입니다.예를 들면, 테스트 데이터 즉 앞서 언급한 target 데..

카테고리 없음 2024.07.18

3D Gaussian Splatting for Real-Time Radiance Field Rendering (SIGGRAPH 2023)

안녕하세요. KDST팀 김현수 입니다. 제가 이번에 소개드릴 논문은 최근 3D Reconstruction, 3D Rendering 분야에서 NeRF를 제치고, 메인 아키텍쳐로 자리잡은 3D Gaussian Splatting 입니다.arxiv : https://arxiv.org/abs/2308.04079github : https://github.com/graphdeco-inria/gaussian-splatting 기존에 3D reconstruction 분야에서는 NeRF, Mip-NeRF, Mip-NeRF 360 등 NeRF 기반의 방법론들이 많이 연구되어 왔습니다. 그러나 NeRF의 가장 큰 단점은 시간이 오래 걸린다는 것이고, 이는 real-time rendering 등을 수행하기에 적합하지 않습니다...

카테고리 없음 2024.07.08

Image Editing using Guided Diffusion Models

안녕하세요. KDST팀 김유진입니다. 6월 14일에 진행했던 Image Editing에 대한 세미나 내용을 간략하게 요약해보도록 하겠습니다. 이번에 소개해 드릴 논문은 Text-to-Image model 기반의 Image editing 연구로 유명한 "Prompt-to-prompt image editing with cross-attention control", "Plug-and-Play Diffusion Features for Text-Driven Image-to-Image Translation" 입니다.Diffusion model기반의 Image editing을 수행하기 위한 방법론은 크게 3가지로 나눌 수 있습니다. Training-based: 모든 아키텍처를 training하여 target data..

카테고리 없음 2024.07.08

Toolformer: Language Models Can Teach Themselves to Use Tools(NeurIPS 2023 Oral)

안녕하세요, KDST팀 이원준입니다.진행하였던 논문 세미나 내용 간단하게 전달드리겠습니다. 본 논문의 Contribution은 다음과 같습니다LM이 스스로 external tool을 쓰도록 학습할 수 있게 한다.언제, 어떻게, 어떤 API를 사용할지 스스로 결정할 수 있도록 한다.Self-supervised 방법을 통해 다양한 tool들의 적절한 사용 방법 학습하도록 한다.논문에서 지적하는 기존의 LLM들의 몇가지 한계들은 다음과 같습니다.날짜 기반에 대한 최신 정보에 액세스할 수 없음Hallucination비교적 학습이 덜 된 언어에 대한 어려움정확한 수학적 계산을 수행할 수 있는 수학적 기술의 부족현재 시간에 대한 부족한 이해이러한 한계들을 극복하기 위해 가장 간단한 방법은 검색 엔진, 계산기 또는 ..

카테고리 없음 2024.07.07