KDST

지난 7월 1일 베트남 팜민찐 총리의 방한 공식 행사로 열린 한국의 반도체와 인공지능 분야 전문가 15명과의 간담회에 김수현 박사가 인공지능 전문가로서 참석하였습니다. 자세한 내용은 아래 링크에서 확인하실 수 있습니다. (로그인 문제로 늦게 포스팅하였습니다)http://www.goodmorningvietnam.co.kr/news/article.html?no=73633 [굿모닝베트남미디어] [한국방문6] 팜민찐 총리, 한국의 반도체 및 AI 전문가와 과학자와 오찬한국 15명의 한국 전문가와 과학자들은 팜민찐 총리와의 토론에서 베트남이 반도체와 인공지능 분야를 발전시킬 수 있도록 돕겠다고 약속했다. 7월 1일 팜민찐 총리는 공식 방한의 틀 안에서 반www.goodmorningvietnam.co.kr

안녕하세요, KDST팀 이원준입니다.금일 진행한 세미나에 대해서 공유드리도록 하겠습니다.  CVPR 2024에서 Oral + Best Student Paper runner-up을 받은 논문입니다. 논문에서 지적하는 포인트는 아래와 같습니다.Transformer와 CNN의 근본적으로 어떤 차이로 인해 달라지는가?흔히 Transformer의 장점 중 하나인 self-attention이 그러한 원인이라면, attention이 없음에도 더 좋은 성능을 보이는 ConvNeXt 모델은 무엇인가?attention이 원인이 아니라면, 내부 아키텍쳐가 원인인가?그렇다면, 내부 아키텍쳐의 어떤 부분이 원인인가?본 논문에서는 이러한 차이를 밝히기 위해, 아래와 같은 Method를 제안합니다.Sub-explanation co..

안녕하세요. KDST 박민철입니다.오랜만에 인사드립니다. 그동안 연구하며 공부한 개념을 바탕으로 제가 몰입했던 다양한 딥러닝 연구 주제를 공유하고 소통하는 시간을 갖고자 합니다. 이번 공유 내용에서는, 딥러닝 모델을 배포하고 예측 모델로 활용할 때, 모델이 잘 학습했던 source 데이터와 target 데이터의 분포간 차이로 인해 예측의 어려움을 겪는 상황에서 target 데이터만으로 적응 (adaptation)되도록 지도하는 방법론 중 하나인 Test-Time Adaptation (TTA)에 관한 기술을 소개하겠습니다. TTA는 모델이 배포된 시점, 즉 테스트 시점에 모델의 일부 파라미터를 fine-tuning하는 adaptation 기술입니다.예를 들면, 테스트 데이터 즉 앞서 언급한 target 데..

안녕하세요. KDST팀 김현수 입니다. 제가 이번에 소개드릴 논문은 최근 3D Reconstruction, 3D Rendering 분야에서 NeRF를 제치고, 메인 아키텍쳐로 자리잡은 3D Gaussian Splatting 입니다.arxiv : https://arxiv.org/abs/2308.04079github : https://github.com/graphdeco-inria/gaussian-splatting 기존에 3D reconstruction 분야에서는 NeRF, Mip-NeRF, Mip-NeRF 360 등 NeRF 기반의 방법론들이 많이 연구되어 왔습니다. 그러나 NeRF의 가장 큰 단점은 시간이 오래 걸린다는 것이고, 이는 real-time rendering 등을 수행하기에 적합하지 않습니다...

안녕하세요. KDST팀 김유진입니다. 6월 14일에 진행했던 Image Editing에 대한 세미나 내용을 간략하게 요약해보도록 하겠습니다. 이번에 소개해 드릴 논문은 Text-to-Image model 기반의 Image editing 연구로 유명한 "Prompt-to-prompt image editing with cross-attention control", "Plug-and-Play Diffusion Features for Text-Driven Image-to-Image Translation" 입니다.Diffusion model기반의 Image editing을 수행하기 위한 방법론은 크게 3가지로 나눌 수 있습니다. Training-based: 모든 아키텍처를 training하여 target data..

안녕하세요, KDST팀 이원준입니다.진행하였던 논문 세미나 내용 간단하게 전달드리겠습니다. 본 논문의 Contribution은 다음과 같습니다LM이 스스로 external tool을 쓰도록 학습할 수 있게 한다.언제, 어떻게, 어떤 API를 사용할지 스스로 결정할 수 있도록 한다.Self-supervised 방법을 통해 다양한 tool들의 적절한 사용 방법 학습하도록 한다.논문에서 지적하는 기존의 LLM들의 몇가지 한계들은 다음과 같습니다.날짜 기반에 대한 최신 정보에 액세스할 수 없음Hallucination비교적 학습이 덜 된 언어에 대한 어려움정확한 수학적 계산을 수행할 수 있는 수학적 기술의 부족현재 시간에 대한 부족한 이해이러한 한계들을 극복하기 위해 가장 간단한 방법은 검색 엔진, 계산기 또는 ..

안녕하세요. KDST팀에서 학점연계 현장실습 인턴을 하고 있는 성균관대학교 데이터사이언스융합전공 김지환입니다. 제가 이번에 소개드릴 논문은 이번 EMNLP 2023에 억셉된 논문인 'Text Embeddings Reveal (Almost) As Much As Text'입니다. 논문 링크(arxiv): Text Embeddings Reveal (Almost) As Much As Text github 링크: https://github.com/jxmorris12/vec2text 이 논문에서는 기존에는 잘 되지 않았던, text를 embedding한 vector로부터 원본 텍스트로 복원하는 embedding inversion problem을 다루고 있습니다. 본 논문에서는 이 문제를 통제된 생성; 즉 잠재 공간..

내년 2월에 밴쿠버에서 열리는 AAAI 2024 학회에 작년에 이어 또 다시 2편의 논문을 발표하게 되었습니다. 올 한해도 모두들 수고하셨고 저희 블로그 방문해 주시는 분들도 새해 복 많이 받으세요~! "REPrune: Channel Pruning via Kernel Representative Selection" "Catch-up Mix: Catch-up Class for Struggling Filters in CNN"

안녕하세요 KDST 학부연구생 구미진입니다. 오늘 소개해드릴 논문은 CVPR 2023 Highlight 논문인 Feature Separation and Recalibration for Adversarial Robustness 입니다. 본 논문에서는 적대적 공격에 대한 방어 방법 중 Adversarial Training 방법과 결합해서 사용할 수 있는 FSR 모듈을 제안했습니다. Motivation 딥러닝 모델은 위 그림처럼 이미지의 Feature representation을 학습하여 의사 결정을 내립니다. 적대적 공격은 이미지에 미세한 노이즈를 추가하여 모델의 오분류를 유도하는데, 기존의 방어 방법은 변화가 생긴 활성화를 그냥 무시함으로써 공격에 대응하고자 했습니다. 그러나 이 방법은 중요한 정보의 손실..

올해 12월에 뉴올리언스에서 열리는 NeurIPS 2023에 아래 논문이 채택되었습니다. 이 논문은 딥러닝 초기에 중요한 역할을 했던 tanh 활성화 함수가 왜 ReLU 등 그 이후의 활성화 함수에 비해서 상대적으로 성능이 좋지 않은지 그 이유를 분석합니다. 또한, 그 단점들을 극복하고, ReLU 활성화 함수와 비슷한 성능을 달성하는 방법을 제시합니다. 결론적으로 활성화 함수의 비대칭성이 얼마나 중요한지를 보여주며, 이를 통해 활성화 함수에 대한 이해를 깊게 하고 있습니다. "Tanh Works Better with Asymmetry"