KDST

안녕하세요. KDST 박민철입니다. 오늘은 최근 CVPR 2024에 발표된 "Diffusion Models Without Attention" 제목의 연구 결과를 포스팅하고자 합니다. Diffusion Models (DMs)는 우리가 잘 알고 있는 이미지 생성 AI 모델 중 하나입니다. 본 연구는 그동안 널리 활용되어온 U-Net기반의 diffusion backbone에서 나아가 구조적 스케일 확장을 위해 Transformer를 바탕으로 backbone 설계를 제안한 "Scalable Diffusion Models with Transformers, ICCV 2023 (oral)"에서 동기를 받아 출발합니다. 앞서 Transformer를 diffusione의 backbone으로 제안했던 Diffusion T..

안녕하세요, KDST팀 이원준입니다.금일 진행한 세미나에 대해서 공유드리도록 하겠습니다.  NeurIPS 2024에서 Oral Paper로 선정된 논문입니다.  LLM이 발전하면서 LLM으로 evaluation을 진행하는 비중이 많아졌습니다. 이러한 LLM의 역할이 많아짐과 동시에 LLM이 특정한 bias를 가질 수 있다라는게 논문에서 지적하는 포인트입니다.구체적으로, LLM은 LLM 스스로가 생성한 아웃풋에 대해서 다른 LLM이나 인간이 작성한 텍스트보다 자신의 출력을 더 높게 평가한다라는 것입니다. 논문의 주요 Contribution은 아래와 같습니다.LLMs는 self-preference를 가진다 LLMs는 이러한 self-preference의 이유로 self-recognition 능력이 존재한다...