안녕하세요, KDST팀 김동진입니다. 오늘 소개해드릴 논문은 “What Can Transformers Learn In-Context? A Case Study of Simple Function Classes “로 NeurIPS2022에서 좋은 평가를 받은 논문입니다. GPT-3 모델의 등장으로 번역과 같은 다양한 downstream task에서 Zero-shot 또는 few-shot으로도 준수한 성능을 낼 수 있게 되었습니다. 이러한 발전으로 prompt engineering에 관한 관심 또한 높아졌으며, 이번 논문은 prompt engineering의 방식 중 하나인 in-context learning에 관한 내용입니다. (In-context learing이란 모델의 weight가 update가 되지 않..