안녕하세요. KDST 한용진입니다.이번에 소개해 드릴 논문은 2026년도 ICLR에 발표된 "KAVA: LATENT REASONING VIA COMPRESSED KV-CACHE DISTILLATION" 입니다. 본 논문을 소개해 드리게 된 배경은 다음과 같습니다. 우리가 사용하는 KV cache가 중요한 정보를 잘 담고 있다면, KV cache를 다양한 태스크에 활용할 수 있지 않을까?라는 궁금증에서 시작되었습니다. LLM은 Chain-of-Thought(CoT)를 활용해 추론과 같은 복잡한 문제를 잘 풀게 되었습니다. 그러나 일반적으로 사용하는 CoT는 자연어로 구성되어 있어 자연어가 가지고 있는 무의미한 단어들을 처리하는 데 불필요한 연산을 사용하는 문제점이 존재합니다. 이러한 문제를 해결하기 위해..