Llm

KV cache에 대한 이해

• kkumtree
• 2026-06-20T17:57:45+09:00

지난 주 일요일부터 CloudNet@에서 진행하고 있는 AI Datacenter Network Study(이하, AIDN)에 참여하게 되었습니다. 요새는 PC에 달린 그래픽카드 활용을 위해, 이것저것(RAG, ASR 및 일반적인 추론모델) 돌려보는 중인데 그 중에서 막히던게 KV …