https://kukie.tech/tags/memory/Recent content in Memory on HistoryHugoko-krhttps://kukie.tech/wiki/kv-cache/Mon, 01 Jan 0001 00:00:00 +0000https://kukie.tech/wiki/kv-cache/LLM 이 이미 읽은 토큰의 Key·Value 를 GPU 메모리에 저장해 두는 캐시. 요청마다 토큰 수만큼 자라며, 남은 GPU 메모리가 동시에 받을 수 있는 요청 수를 정한다. PagedAttention 과 FP8 저장으로 자리를 아낀다.