KV CacheLLM 이 이미 읽은 토큰의 Key·Value 를 GPU 메모리에 저장해 두는 캐시. 요청마다 토큰 수만큼 자라며, 남은 GPU 메모리가 동시에 받을 수 있는 요청 수를 정한다. PagedAttention 과 FP8 저장으로 자리를 아낀다.