https://kukie.tech/tags/capacity/Recent content in Capacity on HistoryHugoko-krhttps://kukie.tech/wiki/concurrency/Mon, 01 Jan 0001 00:00:00 +0000https://kukie.tech/wiki/concurrency/같은 순간 LLM 서버가 처리 중인 요청 수. 늘리면 처리량은 늘다가 평평해지고 지연은 어느 지점부터 꺾여 오른다. SLA 를 넘기 직전 값이 GPU 한 장이 받는 양이다.