Sla

Measuring how many concurrent requests one NVIDIA L40S serves within a latency SLA before building a GPU cluster — the SLA draft as TTFT and inter-token latency, a single g6e.xlarge with two stop guards, a measurement script split from the server so it can run as a Kubernetes Job, results for four open models, why MoE models outrun a dense 27B on memory bandwidth, KV cache FP8 for 20% more headroom, and two review fixes.

같은 순간 LLM 서버가 처리 중인 요청 수. 늘리면 처리량은 늘다가 평평해지고 지연은 어느 지점부터 꺾여 오른다. SLA 를 넘기 직전 값이 GPU 한 장이 받는 양이다.

SLA 를 지킨 요청만 센 처리량. 처리량은 끝낸 요청을 모두 세지만, goodput 은 늦은 요청을 실패로 보고 뺀다. 서빙 설정을 비교할 때 기준으로 쓴다.

지연을 작은 것부터 늘어놓았을 때 몇 번째 값인지로 읽는 방법. p95 는 100개 중 95개가 이보다 빠르다는 뜻이고, SLA 는 보통 지표와 백분위수를 함께 적는다.

LLM 에 요청을 보낸 뒤 첫 토큰이 올 때까지의 시간. 대기 줄과 입력 처리(prefill)를 합친 값으로, 사용자에게는 글자가 나오기 시작하는 시간이다.