Latency

LLM 이 토큰 하나를 내고 다음 토큰을 낼 때까지의 간격. 요청 하나의 평균 간격은 TPOT 이라 부른다. 사용자에게는 글자가 나오는 속도다.

지연을 작은 것부터 늘어놓았을 때 몇 번째 값인지로 읽는 방법. p95 는 100개 중 95개가 이보다 빠르다는 뜻이고, SLA 는 보통 지표와 백분위수를 함께 적는다.

LLM 에 요청을 보낸 뒤 첫 토큰이 올 때까지의 시간. 대기 줄과 입력 처리(prefill)를 합친 값으로, 사용자에게는 글자가 나오기 시작하는 시간이다.