Capacity

같은 순간 LLM 서버가 처리 중인 요청 수. 늘리면 처리량은 늘다가 평평해지고 지연은 어느 지점부터 꺾여 오른다. SLA 를 넘기 직전 값이 GPU 한 장이 받는 양이다.