Moe

Measuring how many concurrent requests one NVIDIA L40S serves within a latency SLA before building a GPU cluster — the SLA draft as TTFT and inter-token latency, a single g6e.xlarge with two stop guards, a measurement script split from the server so it can run as a Kubernetes Job, results for four open models, why MoE models outrun a dense 27B on memory bandwidth, KV cache FP8 for 20% more headroom, and two review fixes.

Mixture of Experts. 트랜스포머의 FFN 을 여러 전문가로 나누고 라우터가 토큰마다 몇 개만 골라 계산하는 구조. 전체 파라미터는 크지만 토큰 하나에 쓰는 활성 파라미터가 작아, 메모리 대역폭에 묶이는 decode 가 빠르다.