정보 이 레포가 맡는 것 GPU 서빙용 쿠버네티스 클러스터 kukie-gpu: 네트워크, 일반 노드, GPU 노드 그룹(g6e, 평소 0대) 클러스터 안 GPU 구성: NVIDIA 장치 플러그인, GPU 지표, vLLM 모델 서버 1단계 실측용 GPU 서버 llm-bench (평소 중지) 배포 역할과 러너는 맡지 않는다 → kukie-infra 가 만든다 색 = 적용 방식 관리자 로컬 관리자가 직접 적용. 매니페스트는 kubectl, llm-bench 는 terraform /apply 댓글 PR 병합 뒤 최종 plan 을 확인하고 댓글로 적용 CI 보라는 plan · apply 를 실행하는 쪽(워크플로 · 러너) 권한 이 레포의 역할은 모두 GPU 천장(권한 경계) 안에서만 만들 수 있다 GPU 천장은 kukie-dev · 호스팅 클러스터의 리소스를 거부한다 → 클러스터끼리 서로 못 건드린다 아이콘 보라 Terraform 로고 = Terraform root · 파랑 Kubernetes 로고 = 쿠버네티스 매니페스트 · 파랑 CI · 초록 스크립트 · 호박색 폴더 · 회색 파일 관련 글 Series Kukie Serving 1 posts 01 Baseline on One L40Sllm-bench 로 잰 1단계 실측 Wiki TTFT LLM 에 요청을 보낸 뒤 첫 토큰이 올 때까지의 시간. 대기 줄과 입력 처리 … ITL LLM 이 토큰 하나를 내고 다음 토큰을 낼 때까지의 간격. 요청 하나의 평균 간격은 … Percentile 지연을 작은 것부터 늘어놓았을 때 몇 번째 값인지로 읽는 방법. p95 는 100개 중 … Goodput SLA 를 지킨 요청만 센 처리량. 처리량은 끝낸 요청을 모두 세지만, goodput … Concurrency 같은 순간 LLM 서버가 처리 중인 요청 수. 늘리면 처리량은 늘다가 평평해지고 지연은 … KV Cache LLM 이 이미 읽은 토큰의 Key·Value 를 GPU 메모리에 저장해 두는 캐시. … MoE Mixture of Experts. 트랜스포머의 FFN 을 여러 전문가로 나누고 라우터 … IMDS EC2 인스턴스가 자기 정보와 IAM 역할 자격 증명을 읽어 오는 링크 로컬 주소 … Architecture kukie-infraAccount foundation and the kukie-dev cluster EKS OnboardingHow a customer EKS joins Kukie