Wiki

Admission WebhookAPI 서버가 객체를 저장하기 직전, 외부 HTTP 서버에 물어보는 확장 지점. 요청을 고치거나 거부할 수 있다. apiVersion쿠버네티스 매니페스트 첫 줄에 오는 필드. 그룹과 버전 두 조각으로 이루어진다. Argo CDGit 에 적힌 쿠버네티스 객체를 클러스터에 맞춰 넣는 GitOps 도구. Application · AppProject 라는 객체 종류를 추가해 무엇을 어디에 넣 … ARP같은 LAN 안에서 IP 주소에 해당하는 MAC 주소를 알아내는 프로토콜. LAN 전체에 브로드캐스트로 묻고, 그 IP 의 주인만 답한다. AS한 회사가 하나의 정책으로 운영하는 라우터와 IP 대역의 묶음. 전 세계에서 겹치지 않는 번호(ASN)를 받고, 다른 AS 와는 BGP 로 경로를 주고받는다. BGPAS(독립된 망) 끼리 ‘이 대역은 나를 거쳐 갈 수 있다’ 를 알려 주는 라우팅 프로토콜. 인터넷 라우터의 경로 표를 채우며, TCP … CiliumeBPF 로 Pod 네트워크와 네트워크 정책, 서비스 로드 밸런싱, 통신 관측을 처리하는 CNI 플러그인. Hubble 로 누가 어디로 통신했고 왜 막혔는지 기록 … CNI컨테이너가 만들어질 때 네트워크를 붙이는 방법을 정한 규격. 런타임이 플러그인 실행 파일을 부르고, 플러그인이 Pod 안에 인터페이스와 IP·경로를 만든다. Concurrency같은 순간 LLM 서버가 처리 중인 요청 수. 늘리면 처리량은 늘다가 평평해지고 지연은 어느 지점부터 꺾여 오른다. SLA 를 넘기 직전 값이 GPU 한 장이 받 … ConntrackNetfilter 자리에 걸린 함수 둘과 해시 테이블 하나로 연결을 5-tuple 로 기억하는 커널 모듈. 방화벽의 ESTABLISHED 판정과 NAT 의 답장 … CRD쿠버네티스에 새 리소스 종류를 추가하는 방법. kubectl 로 다룰 수 있는 나만의 kind 를 만든다. CRI / containerdkubelet 과 컨테이너 런타임 사이의 규격(CRI)과, 그 규격을 구현한 대표 런타임(containerd). 실제 컨테이너는 그 아래 runc 가 만든다. DHCP기기가 네트워크에 붙을 때 IP 주소·마스크·기본 게이트웨이·DNS 를 자동으로 받아 오는 프로토콜. 아직 IP 가 없는 상태에서 LAN 브로드캐스트로 시작한다. etcd쿠버네티스가 모든 클러스터 데이터를 담아두는 키-값 저장소. 여기 없는 것은 클러스터에 없는 것이다. GoodputSLA 를 지킨 요청만 센 처리량. 처리량은 끝낸 요청을 모두 세지만, goodput 은 늦은 요청을 실패로 보고 뺀다. 서빙 설정을 비교할 때 기준으로 쓴다. gVisor컨테이너 앱의 시스템 콜을 호스트 커널 대신 받아 처리하는 사용자 공간 커널. 컨테이너가 호스트 커널을 직접 건드리지 못하게 하는 샌드박스 런타임이다. IMDSEC2 인스턴스가 자기 정보와 IAM 역할 자격 증명을 읽어 오는 링크 로컬 주소 169.254.169.254 의 서비스. 컨테이너가 이 주소에 닿으면 노드의 … ITLLLM 이 토큰 하나를 내고 다음 토큰을 낼 때까지의 간격. 요청 하나의 평균 간격은 TPOT 이라 부른다. 사용자에게는 글자가 나오는 속도다. kubelet모든 노드에서 도는 에이전트. PodSpec 을 받아 그대로 만들어 놓고, 그 상태를 계속 유지한다. KV CacheLLM 이 이미 읽은 토큰의 Key·Value 를 GPU 메모리에 저장해 두는 캐시. 요청마다 토큰 수만큼 자라며, 남은 GPU 메모리가 동시에 받을 수 있는 요 … LAN라우터를 거치지 않고 MAC 주소만으로 프레임이 오가는 범위. 브로드캐스트가 닿는 범위와 같고, 라우터에서 끝난다. MoEMixture of Experts. 트랜스포머의 FFN 을 여러 전문가로 나누고 라우터가 토큰마다 몇 개만 골라 계산하는 구조. 전체 파라미터는 크지만 토큰 하나 … Netfilter리눅스 커널 IP 경로의 정해진 다섯 지점에서, 등록된 함수를 순서대로 불러 패킷을 검사·수정·폐기하게 하는 커널 프레임워크. iptables, nftables, … Percentile지연을 작은 것부터 늘어놓았을 때 몇 번째 값인지로 읽는 방법. p95 는 100개 중 95개가 이보다 빠르다는 뜻이고, SLA 는 보통 지표와 백분위수를 함께 … PersistentVolume / PVC저장소의 실체(PV)와 요청서(PVC)를 나눠 둔 구조. 앱은 얼마나 필요한지만 말하고 어디서 오는지는 모른다. Probekubelet 이 컨테이너 상태를 확인하는 세 가지 검사. 실패했을 때 벌어지는 일이 각각 다르다. Service죽고 살아나며 IP가 바뀌는 Pod 앞에 두는 고정 주소. 타입에 따라 어디까지 도달할 수 있는지가 달라진다. Sidecar앱 옆에 붙어 공통 잡일을 대신하는 컨테이너. 앱 코드를 고치지 않고 기능을 얹는 방법이다. SubnetIP 주소의 앞부분이 같은 주소들의 묶음. 마스크(/24)로 어디까지가 네트워크인지 정하고, 같은 서브넷이면 직접, 아니면 게이트웨이로 보낸다. TTFTLLM 에 요청을 보낸 뒤 첫 토큰이 올 때까지의 시간. 대기 줄과 입력 처리(prefill)를 합친 값으로, 사용자에게는 글자가 나오기 시작하는 시간이다. VLAN스위치 설정만으로 하나의 LAN 을 여러 LAN 으로 나누는 기술. 프레임에 12비트 VLAN 번호를 붙여 구분하고, VLAN 사이는 라우터를 거쳐야 한다. VXLANEthernet 프레임을 UDP 패킷에 통째로 넣어 IP 망 너머로 나르는 터널 기술. 24비트 VNI 로 가상 망을 구분하고, 쿠버네티스 CNI 가 노드 사이를 …