이번 주는 GPU가 필요한 실습이 포함돼 직접 환경을 꾸리지는 못하고, 스터디에서 공유된 자료를 따라 읽으며 정리했다. Envoy의 리스너·필터 체인·xDS 구조에서 출발해 그 위에 올라간 AI Gateway(Envoy Agent Router), 그리고 추론 클러스터 내부 라우터인 llm-d까지. ext_proc이라는 확장점 하나가 어떻게 "LLM을 아는 게이트웨이"를 만들어내는지, Precise Prefix-Cache-Aware Routing이 실제로 무엇을 개선하고 무엇을 개선하지 못했는지를 자료의 실측값과 함께 짚었다.
AWS Trainium과 Neuron SDK의 구조를 이해하고, Amazon EKS 위에 vLLM으로 TinyLlama를 서빙하는 AWS 워크샵을 따라가며 Init Container 기반 모델 컴파일·S3 캐싱, Neuron Device Plugin과 스케줄러, Prometheus·Grafana 관측, llmperf 성능 측정, GPU 워크로드 오토스케일링의 한계까지 정리했다.
Qwen3-14B와 vLLM으로 벤치마크 트래픽 설계부터 양자화·분산 서빙까지 실전 최적화 과정을 따라가고, 시맨틱 캐싱·라우팅, 성능 프로파일링, 멀티모달 서빙, 엣지 AI, Multi-LoRA, 강화학습 속 LLM 서빙까지 앞으로의 흐름을 정리합니다.
Speculative Decoding, 분산 추론, Prefill-Decode 분리, 고급 KV Cache 최적화와 vLLM·TensorRT-LLM·SGLang·llama.cpp 등 주요 LLM Serving Framework의 구조와 선택 기준을 정리합니다.
LLM 서빙의 주요 병목을 이해하고, GPU 하드웨어 특성부터 배칭·Chunked Prefill·어텐션 최적화·양자화·프리픽스 캐싱까지 추론 성능을 개선하는 핵심 기법을 정리합니다.
vLLM·Triton 같은 프레임워크를 쓰기 전에, 단일 모델 서빙과 멀티 모델 서빙을 from scratch로 직접 구현하며 배칭·스트리밍·모델 캐싱의 원리를 체득한다. 이어서 에이전틱 환경의 서빙 요구사항, 엔터프라이즈 7계층 레퍼런스 아키텍처, 오픈소스(K8s) vs 클라우드 벤더 선택 기준, 그리고 TTFT·ITL·TPS 같은 성능 지표를 정리한다.
모델과 모델 서빙의 정의부터 On-Device, Single-Model, Multi-Model, Model Serving Platform 등 서빙 방식의 분류, Decoder-Only Transformer의 자기회귀 생성 구조, KV Cache와 Prefill-Decode 단계, FlashAttention·PagedAttention 같은 핵심 최적화 기법, 서빙 프레임워크의 역할까지 LLM 서빙 스터디 1주차 내용을 정리했다.
멀티 노드풀과 네임스페이스 격리로 워크로드를 분리하고, App of Apps 패턴과 Sync Wave로 다수의 ArgoCD 애플리케이션을 관리한다. 카프카·템포·크론잡으로 시스템을 고도화하고 settings.local.json과 command-guardrails로 AI의 위험 작업을 통제하면서, 운영 자산이 자연스럽게 쌓이는 GitAIOps 구조를 정리했다.
Claude Code와 함께 Gateway API, Argo Rollouts, Valkey, Secret Manager를 적용하며 Kubernetes 무중단 배포와 엔터프라이즈 운영 기반을 구축한 과정을 정리합니다.
ArgoCD와 GitHub Actions를 활용한 GitOps 배포 파이프라인부터 Prometheus, Grafana, Loki 기반의 관측 가능성 구축 과정을 정리했습니다. 실습 과정에서 새롭게 알게 된 기술적 내용과 AI 기반 인프라 운영에 대한 고민, 그리고 앞으로의 학습 방향을 함께 기록합니다.
GitAIOps 스터디를 시작하며 Claude Code 기반 가드레일 구조, GKE 실습 환경 구성, GitHub 저장소 생성, 앱 배포, 문서화 자동화, GCP 리소스 정리와 재생성까지 실습한 과정을 정리합니다.