전체 글

[2주차-MLOPS] CH5: Orchestrating ML pipelines (2026.10.25)

MLOps 2주차 ② 책 5장 들어가며 1 실습 지도 2 공통 뼈대 3 컴포넌트 4 조회·추론·쓰기 5 DAG·컴파일 6 실행 마치며 MLOps 스터디 2주차 · 책 5장 손으로 돌리던 추론을 파이프라인으로. 책 5장은 2주차 ①편(책 4장)에서 만든 모델과 피처로 배치 추론을 하는 Kubeflow Pipelines(KFP)를 짭니다. MinIO에서 사용자 목록을 읽고, Feast에서 피처를 꺼내고, MLflow 모델로 예측해 다시 MinIO에 쓰는 네 단계를, 각각 파드 하나에서 도는 컴포넌트로 나눕니다. 들어가며 읽는 시간 약 45분 대상 K8s는 알고 ML은 처음인 개발자 사전 지식 2주차 ①편, K8s 파드·Job·Service 그림 8개 · 전부 ..

[2주차-MLOPS] CH4: Designing reliable ML systems (2026.10.25)

MLOps 2주차 ① 책 4장 들어가며 1 실습 판 2 EDA 3 run 기록 4 원핫·분할 5 모델·AUC 6 레지스트리 7 Feast 설계 8 Feast 실습 마치며 MLOps 스터디 2주차 · 책 4장 실험은 기록하고, 피처는 시점을 맞춘다. 책 4장은 연소득이 5만 달러를 넘는지 맞히는 작은 이진 분류기를 만들면서, MLflow로 실험을 기록하고 최고 모델을 레지스트리에 올리고, Feast에 피처를 등록합니다. 모델 자체보다 그 주변 — 어떤 데이터로, 어떤 설정으로, 언제의 피처로 만들었는가 — 을 남기는 장입니다. 들어가며 읽는 시간 약 55분 대상 K8s는 알고 ML은 처음인 개발자 사전 지식 1주차 ①~③편, Python·pandas 기초 ..

[1주차-MLOPS] CH3. K8s CI/CD (2026.10.18)

MLOps 1주차 ③ 책 3장 들어가며 1 컨테이너와 도구 2 Docker 3 K8s 4 CI/CD 5 Prometheus·Grafana 6 Kustomize 마치며 MLOps 스터디 1주차 · 책 3장 컨테이너에서 GitOps까지. 책 3장은 ML 플랫폼의 바닥 — Docker, Kubernetes, CI/CD, 모니터링 — 을 FastAPI 예제 앱 하나로 끝까지 깔아 봅니다. ML 전용 도구는 아직 나오지 않지만, 책 4장부터 나오는 feature store·pipeline·실험 추적이 모두 이 위에 올라갑니다. 들어가며 읽는 시간 약 45분 대상 K8s는 알고 ML은 처음인 개발자 사전 지식 ①②편, kubectl·Docker 기본 그림 13개 · ..

[1주차-MLOPS] CH2. MLOps란 무엇인가 (2026.10.18)

MLOps 1주차 ② 책 2장 들어가며 1 문제·데이터·EDA 2 모델링~유지보수 3 왜 어려운가 4 DevOps vs MLOps 5 성숙도 마치며 MLOps 스터디 1주차 · 책 2장 모델이 아니라 루프를 만든다. 책 2장은 ①편에서 본 수명주기를 "시간이 지나며 계속 도는 폐쇄 루프"로 다시 보고, 단계마다 무엇을 묻고 무엇을 기록해야 하는지 짚습니다. 그다음 MLOps가 어려운 이유, DevOps와 다른 점, 조직의 성숙도 수준까지 이어 갑니다. 들어가며 읽는 시간 약 45분 대상 K8s·CI/CD는 익숙하고 ML은 처음인 개발자 사전 지식 ①편(가중치, 수명주기, ML 플랫폼) 정도 그림 9개 · 전부 조작 가능 스터디 자료 출처 이..

[1주차-MLOPS] CH1. MLOps와 ML 엔지니어링 시작 (2026.10.18)

MLOps 1주차 ① 책 1장 들어가며 1 가중치 2 용어 지도 3 수명주기 4 ML 플랫폼 5 프로젝트 3개 마치며 MLOps 스터디 1주차 · 필수 사전 지식 + 책 1장 가중치에서 ML 플랫폼까지. 모델이 무엇을 배우는지에서 출발해, 그 모델을 만들고 내보내고 지켜보는 일이 왜 하나의 플랫폼이 되는지까지 따라갑니다. 책 2장(반복적인 MLOps 수명주기)은 ②편에서 이어집니다. 들어가며 읽는 시간 약 45분 대상 K8s·CI/CD는 익숙하고 ML은 처음인 개발자 사전 지식 코드를 읽을 수 있는 정도 그림 9개 · 전부 조작 가능 스터디 자료 출처 이 글은 CloudNet@ 커뮤니티의 Machine Learning Platform Eng..

[7주차-LLMSO] llm-d 란 (2026.09.13)

7W-2 · llm-d 들어가며 1 왜 라우터인가 2 세 부품 3 EPP ① 흐름 제어 4 EPP ② 스케줄러 5 KV 캐시 6 두 개의 라우터 7 실습 환경 8 벤치마크 9 설치와 비교 10 트레이싱 11 동작 확인 마치며 LLMSO 7주차 · [7W-2] llm-d 같은 모델 파드 여러 개 중누구에게 보낼 것인가. vLLM 파드를 두 개로 늘리면 쿠버네티스 Service가 알아서 나눠 줍니다. 그런데 Service는 어느 파드의 KV 캐시에 방금 그 프롬프트가 들어 있는지, 어느 파드 앞에 긴 요청이 줄 서 있는지 모릅니다. llm-d는 그걸 아는 라우터입니다. 부품 셋과 EPP의 안쪽을 열고, GPU 한 장을 반씩 나눈 실습 클러스터에서 실제로 무엇이 달라졌는지 봅니다..

[7주차-LLMSO] Envoy: Agent Router (2026.09.13)

7W-1 · Envoy와 Agent Router 들어가며 1 Envoy 2 xDS 3 타임아웃·재시도 4 요청의 일생 5 필터 체인 6 속도 제한 7 AI Gateway 8 토큰 제한 9 ext_proc 10 실습 ① 11 실습 ② 마치며 LLMSO 7주차 · [7W-1] Envoy: Agent Router 프록시 하나로LLM 앞문을 세우기까지. OpenAI, Anthropic, 사내 vLLM. 모델이 늘어날수록 앱마다 키를 복사하고, 재시도 로직을 새로 짜고, 비용은 청구서가 와야 압니다. 10년 전 마이크로서비스가 겪은 일과 같은 문제이고, 그때 답이었던 Envoy가 이번에도 가운데에 있습니다. Envoy의 기본기부터 Agent Router(구 Envoy AI Gate..

[6주차-LLMSO] Scaling LLM Inference with vLLM and AWS Trainium (2026.09.06)

6W-1 · AWS Trainium 워크샵 들어가며 1 AWS Neuron 2 워크샵의 지도 3 클러스터 세우기 4 NVIDIA vs Neuron 5 vLLM 올리기 6 바깥에서 부르기 7 보이게 만들기 8 성능 재기 9 늘리기 10 치우기 마치며 LLMSO 6주차 · [6W-1] Scaling LLM Inference with vLLM and AWS Trainium AWS 위 CUDA가 없는 환경에서vLLM을 띄운다. 이번 주는 책이 아니라 손입니다. NVIDIA GPU가 한 장도 없는 EKS 클러스터에 AWS가 직접 설계한 칩을 꽂고, 그 위에 vLLM을 올려 OpenAI 호환 API까지 뽑아냅니다. 같은 vLLM인데 밑바닥이 통째로 다릅니다. 들어가며 읽는 ..

[5주차-LLMSO]CH10. Advancements in LLM Serving (2026.08.30)

CH10 · 서빙의 다음 단계 들어가며 1 시맨틱 캐싱·라우팅 2 LiteLLM 게이트웨이 3 성능 프로파일링 4 멀티모달 서빙 5 엣지 AI 6 Multi-LoRA 7 강화학습과 서빙 8 기법 총정리 마치며 LLMSO 5주차 · CH10 Advancements in LLM Serving 서빙 엔진이판단하기 시작했다. 지금까지 서빙은 "모델 하나를 빠르게 돌리는 일"이었습니다. 이 장에서는 요청의 의미를 읽고, 어떤 모델로 보낼지, 어떤 도구를 쥐여줄지, 어디서 실행할지까지 서빙 계층이 결정하기 시작합니다. 들어가며 읽는 시간 30분 대상 vLLM으로 서빙은 해봤고 다음이 궁금한 사람 사전 지식 KV 캐시·배칭·GPU라는 말을 아는 정도 그림 9개 +..

[5주차-LLMSO]CH9. LLM Optimization in Practice (2026.08.30)

CH9 · 실전 최적화 들어가며 1 최적화 계획 2 하드웨어 점검 3 벤치마크 트래픽 4 평가 지표 5 메모리 읽기 6 베이스라인 7 양자화 8 추가 튜닝 9 분산 서빙 10 트레이드오프 마치며 LLMSO 5주차 · CH9 LLM Optimization in Practice 처리량이 올랐다는 건계산이 빨라진 걸까,덜 계산한 걸까. Qwen3-14B 한 대를 vLLM으로 띄워놓고, 여덟 단계에 걸쳐 처리량을 2.7배까지 끌어올리는 과정입니다. 그리고 그 2.7배가 어디에서 왔는지를 프로파일러로 끝까지 따라가 봅니다. 들어가며 읽는 시간 35분 대상 vLLM은 띄워봤지만 튜닝은 안 해본 개발자 사전 지식 GPU·KV 캐시라는 말을 들어본 정도 그림 10..