vLLM

[2주차-LLMSO]CH3. Model Serving System Design A Deep Dive (2026.08.09)

CH3 · Serving System Design 들어가며 1 여섯 부품 2 프로세스 격리 3 요청 한 건 4 대기실 5 ID 매핑 6 스트리밍 7 KV 캐시 8 vLLM 9 일반 설계 10 멀티모델 11 LRU 캐시 12 팩토리 13 Triton 14 트레이드오프 마치며 LLM 서빙 스터디 2주차 · CH3 학습자료 서빙 시스템은파일 여섯 개로 되어 있습니다. Model Serving System Design: A Deep Dive — 이 장은 프레임워크를 쓰는 법이 아니라, 서빙 시스템을 직접 만들어보며 각 부품이 왜 거기 있는지를 봅니다. 그래서 이 페이지는 소스코드의 파일 하나하나가 무엇을 맡고 있는지를 중심으로 갑니다. llm.py가 왜 필요한지, work..