vLLM 공동 리드 인터뷰: 페이지드 어텐션에서 Ray 연동까지, 오픈소스 추론 엔진의 현재
vLLM 공동 리드 사이먼 모가 오픈소스 추론 엔진의 출발점과 현재를 이야기한다. KV 캐시 관리에서 시작해 분산 추론과 강화학습 스택 연동, 재단 합류까지 이어지는 흐름을 따라가며 추론 효율이 왜 곧 비용 문제인지 짚는다.
핵심 내용 읽기 →
AI TOPIC
Ray 최신 뉴스와 핵심 해설
Ray 관련 핵심 뉴스와 활용 인사이트 3편을 최신순으로 모았습니다.
FSDP 분산 학습 입문, 파라미터 샤딩과 all-gather·reduce-scatter 그리고 Ray Train
모델이 GPU 한 장에 담기지 않을 때 쓰는 FSDP의 두 단계 분할과 all-gather·reduce-scatter가 만드는 통신 비용, FSDP2 실습 설정, 그리고 학습 로직과 분산 실행을 나누는 Ray Train의 역할을 정리했다.
핵심 내용 읽기 →
Ray와 KubeRay로 분산 학습 확장하기 — 캐피털원의 멀티 GPU 하이퍼파라미터 튜닝 사례
캐피털원 엔지니어들이 쿠버네티스 위에서 Ray 클러스터를 운영하며 겪은 데이터 로딩 병목과 자동·수동 샤딩 선택, 시행 한 건당 시간을 3분의 1로 줄인 과정을 Ray 서밋 발표 자막을 근거로 정리했습니다.
핵심 내용 읽기 →