vLLM Office Hours - Advanced Techniques for Maximizing vLLM Performance - September 19, 2024

Neural Magic

vLLM 0.6.0 릴리즈 및 성능 향상 소개

Neural Magic의 Rob이 vLLM 0.6.0 릴리즈에 대한 설명을 시작한다.

v0.6.0 릴리즈에서 H100 GPU를 사용한 LLaMA 8B 및 70B 모델의 속도 향상을 강조한다.

UC Berkeley, Neural Magic, AnyScale, IBM, Databricks 등 여러 기업의 협업을 통해 성능 향상을 이루었다고 언급한다.

LLM 추론의 기본 원리, 어려움, LLM 추론 서버 구축의 과제 등을 다룰 예정이라고 설명한다.

GPU 실행 자체가 아닌, 스케줄러 측 오버헤드 감소를 통한 성능 향상에 대해 설명할 것이라고 밝힌다.

LLM이 시퀀스에서 다음 토큰을 예측하는 함수라는 것을 설명한다.

LLM을 사용한 텍스트 생성 과정에서 모델을 통한 반복적인 호출이 발생하며, 이로 인해 생성 시간이 길어지는 문제점을 지적한다.

동시 요청 처리에 있어 기존의 동적 배치 방식이 LLM 추론에는 적합하지 않음을 설명한다.

LLM 추론에 최적화된 연속 배치 방식을 소개한다.

vLLM의 내부 아키텍처 및 연속 배치 구현

vLLM의 연속 배치를 위한 LLM 엔진의 내부 아키텍처를 설명한다.

LLM 엔진의 스케줄링, 실행, 출력 처리 세 단계를 설명한다.

모델 실행기가 스케줄된 작업을 GPU 워커에게 전달하는 과정을 설명한다.

출력 처리 과정에서 API 서버로의 스트리밍, 중지 시퀀스 감지, 배치 항목 제거 등이 이루어짐을 설명한다.

H100 GPU의 메모리 대역폭 제약으로 인한 성능 저하 문제를 설명한다.

CPU에서 수행되는 스케줄링, 입력 준비, 출력 처리 과정에서의 성능 병목 현상을 분석한다.

API 서버와 LLM 엔진을 분리하고 ZeroMQ를 메시징 프로토콜로 사용하여 병렬 처리 성능을 향상시킨 방법을 설명한다.

비동기 출력 처리를 통해 GPU 연산과 출력 처리를 동시에 수행하여 성능을 향상시킨 방법을 설명한다.

다단계 스케줄링을 통해 CPU 작업량을 줄여 성능을 향상시킨 방법을 설명한다.

ZeroMQ를 vLLM의 핵심 루프에 통합하여 비동기 I/O의 오버헤드를 줄이는 작업을 진행 중이라고 설명한다.

다단계 스케줄링의 토큰 간 지연 시간을 개선하기 위해 비동기 스트리밍을 구현할 것이라고 설명한다.

청크 프리필과 다단계 스케줄링의 호환성을 개선하여 토큰 생성 시간을 단축할 계획이라고 설명한다.

완전 비동기 스케줄링 아키텍처로의 마이그레이션을 통해 GPU 실행 시간을 최소화할 계획이라고 설명한다.