vLLM v0.6.0 Release: Massive Speedup on H100 GPUs for LLaMA

vLLM 0.6.0은 H100 GPU에서 LLaMA 추론을 크게 가속화합니다.

### ### vLLM 성능 극대화를 위한 고급 기법: 2024년 9월 19일

* 📌 Neural Magic의 Rob은 vLLM 0.6.0 릴리즈에서 **LLaMA 8B 및 70B에 대한 속도 향상**을 설명합니다.
* 📌 LLM 추론의 기본 원리는 이전 토큰 시퀀스를 기반으로 다음 토큰의 확률을 예측하는 것입니다.  토큰 생성은 모델을 통한 반복적인 패스를 필요로 하며, 이는 **병렬 요청 처리**에 어려움을 야기합니다.
* 📌 기존의 동적 배치는 LLM 추론에 비효율적입니다.  **연속 배치**는 요청 수준이 아닌 반복 수준에서 배치하여 지연 시간을 줄이고 GPU 활용도를 높입니다.
* 📌 vLLM은 연속 배치를 위해 **LLM 엔진**을 사용하며, 이는 스케줄링, 실행, 출력 처리의 세 단계로 구성됩니다.  GPU는 빠르게 작동하지만 CPU 작업(스케줄링, 입력 준비, 출력 처리)은 **GIL(Global Interpreter Lock)**로 인해 병렬 처리가 제한됩니다.
* 📌 성능 향상을 위해 API 서버와 LLM 엔진을 분리하고 ZeroMQ를 사용하여 **병렬성을 높였습니다.**  비동기 출력 처리 및 다단계 스케줄링을 통해 CPU 오버헤드를 줄였습니다.
* 📌 이러한 최적화를 통해 LLaMA 38B에서 **2.7배**, LLaMA 70B에서 **2배 가까이** 속도 향상을 달성했습니다.  이는 Neural Magic, IBM, AnyScale, UC Berkeley, Databricks 간의 협업의 결과입니다.
* 📌 향후 계획으로는 **완전 비동기 스케줄링**으로의 마이그레이션 및 **멀티 스텝 스케줄링의 개선** (인터 토큰 지연 시간 감소, 청크 프리필 지원)이 있습니다.
* 📌  **ZMQ**를 핵심 루프에 통합하여 비동기 I/O 오버헤드를 줄이고,  **멀티 스텝 스케줄링의 안정성 및 호환성을 개선**하여 성능을 더욱 향상시킬 예정입니다.

### vLLM 오피스 아워 요약: 성능 극대화를 위한 고급 기법

* 🗣️ **vLLM**의 기본 매개변수와 비동기 처리를 통한 GPU 활용 극대화 방안 논의. TTFT(Time to First Token) 개선 목표 언급.
* 📊 13페이지의 성능 분석은 오프라인 배치 모드(1000개 프롬프트, 기본 배치 크기 256) 기반의 LLM 오버헤드 측정 결과이며, API 서버 추가 오버헤드는 30%임을 강조.
* ⚙️ API 서버를 별도 프로세스로 분리하여 GIL(Global Interpreter Lock) 제약 해소 및 ZeroMQ를 활용한 효율적인 동시성 관리 구현.  **ZeroMQ**의 장점으로 **락-프리 동기화**와 성능 향상 언급.
* 💡 향후 아키텍처 계획: 스케줄러와 모델 실행기를 별도 프로세스로 분리하고 ZeroMQ를 이용한 메시지 전달로 CPU 오버헤드 최소화 목표 제시.
* 💻 **vLLM**은 오프라인 배치, API 서버 외에도 Triton 등 다양한 인터페이스 통합 가능하며, ZeroMQ의 언어 독립성과 플러그 가능한 내부 시스템 강조.
* 📈 Llama 3.17 배포 최적화는 하드웨어(GPU 종류, 샤딩 여부 등)에 따라 달라지며, 워크로드 형태(입력/출력 토큰 수, QPS) 고려 중요성 강조.  **워크로드 형태 분석**을 통한 성능 튜닝 필요성 언급.
* 🛠️ 최근 업데이트 내용: 다중 모달 모델 지원 확대, AWQ(Adaptive Weight Quantization)를 통한 AMD GPU 성능 향상, 다중 LoRA 지원 개선 등.  Python 3.12 지원 및 버그 수정도 포함.
* 🗣️ 질문응답:  일본어 지원 모델(Alibaba의 Qwen 시리즈 추천), Medusa, KServe Model Mesh 지원,  요청별 상태 관리,  미세 조정된 LLM 관리(LoRA 활용 권장),  TTFT 최적화(청크 프리필 비활성화, 최적의 활성화 양자화 사용) 등 다양한 질문에 대한 답변 제공.

vLLM Office Hours - Advanced Techniques for Maximizing vLLM Performance - September 19, 2024

Neural Magic

vLLM 0.6.0 릴리즈 및 성능 향상 소개

Neural Magic의 Rob이 vLLM 0.6.0 릴리즈에 대한 설명을 시작한다.

v0.6.0 릴리즈에서 H100 GPU를 사용한 LLaMA 8B 및 70B 모델의 속도 향상을 강조한다.

UC Berkeley, Neural Magic, AnyScale, IBM, Databricks 등 여러 기업의 협업을 통해 성능 향상을 이루었다고 언급한다.

LLM 추론의 기본 원리, 어려움, LLM 추론 서버 구축의 과제 등을 다룰 예정이라고 설명한다.

GPU 실행 자체가 아닌, 스케줄러 측 오버헤드 감소를 통한 성능 향상에 대해 설명할 것이라고 밝힌다.

LLM이 시퀀스에서 다음 토큰을 예측하는 함수라는 것을 설명한다.

LLM을 사용한 텍스트 생성 과정에서 모델을 통한 반복적인 호출이 발생하며, 이로 인해 생성 시간이 길어지는 문제점을 지적한다.

동시 요청 처리에 있어 기존의 동적 배치 방식이 LLM 추론에는 적합하지 않음을 설명한다.

LLM 추론에 최적화된 연속 배치 방식을 소개한다.

vLLM의 내부 아키텍처 및 연속 배치 구현

vLLM의 연속 배치를 위한 LLM 엔진의 내부 아키텍처를 설명한다.

LLM 엔진의 스케줄링, 실행, 출력 처리 세 단계를 설명한다.

모델 실행기가 스케줄된 작업을 GPU 워커에게 전달하는 과정을 설명한다.

출력 처리 과정에서 API 서버로의 스트리밍, 중지 시퀀스 감지, 배치 항목 제거 등이 이루어짐을 설명한다.

H100 GPU의 메모리 대역폭 제약으로 인한 성능 저하 문제를 설명한다.

CPU에서 수행되는 스케줄링, 입력 준비, 출력 처리 과정에서의 성능 병목 현상을 분석한다.

API 서버와 LLM 엔진을 분리하고 ZeroMQ를 메시징 프로토콜로 사용하여 병렬 처리 성능을 향상시킨 방법을 설명한다.

비동기 출력 처리를 통해 GPU 연산과 출력 처리를 동시에 수행하여 성능을 향상시킨 방법을 설명한다.

다단계 스케줄링을 통해 CPU 작업량을 줄여 성능을 향상시킨 방법을 설명한다.

ZeroMQ를 vLLM의 핵심 루프에 통합하여 비동기 I/O의 오버헤드를 줄이는 작업을 진행 중이라고 설명한다.

다단계 스케줄링의 토큰 간 지연 시간을 개선하기 위해 비동기 스트리밍을 구현할 것이라고 설명한다.

청크 프리필과 다단계 스케줄링의 호환성을 개선하여 토큰 생성 시간을 단축할 계획이라고 설명한다.

완전 비동기 스케줄링 아키텍처로의 마이그레이션을 통해 GPU 실행 시간을 최소화할 계획이라고 설명한다.