엔비디아의 Cutlass 라이브러리를 사용한 고성능 추론

### Cutlass로 추론 최적화하기: BLM의 고성능 정량화 작업
* 🧠 타일러가 고성능 선형 대수 연산, 특히 BLM의 정량화된 추론에서 모듈식 루틴을 제공하는 엔비디아 라이브러리인 **Cutlass의 활용**에 대해 설명합니다.
* 🎯 이 프레젠테이션에서는 활성화 정량화, 성능 메트릭, 초저정밀 정량화를 피하면서 **선형 레이어 속도를 높이는 것의 중요성** 및 Cutlass의 내부 작동 방식에 중점을 두어 기대치를 설정합니다.
* 📊 메타 라마 38B의 개별 레이어를 분석하여 fp16과 fp8의 성능을 비교하면 **특히 배치 크기가 커질수록 고밀도 보석(선형 레이어)이 주요 개선 영역**임을 알 수 있습니다.
* 🔍 이 강연에서는 효과적인 속도 향상을 위해서는 가중치만 정량화하는 것만으로는 추론 효율성이 충분하지 않기 때문에 **가중치와 활성화(W8 A8)를 모두 정량화**하는 것이 중요하다는 점을 강조합니다.
* 📈 루프라인 모델은 계산 및 데이터 이동 속도에 따른 성능 한계를 설명하기 위해 도입된 것으로, **알고리즘의 산술 강도가 전체 성능에 영향을 미친다**는 것을 보여줍니다.
* 💡 Cutlass의 에필로그 퓨전 기술은 GPU 메모리에 기록되기 직전에 출력에 연산을 적용하여 **데이터 이동을 줄일 수 있는 핵심 기능**으로 강조되고 있습니다.
* ⚙ BLM과 Cutlass의 향후 계획에는 **호퍼에 최적화된 혼합 정밀 커널과 추가 커널**을 통합하여 성능을 더욱 향상시키는 것이 포함됩니다.
* 👥 타일러는 팀의 공로를 인정하고 청중에게 **활성화 정량화 모델을 제작할 때 사용하기 쉬운 인터페이스에 대한 BLM 프로젝트**를 살펴볼 것을 권장합니다.

### 비전 언어 모델 및 하드웨어 지원의 발전
* 🔊 울트라 박스 모델은 **최초의 오디오 모델**로서 중요한 이정표를 세웠으며, **GGF 모델과 인코더-디코더 모델에 대한 지원** 등 비전 언어 모델의 지속적인 개선이 이루어지고 있습니다.
* 💻 최근 업데이트에서는 특히 **TPU 및 인텔 CPU에 대한 하드웨어 지원이 개선**되었으며, 성능 향상을 위해 **다단계 예약 기능이 도입**되었습니다.
* 🚀 0.6 버전 출시로 **멀티스텝 스케줄러가 안정화**되고 **AMD GPU에 대한 지원이 확대**되었으며, Nvidia는 **FP8 KV 캐시 성능 가속화**에 기여했습니다.
* 🔍 모델 지원이 확대되어 이제 **X01 및 Granite와 같은 유명 모델**을 포함하여 허깅 페이스의 다양한 비트 및 바이트 체크포인트를 수용할 수 있습니다.
* 📈 OpenAI 인터페이스용 도구 API가 완성되었으며, **청크 미리 채우기 및 접두사 캐싱**과 같은 기능이 통합되어 프롬프트가 개선되었습니다.
* ⚙ 기여자들은 **CPU 경합을 줄이고, 비동기 출력 처리를 개선하고, 배치 스케줄을 최적화**하여 처리량을 늘리고 지연 시간을 줄이는 데 집중했습니다.
* 📊 최신 성능 메트릭에 따르면 **처리량과 지연 시간이 크게 개선**되어 VM이 다른 추론 서버에 비해 경쟁 우위를 점하고 있습니다.
* 🤝 커뮤니티는 **프로젝트를 더욱 개선하기 위한 기여와 피드백**을 공개적으로 모집하여 지속적인 개발에 참여하도록 권장됩니다.

타일러가 Cutlass가 BLM 모델의 선형 대수 연산에서 어떻게 고성능 양자화된 추론을 향상시키는지 보여드립니다.

vLLM Office Hours - Using NVIDIA CUTLASS for High-Performance Inference - September 05, 2024

Neural Magic

Cutlass를 사용한 고성능 정량화된 추론

모듈식 루틴의 Nvidia 컬렉션인 Cutlass는 BLM에서 고성능 양자화된 추론을 달성하는 데 사용됩니다.

활성화 양자화, 선형 레이어 속도 향상, 양자화에서 스케일과 영점을 처리하는 데 중점을 둡니다.

이 강연에서는 텐서당, 토큰당, 채널당 등 다양한 유형의 양자화와 대칭 및 비대칭 양자화에 대해 다루며 선형 계층의 효율성과 배치 크기의 영향에 대해서도 논의합니다.

고밀도 GEM은 큰 가중치 매트릭스와 다양한 수의 토큰을 한 번에 처리하는 VLM 선형 레이어에서 실행됩니다.

가중치만 정량화하는 것만으로는 속도 향상에 충분하지 않으므로 가중치와 활성화(W8 A8)를 모두 정량화하는 것이 성능 향상에 중요합니다.

루프라인 모델은 연산 속도, 데이터 이동, 산술 집약도 간의 관계를 이해하는 데 도움이 되며, 높은 산술 집약도를 위해 더 큰 행렬이 중요하다는 점을 강조합니다.

알고리즘 성능의 루프라인 플롯 이해하기

루프 라인 플롯은 알고리즘의 성능(테라플롭 단위)과 연산 집약도(바이트당 플롭) 사이의 관계를 보여줍니다.

알고리즘의 속성에 따라 성능의 상한선을 보여주며, 선은 최대 컴퓨팅 및 대역폭을 나타냅니다.

이 도표는 프리필 크기, 배치 크기, 시스템 QPS 속도와 같은 요소가 산술 집약도에 미치는 영향을 강조하며, 청크 프리필과 투기적 디코딩 같은 기술이 토큰 처리 효율을 높이는 데 도움이 될 수 있음을 시사합니다.

정량화된 운영에서 커틀러스의 역할

Cutlass는 고성능 선형 대수학을 위한 CUDA C++ 템플릿 추상화를 제공하는 라이브러리로, 사용자는 모듈식 조각으로 라이브러리를 구축할 수 있습니다.

Cutlass의 핵심 기능인 에필로그 퓨전은 특히 출력 단계에서 빠른 메모리에서 피연산자에 연산을 적용하여 데이터 이동을 줄여줍니다.

대칭 양자화는 보석 곱셈에 사용되며, 에필로그 동안 출력에 스케일이 적용되고 텐서별 및 토큰별 동적 등 다양한 경우를 처리합니다.

에필로그 중에 외부 곱이 수행되어 사전 계산을 피할 수 있으므로 효율적인 텐서 연산이 가능합니다.

텐서당 및 채널당 GEM을 구현하는 Cutlass는 동적 확장에도 성능 손실이 없습니다.

향후 계획에는 혼합 정밀도 커널을 최적화하고 추가적인 Cutlass 기반 커널을 VLM 프로젝트에 통합하는 것이 포함됩니다.

비전 언어 모델의 최근 개선 사항

울트라박스 오디오 모델은 GGF 모델과 인코더-디코더 모델에 대한 지원을 추가하는 등 비전 언어 모델을 지속적으로 개선해 왔습니다.

6 버전은 성능 개선, 하드웨어 지원 확장, 다양한 체크포인트에 대한 모델 지원에 중점을 두고 있습니다.

주요 기능으로는 새로운 채팅 방법, OpenAI 인터페이스용 도구 API, 청크 미리 채우기 및 접두사 캐싱을 함께 활성화하는 기능 등이 있습니다.

새로운 접근 방식은 종료 단계를 동시에 스케줄링하여 GPU와의 동기화를 줄이고 처리량을 높입니다.

비동기 출력 처리를 통해 출력 처리를 위한 일시 중지를 최소화하여 GPU 효율성을 개선할 수 있습니다.

조건부 테스트의 구현과 테스트 유지에 대한 책임은 메인 브랜치의 안정성 문제를 해결하는 것을 목표로 합니다.

데이터 세트 미세 조정 및 모델 최적화

공개적으로 사용 가능한 미세 조정 데이터 세트는 토큰 예산과 모델 보정을 최적화하는 데 매우 중요합니다.

효과적인 사용을 위해서는 프롬프트의 형식이 모델의 학습 스키마와 일치해야 합니다.

발표자는 데이터브릭스 환경 내에서 LLM 추론 시간을 최적화하는 색다른 방법을 모색하고 있으며 백엔드 액세스 및 비동기 스케줄링에 비동기 LLM 엔진을 사용하는 데 관심이 있습니다.

서빙 시 처리량을 향상시키려면 KV 캐시에 대한 GPU 메모리 활용을 극대화하고 요청을 병렬로 배치하는 데 집중하세요.

청크 미리 채우기를 활성화하여 출력 토큰 중단을 줄이고 파이프라인 병렬 처리를 사용하여 여러 노드에 워크로드를 분할하는 것을 고려하세요.

단일 GPU에서 여러 모델 사본을 실행하여 메모리 사용률을 낮추면 효율성이 향상될 수 있습니다.

트랜스포머 및 BLM 기여도의 변화

트랜스포머는 더 이상 채팅 템플릿이 없는 모델에 대해 채팅 템플릿을 기본값으로 사용하지 않는 획기적인 변경 사항을 도입하여 잘못된 동작을 유발할 수 있습니다.

사용자는 채팅 템플릿이 없는 모델에 대해 채팅 API 대신 완성 API를 사용하는 것이 좋습니다.

런타임 시 GGF 형식의 채팅 템플릿 추출과 사용자 경험 개선의 필요성에 대한 논의와 함께 BLM 및 예정된 이벤트에 기여할 수 있는 기회에 대해서도 논의했습니다.