Pyre에서 메모리 부족 오류를 관리하기 위한 전략

### Pyre에서 메모리 부족(OOM) 문제를 관리하기 위한 전략
* 🖥 OOM(메모리 부족 오류)은 개발자가 **Pyre 코드로 작업할 때 흔히 겪는 문제**로, 효과적인 솔루션이 필요합니다.
* 🔧 기존에는 개발자가 즉각적인 해결 방법으로 **배치 크기나 모델 크기를 줄이는 방법**을 사용했지만, 이러한 접근 방식은 뉘앙스가 부족하고 지나치게 단순할 수 있습니다.
* 💡 예를 들어, **39 및 49와 같은 인기 있는 소비자용 GPU는 약 24GB**인 반면, **A1 100은 40 또는 80GB, H100은 100GB**에 달할 수 있으므로 VRAM 제한을 이해하는 것이 중요합니다.
* 📊 모델 크기를 추정할 때는 매개변수뿐 아니라 기울기 및 최적화 상태도 고려해야 합니다. 예를 들어, **llama 7B와 같은 모델은 모든 요소를 고려할 때 최대 56GB의 메모리가 필요**할 수 있습니다.
* 📈 특히 배치 크기가 클 경우 **활성화가 메모리 사용량을 지배**할 수 있고 적절한 도구 없이는 이를 추정하는 것이 복잡할 수 있으므로 **플래시 주의와 같은 최적화**는 매우 중요합니다.
* 🔄 예를 들어 **파라미터를 4비트로 양자화**하면 모델의 크기를 **14GB에서 약 3.5GB로 줄일 수 있습니다.**
* ⚙ 완전 분할 데이터 병렬(FSDP)과 같은 기술은 **메모리 사용량을 여러 GPU에 분산**하여 VRAM 한도를 초과하지 않고도 보다 효율적으로 모델을 훈련할 수 있도록 도와줍니다.
* 🛠 ️ **CPU 오프로딩은 매개변수를 CPU로 전송**하여 메모리 부담을 완화함으로써 보다 집중적인 연산 작업을 위한 GPU 리소스를 확보할 수 있습니다.

### FSDP의 발전: FSDP 1에서 FSDP 2로 전환하기
* 🔍 FSDP 1에서 FSDP 2로의 전환은 GPU에서 텐서를 관리하는 방식에 큰 변화를 수반하며, **텐서가 고유한 ID와 메타데이터**를 유지할 수 있도록 합니다.
* 💾 FSDP 1에서는 텐서가 플랫 파라미터로 결합되어 동일한 데이터 유형과 기타 메타데이터를 공유해야 했지만, **FSDP 2에서는 각 텐서를 개별적으로 표현**할 수 있습니다.
* ⚙ FSDP 2를 구현하면 **텐서 분할 및 재배치로 인해 추가 복사본**이 발생하지만 **텐서 동일성 유지의 이점**이 이 단점보다 더 큽니다.
* 📊 초기 벤치마크 결과 FSDP 2를 사용하면 **피크 메모리 사용량은 개선**되었지만 런타임 성능은 **FSDP 1에 비해 19% 느려져** 성능 격차에 대한 추가 조사가 필요했습니다.
* 🔧 세부 추적 결과, 분산 텐서 사용으로 인한 오버헤드로 인해 **FSDP 2에서 최적화 단계가 상당히 오래 걸리는 것**으로 밝혀졌고, 인텔과 협력하여 **융합 최적화 단계를 개발하여 속도를 8배 향상**시켰습니다.
* 📉 작업 중 텐서 크기의 차이 등 다른 성능 문제도 확인되었으며, **일관된 구성을 보장하고 텐서 패킹 방법을 개선**하여 해결했습니다.
* 최종 조정을 통해 계산과 통신의 중첩을 개선하고 **FSDP 2의 고유한 기능**을 활용하여 성능과 메모리 관리를 최적화할 수 있었습니다.
* 📚 FSDP 2로의 전환은 현재 진행 중이며, **연구 커뮤니티에 정량화 및 분산형 교육 혁신**을 모색하기 위한 협력을 요청하고 있습니다.

### Pyre에서 OOM 관리 최적화: 전략 및 도구
* 🛠 메모리 부족 오류(OOM)는 **Pyre 코드에서 중요한 문제**이며, 개발자는 메모리 제약 조건을 관리하기 위한 효과적인 솔루션을 찾아야 합니다.
* 💻 Jane과 발표자를 포함한 Meta의 개발자들은 배치 크기나 모델 크기를 줄이는 것과 같은 기존 방식을 넘어 **OOM 처리를 간소화하는 도구**를 만드는 데 집중하고 있습니다.
* 📊 39 및 49와 같은 인기 있는 소비자용 GPU는 **약 24GB**를 제공하는 반면, A1 100은 **40 또는 80GB**, H100은 **약 100GB**를 제공하는 등 VRAM의 한계를 이해하는 것이 중요합니다.
* 📏 모델 크기를 추정할 때는 파라미터뿐만 아니라 메모리 요구 사항을 빠르게 증가시킬 수 있는 그라디언트 및 최적화 상태도 고려해야 합니다. 예를 들어, **Llama 7B와 같은 모델은 완전히 미세 조정할 경우 최대 56GB의 VRAM이 필요**할 수 있습니다.
* 🔍 특히 배치 크기가 클수록 **활성화가 메모리 사용량을 지배**할 수 있으므로 플래시 주의와 같은 최적화가 효율성을 위해 필수적입니다.
* 💡 양자화, 특히 **4비트 양자화**와 같은 기술을 도입하면 모델 크기를 크게 줄일 수 있지만 **그라디언트를 양자화**하면 수렴을 방해할 수 있으므로 주의해야 합니다.
* 🔄 Laura와 같은 전략을 사용하면 **선택적 파라미터 업데이트**를 통해 학습 가능한 파라미터의 작은 하위 집합에 집중하여 메모리 오버헤드를 줄일 수 있으며, **FSDP(완전 샤드 데이터 병렬)** 같은 도구는 여러 GPU에서 메모리를 관리하는 데 도움이 됩니다.
* 💾 CPU 오프로딩은 또 다른 효과적인 방법으로, **매개변수가 GPU에서 정방향 및 역방향 패스를 수행하는 동안 CPU 메모리에 상주**하도록 허용하여 GPU의 메모리 부담을 완화합니다.

### FSDP 향상: 성능 향상을 위해 FSDP 1에서 FSDP 2로 전환하기
* 🔄 이 논의는 GPU에 텐서를 배포할 때의 어려움으로 시작하여, **FSDP 1의 텐서 관리가 텐서 간 메타데이터의 강제 균일성**으로 인해 어떻게 비효율성을 초래할 수 있는지를 강조합니다.
* 반면, **FSDP 2에서는 각 텐서가 데이터 유형 및 그라데이션 요구 사항과 같은 고유한 속성을 유지**할 수 있으므로 유연성과 성능이 향상됩니다.
* 📉 그러나 **FSDP 2는 텐서 분할 및 재배치로 인해 추가 오버헤드**가 발생하여 처음에는 성능 메트릭이 느려질 수 있습니다.
* ⚙ 이 발표자는 소비자용 GPU를 사용한 벤치마킹 과정을 자세히 설명하며 **메모리 사용량이 개선되었음에도 불구하고 FSDP 2의 런타임이 이전 버전에 비해 19% 느려졌다고 밝혔습니다.**
* 🔍 옵티마이저 단계와 텐서 연산을 꼼꼼하게 추적하여 **과도한 매개변수 오버헤드와 비효율적인 커널 호출**을 비롯한 여러 성능 병목 현상을 파악합니다.
* ⚡ 이러한 차이를 해결하기 위해 퓨즈드 옵티마이저 단계와 텐서 패킹 개선과 같은 솔루션이 제안되고 있으며, 일부 유망한 결과는 이미 **특정 작업에서 8배의 속도 향상**을 달성했습니다.
* 💡 마지막으로 **FSDP 2의 기능**을 활용하여 분산 훈련이 크게 발전할 수 있는 잠재력을 강조하는 한편, **양자화 및 분산 훈련 기술의 혁신적인 적용**을 모색하기 위한 연구 커뮤니티의 협력을 촉구합니다.

메타의 개발자들은 Pyre에서 OOM을 효과적으로 관리할 수 있는 도구를 만들어 모델 훈련의 효율성을 높였습니다.

Slaying OOMs with PyTorch FSDP and torchao

Hamel Husain

OOM은 Pyre 코드에서 흔히 발생하는 불편한 버그로, 배치 크기나 모델 크기를 줄임으로써 해결되는 경우가 많습니다.

인기 있는 소비자 카드는 약 24~80GB를 제공하기 때문에 VRAM 제약은 큰 문제입니다.

모델에 필요한 메모리에는 파라미터, 그라데이션, 옵티마이저가 포함되며, 이는 종종 사용 가능한 VRAM을 초과하기 때문에 배치 크기와 컨텍스트 길이가 클수록 활성화가 주요 메모리 오버헤드가 됩니다.

OOM(메모리 부족 오류)은 Pyre 코드에서 흔히 발생하는 실망스러운 문제로, 배치 크기나 모델 크기를 줄임으로써 해결되는 경우가 많습니다.

VRAM 제약은 중요한 요인으로, 인기 있는 소비자 카드에는 24~80GB의 VRAM이 탑재되어 있습니다.

모델에 필요한 총 메모리에는 파라미터, 그라데이션, 옵티마이저 크기가 포함되며, 이는 종종 사용 가능한 VRAM을 초과하여 미세 조정 및 훈련이 어렵게 만듭니다.

효율적인 파라미터 정량화 및 그라데이션 관리

파라미터를 fp32에서 int8로 양자화하는 과정에는 최대값을 찾고 그에 따라 값을 스케일링하는 과정이 포함되며, 양자화를 해제하면 이 과정이 역전됩니다.

토치 컴파일 및 환경 변수를 사용하면 효율적인 Trident 커널을 생성할 수 있으므로 커스텀 CUDA 커널을 작성할 필요가 없습니다.

4비트 양자화와 결합하여 모델 파라미터의 하위 집합을 업데이트하는 Q-Lauro 알고리즘은 모델 훈련에 효과적인 것으로 입증되었으며, 순수 PyTorch 코드를 통해 구현이 간소화되었습니다.

머신 러닝의 효율적인 매개변수 처리 및 정량화

양자화에 대한 접근 방식은 요소의 최대값을 사용하여 값을 fp32에서 int8로 스케일링하는 것입니다.

토치 컴파일은 효율적인 Trident 커널을 생성하는 데 사용되므로 커스텀 CUDA 커널을 작성할 필요가 없습니다.

모델 파라미터의 하위 집합을 업데이트하는 Q-Lauro 알고리즘은 효과적인 그라데이션 처리를 가능하게 하며 미세 조정 대회에서 널리 채택되고 있습니다.

낮은 데이터 유형 및 멀티 GPU 트레이닝을 위한 PyTorch 최적화하기

PyTorch 라이브러리인 PyR은 NF4 텐서를 지원하지 않으며 대신 IN8, FP16 및 FP8에 중점을 두고 있습니다.

PyTorch의 텐서 서브클래스를 사용하면 여러 기기에서 연산 및 데이터 유형 배포를 사용자 정의할 수 있습니다.

훈련 중 메모리 관리를 위해 데이터 병렬 처리와 파라미터 샤딩은 효과적인 전략이며, 완전 샤딩된 데이터 병렬(FSDP)은 GPU 간에 파라미터를 교환하고 메모리 사용량을 최적화하는 방법을 제공합니다.

이중 양자화 및 PyTorch의 기본 데이터 유형

이중 양자화에는 데이터를 정규화하고 더 낮은 dtype 커널을 사용하는 것이 포함되며, PyR은 IN8, FP16 및 FP8을 제공하지만 NF4는 제공하지 않습니다.

파이토치의 텐서 서브클래스를 사용하면 연산을 재정의하고 장치 간에 데이터 유형 분포를 사용자 정의할 수 있습니다.

이 프레젠테이션에서는 또한 트레이닝 중 메모리 관리에 대해 설명하고 여러 GPU를 효율적으로 사용하기 위한 기술로 완전 샤드 데이터 병렬(FSDP)을 소개합니다.

FSDP의 이해와 메모리 관리에 미치는 영향

FSDP는 모델 레이어의 래핑을 결정하고 파라미터와 레이어를 그룹화하여 메모리 사용량에 영향을 줍니다.

CPU 오프로딩은 매개변수를 CPU로 이동하여 GPU 메모리 요구 사항을 줄이는 데 사용할 수 있습니다.

FSDP 2는 텐서 병렬 처리와 여러 GPU에 텐서를 분산하는 효율성을 개선하는 것을 목표로 합니다.

FSDP(완전 샤딩 데이터 병렬)는 모델에서 레이어를 래핑하여 메모리 사용량과 매개변수 분포에 영향을 줍니다.

CPU 오프로딩은 파라미터를 보관하고 필요할 때 데이터를 공유함으로써 GPU 메모리 요구량을 줄일 수 있습니다.

FSDP는 작업하기가 까다로워 텐서 병렬 처리를 보다 효율적으로 처리하는 것을 목표로 하는 FSDP 2의 개발로 이어졌습니다.

FSDP 2는 슬라이싱과 샤딩을 통해 텐서 관리를 개선하여 각 텐서가 자신의 정체성과 메타데이터를 유지할 수 있도록 합니다.

이러한 접근 방식을 통해 텐서는 다양한 데이터 유형과 그라데이션 요구 사항을 가질 수 있으므로 학습 및 정량화 문제를 해결할 수 있습니다.

또한 FSDP 2는 메모리 결정론을 제공하며, NF4와 통합되어 보다 깔끔하고 컴포저블하게 사용할 수 있으며, 지속적인 벤치마크를 통해 FSDP 1에 비해 성능을 평가하고 있습니다.

FSDP 2는 텐서를 개별적으로 분할하여 고유한 ID와 메타데이터를 유지할 수 있도록 함으로써 텐서 분포를 개선합니다.

이 버전은 다양한 데이터 유형 및 기울기 요구 사항과 같은 일반적인 문제를 해결하여 학습에 더 많은 유연성을 제공합니다.

또한 FSDP 2는 메모리 결정론을 제공하여 예측할 수 없는 메모리 급증의 위험을 줄여주며, FSDP 1에 비해 런타임은 19% 느리지만 피크 메모리 사용량이 더 나은 것으로 나타났습니다.

최적화 도구의 새로운 트레이스는 기준선에 비해 매개변수와 단계 수가 크게 증가하여 실행 시간이 길어졌음을 보여줍니다.

텐서 서브클래스 디스패치의 사용과 출력 투영의 구성 차이가 파라미터 수 증가에 기여하는 주요 요인으로 확인되었습니다.

구성과 매개변수를 조정하기 위한 노력에도 불구하고 새로운 설정은 여전히 실행 시간은 느려졌지만 최대 메모리 사용량은 개선되었습니다.

옵티마이저의 새로운 추적은 기준선에 비해 단계와 매개변수의 수가 크게 증가했음을 보여줍니다.

파라미터가 두 배로 증가하고 텐서 서브클래스 디스패치가 사용되면서 최적화 도구의 시간이 더 오래 걸렸습니다.

구성 차이를 파악하고 일관된 파라미터로 벤치마크를 실행한 후 피크 메모리는 개선되었지만 런타임은 여전히 느려서 전진, 후진 및 최적화 단계를 집중적으로 분석했습니다.

첫 번째 차이는 C++ 디스패치 오버헤드로 인한 최적화 단계의 느린 성능으로, 인텔과 협력하여 최적화 단계를 하나의 커널로 통합함으로써 8배의 속도 향상을 달성했습니다.

두 번째 차이는 텐서 크기가 일치하지 않고 비효율적인 패킹과 관련된 것으로, 패킹 프로세스를 최적화하고 출력 투영을 정량화하여 해결했습니다.

세 번째 격차는 NF4의 정량화 제거로 인한 추가 오버헤드로 인해 발생했으며, 더 빠른 실행을 위해 Torch 컴파일 및 Triton 커널을 사용하는 등의 잠재적인 해결책이 있었습니다.

최적화 프로세스의 첫 번째 차이는 C++ 디스패치로 인한 오버헤드로 인해 최적화 단계가 3배 느려졌습니다.

이에 대한 해결책으로 인텔과 협력하여 최적화 단계를 위한 퓨즈 아톰을 만들어 속도를 8배 향상시켰습니다.

두 번째 차이는 텐서 패킹과 출력 투영의 차이로 인한 것으로, 보다 효율적인 패킹 방법을 구현하고 출력 투영을 정량화하여 해결했습니다.

이 발표자는 훈련 과정에서 CPU에서 GPU로 오프로드하는 문제와 GPU 간의 중복 통신에 대해 설명합니다.

FSDP 2는 적절한 메모리 제약과 레이어 그룹화를 통해 이러한 문제를 해결하고 동기화를 개선하는 것을 목표로 합니다.

발표자는 협업의 중요성을 강조하며 양자화 및 분산 시스템을 연구하는 연구자들이 서로 교류하며 더 깊이 탐구할 수 있도록 초대합니다.

발표자는 트레이닝 과정에서 CPU에서 GPU로 오프로드하는 문제와 GPU 간의 중복 통신에 대해 설명합니다.

FSDP 2는 메모리 제약을 보장하고 더 큰 파라미터 레이어가 공존할 수 있도록 함으로써 이러한 문제를 해결하는 것을 목표로 합니다.

발표자는 중복성을 제거하고 효율성을 개선하는 새로운 래핑 정책을 FSDP 2에서 성공적으로 구현한 사례를 강조하며 양자화 및 분산 시스템에 대한 연구 협력을 촉구합니다.