QLoRA: Efficient Fine-Tuning of Large Language Models using Quantization

QLoRA는 소비자급 하드웨어에서 효율적인 미세 조정을 가능하게 함으로써 대규모 언어 모델 접근성을 크게 개선합니다.

### 효율적인 대규모 언어 모델 미세 조정: QLoRA 소개
* 🗣️ 워싱턴 대학교 박사과정 학생인 Tim Dettmers가 **QLoRA**를 이용한 효율적인 대규모 언어 모델 미세 조정 방법을 발표했습니다.
* 💡 **메모리 사용량**을 줄이는 것이 대규모 언어 모델 접근성 향상의 주요 과제입니다.  QLoRA는 LLaMA 모델의 메모리 사용량을 780GB에서 44GB로 **감소**시킵니다.
* 📊 **4비트 양자화**가 성능 저하 없이 최대 효율성을 제공한다는 것을 보여주는  'CapInf' 스케일링 법칙 연구 결과가 QLoRA 개발에 중요한 역할을 했습니다.
* 🧮 QLoRA는 **4비트 양자화된 기본 모델**과 작은 어댑터를 사용하여 메모리 사용량을 크게 줄입니다. 650억 매개변수 모델의 경우, 780GB에서 42GB로 감소합니다.
* ⚙️ **페이지 지정 최적화기**를 사용하여 메모리 스파이크를 방지하고, **이중 양자화** 및 **NF4(Normal Float)**라는 새로운 데이터 유형을 통해 추가적인 메모리 효율성을 확보합니다.
* 💡  NF4는 정규 분포에 대해 정보 이론적으로 최적화된 데이터 유형으로, 기존의 동일한 너비 슬라이싱 방식 대신 **동일한 면적 슬라이싱**을 통해 정밀도를 향상시킵니다.
* 💪 QLoRA를 통해 단일 GPU로 650억 매개변수 모델의 미세 조정이 가능해져, **대규모 언어 모델 접근성이 향상**됩니다.
* 🤔 기존의 LLaMA 모델에 대한 우려와 달리, QLoRA는 **성능 저하 없이** 효율적인 미세 조정을 가능하게 합니다.

### QLoRA: 양자화된 대규모 언어 모델의 효율적인 미세 조정 요약
* 🗣️ ROUGE-L 성능 측정을 통해 기준 알파카 저장소 벤치마크에서 기존의 미세 조정 성능이 좋지 않음을 발견했습니다.
* 📈 학습률, 배치 크기 등을 최적화하여 강력한 16비트 기준선을 확보했습니다.
* 💡 **LLaMA(cuLLaMA)의 하이퍼파라미터** 중 어텐션 모듈에만 적용하는 것보다 모든 레이어에 적용하는 것이 16비트 성능을 재현하는 데 중요하며, 어댑터 크기는 상대적으로 중요하지 않다는 것을 발견했습니다.
* 📊 정규 부동 소수점(normal float) 데이터 유형이 정수보다 훨씬 우수한 성능을 보이며, 특히 4비트 정규 부동 소수점과 이중 양자화(DQ)를 비교했을 때 명확하게 나타났습니다.
* 📚 다양한 데이터셋(Flan-V2, Open Assistant 등)을 사용한 instruction tuning 결과, Flan-V2는 작은 모델에서는 우수하지만, 큰 모델(650억 매개변수)에서는 기준 성능을 저하시키는 것으로 나타났습니다.  **Open Assistant 데이터셋**을 사용하여 구축한 Guanaco 모델이 최고의 성능을 보였습니다.
* 🗣️ 채팅봇 평가는 주관적이며, GPT-4를 이용한 평가에서도 편향성을 고려해야 함을 강조했습니다.  **Guanaco 모델**은 Vicuna 벤치마크에서 GPT 성능의 97%를 공유한다는 결과를 얻었습니다.
* 🏆 Guanaco 모델은 다른 모델들과의 토너먼트 방식 비교에서도 우수한 성능을 보였으며, 특히 메모리 사용량이 적다는 장점이 있습니다.
* 🚀 향후 4비트 추론 커널을 배포하여 16비트 추론보다 3.5배 빠른 속도를 제공할 계획입니다.  **QLoRA**는 메모리 효율성을 높이고 성능 저하 없이 미세 조정을 가능하게 합니다.

QLoRA: Efficient Finetuning of Quantized Large Language Models (Tim Dettmers)

MLOps Learners

연사 Tim Dettmers 소개: 양자화 분야의 전문가, bitsandbytes 유지 관리자

워싱턴 대학교 박사 과정 5년차, 효율적인 딥러닝 연구, 특히 대규모 언어 모델 접근성 향상에 중점

대규모 언어 모델의 접근성 저해 요인: 메모리 사용량

연구 철학: 기술 접근성 향상을 통한 대중화 및 발전

주요 연구 분야: 양자화, QLoRA (효율적인 미세 조정을 위한 방법)

연속 신호의 이산화: 32비트에서 4비트 또는 8비트로 양자화

정규 분포를 이용한 4비트 양자화 예시: 16개의 값으로 이산화

새로운 데이터 타입 개발: 상황에 따른 최적의 데이터 타입

다양한 양자화 방법 및 데이터 타입 비교

특정 문제에 맞는 데이터 타입 설계 중요성 강조

이상치(Outliers) 처리 및 블록 양자화

이상치의 영향: 정밀도 저하 및 성능 저하

블록 양자화: 텐서를 작은 블록으로 나누어 독립적으로 양자화

딥러닝에서 이상치 제거의 어려움과 블록 양자화의 효과

CapInf 스케일링 법칙 분석 및 QLoRA 배경

매개변수 수와 비트 수의 최적 조합 연구

OPT 모델을 이용한 실험 결과: 4비트 양자화의 효율성 확인

블록 크기의 중요성: 저비트 양자화에서 작은 블록 크기의 효과

데이터 타입의 중요성: 상황에 맞는 데이터 타입 선택

기존 미세 조정의 높은 비용 문제점 지적

LoRA (Low-Rank Adaptation) 기법 소개: 메모리 사용량 감소

QLoRA: 양자화된 기본 모델과 저랭크 어댑터 사용

페이징 최적화기(Paging Optimizer): 메모리 스파이크 방지

이중 양자화(Double Quantization): 메모리 효율 향상

NF4 (Normal Float): 정규 분포에 최적화된 새로운 데이터 타입

LLaMA 모델의 미세 조정 성능 향상을 위한 최적의 하이퍼파라미터 설정

NF4 데이터 타입의 성능 비교: 기존 데이터 타입 대비 우수한 성능 확인

16비트 성능을 4비트로 재현: 메모리 효율 17배 향상

MMLU 벤치마크 결과 분석: 데이터셋에 따른 성능 차이

Guanaco 모델: Open Assistant 데이터셋을 사용한 최고 성능 달성

챗봇 평가 방법 및 Guanaco 모델 성능

챗봇 평가의 어려움: 주관성 및 잡음 많은 인간 평가

GPT-4를 이용한 챗봇 평가: 편향성 고려 및 신뢰도 향상

Guanaco 모델의 성능: Vicuna 벤치마크에서 ChatGPT 성능의 97% 달성

다양한 챗봇 모델의 상대적 성능 비교: Guanaco 모델의 우수성 확인

Guanaco 모델의 경쟁력: 작은 메모리 사용량과 높은 성능

QLoRA의 장점: 작은 메모리 사용량과 높은 성능

향후 계획: 4비트 추론 커널 개발 및 성능 향상

모델 접근성 향상 및 사용 편의성 증대