QLoRA: Efficient Finetuning of Quantized Large Language Models (Tim Dettmers)

MLOps Learners

연사 Tim Dettmers 소개: 양자화 분야의 전문가, bitsandbytes 유지 관리자

워싱턴 대학교 박사 과정 5년차, 효율적인 딥러닝 연구, 특히 대규모 언어 모델 접근성 향상에 중점

대규모 언어 모델의 접근성 저해 요인: 메모리 사용량

연구 철학: 기술 접근성 향상을 통한 대중화 및 발전

주요 연구 분야: 양자화, QLoRA (효율적인 미세 조정을 위한 방법)

연속 신호의 이산화: 32비트에서 4비트 또는 8비트로 양자화

정규 분포를 이용한 4비트 양자화 예시: 16개의 값으로 이산화

새로운 데이터 타입 개발: 상황에 따른 최적의 데이터 타입

다양한 양자화 방법 및 데이터 타입 비교

특정 문제에 맞는 데이터 타입 설계 중요성 강조

이상치(Outliers) 처리 및 블록 양자화

이상치의 영향: 정밀도 저하 및 성능 저하

블록 양자화: 텐서를 작은 블록으로 나누어 독립적으로 양자화

딥러닝에서 이상치 제거의 어려움과 블록 양자화의 효과

CapInf 스케일링 법칙 분석 및 QLoRA 배경

매개변수 수와 비트 수의 최적 조합 연구

OPT 모델을 이용한 실험 결과: 4비트 양자화의 효율성 확인

블록 크기의 중요성: 저비트 양자화에서 작은 블록 크기의 효과

데이터 타입의 중요성: 상황에 맞는 데이터 타입 선택

기존 미세 조정의 높은 비용 문제점 지적

LoRA (Low-Rank Adaptation) 기법 소개: 메모리 사용량 감소

QLoRA: 양자화된 기본 모델과 저랭크 어댑터 사용

페이징 최적화기(Paging Optimizer): 메모리 스파이크 방지

이중 양자화(Double Quantization): 메모리 효율 향상

NF4 (Normal Float): 정규 분포에 최적화된 새로운 데이터 타입

LLaMA 모델의 미세 조정 성능 향상을 위한 최적의 하이퍼파라미터 설정

NF4 데이터 타입의 성능 비교: 기존 데이터 타입 대비 우수한 성능 확인

16비트 성능을 4비트로 재현: 메모리 효율 17배 향상

MMLU 벤치마크 결과 분석: 데이터셋에 따른 성능 차이

Guanaco 모델: Open Assistant 데이터셋을 사용한 최고 성능 달성

챗봇 평가 방법 및 Guanaco 모델 성능

챗봇 평가의 어려움: 주관성 및 잡음 많은 인간 평가

GPT-4를 이용한 챗봇 평가: 편향성 고려 및 신뢰도 향상

Guanaco 모델의 성능: Vicuna 벤치마크에서 ChatGPT 성능의 97% 달성

다양한 챗봇 모델의 상대적 성능 비교: Guanaco 모델의 우수성 확인

Guanaco 모델의 경쟁력: 작은 메모리 사용량과 높은 성능

QLoRA의 장점: 작은 메모리 사용량과 높은 성능

향후 계획: 4비트 추론 커널 개발 및 성능 향상

모델 접근성 향상 및 사용 편의성 증대