LLM 파인튜닝, 배포를 쉽고 빠르게 하는 법 (feat. QLoRa, QDoRa) — VESSL AI 안재만 대표

Build, train, and deploy models faster at scale with fully managed infrastructure, tools, and workflows.


VESSL AI

VESSL AI는 프라이빗 LLM을 쉽고 빠르게 파인튜닝하고 배포하는 방법을 제시하며, 이는 데이터 보안, 맞춤형 최적화, 그리고 비용 절감에 효과적이다.

파인튜닝, RAG, 모델 압축 및 양자화와 같은 기술을 통해 GPT-4 수준의 성능을 저렴하게 달성할 수 있으며, 데이터 품질과 프롬프트 엔지니어링이 중요하다.

VESSL AI 플랫폼은 이러한 기술들을 활용하여 AI 모델 개발 및 운영을 자동화하고, 다양한 오픈 소스 모델과 GPU 리소스를 제공하여 기업들이 자체 LLM을 구축하고 관리할 수 있도록 지원한다.

VESSL AI의 안재만 대표는 **쉽고 빠르게 커스텀 LLM을 파인튜닝하고 배포하는 방법**에 대해 소개합니다. 이번 발표는 LLM 옵스 플랫폼인 VESSL AI를 활용하여 LLM 학습 및 운영을 간소화하는 데 중점을 둡니다.

🤔 프라이빗 LLM을 만들어야 하는 이유

프라이빗 LLM을 만드는 주된 이유는 세 가지입니다. **프라이버시, 컨트롤, 그리고 비용**입니다. 특히 데이터 보안을 위해 내부 정보를 활용한 봇을 구성할 때 퍼블릭 LLM 사용의 어려움을 해결할 수 있습니다.

프라이빗 LLM은 회사에 맞춰 파인튜닝 및 최적화가 가능하며, **일반적인 Chat GPT 사용 대비 50~100배 이상 저렴하게 운영**할 수 있다는 장점이 있습니다.

🧠 LLM을 똑똑하게 만드는 방법: 파인튜닝, RAG, 경량화

LLM을 더 똑똑하게 만드는 방법에는 **파인튜닝을 통해 데이터를 추가 학습시키는 것, RAG 기술을 통해 참고 자료를 제공하는 것, 그리고 모델 사이즈를 줄여 운영 효율성을 높이는 것**이 있습니다.

⚙️ 파인튜닝 핵심 기술: LoRA와 QLoRA

파인튜닝은 이미 공개된 모델에 추가 데이터를 주입하여 학습시키는 과정입니다. **LoRA와 QLoRA 같은 파라미터 효율적인 파인튜닝(PEFT) 기술**을 사용하여 LLM 모델의 일부 웨이트만 학습시키는 방식이 주로 사용됩니다.

최근에는 **DoRA 기술**을 통해 어댑터 레이어를 줄이면서도 좋은 학습 결과를 얻을 수 있습니다. 이러한 기술들은 언슬로(Unsloth)와 같은 라이브러리를 통해 GPU 메모리를 절약하며 더 빠르게 학습할 수 있도록 지원합니다.

실제 형사 재판 기록 데이터를 사용하여 파인튜닝을 진행한 결과, **책 6~7권 분량의 데이터만으로 GPT-4보다 더 좋은 성능**을 보였습니다. 특히 JSON 형태로의 답변을 더 잘 생성하도록 개선되었습니다.

파인튜닝 시 **데이터 품질이 매우 중요**하며, 목적에 맞는 프롬프트를 사용하여 데이터를 가공하면 100달러 이내의 비용으로 GPT-4 레벨의 성능을 얻을 수 있습니다.

📚 RAG (Retrieval-Augmented Generation) 기술 소개

RAG는 **벡터 DB에 저장된 데이터를 LLM이 참조하여 답변을 생성**하는 기술입니다. 답변의 출처가 중요한 금융, 법률 분야에서 널리 사용됩니다.

RAG를 통해 학습 비용을 절감하고, 답변의 신뢰도를 높이며, 할루시네이션을 줄일 수 있습니다. 하지만 **문서의 적절한 사이즈, 텍스트 형식의 다양성 등의 문제**로 인해 단순히 문서를 넣는 것만으로는 효과를 보기 어렵습니다.

최근에는 **모듈러 RAG** 기술이 주목받고 있으며, 이는 검색, 리트리브, 예측 등 RAG의 컴포넌트들을 모듈별로 만들어 패턴화하는 기술입니다.

🛠️ RAG 성능 향상 기법: 하이드(HyDE)와 리랭킹(Re-ranking)

RAG 성능을 측정하는 데는 스(Ragas)와 같은 평가 툴이 사용됩니다. **하이드(HyDE)는 질문을 증강**하여 LLM이 가상의 답변을 생성한 후, 이를 바탕으로 벡터 DB에서 정보를 가져오는 방식입니다.

**리랭킹(Re-ranking)은 추천 시스템에서 많이 사용되는 기법**으로, 벡터 DB에서 가져온 정보들의 중요도를 판단하여 순서를 재배열하는 방식입니다. 랭커 LLM 모델을 사용하여 정보의 유용성을 판단합니다.

하이드와 랭크를 추가하고 파인튜닝까지 진행했을 때, **거의 80~90점 가까이 나올 정도로 매우 높은 성능**을 보였습니다. 하지만 정확도가 높아지는 만큼 레이턴시와 비용이 증가할 수 있습니다.

📉 LLM 사이즈 줄이기 & 성능 높이기

LLM 모델을 **AWQ(Activation-aware Weight Quantization)와 같은 양자화 기법**을 사용하여 압축하면 모델 사이즈를 줄일 수 있습니다. 파인튜닝 후 멀지(merge)하고 AWQ 양자화를 하는 것이 일반적인 방법입니다.

추론 시에는 **플래시 어텐션(FlashAttention)과 페이지드 어텐션(PagedAttention) 기술**을 활용하여 성능을 최적화할 수 있습니다. VLM(vLLM) 라이브러리를 통해 페이지드 어텐션 기술을 적용하면 모델 추론 속도를 훨씬 빠르게 만들 수 있습니다.

AWQ와 플래시 어텐션을 적용했을 때 **토큰 레이턴시가 5배 이상 줄어드는 효과**를 보였으며, L4 GPU 기준으로 밀리언 토큰당 0.3~0.4달러의 비용으로 운영할 수 있었습니다.

📊 파인튜닝 & RAG & 최적화: 모든 것을 다 해야 할까?

파인튜닝과 RAG, 그리고 다양한 최적화 기법들을 모두 적용하는 것이 좋지만, **각 기술의 장단점을 고려하여 트레이드오프**를 결정해야 합니다. 특히 데이터 품질 유지가 중요하며, 자동화된 파이프라인을 구축하여 지속적으로 모델 성능을 향상시키는 것이 필요합니다.

VESSL AI는 **LLM 모델 학습, 운영, 개발을 지원하는 플랫폼**입니다. 허브(Hub)를 통해 클릭 몇 번으로 LLM 모델 실행, 파인튜닝, 배포가 가능하며, 사내 데이터 연동 및 자동 학습 파이프라인을 제공합니다.

VESSL AI 플랫폼은 클러스터, 데이터셋, 모델 관리를 위한 베이스 플레인과 최신 AI 모델 실행 및 학습/배포를 위한 런(Run)과 서브(Serve) 기능을 제공합니다. 또한, **AWS 대비 70% 이상 저렴한 클라우드 GPU**를 제공하여 GPU 리소스 문제를 해결할 수 있습니다.

VESSL AI는 **수백 개의 AI 모델이 자동으로 개발되고 운영되는 인프라 구축**을 목표로 하고 있으며, 이를 위한 다양한 기능들을 제공합니다.

💡 도메인 특화 모델에 대한 질의응답

각 도메인에 특화된 모델들을 활용하여 멀티스텝 인퍼런스를 수행하는 것이 효과적입니다. **도메인별로 난리지 학습된 여러 LLM들을 엮어 답변을 합성**하는 방식이 현재 가장 유효한 방법으로 제시되었습니다.

다른 발표자들의 발표 서포트를 위한 기본 개념 브리핑

커스텀 LM 파인 튜닝 및 배포 방법 설명

4월 메로스 나우 발표 내용과의 중복 가능성 언급

프라이빗 LLM 제작 이유: 비용, 제어, 개인 정보 보호

개인 정보 보호 문제: ChatGPT의 내부 정보 사용 어려움

회사 맞춤 LLM 최적화를 위한 프라이빗 LLM 사용

비용 절감: 프라이빗 LLM이 챗GPT보다 50~100배 저렴

파인튜닝: 추가 데이터 학습을 통한 LLM 성능 향상

추가 데이터 제공을 통한 답변 질 향상

운영 효율 향상: 사이즈 감소 및 성능 향상

베이스 모델과 1000만 토큰 데이터를 사용한 테스트 결과

파라미터 효율적 파인튜닝(PFT) 기술 소개

실제 파인튜닝 결과: GPT-4보다 우수한 성능

레거시 사용 이유: 정보 출처 명확화 및 할루시네이션 방지

레거시 과정에서의 고려 사항: 문서 분할, 벡터화, 프리프로세싱

레거시 기술 발전 동향: 나이브 레거시, 어드밴스드 레거시, 모듈러 레거시

레거시 성능 평가 도구 및 라이브러리 소개

모델 압축 및 최적화 기법(AWQ, 플래시 어텐션, 페이지 어텐션)

최적화 기법 적용 결과: 5배 이상의 성능 향상

최종 결론: 프라이빗 LLM을 통한 고성능 및 저렴한 운영

LLM 파인튜닝, 배포를 쉽고 빠르게 하는 법 (feat. QLoRa, QDoRa) — VESSL AI 안재만 대표

LLM 파인튜닝, 배포를 쉽고 빠르게 하는 법 (feat. QLoRa, QDoRa) — VESSL AI 안재만 대표

스크립트