Fine-Tuning Large Language Models: Concepts and Applications

김태영은 성능 향상과 맞춤형 애플리케이션을 위해 대규모 언어 모델을 미세 조정하는 것이 중요하다고 강조합니다.

### 대규모 언어 모델에서 미세 조정 및 레거시 살펴보기
* 👋 안녕하세요, 저는 인공지능 팩토리의 김태영입니다. 오늘은 **거대 학습 모델의 파인 튜닝과 레거시 시스템**에 대해 이야기하겠습니다.
* 💻 "오늘 전달하고자 하는 메시지는 **데이터 구축부터 아키텍처 구축, 모델 평가까지의 파이프라인**을 설명하는 것입니다."
* 🔍 많은 기업들이 챗GPT와 같은 도구를 활용하여 업무 생산성을 높이고자 하며, 이 과정에서 **사용자 맞춤형 서비스의 필요성**이 대두되고 있습니다.
* 📊 이러한 요구를 충족시키기 위해 **로컬 LM(로컬 언어 모델)**과 같은 오픈 소스 기반의 접근 방식이 많이 활용되고 있습니다.
* 📚 오늘의 주제는 **파인 튜닝, 컨텍스트 러닝, 프롬프트 엔지니어링 등 다양한 개념**을 포함하고 있습니다.
* ⚙ ️ 지도 학습과 비지도 학습의 차이를 이해하고, **파인 튜닝을 통해 성능을 개선하는 방법**을 살펴보겠습니다.
* 💡 특히, **레트리버 검색(RAG) 기법**을 통해 검색 결과를 활용하여 보다 정확한 정보를 제공하는 방법에 대해 논의할 예정입니다.
* 📈 마지막으로, 임베딩 모델을 통해 **유사한 문장을 벡터화하고 검색하는 과정**의 중요성을 강조하겠습니다.

### AI 시스템에서 벡터 저장소와 함수 호출 이해하기
* 📦 벡터 스토어는 **숫자 임베딩을 위한 저장 시스템**으로, 원본 문장을 유지하여 효율적인 데이터 검색을 가능하게 합니다.
* 🏠 예를 들어, 이사를 할 때 **주방이나 욕실 용품과 같이 라벨이 붙은 상자**에 물건을 정리해두면 나중에 쉽게 식별할 수 있습니다.
* 🍜 사용자가 라면 조리를 요청하면 시스템은 저장된 임베딩과 요청의 유사성을 기반으로 **관련 '주방' 상자**를 검색합니다.
* 🔍 청킹의 개념은 데이터를 관리 가능한 단위로 검색하고 임베딩을 비교하여 **가장 관련성이 높은 정보**를 찾는 데 매우 중요합니다.
* ⚙ 함수 호출을 사용하면 AI 모델이 외부 도구를 활용할 수 있으므로 **이미지를 생성하거나 사용자 프롬프트에 따라 코드를 실행**하는 등 보다 역동적인 상호 작용이 가능합니다.
* 🌐 예를 들어, LLM 모델을 사용하여 이미지를 생성하는 경우 **이미지 생성 모델에서 처리하는 프롬프트**를 생성하여 AI 시스템의 협업 기능을 보여줄 수 있습니다.
* 📊 벡터 저장소의 속도와 효율성은 데이터 쿼리 시 응답 시간에 직접적인 영향을 미치기 때문에 **대규모 데이터 세트에 최적화된 아키텍처**가 필요합니다.
* 🔧 마지막으로, 특정 도메인에 맞게 모델을 미세 조정하는 것은 **AI가 관련 용어와 문맥을 효과적으로 이해**하고 활용할 수 있도록 하기 위해 필수적입니다.

### 한국어 모델의 성능 향상 및 튜닝 기법
* 📊 한국어 성능이 뛰어난 언어 모델을 선택하는 것이 중요하며, 문서와 답변이 모두 한글로 이루어지기 때문에 **한국어에 최적화된 모델**이 필요합니다.
* 🔄 프로젝트 진행 중 모델이 지속적으로 갱신되며, **"프로젝트 시작 시 후보군에 있었던 모델이 프로젝트 종료 시점에 다 바뀌는 경우"**가 많습니다.
* 🛠 ️ 파인 튜닝을 통해 사전 학습된 모델을 특정 태스크에 맞게 조정할 수 있으며, 이를 위해 **별도의 데이터셋 구축**이 필요합니다.
* 📝 인스트럭션 튜닝을 통해 다양한 태스크를 수행하는 모델을 만들 수 있으며, 이는 **사전 학습 모델에 지시를 추가**하여 다양한 작업을 수행하게 합니다.
* ⚙ ️ **인컨텍스트 러닝을 통해 튜닝 없이도 효과적인 결과**를 얻을 수 있으며, 필요 시 **튜닝을 진행**할 수 있습니다.
* 📉 평가 및 검증 과정에서 LLM의 성능을 정량적으로 측정하는 다양한 메트릭이 존재하며, 이들 메트릭은 **모델의 특성에 맞춰 설계**되어야 합니다.
* 📚 레그 성능을 고려할 때 **벡터 스토어와 인베딩 모델의 중요성**을 인식하고, 이를 통해 최적의 결과를 도출해야 합니다.
* 🔍 최종적으로 구현된 시스템은 **효율적으로 문서를 검색**하고, 사용자 질문에 대한 **적절한 답변**을 제공할 수 있도록 설계되었습니다.

[활용 /기술영상8] 거대학습모델의 "Fine-Tuning과 RAG" / 인공지능팩토리 김태영 대표

한국초고성능컴퓨팅포럼

주제: 거대 언어 모델의 파인 튜닝과 레거시 활용

강사의 배경 및 전문성 소개 (인공지능 팩토리, 마이크로소프트 MVP)

거대 언어 모델 활용의 필요성과 과제

메시지 전달: 데이터 구축부터 평가까지 파이프라인 설명 및 시스템 구축 고려 사항

LLM의 파인 튜닝과 레거시 활용 방안 모색

사용자 니즈 증가: 챗GPT 활용, 팩트 체크, 문서 기반 답변, 업무 자동화

오픈AI GPT 활용의 한계: 온라인 기반, 보안 문제

대안: 로컬 LLM (오픈 소스 기반)

머신러닝의 개념: 데이터 학습을 통한 작업 수행 능력 향상

학습 방법: 지도 학습, 비지도 학습, 강화 학습 (과거)

현재 주요 학습 방법: 테스크 중심 학습, 파인 튜닝, 컨텍스트 러닝

지도 학습: 문제와 답 세트를 이용한 학습

비지도 학습: 대량 데이터를 이용한 학습

파인 튜닝: 사전 학습된 모델을 소량의 데이터로 추가 학습

컨텍스트 러닝: 웨이트 변경 없이 프롬프트만으로 출력 제어

프롬프트 엔지니어링 및 컨텍스트 러닝 심화

프롬프트의 중요성: LLM의 입력, 메시지 전달 수단

시스템 프롬프트: LM의 반응 방식 제어

지시와 요청: 개발자 지시 및 사용자 요청

컨텍스트 러닝 예시: 숫자 곱셈 문제

멀티모달 모델(LMM): 텍스트, 이미지 등 다양한 형태의 프롬프트 처리

대화 문맥 이해 및 레거시 개념

대화 문맥: 이전 메시지 포함하여 프롬프트 전달

레거시(RAG): 검색 엔진 또는 벡터 스토어 활용, 팩트 기반 답변 제공

리트리버(R): 검색 엔진 또는 벡터 스토어

RAG(Retrieval Augmented Generation): 검색 결과를 LLM에 입력하여 요약 및 답변 생성

로컬 LLM과 RAG의 조합: 기관 내 정보 기반 답변 제공

벡터 스토어: 벡터(수치) 및 원래 문장 저장소

임베딩: 문장 또는 단어를 벡터로 변환, 유사도 검색 가능

벡터 스토어의 역할: 유사한 정보 검색 및 제공

임베딩 모델의 특징: 다양한 수치, 유사도 계산, 다국어 지원

펑션 콜링: LLM이 외부 도구 활용, 업무 자동화

이미지 생성 흐름: 이미지 생성 모델과 LLM의 협업

인터넷 검색 기능: LLM 기반 키워드 생성 및 요약

코드 인터프리터: 자연어 기반 코드 생성 및 실행

마이크로소프트의 텍스트 매트릭스: 다양한 API 활용

도메인 특화 모델 구축: 분야별 용어 및 지식 고려

파인 튜닝 및 어댑터 모델: 다양한 태스크 수행

GPU 병렬 처리: LLM 학습 및 서빙 가속화

하드웨어 및 소프트웨어 선택: 스타트업 환경 고려

VLM(Vertical LLM): 병렬 처리 기술 (파이프 병렬, 센서 병렬)

문서 처리: 다양한 형식의 문서 처리 및 전처리

임베딩 모델 선택: 한국어 성능, 다국어 지원, 유사도 검색 기능 고려

LLM 모델 선택: 한국어 성능 및 최신 모델 고려

튜닝 기법: 사전 학습, 파인 튜닝, 인스트럭션 튜닝

평가 및 검증: LLM, 리트리버, 에이전트 등 컴포넌트별 평가