Workshop on Retrieval-Augmented Generation (RAG) Systems

RAG 시스템을 사용하면 모델이 내부 메모리에만 의존하지 않고 관련 문서를 검색하여 응답을 향상시킬 수 있습니다.

### RAG 시스템 이해하기: 워크샵 개요 및 회사 인사이트
* 👋 노트북을 사용해 **검색 증강 세대(RAG) 시스템의 작동 방식**을 살펴보는 워크샵에 참석해 주셔서 감사합니다.
* 📚 RAG는 검색 증강 세대의 약자로, 모델이 기억에만 의존하지 않고 **검색된 문서를 기반**으로 질문에 답할 수 있도록 합니다.
* 🔗 언어 시스템을 벡터 데이터베이스, 특히 크로마에 연결하기 위한 라마 인덱스와 함께 로컬 LLM을 실행하기 위해 **AMA 프레임워크**를 활용할 것입니다.
* 🏢 Maria는 약 50명의 직원이 근무하고 있으며 **6년 전 설립 이래 200개 이상의 AI 및 데이터 관련 프로젝트**를 완료한 데이터 컨설팅 회사인 Visum을 소개했습니다.
* 🌍 Visum은 **스위스에서 두 번째로 빠르게 성장하는 회사**로 인정받고 있으며, 많은 직원이 **AI 및 데이터 과학 학위를 보유한 세계적 수준의 인재들**로 구성된 팀을 자랑하고 있습니다.
* 📈 엔지니어링 팀은 지속적인 학습을 강조하며, **직원 한 명당 연간 약 60시간을 교육에 투자**하고 **엔지니어의 77%가 다양한 AI 아키텍처에 대한 자격증**을 보유하고 있습니다.
* 🔍 워크숍에서는 필요한 도구를 설치하는 방법을 안내하고 **문서 수집 및 벡터 저장 등 RAG 시스템을 직접 체험**해 볼 수 있습니다.
* 💻 이 세션에서는 **라마 모델과 크로마 데이터베이스를 설정하는 실용적인 단계**를 다루며, 세션 중에 **로컬에서 RAG 시스템을 실험**해 볼 수 있습니다.

### RAG 시스템 구축하기: 문서 메타데이터 통합 및 모델 임베딩하기
* 📄 문서의 초기 페이지에는 **이미지와 작성자 세부 정보**가 포함되어 있으며, 이후 페이지에는 **분석을 위한 필수 텍스트**가 제공됩니다.
* 🔍 메타데이터는 **파일 이름 및 페이지 경로**와 같은 정보를 포함하여 모델이 문서의 컨텍스트를 이해하는 데 도움이 되는 중요한 역할을 합니다.
* 📊 텍스트 템플릿은 모델이 문서를 인식하는 방식을 정의하여 **메타데이터와 콘텐츠를 모두 효과적으로 추출**하고 활용할 수 있도록 합니다.
* 📥 PDF를 처리하기 위해 라마 인덱스는 **문서를 읽고 텍스트를 추출**하여 벡터 데이터베이스에서 인덱싱할 수 있도록 준비합니다.
* 🔗 임베딩 모델은 **텍스트를 벡터로 변환**하여 의미적 유사성에 기반한 효율적인 정보 검색을 가능하게 합니다.
* 📈 임베딩 모델을 평가하려면 **정보 검색 및 질문 답변**과 같은 다양한 작업의 성능을 기준으로 모델 순위를 매기는 리더보드를 참조할 수 있습니다.
* 🔄 시스템은 제공된 쿼리를 기반으로 벡터 데이터베이스에서 **가장 유사한 상위 3개 노드**를 검색하여 관련 정보에 액세스할 수 있도록 합니다.
* 🛠 프롬프트와 템플릿을 수정하면 **모델의 응답을 개선**하여 특정 애플리케이션이나 원하는 동작에 맞게 사용자 지정할 수 있습니다.

Building a RAG System Locally with Ollama, LlamaIndex, and Chroma DB (Visium x LauzHack)

LauzHack

AMA, 라마 인덱스, 크로마를 사용하여 RAG 시스템의 작동 방식을 소개하는 워크샵입니다.

로컬 LLM에는 AMA를, 언어 모델을 벡터 데이터베이스에 연결하기 위해 Llama Index를, 벡터 데이터베이스로는 Chroma를 활용합니다.

RAG(검색 증강 세대)는 기억에만 의존하는 것과 달리 모델이 문서를 검색하여 질문에 답하는 방식이라고 설명합니다.

워크샵에서는 시스템 구성 요소의 설치 및 기능을 다룹니다.

마리아를 소개하며 회사 Visum을 소개합니다.

발표자에 대한 간략한 소개: Victor(주니어 ML 엔지니어)와 Maria(인재 확보).

Visum은 약 50명의 직원과 국제적인 팀, 200개 이상의 AI/데이터 계약을 보유한 데이터 컨설턴트 회사입니다.

회사 개요에는 고객 기반, 성장률 및 파트너십이 포함됩니다.

세계적 수준의 인재, 지속적인 학습, 다양한 업계 전문성에 중점을 둡니다.

전략, 엔지니어링, 데이터 과학을 아우르는 고객 데이터 여정에 대한 Visum의 접근 방식입니다.

RAG에 대한 자세한 설명: 언어 모델을 사용하여 답변을 생성하기 위해 데이터베이스에서 정보를 검색합니다.

이 프로세스에는 데이터 수집, 청킹, 임베딩 모델을 사용한 임베딩, 벡터 저장소(Chroma)에의 저장 등이 포함됩니다.

벡터 저장소는 텍스트를 의미를 나타내는 벡터로 변환하여 효율적인 검색을 가능하게 합니다.

검색된 청크는 언어 모델에 대한 컨텍스트를 형성한 다음 질문에 대한 답을 제공합니다.

Llama Index는 전체 RAG 프로세스를 조율하여 벡터 저장소와 언어 모델 간의 연결을 간소화합니다.

임베딩 모델과 LLM에서 트랜스포머를 사용하는 방법과 컨텍스트 처리를 위한 다양한 방법에 대해 논의합니다.

워크샵 실습: RAG 시스템 설정하기

Llama 설정, 모델 다운로드(시간 제약으로 인해 모델이 더 작을 수 있음).

미리 채워진 연습 문제가 있는 Jupyter 노트북을 사용하여 설정 과정을 안내합니다.

라마를 다운로드하고 환경을 설정합니다.

벡터 데이터베이스(Chroma DB) 설정, 인메모리 및 영구 저장소 중에서 선택.

라마 인덱스를 크로마 DB 벡터 데이터베이스에 연결합니다.

현지 언어 모델과 그 적용에 대한 개요.

허깅 페이스에서 임베딩 모델 다운로드하기.

라마 인덱스의 간단한 디렉토리 리더를 사용하여 문서(이 경우 PDF)를 로드합니다.

벡터 데이터베이스에 데이터를 저장하고 임베딩 모델을 사용하여 데이터를 검색하기 위해 라마 인덱스에 인덱스를 생성합니다.

주어진 애플리케이션에 가장 적합한 임베딩 모델을 선택하고 평가를 위해 리더보드를 사용하는 방법에 대해 논의합니다.

문서 및 스토리지 컨텍스트에서 인덱스를 생성하고, Chroma 데이터베이스에 연결하고, 임베딩 모델을 지정합니다.

문장 길이가 임베드에 미치는 영향과 전체 페이지를 임베드하는 기본 동작에 대해 논의합니다.

색인에서 검색기를 사용하여 데이터를 검색하고 검색할 유사 노드 수를 지정합니다.

검색된 노드는 언어 모델이 질문에 답할 수 있는 컨텍스트를 만드는 데 사용됩니다.

리트리버를 언어 모델에 연결하기 위해 라마 인덱스를 사용하여 쿼리 엔진 만들기(라마 3).

시스템 성능을 개선하기 위해 쿼리, 프롬프트 및 컨텍스트를 수정하는 방법에 대해 논의합니다.

메타데이터 및 문장 분할을 포함한 임베더 및 언어 모델 입력 수정에 대한 설명입니다.

발표자 및 Visum과 라마 인덱스 대표의 마무리 발언과 Q&A 세션.

팀원들과 상호작용하고 제공된 코드를 살펴볼 수 있는 초대장입니다.

마지막으로 대역폭 문제에 대한 감사와 인식을 표합니다.