Building a RAG System Locally with Ollama, LlamaIndex, and Chroma DB (Visium x LauzHack)

LauzHack

AMA, 라마 인덱스, 크로마를 사용하여 RAG 시스템의 작동 방식을 소개하는 워크샵입니다.

로컬 LLM에는 AMA를, 언어 모델을 벡터 데이터베이스에 연결하기 위해 Llama Index를, 벡터 데이터베이스로는 Chroma를 활용합니다.

RAG(검색 증강 세대)는 기억에만 의존하는 것과 달리 모델이 문서를 검색하여 질문에 답하는 방식이라고 설명합니다.

워크샵에서는 시스템 구성 요소의 설치 및 기능을 다룹니다.

마리아를 소개하며 회사 Visum을 소개합니다.

발표자에 대한 간략한 소개: Victor(주니어 ML 엔지니어)와 Maria(인재 확보).

Visum은 약 50명의 직원과 국제적인 팀, 200개 이상의 AI/데이터 계약을 보유한 데이터 컨설턴트 회사입니다.

회사 개요에는 고객 기반, 성장률 및 파트너십이 포함됩니다.

세계적 수준의 인재, 지속적인 학습, 다양한 업계 전문성에 중점을 둡니다.

전략, 엔지니어링, 데이터 과학을 아우르는 고객 데이터 여정에 대한 Visum의 접근 방식입니다.

RAG에 대한 자세한 설명: 언어 모델을 사용하여 답변을 생성하기 위해 데이터베이스에서 정보를 검색합니다.

이 프로세스에는 데이터 수집, 청킹, 임베딩 모델을 사용한 임베딩, 벡터 저장소(Chroma)에의 저장 등이 포함됩니다.

벡터 저장소는 텍스트를 의미를 나타내는 벡터로 변환하여 효율적인 검색을 가능하게 합니다.

검색된 청크는 언어 모델에 대한 컨텍스트를 형성한 다음 질문에 대한 답을 제공합니다.

Llama Index는 전체 RAG 프로세스를 조율하여 벡터 저장소와 언어 모델 간의 연결을 간소화합니다.

임베딩 모델과 LLM에서 트랜스포머를 사용하는 방법과 컨텍스트 처리를 위한 다양한 방법에 대해 논의합니다.

워크샵 실습: RAG 시스템 설정하기

Llama 설정, 모델 다운로드(시간 제약으로 인해 모델이 더 작을 수 있음).

미리 채워진 연습 문제가 있는 Jupyter 노트북을 사용하여 설정 과정을 안내합니다.

라마를 다운로드하고 환경을 설정합니다.

벡터 데이터베이스(Chroma DB) 설정, 인메모리 및 영구 저장소 중에서 선택.

라마 인덱스를 크로마 DB 벡터 데이터베이스에 연결합니다.

현지 언어 모델과 그 적용에 대한 개요.

허깅 페이스에서 임베딩 모델 다운로드하기.

라마 인덱스의 간단한 디렉토리 리더를 사용하여 문서(이 경우 PDF)를 로드합니다.

벡터 데이터베이스에 데이터를 저장하고 임베딩 모델을 사용하여 데이터를 검색하기 위해 라마 인덱스에 인덱스를 생성합니다.

주어진 애플리케이션에 가장 적합한 임베딩 모델을 선택하고 평가를 위해 리더보드를 사용하는 방법에 대해 논의합니다.

문서 및 스토리지 컨텍스트에서 인덱스를 생성하고, Chroma 데이터베이스에 연결하고, 임베딩 모델을 지정합니다.

문장 길이가 임베드에 미치는 영향과 전체 페이지를 임베드하는 기본 동작에 대해 논의합니다.

색인에서 검색기를 사용하여 데이터를 검색하고 검색할 유사 노드 수를 지정합니다.

검색된 노드는 언어 모델이 질문에 답할 수 있는 컨텍스트를 만드는 데 사용됩니다.

리트리버를 언어 모델에 연결하기 위해 라마 인덱스를 사용하여 쿼리 엔진 만들기(라마 3).

시스템 성능을 개선하기 위해 쿼리, 프롬프트 및 컨텍스트를 수정하는 방법에 대해 논의합니다.

메타데이터 및 문장 분할을 포함한 임베더 및 언어 모델 입력 수정에 대한 설명입니다.

발표자 및 Visum과 라마 인덱스 대표의 마무리 발언과 Q&A 세션.

팀원들과 상호작용하고 제공된 코드를 살펴볼 수 있는 초대장입니다.

마지막으로 대역폭 문제에 대한 감사와 인식을 표합니다.