검색 증강 생성: 라마 인덱스 워크플로우의 개선 사항

에이전트 RAG는 복잡한 쿼리에서 추론과 출력을 개선하기 위해 AI 에이전트를 통합하여 검색 시스템을 향상시킵니다.

### 라마 인덱스 워크플로우를 사용한 검색 증강 생성(RAG) 살펴보기
* 📊 이 프레젠테이션에서는 **검색 증강 생성(RAG)에 대한 개요**와 사용자 지정 데이터를 통해 **대규모 언어 모델(LLM) 출력을 향상시키는 데 있어 그 필요성**에 대해 설명합니다.
* 🔍 RAG는 **사용자 쿼리를 벡터화**하고 데이터 말뭉치에서 검색을 수행하여 **관련 문맥 청크**를 반환함으로써 LLM의 응답 정확도를 향상시킵니다.
* ⚠ 그러나 순진한 RAG 시스템에는 특히 복잡한 쿼리와 다양한 데이터 소스에 직면했을 때 **시간 절약과 의사 결정 개선에 한계**가 있습니다.
* 🤖 이러한 문제를 해결하기 위해 에이전틱 RAG는 **AI 에이전트와 RAG 기술을 결합**하여 요약 및 보고서 생성과 같은 복잡한 질문에 대한 추론과 처리를 개선합니다.
* 🛠 쿼리 라우팅 및 쿼리 분해와 같은 기술을 사용하면 특히 **SQL 데이터베이스와 같은 소스에서 구조화된 데이터를 처리**할 때 더욱 효과적으로 데이터를 검색하고 처리할 수 있습니다.
* ☁ 새로운 프레임워크에 추가된 라마 인덱스 워크플로우는 **워크플로를 조율하기 위한 단계, 이벤트, 도구, 컨텍스트 등의 빌딩 블록**을 제공하여 AI 에이전트 개발을 용이하게 합니다.
* 🌐 Llama Cloud는 대규모 데이터 수집을 간소화하고 다양한 데이터 소스 및 임베딩 모델을 지원하여 **RAG를 향상**시키며, Llama Parse는 **복잡한 문서에서 데이터를 추출**하는 데 탁월합니다.
* 💻 데모에서는 다양한 쿼리와 애플리케이션을 위한 모든 기능을 갖춘 **쿼리 라우터를 쉽게 만들 수 있는 방법**을 보여드리며, **Llama Cloud를 사용하여 간단한 워크플로를 구현하는 방법**을 소개합니다.

Agentic RAG with LlamaIndex Workflows

Arize AI is the watcher, troubleshooter and the guardrail on deployed AI.



Arize AI

프레젠테이션 개요: RAG의 정의, 필요성, 일반적인 구현 기술 및 Llama Index 워크플로우를 포함한 RAG와 Llama Index 워크플로.

RAG 정의: 검색 증강 생성, 사용자 지정 데이터를 사용하여 LLM 출력을 향상시키는 기술입니다.

RAG 프로세스: 사용자 쿼리 벡터화, 수집된 데이터에 대한 유사 검색, 응답 생성을 위해 LLM으로 전달되는 관련 청크.

단순 RAG의 한계: 특히 다양한 데이터 원본과 복잡한 쿼리에서 환각이 지속되어 시간을 절약하고 의사 결정을 개선하는 데 한계가 있습니다.

고급 RAG의 필요성: 복잡한 사용 사례에는 다양한 소스에서 더 많은 데이터와 고급 추론이 필요하며, 종종 다중 소스 검색 및 데이터 검증이 필요합니다.

에이전트 RAG: 복잡한 입력 및 질문에 대한 추론과 출력을 개선하기 위해 AI 에이전트와 RAG 기술을 결합합니다.

쿼리 레이어가 개선되었습니다: 요약, 조사 및 여러 부분으로 구성된 질문을 처리하기 위해 LLM 추론 기능을 활용합니다.

정교한 출력: 여러 데이터 소스에서 보고서를 생성하고 양식을 채울 수 있습니다.

일반적인 에이전트 RAG 기술: 쿼리 라우팅, 쿼리 분해, 구조화된 데이터 쿼리.

에이전트 RAG 구축을 위한 라마 인덱스 워크플로

라마 인덱스 워크플로우: 단계(Python 함수), 이벤트(워크플로 오케스트레이션), 도구(검색, 대기열 등), 컨텍스트(메모리)를 갖춘 이벤트 중심의 비동기식 프레임워크입니다.

라마 배포: 도커화 및 통합 가시성을 통해 에이전트 및 워크플로를 오케스트레이션하는 프로덕션 지원 도구입니다.

라마 클라우드와 데이터 통합: 다양한 소스(S3, 파일 등)에서 대규모 데이터 수집, 임베딩 모델 공급자 및 데이터 동기화를 처리합니다.

라마 파싱: 다양한 파일 유형(100개 이상)을 지원하는 데이터 추출 도구로, 표, 차트, 이미지에 탁월합니다.

사용자 정의 기능: 다양한 청킹 전략, 하이퍼스페이스 재랭크, 멀티모달 인덱싱을 제공합니다.

라마 클라우드(베타): 데이터 소스 선택, 데이터 동기화, 임베딩 모델 및 사용자 지정 청크 설정을 위한 데이터 처리 및 인덱스 생성 워크플로우를 위한 파싱 페이지가 있습니다.

색인 기능: 메타데이터 첨부 및 직접 쿼리 기능.

노트북 예제: 간단한 텍스트-SQL 워크플로 구현을 시연합니다.

워크플로 구성요소: 검색기(SQL 데이터베이스, 라마 클라우드 인덱스), 도구(LLM 라우팅에 대한 설명 포함), 이벤트(단계 간 라우팅용) 및 단계.

확장성:  복잡한 에이전트 시스템에서 휴먼 인 더 루프 시스템을 위한 이벤트 추가.