Understanding RAG: Concepts, Applications, and Challenges

RAG는 동적 외부 지식을 LLM과 통합하여 사용자의 의도에 대한 이해를 높이고 정확도를 향상시킵니다.

### RAG 살펴보기: 수준 및 응용 프로그램 이해하기
* 👋 안녕하세요, 올거나이즈 대표 이창수입니다. 오늘은 **RAG에 대해 깊이 있는 세션**을 진행하겠습니다.
* 🤔 RAG에 대한 개념을 알고 있는 분들이 **절반 정도** 되며, 직접 만들어보거나 평가해본 분들은 **1명 정도**입니다.
* 📚 RAG는 검색 증강 생성의 기초적인 내용을 포함하며, 오늘은 **에이전트 RAG에 대해 중점적으로 설명**할 것입니다.
* 🔍 LLM이 모든 것을 알 수는 없기 때문에, **LLM이 모르는 내용을 외부 데이터나 API를 통해 동적으로 전달하는 기술**이 필요합니다.
* 📝 세 가지 단계로 나누어 설명할 예정이며, 첫 번째는 **나이브 RAG로, 대부분의 사람들이 알고 있는 기본적인 개념**입니다.
* ⚙ ️ 나이브 RAG는 **쿼리를 벡터로 변환**하고 문서를 청킹하여 가장 관련 있는 답변을 추출하는 방식으로 작동하지만, 상용에서는 **성능이 떨어질 수 있습니다.**
* 🔄 두 번째 단계인 어밴스드 RAG는 리트리버와 LLM 간의 상호작용을 개선하여 정확도를 높이는 방법을 탐구하며, **포스트 리트리버 기술을 통해 실시간으로 오류를 수정하는 방법**도 논의됩니다.
* 📈 마지막으로, RAG와 LLM 파인튜닝의 필요성을 상황에 따라 구분하여 설명하며, **금융 및 공공기관과 같은 특정 도메인에서는 두 가지 모두 필요**할 수 있음을 강조합니다.

### 제너레이티브 AI: 비즈니스 애플리케이션의 단계 및 구현
* 🤖 생성형 AI는 크게 세 단계로 나눌 수 있는데, 사용자가 작은 문서 세트를 기반으로 질문하는 기본적인 인사 문서 조회부터 시작하여 **나이브 베이즈 구현으로 약 80%의 정확도**를 달성합니다.
* 📄 특히 금융 및 공공 정책과 같은 분야에서 복잡성이 증가함에 따라 문서 수가 수백, 수천 개로 늘어날 수 있으므로 **고급 백 또는 에이전트 백 방법**과 같은 나이브 베이즈보다 더 고급 기술이 필요합니다.
* 📊 마지막 단계에서는 **50,000개의 문서와 같은 방대한 양의 데이터**를 처리해야 하는데, 기존 방식으로는 어려움을 겪기 때문에 자연어 쿼리를 SQL로 변환하여 데이터베이스에서 데이터를 검색하는 에이전트 기반 시스템을 사용해야 합니다.
* 🔍 검색 증강 세대(RAG)의 개념은 문서 검색뿐만 아니라 **내부 및 외부 데이터 소스의 통합**을 통해 사용자 문의에 정확한 답변을 제공하는 것을 포함합니다.
* 🔄 사용자는 여러 번의 상호작용을 통해 질문을 구체화하는 경우가 많기 때문에 **진화하는 쿼리에 따라 관련 정보를 조정**하고 제공할 수 있는 에이전트 기반 RAG 시스템의 필요성이 강조되고 있습니다.
* 📈 AI 에이전트를 구현하려면 **웹 검색 및 내부 문서 조회**와 같은 작업을 계획하고 실행하여 사용자 정의 목표를 효과적으로 달성하기 위한 여러 도구가 필요합니다.
* 💡 이러한 시스템의 데모는 **보험료 납부 옵션 계산이나 금융 데이터 검색**과 같은 복잡한 문의를 처리하는 동시에 **실시간 통화 변환**을 통합하는 기능을 보여줍니다.
* 🎤 프레젠테이션은 참석자들이 부스에서 더 자세히 살펴볼 수 있도록 초대하는 것으로 마무리되었으며, **지식 공유와 RAG 시스템 구현을 지원하겠다는 의지**를 강조했습니다.

사용자와 가장 똑똑하게 소통하는 LLM만들기 - 에이전트 기반 RAG전략 | 올거나이즈 이창수

2023년, SK의 AI 기술은 어떤 미래를 그리고 있을까요?
최고의 기술 기업과 전문가들이 경험과 노하우를 나누는 자리에 여러분을 초대합니다.


SK TECH SUMMIT

이창수 대표의 RAG 딥 다이브 세션 시작

청중의 RAG 이해도 확인 (절반 정도 이해)

청중의 RAG 직접 경험 확인 (소수 경험)

기본 개념은 간략히 설명하고 확장된 개념 중심으로 진행

에이전트와 RAG 결합의 필요성 설명 예고

LLM의 지식 한계: 학습되지 않은 정보는 알 수 없음

LLM이 모르는 정보를 동적으로 제공하는 기술로서의 RAG 정의

외부 지식(문서, 웹, 데이터베이스 등)을 동적으로 가져와 LLM에 제공하는 과정 설명

2024년 10월 개정 법령 예시를 통한 RAG 설명

세 가지 RAG 유형 비교 (Naive, Advanced, Agent)

세 가지 유형(Naive RAG, Advanced RAG, Agent RAG)으로 설명 구분

대부분의 RAG가 Naive RAG임을 강조

Naive RAG의 성능 저하 문제점 제시 (문서 수 증가에 따른 정확도 감소)

Naive RAG의 기본 개념 및 구현 방식 설명 (임베딩, 청킹, 벡터 유사도 비교)

Naive RAG의 상용화 불가능성 지적

Advanced RAG: 상용화 문제 해결 방안

상용 RAG에서 발생하는 두 가지 주요 문제점 제시 (리트리버의 오류, 할루시네이션)

리트리버의 오류로 인한 LLM의 부정확한 답변 문제 설명

할루시네이션 최소화를 위한 프롬프트 작성 중요성 강조

B2B 환경에서의 정확성 중요성 강조 (오류로 인한 법적 문제 발생 가능성)

리트리버 오류 해결을 위한 기존 방식의 비효율성 지적 (재학습, 데이터 수집의 어려움)

Post-retriever와 Re-ranking 기법 소개

Pre-retriever와 다양한 임베딩 기법 활용의 중요성 강조

고객사 문서 스타일에 맞춘 옵티마이징 필요성 설명

자체 LLM과 다양한 LLM 앱 제공 설명

부서별 LLM 파인튜닝 필요성과 효과적인 방법에 대한 질문 소개

RAG와 LLM 파인튜닝 필요 여부 판단 기준 설명 (외부 지식 필요성, 모델 어댑테이션 필요성)

모든 도메인에서 RAG와 파인튜닝이 필요하지 않음을 강조 (프롬프트 엔지니어링으로 해결 가능한 경우)

금융/공공기관 등 특수 도메인에서는 RAG와 LLM 파인튜닝 모두 필요할 수 있음을 설명

Generative AI 활용 단계 및 Agent RAG 소개

Generative AI 활용 단계를 세 단계로 구분 (Naive, Advanced, Agent)

첫 번째 단계: 소량의 문서를 이용한 Naive RAG 활용 (HR 문서 예시)

두 번째 단계: 대량의 문서와 다양한 폴더를 이용한 Advanced RAG 또는 Agent RAG 활용

세 번째 단계: 5만 개 이상의 문서를 이용한 Agent RAG 활용

데이터베이스 연동을 통한 정보 검색 (SQL 쿼리 변환)

사용자의 반복적인 질문 수정에 대한 Agent RAG의 필요성 설명

Naive 및 Advanced RAG의 단방향(One-way) 인터랙션 한계 지적

다양한 소스(문서, 데이터베이스, API) 활용에 대한 요구 증가 설명

복잡한 질문에 대한 Agent RAG의 필요성 강조 (골프 보험 예시)

다양한 보험 종류와 문서의 차이점을 설명하며 Agent RAG의 중요성 강조

AI Agent의 정의 및 작동 방식 설명 (목표 설정, 플래닝, 실행, 결과 평가)

기업용 LLM 플랫폼 회사 소개 (모델, RAG, LLM 앱 제공)

글로벌 고객사 현황 소개 (300개 이상)

데모 영상 소개 (두 가지 섹션: 단일 소스, 다양한 소스 활용)

단일 소스 데모: 분납 방법 질문에 대한 답변 (보험 종류를 알아야 정확한 답변 가능)

다양한 소스 데모: 대출금 현황 질문과 환율 변환 (웹 검색 연동)