퍼쿨 아가왈이 의미론적 유사성 검색을 위해 벡터 임베딩을 활용하여 Atlas Vector Search를 사용하여 AI 기반 애플리케이션을 구축하는 방법을 시연합니다.

### 벡터 검색 및 임베딩으로 AI 기반 애플리케이션 구축하기
* 🔍 이 텍스트에서는 **벡터 임베딩과 벡터 검색**의 개념을 소개하고, 이를 사용하여 **유사하거나 관련성 있는 정보를 구성**하고 검색하는 방법을 설명합니다.
* 📦 데이터에서 의미론적 유사성 검색을 수행하고 대규모 언어 모델(LLM)과 통합하여 AI 기반 애플리케이션을 구축하기 위해 **MongoDB Atlas Vector Search**를 사용하는 방법에 대해 설명합니다.
* 🎬 벡터 검색, 머신 럽 모델 및 다양한 API를 사용하여 **영화에 대한 시맨틱 검색 기능**과 질문 답변 앱을 개발하는 과정을 안내합니다.
* 💡 동영상 플롯을 위한 **벡터 임베딩**을 생성하고 **MongoDB에서 벡터 검색 인덱스**를 구현하는 방법을 시연합니다.
* 🌐 또한 대규모 언어 모델(LLM)의 한계를 살펴보고 이러한 한계를 해결하기 위해 **벡터 검색을 사용하는 검색 증강 생성(RAG) 아키텍처**를 소개합니다.
* 🚀 RAG가 벡터 검색을 활용하여 관련 문서를 검색하고 AI 애플리케이션에서 **LLM의 응답의 정확성과 정보성**을 향상시키는 방법을 설명합니다.

### Atlas 벡터 검색, RAG 아키텍처, OpenAI로 질문-답변 앱 구축하기
* 🔍 이 자습서에서는 사용자 지정 데이터와 개방형 AI 기술을 사용하여 질문 답변 애플리케이션을 구축하기 위해 **RAG 아키텍처와 Atlas Vector Search**를 사용하는 방법을 보여 줍니다.
* 🤖 복잡한 쿼리를 효율적으로 처리 및 답변하고, **임베딩을 생성**하고, **벡터 검색 인덱스**를 활용하기 위한 **고급 AI와 데이터베이스 기술의 통합**에 대해 설명합니다.
* 📚 이 프로젝트에는 **사용자 지정 데이터에 대한 임베딩 생성, 벡터 검색 인덱스 설정, 임베딩을 사용하기 위한 API 경로 업데이트, 사용자 지정 문서에서 정보를 검색하는 채팅 GPT 유형 애플리케이션 구축**이 포함됩니다.
* 🌐 이 튜토리얼은 **벡터 검색을 구현**하고 **AI 모델을 활용**하여 사용자 지정 데이터와 상호 작용하고 정보를 검색하기 위한 단계별 지침과 코드 예제를 제공합니다.

Vector Search RAG Tutorial – Combine Your Data with LLMs with Advanced Search

freeCodeCamp.org

GPT-4에서 벡터 검색 및 임베딩 사용

이 과정에서는 벡터 검색과 임베딩을 사용해 데이터를 GPT-4와 통합하는 방법을 알려드립니다.

프로젝트에는 영화에 대한 시맨틱 검색 구축, 질문 답변 앱 만들기, 채팅 GPT 클론 수정이 포함됩니다.

의미론적 유사성 검색을 수행하는 데 사용되는 MongoDB의 Atlas Vector Search는 AI 기반 애플리케이션을 위한 LLM과 통합할 수 있습니다.

이 과정에서는 데이터와 임베딩을 저장하기 위해 MongoDB Atlas 계정을 생성하고 배포하는 과정을 보여드립니다.

동영상 데이터에 대한 몽고DB 설정 및 얼굴 추론 API 포옹하기

로컬 환경을 설정하고 샘플 동영상 데이터를 몽고DB 클러스터 제로에 로드했습니다.

그런 다음 pymongo 패키지를 사용하여 데이터베이스에 연결하고 연결 테스트를 성공적으로 마쳤습니다.

다음으로 인증 토큰을 준비하고, API와 SDK를 통해 머신러닝 모델을 쉽게 사용할 수 있는 Hugging Face Inference API를 사용하여 임베딩을 생성하는 기능을 준비했습니다.

허깅 페이스 API를 사용하여 텍스트 데이터에 대한 벡터 임베딩 생성하기

이 함수는 텍스트 문자열을 입력으로 받아 텍스트의 임베딩을 나타내는 부동 소수점 숫자 목록을 출력으로 반환합니다.

임베딩은 허깅 페이스 트랜스포머 모델을 사용하여 생성되며 의도에 따라 유사성 검색에 사용할 수 있습니다.

이 과정은 영화 문서의 플롯 필드에 있는 데이터에 대한 벡터 임베딩을 생성하고, 데이터베이스에 저장한 다음, MongoDB Atlas에서 벡터 검색 인덱스를 생성하는 과정을 포함합니다.

몽고DB에서 벡터 필드 색인 및 검색하기

이 프로세스에는 색인할 필드를 정의하고, 벡터의 차원을 지정하고, 검색을 위한 유사성 메트릭을 선택하는 작업이 포함됩니다.

KNN 벡터 유형은 필드를 K개의 가장 가까운 이웃 벡터 유형으로 표시하는 데 사용되어 효율적인 유사도 검색을 가능하게 합니다.

이 코드는 벡터 검색 집계 파이프라인 단계를 사용하여 MongoDB 컬렉션에서 벡터 검색을 수행하여 제공된 쿼리를 기반으로 상위 4개의 일치 항목으로 결과를 제한합니다.

시맨틱 검색을 위한 OpenAI 임베딩 사용

이 프로세스에는 OpenAI 임베딩 API를 사용하여 검색 인덱스를 생성하고, 임베딩 생성에 OpenAI API를 사용하도록 코드를 업데이트하고, 자연어 쿼리를 기반으로 관련 결과를 찾기 위해 시맨틱 검색 애플리케이션을 실행하는 것이 포함됩니다.

OpenAI의 검색 증강 생성(RAG) 아키텍처는 벡터 검색을 사용해 관련 문서를 검색하고 컨텍스트를 제공하며, 환상을 최소화하고, 최신 정보를 통합하고, 보다 개인화된 응답을 위해 외부 데이터베이스에 액세스할 수 있도록 함으로써 대규모 언어 모델(LLM)의 한계를 해결합니다.

또한 RAG는 토큰 한도를 늘리지 않고도 LLM의 토큰 사용량을 더 효율적으로 만듭니다.

RAG 아키텍처로 질문 답변 앱 구축하기

이 튜토리얼은 질문-답변 애플리케이션을 구축하기 위해 Atlas Vector Search와 함께 RAG 아키텍처를 사용하는 방법을 보여줍니다.

LANG Chain 프레임워크는 구성 요소를 연결하기 위한 표준 인터페이스를 제공하여 LLM 애플리케이션 생성을 간소화합니다.

머신 러닝 애플리케이션을 위한 웹 인터페이스를 구축하는 데는 오픈 소스 Python 라이브러리인 Grideo가 사용됩니다.

애플리케이션을 개발하려면 OpenAI 계정이 필요하며, 개발을 위해 LANG Chain, PyMongo, OpenAI, Grideo와 같은 다양한 패키지를 사용해야 합니다.

이 프로세스에는 문서를 로드하고 텍스트와 벡터 임베딩을 MongoDB 컬렉션으로 수집한 다음, Atlas Vector Search와 OpenAI를 사용하여 질문 답변을 수행하기 위한 사용자 인터페이스를 생성하는 과정이 포함됩니다.

정보 검색을 위한 개방형 AI 임베딩 및 MongoDB 사용

이 코드는 데이터를 로드하고 텍스트 문서에서 임베딩을 생성하여 MongoDB 컬렉션에 저장합니다.

그런 다음, 임베딩을 기반으로 유사성 검색을 위한 Atlas 검색 인덱스를 생성합니다.

이 스크립트는 강력한 정보 검색을 위한 AI 언어 모델과 MongoDB 기술의 통합을 보여줍니다.

Atlas 벡터 검색 및 OpenAI로 질문 답변 앱 구축하기

이 튜토리얼에서는 Atlas 벡터 검색을 사용하여 기본 쿼리 결과와 OpenAI의 LLM과 연결하여 고급 결과를 얻는 방법을 보여드립니다.

벡터 데이터베이스와 RAG 아키텍처의 결합은 특히 자연어 처리에서 AI의 중요한 발전으로 강조되고 있습니다.

이 튜토리얼에서는 무료 코드 캠프 문서를 활용하는 ChatGPT 애플리케이션도 소개하여 사용자 지정 정보에 액세스하고 애플리케이션을 테스트하는 과정을 안내합니다.

무료 코드 캠프 문서를 채팅 앱에 임베드하기

이 프로젝트는 무료 코드 캠프 문서에 대한 임베딩을 생성하고 이를 MongoDB Atlas 컬렉션에 저장하는 작업을 포함합니다.

임베딩은 OpenAI 임베딩 클래스와 재귀적 문자 텍스트 스플리터를 사용하여 생성된 다음 임베딩에 대한 벡터 검색 인덱스가 구축됩니다.

마지막으로, 이러한 임베딩을 사용하여 채팅 앱에서 Free Code Camp 문서와 상호 작용하도록 API 경로가 업데이트됩니다.

Chat 오픈 AI에서 벡터 검색 구현하기

이 코드는 벡터 검색을 위한 새로운 경로를 구현하여 MongoDB에 연결하고 Atlas 벡터 검색 레인 체인 방법을 사용하여 사용자 질문에 대한 벡터 임베딩을 생성하고 비교합니다.

채팅 경로가 벡터 검색 경로를 사용하도록 업데이트되어 벡터 검색 결과를 가져오고 이를 사용하여 AI가 응답할 템플릿을 만듭니다.

그런 다음 GPT 모델을 사용하여 메시지와 업데이트된 템플릿을 처리하여 Open AI GPT 모듈과 실시간 상호 작용을 제공합니다.