LLM Chronicles #6.5: Build LLM Agents from Scratch: PAL, ReAct & Langchain in 1 Hour

Donato Capitella

이 에피소드에서는 LLM으로 PAL 및 React를 구현하는 방법을 다룹니다.

에이전트 및 LLM 체인을 처음부터 구축하는 방법을 알려드립니다.

주제에는 프롬프트 템플릿, 작업 추출 및 실행이 포함됩니다.

GPT-4, 라마 3, 믹스트랄을 사용한 PAL 구현이 시연됩니다.

처음부터 React 에이전트를 빌드하고 LangChain을 사용하는 방법을 다룹니다.

처음부터 PAL(프로그램 지원 언어 모델) 구현하기

PAL은 문제 해결을 위한 Python 스크립트를 생성하여 모델의 수학 문제 해결 능력을 향상시킵니다.

모델은 계산에는 능숙하지 않지만 Python 프로그램 제작에는 능숙합니다.

PAL은 생각의 연쇄 또는 직접 프롬프트에 비해 수학 문제에서 더 높은 풀이율을 보여줍니다.

프롬프트는 모델에 '결과'라는 변수에 솔루션이 포함된 Python 코드를 생성하도록 지시하는 데 사용됩니다.

도우미 함수는 생성된 파이썬 코드를 추출하여 실행하며, 사이버 보안 위험에 대한 주의가 필요합니다.

문제를 풀고, 코드를 생성하고, 실행하고, 답을 반환하는 단계를 연결하기 위해 하나의 함수가 만들어집니다.

LangChain은 단계를 서로 연결하여 LLM 체인을 쉽게 구축할 수 있습니다.

일반적인 체인에는 프롬프트 템플릿, LLM 상호 작용 및 응답 구문 분석이 포함됩니다.

LangChain의 표현 언어는 체인 생성을 간소화합니다.

LangChain을 사용하면 서로 다른 LLM(OpenAI, 코히어, 허깅 페이스 등) 간에 쉽게 전환할 수 있습니다.

다른 제공업체의 모델은 `BaseChatModel`을 확장하여 상호 교환할 수 있습니다.

프롬프트 템플릿은 입력 변수로 정의됩니다.

LangChain의 표현 언어는 체인을 생성하는 데 사용됩니다.

LangChain 체인에 스텝을 추가하려면 '실행가능' 클래스를 확장해야 합니다.

LLM을 쉽게 교체하는 방법(예: GPT-4에서 TogetherAI 또는 Grok 모델로의 교체)을 시연합니다.

LangChain의 사전 구축된 PAL 체인이 언급되었지만, 기록 당시에는 버그가 있었습니다.

리액트 에이전트는 생각-행동-관찰 루프를 사용하여 도구와 상호 작용합니다.

다양한 프롬프트 구조를 사용할 수 있으며 최신 LLM은 다양한 변형을 잘 처리합니다.

도구에는 웹 검색, 계산, '최종 정답' 도구 등이 있습니다.

기본 리액트 에이전트 체인이 생성되고, LLM이 관측을 착각하는 것을 방지하는 것이 중요하다는 점이 강조됩니다.

LLM이 관측을 생성하기 시작할 때 중지하면 환각을 방지할 수 있습니다.

액션 추출은 LLM의 출력 형식에 따라 달라지는 정규식을 사용합니다.

JSON을 사용하거나 작업과 입력을 다른 줄로 분리하면 문자열 처리가 향상됩니다.

최종 정답, 웹 검색 및 수학적 계산을 위한 도구가 구현되어 있습니다.

에이전트 실행기가 생성되어 무한 루프를 방지하기 위해 `max_iterations` 매개 변수를 사용하여 React 루프를 관리합니다.

'추적' 변수는 생각, 행동, 관찰을 추적합니다.

통화 변환과 관련된 더 복잡한 예가 나와 있습니다.

LLM 교체(예: 라마 3으로)가 시연됩니다.

작업 및 관찰에 JSON 형식을 사용하는 방법에 대해 설명합니다.

특히 클로드와 같은 모델과 관련된 프롬프트 및 작업에 XML을 사용하는 것이 표시됩니다.

LangChain은 도구에 대한 추상화(`BasicTool`, `Tool` 등)를 제공합니다.

도구는 `tool` 속성과 문서 문자열로 장식됩니다.

LangChain의 React 프롬프트는 사용자 정의 프롬프트보다 더 간결합니다.

랭체인의 리액트 에이전트가 시연됩니다.

LangChain은 XML 에이전트도 제공합니다.

에이전트를 위한 OpenAI 함수 호출

OpenAI의 함수 호출을 사용하면 도구 선택을 API로 오프로드할 수 있습니다.

도구는 이름과 매개변수로 정의됩니다.

API에 도구 호출을 요구하거나 허용하도록 지시할 수 있습니다.

API의 응답에는 실행할 함수 호출이 포함됩니다.

LangChain은 OpenAI 함수 호출 에이전트를 위한 구현을 제공합니다.

채팅 상담원은 사용자와의 대화 및 동적 상호작용을 처리합니다.

채팅 상담원은 React 루프를 시작할지 사용자와 상호작용할지 결정합니다.

LangChain의 채팅 React 에이전트는 컨텍스트에 대화 기록을 포함합니다.

상담원 스크래치 패드에 대화 내역이 저장됩니다.

채팅 상호작용의 예가 제공됩니다.

LangChain의 래퍼 객체를 사용하여 채팅 기록을 관리할 것을 권장합니다.

결론 및 다음 에피소드 미리보기

다음 에피소드에서는 논의한 빌딩 블록을 사용하여 실제 웹 애플리케이션을 구축합니다.

예를 들어 고객 서비스 상담원과 체육관 코치 상담원이 있습니다.

향후 에피소드를 보려면 채널을 구독하라는 요청이 이루어집니다.