[랭체인 Runnable이란?] RunnableSequence, RunnablePassthrough, RunnableParallel, RunnableLambda 핵심 설명

안녕하세요. 저는 파이썬을 활용한 데이터 분석 및 인공지능 서비스 개발 실무를 하고 있습니다. 관심 있는 주제를 찾아서 공부하고 그 내용들을 많은 분들과 공유하기 위해 꾸준하게 책을 집필하고 인공지능 강의를 진행해 오고 있습니다.

[이력]

현) 핀테크 스타트업 CEO
전) 데이콘 CDO
전) 인덕대학교 컴퓨터소프트웨어학과 겸임교수
Kaggle Competitin Expert, 빅데이터 분석기사


[강의]

NCS 등록강사 (인공지능)
SBA 서울경제진흥원 새싹(SeSAC) 캠퍼스 SW 교육  ‘우수 파트너 선정’ (Python을 활용한 AI 모델 개발)
금융보안원, 한국전자정보통신산업진흥회, 한국디스플레이산업협회, 대구디지털산업진흥원 등 강의
서울대, 부산대, 경희대, 한국외대 등 국내 주요 대학 및 국내 기업체 교육 경험

🎉 인프런 강의: "프로젝트로 배우는 Python 챗봇 만들기 - LangChain, Gradio 활용"   (하단 링크 참조)


[집필]

파이썬 머신러닝 판다스 데이터 분석(정보문화사) : https://zrr.kr/x1ec
파이썬 딥러닝 머신러닝 입문(정보문화사) : https://zrr.kr/RPaE
파이썬 딥러닝 텐서플로(정보문화사) : https://zrr.kr/PrVN
실무자를 위한 파이썬 Python 100제(정보문화사) : https://zrr.kr/4fyq
랭체인(LangChain) 입문부터 응용까지 (위키독스) : https://wikidocs.net/book/14473


판다스 스튜디오

이 영상은 랭체인 Runnable의 핵심 개념인 RunnableSequence, RunnablePassthrough, RunnableParallel, RunnableLambda를 설명합니다.

LCEL 문법을 사용하여 랭체인 컴포넌트들을 파이프 연산자로 연결하여 체인을 구성하고, 각 컴포넌트의 입력과 출력을 처리하는 방법을 보여줍니다.

다양한 예제 코드를 통해 각 Runnable 유형의 활용법과 랭체인 스미스를 이용한 실행 과정 추적 방법을 제시합니다.

이번 영상에서는 랭체인의 핵심 문법인 LCEL(랭체인 익스프레션 랭귀지)에 대해 알아봅니다. 랭체인 버전 0.3 업데이트와 함께 **새로운 기능들이 추가되었으며, LM 기반 애플리케이션을 만드는 데 큰 도움이 될 것**입니다.

LCEL은 여러 컴포넌트(LLM, 검색 도구, 출력 파서 등)를 파이프 연산자(|)를 사용하여 연결하여 파이프라인을 구성하는 방식으로 작동합니다. **정의된 체인 자체가 독립적인 컴포넌트가 되어 다른 체인 구성에 사용될 수 있다는 점**이 중요합니다.

랭체인의 컴포넌트들은 기본적으로 함수 형태로 구현됩니다. **각 컴포넌트는 독립적인 입력과 출력을 가지며, 인보크, 배치, 스트림 등의 함수를 통해 입출력을 처리**합니다. 특히, 비동기 구현을 위해 함수 앞에 'async'를 붙여 사용합니다.

가장 기본적인 LCEL 구조는 프롬프트와 LLM을 파이프 연산자로 결합하는 것입니다. **사용자 입력은 프롬프트를 거쳐 LLM으로 전달되고, LLM은 최종 출력을 생성하는 방식**입니다. 올라마(Ollama) 모델을 사용하여 Qwen 2.5와 DeepSeek R1 모델을 테스트합니다.

프롬프트 템플릿을 사용하여 프롬프트를 구성할 수 있습니다. **템플릿 내에 변수를 설정하여 외부에서 입력받는 데이터를 추가할 수 있으며, 런(run) 함수를 통해 실제 데이터를 전달받아 프롬프트를 완성**합니다.

출력 파서(아웃풋 파서)는 LLM 출력을 원하는 형태로 변환해 주는 도구입니다. **JSON, XML 등이 대표적이며, 문자열 부분만 추출해 주는 스트링 아웃풋 파서를 사용할 수 있습니다. 출력 형식 검증 및 예외 처리 기능을 통해 시스템 안정성을 확보**할 수 있습니다.

러너블은 랭체인에서 실행 가능한 인터페이스를 의미합니다. **모든 랭체인 컴포넌트들은 러너블 인터페이스를 구현하여 일관된 방식으로 실행되며, 파이프 연산자를 통해 서로 연결될 수 있습니다. 러너블 시퀀스, 러너블 패스 스루, 러너블 패럴, 러너블 람다 등의 유형이 존재**합니다.

➡️ 러너블 시퀀스 (RunnableSequence)

러너블 시퀀스는 파이프 연산자를 통해 컴포넌트들을 순차적으로 연결하는 구조입니다. **각 단계는 순차적으로 실행되며, 최종 결과값은 가장 마지막 컴포넌트의 결과만 반환됩니다. LLM 체인 구성, 데이터 전/후 처리 작업, 멀티스텝 API 작업 등에 사용**됩니다.

러너블 패럴은 체인 내에서 컴포넌트들을 병렬로 처리하는 기능입니다. **여러 개의 프로세스를 동시에 처리해야 할 때 유용하며, 실행 가능한 객체들을 딕셔너리 형태로 구조화하여 표현합니다. 입력값은 모든 병렬 실행 컴포넌트에 동일하게 전달**됩니다.

➡️ 러너블 패스 스루 (RunnablePassthrough)

러너블 패스 스루는 입력값을 수정하지 않고 그대로 통과시키는 컴포넌트입니다. **원본 입력값을 그대로 넘겨주거나, 러너블 패럴과 조합하여 사용할 수 있습니다. 데이터 흐름을 투명하게 만드는 데 유용**합니다.

러너블 람다는 파이썬 함수를 랭체인에서 사용할 수 있도록 러너블 객체로 변환해 주는 도구입니다. **파이썬 함수를 쉽게 랭체인 컴포넌트로 만들 수 있으며, 다른 러너블 컴포넌트와 마찬가지로 파이프 연산자를 통해 연결하여 사용**할 수 있습니다.

러너블 람다를 활용하여 데이터 전처리와 후처리 과정을 간단하게 구현할 수 있습니다. **텍스트 입력 시 소문자 변환 및 공백 제거 등의 전처리, AI 메시지에서 텍스트 추출 후 대문자 변환 및 글자 수 계산 등의 후처리**를 수행할 수 있습니다.

오픈 소스 모델을 사용할 때, 특히 한국어 데이터를 사용하는 경우, **한글 출력의 안정성이 떨어질 수 있습니다. 답변이 길어질수록 이러한 경향이 심화될 수 있으므로, 프롬프트 입력 길이와 출력 길이를 적절하게 제어**해야 합니다.

랭체인 버전 0.3 업데이트로 인한 변화와 새로운 기능 소개.

랭체인의 핵심 문법인 LCEL(랭체인 익스프레션 랭귀지)에 대한 설명.

LCEL의 기본 개념을 이해하면 복잡한 기능 구현 및 LM 기반 애플리케이션 개발에 도움이 됨.

LCEL의 컴포넌트와 파이프라인 구성

LLM, 검색 도구, 출력 파서 등 다양한 요소들을 컴포넌트라고 지칭.

파이프 연산자를 사용하여 컴포넌트들을 연결하여 파이프라인(체인)을 구성.

정의된 체인 자체도 독립적인 컴포넌트가 되어 다른 체인 구성에 사용 가능.

랭체인 컴포넌트의 함수 형태 및 입출력 처리

파이썬의 파이프 연산자를 사용하여 체인을 순차적으로 연결하는 개념 구현.

랭체인 컴포넌트는 독립적으로 입력과 출력을 처리할 수 있는 함수 형태로 구현.

컴포넌트의 입출력을 처리하는 함수 (인보크, 배치, 스트림) 및 비동기 구현 방식 소개.

기본적인 LCEL 예제: 프롬프트와 LLM 결합

랭체인 스미스를 이용한 트레이싱 설정 및 활성화.

프롬프트와 LM을 파이프 연산자로 결합하는 가장 기본적인 LCEL 구조 설명.

데이터 흐름은 프롬프트에서 시작하여 LLM으로 전달되고, LLM은 최종 출력을 생성.

사용자 입력은 프롬프트로 전달되어 최종 프롬프트를 생성하고, LLM으로 전달됨.

Ollama를 사용하여 Qwen 2.5 및 DeepSeek R1 추론 모델 테스트 예정.

Ollama 모델 다운로드 및 실행 방법 안내.

Ollama Qwen 2.5 모델과 DeepSeek R1 14B 모델을 템퍼러처 0.3으로 초기화하여 사용.

챗 Ollama를 이용하여 모델 이름과 템퍼러처를 설정하고 Qwen 모델 사용.

Qwen 모델에 "탄소의 원자 번호는 무엇인가요?" 질문을 인보크 메소드로 전달하여 응답 확인.

LM 모델의 출력은 AI 메시지 객체 형태로 이루어지며, 컨텐츠 속성에 실제 텍스트가 포함됨.

리스 메타데이터 속성을 통해 사용 모델, 실행 시간, 토큰 사용량 등의 정보 확인 가능.

프롬프트 템플릿을 사용한 프롬프트 구성

LLM에 직접 입력을 전달하는 대신 프롬프트 템플릿을 사용하여 프롬프트 구성.

프롬프트 템플릿을 사용하여 질문에 대한 답변을 생성하는 문자열 정의.

중괄호로 묶인 부분은 외부에서 입력받는 데이터가 삽입될 위치를 지정.

토픽과 퀘스천 두 가지 입력 변수를 설정하여 외부에서 정보를 입력받도록 선언.

런 함수를 사용하여 외부에서 데이터를 전달받는 구조 테스트.

프롬프트에서 사용되는 입력 변수와 최종적으로 완성된 프롬프트 확인.

프롬프트와 LLM을 연결한 체인 구성 및 실행

프롬프트와 Qwen, DeepSeek R1 모델을 파이프 연산자로 연결하여 체인 구성.

Qwen 체인과 DeepSeek R1 체인을 만들고 실행.

체인의 입력값으로 토픽과 퀘스천을 전달하여 프롬프트 완성.

완성된 프롬프트가 LLM에 전달되어 최종 출력 생성.

체인의 최종 출력은 AI 메시지 형태로 확인되며, 텍스트 부분만 출력하여 답변 확인.

Qwen 모델이 한글을 비교적 잘 이해하고 다루기 때문에 예시로 사용.

DeepSeek R1 모델 체인 구성 및 추론 과정

DeepSeek R1 모델을 체인으로 구성하고 토픽과 퀘스천 값을 프롬프트에 전달.

체인의 첫 번째 컴포넌트는 프롬프트이며, 필요한 변수들을 설정.

DeepSeek R1은 추론 모델이므로 답변 생성 전에 여러 단계를 거치며 시간이 오래 걸림.

모델이 스스로 문제를 어떻게 풀 것인지 계획을 세우는 과정을 거침 (Chain of Thought).

추론 과정을 거쳐 최종 텍스트 출력.

DeepSeek R1 모델은 한국어 성능이 뛰어나지 않으므로 사용 시 감안해야 함.

프롬프트, LLM, 출력 파서를 연결한 체인 구성

프롬프트, LLM, 그리고 출력 파서(아웃풋 파서)를 연결하는 체인 생성.

출력 파서는 LM 출력을 구조화된 형식으로 변환하는 도구.

문자열 부분만 추출하는 스트링 아웃풋 파서 사용.

출력 형식 검증 및 예외 처리를 통해 시스템 안정성을 확보하는 것이 파서의 역할.

원하는 형태로 구조화하여 유연성을 높이고, 시스템 오류를 방지.

문자 아웃풋 파서(스트링 아웃풋 파서)를 임포트하고 객체 정의.

DeepSeek 모델의 출력물을 AI 메시지로 전달하여 텍스트 컨텐츠 부분만 추출.

프롬프트와 아웃풋 파서를 순서대로 연결하여 체인 생성.

체인의 첫 번째 위치에 있는 프롬프트에 필요한 값들을 객체 형태로 정의하여 전달.

프롬프트가 완성되고 모델이 출력하면 텍스트 부분만 추출하여 최종 출력.

Qwen 모델 사용 시 한글 깨짐 현상 발생 가능성 언급.

오픈 소스 모델 사용 시 한글 출력의 안정성이 떨어지는 문제점 지적.

출력물에서 한글이 깨지거나 비정상적인 출력이 나올 경우 유효성 검증 및 필터링 필요.

체인 자체의 입력 스키마는 프롬프트 스키마와 동일.

체인의 가장 앞부분에 프롬프트가 위치하므로 프롬프트의 스키마가 체인의 입력 스키마가 됨.

러너블(Runnable) 인터페이스 소개

러너블은 랭체인에서 실행 가능한 인터페이스를 의미.

모든 랭체인 컴포넌트는 러너블 인터페이스를 구현하여 일관된 방식으로 실행됨.

프롬프트, LLM, 아웃풋 파서, 체인 등은 모두 러너블 인터페이스를 구현.

인보크, 배치, 스트림 등 다양한 실행 방식은 러너블 인터페이스를 공유.

모든 러너블 컴포넌트는 파이프 연산자를 통해 연결 가능하며 재사용 가능.

러너블 시퀀스, 러너블 패스 스루, 러너블 패럴, 러너블 람다 네 가지 주요 유형 소개.

파이프 연산자를 통해 컴포넌트를 연결하는 구조 자체가 러너블 시퀀스.

순차적인 구조로 컴포넌트를 연결하여 순차적으로 실행되도록 함.

각 단계는 순차적으로 실행되며, 마지막 컴포넌트의 결과만 반환.

주로 LLM 체인 구성, 데이터 전처리/후처리 작업, 멀티스텝 API 작업 구현에 사용.

프롬프트 템플릿, 번역 모델(Qwen 2.5), 문자열 파서를 사용하여 간단한 번역 체인 생성 예시.

텍스트를 영어로 번역하고 번역된 문장만 출력하는 프롬프트 작성.

러너블 시퀀스를 생성하는 두 가지 방법 (파이프 연산자 사용, RunnableSequence 클래스 사용) 설명.

RunnableSequence 클래스 생성 시 퍼스트, 미들, 라스트 매개변수 설정 방법 설명.

체인 구현체의 인보크 메서드를 사용하여 실행 결과를 확인.

컴포넌트들을 병렬로 처리하는 기능.

여러 개의 프로세스를 병렬로 동시에 처리해야 할 때 사용.

실행 가능한 객체들을 딕셔너리 형태로 구조화하여 표현.

모든 값들이 동시에 실행되어야 하며, 입력값은 모든 병렬 실행 컴포넌트에 동일하게 전달.

각각의 실행 결과는 원래 키와 매핑된 새로운 딕셔너리 구조 형태로 반환.

데이터 변환 파이프라인 구성 시 복잡한 병렬 처리, 각기 다른 전처리 기법 적용, 최종 출력 객체의 여러 필드 값 관리 등에 유용.

질문 분석 체인 (카테고리 분류) 및 언어 감지 체인 생성 예시.

프롬프트 템플릿을 이용하여 질문의 카테고리를 분류하는 체인 생성.

퀘스천 입력값을 전달하여 화학, 물리, 생물 중 하나의 값을 출력하도록 함.

오픈 소스 모델 사용 시 프롬프트에 있는 답변도 같이 출력되는 문제점 지적.

사용자 질문이 어떤 언어를 사용했는지 감지하는 언어 감지 체인 생성.

영어, 한국어, 스페인어 문장에 대해 언어 감지 체인 실행 결과를 확인.

러너블 패럴을 사용하여 카테고리 분류 체인과 언어 감지 체인을 병렬로 실행하고, 결과를 앤서 체인으로 전달.

앤서 체인은 병렬 처리된 결과를 받아 최종 답변을 생성.

전체적으로 러너블 시퀀스로 구현하되, 토픽과 퀘스천은 병렬로 처리하여 앤서 체인으로 전달.

최초 체인에 전달되는 데이터 딕셔너리에서 퀘스천 키에 해당하는 문자를 선택하여 전달.

퀘스천 체인은 질문의 주제 (물리, 화학, 생물)를 탐지하고, 언어 감지 체인은 언어 (영어, 한국어, 기타)를 감지.

세 가지 딕셔너리 키값을 갖는 결과를 앤서 프롬프트에 전달하여 최종 답변 생성.

탄소의 원자 번호에 대한 답변이 생성되었지만, 한글 깨짐 현상 발생.

[랭체인 Runnable이란?] RunnableSequence, RunnablePassthrough, RunnableParallel, RunnableLambda 핵심 설명

[랭체인 Runnable이란?] RunnableSequence, RunnablePassthrough, RunnableParallel, RunnableLambda 핵심 설명

스크립트