안녕하세요. 케인입니다. 오늘도 랭체인을 통해서 RAG 시스템을 만드는 연습을 해볼 텐데요.

오늘은 오픈 소스 LLM을 통해서 RAG 시스템을 구성하는 실습을 진행해 보도록 하겠습니다.

오늘 사용할 오픈 소스 LLM은 한규진 님께서 만들어 주신 코플라티 모델이고요.

이 모델은 오픈 코 LLM 리더보드에서 허깅페이스 페이지에서 확인하실 수 있습니다.

먼저 오픈소스 LLM의 필요성에 대해서 간단히 말씀드리겠습니다.

저희가 일반적으로 API를 통해서 LLM을 많이 활용을 하게 되는데요.

그렇게 되는 경우에 이 API는 해당 기업에서 서버를 통해 그 모델을 구동시키고 저희가 보낸 퀘스천에 따라서 API로 통신하는 방식을 통해 저희가 활용하게 됩니다.

그렇게 되면 이제 OpenAI, 구글 또는 이제 트위터에서 만들어진 이 모델들을 저희가 API 통신을 통해서 활용하게 되는 건데요.

이렇게 되면 저희가 사용하면 할 수록 API 비용이 늘어나고 또 어떤 서비스를 만들 때 해당 API를 통해서 생성 AI를 활용한다고 했을 때 의존이 높아지는 문제가 있습니다.

또 마지막으로 API를 통해서 저희가 질문을 보내고 답변을 받기 때문에 이러한 과정 속에서 만약에 이러한 모델들을 기업이 활용한다면 정보 유출에 대한 우려가 있기 때문에 좀 꺼려질 수 있겠죠.

어, 이와 대비해서 오픈소스 LLM의 경우에는 그 오픈 소스 모델을 돌릴 수 있는 GPU 서버를 구축하기만 한다면 API 비용과 같은 추가적인 비용이 들지 않습니다.

또한 어떤 서비스를 만들 때 그 생성 AI 모델을 활용하는 데 있어서 API 뭔가 잘못되더라도 어 기존의 빅테크에 쓰는 API의 경우에 그 API 고장이 나면 서비스도 고장이 나는 이런 안정성 문제가 있는데요.

어 오픈소스 모델의 경우에 어 기업이나 개인의 서버에서 직접 운영하기 때문에 서버 운영만 잘한다면 이런 운영 상황의 리스크가 적다고 볼 수 있겠습니다.

그리고 그러한 기업 또는 개인의 서버를 직접 이용함으로 유출의 우려도 적겠죠.

그래서 기업 측면에서 특히 이러한 사기업의 API를 활용하기보다는 오픈 소스 모델들을 통해서 그 서버에서 직접 구동하여 생성 AI를 활용하고자 하는 니즈가 크다고 볼 수 있겠습니다.

어, 이 오픈소스 LLM 중에서 특히 한국어를 잘하는 토종 오픈 소스 LLM에 대한 공부가 좀 필요한데요.

최근에 많이 나오고 있는 뭐 예를 들어서 미스트랄이라던가 또는 이 또 메타에서 내는 라마 이런 모델들은 모두 오픈 소스 LLM이긴 하지만 한국어 데이터셋이 부족해서 한국어를 잘 못하는 모델들입니다.

그래서 저희가 이 토종 오픈소스 LLM을 모아서 모두 이제 어떤 것이 나에게 잘 맞는지 확인하는 과정이 필요한데요.

이런 거를 좀 쉽게 해 주기 위해서 업스테이지, NIA 주관해서 한국어 오픈소스 LLM 리더보드를 운영 중입니다.

그리고 저희는 이 리더보드를 통해서 최신 토종 오픈소스 LLM의 성능을 비교하고 허깅 페이스를 통해서 쉽게 활용할 수 있게 되었습니다.

네, 이런 식으로 저희가 오픈코어 LLM 리더보드에서 어, 내가 구동하고 싶은 LLM이 어떤 것들이 있는지 찾아볼 수 있는데요.

어, 저희가 여기서 조금 알아둬야 할 부분이 있습니다.

어, 바로 오픈소스 LLM의 양자화요. 저희가 앞서서 살펴본 이 오픈 코어 LLM 리더보드 상의 이 많은 모델들은 대부분 단일 GPU 상에서 실행하기에 꽤 큰 모델들입니다.

그러니까 7빌리언만 돼도 사실 저희가 가지고 있는 일반적인 GPU, 뭐 30이나 3070 이런 GPU 가지고 로딩하고 추론하는 것이 한계가 있고요.

특히 코랩 상에서 저희가 이거를 돌린다고 했을 때 7빌리언 모델 그대로 추론하기 굉장히 어렵습니다.

추론한다 하더라도 그 추론하는 속도도 굉장히 느리게 되고요.

그래서 그런 것들을 해결해 주기 위해 필요한 게 바로 LLM 경량화요?

양자화가 이 경량화 기법 중에 하나라고 보시면 될 것 같습니다.

그래서 이제 개인적으로 GPU 상에서 원래는 70억 개 수준의 LLM을 로드하거나 추론하는 것도 힘겨워하는데, 이 경량화 기법 중에 양자화를 통해서 오늘은 그러한 모델들도 로딩하고 추론하는 연습을 해보도록 하겠습니다.

이 양자화는 쉽게 말씀드려서 그 뉴럴 네트워크상에서 계산해야 되는 숫자들의 소수점을 줄이는 역할을 하는 건데요.

기존에 126.35, 그러니까 -33.76이라는 숫자로 이 관능정에서 어떤 계산이 일어날 텐데 그 계산을 하는 과정에 있어서 소수점이 늘어날수록 컴퓨터는 조금 더 버거워 하겠죠.

이 소수점 밑에 값들도 계산을 모두 해줘야 되니까. 그러한 측면에서 기존 LLM이 가지고 있는 이 소수점 숫자들을 계산하는 시간을 줄여 주기 위해서 이 소수점 숫자를 대폭 줄이는 역할을 양자화가 하게 됩니다.

그래서 126.35라는 숫자를 원래는 소수점 두 자리까지 나오는 거죠.

이거를 연산 과정과 속도 모두 이제 기존에 비해서 경량화하는 기법이라고 보시면 될 것 같습니다.

이렇게 해주면 기존의 LLM을 돌렸을 때보다 훨씬 빠르고 가볍게 돌릴 수 있다는 점이 장점이고요.

오늘 콜랩에서도 코플라 t 보대이 양자화 과정을 통해서 로드하고 추론해 보도록 하겠습니다.

네 이제 실습을 진행하도록 하겠습니다.

오늘은 구글 콜랩을 통해서 오픈 소스 LLM 구동해 볼 텐데요.

첫 번째로 저희가 양자화를 하기로 했었죠. 그래서 LLM 양자화에 필요한 패키지들을 설치하도록 하겠습니다.

그러면은 pip install을 통해서 다운을 받아 주시면 되고요.

쓰면은 어 그다음으로 넘어가기 이전에 저희 런타임 유형 먼저 변경해 주도록 하겠습니다.

어 런타임 유형 변경에 들어가시면 이렇게 파이썬 기존 런타임으로 되어 있고 하드웨어 가속기 부분에서 CPU TPU, T4 GPU 있는데 이 중에서 저희는 GPU 상으로 이것들을 돌리기 위해서 T4 GPU 선택하고 저장해 주도록 하겠습니다.

어 이제 가장 먼저 이 설정을 먼저 해 주시는 게 좋을 것 같아요.

설정해 주시고 그다음에 이제 트랜스포머에서 비츠 앤 바이트 컨피규레이션을 통해서 양자화의 매개 변수를 정의하도록 하겠습니다.

어 보시면 비앤 바이트의 컨피그레이션 로드인 4비트 BMB 4비트 유즈 더블 컨트, 컨트 타입, 컴퓨터 타입 이렇게 있는데 어 자세히는 설명드리기는 너무 많은 양을 다뤄야 돼서 어 그냥 이런 매개 변수 있구나 정도만 알고 넘어가 주시면 될 것 같습니다.

어 여기서 뭐 BNB 4비트 퀀트 타입 같은 경우에 nf4 말고 이제 다른 뭐 fp4 아는 거를 활용하실 수도 있는데요.

이런 것들은 조금 더 비츠 앤 바이트에 대해서 공부를 해 보시고 또 양자화를 공부해 보시고 내 모델이 어떤 특성을 가져야 되는지에 대해서 또 어떤 모델이 어떤 GPU 상에서 돌아야 되는지에 따라서 이제 달라지는 부분이기 때문에 직접 이렇게 수정하면 좋을지 알아보시면 좋을 것 같습니다.

네, 저희는 이렇게 해서 매개 변수를 미리 정의를 해 놓고 BNB 컨피그레이션 저장을 해 놓도록 하겠습니다.

그리고 이제 경량화 모델을 로드할 텐데요. 어, 저희가 이제 허깅페이스 상에서 모델을 불러올 때 이제 모델 아이디가 있습니다.

들어가시면 오픈 코 LLM 이제 코플의 경우에는 이렇게 있는데요.

여기서 어 이 부분에 해당하는 거 이제 규진 코플라 6언이 부분에 해당하는 게 모델 아이디고 그대로 이 모델 아이디로 넣어 주시면 될 것 같습니다.

그리고 페이스 상에서 불러올 때 오토 토크나이저 프롬 프라고 해서 이 모델 아이디에서 쓰인 토크나이저 자동으로 갖고 와라 해서 토크나이저 선언을 하고요.

오토모델 4코 LM이라고 해서 페이스에서 LM 모델을 가져올 때 이런 식으로 가져오게 됩니다.

그래서 `from_pretrained`를 통해서 모델 ID를 선언해 주시고요.

여기서 퀀타이제이션 컨피규레이션, 그러니까 경량화 기법을 어떻게 할 거냐라고 했을 때 저희가 비츠 앤 바이츠 컨피규레이션을 위해서 정의 했었죠?

그거를 그대로 넣어 주시고 디바이스 맵은 오토로 해서 알아서 이 모델이 어떤 GPU 상에서 돌아갈지 결정하도록 만들어 주겠습니다.

네, 이렇게 하면은 토크나이저가 지금 이렇게 빨리 로딩이 된 걸 보실 수 있고요.

그다음에 모델을 로딩할 때 시간이 조금 걸립니다. 지금 보시면 일단 10GB 다운을 받고 이제 한 번 더 다운을 받게 될 텐데 총 10GB, 12GB 정도 용량이 필요한 걸 보실 수 있습니다.

그리고 이제 디스크를 보시면 이렇게 78GB, 지금 28GB 이상 활용이 되고 있는데, 이렇게 LLM을 내 PC 상에서 돌리기 위해서는 특정 용량 이상 확보를 해 놔야 된다는 점 알아주시면 될 것 같습니다.

습니다. 네, 이제 모델이 모두 로드되었고요. 모델이 잘 로드되었는지, 모델이 어떻게 생겼는지 확인해 보도록 하겠습니다.

보시면 이제 라마 풀 코저 LM이라고 해서 라마 모델 기반이라는 걸 아실 수 있죠.

그래서 라마 모델에 뭐 임베딩 토큰이 이런 식으로 78,464 토큰이 들어왔을 때 4,096 차원으로 임베딩을 만든다.

그리고 뭐 디코더 레이어가 이렇게 있고, 어 MLP 있고요.

뭐 이런 식으로 구성이 되어 있다. 이 모델이 라마 기반의 모델이다 이런 것들을 확인하실 수 있습니다.

여기서 이제 이 모델을 확인한 이유는 저희가 모델을 로드했을 때 양자화 기법을 통해서 로드를 했는데 이게 잘 적용됐는지 확인을 해야 되는 거거든요.

그래서 봤을 때 이 라마의 어텐션 부분이 리니어 4비트라고 된 거를 보실 수 있습니다.

원래는 이 리니어 4비트라고 되어 있지 않고 이제 그냥 리니어 되어 있을 수 있는데, 어 16비트 8비트가 그렇게 되어 있을 수 있는데 저희가 4비트로 양자화를 진행했기 때문에 이런 식으로 이 레이어들이 모두 4비트로 계산하는 것을 확인하실 수 있습니다.

그럼 이제 잘 로드가 되었고요.

어 잘 실행되는지 한번 확인해 보도록 하겠습니다. 어 디바이스는 쿠다 첫 번째 칩을 활용하도록 하겠고요.

그리고 메시지에는 유저에게 컨텐트로, 아 유저의 컨텐츠로서 은행의 기준 금리에 대해서 설명해 달라는 질문을 넣어 보도록 하겠습니다.

저희가 기존 API를 활용할 때랑은 이 질문을 보내고 받는 과정이 좀 다르기 때문에 이런 부분들을 유익 있게 보시면 좋을 것 같습니다.

그래서 이제 이 메시지를 어 토크나이저의 어플라이 챗 템플릿을 통해서 넣어 주시고요.

리턴 텐서는 파이토치 형식으로 넣어서 파이토치의 텐서 형식으로 이 메시지를 넣겠다는 말입니다.

그래서 이걸 넣었을 때 인코디드라고 어 정의를 해 주고 이 인코딩을 어 디바이스에 보낼 텐데 이 값을 모델 인풋으로 받도록 하겠습니다.

그래서 저희가 어떤 메시지를 보냈을 때 이 메시지를 인코딩하게 되고 이 인코딩한 거를 이 디바이스 쿠다 첫 번째 걸로 보냄으로써 모델 인풋을 정의하도록 했습니다.

그래서 저희가 이제 출력을 받으려면 이 모델의 제너레이터 함수를 실행을 해 줄 건데요.

이 모델이 저희가 오픈 소스 모델이었죠. 이 오픈 소스 모델이 제너레이트 할 거야.

근데 모델 인풋을 통해서 제너레이트 할 거고 새로운 토큰은 000개 그리고 샘플링은 트루로 켜 주도록 하겠습니다.

그렇게 해서 저희가 받은 거를 제너레이트라고 다시 정의를 해주고 이 디코더를 통해서 제너레이트 아이디를 넣어서 어 최종 출력된 값을 확인해 보도록 하겠습니다.

네, 보시면 네 이렇게 어 채팅 템플릿에 들어가 있는 것을 확인하실 수 있어요.

보시면은 시스템 메시지로서 이미 들어가 있는 프롬프트가 있어요.

You are a helpful assistant. 뭐 이런 식으로 주어진 어 질문에 대해서 답변을 잘해라.

네가 모르는 게 있으면은 모른다고 답변을 하라 뭐 이런 식의 시스템 메시지가 프롬프트로 이미 들어가 있습니다.

그리고 여기서 어 은행의 기준 금리에 대해서 설명해 달라는 말을 저희가 넣었죠.

이 시스템 프롬프트에 결합을 한 겁니다.

이 과정을 모두 이 템플릿 함수를 통해서 수행을 한 거예요.

그래서 들어갔을 때 답변이 이제 은행의 기준 금리는 시장에서 대출 및 투자를 위해 시중의 유동성을 확보하고 관리하는 데 사용되고 대중에 영향을 미치는 금리라고 해서 어 굉장히 잘 답변을 해 준 것을 볼 수 있습니다.

뭐 사실 이러한 질문이 저희가 기존에 뭐 오픈 AI API 제미니를 통해서 질문하고 받는 답변에 비해서 조금 성능이 떨어질 수도 있는데요.

어 그런 것들을 모두 빅테크 모델 엄청나게 큰 서버에서 돌아가는 빅테크 모델들의 답변과 비교를 했을 때는 떨어질 수 있지만 실제로 이제 미스트랄이라든가 이프와 같은 어 글로벌로 지금 굉장히 성능이 좋다고 이제 평이 나 있는 LLM을 가지고 이런 질문을 했을 때 말도 안 되는 답변을 받아보실 수 있어요.

뭐 이런 것들은 제가 이제 직접 보여 드리지 않아도 실제로 이 똑같은 양자화 기법을 통해서 뭐 6 빌리언 또는 7빌리언의 모델들을 로드해서 추론해 보시면 아실 수 있을 텐데요.

어 이 정도면 저는 굉장히 성능이 잘 나왔다고 생각을 합니다.

어 그다음으로 이제 저희가 RAG 시스템에 이 모델을 결합할 거기 때문에 그 다음에 패키지 필요한 것들을 설치해 주도록 하겠습니다.

어 제가 이 콜랩 노트북에서 어 돌렸을 때 오류가 났던 게 하나 있었어요.

이 밑에 패키지들을 설치할 때 어 UTF-8 그리고 ANSI 코드 관련해서 오류가 났었는데요.

이런 것들을 해결하기 위해서 이 코드를 어 실행해 주시면 좋을 것 같습니다.

어 보시면 또 이제 오류가 났는데 이 코드를 실행하고 다시 설치를 진행해 보도록 하겠습니다.

네, 그러면 잘 어 설치가 진행되고 있는 모습을 확인하실 수 있습니다.

네, 설치가 다 끝났으면 다음에 RAG 시스템 구축해 보도록 하겠습니다.

어, 오늘은 이제 필요한 게 추가적으로 허깅페이스 파이프라인이란 게 필요하고요.

어, LLM 체인을 가져오도록 하겠습니다. 어, 이 두 가지는 저희가 기존에 API 통해서 한다면은 필요 없는 부분들인데 오늘은 허깅페이스에 있는 오픈 소스 LLM을 갖다 쓰는 것이기 때문에 이 두 가지 라이브러리 추가로 가져오도록 하겠습니다.

오픈소스 LLM으로 RAG 시스템 만들기

모두의AI

본 강의는 **오픈소스 LLM(Large Language Model)을 활용하여 RAG(Retrieval-Augmented Generation) 시스템을 구축하는 실습**에 중점을 둡니다. 특히 한규진 님이 개발한 오픈소스 LLM을 활용하며, 이는 허깅 페이스(Hugging Face)의 오픈코어 LLM 리더보드에서 확인 가능합니다.

일반적으로 OpenAI, Google 등의 LLM을 API로 활용할 경우, **API 사용량에 따른 비용 증가, 특정 회사 API에 대한 서비스 의존성, 그리고 정보 유출 우려**와 같은 문제점이 발생합니다. 반면 오픈소스 LLM은 GPU 서버만 구축하면 추가적인 API 비용 없이 직접 모델을 운영할 수 있어 비용 효율적이며, 서버 운영 안정성을 확보하고 정보 유출 위험을 최소화할 수 있습니다.

특히 한국어에 능숙한 **국내 오픈소스 LLM에 대한 연구의 필요성**이 대두됩니다. Mistral이나 Meta의 모델들은 한국어 데이터셋 부족으로 한국어 성능이 낮기 때문입니다. 이러한 국내 모델들의 성능 비교를 위해 업스테이지 NIA는 한국어 오픈소스 LLM 리더보드를 운영하고 있으며, 허깅 페이스를 통해 쉽게 접근 가능합니다.

오픈소스 LLM의 경량화: 양자화(Quantization)

오픈코어 LLM 리더보드의 모델들은 대부분 단일 GPU로 구동되지만, **모델의 크기가 커 일반 GPU로는 로드 및 추론에 한계**가 있습니다. 특히 코랩(Colab) 환경에서는 70억 모델을 그대로 추론하기 어렵고 속도도 느려, 모델 경량화 기술이 필수적입니다.

양자화는 **LLM 경량화 기법 중 하나로, 신경망 계산에 필요한 숫자의 소수점을 줄이는 역할**을 합니다. 예를 들어, 126.35와 같은 두 자릿수 소수를 126으로 근사하여 계산 부담을 줄이고 추론 속도를 향상시킵니다. 이를 통해 원본 LLM보다 훨씬 빠르고 가볍게 모델을 구동할 수 있으며, 코랩(Colab)에서도 모델을 로드하고 추론할 수 있게 됩니다.

RAG 시스템 구축 실습 (Google Colab 활용)

실습을 위해 먼저 Google Colab 환경에서 **LLM 양자화에 필요한 패키지들을 설치**합니다. 이후 런타임 유형을 T4 GPU로 변경하여 GPU 기반 실행 환경을 설정합니다. 이는 모델 로드 및 추론 성능에 필수적입니다.

Transformer의 Bits and Bytes 설정을 통해 양자화 파라미터를 정의합니다. **4비트 양자화 등 다양한 설정 옵션**이 있으며, 모델의 특성 및 GPU 환경에 따라 직접 수정하여 최적화할 수 있습니다. 이렇게 정의된 BMB 설정을 기반으로 경량화된 모델을 로드합니다.

허깅 페이스에서 제공하는 **모델 ID를 사용하여 토크나이저와 LLM 모델을 로드**합니다. 이때 양자화 설정(`bnb_config`)을 적용하고, `device_map='auto'`를 통해 모델이 적절한 GPU에서 실행되도록 설정합니다. 모델 로드에는 약 12GB의 저장 공간이 필요하며, 디스크 공간 활용도 확인이 중요합니다.

로드된 모델이 라마(LaMa) 아키텍처 기반이며, **양자화가 4비트로 제대로 적용되었는지 확인**합니다. 특히 모델의 어텐션(Attention) 레이어가 'linear 4bit'로 표시되어야 합니다. 이후 CUDA 디바이스의 첫 번째 칩을 활용하여 질문을 처리하고, 기존 API 방식과 달리 토크나이저를 통해 메시지를 PyTorch 텐서 형식으로 변환하여 모델에 입력하는 과정을 거칩니다.

모델의 `generate` 함수를 실행하여 새로운 토큰을 생성합니다. 여기에는 **시스템 메시지가 포함된 채팅 템플릿**이 적용되어 있어, 주어진 질문에 대해 은행 기준 금리처럼 잘 답변하는지 확인합니다. 오픈소스 모델의 답변 성능은 거대 기업 모델에 비해 다소 낮을 수 있으나, **미스트랄(Mistral) 등 우수한 성능의 모델들도 존재**하며 경량화 기법 적용 시 충분히 좋은 성능을 보여줄 수 있습니다.

RAG 시스템 통합을 위해 `transformers`, `accelerate`, `bitsandbytes` 등 **필요한 패키지를 설치**합니다. 설치 시 발생하는 UTF8 및 ANSI 코드 관련 오류는 특정 코드를 실행하여 해결합니다. 또한, 허깅 페이스 파이프라인과 LM Chain 라이브러리를 추가로 가져와 모델의 질문-응답 과정을 텍스트 생성 파이프라인으로 선언합니다.

텍스트 생성 파이프라인 설정 시, **`temperature` 값을 0으로 설정하면 일관된 응답**을, 1로 설정하면 다양한 응답을 얻을 수 있습니다. `max_new_tokens`는 300으로 설정하여 생성될 토큰의 최대 개수를 지정합니다. 프롬프트 템플릿을 통해 모델의 동작 방식을 제어하며, **뱅크 로직이나 경제 로직을 추가하여 시스템의 성능을 향상**시킬 수 있습니다.

KoPLa-T 모델을 허깅 페이스 파이프라인을 통해 로드하고, 프롬프트 템플릿과 LLM을 연결하여 가장 기본적인 **LM Chain을 구축**합니다. 이 체인은 주어진 문맥(context)과 질문(question)을 효과적으로 처리하도록 설계됩니다.

텍스트 분할을 위해 `RecursiveCharacterTextSplitter`를, 벡터 저장소는 `Faiss`를 사용하며, PDF 문서 로드를 위해 `PyPDFLoader`를 가져옵니다. 드라이브 마운트를 통해 PDF 문서에 접근하고, PDF 파일을 로드한 후 페이지별로 분할합니다. 분할된 텍스트는 **500자 단위로 자르고 50자 중첩을 적용**하며, `KoELECTRA-NLI` 모델을 사용하여 한국어 문서 임베딩을 수행합니다.

임베딩된 텍스트는 `Faiss` 벡터 저장소에 저장되며, **`retriever` 역할을 통해 질문과 유사한 증거 자료를 검색**합니다. 검색 유형은 `similarity`로 설정하고 `k=3`으로 지정하여 세 개의 유사한 증거를 찾도록 합니다. 이렇게 구축된 `retriever chain`은 문맥과 질문을 LLM Chain에 효과적으로 연결하여 답변을 생성합니다.

구축된 RAG 시스템에 '혁신 성장 정책 금융에서 인공지능의 중요성'에 대해 질문했을 때, **시스템은 인공지능이 혁신 성장 산업 육성의 핵심 분야임을 증거와 함께 제시**합니다. 답변은 논리적 설명보다는 기존 증거를 인용하는 경향이 강하지만, 특정 문맥에서 증거를 잘 찾아내는 데 중점을 두었습니다.

비록 오픈소스 LLM이 GPT-3와 같은 유명 API 모델에 비해 지능 수준이 다소 낮을 수 있지만, **원하는 증거 자료를 잘 찾아내며 무한한 잠재력**을 보여줍니다. 본 실습을 통해 오픈코어 LLM 리더보드에서 원하는 모델을 양자화하여 RAG 시스템에 결합하는 연습을 할 수 있습니다.

오픈소스 LLM을 활용한 RAG 시스템 구축 소개

랭크체인을 통해 RAG 시스템을 구축하는 실습을 진행하며, 한규진님이 개발한 오픈소스 LLM 모델을 활용할 예정임.

API 방식의 LLM 사용은 비용, 의존성, 정보 유출 우려가 있지만, 오픈소스 LLM은 GPU 서버 구축 시 추가 비용이 없고, 안정성 및 정보 유출 위험을 줄일 수 있음.

한국어 오픈소스 LLM의 중요성 및 퀀타이제이션 필요성

MISTRA, Meta 모델 등은 한국어 데이터셋 부족으로 한국어 성능이 좋지 않아, 한국어 특화 오픈소스 LLM 연구가 필요함.

오픈코어 LLM 리더보드의 모델들은 대부분 대형 모델이라 일반 GPU로는 로딩 및 추론에 한계가 있으며, 특히 Colab에서 7B 모델을 추론하기 어려움.

LLM 경량화 기법 중 퀀타이제이션(양자화)을 통해 계산 시 필요한 숫자의 소수점 단위를 줄여 추론 속도와 경량화를 개선할 수 있음.

오픈소스 LLM 구동 환경 설정 및 모델 로딩

Google Colab을 통해 오픈소스 LLM을 실행하며, 퀀타이제이션에 필요한 패키지를 설치하고 런타임 유형을 T4 GPU로 변경함.

트랜스포머의 BitsAndBytesConfig를 통해 퀀타이제이션 파라미터를 정의하고 경량화된 모델을 로드함.

Hugging Face의 모델 ID를 사용하여 AutoTokenizer.from_pretrained로 토크나이저를 선언하고, AutoModelForCausalLM.from_pretrained로 LLM 모델을 로드함.

모델 로딩 시 10GB 이상의 저장 공간이 필요하며, 로딩된 모델은 라마(LaMa) 아키텍처 기반의 4비트 양자화가 적용된 것을 확인할 수 있음.

CUDA 디바이스의 첫 번째 칩을 활용하여 '은행의 기준금리에 대해 설명해 줘'라는 질문을 모델에 입력함.

메시지를 토크나이저로 인코딩한 후 모델의 generate 함수를 실행하여 1000개의 새로운 토큰을 생성하고, 디코더를 통해 최종 출력값을 확인함.

시스템 메시지가 포함된 채팅 템플릿을 통해 질문에 대한 응답이 생성되었으며, 기존 OpenAI API와 비교하면 성능은 약간 낮지만, 질문에 대해 잘 답변함.

LLM을 RAG 시스템에 통합하기 위한 준비

RAG 시스템 통합을 위해 필요한 패키지를 설치하고 발생 가능한 인코딩 관련 오류를 해결하는 코드를 실행함.

Hugging Face 파이프라인과 LM Chain 라이브러리를 추가로 불러와 텍스트 생성 파이프라인을 선언함.

파이프라인 선언 시 모델과 토크나이저를 지정하고, temperature 값을 설정하여 응답의 일관성 또는 다양성을 조절함.

프롬프트 템플릿을 통해 은행 논리나 경제 논리를 RAG 시스템에 추가하고, Hugging Face 파이프라인과 연동하여 KoPLa-T LLM을 로드함.

프롬프트 템플릿을 설정하고 컨텍스트와 질문을 입력 변수로 정의하여 LLM 체인을 구성함.

RAG 시스템 구성 요소 설정 및 실행

RecursiveCharacterTextSplitter를 통해 텍스트 분할, Face를 통해 벡터 스토어 설정, PyPDFLoader로 PDF 문서 로드, RunnableParallel 라이브러리 및 드라이브 마운트를 진행함.

PyPDF2 Loader로 PDF 파일을 로드하고, RecursiveCharacterTextSplitter로 청크 크기 500, 오버랩 50으로 문서를 분할함.

한국어 문서 임베딩을 위해 Hugging Face Embedding의 KoELECTRA-NLI 모델을 사용하고, 정규화 임베딩을 활성화함.

임베딩된 텍스트를 Face 벡터 스토어에 저장하고, 유사도 검색을 위한 검색 엔진(retriever)을 활성화하여 유사한 증거 자료 3개를 찾도록 설정함.

리트리버 체인을 구성하여 컨텍스트와 질문을 효과적으로 처리하도록 설정함으로써 최종 RAG 시스템 구축을 완료함.

'혁신 성장 정책 금융에서 인공지능의 중요성'에 대한 질문에 대한 답변을 확인하며, 관련 증거 자료를 바탕으로 답변을 제공함.

답변은 기존 증거를 인용하는 경향이 있지만, 인공지능 관련 내용을 정확하게 추출하고, 혁신 및 금융 정책과의 연관성을 잘 찾아냈음을 확인.

오픈소스 LLM은 GPT-3와 비교하여 지능은 다소 낮을 수 있으나, 원하는 증거 자료를 잘 찾아내는 잠재력을 보여줌.

오픈코어 LLM 리더보드의 다양한 모델을 퀀타이제이션하여 RAG 시스템에 통합하는 실습을 통해 오픈소스 LLM 기반 RAG 시스템 구축 방법을 익힐 수 있음.

오픈소스 LLM으로 RAG 시스템 만들기

오픈소스 LLM으로 RAG 시스템 만들기

스크립트