안녕하세요. 케인입니다. 오늘도 랭체인을 통해서 RAG 시스템을 만드는 연습을 해볼 텐데요.

오늘은 오픈 소스 LLM을 통해서 RAG 시스템을 구성하는 실습을 진행해 보도록 하겠습니다.

오늘 사용할 오픈 소스 LLM은 한규진 님께서 만들어 주신 코플라티 모델이고요.

이 모델은 오픈 코 LLM 리더보드에서 허깅페이스 페이지에서 확인하실 수 있습니다.

먼저 오픈소스 LLM의 필요성에 대해서 간단히 말씀드리겠습니다.

저희가 일반적으로 API를 통해서 LLM을 많이 활용을 하게 되는데요.

그렇게 되는 경우에 이 API는 해당 기업에서 서버를 통해 그 모델을 구동시키고 저희가 보낸 퀘스천에 따라서 API로 통신하는 방식을 통해 저희가 활용하게 됩니다.

그렇게 되면 이제 OpenAI, 구글 또는 이제 트위터에서 만들어진 이 모델들을 저희가 API 통신을 통해서 활용하게 되는 건데요.

이렇게 되면 저희가 사용하면 할 수록 API 비용이 늘어나고 또 어떤 서비스를 만들 때 해당 API를 통해서 생성 AI를 활용한다고 했을 때 의존이 높아지는 문제가 있습니다.

또 마지막으로 API를 통해서 저희가 질문을 보내고 답변을 받기 때문에 이러한 과정 속에서 만약에 이러한 모델들을 기업이 활용한다면 정보 유출에 대한 우려가 있기 때문에 좀 꺼려질 수 있겠죠.

어, 이와 대비해서 오픈소스 LLM의 경우에는 그 오픈 소스 모델을 돌릴 수 있는 GPU 서버를 구축하기만 한다면 API 비용과 같은 추가적인 비용이 들지 않습니다.

또한 어떤 서비스를 만들 때 그 생성 AI 모델을 활용하는 데 있어서 API 뭔가 잘못되더라도 어 기존의 빅테크에 쓰는 API의 경우에 그 API 고장이 나면 서비스도 고장이 나는 이런 안정성 문제가 있는데요.

어 오픈소스 모델의 경우에 어 기업이나 개인의 서버에서 직접 운영하기 때문에 서버 운영만 잘한다면 이런 운영 상황의 리스크가 적다고 볼 수 있겠습니다.

그리고 그러한 기업 또는 개인의 서버를 직접 이용함으로 유출의 우려도 적겠죠.

그래서 기업 측면에서 특히 이러한 사기업의 API를 활용하기보다는 오픈 소스 모델들을 통해서 그 서버에서 직접 구동하여 생성 AI를 활용하고자 하는 니즈가 크다고 볼 수 있겠습니다.

어, 이 오픈소스 LLM 중에서 특히 한국어를 잘하는 토종 오픈 소스 LLM에 대한 공부가 좀 필요한데요.

최근에 많이 나오고 있는 뭐 예를 들어서 미스트랄이라던가 또는 이 또 메타에서 내는 라마 이런 모델들은 모두 오픈 소스 LLM이긴 하지만 한국어 데이터셋이 부족해서 한국어를 잘 못하는 모델들입니다.

그래서 저희가 이 토종 오픈소스 LLM을 모아서 모두 이제 어떤 것이 나에게 잘 맞는지 확인하는 과정이 필요한데요.

이런 거를 좀 쉽게 해 주기 위해서 업스테이지, NIA 주관해서 한국어 오픈소스 LLM 리더보드를 운영 중입니다.

그리고 저희는 이 리더보드를 통해서 최신 토종 오픈소스 LLM의 성능을 비교하고 허깅 페이스를 통해서 쉽게 활용할 수 있게 되었습니다.

네, 이런 식으로 저희가 오픈코어 LLM 리더보드에서 어, 내가 구동하고 싶은 LLM이 어떤 것들이 있는지 찾아볼 수 있는데요.

어, 저희가 여기서 조금 알아둬야 할 부분이 있습니다.

어, 바로 오픈소스 LLM의 양자화요. 저희가 앞서서 살펴본 이 오픈 코어 LLM 리더보드 상의 이 많은 모델들은 대부분 단일 GPU 상에서 실행하기에 꽤 큰 모델들입니다.

그러니까 7빌리언만 돼도 사실 저희가 가지고 있는 일반적인 GPU, 뭐 30이나 3070 이런 GPU 가지고 로딩하고 추론하는 것이 한계가 있고요.

특히 코랩 상에서 저희가 이거를 돌린다고 했을 때 7빌리언 모델 그대로 추론하기 굉장히 어렵습니다.

추론한다 하더라도 그 추론하는 속도도 굉장히 느리게 되고요.

그래서 그런 것들을 해결해 주기 위해 필요한 게 바로 LLM 경량화요?

양자화가 이 경량화 기법 중에 하나라고 보시면 될 것 같습니다.

그래서 이제 개인적으로 GPU 상에서 원래는 70억 개 수준의 LLM을 로드하거나 추론하는 것도 힘겨워하는데, 이 경량화 기법 중에 양자화를 통해서 오늘은 그러한 모델들도 로딩하고 추론하는 연습을 해보도록 하겠습니다.

이 양자화는 쉽게 말씀드려서 그 뉴럴 네트워크상에서 계산해야 되는 숫자들의 소수점을 줄이는 역할을 하는 건데요.

기존에 126.35, 그러니까 -33.76이라는 숫자로 이 관능정에서 어떤 계산이 일어날 텐데 그 계산을 하는 과정에 있어서 소수점이 늘어날수록 컴퓨터는 조금 더 버거워 하겠죠.

이 소수점 밑에 값들도 계산을 모두 해줘야 되니까. 그러한 측면에서 기존 LLM이 가지고 있는 이 소수점 숫자들을 계산하는 시간을 줄여 주기 위해서 이 소수점 숫자를 대폭 줄이는 역할을 양자화가 하게 됩니다.

그래서 126.35라는 숫자를 원래는 소수점 두 자리까지 나오는 거죠.

이거를 연산 과정과 속도 모두 이제 기존에 비해서 경량화하는 기법이라고 보시면 될 것 같습니다.

이렇게 해주면 기존의 LLM을 돌렸을 때보다 훨씬 빠르고 가볍게 돌릴 수 있다는 점이 장점이고요.

오늘 콜랩에서도 코플라 t 보대이 양자화 과정을 통해서 로드하고 추론해 보도록 하겠습니다.

네 이제 실습을 진행하도록 하겠습니다.

오늘은 구글 콜랩을 통해서 오픈 소스 LLM 구동해 볼 텐데요.

첫 번째로 저희가 양자화를 하기로 했었죠. 그래서 LLM 양자화에 필요한 패키지들을 설치하도록 하겠습니다.

그러면은 pip install을 통해서 다운을 받아 주시면 되고요.

쓰면은 어 그다음으로 넘어가기 이전에 저희 런타임 유형 먼저 변경해 주도록 하겠습니다.

어 런타임 유형 변경에 들어가시면 이렇게 파이썬 기존 런타임으로 되어 있고 하드웨어 가속기 부분에서 CPU TPU, T4 GPU 있는데 이 중에서 저희는 GPU 상으로 이것들을 돌리기 위해서 T4 GPU 선택하고 저장해 주도록 하겠습니다.

어 이제 가장 먼저 이 설정을 먼저 해 주시는 게 좋을 것 같아요.

설정해 주시고 그다음에 이제 트랜스포머에서 비츠 앤 바이트 컨피규레이션을 통해서 양자화의 매개 변수를 정의하도록 하겠습니다.

어 보시면 비앤 바이트의 컨피그레이션 로드인 4비트 BMB 4비트 유즈 더블 컨트, 컨트 타입, 컴퓨터 타입 이렇게 있는데 어 자세히는 설명드리기는 너무 많은 양을 다뤄야 돼서 어 그냥 이런 매개 변수 있구나 정도만 알고 넘어가 주시면 될 것 같습니다.

어 여기서 뭐 BNB 4비트 퀀트 타입 같은 경우에 nf4 말고 이제 다른 뭐 fp4 아는 거를 활용하실 수도 있는데요.

이런 것들은 조금 더 비츠 앤 바이트에 대해서 공부를 해 보시고 또 양자화를 공부해 보시고 내 모델이 어떤 특성을 가져야 되는지에 대해서 또 어떤 모델이 어떤 GPU 상에서 돌아야 되는지에 따라서 이제 달라지는 부분이기 때문에 직접 이렇게 수정하면 좋을지 알아보시면 좋을 것 같습니다.

네, 저희는 이렇게 해서 매개 변수를 미리 정의를 해 놓고 BNB 컨피그레이션 저장을 해 놓도록 하겠습니다.

그리고 이제 경량화 모델을 로드할 텐데요. 어, 저희가 이제 허깅페이스 상에서 모델을 불러올 때 이제 모델 아이디가 있습니다.

들어가시면 오픈 코 LLM 이제 코플의 경우에는 이렇게 있는데요.

여기서 어 이 부분에 해당하는 거 이제 규진 코플라 6언이 부분에 해당하는 게 모델 아이디고 그대로 이 모델 아이디로 넣어 주시면 될 것 같습니다.

그리고 페이스 상에서 불러올 때 오토 토크나이저 프롬 프라고 해서 이 모델 아이디에서 쓰인 토크나이저 자동으로 갖고 와라 해서 토크나이저 선언을 하고요.

오토모델 4코 LM이라고 해서 페이스에서 LM 모델을 가져올 때 이런 식으로 가져오게 됩니다.

그래서 `from_pretrained`를 통해서 모델 ID를 선언해 주시고요.

여기서 퀀타이제이션 컨피규레이션, 그러니까 경량화 기법을 어떻게 할 거냐라고 했을 때 저희가 비츠 앤 바이츠 컨피규레이션을 위해서 정의 했었죠?

그거를 그대로 넣어 주시고 디바이스 맵은 오토로 해서 알아서 이 모델이 어떤 GPU 상에서 돌아갈지 결정하도록 만들어 주겠습니다.

네, 이렇게 하면은 토크나이저가 지금 이렇게 빨리 로딩이 된 걸 보실 수 있고요.

그다음에 모델을 로딩할 때 시간이 조금 걸립니다. 지금 보시면 일단 10GB 다운을 받고 이제 한 번 더 다운을 받게 될 텐데 총 10GB, 12GB 정도 용량이 필요한 걸 보실 수 있습니다.

그리고 이제 디스크를 보시면 이렇게 78GB, 지금 28GB 이상 활용이 되고 있는데, 이렇게 LLM을 내 PC 상에서 돌리기 위해서는 특정 용량 이상 확보를 해 놔야 된다는 점 알아주시면 될 것 같습니다.

습니다. 네, 이제 모델이 모두 로드되었고요. 모델이 잘 로드되었는지, 모델이 어떻게 생겼는지 확인해 보도록 하겠습니다.

보시면 이제 라마 풀 코저 LM이라고 해서 라마 모델 기반이라는 걸 아실 수 있죠.

그래서 라마 모델에 뭐 임베딩 토큰이 이런 식으로 78,464 토큰이 들어왔을 때 4,096 차원으로 임베딩을 만든다.

그리고 뭐 디코더 레이어가 이렇게 있고, 어 MLP 있고요.

뭐 이런 식으로 구성이 되어 있다. 이 모델이 라마 기반의 모델이다 이런 것들을 확인하실 수 있습니다.

여기서 이제 이 모델을 확인한 이유는 저희가 모델을 로드했을 때 양자화 기법을 통해서 로드를 했는데 이게 잘 적용됐는지 확인을 해야 되는 거거든요.

그래서 봤을 때 이 라마의 어텐션 부분이 리니어 4비트라고 된 거를 보실 수 있습니다.

원래는 이 리니어 4비트라고 되어 있지 않고 이제 그냥 리니어 되어 있을 수 있는데, 어 16비트 8비트가 그렇게 되어 있을 수 있는데 저희가 4비트로 양자화를 진행했기 때문에 이런 식으로 이 레이어들이 모두 4비트로 계산하는 것을 확인하실 수 있습니다.

그럼 이제 잘 로드가 되었고요.

어 잘 실행되는지 한번 확인해 보도록 하겠습니다. 어 디바이스는 쿠다 첫 번째 칩을 활용하도록 하겠고요.

그리고 메시지에는 유저에게 컨텐트로, 아 유저의 컨텐츠로서 은행의 기준 금리에 대해서 설명해 달라는 질문을 넣어 보도록 하겠습니다.

저희가 기존 API를 활용할 때랑은 이 질문을 보내고 받는 과정이 좀 다르기 때문에 이런 부분들을 유익 있게 보시면 좋을 것 같습니다.

그래서 이제 이 메시지를 어 토크나이저의 어플라이 챗 템플릿을 통해서 넣어 주시고요.

리턴 텐서는 파이토치 형식으로 넣어서 파이토치의 텐서 형식으로 이 메시지를 넣겠다는 말입니다.

그래서 이걸 넣었을 때 인코디드라고 어 정의를 해 주고 이 인코딩을 어 디바이스에 보낼 텐데 이 값을 모델 인풋으로 받도록 하겠습니다.

그래서 저희가 어떤 메시지를 보냈을 때 이 메시지를 인코딩하게 되고 이 인코딩한 거를 이 디바이스 쿠다 첫 번째 걸로 보냄으로써 모델 인풋을 정의하도록 했습니다.

그래서 저희가 이제 출력을 받으려면 이 모델의 제너레이터 함수를 실행을 해 줄 건데요.

이 모델이 저희가 오픈 소스 모델이었죠. 이 오픈 소스 모델이 제너레이트 할 거야.

근데 모델 인풋을 통해서 제너레이트 할 거고 새로운 토큰은 000개 그리고 샘플링은 트루로 켜 주도록 하겠습니다.

그렇게 해서 저희가 받은 거를 제너레이트라고 다시 정의를 해주고 이 디코더를 통해서 제너레이트 아이디를 넣어서 어 최종 출력된 값을 확인해 보도록 하겠습니다.

네, 보시면 네 이렇게 어 채팅 템플릿에 들어가 있는 것을 확인하실 수 있어요.

보시면은 시스템 메시지로서 이미 들어가 있는 프롬프트가 있어요.

You are a helpful assistant. 뭐 이런 식으로 주어진 어 질문에 대해서 답변을 잘해라.

네가 모르는 게 있으면은 모른다고 답변을 하라 뭐 이런 식의 시스템 메시지가 프롬프트로 이미 들어가 있습니다.

그리고 여기서 어 은행의 기준 금리에 대해서 설명해 달라는 말을 저희가 넣었죠.

이 시스템 프롬프트에 결합을 한 겁니다.

이 과정을 모두 이 템플릿 함수를 통해서 수행을 한 거예요.

그래서 들어갔을 때 답변이 이제 은행의 기준 금리는 시장에서 대출 및 투자를 위해 시중의 유동성을 확보하고 관리하는 데 사용되고 대중에 영향을 미치는 금리라고 해서 어 굉장히 잘 답변을 해 준 것을 볼 수 있습니다.

뭐 사실 이러한 질문이 저희가 기존에 뭐 오픈 AI API 제미니를 통해서 질문하고 받는 답변에 비해서 조금 성능이 떨어질 수도 있는데요.

어 그런 것들을 모두 빅테크 모델 엄청나게 큰 서버에서 돌아가는 빅테크 모델들의 답변과 비교를 했을 때는 떨어질 수 있지만 실제로 이제 미스트랄이라든가 이프와 같은 어 글로벌로 지금 굉장히 성능이 좋다고 이제 평이 나 있는 LLM을 가지고 이런 질문을 했을 때 말도 안 되는 답변을 받아보실 수 있어요.

뭐 이런 것들은 제가 이제 직접 보여 드리지 않아도 실제로 이 똑같은 양자화 기법을 통해서 뭐 6 빌리언 또는 7빌리언의 모델들을 로드해서 추론해 보시면 아실 수 있을 텐데요.

어 이 정도면 저는 굉장히 성능이 잘 나왔다고 생각을 합니다.

어 그다음으로 이제 저희가 RAG 시스템에 이 모델을 결합할 거기 때문에 그 다음에 패키지 필요한 것들을 설치해 주도록 하겠습니다.

어 제가 이 콜랩 노트북에서 어 돌렸을 때 오류가 났던 게 하나 있었어요.

이 밑에 패키지들을 설치할 때 어 UTF-8 그리고 ANSI 코드 관련해서 오류가 났었는데요.

이런 것들을 해결하기 위해서 이 코드를 어 실행해 주시면 좋을 것 같습니다.

어 보시면 또 이제 오류가 났는데 이 코드를 실행하고 다시 설치를 진행해 보도록 하겠습니다.

네, 그러면 잘 어 설치가 진행되고 있는 모습을 확인하실 수 있습니다.

네, 설치가 다 끝났으면 다음에 RAG 시스템 구축해 보도록 하겠습니다.

어, 오늘은 이제 필요한 게 추가적으로 허깅페이스 파이프라인이란 게 필요하고요.

어, LLM 체인을 가져오도록 하겠습니다. 어, 이 두 가지는 저희가 기존에 API 통해서 한다면은 필요 없는 부분들인데 오늘은 허깅페이스에 있는 오픈 소스 LLM을 갖다 쓰는 것이기 때문에 이 두 가지 라이브러리 추가로 가져오도록 하겠습니다.

오픈소스 LLM으로 RAG 시스템 만들기

오픈소스 LLM으로 RAG 시스템 만들기

Scripts