안녕하세요 오토 코다입니다 이번 시간에는 올라라 거 이용해서 로컬 LLM AI 챗봇을 한번 만들어 보도록 하겠습니다 자 이 올라라 거는

뭐 처음 들어보시는 분도 계실 수 있는데요 우리가 로컬 환경에서의 AI 챗봇을 만들 수 있는 가장 좋은 방법

중에 하나고요 사실 뭐 가장 좋은 방법은 여러 가지가 있지만 이게 일반적으로 이제 오픈 소스로 많이

사용되는 그 LLM 모델을 활용해 가지고 여러분들의 인터넷이 안 되는 노 인터넷 환경에서 굉장히 어 내부 이제 로컬

환경에서 만들 수 있는 AI 챗봇을 구현할 수 있는 걸로 보시면 됩니다 그래서 자 이 환경을 만들려면 사실상은 여러분들이 어느 정도는 이 AI 챗봇을

만들기 전에 이 환경을 좀 깔아 줘야 되거든요 그래서 우리는 올라라 거라는 걸 한번 설치를 해 볼 거예요 이번

시간에 올라를 설치를 해서 실제로 어떤 식으로 구현되는지 한번 어 테스트로 한번 보여 드리도록 하겠습니다. 이번 시간의 목적은

인터넷이 안 되는 환경 있거든요. 인터넷 안 되는 환경, 자 이런 환경이 어떤 게 있을까요? 대표적으로 굉장히 보안이

철저한 환경이 있을 것 같고요. 예를 들면 보안이 철저한 곳이라면 뭐 국책 사업을 하고 어떤한 특정 뭐 비즈니스

하는 모델이거나 아니면 뭐 뭐 파이낸스나 즉 이제 금융권 자체에서는 굉장히 개인 정보에 대한

어 보안이 철저하게 필요하기 때문에 이러한 외부의 API 활용하는 오픈 AI 뭐 챗GPT 즉 오픈 AI

API 활용하든 아니 아니면 뭐 제미나이 활용하든 아니면 클로드 우리가 지난 시간에 썼던 클로드를 이용하든 이러한 API 쓰는데 이러한

한계가 있는 분들을 위해서 이 모델을 쓰시면 내부 여러분들의 로컬 환경의 PC 안에 있는 LLM 모델들을 호출해서 이거를 답변을 하는

방법을 보여 드리도록 하겠습니다. 어 우리가 지난 시간까지는 뭐 제가 이것저것 많이 트레이닝했습니다. 오픈 API 이용한 챗GPT 기반에 이제 제가 챗봇도 한번 만들어 봤고요. 그리고 뭐 재미있는 AI를 활용한 챗봇도 한번 만들어 봤고 그리고 이전

시간에는 이미지 기반을 이미지를 인식해서 이미지 기반의 내용을 답변을 할 수 있는 이미지 기반 챗봇을 만들어 만들어 봤습니다. 그거 이제

클로드를 이용했었죠. 근데 이번에는 어 지금까지 하지는 않았지만 로컬 LLM 즉 어 PC 내부 환경에서의

API 어 활용하지 않고 PC 내부 환경에서의 AI 챗봇을 만들 수 있는 어 환경을 한번 보여 드리도록 하겠습니다. 입니다. 사용 라이브러리는

랭 체인을 쓸 거예요. 이 랭 체인은 어 제가 이전 시간에도 설명드린 적 있지만 AI 프레임워크로 보시면

됩니다. 프레임워크 그래서 이게 굉장히 경량급의 프레임워크거든요. 여러분들 어 웹사이트를 만들 때도 예를 들면

프런트엔드 뭐 백엔드라는 프레임워크가 있습니다. 뭐 프런트엔드에 뭐 가장 큰 게 이제 리액트, 그리고 백엔드는 뭐 자바, 자바

뭐 자바 기반에 이제 스프링이나 스프링부트 같은 이런 어 프레임워크가 있는데요. 그리고 우리가

뭐 자주 제가 썼던 제 이전 과거의 영상에도 선보였던 장고도 이 파이썬에서 A 풀스택 기반의 어 프레임워크로

보면 됩니다. 이러한 것과 같이 우리가 AI 프레임워크를 랭 체인을 쓰고 있다는 거를 참고를 해 주시면 될 거

같습니다 이 랭 체인에 대한 어 강의도 제가 간간히 보여 드리고 있는 부분이기 때문에 어 참고해 주시면

좋을 것 같고요 이제 영상 제 거 참고하시면 좋을 것 같습니다 사용 문법은 while 이랑 if를 쓸 거예요 뭐 이

두 가지는 어쨌든 우리가 이 자동화를 하는 데 있어서 조건문 그리고 반복문을 쓰는데 굉장히 효율적으로 잘 쓰는

방법이죠 특히나 while 같은 경우는 무한 반복문 그는 우리가 어떠한 조건일 때 실행될 수 있게끔 하는 그런

조건문으로 보시면 됩니다 그러면 우리가 이어서 이제 제가 한번 어 올라라 거 이제 다운로드를 받을 수 있는 사이트를

들어왔거든요 죄송합니다 자 이 올라 닷컴은 여러분들 무료로 다운받을 수 있는 곳이에요 그전에 이제 올라에

이제 5만에 빼면 이제 라마지아 자이 라마라 거 많이 들어보셨죠? 이 라마라 걸 제가 사이트를 한번 열어봤습니다.

그 나무위키라이브 AI 기반에서의 이제 라지 기지 모델로 보시면 되고요. 자이 라마 자체 공개의 뭐 제작사 기능 인프라 이런 식으로

있는데 자 메타는 과거 페이스북에서 이제 전신이 페이스북에 만든 겁니다. 공개일은 2023년 2월 24일로

했다고 하네요. 그래서 인프라는 뭐 비디아 GPU 뭐 뭐 A 뭐 HB 이런 거 같은 뭐 GPU 그래픽 카드를 되 여러 개 활용을 해서 쓰는

걸로 보시면 되고요. 언어 모델로 했습니다. 자 그러면 쭉 내려오면 뭐 여러 가지 70억 해가지고 뭐 650억 아지 여러 가지 버전이

존재한다고 했습니다. 오픈 소스로 공개한다고 하네요. 그 마크 주커버그 이제 CEO이 라마라 이제 메타에서 이 라마는 사실 오픈 소스를 굉장히

밀어붙이고 있습니다. 그래서 AI 보편화, 대중화를 이끌어내겠다는 이런 이제 취지를 갖고 있는 거 같아요.

그래서 이제 쭉 밑으로 내려오면 뭐 여러 가지가 있죠. 뭐 우선 계약을 하고 큰 화제를 모았지만 뭐 중반까지만 상대 폐쇄적 환경으로

했다고 이런 식으로 얘기하네요. 어 사실상 라마는 이런 식으로 4월 18일까지 공개되었고 우선적으로 뭐

매개 변수 뭐 이런 식으로 이제 나왔다고 합니다. 그래서 이 라마라는 게 오픈 소스 사실이 오픈가 얼마나 어

폐쇄적으로 운영을 하지 않았습니까? 그래서 여기에 이제 채치 피티도 처음에는 굉장히 오픈 소스를 기반으로

잘 썼지만 상업화하면서 이거를 이제 폐쇄적으로 운영을 해 왔던 걸 반면에 이 라마는 계속 처음부터 끝까지

오픈 소스를 가져오고 있고요 그래서 이 라마를 활용해 가지고 대학교에서 아니면 뭐 스탠포드 대학교나 여러

학교에서 이 라마 자체를 파인튜닝 파인 튜닝을 해 가지고 파인튜닝 파인 튜라 할게요 일단 파인튜닝 튜닝을 해

가지고 자신만의 모델을 만들고 있거든요 그래서 이 라마가 가장 기초적인 모델로 많이 활용을 하고 있습니다 그래서 쭉쭉 밑으로 보면은

뭐 3.1 3.2는 식으로 이제 뭐 이미지 인식 기능 멀티모델을 본격적으로 이제 준비하고 있는 거네요

그죠 여기 나오네요 멀티모델 출시했다고 그래서 이런 식으로 나오고 있고요 90b 버전부터는 GPT-4

미니 버전과 비슷하다고 하다 보니까 웬만큼 잘 쓸 수 있을 것 같아요 그래서 인프라는 자체는 뭐 이런 식으로 일단 참고해 주시면 좋을

것 같고요 어 저도 이전에 뭐 뭐 딥러닝 공부를 할 때 이제 라이브러리를 어떤 거 쓸까 했는데

이제 우리가 딥러닝이라는 뭐 이제 최첨단 BT 뭐 AI 생성형이 나오기 전에는 머신러닝과 딥러닝이 활 굉장히

많이 인기가 있었거든요 뭐 이것도 지금이 생성 AI의 기본이 되는 기술이긴 하지만 여기서 이제 두 가지

텐서플로우나 이제 파이토치가 두 가지가 크게 있었어요 양대산맥이었던 플로우 자체는 우리의

이제 구글에서 이제 주도했고 파이토치는 메타 이제 페이스북 메타에서 구 이제 하는데 그 라이브러리가 이제

파이토치를 이용해서 쓴다고 합니다 그 그래서 이 파이토치를 이용해 가지고 라마 모델을 만들었다고 나오네요 자

이런 식으로 제가 간단하게 한번 여러분들께 이 라마라게 어떤 건지 한번 보여 드렸습니다. 그러면 이어서 우리가 설치를 할 건데요.

자 설치하는 거는 매우 매우 간단해요. 사실 진짜 별거 없어 가지고 제가 여러분들께 뭐라고 뭐 말씀드리기는 좀...

그런데 자 새 설치하기는 굉장히 간단한 게 어 일단은 첫 번째로는 여기 이제 올라.com 있죠. 여기

사이트로 들어오신 다음에요. 여기서 다운로드를 누르시면 됩니다. 다운로드를 누르셔야 여기서 여러분들의 운영 체제

환경에 맞춰서 이제 다운로드를 하면 되거든요. 저 같은 경우 윈도우를 쓰기 때문에 윈도우즈를 하고 선택을 여기

윈 다운로드 for 윈도우즈를 클릭을 하면 설치가 이제 다운로드가 될 거고요. 이게 다운로드가 돼서 여러분들의 운영 환경에서 이제 설치를

해 주시면 됩니다 그래서 설치 자체는 그냥 어 저는 이미 설치가 되어 있기 때문에 설치가 되어 있기 때문에 이걸 그냥 어 패스 한다고 하고요 굉장히

그냥 디폴트로 그냥 넥스트 넥스트 넥스트 피니시로 그냥 설치를 해 주면 됩니다 누구나 설치할 수 있기 때문에

그냥 따라하면 되고요 그래서 저는 어떻게 할 거냐면 이제는 이 명령 프롬프트를 이제 이용할 건데요 자 이 명령 프롬프트를

설치가 됐다는 전제하에 우리가 이제 명령 프롬프트 열었습니다 그래서 명령 프롬프트에서 뭐 cmd 눌러도 되고 뭐

저는 그냥 관리자 권한으로 열었어요 그래서 올라라고 쳐 볼게요 치면 이 버전들이 이제 이런 이런

올라가 설치되어 있을 때 기본적으로 나오는 부분입니다 그래서 이걸 크게 하고요 자 그래서 자 이런 식으로 있죠 그러면 자 울라마 해서 제가

버전을 한번 쳐 볼까요 버전을 치면 저는 올라 버전은 0.3.12 버전이라고 하네요 저랑 버전이 다를

수 있습니다 그냥 여러분들 최신 버전을 써도 무방합니다 그러면 여기서 뭐 올라 뭐 쇼라고 한번 해 볼까요

하면은 뭐 울라마 뭐 쇼라는 식으로 해가지고 뒤에도 이제 붙일 수가 있거든요 그래서 뭐 여러분들 뭐 편한

걸 그냥 붙여도 되는데요 뭐 예를 들면 저는 뭐 라마 뭐 3로 해 볼까요 그러면 라마 3라는 모델이

아키텍처는 이거고 파라미터는 이런 식으로 해서 나오는데요 자 어 선생님 뭐 강사님이 라마 3가 어떻게 있는지

어떻게 확인할까요 물어보시는 분들을 위해서 이제 이거를 먼저 라마 를 어떻게 다운받냐 라마 올라에서 설치할

수 있는 방법은 두 가지입니다. 런을 쓰거나 아니면 풀을 쓰거나. 그래서 풀을 쓰면은 그냥 어 모델만

다운로드를 받는 거예요. 모델만 다운로드를 받는 거기 때문에 예를 들면 모델은 어떤 거 있냐, 모델은

어떤 거 있냐 물어보시는 분들을 위해서 모델은 여러분들이 사이트에 그냥 참고하실 수 있는 모델스 곳

들어가면은 굉장히 많은 모델이 있어요. 그래서 마라는게 이제 우리 뭐 이제 구글 기반의 딥마인드 쪽에서 이제

개발했다고 하죠. 마도 있고 그리고 뭐 제마 2, 제 뭐 여러 가지 모델이 있어요. 사실상 그래서 죄송합니다. 자, 여러 가지 모델

중에 여러분들이 원하는 모델을 그냥 다운로드해서 하면 되는데 우리는 그래도 비교적 유명한 걸 다운로드를

받고 싶잖아요 그래서 라마를 한번 치면 라마가 엄청 많이 나오죠 라마가 엄청 많이 나옵니다 그래서 여러분들

을 남아 있으면 되는데 자 이게 어 단점이 있긴 해요 뭐냐면 단점이 뭐냐면 여러분들의 PC 환경이 어느

정도 뒷받침 돼야 됩니다 이거 쓰려면 이게 뭐냐면 어느 정도 여러분들이 지금 오픈 API 그 오픈

AI API 쓰거나 뭐 재미난 API 예를 들면 이런 겁니다 설명을 드려야겠네요 자 여러분들의 PC 환경에서 자 이런 개발 코드를

해가지고 쭉쭉 만들어요 근데 여러분들의 PC 환경입니다 이게 지금 여러분들의 PC 환경에서 이렇게 개발

코드를 만드는데 여기서 지금 API 콜이 한번 들어가야 돼요 왜냐면 여기서 이제 정보를 물어보 질문을

이제 AI 체포한 물어보려고 질문을 하는데 어 기존에는 여러분들의 환경이 PC 이런 식으로 돼 있단 말이에요

그래서 여기에 이제 예를 들면 이제 오픈 AI 서버 쪽이죠 아니면 뭐 파일럿이라면 마이크로소프트나 아니면

뭐 이제 재미나 이려면 구글 쪽에 서버 쪽 있고 여러분들이 질문에 대한 답변을 이런 이런 식으로 이런 식으로

질문 질문에 대한 내용이 위로 이렇게 들어가서 그리고 다시 들어오는데 이거 이제 API 콜해 가지고 사실상

처리는 여기서 되는 거예요 그렇기 때문에 여러분의 PC 그래는 그냥 퀘스트와 레스폰스 대한 답변만 여기서

답변을 주르르륵 나오는 거거든요 자 근데 반면에 여러분들 올라를 스스로 이제 여러분들의 로컬 환경에서 쓰게

된다면 실제 여러분들이 PC 환경이 서버가 되는 겁니다. 그래서 여기서 이렇게 쭉 르 치다가 여기 이제 예를

들면 콜을 API 콜을 하고 싶은데 API 콜이 아니라 여기서 이제 여기서 올라만 이로만 이제 질문에 대한 답변을 할 때 이 PC 전체의

CPU 엄청 올라갈 겁니다. 막 엄청 올라갈 거예요. 왜냐면 GPU 있으면은 사실 그래픽 카드가 있다 그러면 지

그래픽 카드 우선적으로 쓰는데 그래픽 카드가 없다면 이제 어 PC가 연산 처리를 고속화 계속 해야 되기 때문에

CPU 쓰거든요. 그래서 여러분들이 PC 환경이 CPU 굉장히 높게 올라갈 겁니다. 그래서요 부분을 그냥

참고해 주시면 좋을 것 같고요. 어찌 되었든 저는 어 일단은 이런 식으로 설명을 드렸고요. 그리고

올라 아라는 걸 다운로드 받을 때 어떻게 하는지 한번 다시 한번 보여 드리도록 하겠습니다 그럼 올라를 다운로드 받을 거면 올라에서 풀

해서 모델을 하면 되는데 어 뭐 예를 들면 뭐 제가 일단 올라 리스트를 한번 보여 드릴게요 제가 설치한 리스트는 이거거든요 이런

식으로 마 제마 레이티스 버전 그러니까 최신 버전 제마 2비 그리고 라마 3 레이티스 버전으로 제가 다운로드를

받았어요 그래서 여러분들은 그냥 저와 같이 다운로드를 받거나 아니면 안에서 선택을 해서 그냥 설치를 해 주시면

인터넷이 안되는 환경에서 AI 챗봇 구현의 모든 것을 보여드리겠습니다. [1편] (Ft. Ollama)

안녕하세요, 오토코더 입니다.

컴맹이었던 제가 IT업무를 하면서 배운 많은 경험과 노하우를 공유하고자 합니다.

복잡하고 반복적인 업무를 간단히 자동화하는 것에 관심이 있습니다.

여러분의 의견과 관심을 반영하여 채널을 지속적으로 개선해나가겠습니다.

우리 모두의 건승을 위해 🙌 

* 컨텐츠 분야 : IT (업무자동화, 시스템자동화, 프로그래밍, 인프라, 보안, 데이터분석, AI , PC사용 노하우, IT 취업 등)

* 비즈니스 문의 (컨설팅/강의/개발/취업&이직 코칭 등)
autocoder@naver.com

- 강의 관련 내용의 질문 메일은 정중히 거절드립니다. 댓글로 문의주시기 바랍니다.


오토코더

소개 및 로컬 LLM AI 챗봇 구현 목표

올라라를 이용한 로컬 LLM AI 챗봇 제작 소개

로컬 환경 AI 챗봇 구현 방법 설명

다양한 구현 방법 중 오픈 소스 활용 방법 제시

인터넷 연결 없이 로컬 환경에서 AI 챗봇 구현 가능성 설명

AI 챗봇 구현을 위한 환경 설정 필요성 강조

로컬 환경 AI 챗봇 필요성 및 활용 사례

인터넷 연결이 불가능한 환경에서의 AI 챗봇 필요성 언급

보안이 중요한 환경(국책 사업, 금융권 등)에서의 활용 사례 제시

개인 정보 보호 중요성과 외부 API 의존성의 한계점 지적

OpenAI, Gemini, Claude 등 외부 API 활용의 한계점 언급

로컬 환경 LLM 모델 호출을 통한 답변 방법 제시

LangChain 라이브러리 소개 및 경량급 프레임워크로서의 특징 설명

웹 개발 프레임워크(React, Java Spring, Django)와의 비교 설명

자동화를 위한 조건문과 반복문의 효율적인 사용 방법 설명

무료 다운로드 가능한 Llama.cpp 소개

Llama 모델의 기반 및 특징 설명 (Meta 개발, 오픈 소스)

Llama 모델의 개발사, 공개일, 인프라(NVIDIA GPU) 정보 제시

다양한 버전의 Llama 모델 존재 및 오픈 소스 공개 사실 언급

Meta의 AI 보편화, 대중화 전략 언급

Llama 모델의 초기 폐쇄적 운영 및 오픈 소스 전환 과정 설명

Llama 모델의 지속적인 오픈 소스 정책 강조

대학에서의 Llama 모델 파인튜닝 활용 사례 언급

올라라 웹사이트 접속 및 다운로드 방법 설명

운영체제별 다운로드 방법 설명 (윈도우즈 예시)

명령 프롬프트를 이용한 올라라 버전 확인 방법 설명

올라라 명령어 사용 예시 (올라 쇼, 울라마 버전 확인)

Llama 모델 다운로드 방법 (run, pull 명령어 사용)

다양한 모델 목록 확인 방법 설명

Llama 모델 다운로드 시 PC 환경 고려 사항 언급

로컬 환경과 외부 API 활용 방식 비교

로컬 환경과 외부 API 활용 방식의 차이점 설명

로컬 환경에서의 CPU 및 GPU 사용량 증가에 대한 설명

로컬 환경에서의 서버 역할 설명

올라라를 이용한 모델 다운로드 및 설치 방법 재설명

Llama 3 모델 실행 및 질문 답변 테스트

Llama 3 모델을 이용한 질문 답변 테스트 진행

간단한 인사말에 대한 답변 확인

'너 누구냐'는 질문에 대한 답변 확인

AI 학습에 대한 질문과 상세한 답변 확인

PC 환경에서 생성형 AI 모델 활용 가능성 강조

업무 환경에서의 사용 편의성 개선 필요성 언급

다음 강의에서 주피터 노트북을 이용한 인터렉티브한 환경 구현 예고

시청자에게 도움이 되기를 바라는 마무리 인사

AI 관련 강의 지속적인 제공 계획 언급

인터넷이 안되는 환경에서 AI 챗봇 구현의 모든 것을 보여드리겠습니다. [1편] (Ft. Ollama)

스크립트