로컬에서 라마 3 실행하기: 손끝으로 누리는 AI 파워

Llama 3를 로컬에서 실행하면 Olama, LM Studio 및 Jan AI를 통해 액세스할 수 있는 개인 데이터 및 AI 기능을 사용자에게 제공할 수 있습니다.

### Olama, LM Studio, Jan AI로 로컬에서 Llama 3 실행하기
* 라마 3를 로컬에서 실행하면 **데이터 프라이버시를 유지**하고 **AI 기능을 활용**할 수 있습니다.
* 🖥 Olama를 사용하여 Llama 3를 실행하려면 Olama 웹사이트에서 Mac, Linux 또는 Windows용 해당 버전을 다운로드하세요. 그런 다음 터미널에서 **`olama run llama3`**를 실행하여 **80억 개의 파라미터 모델**을 다운로드하고 사용을 시작합니다.
* 🎨 LM Studio를 사용할 때는 LM Studio 웹사이트에서 **Windows, Mac 또는 Linux 버전을 다운로드**하세요. 인터페이스에서 **Llama 3를 검색**하고 원하는 모델을 다운로드한 다음 **AI 채팅에 사용하기 시작**합니다.
* 🤖 로컬에서 Jan AI를 사용하려면 Mac 버전을 다운로드하여 설치한 다음, **Llama 3 모델을 검색**하고 새 채팅을 시작하여 **모델과 대화**하세요.
* 🐍 Olama API를 사용하여 터미널에서 Llama 3를 로드할 때는 **`pip install olama`**를 사용하여 Olama를 설치하고, 파일에서 Olama를 가져온 다음, **Llama 3 모델을 제공**하고 질문을 한 후 응답을 출력합니다.
* 🌐 LM Studio에서 **'서버 시작'을 클릭**하여 로컬 서버를 실행하고 제공된 컬 및 Python 코드를 사용하여 **Llama 3 모델과 상호 작용**할 수 있습니다.
* 🎥 크리에이터는 **비슷한 주제로 더 많은 동영상을 제작**하고 시청자가 좋아요, 공유, 구독을 할 수 있도록 독려합니다.

this is amazing. Now, we are going to see how to run Llama 3 completely locally on your computer. We are going to see how to run using Olama, using LM Studio, and using Jan AI. By running Llama 3 completely locally, you are able to keep your data private and use the power of AI to your advantage. That's exactly what we're going to see today. Let's get [Music] started. Hi, everyone. I'm really excited to show you about Llama 3 running locally. I'm going to take you through step by step on how to run this using Olama, LM Studio, and Jan AI. But before that, I regularly create videos in regards to Artificial Intelligence on my YouTube channel. So, do subscribe and click the Bell icon to stay tuned. Make sure you click the like button so this video can be helpful for many ofs like here. First, download Olama from ama.com. You should be able to click the download button and you have Mac Co version, Linux version, and Windows version. You can download those according to your needs.

once after you do that in your terminal o llama run llama 3. This will automatically download the Llama 3 8 billion parameter model on your computer. Then click enter. Now the model is ready for you to use. Now I can ask any question. Give me a meal plan for today. And it's very fast, super fast as you can see in the screen. I'm really impressed by the speed. And I am using Mac M2. So now I'm going to exit this. Now let's see how we can install using LM Studio. Go to LM studio. A website. There you have all the three versions for Windows, for Mac, and for Linux. Download that accordingly and install it. Next, you will have an interface like this. There you can search for llama 3. And you got multiple version here. Just because it got recently published, you can see llama 38 billion instructs on the homepage itself. And you should be able to download by clicking the download button. Now it is downloading. You can see the downloading progress at the bottom of the screen. Now

now the downloading is complete. Now you can go to the AI chat icon there at the top. You can choose the model you want to use. I'm going to use Lama 3. Click that and going to accept new system prompt. Now it's loading the model in LM studio. Now it is ready for us to chat. I'm going to ask, Give me a meal plan for me today. And it's generating the response. Here also it's faster. It gave me a meal plan, ingredients on how to make it, and instruction on how to make it. This is exciting. Next, we're going to see how we can use Jan locally on your computer and install Lama 3. Same as before, we got Mac version for Jan AI. You can download that and install it. You can search the model here, Lama 3, and then install it. Once after you install, you can go to the chat section, click a new chat on the right-hand side. You can choose which model you want to use. I'm going to choose Lama 2, but Lama 3 will be available very soon. I'm going going.

to show you how you can use when you get llama 3. Just choose that model. Then you can ask a question here. Give me a meal plan for me today. And it will automatically start generating the response. As you can see here. Next, I'm going to show you how to use olama API to load llama 3 in your terminal. Make sure you pip install o llama. And then click enter. Next, inside a file import o llama. Then o LL or chat there. You provide llama 3 model. And you're going to ask a question. Why is sky blue? You can even ask your own question. And finally, we are printing the response. That's it. Just few lines of code. Now I'm going to run this code. And I've started the code. And here is the response of why the sky appears blue. This is amazing. Similarly for LM Studio. You can go to the local server icon there. You can go and click Start server. This will automatically run it in this endpoint here. You got all the code for curl command here it is for python here is

the code. So we're going to copy the Python code and then paste it in VS Code. And the base URL is this: it's llama 38 billion parameter model. Now going to run the code. Pip install open AI to install the OpenAI package. Then running the code. And here is the response. So the question is, introduce yourself. And here is the answer. Similarly for Jan AI, you can use localhost 1337 endpoint to integrate that with your API. I'm really excited about this. I'm going to create more videos similar to this. So stay tuned. I hope you like this video. Do like, share, and subscribe. And thanks for watching.

How to Run Llama 3 Locally on your Computer (Ollama, LM Studio)

Mervin Praison

로컬에서 라마 3 실행하기: 단계별 가이드

Olama, LM Studio, Jan AI를 사용해 로컬에서 Llama 3를 실행하여 데이터를 비공개로 유지하고 AI 성능을 활용할 수 있습니다.

Mac, Linux 또는 Windows용 Olama를 다운로드한 다음 터미널에서 "llama run llama 3"를 실행하여 80억 개의 파라미터 모델을 다운로드하세요.

LM Studio는 사용자 친화적인 설치 인터페이스를 제공하여 llama 3 모델을 검색하고 다운로드할 수 있는 옵션도 제공합니다.

AI 채팅 아이콘을 통해 식사 계획과 레시피를 생성하기 위해 Lama 3 모델을 선택할 수 있습니다.

이제 LM Studio에서 사용할 수 있으며, 빠르고 흥미로운 응답을 제공합니다.

컴퓨터에 라마 3를 로컬로 설치하려면 Jan AI용 Mac 버전을 다운로드한 다음 채팅 섹션에서 모델을 선택하면 됩니다.

곧 Lama 3를 로컬에 설치하는 것도 가능해져 더 많은 AI 기반 상호작용 옵션을 제공할 예정입니다.

Llama 3 API는 설치 후 몇 줄의 코드만으로 터미널에서 쉽게 사용할 수 있습니다.

Llama를 가져와서 Llama 3 모델을 선택하면 무엇이든 질문하고 즉각적인 답변을 받을 수 있습니다.

로컬 서버에서 클릭 한 번으로 서버를 시작하여 실행할 수 있는 LM Studio에도 동일한 프로세스가 적용됩니다.

API에는 curl 명령어와 Python용 코드가 함께 제공되므로 Q&A 용도로 편리하게 사용할 수 있습니다.

자기소개를 위한 OpenAI GPT-3 모델 사용

파이썬 코드는 OpenAI GPT-3 모델을 실행하기 위해 VS 코드에 복사됩니다.

이 코드는 OpenAI 패키지를 설치하고 모델을 실행하며 자기소개 응답을 제공합니다.

이 동영상은 모델 사용에 대한 더 많은 콘텐츠를 약속하고 시청자가 좋아요, 공유, 구독을 하도록 유도합니다.