Hi everyone, this is Fahad Mirza, and I welcome you to my channel. In this video, I'm going to show you how you can run Olama and the free tier-based models in the free tier of Google Colab easily and in a notebook without spending a cent.

If you don't know what Olama is, I already have covered it in great detail in more than 500 videos in the last two years, so please search the channel.

But just to give you a quick flavor, Olama is one of the easiest, fastest, and the most performant ways to run large language models locally quite easily.

Olama is a simple AI tool that allows the user to easily set up and run LLMs locally.

It is a platform designed to run open-source LLMs locally on Google Colab, but also you can install it on your local systems on Windows, Mac, and various flavors of Linux.

And I already have shown you in a lot of videos, as I mentioned earlier.

Olama bundles model weights, configurations, and data sets into a unified package managed by a model file. This tool, as I said, supports a lot of virtualization platforms in addition to the operating systems, and there is a lot of other things which you can do with it.

But at the end of the day, it is, I believe, one of the starting points of learning LLMs to run locally.

Now let's go back to our Google Colab, and I am going to show you how you can run Olama with this very interesting little notebook tool called as Cola.

It is not really a tool, I would say, but rather a technique as how you can run this Ola easily.

And by the way, we already have done similar techniques and tooling to run Olama in the Google Colab, and this is just yet another similar way.

Let's go to the Google Colab, and you can simply access it in google.

colab.com. It's a free tier where you don't have to really spend anything. Just first step is to go and click on runtime and then change runtime type, select T4 GPU, which is very graciously provided by Google.

Let's first install Ollama in Google Colab.

As you can see, first we are just updating it, then we are installing this PCA util package in this Colab and this primarily allows the Ollama to talk to GPU, which is the T4 GPU which we just selected and then it this is what it is what is installing the Ollama in this Google Colab.

So let's run it. While it's installing it, let me also introduce you to the sponsors of the video who are AgentQL.

AgentQL is a query language that turns any web page into a data source. With its Python SDK and live debugging tool, you can scrape and interact with web content.

AgentQL works on any page, it is resilient, it is reusable, and it structures the output according to the shape of your query and I will drop the link to their website in video's description.

Okay, so let's go back. It is still installing, so let's wait for it to finish and Ollama is installed now with all the prerequisites.

As you can see, it is also telling us that Nvidia GPU is also installed and it also detected it through that PCI UTI package which we installed.

Okay, so now if you look at this piece of code, what this is doing, this is just overcoming one limitation of Google Colab.

In order to use Ollama, the thing is that we need to run Ollama service as a background in parallel to our scripts.

But these notebooks and like Google Colab or the Jupyter notebook, they run code block sequentially, which really makes it hard to run two blocks at the same time in parallel, and that is why we are using this as a worker to create a service using Python subprocess so that it doesn't block any cell from running.

It is sort of asynchronous stuff which we are implementing, so let's run it.

And this time, do sleep is just adding some sort of delay to get the AMA service up before the model is downloaded. Okay, so that is done. Now we need to download the model.

Now, which model to download? It's totally up to you for that selection. All you need to do is to go to Ollama on the top right.

You see there is a model tab, and then from here, there are hundreds of models from where you can select a model.

So I'm just going to go with Llama 3. Let's run it and it will download the model on our local system. The size is around 2 gig, so let's wait for it.

So the model is downloaded and then it has verified the check sum of the model and everything looks good and that is all there is to it in order to install Ollama and download the model.

So Ollama service is running now in the background, model is being served.

Now, in order to, for example, use it in your application, let me show you an example from the notebook, and don't worry, I'm also going to give you the link to this notebook so that you can play around in the video's description.

Now what I'm doing here is I'm just integrating Ollama with the Lang chain.

You can use any other Python code in order to use this model.

So let's wait for this Langchain or Ollama integration to be installed. So Langchain is installed, as you can see, and if you don't know what length chain is it is you have another framework to create AI powered applications, which means that these applications use large language models and it provides a standard interface for chains, numerous integrations with other tools, just we saw with AMA, and also end-to-end chains for common applications.

I already have done various videos on Lang chain, so if you're interested, please search the channel.

Let me show you an example how you can use it. There you go. So we are importing some of the prompts and other things from L chain.

This is a prompt template we are defining to do it a Chain of Thought or step-by-step thinking.

This is a prompt, this is our model with AMA, and this is the function we are using with from that length chain plus AMA integration.

This is a chain where this will be triggered first, it will be chained together or with a pipe sign with the model and then model is being invoked and answer will be displayed that what is happiness.

So let me run it so you can see that it is running.

Uh, and there you go. So it's fairly quick. It has given us the response and you can see that in the true sense of the the quality of Lama 32, even in the quantied smish Precision, the response is really good.

There you go. The whole response look really amazing.

Also, while it runs, you can check out a lot of other information from Google Colab, which I have covered on my other videos.

For example, you can click on view resources to check check out the resources on the right hand side. So you see it is just consuming 3.3 G out of 15 GP of V Ram, okay, so that's it.

I hope that you enjoyed it. I will drop the link to this in video's description so that you can simply go and check out this Google Colab and this Collama.

If you like the content, please consider subscribing to the channel if you aren't already.

Subscribed, please share it among your network as it helps a lot. Thanks for all the support.

Collama - Running Ollama Models in Google Colab for Free Tier

Learn AI, Cloud, DevOps and Databases. Become a Better AI Cloud Engineer.

Fahd Mirza

🚀 Ollama 소개: 로컬 LLM 실행의 간편한 방법

Fahd Mirza 채널에서 Ollama를 소개합니다. Ollama는 **로컬에서 대규모 언어 모델(LLM)을 쉽고 빠르게 실행할 수 있도록 설계된 AI 도구**입니다. 이 도구는 Google Colab, Windows, Mac, Linux 등 다양한 환경을 지원합니다.

Ollama는 모델 가중치, 구성, 데이터 세트를 통합된 패키지로 관리하여 LLM 학습을 시작하는 데 유용합니다. Fahd Mirza는 **Ollama를 사용하여 로컬에서 LLM을 실행하는 다양한 방법을 채널에서 소개**했습니다.

 💻 Google Colab에서 Ollama 실행하기

Google Colab의 무료 티어에서 Ollama를 실행하는 방법을 알아봅니다. 먼저, google.colab.com에 접속하여 **무료로 제공되는 T4 GPU를 런타임 유형으로 선택**합니다.

Ollama를 Google Colab에 설치하기 위해 필요한 단계를 설명합니다. PCA 유틸리티 패키지를 설치하여 **Ollama가 T4 GPU와 통신할 수 있도록 설정**합니다. 이는 Google Colab에서 Ollama를 실행하기 위한 필수적인 과정입니다.

Google Colab의 제약 사항을 극복하기 위해, Ollama 서비스를 백그라운드 프로세스로 실행해야 합니다. 이를 위해 Python subprocess를 사용하여 **비동기적으로 서비스를 실행**하여 다른 셀의 실행을 방해하지 않도록 합니다.

 💽 모델 다운로드 및 LangChain 통합

Ollama 모델을 다운로드하는 방법을 설명합니다. Ollama 웹사이트의 모델 탭에서 원하는 모델을 선택할 수 있습니다. 예시에서는 **Llama 3 모델을 다운로드**합니다.

LangChain을 사용하여 Ollama를 통합하는 방법을 보여줍니다. LangChain은 **AI 기반 애플리케이션을 만들기 위한 프레임워크**로, LLM을 사용한 애플리케이션 개발을 용이하게 합니다.

LangChain을 설치하고, 프롬프트 템플릿을 정의하여 Chain of Thought를 구현합니다. **모델을 호출하고 응답을 표시하는 과정을 통해 Ollama와 LangChain의 통합**을 보여줍니다.

Google Colab에서 리소스 사용량을 확인하는 방법을 안내합니다. "View resources"를 클릭하여 **VRAM 사용량 등의 정보를 확인**할 수 있습니다.

제공된 Google Colab 링크를 통해 직접 실습해 볼 것을 권장하며, **채널 구독과 공유를 통해 지원**을 부탁드립니다.

안녕하세요, 파하드 미르자입니다. 제 채널에 오신 것을 환영합니다. 이번 영상에서는 Google Colab의 무료 티어에서 Olama와 무료 티어 기반 모델을 쉽게 노트북에서 실행하는 방법을 알려드리겠습니다.

Olama가 무엇인지 모르시는 분들을 위해 지난 2년간 500개 이상의 영상에서 자세히 다루었으니 채널을 검색해 보세요.

간단히 설명하자면 Olama는 대규모 언어 모델을 로컬에서 매우 쉽고 빠르게 실행할 수 있는 가장 성능이 뛰어난 방법 중 하나입니다.

Olama는 사용자가 LLM을 로컬에서 쉽게 설정하고 실행할 수 있도록 해주는 간단한 AI 도구입니다.

Google Colab에서 오픈 소스 LLM을 로컬에서 실행하도록 설계된 플랫폼이지만 Windows, Mac 및 다양한 Linux 버전의 로컬 시스템에도 설치할 수 있습니다.

앞서 언급했듯이 이미 많은 영상에서 보여드렸습니다.

Olama는 모델 가중치, 구성 및 데이터 세트를 모델 파일로 관리되는 통합 패키지로 묶습니다. 이 도구는 앞서 말했듯이 운영 체제 외에도 많은 가상화 플랫폼을 지원하며, 이를 통해 할 수 있는 다른 많은 것들이 있습니다.

하지만 결국 로컬에서 LLM을 실행하는 방법을 배우는 데 있어 시작점 중 하나라고 생각합니다.

이제 Google Colab으로 돌아가서 Cola라는 매우 흥미로운 작은 노트북 도구를 사용하여 Olama를 실행하는 방법을 보여드리겠습니다.

도구라기보다는 Ola를 쉽게 실행할 수 있는 기술이라고 말하고 싶습니다.

그런데 Google Colab에서 Olama를 실행하기 위해 이미 유사한 기술과 도구를 사용해 왔으며, 이것은 또 다른 유사한 방법일 뿐입니다.

Google Colab으로 이동하여 google에서 간단히 액세스할 수 있습니다.

colab.com에 접속하세요. 여기는 무료 티어이므로 실제로 비용을 들일 필요가 없습니다. 첫 번째 단계는 런타임을 클릭한 다음 런타임 유형을 변경하고 Google에서 매우 관대하게 제공하는 T4 GPU를 선택하는 것입니다.

먼저 Google Colab에 Ollama를 설치해 보겠습니다.

보시다시피 먼저 업데이트를 하고, 이 PCA 유틸 패키지를 Colab에 설치합니다. 이 패키지는 Ollama가 GPU와 통신할 수 있게 해주는데, 우리가 선택한 T4 GPU입니다. 그리고 이것이 Google Colab에 Ollama를 설치하는 과정입니다.

자, 실행해 보겠습니다. 설치하는 동안 영상의 스폰서인 AgentQL도 소개해 드리겠습니다.

AgentQL은 모든 웹 페이지를 데이터 소스로 바꿔주는 쿼리 언어입니다. Python SDK와 라이브 디버깅 도구를 사용하여 웹 콘텐츠를 스크랩하고 상호 작용할 수 있습니다.

AgentQL은 모든 페이지에서 작동하며, 복원력이 뛰어나고 재사용이 가능하며, 쿼리 형태에 따라 출력을 구조화합니다. 웹사이트 링크는 영상 설명란에 추가해 놓겠습니다.

자, 다시 돌아가겠습니다. 아직 설치 중이니 완료될 때까지 기다리겠습니다. Ollama가 필요한 모든 구성 요소와 함께 설치되었습니다.

보시다시피 Nvidia GPU도 설치되었으며, 우리가 설치한 PCI UTI 패키지를 통해 감지되었습니다.

자, 이제 이 코드를 보면 Google Colab의 한 가지 제한 사항을 극복하고 있습니다.

Ollama를 사용하려면 Ollama 서비스를 스크립트와 병렬로 백그라운드에서 실행해야 합니다.

하지만 이러한 노트북, 예를 들어 Google Colab이나 Jupyter 노트북은 코드 블록을 순차적으로 실행하기 때문에 두 블록을 동시에 병렬로 실행하기가 어렵습니다. 그렇기 때문에 Python 서브 프로세스를 사용하여 서비스를 생성하는 워커로 사용하여 셀 실행을 막지 않도록 하는 것입니다.

일종의 비동기적인 작업을 구현하고 있는 것입니다. 실행해 보겠습니다.

그리고 이 시간 동안, 'do sleep'은 모델을 다운로드하기 전에 AMA 서비스를 시작하기 위해 일종의 지연을 추가하는 것입니다. 좋습니다. 완료되었습니다. 이제 모델을 다운로드해야 합니다.

어떤 모델을 다운로드할까요? 모델 선택은 전적으로 여러분에게 달려 있습니다. Ollama 오른쪽 상단으로 이동하기만 하면 됩니다.

모델 탭이 있습니다. 여기에서 수백 개의 모델 중에서 선택할 수 있습니다.

라마 3를 사용하겠습니다. 실행하면 로컬 시스템에 모델이 다운로드됩니다. 크기는 약 2GB이므로 잠시 기다려 주세요.

모델이 다운로드되었고 모델의 체크섬이 확인되었습니다. Ollama를 설치하고 모델을 다운로드하는 데 필요한 모든 것이 완료되었습니다.

이제 Ollama 서비스가 백그라운드에서 실행되고 모델이 제공되고 있습니다.

이제 예를 들어 애플리케이션에서 사용하기 위해 노트북에서 예를 보여드리겠습니다. 걱정하지 마세요. 비디오 설명에서 직접 사용해 볼 수 있도록 이 노트북 링크도 제공할 예정입니다.

여기서는 Ollama를 Lang chain과 통합하고 있습니다.

이 모델을 사용하기 위해 다른 Python 코드를 사용할 수도 있습니다.

Langchain 또는 Ollama 통합이 설치될 때까지 기다려 봅시다. 보시다시피 Langchain이 설치되었습니다. Langchain이 무엇인지 모르는 경우 AI 기반 애플리케이션을 만들기 위한 또 다른 프레임워크입니다. 즉, 이러한 애플리케이션은 대규모 언어 모델을 사용하고 체인에 대한 표준 인터페이스, AMA에서 본 것처럼 다른 도구와의 수많은 통합, 일반적인 애플리케이션을 위한 엔드 투 엔드 체인을 제공합니다.

이미 Lang chain에 대한 다양한 비디오를 만들었으므로 관심이 있다면 채널을 검색해 보세요.

사용 방법을 보여드리겠습니다. 자, 여기 있습니다. L chain에서 일부 프롬프트와 기타 항목을 가져오고 있습니다.

이것은 Chain of Thought 또는 단계별 사고를 수행하기 위해 정의하는 프롬프트 템플릿입니다.

이것은 프롬프트이고, 이것은 AMA가 있는 모델이며, 이것은 length chain plus AMA 통합에서 사용하는 함수입니다.

이것은 먼저 트리거되는 체인입니다. 모델과 파이프 기호로 연결된 다음 모델이 호출되고 행복이 무엇인지에 대한 답변이 표시됩니다.

실행되는 것을 볼 수 있도록 실행해 보겠습니다.

네, 여기 있습니다. 꽤 빠릅니다. 응답을 제공했으며, 양자화된 스미시 정밀도에서도 Lama 32의 품질이 매우 우수하다는 것을 알 수 있습니다.

자, 여기 있습니다. 전체 응답이 정말 놀랍습니다.

그리고 실행되는 동안 Google Colab에서 다른 많은 정보를 확인할 수 있습니다. 이 내용은 다른 영상에서 다룬 적이 있습니다.

예를 들어, 리소스 보기를 클릭하여 오른쪽에 있는 리소스를 확인할 수 있습니다. 보시다시피 15GB의 VRAM 중 3.3GB만 사용하고 있습니다. 좋습니다, 여기까지입니다.

재미있게 보셨기를 바랍니다. 이 링크를 영상 설명에 추가하여 이 Google Colab과 Collama를 쉽게 확인해 볼 수 있도록 하겠습니다.

콘텐츠가 마음에 드셨다면 채널 구독을 고려해 주시면 감사하겠습니다.

구독해 주셨다면 네트워크에 공유해 주세요. 많은 도움이 됩니다. 응원해 주셔서 감사합니다.

동영상에서는 Google Colab에서 Ollama 및 무료 티어 모델을 실행하는 방법을 보여줍니다.

로컬에서 쉽고 빠르며 성능이 뛰어난 LLM을 실행하는 방법인 Ollama에 대한 간략한 개요입니다.

Ollama의 기능: 다양한 플랫폼에서 로컬로 LLM을 설정하고 실행합니다.

Ollama는 모델 가중치, 구성 및 데이터 세트를 통합 패키지로 묶습니다.

로컬에서 LLM을 실행하는 방법을 배우기 위한 출발점으로 Ollama를 사용하세요.

구글 콜랩에서 쉽게 올라마를 실행하는 기술인 콜라를 사용하세요.

Google Colab에 액세스하고 T4 GPU를 선택합니다.

GPU 통신을 위한 AMA 및 PCA 활용 패키지 설치.

AMA 설치 프로세스 및 Nvidia GPU 감지.

스폰서 언급: 웹 데이터 추출을 위한 쿼리 언어, AgentQL.

Google Colab의 한계를 극복하고 라마를 실행하기

병렬 프로세스를 위한 Google Colab 노트북의 순차적 특성에 대해 설명합니다.

Python 서브 프로세스를 사용하여 라마 서비스를 비동기적으로 실행합니다.

모델 다운로드 전에 라마 서비스가 시작되도록 지연 시간을 추가합니다.

모델 다운로드 완료 및 체크섬 확인.

랭체인 통합 애플리케이션에서 라마 사용.

LangChain 설치 및 기능에 대한 간략한 설명입니다.

LLM을 사용하여 AI 기반 애플리케이션을 만들기 위한 프레임워크인 LangChain.

랭체인과 라마를 사용하여 질문에 답변하는 예시입니다.

프롬프트, 생각의 연쇄, 라마 모델 호출을 정의합니다.

리소스 사용량(VRAM 사용량) 확인.

구글 랩 노트북으로 연결되는 링크와 구독/공유를 위한 전화.