네, 안녕하세요. 이번 시간에는 제미나이 프로 API 이용해서 고성능 LLM 사용하는 방법에 대해서 살펴보도록 하겠습니다.

네, 이제 구글 제미나이 같은 경우는 최근에 오픈 AI ES GPT 시리즈로 이 대규모 고성능 LLM 압도적인 성능을 보여주면서 AI 업계를 리드해 나가고 있는데 그에 따라서 이제 상대적으로 조금 뒤쳐져 있던 구글에서 그 뒤쳐져 있는 걸 만회하기 위해서 작년 12월에 절치부심해서 새롭게 내놓은 멀티모달 LLM 모델 이 제미나이인데요.

네, 그래서 이제 제미나이 성능 같은 경우 이제 뭐 GPT 비슷하다라는 의견이 대부분인데, 근데 가장 큰 장점은 현재 시점에 지금 영상 촬영 시점 기준인 2024년 1월 기준으로 이 초당 60번 요청까지 이제 무료로 사용할 수 있기 때문에 오픈 AI API GPT 사용하려면 요청량 오픈 AI 비용을 지불해야 되는데 이제 구글에서 좀 상대적으로 지금 밀리고 있다 보니까 이제 과감하게 무료로 우선은 모델을 풀어 놓은 거 같고요.

그래서 성능은 GPT 뭐 비슷할 수 있는데 무료로 사용할 수 있다라는 점에서 엄청난 메리트가 있는 상황이고요.

네, 그 대신 여기 이제 제미나이 API Pro 어떤 텍스트나 이미지 같은 거를 구글 측에 보내게 되면 그게 제미나이 프로에 이제 뭐 트레이닝 데이터에 활용될 수도 있기 때문에 그 부분을 이제 유의해서 어떤 회사 내 기밀 정보나 이런 거는 업로드하시면 안 되겠고요.

네, 그래서 이 제미나이 프로 API 사용을 위해서 API 키 생성하고 사용하는 예제 코드에 대해서 살펴보도록 하겠습니다.

네, 제미나이 API 사용하기 위해서는 먼저 내 구글 계정에 제미나이 API 키를 생성을 해야 되는데요.

네, 그래서 여기 링크 들어가서 네, 처음 접속하시면 이 팝업 창이 하나 뜨는데 약관 동의하는 거에 대해서 동의하고 컨티뉴 눌러 주시고요.

네, 그다음에 처음 접속하시면 이 크리에이 API 키인 뉴 프로젝트 눌러 주시고요.

그러면 API 키 팝업 창이 뜨면서 API 생성이 되게 되는데 이 API는 당연히 다른 사람들이 확인하면 안 되기 때문에 안전한 곳에 잘 보관을 해두시고 네.

그래서 이렇게 처음 만드시면 Create API Key in New Project 버튼 눌러서 생성하시면 되고 만약에 구글 클라우드에 기존에 사용하던 어떤 다른 프로젝트가 있다라고 하면은 이 Create API in existing Project 이거 눌러서 이제 구글 제미나이 API 키를 생성을 해 주시면 되고요 네.

그래서 이렇게 구글 제미나이 API 키 생성하는 과정을 살펴봤고 이제 실제 예제를 통해 이 제미나이 API를 통해서 제미나이를 사용하는 방법에 대해서 살펴보도록 하겠습니다.

네. 그래서 기본적인 제미나이 API 사용법을 살펴보기 위해서 이 퀵스타트 예제에 있는 공식 도큐먼트를 참조해서 실제 코드를 통해서 제미나이 프로를 사용해 보도록 하겠고요 네.

그래서 먼저 여러분들은 파일 수정 권한이 없으실 거기 때문에 여기 파일 드라이브에 사본 저장 눌러서 사본 파일을 먼저 하나 생성을 해 주시고요.

네, 그래서 사본 파일 생성된 상태에서 먼저 구글 제브 AI 라이브러리를 인스톨해 주시고요.

네, 그다음에 방금 인스톨한 구글 제티브 AI 기타 필요한 라이브러리들을 쭉 임포트 해 주시고 그다음에 제미나이 프로가 생성해준 텍스트를 마크다운 형태로 조금 보기 좋게 디스플레이하기 위한 투 마크다운 펑션을 하나 정의를 해 주시고요.

네, 그다음에 이쪽 셀에 여러분의 제미나이 API 키를 지정을 하고 이쪽 셀 실행을 진행을 해 주시고요.

그다음에 여기서 설정한 제미나이 API 키를 지정을 해 주고, 네, 그다음에 현재 시점에 사용 가능한 모델 리스트를 이젠 AI 리스트 모델스 펑션을 호출해서 살펴보면은 지금 영상 촬영 시점 기준인 2024년 1월 기준으로 제미나이 프로랑 제미나이 프로 비전 이렇게 두 가지 모델이 사용 가능한 상태이고요.

두 가지 모델의 차이점 같은 경우는 제미나이 프로 같은 경우는 텍스트 인풋을 받을 수 있는 형태의 모델이고, 제미나이 프로 비전 같은 경우는 이제 텍스트랑 이미지를 같이 받아서 처리할 수 있는 비전 관련 멀티모델 모델이다 생각하시면 되겠고요.

그래서 먼저 텍스트 입력을 받을 수 있는 이 제미나이 프로 모델을 이젠 AI 제너레이티브 모델 이렇게 설정해서 제미나이 프로 모델을 설정을 해 주고, 이 모델에 입력으로 넣을 프롬프트로 인생의 의미가 뭐야, 이렇게 제너레이트 콘텐트 펑션 안에다가 저희가 요청할 프롬프트 작성해서 리스폰스 받아오게 되면은 리스폰스 받아온 텍스트를 위에 정의한 투 마크다운 펑션으로 텍스트 형태로 정의를 해 보면은 내 인생의 의미가 뭐야라고 프롬프트에 행복을 추구하십시오.

행복은 인생의 의미에 대한 가장 인기 있는 대답 중 하나입니다.

사랑을 나누십시오. 목표를 설정하고 달성하십시오. 다른 사람을 돕습니다.

자연을 즐기십시오. 자기 개발을 계속하십시오. 긍정적인 사람들과 시간을 보내십시오.

효과적으로 문제를 해결하십시오. 이렇게 인생의 의미를 추구할 수 있는 여덟 가지의 시를 보여 주었고요.

네, 그다음에 코드 작성 능력을 테스트하기 위해서이 파이낸스 데이터 리더라는 주식 시장 데이터를 판다스 데이터 프레임 형태로 크롤링 해 올 수 있는이 라이브러리 링크를 하나 알려주고이 파이낸스 데이터리더 라이브러리를 이용해서 삼성전자 주가를 크롤링하는 파이썬 코드를 작성해 줘.

이렇게 요청한 다음에 리스폰스를 받아보도록 하겠고요.

네, 그러면 이제 제미나이 프로가 이렇게 파이낸스 데이터 리더 라이브 이용해서 삼성전자 주가를 받아올 수 있는 펑션을 작성을 해 줬고 그러면 실제로 파이낸스 데이터리더 라이브러리를 pip 인스톨로 설치해 준 다음에이 제미나이가 작성해 준 코드로 잘 돌아가나 한번 보도록 하겠고요.

네, 이러면은 005930 2022년 1월 1일부터 2022년 12월 31일까지 삼성전자 주가 데이터를 파이낸스 데이터 리더로 크롤링 한 다음에 CSV 파일로 이렇게 저장을 해 준 거고요.

네, 그래서 이렇게 파이낸스 데이터 리더 라이브러리 링크를 알려주고 이 라이브러리를 이용해서 삼성전자 주가 크롤링하라는 코드 작성을 잘 해 준 모습을 볼 수 있고요.

그다음에 제미나이의 크리에이티브 작업 능력을 테스트하기 위해서 가을에 관한 시를 작성해 줘.

이렇게 요청을 해 보도록 하겠고, 네.

그러면은 가을이 다가오네요. 나뭇잎의 색깔이 바뀝니다. 녹색에서 노란색으로 그리고 빨간색으로 바뀝니다.

이렇게 해서 쭉 가을에 관한 어떤 시를 작성을 해 주기 하는데, 근데 뭔가 이게 퀄리티가 그렇게 높아 보이지는 않긴 한데 어쨌든 뭐 나름대로 제미나이 프로 관점에서 가을에 관한 시를 작성을 해 줬고 그다음에 여기 리스폰스 받아온 거에서 프롬프트 피드백이라는 인원 값을 확인을 해 보면은 이렇게 성적으로 문제가 되는 콘텐츠인 혐오 발언이 있는지 어떤 해를 끼치는 발언이 있는지 이런 것들에 대한 어떤 위험한 요소에 대한 판단 인원 값이 이쪽에 들어가 있게 되고요.

그래서 지금 같은 경우는 이제 다 문제 없는 형태라고 이렇게 가능성이 나왔는데 혹시 문제가 되는 발언이 있는지 체크할 수 있는 것도 이렇게 모델 작업 결과에 포함을 하고 있어서 문제가 되지 않는 프롬프트를 생성하는 안전한 LLM 만드는데 신경을 써서 개발이 되어 있는 상태이고요.

네, 그래서 이렇게 Gemini Pro로 텍스트 프롬프트에 대한 리스폰스를 받아오는 예제들을 살펴봤는데 앞서 말씀드린 것처럼 뭐 GPT보다 나은지는 조금 애매하긴 한데 그래도 이제 뭐 GPT처럼 1등 모델이 아니라 다른 모델들 비교하면 지금 한국어 처리도 잘 해주고 엄청나게 좋은 성능인 거를 확인해 보실 수 있겠죠.

네, 그다음에 이제 멀티모달 형태로 이미지랑 프롬프트를 같이 처리할 수 있는 예제를 살펴보기 위해서 이쪽에 이미지 하나를 이미지 jpg 파일로 다운로드를 받아 주겠고 그 이미지를 이제 읽어 와서 화면에 그려 보면은 이렇게 밥이랑 브로콜리랑 치킨이랑 이 파프리카 벨 페이퍼라 하는데 파프리카 비슷한 게 들어가 있는 이미지이고요.

그다음에 이제 모델을 생성을 할 때 아까는 이제 제미나이 프로 모델로 설정했는데 이번에는 이미지랑 같이 처리할 수 있는 멀티모달 모델인 제미나이 프로 비전, 제미나이 프로 비전 모델로 설정해서 모델 설정한 다음에 이제 제너레이트 컨텐트 펑션 안에 프롬프트 텍스트가 아니라 이렇게 이미지를 넣어서 그냥 이 이미지를 인풋으로 넣었을 때 모델이 어떤 리스폰스를 생성해 주는지를 살펴보면은 네, 이거는 이제 어떤 두 개의 유리 접시에 담겨 있는 음식인데 그 유리 접시 안에는 밥이랑 치킨이랑 브로콜리랑 당근이랑 그다음에 데리야키 소스로 양념되어 있다 해서 이 사진에 있는 의미를 잘 해석해서 이미지의 의미를 잘 이해하고 텍스트 생성을 진행을 해 줬고요.

그러면 이걸 이제 같이 텍스트 프롬프트랑 응용해서 이 이미지를 넣어 주고 그다음에 텍스트 프롬프트로 이 사진을 바탕으로 한 짧고 흥미로운 블로그 포스트를 작성하세요.

사진 속 식사에 대한 설명을 포함하고 제가 식사 준비하는 과정에 대한 여정을 이야기하세요.

이렇게 프롬프트 작성해서 제너레이트 콘텐트 펑션의 리스트 형태로 이미지랑 텍스트 프롬프트를 같이 넣어서 리스폰스를 받아오게 되면은 네, 이렇게 가상의 블로그 포스팅에 대한 텍스트를 작성을 해 주는데 안녕하세요.

저는 요리를 좋아하는 사람입니다.

특히 저는 건강하고 맛있는 음식을 요리하는 것을 좋아합니다.

그래서 이 요리 생성에 관한 어떤 그냥 블로그 포스팅 스타일 느낌의 어떤 이런 짧은 포스팅 텍스트를 생성을 해 줬고요.

네, 그다음에 이제 OCR 형태의 성능을 측정해 보기 위해서 이 OCR 위한 이미지를 하나 다운로드 받아서 불러와 보도록 하겠고요 네, 그래서이 OCR 테스트 jpg라는 이미지를 하나 다운로드 받았고이 이미지 같은 경우는 네, 이미지 안에 대한 안전 교육 협회 코리아 세이프티 에듀케이션 어소시에이션 이런 형태의 텍스트가 들어가 있는 이미지이고, 그러면 텍스트 프롬프트 없이 그냥 순수하게이 이미지를 인풋으로 줬을 때 제미나이 프로비전 모델이 어떻게 리스폰스를 생성해 주는지 보면은 네, 대한 안전 교육 협회라는 리스폰스를 주는데 여기에 가운데 있는 글자를 그냥 해석해서 이렇게 답변을 준 거 같고요.

그럼 이제 조금 더 명확하게 저희 의사를 전달하기 위해서이 사진에 있는 텍스트를 추출해 줘라는 텍스트랑이 이미지를 같이 넣고 제너레이트 콘텐트 함수로 이제 제미나이 프로 비전 모델에 요청을 했을 때 리스폰스를 측정을 해 보겠고 네, 그러면은이 이미지에 있는 대한안전교육 협회 코리아 세이프티 에듀케이션 어소시에이션에서 이 안에 있는 텍스트를 정확하게 OCR 잘 수행해 준 모습을 볼 수 있고요.

그래서 이런 이미지에 대한 OCR 성능도 대단히 높은 성능으로 잘 수행하고 있는 형태의 모델이다 볼 수 있겠고, 그다음에 여기까지 이제 단권 요청에 대한 API 콜과 리스폰스를 처리를 해 봤는데, 저희가 문맥을 가지고 있고 그 이전 문맥 정보를 같이 활용해서 연속적인 형태로, 그러니까 ChatGPT처럼 이전 프롬프트 요청에 대한 걸 기억을 하고 있다가 더 이어서 프롬프트 요청을 하는 형태의 채팅 인터페이스로 구현을 하고 싶다라고 하면은, 이 제미나이 프로 모델 설정한 다음에 스타트 챗 펑션을 호출해서 이 챗 세션 클래스 인스턴스를 이렇게 하나 만들어 주시고, 그 여기에 이제 이 스타트 챗으로 챗 세션 만들어 놓은 거에 샌드 메시지로 추가적으로 차곡차곡 메시지를 쌓아 주면은 여기 이제 이 챗 세션 쪽에 이전 메시지에 대한 것도 저장이 되어 있고 그거를 고려해서 이제 히스토리를 포함한 상태에서 답변을 해 주는 채팅 모델도 만들 수 있고요.

네, 그래서 이 챗 세션 모델에 샌드 메시지 펑션으로 어린 아이에게 컴퓨터가 어떻게 작동하는지 한 문장으로 설명하세요.

이렇게 요청을 한 다음에 리스폰스 받아 오면은 이제 제미나이 프로 모델이 '컴퓨터는 당신이 말하는 대로 일을 하는 기계야.

' 이렇게 어린아이에게 컴퓨터를 설명해 준 리스폰스를 만들었고 그래서 여기 저장돼 있는 이 챗 세션에 저장돼 있는 걸 보면은 먼저 유저 프롬프트로 이렇게 요청이 들어갔고 이 모델 리스폰스를 제미나이 프로가 이런 답변을 해 줬고요.

이걸 이제 기억을 하고 있는 상태에서 히스토리 내에서 추가 메시지로 좀 더 자세한 설명으로 고등학생에게 컴퓨터가 어떻게 작동하는지 설명해 주세요.

이렇게 요청하게 되면은 네, 이렇게 조금 더 복잡하게 고등학생에게 적합한 형태로 컴퓨터에 대한 자세한 설명을 만들어 줬고 그래서 이 챗 세션에 들어가 있는 전체의 히스토리를 프린트해 보면은 처음 이렇게 한번 주고받은 거 두 번째 주고받은 거 이렇게 이 전체 주고받은 내역이 세 션 쪽에 저장이 되어서 이 뒤에 들어오는 프롬프트 같은 경우는 앞에 히스토리로 저장된 프롬프트랑 리스폰스를 참조해서 이 제미나이 프로 모델이 결과를 생성해 준다, 이렇게 정리해 볼 수 있겠고요.

네, 그래서 이번 시간에는 이 제미나이 퀵스타트 예제를 통해서 이 제미나이 프로랑 제미나이 프로 비전 모델을 사용하는 기초적인 방법을 살펴봤고 이제 제미나이 프로 같은 경우는 현재 2024년 1월 기준으로 뭐 구글 측의 주장으로는 GPT 4를 뛰어넘었다고 주장하고 있긴 한데 여러 가지 실제 테스트 결과 그 정도의 성능은 나오지는 않고 있는 거 같고 이제 GPT 3.5, GPT 4랑 약간 비슷하거나 약간 떨어지는 성능을 발휘하는 상태인데 그렇지만 이제 가장 큰 이점은 2024년 1월 기준으로 현재 무료로 이 제미나이 Pro라는 강력한 LM 사용할 수 있기 때문에 LM을 이용해서 어떤 다양한 연구와 시도를 해보고 싶은 분들이 비용 부담 없이 무료로 사용해 볼 수 있는 강력한 LM 중에 하나이다, 이렇게 정리해 볼 수 있겠습니다.

네, 그래서 이번 시간도 수강해 주셔서 감사합니다.

구글 제미나이(Gemini) API로 무료로 ChatGPT 만들기 - Gemini Quickstart

AISchool

이번 시간에는 구글의 제미나이 프로 API를 사용하여 고성능 LLM을 사용하는 방법을 알아봅니다. **제미나이는 오픈 AI의 GPT 시리즈에 대응하기 위해 구글에서 새롭게 내놓은 멀티모달 LLM 모델**입니다.

**가장 큰 장점은 2024년 1월 기준으로 초당 60번 요청까지 무료로 사용할 수 있다는 점**입니다. 오픈 AI API 사용 시 비용이 발생하는 것과 비교하면 큰 이점입니다. 성능은 GPT와 비슷하거나 약간 떨어질 수 있지만, 무료라는 점이 매력적입니다.

주의할 점은 제미나이 API Pro 사용 시 텍스트나 이미지가 구글의 트레이닝 데이터에 활용될 수 있으므로, **회사 기밀 정보 등은 업로드하지 않도록 주의해야 합니다**.

제미나이 API를 사용하려면 먼저 구글 계정에서 API 키를 생성해야 합니다. **구글 클라우드에 기존 프로젝트가 있다면 해당 프로젝트를 활용하여 API 키를 생성할 수도 있습니다**.

퀵스타트 예제의 공식 문서를 참조하여 제미나이 프로를 사용하는 방법을 살펴봅니다. 먼저 구글 제브 AI 라이브러리를 설치하고 필요한 라이브러리들을 임포트합니다. **제미나이 프로가 생성해 준 텍스트를 마크다운 형태로 보기 좋게 표시하기 위한 함수를 정의**합니다.

API 키를 지정한 후, 사용 가능한 모델 리스트를 확인합니다. 2024년 1월 기준으로 제미나이 프로와 제미나이 프로 비전 두 가지 모델을 사용할 수 있습니다. **제미나이 프로는 텍스트 입력을, 제미나이 프로 비전은 텍스트와 이미지를 함께 처리할 수 있습니다**.

제미나이 프로 모델을 설정하고 "인생의 의미가 뭐야"라는 프롬프트를 입력해 봅니다. **제미나이가 행복 추구, 사랑, 목표 설정 등 인생의 의미를 추구할 수 있는 여덟 가지 방법을 제시**했습니다.

코드 작성 능력을 테스트하기 위해 파이낸스 데이터 리더 라이브러리를 이용하여 삼성전자 주가를 크롤링하는 파이썬 코드 작성을 요청해 봅니다. **제미나이 프로가 라이브러리를 활용하여 코드를 성공적으로 작성**했습니다.

창의적인 작업 능력을 테스트하기 위해 가을에 관한 시를 작성해 달라고 요청합니다. **제미나이 프로가 가을에 대한 시를 작성했지만, 퀄리티는 다소 아쉬운 부분**이 있습니다.

프롬프트 피드백을 통해 혐오 발언이나 해를 끼치는 발언 등 위험 요소에 대한 판단 인원 값을 확인할 수 있습니다. **문제없는 프롬프트를 생성하는 안전한 LLM을 만들기 위해 노력한 흔적**을 엿볼 수 있습니다.

🖼️ 멀티모달 예제 (이미지 + 텍스트)

이미지와 프롬프트를 함께 처리할 수 있는 멀티모달 예제를 살펴봅니다. 제미나이 프로 비전 모델을 사용하여 이미지를 입력했을 때 어떤 응답을 생성하는지 확인합니다. **밥, 치킨, 브로콜리 등이 담긴 이미지를 넣었을 때, 이미지의 내용을 정확하게 파악하고 텍스트를 생성**했습니다.

이미지와 함께 텍스트 프롬프트를 사용하여 블로그 포스트를 작성해 달라고 요청합니다. **사진 속 식사에 대한 설명과 식사 준비 과정에 대한 여정을 담은 블로그 포스팅 스타일의 텍스트를 생성**했습니다.

OCR 성능을 측정하기 위해 텍스트가 포함된 이미지를 입력해 봅니다. **이미지에 있는 텍스트를 정확하게 추출하여 OCR 성능이 매우 높음**을 확인할 수 있습니다.

이전 문맥 정보를 활용하여 연속적인 형태의 챗 인터페이스를 구현할 수 있습니다. **스타트 챗 펑션을 호출하여 챗 세션 클래스 인스턴스를 만들고, 샌드 메시지 펑션으로 메시지를 추가하면 이전 메시지를 기억하고 히스토리를 포함한 답변을 생성**합니다.

어린아이에게 컴퓨터 작동 방식을 설명해 달라는 요청과 고등학생에게 더 자세한 설명을 해달라는 요청을 통해 **이전 대화 내용을 기억하고 있다는 것을 확인**할 수 있습니다.

제미나이 프로는 GPT-4를 뛰어넘는다고 주장하지만, 실제 테스트 결과 GPT-3.5 또는 GPT-4와 비슷하거나 약간 떨어지는 성능을 보입니다. **가장 큰 장점은 2024년 1월 기준으로 무료로 사용할 수 있다는 점**입니다. LLM을 이용한 다양한 연구와 시도를 비용 부담 없이 해보고 싶은 분들에게 강력 추천합니다.