네, 안녕하세요. 이번 시간에는 라마 3.2 비전 모델을 가져와서 라마

3.2 비전 모델의 비주얼 퀘스천 앤서링

성능을 테스트해 보도록 하겠습니다. 네, 그래서 앞선 챕터에서

출시되면서 기존의 라마 3.1 대비 가장 크게 차이가 생긴 부분은 온

디바이스에서 실행할 수 있는 라마 3.2 1B 모델과 3B 모델이라는

기존 라마 대비 더 작은 파라미터 모델을 공개한 것과, 그다음에

이미지 인식까지 수행할 수 있는 멀티모달 모델인 비전 11B 모델과

비전 90B 모델을 같이 공개해서 기존의 텍스트만 입력으로

받을 수 있었던 라마 모델을 이제 이미지까지 받을 수 있는 형태로

확장하였는데요. 네, 그래서 멀티모달

LM 형태로 구현하게 되면 기존의 멀티모달이 아닌 LLM 같은

경우는 텍스트만 입력으로 받을 수 있기 때문에, 뭐 예를 들어서

유치원생에게 노스탤지어의 개념을

설명해 줄 수 있어, 뭐 이런 식의 텍스트 요청이 들어오면 그런 텍스트

요청에 대해 LM이 답변을 잘 수행할 수 있지만, 어떤 이미지와

텍스트를 같이 받을 수 있는 멀티모달 LM으로 확장될 경우, 이미지로

어떤 음식 사진을 보여주고 질문,

『식탁에 놓인 음식은 열량이 높은

편인가요?』 이런 식으로 이미지와 텍스트를 같이 받아 처리하게

되면,  『내 식탁에 놓인 음식은 일반적으로 열량이 높은 편입니다.』

핫도그와 감자튀김은 고탄수화물, 고지방

음식으로, 이들 각각은 비교적 높은 열량을… 뭐 이런

식으로 그 이미지 안에 정보를 같이 해석해서, 기존에 텍스트만 받는

LM이 해결하지 못하던 더 다양한 문제 영역을 해결할 수 있게

되는데요. 그래서 당연하지만, 현실

세계의 많은 부분이 이미지로 구성되어 있기 때문에 이미지를 처리할 수

있다는 것은 현실 세계의 훨씬 더

많은 문제를 LM이 이해하고 해결할 수 있는 지평이 열리는 거고요. 그래서 여기 라마 측에서 멀티모달

예시로 하나 넣어 놓은 어플리케이션

같은 경우는 이렇게 인테리어 어시스턴트로 집안 인테리어 사진을

보여주면 라마 3.2 비전 모델이 인테리어를 위해 이미지 묘사문을

만들고, 그 묘사문에서 가구들을 감지한 다음

원하는 가구 스타일을 제한하면, 그 제한에

맞는 가구 스타일의 이미지를 추천해서

집안 인테리어 개선을 도와주는 어플리케이션을

이런 비전 라마 모델을 이용해서 만들 수 있고요.

그 외에도 이미지 안의 텍스트를 인식하고 번역해서

파파고 같은 이미지 번역 어플리케이션을 만든다든지,

생각하는 방식에 따라 이미지와 텍스트를 함께 처리하는

다양한 실용적인 어플리케이션을

11B, 90B 비전 모델의 이미지 포함 LLM 벤치마크 성능을

텍스트에 대한 LLM 성능을 평가할 때 가장 많이 사용하는 데이터셋 중 하나가 VQA v2 데이터셋인데, 이 데이터셋에 대해 라마 3.2 11B 비전 모델은 75.2%의 성능, 라마 3.2 80B 모델은 78.1%의 성능을 보였습니다.

이 비주얼 퀘스천 앤서링(VQA) 데이터셋은 이미지와 이미지 내용을 해석하여 답변해야 하는 질문을 함께 제공합니다.

예를 들어, 이 이미지에서 그녀의 눈동자 색깔이 무엇인가요? 라는 질문에 "검은색"이 정답이고, "수염은 무엇으로 만들어졌나요?" 라는 질문에 "바나나"라고 답하는 식입니다.

이미지가 어떻게 구성되어 있는지 AI 모델이 제대로 인식해야 답변할 수 있는 질문과 그에 대한 정답(Answer)을 사람이 만들어 놓았고, 사람이 만든 정답과 AI가 답변한 정답이 얼마나 일치하는지 평가하여 점수를 매기는 데이터셋입니다.

그런데 이 데이터셋은 영어로 구성되어 있기 때문에, 이번 시간에는 라마 3.2 비전 모델의 한국어 비주얼 퀘스천 앤서링 벤치마크 성능을 살펴보겠습니다.

측정해 보기 위해서 이 AI 허브 사이트에 올라와 있는 시각 정보 기반

의 응답이라는 데이터를 다운로드받아서 테스트를 진행해 보겠고요.

그래서 이 데이터셋 같은 경우는 방금 설명드린 비주얼 퀘스천링 데이터셋과

유사하게 이미지랑 그에 대한 질문이 있고, 그때 사람이 만들어 놓은 정답이

있어서 AI 모델이 사람이 만들어 놓은

정답과 얼마나 유사한지 테스트할 수

있는 데이터셋이고, 그래서 앞선 영어 비주얼 퀘스천

링 데이터셋을 한국어 버전으로 구축해서 만들어 놓은 데이터셋이라고

생각하시면 되겠고요. 그래서 먼저 여러분들은

파일 수정 권한이 없으실 거기 때문에 여기 파일 드라이브에 '사본 저장'

을 눌러서 사본 파일을 먼저 하나 생성해 주시고요. 그다음에 이번 시간에

라마 3.2 11B 비전 인스트럭터 모델을 가져와서 테스트를 해 볼 건데,

앞선 예제들과 마찬가지로 이 모델 사용하기 앞서서 여러분의 허깅페이스

계정으로 로그인하신 다음에 이 라마 비전 모델 사용 승인에 대한 요청을

먼저 메타 측에 요청하셔야 됩니다.

그 메타 측에서 라마 3.2 비전 모델에 대한 사용 승인을 해 준

다음에 이 모델을 다운로드받아서 테스트해 보실 수 있고요. 그래서

사용에 앞서서 먼저 이쪽 Hugging Face

페이지에 들어와서 로그인하신 다음에 이쪽에 있는 폼을 작성해서 메타의

라마 비전 모델 사용 승인을 먼저 받아 주시고요. 그다음에 이 모델 같은

경우 이제 11B 모델이라 한 20GB 정도 GPU 메모리가

필요해서 이제 무료 Colab GPU에는 올라가지 않고, Colab Pro 사용자이실 경우

사용할 수 있는 A100 GPU를 연결해서 테스트를 진행해 보도록

하겠고요. 그래서 A100 GPU를 연결하신 다음에, 그래서 NVIDIA SMI에 GPU가 잘

연결된 거 확인하시고, 그다음에 필요한 라이브러리들을 설치해

주시고, 그다음에 이쪽 셀에 메타의 라마 3.2 비전 모델 승인받은

여러분의 계정에, 여러분의 Hugging Face access token 값을 이쪽에 지정하시고

이쪽 셀을 실행해 주시고요. 그다음에 Llama 4 Conditional

Generation이라는 Transformer 모듈, 혹은

AutoProcessor 모듈을 이용해서 라마 3.2 11B 비전 instruction 모델의

토크나이저 모델을 불러와 로드하고

지금 테스트해 볼 모델은 라마 3.1 11B 모델입니다. 비전 인스트럭션 파인튜닝되어

사용자 요청에 대한 답변을 잘 할 수 있도록 파인튜닝된 모델을

가져와서 테스트를 진행할 건데요.

이 모델 용량이 꽤 크기 때문에 모델 다운로드 및 로드에 시간이 걸릴 수 있습니다.

인터넷 속도에 따라 시간이 달라질 수 있는데, 제 경우에는 모델 다운로드와 로드에

약 10분 정도 소요되었습니다.  라마 3.2 11B 비전

인스트럭션 모델이 잘 동작하는지 새니티 체크를 진행하겠습니다.

이 URL에 있는 의인화된 토끼 이미지를 가져와서, 이 토끼에 대한 간단한 하이쿠를

작성해 보겠습니다. 하이쿠는 일본식 시입니다.

프롬프트로 "이미지에 대한 하이쿠를 작성해줘"라고 하고, 이 토끼 이미지(이 URL)를 사용하겠습니다.

다운로드받은 다음에 파이썬의 PIL 이미지 모듈로

불러와서 가지고 있는 상태에서 Llama 토크나이저로 메시지를 토크나이징하고

그다음에 이 파이썬 이미지 모듈로 가지고 있는 이미지를 Llama 3.2

비전 모델에 같이 입력으로 넣어서 생성해서 최대 토큰

30개까지 생성하도록 강제해서 Llama 3.2 비전 모델로 이런 이미지랑

프롬프트에 대한 생성 결과를 만들고 토크나이저로 디코딩해서 사람이 읽을 수 있는

형태로, 사람이 이해할 수 있는 형태로 디코딩해서

살펴보면은 네, 이제 코트를 입은 토끼가

있다. 더러운 길에서 있다. 자연 경관은 아름답다. 뭐 이런 식으로 생성을 해 준

거죠. 네. 그래서 이를 보고 그와 연관된

라마 3.2(Llama 3.2) Vision 모델로 한국어 멀티모달 LLM 만들기 - 한국어 VQA 데이터셋 성능 테스트

AISchool

Llama 3.2 비전 모델 소개 및 멀티모달 LLM의 장점

Llama 3.2 비전 모델을 이용한 Visual Question Answering(VQA) 성능 테스트

Llama 3.2의 주요 특징: 더 작은 파라미터 모델(1B, 3B) 공개 및 이미지 인식 가능한 멀티모달 모델(11B, 90B) 공개

멀티모달 LM의 장점: 이미지와 텍스트를 함께 처리하여 기존 텍스트 기반 LLM이 해결하지 못했던 문제 해결 가능

이미지 처리 가능성으로 현실 세계의 더 많은 문제 해결 가능성 제시

멀티모달 모델 활용 예시: 인테리어 어시스턴트, 이미지 번역 어플리케이션 등 다양한 어플리케이션 개발 가능성

Llama 3.2 비전 모델의 영어 VQA 데이터셋 성능 및 한국어 VQA 데이터셋 소개

VQA v2 데이터셋에서 Llama 3.2 11B 모델은 75.2%, 80B 모델은 78.1%의 성능을 기록

VQA 데이터셋 설명: 이미지와 질문을 제공하고 AI 모델의 답변 정확도를 평가

한국어 VQA 벤치마크 성능 측정을 위한 AI 허브의 시각 정보 기반 질의응답 데이터셋 사용

데이터셋 설명: 이미지, 질문, 정답으로 구성되어 AI 모델의 정답과 사람이 만든 정답의 유사도를 측정

한국어 VQA 데이터셋을 이용한 Llama 3.2 11B 비전 모델 성능 테스트

데이터셋 다운로드 및 사본 생성 안내

Llama 3.2 11B 비전 인스트럭션 모델 사용을 위한 Hugging Face 계정 로그인 및 모델 사용 승인 절차 안내

모델 실행을 위한 Colab Pro 및 A100 GPU 사용 권장

토끼 이미지를 이용한 간단한 하이쿠 생성 테스트 및 한국어 이미지 묘사 테스트

AI 허브에서 시각 정보 질의응답 데이터 다운로드 및 콜랩 환경에 업로드 방법 안내

업로드된 세 장의 테스트 이미지 소개

세 장의 이미지와 질문을 Llama 3.2 모델에 입력하여 답변 생성 및 결과 분석

결론: Llama 3.2 11B 비전 인스트럭션 모델의 우수한 한국어 VQA 성능과 멀티모달 LLM 애플리케이션 개발 가능성 제시

라마 3.2(Llama 3.2) Vision 모델로 한국어 멀티모달 LLM 만들기 - 한국어 VQA 데이터셋 성능 테스트

스크립트