LlamaOCR: Llama 3.2 모델을 통한 OCR 기능 강화

TogetherAI의 LlamaOCR은 강력한 Llama 3.2 비전 모델을 사용하여 OCR 작업을 간소화합니다.

### 이미지 텍스트 추출을 위한 강력한 도구, LlamaOCR 살펴보기
* 🦙 TogetherAI에서 개발한 LlamaOCR은 **Llama 3.2 비전 모델, 특히 900억 개의 파라미터 버전**을 활용하여 이미지에서 텍스트를 효과적으로 추출합니다.
* 💻 이 도구는 **NPM 패키지를 통해 액세스**할 수 있으며, 사용자는 **LlamaOCR을 가져오고, 파일 경로를 입력**하고, **TogetherAI API 키**를 사용하여 **편집 가능한 텍스트 출력**을 받을 수 있습니다.
* 📸 사용자는 스크린샷을 도구로 끌어다 놓아 편집할 수 없는 텍스트를 **마크다운 형식으로 변환**하고 제목과 서식을 유지할 수 있습니다.
* 🔍 이 모델의 성능은 확률적 특성으로 인해 동일한 입력에 대해 다른 출력이 나올 수 있지만 일반적으로 **영수증의 품목 및 가격에 대해 정확한 결과**를 제공합니다.
* 🐍 사용자가 텍스트 추출을 위해 **로컬 이미지와 URL 기반 이미지 모두**로 작업할 수 있도록 TogetherAI API를 사용하여 **LlamaOCR의 Python 구현**을 만들 수 있습니다.
* 💰 모델 사용 비용은 토큰 사용량에 따라 책정되며, **900억 모델은 100만 토큰당 1.20달러**, **110억 모델은 100만 토큰당 0.18달러**로 책정됩니다.
* 📈 고급 OCR 작업의 경우 **관심 영역 접근 방식을 사용하거나 더 작은 모델로 여러 번의 패스**를 실행하면 추출된 텍스트의 정확도와 구조를 개선할 수 있습니다.
* 🌐 사용자가 이미지에서 정보를 수집하고 이를 스크랩한 데이터와 결합하여 종합적인 분석 및 보고를 할 수 있도록 해주는 **웹 스크래핑까지 LlamaOCR의 잠재적 적용 범위**를 확장할 수 있습니다.

LlamaOCR - Building your Own Private OCR System

HI my name is Sam Witteveen, I have worked with Deep Learning for 9 years and with Transformers and LLM for 5+ years.  I was appointed a Google Developer Expert for Machine Learning in 2017 and I currently work on LLMs and and since earlier in 2023 on Autonomous Agents. 

Sam Witteveen

TogetherAI의 프로젝트인 LlamaOCR은 Llama 3.2 비전 모델(900억 개의 파라미터 버전)을 활용합니다.

쉽게 통합되는 NPM 패키지로, OCR을 위한 파일 경로와 TogetherAI API 키만 있으면 됩니다.

이 동영상에서는 기능, Python 재현, Ollama를 통한 로컬 사용, 웹 스크래핑을 위한 에이전트 통합에 대해 다룹니다.

서식과 제목을 유지하면서 스크린샷을 편집 가능한 텍스트로 변환하는 데모를 보여줍니다.

모델의 확률적 특성을 강조하여 동일한 입력에 대해 다양한 출력을 생성합니다.

Python으로 코드 재창조 및 LlamaOCR 코드 분석

LlamaOCR의 코드는 대규모 언어 모델 또는 VLM 엔드포인트를 효과적으로 사용하여 간단합니다.

코드는 TogetherAI에서 가져온 단일 TypeScript 파일로, 사용된 프롬프트를 보여줍니다.

이 프롬프트는 관리형 서비스의 비정기적인 댓글과 달리 마크다운 콘텐츠만 반환하도록 모델에 지시합니다.

Python 레크리에이션은 110억 개에서 900억 개 사이의 매개변수 비전 모델을 선택하는 TogetherAI 패키지를 사용합니다.

이미지 입력 방법에는 이미지 URL과 base64로 인코딩된 로컬 이미지(JPEG, PNG 등)가 있습니다.

다른 모델 및 대체 접근 방식과의 비교

Qwen 2 VL 모델은 서비스에서 제외되어 비교가 불가능합니다.

이미지 입력 방법은 다른 모델(쌍둥이자리 등)과 동일하게 웹 URL 또는 로컬 파일입니다.

다른 프롬프트를 사용하면 순수한 OCR 텍스트가 아닌 보다 설명적인 출력을 얻을 수 있습니다.

다양한 이미지 유형과 프롬프트를 처리하기 위해 사용자 지정 이미지 처리 클래스가 만들어집니다.

구조화된 작업에는 관심 영역 모델이 제안되므로 VLM이 항상 완벽하게 OCR과 구조를 추출하지는 못할 수 있습니다.

웹 스크래핑을 위한 Ollama 및 에이전트 통합을 통한 로컬 실행

Ollama는 11B 및 90B 모델의 로컬 실행을 허용합니다(90B는 상당한 RAM이 필요함).

에이전트 통합은 이미지와 차트가 있는 웹 페이지를 스크랩하는 데 유용하며, VLM은 이 영역에서 개선되고 있습니다.

에이전트 솔루션은 HTML 스크래핑과 이미지 추출 및 OCR을 결합하여 이미지에 여러 개의 프롬프트를 사용할 수 있습니다.

이미지로 웹페이지 스크래핑을 위한 에이전트 도구 구축에 대한 자세한 내용은 Patreon 동영상에서 확인할 수 있습니다.

클라우드 기반 LLM은 OCR을 간소화하며 다양한 모델(Llama 3.2, Gemini Pro, GPT-4V)에 적용할 수 있습니다.

향후 작업에는 멀티모달 RAG 애플리케이션을 위한 RAG 파이프라인 탐색이 포함됩니다.

시청자가 OCR 접근 방식과 애플리케이션을 공유하도록 장려합니다.