Upstage's Document Parsing: AI Solutions for Effective Data Handling

Upstage는 정확성과 효율성을 향상시키는 혁신적인 모델을 통해 AI 문서 구문 분석에 혁신을 일으키고 있습니다.

### 업스테이지: AI 도큐먼트 파싱의 중요성과 활용
* 👋 "오늘도 많은 분들이 참여해 주셔서 **감사드립니다.**"
* 💻 업스테이지는 AI 분야에서 선도적인 기업으로, **도큐먼트 파싱과 같은 혁신적인 제품**을 개발하고 있습니다.
* 🛠 ️ 이 기업은 다양한 AI 제품을 통해 국내외 시장에서 경쟁력을 갖추고 있으며, 특히 **LLM과 도큐먼트 AI 분야**에서 두각을 나타내고 있습니다.
* 📊 도큐먼트 파싱은 문서 내 다양한 레이아웃 요소를 정확히 인식하고 처리하는 데 필수적인 기술로, 이를 통해 **더 나은 데이터 활용**이 가능합니다.
* 🎉 오늘 라이브 방송에서는 **도큐먼트 파싱의 기능과 활용 사례**를 소개하며, 참여자들에게 **테스트 크레딧을 제공하는 이벤트**도 진행됩니다.
* 🤖 신승 님은 **도큐먼트 파싱 모델의 중요성과 그 기술적 문제를 해결하기 위한 접근 방법**에 대해 설명할 예정입니다.
* 📚 도큐먼트 파싱은 **문서 구조를 이해**하고, **텍스트 정보를 정확히 추출**하는 데 큰 도움이 되며, 이를 통해 사용자에게 더 나은 결과를 제공합니다.
* 📅 마지막으로, 이 기술은 문서 내 정보의 순서를 정확히 인식하여 **사용자가 원하는 답변**을 제공하는 데 중요한 역할을 합니다.

### 효과적인 문서 주석 및 구문 분석을 위한 가이드라인
* 📋 특히 개인의 취향에 따라 읽기 순서가 달라질 수 있는 포스터나 PPT 슬라이드와 같은 다양한 형식을 다루는 경우, 문서 주석의 명확성과 일관성을 보장하려면 **포괄적인 가이드라인**을 만드는 것이 필수적입니다.
* 🔄 주석 처리 과정에서 혼란을 줄이려면 주석 작성자에게 다양한 사례를 처리하는 방법을 안내하는 **명확한 규칙**을 설정하여 모델 학습에 사용될 데이터 세트의 일관성을 유지하는 것이 중요합니다.
* 📊 이러한 문서에는 디자인과 텍스트 콘텐츠가 혼합되어 있는 경우가 많아 정의된 주석 전략 없이는 구조화된 데이터를 추출하기가 어렵기 때문에 **PPT 슬라이드에 주석을 다는 것이 복잡**하다는 것은 잘 알려져 있습니다.
* 📝 이 토론에서는 입력 데이터의 품질이 모델 성능에 직접적인 영향을 미친다는 점을 강조하면서 **문서에서 데이터를 정확하게 구문 분석하고 구조화하는 것**이 중요하다는 점을 강조합니다.
* 🔍 효과적인 분석을 위해 레이아웃과 순서를 유지하면서 관련 정보를 추출하는 방법에 중점을 두고 **PDF와 이미지를 포함한 다양한 문서 형식의 프레젠테이션**을 다룹니다.
* 🛠 각 문서 유형의 고유한 특성을 수용할 수 있는 정교한 구문 분석 기술의 필요성을 강조하면서 **문서에서 구조화된 데이터의 추출을 향상시키기 위해 모델을 활용**할 수 있는 잠재력을 살펴봅니다.
* 📈 또한 문서 처리 파이프라인의 효율성을 평가할 수 있는 **강력한 평가 지표**를 마련하여 결과를 신뢰할 수 있고 해석할 수 있도록 하는 것의 중요성에 대해서도 논의합니다.
* 🤝 마지막으로, 커뮤니티 피드백의 가치는 **문서 구문 분석 기술의 개발과 개선에 있어 지속적인 개선**을 촉진한다는 점에서 인정받고 있습니다.

### 레이아웃 감지 및 문서 처리 모델 개요
* 📊 토론은 이미지의 레이아웃 박스 및 클래스 정보를 감지하기 위해 **트랜스포머 기반 인코더와 Detectron 2의 마스크 R-CNN**을 결합한 레이아웃 요소 감지기에 대한 개요로 시작되었습니다.
* 🖼 이 모델은 사전 학습을 위해 공개적으로 사용 가능한 **COCO 데이터 세트의 약 80,000개의 이미지**와 다양한 도메인에 걸쳐 미세 조정을 위한 **약 2,000개의 고품질 이미지**로 구성된 내부 데이터 세트를 활용합니다.
* 📚 이 모델은 **11개의 레이아웃 클래스를 분류**하도록 설계되었으며, 하나의 클래스가 태그 분류기 역할을 하고, **1344×1344픽셀 크기의 이미지를 처리**하고 분할 맵 없이 박스 정보만 출력합니다.
* 🔍 레이아웃 상자 및 클래스 정보와 함께 이미지를 처리하는 순서 추출기 모델은 **CNN 기반 인코더**를 사용하여 특징을 추출하고 **트랜스포머 디코더**를 사용하여 감지된 상자의 순서를 결정합니다.
* 🛠 데이터 증강 기술은 무작위 자르기가 때때로 성능에 부정적인 영향을 미치는 등 드물게 적용되며, 교육 중에는 **전체 페이지의 포괄적인 보기를 유지하는 데 중점**을 둡니다.
* 📏 **1344 x 1344 픽셀 이미지**를 선택한 이유는 지나치게 작은 이미지로 인한 성능 저하 없이 **텍스트 감지를 위한 충분한 디테일**을 확보하기 위해서입니다.
* 토론에서는 레이아웃 상자 정보를 기반으로 일반 문단과 제목을 구분하는 태그 분류기 모델을 통해 **제목과 문단 등 문서 구조를 인식**하는 것이 중요하다는 점도 강조되었습니다.
* 🌍 마지막으로 다양한 언어와 문서 형식에 맞게 모델을 조정하는 방법에 대해 논의하며, **다양한 지역과 언어에 걸쳐 문서의 고유한 특성을 포착하기 위한 맞춤형 데이터 세트의 필요성**을 강조했습니다.

### 문서 구문 분석 및 레이아웃 감지: 인사이트와 기술
* 📊 문서 구문 분석(DP)의 정확도는 매우 중요한 주제이며, **100% 정확도를 달성하는 것은 비현실적**이지만 개선을 위해서는 평가 지표를 이해하는 것이 필수적입니다.
* 🔍 사람이 직접 검토하거나 정량적 지표를 통해 파싱된 데이터를 검증하는 방법은 **향후 논의에서 다뤄야 할 중요한 관심 영역**입니다.
* 🖥 H 분류기 및 방정식 감지 모델은 레이아웃 정보를 활용하여 **방정식이 포함된 영역을 식별**하고, LaTeX OCR은 이러한 복잡한 수학적 표현을 처리합니다.
* 📑 레이아웃 요소 감지기는 문서 구문 분석 프로세스의 필수적인 부분으로, **문서 내의 다양한 요소를 분류**하는 데 도움을 줍니다.
* 🔒 민감한 문서의 경우, 문서 파서를 사용할 수 있는 세 가지 채널이 있습니다: **SaaS API, 온프레미스 설치, AWS Marketplace**로, 다양한 보안 요구 사항에 유연하게 대응할 수 있습니다.
* 📈 레이아웃 테이블 모델은 문서 내의 표를 효과적으로 식별하고 처리하여 **그림과 차트를 구분**하고 **병합된 셀의 문제**를 해결합니다.
* 📋 레이아웃 분류를 위한 데이터 세트는 **제목, 단락, 목록, 바닥글 등 122개의 개별 클래스**로 구성되어 있어 데이터 수집과 주석 달기에 얼마나 세심한 노력을 기울였는지 알 수 있습니다.
* 💡 최적의 구문 분석을 위해 문서를 구조화하는 방법을 이해하면 더 나은 결과를 얻을 수 있으며, **문서 서식 지정에 대한 가이드라인**을 제공하면 기업 환경의 관행이 개선될 수 있습니다.

### 문서 구문 분석 평가 및 메트릭 개발
* 📊 이 논의는 데이터에 특정 신뢰 수준이 존재하지만 불명확한 텍스트로 인해 신뢰도가 낮을 수 있음을 인정하면서 **마스킹 기술과 OCR 정보를 활용하여 데이터 처리를 개선하는 아이디어**로 시작됩니다.
* 📝 이 팀은 모델 학습을 위해 **데이터 세트를 부지런히 분석**하고, 레이아웃 클래스를 정의하고, 특정 기준에 따라 목록과 다른 요소를 구분해 왔습니다.
* 📈 특히 모델이 다양한 형식의 텍스트를 얼마나 잘 감지하고 처리할 수 있는지 측정하는 데 있어 **문서 구문 분석 성능을 평가하는 문제**가 부각되면서 새로운 평가 지표가 도입되었습니다.
* 🔍 텍스트 추출의 순서와 정확도에 초점을 맞춰 각각 **텍스트 감지 및 테이블 구조 인식을 평가하기 위해 NID와 TESS라는 두 가지 메트릭**이 개발되었습니다.
* ⚖ NID 메트릭은 모델이 올바른 순서로 텍스트를 얼마나 잘 식별하는지를 평가하고, **TESS 메트릭은 테이블 구조와 텍스트 콘텐츠의 정확도**를 측정합니다.
* 💻 이 팀은 평가를 위한 **벤치마크 데이터 세트**를 만들어 데이터 팀과 협력하여 샘플의 명확성과 관련성을 보장하는 동시에 **주요 경쟁사와 제품의 성능을 비교**했습니다.
* 📊 최근 평가에서 특히 테이블 탐지 분야에서 유망한 결과를 보여 **시장에서의 경쟁 우위**를 나타내는 동시에 **정량적 지표와 함께 정성적 평가의 중요성**이 강조되고 있습니다.
* 🌐 데이터 세트와 메트릭 공유의 궁극적인 목표는 **문서 구문 분석 영역의 성장과 개선**을 촉진하여 다른 사람들이 이러한 벤치마크를 사용하여 제품을 개선하도록 장려하는 것입니다.

### 문서 구문 분석 및 모델 개발 인사이트
* 📝 이 토론에서는 문서 구문 분석과 모델 개발의 다양한 측면을 중심으로 **다양한 모델과 기법에 대한 경험**을 중점적으로 다룹니다.
* 🤖 발표자는 모델을 생성하게 된 배경을 공유하며 **오시 모델에 상당한 시간**을 투자했다고 언급합니다.
* 📄 또한 구조적 관점에서 문서를 보는 것의 중요성을 강조하며 **여백 및 PDF 서식**과 같은 요소를 분석합니다.
* 📊 중첩된 표나 표 안의 이미지와 같은 복잡한 요청은 **문서 처리에서 흔히 직면하는 문제**입니다.
* 🔍 발표자는 파싱된 결과에서 PDF를 재구성할 때는 콘텐츠가 잘리는 등의 문제를 방지하기 위해 **레이아웃과 콘텐츠 정의를 신중하게 고려**해야 한다고 지적합니다.
* 💬 그들은 **멀티모달 모델이 가능성을 보이지만 복잡한 문서로 인해 어려움을 겪고 있으며 이 분야에 대한 더 많은 연구가 필요**하다고 언급합니다.
* 📈 이 대화에서는 기존 모델의 한계와 **다중 페이지 테이블과 복잡한 레이아웃을 효과적으로 처리하기 위한 추가 개발**의 필요성에 대해 다룹니다.
* 🎉 발표자는 **청중의 참여와 성과 및 모델 역량에 대한 긍정적인 피드백**을 인정하며 발표를 마무리합니다.

### 문서 처리 및 시각화를 위한 향상된 API 기능
* 📄 이제 사용자는 **요소별, 페이지별 또는 전체 응답 등 다양한 형식**으로 데이터를 수신하도록 선택할 수 있어 데이터 처리의 유연성이 향상됩니다.
* 🔍 API는 전체 응답을 제공하지만 **요소 형식으로 수신된 콘텐츠는 자세한 검토가 가능한 반면 전체 콘텐츠 응답에는 페이지 구분**이 포함되지 않습니다.
* 🛠 사용자 인터뷰의 피드백에 따르면 처리를 간소화하기 위해 **복잡한 HTML보다는 일반 텍스트나 마크다운**과 같은 간단한 출력 형식을 선호하는 것으로 나타났습니다.
* 📏 이제 API는 **이미지 변환을 위한 동적 DPI 조정**을 지원하여 좌표 정보가 사용자 정의 이미지 크기에 올바르게 정렬되도록 합니다.
* 🖼 새로운 기능을 통해 사용자는 **응답과 함께 잘린 이미지 또는 원본 이미지**를 받아볼 수 있어 답변에 대한 시각적 증거의 필요성을 해결하고 사용성을 개선할 수 있습니다.
* 🔗 동기식 API의 도입으로 사용자는 **최대 1,000페이지 분량의 문서를 제출**할 수 있으며, 결과를 더 작은 배치로 처리하여 효율성을 높일 수 있습니다.
* ⏳ 사용자는 **30일 동안 유효한 요청 ID**를 사용하여 결과를 검색할 수 있으므로 처리 지연 중에도 손실에 대한 걱정 없이 데이터에 액세스할 수 있습니다.
* 🔒 API의 설계는 **사용자 데이터가 교육이나 연구 목적으로 활용되지 않도록 보장**하여 보안 문제를 해결하고 기밀성을 유지합니다.

### 문서 처리 혁신과 AWS 마켓플레이스 솔루션
* 🚀 많은 사용자들이 LLM 구축을 위해 **라그 파이프라인을 구성**하려고 하며, 저희는 이러한 **통합 프로젝트**를 활발히 진행하고 있습니다.
* 💻 AWS 마켓플레이스에서는 GPU 인스턴스 사용이 필수적이며, **A10과 V100 장비를 사용하여 성능을 극대화**하고 있습니다.
* 💰 **G6 2x 라지 인스턴스는 경제적**이며, **P3 인스턴스 사용자들도 기존 자원을 활용하여 DP를 이용**할 수 있습니다.
* 📊 AWS 마켓플레이스는 온프레미스 솔루션에 비해 **저렴한 비용으로 GPU**를 사용할 수 있는 좋은 선택지입니다.
* 📚 마켓플레이스에서 엔드포인트 설정 방법에 대한 가이드와 예제 코드를 제공하며, **GitHub에서 더 많은 정보를 확인**할 수 있습니다.
* ⚡ 속도 개선을 위해 모델 최적화, OCR 활용, PDF 파싱 모델 도입 등 다양한 방향에서 작업하고 있으며, **CPU 사용으로 속도 향상을 이루었습니다.**
* 🔄 내부적으로 **페이지를 병렬 처리**하여 추론 속도를 높이고 있으며, **모델 경량화**를 통해 더 많은 요청을 안정적으로 처리할 수 있는 방향으로 나아가고 있습니다.
* 🌍 업스테이지의 문서 처리 기술은 **대용량 문서에서 평균적으로 10배 이상의 빠른 속도**를 자랑하며, 다양한 문서 형식 지원을 확대하고 있습니다.

#upstage 화제의 Document Parse 개발하신 분들께 직접 물어보겠습니다! (라이브 참여자 이벤트 있음)

데이터 분석, 머신러닝, 딥러닝, LLM 에 대한 내용을 다룹니다. 연구보다는 개발에 관심이 많습니다 🙇‍♂️
🔥 "테디노트의 RAG 비법노트" 랭체인 강의: https://fastcampus.co.kr/data_online_teddy
💻 GitHub: https://github.com/teddylee777
📝 블로그: https://teddylee777.github.io
🤖 머신러닝 혼자 배우기 코드저장소: https://github.com/teddylee777/machine-learning
📘 랭체인 한국어 튜토리얼: https://wikidocs.net/book/14314
🧑‍💻 랭체인 튜토리얼 코드저장소: https://github.com/teddylee777/langchain-kr
💌 비즈니스 제안: teddylee777@gmail.com


테디노트 TeddyNote

라이브 방송 시작 인사 및 참석자들에게 감사 인사

추석 체크 및 개별 참석자 호명

다수 참석자 호명 및 감사 인사

추가 참석자 호명 및 감사 인사

추가 참석자 호명 및 감사 인사, 70명 이상 참석 확인

업스테이지 소개 및 라이브 목적 설명

업스테이지 기업의 AI 선도적 위치 언급

개발에 비해 홍보 부족으로 인한 아쉬움 표현

개발자 초청 라이브 방송의 목적 설명

업스테이지 임직원 참여 및 지원 여부 확인

대중 앞에 나서는 엔지니어들의 어려움 언급

업스테이지 직원 소개 및 회사 소개

신승 님(리서치 엔지니어) 소개 및 역할 설명

신승 님의 발표 주제: 도큐먼트 파싱 관련 모델

민창현 님(소프트웨어 엔지니어) 소개 및 역할 설명

업스테이지 회사 및 제품 소개(LLM, 도큐먼트 AI 등)

업스테이지 취업을 위한 조언: 개인 프로젝트(토이 프로젝트) 강조

업스테이지 근무 환경: 100% 재택 근무(일부 연구원 제외)

도큐먼트 파싱(Document Parsing) 소개 및 이벤트 안내

본격적인 주제: 도큐먼트 파싱 소개

업스테이지의 다양한 제품 중 도큐먼트 파싱의 중요성 강조

업스테이지 도큐먼트 파싱의 우수한 성능과 기능 언급

이벤트 1: 도큐먼트 파싱 API 사용 후 결과 제출 시 추첨을 통해 상품 증정

이벤트 2: 라이브 참여자 전원에게 도큐먼트 파싱 크레딧 제공

라이브 방송 주요 내용: 도큐먼트 파싱 모델 및 API 소개

문서 도메인에서 AI가 해결하는 문제: OCR, 키 인식, 도큐먼트 파싱

도큐먼트 파싱 모델이 해결하는 세 가지 문제: 레이아웃 정보 추출, 순서 정보 파악, 테이블 구조 인식

예시를 통한 도큐먼트 파싱 모델의 필요성 설명

일반 PDF 파서의 단점과 도큐먼트 파싱 모델의 장점 비교

순서 정보 처리 방법: 어노테이션 가이드라인 강조

도큐먼트 파싱 파이프라인 설명: PDF 및 이미지 입력 처리 과정

사용 모델 소개: 업스테이지 OCR, 레이아웃 텍스트 모델, 테이블 모델

모델 고도화 방향: 개별 모델 및 데이터셋 개선

엔드 투 엔드 결과 평가 지표: NID, 테스트 매트릭

레이아웃 클래스 12개: 텍스트, 헤딩, 파라그래프, 푸터, 캡션, 리스트, 인덱스, 피규어, 차트, 테이블 등

파라그래프 내 리스트 처리 방법: 리스트 형태에 따른 구분

리스트 인식 기준: 글머리 기호, 숫자, 들여쓰기 등

리스트 항목 추가 배경: 사용자 니즈 반영

벤치마크 데이터셋 구축 및 평가 매트릭 공개

데이터셋 수집 기준: 명확한 샘플 선정

경쟁사 제품과의 성능 비교 결과 공개

정성적 성능 평가 방법: 코드 작성을 통한 낮은 점수 문서 분석

데이터셋 공개 이유: 도메인 활성화 및 객관적 평가 기준 마련

레이아웃 분석(Layout Analysis)에서 도큐먼트 파싱(Document Parsing)으로 리브랜딩

API 호출 방법: CURL, 파이썬 코드 예시

API 출력 옵션 추가: 텍스트, HTML, 마크다운

좌표계 변경: 절대 좌표에서 상대 좌표로 변경

이미지 출력 기능 추가: 베이스64 인코딩

100페이지 이상 문서 처리: 싱크로너스 API 도입

속도 향상 노력: 모델 개선, OCR 사용 최적화, 파이프라인 최적화, 모델 경량화

향후 계획: 지원 파일 형식 확장 및 성능 개선