#upstage 화제의 Document Parse 개발하신 분들께 직접 물어보겠습니다! (라이브 참여자 이벤트 있음)

데이터 분석, 머신러닝, 딥러닝, LLM 에 대한 내용을 다룹니다. 연구보다는 개발에 관심이 많습니다 🙇‍♂️
🔥 "테디노트의 RAG 비법노트" 랭체인 강의: https://fastcampus.co.kr/data_online_teddy
💻 GitHub: https://github.com/teddylee777
📝 블로그: https://teddylee777.github.io
🤖 머신러닝 혼자 배우기 코드저장소: https://github.com/teddylee777/machine-learning
📘 랭체인 한국어 튜토리얼: https://wikidocs.net/book/14314
🧑‍💻 랭체인 튜토리얼 코드저장소: https://github.com/teddylee777/langchain-kr
💌 비즈니스 제안: teddylee777@gmail.com


테디노트 TeddyNote

오늘 라이브 방송에 **많은 분들이 참여해 주셔서 감사**드립니다. 시작과 동시에 70명, 그리고 거의 100명에 육박하는 인원이 접속하며 높은 관심을 보여주셨습니다. 이번 방송은 업스테이지의 도큐먼트 파스 개발자들을 모시고 제품에 대한 심도 깊은 이야기를 나누기 위해 마련되었습니다.

대중에 나서는 것이 쉽지 않은 엔지니어분들이 직접 제품을 소개해 주셔서 **이해도가 더욱 높아질 것으로 기대**됩니다. 업스테이지의 신승 리서치 엔지니어는 모델 개발을 담당하며 도큐먼트 파싱 모델을 소개할 예정이며, 민창현 소프트웨어 엔지니어는 도큐먼트 파싱 제품의 개발 및 매니징 역할을 맡고 있습니다.

업스테이지는 약 4년 전, 딥러닝 강의로 유명한 김성훈 교수님을 비롯해 네이버 클로바 출신의 핵심 인력들이 **'AGI for Work'라는 미션 아래 글로벌 AI 시장을 선도**하기 위해 설립된 회사입니다. 대표적인 제품으로는 솔라 LLM과 도큐먼트 AI(OCR, 정보 추출, 도큐먼트 파싱) 등이 있습니다.

업스테이지 입사를 희망하는 지원자들에게는 **개인 프로젝트 경험이 큰 강점**이 됩니다. 학교나 회사 업무 외에 개인적인 관심사를 바탕으로 토이 프로젝트를 시도하고, 그 과정을 이력서나 면접에서 이야기할 수 있다면 좋은 결과를 얻을 수 있을 것입니다. 참고로, 업스테이지는 전문 연구 요원을 제외하고는 전면 재택근무를 시행하고 있으며, 토익 점수와 같은 특정 영어 점수는 요구하지 않습니다.

원격 근무 환경임에도 불구하고, 짧은 회의나 협업 툴을 활용하여 **원활한 커뮤니케이션을 유지**하고 있습니다. 하이브리드 근무 시 발생할 수 있는 정보 격차 문제를 피하기 위해 전체적으로 온라인 문화가 잘 정착되어 있어 훨씬 수월하게 업무가 진행됩니다.

도큐먼트 파스: LLM 문서 처리의 핵심

업스테이지의 도큐먼트 파스(Document Parse)는 최근 각광받는 솔라 모델이나 임베딩 모델과 더불어 **문서 처리에 있어 핵심적인 역할**을 하는 제품입니다. 특히 OCR 성능이 뛰어나고, 복잡한 문서 예제를 잘 처리하는 것으로 알려져 있습니다. 도큐먼트 파스는 문서 내 표, 이미지 등을 개별로 추출하여 구조화된 정보를 제공합니다.

도큐먼트 파스는 **LLM 문서 처리를 위해 반드시 필요한 제품**입니다. 빠르고 정확하게 파싱하여 문서를 효과적으로 처리하는 방법을 오늘 상세히 설명해 드릴 것입니다.

오늘 라이브 시청자들을 위한 두 가지 이벤트가 준비되어 있습니다. 첫째, 업스테이지 AI 콘솔에 접속하여 도큐먼트 파스 API를 사용해 본 후 호출 결과를 제출하면 **추첨을 통해 다섯 분께 한정판 업스테이지 티셔츠와 에코백 세트를 증정**합니다. 둘째, 라이브 참여자 전원에게는 도큐먼트 파스를 테스트해 볼 수 있는 **크레딧(1,000장 테스트 분량)을 제공**합니다. 크레딧 코드는 라이브 중 순차적으로 공개됩니다.

이벤트 참여를 위한 URL과 크레딧 코드는 라이브 종료 후 댓글을 통해 다시 안내될 예정입니다. **크레딧 코드는 'TEDDY_UP_STAGE_LIVE'이며, 모두 대문자로 입력**해야 합니다. 많은 참여 부탁드립니다.

문서 도메인의 주요 AI 문제 및 도큐먼트 파스의 역할

문서 도메인에서 AI가 활용되는 주요 문제는 세 가지입니다. 첫째, **도큐먼트 OCR**은 문서 내에서 워드 레벨의 박스를 찾고 그 안의 텍스트를 인식하는 기술입니다. 둘째, **키 정보 인식**은 문서에서 원하는 텍스트 정보만 키-값 쌍으로 추출하는 것입니다. 셋째, **도큐먼트 파스**는 텍스트 박스뿐만 아니라 문서 내 다양한 레이아웃 항목들을 구분하여 찾아주는 모델입니다.

도큐먼트 파스가 해결하려는 핵심 문제는 세 가지입니다. 첫째, **문서의 레이아웃 정보를 잘 추출**하는 것입니다. 둘째, 추출된 레이아웃 요소들을 **사람이 읽는 순서대로 정확하게 찾는 것**입니다. 셋째, 문서 내에서 복잡한 구조를 가진 **테이블 정보를 정확하게 추출**하는 것입니다.

단순 OCR만으로는 문서의 텍스트를 좌상단에서 우하단으로 읽기 때문에, **레이아웃이 복잡한 문서의 경우 텍스트 순서가 뒤섞여 LLM 질의응답 시 잘못된 답변을 유도**할 수 있습니다. 예를 들어, Day 1과 Day 2 내용이 세로로 배치된 문서에서 OCR만 사용하면 Day 1 다음 Day 2를 읽는 것이 아니라, 가로 방향으로 텍스트를 읽어 내용이 혼합됩니다.

반면, **도큐먼트 파스를 사용하면 레이아웃을 묶어 원하는 순서대로 텍스트를 추출**합니다. 이는 LLM에 전달되는 정보의 정확도를 높여 올바른 답변을 가능하게 합니다. 즉, DP는 단순 OCR보다 더 높은 퀄리티의 문서 처리 결과를 얻을 수 있도록 돕습니다.

기존 PDF 로더는 텍스트를 단순히 왼쪽에서 오른쪽, 위에서 아래 순서로 읽어오기 때문에 할루시네이션과 유사한 **파싱 오류가 발생**할 수 있습니다. DP는 왼쪽 칼럼과 오른쪽 칼럼을 인지하여 정확한 순서로 읽어옵니다. 이러한 순서 정렬은 데이터셋 구축 시 명확한 가이드라인을 통해 어노테이션함으로써 가능해졌습니다.

PPT와 같은 디자인 요소가 강한 문서는 파싱 난이도가 높지만, 명확한 가이드라인에 따라 어노테이션된 데이터셋이 있다면 PPT 문서도 잘 분석하는 모델을 만들 수 있습니다. 다만, **텍스트 배치가 무작위적인 디자인 중심의 PPT는 처리하기 어려울 수 있습니다.**

현재 도큐먼트 파스는 **문서 파일 이미지, PDF, MS 오피스 문서(워드, 파워포인트, 엑셀)를 지원**합니다. 웹페이지 크롤링은 직접 지원하지 않지만, 웹페이지를 지원하는 문서 타입으로 변환 후 처리할 수 있습니다.

마크다운 파서와 비교했을 때, 도큐먼트 파스는 두 가지 강점이 있습니다. 첫째, 마크다운은 헤딩, 푸터, 캡션 등 **텍스트의 역할을 구분하지 못하지만 DP는 클래스 정보를 제공**합니다. 둘째, 마크다운은 복잡한 병합 셀(merged cell)이 많은 테이블을 표현하는 데 한계가 있지만, DP는 이러한 테이블 구조를 더 잘 표현합니다.

**헤더와 푸터 구분 기능은 라이센스 정보 등 반복되는 내용을 청킹 단계에서 제외**할 수 있어 검색 성능 향상에 큰 도움이 됩니다. 또한, 문서 내 **이미지의 좌표를 제공하여 크롭 후 멀티모달 모델에 활용**하거나, 번역된 텍스트를 정확한 위치에 찍어 넣는 등의 응용이 가능합니다.

PDF 문서를 HTML 태그로 추출하는 것이 검색 성능에 긍정적인 영향을 미칩니다. HTML 태그는 토큰 길이를 늘릴 수 있지만, **텍스트의 성격을 구분하여 중요한 내용을 식별**하는 데 필수적입니다. HWP 파일은 현재 직접 지원하지 않으나, PDF로 변환하여 업로드하면 꽤 좋은 결과를 얻을 수 있습니다.

도큐먼트 파스는 `paragraph`, `heading 1`, `caption`, `footer`, `list`, `index`, `header`, `equation`, `figure`, `chart`, `table` 등 **총 12가지 레이아웃 클래스를 구분**합니다. 이러한 세분화된 분류는 데이터셋 구축 시 명확한 가이드라인과 많은 노력을 통해 이루어졌습니다. 특히 `list`와 `caption` 정의는 다양한 케이스로 인해 매우 어려웠습니다.

**리스트는 글머리 기호나 숫자를 앞세워 세로로 두 번 이상 나열된 항목**으로 정의됩니다. 한 번만 나오거나 간격, 들여쓰기 유무에 따라 파라그래프와 구분됩니다. 가점, 나점, 아이(i)와 같은 다양한 형태의 리스트도 인지할 수 있도록 세분화된 가이드라인이 적용되었습니다.

DP는 일반 PDF 로더와 달리 **텍스트 종류와 표, 이미지의 위치 등 세부 정보를 제공**하여 고급 전처리가 가능합니다. 또한, OCR 모델에서 이미지로 인식되는 PDF 내 텍스트나 테이블도 효과적으로 처리할 수 있습니다. 단, 표 안에 표, 이미지, 수식 등 중첩된 레이아웃은 아직 직접 지원하지 않습니다.

PDF 문서의 다이어그램은 현재 `figure`로 처리되며, **강제 OCR 옵션을 사용하면 다이어그램 내 텍스트를 알트 텍스트 형태로 추출**할 수 있어 멀티모달 활용에 유용합니다. 수식은 블록 형태로 분리된 경우에만 레이텍스(LaTeX) 형태로 인식하며, 문장 내에 포함된 인라인 수식은 처리하지 않습니다.

도큐먼트 파스 제품은 여러 포맷의 입력을 받지만, 주로 문서 이미지 또는 PDF 파일을 입력으로 받습니다. PDF 파일이 들어오면 PDF 파싱 라이브러리로 텍스트와 박스 정보를 추출하고, 문서 이미지가 들어오면 **자체 OCR 모델을 통해 박스와 텍스트를 인식**합니다.

핵심 모듈은 **레이아웃 엘리먼트 디텍터(Layout Element Detector, LED)**로, 여러 모델로 구성되어 있습니다. 텍스트 및 레이아웃 박스 정보와 함께 LED에서 추출된 레이아웃 박스 및 클래스 정보가 하나의 통합된 결과로 합쳐집니다. 또한, **테이블 정보를 추출하는 별도의 모델이 OCR 정보와 함께 사용**되어 HTML 형태로 테이블 구조를 만듭니다.

전체 파이프라인은 한 페이지 처리 시 평균 **1초에서 2초 정도 소요**됩니다. OCR 모델은 검출기(위치 찾기)와 인식기(글자 읽기)의 두 가지 파이프라인으로 구성되어 있습니다. 디텍터는 세그멘테이션 기반 모델이며, 인식기는 스윈(Swin) 트랜스포머 기반으로 한글, 중국어, 일본어, 영어를 지원합니다.

레이아웃 엘리먼트 디텍터(LED) 모듈은 네 가지 모델로 구성됩니다. 첫째, **디텍터**는 레이아웃 박스와 클래스를 검출합니다. 둘째, **오더 익스트랙터**는 레이아웃 박스들의 순서를 찾습니다. 셋째, **태그 클래시파이어**는 헤딩(H1) 역할을 하는 파라그래프를 구분합니다. 넷째, **이퀘이션 리코그나이저**는 논문의 수식 영역을 레이텍스(LaTeX) 형태로 추출합니다.

업스테이지는 이처럼 복잡한 모델 파이프라인과 데이터셋 구축을 위해 **두세 명의 모델러와 많은 데이터셋 팀원들이 협업**하고 있습니다. 향후 도큐먼트 파스 고도화는 각 모델의 개선과 데이터셋 추가를 통해 이루어질 것입니다.

레이아웃 검출기는 트랜스포머 인코더와 디텍트론2의 마스크 R-CNN을 결합하여 사용합니다. **11개의 레이아웃 클래스를 대상으로 학습**하며, COCO 데이터셋 8만 장으로 사전 학습 후 내부 고품질 데이터셋 2,000장으로 파인튜닝합니다. 입력 이미지는 1344x1344 크기를 사용하며, 박스 정보만 추출합니다.

**오더 익스트랙터는 이미지와 레이아웃 박스, 클래스 정보를 함께 입력**으로 받아 사람이 읽는 순서대로 박스들의 순서를 찾아줍니다. CNN 기반 인코더로 이미지 피처를 추출하고, 트랜스포머 디코더에서 박스 정보를 임베딩하여 활용합니다. 텍스트가 풍부한 충분히 큰 이미지 사이즈를 입력으로 사용합니다.

데이터 증강은 최소화하며, **랜덤 크롭과 같은 증강 기법은 오히려 성능을 떨어뜨려 전체 페이지를 보며 학습**합니다. 문서가 정방형이 아닌 경우, OCR 정보를 활용하여 문서의 방향을 파악하고 정방향으로 돌려 처리하는 기술도 적용됩니다.

태그 클래시파이어는 파라그래프 중 헤딩 역할을 하는 것을 구분합니다. 이전에는 룰 기반으로 폰트 크기를 활용했으나, **폰트 크기의 미묘한 차이로 인해 오류가 발생**하여 모델 기반으로 전환되었습니다. 텍스트의 의미보다는 위치, 크기, 폰트 스타일을 고려하여 일반 파라그래프와 헤딩(H1)을 구분합니다.

헤딩 판단은 어려움이 많아 앞으로 개선해야 할 과제입니다. 사용자가 **문서를 작성할 때 헤딩을 명확하게, 크게 표시하면 DP 모델이 더 효과적으로 인식**하여 LLM의 청킹 및 질의응답 성능 향상에 기여할 수 있습니다. 이는 RAG(Retrieval Augmented Generation)에서 헤딩을 기준으로 청킹하여 Q&A 역할을 하는 파라그래프를 구분하는 데 중요합니다.

레이텍스 이퀘이션 리코그나이저는 레이아웃 정보에서 수식 영역을 파악하고, 해당 영역의 이미지를 크롭하여 **레이텍스 OCR 모델을 통해 수식 정보를 레이텍스 포맷으로 추출**합니다. 이는 OCR만으로는 인식하기 어려운 분수, 위첨자, 아래첨자 등을 정확히 나타내기 위함입니다.

레이아웃 테이블 리코그나이저는 문서 내 테이블을 별도로 처리하는 모델입니다. 이미지 입력과 OCR 박스 정보를 함께 활용하여 **테이블 구조를 HTML 토큰으로 추출**하며, 어떤 OCR 박스가 어떤 셀에 들어가는지 매칭하는 기능도 포함합니다. 병합 셀(merged cell) 처리도 가능합니다.

이 모델은 처음부터 개발팀의 강점으로 인식되어 시작되었으며, 연구를 통해 논문까지 작성되었습니다. 표 안의 표와 같은 **중첩된 테이블 구조는 아직 지원하지 않는 난이도 높은 문제**로, 향후 연구 과제입니다.

도큐먼트 파싱의 성능 평가를 위해 업스테이지는 두 가지 독자적인 지표를 도입했습니다. 첫째, **NID (Normalized Edit Distance) 매트릭**은 문서 내 텍스트를 사람이 읽는 순서대로 얼마나 잘 찾는지, 그리고 노이즈(그림, 표 안의 텍스트 등)를 얼마나 잘 구분하는지 평가합니다. GT(Ground Truth) 텍스트 시퀀스와 모델 예측 시퀀스 간의 삽입(Insertion) 및 삭제(Deletion) 횟수를 측정하여 점수를 산정합니다.

둘째, **TEDS (Table Edit Distance)** 매트릭은 테이블 구조를 얼마나 잘 찾는지 평가합니다. TEDS는 테이블 구조와 텍스트 정보 모두를, TEDS-S는 구조 정보만을 평가합니다. HTML 형태로 표현된 테이블을 트리 구조로 보고, GT와 모델 예측 간의 편집 거리를 측정합니다.

이러한 평가 지표들을 활용하여 **업스테이지 DP는 구글 레이아웃 파서, AWS 텍스트랙트, 마이크로소프트 도큐먼트 인텔리전스 등 경쟁사 제품 대비 NID와 TEDS 모두에서 압도적인 성능을 기록**했습니다. 특히 테이블 인식 성능에서 큰 격차를 보였습니다.

업스테이지는 **DP 벤치마크 데이터셋 200장을 허깅페이스에 공개**했습니다. 이 데이터셋에는 레이아웃 박스, 클래스, 순서, 테이블 구조 정보가 담겨 있습니다. 이는 파싱 도메인의 활성화를 목적으로, 다른 제품들도 이 벤치마크를 활용하여 성능을 비교할 수 있도록 하기 위함입니다.

정성적인 성능 파악을 위해 NID 점수가 낮은 문서를 추출하여 **어떤 레이아웃 요소에서 오류가 발생하는지 코드를 통해 직접 확인**하고 개선합니다. 이 과정에서 사용자들의 피드백을 적극 반영하고 있습니다.

도큐먼트 파스 API 상세 기능 및 업데이트

도큐먼트 파스 API는 2023년 9월에 정식 출시되었으며, 이전에는 레이아웃 애널리시스라는 이름으로 서비스되었습니다. **콘솔(console.upstage.ai)에서 플레이그라운드 버전을 통해 데모와 도큐멘테이션을 확인**할 수 있습니다.

API 호출은 CURL(REST API) 또는 파이썬 코드를 통해 가능합니다. 기본적으로 인증 키와 문서 파일을 멀티파트폼 형태로 전달하면 됩니다. **응답은 `elements` 필드(개별 레이아웃 요소 리스트)와 `content` 필드(전체 문서 내용의 HTML 변환본)로 구성**됩니다. `content` 필드는 페이지 구분 없이 전체 문서 텍스트를 HTML 형태로 제공합니다.

사용자들의 피드백을 반영하여 여러 기능이 업데이트되었습니다. 첫째, **텍스트와 마크다운 출력 옵션이 추가**되었습니다. `output` 파라미터에 HTML, TEXT, MARKDOWN 중 필요한 것을 지정하면 해당 포맷으로 결과를 받을 수 있습니다. 이는 LLM 활용 시 불필요한 태그를 줄이는 데 유용합니다. (호출 비용은 동일하지만, 리스폰스 크기 및 속도에 영향을 줄 수 있음)

둘째, **바운딩 박스 좌표계가 상대 좌표값으로 변경**되었습니다. `coordinates` 옵션을 통해 각 엘리먼트별 상대 좌표값을 받을 수 있어, 이미지 DPI나 해상도에 상관없이 정확한 바운딩 박스를 그릴 수 있습니다.

셋째, **원본 문서 이미지 추출 기능**이 추가되었습니다. `base64_encoding` 옵션을 사용하여 원하는 레이아웃 클래스(테이블, 피규어, 수식 등)의 이미지를 Base64 인코딩 스트링으로 직접 받을 수 있습니다. 이는 크롭된 이미지를 멀티모달 모델에 활용하거나, 문서 복원 시 HTML에 이미지를 바로 삽입하는 등 다양한 응용에 사용될 수 있습니다.

넷째, **100페이지 이상 대용량 문서 처리를 위한 비동기(Asynchronous) API가 추가**되었습니다. 비동기 API는 1,000페이지까지 문서를 제출할 수 있으며, 요청 시 즉시 리퀘스트 ID를 발급합니다. 문서 처리가 완료되면 해당 ID로 결과를 조회할 수 있습니다. 결과는 스몰 배치로 분할 처리되며, 각 배치별 상태 및 다운로드 URL 조회가 가능합니다.

비동기 API의 처리 결과 데이터는 30일 동안 저장되며, 다운로드 URL은 조회할 때마다 15분 동안 유효한 프리사인드 URL로 발급됩니다. **추론 요청 데이터는 완료 즉시 삭제되며, 결과 데이터는 학습에 사용되지 않습니다.** 이는 보안에 민감한 기업 고객들을 위한 중요한 정책입니다.

도큐먼트 파스는 **SaaS API, 온프레미스 설치, AWS 마켓플레이스**의 세 가지 채널을 통해 제공됩니다. SaaS는 도입 비용이 없고 사용이 간편하며, 온프레미스는 보안이 중요한 엔터프라이즈 고객을 위해 라그 구축 및 시스템 통합 프로젝트와 연계하여 제공됩니다.

AWS 마켓플레이스에서는 SageMaker JumpStart를 통해 도큐먼트 파스 모델을 사용할 수 있으며, G5, G6, P3 인스턴스(NVIDIA A10, V100 GPU)를 지원합니다. **G6 2x Large 인스턴스가 가장 경제적인 선택지**로 추천됩니다. AWS 비용을 감당하는 기업에게는 SaaS보다 저렴한 비용으로 사용 가능합니다.

속도 향상을 위해 네 가지 방향에서 노력이 진행되었습니다. 첫째, **AI 엔지니어들의 모델 자체 개선**을 통해 퀄리티를 유지하면서 속도를 높였습니다. 둘째, 디지털 PDF 문서의 경우 **OCR 대신 PDF 파싱 라이브러리를 활용**하여 CPU로도 OCR 모델 대비 4배 빠른 속도 향상을 이루었습니다.

셋째, **복잡한 추론 파이프라인을 최적화**하고 모델 간 네트워크 통신을 줄여 지역성을 높였습니다. 비동기 배치 처리 요청 시 페이지를 잘라 병렬적으로 추론한 후 합치는 방식으로 병렬화를 진행했습니다. 넷째, **모델 경량화**를 통해 모델이 사용하는 램을 줄여 같은 GPU 내에서 여러 모델을 띄워 더 많은 요청을 안정적으로 처리할 수 있도록 했습니다.

이러한 노력으로 **대용량 문서 처리 속도에서 글로벌 경쟁사 대비 평균 10배 이상 빠른 성능을 달성**했습니다. 업스테이지는 가장 정확하고 가장 빠른 속도를 제공하는 도큐먼트 파스 2.9.10 버전을 런칭했습니다.

향후 개선 과제 및 사용자 피드백

고객의 목소리를 지속적으로 반영하여 제품을 개선하고 있습니다. MS 워드, 파워포인트, 엑셀 문서 지원을 추가했으며, 향후 **한글(HWP) 문서 지원도 고려**하고 있습니다.

멀티 페이지에 걸쳐 있는 표 처리, 표 안의 표/이미지/수식 등 복잡한 중첩 레이아웃 처리, 문단 내 피규어/테이블 식별 번호 연관성 파악 등은 **향후 연구와 개발이 필요한 과제**입니다.

어린이 손글씨 인식과 같이 다양한 사용자 니즈에 따라 **모델의 철학적 방향성(있는 그대로 읽을지, 추측하여 리파인할지)**에 대한 고민이 필요합니다. 이러한 난제들은 지속적인 데이터셋 구축과 모델 고도화를 통해 해결해 나갈 예정입니다.

사용자들은 도큐먼트 파스의 놀라운 성능에 감탄하며, 특히 이미지의 좌표를 추출하거나 표를 마크다운으로 변환하는 기능에 만족감을 표하고 있습니다. **플레이그라운드에서 무료로 테스트**해보고, 개선이 필요한 부분에 대한 적극적인 피드백을 부탁드립니다.

업스테이지 도큐먼트 파스는 LLM 문서 처리를 위한 필수적인 파싱 컴포넌트이며, **세계 최고 기술로 글로벌 시장에서 인정받고 있습니다.** 고객의 목소리를 반영하여 지속적으로 개선하고 있으며, 가장 빠르고 사용하기 쉬운 제품을 제공하는 것을 목표로 합니다.

오늘 라이브에 참여해 주신 모든 분께 감사드리며, 개발팀의 노고와 친절한 설명에 큰 박수를 보냅니다. 앞으로도 도큐먼트 파스를 활용한 **다양한 유스케이스와 튜토리얼을 공유하며 사용자들과 소통**할 예정입니다. 업스테이지의 도큐먼트 파스에 지속적인 관심과 응원 부탁드립니다.

라이브 방송 시작 인사 및 참석자들에게 감사 인사

추석 체크 및 개별 참석자 호명

다수 참석자 호명 및 감사 인사

추가 참석자 호명 및 감사 인사

추가 참석자 호명 및 감사 인사, 70명 이상 참석 확인

업스테이지 소개 및 라이브 목적 설명

업스테이지 기업의 AI 선도적 위치 언급

개발에 비해 홍보 부족으로 인한 아쉬움 표현

개발자 초청 라이브 방송의 목적 설명

업스테이지 임직원 참여 및 지원 여부 확인

대중 앞에 나서는 엔지니어들의 어려움 언급

업스테이지 직원 소개 및 회사 소개

신승 님(리서치 엔지니어) 소개 및 역할 설명

신승 님의 발표 주제: 도큐먼트 파싱 관련 모델

민창현 님(소프트웨어 엔지니어) 소개 및 역할 설명

업스테이지 회사 및 제품 소개(LLM, 도큐먼트 AI 등)

업스테이지 취업을 위한 조언: 개인 프로젝트(토이 프로젝트) 강조

업스테이지 근무 환경: 100% 재택 근무(일부 연구원 제외)

도큐먼트 파싱(Document Parsing) 소개 및 이벤트 안내

본격적인 주제: 도큐먼트 파싱 소개

업스테이지의 다양한 제품 중 도큐먼트 파싱의 중요성 강조

업스테이지 도큐먼트 파싱의 우수한 성능과 기능 언급

이벤트 1: 도큐먼트 파싱 API 사용 후 결과 제출 시 추첨을 통해 상품 증정

이벤트 2: 라이브 참여자 전원에게 도큐먼트 파싱 크레딧 제공

라이브 방송 주요 내용: 도큐먼트 파싱 모델 및 API 소개

문서 도메인에서 AI가 해결하는 문제: OCR, 키 인식, 도큐먼트 파싱

도큐먼트 파싱 모델이 해결하는 세 가지 문제: 레이아웃 정보 추출, 순서 정보 파악, 테이블 구조 인식

예시를 통한 도큐먼트 파싱 모델의 필요성 설명

일반 PDF 파서의 단점과 도큐먼트 파싱 모델의 장점 비교

순서 정보 처리 방법: 어노테이션 가이드라인 강조

도큐먼트 파싱 파이프라인 설명: PDF 및 이미지 입력 처리 과정

사용 모델 소개: 업스테이지 OCR, 레이아웃 텍스트 모델, 테이블 모델

모델 고도화 방향: 개별 모델 및 데이터셋 개선

엔드 투 엔드 결과 평가 지표: NID, 테스트 매트릭

레이아웃 클래스 12개: 텍스트, 헤딩, 파라그래프, 푸터, 캡션, 리스트, 인덱스, 피규어, 차트, 테이블 등

파라그래프 내 리스트 처리 방법: 리스트 형태에 따른 구분

리스트 인식 기준: 글머리 기호, 숫자, 들여쓰기 등

리스트 항목 추가 배경: 사용자 니즈 반영

벤치마크 데이터셋 구축 및 평가 매트릭 공개

데이터셋 수집 기준: 명확한 샘플 선정

경쟁사 제품과의 성능 비교 결과 공개

정성적 성능 평가 방법: 코드 작성을 통한 낮은 점수 문서 분석

데이터셋 공개 이유: 도메인 활성화 및 객관적 평가 기준 마련

레이아웃 분석(Layout Analysis)에서 도큐먼트 파싱(Document Parsing)으로 리브랜딩

API 호출 방법: CURL, 파이썬 코드 예시

API 출력 옵션 추가: 텍스트, HTML, 마크다운

좌표계 변경: 절대 좌표에서 상대 좌표로 변경

이미지 출력 기능 추가: 베이스64 인코딩

100페이지 이상 문서 처리: 싱크로너스 API 도입

속도 향상 노력: 모델 개선, OCR 사용 최적화, 파이프라인 최적화, 모델 경량화

향후 계획: 지원 파일 형식 확장 및 성능 개선

#upstage 화제의 Document Parse 개발하신 분들께 직접 물어보겠습니다! (라이브 참여자 이벤트 있음)

#upstage 화제의 Document Parse 개발하신 분들께 직접 물어보겠습니다! (라이브 참여자 이벤트 있음)

스크립트