델타 라이브 테이블: 간소화된 데이터 관리를 위한 선언적 프레임워크

델타 라이브 테이블은 데이터 세트 생성 및 업데이트를 위한 단일 선언적 프레임워크를 제공하여 레이크 하우스에서 효율적인 데이터 관리를 가능하게 합니다.

### 데이터브릭스 라이브 테이블: 스트리밍, 구체화된 뷰 및 변경 데이터 캡처 통합
* 🔮 데이터브릭스는 스트리밍 테이블, 구체화된 뷰, 변경 데이터 캡처(CDC)를 결합하여 레이크 하우스 아키텍처의 데이터 파이프라인을 간소화하는 **단일 선언적 프레임워크인 라이브 테이블**을 소개합니다.
* 📊 스트리밍 테이블: 라이브 테이블을 사용하면 클라우드 스토리지 및 Kafka와 같은 다양한 소스에서 데이터를 **스트리밍 테이블로 수집**하여 새로운 데이터가 도착하는 즉시 처리하므로 지연 시간을 단축하고 비용을 절감할 수 있습니다.
* 📈 구체화된 뷰: **구체화된 뷰는 쿼리 결과를 스냅샷으로 저장**하여 일정 또는 기초 데이터의 변경 사항에 따라 업데이트합니다. 데이터를 변환하고, 집계 보고서를 작성하고, BI 쿼리 속도를 높이는 데 사용됩니다.
* 🔄 변경 데이터 캡처(CDC): 데이터브릭스 라이브 테이블은 **CDC를 통해 운영 데이터베이스의 데이터 변경 사항을 캡처**하여 **델타 테이블에 적용**함으로써 변경 사항을 효율적이고 점진적으로 수집할 수 있습니다.
* 🛠 선언적 프로그래밍: 선언적 접근 방식을 사용하는 **라이브 테이블은 내결함성, 상태 관리, 스케줄링**과 같은 일반적인 데이터 파이프라인 문제를 처리하여 사용자가 데이터 목표에 집중할 수 있도록 합니다.
* 🕰 시간 여행 및 저장: 과거 데이터를 보관하기 위해 **CDC의 STD(Slowly Changing Dimension) 유형 2 기능**은 델타 테이블 내에서 변경 이력을 유지하여 장기 기록에 델타 시간 여행을 사용할 때보다 스토리지 폭발을 방지합니다.
* 🔄 연쇄: 라이브 테이블의 다중 흐름 테이블을 사용하면 시간이 지남에 따라 다양한 소스의 데이터를 처리하도록 **서로 다른 흐름을 할당**하여 스트리밍 소스를 진화시킬 수 있으므로 **전체 새로 고침 없이도 원활하게 변경**할 수 있습니다.
* 🔒 조정: 내부적으로 라이브 테이블은 **조정 메커니즘**을 사용하여 순서가 맞지 않는 데이터를 관리하고 **스트리밍 테이블 및 CDC에서 활성 행의 올바른 보기**를 유지합니다.
* 🚀 통합된 SQL 환경: 이제 **데이터브릭스 라이브 테이블**을 DB SQL에서 사용할 수 있게 되어, 사용자가 SQL 명령을 사용하여 **스트리밍 테이블과 구체화된 뷰**를 생성할 수 있어 데이터 엔지니어와 분석가에게 통합된 환경을 제공합니다.

### 델타 라이브 테이블(DLT)로 데이터 파이프라인 구축하기
* 🛠 DLT를 사용하면 **Python과 SQL을 사용하여 데이터 파이프라인을 구축**할 수 있으며, **Python 함수에 주석이 달린 DLT 테이블**을 사용하여 테이블을 만들 수 있습니다.
* 데이터 품질 검사를 파이프라인 내에 추가하여 데이터가 특정 조건을 충족하는지 확인하려면 **'DLT 예상'**을 사용하세요.
* 📦 DLT 번들을 사용하면 코드에서 **파이프라인, 노트북, 클러스터 등을 정의**하여 데이터브릭스 워크스페이스 개체를 버전 관리할 수 있습니다.
* 🛡 모범 사례에는 **소스(변환이 최소화되거나 없는 쿼리)와 변환을 분리**하고 데이터 유효성 검사에 기대치를 사용하는 것이 포함됩니다.
* 🔁 라이브 종속성을 사용하면 **테이블을 자동으로 감지**하고 올바른 순서로 실행하여 병렬 처리를 효율적으로 처리할 수 있습니다.
* 📈 DLT 코드를 매개변수화할 때는 **수행 방법이 아니라 수행해야 할 작업**을 지정하는 것임을 기억하세요.
* 🐍 메타 프로그래밍에 Python을 사용하여 **여러 테이블이나 파이프라인을 동적으로 만들** 수 있습니다.
* 🚀 CI/CD 관행을 DLT 파이프라인에 적용하여 **환경 전반에서 변경 사항을 테스트하고 배포**하는 작업을 자동화할 수 있습니다.
* 📚 복잡한 변환을 위한 **뷰를 만들어 코드를 모듈화**하세요.
* 🧰 데이터브릭스 에셋 번들은 **DLT 파이프라인과 워크스페이스 오브젝트의 관리 및 배포**를 간소화합니다.

Delta Live Tables A to Z: Best Practices for Modern Data Pipelines

Databricks is the Data and AI company. More than 10,000 organizations worldwide — including Block, Comcast, Conde Nast, Rivian, and Shell, and over 60% of the Fortune 500 — rely on the Databricks Data Intelligence Platform to take control of their data and put it to work with AI. Databricks is headquartered in San Francisco, with offices around the globe, and was founded by the original creators of Lakehouse, Apache Spark™, Delta Lake and MLflow. 


Databricks

델타항공 라이브 테이블의 진화

델타 라이브 테이블은 레이크 하우스에서 데이터 세트 생성 및 업데이트를 위한 간단한 시스템으로 Spark SQL, 구조화된 스트리밍, 델타를 통합하는 선언적 프레임워크입니다.

이 프레임워크는 인프라를 제공하고 그 아래에서 다양한 문제를 처리함으로써 데이터 파이프라인 구축의 복잡성을 단순화하는 것을 목표로 합니다.

델타 라이브 테이블의 선언적 프로그래밍을 사용하면 사용자가 지침이 아닌 목표를 명시하는 데 집중할 수 있으므로 인프라, 내결함성, 스케줄링 및 일반적인 데이터 문제에 대해 걱정할 필요가 없습니다.

델타 라이브 테이블은 데이터 파이프라인의 상용구를 제거하고 현재 시스템 상태에 따라 동적으로 최적화하는 것을 목표로 데이터 흐름에 특별히 초점을 맞추고 있기 때문에 데이터브릭스 워크플로우를 보완합니다.

파이프라인 관리 및 데이터 품질에 대한 데이터브릭스의 접근 방식

데이터브릭스는 자동으로 파이프라인을 업그레이드하고 모니터링하여 안전하고 효율적인 운영을 보장하며, 장애가 감지되면 이전 버전으로 롤백할 수 있는 기능을 제공합니다.

DLT는 수집 및 저지연 변환에 사용되는 스트리밍 테이블과 미리 계산된 쿼리 결과를 제공하는 구체화된 보기라는 두 가지 핵심 추상화를 제공합니다.

플랫폼의 기대치를 사용하면 고유 값 적용, 외래 키 제약 조건 위반 탐지 등 강력한 데이터 품질 제약 조건을 적용하여 데이터 파이프라인의 안정성을 향상시킬 수 있습니다.

이제 DB SQL에서 DLT를 사용할 수 있게 되어, 단일 SQL DML 명령으로 강력하고 확장 가능한 증분 수집 파이프라인을 생성할 수 있습니다.

용어가 통합되어 스트리밍 라이브 테이블을 스트리밍 테이블로, 라이브 테이블을 구체화된 보기로 동일하게 사용할 수 있습니다.

새로운 기능을 통해 JSON 및 CSV 데이터를 수집하고 집계 및 구체화된 보기를 생성할 수 있으며, 이 모든 것을 DB SQL API 내에서 수행할 수 있습니다.

데이터 웨어하우징에서 테이블 및 구체화된 뷰 스트리밍에 DBT 사용

DBT를 사용하면 스트리밍 테이블과 구체화된 보기를 쉽게 생성하여 증분 수집을 처리하고 모든 애플리케이션에서 생성할 수 있는 기능을 제공할 수 있습니다.

DBT에서 스트리밍 테이블과 구체화된 보기를 사용하면 증분화를 위해 두 가지를 함께 사용할 수 있어 지연 시간이 짧고 비용이 절감되므로 DBT와 DLT 중 하나를 선택할 필요가 없습니다.

DLT의 구조화된 스트리밍은 동일한 엔진을 기반으로 하며, 새로운 데이터가 도착하면 온디맨드 결과를 얻을 수 있어 일괄 처리와 비교해 지연 시간을 단축하고 비용을 절감할 수 있습니다.

DLT의 스트리밍 테이블, 구체화된 보기, 자동 로더 기능을 사용하면 데이터가 점진적으로 수집되므로 장애가 발생하여 다시 시작하는 경우에도 각 파일의 각 행이 정확히 한 번만 수집됩니다.

데이터브릭에서 구조화된 스트리밍의 힘

데이터브릭스는 JSON, CSV, 텍스트 파일과 같은 다양한 형식의 데이터 수집을 지원하며, 곧 XML도 지원할 예정입니다.

이를 통해 Kafka와 같은 메시지 버스에서 데이터를 효율적으로 수집할 수 있어 지연 시간이 짧은 수집에 이상적입니다.

데이터브릭스의 구조화된 스트리밍은 추가 전용 모델을 기반으로 하며, 데이터의 변경 사항을 처리하지 않기 때문에 스트리밍을 사용할 때 이해해야 할 중요한 사항입니다.

이 플랫폼은 또한 스트림-스트림 조인 기능을 제공하는데, 이는 특히 도착 사이에 경계가 있는 사실의 동시 도착을 위해 설계되어 특정 사용 사례에 강력한 기능을 제공합니다.

또한, 데이터브릭스는 스트리밍 소스의 진화를 지원하여 시간이 지남에 따라 소스를 추가하고 제거할 수 있어 데이터 수집에 대한 유연한 접근 방식을 제공합니다.

데이터브릭에서 변경 데이터 캡처의 비밀 메커니즘

데이터브릭스에서 데이터 캡처 변경은 서로 다른 카프카 인스턴스에서 읽기 위한 여러 흐름을 생성하여 진화하는 스트리밍 소스를 허용합니다.

"적용 변경 사항을 다음에 적용" 명령은 간단한 선언적 변경 데이터 캡처에 사용되므로 시간순이 아니더라도 올바른 데이터 도착 순서를 보장합니다.

또한 데이터브릭스에서는 다양한 데이터 소스에서 변경 피드를 가져오는 프로세스를 간소화하는 페더레이션 CDC with Unity 카탈로그를 제공합니다.

Unity 및 HMS에서 스트리밍 테이블 및 CDC 관리하기

Unity 카탈로그를 통해 스트리밍 테이블을 쿼리하면 활성 행을 필터링하고 DML 작업을 수행할 수 있습니다.

HMS에서 변경 사항을 적용하면 조정이 필요하기 때문에 테이블 대신 뷰가 생성됩니다.

CDC는 천천히 변경되는 차원 유형 1 또는 유형 2로 기록을 유지하는 데 사용할 수 있으며, 장기 기록에는 STD 유형 2 접근 방식이 효율적입니다.

델타를 중간으로 사용하여 스트리밍을 연결하는 것이 가장 좋은 방법이지만, 스트리밍의 업데이트는 수동 처리가 필요하거나 업데이트, 삭제 및 추가를 처리할 수 있는 구체화된 뷰를 사용하여 간소화할 수 있습니다.

Spark SQL의 구체화된 보기는 입력 데이터를 여러 번 읽을 수 있으므로 스트리밍과 달리 데이터가 변경될 때 정답을 계산할 수 있습니다.

Spark SQL의 Enzyme 프레임워크는 단조 쿼리, 파티션 재계산 및 병합과 같은 기술을 사용하여 변경된 데이터만 업데이트함으로써 구체화된 보기를 보다 효율적으로 업데이트할 수 있게 해줍니다.

Enzyme가 기본적으로 활성화된 DLT 서버리스는 공동 파티션 사용 사례, 연관 집계 및 단조로운 쿼리를 지원하며, 사용자 피드백을 기반으로 추가 개선이 계획되어 있습니다.

효소가 데이터 파이프라인 효율성에 미치는 영향

니틴 샤르마는 데이터 파이프라인의 느린 성능을 입증하여 효소의 증분화 기능을 채택함으로써 파이프라인의 런타임을 크게 개선했습니다.

엔자임의 서버리스 옵션을 사용하면 파이프라인의 런타임이 100배 이상 향상되어 마케팅 팀에 큰 도움이 되고 총소유비용도 절감할 수 있습니다.

DLT 서버리스는 효소를 제공할 뿐만 아니라 스트리밍 쿼리의 연산과 일정을 동적으로 최적화하여 더 빠른 성능과 비용 효율성을 위한 자동 튜닝을 제공합니다.

DLT 서버리스에서 스트리밍 쿼리 실행의 효율성

DLT 서버리스는 스트리밍 쿼리의 효율성이 2.

복잡한 변환을 피하고 원시 데이터를 삭제할 수 있도록 수집에 스트리밍 테이블을 사용하는 것이 권장되며, 구체화된 뷰는 복잡한 조인 및 집계를 자동으로 처리할 수 있습니다.

DLT의 파이프라인은 여러 스트리밍 테이블과 구체화된 보기에 소프트웨어 모범 사례를 적용하여 수명 주기, 종속성 및 격리를 관리하는 동시에 환경에 따라 올바른 데이터 복사본을 읽기 위한 실시간 종속성을 제공합니다.

DLT 파이프라인 격리 및 관리를 위한 모범 사례

코드는 각 환경에 대해 별도의 체크아웃이 있는 공유 리포지토리에 있어야 격리 기능을 제공하고 변경 사항이 프로덕션 환경에 영향을 미치는 것을 방지할 수 있습니다.

이제 최신 미리 보기 기능으로 스키마의 격리된 사본을 만들 수 있으므로 여러 곳에 게시하는 복잡한 파이프라인을 사용할 수 있습니다.

파이프라인의 크기는 비즈니스 요구 사항에 따라 달라지며, 파이프라인이 클수록 리소스 활용도가 높아지지만 고려해야 할 확장성 제한이 있습니다.

보기를 사용하여 코드를 모듈화하면 가독성이 향상되고 DLT 파이프라인에서 중간 결과에 대한 조건을 어설트하는 기능을 제공할 수 있습니다.

DLT 파이프라인은 수명 주기 관리를 처리하여 코드를 레이크 하우스 상태와 자동으로 비교하고 필요한 변경을 수행하여 동기화 상태를 유지하며, 지연 삭제 및 세부 이벤트 로깅을 통해 쉽게 복구할 수 있습니다.

데이터브릭에서 파이썬으로 프로덕션 간소화하기

데이터브릭스의 Python API를 사용하면 각 Python 라이브러리의 단일 버전을 사용하여 동일한 파이프라인에서 SQL과 Python을 원활하게 통합할 수 있습니다.

Python의 메타 프로그래밍을 사용하면 코드 반복을 최소화하면서 여러 개의 DLT 테이블을 생성할 수 있습니다.

달러 기호 표기법으로 DLT 코드를 매개변수화하면 코드 가독성과 유지보수성이 향상되어 여러 파이프라인에서 재사용할 수 있습니다.

데이터브릭스 자산 번들(DAB)은 데이터브릭스 작업 공간 내에서 코드, 작업, 노트북, 클러스터 및 파이프라인을 관리하기 위한 버전 제어 및 자동화된 솔루션을 제공하므로 수동 단계가 필요 없습니다.

DLT 파이프라인 구조화를 위한 모범 사례

DLT 파이프라인은 반전 제어를 통해 작동하며 리소스 섹션을 사용하여 리소스의 존재를 지정합니다.

파이프라인 구조에서 소스와 변환을 분리하고 유효성 검사에 기대치를 사용하여 파이프라인이 개발과 프로덕션 모두에서 효과적으로 작동하도록 하는 것이 중요합니다.

규정 요구 사항을 충족하면서 파이프라인 변경 사항을 효율적으로 테스트하고 배포하려면 자동화된 CI 검사와 함께 CI/CD 관행을 사용하는 것이 중요합니다.

데이터브릭 번들 배포 및 실행 파이프라인 관련 문제

데이터브릭스 번들 배포는 성공했지만 QA/준비 환경에서 실행이 실패하여 코드 변경이 발생했습니다.

번들 YAML 파일을 사용하면 다양한 환경에 맞게 속성을 정의하고 혼합할 수 있는 기능을 통해 모듈식 및 확장 가능한 Databricks 개체 관리가 가능합니다.

Databricks 번들을 사용하면 CI/CD 프로세스가 간소화되고 개발, 스테이징 및 프로덕션 환경 전반에서 인프라 및 구성 변경을 더 쉽게 관리할 수 있습니다.