실시간 분석 파이프라인 구축 - 04. Delta Lake 소개 및 환경 설정

이번 글에서는 실시간 분석 파이프라인의 핵심 기술 중 하나인 Delta Lake에 대해 소개하고, Docker Compose 기반의 환경 설정 및 PySpark를 활용한 주요 기능을 실습한 내용을 정리합니다. 또한, Delta Lake의 주요 특징과 Iceberg와의 차이점을 비교해보겠습니다.

 

이전 docker compose 기반 delta-lake 설치 - https://jongwho.tistory.com/37

실시간 분석 파이프라인 구축 - 01. Kafka, Iceberg 설치

 

---

✅ Delta Lake란?

Delta Lake는 Apache Spark 기반의 ACID 트랜잭션을 지원하는 저장소 계층(Storage Layer) 으로, 데이터 레이크(Data Lake)의 신뢰성과 성능을 크게 향상시켜 줍니다. 기존의 HDFS나 S3와 같은 객체 저장소 위에 구축되어, Append-Only 특성을 가진 데이터 저장 방식에서 발생하는 문제점(예: 데이터 정합성, 동시성 이슈 등)을 보완합니다.

🔧 설치 및 실행

기존 글에서 설치한 docker compose에 delta-lake가 설치되어 있습니다. Iceberg도 같이 설치되어 있어 Delta-Lake 노트북 실행 시 포트에 혼동이 올 수 있습니다.

docker-compose up -d

구성 요소:

• Spark (with Delta Lake)
• Jupyter Notebook
  Delta Lake의 Quick Start 예제 노트북을 통해 Delta 테이블 생성 및 쿼리를 실습할 수 있습니다.
• 접근 방법: delta_quickstart 내 jupyter notebook 주소에서 포트를 8088로 변경
  • 예: http://127.0.0.1:8088/lab?token=b9a9d31ea453fd8e224eeba50c42053bff12391ea1531aba

🧪 Delta Lake 기본 내용 소개

Delta Lake의 기본 사용법을 Jupyter Notebook에서 다음과 같이 실습하였습니다.

1. Delta 테이블 생성

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("DeltaLakeDemo") \
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
    .getOrCreate()

data = spark.range(0, 5)
data.write.format("delta").save("/tmp/delta-table")

2. Delta 테이블 조회

df = spark.read.format("delta").load("/tmp/delta-table")
df.show()

3. Append 및 Update

# Append
new_data = spark.range(5, 10)
new_data.write.format("delta").mode("append").save("/tmp/delta-table")

# Update
from delta.tables import DeltaTable

deltaTable = DeltaTable.forPath(spark, "/tmp/delta-table")
deltaTable.update(
    condition="id % 2 == 0",
    set={"id": "id + 100"}
)

4. Time Travel

# 전체 히스토리 테이블 확인
delta_table_history = (DeltaTable
                        .forPath(spark, "/tmp/delta-table")
                        .history()
                      )

(delta_table_history
   .select("version", "timestamp", "operation", "operationParameters", "operationMetrics", "engineInfo")
   .show()
)

# 이전 버전으로 테이블 변경(버전:0) 및 조회
df = (spark
        .read
        .format("delta")
        .option("versionAsOf", 0) # we pass an option `versionAsOf` with the required version number we are interested in
        .load("/tmp/delta-table")
        .orderBy("id")
      )

df.show()

---

💡 Delta Lake 주요 기능 요약

ACID 트랜잭션	멀티 쓰레드 환경에서도 데이터 정합성 유지
Schema Enforcement & Evolution	스키마 고정 및 변경 지원
Time Travel	특정 시점의 데이터 스냅샷 조회 가능
Merge (UPSERT)	기존 테이블에 조건 기반 삽입 및 갱신 지원
데이터 압축 및 클러스터링 (Z-Ordering)	쿼리 성능 최적화

 

🔍Delta Lake와 Iceberg의 주요 차이

	Delta Lake	Apache Icecberg
소속	Databricks 주도, 오픈소스 (Linux Foundation)	Apache Software Foundation, 벤더 중립
파티셔닝	사용자가 명시적으로 파티션 정의 필요	숨겨진 파티셔닝으로 자동 최적화, 사용자 부담 감소
메타데이터 관리	JSON 기반 트랜잭션 로그, 대규모 데이터에서 메타데이터 부하 가능	Parquet 기반 메타데이터, 대규모 데이터와 파티션에 더 효율적
스키마 진화	스키마 변경 지원, MergeSchema 옵션으로 유연성 제공	고급 스키마 진화(컬럼 순서 변경, 타입 변경 등) 지원
성능 최적화	Z-Order 인덱싱, 데이터 스키핑, 컴팩션	스냅샷 기반 쿼리 최적화, 메타데이터 인덱싱
엔진 통합	Spark에 최적화, 다른 엔진도 지원	Spark, Flink, Trino 등 다양한 엔진에 균등한 지원
UPSERT 성능	Merge 명령으로 효율적, Databricks 환경에서 최적화	Merge 성능은 개선 중, 엔진에 따라 성능 차이 존재
커뮤니티/생태계	Databricks 중심, 클라우드 환경에 강점	Apache 커뮤니티 중심, 벤더 중립적이고 유연한 통합

👉 정리:

• Delta Lake는 Spark 중심의 환경에 최적화되어 있으며, 실시간 스트리밍 및 배치 통합에 강점이 있습니다.
• Iceberg는 다양한 엔진과의 통합 및 메타데이터 관리 측면에서 더 발전된 기능을 제공합니다.

✅ 언제 무엇을 선택할까?

• Delta Lake:
  • Databricks 환경에서 데이터 레이크를 운영하거나 Spark 중심 워크플로우를 사용할 때 적합.
  • 간단한 설정과 빠른 UPSERT 작업이 필요한 경우.
  • 클라우드 기반 데이터 레이크에서 통합 관리와 최적화된 성능을 원할 때.
• Apache Iceberg:
  • 대규모 데이터셋(수십억 행 이상)과 복잡한 파티셔닝 요구사항이 있는 경우.
  • 다양한 쿼리 엔진(Flink, Trino 등)을 혼합해 사용하거나 벤더 종속성을 피하고 싶을 때.
  • 메타데이터 관리와 스키마 진화의 유연성이 중요한 경우.

📌 다음 글: Structed Streaming & Delta Lake

이번 글에서는 Delta Lake의 기본 개념과 환경 설정, 그리고 PySpark 기반의 주요 기능을 실습해 보았습니다. 다음 글에서는 Structured Streaming과 Delta Lake를 결합한 실시간 데이터 처리 파이프라인 구성을 다루겠습니다.