땅땅 Dev 💻

실시간 분석 파이프라인 구축 - 03. Kafka-Iceberg 데이터 파이프라인

이번 글에서는 Kafka에서 데이터를 소비하여 Iceberg에 저장하는 간단한 파이프라인을 구성해보고,Kafka의 파티션 중 일부가 처리되지 못하는 경우에도 Iceberg는 어떤 방식으로 데이터를 저장하는지 실험하고 이해해 보겠습니다. 이전글(https://jongwho.tistory.com/37)에서 설치한 Iceberg 기반으로 파이프라인을 구성합니다.구성: Kafka → Spark → Iceberg실험 시나리오:Kafka에는 3개의 파티션이 있고, 각 파티션에는 데이터가 순차적으로 들어옴1번 파티션의 데이터 처리 중 오류 발생2번, 3번 파티션은 정상 처리됨이 상황에서 Iceberg는 어떻게 커밋을 처리할까?🔧 1단계: Kafka & Iceberg 기본 파이프라인 구성Kafka 구성3개 파티션을 ..

실시간 분석 파이프라인 구축 - 02. Iceberg 주요 기능 소개

Iceberg의 주요 기능을 소개하고 Delta-lake, Hudi와 비교하여 소개합니다.이전에 설치한 Docker Compose에는 Iceberg의 예시 실행 Jupyter 노트북도 함께 포함되어 있습니다. 해당 파일을 기반으로 실습하며 설명하겠습니다.(https://jongwho.tistory.com/37) Spark 실행 시작from pyspark.sql import SparkSessionspark = SparkSession.builder.appName("Jupyter").getOrCreate()spark-- 테이블 생성CREATE DATABASE IF NOT EXISTS nyc 데이터 로드 및 테이블 생성df = spark.read.parquet("/home/iceberg/data/yellow_t..

RedPanda, Iceberg를 Docker Compose로 구성해서 실시간 파이프라인 기초 구성 이번 글에서는 Redpanda와 Iceberg, Minio를 구성해서 실시간 데이터레이크 환경을 구성합니다. 📌 목표Redpanda 설치Apache Iceberg 설치Minio 설치위 설치를 Docker compose를 사용하여 구현❄️ Iceberg란 무엇인가요?Apache Iceberg는 대규모 테이블을 위한 오픈소스 데이터 레이크 포맷입니다. 기존 Hive 메타스토어 기반의 느리고 비효율적인 쿼리를 극복하고자 설계되었으며, Spark, Trino, Flink 등 다양한 분석 도구와 쉽게 통합됩니다.✅ Iceberg의 특징ACID 트랜잭션 지원Schema Evolution (스키마 변경) 가능Part..

Kafka로 데이터를 수집하고, Iceberg와 Delta Lake에 저장한 뒤,Spark로 처리해보는 실시간 분석 파이프라인을 구축합니다.🔥 이 시리즈의 목표Docker 기반으로 데이터 엔지니어링에서 자주 등장하는 기술 스택인 Kafka, Data Lake(Iceberg, Delta lake)를 직접 구성하고 테스트 해볼 수 있습니다. 이를 기반으로 아래 내용들에 대해 소개하겠습니다.Kafka 실시간 분석 파이프라인 구축Docker 기반 빅데이터 분석 환경 구축Iceberg Vs Delta Lake 차이점 비교 아키텍처 소개Kafka는 데이터를 직접 확인할 수 있도록 RedPanda를 사용합니다.Iceberg와 Delta-Lake는 공식 사이트 및 공식 github에서 제공하는 이미지를 사용합니다...