땅땅 Dev 💻

Delta lake 환경에서 Kafka와 연동하여 실시간 분석 환경을 구성하겠습니다.Spark의 Structed Stream을 사용합니다. 1. Kafka → Structured Streaming → Delta Lake 연동💿Kafka 데이터 생성Kafka 토픽에 JSON 데이터를 실시간으로 보내는 Producer 코드 예시입니다. Python의 Faker 패키지를 사용하여 User 데이터를 생성합니다.pip install faker kafka-pythonfrom kafka import KafkaProducerfrom faker import Fakerimport randomimport jsonimport timedef generate_user(): fake = Faker() return { ..

이번 글에서는 실시간 분석 파이프라인의 핵심 기술 중 하나인 Delta Lake에 대해 소개하고, Docker Compose 기반의 환경 설정 및 PySpark를 활용한 주요 기능을 실습한 내용을 정리합니다. 또한, Delta Lake의 주요 특징과 Iceberg와의 차이점을 비교해보겠습니다. 이전 docker compose 기반 delta-lake 설치 - https://jongwho.tistory.com/37 실시간 분석 파이프라인 구축 - 01. Kafka, Iceberg 설치RedPanda, Iceberg를 Docker Compose로 구성해서 실시간 파이프라인 기초 구성 이번 글에서는 Redpanda와 Iceberg, Minio를 구성해서 실시간 데이터레이크 환경을 구성합니다. 📌 목표Redp..

Kafka로 데이터를 수집하고, Iceberg와 Delta Lake에 저장한 뒤,Spark로 처리해보는 실시간 분석 파이프라인을 구축합니다.🔥 이 시리즈의 목표Docker 기반으로 데이터 엔지니어링에서 자주 등장하는 기술 스택인 Kafka, Data Lake(Iceberg, Delta lake)를 직접 구성하고 테스트 해볼 수 있습니다. 이를 기반으로 아래 내용들에 대해 소개하겠습니다.Kafka 실시간 분석 파이프라인 구축Docker 기반 빅데이터 분석 환경 구축Iceberg Vs Delta Lake 차이점 비교 아키텍처 소개Kafka는 데이터를 직접 확인할 수 있도록 RedPanda를 사용합니다.Iceberg와 Delta-Lake는 공식 사이트 및 공식 github에서 제공하는 이미지를 사용합니다...