땅땅 Dev 💻

Delta lake 환경에서 Kafka와 연동하여 실시간 분석 환경을 구성하겠습니다.Spark의 Structed Stream을 사용합니다. 1. Kafka → Structured Streaming → Delta Lake 연동💿Kafka 데이터 생성Kafka 토픽에 JSON 데이터를 실시간으로 보내는 Producer 코드 예시입니다. Python의 Faker 패키지를 사용하여 User 데이터를 생성합니다.pip install faker kafka-pythonfrom kafka import KafkaProducerfrom faker import Fakerimport randomimport jsonimport timedef generate_user(): fake = Faker() return { ..

이번 글에서는 Kafka에서 데이터를 소비하여 Iceberg에 저장하는 간단한 파이프라인을 구성해보고,Kafka의 파티션 중 일부가 처리되지 못하는 경우에도 Iceberg는 어떤 방식으로 데이터를 저장하는지 실험하고 이해해 보겠습니다. 이전글(https://jongwho.tistory.com/37)에서 설치한 Iceberg 기반으로 파이프라인을 구성합니다.구성: Kafka → Spark → Iceberg실험 시나리오:Kafka에는 3개의 파티션이 있고, 각 파티션에는 데이터가 순차적으로 들어옴1번 파티션의 데이터 처리 중 오류 발생2번, 3번 파티션은 정상 처리됨이 상황에서 Iceberg는 어떻게 커밋을 처리할까?🔧 1단계: Kafka & Iceberg 기본 파이프라인 구성Kafka 구성3개 파티션을 ..

RedPanda, Iceberg를 Docker Compose로 구성해서 실시간 파이프라인 기초 구성 이번 글에서는 Redpanda와 Iceberg, Minio를 구성해서 실시간 데이터레이크 환경을 구성합니다. 📌 목표Redpanda 설치Apache Iceberg 설치Minio 설치위 설치를 Docker compose를 사용하여 구현❄️ Iceberg란 무엇인가요?Apache Iceberg는 대규모 테이블을 위한 오픈소스 데이터 레이크 포맷입니다. 기존 Hive 메타스토어 기반의 느리고 비효율적인 쿼리를 극복하고자 설계되었으며, Spark, Trino, Flink 등 다양한 분석 도구와 쉽게 통합됩니다.✅ Iceberg의 특징ACID 트랜잭션 지원Schema Evolution (스키마 변경) 가능Part..

Kafka로 데이터를 수집하고, Iceberg와 Delta Lake에 저장한 뒤,Spark로 처리해보는 실시간 분석 파이프라인을 구축합니다.🔥 이 시리즈의 목표Docker 기반으로 데이터 엔지니어링에서 자주 등장하는 기술 스택인 Kafka, Data Lake(Iceberg, Delta lake)를 직접 구성하고 테스트 해볼 수 있습니다. 이를 기반으로 아래 내용들에 대해 소개하겠습니다.Kafka 실시간 분석 파이프라인 구축Docker 기반 빅데이터 분석 환경 구축Iceberg Vs Delta Lake 차이점 비교 아키텍처 소개Kafka는 데이터를 직접 확인할 수 있도록 RedPanda를 사용합니다.Iceberg와 Delta-Lake는 공식 사이트 및 공식 github에서 제공하는 이미지를 사용합니다...

Streamlit, Clickhouse로 실시간 대시보드 구현 🔨(part. 2)지난 글에서는 Streamlit에서 ClickHouse와 연결해서 실시간 대시보드를 만드는 기초를 다뤘습니다. 이번글에서는, Streamlit에서 Kafka로 데이터를 보내고 → ClickHouse가 이를 수집 → 실시간 시각화하는 전체 흐름을 만들어봅니다!-지난글: 데이터 분석 환경 구축 - 10. Streamlit, Clickhouse로 실시간 대시보드 구현 🔨(part. 1) 🗂️ 구성 요약Streamlit 데모 어플리케이션의 데이터 흐름은 다음과 같습니다.[사용자] → Streamlit (버튼 클릭) → Kafka에 JSON 메시지 전송 → ClickHouse Kafka 엔진 테이블에서 ..

🚀 이 글에서 다룰 내용1️⃣ Kafka와 연결된 ClickHouse 테이블 생성 (환경설정 포함)2️⃣ 실습용 데이터셋 kafka produce3️⃣ Kafka 테이블에서 데이터 셋 확인 방법1. Kafka와 연결된 ClickHouse 테이블 생성🔹 Kafka 데이터를 ClickHouse에서 처리하는 방식ClickHouse는 Kafka와 직접 연결하여 실시간으로 데이터를 가져올 수 있는 Kafka 엔진을 제공합니다.기본적으로 Kafka → Buffer 테이블 → MergeTree 테이블의 구조로 운영됩니다.🔹 ClickHouse 설정 변경 (Kafka 사용을 위한 설정)먼저, clickhouse-server의 환경설정을 수정해야 합니다.ClickHouse 설정 파일 (config.xml)에서 Ka..

이전 Apache Kafka 설치 후 토픽 생성, 목록 확인에 오류가 있어 kafka 구성이 어려웠습니다. 이에 UI 환경을 구성하여 kafka 토픽을 쉽게 생성할 수 있도록 Console 환경을 구축합니다.💡 이 글에서 다룰 내용:Redpanda Console이란?Helm을 사용해 Redpanda Console 배포Kafka와 연결 및 UI에서 토픽 생성메시지 Produce 테스트1. Redpanda Console이란?Redpanda Console은 Kafka 클러스터를 쉽게 관리할 수 있는 웹 UI입니다.Kafka의 기본 CLI보다 편리하게 토픽 생성, 메시지 조회, 소비자 그룹 모니터링 등을 수행할 수 있습니다.❗ Redpanda Console은 Kafka와 완전히 호환되므로 Kafka 클러스터와..