땅땅 Dev 💻

이번 글에서는 Kafka에서 데이터를 소비하여 Iceberg에 저장하는 간단한 파이프라인을 구성해보고,Kafka의 파티션 중 일부가 처리되지 못하는 경우에도 Iceberg는 어떤 방식으로 데이터를 저장하는지 실험하고 이해해 보겠습니다. 이전글(https://jongwho.tistory.com/37)에서 설치한 Iceberg 기반으로 파이프라인을 구성합니다.구성: Kafka → Spark → Iceberg실험 시나리오:Kafka에는 3개의 파티션이 있고, 각 파티션에는 데이터가 순차적으로 들어옴1번 파티션의 데이터 처리 중 오류 발생2번, 3번 파티션은 정상 처리됨이 상황에서 Iceberg는 어떻게 커밋을 처리할까?🔧 1단계: Kafka & Iceberg 기본 파이프라인 구성Kafka 구성3개 파티션을 ..

Iceberg의 주요 기능을 소개하고 Delta-lake, Hudi와 비교하여 소개합니다.이전에 설치한 Docker Compose에는 Iceberg의 예시 실행 Jupyter 노트북도 함께 포함되어 있습니다. 해당 파일을 기반으로 실습하며 설명하겠습니다.(https://jongwho.tistory.com/37) Spark 실행 시작from pyspark.sql import SparkSessionspark = SparkSession.builder.appName("Jupyter").getOrCreate()spark-- 테이블 생성CREATE DATABASE IF NOT EXISTS nyc 데이터 로드 및 테이블 생성df = spark.read.parquet("/home/iceberg/data/yellow_t..

RedPanda, Iceberg를 Docker Compose로 구성해서 실시간 파이프라인 기초 구성 이번 글에서는 Redpanda와 Iceberg, Minio를 구성해서 실시간 데이터레이크 환경을 구성합니다. 📌 목표Redpanda 설치Apache Iceberg 설치Minio 설치위 설치를 Docker compose를 사용하여 구현❄️ Iceberg란 무엇인가요?Apache Iceberg는 대규모 테이블을 위한 오픈소스 데이터 레이크 포맷입니다. 기존 Hive 메타스토어 기반의 느리고 비효율적인 쿼리를 극복하고자 설계되었으며, Spark, Trino, Flink 등 다양한 분석 도구와 쉽게 통합됩니다.✅ Iceberg의 특징ACID 트랜잭션 지원Schema Evolution (스키마 변경) 가능Part..

Kafka로 데이터를 수집하고, Iceberg와 Delta Lake에 저장한 뒤,Spark로 처리해보는 실시간 분석 파이프라인을 구축합니다.🔥 이 시리즈의 목표Docker 기반으로 데이터 엔지니어링에서 자주 등장하는 기술 스택인 Kafka, Data Lake(Iceberg, Delta lake)를 직접 구성하고 테스트 해볼 수 있습니다. 이를 기반으로 아래 내용들에 대해 소개하겠습니다.Kafka 실시간 분석 파이프라인 구축Docker 기반 빅데이터 분석 환경 구축Iceberg Vs Delta Lake 차이점 비교 아키텍처 소개Kafka는 데이터를 직접 확인할 수 있도록 RedPanda를 사용합니다.Iceberg와 Delta-Lake는 공식 사이트 및 공식 github에서 제공하는 이미지를 사용합니다...

🧠 LLM 앱 가장 쉽게 만들기!– Dify 기본 기능 3가지 완전 정복 (챗봇, 에이전트, 텍스트 생성기)LLM을 활용한 AI 앱을 직접 만들고 싶은데,“코딩도 복잡하고 프롬프트 설계도 어려워요…”이런 고민, 한 번쯤 해보셨죠? 😥Dify는 (LLM)GPT 기반의 앱을 쉽게 만들 수 있는 프레임워크로(2025.04.20 - [데이터 엔지니어링] - AI 자동화 어플리케이션 개발 - 01. Dify 설치 방법) 기초 기능 3가지 중 챗봇에 대해 우선 소개합니다.🔹 0. 사전 준비 – Ollama 설치기존에 ChatGPT(또는 Claude)를 유료구독 한다면 이 과정을 생략해도 됩니다!Ollama 사이트에서(https://ollama.com/) 우선 Ollama를 다운로드 합니다. 다운로드 후 모델(..

📄 Dify 설치 방법 및 실습 후기ChatGPT, Claude, Gemini… LLM(대규모 언어모델)이 많이 생겨나고 있습니다. 그런데 단순한 챗봇을 넘어서 직접 내 AI 서비스를 만들고 싶다면?오늘은 최근 개발자들 사이에서 빠르게 주목받고 있는 오픈소스 LLM 프레임워크 ‘Dify’를 설치하고 실제로 실행해본 후기를 공유합니다.🧠 Dify란?Dify는 오픈소스로 제공되는 AI 자동화 프레임워크입니다.복잡한 코딩 없이도 OpenAI 또는 HuggingFace, Ollama 모델을 연결하고, UI 기반으로 프롬프트를 설계해서 GPT 기반 앱을 바로 만들 수 있어요.✅ 주요 기능 요약OpenAI, Claude, Azure 등 주요 LLM 연동 지원자체 챗봇, 문서 요약기, 질문 응답 서비스 등 빠르게..

Streamlit, Clickhouse로 실시간 대시보드 구현 🔨(part. 2)지난 글에서는 Streamlit에서 ClickHouse와 연결해서 실시간 대시보드를 만드는 기초를 다뤘습니다. 이번글에서는, Streamlit에서 Kafka로 데이터를 보내고 → ClickHouse가 이를 수집 → 실시간 시각화하는 전체 흐름을 만들어봅니다!-지난글: 데이터 분석 환경 구축 - 10. Streamlit, Clickhouse로 실시간 대시보드 구현 🔨(part. 1) 🗂️ 구성 요약Streamlit 데모 어플리케이션의 데이터 흐름은 다음과 같습니다.[사용자] → Streamlit (버튼 클릭) → Kafka에 JSON 메시지 전송 → ClickHouse Kafka 엔진 테이블에서 ..

데이터 분석 환경 구축 - 10. Streamlit, Clickhouse로 실시간 대시보드 구현 🔨(part. 1)이번 글에서는 지금까지 구축했던 Clickhouse 인프라와 Streamlit을 연결하여 실시간 대시보드를 구현해보겠습니다.첫번째 파트로 Streamlit 내 Clickhouse 연결 패키지 설치와 데이터 조회 프로그램을 만들어보겠습니다.- Clickhouse 실시간 분석 테이블 생성(https://jongwho.tistory.com/26) 데이터 분석 환경 구축 - 05. Clickhouse 실시간 데이터 분석 테이블 생성하기🚀 이 글에서 다룰 내용1️⃣ Kafka와 연결된 ClickHouse 테이블 생성 (환경설정 포함)2️⃣ 실습용 데이터셋 kafka produce3️⃣ Kafka ..

이전에 소개했던 Clickhouse에서 실시간 데이터 분석을 위해대시보드를 가장 빠르게 생성할 수 있는 Streamlit 서비스에 대해 소개합니다.그리고 실제 현업에서 Streamlit으로 서비스를 구축했던 후기도 짧게 공유합니다.   데이터 분석 환경 구축 - 05. Clickhouse 실시간 데이터 분석 테이블 생성하기🚀 이 글에서 다룰 내용1️⃣ Kafka와 연결된 ClickHouse 테이블 생성 (환경설정 포함)2️⃣ 실습용 데이터셋 kafka produce3️⃣ Kafka 테이블에서 데이터 셋 확인 방법1. Kafka와 연결된 ClickHouse 테이블 생jongwho.tistory.com  🛠️ Streamlit 설치 및 차트 생성 아래 명령어면 streamlit 설치가 완료됩니다.pip ..

이전 clickhouse 클러스터 환경에서 데이터 처리 방식(Clickhouse 클러스터 환경에서 데이터 삽입 및 업데이트 처리 방식 🚀(part. 1)) 설명에 이어 ReplicatedMergetree 테이블에서 데이터가 처리되는 방식에 대해 설명하겠습니다.1. ClickHouse Kubernetes 아키텍처 개요 🛠️이번 실습에서는 replica를 추가하여 데이터가 복제되도록 설정했습니다. 기존 clickhouse helm 배포용 yaml 파일에서 replicaCount를 2로 설정했습니다.(Clickhouse 설치 방법)NAME READY STATUS RESTARTSclickhouse-shard0-0 1/1 Running 0 ..