땅땅 Dev 💻

실시간 분석 파이프라인 구축 - 02. Iceberg 주요 기능 소개

Iceberg의 주요 기능을 소개하고 Delta-lake, Hudi와 비교하여 소개합니다.이전에 설치한 Docker Compose에는 Iceberg의 예시 실행 Jupyter 노트북도 함께 포함되어 있습니다. 해당 파일을 기반으로 실습하며 설명하겠습니다.(https://jongwho.tistory.com/37) Spark 실행 시작from pyspark.sql import SparkSessionspark = SparkSession.builder.appName("Jupyter").getOrCreate()spark-- 테이블 생성CREATE DATABASE IF NOT EXISTS nyc 데이터 로드 및 테이블 생성df = spark.read.parquet("/home/iceberg/data/yellow_t..

데이터 분석 환경 구축 - 10. Streamlit, Clickhouse로 실시간 대시보드 구현 🔨(part. 1)이번 글에서는 지금까지 구축했던 Clickhouse 인프라와 Streamlit을 연결하여 실시간 대시보드를 구현해보겠습니다.첫번째 파트로 Streamlit 내 Clickhouse 연결 패키지 설치와 데이터 조회 프로그램을 만들어보겠습니다.- Clickhouse 실시간 분석 테이블 생성(https://jongwho.tistory.com/26) 데이터 분석 환경 구축 - 05. Clickhouse 실시간 데이터 분석 테이블 생성하기🚀 이 글에서 다룰 내용1️⃣ Kafka와 연결된 ClickHouse 테이블 생성 (환경설정 포함)2️⃣ 실습용 데이터셋 kafka produce3️⃣ Kafka ..

이전에 소개했던 Clickhouse에서 실시간 데이터 분석을 위해대시보드를 가장 빠르게 생성할 수 있는 Streamlit 서비스에 대해 소개합니다.그리고 실제 현업에서 Streamlit으로 서비스를 구축했던 후기도 짧게 공유합니다.   데이터 분석 환경 구축 - 05. Clickhouse 실시간 데이터 분석 테이블 생성하기🚀 이 글에서 다룰 내용1️⃣ Kafka와 연결된 ClickHouse 테이블 생성 (환경설정 포함)2️⃣ 실습용 데이터셋 kafka produce3️⃣ Kafka 테이블에서 데이터 셋 확인 방법1. Kafka와 연결된 ClickHouse 테이블 생jongwho.tistory.com  🛠️ Streamlit 설치 및 차트 생성 아래 명령어면 streamlit 설치가 완료됩니다.pip ..

Kafka를 구성하여 실시간 스트리밍 데이터를 Clickhouse로 처리하는 분석 환경을 구축합니다. 💡 이 글에서 다룰 내용:Kubernetes 환경에서 Kafka 설치 및 설정Helm 차트를 활용한 Kafka 배포Kafka 토픽 생성 및 데이터 스트리밍 테스트1. Kafka란?Kafka는 대용량 실시간 데이터 스트리밍을 위한 분산 메시징 플랫폼입니다.ClickHouse와 함께 사용하면 실시간 데이터 수집 및 분석이 가능합니다.📌 Kafka 주요 개념개념 설명Producer데이터를 Kafka에 보내는 역할ConsumerKafka에서 데이터를 읽는 역할Topic데이터가 저장되는 논리적 공간BrokerKafka 서버 (데이터를 저장하고 관리)*ZookeeperKafka의 클러스터 상태 관리Kafka 4..

이번 글에서는 Kubernetes 환경에서 ClickHouse를 배포 및 실행하는 방법을 설명합니다.Docker Desktop의 내장 Kubernetes를 활용하고, Helm 및 Bitnami Helm 차트를 사용하여 간편하게 ClickHouse를 배포합니다.1. 사전 준비1) kubectl 설치 (Kubernetes CLI)kubectl은 Kubernetes 클러스터를 관리하는 명령줄 도구입니다.🔹 macOSbrew install kubectl🔹 Windows (PowerShell)choco install kubernetes-cli✅ 설치 확인:kubectl version --client2) Docker Desktop에서 Kubernetes 활성화Docker Desktop에는 Kubernetes가 ..