땅땅 Dev 💻

실시간 데이터 분석 환경 구축 - 11. Streamlit, Clickhouse로 실시간 대시보드 구현 🔨(part. 2)

Streamlit, Clickhouse로 실시간 대시보드 구현 🔨(part. 2)지난 글에서는 Streamlit에서 ClickHouse와 연결해서 실시간 대시보드를 만드는 기초를 다뤘습니다. 이번글에서는, Streamlit에서 Kafka로 데이터를 보내고 → ClickHouse가 이를 수집 → 실시간 시각화하는 전체 흐름을 만들어봅니다!-지난글: 데이터 분석 환경 구축 - 10. Streamlit, Clickhouse로 실시간 대시보드 구현 🔨(part. 1) 🗂️ 구성 요약Streamlit 데모 어플리케이션의 데이터 흐름은 다음과 같습니다.[사용자] → Streamlit (버튼 클릭) → Kafka에 JSON 메시지 전송 → ClickHouse Kafka 엔진 테이블에서 ..

실시간 데이터 분석 환경 구축 - 10. Streamlit, Clickhouse로 실시간 대시보드 구현 🔨(part. 1)

데이터 분석 환경 구축 - 10. Streamlit, Clickhouse로 실시간 대시보드 구현 🔨(part. 1)이번 글에서는 지금까지 구축했던 Clickhouse 인프라와 Streamlit을 연결하여 실시간 대시보드를 구현해보겠습니다.첫번째 파트로 Streamlit 내 Clickhouse 연결 패키지 설치와 데이터 조회 프로그램을 만들어보겠습니다.- Clickhouse 실시간 분석 테이블 생성(https://jongwho.tistory.com/26) 데이터 분석 환경 구축 - 05. Clickhouse 실시간 데이터 분석 테이블 생성하기🚀 이 글에서 다룰 내용1️⃣ Kafka와 연결된 ClickHouse 테이블 생성 (환경설정 포함)2️⃣ 실습용 데이터셋 kafka produce3️⃣ Kafka ..

이전에 소개했던 Clickhouse에서 실시간 데이터 분석을 위해대시보드를 가장 빠르게 생성할 수 있는 Streamlit 서비스에 대해 소개합니다.그리고 실제 현업에서 Streamlit으로 서비스를 구축했던 후기도 짧게 공유합니다.   데이터 분석 환경 구축 - 05. Clickhouse 실시간 데이터 분석 테이블 생성하기🚀 이 글에서 다룰 내용1️⃣ Kafka와 연결된 ClickHouse 테이블 생성 (환경설정 포함)2️⃣ 실습용 데이터셋 kafka produce3️⃣ Kafka 테이블에서 데이터 셋 확인 방법1. Kafka와 연결된 ClickHouse 테이블 생jongwho.tistory.com  🛠️ Streamlit 설치 및 차트 생성 아래 명령어면 streamlit 설치가 완료됩니다.pip ..

이전 clickhouse 클러스터 환경에서 데이터 처리 방식(Clickhouse 클러스터 환경에서 데이터 삽입 및 업데이트 처리 방식 🚀(part. 1)) 설명에 이어 ReplicatedMergetree 테이블에서 데이터가 처리되는 방식에 대해 설명하겠습니다.1. ClickHouse Kubernetes 아키텍처 개요 🛠️이번 실습에서는 replica를 추가하여 데이터가 복제되도록 설정했습니다. 기존 clickhouse helm 배포용 yaml 파일에서 replicaCount를 2로 설정했습니다.(Clickhouse 설치 방법)NAME READY STATUS RESTARTSclickhouse-shard0-0 1/1 Running 0 ..

Clickhouse 클러스터 환경에서 데이터 삽입 및 업데이트 처리 방식 🚀(part. 1)이전 글 데이터 분석 환경 구축 - 06. Clickhouse 테이블 종류와 용도에 이어 Kubernetes 기반 ClickHouse 클러스터 환경에서 주요 테이블 엔진별 데이터 삽입 및 업데이트 처리 방식을 살펴보고, 최신 기능과 최적화 기법을 소개합니다. 1. ClickHouse Kubernetes 아키텍처 개요 🛠️Kubernetes 환경에서 ClickHouse는 샤드(Shard)와 레플리카(Replica) 구조를 통해 데이터를 분산 저장하고 고가용성을 보장합니다.1.1 Kubernetes 클러스터 구성샤드(Shard): 데이터를 분할하여 저장하는 노드레플리카(Replica): 동일 데이터를 복제하여 샤드..

개요ClickHouse는 초고속 분석을 위해 설계된 컬럼 지향 데이터베이스로, 다양한 데이터베이스 엔진과 테이블 엔진을 제공합니다.데이터베이스 엔진은 데이터베이스 수준에서 데이터를 저장하는 방식과 백엔드를 결정합니다.테이블 엔진은 개별 테이블의 데이터 저장 방식, 읽기/쓰기 방법, 복제 방식 등을 정의합니다.이 글에서는 데이터베이스 엔진과 테이블 엔진의 주요 특징, 차이점, 사용 사례를 포함하여 상세히 분석합니다.1. ClickHouse 데이터베이스 엔진데이터베이스 엔진은 ClickHouse 내에서 데이터베이스 단위로 데이터가 어떻게 관리되는지 결정합니다.데이터베이스 엔진 종류 및 특징엔진타입주요 특징장점단점사용 상황Atomic논블로킹 DDL, 원자적 테이블 교환, UUID 기반 관리높은 동시성 지원, ..

🚀 이 글에서 다룰 내용1️⃣ Kafka와 연결된 ClickHouse 테이블 생성 (환경설정 포함)2️⃣ 실습용 데이터셋 kafka produce3️⃣ Kafka 테이블에서 데이터 셋 확인 방법1. Kafka와 연결된 ClickHouse 테이블 생성🔹 Kafka 데이터를 ClickHouse에서 처리하는 방식ClickHouse는 Kafka와 직접 연결하여 실시간으로 데이터를 가져올 수 있는 Kafka 엔진을 제공합니다.기본적으로 Kafka → Buffer 테이블 → MergeTree 테이블의 구조로 운영됩니다.🔹 ClickHouse 설정 변경 (Kafka 사용을 위한 설정)먼저, clickhouse-server의 환경설정을 수정해야 합니다.ClickHouse 설정 파일 (config.xml)에서 Ka..

이전 Apache Kafka 설치 후 토픽 생성, 목록 확인에 오류가 있어 kafka 구성이 어려웠습니다. 이에 UI 환경을 구성하여 kafka 토픽을 쉽게 생성할 수 있도록 Console 환경을 구축합니다.💡 이 글에서 다룰 내용:Redpanda Console이란?Helm을 사용해 Redpanda Console 배포Kafka와 연결 및 UI에서 토픽 생성메시지 Produce 테스트1. Redpanda Console이란?Redpanda Console은 Kafka 클러스터를 쉽게 관리할 수 있는 웹 UI입니다.Kafka의 기본 CLI보다 편리하게 토픽 생성, 메시지 조회, 소비자 그룹 모니터링 등을 수행할 수 있습니다.❗ Redpanda Console은 Kafka와 완전히 호환되므로 Kafka 클러스터와..

Kafka를 구성하여 실시간 스트리밍 데이터를 Clickhouse로 처리하는 분석 환경을 구축합니다. 💡 이 글에서 다룰 내용:Kubernetes 환경에서 Kafka 설치 및 설정Helm 차트를 활용한 Kafka 배포Kafka 토픽 생성 및 데이터 스트리밍 테스트1. Kafka란?Kafka는 대용량 실시간 데이터 스트리밍을 위한 분산 메시징 플랫폼입니다.ClickHouse와 함께 사용하면 실시간 데이터 수집 및 분석이 가능합니다.📌 Kafka 주요 개념개념 설명Producer데이터를 Kafka에 보내는 역할ConsumerKafka에서 데이터를 읽는 역할Topic데이터가 저장되는 논리적 공간BrokerKafka 서버 (데이터를 저장하고 관리)*ZookeeperKafka의 클러스터 상태 관리Kafka 4..

이번 글에서는 Kubernetes 환경에서 ClickHouse를 배포 및 실행하는 방법을 설명합니다.Docker Desktop의 내장 Kubernetes를 활용하고, Helm 및 Bitnami Helm 차트를 사용하여 간편하게 ClickHouse를 배포합니다.1. 사전 준비1) kubectl 설치 (Kubernetes CLI)kubectl은 Kubernetes 클러스터를 관리하는 명령줄 도구입니다.🔹 macOSbrew install kubectl🔹 Windows (PowerShell)choco install kubernetes-cli✅ 설치 확인:kubectl version --client2) Docker Desktop에서 Kubernetes 활성화Docker Desktop에는 Kubernetes가 ..