땅땅 Dev 💻

데이터 분석 환경 구축 - 10. Streamlit, Clickhouse로 실시간 대시보드 구현 🔨(part. 1)이번 글에서는 지금까지 구축했던 Clickhouse 인프라와 Streamlit을 연결하여 실시간 대시보드를 구현해보겠습니다.첫번째 파트로 Streamlit 내 Clickhouse 연결 패키지 설치와 데이터 조회 프로그램을 만들어보겠습니다.- Clickhouse 실시간 분석 테이블 생성(https://jongwho.tistory.com/26) 데이터 분석 환경 구축 - 05. Clickhouse 실시간 데이터 분석 테이블 생성하기🚀 이 글에서 다룰 내용1️⃣ Kafka와 연결된 ClickHouse 테이블 생성 (환경설정 포함)2️⃣ 실습용 데이터셋 kafka produce3️⃣ Kafka ..

이전에 소개했던 Clickhouse에서 실시간 데이터 분석을 위해대시보드를 가장 빠르게 생성할 수 있는 Streamlit 서비스에 대해 소개합니다.그리고 실제 현업에서 Streamlit으로 서비스를 구축했던 후기도 짧게 공유합니다.   데이터 분석 환경 구축 - 05. Clickhouse 실시간 데이터 분석 테이블 생성하기🚀 이 글에서 다룰 내용1️⃣ Kafka와 연결된 ClickHouse 테이블 생성 (환경설정 포함)2️⃣ 실습용 데이터셋 kafka produce3️⃣ Kafka 테이블에서 데이터 셋 확인 방법1. Kafka와 연결된 ClickHouse 테이블 생jongwho.tistory.com  🛠️ Streamlit 설치 및 차트 생성 아래 명령어면 streamlit 설치가 완료됩니다.pip ..

이전 clickhouse 클러스터 환경에서 데이터 처리 방식(Clickhouse 클러스터 환경에서 데이터 삽입 및 업데이트 처리 방식 🚀(part. 1)) 설명에 이어 ReplicatedMergetree 테이블에서 데이터가 처리되는 방식에 대해 설명하겠습니다.1. ClickHouse Kubernetes 아키텍처 개요 🛠️이번 실습에서는 replica를 추가하여 데이터가 복제되도록 설정했습니다. 기존 clickhouse helm 배포용 yaml 파일에서 replicaCount를 2로 설정했습니다.(Clickhouse 설치 방법)NAME READY STATUS RESTARTSclickhouse-shard0-0 1/1 Running 0 ..

Clickhouse 클러스터 환경에서 데이터 삽입 및 업데이트 처리 방식 🚀(part. 1)이전 글 데이터 분석 환경 구축 - 06. Clickhouse 테이블 종류와 용도에 이어 Kubernetes 기반 ClickHouse 클러스터 환경에서 주요 테이블 엔진별 데이터 삽입 및 업데이트 처리 방식을 살펴보고, 최신 기능과 최적화 기법을 소개합니다. 1. ClickHouse Kubernetes 아키텍처 개요 🛠️Kubernetes 환경에서 ClickHouse는 샤드(Shard)와 레플리카(Replica) 구조를 통해 데이터를 분산 저장하고 고가용성을 보장합니다.1.1 Kubernetes 클러스터 구성샤드(Shard): 데이터를 분할하여 저장하는 노드레플리카(Replica): 동일 데이터를 복제하여 샤드..