땅땅 Dev 💻

이전 clickhouse 클러스터 환경에서 데이터 처리 방식(Clickhouse 클러스터 환경에서 데이터 삽입 및 업데이트 처리 방식 🚀(part. 1)) 설명에 이어 ReplicatedMergetree 테이블에서 데이터가 처리되는 방식에 대해 설명하겠습니다.1. ClickHouse Kubernetes 아키텍처 개요 🛠️이번 실습에서는 replica를 추가하여 데이터가 복제되도록 설정했습니다. 기존 clickhouse helm 배포용 yaml 파일에서 replicaCount를 2로 설정했습니다.(Clickhouse 설치 방법)NAME READY STATUS RESTARTSclickhouse-shard0-0 1/1 Running 0 ..

Clickhouse 클러스터 환경에서 데이터 삽입 및 업데이트 처리 방식 🚀(part. 1)이전 글 데이터 분석 환경 구축 - 06. Clickhouse 테이블 종류와 용도에 이어 Kubernetes 기반 ClickHouse 클러스터 환경에서 주요 테이블 엔진별 데이터 삽입 및 업데이트 처리 방식을 살펴보고, 최신 기능과 최적화 기법을 소개합니다. 1. ClickHouse Kubernetes 아키텍처 개요 🛠️Kubernetes 환경에서 ClickHouse는 샤드(Shard)와 레플리카(Replica) 구조를 통해 데이터를 분산 저장하고 고가용성을 보장합니다.1.1 Kubernetes 클러스터 구성샤드(Shard): 데이터를 분할하여 저장하는 노드레플리카(Replica): 동일 데이터를 복제하여 샤드..

🚀 이 글에서 다룰 내용1️⃣ Kafka와 연결된 ClickHouse 테이블 생성 (환경설정 포함)2️⃣ 실습용 데이터셋 kafka produce3️⃣ Kafka 테이블에서 데이터 셋 확인 방법1. Kafka와 연결된 ClickHouse 테이블 생성🔹 Kafka 데이터를 ClickHouse에서 처리하는 방식ClickHouse는 Kafka와 직접 연결하여 실시간으로 데이터를 가져올 수 있는 Kafka 엔진을 제공합니다.기본적으로 Kafka → Buffer 테이블 → MergeTree 테이블의 구조로 운영됩니다.🔹 ClickHouse 설정 변경 (Kafka 사용을 위한 설정)먼저, clickhouse-server의 환경설정을 수정해야 합니다.ClickHouse 설정 파일 (config.xml)에서 Ka..

이번 글에서는 Kubernetes 환경에서 ClickHouse를 배포 및 실행하는 방법을 설명합니다.Docker Desktop의 내장 Kubernetes를 활용하고, Helm 및 Bitnami Helm 차트를 사용하여 간편하게 ClickHouse를 배포합니다.1. 사전 준비1) kubectl 설치 (Kubernetes CLI)kubectl은 Kubernetes 클러스터를 관리하는 명령줄 도구입니다.🔹 macOSbrew install kubectl🔹 Windows (PowerShell)choco install kubernetes-cli✅ 설치 확인:kubectl version --client2) Docker Desktop에서 Kubernetes 활성화Docker Desktop에는 Kubernetes가 ..