땅땅 Dev 💻

데이터 분석 환경 구축 - 08. Clickhouse 클러스터 환경에서 데이터 삽입 및 업데이트 처리 방식 🚀(part. 2)

이전 clickhouse 클러스터 환경에서 데이터 처리 방식(Clickhouse 클러스터 환경에서 데이터 삽입 및 업데이트 처리 방식 🚀(part. 1)) 설명에 이어 ReplicatedMergetree 테이블에서 데이터가 처리되는 방식에 대해 설명하겠습니다.1. ClickHouse Kubernetes 아키텍처 개요 🛠️이번 실습에서는 replica를 추가하여 데이터가 복제되도록 설정했습니다. 기존 clickhouse helm 배포용 yaml 파일에서 replicaCount를 2로 설정했습니다.(Clickhouse 설치 방법)NAME READY STATUS RESTARTSclickhouse-shard0-0 1/1 Running 0 ..

🚀 이 글에서 다룰 내용1️⃣ Kafka와 연결된 ClickHouse 테이블 생성 (환경설정 포함)2️⃣ 실습용 데이터셋 kafka produce3️⃣ Kafka 테이블에서 데이터 셋 확인 방법1. Kafka와 연결된 ClickHouse 테이블 생성🔹 Kafka 데이터를 ClickHouse에서 처리하는 방식ClickHouse는 Kafka와 직접 연결하여 실시간으로 데이터를 가져올 수 있는 Kafka 엔진을 제공합니다.기본적으로 Kafka → Buffer 테이블 → MergeTree 테이블의 구조로 운영됩니다.🔹 ClickHouse 설정 변경 (Kafka 사용을 위한 설정)먼저, clickhouse-server의 환경설정을 수정해야 합니다.ClickHouse 설정 파일 (config.xml)에서 Ka..

Kafka를 구성하여 실시간 스트리밍 데이터를 Clickhouse로 처리하는 분석 환경을 구축합니다. 💡 이 글에서 다룰 내용:Kubernetes 환경에서 Kafka 설치 및 설정Helm 차트를 활용한 Kafka 배포Kafka 토픽 생성 및 데이터 스트리밍 테스트1. Kafka란?Kafka는 대용량 실시간 데이터 스트리밍을 위한 분산 메시징 플랫폼입니다.ClickHouse와 함께 사용하면 실시간 데이터 수집 및 분석이 가능합니다.📌 Kafka 주요 개념개념 설명Producer데이터를 Kafka에 보내는 역할ConsumerKafka에서 데이터를 읽는 역할Topic데이터가 저장되는 논리적 공간BrokerKafka 서버 (데이터를 저장하고 관리)*ZookeeperKafka의 클러스터 상태 관리Kafka 4..

이번 글에서는 Kubernetes 환경에서 ClickHouse를 배포 및 실행하는 방법을 설명합니다.Docker Desktop의 내장 Kubernetes를 활용하고, Helm 및 Bitnami Helm 차트를 사용하여 간편하게 ClickHouse를 배포합니다.1. 사전 준비1) kubectl 설치 (Kubernetes CLI)kubectl은 Kubernetes 클러스터를 관리하는 명령줄 도구입니다.🔹 macOSbrew install kubectl🔹 Windows (PowerShell)choco install kubernetes-cli✅ 설치 확인:kubectl version --client2) Docker Desktop에서 Kubernetes 활성화Docker Desktop에는 Kubernetes가 ..

데이터 분석을 위한 강력한 OLAP 데이터베이스를 찾고 계신가요?ClickHouse는 빠른 속도와 확장성을 자랑하는 컬럼형 데이터베이스로, 대규모 데이터 분석에 최적화된 솔루션입니다.이 글에서는 ClickHouse의 개념을 이해하고, 직접 실습을 통해 기본적인 사용법을 익혀보겠습니다.1. ClickHouse란?ClickHouse는 Yandex에서 개발한 오픈소스 컬럼형 데이터베이스로, 특히 대규모 데이터 분석(OLAP)에 최적화되어 있습니다.다른 RDBMS와 달리 컬럼 단위 저장 방식을 채택하여 빠른 쿼리 성능과 효율적인 데이터 압축을 제공합니다.ClickHouse의 주요 특징✅ 컬럼 기반 저장(Columnar Storage) → 빠른 분석 쿼리 속도✅ 분산 아키텍처(Distributed Architec..