땅땅 Dev 💻

이전 clickhouse 클러스터 환경에서 데이터 처리 방식(Clickhouse 클러스터 환경에서 데이터 삽입 및 업데이트 처리 방식 🚀(part. 1)) 설명에 이어 ReplicatedMergetree 테이블에서 데이터가 처리되는 방식에 대해 설명하겠습니다.1. ClickHouse Kubernetes 아키텍처 개요 🛠️이번 실습에서는 replica를 추가하여 데이터가 복제되도록 설정했습니다. 기존 clickhouse helm 배포용 yaml 파일에서 replicaCount를 2로 설정했습니다.(Clickhouse 설치 방법)NAME READY STATUS RESTARTSclickhouse-shard0-0 1/1 Running 0 ..

Clickhouse 클러스터 환경에서 데이터 삽입 및 업데이트 처리 방식 🚀(part. 1)이전 글 데이터 분석 환경 구축 - 06. Clickhouse 테이블 종류와 용도에 이어 Kubernetes 기반 ClickHouse 클러스터 환경에서 주요 테이블 엔진별 데이터 삽입 및 업데이트 처리 방식을 살펴보고, 최신 기능과 최적화 기법을 소개합니다. 1. ClickHouse Kubernetes 아키텍처 개요 🛠️Kubernetes 환경에서 ClickHouse는 샤드(Shard)와 레플리카(Replica) 구조를 통해 데이터를 분산 저장하고 고가용성을 보장합니다.1.1 Kubernetes 클러스터 구성샤드(Shard): 데이터를 분할하여 저장하는 노드레플리카(Replica): 동일 데이터를 복제하여 샤드..

개요ClickHouse는 초고속 분석을 위해 설계된 컬럼 지향 데이터베이스로, 다양한 데이터베이스 엔진과 테이블 엔진을 제공합니다.데이터베이스 엔진은 데이터베이스 수준에서 데이터를 저장하는 방식과 백엔드를 결정합니다.테이블 엔진은 개별 테이블의 데이터 저장 방식, 읽기/쓰기 방법, 복제 방식 등을 정의합니다.이 글에서는 데이터베이스 엔진과 테이블 엔진의 주요 특징, 차이점, 사용 사례를 포함하여 상세히 분석합니다.1. ClickHouse 데이터베이스 엔진데이터베이스 엔진은 ClickHouse 내에서 데이터베이스 단위로 데이터가 어떻게 관리되는지 결정합니다.데이터베이스 엔진 종류 및 특징엔진타입주요 특징장점단점사용 상황Atomic논블로킹 DDL, 원자적 테이블 교환, UUID 기반 관리높은 동시성 지원, ..

🚀 이 글에서 다룰 내용1️⃣ Kafka와 연결된 ClickHouse 테이블 생성 (환경설정 포함)2️⃣ 실습용 데이터셋 kafka produce3️⃣ Kafka 테이블에서 데이터 셋 확인 방법1. Kafka와 연결된 ClickHouse 테이블 생성🔹 Kafka 데이터를 ClickHouse에서 처리하는 방식ClickHouse는 Kafka와 직접 연결하여 실시간으로 데이터를 가져올 수 있는 Kafka 엔진을 제공합니다.기본적으로 Kafka → Buffer 테이블 → MergeTree 테이블의 구조로 운영됩니다.🔹 ClickHouse 설정 변경 (Kafka 사용을 위한 설정)먼저, clickhouse-server의 환경설정을 수정해야 합니다.ClickHouse 설정 파일 (config.xml)에서 Ka..

Kafka를 구성하여 실시간 스트리밍 데이터를 Clickhouse로 처리하는 분석 환경을 구축합니다. 💡 이 글에서 다룰 내용:Kubernetes 환경에서 Kafka 설치 및 설정Helm 차트를 활용한 Kafka 배포Kafka 토픽 생성 및 데이터 스트리밍 테스트1. Kafka란?Kafka는 대용량 실시간 데이터 스트리밍을 위한 분산 메시징 플랫폼입니다.ClickHouse와 함께 사용하면 실시간 데이터 수집 및 분석이 가능합니다.📌 Kafka 주요 개념개념 설명Producer데이터를 Kafka에 보내는 역할ConsumerKafka에서 데이터를 읽는 역할Topic데이터가 저장되는 논리적 공간BrokerKafka 서버 (데이터를 저장하고 관리)*ZookeeperKafka의 클러스터 상태 관리Kafka 4..

이번 글에서는 Kubernetes 환경에서 ClickHouse를 배포 및 실행하는 방법을 설명합니다.Docker Desktop의 내장 Kubernetes를 활용하고, Helm 및 Bitnami Helm 차트를 사용하여 간편하게 ClickHouse를 배포합니다.1. 사전 준비1) kubectl 설치 (Kubernetes CLI)kubectl은 Kubernetes 클러스터를 관리하는 명령줄 도구입니다.🔹 macOSbrew install kubectl🔹 Windows (PowerShell)choco install kubernetes-cli✅ 설치 확인:kubectl version --client2) Docker Desktop에서 Kubernetes 활성화Docker Desktop에는 Kubernetes가 ..

데이터 분석을 위한 강력한 OLAP 데이터베이스를 찾고 계신가요?ClickHouse는 빠른 속도와 확장성을 자랑하는 컬럼형 데이터베이스로, 대규모 데이터 분석에 최적화된 솔루션입니다.이 글에서는 ClickHouse의 개념을 이해하고, 직접 실습을 통해 기본적인 사용법을 익혀보겠습니다.1. ClickHouse란?ClickHouse는 Yandex에서 개발한 오픈소스 컬럼형 데이터베이스로, 특히 대규모 데이터 분석(OLAP)에 최적화되어 있습니다.다른 RDBMS와 달리 컬럼 단위 저장 방식을 채택하여 빠른 쿼리 성능과 효율적인 데이터 압축을 제공합니다.ClickHouse의 주요 특징✅ 컬럼 기반 저장(Columnar Storage) → 빠른 분석 쿼리 속도✅ 분산 아키텍처(Distributed Architec..