땅땅 Dev 💻

데이터 분석 환경 구축 - 08. Clickhouse 클러스터 환경에서 데이터 삽입 및 업데이트 처리 방식 🚀(part. 2)

이전 clickhouse 클러스터 환경에서 데이터 처리 방식(Clickhouse 클러스터 환경에서 데이터 삽입 및 업데이트 처리 방식 🚀(part. 1)) 설명에 이어 ReplicatedMergetree 테이블에서 데이터가 처리되는 방식에 대해 설명하겠습니다.1. ClickHouse Kubernetes 아키텍처 개요 🛠️이번 실습에서는 replica를 추가하여 데이터가 복제되도록 설정했습니다. 기존 clickhouse helm 배포용 yaml 파일에서 replicaCount를 2로 설정했습니다.(Clickhouse 설치 방법)NAME READY STATUS RESTARTSclickhouse-shard0-0 1/1 Running 0 ..

개요ClickHouse는 초고속 분석을 위해 설계된 컬럼 지향 데이터베이스로, 다양한 데이터베이스 엔진과 테이블 엔진을 제공합니다.데이터베이스 엔진은 데이터베이스 수준에서 데이터를 저장하는 방식과 백엔드를 결정합니다.테이블 엔진은 개별 테이블의 데이터 저장 방식, 읽기/쓰기 방법, 복제 방식 등을 정의합니다.이 글에서는 데이터베이스 엔진과 테이블 엔진의 주요 특징, 차이점, 사용 사례를 포함하여 상세히 분석합니다.1. ClickHouse 데이터베이스 엔진데이터베이스 엔진은 ClickHouse 내에서 데이터베이스 단위로 데이터가 어떻게 관리되는지 결정합니다.데이터베이스 엔진 종류 및 특징엔진타입주요 특징장점단점사용 상황Atomic논블로킹 DDL, 원자적 테이블 교환, UUID 기반 관리높은 동시성 지원, ..

🚀 이 글에서 다룰 내용1️⃣ Kafka와 연결된 ClickHouse 테이블 생성 (환경설정 포함)2️⃣ 실습용 데이터셋 kafka produce3️⃣ Kafka 테이블에서 데이터 셋 확인 방법1. Kafka와 연결된 ClickHouse 테이블 생성🔹 Kafka 데이터를 ClickHouse에서 처리하는 방식ClickHouse는 Kafka와 직접 연결하여 실시간으로 데이터를 가져올 수 있는 Kafka 엔진을 제공합니다.기본적으로 Kafka → Buffer 테이블 → MergeTree 테이블의 구조로 운영됩니다.🔹 ClickHouse 설정 변경 (Kafka 사용을 위한 설정)먼저, clickhouse-server의 환경설정을 수정해야 합니다.ClickHouse 설정 파일 (config.xml)에서 Ka..

이전 Apache Kafka 설치 후 토픽 생성, 목록 확인에 오류가 있어 kafka 구성이 어려웠습니다. 이에 UI 환경을 구성하여 kafka 토픽을 쉽게 생성할 수 있도록 Console 환경을 구축합니다.💡 이 글에서 다룰 내용:Redpanda Console이란?Helm을 사용해 Redpanda Console 배포Kafka와 연결 및 UI에서 토픽 생성메시지 Produce 테스트1. Redpanda Console이란?Redpanda Console은 Kafka 클러스터를 쉽게 관리할 수 있는 웹 UI입니다.Kafka의 기본 CLI보다 편리하게 토픽 생성, 메시지 조회, 소비자 그룹 모니터링 등을 수행할 수 있습니다.❗ Redpanda Console은 Kafka와 완전히 호환되므로 Kafka 클러스터와..