실시간 데이터 분석 환경 구축 - 06. Clickhouse 테이블 종류와 용도

개요

ClickHouse는 초고속 분석을 위해 설계된 컬럼 지향 데이터베이스로, 다양한 데이터베이스 엔진과 테이블 엔진을 제공합니다.

• 데이터베이스 엔진은 데이터베이스 수준에서 데이터를 저장하는 방식과 백엔드를 결정합니다.
• 테이블 엔진은 개별 테이블의 데이터 저장 방식, 읽기/쓰기 방법, 복제 방식 등을 정의합니다.

이 글에서는 데이터베이스 엔진과 테이블 엔진의 주요 특징, 차이점, 사용 사례를 포함하여 상세히 분석합니다.

1. ClickHouse 데이터베이스 엔진

데이터베이스 엔진은 ClickHouse 내에서 데이터베이스 단위로 데이터가 어떻게 관리되는지 결정합니다.

데이터베이스 엔진 종류 및 특징

엔진타입	주요 특징	장점	단점	사용 상황
Atomic	논블로킹 DDL, 원자적 테이블 교환, UUID 기반 관리	높은 동시성 지원, 데이터 일관성 보장	테이블 삭제 지연, UUID 관리 복잡성	일반적인 OLAP 워크로드
Backup	백업 스냅샷에서 읽기 전용 연결 지원	백업 즉시 활용 가능	쓰기 작업 불가능	백업 데이터 분석 시나리오
Lazy	지정 시간 동안만 메모리 유지 (Expiration Time 설정)	메모리 사용 최적화	Log 엔진만 지원, 제한된 사용 범위	임시 캐시/로그 데이터 분석
Materialized*SQL	외부 DB(PostgreSQL/MySQL 등)와 실시간 연동	외부 시스템 통합 용이	외부 DB 성능 영향 가능	하이브리드 분석 환경
Replicated	ZooKeeper 기반 메타데이터 복제	고가용성 보장	ZooKeeper 의존성 증가	클라우드/분산 환경

*MaterializedSQL: PostgreSQL, MySQL, SQLite 등 다양한 외부 DB 지원(https://clickhouse.com/docs/engines/database-engines)

데이터베이스 생성 예제

1. Atomic 엔진을 사용한 데이터베이스 생성

-- Atomic 데이터베이스 생성 (기본값이므로 ENGINE 지정 불필요)
CREATE DATABASE my_database;

-- 명시적으로 Atomic 엔진 지정
CREATE DATABASE my_atomic_db ENGINE = Atomic;

-- 테이블 교환 예시 (원자적 작업)
EXCHANGE TABLES table1 AND table2;

 

2. Lazy 엔진을 사용한 데이터베이스 생성

CREATE DATABASE lazy_db ENGINE = Lazy(3600); -- 1시간 동안 메모리에 유지

 

3. 외부 데이터베이스 시스템과 연결하는 데이터베이스 생성(Postgresql, mysql 등)

CREATE DATABASE postgres_db ENGINE = PostgreSQL('host:port', 'database', 'user', 'password');

 

4. Replicated 엔진

CREATE DATABASE replicated_db ENGINE = Replicated('/clickhouse/databases/db_name', 'shard1', 'replica1');

반응형

2. ClickHouse 테이블 엔진

테이블 엔진은 개별 테이블의 데이터 저장 방식, 읽기/쓰기 성능, 복제 메커니즘을 결정합니다.

 

주요 엔진 설명 특징

MergeTree	가장 많이 사용되는 엔진, 대규모 데이터 처리 최적화	✅ 빠른 쿼리, ✅ 파티셔닝 가능
ReplacingMergeTree	중복 제거를 위한 MergeTree 변형	✅ 최신 데이터 유지
SummingMergeTree	집계를 자동으로 수행하는 MergeTree 변형	✅ 사전 집계 최적화
Distributed	여러 노드에 걸쳐 데이터를 분산 저장	✅ 샤딩 및 로드 밸런싱
Log	간단한 로깅 및 빠른 INSERT	✅ 빠른 쓰기, ❌ 성능 저하 가능
Memory	데이터를 RAM에 저장	✅ 초고속 처리, ❌ 영구 저장 불가

테이블 엔진 비교표

MergeTree 계열

 

엔진 타입	주요 특징	장점	단점	사용 상황
MergeTree	기본 계열, 프라이머리 키 기반 정렬	고성능 범용 처리	복잡한 설정 필요	대규모 시계열 데이터
ReplacingMergeTree	버전 컬럼 기반 중복 제거	데이터 중복 방지	최종 일관성만 보장	CDC(Change Data Capture) 시스템
SummingMergeTree	동일 키 값의 숫자 컬럼 합산	집계 쿼리 성능 향상	비집계 컬럼 처리 복잡	실시간 누적 통계
AggregatingMergeTree	사용자 정의 집계 함수 적용	복잡 집계 연산 최적화	쿼리 작성 복잡도 증가	롤업 데이터 처리
CollapsingMergeTree	Sign 마커 기반 행 상태 관리	변경 이력 추적 가능	데이터 입력 순서 영향 받음	상태 변경 추적 시스템
VersionedCollapsing	버전 컬럼 추가로 순서 문제 해결	신뢰성 있는 상태 관리	스키마 설계 복잡	금융 거래 이력 관리

 

Log 계열

엔진 타입	주요 특징	장점	단점	사용 상황
TinyLog	단일 파일 저장, 최소 기능	초경량 구현	동시 접근 불가능	테스트 환경/소량 참조 데이터
StripeLog	컬럼 단위 저장 지원	TinyLog보다 성능 향상	행 단위 접근 비효율적	중간 크기 로그 데이터(10만 행 이하)
Log	멀티스레드 읽기 지원	병렬 처리 가능	쓰기 시 테이블 잠금 발생	소규모 배치 처리 작업

 

Integration 계열

엔진 타입	주요 특징	장점	단점	사용 상황
Kafka	실시간 스트림 데이터 수신	실시간 파이프라인 구축	오프셋 관리 필요	이벤트 스트리밍 처리
MySQL	MySQL 테이블 매핑	실시간 데이터 동기화	조인 성능 제한적	하이브리드 트랜잭션-분석 시스템
PostgreSQL	PostgreSQL 연동	복합 시스템 통합	대량 데이터 처리 속도 저하	크로스플랫폼 분석

*이 외에도 s3, iceberg, hudi 등 다양한 서비스와 연동이 가능함

 

Special 계열

엔진 타입	주요 특징	장점	단점	사용 상황
Memory	전체 데이터 RAM 저장	초고속 접근	데이터 휘발성	임시 계산용 버퍼
Distributed	클러스터 노드 분산 처리	수평적 확장 가능	네트워크 지연 발생 가능	대규모 분산 시스템
Dictionary	외부 사전 데이터 매핑	조인 성능 향상	사전 갱신 관리 필요	공통 코드 관리 시스템

테이블 엔진 선택 가이드

1. 데이터 규모:

• 1M(1,000,000) 행 미만 -> Log 계열
• 1M ~ 1B(1,000,000,000) 행 -> MergeTree 계열
• 1B 행 이상 -> Distributed + ReplicatedMergeTree

2. 데이터 특성:

• 시계열 -> MergeTree with TTL
• 스트리밍 -> Kafka Engine + Materialized View
• 임시 데이터 -> Memory Engine

3. 시스템 요구사항:

• 고가용성 -> ReplicatedMergeTree
• 외부 연동 -> Integration 계열
• 실시간 집계 -> SummingMergeTree

테이블 생성 예제 - MergeTree 엔진

-- MergeTree 엔진 테이블 (파티셔닝 및 정렬 포함)
CREATE TABLE logs (
    timestamp DateTime,
    user_id UInt32,
    event_type String
) ENGINE = MergeTree()
ORDER BY timestamp
PARTITION BY toYYYYMM(timestamp);

-- Distributed 테이블 생성 (다중 노드 분산)
CREATE TABLE distributed_logs AS logs
ENGINE = Distributed(cluster_name, default, logs, rand());

 

3. 결론

ClickHouse는 데이터베이스 엔진과 테이블 엔진을 조합하여 최적의 성능을 구현할 수 있도록 설계되었습니다.

• 데이터베이스 엔진: Atomic이 기본이며, MySQL 연동 및 복제가 필요한 경우 특수 엔진 사용
• 테이블 엔진: MergeTree 계열이 기본이며, 분산, 실시간 분석, 집계 최적화 등 다양한 변형 엔진 존재

추천 조합 예시

• 단일 서버: Atomic + MergeTree
• 고가용성 (클러스터 환경): Replicated + Distributed
• 실시간 분석 (Kafka 연동): Atomic + Kafka + MergeTree
• 메모리 기반 빠른 쿼리: Memory

🚀 다음 글에서는 각각의 엔진 테이블을 생성하고 데이터를 추가하는 실습을 진행하겠습니다.

• 특히 분산 클러스터 환경에서 테이블 생성 후 주요 엔진별 데이터 조회 방법과 이전 글(https://jongwho.tistory.com/26)에서 다뤘던 실시간 분석 데이터 처리 방법에 중점을 두어 설명하겠습니다.