땅땅 Dev 💻

데이터 분석 환경 구축 - 08. Clickhouse 클러스터 환경에서 데이터 삽입 및 업데이트 처리 방식 🚀(part. 2)

이전 clickhouse 클러스터 환경에서 데이터 처리 방식(Clickhouse 클러스터 환경에서 데이터 삽입 및 업데이트 처리 방식 🚀(part. 1)) 설명에 이어 ReplicatedMergetree 테이블에서 데이터가 처리되는 방식에 대해 설명하겠습니다.1. ClickHouse Kubernetes 아키텍처 개요 🛠️이번 실습에서는 replica를 추가하여 데이터가 복제되도록 설정했습니다. 기존 clickhouse helm 배포용 yaml 파일에서 replicaCount를 2로 설정했습니다.(Clickhouse 설치 방법)NAME READY STATUS RESTARTSclickhouse-shard0-0 1/1 Running 0 ..

데이터 분석 환경 구축 - 07. Clickhouse 클러스터 환경에서 데이터 삽입 및 업데이트 처리 방식 🚀(part. 1)

Clickhouse 클러스터 환경에서 데이터 삽입 및 업데이트 처리 방식 🚀(part. 1)이전 글 데이터 분석 환경 구축 - 06. Clickhouse 테이블 종류와 용도에 이어 Kubernetes 기반 ClickHouse 클러스터 환경에서 주요 테이블 엔진별 데이터 삽입 및 업데이트 처리 방식을 살펴보고, 최신 기능과 최적화 기법을 소개합니다. 1. ClickHouse Kubernetes 아키텍처 개요 🛠️Kubernetes 환경에서 ClickHouse는 샤드(Shard)와 레플리카(Replica) 구조를 통해 데이터를 분산 저장하고 고가용성을 보장합니다.1.1 Kubernetes 클러스터 구성샤드(Shard): 데이터를 분할하여 저장하는 노드레플리카(Replica): 동일 데이터를 복제하여 샤드..

개요ClickHouse는 초고속 분석을 위해 설계된 컬럼 지향 데이터베이스로, 다양한 데이터베이스 엔진과 테이블 엔진을 제공합니다.데이터베이스 엔진은 데이터베이스 수준에서 데이터를 저장하는 방식과 백엔드를 결정합니다.테이블 엔진은 개별 테이블의 데이터 저장 방식, 읽기/쓰기 방법, 복제 방식 등을 정의합니다.이 글에서는 데이터베이스 엔진과 테이블 엔진의 주요 특징, 차이점, 사용 사례를 포함하여 상세히 분석합니다.1. ClickHouse 데이터베이스 엔진데이터베이스 엔진은 ClickHouse 내에서 데이터베이스 단위로 데이터가 어떻게 관리되는지 결정합니다.데이터베이스 엔진 종류 및 특징엔진타입주요 특징장점단점사용 상황Atomic논블로킹 DDL, 원자적 테이블 교환, UUID 기반 관리높은 동시성 지원, ..

🚀 이 글에서 다룰 내용1️⃣ Kafka와 연결된 ClickHouse 테이블 생성 (환경설정 포함)2️⃣ 실습용 데이터셋 kafka produce3️⃣ Kafka 테이블에서 데이터 셋 확인 방법1. Kafka와 연결된 ClickHouse 테이블 생성🔹 Kafka 데이터를 ClickHouse에서 처리하는 방식ClickHouse는 Kafka와 직접 연결하여 실시간으로 데이터를 가져올 수 있는 Kafka 엔진을 제공합니다.기본적으로 Kafka → Buffer 테이블 → MergeTree 테이블의 구조로 운영됩니다.🔹 ClickHouse 설정 변경 (Kafka 사용을 위한 설정)먼저, clickhouse-server의 환경설정을 수정해야 합니다.ClickHouse 설정 파일 (config.xml)에서 Ka..

🔹 Maccy란?Maccy는 맥OS용 오픈소스 클립보드 관리자로, 복사한 텍스트를 쉽게 관리하고 빠르게 붙여넣을 수 있도록 도와줍니다. 가볍고, 사용하기 쉽고, 오픈소스(MIT 라이선스)로 제공되며, 시스템 자원을 거의 사용하지 않습니다. 기존 윈도우에서 클립보드 매니저(Window + V 버튼 클릭 시 클립보드 히스토리를 보여주는 기능)를 사용했던 사용자들에게 익숙한 기능입니다. 🤔 현재 App store에서는 ₩14,000에 판매하고 있지만, homebrew를 사용하면 무료로 설치 할 수 있습니다.🛠️ Maccy 설치 방법Maccy는 GitHub에서 직접 다운로드하거나, Homebrew를 통해 간편하게 설치할 수 있습니다.1. Homebrew를 이용한 설치 (추천)터미널을 열고 다음 명령어를 실..

맥북을 사용하면서 화면 캡처 단축키를 찾느라 매번 인터넷을 검색하는 일이 번거롭다면, KeyCue라는 강력한 도구를 추천합니다. 이 앱은 모든 단축키를 한눈에 확인할 수 있도록 도와주는 유용한 프로그램으로, Mac을 더욱 효율적으로 활용할 수 있게 해줍니다. 🔍 화면 캡쳐 단축키 Command + Shift + 3 (전체 화면 캡처) 또는 Command + Shift + 4 (선택 영역 캡처) !맥을 처음 사용하는 사람이라면 Command + Shift + 3 (전체 화면 캡처) 또는 Command + Shift + 4 (선택 영역 캡처) 같은 기본 단축키를 숙지하는 것이 중요합니다. 하지만 다양한 앱에서 제공하는 고급 단축키까지 일일이 외우는 것은 쉽지 않습니다.KeyCue는 이러한 문제를 해결해 주..

이전 Apache Kafka 설치 후 토픽 생성, 목록 확인에 오류가 있어 kafka 구성이 어려웠습니다. 이에 UI 환경을 구성하여 kafka 토픽을 쉽게 생성할 수 있도록 Console 환경을 구축합니다.💡 이 글에서 다룰 내용:Redpanda Console이란?Helm을 사용해 Redpanda Console 배포Kafka와 연결 및 UI에서 토픽 생성메시지 Produce 테스트1. Redpanda Console이란?Redpanda Console은 Kafka 클러스터를 쉽게 관리할 수 있는 웹 UI입니다.Kafka의 기본 CLI보다 편리하게 토픽 생성, 메시지 조회, 소비자 그룹 모니터링 등을 수행할 수 있습니다.❗ Redpanda Console은 Kafka와 완전히 호환되므로 Kafka 클러스터와..

Mac을 사용하다 보면 여러 개의 창을 효과적으로 정리하고 싶을 때가 많습니다. 기본적으로 macOS는 창 정렬 기능이 제한적이라, 생산성을 높이려면 서드파티 도구가 필요합니다.Rectangle은 이런 고민을 해결해 주는 무료 오픈소스 창 관리 앱입니다. 기존 인기 앱인 Spectacle을 기반으로 개발되었으며, 간단한 키보드 단축키와 마우스 드래그 기능을 활용해 창을 원하는 위치로 배치할 수 있습니다.Rectangle의 주요 기능1. 단축키 기반 창 정렬Rectangle은 다양한 단축키를 제공하여 창을 신속하게 정렬할 수 있습니다.⌃ ⌥ ← : 창을 왼쪽 절반으로 이동⌃ ⌥ → : 창을 오른쪽 절반으로 이동⌃ ⌥ ⌘ F : 창 최대화⌃ ⌥ U : 창을 왼쪽 상단으로 이동⌃ ⌥ O : 창을 오른쪽 상단으..

Kafka를 구성하여 실시간 스트리밍 데이터를 Clickhouse로 처리하는 분석 환경을 구축합니다. 💡 이 글에서 다룰 내용:Kubernetes 환경에서 Kafka 설치 및 설정Helm 차트를 활용한 Kafka 배포Kafka 토픽 생성 및 데이터 스트리밍 테스트1. Kafka란?Kafka는 대용량 실시간 데이터 스트리밍을 위한 분산 메시징 플랫폼입니다.ClickHouse와 함께 사용하면 실시간 데이터 수집 및 분석이 가능합니다.📌 Kafka 주요 개념개념 설명Producer데이터를 Kafka에 보내는 역할ConsumerKafka에서 데이터를 읽는 역할Topic데이터가 저장되는 논리적 공간BrokerKafka 서버 (데이터를 저장하고 관리)*ZookeeperKafka의 클러스터 상태 관리Kafka 4..

이번 글에서는 Kubernetes 환경에서 ClickHouse를 배포 및 실행하는 방법을 설명합니다.Docker Desktop의 내장 Kubernetes를 활용하고, Helm 및 Bitnami Helm 차트를 사용하여 간편하게 ClickHouse를 배포합니다.1. 사전 준비1) kubectl 설치 (Kubernetes CLI)kubectl은 Kubernetes 클러스터를 관리하는 명령줄 도구입니다.🔹 macOSbrew install kubectl🔹 Windows (PowerShell)choco install kubernetes-cli✅ 설치 확인:kubectl version --client2) Docker Desktop에서 Kubernetes 활성화Docker Desktop에는 Kubernetes가 ..