땅땅 Dev 💻

실시간 데이터 분석 환경 구축 - 11. Streamlit, Clickhouse로 실시간 대시보드 구현 🔨(part. 2)

Streamlit, Clickhouse로 실시간 대시보드 구현 🔨(part. 2)지난 글에서는 Streamlit에서 ClickHouse와 연결해서 실시간 대시보드를 만드는 기초를 다뤘습니다. 이번글에서는, Streamlit에서 Kafka로 데이터를 보내고 → ClickHouse가 이를 수집 → 실시간 시각화하는 전체 흐름을 만들어봅니다!-지난글: 데이터 분석 환경 구축 - 10. Streamlit, Clickhouse로 실시간 대시보드 구현 🔨(part. 1) 🗂️ 구성 요약Streamlit 데모 어플리케이션의 데이터 흐름은 다음과 같습니다.[사용자] → Streamlit (버튼 클릭) → Kafka에 JSON 메시지 전송 → ClickHouse Kafka 엔진 테이블에서 ..

🚀 이 글에서 다룰 내용1️⃣ Kafka와 연결된 ClickHouse 테이블 생성 (환경설정 포함)2️⃣ 실습용 데이터셋 kafka produce3️⃣ Kafka 테이블에서 데이터 셋 확인 방법1. Kafka와 연결된 ClickHouse 테이블 생성🔹 Kafka 데이터를 ClickHouse에서 처리하는 방식ClickHouse는 Kafka와 직접 연결하여 실시간으로 데이터를 가져올 수 있는 Kafka 엔진을 제공합니다.기본적으로 Kafka → Buffer 테이블 → MergeTree 테이블의 구조로 운영됩니다.🔹 ClickHouse 설정 변경 (Kafka 사용을 위한 설정)먼저, clickhouse-server의 환경설정을 수정해야 합니다.ClickHouse 설정 파일 (config.xml)에서 Ka..

이전 Apache Kafka 설치 후 토픽 생성, 목록 확인에 오류가 있어 kafka 구성이 어려웠습니다. 이에 UI 환경을 구성하여 kafka 토픽을 쉽게 생성할 수 있도록 Console 환경을 구축합니다.💡 이 글에서 다룰 내용:Redpanda Console이란?Helm을 사용해 Redpanda Console 배포Kafka와 연결 및 UI에서 토픽 생성메시지 Produce 테스트1. Redpanda Console이란?Redpanda Console은 Kafka 클러스터를 쉽게 관리할 수 있는 웹 UI입니다.Kafka의 기본 CLI보다 편리하게 토픽 생성, 메시지 조회, 소비자 그룹 모니터링 등을 수행할 수 있습니다.❗ Redpanda Console은 Kafka와 완전히 호환되므로 Kafka 클러스터와..