실시간 데이터 분석 환경 구축 - 10. Streamlit, Clickhouse로 실시간 대시보드 구현 🔨(part. 1)

데이터 분석 환경 구축 - 10. Streamlit, Clickhouse로 실시간 대시보드 구현 🔨(part. 1)

이번 글에서는 지금까지 구축했던 Clickhouse 인프라와 Streamlit을 연결하여 실시간 대시보드를 구현해보겠습니다.
첫번째 파트로 Streamlit 내 Clickhouse 연결 패키지 설치와 데이터 조회 프로그램을 만들어보겠습니다.

- Clickhouse 실시간 분석 테이블 생성(https://jongwho.tistory.com/26)

데이터 분석 환경 구축 - 05. Clickhouse 실시간 데이터 분석 테이블 생성하기

- Streamlit 소개 및 설치(https://jongwho.tistory.com/31)

데이터 분석 환경 구축 - 09. Streamlit 소개 및 설치, 실제 현업 사용기

 

1️⃣ 설치 준비하기

우선 Streamlit과 Clickhouse-connect를 설치합니다.

pip install streamlit
pip install clickhouse-connect

• streamlit: 대시보드 프레임워크
• clickhouse-connect: Python에서 ClickHouse에 접속할 수 있게 해주는 드라이버

✅ ClickHouse 서버는 로컬이든, Docker든, 클러스터든 상관없어요. 단, HTTP 포트(기본 8123) 가 열려 있어야 합니다!

기존에 kubernetes에 설치한 clickhouse 서비스에 대해 port-forward 명령어를 통해 포트를 열어줍니다.

kubectl port-forward svc/clickhouse 8123:8123 -n clickhouse

 

2️⃣Streamlit에서 ClickHouse 연결하기

아래는 가장 기본적인 ClickHouse 연결 코드예요.

# clickhouse_demo.py
import streamlit as st
from clickhouse_connect import get_client
import pandas as pd

# ClickHouse 접속 정보
client = get_client(
    host="localhost",  # 또는 EC2, 도커 내부 IP
    port=8123,
    username="admin",
    password="",
    secure=False,  # https가 아니라면 False
)

# SQL 실행
query = """
select *
from regular_db.distributed_replicated_table
LIMIT 100
"""
data = client.query_df(query)

# Streamlit UI
st.title("📊 실시간 이벤트 로그 (ClickHouse)")
st.dataframe(data)

streamlit run clickhouse_demo.py

✅ 실행하면 브라우저에서 바로 대시보드가 뜹니다! (기본 포트는 localhost:8501이에요.)

 

테이블 데이터 조회 예시

 

3️⃣ 어떤 대시보드로 확장해볼 수 있을까?

일단 지금은 단순히 데이터를 보여주기만 했지만, Streamlit과 ClickHouse를 붙이면 정말 다양하게 확장할 수 있습니다.

• 시간 필터 (기간별 조회)
• 이벤트 유형 필터
• 차트(Line, Bar)로 시각화
• 실시간 자동 새로고침
• 사용자 세션 분석

다음 편인 Part 2에서는
👉 Kafka로 들어온 데이터를 실시간으로 ClickHouse에 저장하고
👉 그걸 Streamlit에서 거의 실시간으로 시각화하는 흐름을 만들어보겠습니다.