땅땅 Dev 💻

🧠 LLM 앱 가장 쉽게 만들기!– Dify 기본 기능 3가지 완전 정복 (챗봇, 에이전트, 텍스트 생성기)LLM을 활용한 AI 앱을 직접 만들고 싶은데,“코딩도 복잡하고 프롬프트 설계도 어려워요…”이런 고민, 한 번쯤 해보셨죠? 😥Dify는 (LLM)GPT 기반의 앱을 쉽게 만들 수 있는 프레임워크로(2025.04.20 - [데이터 엔지니어링] - AI 자동화 어플리케이션 개발 - 01. Dify 설치 방법) 기초 기능 3가지 중 챗봇에 대해 우선 소개합니다.🔹 0. 사전 준비 – Ollama 설치기존에 ChatGPT(또는 Claude)를 유료구독 한다면 이 과정을 생략해도 됩니다!Ollama 사이트에서(https://ollama.com/) 우선 Ollama를 다운로드 합니다. 다운로드 후 모델(..

📄 Dify 설치 방법 및 실습 후기ChatGPT, Claude, Gemini… LLM(대규모 언어모델)이 많이 생겨나고 있습니다. 그런데 단순한 챗봇을 넘어서 직접 내 AI 서비스를 만들고 싶다면?오늘은 최근 개발자들 사이에서 빠르게 주목받고 있는 오픈소스 LLM 프레임워크 ‘Dify’를 설치하고 실제로 실행해본 후기를 공유합니다.🧠 Dify란?Dify는 오픈소스로 제공되는 AI 자동화 프레임워크입니다.복잡한 코딩 없이도 OpenAI 또는 HuggingFace, Ollama 모델을 연결하고, UI 기반으로 프롬프트를 설계해서 GPT 기반 앱을 바로 만들 수 있어요.✅ 주요 기능 요약OpenAI, Claude, Azure 등 주요 LLM 연동 지원자체 챗봇, 문서 요약기, 질문 응답 서비스 등 빠르게..

Streamlit, Clickhouse로 실시간 대시보드 구현 🔨(part. 2)지난 글에서는 Streamlit에서 ClickHouse와 연결해서 실시간 대시보드를 만드는 기초를 다뤘습니다. 이번글에서는, Streamlit에서 Kafka로 데이터를 보내고 → ClickHouse가 이를 수집 → 실시간 시각화하는 전체 흐름을 만들어봅니다!-지난글: 데이터 분석 환경 구축 - 10. Streamlit, Clickhouse로 실시간 대시보드 구현 🔨(part. 1) 🗂️ 구성 요약Streamlit 데모 어플리케이션의 데이터 흐름은 다음과 같습니다.[사용자] → Streamlit (버튼 클릭) → Kafka에 JSON 메시지 전송 → ClickHouse Kafka 엔진 테이블에서 ..

데이터 분석 환경 구축 - 10. Streamlit, Clickhouse로 실시간 대시보드 구현 🔨(part. 1)이번 글에서는 지금까지 구축했던 Clickhouse 인프라와 Streamlit을 연결하여 실시간 대시보드를 구현해보겠습니다.첫번째 파트로 Streamlit 내 Clickhouse 연결 패키지 설치와 데이터 조회 프로그램을 만들어보겠습니다.- Clickhouse 실시간 분석 테이블 생성(https://jongwho.tistory.com/26) 데이터 분석 환경 구축 - 05. Clickhouse 실시간 데이터 분석 테이블 생성하기🚀 이 글에서 다룰 내용1️⃣ Kafka와 연결된 ClickHouse 테이블 생성 (환경설정 포함)2️⃣ 실습용 데이터셋 kafka produce3️⃣ Kafka ..

이전에 소개했던 Clickhouse에서 실시간 데이터 분석을 위해대시보드를 가장 빠르게 생성할 수 있는 Streamlit 서비스에 대해 소개합니다.그리고 실제 현업에서 Streamlit으로 서비스를 구축했던 후기도 짧게 공유합니다.   데이터 분석 환경 구축 - 05. Clickhouse 실시간 데이터 분석 테이블 생성하기🚀 이 글에서 다룰 내용1️⃣ Kafka와 연결된 ClickHouse 테이블 생성 (환경설정 포함)2️⃣ 실습용 데이터셋 kafka produce3️⃣ Kafka 테이블에서 데이터 셋 확인 방법1. Kafka와 연결된 ClickHouse 테이블 생jongwho.tistory.com  🛠️ Streamlit 설치 및 차트 생성 아래 명령어면 streamlit 설치가 완료됩니다.pip ..

이전 clickhouse 클러스터 환경에서 데이터 처리 방식(Clickhouse 클러스터 환경에서 데이터 삽입 및 업데이트 처리 방식 🚀(part. 1)) 설명에 이어 ReplicatedMergetree 테이블에서 데이터가 처리되는 방식에 대해 설명하겠습니다.1. ClickHouse Kubernetes 아키텍처 개요 🛠️이번 실습에서는 replica를 추가하여 데이터가 복제되도록 설정했습니다. 기존 clickhouse helm 배포용 yaml 파일에서 replicaCount를 2로 설정했습니다.(Clickhouse 설치 방법)NAME READY STATUS RESTARTSclickhouse-shard0-0 1/1 Running 0 ..

Clickhouse 클러스터 환경에서 데이터 삽입 및 업데이트 처리 방식 🚀(part. 1)이전 글 데이터 분석 환경 구축 - 06. Clickhouse 테이블 종류와 용도에 이어 Kubernetes 기반 ClickHouse 클러스터 환경에서 주요 테이블 엔진별 데이터 삽입 및 업데이트 처리 방식을 살펴보고, 최신 기능과 최적화 기법을 소개합니다. 1. ClickHouse Kubernetes 아키텍처 개요 🛠️Kubernetes 환경에서 ClickHouse는 샤드(Shard)와 레플리카(Replica) 구조를 통해 데이터를 분산 저장하고 고가용성을 보장합니다.1.1 Kubernetes 클러스터 구성샤드(Shard): 데이터를 분할하여 저장하는 노드레플리카(Replica): 동일 데이터를 복제하여 샤드..

개요ClickHouse는 초고속 분석을 위해 설계된 컬럼 지향 데이터베이스로, 다양한 데이터베이스 엔진과 테이블 엔진을 제공합니다.데이터베이스 엔진은 데이터베이스 수준에서 데이터를 저장하는 방식과 백엔드를 결정합니다.테이블 엔진은 개별 테이블의 데이터 저장 방식, 읽기/쓰기 방법, 복제 방식 등을 정의합니다.이 글에서는 데이터베이스 엔진과 테이블 엔진의 주요 특징, 차이점, 사용 사례를 포함하여 상세히 분석합니다.1. ClickHouse 데이터베이스 엔진데이터베이스 엔진은 ClickHouse 내에서 데이터베이스 단위로 데이터가 어떻게 관리되는지 결정합니다.데이터베이스 엔진 종류 및 특징엔진타입주요 특징장점단점사용 상황Atomic논블로킹 DDL, 원자적 테이블 교환, UUID 기반 관리높은 동시성 지원, ..

🚀 이 글에서 다룰 내용1️⃣ Kafka와 연결된 ClickHouse 테이블 생성 (환경설정 포함)2️⃣ 실습용 데이터셋 kafka produce3️⃣ Kafka 테이블에서 데이터 셋 확인 방법1. Kafka와 연결된 ClickHouse 테이블 생성🔹 Kafka 데이터를 ClickHouse에서 처리하는 방식ClickHouse는 Kafka와 직접 연결하여 실시간으로 데이터를 가져올 수 있는 Kafka 엔진을 제공합니다.기본적으로 Kafka → Buffer 테이블 → MergeTree 테이블의 구조로 운영됩니다.🔹 ClickHouse 설정 변경 (Kafka 사용을 위한 설정)먼저, clickhouse-server의 환경설정을 수정해야 합니다.ClickHouse 설정 파일 (config.xml)에서 Ka..

이전 Apache Kafka 설치 후 토픽 생성, 목록 확인에 오류가 있어 kafka 구성이 어려웠습니다. 이에 UI 환경을 구성하여 kafka 토픽을 쉽게 생성할 수 있도록 Console 환경을 구축합니다.💡 이 글에서 다룰 내용:Redpanda Console이란?Helm을 사용해 Redpanda Console 배포Kafka와 연결 및 UI에서 토픽 생성메시지 Produce 테스트1. Redpanda Console이란?Redpanda Console은 Kafka 클러스터를 쉽게 관리할 수 있는 웹 UI입니다.Kafka의 기본 CLI보다 편리하게 토픽 생성, 메시지 조회, 소비자 그룹 모니터링 등을 수행할 수 있습니다.❗ Redpanda Console은 Kafka와 완전히 호환되므로 Kafka 클러스터와..