데이터 분석 환경 구축 - 04. Kafka UI 환경 구성(Redpanda Console)

이전 Apache Kafka 설치 후 토픽 생성, 목록 확인에 오류가 있어 kafka 구성이 어려웠습니다. 이에 UI 환경을 구성하여 kafka 토픽을 쉽게 생성할 수 있도록 Console 환경을 구축합니다.

💡 이 글에서 다룰 내용:

• Redpanda Console이란?
• Helm을 사용해 Redpanda Console 배포
• Kafka와 연결 및 UI에서 토픽 생성
• 메시지 Produce 테스트

1. Redpanda Console이란?

Redpanda Console은 Kafka 클러스터를 쉽게 관리할 수 있는 웹 UI입니다.
Kafka의 기본 CLI보다 편리하게 토픽 생성, 메시지 조회, 소비자 그룹 모니터링 등을 수행할 수 있습니다.

❗ Redpanda Console은 Kafka와 완전히 호환되므로 Kafka 클러스터와 함께 사용할 수 있습니다.

2. Redpanda Console을 Kubernetes에 배포

🔹 1) Helm 저장소 추가 및 업데이트

helm repo add redpanda-data https://charts.redpanda.com
helm repo update

🔹 2) Redpanda Console 배포 파일 작성 (value.yaml)

• Redpanda console helm 차트 artifacthub 링크

console 0.3.3 · redpanda/redpanda-data

 

해당 링크에서 values.yaml 파일을 다운로드 받습니다. 기존 프로젝트 폴더에서 redpanda/ 디렉토리를 생성하고 하위에 values.yaml 파일을 추가합니다. values.yaml에서 아래 사항들을 수정합니다.

# line9 - repository
repository: redpandadata/console

# line:63 - resources:
resources:
  limits:
    cpu: 100m
    memory: 128Mi
  requests:
    cpu: 100m
    memory: 128Mi

# line: 88 - console: broker 정보와 접속 정보를 입력합니다. kafka 네임스페이스에 배포했기에 kafka.kafka를 사용합니다.
  config:
    kafka:
      brokers:
        - "kafka.kafka.svc.cluster.local:9092"
      clientId: redpanda-console
      sasl:
        enabled: true
        mechanism: SCRAM-SHA-512
        username: user1
        password: <사용자 password 입력>

# 기타 변경사항
- extraVolumeMounts: []
- extraEnvFrom: []
- extraVolumes: []
- extraEnv: []
- extraContainers: []

 

반응형

🔹 3) Redpanda Console 배포

아래 명령어를 통해 k8s에 redpanda console을 배포합니다.

helm install console redpanda/console -f ./redpanda/values.yaml -n kafka

🔹 4) 배포된 서비스 확인

kubectl get svc -n kafka

출력 예시:

NAME                        TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                      
console                     ClusterIP   10.100.12.81     <none>        8080/TCP                     
kafka                       ClusterIP   10.108.250.227   <none>        9092/TCP                     
kafka-broker-headless       ClusterIP   None             <none>        9094/TCP,9092/TCP            
kafka-controller-headless   ClusterIP   None             <none>        9094/TCP,9092/TCP,9093/TCP

🔹 5) Redpanda Console UI 접속

kubectl port-forward svc/console 8080:8080

브라우저에서 http://localhost:8080 으로 접속하면 Kafka 토픽을 관리할 수 있는 UI가 표시됩니다.

3. Redpanda Console에서 Kafka 토픽 생성 및 메시지 테스트

🔹 1) Redpanda Console에서 토픽 생성

Redpanda console 메인 화면

1. Redpanda Console (http://localhost:8080) 접속
2. "Topics" 메뉴 클릭
3. "Create topic" 버튼 클릭
4. 토픽 이름 입력 (예: test-topic)
5. Partition 개수 및 설정 선택 후 "Create" 클릭

👉 Kafka 클러스터에 새로운 토픽이 생성됩니다.

🔹 2) 메시지 전송 (Producer 실행)

Redpanda Console에서 test-topic을 클릭한 후,

• "Produce message" 버튼 클릭
• Key & Value를 입력 후 "Send" 클릭

✅ Kafka CLI 없이도 UI에서 메시지를 직접 확인할 수 있습니다! 🎉