실시간 분석 파이프라인 구축 - 01. Kafka, Iceberg 설치

RedPanda, Iceberg를 Docker Compose로 구성해서 실시간 파이프라인 기초 구성

 

이번 글에서는 Redpanda와 Iceberg, Minio를 구성해서 실시간 데이터레이크 환경을 구성합니다.

 

📌 목표

• Redpanda 설치
• Apache Iceberg 설치
• Minio 설치
• 위 설치를 Docker compose를 사용하여 구현

❄️ Iceberg란 무엇인가요?

Apache Iceberg는 대규모 테이블을 위한 오픈소스 데이터 레이크 포맷입니다. 기존 Hive 메타스토어 기반의 느리고 비효율적인 쿼리를 극복하고자 설계되었으며, Spark, Trino, Flink 등 다양한 분석 도구와 쉽게 통합됩니다.

✅ Iceberg의 특징

• ACID 트랜잭션 지원
• Schema Evolution (스키마 변경) 가능
• Partitioning 전략이 뛰어나 쿼리 성능 향상
• MinIO 같은 S3 호환 스토리지와도 쉽게 연동

 

📦 Docker Compose로 환경 구성하기

아이스버그에서 공식으로 제공하는 Docker compose 파일 예시는 공식 문서(https://iceberg.apache.org/spark-quickstart/#docker-compose)에서 확인할 수 있습니다. 하지만 2025.05 기준 해당 iceberg 도커 이미지에는 kafka와 관련된 spark jar package가 존재하지 않습니다. 이에 추가 패키지를 설치하여 kafka topic을 consume하도록 합니다.

📄 도커 이미지 변경

우선 도커 컴포즈를 제공하는 git 저장소를 clone 합니다.

• Git 저장소: https://github.com/databricks/docker-spark-iceberg.git

git clone https://github.com/databricks/docker-spark-iceberg.git

 

해당 저장소 clone 후 아래 경로의 파일을 다음과 같이 변경합니다.

• docker-spark-iceberg > spark > Dockerfile 내 line 92에 추가
• Spark 3.5.5 기준
• iceberg 실행 중 오류가 발생한다면 kafka client, spark-sql-kafka-0-10 등 패키지 버전 충돌로 패키지 버전을 맞춰야 합니다.

# Download Kafka
RUN curl -s https://repo1.maven.org/maven2/org/apache/spark/spark-sql-kafka-0-10_2.12/${SPARK_VERSION}/spark-sql-kafka-0-10_2.12-${SPARK_VERSION}.jar -Lo /opt/spark/jars/spark-sql-kafka-0-10_2.12-${SPARK_VERSION}.jar
RUN curl -s https://repo1.maven.org/maven2/org/apache/kafka/kafka-clients/3.4.1/kafka-clients-3.4.1.jar -Lo /opt/spark/jars/kafka-clients-3.4.1.jar
RUN curl -s https://repo1.maven.org/maven2/org/apache/commons/commons-pool2/2.11.1/commons-pool2-2.11.1.jar -Lo /opt/spark/jars/commons-pool2-2.11.1.jar
RUN curl -s https://repo1.maven.org/maven2/org/apache/spark/spark-token-provider-kafka-0-10_2.12/${SPARK_VERSION}/spark-token-provider-kafka-0-10_2.12-${SPARK_VERSION}.jar -Lo /opt/spark/jars/spark-token-provider-kafka-0-10_2.12-${SPARK_VERSION}.jar

 

🔍 Spark, Kafka Maven 맞춤 버전 찾기

1. Spark-sql-kafka 페이지에 접속합니다.(https://mvnrepository.com/artifact/org.apache.spark/spark-sql-kafka-0-10)

2. 해당하는 Spark 버전을 선택합니다. 선택 시 Scala 버전을 확인합니다. 저는 scala 버전을 2.12로 맞췄습니다.

Spark core

3. Spark 버전 선택 시 해당 버전과 관련된 또는 호환성이 맞는 패키지를 확인할 수 있습니다.

4. 아래 명령어로 custom한 도커 이미지로 빌드합니다.

docker buildx build -t rt/iceberg --platform=linux/amd64,linux/arm64 .

 

🐳 Docker compose 구성

편의를 위해 Delta-lake도 미리 추가했습니다.

version: "3.8"

services:
  spark-iceberg:
    image: rt/iceberg
    container_name: spark-iceberg
    build: spark/
    networks:
      iceberg_net:
    depends_on:
      - rest
      - minio
    volumes:
      - ./warehouse:/home/iceberg/warehouse
      - ./notebooks:/home/iceberg/notebooks/notebooks
    environment:
      - AWS_ACCESS_KEY_ID=admin
      - AWS_SECRET_ACCESS_KEY=password
      - AWS_REGION=us-east-1
    ports:
      - 8888:8888
      - 8080:8080
      - 10000:10000
      - 10001:10001
  rest:
    image: apache/iceberg-rest-fixture
    container_name: iceberg-rest
    networks:
      iceberg_net:
    ports:
      - 8181:8181
    environment:
      - AWS_ACCESS_KEY_ID=admin
      - AWS_SECRET_ACCESS_KEY=password
      - AWS_REGION=us-east-1
      - CATALOG_WAREHOUSE=s3://warehouse/
      - CATALOG_IO__IMPL=org.apache.iceberg.aws.s3.S3FileIO
      - CATALOG_S3_ENDPOINT=http://minio:9000
  minio:
    image: minio/minio
    container_name: minio
    environment:
      - MINIO_ROOT_USER=admin
      - MINIO_ROOT_PASSWORD=password
      - MINIO_DOMAIN=minio
    networks:
      iceberg_net:
        aliases:
          - warehouse.minio
    ports:
      - 9001:9001
      - 9000:9000
    command: ["server", "/data", "--console-address", ":9001"]
  mc:
    depends_on:
      - minio
    image: minio/mc
    container_name: mc
    networks:
      iceberg_net:
    environment:
      - AWS_ACCESS_KEY_ID=admin
      - AWS_SECRET_ACCESS_KEY=password
      - AWS_REGION=us-east-1
    entrypoint: |
      /bin/sh -c "
      until (/usr/bin/mc config host add minio http://minio:9000 admin password) do echo '...waiting...' && sleep 1; done;
      /usr/bin/mc rm -r --force minio/warehouse;
      /usr/bin/mc mb minio/warehouse;
      /usr/bin/mc policy set public minio/warehouse;
      tail -f /dev/null
      "
  delta-lake:
    # 운영체제에 따라 이미지를 변경하여 배포해야 함
    image: deltaio/delta-docker:latest_arm64
    container_name: delta_quickstart
    volumes:
      - rustbuild:/tmp
    ports:
      - "8088:8888"
    # entrypoint: ["bash", "deltaio/delta-docker:latest_arm64"]
    networks:
      - iceberg_net
    depends_on:
      - minio
    environment:
      - AWS_ACCESS_KEY_ID=admin
      - AWS_SECRET_ACCESS_KEY=password
      - AWS_REGION=us-east-1
      - HADOOP_CONF_DIR=/tmp/hadoop-conf
      - HADOOP_OPTIONAL_TOOLS=hadoop-aws
      - SPARK_CONF__spark.hadoop.fs.s3a.endpoint=http://minio:9000
      - SPARK_CONF__spark.hadoop.fs.s3a.access.key=admin
      - SPARK_CONF__spark.hadoop.fs.s3a.secret.key=password
      - SPARK_CONF__spark.hadoop.fs.s3a.path.style.access=true
      - SPARK_CONF__spark.hadoop.fs.s3a.impl=org.apache.hadoop.fs.s3a.S3AFileSystem
  redpanda-0:
    command:
      - redpanda
      - start
      - --kafka-addr internal://0.0.0.0:9092,external://0.0.0.0:19092
      # Address the broker advertises to clients that connect to the Kafka API.
      # Use the internal addresses to connect to the Redpanda brokers'
      # from inside the same Docker network.
      # Use the external addresses to connect to the Redpanda brokers'
      # from outside the Docker network.
      - --advertise-kafka-addr internal://redpanda-0:9092,external://localhost:19092
      - --pandaproxy-addr internal://0.0.0.0:8082,external://0.0.0.0:18082
      # Address the broker advertises to clients that connect to the HTTP Proxy.
      - --advertise-pandaproxy-addr internal://redpanda-0:8082,external://localhost:18082
      - --schema-registry-addr internal://0.0.0.0:8081,external://0.0.0.0:18081
      # Redpanda brokers use the RPC API to communicate with each other internally.
      - --rpc-addr redpanda-0:33145
      - --advertise-rpc-addr redpanda-0:33145
      # Mode dev-container uses well-known configuration properties for development in containers.
      - --mode dev-container
      # Tells Seastar (the framework Redpanda uses under the hood) to use 1 core on the system.
      - --smp 1
      - --default-log-level=info
    image: docker.redpanda.com/redpandadata/redpanda:v25.1.4
    container_name: redpanda-0
    volumes:
      - redpanda-0:/var/lib/redpanda/data
    networks:
      - iceberg_net
    ports:
      - 18081:18081
      - 18082:18082
      - 19092:19092
      - 19644:9644
  console:
    container_name: redpanda-console
    image: docker.redpanda.com/redpandadata/console:v3.1.0
    networks:
      - iceberg_net
    entrypoint: /bin/sh
    command: -c 'echo "$$CONSOLE_CONFIG_FILE" > /tmp/config.yml; /app/console'
    environment:
      CONFIG_FILEPATH: /tmp/config.yml
      CONSOLE_CONFIG_FILE: |
        kafka:
          brokers: ["redpanda-0:9092"]
        schemaRegistry:
          enabled: true
          urls: ["http://redpanda-0:8081"]
        redpanda:
          adminApi:
            enabled: true
            urls: ["http://redpanda-0:9644"]
    ports:
      - 18080:8080
    depends_on:
      - redpanda-0
volumes:
  rustbuild:
  redpanda-0: null
networks:
  iceberg_net:

 

해당 도커 컴포즈를 실행 시 각 URL에서 서비스를 확인 할 수 있습니다.

도커 이미지 실행 확인

• Iceberg Jupyter notebook: http://localhost:8888/
• Redpanda Console(Kafka): http://localhost:18080/
• Minio: http://localhost:9001/ (ID: admin, PW: password)

✅ 다음 글: Kafka - Iceberg 연결로 실시간 데이터 적재

다음 글에선 Iceberg에 테이블을 생성하고 Kafka 토픽을 생성, 메시지를 생성해서 실시간으로 적재하는 실습을 진행하겠습니다.