실시간 분석 파이프라인 구축 - 00. 아키텍처 소개

Kafka로 데이터를 수집하고, Iceberg와 Delta Lake에 저장한 뒤,
Spark로 처리해보는 실시간 분석 파이프라인을 구축합니다.

🔥 이 시리즈의 목표

Docker 기반으로 데이터 엔지니어링에서 자주 등장하는 기술 스택인 Kafka, Data Lake(Iceberg, Delta lake)를 직접 구성하고 테스트 해볼 수 있습니다. 이를 기반으로 아래 내용들에 대해 소개하겠습니다.

• Kafka 실시간 분석 파이프라인 구축
• Docker 기반 빅데이터 분석 환경 구축
• Iceberg Vs Delta Lake 차이점 비교

 

 

아키텍처 소개

• Kafka는 데이터를 직접 확인할 수 있도록 RedPanda를 사용합니다.
• Iceberg와 Delta-Lake는 공식 사이트 및 공식 github에서 제공하는 이미지를 사용합니다.
• Minio는 AWS의 S3(또는 GCP의 Cloudstorage)의 역할로 데이터레이크의 데이터를 저장하는 역할을 합니다.
• 그리고 Iceberg, Delta lake는 jupyter notebook을 포함하고 있어 Spark를 테스트 할 수 있습니다.
• 모든 리소스는 Docker(Docker Compose)로 구성합니다.