메타코드M

Kafka부터 Dashboard까지 7개 스택 end-to-end 파이프라인 전 과정 공개

Reading time: 2 min

이 영상은 Kafka와 Dashboard를 활용한 엔드투엔드 데이터 파이프라인 구축 과정을 상세히 설명한다. 데이터 수집, 처리, 저장, 시각화까지 전체 흐름을 다루며 실무 적용 사례를 제시한다. 또한, 기술 스택과 운영 전략도 함께 소개한다.

프로젝트 개요 및 데이터 구성 00:16

온라인 리테일 CSV 데이터를 시간별로 발행하고 Kafka를 통해 수집하는 엔드투엔드 파이프라인을 구성하였다.

데이터 흐름 및 기술 스택 02:10

프로듀서, Kafka, Spark, Airflow를 활용하여 데이터 발행, 실시간 처리, 배치 집계, 대시보드 시각화까지 연계하는 구조를 설계하였다.

실시간 데이터 처리 및 저장 04:07

Kafka에서 수집된 데이터를 Spark로 파싱하여 주문 정보와 상세 정보를 구분 저장하고, 에어플로우로 일별 집계와 고객/상품 데이터도 생성하였다.

운영 및 모니터링 전략 08:16

데이터 적재 지연, 백필, 장애 대응을 위해 폴백, 자정 폴백, 알림 시스템 등을 도입하여 안정성을 확보하였다.

대시보드 및 분석 07:59

시간대별 주문 취소율, 나라별 구매율, 상품별 주문 취소 등 다양한 지표를 시각화하여 비즈니스 인사이트를 제공하였다.

🔒

이 영상에는 더 깊이 있는 상세 분석과 AI 인사이트가 준비되어 있어요. 플랜을 업그레이드하면 모든 요약의 심화 내용을 볼 수 있어요.

2회 조회됨

메타코드M 채널을 구독하고 새로운 영상이 올라올 때마다 AI가 요약해서 이메일로 보내드립니다.

무료로 시작

이메일 자동 알림

AI 요약 즉시 확인