분산 데이터 처리 프레임워크: Spark, MapReduce, Flink 핵심 비교 분석
핵심 차이점 요약
비교 항목Hadoop MapReduceApache SparkApache Flink
처리 방식배치 전용배치 중심 + 마이크로배치이벤트 기반 스트리밍
실행 모델Map → Reduce (디스크 I/O)DAG + 인메모리 (RDD)상태 유지 스트림 처리
지연 시간분~시간 단위초 단위밀리초 단위
상태 관리상태 비저장제한적 상태 관리내장형 상태 관리
장애 복구작업 재시도RDD 계보 복구 ...
7월 30일 11:55에 게시됨