Apache Flink 작업 재시작 시 데이터 유실 원인 분석 및 해결 전략
1. 데이터 유실의 근본적 원인
Apache Flink 잡(Job)이 재시작될 때 데이터 유실이 발생하는 핵심적인 원인은 처리 과정에서 발생하는 상태(State) 불일치입니다. 장애 발생 시 메모리 상에 존재하던 처리 중인 데이터가 영속화되지 않았거나, 데이터 소스의 컨슘 오프셋(Consumption Offset)이 정상적으로 저장되지 않은 상태로 복구가 이루어지면 필연적으로 데이터 누락 ...
8월 28일 23:41에 게시됨