Apache Kafka 고성능 비결 및 면접 대비
Apache Kafka의 성능을 극대화하는 기술적 원리와 면접에서 자주 등장하는 핵심 질문들을 다룹니다.
1. Kafka는 왜 빠른가? (필수 질문!)
핵심 기술:
순차 디스크 I/O: 로그 파일에 데이터를 순차적으로 추가하여 디스크 헤드의 무작위 탐색을 최소화합니다. 이는 테이프에 데이터를 쓰는 것과 유사한 방식입니다.
Zero-Copy 기술: sendfile 시스템 호출을 사 ...
9월 8일 12:48에 게시됨
Apache Flink 작업 재시작 시 데이터 유실 원인 분석 및 해결 전략
1. 데이터 유실의 근본적 원인
Apache Flink 잡(Job)이 재시작될 때 데이터 유실이 발생하는 핵심적인 원인은 처리 과정에서 발생하는 상태(State) 불일치입니다. 장애 발생 시 메모리 상에 존재하던 처리 중인 데이터가 영속화되지 않았거나, 데이터 소스의 컨슘 오프셋(Consumption Offset)이 정상적으로 저장되지 않은 상태로 복구가 이루어지면 필연적으로 데이터 누락 ...
8월 28일 23:41에 게시됨