HDFS 성능 최적화 기법
단락 읽기(Short Circuit Local Reads) 최적화
개요
HDFS의 기본 읽기 방식은 DFSClient가 데이터 노드에 위치한지 여부와 관계없이 동일하게 동작합니다. 데이터 노드가 디스크에서 블록을 읽은 후 TCP 기반 RPC를 통해 DFSClient에 전달하는 구조입니다. 이 방식은 구현이 단순하지만, 동일 노드에 클라이언트와 데이터가 존재할 경우 불필요한 중간 단계로 인해 지연이 ...
5월 29일 22:16에 게시됨