RDD 성능 최적화 및 실용적인 문제 해결 전략
성능 튜닝을 위한 핵심 기법
6.1 파티션 수 조정을 통한 병렬 처리 최적화
파티션 수는 Spark 애플리케이션의 병렬성과 리소스 사용 효율에 직접적인 영향을 미친다. 너무 적은 파티션은 클러스터 자원 활용도를 낮추고, 지나치게 많은 파티션은 스케줄링 오버헤드를 증가시킨다.
# HDFS 파일 로딩 시 초기 파티션 수 설정
log_rdd = sc.textFile("hdfs:///data/logs/acce ...
6월 8일 00:46에 게시됨