분산 처리 시스템 학습 및 실전 최적화 전략
MapReduce 아키텍처의 핵심 원리
MapReduce는 대규모 데이터 처리를 위한 분산 컴퓨팅 모델로, 데이터를 분할 → 처리 → 집계의 세 단계로 나누어 처리한다. 주요 단계는 다음과 같다:
Map 단계: 입력 데이터를 키-값 쌍으로 변환하고, 각 요소에 대해 독립적인 연산 수행.
Shuffle & Sort 단계: 동일한 키를 가진 값들을 그룹화하여 리듀서로 전달.
Reduce 단계: ...
7월 5일 16:05에 게시됨
MongoDB 집계 연산
집계 연산 개요
MongoDB 집계 연산은 다중 문서의 데이터를 처리해 계산 결과를 반환합니다. 문서 그룹을 대상으로 다양한 연산을 수행하며, 단일 목적 집계, 파이프라인 집계, MapReduce 세 가지 유형으로 구분됩니다.
단일 목적 집계: 단일 컬렉션 대상의 기본 집계 함수 제공
파이프라인 집계: 다단계 데이터 처리 모델 기반의 유연한 프레임워크
MapReduce: 대용량 ...
6월 22일 20:53에 게시됨
Hive에서 소규모 파일 과다 문제 해결方案
소규모 파일이 야기하는 문제점
HDFS에서 소규모 파일이过多하게 되면 다음과 같은 문제가 발생할 수 있습니다:
네임노드 메모리 부하: HDFS 파일은 데이터 블록과 메타정보(위치, 크기, 분할 정보 등)를 포함합니다. 이 메타정보는 네임노드 메모리에 저장되며, 각 객체당 약 150바이트를 차지합니다. 천만 개의 파일과 블록이 있으면 약 3GB의 메모리를 사용하게 되어 ...
5월 25일 22:34에 게시됨