Apache Pig 기초: 설치, 실행 및 데이터 처리 실습
Apache Pig는 Hadoop 기반 대규모 데이터 처리를 위한 고수준 스크립팅 프레임워크로, 원시 MapReduce Java API보다 추상화 수준이 높습니다. Pig Latin 언어를 통해 복잡한 데이터 변환 작업을 간결하게 표현할 수 있으며, 특히 중첩된 튜플, 벡터, 맵과 같은 풍부한 데이터 타입과 다중 조인(Join), 그룹화, 필터링 등 관계형 연산을 직관적으로 지원합니다.
구성 요소
...
10월 7일 16:18에 게시됨
Hadoop 분산 환경에서의 데이터 조인 전략 및 구현 기법
리듀스 측 조인 (Reduce-Side Join)
리듀스 측 조인은 리파티셔닝 정렬-병합 조인(Repartitioned Sort-Merge Join)이라고도 불립니다. 이 방식은 다양한 데이터 소스의 레코드를 리듀서로 전송하여 결합하므로, 셔플(Shuffle) 단계에서 발생하는 네트워크 및 I/O 오버헤드가 크다는 특징이 있습니다.
핵심 개념 및 처리 흐름
데이터 소스 (Data Source): 관계형 데이 ...
10월 1일 10:06에 게시됨
Nutch와 Hadoop을 활용한 분산 검색 시스템 구축
Apache Nutch 아키텍처 개요
Nutch는 웹 스크래핑과 검색 엔진 기능을 제공하는 오픈소스 프레임워크로, 사용자가 자체적인 검색 인프라를 구현할 수 있도록 지원한다.
1.1 주요 컴포넌트 구성
WebDB: 수집된 페이지 정보 및 링크 관계 저장
Fetch Lists: WebDB의 대상 URL들을 그룹화하여 분산 처리용으로 나누기
Fetchers: Fetch List에 포함된 페이지를 다운로드하고 ...
9월 24일 22:34에 게시됨
하둡 MapReduce 보조 정렬 시 WritableComparator 생성자 누락으로 인한 NullPointerException 분석 및 해결
문제 상황
MapReduce 보조 정렬(secondary sort) 기능을 구현하는 과정에서 맵 태스크 종료 시점에 다음과 같은 NullPointerException이 발생했습니다.
java.lang.NullPointerException
at org.apache.hadoop.io.WritableComparator.compare(WritableComparator.java:157)
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.compare(MapTask.java:1269)
at org ...
9월 19일 00:29에 게시됨
분산 데이터 처리 프레임워크: Spark, MapReduce, Flink 핵심 비교 분석
핵심 차이점 요약
비교 항목Hadoop MapReduceApache SparkApache Flink
처리 방식배치 전용배치 중심 + 마이크로배치이벤트 기반 스트리밍
실행 모델Map → Reduce (디스크 I/O)DAG + 인메모리 (RDD)상태 유지 스트림 처리
지연 시간분~시간 단위초 단위밀리초 단위
상태 관리상태 비저장제한적 상태 관리내장형 상태 관리
장애 복구작업 재시도RDD 계보 복구 ...
7월 30일 11:55에 게시됨
분산 처리 시스템 학습 및 실전 최적화 전략
MapReduce 아키텍처의 핵심 원리
MapReduce는 대규모 데이터 처리를 위한 분산 컴퓨팅 모델로, 데이터를 분할 → 처리 → 집계의 세 단계로 나누어 처리한다. 주요 단계는 다음과 같다:
Map 단계: 입력 데이터를 키-값 쌍으로 변환하고, 각 요소에 대해 독립적인 연산 수행.
Shuffle & Sort 단계: 동일한 키를 가진 값들을 그룹화하여 리듀서로 전달.
Reduce 단계: ...
7월 5일 16:05에 게시됨
MongoDB 집계 연산
집계 연산 개요
MongoDB 집계 연산은 다중 문서의 데이터를 처리해 계산 결과를 반환합니다. 문서 그룹을 대상으로 다양한 연산을 수행하며, 단일 목적 집계, 파이프라인 집계, MapReduce 세 가지 유형으로 구분됩니다.
단일 목적 집계: 단일 컬렉션 대상의 기본 집계 함수 제공
파이프라인 집계: 다단계 데이터 처리 모델 기반의 유연한 프레임워크
MapReduce: 대용량 ...
6월 22일 20:53에 게시됨
Hive에서 소규모 파일 과다 문제 해결方案
소규모 파일이 야기하는 문제점
HDFS에서 소규모 파일이过多하게 되면 다음과 같은 문제가 발생할 수 있습니다:
네임노드 메모리 부하: HDFS 파일은 데이터 블록과 메타정보(위치, 크기, 분할 정보 등)를 포함합니다. 이 메타정보는 네임노드 메모리에 저장되며, 각 객체당 약 150바이트를 차지합니다. 천만 개의 파일과 블록이 있으면 약 3GB의 메모리를 사용하게 되어 ...
5월 25일 22:34에 게시됨