Hadoop 클러스터 운영 및 동적 리소스 관리 가이드
1. Hadoop 클러스터 주요 프로세스 관리
Hadoop 클러스터의 안정적인 운영을 위해서는 각 데몬 프로세스의 개별적인 제어가 필요합니다. 고가용성(HA) 환경에서는 특정 노드의 서비스 중단 시 Standby 상태의 노드가 Active로 자동 전환되는 동작을 확인할 수 있습니다.
1.1 NameNode 서비스 제어
NameNode 서비스를 중단하거나 재시작하여 네임스페이스 관리 상태를 조 ...
11월 1일 16:59에 게시됨
Apache Pig 기초: 설치, 실행 및 데이터 처리 실습
Apache Pig는 Hadoop 기반 대규모 데이터 처리를 위한 고수준 스크립팅 프레임워크로, 원시 MapReduce Java API보다 추상화 수준이 높습니다. Pig Latin 언어를 통해 복잡한 데이터 변환 작업을 간결하게 표현할 수 있으며, 특히 중첩된 튜플, 벡터, 맵과 같은 풍부한 데이터 타입과 다중 조인(Join), 그룹화, 필터링 등 관계형 연산을 직관적으로 지원합니다.
구성 요소
...
10월 7일 16:18에 게시됨
Hadoop 분산 환경에서의 데이터 조인 전략 및 구현 기법
리듀스 측 조인 (Reduce-Side Join)
리듀스 측 조인은 리파티셔닝 정렬-병합 조인(Repartitioned Sort-Merge Join)이라고도 불립니다. 이 방식은 다양한 데이터 소스의 레코드를 리듀서로 전송하여 결합하므로, 셔플(Shuffle) 단계에서 발생하는 네트워크 및 I/O 오버헤드가 크다는 특징이 있습니다.
핵심 개념 및 처리 흐름
데이터 소스 (Data Source): 관계형 데이 ...
10월 1일 10:06에 게시됨
하둡 MapReduce 보조 정렬 시 WritableComparator 생성자 누락으로 인한 NullPointerException 분석 및 해결
문제 상황
MapReduce 보조 정렬(secondary sort) 기능을 구현하는 과정에서 맵 태스크 종료 시점에 다음과 같은 NullPointerException이 발생했습니다.
java.lang.NullPointerException
at org.apache.hadoop.io.WritableComparator.compare(WritableComparator.java:157)
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.compare(MapTask.java:1269)
at org ...
9월 19일 00:29에 게시됨
Hadoop 환경에서 HBase 분산 설정 가이드
사전 준비: Hadoop 클러스터 실행
HBase를 구동하기 전에 Hadoop이 정상적으로 작동 중인지 확인합니다.
$ start-dfs.sh
$ start-yarn.sh
HBase 버전 호환성 확인
Hadoop과 HBase 간 버전 호환성은 매우 중요합니다. 현재 Hadoop 버전을 먼저 확인하세요.
$ hadoop version
확인한 버전에 맞는 HBase를 Tsinghua 미러에서 다운로드합니다. 안정적인 릴리즈를 권장합니다.
...
9월 16일 00:34에 게시됨
HBase Shell 명령어 완벽 가이드
HBase는 Hadoop 파일시스템을 기반으로 데이터를 저장하는 분산 컬럼 기반 데이터베이스입니다. 구조적으로 하나의 마스터 서버와 여러 리전 서버로 구성되어 있으며, 데이터는 테이블(리전) 형식으로 저장됩니다. 이 가이드에서는 HBase Shell에서 사용하는 주요 명령어들을 상세히 설명하겠습니다.
HBase 아키텍처 개요
HBase는 마스터 서버가 전체 리전 서버들을 관리하 ...
8월 4일 11:06에 게시됨
Ubuntu Kylin 기반 Apache Hive 데이터 웨어하우스 구축 가이드
Apache Hive 개요
Apache Hive는 Hadoop 기반의 데이터 웨어하우스 인프라로, 구조화된 데이터 파일을 테이블 형태로 관리하고 SQL과 유사한 쿼리 언어인 HQL(Hive Query Language)을 통해 데이터를 조회할 수 있게 해줍니다. 내부적으로 HQL은 MapReduce 작업으로 변환되어 Hadoop 클러스터에서 실행됩니다.
Hive의 주요 특징
장점: SQL 익숙한 사용자라면 러닝 커 ...
8월 4일 02:48에 게시됨
YARN Capacity Scheduler와 노드 레이블 설정
Hadoop YARN(Yet Another Resource Negotiator) 클러스터에서 자원 활용 효율성을 극대화하기 위해 노드 레이블(Node Labels) 기능은 특정 유형의 워크로드를 특정 노드 그룹에 할당하는 강력한 메커니즘을 제공합니다. 이는 이종(heterogeneous) 클러스터 환경에서 특히 유용하며, Capacity Scheduler와 함께 구성될 때 더욱 정교한 자원 관리가 가능해집니다.
YARN Capa ...
7월 27일 06:56에 게시됨
CDH 5.14.0 환경에서 Spark 및 Kafka 통합 설치 가이드
환경 준비
운영체제: CentOS 7
CDH 버전: 5.14.0
사전 설치 필요 항목:
MySQL 서버
OpenJDK 또는 Oracle JDK
모든 노드에 다음 패키지 설치:
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb
필수 파일 다운로드 (오프라인 배포용)
Cloudera Manager 5
파 ...
7월 26일 19:33에 게시됨
Flink YARN 배포 실전 가이드
대규모 클러스터 환경에서 리소스를 효율적으로 활용하기 위해 Flink를 YARN 위에 배포하는 경우가 많습니다. 이 글에서는 Flink를 YARN에 구축하고 작업을 제출하는 전체 과정을 살펴봅니다.
사전 준비사항
HDFS와 YARN 서비스가 정상적으로 기동된 상태여야 합니다. 또한 Flink가 YARN과 상호작용하려면 Hadoop 설정 경로를 시스템에 알려주어야 합니다.
메모리 검사 ...
7월 26일 09:07에 게시됨