Hadoop 클러스터 환경 구축 - 이중 NameNode 구성
Hadoop 환경설정 파일 수정
필요한 설정 파일은 $HADOOP_HOME/etc/hadoop 디렉토리에 있으며, 다음과 같이 수정해야 한다.
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://cluster</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
< ...
7월 8일 06:03에 게시됨
HDFS NameNode 안전 모드 이해와 운영
안전 모드 동작 원리 분석
1.1 서비스 개별 시작을 통한 현상 재현
모든 Hadoop 서비스를 중지한 후, 각 프로세스를 수동으로 실행하며 안전 모드의 동작을 확인할 수 있다.
stop-all.sh
jps
hdfs --daemon start namenode
jps
NameNode만 실행된 상태에서 파일 시스템 조회는 가능하지만, 데이터 조작 작업은 제한된다.
hadoop fs -ls / # 정상적으로 디렉 ...
6월 25일 21:46에 게시됨
하둡 NameNode 초기화 프로세스 분석
소스 코드 컴파일 및 환경 준비
하둡의 핵심 컴포넌트인 NameNode의 동작 원리를 이해하기 위해 먼저 소스 코드를 컴파일해야 합니다.
지원되는 버전 범위: Hadoop 2.6 ~ 2.7 (기능 변경이 크지 않음)
컴파일 가이드 참고 링크:
간단한 빌드 가이드
자세한 빌드 설명
빌드 실패는 흔한 현상이며, protocol 등 필수 종속성만 정확히 설정된다면 문제 없음.
NameNode 메 ...
5월 24일 07:09에 게시됨