HDFS CLI 명령어 실전 활용 가이드
HDFS(Hadoop Distributed File System)는 대용량 데이터를 분산 저장하고 처리하는 핵심 인프라입니다. 본 문서에서는 실무에서 자주 사용하는 HDFS 셸 명령어를 정리합니다.
디렉터리 탐색
파일 시스템 구조를 확인하는 기본 명령어입니다.
# 루트 디렉터리 목록 조회
hdfs dfs -ls /
# 하위 디렉터리까지 재귀적으로 조회
hdfs dfs -ls -R /
디렉터리 생성
계층 구조 ...
7월 12일 17:33에 게시됨
Hadoop 클러스터 환경 구축 - 이중 NameNode 구성
Hadoop 환경설정 파일 수정
필요한 설정 파일은 $HADOOP_HOME/etc/hadoop 디렉토리에 있으며, 다음과 같이 수정해야 한다.
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://cluster</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
< ...
7월 8일 06:03에 게시됨
YARN 리소스 스케줄러 심층 분석: 아키텍처 설계와 실전 구현
대규모 데이터 처리를 위한 YARN의 핵심 역할
YARN(또는 Yet Another Resource Negotiator)은 Hadoop 2.0 버전부터 도입된 핵심 자원 관리 컴포넌트로, 클러스터 내에서 다수의 컴퓨팅 프레임워크가 효율적으로 자원을 공유할 수 있도록 설계되었습니다. 이 시스템은 MapReduce, Spark, Flink 등 다양한 워크로드를 동일한 인프라 위에서 실행 가능하게 하며, 자원 활용률 ...
7월 6일 20:23에 게시됨
CentOS 7 환경에서 CDH를 활용한 Hadoop 클러스터 구축 가이드
1. 사전 준비 및 역할 할당
리소스 다운로드:
링크: 네이버 클라우드
1.1. 서버 및 역할 계획
다음과 같이 3대의 서버를 준비하고 역할을 분담합니다:
hadoop01 (192.168.1.136): CM Server, NameNode, ResourceManager
hadoop02 (192.168.1.137): DataNode, NodeManager
hadoop03 (192.168.1.138): DataNode, NodeManager
1.2. 방화벽 및 SELinux 비활성화
모든 노드 ...
6월 27일 22:44에 게시됨
HBase Kerberos 인증을 통한 Java 클라이언트 연결 설정
CDH 환경에서 Kerberos 보안이 활성화된 HBase에 Java 애플리케이션으로 접속하려면 몇 가지 설정 단계가 필요하다.
필요 구성 요소 준비
먼저 Cloudera Manager 콘솔에서 HBase 관련 설정 파일들을 다운로드하여 로컬 프로젝트에 배치해야 한다. 이 파일들은 일반적으로 src/main/resources 디렉토리에 저장한다.
Kerberos 인증을 위해 다음 두 파일도 준비해야 한다:
Ke ...
6월 19일 00:50에 게시됨
Hadoop 2.5.0 CDH5.2.0용 네이티브 라이브러리 패키지
본 문서에서는 Hadoop 2.5.0 CDH5.2.0 버전을 위해 컴파일된 네이티브 라이브러리 패키지에 대해 설명합니다. 이 패키지는 특정 운영 체제에서 Hadoop의 효율적인 실행을 지원하는 사전 컴파일된 동적 및 정적 라이브러리를 포함합니다. 이러한 라이브러리 파일에는 운영 체제와 호환되는 바이너리 코드가 포함되어 있어 Hadoop이 파일 시스템, 네트워크 상호 작용과 같은 ...
5월 30일 19:48에 게시됨
하둡 NameNode 초기화 프로세스 분석
소스 코드 컴파일 및 환경 준비
하둡의 핵심 컴포넌트인 NameNode의 동작 원리를 이해하기 위해 먼저 소스 코드를 컴파일해야 합니다.
지원되는 버전 범위: Hadoop 2.6 ~ 2.7 (기능 변경이 크지 않음)
컴파일 가이드 참고 링크:
간단한 빌드 가이드
자세한 빌드 설명
빌드 실패는 흔한 현상이며, protocol 등 필수 종속성만 정확히 설정된다면 문제 없음.
NameNode 메 ...
5월 24일 07:09에 게시됨