Hadoop 클러스터 운영 및 동적 리소스 관리 가이드

1. Hadoop 클러스터 주요 프로세스 관리

Hadoop 클러스터의 안정적인 운영을 위해서는 각 데몬 프로세스의 개별적인 제어가 필요합니다. 고가용성(HA) 환경에서는 특정 노드의 서비스 중단 시 Standby 상태의 노드가 Active로 자동 전환되는 동작을 확인할 수 있습니다.

1.1 NameNode 서비스 제어

NameNode 서비스를 중단하거나 재시작하여 네임스페이스 관리 상태를 조정할 수 있습니다.

# NameNode 중지
[root@node-master-01 hadoop]# /opt/hadoop/sbin/hadoop-daemon.sh stop namenode

# NameNode 시작
[root@node-master-01 hadoop]# /opt/hadoop/sbin/hadoop-daemon.sh start namenode

HA 구성 시, 주 노드(node-master-01)의 서비스를 중지하면 보조 노드(node-master-02)가 자동으로 Active 권한을 인계받습니다.

1.2 DataNode 및 리소스 관리자 제어

데이터 저장 노드와 리소스 관리 엔진인 ResourceManager에 대한 개별 관리 명령입니다.

# DataNode 관리
[root@node-master-01 hadoop]# /opt/hadoop/sbin/hadoop-daemon.sh stop datanode
[root@node-master-01 hadoop]# /opt/hadoop/sbin/hadoop-daemon.sh start datanode

# ResourceManager 관리
[root@node-master-01 hadoop]# /opt/hadoop/sbin/yarn-daemon.sh stop resourcemanager
[root@node-master-01 hadoop]# /opt/hadoop/sbin/yarn-daemon.sh start resourcemanager

# NodeManager 관리
[root@node-master-01 hadoop]# /opt/hadoop/sbin/yarn-daemon.sh stop nodemanager
[root@node-master-01 hadoop]# /opt/hadoop/sbin/yarn-daemon.sh start nodemanager

2. 클러스터 유지보수 및 최적화 기법

2.1 로그 모니터링

Hadoop 운영 중 발생하는 장애의 원인은 대부분 $HADOOP_HOME/logs 디렉터리의 로그 파일을 통해 파악할 수 있습니다.

  • NameNode 로그: hadoop-hadoop-namenode-[HOSTNAME].log
  • DataNode 로그: hadoop-hadoop-datanode-[HOSTNAME].log
  • ResourceManager 로그: yarn-hadoop-resourcemanager-[HOSTNAME].log

2.2 클러스터 밸런싱 작업

데이터 노드 간의 디스크 사용량 불균형을 해소하기 위해 밸런서 스크립트를 실행합니다. -t 옵션은 노드 간 허용 오차 범위를 의미합니다.

# 디스크 사용률 편차 10% 이내로 유지
[root@node-master-01 hadoop]# /opt/hadoop/sbin/start-balancer.sh -t 10%

2.3 파일 시스템 상태 점검 및 백업

HDFS의 무결성을 점검하고 메타데이터 이미지(fsimage)를 수동으로 백업하여 데이터 손실에 대비합니다.

# 전체 파일 시스템 체크
[root@node-master-01 hadoop]# /opt/hadoop/bin/hdfs fsck /

# 현재 메타데이터 스냅샷 가져오기
[root@node-master-01 hadoop]# /opt/hadoop/bin/hdfs dfsadmin -fetchImage ./fsimage_backup

3. 클러스터 동적 확장 및 축소 (Scaling)

3.1 사전 설정 단계

클러스터 운영 중에 노드를 유연하게 추가하거나 제거하기 위해서는 include 및 exclude 파일을 설정해야 합니다. 이 설정은 허용된 호스트 리스트를 관리하여 보안 및 가용성을 제어합니다.

hdfs-site.xml 설정 추가:

<property>
    <name>dfs.hosts</name>
    <value>/opt/hadoop/etc/hadoop/hosts_include</value>
</property>
<property>
    <name>dfs.hosts.exclude</name>
    <value>/opt/hadoop/etc/hadoop/hosts_exclude</value>
</property>

yarn-site.xml 설정 추가:

<property>
    <name>yarn.resourcemanager.nodes.include-path</name>
    <value>/opt/hadoop/etc/hadoop/hosts_include</value>
</property>
<property>
    <name>yarn.resourcemanager.nodes.exclude-path</name>
    <value>/opt/hadoop/etc/hadoop/hosts_exclude</value>
</property>

3.2 신규 노드 추가 (Scale-out)

  1. 신규 서버(node-worker-04)를 준비하고 Hadoop 환경을 구축합니다.
  2. hosts_include 파일에 새 호스트명을 추가합니다.
  3. 클러스터 설정 갱신을 수행합니다.
# 네임노드 및 리소스 매니저 노드 목록 갱신
[root@node-master-01 hadoop]# hdfs dfsadmin -refreshNodes
[root@node-master-01 hadoop]# yarn rmadmin -refreshNodes

# 신규 노드에서 데몬 실행
[root@node-worker-04 hadoop]# hadoop-daemon.sh start datanode
[root@node-worker-04 hadoop]# yarn-daemon.sh start nodemanager

3.3 노드 제거 및 퇴역 (Decommissioning)

단순히 서비스를 종료하는 것이 아니라, 기존 데이터를 다른 노드로 복제한 후 안전하게 제거해야 합니다.

  1. 제거할 노드명을 hosts_exclude 파일에 기재합니다.
  2. 노드 갱신 명령을 실행하면 해당 노드의 상태가 Decommission In Progress로 변경됩니다.
  3. 데이터 복제가 완료되어 Decommissioned 상태가 되면 데몬을 중지합니다.
# 퇴역 프로세스 시작
[root@node-master-01 hadoop]# hdfs dfsadmin -refreshNodes
[root@node-master-01 hadoop]# yarn rmadmin -refreshNodes

# 상태 확인 후 프로세스 종료
[root@node-worker-04 hadoop]# hadoop-daemon.sh stop datanode
[root@node-worker-04 hadoop]# yarn-daemon.sh stop nodemanager

노드 제거 후에는 다시 밸런서를 실행하여 전체 클러스터의 데이터 분포를 균등하게 맞추는 것이 권장됩니다.

태그: hadoop HDFS yarn BigData ClusterManagement

11월 1일 16:59에 게시됨