CentOS 7 환경에서 CDH를 활용한 Hadoop 클러스터 구축 가이드
1. 사전 준비 및 역할 할당
리소스 다운로드:
링크: 네이버 클라우드
1.1. 서버 및 역할 계획
다음과 같이 3대의 서버를 준비하고 역할을 분담합니다:
hadoop01 (192.168.1.136): CM Server, NameNode, ResourceManager
hadoop02 (192.168.1.137): DataNode, NodeManager
hadoop03 (192.168.1.138): DataNode, NodeManager
1.2. 방화벽 및 SELinux 비활성화
모든 노드 ...
6월 27일 22:44에 게시됨
HBase Kerberos 인증을 통한 Java 클라이언트 연결 설정
CDH 환경에서 Kerberos 보안이 활성화된 HBase에 Java 애플리케이션으로 접속하려면 몇 가지 설정 단계가 필요하다.
필요 구성 요소 준비
먼저 Cloudera Manager 콘솔에서 HBase 관련 설정 파일들을 다운로드하여 로컬 프로젝트에 배치해야 한다. 이 파일들은 일반적으로 src/main/resources 디렉토리에 저장한다.
Kerberos 인증을 위해 다음 두 파일도 준비해야 한다:
Ke ...
6월 19일 00:50에 게시됨
Apache Kudu 1.6.0 CDH5.14.0 분산 클러스터 구축 가이드
Kudu 아키텍처 개요
Kudu는 컬럼 기반 분산 스토리지로, Raft 합의 알고리즘을 기반으로 리더-팔로워 구조를 유지합니다. 마스터 노드와 태블릿 서버 간의 역할 분담을 통해 고가용성을 확보하며, 특정 태블릿에 대해 리더 역할을 수행하는 서버가 다른 태블릿에 대해서는 팔로워로 동작할 수 있습니다.
핵심 구성 요소
Table: 스키마와 정렬된 기본 키를 가진 데이터 ...
6월 6일 18:50에 게시됨
Hadoop 2.5.0 CDH5.2.0용 네이티브 라이브러리 패키지
본 문서에서는 Hadoop 2.5.0 CDH5.2.0 버전을 위해 컴파일된 네이티브 라이브러리 패키지에 대해 설명합니다. 이 패키지는 특정 운영 체제에서 Hadoop의 효율적인 실행을 지원하는 사전 컴파일된 동적 및 정적 라이브러리를 포함합니다. 이러한 라이브러리 파일에는 운영 체제와 호환되는 바이너리 코드가 포함되어 있어 Hadoop이 파일 시스템, 네트워크 상호 작용과 같은 ...
5월 30일 19:48에 게시됨