CDH 5.14.0 환경에서 Spark 및 Kafka 통합 설치 가이드
환경 준비
운영체제: CentOS 7
CDH 버전: 5.14.0
사전 설치 필요 항목:
MySQL 서버
OpenJDK 또는 Oracle JDK
모든 노드에 다음 패키지 설치:
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb
필수 파일 다운로드 (오프라인 배포용)
Cloudera Manager 5
파 ...
7월 26일 19:33에 게시됨
CentOS 7 환경에서 CDH를 활용한 Hadoop 클러스터 구축 가이드
1. 사전 준비 및 역할 할당
리소스 다운로드:
링크: 네이버 클라우드
1.1. 서버 및 역할 계획
다음과 같이 3대의 서버를 준비하고 역할을 분담합니다:
hadoop01 (192.168.1.136): CM Server, NameNode, ResourceManager
hadoop02 (192.168.1.137): DataNode, NodeManager
hadoop03 (192.168.1.138): DataNode, NodeManager
1.2. 방화벽 및 SELinux 비활성화
모든 노드 ...
6월 27일 22:44에 게시됨