Hadoop 환경에서 HBase 분산 설정 가이드
사전 준비: Hadoop 클러스터 실행
HBase를 구동하기 전에 Hadoop이 정상적으로 작동 중인지 확인합니다.
$ start-dfs.sh
$ start-yarn.sh
HBase 버전 호환성 확인
Hadoop과 HBase 간 버전 호환성은 매우 중요합니다. 현재 Hadoop 버전을 먼저 확인하세요.
$ hadoop version
확인한 버전에 맞는 HBase를 Tsinghua 미러에서 다운로드합니다. 안정적인 릴리즈를 권장합니다.
...
9월 16일 00:34에 게시됨
Flink YARN 배포 실전 가이드
대규모 클러스터 환경에서 리소스를 효율적으로 활용하기 위해 Flink를 YARN 위에 배포하는 경우가 많습니다. 이 글에서는 Flink를 YARN에 구축하고 작업을 제출하는 전체 과정을 살펴봅니다.
사전 준비사항
HDFS와 YARN 서비스가 정상적으로 기동된 상태여야 합니다. 또한 Flink가 YARN과 상호작용하려면 Hadoop 설정 경로를 시스템에 알려주어야 합니다.
메모리 검사 ...
7월 26일 09:07에 게시됨
DataSphere Studio 및 Linkis의 단일 머신 설치
1. 환경 요구사항
1.1. 운영 체제
CentOS 6 또는 7 버전
1.2. 필수적인 툴리즈 설치 명령
필요한 툴리즈: telnet, tar, sed, dos2unix, mysql, yum, java, unzip, zip, expect
# 만약 툴리즈가 없을 경우 아래 명령으로 설치 패키지를 확인하세요
yum provides */telnet
1.3. JDK 설치
# JDK 압축 해제
tar xf jdk-8u201-linux-x64.tar.gz -C /usr/local/
cd /usr/local/ ...
7월 13일 20:26에 게시됨
HDFS CLI 명령어 실전 활용 가이드
HDFS(Hadoop Distributed File System)는 대용량 데이터를 분산 저장하고 처리하는 핵심 인프라입니다. 본 문서에서는 실무에서 자주 사용하는 HDFS 셸 명령어를 정리합니다.
디렉터리 탐색
파일 시스템 구조를 확인하는 기본 명령어입니다.
# 루트 디렉터리 목록 조회
hdfs dfs -ls /
# 하위 디렉터리까지 재귀적으로 조회
hdfs dfs -ls -R /
디렉터리 생성
계층 구조 ...
7월 12일 17:33에 게시됨