Apache Doris 클러스터 배포 가이드

1. 시스템 요구 사항 및 환경 설정

설치 가이드: https://doris.apache.org/zh-CN/docs/dev/install/standard-deployment

1.1 시스템 요구사항

1. 자바 환경 구축
tar xf jdk-8u201-linux-x64.tar.gz -C /opt/
echo 'export JAVA_HOME=/opt/jdk1.8.0_201' > /etc/profile.d/java.sh
source /etc/profile.d/java.sh
java -version  # 실행 검증<br></br>

2. 프로세스 메모리 제한 조정
echo 'vm.max_map_count=262144' >> /etc/sysctl.d/99-sysctl.conf


3. 파일 핸들 수 제한 설정
echo '* soft nofile 65536' >> /etc/security/limits.conf
echo '* hard nofile 65536' >> /etc/security/limits.conf


4. 시간 동기화 설정
chronyd -q 'server ntp1.aliyun.com iburst' <br></br><br></br>5. SWAP 비활성화
swapoff -a

1.2 Doris 구성 요소 역할

1. Frontend(FE): 메타데이터 관리, 쿼리 최적화, 클라이언트 연결 처리
- 저장 공간: 메타데이터 및 로그 파일(수百MB~GB)
- 배포 규칙: 단일 노드당 하나의 FE만 배포 가능
- 역할 구분:
   * Follower: 리더 선출 참여 가능
   * Observer: 데이터 동기화만 수행, 선출 불가능
- 고가용성 구성:
   * 1개 Follower + 1개 Observer = 읽기 HA
   * 3개 Follower = 읽기/쓰기 HA
- Follower 수는 반드시 홀수 개 필요


2. Backend(BE): 데이터 저장 및 처리
- 저장 공간: 사용자 데이터 *3(레플리케이션) + 40% 여유 공간
- 배포 규칙: 단일 노드당 하나 이상 배포 가능


3. Broker: 외부 스토리지 접근(예: HDFS)
- 일반적으로 각 서버당 하나의 인스턴스 배포

1.3 서비스 포트 정의

2. 클러스터 설치 절차

2.1 패키지 다운로드

cat /proc/cpuinfo | grep avx2  # CPU 모델 확인
wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.0.0-bin-x64.tar.gz  # 버전 및 아키텍처 선택

2.2 FE/BE 구성 파일 설정

tar xf apache-doris-1.2.6-bin-x64.tar.xz -C /opt/
cd /opt/
ln -sv apache-doris-1.2.6-bin-x64/ doris

cp doris/fe/conf/fe.conf doris/fe/conf/fe.conf-bak
vim doris/fe/conf/fe.conf
mysql_service_nio_enabled = true
priority_networks = 192.168.1.0/24  #  mutli-nic 서버에서 필수


cp doris/be/conf/be.conf  doris/be/conf/be.conf-bak
vim  doris/be/conf/be.conf

brpc_port = 8060
storage_root_path = /mnt/doris/storage  # 저장 경로 지정


mkdir -p /mnt/doris/storage   # BE 저장 경로와 일치

2.3 FE 실행

# 첫 번째 노드 실행(192.168.1.136)
/usr/local/doris/fe/bin/start_fe.sh --daemon

# 상태 확인
jps
netstat
mysql -uroot -P 9030 -h 127.0.0.1
SHOW PROC '/frontends' \G;
# 다른 노드 실행(192.168.1.137, 138)
/usr/local/doris/fe/bin/start_fe.sh  --helper 192.168.1.136:9010 --daemon
# 데이터베이스 노드 추가
ALTER SYSTEM ADD FOLLOWER "192.168.1.137:9010";
ALTER SYSTEM ADD FOLLOWER "192.168.1.13:9010";
SHOW PROC '/frontends' \G;

2.4 BE 및 Broker 실행

# 모든 노드 실행
/usr/local/doris/be/bin/start_be.sh --daemon
/usr/local/doris/extensions/apache_hdfs_broker/bin/start_broker.sh --daemon
# BE 노드 등록
ALTER SYSTEM ADD BACKEND "192.168.1.136:9050";
ALTER SYSTEM ADD BACKEND "192.168.1.137:9050";
ALTER SYSTEM ADD BACKEND "192.168.1.138:9050";
SHOW BACKENDS;

# Broker 노드 등록
ALTER SYSTEM ADD BROKER my_broker "192.168.1.136:8000";
ALTER SYSTEM ADD BROKER my_broker "192.168.1.137:8000";
ALTER SYSTEM ADD BROKER my_broker "192.168.1.138:8000";
SHOW BROKER;

3. 상태 모니터링

http://192.168.1.136:8030/ 접속 (사용자: root, 비밀번호: 공백)

3.1 FE 상태 확인

단일 FE 상태: http://fe_host:fe_http_port/api/bootstrap
클러스터 FE 상태: http://192.168.1.136:8030/System?path=//frontends

3.2 BE 상태 확인

단일 BE 상태: http://be_host:be_http_port/api/health
클러스터 BE 상태: http://192.168.1.136:8030/System?path=//backends

3.3 Broker 상태 확인

http://192.168.1.136:8030/System?path=//brokers

태그: ApacheDoris linux 클러스터구성 시스템최적화 네트워크설정

7월 10일 16:27에 게시됨