DataSphere Studio 및 Linkis의 단일 머신 설치

1. 환경 요구사항

1.1. 운영 체제

CentOS 6 또는 7 버전

1.2. 필수적인 툴리즈 설치 명령

필요한 툴리즈: telnet, tar, sed, dos2unix, mysql, yum, java, unzip, zip, expect

# 만약 툴리즈가 없을 경우 아래 명령으로 설치 패키지를 확인하세요
yum provides */telnet

1.3. JDK 설치

# JDK 압축 해제
tar xf jdk-8u201-linux-x64.tar.gz -C /usr/local/
cd /usr/local/
ln -sv jdk1.8.0_201/ java

# 환경 변수 설정
vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/local/java
export CLASSPATH=$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

# 변수 적용
. /etc/profile.d/java.sh
java -version

1.4. 파일 디스크립터 및 프로세스 제한 확대

# 제한 값을 확대
vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
* soft memlock unlimited
* hard memlock unlimited

1.5. 본인 인증 설정

# SSH 키 생성 및 설치
ssh-keygen -t rsa
ssh-copy-id -i <접속할_호스트_IP>

1.6. Python 설치

# 호환성 좋은 버전 설치
wget https://repo.anaconda.com/archive/Anaconda2-4.2.0-Linux-x86_64.sh
chmod +x Anaconda2-4.2.0-Linux-x86_64.sh
./Anaconda2-4.2.0-Linux-x86_64.sh

1.7. 호스트명 해체

# 호스트명 연결
echo "192.168.1.134 datasphere-server" >> /etc/hosts

2. 사용자 계정 생성

# 사용자 계정 생성
useradd datauser
visudo
datauser  ALL=(ALL)  NOPASSWD: ALL

3. 주요 서비스 설치

3.1. Nginx 설치

# 기본 설치
yum install nginx -y
systemctl start nginx

3.2. MySQL 설치 및 구성

# 데이터베이스 생성
mysql -u root -p
CREATE DATABASE dss DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
CREATE USER 'dss'@'%' IDENTIFIED BY 'Qwer@123';
GRANT ALL PRIVILEGES ON dss.* TO 'dss'@'%';

CREATE DATABASE hive DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
CREATE USER 'hive'@'%' IDENTIFIED BY 'Qwer@123';
GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%';
FLUSH PRIVILEGES;
exit;

3.3. Hadoop 설치 및 구성

# Hadoop 설치
mkdir -p /data/hadoop
tar xf hadoop-2.7.2.tar.gz -C /data/hadoop
cd /data/hadoop
ln -sv hadoop-2.7.2/ hadoop

# 환경 변수 설정
export HADOOP_HOME=/data/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/local/java

# Configuration Files
vim hadoop-env.sh
export HDFS_NAMENODE_USER=datauser
export HDFS_DATANODE_USER=datauser
export HADOOP_HOME=/data/hadoop
export JAVA_HOME=/usr/local/java

vim core-site.xml
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.1.134:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/data/hadoop/tmp</value>
  </property>
</configuration>

# 실행 준비
mkdir -pv /data/hadoop/tmp
hdfs namenode -format
start-all.sh
jps

3.4. Hive 설치 및 구성

# Hive 설치
tar xf apache-hive-2.3.3-bin.tar.gz -C /data/
ln -sv apache-hive-2.3.3-bin/ hive

# Configuration Files
vim hive-site.xml
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://192.168.1.134:3306/hive?useSSL=false</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>Qwer@123</value>
  </property>
</configuration>

# Connector 설치
mv mysql-connector-java-5.1.27-bin.jar /data/hive/lib/
schematool -initSchema -dbType mysql
hive -e "show databases"

3.5. Spark 설치 및 구성

# Spark 설치
tar xf spark-2.4.3-bin-hadoop2.7.tgz -C /data/
ln -sv spark-2.4.3-bin-hadoop2.7/ spark

# 환경 변수 설정
export SPARK_HOME=/data/spark
export PATH=$PATH:$SPARK_HOME/bin

# Spark 실행 테스트
spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster --driver-memory 4g --executor-memory 2g --executor-cores 1 --queue default examples/jars/spark-examples*.jar 10

4. DataSphere Studio 및 Linkis 설치

4.1. 설치 파일 준비

mv dss_linkis_one-click_install_20221201.zip /data/
cd /data/
unzip dss_linkis_one-click_install_20221201.zip

4.2. Configuration 파일 수정

cp config.sh config.sh-bak
vim config.sh
deployUser=datauser
DSS_NGINX_IP=192.168.1.134
DSS_WEB_PORT=8085
HADOOP_CONF_DIR=/data/hadoop/etc/hadoop/
HIVE_CONF_DIR=/data/hive/conf
SPARK_CONF_DIR=/data/spark/conf/

4.3. 설치 스크립트 실행

cd bin
sh install.sh

4.4. 최종 구성 및 시작

# 추가적인 설정
cp linkis-ps-publicservice.properties linkis-ps-publicservice.properties-bak
vim linkis-ps-publicservice.properties
hive.meta.url=jdbc:mysql://192.168.1.134:3306/hive?useSSL=false
hive.meta.user=hive
hive.meta.password=Qwer@123

# 서비스 시작
cd /data/dss_linkis_one-click_install_20221201/bin
sh start-all.sh

5. 설치 완료 후 접속

태그: DataSphere Studio Linkis Single-machine Deployment Data Processing Big Data

7월 13일 20:26에 게시됨

인기 태그

©2026 괴물 클럽