数据挖掘-部署Spark2.4.0

1、Spark安装

1.1 单节点Spark安装

1.1.1 安装JAVA

解压jdk到指定目录：

# tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt

添加环境变量。

# vi /etc/profile

在最底下添加下面内容：

export JAVA_HOME=/opt/jdk1.8.0_181

export JAVA_BIN=$JAVA_HOME/bin

export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_BIN

让配置生效

# source /etc/profile

#java -version

1.1.2 安装Spark

解压Spark到安装目录

#tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /opt

1.1.3 启动Spark

启动Spark master

#cd /opt/spark-2.4.0-bin-hadoop2.7/sbin

# ./start-master.sh -h 主机名

例如: 主机名为smartbi-spark，则执行：./start-master.sh -h smartbi-spark

启动Spark work

#cd /opt/spark-2.4.0-bin-hadoop2.7/sbin

#./start-slave.sh spark://master节点的主机名:7077 -c 配置的cpu数 -m xg 配置得的内存数(g为单位)

Work 节点最低配置为 1 核 8G 内存。 cpu 和内存比值建议为 1:8 ，即一个 cpu 配置 8G 的内存

例如：worker节点为8核，64G内存的配置，master的主机名为smartbi-spark,则执行:

# ./start-slave.sh spark://smartbi-spark:7077 -c 6 -m 48g     #2核16G留给系统

1.1.4 检查Spark

在浏览器中输入：http://master节点的ip:8080，查看集群状态，

在master节点提交任务测试进入/opt/spark-2.4.0-bin-hadoop2.7/bin目录，执行以下命令(注意将”节点的IP”替换对应的IP或主机名)

#./spark-submit --class org.apache.spark.examples.SparkPi --master spark://节点的ip:7077 /opt/spark-2.4.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.0.jar 100

运行得出圆周率Pi的近似值3.14即部署成功。

1.1.5  计算节点配置

打开系统运维--系统选项–执行引擎--计算节点配置，(具体配置根据实际部署环境修改)：

如下图所示，重点配置红框地方，第一个框填写spark master连接地址，其它选项配置策略如下：

• instances * executor.memory <= spark可分配的内存数 * 0.7(例如 52G * 0.7 = 36)
• instances * executor.cores <= spark可分配的cpu核数 * 0.7(例如: 32核 * 0.7 = 22)
• max = executor.instances * executor.cores

默认情况下，executor.memory 配置为8G，除非总的内存比8G还小，根据上面策略，其它选项配置如下

• instances = spark可分配的内存数 * 0.7 / executor.memory = 52 * 0.7 / 8 = 4
• cores  = spark可分配的cpu核数 * 0.7 / executor.instances = 32 * 0.7 / 4 = 5
• max = executor.instances * executor.cores = 4 * 5 = 20

1.1.6 停止Spark

#cd /opt/spark-2.4.0-bin-hadoop2.7/sbin

#./stop-all.sh

输入部署spark的节点的密码，停止spark。

查看日志

Spark的日志路径：/opt/spark-2.4.0-bin-hadoop2.7/logs

安装部署或者使用中有问题，可能需要根据日志来分析解决。

1.1.7 Spark版本更新

Spark仅作为计算节点。为了保证产品兼容性及稳定性，建议使用smartbi推荐的spark版本。目前暂时没有更新版本。