页面树结构
转至元数据结尾
转至元数据起始

正在查看旧版本。 查看 当前版本.

与当前比较 查看页面历史

« 前一个 版本 18 下一个 »

安装指南

1、系统环境要求

组件要求

操作系统

只支持 64位的Linux系统

建议:

  • CentOS 7或以上
  • RedHat 7或以上

CPU

建议16核或以上

内存

建议64G或128G

硬盘

建议固态硬盘或高速硬盘

空间大小2048G

2、安装介质装备

SmartbiMining介质:

安装介质

文件名

JDK

jdk-8u181-linux-x64.tar.gz

Hadoop

hadoop-2.7.3.tar.gz

Spark

spark-2.4.0-bin-hadoop2.7.tgz

SmartbiEngine

smartbi-mining-engine-1.0-SNAPSHOT-bin.tar.gz

Python

Python节点安装包Anaconda3-5.2.0-Linux-x86_64.sh

pyhdfs:python的hdfs模块

CentOS6版本:bzip2-1.0.5-7.el6_0.x86_64.rpm

CentOS7版本:bzip2-1.0.6-13.el7.x86_64.rpm

3、设置系统环境

3.1 取消打开文件数限制

在/etc/security/limits.conf
文件的末尾加入以下内容:
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

3.2 取消SELINUX

修改/etc/selinux/config中的SELINUX为disabled
SELINUX=disabled

3.3 关闭防火墙

1)、CentOS 6.X/Redhat 6.X
service iptables stop
service ip6tables stop
chkconfig iptables off
chkconfig ip6tables off
2)、CentOS 7.X/Redhat 7.X
systemctl stop firewalld 
 systemctl disable firewalld 
 systemctl status firewalld

开始部署

1、smartbi-spark单节点部署

1.1 java安装

java安装。

解压到指定目录:

# tar-zxvf  jdk-8u181-linux-x64.tar.gz -C /usr/local

添加环境变量。

# vi /etc/profile

在最底下添加下面内容:

export JAVA_HOME=/usr/local/jdk1.8.0_181
export JAVA_BIN=$JAVA_HOME/bin
export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_BIN

1.2 系统设置

修改主机名(主机名不能使用下划线):

CentOS 6

# hostname 主机名

# vi /etc/sysconfig/network

修改HOSTNAME的值

CentOS 7:

# hostname 机器名

# echo 机器名 > /etc/hostname

配置主机ip和主机名的映射关系:

# echo '服务器对应ip  机器名' >> /etc/hosts

1.3 spark安装

1)解压及修改配置

1. 拷贝spark-2.4.0-bin-hadoop2.7.tgz到spark的服务器的/usr/local目录下

2. 在/usr/local目录下执行

# tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz

2)启动spark

进入spark的master节点的/usr/local/spark-2.4.0-bin-hadoop2.7/sbin目录,执行:

$ sh start-master.sh -h 主机名

例如: 主机名为SmartbiSpark,则执行:sh start-master.sh -h SmartbiSpark

在spark安装目录的sbin目录下执行:

$ sh start-slave.sh spark://master节点的主机名:7077 -c 配置的cpu数 -m xg 配置得的内存数(g为单位)

例如:worker节点为64核,128g内存的配置,master的主机名为SmartbiSpark,则执行:

$ sh start-slave.sh spark:// SmartbiSpark:7077 -c 60 -m 120g ,4核8G留给操作系统。

3)检查spark

在浏览器中输入:http://master节点的ip:7070,查看集群状态,并在master节点提交任务测试进入/usr/local/spark-2.4.0-bin-hadoop2.7目录,执行(将命令红色部分替换为master节点的实际ip或主机名):

$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://节点的ip:7077 /usr/local/smartbi-spark/examples/jars/spark-examples_2.11-2.4.0.jar 100

运行得出Pi的近似值3.14159即部署成功。

2、smartbi-engine单节点安装

2.1 java安装

 参考spark的java安装章节。如果是同一台机器部署,可以忽略此步骤。

2.2 系统设置

参考spark的系统设置章节。如果是同一台机器部署,可以忽略此步骤。

2.3 安装引擎

解压安装包到/usr/local目录(或其它空间足够的目录),在smartbi-mining-engine-1.0-SNAPSHOT-bin.tar.gz所在目录下执行:

$ tar -zxvf smartbi-mining-engine-1.0-SNAPSHOT-bin.tar.gz -C /usr/local
$ ln -s /usr/local/smartbi-mining-engine-1.0-SNAPSHOT-bin /usr/local/engine

# 修改配置,打开/usr/local/engine/conf/experiment-application.properties,按下图修改配置:

打开/usr/local/engine/conf/service-application.properties,按下图修改配置:

2.4 启动引擎

执行(注意:需先启动spark和smartbi):

sh /usr/local/engine/sbin/experiment-daemon.sh start
sh /usr/local/engine/sbin/service-daemon.sh start

2.5 验证安装

sh  /usr/local/engine/sbin/experiment-daemon.sh status
sh  /usr/local/engine/sbin/service-daemon.sh status

3、smartbi-pynode部署

3.1 安装bzip2

CentOS 6

$ sudo rpm -ivh bzip2-1.0.5-7.el6_0.x86_64.rpm

CentOS 7

$ sudo rpm -ivh bzip2-1.0.6-13.el7.x86_64.rpm

3.2 安装

假设Anaconda安装包在/tmp目录,若不是/tmp目录,则将下面命令中的/tmp改为其它目录。

$ /bin/bash /tmp/Anaconda3-5.2.0-Linux-x86_64.sh -b -p /usr/local/anaconda3

3.3 配置环境变量

$ vi /etc/profile

在文件最后加入:

export PATH=/usr/local/anaconda3/bin:$PATH
$ source /etc/profile

4、在smartbi配置smartbi-engine

1)选择“系统运维”界面主菜单 系统选项 ,如图:

2)进入“系统选项”界面,选择“机器学习配置”分类页,如图进行设置:

3)执行完第二步后,点击右下方的保存按钮,然后重启smartbi。

5、验证部署

访问 smartbi。

使用浏览器打开 http://服务器 ip:端口/smartbi,按下图步骤验证安装:

1)选择“数据挖掘”主界面的 实验管理 分类页,选择 案例 页签,点击 波士顿房价预测 案例:

2)点击 运行 按钮,进行检验。

  • 无标签