部署ETL

1、系统环境准备

注意事项

自助ETL功能，是数据挖掘执行引擎功能的一部分，如果已经部署了数据挖掘执行引擎，则不用再单独部署自助ETL。

1.1防火墙配置

为了便于安装，建议在安装前关闭防火墙。使用过程中，为了系统安全可以选择启用防火墙，但必须启用服务相关端口。

1.关闭防火墙

临时关闭防火墙

systemctl stop firewalld

永久关闭防火墙

systemctl disable firewalld

查看防火墙状态

systemctl status firewalld

2.开启防火墙

相关服务及端口对照表：

服务名	需要开放端口
ETL	8899

如果确实需要打开防火墙安装，需要给防火墙放开以下需要使用到的端口
开启端口：8899

firewall-cmd --zone=public --add-port=8899/tcp --permanent

配置完以后重新加载firewalld，使配置生效

firewall-cmd --reload

查看防火墙的配置信息

firewall-cmd --list-all

3.关闭selinux

临时关闭selinux，立即生效，不需要重启服务器。

setenforce 0

永久关闭selinux，修改完配置后需要重启服务器才能生效

sed -i 's/=enforcing/=disabled/g'  /etc/selinux/config

1.2 安装Java环境

 安装包解压到/opt目录

tar -zxvf jdk8.0.202-linux_x64.tar.gz -C /opt

配置java环境变量
①执行 vi ~/.bash_profile 在文件末尾添加java环境变量参数，并保存

export  JAVA_HOME=/opt/jdk8.0.202-linux_x64
export  JRE_HOME=$JAVA_HOME/jre
export  CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/jre/lib:$CLASSPATH
export  PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

②使配置生效

source ~/.bash_profile

③查看java版本信息

java -version

2、部署ETL

部署ETL

1、解压ETL安装包到指定的安装目录

tar -zxvf SmartbiMiningEngine-V9.7.57367.20296.tar.gz -C /opt

2、启动数据ETL

cd /opt/smartbi-mining-engine-bin/engine/sbin/
./experiment-daemon.sh start

注意事项

首次启动ETL只是为了生成相关配置文件

3、修改配置文件

进入配置文件目录，注意：下面的配置文件是实验引擎首次启动时生成的。

cd /opt/smartbi-mining-engine-bin/conf/
vi experiment-application.properties

experiment-application.properties配置文件具体修改参考下图：

4、重启ETL

cd /opt/smartbi-mining-engine-bin/engine/sbin/
./experiment-daemon.sh restart

5.运维操作

启动/重启/查看ETL

cd /opt/smartbi-mining-engine-bin/engine/sbin
./experiment-daemon.sh restart   #重启ETL
./experiment-daemon.sh stop      #停止ETL
./experiment-daemon.sh status    #查看ETL运行状态

4、设置数据挖掘开机启动

进入/etc/init.d目录，创建数据挖掘-实验引擎启动配置文件

vi /etc/init.d/mining-engine

配置参考如下：

#!/bin/bash
#
# tomcat startup script for the mining-engine server
# chkconfig: 2345 80 20
# description: start the mining-engine deamon
#
# Source function library
. /etc/rc.d/init.d/functions

prog=mining-engine
JAVA_HOME=/home/smartbi/jdk1.8.0_181/       #注意替换成实际的JAVA部署路径
export JAVA_HOME
CATALANA_HOME=/data/smartbi-mining-engine-bin/engine/      #注意替换成实际的数据挖掘部署路径
export CATALINA_HOME 

case "$1" in
start)
    echo "Starting mining-service..."
    $CATALANA_HOME/sbin/experiment-daemon.sh start
    ;;

stop)
    echo "Stopping mining-service..."
    $CATALANA_HOME/sbin/experiment-daemon.sh stop
    ;;

restart)
    echo "Stopping mining-service..."
    $CATALANA_HOME/sbin/experiment-daemon.sh stop
    sleep 2
    echo
    echo "Starting mining-service..."
    $CATALANA_HOME/sbin/experiment-daemon.sh start
    ;;

*)
    echo "Usage: $prog {start|stop|restart}"
    ;;
esac
exit 0

设置开机启动

chmod +x /etc/init.d/mining-engine    #添加执行权限
chkconfig mining-engine on            #添加到开机启动
chkconfig --list                    #查看开机启动服务列表

测试ETL

①登录smartbi，检查配置

系统运维--系统选项—引擎设置，如图所示，检查ETL连接地址

系统运维--系统选项--执行引擎–引擎配置，确认连接信息

②打开数据挖掘-案例-选择一个案例，打开。

②保存实验，运行，运行成功即ETL部署成功。

关注我们

服务支持

页面树结构

部署ETL