Page tree
Skip to end of metadata
Go to start of metadata


系统环境准备

Smartbi_Base版本只包含了smartbi和数据挖掘引擎服务。如果需要部署其他服务,请联系销售人员。

1、系统环境要求

操作系统

Linux内核3.10以上

CPU

16核

内存

32G及以上

磁盘

1500G



建议磁盘分区

磁盘分区

磁盘空间

备注

/var/lib/docker

300G

Docker容器部署

/data

1000G

Smartbi部署


安装权限要求:

具有 sudo权限的用户或root用户,推荐使用root用户安装

安装时用root用户运行或使用具有 sudo权限的用户运行脚本。

安装包目录结构说明

目录文件名

说明

部署文档

Smartbi_Base.tar.gz

Smartbi高性能版本安装包

Smartbi安装

Smartbi-Infobright.tar.gz

Infobright docker版本安装包

Infobright安装

Smartbi-Pynode.tar.gz

Pynode  docker版本安装包

Pynode节点安装

Smartbi-MPP.tar.gz

SmartbiMPP  docker版本安装包

smartbiMPP安装

Smartbi-Unionserver.tar.gz

smartbiUnionserver  docker版本安装包

SmartbiUnionServer安装

Smartbi-Spark.tar.gz

Spark  docker版本安装包

Spark节点安装

Tools

附带的一些工具



2、防火墙配置

为了便于安装,建议在安装前关闭防火墙。使用过程中,为了系统安全可以选择启用防火墙,但必须启用Smartbi使用到的相关端口。

2.1 关闭防火墙

临时关闭防火墙
# systemctl stop firewalld
 
永久关闭防火墙
# systemctl disable firewalld
 
查看防火墙状态

systemctl status firewalld

2.2 开启防火墙

相关服务及端口对照表

服务名

对内端口

对外端口

smartbi-tomcat

18080

31080

smartbi-mysql

3306

30306

smartbi-engine

4040,8899,8900

31003


如果确实需要打开防火墙安装,需要给防火墙放开以下需要使用到的端口
开启rancher控制台端口:8088,8443

  1. firewall-cmd --permanent --add-port=8088/tcp
  2. firewall-cmd --permanent --add-port=8443/tcp
    开启smartbi-tomcat的访问端口:31080
  3. firewall-cmd --permanent --add-port=31080/tcp
    开启smartbi-mysql端口:30306
  4. firewall-cmd --permanent --add-port=30306/tcp
    开启的smartbi-engine-experiment端口
    #firewall-cmd-permanent-add-port=31003/tcp
    配置完以后重新加载firewalld,使配置生效
  5. firewall-cmd --reload
    查看防火墙的配置信息
  6. firewall-cmd --list-all


3、关闭selinux

临时关闭selinux,立即生效,不需要重启服务器。
# setenforce 0
永久关闭selinux,修改完配置后需要重启服务器才能生效
# vi /etc/selinux/config
 
修改enable 为disabled
 

4、ipv4转发配置

centos系统下使用root账号在命令行执行

echo 'net.ipv4.ip_forward=1' >> /etc/sysctl.conf && service network restart


Smartbi安装

1、登录Linux系统

我们使用putty工具来连接Linux系统。

如下图,依次填入主机名/ip,端口,选择SSH协议,然后点击 Open。



第一次登录会有安全警告,点击 是。



按要求输入账号密码。此处账号会显示,密码不会显示,输完密码直接回车就好。

此账号必须要root或具有root权限。

如下图所示,表示已经成功登录Linux系统。

2、上传安装包

使用WinSCP上传安装包到Linux系统。

如下图,在WinSCP目录下,双击WinSCP.exe启动WinSCP工具。

 

如下图,输入主机名,用户名,密码,然后点击 登录。

第一次连接,会有警告提示,点击 是 就可以登录了。

如下图所示,左边框是指本地目录,右边框是远程的Linux服务器目录。可以根据需要自己选择需要上传的目录,这里选择上传到/home目录下。

选中本地目录的Smartbi.tar.gz,右键上传,开始上传安装包。

点击 确定 开始上传。

下图是文件上传信息。



3、安装docker

3.1 CentOS 7系统

CentOS7的系统,可以参考以下说明安装docker 。

进入上传 Smartbi_Base.tar.gz的目录。

  1. cd < Smartbi_Base.tar.gz路径>
    解压缩。
    # tar -zxvf Smartbi_Base.tar.gz

    解压完成后,进入Smartbi_Base目录。
  2. cd Smartbi_Base 
    给install_docker.sh赋予可执行权限。
  3. chmod +x install_docker.sh
    开始安装docker。
  4. ./install_docker.sh
    安装完成。


    验证:
  5. docker ps

3.2 其他版本的Linux系统

其他版本Linux的操作系统,可以参考如下链接选择对应版本安装docker。 https://docs.docker.com

4、安装rancher

rancher是管理smartbi容器的一个图形化界面工具,可以通过浏览器来查看管理Smarbti的各个容器。 

进入Smartbi_Base目录。

  1. cd Smartbi_Base
    给install.sh赋予可执行权限。
  2. chmod +x install.sh
    开始安装。
    # ./install.sh 服务器ip

    服务器ip要写服务器的内网ip地址。


    等待安装完成,整个过程预计会超过10分钟。


    安装完成。

配置服务

1、访问管理控制台

1.1 首次访问管理控制台

使用谷歌浏览器打开http://服务器ip:8088

由于使用了https协议,所以会自动跳转到https://服务器ip:8443的地址,如下图所示,点击 高级。
 

 

如下图所示,第一次登陆时默认是英文页面,在这里输入管理员账号admin的密码,密码输入两次,并且要保持一致。

输完密码后点击 continue 按钮。

 

如下图所示,设置ServerURL,这里默认就可以了。

此URL是安装配置k8s集群时需要用到的默认参数,请根据实际情况修改。

Tips:如果有多个网卡,或者通过代理访问此服务器,则ip地址应修改为内网实际地址,端口保持默认的8443。 


点击 Save URL。

登陆进入rancher首页,可以在右下角选择语言为 简体中文

1.2 再次访问管理控制台

首次访问管理控制台时,做完相关设置后,以后访问控制台时,只需输入用户密码登录即可使用。

2、禁用商店

在离线环境下,不禁用商店,可能会导致线程数超标。

如下图所示,点击:全局 > 工具 > 商店设置 > 官方认证,点击 禁用。

3、添加集群

此处集群是指安装k8s服务,用来管理smartbi容器的。

 

选择 添加主机自建Kubernetes集群,给集群起个名字,这里选择填写smartbi。

集群名称可以自己填写,但是不能使用中文。

 
选择需要部署的k8s版本,这里选择v1.13.5-rancher1-3版本。
 
主机角色里,etcd,control,worker都勾选上,内网地址填上Linux服务器实际地址,这里是10.10.204.248 。公网IP地址不填。

然后点击复制到剪贴板,根据要求复制到刚才安装部署的Linux服务器上执行这个命令。
 
在linux服务器上执行刚刚复制到剪贴板的命令。

此命令行必须在Linux服务器上手工执行。
 
命令执行完以后,浏览器页面上会提示一台新主机注册成功,此时可以点击完成按钮,开始安装k8s集群。
 
在新的页面等待k8s部署,状态是红色的,说明部署还未成功,请耐心等待。此过程一般不会超过10分钟。 
 
如下图,状态是绿色的Active,说明集群部署成功。
 

4、配置部署服务

4.1 下载服务的配置文件

使用WinSCP工具下载<Smartbi>/deployment_yaml目录。

如下图,选择deployment_yaml,右键下载。

4.2 部署基础服务

4.2.1 部署Mysql数据库

点击左上角全局图标,选择 Default

 

点击 导入YAML。
 
选择 从文件读取。
 

选择刚刚下载的deployment_yaml文件夹里的Smartbi-Mysql.yaml,点击打开 。
 
点击 导入。
 

等待状态栏的图标变成绿色的Active,说明smartbi-mysql部署成功。
 

PS:由于smartbi-tomcat的服务都要用到smartbi-mysql,所以必须要先启动smartbi-mysql的容器服务。

4.2.2 部署Smartbi应用服务

使用同样的方法导入Smartbi-Tomcat.yaml,等待状态图标变成绿色的,说明smartbi-tomcat容器导入成功。

 

可以点击查看日志,查看smartbi-tomcat容器的运行状态。


如下图,说明smartbi已经成功部署。

测试应用服务器

可以通过http://服务器ip:31080/smartbi/vision/index.jsp 访问smartbi

第一次登录使用Smartbi:

默认管理员帐号:admin

默认密码:manager

4.2.3 部署smartbi-engine服务

Smartbi-Engine是数据挖掘引擎。包含了数据挖掘实验(smartbi-engine-experiment)和数据挖掘服务(smartbi-engine-service)两部分。
Base版本部署的engine服务,spark使用local模式。如果需要配置独立的spark连接,需要修改<Smartbi_Base路径> /smartbi_data/smartbi-engine/conf/experiment-application.properties的spark.master的值。
Base版本中,由于数据挖掘需要连接smartbi进行通讯,smartbi知识库默认带了mining帐号(默认密码:smartbimining),建议在部署后修改mining的默认密码(需要同步修改引擎连接smartbi的密码),确保系统安全。

部署Smartbi-Engine-Experiment服务

参考 部署知识库 章节说明的方法导入Smartbi-Engine-Experiment.yaml,等待状态图标变成绿色的,说明Smartbi-Engine-Experiment节点创建成功。 

部署smartbi-engine-service服务

参考 部署知识库 章节说明的方法导入Smartbi-Engine-Service.yaml,等待状态图标变成绿色的,说明Smartbi-Engine-Service节点创建成功 。

5、访问smartbi

使用浏览器打开http://服务器ip:31080/smartbi

Infobright安装 

1、登录Linux系统

我们使用putty工具来连接Linux系统。

如下图,依次填入主机名/ip,端口,选择SSH协议,然后点击 Open


第一次登录会有安全警告,点击 是。



按要求输入账号密码。此处账号会显示,密码不会显示,输完密码直接回车就好。

此账号必须要root或具有root权限。

如下图所示,表示已经成功登录Linux系统。



2、上传安装包

使用WinSCP上传安装包到Linux系统。

如下图,在WinSCP目录下,双击WinSCP.exe启动WinSCP工具。
 
如下图,输入主机名,用户名,密码,然后点击 登录

第一次连接,会有警告提示,点击 是 就可以登录了。



如下图所示,左边框是指本地目录,右边框是远程的Linux服务器目录。可以根据需要自己选择需要上传的目录,这里选择上传到/home目录下。

选中本地目录的Smartbi-Infobright.tar.gz,右键上传,开始上传安装包。


点击 确定 开始上传。



3、安装smartbi-infobright

3.1  解压缩

  1. tar -zxvf Smartbi-Infobright.tar.gz

3.2 导入smartbi-infobright镜像

  1. cd Smartbi-Infobright
  2. chmod +x *.sh
  3. . /load_Infobright.sh 服务器IP

3.3  部署smartbi-infobright服务

下载服务的配置文件

镜像导入完成后,使用WinSCP工具下载<Smartbi-Infobright>/Smartbi- Infobright.yaml。

如下图,选择Smartbi- Infobright.yaml,右键下载。


部署smartbi-infobright服务

点击左上角全局图标,选择 Default。


点击 导入YAML

选择 从文件读取。


选择刚刚下载的Smartbi-Infobright.yaml,点击打开。


点击 导入。


等待状态栏的图标变成绿色的Active,说明smartbi-infobright部署成功。

PS:smartbi-infobright的服务必须要和基础版本部署在同一台服务器上。


4、测试连接

登陆smartbi,选择高速缓存库,驱动程序类型选择infobright,点击 测试连接。如下图提示连接成功,说明smartbi-infobright服务部署成功。

Pynode节点安装

1、登录Linux系统

我们使用putty工具来连接Linux系统。

如下图,依次填入主机名/ip,端口,选择SSH协议,然后点击 Open。


第一次登录会有安全警告,点击 是。



按要求输入账号密码。此处账号会显示,密码不会显示,输完密码直接回车就好。

此账号必须要root或具有root权限。

如下图所示,表示已经成功登录Linux系统。

2、上传安装包

使用WinSCP上传安装包到Linux系统。

如下图,在WinSCP目录下,双击WinSCP.exe启动WinSCP工具。
 
如下图,输入主机名,用户名,密码,然后点击 登录。

第一次连接,会有警告提示,点击 是 就可以登录了。


如下图所示,左边框是指本地目录,右边框是远程的Linux服务器目录。可以根据需要自己选择需要上传的目录,这里选择上传到/home目录下。

选中本地目录的Smartbi-Pynode.tar.gz,右键上传,开始上传安装包。

点击 确定 开始上传。



3、安装smartbi-mining-pynode

3.1 解压缩

  1. tar -zxvf Smartbi-Pynode.tar.gz

3.2 导入smartbi-mining-pynode镜像

  1. cd Smartbi-Pynode
  2. chmod +x *.sh
  3. . /load_smartbi_pynode.sh 服务器IP

3.3 部署smartbi-mining-pynode服务

下载服务的配置文件

镜像导入完成后,使用WinSCP工具下载<Smartbi-Pynode>/Smartbi-Mining-Pynode.yaml。

如下图,选择Smartbi-Mining-Pynode.yaml,右键下载。
 

部署smartbi-mining-pynode服务

点击左上角全局图标,选择 Default。
 

点击 导入YAML。
 
选择 从文件读取。
 

选择刚刚下载的Smartbi-Mining-Pynode.yaml,点击打开。
 

点击 导入。
 

等待状态栏的图标变成绿色的Active,说明smartbi-mining-pynode部署成功。
  

PS:smartbi-mining-pynode的服务必须要和基础版本部署在同一台服务器上。


smartbiMPP安装

1、登录Linux系统

我们使用putty工具来连接Linux系统。 

如下图,依次填入主机名/ip,端口,选择SSH协议,然后点击 Open。


第一次登录会有安全警告,点击 是。



按要求输入账号密码。此处账号会显示,密码不会显示,输完密码直接回车就好。

此账号必须要root或具有root权限。

如下图所示,表示已经成功登录Linux系统。

2、上传安装包

使用WinSCP上传安装包到Linux系统。

如下图,在WinSCP目录下,双击WinSCP.exe启动WinSCP工具。
 
如下图,输入主机名,用户名,密码,然后点击 登录

第一次连接,会有警告提示,点击是就可以登录了。



如下图所示,左边框是指本地目录,右边框是远程的Linux服务器目录。可以根据需要自己选择需要上传的目录,这里选择上传到/home目录下。

选中本地目录的Smartbi-MPP.tar.gz,右键上传,开始上传安装包。


点击 确定 开始上传。



3、安装smartbi-mpp

3.1 解压缩

  1. tar -zxvf Smartbi-MPP.tar.gz

3.2 导入smartbi-mpp镜像

  1. cd Smartbi-MPP
  2. chmod +x *.sh
  3. . /load_smartbiMpp.sh 服务器IP

3.3 部署smartbi-mpp服务

下载服务的配置文件

镜像导入完成后,使用WinSCP工具下载<Smartbi-MPP>/Smartbi-MPP.yaml。

如下图,选择Smartbi-MPP.yaml,右键下载。


部署smartbi-mpp服务

点击左上角全局图标,选择 Default。


点击 导入YAML。

选择 从文件读取。


选择刚刚下载的Smartbi-MPP.yaml,点击打开 。


点击 导入。


等待状态栏的图标变成绿色的Active,说明smartbi-mpp部署成功。

PS:smartbi-mpp的服务必须要和基础版本部署在同一台服务器上。


4、测试连接

登陆smartbi,选择高速缓存库,点击 测试连接。如下图提示连接成功,说明smartbi-mpp服务部署成功。

SmartbiUnionServer安装

1、登录Linux系统

我们使用putty工具来连接Linux系统。

如下图,依次填入主机名/ip,端口,选择SSH协议,然后点击 Open


第一次登录会有安全警告,点击 是。


按要求输入账号密码。此处账号会显示,密码不会显示,输完密码直接回车就好。

此账号必须要root或具有root权限。

如下图所示,表示已经成功登录Linux系统。

2、上传安装包

使用WinSCP上传安装包到Linux系统。

如下图,在WinSCP目录下,双击WinSCP.exe启动WinSCP工具。
 
如下图,输入主机名,用户名,密码,然后点击 登录

第一次连接,会有警告提示,点击 就可以登录了。


如下图所示,左边框是指本地目录,右边框是远程的Linux服务器目录。可以根据需要自己选择需要上传的目录,这里选择上传到/home目录下。

选中本地目录的Smartbi-Unionserver.tar.gz,右键上传,开始上传安装包。


点击 确定 开始上传。


3、安装smartbi-unionserver

3.1 解压缩

  1. tar -zxvf Smartbi-Unionserver.tar.gz

3.2 导入smartbi-unionserver镜像

  1. cd Smartbi-Unionserver
  2. chmod +x *.sh
  3. . /load_smartbiUnionserver.sh 服务器IP

3.3 部署smartbi-unionserver服务


下载服务的配置文件

镜像导入完成后,使用WinSCP工具下载<Smartbi-Unionserver>/Smartbi- UnionServer.yaml。

如下图,选择Smartbi-UnionServer.yaml,右键下载。


部署smartbi-unionserver服务

点击左上角全局图标,选择 Default


点击 导入YAML。

选择 从文件读取。


选择刚刚下载的Smartbi-UnionServer.yaml,点击打开。


点击 导入。


等待状态栏的图标变成绿色的Active,说明smartbi-unionserver部署成功。

PS:smartbi-unionserver的服务必须要和基础版本部署在同一台服务器上。


4、测试连接

登陆smartbi,选择跨库联合数据源,点击 测试连接。如下图提示连接成功,说明smartbi-unionserver服务部署成功。

Spark节点安装

1、登录Linux系统

我们使用putty工具来连接Linux系统。

如下图,依次填入主机名/ip,端口,选择SSH协议,然后点击 Open。


第一次登录会有安全警告,点击



按要求输入账号密码。此处账号会显示,密码不会显示,输完密码直接回车就好。

此账号必须要root或具有root权限。

如下图所示,表示已经成功登录Linux系统。

2、上传安装包

使用WinSCP上传安装包到Linux系统。

如下图,在WinSCP目录下,双击WinSCP.exe启动WinSCP工具。

如下图,输入主机名,用户名,密码,然后点击 登录。

第一次连接,会有警告提示,点击 就可以登录了。


如下图所示,左边框是指本地目录,右边框是远程的Linux服务器目录。可以根据需要自己选择需要上传的目录,这里选择上传到/home目录下。

选中本地目录的Smartbi-Pynode.tar.gz,右键上传,开始上传安装包。


点击 确定 开始上传。



3、安装smartbi-spark节点

3.1 解压缩

  1. tar -zxvf Smartbi-Spark.tar.gz

3.2 导入smartbi-spark镜像

  1. cd Smartbi-Spark
  2. chmod +x *.sh
  3. . /load_smartbiSpark.sh 服务器IP

3.3 部署smartbi-spark服务

下载服务的配置文件

镜像导入完成后,使用WinSCP工具下载<Smartbi-Spark>/ Smartbi-Spark-Master.yaml和Smartbi-Spark-Worker1.yaml文件。

如下图,选择两个yaml文件,右键下载。



部署smartbi-spark-master服务

点击左上角全局图标,选择 Default


点击 导入YAML。

选择 从文件读取。


选择刚刚下载的Smartbi-Spark-Master.yaml,点击打开。


点击 导入。


等待状态栏的图标变成绿色的Active,说明smartbi-spark-master部署成功。

PS:smartbi-spark-master的服务必须要和基础版本部署在同一台服务器上。

部署smartbi-spark-worker1服务

点击左上角全局图标,选择 Default。


点击 导入YAML。

选择 从文件读取。


选择刚刚下载的Smartbi-Spark-Master.yaml,点击打开。


点击 导入。


等待状态栏的图标变成绿色的Active,说明smartbi-spark-master部署成功。

PS:smartbi-spark-worker1的服务必须要和基础版本部署在同一台服务器上。

4、配置engine

打开smartbi,选择 系统运维 > 系统选项 > 挖掘实验 > 计算节点配置,修改master的值为spark://smartbi-spark-master:7077 ,并点击保存。如下图所示


系统运维

1、更新license

更新license后,,参考 重启应用 章节,重启smartbi-tomcat容器。

2、更新产品包

2.1 更新smartbi

在使用过程中,可能会遇到需要更新smartbi的情况,以下是更新war包的方法。

1、联系support获取smartbi的更新war包。

2、使用winscp工具登录Linux系统,找到<Smartbi>/smartbi_data/smartbi-tomcat/webapps。

如下图所示,进入对应的目录,找到smartbi和smartbi.war。

3、删除smartbi目录和smartbi.war。

如下图,选择对应文件,右键选择 删除 > 删除选择的文件.

4、上传新版本的war包。

如下图,使用winscp上传文件到Linux的<Smartbi>/smartbi_data/smartbi-tomcat/webapps目录下。

如下图,点击确定开始上传。

如下图,等待上传完成。

5、删除容器。

在浏览器打开控制台页面 http://服务器ip:8088

如下图所示,点击smartbi-tomcat服务,进入容器编排页面。

左键点击容器名右边的图标,选择 删除,然后系统会删掉当前的容器,并且立即启动一个新的容器。

6、等待新容器启动成功,就可以正常访问smartbi。

访问smartbi地址:http://服务器ip:31080/smartbi/vision/index.jsp

2.2 更新数据挖掘引擎

如果使用了数据挖掘服务,在更新war包时要 同步更新数据挖掘引擎服务。

1、联系support获取更新版本的数据挖掘安装包

2、使用winscp工具登录Linux系统,找到<Smartbi_Base>/smartbi_data/smartbi-engine。

如下图所示,进入对应的目录,找到engine。

3、删除engine目录。

如下图,选择engine目录文件,右键选择 删除 > 删除选择的文件。

4、解压缩数据挖掘引擎安装包。

在windows电脑上,使用360压缩工具解压数据挖掘引擎安装包。

5、上传新版本的数据挖掘安装包。

如下图,使用winscp上传engine目录文件到Linux的<Smartbi>/smartbi_data/smartbi-engine目录下。

如下图,点击确定开始上传。

如下图,等待上传完成。

6、重启smartbi-engine-service服务。

在浏览器打开控制台页面 http://服务器ip:8088

如下图所示,点击smartbi-engine-service服务,进入容器编排页面。

左键点击容器名右边的图标,选择 删除,然后系统会删掉当前的容器,并且立即启动一个新的容器。

7、重启smartbi-engine-experiment服务。

在浏览器打开控制台页面 http://服务器ip:8088

如下图所示,点击smartbi-engine-service服务,进入容器编排页面。

左键点击容器名右边的图标,选择 删除,然后系统会删掉当前的容器,并且立即启动一个新的容器。

8、等待两个数据挖掘引擎的新容器启动成功,就可以正常使用数据挖掘功能了。

访问smartbi地址:http://服务器ip:31080/smartbi/vision/index.jsp,开始使用smartbi。

3、重启应用

某些情况下可能会需要手工重启应用服务器。比如更新license的时候。我们以应用服务器为例,说明操作步骤。 

1、在控制台页面,点击smartbi-tomcat进入容器编排页面。
 
2、删除容器。

如下图,点击删除按钮,删除容器,然后系统会自动获取当前最新配置,生成新的容器。
 

点击 删除,删除容器。
 
3、系统自动更新容器。

如下图,removing的是刚刚删除的,running的是正在运行的新的容器。
 
4、服务更新完成,开始使用smartbi。

使用浏览器打开:http://服务器ip:31080/smartbi/vision/index.jsp 

第一次登录smartbi:

默认管理员帐号是admin

默认管理员密码:manager

 

4、停止/启动服务

停止服务

  1. chmod +x stop.sh
  2. ./stop.sh

启动服务

  1. chmod +x startup.sh
  2. ./startup.sh

5、卸载rancher

当节点无法访问,可以通过以下命令卸载rancher和k8s集群。

  1. chmod +x uninstall.sh
  2. ./uninstall.sh
    脚本执行完毕,需要重启服务器清除网络接口信息。

附录

各个服务默认对外开放端口:

服务名

对内端口

对外端口

smartbi-tomcat

18080

31080

smartbi-mysql

3306

30306

smartbi-engine

4040,8899,8900

31003

smartbi-infobright

502930029
smartbi-mining-pynode

22,8898


smartbi-mpp

8123

31823

smartbi-unionserver

48080

30808

smartbi-spark-master

8080,7077

31002
smartbi-spark-worker18080,7077,8081,4040,8042


  • No labels