- 由 董绳德创建于十一月 17, 2020
系统环境准备
Smartbi_Base版本只包含了smartbi和数据挖掘引擎服务。如果需要部署其他服务,请联系销售人员。
1、系统环境要求
操作系统 | Linux内核3.10以上 |
---|---|
CPU | 16核 |
内存 | 32G及以上 |
磁盘 | 1500G |
建议磁盘分区
磁盘分区 | 磁盘空间 | 备注 |
/var/lib/docker | 300G | Docker容器部署 |
/data | 1000G | Smartbi部署 |
安装权限要求:
具有 sudo权限的用户或root用户,推荐使用root用户安装
安装时用root用户运行或使用具有 sudo权限的用户运行脚本。
安装包目录结构说明
目录文件名 | 说明 | 部署文档 |
---|---|---|
Smartbi_Base.tar.gz | Smartbi高性能版本安装包 | Smartbi安装 |
Smartbi-Infobright.tar.gz | Infobright docker版本安装包 | Infobright安装 |
Smartbi-Pynode.tar.gz | Pynode docker版本安装包 | Pynode节点安装 |
Smartbi-MPP.tar.gz | SmartbiMPP docker版本安装包 | smartbiMPP安装 |
Smartbi-Unionserver.tar.gz | smartbiUnionserver docker版本安装包 | SmartbiUnionServer安装 |
Smartbi-Spark.tar.gz | Spark docker版本安装包 | Spark节点安装 |
Tools | 附带的一些工具 |
2、防火墙配置
为了便于安装,建议在安装前关闭防火墙。使用过程中,为了系统安全可以选择启用防火墙,但必须启用Smartbi使用到的相关端口。
2.1 关闭防火墙
临时关闭防火墙
# systemctl stop firewalld
永久关闭防火墙
# systemctl disable firewalld
查看防火墙状态
systemctl status firewalld
2.2 开启防火墙
相关服务及端口对照表
服务名 | 对内端口 | 对外端口 |
smartbi-tomcat | 18080 | 31080 |
smartbi-mysql | 3306 | 30306 |
smartbi-engine | 4040,8899,8900 | 31003 |
如果确实需要打开防火墙安装,需要给防火墙放开以下需要使用到的端口
开启rancher控制台端口:8088,8443
- firewall-cmd --permanent --add-port=8088/tcp
- firewall-cmd --permanent --add-port=8443/tcp
开启smartbi-tomcat的访问端口:31080 - firewall-cmd --permanent --add-port=31080/tcp
开启smartbi-mysql端口:30306 - firewall-cmd --permanent --add-port=30306/tcp
开启的smartbi-engine-experiment端口
#firewall-cmd-permanent-add-port=31003/tcp
配置完以后重新加载firewalld,使配置生效 - firewall-cmd --reload
查看防火墙的配置信息 - firewall-cmd --list-all
3、关闭selinux
临时关闭selinux,立即生效,不需要重启服务器。
# setenforce 0
永久关闭selinux,修改完配置后需要重启服务器才能生效
# vi /etc/selinux/config
修改enable 为disabled
4、ipv4转发配置
centos系统下使用root账号在命令行执行
echo 'net.ipv4.ip_forward=1' >> /etc/sysctl.conf && service network restart
Smartbi安装
1、登录Linux系统
我们使用putty工具来连接Linux系统。
如下图,依次填入主机名/ip,端口,选择SSH协议,然后点击 Open。
第一次登录会有安全警告,点击 是。
按要求输入账号密码。此处账号会显示,密码不会显示,输完密码直接回车就好。
此账号必须要root或具有root权限。
如下图所示,表示已经成功登录Linux系统。
2、上传安装包
使用WinSCP上传安装包到Linux系统。
如下图,在WinSCP目录下,双击WinSCP.exe启动WinSCP工具。
如下图,输入主机名,用户名,密码,然后点击 登录。
第一次连接,会有警告提示,点击 是 就可以登录了。
如下图所示,左边框是指本地目录,右边框是远程的Linux服务器目录。可以根据需要自己选择需要上传的目录,这里选择上传到/home目录下。
选中本地目录的Smartbi.tar.gz,右键上传,开始上传安装包。
点击 确定 开始上传。
下图是文件上传信息。
3、安装docker
3.1 CentOS 7系统
CentOS7的系统,可以参考以下说明安装docker 。
进入上传 Smartbi_Base.tar.gz的目录。
- cd < Smartbi_Base.tar.gz路径>
解压缩。
# tar -zxvf Smartbi_Base.tar.gz
解压完成后,进入Smartbi_Base目录。 - cd Smartbi_Base
给install_docker.sh赋予可执行权限。 - chmod +x install_docker.sh
开始安装docker。 - ./install_docker.sh
安装完成。
验证: - docker ps
3.2 其他版本的Linux系统
其他版本Linux的操作系统,可以参考如下链接选择对应版本安装docker。 https://docs.docker.com
4、安装rancher
rancher是管理smartbi容器的一个图形化界面工具,可以通过浏览器来查看管理Smarbti的各个容器。
进入Smartbi_Base目录。
- cd Smartbi_Base
给install.sh赋予可执行权限。 chmod +x install.sh
开始安装。
# ./install.sh 服务器ip服务器ip要写服务器的内网ip地址。
等待安装完成,整个过程预计会超过10分钟。
安装完成。
配置服务
1、访问管理控制台
1.1 首次访问管理控制台
使用谷歌浏览器打开http://服务器ip:8088
由于使用了https协议,所以会自动跳转到https://服务器ip:8443的地址,如下图所示,点击 高级。
如下图所示,第一次登陆时默认是英文页面,在这里输入管理员账号admin的密码,密码输入两次,并且要保持一致。
输完密码后点击 continue 按钮。
如下图所示,设置ServerURL,这里默认就可以了。
此URL是安装配置k8s集群时需要用到的默认参数,请根据实际情况修改。
点击 Save URL。
登陆进入rancher首页,可以在右下角选择语言为 简体中文。
1.2 再次访问管理控制台
首次访问管理控制台时,做完相关设置后,以后访问控制台时,只需输入用户密码登录即可使用。
2、禁用商店
在离线环境下,不禁用商店,可能会导致线程数超标。
如下图所示,点击:全局 > 工具 > 商店设置 > 官方认证,点击 禁用。
3、添加集群
此处集群是指安装k8s服务,用来管理smartbi容器的。
选择 添加主机自建Kubernetes集群,给集群起个名字,这里选择填写smartbi。
集群名称可以自己填写,但是不能使用中文。
选择需要部署的k8s版本,这里选择v1.13.5-rancher1-3版本。
主机角色里,etcd,control,worker都勾选上,内网地址填上Linux服务器实际地址,这里是10.10.204.248 。公网IP地址不填。
然后点击复制到剪贴板,根据要求复制到刚才安装部署的Linux服务器上执行这个命令。
在linux服务器上执行刚刚复制到剪贴板的命令。
此命令行必须在Linux服务器上手工执行。
命令执行完以后,浏览器页面上会提示一台新主机注册成功,此时可以点击完成按钮,开始安装k8s集群。
在新的页面等待k8s部署,状态是红色的,说明部署还未成功,请耐心等待。此过程一般不会超过10分钟。
如下图,状态是绿色的Active,说明集群部署成功。
4、配置部署服务
4.1 下载服务的配置文件
使用WinSCP工具下载<Smartbi>/deployment_yaml目录。
如下图,选择deployment_yaml,右键下载。
4.2 部署基础服务
4.2.1 部署Mysql数据库
点击左上角全局图标,选择 Default。
点击 导入YAML。
选择 从文件读取。
选择刚刚下载的deployment_yaml文件夹里的Smartbi-Mysql.yaml,点击打开 。
点击 导入。
等待状态栏的图标变成绿色的Active,说明smartbi-mysql部署成功。
PS:由于smartbi-tomcat的服务都要用到smartbi-mysql,所以必须要先启动smartbi-mysql的容器服务。
4.2.2 部署Smartbi应用服务
使用同样的方法导入Smartbi-Tomcat.yaml,等待状态图标变成绿色的,说明smartbi-tomcat容器导入成功。
可以点击查看日志,查看smartbi-tomcat容器的运行状态。
如下图,说明smartbi已经成功部署。
测试应用服务器
可以通过http://服务器ip:31080/smartbi/vision/index.jsp 访问smartbi
第一次登录使用Smartbi:
默认管理员帐号:admin
默认密码:manager
4.2.3 部署smartbi-engine服务
Smartbi-Engine是数据挖掘引擎。包含了数据挖掘实验(smartbi-engine-experiment)和数据挖掘服务(smartbi-engine-service)两部分。
Base版本部署的engine服务,spark使用local模式。如果需要配置独立的spark连接,需要修改<Smartbi_Base路径> /smartbi_data/smartbi-engine/conf/experiment-application.properties的spark.master的值。
Base版本中,由于数据挖掘需要连接smartbi进行通讯,smartbi知识库默认带了mining帐号(默认密码:smartbimining),建议在部署后修改mining的默认密码(需要同步修改引擎连接smartbi的密码),确保系统安全。
部署Smartbi-Engine-Experiment服务
参考 部署知识库 章节说明的方法导入Smartbi-Engine-Experiment.yaml,等待状态图标变成绿色的,说明Smartbi-Engine-Experiment节点创建成功。
部署smartbi-engine-service服务
参考 部署知识库 章节说明的方法导入Smartbi-Engine-Service.yaml,等待状态图标变成绿色的,说明Smartbi-Engine-Service节点创建成功 。
5、访问smartbi
使用浏览器打开http://服务器ip:31080/smartbi
Infobright安装
1、登录Linux系统
我们使用putty工具来连接Linux系统。
如下图,依次填入主机名/ip,端口,选择SSH协议,然后点击 Open。
第一次登录会有安全警告,点击 是。
按要求输入账号密码。此处账号会显示,密码不会显示,输完密码直接回车就好。
此账号必须要root或具有root权限。
如下图所示,表示已经成功登录Linux系统。
2、上传安装包
使用WinSCP上传安装包到Linux系统。
如下图,在WinSCP目录下,双击WinSCP.exe启动WinSCP工具。
如下图,输入主机名,用户名,密码,然后点击 登录。
第一次连接,会有警告提示,点击 是 就可以登录了。
如下图所示,左边框是指本地目录,右边框是远程的Linux服务器目录。可以根据需要自己选择需要上传的目录,这里选择上传到/home目录下。
选中本地目录的Smartbi-Infobright.tar.gz,右键上传,开始上传安装包。
点击 确定 开始上传。
3、安装smartbi-infobright
3.1 解压缩
- tar -zxvf Smartbi-Infobright.tar.gz
3.2 导入smartbi-infobright镜像
- cd Smartbi-Infobright
- chmod +x *.sh
- . /load_Infobright.sh 服务器IP
3.3 部署smartbi-infobright服务
下载服务的配置文件
镜像导入完成后,使用WinSCP工具下载<Smartbi-Infobright>/Smartbi- Infobright.yaml。
如下图,选择Smartbi- Infobright.yaml,右键下载。
部署smartbi-infobright服务
点击左上角全局图标,选择 Default。
点击 导入YAML。
选择 从文件读取。
选择刚刚下载的Smartbi-Infobright.yaml,点击打开。
点击 导入。
等待状态栏的图标变成绿色的Active,说明smartbi-infobright部署成功。
4、测试连接
登陆smartbi,选择高速缓存库,驱动程序类型选择infobright,点击 测试连接。如下图提示连接成功,说明smartbi-infobright服务部署成功。
Pynode节点安装
1、登录Linux系统
我们使用putty工具来连接Linux系统。
如下图,依次填入主机名/ip,端口,选择SSH协议,然后点击 Open。
第一次登录会有安全警告,点击 是。
按要求输入账号密码。此处账号会显示,密码不会显示,输完密码直接回车就好。
此账号必须要root或具有root权限。
如下图所示,表示已经成功登录Linux系统。
2、上传安装包
使用WinSCP上传安装包到Linux系统。
如下图,在WinSCP目录下,双击WinSCP.exe启动WinSCP工具。
如下图,输入主机名,用户名,密码,然后点击 登录。
第一次连接,会有警告提示,点击 是 就可以登录了。
如下图所示,左边框是指本地目录,右边框是远程的Linux服务器目录。可以根据需要自己选择需要上传的目录,这里选择上传到/home目录下。
选中本地目录的Smartbi-Pynode.tar.gz,右键上传,开始上传安装包。
点击 确定 开始上传。
3、安装smartbi-mining-pynode
3.1 解压缩
- tar -zxvf Smartbi-Pynode.tar.gz
3.2 导入smartbi-mining-pynode镜像
- cd Smartbi-Pynode
- chmod +x *.sh
- . /load_smartbi_pynode.sh 服务器IP
3.3 部署smartbi-mining-pynode服务
下载服务的配置文件
镜像导入完成后,使用WinSCP工具下载<Smartbi-Pynode>/Smartbi-Mining-Pynode.yaml。
如下图,选择Smartbi-Mining-Pynode.yaml,右键下载。
部署smartbi-mining-pynode服务
点击左上角全局图标,选择 Default。
点击 导入YAML。
选择 从文件读取。
选择刚刚下载的Smartbi-Mining-Pynode.yaml,点击打开。
点击 导入。
等待状态栏的图标变成绿色的Active,说明smartbi-mining-pynode部署成功。
PS:smartbi-mining-pynode的服务必须要和基础版本部署在同一台服务器上。
smartbiMPP安装
1、登录Linux系统
我们使用putty工具来连接Linux系统。
如下图,依次填入主机名/ip,端口,选择SSH协议,然后点击 Open。
第一次登录会有安全警告,点击 是。
按要求输入账号密码。此处账号会显示,密码不会显示,输完密码直接回车就好。
此账号必须要root或具有root权限。
如下图所示,表示已经成功登录Linux系统。
2、上传安装包
使用WinSCP上传安装包到Linux系统。
如下图,在WinSCP目录下,双击WinSCP.exe启动WinSCP工具。
如下图,输入主机名,用户名,密码,然后点击 登录 。
第一次连接,会有警告提示,点击是就可以登录了。
如下图所示,左边框是指本地目录,右边框是远程的Linux服务器目录。可以根据需要自己选择需要上传的目录,这里选择上传到/home目录下。
选中本地目录的Smartbi-MPP.tar.gz,右键上传,开始上传安装包。
点击 确定 开始上传。
3、安装smartbi-mpp
3.1 解压缩
- tar -zxvf Smartbi-MPP.tar.gz
3.2 导入smartbi-mpp镜像
- cd Smartbi-MPP
- chmod +x *.sh
- . /load_smartbiMpp.sh 服务器IP
3.3 部署smartbi-mpp服务
下载服务的配置文件
镜像导入完成后,使用WinSCP工具下载<Smartbi-MPP>/Smartbi-MPP.yaml。
如下图,选择Smartbi-MPP.yaml,右键下载。
部署smartbi-mpp服务
点击左上角全局图标,选择 Default。
点击 导入YAML。
选择 从文件读取。
选择刚刚下载的Smartbi-MPP.yaml,点击打开 。
点击 导入。
等待状态栏的图标变成绿色的Active,说明smartbi-mpp部署成功。
4、测试连接
登陆smartbi,选择高速缓存库,点击 测试连接。如下图提示连接成功,说明smartbi-mpp服务部署成功。
SmartbiUnionServer安装
1、登录Linux系统
我们使用putty工具来连接Linux系统。
如下图,依次填入主机名/ip,端口,选择SSH协议,然后点击 Open。
第一次登录会有安全警告,点击 是。
按要求输入账号密码。此处账号会显示,密码不会显示,输完密码直接回车就好。
此账号必须要root或具有root权限。
如下图所示,表示已经成功登录Linux系统。
2、上传安装包
使用WinSCP上传安装包到Linux系统。
如下图,在WinSCP目录下,双击WinSCP.exe启动WinSCP工具。
如下图,输入主机名,用户名,密码,然后点击 登录。
第一次连接,会有警告提示,点击 是 就可以登录了。
如下图所示,左边框是指本地目录,右边框是远程的Linux服务器目录。可以根据需要自己选择需要上传的目录,这里选择上传到/home目录下。
选中本地目录的Smartbi-Unionserver.tar.gz,右键上传,开始上传安装包。
点击 确定 开始上传。
3、安装smartbi-unionserver
3.1 解压缩
- tar -zxvf Smartbi-Unionserver.tar.gz
3.2 导入smartbi-unionserver镜像
- cd Smartbi-Unionserver
- chmod +x *.sh
- . /load_smartbiUnionserver.sh 服务器IP
3.3 部署smartbi-unionserver服务
下载服务的配置文件
镜像导入完成后,使用WinSCP工具下载<Smartbi-Unionserver>/Smartbi- UnionServer.yaml。
如下图,选择Smartbi-UnionServer.yaml,右键下载。
部署smartbi-unionserver服务
点击左上角全局图标,选择 Default。
点击 导入YAML。
选择 从文件读取。
选择刚刚下载的Smartbi-UnionServer.yaml,点击打开。
点击 导入。
等待状态栏的图标变成绿色的Active,说明smartbi-unionserver部署成功。
4、测试连接
登陆smartbi,选择跨库联合数据源,点击 测试连接。如下图提示连接成功,说明smartbi-unionserver服务部署成功。
Spark节点安装
1、登录Linux系统
我们使用putty工具来连接Linux系统。
如下图,依次填入主机名/ip,端口,选择SSH协议,然后点击 Open。
第一次登录会有安全警告,点击 是 。
按要求输入账号密码。此处账号会显示,密码不会显示,输完密码直接回车就好。
此账号必须要root或具有root权限。
如下图所示,表示已经成功登录Linux系统。
2、上传安装包
使用WinSCP上传安装包到Linux系统。
如下图,在WinSCP目录下,双击WinSCP.exe启动WinSCP工具。
如下图,输入主机名,用户名,密码,然后点击 登录。
第一次连接,会有警告提示,点击 是 就可以登录了。
如下图所示,左边框是指本地目录,右边框是远程的Linux服务器目录。可以根据需要自己选择需要上传的目录,这里选择上传到/home目录下。
选中本地目录的Smartbi-Pynode.tar.gz,右键上传,开始上传安装包。
点击 确定 开始上传。
3、安装smartbi-spark节点
3.1 解压缩
- tar -zxvf Smartbi-Spark.tar.gz
3.2 导入smartbi-spark镜像
- cd Smartbi-Spark
- chmod +x *.sh
- . /load_smartbiSpark.sh 服务器IP
3.3 部署smartbi-spark服务
下载服务的配置文件
镜像导入完成后,使用WinSCP工具下载<Smartbi-Spark>/ Smartbi-Spark-Master.yaml和Smartbi-Spark-Worker1.yaml文件。
如下图,选择两个yaml文件,右键下载。
部署smartbi-spark-master服务
点击左上角全局图标,选择 Default。
点击 导入YAML。
选择 从文件读取。
选择刚刚下载的Smartbi-Spark-Master.yaml,点击打开。
点击 导入。
等待状态栏的图标变成绿色的Active,说明smartbi-spark-master部署成功。
PS:smartbi-spark-master的服务必须要和基础版本部署在同一台服务器上。
部署smartbi-spark-worker1服务
点击左上角全局图标,选择 Default。
点击 导入YAML。
选择 从文件读取。
选择刚刚下载的Smartbi-Spark-Master.yaml,点击打开。
点击 导入。
等待状态栏的图标变成绿色的Active,说明smartbi-spark-master部署成功。
PS:smartbi-spark-worker1的服务必须要和基础版本部署在同一台服务器上。
4、配置engine
打开smartbi,选择 系统运维 > 系统选项 > 挖掘实验 > 计算节点配置,修改master的值为spark://smartbi-spark-master:7077 ,并点击保存。如下图所示
系统运维
1、更新license
更新license后,,参考 重启应用 章节,重启smartbi-tomcat容器。
2、更新产品包
2.1 更新smartbi
在使用过程中,可能会遇到需要更新smartbi的情况,以下是更新war包的方法。
1、联系support获取smartbi的更新war包。
2、使用winscp工具登录Linux系统,找到<Smartbi>/smartbi_data/smartbi-tomcat/webapps。
如下图所示,进入对应的目录,找到smartbi和smartbi.war。
3、删除smartbi目录和smartbi.war。
如下图,选择对应文件,右键选择 删除 > 删除选择的文件.
4、上传新版本的war包。
如下图,使用winscp上传文件到Linux的<Smartbi>/smartbi_data/smartbi-tomcat/webapps目录下。
如下图,点击确定开始上传。
如下图,等待上传完成。
5、删除容器。
在浏览器打开控制台页面 http://服务器ip:8088
如下图所示,点击smartbi-tomcat服务,进入容器编排页面。
左键点击容器名右边的图标,选择 删除,然后系统会删掉当前的容器,并且立即启动一个新的容器。
6、等待新容器启动成功,就可以正常访问smartbi。
访问smartbi地址:http://服务器ip:31080/smartbi/vision/index.jsp
2.2 更新数据挖掘引擎
如果使用了数据挖掘服务,在更新war包时要 同步更新数据挖掘引擎服务。
1、联系support获取更新版本的数据挖掘安装包
2、使用winscp工具登录Linux系统,找到<Smartbi_Base>/smartbi_data/smartbi-engine。
如下图所示,进入对应的目录,找到engine。
3、删除engine目录。
如下图,选择engine目录文件,右键选择 删除 > 删除选择的文件。
4、解压缩数据挖掘引擎安装包。
在windows电脑上,使用360压缩工具解压数据挖掘引擎安装包。
5、上传新版本的数据挖掘安装包。
如下图,使用winscp上传engine目录文件到Linux的<Smartbi>/smartbi_data/smartbi-engine目录下。
如下图,点击确定开始上传。
如下图,等待上传完成。
6、重启smartbi-engine-service服务。
在浏览器打开控制台页面 http://服务器ip:8088
如下图所示,点击smartbi-engine-service服务,进入容器编排页面。
左键点击容器名右边的图标,选择 删除,然后系统会删掉当前的容器,并且立即启动一个新的容器。
7、重启smartbi-engine-experiment服务。
在浏览器打开控制台页面 http://服务器ip:8088
如下图所示,点击smartbi-engine-service服务,进入容器编排页面。
左键点击容器名右边的图标,选择 删除,然后系统会删掉当前的容器,并且立即启动一个新的容器。
8、等待两个数据挖掘引擎的新容器启动成功,就可以正常使用数据挖掘功能了。
访问smartbi地址:http://服务器ip:31080/smartbi/vision/index.jsp,开始使用smartbi。
3、重启应用
某些情况下可能会需要手工重启应用服务器。比如更新license的时候。我们以应用服务器为例,说明操作步骤。
1、在控制台页面,点击smartbi-tomcat进入容器编排页面。
2、删除容器。
如下图,点击删除按钮,删除容器,然后系统会自动获取当前最新配置,生成新的容器。
点击 删除,删除容器。
3、系统自动更新容器。
如下图,removing的是刚刚删除的,running的是正在运行的新的容器。
4、服务更新完成,开始使用smartbi。
使用浏览器打开:http://服务器ip:31080/smartbi/vision/index.jsp
第一次登录smartbi:
默认管理员帐号是admin
默认管理员密码:manager
4、停止/启动服务
停止服务
- chmod +x stop.sh
- ./stop.sh
启动服务
- chmod +x startup.sh
- ./startup.sh
5、卸载rancher
当节点无法访问,可以通过以下命令卸载rancher和k8s集群。
- chmod +x uninstall.sh
- ./uninstall.sh
脚本执行完毕,需要重启服务器清除网络接口信息。
附录
各个服务默认对外开放端口:
服务名 | 对内端口 | 对外端口 |
---|---|---|
smartbi-tomcat | 18080 | 31080 |
smartbi-mysql | 3306 | 30306 |
smartbi-engine | 4040,8899,8900 | 31003 |
smartbi-infobright | 5029 | 30029 |
smartbi-mining-pynode | 22,8898 | |
smartbi-mpp | 8123 | 31823 |
smartbi-unionserver | 48080 | 30808 |
smartbi-spark-master | 8080,7077 | 31002 |
smartbi-spark-worker1 | 8080,7077,8081,4040,8042 |
- 无标签