单节点部署smartbi各个组件,在使用过程中可能会出现zpu资源抢占的情况。比如MPP高并发,大数据量查询操作、多并发执行导出的场景,数据挖掘大数据量计算场景等,都可能导致服务器资源不足,从而出现访问smartbi慢,卡顿甚至报错等情况。单节点部署smartbi各个组件,在使用过程中可能会出现cpu资源抢占的情况。比如MPP高并发,大数据量查询操作、多并发执行导出的场景,数据挖掘大数据量计算场景等,都可能导致服务器资源不足,从而出现访问smartbi慢,卡顿甚至报错等情况。
当前针对各个组件占用服务器CPU资源,没有好的限制方法,因此,我们建议可以根据实际使用场景,将占用CPU资源比较大的组件部署在不同的服务器中,通过服务器的隔离,实现cpu资源的隔离,达到避免出现cpu资源抢占,导致smartbi服务访问受影响的情况。
服务器CPU资源消耗较大的组件有以下:
高速缓存库、跨库联合查询、导出引擎、Spark、Python计算节点
可以根据不同的场景使用,将资源消耗较大的服务单独部署在一个服务器中。
服务器最低配置注意 |
---|
|
|
文档后续是基于全组件部署方案推荐,服务器配置可以根据安装组件来申请对应的配置,并非一成不变的。 |
如果可以,尽可能提高服务器配置。 |
多台服务器部署方案参考:
32G两台服务器部署
部署目录200G场景1、普通使用场景
服务器 |
---|
部署组件 |
---|
最低配置 |
---|
推荐配置 | 备注 |
---|
服务器一 |
smartbi、知识库、导出引擎、跨库联合查询 |
注意 | ||
---|---|---|
| ||
以上组件的内存参数,并非服务启动时需要占用对应的内存参数。不同的使用场景,组件运行时可能会占用对应的内存。在极端情况下运行过程中会因为服务器资源不足导致访问、查询等操作卡、慢、甚至报错情况。 如果不是全组件部署,可根据需要部署的组件申请对应的内存,如果可能,尽量提升服务器配置。 |
服务器推荐推荐配置:
CPU内存硬盘网络备注16核+64G+500G+千兆网络+推荐单盘符部署smartbi组件具体说明:
组件名称内存备注Smartbi16GTomcat的JVM内存最大值,可根据并发量调整此参数知识库4GMysql可能会使用的内存MPP10GMPP的默认内存配置,可调整UnionServer8G跨库的默认内存配置,可调整导出引擎4G导出引擎可能会使用的内存数据挖掘-实验引擎5G默认的JVM内存最大值,可调整数据挖掘-服务引擎3G默认的JVM内存最大值,可调整Python执行节点2G默认的JVM内存最大值,可调整Spark8GSpark使用内存,可调整注意 | ||
---|---|---|
| ||
以上组件的内存参数,并非服务启动时需要占用对应的内存参数。不同的使用场景,组件运行时可能会占用对应的内存。在极端情况下运行过程中会因为服务器资源不足导致访问、查询等操作卡、慢、甚至报错情况。 如果不是全组件部署,可根据需要部署的组件申请对应的内存,如果可能,尽量提升服务器配置。 |
多台服务器部署方案参考:
两台服务器部署:
场景1、普通使用场景
服务器部署组件服务器一smartbi、知识库、导出引擎、跨库联合查询服务器二数据挖掘、高速缓存库、Spark、Python场景2、MPP数据抽取,高并发查询以及跨库查询场景多
服务器部署组件服务器一smartbi、知识库、数据挖掘引擎、导出引擎服务器二高速缓存库、跨库联合查询场景3、数据挖掘计算场景多
服务器部署组件服务器一smartbi、知识库、导出引擎、高速缓存库、跨库联合查询服务器二数据挖掘引擎、Spark、Python三台服务器部署:场景1、普通使用场景
服务器部署组件服务器一smartbi、知识库、导出引擎服务器二跨库联合查询、高速缓存库服务器三数据挖掘、spark、python场景2、MPP数据抽取,高并发查询以及跨库查询场景多
服务器部署组件服务器一smartbi、知识库、数据挖掘引擎服务器二高速缓存库服务器三跨库联合查询、导出引擎场景3、数据挖掘计算场景多
4核、8G | 8核+、32G+ | 可根据实际部署组件以及使用场景申请服务器资源 | ||
服务器二 | 数据挖掘、高速缓存库、Spark、Python | 4核、8G | 8核+、16G+ | 可根据实际部署组件以及使用场景申请服务器资源 |
场景2、MPP数据抽取,高并发查询以及跨库查询场景多
服务器 | 部署组件 | 最低配置 | 推荐配置 | 备注 |
---|---|---|---|---|
服务器一 | smartbi、知识库、数据挖掘引擎、导出引擎 | 4核、8G | 8核+、32G+ | 可根据实际部署组件以及使用场景申请服务器资源 |
服务器二 | 高速缓存库、跨库联合查询 | 4核、8G | 8核+、32G+ | 可根据实际部署组件以及使用场景申请服务器资源 |
场景3、数据挖掘计算场景多
服务器 | 部署组件 | 最低配置 | 推荐配置 | 备注 |
---|---|---|---|---|
服务器一 | smartbi、知识库、导出引擎、高速缓存库、跨库联合查询 | 4核、8G | 8核+、32G+ | 可根据实际部署组件以及使用场景申请服务器资源 |
服务器二 | 数据挖掘引擎、Spark、Python | 4核、8G | 8核+、32G+ | 可根据实际部署组件以及使用场景申请服务器资源 |
三台服务器部署
场景1、普通使用场景
服务器 | 部署组件 | 最低配置 | 推荐配置 | 备注 |
---|---|---|---|---|
服务器一 | smartbi、知识库、导出引擎 | 4核、8G | 8核+、32G+ | 可根据实际部署组件以及使用场景申请服务器资源 |
服务器二 | 跨库联合查询、高速缓存库 | 4核、8G | 8核+、16G+ | 可根据实际部署组件以及使用场景申请服务器资源 |
服务器三 | 数据挖掘、spark、python | 4核、8G | 8核+、16G+ | 可根据实际部署组件以及使用场景申请服务器资源 |
场景2、MPP数据抽取,高并发查询以及跨库查询场景多
服务器 | 部署组件 | 最低配置 | 推荐配置 | 备注 |
---|---|---|---|---|
服务器一 | smartbi、知识库、数据挖掘引擎 | 4核、8G | 8核+、32G+ | 可根据实际部署组件以及使用场景申请服务器资源 |
服务器二 | 高速缓存库 | 4核、8G | 8核+、32G+ | 可根据实际部署组件以及使用场景申请服务器资源 |
服务器三 | 跨库联合查询、导出引擎 | 4核、8G | 8核+、16G+ | 可根据实际部署组件以及使用场景申请服务器资源 |
场景3、部署smartbi集群
服务器 | 部署组件 | 最低配置 | 推荐配置 | 备注 |
---|---|---|---|---|
服务器一 | smartbi节点1、smartbi、知识库、导出引擎 | 4核、8G | 8核+、16G+ | 可根据实际部署组件以及使用场景申请服务器资源 |
服务器二 | smartbi节点2、跨库联合查询、高速缓存库 | 4核、8G | 8核+、16G+ | 可根据实际部署组件以及使用场景申请服务器资源 |
服务器三 | smartbi-proxy、数据挖掘、spark、python | 4核、8G | 8核+、32G+ | 可根据实际部署组件以及使用场景申请服务器资源 |
以上方案提供参考,可根据服务器数量以及注重某个组件功能,将消耗CPU服务器资源的组件,部署在非smartbi和知识库节点。
部署方案并非一成不变,可以根据服务器数量和产品功能使用的侧重点来灵活的分配服务器资源。