一.Beta版重要的改进点:
+【自助仪表盘】自助仪表盘支持设置不同数据来源字段之间的联动
二.Beta版升级注意事项:
Beta版不仅在部分功能上有所变化,如果需要进行升级,我们建议您先阅读 V9.5升级到Beta版注意事项 。三.Beta版所有的改进点:
数据连接
+【加载文件数据】支持导入文件到Sybase IQ数据库
背景介绍
众所周知,Sybase IQ 数据库在大数据量的管理上有较大的性能优势,在新版本的加载文件数据功能中,我们支持导入到Sybase IQ数据库,不仅给用户带来的更大的灵活性,也能帮助用户在分析本地大数据量文件的场景中提高分析效率。
功能简介
在【加载文件数据】中支持文件导入Sybase IQ数据库。
详情参考
详情参考:加载文件数据
^【加载文件数据】优化加载文件数据导入设置表头功能
背景介绍
在使用【加载文件数据】的设置表头功能时,产品默认以首行作为表头,在以前版本中鼠标移动到其他行便容易将其作为表头;但通常情况下表头是无需频繁修改,为了避免上述的误操作,新版本我们是通过点击表头图标方式来设置表头,以此提升用户体验。
功能简介
在加载文件数据中,取消单击选中行作为表头的功能,改为点击 设为表头
按钮,设置任意行为表头。<【数据源】对数据源摆放顺序优化
背景介绍
为了方便用户迅速搜索、创建到相应的数据库连接,新版本中我们对各类数据库的显示顺序进行优化。
功能简介
1、【常用数据库】依据整个系统中创建数据库次数,给用户提供的热门数据库信息。
2、其他分组标签页的数据库(所有数据库、本地数据库、关系数据库、多维数据库、NoSQL数据库)则按字母顺序排序。
注意事项
Other数据源不按字母排序,位置在所有数据库或关系数据库最后。
数据准备
^【数据集】优化SQL语句编辑器
背景介绍
为了提高用户开发效率,增强内容的可阅读性,新版本对SQL编辑器增加了高亮显示关键字、折叠代码、输入自动提示等功能。
功能简介
(1)高亮显示关键字,可折叠括号内的代码,方便用户能一目了然重要内容。
(2)自动提示相关关键字、表、函数等,并支持一键补全,提升用户开发效率。
(3)新增IF函数,满足根据不同的条件输出不同的sql语句的场景;同时支持丰富的快捷键(Ctrl+F等),提高功能的易用性。
详情参考
关于SQL语句编辑器的功能,详情请参考SQL语句编辑器 。
+【数据抽取】数据抽取支持备份表数据
背景介绍
在数据抽取功能的实际工作场景中,有些用户每日会增量抽取业务数据到高速缓存库中;如果发生源数据集表结构变更、增量信息不全或有误等等情况,产品则会清除高速缓存库中抽取目标表的数据;为了避免丢失高速缓存库中历史数据,在新版本中,产品支持备份抽取目标表和数据,方便后续恢复数据,有效提高数据安全。
功能简介
在系统运维的 系统选项>高级设置 中, 新增“BACKUP_TAB_RETAIN_NUM”设置项,可设置在数据库中保留的备份表的个数,默认为5个。
备份规则:在抽取数据之前,默认备份抽取表(第一次不备份)到数据库中,每抽取一次进行滚动备份,备份到设置的上限后,下次备份则移除最旧的备份表。
注意事项
1、暂不支持抽取目标表数据自动恢复,需要手工恢复。
2、高速缓存库为infobright不支持抽取表备份。
^【数据抽取】完善数据抽取日志
背景介绍
随着数据的爆炸性增长,用户需要抽取的数据量越来越大,所消耗的时间也越多。为了能在数据抽取的过程中了解抽取的状态、获得更多的信息,便于系统运维,新版本对数据抽取的日志进行完善。
功能简介
1、打开 系统监控>日志 界面,增加了一些抽取过程中的日志信息,如获取总行数、总耗时、入库百分比等等。
2、在抽取监控>抽取日志 的日志列表中不再仅限显示'抽取成功’、'抽取失败',新版本可展示更多的抽取进展、错误信息。
详情参考
关于数据抽取日志,详情请参考 抽取日志 。
+【自助数据集】新增新建自助ELT和数据挖掘实验入口
背景介绍
以前的版本,在自助数据集中用户只能查看自助ELT和数据挖掘实验列表,不能进行创建、删除等操作,功能之间的结合不够完善。因此新版本在自助数据集中,新增新建自助ELT和数据挖掘实验的入口,可满足用户的进一步处理数据和挖掘分析的需求,增强了产品的可扩展性。
功能简介
自助数据集新增新建数据挖掘实验、自助ETL入口。
新建实验入口:
新建自助ETL入口:
数据挖掘
+【数据挖掘】引擎调度机制执行粒度细化至单个节点
背景介绍
目前引擎调度策略是把实验作为整体进行调度,实验中的节点无法脱离出来独立执行。若引擎能够按照节点粒度进行调度,这样会给引擎在功能和扩展性方面带来好处。
功能简介
新版本,引擎按照节点粒度进行调度,可以带来以下几点优势:
- 可以做到断点续跑,如果在数据量大的情况下,会节省很大时间,提高实验的效率;
- 能单独执行一个节点,在实验的设计跟调式阶段带来很大便利;
- 可以对单节点进行资源控制,防止某个节点占用资源太大,对其它节点造成影响;
- 调度更加灵活,同个实验中的不同节点,可以在不同机器中执行;
- 部署架构扩张性更好,可以横向扩张节点的执行机器。
具体在 Smartbi上体现为节点的右键菜单增加“执行该节点”和“从当前节点开始执行”功能项。
+【数据挖掘】增加节点复制和备注功能
背景介绍
机器学习实验往往牵涉多个节点,各节点之间关系也较为复杂,更或者自定义的算法节点只有实验构建者才明白其中的含义;同时在实验构建过程中,可能出现节点复用的情况。因此新版本更新后,在实验和节点增加备注功能、节点增加复制功能,便于实验的交流和提高实验的构建速度。
功能简介
在画布空白处单击右键,选择“添加备注”,会弹出富文本编辑框,可以添加对实验背景的介绍等内容。
选中需要复制的节点,单击右键,出现‘复制’,也可以同时选中多个节点:
- 拖动鼠标覆盖需要选择的节点,箭头滑过的矩形区域的节点都被选中;
- 按住Crtrl键,鼠标逐个单击需要复制的节点。
详情参考
关于节点的备注和复制功能,详情请参考 实验界面介绍 。
+【数据挖掘】新增kafka数据源节点
背景介绍
kafka是一种高吞吐量的分布式发布订阅消息系统,经常用于实时流数据架构,提供实时分析。它具有高吞吐量、低延迟,每秒可以处理几万条消息,延迟最低只有几毫秒,以及可扩展性、持久性、可靠性、容错性、高并发等优点。因此,Smartbi在新版本新增了Kafka数据源。功能简介
Kafka作为数据源,有以上三种使用场景:
- 准实时的数据处理:通过任务调度,持续消费kafka数据,提供给一系列数据处理节点进行处理,处理后的结果可以输出到目标数据库
- 模型自学习:通过任务调度,持续消费kafka数据进行模型自学习
- 模型批量预测:通过任务调度,定时消费kafka数据进行批量预测
这里展示当Kafka作为数据源时的模型自学习:
详情参考
关于kafka数据源,详情请参考 数据挖掘-数据的输入和输出。
+【数据预处理】增加下采样节点
背景介绍
在数据挖掘过程中,原始数据的不均匀分布会影响到数据特征抽取,或者模型学习数据特征的效果,出现错判的情况,我们会对数据进行重采样,对原始数据进行初步加工,对出现频次较高的数据按照一定规则抽取一定数据使得整体分布均匀。
功能简介
新版本新增下采样节点,可通过移除数据量较多类别的部分数据,使样本达到均衡。
详情参考
关于数据挖掘的下采样,详情请参考 采样 。
+【数据预处理】新增异常值处理节点
背景介绍
无论是机器学习还是数据分析,总是要面对一大堆数据,总是免不了出现异常值的可能性,,异常值可以大幅度地改变数据分析和统计建模的结果,可能会造成回归、方差分析等统计模型假设的基本假设受影响等问题。
功能简介
新版本新增异常值处理节点,可对存在异常的数据进行检测和识别,且对识别出的异常值进行处理。
详情参考
关于数据挖掘的异常值处理,详情请参考 异常值处理。
+【特征工程】特征工程增加重要性分析(GBDT)
背景介绍
Smartbi现有的特征选择方法有卡方特征选择和随机森林特征选择,针对不同的数据情况有更丰富的特征选择方法及可对比性,新版本新增GBDT特征选择节点。它的优势在于泛化能力强、模型输出后便于选择特征等。
功能简介
GBDT是一种迭代的决策树算法,该算法由多棵决策树组成,所有树的结论累加起来做最终答案。新版本,左侧资源树特征过程节点下新增GBDT特征选择节点。
输出特征选择后的特征及其重要程度,以柱图展示如下:
详情参考
详情参考 数据挖掘-GBDT特征选择【Beta版本功能】。
+【特征工程】拆分归一化算法为独立节点
背景介绍
数据预处理在众多机器学习算法中都起着重要作用,实际情况中,将数据做归一化处理,消除量纲可以加速优化过程,使模型更好、更快的达到收敛。而在此之前Smartbi的归一化算法是封在其他算法当中,因此为了满足灵活性的需要,新版本将归一化算法拆分为独立节点。
功能简介
Smartbi的归一化算法有四种,分别为:正则化、标准化、最小最大值归一化、最大绝对值归一化。
详情参考
详情参考 数据挖掘-归一化。
^【统计分析】支持高维数据矩阵
背景介绍
高维数据是指具有多个属性的数据,它在我们日常生活中十分常见,比如各种类型的多媒体数据、文档词频数据等等。面对这些高维数据,我们该如何展示各种属性之间的联系和发现它们之间的规律。其实在过去的数十年里,可视化领域已经产生了大量优秀的技术,如散点图矩阵、平行坐标图等,以帮助用户分析这类数据。
功能简介
新版本新增高维数据可视化节点,支持通过矩阵图和平行坐标图对高维数据进行可视化分析。
矩阵图效果:
平行坐标图效果:
详情参考
关于数据挖掘的高维数据矩阵,详情请参考 数据挖掘-高维数据矩阵【Beta版本功能】。
+【统计分析】统计分析增加RFM模型
背景介绍
RFM模型是衡量客户价值和客户创利能力的重要工具和手段。在众多的客户关系管理(CRM)的分析模式中,RFM模型是被广泛提到的。因此Smartbi在新版本新增RFM节点,为更多的营销决策提供支持。
功能简介
RFM节点通过对选择的特征列按照阈值进行二分(可按均值、指定值、中值),将客户数据划分为不同的客群。新版本,左侧资源树统计分析节点下新增RFM节点。
详情参考
详情参考数据挖掘-RFM。
+【评分卡分析】新增WOE编码节点
背景介绍
评分卡是将模型变量WOE编码方式离散化之后运用logistic回归模型进行的一种二分类变量的广义线性模型,也是信用风险评估和互联网金融领域常用的建模方法,比如信用卡风险评估、贷款发放等业务。除此之外,在其它领域也能够看到评分卡被用来作为分数评估,比如常见的客服质量打分、芝麻信用分打分等。
功能简介
WOE则是对原始自变量的一种编码形式,要对一个变量进行WOE编码,需要首先把这个变量进行分组处理,之后再计算出WOE值和IV值,根据这两个值来判断变量的预测强度。
因此新版本新增WOE编码节点,可以对字段分箱后计算WOE值和IV值。
在查看分析结果中记录了变量的IV值,分箱区间及每个区间的WOE值。
详情参考
关于WOE编码,详情请参考 数据挖掘-WOE编码。
+【文本分析】文本分析增加词向量
背景介绍
在文本分析中,我们会先采用词频编码,根据词频信息进行简单主题聚类或文本分类。但是这种方法忽略了词序信息,也无法判断出两个词语之间的关系。而Word2vec词向量可以很好地解决这个问题,它的思路是通过训练,将每个词都映射到一个较短的词向量上来。所有的这些词向量就构成了向量空间,进而可以用普通的统计学的方法来研究词与词之间的关系。
功能简介
词向量节点作为文本处理常用的特征工程手段、在情感分析、语义分析上可以用来增加模型准确性、计算相似性等功能。新版本,左侧资源树文本分析节点下新增词向量节点。
在查看输出结果可以看到每个文本对应的词向量:
详情参考
详情参考数据挖掘-词向量【Beta版本功能】。
+【文本分析】文本分析增加主题分析
背景介绍
LDA可以用于从海量的文本中,根据统计模型,自动提取出由关键词组成的热门主题,让我们快速知道,这些大量无规则的文本中,主要讲述了什么内容。业务人员在商业分析的过程中也是离不开海量的文本数据,如果将基于LDA的主题分析应用在商业分析上,那么将会给业务人员带来极大的方便。
功能简介
LDA主题模型主要用来推测文档的主题分布,它可以将文档集中每篇文档的主题以概率分布的形式给出,从而通过分析一些文档抽取出它们的主题分布后,便可以根据主题分布进行主题聚类或文本分类。 新版本,左侧资源树文本分析节点下新增LDA和主题-词分布(LDA)节点。
详情参考
详情参考数据挖掘-主题-词分布(LDA)【Beta版本功能】。
+【多分类算法】新增多层感知机算法节点
背景介绍
数据中潜藏的规律按照以往的聚类,回归等传统分析手段很难被发现,Smartbi Mining新增多层感知机算法节点。多层感知机(MLP,Multilayer Perceptron)也叫人工神经网络(ANN,Artificial Neural Network),通过神经网络中的节点和隐藏层对数据特征进行‘学习’,并以模型形式保存,用于分类、预测等使用场景。
功能简介
多层感知机作为多分类算法节点与其他机器学习节点同样使用。
详情参考
关于数据挖掘的多层感知机,详情请参考 多层感知机 。
+【关联规则】关联规则支持输出频繁项集及其支持度
背景介绍
Smartbi现有的FP-Growth算法输出的是模型根据关联规则推荐的预测结果,在实际应用中,也希望输出对算法挖掘出的关联规则及其支持度,通过这些信息能够发现隐藏在数据集中的有意义的联系。因此在新版本,关联规则支持输出算法挖掘出的频繁项集以及对应的前项、后项。
功能简介
“模型系数”节点支持输出所有频繁项集,以及所有频繁项集的频率和支持度。
详情参考
关于FP-Growth算法,请参考 数据挖掘-FP-Growth。
+【数据挖掘】新增新建、编辑数据集入口
背景介绍
目前Smartbi的挖掘模块中,数据集节点只有选择数据集功能,为了方便用户可以在挖掘的实验界面中新建和编辑数据集,新版本新增了新建、编辑数据集的入口。
功能简介
新版本在数据集节点的参数设置界面新增了新建、编辑数据集的入口。
关于数据源的数据集,详情请参考 数据集。
+【输出】支持预览数据导出到本地
背景介绍
在挖掘实验过程中,对每一个执行完的节点资源我们都可以预览该节点的数据,如果可以将预览数据导出到本地,这将便于用户进行后续的处理或分析。
功能简介
新版本支持预览数据导出到本地,在查看输出窗口新增“下载预览数据”选项。
注意事项
此处会把预览的数据以csv文件的方式下载到本地,不会下载全量数据,数据量最多100条。
+【数据挖掘】Python算法节点功能强化
背景介绍
以前的版本,用户上传的自定义Python算法节点无法与产品内置的训练、预测、评估节点兼容使用,也无法训练模型供服务调用。为了满足上述需求,通过服务器上传的Python节点支持模型训练、模型保存、模型预测、模型评估、服务等,增强了产品的灵活性和弹性。
功能简介
新版本,Python算法节点支持模型训练、模型保存、模型预测、模型评估、服务等。
示例1:上传的Python算法节点支持模型预测、评估。
示例2:上传的Python算法节点支持部署服务。
+【数据挖掘】支持在界面上传自定义Python节点包
背景介绍
以前的版本,用户想要自定义Python功能节点需要在服务器指定的路径上传对应文件,操作比较繁琐。从提升用户体验感角度出发,产品整合了数据挖掘相关的配置并支持上传自定义Python节点包,用户可以在界面上直接上传封装好的Python节点包,提高了产品的灵活性和开放性。
功能简介
1、在系统运维新增“数据挖掘配置”选项卡,将数据挖掘相关配置进行统一管理。
2、在数据挖掘配置中,用户可以上传自定义Python节点包来添加Python节点。
示例:使用上传的自定义Python节点。
注意事项
自定义Python节点包的代码需要按照模板格式进行编写:
详情参考
关于数据挖掘配置,详情请参考 数据挖掘配置 。
+【数据挖掘】新增SMOTE算法节点
背景介绍
在数据挖掘中,经常会遇到正负样本数据分布比例不平衡的情况,导致学习结果会偏向于样本较多的一类,影响机器学习的效果。我们可以使用SMOTE算法,即合成少数类过采样技术,人工生成一部分数据出来,使样本达到均衡。
功能简介
新增SMOTE算法节点,可以解决样本数据分布比例不均衡的问题。
详情参考
关于SMOTE算法节点,详情请参考 数据挖掘-SMOTE 。
+【数据挖掘】新增聚类评估节点
背景介绍
用户在做聚类时,往往无法直观的识别聚类结果的好坏,在数据质量不高的情况下,聚类的效果很不稳定,得出的结论也不容易让人信服。因此产品新增聚类评估节点,能够估计在数据集上进行聚类的可行性和被聚类方法产生的结果的质量,确保数据集聚类后的效果,使聚类结果更好的被应用到实际应用场景中。
功能简介
增加聚类评估节点,可以估计在数据集上进行聚类的可行性和被聚类方法产生的结果的质量。
分析结果包括对聚类算法的评估指标(轮廓系数、和方差、CH指标)和样本量分布情况,如图:
详情参考
关于聚类评估节点,详情请参考 数据挖掘-聚类评估 。
+【数据挖掘/自助ETL】关系目标源支持GreenPlum数据库
背景介绍
随着数据的爆炸性增长,用户对存储数据量的需求不断增加,产品在数据挖掘和自助ETL中,关系目标源支持使用Greenplum数据库。
Greenplum是一个面向数据仓库应用的关系型数据库,因为有良好的体系结构,所以在数据存储、高并发、高可用、线性扩展、反应速度、易用性和性价比等方面都有非常明显的优势,同时配置简单,因此深受用户的欢迎。
功能简介
在数据挖掘和自助ETL中,目标数据源支持GreenPlum数据库。
<【数据挖掘】修改内置案例并添加备注说明
背景介绍
在数据挖掘中,我们根据用户不同的需求,内置了一些功能演示和实际项目应用的案例,但在这些案例中的各节点之间关系比较为复杂,用户不易理解每个步骤的含义和使用。因此我们修改了一部分案例,并将现有的内置案例都添加了备注说明,解释了案例中不同步骤的概念及作用,便于用户对案例的交流和使用。
功能简介
1、对产品中现有的案例通过备注功能,对不同的步骤都添加了备注说明:
2、新增了4个数据挖掘的案例:银行客户精准营销、银行信用评分卡分析、疫情期间网民情绪识别、二手车交易价格预测。
3、修改已有的内置案例:
- 抽取、变换、过滤、评估节点更新替换;
- 增加或修改新的数据探索、处理、建模等过程步骤。
4、删除示例数据源节点的“数据源编码”设置项。
+【数据挖掘】新增分词算法和全局词典
背景介绍
以前的版本,分词节点只存在局部词典,无法同时满足多个节点的分词需求,因此产品新增了多个分词算法,可将一个汉字或英文序列切分成一个一个单独的词,更加准确、快速,适用于对分词效果要求高的各种场景;同时新增全局词典设置项,所有的用户都能使用设置的分词词典。
功能简介
1、新增多个分词算法:Ansj、Hanlp;
2、全局词典:
在 系统运维>数据挖掘配置 中,新增全局词典文件地址,用于指定全局词典的文件路径。
分词节点新增“启用全局词典”设置项:
3、自定义词典支持手动输入、文件上传,且上传的文件不超过一万行。
详情参考
关于分词算法和全局词典,详情请参考 数据挖掘-分词 。
+【数据挖掘】数据集节点支持所有的Smartbi数据集
背景介绍
为了方便用户的使用,我们在数据挖掘的数据源中新增数据集节点,支持所有的Smartbi数据集,用户可以使用已经建好的数据集进行数据挖掘,丰富了输入数据的来源,减少了用户操作。
功能简介
数据集节点支持所有Smartbi数据集:
分析展现
+【自助仪表盘】自助仪表盘增加鹰眼功能
背景介绍
为了帮助用户能更快、更灵活地设计出理想中的报表,新版本我们在自助仪表盘中增加了鹰眼功能,方便用户自由放大、缩小、还原画布。
功能简介
1、可缩小画布、放大画布,帮助用户以清晰、全面的方式处理细节。
2、可自适应屏幕,一键查看画布全景图,有效提升报表设计效率。
详情参考
关于自助仪表盘鹰眼的功能,详情请参考 鹰眼 。
+【自助仪表盘】浏览工具栏显示设置项
背景介绍
新版本中,我们对自助仪表盘增加了控制【浏览工具栏】是否显示的入口,以便适用于各种展示场景,保证报表的美观。
功能简介
产品提供针对整张报表级别、组件级别的浏览工具栏的设置入口。
注意事项
目前组件级别支持清单表、交叉表、图形、URL、Tab页设置浏览工具栏。
+【自助仪表盘】实现热力图配色
背景介绍
新版本的热力地图支持自定义配色设置,可以一改系统默认的柔和配色,实现冲击力较强的配色效果,满足用户的视觉需求。
功能简介
热力地图效果如下:
详情参考
关于热力图配色设置,详情请参考 图形组件-热力图 。
^【自助仪表盘】增强自助仪表盘TAB页组件功能
背景介绍
新版本中我们增强了自助仪表盘的TAB页组件,丰富了页签菜单的设置项,使用户操作页签更加灵活。
功能简介
1、丰富了页签顺序的调整方式,减少繁琐的操作步骤。
2、统一的内部组件配置入口,提升用户体验、实现更顺滑的操作效果。
详情参考
关于TAB页组件的功能,详情请参考 TAB页组件 。
+【自助仪表盘】自助仪表盘支持设置不同数据来源字段之间的联动
背景介绍
新版本新增【联动设置】作为设置不同数据来源字段、参数联动关系的统一入口,以此满足更多联动场景,例如支持不同数据来源的图表组件的联动效果、支持一个参数控制多业务主题或多自助数据集的组件。
功能简介
1、全局联动关系:
自助仪表盘工具栏中,增加 联动设置 按钮,可设置两个及两个以上的数据集/业务主题之间的联动关系。
支持两种方式设置全局联动关系:
- 自动:数据集/业务主题之间字段根据同名字段自动关联;
- 自定义:用户可以自定义字段或参数之间的关联关系。
2、影响报表和应用于组件:
- 增加“相关数据集所有组件”、“此数据集所有组件”、“自定义”选项;
- 删除“高级设置”、“合并参数”选项。
注意事项
自助仪表盘中数据来源有两个及两个以上的数据集/业务主题,才能进行联动设置。
详情参考
关于联动设置的功能,详情请参考 联动设置 。
+【透视分析】支持度量组及度量组行列互换
背景介绍
新版本新增了透视分析的度量组功能,丰富了表样的实现:
- 将多个度量维以组的形式在行列区进行组织,实现度量维组的行列互换。
- 可以实现拖拽相同的度量维执行不同的计算规则。
功能简介
通过优化后的度量组功能可以快捷的实现如下表样效果:
将“列区”中的“度量组”拖拽到“行区”后效果如下:
其中:
- 度量区中的三个度量维,系统自动归结为一个“度量组”在“列区”,该“度量组”可以像字段对象一样,任意在行区和列区中进行拖拽切换。
- 度量区中的字段“销售额”是通过同一个字段拖拽而来:一个进行合计,一个进行平均值计算。
详情参考
关于透视分析的度量维功能,详情请参考 度量区 。
^【分析报表】支持聚合字段作为过滤条件
背景介绍
在实际的报表开发中,我们经常会用到聚合字段(如:销售量的合计值、平均值等)对数据进行统计,对于统计结果我们也希望能够对聚合字段进行过滤(如:销售量>1000),因此版本增强了过滤条件功能:若输出字段中含有聚合字段,则支持在条件面板中对聚合字段设置过滤条件,从而对报表筛选中相应的数据结果。
功能简介
透视分析和即席查询支持对输出字段中的聚合字段进行过滤条件设置。如下图所示:
注意事项
- 只有输出字段含有聚合字段时,才支持该聚合字段的条件过滤。
- 拖到条件区中的字段,它的过滤条件(原始值过滤还是聚合值过滤),默认是取决于输出字段中的设置,比如:输出字段设置为合计值聚合,则拖拽之后的过滤条件为合计值过滤。此种情况只会出现在第一次的时候,之后两者不再有联动,即改变其中的输出字段的聚合设置,条件区中的字段过滤条件不会发生变化。
^【回写填报】优化权限配置操作
背景介绍
新版本我们优化了回写填报的权限配置操作,解决了设置权限控制规则较为繁琐的问题,增强了用户操作的体验感和便利性。
功能简介
权限控制面板新增如下按钮:
左侧:新建规则、复制当前规则、删除当前规则按钮可对当前的权限规则进行操作。
右侧:点击查看所有规则、上一条规则、下一条规则按钮可查看和切换其他权限规则。
+【流程引擎】流程资源支持影响性/血统分析及操作日志
背景介绍
从产品统一角度考虑,新版本流程资源支持影响性分析、血统分析,使用户了解流程资源影响了哪些资源、对应数据的来源等信息;操作日志报表支持统计流程资源,方便用户进行系统运维和问题排查。
功能简介
1、流程资源支持影响性分析、血统分析及导出时添加依赖资源。
2、操作日志报表支持统计流程资源。
^【自助仪表盘】Tab组件的页签样式设置项增强
背景介绍
在制作自助仪表盘过程中,通常需要结合主题风格来调整tab页签等等样式,以此实现更加美观的效果;在新版本中,我们针对tab组件的页签新增了风格、颜色、样式等设置项,帮助用户精确控制到每个细节,以此突出页签在不同状态的显示效果。
功能简介
(1)自由配置页签栏风格
在Tab组件的 组件设置->Tab页签 中,产品支持配置Tab组件页签栏的风格:简洁、卡片。
(2)自定义页签栏样式
若页签栏默认自带的效果无法满足需求,新版本支持用户自定义颜色、样式等配置。
+【自助仪表盘】支持宏开发
背景介绍
随着自助仪表盘的发展,它提供的功能能够满足用户绝大部分的需求。但需求是千变万化的,某些个性化的功能通过自助仪表盘基本的功能可能无法实现。为此,新版本的自助仪表盘支持用户通过TypeScript、API 等对自助仪表盘进行宏开发,以此满足用户个性化的需求。
功能简介
(1)自助仪表盘新增【宏管理】入口,用户可以实现组件级别、报表级别的宏开发。
(2)针对相同事件的多个宏可根据排序顺序执行,帮助用户实现预期的效果。
(3)提供API帮助文档与示例参考,帮助报表开发者实现更丰富效果。
注意事项
新版本的自助仪表盘【宏管理】仅支持客户端类型的模块。
^【透视分析/即席查询】条件联动增强、字段拖拽优化
背景介绍
在以往版本中,若想实现 透视分析/即席查询 中的条件联动效果,需在数据来源层面-业务主题中设置字段的关联属性。在新版本中,我们支持用户直接在报表层面设置条件联动,能够更便捷、轻松地实现不同的 透视分析/即席查询 拥有不同的条件联动关系。
另外,为进一步提升用户使用体验,新版本同时优化了 透视分析/即席查询 的字段拖拽操作。
功能简介
(1)增强条件联动
在 透视分析/即席查询 的字段条件右侧新增【设置联动】按钮,点击便进入联动设置界面,用户可根据实际情况勾选父级联动对象。
(2)优化字段拖拽
用户在透视分析/即席查询 拖拽字段时,条件区域会标黄边界(同时透视分析的行列度量区边界也会标黄),以此提示用户可放入的区域,提升用户操作体验。
^【电子表格】耗时分析维度优化
背景介绍
为了方便用户判断报表数据的准备性、定位影响报表性能的原因,在新版本中我们优化了电子表格的耗时分析维度,呈现更清晰的报表耗时分析维度,帮助用户对报表执行情况一目了然,轻松监控资源消耗情况。
功能简介
在电子表格工具栏的【耗时分析】中,用户点击“获取数据”可查看详细的信息(数据源信息、SQL执行、数据行列数等),点击“服务器处理”也能展示服务器里明细(公式处理、数据处理、生成报表),更好地帮助用户判断数据是否合理、了解报表执行情况。
Excel融合分析
+【Excel融合分析】Excel融合分析支持取消查询
功能简介
新版本更新之后,Excel融合分析在刷新数据弹窗中新增了“关闭”按钮,可以点击关闭按钮或图标取消查询。
+【Excel融合分析】Excel融合分析支持产品提供的Excel图形模板
背景介绍
新版本在Excel融合分析中支持Smartbi提供的Excel图形模板,用户使用预设的模板,不但能减少配置图形所花费的时间,还能统一图形的展示风格。
功能简介
在Excel融合分析的图形中,支持Smartbi提供的Excel图形模板。
^【Excel融合分析】Web端显示功能优化
背景介绍
电子表格的Web端显示优化,可以解决如下问题:
当电子表格有多个sheet,且每个sheet数据量很大的情况下,前端刷新报表或者导出报表可能会引发出取数很慢等性能问题;
当电子表格有多个sheet,且大部分是明细数据sheet,用户只想在Web端显示汇总数据sheet。
功能简介
多个sheet的电子表格设计如下:
通过进行Web端显示优化设置,显示所有sheet和指定sheet的效果如下:
显示所有sheet | 设置方法 |
|
效果 |
| |
显示指定sheet | 设置方法 |
|
效果 |
注意事项
- Web端显示优化”设置效果对导出HTML、PNG、PDF、Word有效(其它格式在导出时需要自行指定导出的sheet页)。
- 导出Excel默认导出所有sheet页,可以在客户端导出时设置导出的sheet页:
^【Excel融合分析】Web端导出Excel功能优化
功能简介
在Web端导出Excel时,支持选择是否导出公式:
注意事项
若非导出全部sheet页,则“导出公式”默认为否。
公共
^【公共】参数设置优化
背景介绍
新版本的产品优化了修改参数、列表对话框加载效果等操作过程,从而提高产品易用性,带来良好的用户体验。
功能简介
(1)优化修改参数的步骤:用户在修改参数基础属性(别名、宽度等)后,即可直接保存,提高用户操作效率。
(2)优化列表对话框加载效果:打开列表对话框参数的【设置选中值】弹窗中,操作者无需在“备选”列额外等待,支持用户直接切换到“搜索”界面,且搜索过程中新增loading友好提示。
^【图形主题】图形主题功能增强
背景介绍
通过预设多个图形主题一键应用,将报表设计人员从繁琐的组件设计工作中解放出来,提高工作效率的同时满足设计效果需求。
功能简介
图形主题功能实现了系统内置主题以及用户自定义主题,并且将这些主题在自助仪表盘中实现一键应用。
除此之外还有预警提示,当删除某个主题时能给用户提示与该主题相关的自助仪表盘资源。
1、在公共设置界面中新增“图形主题”模块进行内置和自定义主题的预设:
2、预设的主题在自助仪表盘设计时进行一键应用,以及在Echarts图形选项中应用:
自助仪表盘一键应用 | |
Echarts图形选项应用 |
3、自定义主题通过“影响分析”可以查看与之关联的自助仪表盘资源:
^【收藏】资源收藏功能优化
背景介绍
之前的版本,同一个资源可以多次收藏在不同目录中且通过“添加收藏、删除收藏”的菜单对来实现资源的收藏,为了简化用户的收藏操作,新版本对收藏功能优化了处理逻辑,除保留原收藏菜单外实现了一键收藏及取消收藏的功能。
功能简介
支持收藏的资源有:自助仪表盘、电子表格、透视分析、即席查询、多维分析、仪表分析、灵活分析、分析报告、页面、应用。
收藏功能主要进行了如下优化处理:
1、在工具栏中的收藏按钮实现一键应用:单击收藏,再次单击取消收藏。
自助仪表盘、电子表格、透视分析、即席查询、多维分析、仪表分析、灵活分析、分析报、页面 | |
应用 | 1、“应用商店”的应用详情菜单: 2、“我安装的应用”的应用菜单按钮: 以上两个收藏菜单:
|
优化前 | 优化后 |
---|---|
<【水印】报表及预览数据功能支持水印
背景介绍
水印是指为了防止报表被盗、进行真伪鉴别、版权保护等,在报表中添加半透明的图片数字进行信息标记的效果。
新版本新增了对透视分析、即席查询等报表的水印支持,并且关闭原电子表格水印设置,统一了所有报表资源的水印设置。
功能简介
1、在“系统运维-系统选项-水印设置”中进行设置:
2、应用效果如下:
3、水印生效的范围:
- 支持报表类型:电子表格、自助仪表盘、透视分析、即席查询、多维分析。
- 不支持的报表类型:页面、仪表分析、分析报告、灵活分析。
- 所有能看到数据界面都支持显示水印:数据源、数据集、公共设置的参数转换规则、报表的编辑浏览界面、数据挖掘中预览数据的界面、ETL中预览数据的界面、导出打印。
- 只允许导出PDF、PNG、Excel、Word格式支持水印。
+【公共】资源或字段等选择界面补充搜索功能
背景介绍
资源搜索功能实现了帮助用户从众多资源中快速搜索出其关注的资源,新版本对搜索功能在风格上进行了统一,并且为所有含有资源列表或树结构的功能模块都添加了搜索功能。
功能简介
搜索功能风格统一,支持模糊匹配搜索。
基于资源树和资源列表的搜索操作略有不同:
- 基于资源树的搜索:输入关键字需回车后,才显示搜索结果;
- 基于资源列表的搜索:输入关键字后直接显示搜索结果:
补充了搜索功能的资源或字段选择界面有:
模块 | 选择界面 |
---|---|
数据连接 | 数据源选择驱动、保存数据源、excel数据导入-追加数据、存储过程中选择参数 |
数据准备 | 自助ETL-节点多选下拉框、自助ETL-节点单选下拉框、业务主题-业务属性资源树、数据集增量抽取字段设置下拉框、数据集中选择脱敏弹框窗口、数据集的导入参数框、绑定参数弹框 |
分析展现 | 自助仪表盘-跳转规则/url链接中选择字段的下拉框、透视分析待选列和时间维度管理、即席查询转换规则下拉框、加载excel模板-选择值域范围 |
公共设置 | 参数设置、地图区域设置-左侧资源树 |
系统运维 | 用户管理-用户/用户组/角色选择、计划-选择任务、导入资源-更改路径、系统选项-操作日志设置-设置、系统选项-导入异常日志-选择模板 |
插件端 | 电子表格-页面设置-excel导入模板-绑定、电子表格-过滤-当前单元格、过滤选择列、填报属性-绑定参数、电子表格/ppt、word分析报告-发布/另发布路径 |
其他 | 资源授权-资源所有者、数据集及报表资源的保存/另存、资源右键-移动到、元数据分析-请选择待分析资源/过滤类型 |
注意事项
多维查询和多维分析中,树结构中的节点,需要能看到(也就是展开资源树)才能被搜索出来。
+【公共】关系数据源数据权限支持在数据挖掘和自助ETL中生效
背景介绍
在实际应用中,针对不同的用户,设置不同的数据权限可控制用户查看的数据不同。同时考虑到产品的统一,新版本关系数据源设置的数据权限,支持在数据挖掘和自助ETL中生效。
功能简介
1、关系数据源设置的数据权限,支持在数据挖掘和自助ETL中的节点生效。
例如,在关系数据源设置categories表的数据权限。
在自助ETL中的“关系数据源”节点中,设置的数据权限生效。
2、若数据集来源于带数据权限的关系数据源,在数据挖掘和自助ETL中支持“数据集”节点的数据权限也生效。
详情参考
关于数据挖掘和自助ETL的数据权限设置,详情可参考 数据权限设置—数据挖掘和自助ETL。
移动端
^【移动端】移动端的分享功能增强
背景介绍
PC端的报表增加了分享功能,并且分享报表时支持设置访问限制,因此移动端需要依据PC端上的分享功能进行优化:新增了通过访问链接和二维码分享报表的方式,并且受PC端的访问限制影响。
功能简介
1、移动端新增分享报表的方式:访问链接和二维码。
2、移动端的私密分享和公开分享一键切换,且与PC端的“公共链接”开关保持一致性。
移动端 | PC端 |
---|---|
移动端的“私密分享”和PC端的“公共链接”设置项都是用于:设置当前分享为公开还是私密。两个设置相互影响,以最后一次设置为准。
PC端设置的访问限制将影响移动端的分享:若PC端设置了访问密码,则移动端分享后,用户打开分享链接或二维码需要输入访问密码才能成功访问。
其他
+【系统函数】新增时间函数
背景介绍
为了提高效率和方便业务人员的使用,新版本我们新增了一些简单易用的时间函数,可以满足业务人员需要:
- 不需要写SQL语句,可以直接使用日期函数对象;
- 灵活性高,可满足不同场景的应用。
功能简介
1、产品的内置函数中新增了19个时间函数,如图:
2、在定义中改变函数设置方式:新增编辑框可手动添加参数值或拖拽函数;并增加预览功能。
注意事项
1、在参数定义中,不支持写SQL语句获取时间函数。
2、在 系统选项>电子表格>水印 中, “内容”设置项不支持使用新增的时间函数。
3、即席查询、透视分析等资源的表头表尾中,不适用新增的时间函数。
+【帮助指引】新增麦粉社区链接及其设置项
背景介绍
为了方便用户之间的交流互动,更好地提高用户的使用体验,并能够快速解决常见的产品使用问题,新版本我们在系统中添加了麦粉社区的链接及其设置项。
功能简介
麦粉社区提供了一个沟通互动的平台,主要分为首页、论坛、认证、讲堂、体验、直播等功能模块。用户可以在这里:
- 创作自己的作品,并与其他麦粉进行分享、互动;
- 提出问题,发表观点,交流探讨;
- 报名参加各种活动,还有培训直播、License申请;
- 进行产品资格认证的考核;
- ……
1、增加麦粉社区的链接,链接到麦粉社区首页:
- 入口一:在系统设置页面右上角。
- 入口二:在 用户操作>关于 中。
2、考虑到部分用户不能使用网络的情况,在系统运维的 系统选项>高级设置 中,增加“是否显示麦粉社区链接入口”设置项,默认值为否。
<【流程引擎】审核的上下节点为同一个处理人时审批界面自动跳转
背景介绍
之前的版本,在流程审批中如果审核的下一个处理人还是当前的处理人时,需要该审核人员重新进入到审批界面才会显示下一个处理信息。为了简化审批操作,我们重新处理了审批逻辑,实现了如果下一个处理人是当前处理人则不需要切换,自动跳转下一个到审批界面。
功能简介
审批通过后下一个处理人仍是当前处理人则自动跳转下一个到审批界面。
+【分布式Session共享】产品支持无状态化
背景介绍
随着企业业务规模的扩大,系统服务性能和稳定性会受到很大的挑战,为了应对苛刻的生产工作负载,在新版本中,我们产品支持无状态化(即无论是否宕机、切换服务器,无须用户重新登录,保障业务操作不中断、数据/模板不丢失),有效提升用户体验。
功能简介
1、产品通过将会话信息统一存储在分布式缓存数据库Redis 中,实现多个应用服务器共享会话信息,保证服务器重启或切换后,仍然可以正常继续操作(常见部署模式如图所示)。
2、系统提供简单可视化配置 redis 信息入口:
^【其他】负载均衡服务器优化
背景介绍
当系统面临大批用户访问,负载过高的时候,系统性能问题以及单点问题就凸显出来;通常会考虑增加多台机器进行横向扩展以此提高整个系统的处理能力。与此同时‘负载均衡’是实现系统高可用性一个关键组件。
Smartbi proxy作为负载均衡服务器,在新版本中我们对其进行优化:采用前后端分离的框架,能保障请求被分发到健康的服务器上,在大流量多元化场景下保证用户业务的持续稳定起到至关重要的作用。
功能简介
1、健康汇报
各服务器节点定时向smartbi proxy汇报自身的健康状态信息,如果节点属于“断开“的状态的话,则将此节点临时从待选取列表中剔除,以提高系统的可用性。
2、能者多劳
根据各服务器节点的差异性(如上述图的指标:内存/CPU/GC等)判断各节点可用性、服务能力,从而影响请求分发的倾向性,实现'能者多劳’保证请求被分发到健康的服务器上,提升系统的稳定性。(如下图-自定义分发策略的权重)
3、自动告警
若节点的资源使用率达到了设置的阈值,那么会触发告警(发送邮件形式),实现对异常节点进行前端提醒。
详情参考
关于Smartbi proxy的相关功能,详情请参考 Smartbi Proxy (tomcat) 代理服务器部署 。
^【ECharts】版本更新
功能简介
产品中ECharts图形的版本统一升级到最新的V4.8.0版本。