背景

一线的业务人员获取Excel明细表,原始数据量动辄几十万上百万条;虽然Excel是一款深受青睐、广泛使用的数据处理工具,但是Excel自身在处理大数据量情况下存在性能问题;

并且当大数据量的Excel分析报表展现在web上会占用太多缓存,会容易撑爆内存导致宕机。

基于上述背景,本文将介绍在创建大数据量的Excel分析报表过程中,应该采取哪些操作方案,能够有效避免大数据量导致卡顿、提升查询性能。

操作方案

1)操作方案说明

操作阶段 操作方式 效果 
1.数据准备创建透视分析数据集提前进行数据过滤、数据汇总,将清单数据在数据库层面进行加工,提升性能。
2.数据刷新勾选默认加载100行

避免在Excel中刷新大数据量时导致卡死问题。

3.数据处理插入Excel的数据透视表直接利用Excel自身的数据透视表功能,简单易用。
3.发布前勾选Web端显示优化搭配上web端显示优化功能,可减少大数据量占用缓存。

2)结合上表所述,我们是通过创建三种数据sheet页来创建Excel分析报表:原始数据页、数据二次处理页、最终展示页。

Sheet页类型说明
原始数据页用于存放原始数据,从数据集面版拖拽动态字段至单元格,不含图形。
数据二次处理页用于存放对原始数据进行二次处理后的数据,使用Excel自身的数据透视表,计算公式。
最终展示页用于展示图形、汇总计算等,给用户最终展示的。

数据准备:创建透视分析数据集

在smartbi系统中,创建透视分析,进行数据初步汇总、数据过滤。

数据刷新:设置默认加载100行

基于 Excel分析报表类型,在上方工具栏勾选上【默认加载100行】,当我们在Excel插件端中点击【刷新数据】后只返回展示前100行数据。

数据处理:插入Excel的数据透视表

选中刷新后的数据区,进入【插入】选项卡点击【数据透视表】按钮,设置数据分析的位置,以此创建Excel自身的数据透视表。

发布前:Web端显示优化

1. 功能说明:

我们通过插件端工具栏的【Web端显示优化】功能,隐藏大数据量的sheet页,减少缓存占用空间。

1)可统一控制在web端中是否要显示报表的sheet页,而不需要一个个对sheet页进行右键->sheet页隐藏;

2)在sheet页管理窗口中有一个【自动优化】按钮,能够一键识别所有原始数据sheet页,并将其设置为web端不显示;

3)此功能默认为启用状态,在启用状态下系统默认会自动隐藏原始数据sheet页。

2.操作路径:

路径1:通过Excel插件端上方工具栏的【页面设置】>【报表类型】>Excel分析【Web端显示优化】 ,可进入Sheet页管理窗口。

路径2:通过Excel下方的右键sheet页的菜单【web端显示优化】进入Sheet页管理窗口。