+【数据准备】数据抽取支持备份表数据

背景介绍

在数据抽取功能的实际工作场景中，有些用户每日会增量抽取业务数据到高速缓存库中；如果发生源数据集表结构变更、增量信息不全或有误等等情况，产品则会清除高速缓存库中抽取目标表的数据；为了避免丢失高速缓存库中历史数据，在新版本中，产品支持备份抽取目标表和数据，方便后续恢复数据，有效提高数据安全。

功能简介

在系统运维的 系统选项>高级设置 中， 新增“BACKUP_TAB_RETAIN_NUM”设置项，可设置在数据库中保留的备份表的个数，默认为5个。

备份规则：在抽取数据之前，默认备份抽取表（第一次不备份）到数据库中，每抽取一次进行滚动备份，备份到设置的上限后，下次备份则移除最旧的备份表。

注意事项

1、暂不支持抽取目标表数据自动恢复，需要手工恢复。

2、高速缓存库为infobright不支持抽取表备份。

+【数据准备】数据抽取支持滚动备份一定数量的抽取表

背景介绍

随着计算机技术的不断发展，信息安全的重要性也日益增长，数据备份能够快速恢复系统丢失的数据，有效保护数据的完整性和准确性。因此在新版本中，产品在抽取数据到高速缓存库后，支持滚动备份一定数量的抽取表，方便突发意外后及时恢复数据，有效提高数据安全。

功能简介

1、在源数据库中抽取原始数据到高速缓存库后，支持在高速缓存库中滚动备份一定数量的抽取表。

在系统运维的 系统选项>高级设置 中， 新增“BACKUP_TAB_RETAIN_NUM”设置项，可设置在数据库中保留的抽取表的个数，默认为5个。

2、在数据抽取设置中新增“排序字段”设置项，用户在进行多线程抽取前先选择排序字段，能够保证抽取的数据准确无误。

注意事项

Infobright数据库不支持此功能。

参考文档

关于数据抽取支持滚动备份一定数量的抽取表，详情请参考 数据抽取备份 。

^【数据准备】优化SQL语句编辑器

背景介绍

为了提高用户开发效率，增强内容的可阅读性，新版本对SQL编辑器增加了高亮显示关键字、折叠代码、输入自动提示等功能。

功能简介

（1）高亮显示关键字，可折叠括号内的代码，方便用户能一目了然重要内容。

（2）自动提示相关关键字、表、函数等，并支持一键补全，提升用户开发效率。

（3）新增IF函数，满足根据不同的条件输出不同的SQL语句的场景。

同时支持丰富的快捷键（Ctrl+F等），提高功能的易用性。

详情参考

关于SQL语句编辑器的功能，详情请参考SQL语句编辑器 。

^【数据准备】完善数据抽取日志

背景介绍

随着数据的爆炸性增长，用户需要抽取的数据量越来越大，所消耗的时间也越多。为了能在数据抽取的过程中了解抽取的状态、获得更多的信息，便于系统运维，新版本对数据抽取的日志进行完善。

功能简介

1、打开 系统监控>日志 界面，增加了一些抽取过程中的日志信息，如获取总行数、总耗时、入库百分比等等。

2、在抽取监控>抽取日志 的日志列表中不再仅限显示'抽取成功’、'抽取失败'，新版本可展示更多的抽取进展、错误信息。

详情参考

关于数据抽取日志，详情请参考 抽取日志 。