抽取日志

错误日志

错误日志我们可直接在抽取监控面板查看或者右键 数据集 > 调度管理 > 抽取日志查看。

DEBUG日志

抽取过程的流程图，如下：

DEBUG日志，我们有两种方式实时监控：

1、tail -f smartbi.log

2、系统监控-日志，这里可以在浏览器实时监控

抽取过程

整理抽取整个过程的日志，分为以下几个步骤：

以控制台日志输出以及异步写日志表的方式实时监控抽取进度

1、获取总行数：记录耗时

控制台：- 【获取总行数】，耗时：2353ms，本次抽取已耗时2807ms

日志表：

2、单线程导出的取数：记录取数耗时

控制台：- 【单线程导出取数】，耗时：20ms，本次抽取已耗时503ms

日志表：

3、导出csv：记录每个csv文件的导出条数、导出耗时

控制台：- 【多线程导出到CSV】，导出条数：100000，总条数：1100000，耗时：4341ms，本次抽取已耗时76038ms

日志表：

4、导入目标表：记录每个csv文件的导入条数、导入进度百分比

控制台： - 【CSV导入到目标表】，导入100000条数据，导入进度：100%，本次抽取已耗时78851ms

日志表：

示例

以下是一条完整的抽取过程

1、获取总行数；

耗时：2293ms，本次抽取已耗时2801ms

2、多线程导出到CSV；

导出条数：100000，总条数：1100000，耗时：6277ms，本次抽取已耗时11116ms

3、CSV导入到目标表；

导入100000条数据，导入进度：9.09%，本次抽取已耗时16241ms

4、多线程导出到CSV；

导出条数：1000000，总条数：1100000，耗时：41649ms，本次抽取已耗时46486ms

5、CSV导入到目标表；

导入1000000条数据，导入进度：100.00%，本次抽取已耗时69163ms

注意事项

Vertica由于不支持多文件分批处理，暂不支持。