抽取日志跟踪
日志类型
目前抽取过程的日志分为两种：
1、抽取过程的错误日志，这种是在抽取异常的时候会记录在error文件，在数据集抽取日志中能查看。
2、抽取过程中的DEBUG日志，这种是为了便于跟踪抽取过程直接输出到控制台。
错误日志
错误日志我们可直接在抽取监控面板查看或者右键 数据集 > 调度管理 > 抽取日志查看。
DEBUG日志
抽取过程的流程图，如下：
DEBUG日志，我们有两种方式实时监控：
1、tail -f smartbi.log
2、系统监控-日志，这里可以在浏览器实时监控
抽取过程
结合抽取过程流程图，我们一般能采集到的下面的关键信息便于跟踪整个抽取过程：整理抽取整个过程的日志，分为以下几个步骤：
以控制台日志输出以及异步写日志表的方式实时监控抽取进度
1、抽取开始：
********* SaveToDBNode 开始>>>> *********
2、抽取目标表：
SmartbiCache目标表：null.smartbimpp.I8a8a95640171965496549f7a017196549f7a0000
3、如果清空数据，创建目标表：
创建SmartbiCache表：create table `smartbimpp`.`I8a8a95640171965496549f7a017196549f7a0000`(`ID` Nullable(Int32),`shuzhi1` Nullable(Float64),...
4、导出csv的查询sql：
select `t_100`.`ID` as `ID`, `t_100`.`shuzhi1` as `shuzhi1`, `t_100`.`shuzhi2` as `shuzhi2`, `t_100`.`str1` as `str1`, `t_100`.`str2` as `str2` from `t_100` `t_100`..
5、导入目标抽取表进度百分比
[SUCCESS] CSV文件(E:\Git\Smartbi\Applications\Smartbi.Application\apache-tomcat-7.0.40\bin\SmartbiX-ExtractData\I8a8a97ba017206e506e5a70f017206fbecf400f5\2000000) into `smartbimpp`.`I8a8a95640171965496549f7a017196549f7a0000` 100000 rows.Import progress:9.09%
6、抽取结束：
********* SaveToDBNode 结束<<<< *********1、获取总行数：记录耗时
控制台：- 【获取总行数】，耗时：2353ms，本次抽取已耗时2807ms
日志表：
2、单线程导出的取数：记录取数耗时
控制台：- 【单线程导出取数】，耗时：20ms，本次抽取已耗时503ms
日志表：
3、导出csv：记录每个csv文件的导出条数、导出耗时
控制台：- 【多线程导出到CSV】，导出条数：100000，总条数：1100000，耗时：4341ms，本次抽取已耗时76038ms
日志表：
4、导入目标表：记录每个csv文件的导入条数、导入进度百分比
控制台： - 【CSV导入到目标表】，导入100000条数据，导入进度：100%，本次抽取已耗时78851ms
日志表：
示例
以下是一条完整的抽取过程
1、获取总行数；
耗时：2293ms，本次抽取已耗时2801ms
2、多线程导出到CSV；
导出条数：100000，总条数：1100000，耗时：6277ms，本次抽取已耗时11116ms
3、CSV导入到目标表；
导入100000条数据，导入进度：9.09%，本次抽取已耗时16241ms
4、多线程导出到CSV；
导出条数：1000000，总条数：1100000，耗时：41649ms，本次抽取已耗时46486ms
5、CSV导入到目标表；
导入1000000条数据，导入进度：100.00%，本次抽取已耗时69163ms
注意事项
Vertica由于不支持多文件分批处理，暂不支持。
| 面板 | ||||||||
|---|---|---|---|---|---|---|---|---|
| ||||||||
|
