新增 | |
---|---|
增强 |
...
关于自助数据集的数据来源,详情请参考 自助数据集-数据来源。
锚V9_数据准备_3 V9_数据准备_3
V9_数据准备_3 | |
V9_数据准备_3 |
+
...
【数据抽取】分批次读数据和多线程并发抽取从而提高抽取效率
...
背景介绍
数据抽取存在如下两种情况:
1、之前的版本,一次性将所有数据从数据库写入到缓存库中,在数据量较大的情况下,会出现占用内存太大的问题。因此,我们对其进行优化,V9及之后版本支持分批次将数据写入到缓存库中,合理设置既能保证查询速度又避免占用太大内存,达到效率最高。
...