...
+【数据抽取】分批次读数据和多线程并发抽取从而提高抽取效率
...
背景介绍
数据抽取存在如下两种情况：
1、之前的版本，一次性将所有数据从数据库写入到缓存库中，在数据量较大的情况下，会出现占用内存太大的问题。因此，我们对其进行优化，V9及之后版本支持分批次将数据写入到缓存库中，合理设置既能保证查询速度又避免占用太大内存，达到效率最高。1、之前的版本，一次性将所有数据从数据库写入到缓存库中，在数据量较大的情况下，会出现占用内存太大的问题。因此，我们对其进行优化，V9及之后版本支持分批次将数据写入到缓存库中，合理设置既能保证查询速度又避免占用太大内存，达到最高效率。
2、当抽取亿级别数据量时，如果为单线程抽取，容易出现抽取缓慢，抽取不成功甚至环境崩溃的情况。因此，V9及之后版本增加多线程并发抽取，在用户抽取较大数据量时，可设置多线程并发抽取。
...
