...
| Wiki 标记 |
|---|
{html}<h2 style="border-bottom-width: 2px;border-bottom-style: solid;border-bottom-color: #6B7CA5;">+【数据抽取】从缓存中抽取和多线程并发抽取来提高抽取效率</h2>{html} |
背景介绍：数据抽取存在如下两种情况：1、之前的版本，执行抽取时直接从数据库读取数据，在数据量较大的情况下，则抽取需要较多时间。因此，我们对其进行优化，V9及之后版本增加设置数据抽取时每次读取数据条数，这样在抽取时从缓存中读取，提高抽取效率。2、当抽取亿级别数据量时，如果为单线程抽取，容易出现抽取缓慢，抽取不成功甚至环境奔溃的情况。因此，V9及之后版本增加多线程并发抽取，在用户抽取较大数据量时，可设置多线程并发抽取。数据抽取存在如下两种情况：1、之前的版本，执行抽取时直接从数据库读取数据，在数据量较大的情况下，则抽取需要较多时间。因此，我们对其进行优化，V9及之后版本增加设置数据抽取时每次读取的数据条数，这样执行抽取时从缓存中读取，提高抽取效率。2、当抽取亿级别数据量时，如果为单线程抽取，容易出现抽取缓慢，抽取不成功甚至环境奔溃的情况。因此，V9及之后版本增加多线程并发抽取，在用户抽取较大数据量时，可设置多线程并发抽取。
功能简介：1、在“系统选项 > 查询设置”界面增加“数据抽取时每次读取数据条数（JDBC Fetchsize）”设置项。用于设置一次从数据库读取的数据条数，执行抽取时直接从缓存中读取，提高抽取效率。
...
