页面树结构
转至元数据结尾
转至元数据起始

高速缓存库支持下面几种数据库:

  • SmartbiMpp,是由广州思迈特软件有限公司研发的高速缓存库
  • Presto+Hive
  • 星环
  • Vertica
  • Infobright

采购高速缓存MPP模块后,可以根据实际情况选择以上几种数据库中的一种作为高速缓存库,如果未采购高速缓存MPP则只能使用Infobright作为高速缓存库。

高速缓存库在Smartbi中到配置方法如下:

操作入口

1.启动服务器,在浏览器输入Smartbi地址,进行登录;

2.输入用户名密码,登录平台;

3.在“系统导航栏”选择 数据连接,在“资源目录区”的高速缓存库更多操作,选择 打开,或双击 高速缓存库,进入“高速缓存库”界面;

4.根据实际使用的数据库,修改为相应链接,连接详情请参见 各数据库的连接详情

5.点击保存,保存配置。

界面介绍

“高速缓存库”界面如下:

各数据库的连接详情

数据库类型配置说明
Infobright
Presto+Hive

presto使用注意

1、Presto执行多表关联查询时,会把多表拆分成多个执行计划执行,这样会影响查询效率。因此Presto不适合执行的多表关联场景有:将一个多表关联的动态SQL与另一个数据源的底表SQL进行跨库拼接查询。

2、Presto的关联机制:Presto会默认执行广播式的JOIN操作,会将左表拆分到几个工作节点上,然后发送整个右表分别到已拆分好的处理左表的工作节点上,如果右表非常大就会超出工作节点的内存限制,进而出错。因此,需要把数据量大的表放在左表才能保证查询正常。

3、3、presto+hive作为高速缓存库时,若hive设置了用户名密码,那么presto的配置中就需使用https证书(证书需根据服务器生成),因此跨库联合数据源中的连接字符串中需要手动添加https证书的映射参数

SmartbiMpp

SmartbiMpp V18.5及以下版本,关联条件存在同名字段的情况下,Smartbi V9.5会出现查询关联数据不准的问题,Smartbi V9.7及以上版本则会不支持抛出SQL错误。

若使SmartbiMpp V18.5及以下版本作为高速缓存库并且在自助数据集中进行多表关联使用同名字段时出现查询数据异常的问题,则可通过以下方案解决:

① 将SmartbiMpp升级到V18.6及以上版本;

② 在第二个表上添加一个同名的计算字段作为该表的关联条件。A表、B表存在同名字段,两表需要设置表连接,若A表使用了该字段作为关联条件,那么B就不能使用,需要在B表上新建同名的计算字段,然后使用该计算字段作为B表的关联条件进行关联。

Vertica
星环

星环服务器配置详情请参见 星环客户端配置 内容。

添加JDBC驱动详情请参见 Smartbi添加星环JDBC驱动 内容。

星环客户端配置

1、使用谷歌浏览器打开星环的网页管理控制台,选择 管理 > 下载客户端。如下图所示:

2、上传客户端:把上一步下载的星环客户端上传到星环服务器上;

3、通过如下DOS命令解压缩并编辑文件:

# tar -xvf tdh-client.tar

# cd TDH-Client

# source init.sh

编辑init.sh,屏蔽上图红色方框中的所有输出信息,在以下各行开始前加#号:

#echo "Already have all hostname in TDH Cluster."

#echo "Now change zkCli.sh to zookeeper-client"

#echo "Change zkCli.sh to zookeeper-client done"

#sed -i 's/HBASE_CONF_DIR=\/etc/HBASE_CONF_DIR=${HBASE_CONF_DIR}:\/etc/g' $HBASE_CONF_DIR/hbase-env.sh

#sed -i 's/HADOOP_CONF_DIR=\/etc/HADOOP_CONF_DIR=${HADOOP_CONF_DIR}:\/etc/g' $HBASE_CONF_DIR/hbase-env.sh

#sed -i 's/HBASE_CLASSPATH=\/etc/HBASE_CLASSPATH=${HBASE_CLASSPATH}:\/etc/g' $HBASE_CONF_DIR/hbase-env.sh

#sed -i 's/HADOOP_MAPRED_HOME=\/usr/HADOOP_MAPRED_HOME=${HADOOP_MAPRED_HOME}:\/usr/g' $HBASE_CONF_DIR/hbase-env.sh

#echo "Init done!"

在/root/.bashrc最后一行(确保ssh登录进来时能执行到这个配置文件),添加:

source <TDH-Client>/init.sh

让配置生效:

# source /root/.bashrc

如果星环服务器开启了Guardian安全验证,还需要增加如下的配置:

打开浏览器,按照第一节的方法登陆星环的管理控制台;

选择 管理 > Guardian

 



点击Guardian Server的Link,浏览器会跳转到Guardian 的管理平台,输入账号密码登录;

 

进入管理平台后,点击租户下载keytab。选择对应的用户,点击确定下载keytab。此处以admin用户作为演示。

 


上传刚刚下载的keytab文件到<TDH-Client>目录。

在/root/.bashrc最后一行添加(admin为用户名,根据实际情况替换)

kinit admin -kt  <TDH-Client>/keytab


让配置生效:

# source /root/.bashrc


配置完成后,可以在安装星环客户端的服务器上执行sftp root@<服务器IP地址>,输入密码后,如果能正常登录,则说明配置成功。


Smartbi添加星环JDBC驱动

1、使用谷歌浏览器打开星环的网页管理控制台,登陆以后,点击Inceptor1。 如下图所示:

2、点击右上角的 更多操作 > 下载JDBC驱动。

3、添加JDBC驱动到Smartbi:复制上一步下载的星环的jdbc驱动到Smartbi的动态链接库目<dynamicLibraryPath>/XINGHUAN的目录下。


  • 无标签