页面历史

Smartbi MPP 高速缓存库，列式数据库管理系统，用于抽取数据。

安装指南

1、系统环境要求

2、安装介质装备

 SmartbiMPP 介质

• CentOS6.X/Redhat6.x

• CentOS7.X/Redhat7.x

3、设置系统环境

3.1 取消打开文件数限制

在/etc/security/limits.conf 文件的末尾加入以下内容：文件的末尾加入以下内容(注意： * 不能省略)：

* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

在/etc/sysctl.conf中，添加以下内容：

fs.inotify.max_user_watches=524288 
fs.inotify.max_user_instances=8192 

  保存后，执行以下命令让设置生效

sudo sysctl -p /etc/sysctl.conf

3.2 取消SELINUX

#临时关闭selinux
setenforce 0
#永久关闭Selinux，需要重启服务器生效
sed -i 's/=enforcing/=disabled/g'  /etc/selinux/config

3.3 关闭防火墙

1）CentOS 6.X/Redhat 6.X

service iptables stop
service ip6tables stop
chkconfig iptables off
chkconfig ip6tables off

2）CentOS 7.X/Redhat 7.X

systemctl stop firewalld 
systemctl disable firewalld 
systemctl status firewalld 

3.4开启防火墙

如果需要开启防火墙，则需要开放smartbi-mpp服务使用到的端口：

开启端口：9000、8123

firewall-cmd --permanent --add-port=9000/tcp
firewall-cmd --permanent --add-port=8123/tcp

配置完以后重新加载firewalld，使配置生效

firewall-cmd --reload

查看防火墙的配置信息

firewall-cmd --list-all

4、安装SmartbiMPP

4.1 安装SmartbiMPP

安装过程中请根据实际提示信息安装依赖包。

rpm -ivh clickhouse-common-static-19.4.2.7-1.el7.x86_64.rpm
rpm -ivh clickhouse-server-common-19.4.2.7-1.el7.x86_64.rpm
rpm -ivh clickhouse-server-19.4.2.7-1.el7.x86_64.rpm
rpm -ivh clickhouse-client-19.4.2.7-1.el7.x86_64.rpm

4.2 SmartbiMPP的配置文件

SmartbiMPP配置文件：/etc/clickhouse-server/config.xml

SmartbiMPP用户配置文件：/etc/clickhouse-server/users.xml

4.3 日志文件存放路径

修改的配置文件/etc/clickhouse-server/config.xml，可以配置mpp的日志存放路径。

4.4 修改默认端口

8123是JDBC驱动的连接端口。

9000是clickhouse-client的连接端口。

一般不建议修改端口配置。

4.5 修改数据目录

在服务器上新建一个目录用来存储SMARTBIMPP的数据文件。

根据实际情况（找一个磁盘空间比较大的存储路径），修改的配置文件/etc/clickhouse-server/config.xml，修改之后的内容如下：

4.6 开启远程访问权限

修改的配置文件/etc/clickhouse-server/config.xml，放开注释即可。IPV4地址和IPV6地址只能配置一个，否则会出现端口冲突的报错。

“：：”相当于IPV4地址的“0.0.0.0”，如果服务器不支持IPV6，则开启0.0.0.0的配置。

4.7 修改SMARTBIMPP内存设置

修改配置文件/etc/clickhouse-server/users.xml，单位是Byte，默认值是10G。根据实际情况配置内存值：

4.8 设置用户密码

修改配置文件/etc/clickhouse-server/users.xml，修改之后的内容如下：

方法一：设置明文密码。

方法二：设置加密密码（sha256sum加密）。

1）执行下面命令生成密码：

echo -n "manager" | sha256sum | tr -d '-'

2）设置密码：

4.9 启动SMARTBIMPP

systemctl start clickhouse-server

使用指南

1、运维操作

#停止服务
systemctl stop clickhouse-server
#查看服务状态
systemctl status clickhouse-server
#设置开机自启
systemctl enable clickhouse-server

2、上手教程

2.1 命令行登录

# 用clickhouse-client连接本机clickhouse-server服务器
clickhouse-client

# 用本机clickhouse-client连接远程clickhouse-server服务器
clickhouse-client --host 192.168.3.54 --port 9000 --database default --user default --password manager

2.2  建表语句

ENGINE：是表的引擎类型，最常用的MergeTree。还有一个Log引擎也是比较常用。MergeTree要求有一个日期字段，还有主键。Log没有这个限制。

CREATE TABLE code_province(
    state_province        String,
    province_name         String,
    create_date           date
) ENGINE =
MergeTree(create_date, (state_province), 8192);

------------------------------------------------------------------------
CREATE TABLE code_province(
    state_province        String,
    province_name         String,
    create_date           date
) ENGINE = Log;
 

create_date：是表的日期字段，一个表必须要有一个日期字段。

State_province：是表的主键，主键可以有多个字段，每个字段用逗号分隔。

8192：是索引粒度，用默认值8192即可。

2.3 数据加载

-----------导入CSV文件---------------


clickhouse-client --query "INSERT INTO default.code_province FORMAT CSV" < code_province.csv

3、数据备份

1、停止服务 service clickhouse-server stop 
2、备份SMARTBIMPP的整个数据目录即可。数据目录可在/etc/clickhouse-server/config.xml文件中查看。

4、常见问题

遇到SmartbiMPP启动失败的时候，一般都可以根据日志来分析问题。

默认错误日志文件：/var/log/clickhouse-server/clickhouse-server.err.log。

如果修改了日志路径，请根据实际配置路径查找错误日志。

系统不支持ipv6。

日志报错情况如下图所示。手工修改/etc/clickhouse-server/config.xml的监听地址，屏蔽：：和：：1的IPV6监听配置。

问题：如下图所示，如果使用service clickhouse-server start启动SmartbiMPP，提示UNKNOWN。此时SmartbiMPP启动失败。但是查看/var/log/clickhouse-server/clickhouse-server.err.log又没有日志输出。

原因：/var/log/clickhouse-server/目录的日志文件不是clickhouse用户权限，所以启动SmartbiMPP时，没权限写日志导致启动失败。

处理方法：给日志目录赋予clickhouse的权限

sudo chown -R clickhouse:clickhouse /var/log/clickhouse-server

sudo service clickhouse-server start

5、调试方法

有时可能会出现SmartbiMPP启动失败，但是又没有日志的情况，可以使用如下命令启动SmartbiMPP，在前端获取启动日志分析问题。

使用指定配置文件启动SmartbiMPP
# sudo -u clickhouse clickhouse-server --config-file=/etc/clickhouse-server/config.xml