组件 | 要求 |
---|---|
操作系统 | 只支持 64位的Linux系统 建议:
|
CPU | 建议16核或以上 |
内存 | 建议64G或128G |
硬盘 | 建议固态硬盘或高速硬盘 空间大小2048G |
SmartbiMPP 介质
介质名称 |
clickhouse-client-19.4.2.7-1.el6.x86_64.rpm |
clickhouse-common-static-19.4.2.7-1.el6.x86_64.rpm |
clickhouse-server-19.4.2.7-1.el6.x86_64.rpm |
clickhouse-server-common-19.4.2.7-1.el6.x86_64.rpm |
介质名称 |
---|
clickhouse-client-19.4.2.7-1.el7.x86_64.rpm |
clickhouse-common-static-19.4.2.7-1.el7.x86_64.rpm |
clickhouse-server-19.4.2.7-1.el7.x86_64.rpm |
clickhouse-server-common-19.4.2.7-1.el7.x86_64.rpm |
在/etc/security/limits.conf 文件的末尾加入以下内容:
* soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 |
在/etc/sysctl.conf中,添加以下内容:
fs.inotify.max_user_watches=524288 fs.inotify.max_user_instances=8192 |
保存后,执行以下命令让设置生效
sudo sysctl -p /etc/sysctl.conf |
#临时关闭selinux setenforce 0 #永久关闭Selinux,需要重启服务器生效 sed -i 's/=enforcing/=disabled/g' /etc/selinux/config |
1)CentOS 6.X/Redhat 6.X
service iptables stop service ip6tables stop chkconfig iptables off chkconfig ip6tables off |
2)CentOS 7.X/Redhat 7.X
systemctl stop firewalld systemctl disable firewalld systemctl status firewalld |
相关服务及端口对照表
服务名 | 开放端口 |
smartbi-mpp | 9000,8123 |
如果确实需要打开防火墙安装,需要给防火墙放开以下需要使用到的端口
开启端口:9000、8123
firewall-cmd --permanent --add-port=9000/tcp firewall-cmd --permanent --add-port=8123/tcp |
配置完以后重新加载firewalld,使配置生效
firewall-cmd --reload |
查看防火墙的配置信息
firewall-cmd --list-all |
安装过程中请根据实际提示信息安装依赖包。
rpm -ivh clickhouse-common-static-19.4.2.7-1.el7.x86_64.rpm rpm -ivh clickhouse-server-common-19.4.2.7-1.el7.x86_64.rpm rpm -ivh clickhouse-server-19.4.2.7-1.el7.x86_64.rpm rpm -ivh clickhouse-client-19.4.2.7-1.el7.x86_64.rpm |
SmartbiMPP配置文件:/etc/clickhouse-server/config.xml
SmartbiMPP用户配置文件:/etc/clickhouse-server/users.xml
修改的配置文件/etc/clickhouse-server/config.xml,可以配置mpp的日志存放路径。
8123是JDBC驱动的连接端口。
9000是clickhouse-client的连接端口。
一般不建议修改端口配置。
在服务器上新建一个目录用来存储SMARTBIMPP的数据文件。
根据实际情况(找一个磁盘空间比较大的存储路径),修改的配置文件/etc/clickhouse-server/config.xml,修改之后的内容如下:
修改的配置文件/etc/clickhouse-server/config.xml,放开注释即可。IPV4地址和IPV6地址只能配置一个,否则会出现端口冲突的报错。
“::”相当于IPV4地址的“0.0.0.0”,如果服务器不支持IPV6,则开启0.0.0.0的配置。
修改配置文件/etc/clickhouse-server/users.xml,单位是Byte,默认值是10G。根据实际情况配置内存值:
修改配置文件/etc/clickhouse-server/users.xml,修改之后的内容如下:
方法一:设置明文密码。
方法二:设置加密密码(sha256sum加密)。
1)执行下面命令生成密码:
echo -n "manager" | sha256sum | tr -d '-' |
2)设置密码:
systemctl start clickhouse-server |
#停止服务 systemctl stop clickhouse-server #查看服务状态 systemctl status clickhouse-server #设置开机自启 systemctl enable clickhouse-server |
# 用clickhouse-client连接本机clickhouse-server服务器 clickhouse-client # 用本机clickhouse-client连接远程clickhouse-server服务器 clickhouse-client --host 192.168.3.54 --port 9000 --database default --user default --password manager |
ENGINE:是表的引擎类型,最常用的MergeTree。还有一个Log引擎也是比较常用。MergeTree要求有一个日期字段,还有主键。Log没有这个限制。
CREATE TABLE code_province( state_province String, province_name String, create_date date ) ENGINE = MergeTree(create_date, (state_province), 8192); ------------------------------------------------------------------------ CREATE TABLE code_province( state_province String, province_name String, create_date date ) ENGINE = Log; |
create_date:是表的日期字段,一个表必须要有一个日期字段。
State_province:是表的主键,主键可以有多个字段,每个字段用逗号分隔。
8192:是索引粒度,用默认值8192即可。
-----------导入CSV文件--------------- clickhouse-client --query "INSERT INTO default.code_province FORMAT CSV" < code_province.csv |
1、停止服务 service clickhouse-server stop
2、备份SMARTBIMPP的整个数据目录即可。数据目录可在/etc/clickhouse-server/config.xml文件中查看。
遇到SmartbiMPP启动失败的时候,一般都可以根据日志来分析问题。
默认错误日志文件:/var/log/clickhouse-server/clickhouse-server.err.log。
如果修改了日志路径,请根据实际配置路径查找错误日志。
系统不支持ipv6。
日志报错情况如下图所示。手工修改/etc/clickhouse-server/config.xml的监听地址,屏蔽::和::1的IPV6监听配置。
问题:如下图所示,如果使用service clickhouse-server start启动SmartbiMPP,提示UNKNOWN。此时SmartbiMPP启动失败。但是查看/var/log/clickhouse-server/clickhouse-server.err.log又没有日志输出。
原因:/var/log/clickhouse-server/目录的日志文件不是clickhouse用户权限,所以启动SmartbiMPP时,没权限写日志导致启动失败。
处理方法:给日志目录赋予clickhouse的权限
sudo chown -R clickhouse:clickhouse /var/log/clickhouse-server
sudo service clickhouse-server start
有时可能会出现SmartbiMPP启动失败,但是又没有日志的情况,可以使用如下命令启动SmartbiMPP,在前端获取启动日志分析问题。
使用指定配置文件启动SmartbiMPP # sudo -u clickhouse clickhouse-server --config-file=/etc/clickhouse-server/config.xml |