...
服务名称 | 简介 | 备注 |
---|---|---|
数据挖掘-实验引擎 | 负责接收smartbi 发送实验执行请求。 通过解析实验定义,生成spark 计算任务或python计算任务,分别发送给spark集群或python集群。 本身并不承担计算任务,只负责计算任务的调度跟分发。 | |
数据挖掘-服务引擎 | 提供模型预测服务给第三放系统调用 | |
Spark | 分布式计算平台,主要承担实验引擎发送过来的计算任务,其中Worker实例可以横向扩展 | |
Hadoop | 分布式系统基础平台,主要存储计算任务的中间结果数据。 | |
Python执行节点 | python 执行环境,主要承担实验引擎发送过来的python计算任务。 可以横向扩张,实验引擎会根据负责均衡策略把python计算任务分发到不同节点。 |
单机数据挖掘部署参考部署流程图:
操作系统推荐:
Linux操作系统平台 | 系统版本 |
---|---|
Red Hat Enterprise Linux | 推荐7.4 及以上 |
CentOS | 推荐7.4 及以上 |
...