...
| 组件 | CPU | 内存 | 硬盘 | 网络 | 备注 |
|---|---|---|---|---|---|
数据挖掘实验引擎 | 8核+ | 8G+ | 安装目录300G+ | 万兆网卡 | 如果资源紧张，可以跟服务引擎在同台机器 |
数据挖掘服务引擎 | 8核+ | 8G+ | 安装目录300G+ | 万兆网卡 | 如果资源紧张，可以跟实验引擎在同台机器 |
Spark master | 8核+ | 8G+ | 安装目录300G+ | 万兆网卡 | 如果资源紧张，可以跟其中一台Spark worker同一台机器 |
Spark worker | 16核+ | 32G+ | 1T+ | 万兆网卡 | 承担计算任务 |
Hadoop namenode | 2核+ | 2G+ | 安装目录300G+ | 万兆网卡 | 如果资源紧张，CPU不做特别要求，可以部署在spark机器中 |
Hadoop datanode | 2核+ | 2G+ | 1T+ | 万兆网卡 | 主要承担中间数据存储，如果资源紧张，CPU不做特别要求，可以部署在spark机器中 |
Python执行节点 | 16核+ | 32G+ | 1T+ | 万兆网卡 | 主要用于机器学习的DBSACN算法和自定义模块的python脚本扩展 如果没有用到这两个功能模块，可以不用部署python节点 强烈建议最好独立机器，避免资源争抢 |
| 注意 | ||
|---|---|---|
| ||
数据挖掘所有组件可以部署在同一台服务器，但不推荐，会导致服务器资源紧张，数据挖掘服务运行效率低的问题。 |
