...
组件 | CPU | 内存 | 硬盘 | 网络 | 备注 |
---|---|---|---|---|---|
数据挖掘实验引擎 | 8核+ | 8G+ | 安装目录300G+ | 万兆网卡 | 如果资源紧张,可以跟服务引擎在同台机器 |
数据挖掘服务引擎 | 8核+ | 8G+ | 安装目录300G+ | 万兆网卡 | 如果资源紧张,可以跟实验引擎在同台机器 |
Spark master | 8核+ | 8G+ | 安装目录300G+ | 万兆网卡 | 如果资源紧张,可以跟其中一台Spark worker同一台机器 |
Spark worker | 16核+ | 32G+ | 1T+ | 万兆网卡 | 承担计算任务 |
Hadoop namenode | 2核+ | 2G+ | 安装目录300G+ | 万兆网卡 | 如果资源紧张,CPU不做特别要求,可以部署在spark集群机器中如果资源紧张,CPU不做特别要求,可以部署在spark机器中 |
Hadoop datanode | 2核+ | 2G+ | 1T+ | 万兆网卡 | 主要承担中间数据存储,如果资源紧张,CPU不做特别要求,可以部署在spark集群机器中主要承担中间数据存储,如果资源紧张,CPU不做特别要求,可以部署在spark机器中 |
Python执行节点 | 16核+ | 32G+ | 1T+ | 万兆网卡 | 主要用于机器学习的DBSACN算法和自定义模块的python脚本扩展 如果没有用到这两个功能模块,可以不用部署python节点 强烈建议最好独立机器,避免资源争抢 |
...