我的Hadoop集群配置如下:
master:机子性能非常好,内存8G,硬盘1T以上
4个slaves:全是差机子,内存只有2G,真正剩余的只有1G左右,硬盘500G主要看内存,master和slaves差别有点大,不知道这样的配置是不是非常不好,因为我实际测试起来效果不太理想,经常还出现“out of memory”的错误,我想问的是slave机子的性能需要和master一样好吗?master负责调度、资源分配等任务,需要好性能,而slaves只是负责执行程序,只要内存够执行程序应该就没问题吧?另外,我想让master也作为一个slave执行程序好不好呢(充分利用master机子的性能)。Hadoop初学者,诸多疑问,还请谅解。
master:机子性能非常好,内存8G,硬盘1T以上
4个slaves:全是差机子,内存只有2G,真正剩余的只有1G左右,硬盘500G主要看内存,master和slaves差别有点大,不知道这样的配置是不是非常不好,因为我实际测试起来效果不太理想,经常还出现“out of memory”的错误,我想问的是slave机子的性能需要和master一样好吗?master负责调度、资源分配等任务,需要好性能,而slaves只是负责执行程序,只要内存够执行程序应该就没问题吧?另外,我想让master也作为一个slave执行程序好不好呢(充分利用master机子的性能)。Hadoop初学者,诸多疑问,还请谅解。
解决方案 »
- 有关虚机迁移的问题
- 无法attach volume to instance
- 大神们~~淘宝看点击率的页面被和谐了!以前可以打开的,现在自动跳转了有办法吗??
- DOCKER_OPTS="/usr/bin/docker -b=br0" 这么写有问题吗,br0是我自定义的 一个网桥
- 单步跟踪时有没有办法能看RDD的内容?
- 是否amazon对免费的ec2有通信的限制?
- 访问自己公司的官网一直出现找不到服务器,其他网站都可以访问到
- 【华为云社区18年6月刊】社区“直播”栏目上线,“云视界”系列回放大派送 全球公有云编排服务哪家强?大比拼走一波
- 想进入财富2000强?至少你要有它来帮忙
- linux开机进不了单用户模式如何修改root密码
- 请教大家一个问题, ifconfig 命令改网卡的ip地址后,能否通知改arp缓存?
- docker的ubuntu容器中如何获取文件信息
比如namenode,resourceManager,datanode等.