小白写了一个队号码活跃度评分的模型,在IDEA上跑是没有问题的,跑100条号码大概几十秒。但是一放到集群上面,代码便一直运行半小时左右,最后就运行失败,查看日志显示就是内存溢出。请问有大神遇到过这个问题吗?求解决,已经困惑两天了,以前练习mlib的时,里面有两个方法也存在这种问题,本地能跑,集群上内存溢出。
网上查看说浭水spark-defaults.conf里面的spark.driver.extraJavaOptions -XX:PermSize=128M -XX:MaxPermSize=256M ,我改了可还是错。
日志内容如下:
网上查看说浭水spark-defaults.conf里面的spark.driver.extraJavaOptions -XX:PermSize=128M -XX:MaxPermSize=256M ,我改了可还是错。
日志内容如下:
解决方案 »
- swift上传文件提示“the volume 'sdb1' has only 135.2kb disk space remaining”
- 第一届OpenStack亚太技术大会_火热关注
- 【公告】做OpenStack发贴达人,赢CSDN下载频道VIP卡——获奖名单公布
- 求助:如何在federal上安装openstack
- 关于域名解析所需时间
- 云计算
- Spark webservice
- 我能把一个区域的ec2迁移到另外一个区域里吗?
- linux小白搭建yum仓库报错
- 新手问:ERP等业务系统适合部署到云上么?如何解决业务差异化问题
- 【有奖活动】请你来为私有云建设出谋划策?
- 请问大神,nginx.conf中有两段语法不知道是什么意思
另外你这是什么复杂模型?100条可以跑那么久考虑下优化代码吧