小白写了一个队号码活跃度评分的模型,在IDEA上跑是没有问题的,跑100条号码大概几十秒。但是一放到集群上面,代码便一直运行半小时左右,最后就运行失败,查看日志显示就是内存溢出。请问有大神遇到过这个问题吗?求解决,已经困惑两天了,以前练习mlib的时,里面有两个方法也存在这种问题,本地能跑,集群上内存溢出。
网上查看说浭水spark-defaults.conf里面的spark.driver.extraJavaOptions -XX:PermSize=128M -XX:MaxPermSize=256M ,我改了可还是错。
日志内容如下:
网上查看说浭水spark-defaults.conf里面的spark.driver.extraJavaOptions -XX:PermSize=128M -XX:MaxPermSize=256M ,我改了可还是错。
日志内容如下:
解决方案 »
- 我在安装Essex 版openstack 多节点时遇到不同计算节点的VM之间网络不通问题!
- 关于rabbitmq启动的问题。
- CloudFoundry中EventMachine的初步学习
- 客户端以源地址0.0.0.0 的ARP请求报文 发送到网络上, 网络将会发生什么,或者说回应什么??
- RAMCloud:内存云存储的内存分配机制
- 问:对于根设备,使用本地实例存储与使用 Amazon Elastic Block Storage (Amazon EBS) 有什么区别?
- 请教个问题,在VPC中,同一个subnet下,如何设置其它的instance通过同一个subnet下的某个NAT instance来访问internet?
- lucene索引文件存储在hadoop hdfs文件系统的疑问
- Spark如何Kill掉application
- spark on yarn:启动时候报错Error initializing SparkContext,求各位大神指教。
- 【有奖活动】请你来为私有云建设出谋划策?
- 请问大神,nginx.conf中有两段语法不知道是什么意思
另外你这是什么复杂模型?100条可以跑那么久考虑下优化代码吧