用spark处理小规模数据是不是效率很低? 现在用spark处理一个几兆大小有大概1万条数据,每模拟一次就要遍历这1万条数据,现在要模拟10万次,耗时总共是2h,但是用单线程去模拟10万次只需要2分钟。是不是spark不适合处理这类情景下的算法? 解决方案 » 免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货 应该说spark更适合有迭代运算的场景 Spark更适合大规模数据 my presentation in hong kong openstack summit 2013 突发奇想,大家看看可行不可行~ Cloud Foundry参赛博文——以NATS为主线的CloudFoundry原理 spark 是否支持 hadoop cdh3u4 云计算机核心技术问题 Hadoop运行wordcount没有输出 docker run容器的时候/bin/bash到底在表达什么 单机查询mysql,再到spark上查询,这个逻辑该如何实现? spark2.x版本后,如何通过java在windows下将spark程序提交到yarn Vmware esxi 失败问题 按照多个字段分组统计的问题 有关使用spark进行数据处理的问题
解决方案 »
免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货