我想用Spark 搭建一个实时的大数据分析处理平台,用户前端发请求,根据不同的请求内容,后台spark 进行相应计算,然后把计算好的结果发送给前端进行展示。
我已经写好了一个版本是 Spark + Play框架 + scala 写的,但是只能设置成standalone 模式才能用(local),发挥不了Spark 分布式的优势。
目前我配置好了一个spark集群,是四台机器,理论上可以加速不少。但是我在网上查了好多 play 和 spark 集群集成的解决方案,貌似都讲的不太清楚。
所以我想知道目前业内基于Spark 的应用是如何构建的,开发框架如何向spark 发送计算请求呢?(我还没工作)
Git 上目前有几个开源的, Spark Server 和 Spark Job Server, 这两个怎么样呢? 适合我的开发吗?谢谢。
我已经写好了一个版本是 Spark + Play框架 + scala 写的,但是只能设置成standalone 模式才能用(local),发挥不了Spark 分布式的优势。
目前我配置好了一个spark集群,是四台机器,理论上可以加速不少。但是我在网上查了好多 play 和 spark 集群集成的解决方案,貌似都讲的不太清楚。
所以我想知道目前业内基于Spark 的应用是如何构建的,开发框架如何向spark 发送计算请求呢?(我还没工作)
Git 上目前有几个开源的, Spark Server 和 Spark Job Server, 这两个怎么样呢? 适合我的开发吗?谢谢。
解决方案 »
- OpenStack和Open vswtich直接通信机制是怎么样的呢??
- 推荐两篇外文译文,非常受益!
- keystone-manage db_sync貌似是python环境的问题,大神给看看
- openstack H版本创建虚拟机时出现错误
- 公司台式电脑mac地址突然改变了,还导致一小段时间不能上网,然后网络又自动连上了
- configure: error: png.h not found.
- intellij idea 远程提交任务到集群问题?
- docker如何下载centos映像
- 求助:华为云PaaS有哪些服务
- docker php或python环境,运行py或php程序,可以访问宿主东西吗?
- 【暖春三月,注册有礼】免费注册融云,多重好礼等你来拿!
- 华为云这次的开年大促,有哪些“不一样”的味道?
我这边用的是SpringBoot,编写RESTful API,前端页面调用这些API即可。
①前端调用API,向后端持久化的Spark发送计算请求
②Spark接收请求 ,并完成请求,小数据集结果一般直接通过 .toJSON().collect() 以JSON字符串的形式返回给前端
③前端接收结果,解析JSON,展示。