求助 一个spark streaming 的问题 在 spark streaming 中我通过 kafka获取数据,(这个部分已经ok)然后需要和 数据库中的数据进行比较 ,这个数据需要读到内存中,不然每条数据 查库 效率太低然后缓存每 8条数据进行进行统计目前没有什么思路 ,请大神指点一下 解决方案 » 免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货 数据库可以写一个socket sender和你流的时间间隔相同的频率去对数据库进行查询,然后把socket和kafka的流join起来,就可以进行比较了。但不能说多少条就执行一个batch,只能按时间区间或者窗口滑动 可以用redis来做缓存 ,存储搭 ,查询速度也快 可以用redis来做缓存 ,存储大 ,查询速度也比较快 可不可以启动sparkstreaming监听前先把数据一次性load进来内存呢,再去做Kfaka的读取和数据的比较。 openstack配置时提示需要两张网卡,但电脑只有一张网卡怎么办啊? 软通动力面试题 本地YUM源部署Icehouse问题 系列2 安装好的openstack上配置的主机不能访问到外部网络,但是外部网络通过浮动ip确可以访问该主机? 学云计算需要哪些基础,需要学python吗? AWS 是业务流程管理开发平台AWS Enterprise BPM Platform 业务流程管理开发平台 vmware求学习! 关于阿里云端口映射问题 有什么方式能让java后台程序直接调用spark,并且直接收到spark计算后的返回值? 我能把一个区域的ec2迁移到另外一个区域里吗? Hbase SingleColumnValueFilter条件查询 docker push 到dockerhub 报错
解决方案 »
免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货