需求 Kafka + SparkStreaming + HBase
解决方案 »
- 在配identity的时候遇到了问题,求解决方法
- CF手动多节点部署教程
- 提问:Microsoft SQL Server RDS ----在“creating”的时候卡住了
- 请教用AWS的C++版SDK开发所遇到的问题,在线等!
- 如何在代码中通过API监控Hadoop、Spark任务的进度和结果?
- NoClassDefFoundError: org/apache/spark/SparkConf
- spark如何统计同ip下的所有id
- linux小白搭建yum仓库报错
- ec2亚马逊云实例除了22端口可正常访问其他端口均不能访问
- 关于vcenter和vsphere web client
- 大数据用greenplum多吗?
- spark进行聚类分析,求知道思路
开发kafka可以使用KafkaUtils的createDirectStream和createStream类加载数据流
然后通过数据流的foreachRDD获取RDD,利用rdd的mapPartitions类来将kafka数据写入HBase,注意mapPartitions需要collect才会真正执行