在local模式下可以正常运行,放到集群中就出现如下错误:
Exception in thread "main" java.lang.NullPointerException
at com.quell.spark.pdfData$.main(pdfData.scala:27)
at com.quell.spark.pdfData.main(pdfData.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:731)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)程序部分如下:错误:while (i < tempList.length) 个人看不出这个问题所在,求大牛相助
Exception in thread "main" java.lang.NullPointerException
at com.quell.spark.pdfData$.main(pdfData.scala:27)
at com.quell.spark.pdfData.main(pdfData.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:731)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)程序部分如下:错误:while (i < tempList.length) 个人看不出这个问题所在,求大牛相助
解决方案 »
- IaaS环境中是否可以构建分布式应用?
- openstack instance无法得到IP
- 各位大神,我想利用Spark MLlib库中的SVM方法对一组img图像进行分类,该怎么实现,麻烦知道的大神指教一下,非常感谢
- 利用hadoop怎样实现百度云类似云存储
- spark如何在一个进程中启动多个sparkContent,并保持稳定?
- 请教下各位大神 我在用aws s3 bucket~我想让bucket下的文件上传后可以在公网访问~ 但是我开放后访问一直是401.。unauthorized~~
- 求 云存储 实例!!
- spark加载使用第三方动态库.so文件
- 求大神指教 用jdbc连接hive的时候 用select count(*)就报错
- 请问 aws有没有类似Quartz这种的计划任务服务呢?
- docker 容器中systemctl不能运行
- 使用cdh5.8.3安装完spark之后,发现spark角色类型Gateway显示的状态为“不适用”,请问正常吗
好像是这样的
val fs = fileSystem.listStatus(new Path(path))
val listPath = FileUtil.stat2Paths(fs)