spark jar 读取hdfs文件错误

Question

Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 4 times, most recent failure: Lost task 0.3 in stage 0.0 (TID 3, 10.10.10.154): org.apache.hadoop.HadoopIllegalArgumentException: The short-circuit local reads feature is enabled but dfs.domain.socket.path is not set.
Caused by: org.apache.hadoop.HadoopIllegalArgumentException: The short-circuit local reads feature is enabled but dfs.domain.socket.path is not set.求解决办法

Answer 1

普通的wordcount案例,IntelliJ idea写的打包成jar 使用bin/spark-submit \
--class WCount \
--master spark://is-nn-01:8888 \
--name wordcountByScala \
--executor-memory 1G \
--total-executor-cores 2 \
/spark_test/WordCount.jar  \
hdfs://is-nn-01:8020/spark_test/tst.txt提交后提示警告

Answer 2

hdfs-site.xml中
  <property>
    <name>dfs.domain.socket.path</name>
    <value>/var/run/hdfs-sockets/dn</value>
  </property>
已经设置过了
但是路径中的dn文件无法打开，与这个有关系吗？
如果有关，那么正常的dn文件应该是什么内容？长什么样啊？

Answer 3

worker节点是否配置dfs.domain.socket.path

Answer 4

spark-submit 有个参数 --properties-file File Path to a file from which to load extra properties. If not specified, this will look for conf/spark-defaults.conf. 机器上将这个文件注释成temp了，系统无法查看参数，导致出现上述问题