sqoop1 导入数据 保存成parquet spark dataframe无法使用

Question

用sqoop1-1.4.5  -as-aprquet 将数据从MySQL 导入到hdfs  保存成parquet 但是spark 无法使用
保存 sqoop保存的文件不是parquet file

Answer 1

把sqoop命令贴上来看看

Answer 2

sqoop import --connect "jdbc:oracle:thin:@host:nettele" --username admin -P admin --split-by CUSTOMER_ID --query 'select * from db.table where createdate is not null and $CONDITIONS ' --target-dir /user/tkonline/test-parquet/ --num-mappers 6 --as-parquetfile

Answer 3

Spark的jdbcreader比sqoop好用多了。
放弃sqoop吧。。