0


大数据Doris(三十九):Spark Load 注意事项

Spark Load 注意事项

1、现在Spark load 还不支持 Doris 表字段是String类型的导入,如果你的表字段有String类型的请改成varchar类型,不然会导入失败,提示 type:ETL_QUALITY_UNSATISFIED; msg:quality not good enough to cancel

2、使用Spark Load 时没有在 spark 客户端的 spark-env.sh 配置 HADOOP_CONF_DIR 环境变量,会报 When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. 错误。

3、使用Spark Load时spark_home_default_dir配置项没有指定spark客户端根目录,提交Spark job 时用到 spark-submit 命令,如果 spark_home_default_dir 设置错误,会报 Cannot run program "xxx/bin/spark-submit": e

标签: spark 大数据 hadoop

本文转载自: https://blog.csdn.net/xiaoweite1/article/details/131154236
版权归原作者 Lansonli 所有, 如有侵权,请联系我们删除。

“大数据Doris(三十九):Spark Load 注意事项”的评论:

还没有评论