【大数据开发】报错汇总

Hadoop

Attempting to operate on hdfs namenode as root

HDfs客户端报错

(31条消息) 两种解决ERROR: Attempting to operate on hdfs namenode as root的方法_世幻水的博客-CSDN博客

报错：

jps后没有namenode

解决

删除data logs 重新初始化namenode

Hive

报错

Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

原因

hive和hadoop里的 guava.jar版本不一样

解决

cd /opt/module/hive-3.1.1/lib
ll |gerp guava

cd /opt/module/hadoop-3.1.3/share/hadoop/common/lib
ll |grep guava

比较两个guava-*-jre.jar的版本

rm guava-低版本的.jar
cp 高版本的 低版本的文件目录加guava-高版本的.jar

报错

Caused by:org.apache.hadoop.ipc. RemoteException (org.apache.hadoop.hdfs.server.namenode.SafeModeExcepti

on):Cannot create directory /tmp/hive. Name node is in safe mode

原因

NameNode 处于安全模式 ，对于客户端是only-read。

NameNode启动时，将镜像文件fsimage载入内存，并执行**

编辑日志edits log

中的所有操作，从而建立完整的元数据metadata**。

满足

**最小副本条件**（配置项**minimal replication condition**决定）

，NameNode 将会在

随后（默认30s，配置项**dfs.namenode.safemode.extension**）

自动退出safemode。

NameNode 处于安全模式有两种情况：

1. NameNode启动前30s.

2. 不满足最小副本条件。

参数：
属性名称数据类型默认值说明dfs.namenode.replication.minint1成功执行写操作所需要创建的最小副本数目（也称为最小副本级别）dfs.namenode.safemode.threshold-pctfloat0.999在namenode退出安全模式之前，系统中满足最小副本级别（dfs.namenode.replication.min定义）的块的比例。将这项值设为0或更小会令namenode无法启动安全模式；设为高于1则永远不会退出安全模式dfs.namenode.safemode.extensionint30000在满足最小副本条件（由dfs.namenode.safemode.threshold-pct定义）之后，namenode还需要处于安全模式的时间（以毫秒为单位）。对于小型集群（几十个节点）来说，这项值可以设为0
解决

等待30s后，再启动Hive;

如果不行可以强制退出

# hdfs：可执行命令
# dfsadmin：运行一个dfs admin client
# -safemode：参数，安全模式
# get：参数，是否安全模式（on表示是，off表示否）
# enter：参数，进入安全模式
# leave：参数，离开安全模式

hdfs dfsadmin -safemode get    # NameNode是否出于安全模式

hdfs dfsadmin -safemode enter    # 进入安全模式

hdfs dfsadmin -safemode leave    # 离开安全模式

Spark

ERROR --[main]org.apache.hadoop.util.Shell(line:303):Failed to locate the winutils binary in the hadoop binary path

java.io.IOException:Could not locate executable null\bin\winutils.exe in the Hadoop binaries

原因：在windows 系统下没有找到Hadoop相关服务。

解决：在idea中配置HADOOP_HOME环境变量

来源：

启动 hive 报错：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeE... - 简书 (jianshu.com)

尚硅谷