Hadoop伪分布式搭建、Hive搭建

#Hadoop搭建#

#关闭防火墙

若不关闭可能导致hadoop模块受损

systemctl stop firewallld
systemctl disable firewalld

#配置ssh免密

ssh-ketgen -t rsa

连续点击enter，如图：

接着输入：

ssh-copy-id ip（虚拟机ip）

ssh免密配置成功

进入/usr/local的文件目录中

cd /usr/local

#安装JDK、Hadoop

通过xftp上传jdk-linux包和hadoop包，可以通过连接下载

http://链接：https://pan.baidu.com/s/1R2MzGA-PTqqsWnsUyYmSpg?pwd=4444 提取码：4444

解压JDK包和Hadoop包

tar -zxvf jdk-8u411-linux-x64.tar.gz 
tar -zxvf hadoop-3.2.4.tar.gz

解压后修改JDK文件名

mv jdk1.8.0_411 jdk1.8.0

配置jdk和hadoop环境变量：

vi /etc/profile

进入profile后，到文件最后添加环境变量：

export JAVA_HOME=/usr/local/jdk1.8.0
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/hadoop-3.2.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

最后使环境变量生效：

source /etc/profile

通过以下命令查看JDK和Hadoop是否生效：

java -version
hadoop version

#配置hadoop文件

1、配置hadoop-env.sh

进入文件

vi hadoop-env.sh

如图所示，在图中位置，输入以下配置：

export JAVA_HOME=/usr/local/jdk1.8.0
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

2、配置core-site.xml

进入文件

vi core-site.sh

在文件末尾添加配置文件内容（涉及到ip的地方均需改为自己虚拟机ip）：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://10.42.3.243:8020</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-3.2.4/tmp</value>
  </property>
</configuration>

3、配置hdfs-site.xml

进入文件

vi hdfs-site.sh

在文件末尾添加配置文件内容，为了防止虚拟机意外关闭导致开启安全模式,还添加了一组文件（涉及到ip的地方均需改为自己虚拟机ip）：

<configuration>
  <property>
    <name>dfs.namenode.http-address</name>
    <value>192.168.154.128:9870</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>192.168.154.128:9868</value>
  </property>
  <property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
  </property>
  <property>
  <name>dfs.safemode.threshold.pct</name>
  <value>0.999f</value>
  <description>
    Specifies the percentage of blocks that should satisfy
    the minimal replication requirement defined by dfs.replication.min.
    Values less than or equal to 0 mean not to wait for any particular
    percentage of blocks before exiting safemode.
    Values greater than 1 will make safe mode permanent.
  </description>
</property>
</configuration>

至此Hadoop配置结束

进行格式化：

hadoop namenode -format

启动服务：

start-dfs.sh

通过jps检查是否配置成功，结果如图所示：

jps

hadoop伪分布式搭建完成！！！！

#Hive搭建

#安装mysql

#mysql安装

返回/usr/local文件目录：

cd /usr/local

依旧通过xtfp上传mysql和hive文件包，文件在上面的链接中都有

使用tar命令解压mysql和hive包：

tar -zxvf apache-hive-3.1.3-bin.tar.gz
tar -vxf mysql-5.7.44-1.el7.x86_64.rpm-bundle.tar

解压mysql后得到如图文件：

移除

mariadb-libs

包

rpm -e --nodeps mariadb-libs

依次安装文件：

rpm -ivh mysql-community-common-5.7.44-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-5.7.44-1.el7.x86_64.rpm

rpm -ivh mysql-community-client-5.7.44-1.el7.x86_64.rpm

rpm -ivh mysql-community-server-5.7.44-1.el7.x86_64.rpm --nodeps --force

结果如图所示：

#mysql配置

启动mysql服务

systemctl start mysqld

登录mysql

通过命令获取mysql初始密码：

grep 'password' /var/log/mysqld.log

登录mysql

mysql -uroot -p

如图所示：

修改密码并开启远程登录，如图所示：

#hive安装

解压后使用mv命令修改文件名称

mv apache-hive-3.1.3-bin hive-3.1.3

#配置hive环境变量

编辑profile文件：

vi /etc/profile

在hadoop环境变量后添加：

export HIVE_HOME=/usr/local/hive-3.1.3
export PATH=$PATH:$HIVE_HOME/bin

通过以下命令，是变量生效：

source /etc/profile

进入/usr/local/hive-3.1.3/conf文件目录

cd /usr/local/hive-3.1.3/conf

修改文件名称：

mv hive-env.sh.template hive-env.sh

编辑文件：

vi hive-env.sh

内容如图所示：

编辑hive-site.xml文件

vi hive-site.xml

输入以下内容：

<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.154.128:3306/hive?createDatabaseIfNotExist=true&amp;useSSl=false&amp;characterEncoding=utf8</value>
 </property>
 <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
 </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
  </property>
  <property>
    <name>hive.cli.print.header</name>
    <value>true</value>
  </property>
  <property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
  </property>
  <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
  </property>
</configuration>

上传Mysql驱动jar包到hive的lib目录，如图：

初始化

schematool -dbType mysql -initSchema

出现图中结果即成功：

输入hive启动hive