0


Hadoop伪分布式搭建、Hive搭建

#Hadoop搭建#

#关闭防火墙

若不关闭可能导致hadoop模块受损

systemctl stop firewallld
systemctl disable firewalld

#配置ssh免密

ssh-ketgen -t rsa

连续点击enter,如图:

接着输入:

ssh-copy-id ip(虚拟机ip)

ssh免密配置成功

进入/usr/local的文件目录中

cd /usr/local

#安装JDK、Hadoop

通过xftp上传jdk-linux包和hadoop包,可以通过连接下载

http://链接:https://pan.baidu.com/s/1R2MzGA-PTqqsWnsUyYmSpg?pwd=4444 提取码:4444

解压JDK包和Hadoop包

tar -zxvf jdk-8u411-linux-x64.tar.gz 
tar -zxvf hadoop-3.2.4.tar.gz

解压后修改JDK文件名

mv jdk1.8.0_411 jdk1.8.0

配置jdk和hadoop环境变量:

vi /etc/profile

进入profile后,到文件最后添加环境变量:

export JAVA_HOME=/usr/local/jdk1.8.0
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/hadoop-3.2.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

最后使环境变量生效:

source /etc/profile

通过以下命令查看JDK和Hadoop是否生效:

java -version
hadoop version

#配置hadoop文件

1、配置hadoop-env.sh

进入文件

vi hadoop-env.sh

如图所示,在图中位置,输入以下配置:

export JAVA_HOME=/usr/local/jdk1.8.0
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

2、配置core-site.xml

进入文件

vi core-site.sh

在文件末尾添加配置文件内容(涉及到ip的地方均需改为自己虚拟机ip):

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://10.42.3.243:8020</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-3.2.4/tmp</value>
  </property>
</configuration>

3、配置hdfs-site.xml

进入文件

vi hdfs-site.sh

在文件末尾添加配置文件内容,为了防止虚拟机意外关闭导致开启安全模式,还添加了一组文件(涉及到ip的地方均需改为自己虚拟机ip):

<configuration>
  <property>
    <name>dfs.namenode.http-address</name>
    <value>192.168.154.128:9870</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>192.168.154.128:9868</value>
  </property>
  <property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
  </property>
  <property>
  <name>dfs.safemode.threshold.pct</name>
  <value>0.999f</value>
  <description>
    Specifies the percentage of blocks that should satisfy
    the minimal replication requirement defined by dfs.replication.min.
    Values less than or equal to 0 mean not to wait for any particular
    percentage of blocks before exiting safemode.
    Values greater than 1 will make safe mode permanent.
  </description>
</property>
</configuration>

至此Hadoop配置结束

进行格式化:

hadoop namenode -format

启动服务:

start-dfs.sh

通过jps检查是否配置成功,结果如图所示:

jps

hadoop伪分布式搭建完成!!!!

#Hive搭建

#安装mysql

#mysql安装

返回/usr/local文件目录:

cd /usr/local

依旧通过xtfp上传mysql和hive文件包,文件在上面的链接中都有

使用tar命令解压mysql和hive包:

tar -zxvf apache-hive-3.1.3-bin.tar.gz
tar -vxf mysql-5.7.44-1.el7.x86_64.rpm-bundle.tar

解压mysql后得到如图文件:

移除

mariadb-libs

rpm -e --nodeps mariadb-libs

依次安装文件:

rpm -ivh mysql-community-common-5.7.44-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.44-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.44-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.44-1.el7.x86_64.rpm --nodeps --force

结果如图所示:

#mysql配置

启动mysql服务

systemctl start mysqld

登录mysql

通过命令获取mysql初始密码:

grep 'password' /var/log/mysqld.log

登录mysql

mysql -uroot -p

如图所示:

修改密码并开启远程登录,如图所示:

#hive安装

解压后使用mv命令修改文件名称

mv apache-hive-3.1.3-bin hive-3.1.3

#配置hive环境变量

编辑profile文件:

vi /etc/profile

在hadoop环境变量后添加:

export HIVE_HOME=/usr/local/hive-3.1.3
export PATH=$PATH:$HIVE_HOME/bin

通过以下命令,是变量生效:

source /etc/profile

进入/usr/local/hive-3.1.3/conf文件目录

cd /usr/local/hive-3.1.3/conf

修改文件名称:

mv hive-env.sh.template hive-env.sh

编辑文件:

vi hive-env.sh

内容如图所示:

编辑hive-site.xml文件

vi hive-site.xml

输入以下内容:

<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.154.128:3306/hive?createDatabaseIfNotExist=true&amp;useSSl=false&amp;characterEncoding=utf8</value>
 </property>
 <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
 </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
  </property>
  <property>
    <name>hive.cli.print.header</name>
    <value>true</value>
  </property>
  <property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
  </property>
  <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
  </property>
</configuration>

上传Mysql驱动jar包到hive的lib目录,如图:

初始化

schematool -dbType mysql -initSchema

出现图中结果即成功:

输入hive启动hive

标签: hadoop hive 大数据

本文转载自: https://blog.csdn.net/weixin_62263619/article/details/140022628
版权归原作者 梦℡558 所有, 如有侵权,请联系我们删除。

“Hadoop伪分布式搭建、Hive搭建”的评论:

还没有评论