0
0

大数据linux基本环境准备（新手入门笔记）

1、linux常用命令：
1）重启和关机
shutdown -h now 关机
shutdown -h +15 15分钟后关机
shutdown -r now 马上重启 reboot一致
shutdown -r +15 15分钟后重启
2）切换账号
su root 切换到root管理员身份
3）防火墙管理
systemctl status firewalld 查看防火墙状态
systemctl stop firewalld 关闭防火墙
systemctl disable firewalld 禁用防火墙
systemctl start firewalld 启动防火墙
4）cd 进入到指定目录
cd / 根目录
cd ~ 回到当前用户的home目录
cd … 回到上级目录
5）ls 查看目录下内容
ls -l 列表形式列出
ls -a 显示所有包括隐藏（隐藏文件是.开头的）
说明：ls -l 后可以看到目录下列表的详细信息
-代表是文件 d代表是目录 l代表是链接文件
rwxrwxrwx 分别代表 属主权限/组权限/其他用户权限
6）chmod 修改文件（夹）权限命令
4代表读权限
2代表写权限
1代表执行权限
7代表所有权限
如： chmod 777 /opt/
7）mkdir 创建目录
mkdir /opt/test 就在/opt下新建test目录
mkdir -p /aaa/bbb/ccc
8）cp 复制文件
cp /etc/sysconfig/network-scripts/ifcfg-ens33 /opt/test
9）删除文件
rm /opt/test/ifcfg-ens33
rm -r 删除目录包括子文件
rm -f 不提示直接删除
10）scp远程拷贝（一会演示）
scp /opt/test/aaa.txt root@192.168.xx.xx/slave1:/opt/test
11）mv 移动某个文件（夹）或者修改名字
mv word.txt words.txt
mv /opt/test/word.txt /etc/word.txt
12）tar解压命令
tar -zxvf 压缩文件名 解压到当前目录
tar -zxvf 压缩文件名 -C /usr/local/src 解压文件到指定目录

13）编辑文件（vi或者vim）（vim需要安装后使用，有网络的情况下：yum -y install vim）
    vi 文件名   
      1）默认进入的是命令模式，输入 i a 进入编辑模式才能输入内容
      2）按ESC可以从编辑模式还原到命令模式
      3）命令模式：
         :wq   保存并退出
         :q    退出
         :q!   强制退出
         /xxx 查找指定内容
         gg 回到文件第一行
         G  到文件最后一行
         :行号  定位到第几行
         dd 删除一行
         yy 复制一行

14）kill 杀掉进程命令
    kill -9  进程id

2、Linux中网络配置：
1）桥接模式（虚拟机中的网卡地址需要和物理机网卡地址保持同一个网段，并且桥接网卡要设置好）
1> vmware中右键虚拟机–》设置–》网络–》桥接模式（勾选物理状态选项）
2> 在虚拟机中修改网卡配置文件：
vi /etc/sysconfig/network-scripts/ifcfg-ens33

    ONBOOT=yes——是否启动网络服务，ens33 生效。
    BOOTPROTO=static——是否自动获取 IP（none、static、dhcp）。dhcp是自动分配IP地址
    IPADDR=192.168.0.118——具体 IP 地址(和物理机网络同一个ip端)。
    NETMASK=255.255.255.0——子网掩码设置。
    GATEWAY=192.168.0.1——网关(和物理机网络同一个网关)
    DNS1=114.114.114.114——DNS。

    注：不建议，因为物理机网络切换的话，虚拟机中也要同步修改，否则无法互相连通

2）NAT模式
1> vmware中右键虚拟机–》设置–》网络–》NAT模式
2> 在虚拟机中修改网卡配置文件：
vi /etc/sysconfig/network-scripts/ifcfg-ens33

    ONBOOT=yes——是否启动网络服务，ens33 生效。
    BOOTPROTO=static——是否自动获取 IP（none、static、dhcp）。dhcp是自动分配IP地址
    IPADDR=192.168.XXX.118——具体 IP 地址(VMWare中虚拟网卡编辑器中Nat的网络段)。
    NETMASK=255.255.255.0——子网掩码设置。
    GATEWAY=192.168.XXX.2——网关(VMWare中虚拟网卡编辑器中Nat的网络段，一般是192.168.xx.2)
    DNS1=114.114.114.114——DNS。
    
3）修改完毕重启网络：
   1》 systemctl restart network
   2>  service network restart 
   
说明：如果还是不能互相ping通，则考虑是否防火墙未关闭。
后续还是ping不通，重新设置NAT模式网络

3、安装Xshell、安装Xftp工具访问centos

4、配置集群机器，将配置好网络的机器克隆2个出来，分别为slave1、slave2
1）将第一台网络配置好的机器克隆2个出来，然后分别修改ip地址
2）修改3台机器主机名（master、slave1、slave2）：
vi /etc/hostname

  hostnamectl set-hostname master 

3）修改3台机器的主机映射，通过主机名能够访问对应的机器
  vi /etc/hosts 
  
  192.168.44.101 master 
  192.168.44.102 slave1 
  192.168.44.103 slave2
  
  :wq修改并保存

4)可以将修改的文件远程拷贝至其他机器：
  scp /etc/hosts [email protected]:/etc/
  scp /etc/hosts [email protected]:/etc/

——————————————————————————————————————————————————————————————————
练习1：
1、3台机器的ip配置好，互通
2、3台机器主机名配置好，互通
3、安装xshell、xftp工具
4、然后在linux的/opt下新建test目录
5、将hive-site.xml通过xftp上传至该目录下
6、使用vim编辑该文件
1）yum -y install vim
2）vim 编辑hive-site.xml，修改内容如下：
ConnectionURL
DriverName
ConnectionUserName
ConnectionPassword
7）将该文件拷贝至另外两台机器的/opt目录下
——————————————————————————————————————————————————————————————————
5、SSH免密登录（后续hadoop需要登录到其他机器上启动进程）
1）产生秘钥 ssh-keygen -t rsa
2）发送秘钥到3台机器：
ssh-copy-id -i ~/.ssh/id_rsa.pub root@master
ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave1
ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave2
3）测试：
在master机器上使用： ssh slave1 确认是否登录成功并不需要密码

6、安装Jdk
1）卸载掉centos7自带的jdk（最好卸载掉）
java -version
rpm -qa | grep java

    rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64
    rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64
    rpm -e --nodeps java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64
    rpm -e --nodeps java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64

2）安装Jdk1.8
1）将jdk的tar.gz包上传到指定目录，如/opt/soft下
2）到/opt/soft下解压jdk的包导指定目录
tar -zxvf /opt/soft/jdk…tar.gz -C /usr/local/src/
3）进入/usr/local/src下修改jdk目录的名字：
mv jdk1.8.xxxx jdk
4）修改环境变量（让系统能够更好的识别到java的命令）
vim /etc/profile 所有账户都生效的环境变量文件
vim /root/.bash_profile 只针对root账户生效的环境变量文件

echo ‘export JAVA_HOME=/usr/local/src/jdk’ >> /etc/profile
echo ‘export PATH= 

     P 
    
   
     A 
    
   
     T 
    
   
     H 
    
   
     : 
    
   
  
    PATH: 
   
  
PATH:JAVA_HOME/bin’ >> /etc/profile

source /etc/profile

echo ‘export HADOOP_HOME=/usr/local/src/hadoop/’ >> /etc/profile
echo ‘export PATH= 

     P 
    
   
     A 
    
   
     T 
    
   
     H 
    
   
     : 
    
   
  
    PATH: 
   
  
PATH:HADOOP_HOME/bin’ >> /etc/profile

echo ‘export PATH= 

     P 
    
   
     A 
    
   
     T 
    
   
     H 
    
   
     : 
    
   
  
    PATH: 
   
  
PATH:HADOOP_HOME/sbin’ >> /etc/profile

source /etc/profile

echo “export JAVA_HOME=/usr/local/src/jdk” >> /usr/local/src/hadoop/etc/hadoop/yarn-env.sh
echo “export JAVA_HOME=/usr/local/src/jdk” >> /usr/local/src/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/src/jdk
export PATH=$PATH:$JAVA_HOME/bin
      
   5）让环境变量生效：
      source /root/.bash_profile 
   6）输入 java -version 查看结果

3）将安装好的jdk远程拷贝至其他机器，并且其他机器测试生效
scp -r /usr/local/src/jdk slave2:/usr/local/src
4）修改其他机器环境变量保持一致生效

7、centos7中安装MySQL
1）先查询centos7中自带的mariadb（也属于mysql的分支版本）
rpm -qa | grep mariadb
rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64
2）安装mysql的server的rpm包
rpm -ivh MySQL-server…rpm
rpm -ivh MySQL-client…rpm
3）登录mysql测试：
1> 第一次登录无密码，但是要修改密码
mysql -u root -p 直接回车即可
2> mysql> set password=password(‘123456’);
3> 让其他机器远程访问（授权远程访问命令）

grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
flush privileges;
firewall-cmd --zone=public --add-port=3306/tcp --permanent
systemctl stop firewalld

​ systemctl restart mysql

标签： 大数据 linux 笔记
本文转载自: https://blog.csdn.net/weixin_43977307/article/details/134693445
版权归原作者 会java的怪蜀黍 所有， 如有侵权，请联系我们删除。
登录后发布评论

“大数据linux基本环境准备（新手入门笔记）”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

Linux git安装与部署

Selenium基础入门：环境搭建、浏览器驱动配置及基本使用方法

华为ICT大赛2023-2024全国总决赛-实践赛-云赛道实验试题-大数据部分个人解析

探索高效能：Splash——Spark的灵活洗牌管理器

MQ基础：RabbitMQ真面目

EasyFile-一整套Web大文件导出解决方案。轻松导出千万以上数据

MySQL数据的增删改查（二）

文章导航