提示:文章内容十分详细,请仔细阅读!
文章目录
- 四、Xshell 和Xftp 安装使用
- 五、系统配置
- 六,时钟同步
- 七,HDFS命令行基本操作
- 八,linux命令基础说明
- 总结
前言
随着Hadoop的不断发展,Hadoop这门技术也越来越重要,很多人都开启了学习Hadoop,本文就介绍了Hadoop学习要用到的 cent OS 7 系统的安装。
提示:以下是本篇文章正文内容,下面案例可供参考
一、centOS7系统虚拟机是什么?
CentOS7(Community Enterprise Operating System7,中文意思是社区企业操作系统)是Linux发行版之一,它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码,因此有些要求高度稳定性的服务器以CentOS7替代商业版的Red Hat Enterprise Linux使用。两者的不同,在于CentOS完全开源。由于CentOS7作为服务器系统应用比较广泛,所以此处采用虚拟机CentOS7系统来模拟服务器环境。
二、虚拟机安装步骤
确保本地电脑已经安装好了VMware Workstation Pro
下载地址:下载 VMware Workstation Pro | CN
清华大学镜像源:
https://mirrors.tuna.tsinghua.edu.cn/centos/7/isos/x86_64/
注:确保系统虚拟化已经打开(如果没打开还要打开虚拟化,百度)
三、Cent OS 系统安装
进入界面直接回车
稍等片刻
设置为当前时间
建议不要启用kdump,因为我们虚拟机内存太小了
下图的hadoop100记得改成bigdata100!
出现以下命令行界面表示安装成功!
登录用户名为root,密码为123456
登录以后,输入shutdown -h now 可以进行关机
网络配置
如果没有vnet8的网卡,需要还原VMware Workstation Pro的网络设置,有就不需要还原了!
记得 :wq 保存退出
修改主机名
确保是bigdata100
修改主机名映射
修改后,使用reboot命令重启虚拟机,然后使用ping 命令查看网络是否可以正常使用
或者使用以下命令重启网络服务
使用ctrl+c退出ping 通界面
Windows操作系统配置域名映射,不要照着输入 CRLF,这是编辑器显示的换行符
修改后我们需要立即生效,所以需要输入以下命令
安装 epel-release 库,是额外的软件安装包,相当于是一个软件仓库
安装完成后界面如下显示
接着安装额外的工具包,包含 ifconfig命令,包含vim编辑器
安装好以后,测试如下
安装vim
安装完成后,我们直接输入 vim,可以出现以下界面表示安装成功!
等以上步骤都完成后,我们再使用快照对当前虚拟机的状态进行一个备份!防止后续操作的时候因为误操作等原因虚拟机出了问题不好解决,可以通过快照回滚的操作进行恢复!(先关机再做快照操作)
五、Xshell 和Xftp 安装使用
打开Xshell,新建一个远程连接
输入主机名等信息
接收并保存密钥
输入用户名
输入密码 123456
登录成功界面
使用xftp
连接界面
可以很方便的进行Windows和虚拟机的文件传输
五、系统配置
关闭防火墙以及防止火墙开机自启动
最好使用tab键自动补全,防止打错单词
接下来我们需要创建一个普通用户,统一用户名为cris,密码为****123456
为了方便后期普通用户使用管理员权限,我们需要给普通用户增加管理员权限
然后修改文件,使用键盘上下键找到 %wheel 这一行,然后添加普通用户 cris这一行
添加完成后,我们需要强制保存退出,不能使用 :wq,记得都是英文状态下的字母
接着,我们需要在 /opt 目录下新建两个目录 module和software
然后我们需要修改module和software文件夹的所有者和所属组的权限为cris用户
因为是root用户创建的文件夹,所以默认所有者和所属组权限都是root
修改如下
最后对虚拟机进行关机即可
拍摄快照
测试普通用户登录虚拟机
确定后,密码输入 123456,出现以下界面表示我们使用普通用户cris也能正常登录虚拟机
六,时钟同步
1.chrony
- 集群上必须保证时间一致,否则就有可能出现问题,在centos7上默认安装了chrony。
centOS7上是否存在chronyd:
yum list chrony
systemcrl status chronyd
2.安装chrony
如果不存在,可以安装
yum -y install chrony
- 修改时间服务器
vim /etc/chrony.conf
#配置外部时间服务器,将配置文件中默认的全部注释掉
server ntp1.aliyun.com ##中国授时
#只允许192.168.0网段的客户端进行时间同步
allow 192.168.0.0/24
启用RTC(实时时钟)的内核同步
rtcsync
#当外部时间服务器不可用时,采用本地时间作为同步标准
local stratum 10
七,HDFS命令行基本操作
主要内容
- 查看文件和目录
- 创建目录
- 上传文件
- 下载文件
- 删除文件和目录
注:HDFS使用hdfs脚本来进行操作
- hdfs脚本目录:/opt/software/hadoop/hadoop-2.9.2/bin
- cd /opt/software/hadoop/hadoop-2.9.2/bin
查看文件和目录
hdfs dfs -ls /
创建目录
hdfs dfs -mkdir /test
上传文件
linux操作系统上的文件上传到HDFS分布式文件系统
以/opt/testData/hdfs/目录下的hadoop-2.9.2.tar.gz文件为例
文件上传和查看演示
hdfs dfs -put /opt/testData/hdfs/hadoop-2.9.2.tar.gz /test
hdfs dfs -ls /test
下载文件
- 先把/opt/testData/hdfs/目录下的hadoop-2.9.2.tar.gz文件删除,从分布式文件系统下载到这个目录
- 下载操作
cd /opt/testData/hdfs/
rm -rf hadoop-2.9.2.tar.gz
hdfs dfs -get /test/hadoop-2.9.2.tar.gz /opt/testData/hdfs/
hdfs dfs -get /test/hadoop-2.9.2.tar.gz /opt/testData/hdfs/hadoop.tar.gz
删除文件
hdfs dfs -rm /test/hadoop-2.9.2.tar.gz
删除目录
hdfs dfs -rmdir /test
八,linux命令基础说明
命令的基本格式
command [-optons] [parameter]
command
[-options]
[parameter]
命令名称
选项
传递给命令的参数
[] 代表命令可选
help&man
- --help
command --help
显示command的帮助信息
- man
查询command的使用手册。manual,是linux提供的手册
操作手册中的操作按键
操作按键
功能
空格
显示下一页
回车
显示下一行
b
back,显示上一页
f
forward,向前和空格效果一样
q
退出
最常用的命令
命令
功能
ls
list,列表显示当前所在路径
pwd
print work directory,查看当前所在目录
cd 路径名称
change directory,跳转到指定路径
touch 文件名
创建文件
mkdir 文件夹名称
make directory,创建文件夹
rm 文件名
remove,删除指定文件
clear
清屏
快捷键
快捷键
功能
tab
自动补全
ctrl+alt+t
创建新的终端窗口
ctrl+a
光标移动到开始位置
ctrl+e
光标移动到末尾
ctrl+l
清屏,相当于执行clear命令
Ctrl+d 特殊的二进制值,表示EOF 在shell中表示退出当前shell
Ctrl+ z 任务暂停
Ctrl + u 删除光标之前到行首的字符
Ctrl + k 删除光标之前到行尾的字符
Ctrl + c 强制中断程序的执行,进程已经终止
Ctrl + a 光标移动到行首(ahead of line),相当于通常的Home键
Ctrl + e 光标移动到行尾(end of line)
Ctrl + f 光标向前(forward)移动一个字符位置
Ctrl + b 光标往回(backward)移动一个字符位置
Ctrl + l 清屏,相当于执行clear命令
Ctrl + r 显示:号提示,根据用户输入查找相关历史命令(reverse-i-search)
Ctrl + w 删除从光标位置前到当前所处单词(word)的开头
Ctrl + t 交换光标位置前的两个字符
Ctrl + y 粘贴最后一次被删除的单词
Ctrl + Alt + d 显示桌面
Alt + b 光标往回(backward)移动到前一个单词
Alt + d删除从光标位置到当前所处单词的末尾
Alt + F2 运行
Alt + F4 关闭当前窗口
Alt + F9 最小化当前窗口
Alt + F10 最大化当前窗口
Alt + Tab 切换窗口
Alt +按住左键 移动窗口(或在最下面的任务栏滚动鼠标滑轮)
总结
提示:这里对文章进行总结:
以上就是今天要讲的内容,本文仅仅简单介绍了Cent OS7系统以及安装,HDFS的常用命令,linux命令基础说明。
版权归原作者 羙橘 所有, 如有侵权,请联系我们删除。