后续会为大家持续更新,如有错误欢迎大家指点!
Linux基础知识
系统目录结构
- /bin: 命令和应用程序。
- /boot: 这里存放的是启动 Linux 时使用的一些核心文件,包括一些连接文件以及镜像文件。
- /dev : dev 是 Device(设备) 的缩写, 该目录下存放的是 Linux 的外部设备,在 Linux 中访问设备的方式和访问文件的方式是相同的。
- /etc: etc 是 Etcetera(等等) 的缩写,这个目录用来存放所有的系统管理所需要的配置文件和子目录。
- /home: 用户的主目录,在 Linux 中,每个用户都有一个自己的目录,一般该目录名是以用户的账号命名的,如上图中的 alice、bob 和 eve。
- /lib: lib 是 Library(库) 的缩写这个目录里存放着系统最基本的动态连接共享库,其作用类似于 Windows 里的 DLL 文件。几乎所有的应用程序都需要用到这些共享库。
- /lost+found: 这个目录一般情况下是空的,当系统非法关机后,这里就存放了一些文件。
- /media: linux 系统会自动识别一些设备,例如U盘、光驱等等,当识别后,Linux 会把识别的设备挂载到这个目录下。
- /mnt: 系统提供该目录是为了让用户临时挂载别的文件系统的,我们可以将光驱挂载在 /mnt/ 上,然后进入该目录就可以查看光驱里的内容了。
- /opt: opt 是 optional(可选) 的缩写,这是给主机额外安装软件所摆放的目录。比如你安装一个ORACLE数据库则就可以放到这个目录下。默认是空的。
- /proc: proc 是 Processes(进程) 的缩写,/proc 是一种伪文件系统(也即虚拟文件系统),存储的是当前内核运行状态的一系列特殊文件,这个目录是一个虚拟的目录,它是系统内存的映射,我们可以通过直接访问这个目录来获取系统信息。 这个目录的内容不在硬盘上而是在内存里,我们也可以直接修改里面的某些文件,比如可以通过下面的命令来屏蔽主机的ping命令,使别人无法ping你的机器:
echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all
- /root: 该目录为系统管理员,也称作超级权限者的用户主目录。
- /sbin: s 就是 Super User 的意思,是 Superuser Binaries (超级用户的二进制文件) 的缩写,这里存放的是系统管理员使用的系统管理程序。
- /selinux: 这个目录是 Redhat/CentOS 所特有的目录,Selinux 是一个安全机制,类似于 windows 的防火墙,但是这套机制比较复杂,这个目录就是存放selinux相关的文件的。
- /srv: 该目录存放一些服务启动之后需要提取的数据。
- /sys:这是 Linux2.6 内核的一个很大的变化。该目录下安装了 2.6 内核中新出现的一个文件系统 sysfs 。sysfs 文件系统集成了下面3种文件系统的信息:针对进程信息的 proc 文件系统、针对设备的 devfs 文件系统以及针对伪终端的 devpts 文件系统。该文件系统是内核设备树的一个直观反映。当一个内核对象被创建的时候,对应的文件和目录也在内核对象子系统中被创建。
- /tmp: tmp 是 temporary(临时) 的缩写这个目录是用来存放一些临时文件的。
- /usr: usr 是 unix shared resources(共享资源) 的缩写,这是一个非常重要的目录,用户的很多应用程序和文件都放在这个目录下,类似于 windows 下的 program files 目录。
- /usr/bin: 系统用户使用的命令和应用程序。
- /usr/sbin: 超级用户使用的比较高级的管理程序和系统守护程序。
- /usr/src: 内核源代码默认的放置目录。
- /var: var 是 variable(变量) 的缩写,这个目录中存放着在不断扩充着的东西,我们习惯将那些经常被修改的目录放在这个目录下。包括各种日志文件。
- /run: 是一个临时文件系统,存储系统启动以来的信息。当系统重启时,这个目录下的文件应该被删掉或清除。如果你的系统上有 /var/run 目录,应该让它指向 run。
在 Linux 系统中,有几个目录是比较重要的,平时需要注意不要误删除或者随意更改内部文件。
/etc: 上边也提到了,这个是系统中的配置文件,如果你更改了该目录下的某个文件可能会导致系统不能启动。
/bin, /sbin, /usr/bin, /usr/sbin: 这是系统预设的执行文件的放置目录,比如 ls 就是在 /bin/ls 目录下的。
值得提出的是,/bin, /usr/bin 是给系统用户使用的指令(除root外的通用户),而/sbin, /usr/sbin 则是给 root 使用的指令。
/var: 这是一个非常重要的目录,系统上跑了很多程序,那么每个程序都会有相应的日志产生,而这些日志就被记录到这个目录下,具体在 /var/log 目录下,另外 mail 的预设放置也是在这里。
Linux系统安装
略
基本知识点
命令提示符
命令格式
历史命令和补全功能
1.按上下键查看历史命令
2.history :查看执行过的所有命令
history 10:查看执行过的近10条命令
3.ctr+r:用执行过的命令快速补全
开,关机以及重启
立即关机:
halt (停止进行,中断)
poweroff (定时关机,关闭电源)
shutdown -h now (shutdown:关机)
定时关机:
shutdown -h 5 5分钟后自动关机
shutdown -h 12:00 中午12点关机
立即重启
reboot
shutdown -r now
定时重启
shutdown -r 10 过10分钟自动重启
shutdown -r 22:00 在时间为22:00时候重启
取消以上操作:shutdown -c
目录相关操作
创建
mkdir 目录名 创建目录
mkdir hello 在当前目录下创建
mkdir /usr/local/hello 在指定目录下创建
mkdir hello nihao kang 在当前目录下创建
删除
rm [-rf] 目录名 删除目录 r:递归删除 f:强制删除
rm -r hello 递归删除当前目录下的hello目录
rm -rf hello 递归删除当前目录下的hello目录(不询问)
rm -rf hello nihao kang 递归删除三个目录
移动[剪切]
mv 目录 目录新位置
mv /usr/local/kang /usr/ 将/usr/local下的名为kang的目录移动到/usr下
重命名
mv 目录名 新目录
mv hello nihao 将目录hello改为nihao
[移动+重命名]
mv /usr/local/kang /usr/nihao /usr/local/kang将目录移动到/usr下,并重命名为nihao
• 对比移动
mv /usr/local/kang /usr/nihao/ /usr/local/kang将目录移动到/usr下
注意:若是移动,则/usr/nihao/ local后面要加个/,否则就成移动并重命名了,加/后才表式nihao目录下
如果当前目录下也有个相同名字的文件的话,那这个原文件会被覆盖(可能会询问否是选择覆盖)
拷贝
- -r 是递归把源目录下的目录递归进行移动;- -f:强行复制文件或目录,不论目标文件或目录是否已存在;- -i:覆盖既有文件之前先询问用户;- -p:保留源文件或目录的属性;
拷贝目录时要加参数 -r文件则不需要
注意:mv的语法不仅可以对目录进行重命名而且也可以对各种文件,压缩包等进行 重命名的操作
文件相关操作
创建
touch 文件名
删除
rm 文件 删除当前目录下的文件
rm -f 文件 删除当前目录的的文件(不询问)
rm -rf * 将当前目录下的所有目录和文件全部删除
vi
i,o,a进入插入模式
保存并退出: wq
退出编辑: q
强制退出: q!
删除当前行:dd
修改文件权限
-r :可读 -w:可写 -x:可执行
chmod 权限代数 文件名
文件打包,压缩,解压
常见文件格式
rpm 是安装包
.tar 打包文件
.gz 压缩文件
.tar.gz 打包并压缩的文件
打包和压缩,解压
Linux中的打包文件一般是以.tar结尾的,压缩的命令一般是以.gz结尾的。 而一般情况下打包和压缩是一起进行的,打包并压缩后的文件的后缀名一般.tar.gz。
命令:tar -zcvf 打包压缩后的文件名 要打包的文件
z:调用gzip压缩命令进行压缩
c:打包文件
v:显示运行过程
f:指定文件名
示例:打包并压缩/usr/tmp 下的所有文件 压缩后的压缩包指定名称为xxx.tar
tar -zcvf ab.tar aa.txt bb.txt
或:tar -zcvf ab.tar *
解压
命令:tar [-zxvf] 压缩文件 x:代表解压
tar -zxfv 压缩包
tar -xvf 路径/压缩包 -C 指定目录 C:代表解压到指定的位置 将路径下的压缩包解压到根目录指定目录下
查找命令
目录,文件查找
find 目录 参数 文件名称
find /usr/local -name 'k*' 查找/usr/local目录下的所有以k开头的目录或文件
cat 查看文件最后一屏内容
cat 文件路路径
more:百分比显示
使用more查看/etc/sudo.conf文件,可以显示百分比,回车可以向下一行,空格可以向下一页,q可以退出查看
more sudo.conf
whereis 文件 将文件和所在路径都查找出来
which命令的作用是在PATH变量指定的路径中,搜索某个系统命令的位置,并且返回第一个搜索结果。
which pwd 查找pwd命令所在路径
which java 查找path中java的路径
1.配置网络
相关命令和操作
帮助命令
查看命令
ls :显示出该目录下文件名或目录
(ls /目录:查看指定目录,下同)
ls -l/ll:显示出该目录下所有文件的详细信息
(ll:不属于命令,是快捷方式)
ls -al :显示出该目录下所有文件的详细信息(会显示隐藏文件)
vi编译器
按‘’i/o/a''进入插入模式
wq:存盘退出 !q:不存盘退出 q!:强制退出
ifconfig
查看,启动,关闭网络接口(网卡)和临时修改网络接口
查看所有已开启的网络接口:ifconfig
查看所有网络接口(包括未启用接口):ifconfig -a
启动:ifconfig eth() up
关闭:ifconfig eth() down
临时修改网卡信息:ifconfig ens() (IPADDR) netmask (255.255.255.0)
配置网络参数
进入配置文件目录—》进入系统配置文件目录—》进入网络脚本文件
cd,cd....cd ,vi (逐步进行)
vi /etc/sysconfig/network-scripts/ifcfg-ens() (一步到位进行修改)
系统配置 网络脚本 网卡文件
“2改3加”:
BOOTROTO=static (设置静态IP,相当于手动设置IP)
(DHCP:自动获得服务器分配的IP地址和子网掩码)
ONBOOT=yes(开机自动打开网卡)
IPADDR="IP地址" (最后一个要和物理机不一样)
NETMASK=掩码(255.255.255.0)
GATEWAY=默认网关
!若是桥接模式则掩码和默认网关必须和物理机一样
存盘退出
重启网络服务
service network restart / systemctl restart network
配置域名服务(DNS)
vi /etc/resolv.conf 进入域名服务配置文件
nameserver 114.114.114.114
systemctl restart NetworkManager 重启域名服务
2.管理磁盘
磁盘文件相关信息
设备文件格式:/dev/xxyn
xx :硬盘接口类型(一般为sd)
y :使用此类接口的第几个硬盘(a-z)
n :分区号(主分区/扩展分区用1-4表示,逻辑分区从5开始)
查看所有磁盘详细信息
fdisk -l
操作
添加硬盘
进入磁盘交互模式进行分区
fdisk /dev/磁盘名
n :创建新分区—>p:选择创建主分区
d :删除某个分区 p :查看分区信息
选择分区号
起始额度(可默认)
截止额度
w :存盘退出
格式化分区
fdisk -t ext4 /dev/硬盘分区
挂载分区到相应目录
创建文件系统(目录)
mount /dev/硬盘分区 /创建的目录 挂载到创建的目录
mount 查看挂载信息
*对第一个分区进行处理系统会默认对其剩下分区进行相关操作
*分区只是在硬盘做标志信息,格式化后挂载(建立文件系统)才会生效
3.软件安装
安装软件的三种方法:
1.编译安装源码包(tar-)
2.rpm(本地安装)
3.yum(在线安装)
rpm和yum的区别
rpm 只能安装已经下载到本地机器上的rpm 包.
yum能在线下载并安装rpm包,能更新系统,且还能自动处理包与包之间的依赖问题,这个是rpm 工具所不具备的。
从指定的服务器自动下载RPM包并且安装,可以自动处理依赖性关系,并且一次安装所有依赖的软体包,无须繁琐地一次次下载、安装,
可以完整的删除软件
rpm:删除指定的一个
yum:删除与之相关联的全部安装包
rpm安装,卸载
安装
命令格式:rpm -vih 包名
卸载
命令格式:rpm -e 包名
常用参数
-i, --install :安装
-v :选项显示详细信息
-h 选项:hash marks输出进度条;每个#表示2%的进度
-vv:显示更详细的信息
–nodeps:忽略依赖关系;不建议
–force 属性,强制进行安装
-U, --update :升级
–force :强制升级,强制进行安装
-e, --erase :卸载
-q, --query:查询
-l:显示套件的文件列表
-a,–all:查询所有已经安装过的程序包,可配合grep使用
-V, --verify :校验
–builddb, --initdb:数据库维护
yum安装,卸载
安装
命令格式:yum install -y 包名
卸载
命令格式: yum -y remove 包名
常用参数
-y:当安装,卸载过程提示选择全部为"yes"
-q:不显示安装的过程
wget 下载地址
安装MySQL
获取安装包进行安装
wget 链接
rpm
安装MySQL服务器
yum install -y mysql-server
MySQL服务相关操作
systemctl start mysqld 开启MySQL服务
ps -aux|grep mysqld 查看后台MySQL是否运行
systemctl enable mysqld 设置开机自启
登录MySQL
获取初始密码
cat /var/log/mysqld.log|grep 'A temporary password'
登录
mysql -u root -p
修改密码
use mysqld; 切换MySQL数据库
alter user 'root'@'localhost' identified by 'py.123456'
修改 用户 管理员 本地服务器 登陆密码
安装Java
查看是否存在java安装包(可略)
筛选
rpm -aq|grep java
删除不需要的版本
下载JavaJDK
下载JDK地址:ww.oracle.com
解压并存放放到指定位置
拖动至Linux系统内,去掉引号
创建目录-移动-解压 / 解压并移动
mkdir 目录名
mv 现在的位置 新位置
tar [-zxvf] 压缩文件 x:解压 zxvf顺序不能乱,否则报错
也可在解压到指定位置
tar -xvf 压缩文件 -C 解压后存放的位置 C:解压到指定位置
配置环境变量
copy Java路径
export JAVA_HOME=/usr/java/jdk1.8.0_291-amd64 export:声明为全局变量
export PATH=$PATH:$JAVA_HOME/bin
export CALSSPATH=.:$JAVA_HOME/lib
解释
JAVA_HOME环境变量:jdk的安装路径 Eclipse/NetBeans/Tomcat等软件就是通过搜索JAVA_HOME变量来找到并使用安装好的jdk。
PATH环境变量。作用是指定命令搜索路径,在shell下面执行命令时,它会到PATH变量所指定的路径中查找看是否能找到相应的命令程序。我们需要把 jdk安装目录下的bin目录增加到现有的PATH变量中,bin目录中包含经常要用到的可执行文件如javac/java/javadoc等待,设置好 PATH变量后,就可以在任何目录下执行javac/java等工具了。
CLASSPATH环境变量。作用是指定类搜索路径,要使用已经编写好的类,前提当然是能够找到它们了,JVM就是通过CLASSPTH来寻找类的。我们 需要把jdk安装目录下的lib子目录中的dt.jar和tools.jar设置到CLASSPATH中,当然,当前目录“.”也必须加入到该变量中。
重启系统环境配置文件
source /etc/profile
配置成功后无论在哪里都可以调用java(会显示版本信息)
若修改profile文件时覆盖了原PATH路径,解决方法:
输入命令:export PATH=/usr/bin:/usr/sbin:/bin:/sbin 后,将原PATH变量修改回来即可
检测是否安装成功:java -version
安装,配置Hadoop
主要用来数据的存储(DHFS:分布式文件系统) 和 分布式计算(MapReduce)(并行运算)
MapReduceMapReduce_百度百科 (baidu.com)
HDFShdfs_百度百科
hadoop核心模块
common: 为其他Hadoop模块提供基础服务
HDFS: 高吞吐量的分布式文件系统
提供数据的存储(namenode,DataNode)
MapReduce: 分布式的离线并行计算框架
YARN: 负责任务调度和资源管理(CPU,内存)
管理集群各个机器的资源,并合理调度分配给各个程序使用
NameNode
NameNode属于HDFS,它位于HDSF的主端,由它来指导DataNode执行底层I/O任务。NameNode相当于HDFS的书记员,它会跟踪文件如何被分割成文件块,而这些块又是被哪些节点存储,以及分布式文件系统整体运行状态是否正常等。
运行NameNode会消耗大量内存和IO资源,因此为减轻机器负载,驻留NameNode的服务器通常不会存储用户数据或者进行MapReduce计算任务,这也就意味着一台NameNode服务器不会同时是DataNode或者TaskTracker服务器。
DataNode
集群中每一个从节点都会驻留一个DataNode的守护进程,用来将HDFS数据库写入或读取到本地文件系统中。当对HDFS文件进行读写时,文件会被分割成多个块,有NameNode告知客户端每个数据驻留在哪个DataNode,客户端直接与DataNode进行通信,DataNode还会与其它DataNode通信,复制这些块以实现冗余。
NameNode跟踪源数据,DataNode提供数据块的备份存储并持续不断地向NameNode报告,以保持元数据最新状态
安装hadooop
编译安装—>解压—>/usr/local/hadoop
检测是否安装成功:hadoop version
Hadoop环境配置
修改Hadoop环境变量文件
vi /usr/local/hadoop/etc/hadppp/hadoop-env.sh(Hadoop的环境变量配置文件)
export JAVA_HOME=java的路径(修改内容)
修改系统环境变量
重启系统环境配置文件
source /etc/profile
配置两个核心文件
common模块的配置文件--core-site.xml
core-site.xml 加2个属性
#指定文件为hdfs,以及namenode主节点运行机器和端口
<configuration> (配置模块)
<property> 属性1
<name>fs.defaultFS</name> 指明hdfs中namenode的名字
<value>hdfs://localhost:9000</value> 指明hdfs中namenode的地址
本地主机名(localhost)
</property>
#指定hdfs文件系统本地存储目录(自己提前创建),默认的是/tmp,不安全
<property> 属性2
<name>hadoop.tmp.dir</name> 指明Hadoop运行时产生文件的存储路径的名字
<value>hadoop目录/tmp</value> 指明存储路径
</property>
</configuration>
/tmp是一个特殊的文件夹,系统会自动清理(10天前的)
hdfs模块的配置文件--hdfs-site.xml
hdfs-site.xml 加3个属性
<configuration> 配置模块
<property> 属性1
<name>dfs.name.dir</name> 存储元数据的位置名字(指示存储位置)
<value>hadoop目录/name</value> 位置
</property>
<property> 属性2
<name>dfs.data.dir</name> 存储数据的位置名字
<value>hadoop目录/hdfs/data</value> 位置
</property>
<property> 属性3
<name>dfs.replication</name> 副本属性(备份)
<value>1</value> 份数
</property>
</configuration>
“元数据(Metadata)描述数据的数据,存储数据的相关信息。(大小,类型,位置等等)
为描述数据的数据(data about data)
主要是描述数据属性(property)的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。
replication:复制
hadoop ssh免密登录
ssh-keygen -t dsa -p '' -f ~/.ssh/id_dsa
-t 生成密匙类型dsa -P ' ' 密码为空 -f 指定生成公匙和私匙的文件名
76 ssh-keygen -t dsa -p '' -f /.ssh/id_dsa 77 ssh-keygen 78 cat ~/.ssh/id_dsa.ppi 79 cat ~/.ssh/id_dsa.pub >>/.ssh/authorized_keys 80 ls ~/.ssh 81 ll ~/.ssh 82 chmod 600 ~/ 83 chmod 600 ~/.ssh/authorized_keys 84 ll ~/.ssh 66 cat /etc/profile 67 cd /usr/hadoop-2.10.1 68 ./bin/hdfs namenode -format 69 ./sbin/start-dfs.sh 70 ifconfig-ens33 71 ifconfig -ens33 72 ifconfig
格式化
cd /usr/hadoop-2.10.1
./sbin/start-dfs.sh
远程文件发送
ssh-copy-id -i id_rsa.pub root@192.168.182.129
-i 选择文件 发送 root用户@主机名(ip)
4.shell编程
vi 文件名 直接创建文件并进行修改
输入语句
#! /bin/bash
read -p 'input name:' name
运行结果:
input name:
#!
是一个约定的标记,它告诉系统这个脚本需要什么解释器来执行,即使用哪一种 shell;
后面的
/bin/bash
就是指明了解释器的具体位置。
Shell 脚本中所有以
#
开头的都是注释(当然以
#!
开头的除外)。
输出语句
echo $name
echo:回响,打印
echo 字符或已赋值变量$name
echo打印已声明变量前要加$,否则打印的是当前字符
文件运行命名格式
文件路径 /文件名
定义,调用函数
#! /bin/bash
function add()
{
sum=$[$1+$2]
echo $sum
}
read -p 'input number1:' num1
read -p 'input bunber2:' num2
add $num1 $num2
bash 文件名 以可执行身份强制执行文件(无执行权限的文件)
批量添加用户
循环结构 批量添加用户
#! /bin/bash
groupadd student
for i in 'xiaowang' 'zhangsan' 'wangwu' 'jiangcheng' 'pig'
do
useradd -g student $i
echo '123456'|passwd --stdin $i
done
do~done构成循环体
执行结果
统计数据
分支,判断语句
统计目录,文件数
#! /bin/bash
fnum=0
dnum=0
total=0
for i in `ls`
do
if [ -d $i ]
then
dnum=`expr $dnum + 1`
else
fnum=`expr $dnum + 1`
fi
total=`expr $total + 1`
done
echo directory:$dnum
echo file:$fnum
echo total:$total
执行结果:
directory:0
file:1
total:7
关闭防火墙
systemctl命令是Linux系统服务管理器命令,由service和chkconfig命令组合而来 system:系统 ctl->control:控制—>系统控制
systemctl stop c (暂时)
systemctl disable firewalld (永久开机自动关闭)(禁用)
systemctl status firewalld (查看状态)
最好也把selinux关闭掉,这是linux系统的一个安全机制,进入文件中将SELINUX设置为disabled
vi /etc/selinux/config
SELINUX=disabled
hadooop:HDFS/mapreduce
Linux
中使用
id
命令可以查看用户的大多数信息。具体使用方法请参看上一关的实训。
Linux
中还可以通过查看
/etc/passwd
文件来获取用户的信息。具体方法可以参考背景知识。
Linux
中还可以使用
finger
命令来查询用户的信息。
注意:
Ubuntu
系统中默认没有安装
finger
命令,用户可以通过以下命令来安装
finger
,然后就可以使用
finger
。
sudo apt-get install finger
具体使用方法如下:
命令格式:
finger [命令参数] 参数
常见命令参数
- -l:多行显示;
- -s:单行显示。这个选项只显示登入名称、真实姓名、终端机名称、闲置时间、登入时间、办公室号码及电话号码。如果所查询的使用者是远端服务器的使用者,这个选项无效。
案例演示:
使用
finger
命令查看用户信息。
例如,查看系统中已经存在的用户
newUser
信息。
[请在右侧“命令行”里直接体验]
Linux用户信息修改命令
Linux
中
usermod
命令是最强大的用户账户修改实用工具。
usermod
命令我们在上一关只是简单的用到其
-g
、
-G
参数对用户的所属组进行修改,本关我们将进一步使用
usermod
命令的其它属性进行修改更多的属性。
命令格式:
usermod [命令参数] 参数
常见命令参数:
- -c<备注>:修改用户帐号的备注文字;
- -d<登入目录>:修改用户登入时的目录;
- -e<有效期限>:修改帐号的有效期限;
- -f<缓冲天数>:修改在密码过期后多少天即关闭该帐号;
- -g<群组>:修改用户所属的群组;
- -G<群组>;修改用户所属的附加群组;
- -l<帐号名称>:修改用户帐号名称;
- -L:锁定用户密码,使密码无效;
- -s:修改用户登入后所使用的
shell
; - -u:修改用户
ID
; - -U:解除密码锁定。
usermod
必须以
root
权限才能执行,如果是普通用户想使用该命令时,需要在命令前加
sudo
命令来提升权限为
root
权限。
版权归原作者 律为 所有, 如有侵权,请联系我们删除。