第 17 章大数据定制篇-Shell 编程
17.1 为什么要学习 Shell 编程
- Linux 运维工程师在进行服务器集群管理时,需要编写 Shell 程序来进行服务器管理。
- 对于 JavaEE 和 Python 程序员来说,工作的需要,你的老大会要求你编写一些 Shell 脚本进行程序或者是服务器的维 护,比如编写一个定时备份数据库的脚本。
- 对于大数据程序员来说,需要编写 Shell 程序来管理集群
17.2 shell 是什么
Shell 是一个命令行解释器,他为用户提供了一个向linux内核发送请求以便运行程序的界面系统级程序,用户可以用Shell 来启动、挂起、停止甚至是编写一些程序。
17.3 Shell 脚本的执行方式
17.3.1 脚本格式要求
- 脚本以#!/bin/bash 开头
- 脚本需要有可执行权限
17.3.2 编写第一个 Shell 脚本
需求说明:创建一个 Shell 脚本,输出 hello world!
vim hello.sh
!/bin/bash
echo “hello,world~”
17.3.3 脚本的常用执行方式
方式 1(输入脚本的绝对路径或相对路径) 说明:首先要赋予 helloworld.sh 脚本的+x 权限, 再执行脚本 比如 ./hello.sh 或者使用绝对路径 /root/shcode/hello.sh
方式 2(sh+脚本) 说明:不用赋予脚本+x 权限,直接执行即可。 比如 sh hello.sh , 也可以使用绝对路径
17.4 Shell 的变量
17.4.1 Shell 变量介绍
- Linux Shell 中的变量分为,系统变量和用户自定义变量。
- 系统变量: H O M E 、 HOME、 HOME、PWD、 S H E L L 、 SHELL、 SHELL、USER 等等,比如: echo $HOME 等等…
- 显示当前 shell 中所有变量:set
17.4.2 shell 变量的定义
基本语法
- 定义变量:变量名=值
- 撤销变量:unset 变量
- 声明静态变量:readonly 变量,注意:不能 unset
案例演示:
#!/bin/bashA=3echo"A=$A"unset A
echo"A=$A"readonlyB=2unset B
echo"B=$B"
17.4.3 shell 变量的定义
定义变量的规则:
1)变量名称可以由字母、数字、和下滑线组成,但是不能以数字开头。5A=200(x)
- 等号两侧不能有空格
3)变量名称一般习惯为大写,这是一个规范
将命令的返回值赋给变量:
1)A=
date
反引号,运行里面的命令,并把结果返回给变量A
2)A=$(date) 等价于反引号
C=`date`echo"C=$C"D=$(date)echo"D=$D"
17.5 设置环境变量
17.5.1 基本语法
- export 变量名=变量值 (功能描述:将 shell 变量输出为环境变量/全局变量)
- source 配置文件 (功能描述:让修改后的配置信息立即生效)
- echo $变量名 (功能描述:查询环境变量的值)
- 示意
shell 脚本的多行注释
:<<!
内容
!
:<<!readonlyB=2unset B
echo"B=$B"!
17.6 位置参数变量
17.6.1 介绍
当我们执行一个 shell 脚本时,如果希望获取到命令行的参数信息,就可以使用到位置参数变量
比如 : ./myshell.sh 100 200 ,
这个就是一个执行 shell 的命令行,可以在 myshell 脚本中获取到参数信息
17.6.2 基本语法
$n (功能描述:n 为数字,$0 代表命令本身,$1-
9
代表
∗
∗
第一到第九个参数
∗
∗
,十以上的参数,十以上的参数需要用
∗
∗
大括号
∗
∗
包含,如
9 代表**第一到第九个参数**,十以上的参数,十以上的参数需要用 **大括号**包含,如
9代表∗∗第一到第九个参数∗∗,十以上的参数,十以上的参数需要用∗∗大括号∗∗包含,如{10})
∗
(功能描述:这个变量
∗
∗
代表命令行中所有的参数
∗
∗
,
* (功能描述:这个变量**代表命令行中所有的参数**,
∗(功能描述:这个变量∗∗代表命令行中所有的参数∗∗,*把所有的参数看成**一个整体**)
@
(功能描述:这个变量也代表命令行中
∗
∗
所有的参数
∗
∗
,不过
@(功能描述:这个变量也代表命令行中**所有的参数**,不过
@(功能描述:这个变量也代表命令行中∗∗所有的参数∗∗,不过@把**每个参数区分对待**)
$#(功能描述:这个变量代表命令行中所有参数的个数)
#!/bin/bashecho"0=$0,1=$1,2=$2"echo"所有参数=$*"echo"$@"echo"参数个数$#"
17.7 预定义变量
17.7.1 基本介绍
就是 shell 设计者事先已经定义好的变量,可以直接在 shell 脚本中使用
17.7.2 基本语法
- $$ (功能描述:当前进程的进程号(PID))
- $! (功能描述:后台运行的最后一个进程的进程号(PID))
- $?(功能描述:最后一次执行的命令的返回状态。如果这个变量的值为 0,证明上一个命令正确执行;如果这个变 量的值为非 0(具体是哪个数,由命令自己来决定),则证明上一个命令执行不正确了。)
#!/bin/bash echo"当前执行的进程 id=$$"#以后台的方式运行一个脚本,并获取他的进程号
/root/shcode/myshell.sh &echo"最后一个后台方式运行的进程 id=$!"echo"执行的结果是=$?"
17.8 运算符
17.8.1 基本介绍
学习如何在 shell 中进行各种运算操作。
17.8.2 基本语法
- “ ( ( 运算式 ) ) ”或“ ((运算式))”或“ ((运算式))”或“[运算式]”或者 expr m + n //expression 表达式
- 注意 expr 运算符间要有空格, 如果希望将 expr 的结果赋给某个变量,使用 ``
- expr m - n 4) expr *, /, % 乘,除,取余
最常用
#!/bin/bashecho"$[$1+$2]"
#!/bin/bash #案例 1:计算(2+3)X4 的值 #使用第一种方式 RES1=$(((2+3)*4))echo"res1=$RES1"#使用第二种方式, 推荐使用 RES2=$[(2+3)*4]echo"res2=$RES2"#使用第三种方式 exprTEMP=`expr2 + 3`RES4=`expr $TEMP \* 4`echo"temp=$TEMP"
17.9 条件判断
17.9.1 判断语句
基本语法 [ condition ](注意 condition 前后要有空格)
非空返回 true,可使用$?验证(0 为 true,>1 为 false)
应用实例
[ hspEdu ] 返回 true
[ ] 返回 false
[ condition ] && echo OK || echo notok 条件满足,执行后面的语句
判断语句 常用判断条件
- = 字符串比较
- 两个整数的比较
-lt 小于
-le 小于等于 little equal
-eq 等于
-gt 大于
-ge 大于等于
-ne 不等于
- 按照文件权限进行判断
-r 有读的权限
-w 有写的权限
-x 有执行的权限
- 按照文件类型进行判断
-f 文件存在并且是一个常规的文件
-e 文件存在
-d 文件存在并是一个目录
17.10 流程控制
17.10.1 if 判断
基本语法 if [ 条件判断式 ] then 代码 fi
或者 ,多分支
if [ 条件判断式 ] then 代码
elif [条件判断式] then 代码 fi
注意事项:[ 条件判断式 ],中括号和条件判断式之间必须有空格
应用实例 ifCase.sh 案例:
请编写一个 shell 程序,如果输入的参数,大于等于 60,则输出 “及格了”,如果小于 60,则输出 “不及格”
#!/bin/bashif[$1-ge60]thenecho"及格了"elif[$1-le60]thenecho"不及格"fi
17.10.2 case 语句
基本语法
case $变量名 in “值 1”)
如果变量的值等于值 1,则执行程序 1 ;;
“值 2”) 如果变量的值等于值 2,则执行程序 2 ;;…
省略其他分支…
*) 如果变量的值都不是以上的值,则执行此程序 ;;
esac
#!/bin/bashcase$1in"1")echo"zhouyi";;"2")echo"周二";;
*)echo"其他";;esac
17.10.3 for 循环
基本语法 1
for 变量 in 值 1 值 2 值 3…
do
程序/代码
done
#!/bin/bashforiin"$*"doecho"num is $i"doneforjin"$@"doecho"num is $j"done# $* 是把输入的参数,当作一个整体,所以只会输出一句# $@ 来获取输入的参数,这是分别对待,所以有几个参数,就输出几句
基本语法 2
for (( 初始值;循环控制条件;变量变化 ))
do
程序/代码
done
#!/bin/bashsum=0for(( i=1; i<=$1; i++))dosum=$[$sum+$i]doneecho"总额为$sum"
17.10.4 while 循环
基本语法 1
while [ 条件判断式 ]
do
程序 /代码
done
注意:while 和 [有空格,条件判断式和 [也有空格
#!/bin/bashi=0sum=0while[$i-le$1]dosum=$[$sum+$i]i=$[$i+1]doneecho"总和为$sum"
17.11 read 读取控制台输入
read(选项)(参数) 选项:
-p:指定读取值时的提示符;
-t:指定读取值时等待的时间(秒),如果没有在指定的时间内输入,就不再等待了。。
参数
变量:指定读取值的变量名
#!/bin/bashread-p"请输入一个数" a
echo"你输入的数是$a"# 注意 -p 的提示词与参数之间要有空格
17.12函数
17.12.1 函数介绍
shell 编程和其它编程语言一样,有系统函数,也可以自定义函数。系统函数中,我们这里就介绍两个。
17.12.2 系统函数
basename基本语法
功能:返回完整路径最后 / 的部分,常用于获取文件名
basename [pathname] [suffix]
basename [string] [suffix]
(功能描述:basename 命令会删掉所有的前缀包括最后一个(‘/’)字符,然后将字符串 显示出来。
选项: suffix 为后缀,如果 suffix 被指定了,basename 会将 pathname 或 string 中的 suffix 去掉
dirname 基本语法
功能:返回完整路径最后 / 的前面的部分,常用于返回路径部分 dirname 文件绝对路径
(功能描述:从给定的包含绝对路径的文件名中去除文件名(非目录的部分),然后返回剩 下的路径(目录的部分))
17.12.3 自定义函数
基本语法
[ function ] funname[()]
{
Action;
[return int;]
}
调用直接写函数名:funname [值]
#!/bin/bashfunctiongetSum(){sum=$[$n1+$n2]echo"两数之和为$sum"}read-p"请输入一个数" n1
read-p"请输入另一个" n2
getSum $n1$n2
17.13Shell 编程综合案例
17.13.1 需求分析
- 每天凌晨 2:30 备份 数据库 hspedu 到 /data/backup/db
- 备份开始和备份结束能够给出相应的提示信息
- 备份后的文件要求以备份时间为文件名,并打包成 .tar.gz 的形式,比如:2021-03-12_230201.tar.gz
- 在备份的同时,检查是否有 10 天前备份的数据库文件,如果有就将其删除。
- 画一个思路分析图
#备份目录
BACKUP=/data/backup/db
#当前时间
DATETIME=$(date +%Y-%m-%d_%H%M%S)
echo $DATETIME
#数据库的地址
HOST=localhost
#数据库用户名
DB_USER=root
#数据库密码
DB_PW=hspedu100
#备份的数据库名
DATABASE=hspedu
#创建备份目录, 如果不存在,就创建
[ ! -d "${BACKUP}/${DATETIME}" ] && mkdir -p "${BACKUP}/${DATETIME}"
#备份数据库
mysqldump -u${DB_USER} -p${DB_PW} --host=${HOST} -q -R --databases ${DATABASE} | gzip > ${BACKUP}/${DATETIME}/$DATETIME.sql.gz
#将文件处理成 tar.gz
cd ${BACKUP}
tar -zcvf $DATETIME.tar.gz ${DATETIME}
#删除对应的备份目录
rm -rf ${BACKUP}/${DATETIME}
#删除 10 天前的备份文件
find ${BACKUP} -atime +10 -name "*.tar.gz" -exec rm -rf {} \;
echo "备份数据库${DATABASE} 成功~"
ost
#数据库用户名
DB_USER=root
#数据库密码
DB_PW=hspedu100
#备份的数据库名
DATABASE=hspedu
#创建备份目录, 如果不存在,就创建
[ ! -d “
B
A
C
K
U
P
/
{BACKUP}/
BACKUP/{DATETIME}” ] && mkdir -p “
B
A
C
K
U
P
/
{BACKUP}/
BACKUP/{DATETIME}”
#备份数据库
mysqldump -u
D
B
U
S
E
R
−
p
{DB_USER} -p
DBUSER−p{DB_PW} --host=${HOST} -q -R --databases ${DATABASE} | gzip >
B
A
C
K
U
P
/
{BACKUP}/
BACKUP/{DATETIME}/$DATETIME.sql.gz
#将文件处理成 tar.gz
cd ${BACKUP}
tar -zcvf $DATETIME.tar.gz ${DATETIME}
#删除对应的备份目录
rm -rf
B
A
C
K
U
P
/
{BACKUP}/
BACKUP/{DATETIME}
#删除 10 天前的备份文件
find
B
A
C
K
U
P
−
a
t
i
m
e
+
10
−
n
a
m
e
"
∗
.
t
a
r
.
g
z
"
−
e
x
e
c
r
m
−
r
f
e
c
h
o
"
备份数据库
{BACKUP} -atime +10 -name "*.tar.gz" -exec rm -rf {} \; echo "备份数据库
BACKUP−atime+10−name"∗.tar.gz"−execrm−rfecho"备份数据库{DATABASE} 成功~"
版权归原作者 Cx330_zhahui 所有, 如有侵权,请联系我们删除。