Shell编程
视频地址https://www.bilibili.com/video/BV1hW41167NW/?p=1&vd_source=977d52a6b92ce8b6ae67c16fc61f0428
第一章 Shell概述
大数据程序员为什么要学习Shell呢?
- 需要看懂运维人员编写的Shell程序
- 偶尔会编写一些简单的Shell程序来管理集群,提高开发效率。
Shell概述
Shell是一个命令行解释器,它接收应用程序的/用户命令,然后调用操作系统内核。
Shell 还是一个功能相当强大的编程语言,易编写、易调试、灵活性强。
第二章 Shell解析器
- Linux提供的shell解析器有:6种 系统 默认的是/bin/bash
- bash和sh的关系,sh是bash的软连接
- Contos默认的解析器是bash
第三章 Shell脚本入门
3.1 脚本格式
脚本以
#!/bin/bash
开头(指定解析器)
3.2 第一个Shell脚本:hello world
需求:创建一个Shell脚本,输出helloworld
创建一个文件夹,以后存放的shell脚本全放在这个文件夹下
mkdir shelldatas
进入shelldatas:
cd shelldatas
在shelldatas下创建shell脚本:
touch helloworld.sh
编辑sh脚本:
vim helloworld.sh
按
i
进行输入 输入完成后按ESC键,输入
:wq
退出
运行脚本 ,有以下方式
sh helloworld.sh
bash helloworld.sh
bash /shelldatas/helloworld.sh
sh /shelldatas/helloworld.sh
./helloworld.sh
这个会报权限不够;
输入
ll
查看权限
给文件添加权限:
chmod +x ./test.sh
使脚本具有执行权限
输入
ll
查看权限
权限赋予之后使用
./helloworld.sh
或者
/shelldatas/helloworld.sh
注意:第一中执行方法,本质是bash解析器帮你执行脚本,所以脚本本身不需要执行权限,第二种执行方法,本质是脚本需要自己执行,所以需要执行权限。
3.3 第二个Shell脚本:多命令处理
需求
在
/shelldatas
目录下创建一个banzhang.txt在banzhang.txt文件中增加”I love cls“
创建batch.sh脚本
touch batch.sh
编辑batch.sh
vim batch.sh
按
i
进行输入,完成后按
ESC
并输入
:wq
退出
执行batch.sh
sh batch,sh
查看文件夹是否多了banzhang.txt文件。
打开banzhang.txt,内容显示在控制台上。
cat banzhang.txt
第四章 Shell中的变量
4.1系统变量
4.1.1 常用系统变量
$HOME
、
$PWD
、
$SHELL
、
$USER
等
4.1.2 案例实操
- 查看系统变量的值
- 显示当前shell中的所有变量:
set
4.2 自定义变量
4.2.1 基本语法
定义变量:
变量 = 值
撤销变量:
unset 变量
声明静态变量:
readonly 变量
,注意不能unset
变量定义规则
- 变量名称可以由字母、数字和下划线组成,但是不能以数字开头,
环境变量名建议大写
。 等号两侧不能有空格。
- 在bash中,变量默认类型都是字符串类型,无法直接进行数值运算
- 变量的值如果有空格,需要使用双引号或单引号括起来。
- 可把变量提升为全局环境变量,可供其他Shell程序使用
4.2.2
export 变量名
编辑helloworld.sh
输入指令echo $D,
保存后运行helloworld.sh,$D 并没有被输出
目前$D为局部变量,将它提升为全局变量,export D
运行helloworld.sh
注意:变量设置为全局变量后,可供所有的shell脚本内使用,常见的场景就是些javahome,dorkehome等
4.3 特殊变量:
$n
4.3.1 基本语法
$n
(功能描述:
n
为数字,
$0
代表该脚本名称,
$1-9
代表第一到第九个参数,十以上的参数,十以上的参数需要用大括号包含如
${10}
)
4.3.2 案例实操
创建
touch parameter.sh
;编辑文件
vim parameter.sh
输入
echo ”$0 $1 $2 $3“
报存编辑 运行parameter.sh,
sh parameter.sh
应用场景,判断你输入的参数,脚本内根据参数执行相应的内容,
4.4 特殊变量:
$#
4.4.1 基本语法
$#
(功能描述:获取所有输入参数个数,常用于循环)。
实操案例
继续编辑
vim parameter.sh
输入
echo ‘$#’
保存运行脚本
4.5 特殊变量:
$*
、
$@
4.5.1 基本语法
$*
(功能描述:这个变量代表命令行中所有的参数,
$*
把所有的参数看成一个整体)
$@
(功能描述:这个变量也代表命令行中的所有的参数,不过
$@
把每个参数区分对待)
4.5.2 案例实操
4.6特殊变量: $?
4.6.1基本语法
$?
(功能描述:最后一次执行的命令的返回状态,如果这个变量的值为0,证明上一个命令正确执行,如果这个变量的值为非0(具体是哪个数,由命令自己来决定),则证明上一个命令执行不正确了 )
4.6.2 实操案例
第五章 运算符
5.1 基本语法
”
$((运算式))
“或”
$[运算式]
“
expr +,-,\*, / ,%
加,减,乘,除,取余
注意:
expr 与运算符之间要有空格。
5.2实操案例
计算2+3,3-2
计算混合运行(2+3)*4
expr
的形式,
expr 2 + 3
用上顿号包起来表示让它先运行,后面在执行最外层的运算
通过
[]
中括号的形式,这个明显简单些,中括号内直接放运算式子
第六章 条件判断
6.1 基本语法
【 condition 】
(注意condition前后要有空格)
**注意:条件非空即为true,
【 zhangsan 】
返回true,
[]
返回false**
6.2 常用判断条件
6.2.1 连个整数之间比较
=
字符串比较
-lt
小于 (less than)
-le
小于等于(less equal)
-eq
等于 (equal)
-gt
大于 (greater then)
-ge
大于等于(greater equal)
-ne
不等于(Not equal)
6.2.2 按照文件权限进行判断
-r
有读的权限(read)
-w
有写的权限(write)
-x
有执行的权限(execute)
6.2.3 按照文件类型进行判断
-f
文件存在并且是一个常规的文件(file)
-e
文件存在 (existence)
-d
文件存在并不是一个目录(directory)
6.2.4 例子:
判断23 大于等于 22,
判断helloworld.sh 是否具有写权限
/shelldatas/cls.txt 目录中的文件是否存在
多条件判断(&&表示前一条命令执行成功时,才执行后一条命令), || 表示上一条命令执行失败后,才执行下一条命令
第七章 流程控制(重点)
7.1 if判断
7.1.1 基本语法
if[ 条件判断式 ]:then
程序
fi
或者
if 【 条件判断式 】
then
程序
fi
- 【 条件判断式 】,中括号和条件判断式之间必须有空格
- if 后要有空格
7.1.2 案例实操
输入一个数字,如果式1,则输出ni zhen shuai,如果输出2,则输出ni zhen chou,如果是其他,什么也不输出。
7.2 case 语句
7.1.1 基本语法
case $ 变量名 in
”值1“)
如果变量的值等于值1,则执行程序1
;;
”值2“)
如果变量的值等于值2,则执行程序2
;;...省略其他分支...
*)
如果变量的值都不是以上的值,则执行此程序
;;esac
注意事项:
- case行尾必须为单词”in“,每一个模式匹配必须以右括号”)“结束
- 双分号”;;“表示命令序列结束,相当于Java中的break
- 最后的” *)“表示默认模式,相当于Java中的default
7.1.2 案例实操:
输入一个数字,如果是1,则输出beijing,如果是2,则输出nanjing,如果是其他,则输出shanghai
7.3 for循环
7.3.1 基本语法
for(( 初始值;循环控制条件;变量变化 ))do
程序
done
7.3.2 案例实操
从1加到100
7.3.3基本语法2
for 变量 in 值1 值2 值3...
do
程序
done
7.3.4 实操案例:打印所有输入参数
$*的输出,一次输出一个参数
$@的输出,一次输出一个参数
“$*” 加引号的,一次输出所有,只循环一次
加”$@“ 一次输出一个
**总结:
$@
、
$*
、
"$@"
,参数有几个就循环几次,
"$*"
, 不管参数有多少个,它只循环一次,并且值就是所有的值**
7.4 while循环
7.4.1 基本语法
while[ 条件表达式 ]do
程序
done
7.4.2 实例:从1加到100
第八章 read读取控制台输入
8.1 基本语法
read(选项)(参数)
选项:
-p:指定读取值时的提示符;
-t: 指定读取值时等待的时间(秒); 参数: 变量:指定读取值的变量名
8.2案例实操
提示7秒内,读取控制台输入的名称
第九章 函数
9.1 系统函数
9.1.1 basename 基本语法
basename [string/pathname] [suffix]
(功能描述:basename命令会删掉所有的前缀包括最后一个(‘/’)字符,然后将字符串显示出来)
选项:
suffix
为后缀,如果
suffix
被指定了,
basename
会将
pathname
或
string
中的
suffix
去掉。
9.1.2 案例实操
截取该
/shelldatas/helloword.sh
路径的文件名称
9.1.3 dirname基本语法
dirname文件绝对路径
(功能描述:从给定的包含绝对路径的文件名中去除文件名(非目录部分)然后返回剩下的路径(目录的部分))
9.1.4 案例实操
9.2 自定义函数
9.2.1 基本语法
[function] funname[()]{
Action;[return int;]}
funname
经验技巧
- 必须在调用函数地方之前,先声明函数,shell脚本是逐行运行,不像其他语言一样编译。
- 函数返回值,只能通过$?系统变量获得,可以显示加:return返回,如果不加,将以最后一条命令运行结果作为返回值,return后跟数值n(0~255)
9.2.2 案例实操(计算两个输入参数的和)
第十章 Shell工具(重点)
10.1 cut
cut
的工作就是“剪”,具体的说就是在文件中负责剪切数据用的,cut命令从文件的每一行剪切字节、字符
和字段并将这些字节、字符和字段输出。
10.1.1 基本语法
cut[选项参数] filename
说明:默认分割符是治标符
选择参数说明
选项功能-f列号,提取第几列-d分隔符,按照指定分隔符分隔
10.1.2 实操案例
准备数据
选取系统path变量值,第2个“:”开始后的所有路径
切割ifconfig后打印的ip地址
ifconfig eth0
ifconfig eth0 |grep"inet addr"ifconfig eth0 |grep"inet addr"|cut-d:-f2ifconfig eth0 |grep"inet addr"|cut-d:-f2|cut-d" "-f1
10.2 sed
sed
是一种流编译器,它一次处理一行内容,处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”,接着用
sed
命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕,接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。
10.2.1 基本语法
sed[选项参数] ‘command’ filename
10.2.2 选项参数说明
选项参数功能-e直接在指令列模式上进行sed动作编辑
10.2.3 命令功能描述
命令功能a新增,a的后面可以接字串,在下一行出现d删除s查找并替换
10.2.4 实例实操
将meinv 这个单词插入到sed.txt第二行,打印
删除源文件中包含zou的行
将sed.txt文件中将zhangsan替换为lisi
将sed.txt文件中的第二行删除,并将zhangsan替换为lisi
10.3 awk
一个强大的文本分析工具,把文件逐行的读入,以空格为默认分割符将每行切片,切开的部分在进行分析处理。
10.3.1 基本用法
awk[选项参数] ‘patternl {action1} pattern2 {action2}...’ filename
pattern"
: 表示awk在数据中查找的内容,就是匹配模式
action
:在找到匹配内容时所执行的一系列命令
10.3.2 选项参数说明
选项参数功能-F指定输入文件拆分隔符-V赋值一个用户定义变量
10.3.3 案例实操
搜索passwd文件以root关键字开头的所有行,并输出改行的第7列
搜索passwd文件以root关键字开头的所有行,并输出该行的第1列和第7列,中间以“,”号分割
**
注意:只有匹配了pattern的行才会执行action
**
只显示/etc/passwd的第一列和第七列,以逗号分隔,且在所有行前面添加列名user,shell在最后一行添加“dage,/bin/zhishai”
**
注意:BEGIN在所有数据读取行之前执行,END在所有数据执行之后执行。
将passwd文件中的用户id增加数值1,并输出**
10.3.4 awk的内置变量
变量说明FILENAME文件名NR已读的记录数NF浏览纪律的域的个数(切割后,列的个数)
10.3.5 案例实操
统计passwd文件名,每行的行号,每列的列数
切割IP
查询sed.txt中空行所在的行号
10.4 sort
sort
命令式在Linux里非常有用,它将文件进行排序,并将排序结果标准输出。
10.4.1 基本语法
sort(选项)(参数)
选项说明-n依照数值大小排序-r以相反的顺序排序-t设置排序时所用的分隔字符-k指定需要排序的列
10.4.2 案例实操
第11章: 企业真实面试题
11.1 京东
问题1:使用Linux命令查询filel中空行所在的行号
有文件chengji.txt内容如下
张三 40
李四 50
王五 60
使用Linux 命令计算第二列的和并输出:
cat chengji.txt |awk-F" "'{sum+=$2} END{print sun}'
11.2搜狐&和讯网
Shell脚本里如何检查一个文件是否存在?如果不存在该如何处理?
#! /bin/bashif[-f file.txt ];thenecho"文件存在"elseecho"文件不存在"fi
11.3 新浪
用shell写一个脚本,对文本中无序的一列数字排序
11.4金和网络
请用shell脚本写出查找当前文件夹(/home)下所有的文本文件内容中包含有字符”shen“的文件名称
版权归原作者 小何开发 所有, 如有侵权,请联系我们删除。