Shell三剑客之sed命令详解

    sed是一个强大而简单的文件解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出处理的某些行。sed也可以再无交互的情况下实现相当复杂的文本处理操作

一、sed命令的常见用法

    通常情况下调用sed命令有两种格式，如下所示。其中“参数”是指操作的目标文件，当存在多个操作对象时用，文件之间用逗号“,”分隔；而scriptfile表示脚本文件，需要用-f选项指定，表示通过指定的脚本文件来处理输入的目标文件。

sed [选项] '操作' 参数

sed [选项] -f scriptfile 参数

选项

常见的sed命令选项包含以下几种：
-e或-expression=：表示用指定命令或者脚本来处理输入的文本文件
-f或-file-：表示用指定的脚本文件来处理输入的文件文件
-h或--help：显示帮助
-n、-quite或silent：表示仅表示处理后的结果
-i：直接编辑文本文件

操作

    “操作”用于只当对文件操作的动作行为，也就是sed的命令。通常情况下是采用“[n1[n2]]”操作参数的格式。n1、n2是可选的，代表选择进行操作的行数，如操作需要在5~20行之间进行，则表示为“5，20动作行为”。常见的操作包括以下几种。

a：增加，在当前行下面增加一行指定内容。
c：替换，讲选定行替换为指定内容。
d：删除，删除选定的行。
i：插入，在选定行上面插入一行指定内容。
p：打印，如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容，如果又非打印字符，则以ASCLL码输出。通常与“-n”选项一起使用。
s：替换，替换指定字符
y：字符转换

二、用法示例

我们复制一个网卡文件，然后用它来进行演示

2.1、输出符合条件的文本（p表示正常输出）

sed -n '3p' ens33 #输出第三行内容

sed -n '3,5p' ens33 #输出3-5行内容

sed -n '3p;5p' ens33 #输出第三和第五行

sed -n 'p;n' ens33 #输出所有奇数行 sed -n '1~2p' ens33也可以实现

sed -n 'n;p' ens33 #输出所有偶数行 sed -n '2~2p' ens33也可以实现

sed -n '1,5{p;n}' ens33 #输出1-5行的奇数行

sed -n '1,5{1~2p}' ens33 #输出1-5的奇数行

sed -n '1,5{2~2p}' ens33 #输出1-5的偶数行

sed -n '7,${n;p}' ens33 #输出7行以后的偶数行

sed -n '3,+5p' ens33 #从第3行开始，连续进行输出即输出3-8行的内容

2.2、sed结合正则表达式输出指定行

sed 命令结合正则表达式时，格式略有不同，正则表达式以“/”包围。
注：如果遇到特殊符号的情况，扩展正则还需要转义字符“\”。

准备一个文本文件

sed -n '/the/p' test.txt #输出包含the的行

sed -n '4,/the/p' test.txt #输出从第四行开始包含the的行

sed -n '/the/=' test.txt #输出包含the的行所在的行号，用（=）来输出行号

sed -n '/^PI/p' test.txt #输出PI开头的行

sed -n '/[0-9]$/p' test.txt #输出以数字0-9为结尾的行

注意：在查看以什么结尾时，要注意结尾的空字符

sed -n '/<wood>/p' test.txt #输出包含单词wood的行，< >代表单词边界

2.3、删除符合条件的文本

    还是用上面的test.txt文件，但是我们需要做个备份，用于删除后可以复原

    下面命令中 nl 命令用于计算文件的行数，结合该命令可以更加直观地查看到命令执行的结果。我们也可以利用-i或者不加选项来显示，但是区别就是-i是直接对文本进行操作，不加参数是只显示结果，不对文本进行操作。

nl test.txt | sed '3d' 或者 sed '3d' test.txt 或者sed -i '3d' test.txt

#-i会对文本直接进行修改

#删除第三行

为了更好的可视化所以用nl

nl test.txt | sed '3,5d' #删除3-5行内容

nl test.txt | sed '/the/d' #删除带有the字符的行，带!符号表示取反，就是删除不带the的行

    带"!"的取反操作 

sed '/^[a-z]/d' test.txt #删除以a-z开头的行

sed '/.$/d' test.txt #删除以.结尾的行

sed '/^$/d' test.txt #删除空行

    注 意 ： 若 是 删 除 重 复 的 空 行 ， 即 连 续 的 空 行 只 保 留 一 个 ， 执 行 “sed -e ‘/^$/{n;/^$/d}’ test.txt”命令即可实现。其效果与“cat -s test.txt”相同，n 表示读下一行数据。 

2.4、插入符合条件的行

sed '3i 我是谁' test.txt #在第三行的上一行添加我是谁

sed '/the/i 我是谁' test.txt #在含有the的行的上一行添加我谁

sed '/the/a 我是谁' test.txt #在含有the的行的下一行添加我谁

sed '3c ##########' test.txt #将第三行替换为##########

三、替换符合条件的文本

3.1、字符串替换

sed 's/the/THE' test.txt #将每行中的第一个the替换为THE

sed ‘s/l/L/2’ #将每行的第二个l替换为L

sed 's/l/L/g' test.txt #将文件中所有的l都替换为L

sed 's/o/ /g' test.txt #将所有的o都替换为空字符

sed 's/^/#/' test.txt #将所有行前面都加个#

sed '/the/s/^/#/' test.txt #将包含the的行前面加个#

sed '3，5s/the/THE/g' test.txt #将3-5行中的the替换为THE

sed '/the/s/o/O/g' text.txt #将包含the的行中的o替换为O

3.2、先备份再修改数据

sed -i.bak 's/SELINUX=disable/SELINUX=enfocing/' /etc/selinux/config

四、迁移符合条件的文本

迁移文本的参数

H:复制到剪贴板；
g、G:将剪贴板中的数据覆盖/追加至指定行；
w：保存为文件；
r：读取指定文件；
a：追加指定内容。具体操作方法如下所示。
I,i   忽略大小写

sed '/the/{H;d};$G' test.txt #包含the的行迁移至文件末尾，{;}用于多个操作

sed '1,5/{H;d};14G' test.txt #将1-5行内容追加到14行后

sed '/the/w out.file' text.txt #将包含the 的行另存为文件 out.file

sed '/the/r /etc/hostname' text.txt #将文件/etc/hostname 的内容添加到包含 the 的每行以后

sed '3a #####' text.txt #在第 3 行后插入一个新行,内容为##### 如果是参数i就是在第三行上

sed '/the/a #####' text.txt #在包含the 的每行后插入一个新行,内容为 New

sed '3a #####\n ######' text.txt //在第 3 行后插入多行内容,中间的\n 表示换行

五、使用脚本编辑文件

使用 sed 脚本将多个编辑指令存放到文件中（每行一条编辑指令），通过“-f”选项来调用。

例如执行以下命令即可将第 1~5 行内容转移至第 14 行后，等同于sed ‘1,5{H;d};14G’ text.txt

注意：以上除了查看固定多少行的内容，其他所有的操作加上"-i"选项，才能真正的对文本进行编辑，不然只能看到操作后的结果，并不能直接对文本能让修改。

就比如上面这个对文本内容的修改

我们进行完操作再看内容

是不变的

我们加上-i

sed -f sed.sh -i test.txt

总结

    sed是非常好用的一个文本编辑命令，可以让用户在写shell脚本时免交互，去对文本进行编辑操作，大大减少了人的操作量。需要好好学习