Linux三剑客之awk命令详解

一、awk常见用法

    通常情况下awk所使用的命令格式如下，其中，单引号家伙是那个大括号“{ }”用于设置对于数据进行的处理动作。awk可以直接处理目标文件，也可以通过“-f”读取脚本对目标文件进行处理。

awk 选项 '模式或条件{编辑指令}' 文件1 文件2 #过滤并输出文件中符合条件的内容

awk -f 脚本文件 文件1 文件2 #从脚本中调用编辑指令，过滤并输出内容

    它与sed命令有一些不同，sed常用于一整行的处理，二awk比较倾向于将一行分成多个“字段”然后再进行处理，awk命令的过程中，可用使用逻辑操作符“&&”表示“与”、“||”表示“或”、“！”表示“非”；还可以进行简单的数学运算。

二、案例

2.1、awk中-F的使用

cat /etc/passwd | awk -F ".' "{print $1,$3,$4}''

#以":"为分隔符，输出1，3，4列内容

     awk 从输入文件或者标准输入中读入信息，与 sed 一样，信息的读入也是逐行读取的。 不同的是 awk 将文本文件中的一行视为一个记录，而将一行中的某一部分（列）作为记录 中的一个字段（域）。为了操作这些不同的字段，awk 借用 shell 中类似于位置变量的方法， 用$1、$2、$3…顺序地表示行（记录）中的不同字段。另外 awk 用$0 表示整个行（记录）。 不同的字段之间是通过指定的字符分隔。awk 默认的分隔符是空格。awk 允许在命令行中 用“-F 分隔符”的形式来指定分隔符。

2.2、awk中几个特殊的内部变量

FS：指定每行文本的字段分隔符，默认为空格或制表位。 与-F一样
NF：当前处理的行的字段个数。 
NR：当前处理的行的行号（序数）。 
$0：当前处理的行的整行内容。 
$n：当前处理行的第 n 个字段（第 n 列）。 
FILENAME：被处理的文件名。
RS：数据记录分隔，默认为\n，即每行为一条记录。 

用法：

cat /etc/passwd | awk '{print}' #输出所有内容 或者 '{print $0}'

cat /etc/passwd | awk 'NR==1,NR==3{print}' #输出第1~3行内容

cat /etc/passwd | awk '(NR<=3)$$(NR>=1){print}'

cat /etc/passwd | awk 'NR==1||NR==3{print}' #输出1、3行的内容

nl /etc/passwd | awk '(NR%2)==1{print}' #输出奇数行（为了更好的可视化，这里用nl）

nl /etc/passwd | awk '(NR%2)==0{print}' #输出偶数行

三、实战案例

58.87.87.99 - - [09/Jun/2020:03:42:43 +0800] "POST /wp-cron.php?doing_wp_cron=1591645363.2316548824310302734375 HTTP/1.1" ""sendfileon
128.14.209.154 - - [09/Jun/2020:03:42:43 +0800] "GET / HTTP/1.1" ""sendfileon
64.90.40.100 - - [09/Jun/2020:03:43:11 +0800] "GET /wp-login.php HTTP/1.1"""sendfileo

要输出时间和IP

cat 1.txt | awk -F"[ []" '{print$1,$5}'

awk -F: 'BEGIN{a=0};$3%2==0 && //sbin/nologin/{print NR,$0} END{print a}' /etc/passwd