awk
awk是linux下的一个命令，他对其他命令的输出，对文件的处理都十分强大，其实他更像一门编程语言，他可以自定义变量，有条件语句，有循环，有数组，有正则，有函数等。他读取输出，或者文件的方式是一行，一行的读，根据你给出的条件进行查找，并在找出来的行中进行操作，感觉他的设计思想，真的很简单，但是结合实际情况，具体操作起来就没有那么简单了。他有三种形势，awk，gawk，nawk，平时所说的awk其实就是gawk。。
1，变量
变量 描述
$n 当前记录的第n个字段，字段间由 FS分隔。
$ 完整的输入记录。
ARGC 命 令行参数的数目。
ARGIND 命令行中当前文件的位置(从0开始算)。
ARGV 包 含命令行参数的数组。
CONVFMT 数字转换格式(默认值为%.6g)
ENVIRON 环 境变量关联数组。
ERRNO 最后一个系统错误的描述。
FIELDWIDTHS 字 段宽度列表(用空格键分隔)。
FILENAME 当前文件名。
FNR 同 NR，但相对于当前文件。
FS 字段分隔符(默认是任何空格)。
IGNORECASE 如 果为真，则进行忽略大小写的匹配。
NF 当前记录中的字段数。
NR 当 前记录数。
OFMT 数字的输出格式(默认值是%.6g)。
OFS 输 出字段分隔符(默认值是一个空格)。
ORS 输出记录分隔符(默认值是一个换行符)。
RLENGTH 由 match函数所匹配的字符串的长度。
RS 记录分隔符(默认是一个换行符)。
RSTART 由 match函数所匹配的字符串的第一个位置。
SUBSEP 数组下标分隔符(默认值是\)。
2，运算符
运算符 描述
= += -= *= /= %= ^= **= 赋值
?: C条件表达式
|| 逻 辑或
&& 逻辑与
~ ~! 匹 配正则表达式和不匹配正则表达式
< <= > >= != == 关 系运算符
空格 连接
+ - 加，减
* / & 乘，除与求余
+ - ! 一元加，减和逻辑非
^ *** 求幂
++ -- 增加或减少，作为前缀或后缀
$ 字 段引用
in 数组成员
3，awk的正则
匹配符 描述
\Y 匹配一个单词开头或者末尾的空字符串
\B 匹配单词内的空字符串
\< 匹配一个单词的开头的空字符串，锚定开始
\> 匹配一个单词的末尾的空字符串，锚定末尾
\W 匹配一个非字母数字组成的单词
\w 匹配一个字母数字组成的单词
\' 匹配字符串末尾的一个空字符串
\‘ 匹配字符串开头的一个空字符串
4，字符串函数
函数名 描述
sub 匹配记录中最大、最靠左边的子字符串的正则表达式，并用替换字符串替换这些字符串。如果没有指定目标字符串就默认使用整个记录。替换只发生在第一次匹配的 时候
gsub 整个文档中进行匹配
index 返回子字符串第一次被匹配的位置，偏移量从位置1开始
substr 返回从位置1开始的子字符串，如果指定长度超过实际长度，就返回整个字符串
split 可按给定的分隔符把字符串分割为一个数组。如果分隔符没提供，则按当前FS值进行分割
length 返回记录的字符数
match 返回在字符串中正则表达式位置的索引，如果找不到指定的正则表达式则返回0。match函数会设置内建变量RSTART为字符串中子字符串的开始位 置，RLENGTH为到子字符串末尾的字符个数。substr可利于这些变量来截取字符串
toupper和tolower 可用于字符串大小间的转换，该功能只在gawk中有效
5，数学函数
函数名 返回值
atan2(x,y) y,x 范围内的余切
cos(x) 余弦函数
exp(x) 求 幂
int(x) 取整
log(x) 自然对 数
rand() 随机数
sin(x) 正弦
sqrt(x) 平 方根
srand(x) x是rand()函数的种子
int(x) 取 整，过程没有舍入
rand() 产生一个大于等于0而小于1的随机数
练习实例：
一：列出最近登陆系统的n个用户的信息
[jihite@~]$last -
jihite pts/ :0.0 Mon Aug : still logged in
jihite pts/ :0.0 Mon Aug : still logged in
jihite pts/ :0.0 Mon Aug : still logged in
reboot system boot 3.2.--generic Mon Aug : - : (:)
reboot system boot 3.2.--generic Sat Aug : - : (:)
现在利用awk命令只提取第一列的用户名
[jihite@~]$last - | awk '{print $1}'
jihite
jihite
jihite
reboot
reboot
解析：awk工作流程：逐行读取（以‘\n’区分），默认以空格分开，0是整行内容，0是整行内容，1是第一列内容。
如果只是显示/etc/passwd的账户
#cat /etc/passwd |awk -F ':' '{print $1}'
root
daemon
bin
sys
二：-F指定分割的符号
如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割
#cat /etc/passwd |awk -F ':' '{print $1"\t"$7}'
root /bin/bash
daemon /bin/sh
bin /bin/sh
sys /bin/sh
1,1,7之间以“\t”分开
三：在输出的开头和结尾添加输出
在所有行添加列名name,shell，在最后一行添加”blue,/bin/nosh”。
cat /etc/passwd |awk -F ':' 'BEGIN {print "name,shell"} {print $1","$7} END {print "blue,/bin/nosh"}'
name,shell
root,/bin/bash
daemon,/bin/sh
bin,/bin/sh
sys,/bin/sh
....
blue,/bin/nosh
awk工作流程是这样的：先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。
四：搜索含有某关键字的行
（找出含有关键字‘man’的行）
[jihite@~]$cat '/etc/passwd' | awk -F : '/man/{print $0}'
man:x:::man:/var/cache/man:/bin/sh
colord:x:::colord colour management daemon,,,:/var/lib/colord:/bin/false
五：单双引号
双引号
awk '{print "\""}' #放大：awk '{print " \" "}'
单引号
awk '{print "'\''"}' # 放大: awk '{print " ' \ ' ' " }'
$cat del abcde
fghig $cat del | awk '{print $1}' abcde
fghig $cat del | awk '{print "'\''"$1"'\''"}'
''
''
'abcde'
'fghig' $cat del | awk '{print "'\''"$1"'\''"","}'
'',
'',
'abcde',
'fghig',
六：内置变量
ARGC 命令行参数个数
ARGV 命令行参数排列
ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名
FNR 浏览文件的记录数
FS 设置输入域分隔符，等价于命令行 -F选项
NF 浏览记录的域的个数
NR 已读的记录数
OFS 输出域分隔符
ORS 输出记录分隔符
RS 控制记录分隔符
实例
[jihite@~]$awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF}' /etc/passwd
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
