首页 技术 正文
技术 2022年11月15日
0 收藏 718 点赞 2,994 浏览 7103 个字

一.简介

  强大的文本分析工具,基于指定规则浏览和抽取信息。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本。
  awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言: AWK 程序设计语言 , 三位创建者已将它正式定义为“样式扫描和处理语言”。
  先执行BEGING,然后读取文件,读入有/n换行符分割的一条记录,然后将记录按指定的域分隔符划分域,填充域,$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完,最后执行END操作。

二.语法

awk ‘{pattern + action}’ {filenames}
pattern 表示 AWK 在数据中查找的内容;action 是在找到匹配内容时所执行的一系列命令,命令之间;号隔开,没有指定action,默认输出整行的内容。 pattern就是要表示的正则表达式,用斜杠括起来。

三.调用awk方式

3.1 命令行方式

awk [-F field-separator] ‘commands’ input-file(s)
其中,commands 是真正awk命令,[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。

3.2 shell脚本方式

将所有的awk命令插入一个文件,并使awk程序可执行,然后awk命令解释器作为脚本的首行,一遍通过键入脚本名称来调用。
相当于shell脚本首行的:#!/bin/sh
可以换成:#!/bin/awk

3.3 将所有的awk命令插入一个单独文件

awk -f awk-script-file input-file(s)
其中,-f选项加载awk-script-file中的awk脚本,input-file(s)跟上面的是一样的。

四.内置变量

ARGC 命令行参数个数
ARGV 命令行参数排列
ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名
FNR 浏览文件的记录数
FS 设置输入域分隔符,等价于命令行-F选项
NF 浏览记录的域的个数
NR 已读的记录数
OFMT 输出格式,形式同printf
OFS 输出域分隔符
ORS 输出记录分隔符
RS 控制记录分隔符

五.内置函数

5.1 算术函数

函数名 说明
atan2( y, x ) 返回 y/x 的反正切。
cos( x ) 返回 x 的余弦;x 是弧度。
sin( x ) 返回 x 的正弦;x 是弧度。
exp( x ) 返回 x 幂函数。
log( x ) 返回 x 的自然对数。
sqrt( x ) 返回 x 平方根。
int( x ) 返回 x 的截断至整数的值。
rand( ) 返回任意数字 n,其中 0 <= n < 1。
srand( [Expr] ) 将 rand 函数的种子值设置为 Expr 参数的值,或如果省略 Expr 参数则使用某天的时间。返回先前的种子值。

如:$ awk ‘BEGIN{srand();fr=int(100*rand());print fr;}’

5.2 字符串函数

函数 说明
sub( Ere, Repl, [ In ] ) 字符串替换,将匹配Ere的子串替换为Repl,只替换第一次匹配到的,sub 函数返回替换的数量。如果未指定 In 参数,缺省值是整个记录($0 记录变量)。
gsub( Ere, Repl, [ In ] ) 除了正则表达式所有具体值被替代这点,它和 sub 函数完全一样地执行,。
index( String1, String2 ) 在由 String1 参数指定的字符串(其中有出现 String2 指定的参数)中,返回位置,从 1 开始编号。如果 String2 参数不在 String1 参数中出现,则返回 0(零)。
length [(String)] 返回字符串的长度(字符形式)。默认整个记录的长度($0 记录变量)。
blength [(String)] 返回字符串的长度(以字节为单位)。如果未给出 String 参数,则返回整个记录的长度($0 记录变量)。
substr( String, M, [ N ] ) 获取子串,从M位置开始获取N个字符,未指定N则到末尾。索引下标从1开始。
match( String, Ere ) 是否匹配。在 String 参数指定的字符串(Ere 参数指定的扩展正则表达式出现在其中)中返回位置(字符形式),从 1 开始编号,或如果 Ere 参数不出现,则返回 0(零)。RSTART 特殊变量设置为返回值。RLENGTH 特殊变量设置为匹配的字符串的长度,或如果未找到任何匹配,则设置为 -1(负一)。
split( String, A, [Ere] ) 将字符串切割为数组元素 A[1], A[2], . . ., A[n],并返回 n 变量的值。此分隔可以通过 Ere 参数指定的扩展正则表达式进行,默认使用FS分隔符。
tolower( String ) 转小写。
toupper( String ) 转大写。
sprintf(Format, Expr, Expr, . . . ) 获取格式化字符串。

Ere都可以是正则表达式
格式符定义如下:

格式符 说明
%d 十进制有符号整数
%u 十进制无符号整数
%f 浮点数
%s 字符串
%c 单个字符
%p 指针的值
%e 指数形式的浮点数
%x %X 无符号以十六进制表示的整数
%o 无符号以八进制表示的整数
%g 自动选择合适的表示法

如:
awk -F “s]id=” ‘{print $2}’ db.log |awk -F “,” ‘$1~/[0-9]+/ {print $1}’|sort -nu|wc -l

• [chengmo@centos5 ~]$ awk ‘BEGIN{info=”this is a test2010test!”;gsub(/[0-9]+/,”!”,info);print info}’   
this is a test!test!

• [wangsl@centos5 ~]$ awk ‘BEGIN{info=”this is a test2010test!”;print index(info,”test”)?”ok”:”no found”;}’    
ok

• [wangsl@centos5 ~]$ awk ‘BEGIN{info=”this is a test2010test!”;print match(info,/[0-9]+/)?”ok”:”no found”;}’           
ok

[wangsl@centos5 ~]$ awk ‘BEGIN{info=”this is a test2010test!”;print substr(info,4,10);}’                         
s is a tes 
从第 4个 字符开始,截取10个长度字符串

• [chengmo@centos5 ~]$ awk ‘BEGIN{info=”this is a test”;split(info,tA,” “);print length(tA);for(k in tA){print k,tA[k];}}’
4
4 test
1 this
2 is
3 a

• [chengmo@centos5 ~]$ awk ‘BEGIN{n1=124.113;n2=-1.224;n3=1.2345; printf(“%.2f,%.2u,%.2g,%X,%o\n”,n1,n2,n3,n1,n1);}’
124.11,18446744073709551615,1.2,7C,174

5.3 时间函数

函数 说明
mktime( YYYY MM DD HH MM SS[ DST]) 生成指定时间
strftime([format [, timestamp]]) 格式化时间输出,将时间戳转为时间字符串 。具体格式,见下表.
systime() 得到时间戳,返回从1970年1月1日开始到当前时间(不计闰年)的整秒数

strftime日期和时间格式说明符:

格式 描述
%a 星期几的缩写(Sun)
%A 星期几的完整写法(Sunday)
%b 月名的缩写(Oct)
%B 月名的完整写法(October)
%c 本地日期和时间
%d 十进制日期
%D 日期 08/20/99
%e 日期,如果只有一位会补上一个空格
%H 用十进制表示24小时格式的小时
%I 用十进制表示12小时格式的小时
%j 从1月1日起一年中的第几天
%m 十进制表示的月份
%M 十进制表示的分钟
%p 12小时表示法(AM/PM)
%S 十进制表示的秒
%U 十进制表示的一年中的第几个星期(星期天作为一个星期的开始)
%w 十进制表示的星期几(星期天是0)
%W 十进制表示的一年中的第几个星期(星期一作为一个星期的开始)
%x 重新设置本地日期(08/20/99)
%X 重新设置本地时间(12:00:00)
%y 两位数字表示的年(99)
%Y 当前月份
%Z 时区(PDT)
%% 百分号(%)

如:

• [chengmo@centos5 ~]$ awk ‘BEGIN{tstamp=mktime(“2001 01 01 12 12 12”);print strftime(“%c”,tstamp);}’
2001年01月01日 星期一 12时12分12秒 
 
• [chengmo@centos5 ~]$ awk ‘BEGIN{tstamp1=mktime(“2001 01 01 12 12 12”);tstamp2=mktime(“2001 02 01 0 0 0”);print tstamp2-tstamp1;}’
2634468 
  
• [chengmo@centos5 ~]$ awk ‘BEGIN{tstamp1=mktime(“2001 01 01 12 12 12”);tstamp2=systime();print tstamp2-tstamp1;}’ 
308201392

5.4 一般函数

函数 说明
close( Expression ) 用同一个带字符串值的 Expression 参数来关闭由 print 或 printf 语句打开的或调用 getline 函数打开的文件或管道。如果文件或管道成功关闭,则返回 0;其它情况下返回非零值。如果打算写一个文件,并稍后在同一个程序中读取文件,则 close 语句是必需的。
system(Command ) 执行 Command 参数指定的命令,并返回退出状态。等同于 system 子例程。
Expression | getline [ Variable ] 从来自 Expression 参数指定的命令的输出中通过管道传送的流中读取一个输入记录,并将该记录的值指定给 Variable 参数指定的变量。如果当前未打开将 Expression 参数的值作为其命令名称的流,则创建流。创建的流等同于调用 popen 子例程,此时 Command 参数取 Expression 参数的值且 Mode 参数设置为一个是 r 的值。只要流保留打开且 Expression 参数求得同一个字符串,则对 getline 函数的每次后续调用读取另一个记录。如果未指定 Variable 参数,则 $0 记录变量和 NF 特殊变量设置为从流读取的记录。
getline [ Variable ] < Expression 从 Expression 参数指定的文件读取输入的下一个记录,并将 Variable 参数指定的变量设置为该记录的值。只要流保留打开且 Expression 参数对同一个字符串求值,则对 getline 函数的每次后续调用读取另一个记录。如果未指定 Variable 参数,则 $0 记录变量和 NF 特殊变量设置为从流读取的记录。
getline [ Variable ] 将 Variable 参数指定的变量设置为从当前输入文件读取的下一个输入记录。如果未指定 Variable 参数,则 $0 记录变量设置为该记录的值,还将设置 NF、NR 和 FNR 特殊变量。

• [chengmo@centos5 ~]$ awk ‘BEGIN{while(“cat /etc/passwd”|getline){print $0;};close(“/etc/passwd”);}’
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

• [chengmo@centos5 ~]$ awk ‘BEGIN{while(getline < “/etc/passwd”){print $0;};close(“/etc/passwd”);}’
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

• [chengmo@centos5 ~]$ awk ‘BEGIN{print “Enter your name:”;getline name;print name;}’

• [chengmo@centos5 ~]$ awk ‘BEGIN{b=system(“ls -al”);print b;}’
total 42092
drwxr-xr-x 14 chengmo chengmo     4096 09-30 17:47 .
drwxr-xr-x 95 root   root       4096 10-08 14:01 ..

5.5 自定义函数

awk ‘
function max(a,b,c)
{
return a>b?a:b
}
{print max($1,$2)}’ file

六.简例

• #awk -F ‘:’ ‘{print $1″\t”$7}’ /etc/passwd

• #awk -F ‘:’ ‘BEGIN {print “name,shell”} {print $1″,”$7} END {print “blue,/bin/nosh”}’ /etc/passwd

• # awk -F: ‘/^(root|web)/{print $7}’ /etc/passwd 
搜索/etc/passwd以root或web开头的所有行,并显示对应的shell

• # awk ‘/^root/,/^mysql/’ test
打印以正则表达式root开头的记录到以正则表达式mysql开头的记录范围内的所有记录

• awk ‘$1~/1[0-9]/||$2>100 {print $1}’ file 
显示文件中第一个域匹配以1开头两位数的行

• #awk -F ‘:’ ‘{print “filename:” FILENAME “,linenumber:” NR “,columns:” NF “,linecontent:”$0}’ /etc/passwd
统计/etc/passwd:文件名,每行的行号,每行的列数,对应的完整行内容:

• #awk -F ‘:’ ‘{printf(“filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n”,FILENAME,NR,NF,$0)}’ /etc/passwd
使用printf替代print,可以让代码更加简洁,易读

• awk ‘$1 * $2 >100 {print $1}’ file 
搜索第一个域和第二个域之积大于100的行

• awk ‘{$1 == ‘Chi’ {$3 = ‘China’; print}’ file 
将Chi替换为China

• awk ‘BEGIN {system(“echo \”Input your name:\\c\””); getline d;printf(“Your name is %s!\n”,d)}’

• awk -F ‘,’ ‘{if($1>max){max=$1};} END{print max}’ a.txt
统计最大数

• awk ‘{count++;print $0;} END{print “user count is “, count}’ /etc/passwd
统计/etc/passwd的账户人数

• ls -l |awk ‘BEGIN {size=0;} {size=size+$5;} END{print “[end]size is “, size}’
统计某个文件夹下的文件占用的字节数

• ls -l |awk ‘BEGIN {size=0;print “[start]size is “, size} {if($5!=4096){size=size+$5;}} END{print “[end]size is “, size/1024/1024,”M”}’ 
统计某个文件夹下的文件占用的字节数,过滤4096大小的文件(一般都是文件夹):
awk中的循环语句同样借鉴于C语言,支持if、while、do/while、for、break、continue,这些关键字的语义和C语言中的语义完全相同。

数组:数组的下标可以是数字和字母,数组的下标通常被称为关键字(key)。值和关键字都存储在内部的一张针对key/value应用hash的表格里。由于hash不是顺序存储,因此在显示数组内容时会发现,它们并不是按照你预料的顺序显示出来的。数组和变量一样,都是在使用时自动创建的,awk也同样会自动判断其存储的是数字还是字符串。一般而言,awk中的数组用来从记录中收集信息,可以用于计算总和、统计单词以及跟踪模板被匹配的次数等等。

• awk -F ‘:’ ‘BEGIN {count=0;} {name[count++] = $1;}; END{for (i = 0; i < NR; i++) print i, name[i]}’ /etc/passwd
显示/etc/passwd的账户

end

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:8,983
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,500
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,344
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,127
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:7,762
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:4,838