###sed###
查询
1创建测试文件
cat>person.txt<<EOF
> 101,oldboy,CEO
> 102,zhangyao,CTO
> 103,Alex,COO
> 104,yy,CFO
> 105,feixue.CIO
> EOF
2查询单行文本
2连续查询多行文本
3显示出文件包含oldboy的行到包含104的行
等于grep ‘oldboy’ person.txt
^104以104开头更加精确
4过滤多个字符串
7查询指定多行 使用;分号
增加
1增加单行文本
#sed ‘3a 103.5,Lee,UFO’ person.txt
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
103.5,Lee,UFO
104,yy,CFO
105,feixue.CIO
# sed ‘3i 103.5,Lee,UFO’ person.txt
101,oldboy,CEO
102,zhangyao,CTO
103.5,Lee,UFO
103,Alex,COO
104,yy,CFO
105,feixue.CIO
2增加多行文本
# sed ‘$a new,new,new,’ person.txt
$a 最后一行
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue.CIO
new,new,new,
# sed ‘2a 106,xiaoyu,CXO\n107\n108\n109’ person.txt
101,oldboy,CEO
102,zhangyao,CTO
106,xiaoyu,CXO
107
108
109
103,Alex,COO
104,yy,CFO
105,feixue.CIO
一般追加到行位用的cat>person.txt<<EOF
追加到某一行就用sed i a
删除
sed ‘/^$/d’ person.txt
删除空行
sed -n ‘/^$/!p’ person.txt
/^$/p显示空行加!排除取反
sed ‘$d’ person.txt
删除最后一行
sed ‘$!d’ person.txt
删除不是最后一行
替换
文本替换
测试
变量替换
这里要用双引号 单引号不执行
# x=oldboy
# y=oldgirl
# sed “s#$x#$y#g” person.txt
101,oldgirl,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue.CIO
反向引用
扩展
回顾
###awk####
执行过程 按照下面的命令来理解
主要讲不同的模式或者说是条件
创建环境
# mkdir -p /server/files
#cat>>/server/files/reg.txt<<EOF
Zhang Dandan 41117397 :250:100:175
Zhang Xiaoyu 390320151 :155:90:201
Meng Feixue 80042789 :250:60:50
Wu Waiwai 70271111 :205:80:75
Liu Bingbing 41117483 :250:100:175
Wang Xiaoai 3515064655 :50:95:135
Zi Gege 1986787350 :250:168:200
Li Youjiu 918391635 :175:75:300
Lao Nanhai 918391635 :205:100:175
EOF
# awk ‘/Xiaoyu/’ reg.txt 过滤出来
Zhang Xiaoyu 390320151 :155:90:201
# awk ‘/Xiaoyu/{print $1,$2,$3}’ reg.txt 花括号前面就是条件或者说模式
Zhang Xiaoyu 390320151
精确一点就是
# awk ‘$2~/Xiaoyu/{print $1,$2,$3}’ reg.txt
$2~/Xiaoyu/第二列包含xiaoyu
$0~ ===/Xiaoyu/
# awk ‘$3~/^41/’ reg.txt
# awk ‘$3~/^41/{print $1,$2,$3}’ reg.txt
# awk ‘$3~/[15]$/’ reg.txt
# awk ‘$3~/[15]$/{print $1,$2}’ reg.txt
$0 就是所有列
# awk ‘{gsub(/:/,”$”,$4);print}’ reg.txt
特殊模式BEGIN和GND
i每加1就显示出来
。。
END 显示最后的结果
awk数组统计
############
最终计算
或者用awk中for循环for (pol in h)==pol随便写就是个变量
in就是去哪里 awk循环里h这个位置是数组的名字
会自动打开h成为数组名字
以后可以把它当做一个公式用$2用那一列自己选比如说第一列是ip地址
作业
awk ‘/Failed/’ secure-20161219 |awk ‘$11~/[0-9].[0-9].[0-9].[0-9]/{i[$9″ “$11]=i[$9” “$11]+1}END{for(ip in i) print ip”\t”i[ip]}’
