awk应用实例(经典awk例子)

发布时间:2019-07-29编辑:脚本学堂
介绍三个awk的例子,包括类似数据库的left join查询,去除重复,awk局部变量使用,有需要的朋友,可以参考下。

一,类似数据库的left join查询
 

复制代码 代码示例:
[root@ecms mytest]# cat a.txt  //a.txt 
111   aaa 
222   bbb 
333   cccc 
444   ddd 
[root@ecms mytest]# cat b.txt //b.txt 
111  123  456 
2    abc  cbd 
444  rts  786 
 

输出结果:
111,aaa,123,456
444,ddd,rts,786

实现方法1,
 

复制代码 代码示例:
[root@ecms mytest]# linuxjishu/13830.html target=_blank class=infotextkey>awk 'NR==FNR{a[$1]=$2;}NR!=FNR && a[$1]{print $1","a[$1]","$2","$3}' a.txt b.txt 
111,aaa,123,456 
444,ddd,rts,786 
 

解释:当NR和FNR相同时,这就说明在对第一个文件进行操作,a[$1]=$2表示,建立一个数组,以第一个字段为下标,第二个字段为值。当NR!=FNR时,说明在对第二个文件进行操作,注意:这个时候的$1和前面的$1不是同一个东西了,前面的$1表示的是a.txt的第一个字段,而后面的$1表示的是b.txt的第一个字段。a[$1]表示以b.txt中第一个字段的为下标的值,如果a[$1]有值的话,说明也存在于a.txt文件中,这样就把数据print出来就行了。

实现方法2,
 

复制代码 代码示例:
[root@ecms mytest]# awk -v OFS="," 'NR==FNR{a[$1]=$2;} NR!=FNR && $1 in a { print $1,a[$1],$2,$3}' a.txt b.txt 
111,aaa,123,456 
444,ddd,rts,786 
 

解释:-v OFS=","这个是设置输出时的列分割符,$1 in a这个是b.txt文件中的第一列的值是不是在数组a的key中,这个对做程序的来说很好理解,各种语言当中都有这样的用法,或者函数。例如,php中有in_array函数。比较一下,方法1和方法2中的print,方法1我加了双引号,方法2我却没有加,但是输出的效果却是一样的。

二,去除重复
 

复制代码 代码示例:
[root@ecms mytest]# cat repea   //文件repea 
 a b 
 c d 
 e f 
 b d 
 b a 
 f e 
 1 2 
 2 1 
 

如果有a,b和b,a这样的情况,就删除b,a,当然数字也一样;

实现方法1,
 

复制代码 代码示例:
awk '{for(i=1;i<=NF;i++)a[i]=$i;asort(a);for(i=1;i<=length(a);i++)printf a[i]"t";printf "n"}' repea|sort|uniq 
1       2 
a       b 
b       d 
c       d 
e       f 
 

解释:
for(i=1;i<=NF;i++)a[i]=$i;将每一列中的二个字段放到数组中,asort(a),这个数组进行排序,后面的代码是将数组数据输出来,通sort命令对输入的数据进行排序,相同数据会排在一起,通过uniq来进行去除相同的列。这种方法比较有通用性,不光适合二列,三列,四列都行。不过效率差了点。

实现方法2,
 

复制代码 代码示例:
[root@ecms mytest]# awk '{a[$0]=$0;if (!($2 OFS $1 in a)) print a[$0] }' repea 
a b 
c d 
e f 
b d 
1 2 
[root@ecms mytest]# awk '{a[$0];if (!($2 OFS $1 in a)) print  }' repea    
a b 
c d 
e f 
b d 
1 2 
 

解释:
方法2的二种写法,出来的结果是一样的,a[$0];没有赋值也没有报错,为什么呢?awk在遇到这样没有定义的变量时,会给它一个初值。if (!($2 OFS $1 in a))表示返转字段不在数组a中,这里所说的在,表示key是不是存在,不是值。print 不写默认是一行。

实现方法3,
 

复制代码 代码示例:
[root@ecms mytest]# awk '!a[$1_$2]++&&!a[$2_$1]++' repea 
a b 
c d 
e f 
b d 
1 2 
[root@ecms mytest]# awk '{if(!a[$1_$2]++&&!a[$2_$1]++)print $0;}' repea 
a b 
c d 
e f 
b d 
1 2 
 

解释:
!a[$1_$2]++&&!a[$2_$1]++等于if(!a[$1_$2]++&&!a[$2_$1]++),对于首次出现的记录,a[$2_$1]的值是未定义的,由于后面的 ++ 是数学计算,所以a[$2_$1]会被赋值成数字0,也是由于 ++ 操作符,会先取值,再计算,从左到右 ++ 运算符的优先级大于!运算符的,所以对于第一行记录实际上是if(! 0) print $0     ! 是取反,0 是假,! 0 就是真,那么就会执行后面的 print $0对于后面出现的重复记录,a[$0] 经过 ++ 的计算已经变为 1、2、3 。。。而 ! 1  ! 2  ! 3 ... 都为假,不会打印。