歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux基礎 >> Linux技術 >> linux awk 多文件操作2種實現方法

linux awk 多文件操作2種實現方法

日期:2017/3/1 18:01:52   编辑:Linux技術

我們經常會將2個有關聯文本文件進行合並處理。分別從不同文件獲取需要的列,然後,整體輸出到一起。awk進行多文件處理時候,常常會遇到2個方面問題,第一個是怎麼樣合並多個文件為一個文件。第二個問題就是怎麼樣將多行合並為一行顯示。我這裡說下我的處理2種方法,還有實現思路。

實例文本:


復制代碼代碼如下:
[chengmo@centos5 shell]$ awk 'FNR==1{print "\r\n"FILENAME}{print $0}' a.txt b.txt

a.txt
100 wang man
200 wangsan woman
300 wangming man
400 wangzheng man

b.txt
100 90 80
200 80 70
300 60 50
400 70 20

需要合並得到結果:

100 wang man 90 80
200 wangsan woman 80 70
300 wangming man 60 50
400 wangzheng man 70 20

awk多文件操作方法一:

實現思路:

通過外部命令合並文件,然後通過排序,然後通過awk進行合並操作。

首先:


復制代碼代碼如下:
[chengmo@centos5 shell]$ cat a.txt b.txt | sort -n -k1 |awk '{print}'
100 90 80
100 wang man
200 80 70
200 wangsan woman
300 60 50
300 wangming man
400 70 20
400 wangzheng man

現在需要把:第一列相同的處理合並到一行,這裡需要用“next”語句。它操作,可以參考awk 多行合並【next 使用介紹】(常見應用4)

繼續:


復制代碼代碼如下:
[chengmo@centos5 shell]$ cat a.txt b.txt | sort -n -k1 |awk 'NR%2==1{fd1=$2"\t"$3;next}{print $0"\t"fd1}'
100 wang man 90 80
200 wangsan woman 80 70
300 wangming man 60 50
400 wangzheng man 70 20

需要把幾行合並,經常用到方法是:NR%num 然後將行值保存下來,next該行。在輸出時候打印出來。

awk多文件操作方法二

實現思路

不借助第3放工具打開,直接通過awk 打開多個文件。然後可以通過:FILENAME獲得當前處理文件名。NR總記錄 FNR當前文件記錄,以及ARGC傳入參數總數,ARGV是數組,各個參數值。

看下這些實例:


復制代碼代碼如下:
[chengmo@centos5 shell]$ awk 'BEGIN{print ARGC,ARGV[0],ARGV[1],ARGV[2]}{print FILENAME,NR,FNR,$0}' a.txt b.txt
3 awk a.txt b.txt
a.txt 1 1 100 wang man
a.txt 2 2 200 wangsan woman
a.txt 3 3 300 wangming man
a.txt 4 4 400 wangzheng man
b.txt 5 1 100 90 80
b.txt 6 2 200 80 70
b.txt 7 3 300 60 50
b.txt 8 4 400 70 20

程序代碼:


復制代碼代碼如下:
[chengmo@centos5 shell]$ awk '
BEGIN{
if(ARGC<3)
{
exit 1;
}

file="";
}
{
aData[FILENAME,$1]=ARGV[1]==FILENAME?$0:$2"\t"$3;
}
END{
for(k in aData)
{
split(k,idx,SUBSEP);
if(idx[1]==ARGV[1] && (ARGV[2],idx[2]) in aData)
{
print aData[ARGV[1],idx[2]],aData[ARGV[2],idx[2]] | "sort -n -k1";
}
}
}' a.txt b.txt

100 wang man 90 80
200 wangsan woman 80 70
300 wangming man 60 50
400 wangzheng man 70 20

代碼說明:

這裡用到2維數組,aData[文件名,關聯列對應值] ,這種方法可以將多個文件內容。放入一個統一二維數組。然後循環數組,通過if((i,j} in array) 查找對應列值,在其它文件中是否存在。

以上是2種實現方法,其中第一種思路較為簡單,很容易理解。第二種處理起來較為復雜。有更好方法大家給我分享。

Copyright © Linux教程網 All Rights Reserved