Linux終端的樂趣之把玩字詞計數

Linux 命令行有很多的樂趣，我們可以很容易並且完善地執行很多繁瑣的任務。比如，我們計算一個文本文件中字和字符的出現頻率，這就是我們打算在這篇文章中講到的。

立刻來到我們腦海的命令，計算字和字符在一個文本文件中出現頻率的 Linux 命令是 wc 命令。

在使用的腳本來分析文本文件之前，我們必須有一個文本文件。為了保持一致性，我們將創建一個文本文件，man命令的輸出如下所述。

1. $ man man > man.txt

以上命令是將man命令的使用方式導入到man.txt文件裡。

我們希望能得到最平常的單詞，對之前我們新建的文件執行如下腳本。

1. $ cat man.txt | tr ' ''\012'| tr '[:upper:]''[:lower:]'| tr -d '[:punct:]'| grep -v '[^a-z]'| sort | uniq -c | sort -rn | head

Sample Output

1. 7557
2. 262 the
3. 163 to
4. 112is
5. 112 a
6. 78 of
7. 78 manual
8. 76and
9. 64if
10. 63 be

上面的腳本，輸出了最常使用的十個單詞。

如何看單個的字母呢？那就用如下的命令。

1. $ echo 'tecmint team'| fold -w1

Sample Output

1. t
2. e
3. c
4. m
5. i
6. n
7. t
8. t
9. e
10. a
11. m

注: -w1只是設定了長度

現在我們將從那個文本文件中掰下來的每一個字母，對結果進行排序，得到所需的輸出頻率的十個最常見的字符。

1. $ fold -w1 < man.txt | sort | uniq -c | sort -rn | head

Sample Output

1. 8579
2. 2413 e
3. 1987 a
4. 1875 t
5. 1644 i
6. 1553 n
7. 1522 o
8. 1514 s
9. 1224 r
10. 1021 l

如何區分大小寫呢？之前我們都是忽略大小寫的。所以，用如下命令。

1. $ fold -w1 < man.txt | sort | tr '[:lower:]''[:upper:]'| uniq -c | sort -rn | head -20

Sample Output

1. 11636
2. 2504 E
3. 2079 A
4. 2005 T
5. 1729 I
6. 1645 N
7. 1632 S
8. 1580 o
9. 1269 R
10. 1055 L
11. 836 H
12. 791 P
13. 766 D
14. 753 C
15. 725 M
16. 690 U
17. 605 F
18. 504 G
19. 352 Y
20. 344.

請檢查上面的輸出，標點符號居然包括在內。讓我們干掉他，用tr 命令。GO:

1. $ fold -w1 < man.txt | tr '[:lower:]''[:upper:]'| sort | tr -d '[:punct:]'| uniq -c | sort -rn | head -20

Sample Output

1. 11636
2. 2504 E
3. 2079 A
4. 2005 T
5. 1729 I
6. 1645 N
7. 1632 S
8. 1580 O
9. 1550
10. 1269 R
11. 1055 L
12. 836 H
13. 791 P
14. 766 D
15. 753 C
16. 725 M
17. 690 U
18. 605 F
19. 504 G
20. 352 Y

現在，我們有了三個文本，那就讓我們用如下命令查看結果吧。

1. $ cat *.txt | fold -w1 | tr '[:lower:]''[:upper:]'| sort | tr -d '[:punct:]'| uniq -c | sort -rn | head -8

Sample Output

1. 11636
2. 2504 E
3. 2079 A
4. 2005 T
5. 1729 I
6. 1645 N
7. 1632 S
8. 1580 O

下一步我們將會生成那些罕見的至少十個字母長的單詞。以下是簡單的腳本：

1. $ cat man.txt | tr '''\012'| tr '[:upper:]''[:lower:]'| tr -d '[:punct:]'| tr -d '[0-9]'| sort | uniq -c | sort -n | grep -E '..................'| head

Sample Output

1. 1──────────────────────────────────────────
2. 1 a all
3. 1 abc any or all arguments within are optional
4. 1 able see setlocale for precise details
5. 1 ab options delimited by cannot be used together
6. 1 achieved byusing the less environment variable
7. 1 a child process returned a nonzero exit status
8. 1 act asifthis option was supplied using the name as a filename
9. 1 activate local mode format and display local manual files
10. 1 acute accent

注: 上面的.越來越多，其實，我們可以使用.{10} 得到同樣的效果。

這些簡單的腳本，讓我們知道最頻繁出現的單詞和英語中的字符。

現在結束了。下次我會在這裡講到另一個有趣的話題，你應該會喜歡讀。還有別忘了向我們提供您的寶貴意見。