Linux命令之大文件切分與合並

當面臨將一個大文件進行切分時，Linux的split命令是很好的選擇。它包含多種參數，支持按行、大小進行切分。

split命令的語法如下：

1. split [--help][--version][-a ][-b][-C ][-l ][要切割的文件][輸出文件名前綴]

split [--help][--version][-a ][-b][-C ][-l ][要切割的文件][輸出文件名前綴]

對應的參數描述如下：

1. -a, --suffix-length=N
2. 使用的後綴長度 (默認為 2)
3. -b, --bytes=SIZE
4. 每個輸出文件的字節大小
5. -C, --line-bytes=SIZE
6. 每個輸出文件每行的最大字節大小
7. -d, --numeric-suffixes
8. 使用數字後綴代替字母後綴
9. -l, --lines=NUMBER
10. 設定每個輸出文件的行數
11. --help 顯示幫助信息
12. --version
13. 顯示版本信息

-a, --suffix-length=N
    使用的後綴長度 (默認為 2)
-b, --bytes=SIZE
    每個輸出文件的字節大小
-C, --line-bytes=SIZE
    每個輸出文件每行的最大字節大小
-d, --numeric-suffixes
    使用數字後綴代替字母後綴
-l, --lines=NUMBER
    設定每個輸出文件的行數
--help 顯示幫助信息
--version
    顯示版本信息

下面舉幾個例子：

1）將文件splitTest.txt分割成多個文件，分割後的每個文件大小為10M。命令：

1. $ split -b 20m splitTest.txt
2. $ ls
3. splitTest.txt xaa xab xac

$ split -b 20m splitTest.txt
$ ls
splitTest.txt  xaa  xab  xac

2）將文件splitTest.txt分割成多個文件，分割後的每個文件大小為10M。指定分割後的文件前綴位split，命令：

1. $ split -b 20m splitTest.txt split
2. $ ls
3. splitaa splitab splitac splitTest.txt

$ split -b 20m splitTest.txt  split
$ ls
splitaa  splitab  splitac  splitTest.txt

3）將文件splitTest.txt分割成多個文件，每個文件50萬行。命令：

1. $ wc -l splitTest.txt
2. 1502216 splitTest.txt
3. $ split -l 500000 splitTest.txt split
4. $ ls
5. splitaa splitab splitac splitad splitTest.txt

$ wc -l splitTest.txt 
1502216 splitTest.txt
$ split -l 500000 splitTest.txt  split
$ ls
splitaa  splitab  splitac  splitad  splitTest.txt

4）將文件splitTest.txt分割成多個文件，每個文件50萬行。指定分割後的文件後綴為數字，數字位數為3位，命令：

1. $ wc -l splitTest.txt
2. 1502216 splitTest.txt
3. $ split -l 500000 -d -a 3 splitTest.txt split
4. $ ls
5. split000 split001 split002 split003 splitTest.txt

$ wc -l splitTest.txt 
1502216 splitTest.txt
$ split -l 500000 -d -a 3 splitTest.txt  split
$ ls
split000  split001  split002  split003  splitTest.txt

可以使用cat命令將切分後的文件合並成新的文件：

1. $ cat split0* > original.txt