Java讀寫大文本文件（2GB以上）

如下的程序，將一個行數為fileLines的文本文件平均分為splitNum個小文本文件，其中換行符'r'是linux上的，windows的java換行符是'\r\n'：

1. package kddcup2012.task2.FileSystem;
3. import java.io.BufferedInputStream;
4. import java.io.BufferedReader;
5. import java.io.File;
6. import java.io.FileInputStream;
7. import java.io.FileWriter;
8. import java.io.IOException;
9. import java.io.InputStreamReader;
11. public class FileSplit
12. {
13. public static void main(String[] args) throws IOException
14. {
15. long timer = System.currentTimeMillis();
16. int bufferSize = 20 * 1024 * 1024;//設讀取文件的緩存為20MB
18. //建立緩沖文本輸入流
19. File file = new File("/media/Data/畢業設計/kdd cup/數據/userid_profile.txt");
20. FileInputStream fileInputStream = new FileInputStream(file);
21. BufferedInputStream bufferedInputStream = new BufferedInputStream(fileInputStream);
22. InputStreamReader inputStreamReader = new InputStreamReader(bufferedInputStream);
23. BufferedReader input = new BufferedReader(inputStreamReader, bufferSize);
25. int splitNum = 112-1;//要分割的塊數減一
26. int fileLines = 23669283;//輸入文件的行數
27. long perSplitLines = fileLines / splitNum;//每個塊的行數
28. for (int i = 0; i <= splitNum; ++i)
29. {
30. //分割
31. //每個塊建立一個輸出
32. FileWriter output = new FileWriter("/home/haoqiong/part" + i + ".txt");
33. String line = null;
34. //逐行讀取，逐行輸出
35. for (long lineCounter = 0; lineCounter < perSplitLines && (line = input.readLine()) != null; ++lineCounter)
36. {
37. output.append(line + "\r");
38. }
39. output.flush();
40. output.close();
41. output = null;
42. }
43. input.close();
44. timer = System.currentTimeMillis() - timer;
45. System.out.println("處理時間：" + timer);
46. }
47. }

以上程序處理大文本文件只需要30MB左右的內存空間（這和所設的讀取緩沖大小有關），但是速度不是很快，在磁盤沒有其他程序占用的情況下，將200MB文件分割為112份需要20秒（機器配置：Centrino2 P7450 CPU，2GB DDR3內存，Ubuntu 11.10系統，硬盤最大讀寫速度大約60MB/S）。

另外，對於幾百兆到2GB大小的文件，使用內存映射文件的話，速度會塊一些，但是內存映射由於映射的文件長度不能超過java中int類型的最大值，所以只能處理2GB以下的文件。