Java读取和操作上G文本数据

标签：#java##文本挖掘##文本预处理# 时间：2016-04-06 21:30:43 作者：十七岁的雨季

#
在处理文本时，经常遇到超过1g存储的数据，直接简单的读取，可能遇到java空间不足的问题，为解决此问题，可将大文本数据按照行进行切分为很多块，并将每一块存储为一个文本

```java
public class BigDataRead {

public static void main(String[] args) throws IOException {
		long timer = System.currentTimeMillis();  
		int bufferSize = 20 * 1024 * 1024;//设读取文件的缓存为20MB   
		//建立缓冲文本输入流   
		File file = new File("I:/qianyang/预测数据/user_contentdetection_qianyang");  
		FileInputStream fileInputStream = new FileInputStream(file);  
		BufferedInputStream bufferedInputStream = new BufferedInputStream(fileInputStream);
		//注意这里有时会乱码，根据自己的文本存储格式，进行调整
		InputStreamReader inputStreamReader = new InputStreamReader(bufferedInputStream,"utf-8");  
		BufferedReader input = new BufferedReader(inputStreamReader, bufferSize);  
		//要分割的块数减一,这里表示分割为31个文件   
		int splitNum = 30; 
		//12046表示我的输入本文的行数，我的文本12046行，由于每行文本较长，所有存储占用较大
		int fileLines = 12046;
		//分割后存储每个块的行数
		long perSplitLines = fileLines / splitNum;   
		for (int i = 0; i <= splitNum; ++i){  
			//分割   
			//每个块建立一个输出  
			BufferedWriter output = new BufferedWriter( new OutputStreamWriter( new FileOutputStream( new File("I:/qianyang/预测数据/分块/part" + i + ".txt")),"gbk"));
			String line = null;  
			//逐行读取，逐行输出   
			for (long lineCounter = 0; lineCounter < perSplitLines && (line = input.readLine()) != null; ++lineCounter)  
			{  
				output.append(line + "\r");  
			}  
			output.flush();  
			output.close();  
			output = null;  
		}  
		input.close();  
		timer = System.currentTimeMillis() - timer;  
		//我的1.6g数据不要1分钟，分割完毕
		System.out.println("处理时间：" + timer); 
	}

}

```

Java读取和操作上G文本数据

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客