Como copiar grandes arquivos de dados linha por linha?

Eu tenho um CSVarquivo de 35GB . Quero ler cada linha e gravar a linha em um novo CSV, se corresponder a uma condição.

try (BufferedWriter writer = Files.newBufferedWriter(Paths.get("source.csv"))) {
    try (BufferedReader br = Files.newBufferedReader(Paths.get("target.csv"))) {
        br.lines().parallel()
            .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
            .forEach(line -> {
                writer.write(line + "\n");
        });
    }
}

Isso leva aprox. 7 minutos. É possível acelerar ainda mais esse processo?

Se for uma opção, você poderá usar GZipInputStream / GZipOutputStream para minimizar a E / S do disco.

O Files.newBufferedReader / Writer usa um tamanho de buffer padrão, 8 KB, acredito. Você pode tentar um buffer maior.

A conversão para String, Unicode, diminui para (e usa o dobro da memória). O UTF-8 usado não é tão simples quanto StandardCharsets.ISO_8859_1.

O melhor seria se você pudesse trabalhar com bytes na maior parte e apenas para campos CSV específicos convertê-los em String.

Um arquivo mapeado de memória pode ser o mais apropriado. O paralelismo pode ser usado por intervalos de arquivos, cuspindo o arquivo.

try (FileChannel sourceChannel = new RandomAccessFile("source.csv","r").getChannel(); ...
MappedByteBuffer buf = sourceChannel.map(...);

Isso se tornará um pouco demais de código, colocando as linhas corretamente (byte)'\n', mas não excessivamente complexo.

você pode tentar isso:

try (BufferedWriter writer = new BufferedWriter(new FileWriter(targetFile), 1024 * 1024 * 64)) {
  try (BufferedReader br = new BufferedReader(new FileReader(sourceFile), 1024 * 1024 * 64)) {

Eu acho que você vai economizar um ou dois minutos. o teste pode ser feito na minha máquina em cerca de 4 minutos, especificando o tamanho do buffer.

poderia ser mais rápido? tente isto:

final char[] cbuf = new char[1024 * 1024 * 128];

try (Writer writer = new FileWriter(targetFile)) {
  try (Reader br = new FileReader(sourceFile)) {
    int cnt = 0;
    while ((cnt = br.read(cbuf)) > 0) {
      // add your code to process/split the buffer into lines.
      writer.write(cbuf, 0, cnt);
    }
  }
}

Isso deve economizar três ou quatro minutos.

Se isso ainda não é suficiente. (A razão pela qual acho que você faz a pergunta provavelmente é que você precisa executar a tarefa repetidamente). se você quiser fazê-lo em um minuto ou até alguns segundos. você deve processar os dados e salvá-los no banco de dados, depois processar a tarefa por vários servidores.

Graças a todas as suas sugestões, o mais rápido que eu vim foi trocar o escritor, o que resultou em uma BufferedOutputStreammelhoria de aproximadamente 25%:

   try (BufferedReader reader = Files.newBufferedReader(Paths.get("sample.csv"))) {
        try (BufferedOutputStream writer = new BufferedOutputStream(Files.newOutputStream(Paths.get("target.csv")), 1024 * 16)) {
            reader.lines().parallel()
                    .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
                    .forEach(line -> {
                        writer.write((line + "\n").getBytes());
                    });
        }
    }

Ainda assim, o BufferedReaderdesempenho é melhor do que BufferedInputStreamno meu caso.