Jak skopiować duże pliki danych linia po linii?

Mam CSVplik 35 GB . Chcę przeczytać każdą linię i napisać linię do nowego pliku CSV, jeśli pasuje do określonego warunku.

try (BufferedWriter writer = Files.newBufferedWriter(Paths.get("source.csv"))) {
    try (BufferedReader br = Files.newBufferedReader(Paths.get("target.csv"))) {
        br.lines().parallel()
            .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
            .forEach(line -> {
                writer.write(line + "\n");
        });
    }
}

To zajmuje około 7 minut. Czy można jeszcze bardziej przyspieszyć ten proces?

Jeśli jest to opcja, można użyć GZipInputStream / GZipOutputStream, aby zminimalizować dyskowe operacje we / wy.

Pliki.newBufferedReader / Writer używają domyślnego rozmiaru bufora, jak sądzę. Możesz wypróbować większy bufor.

Konwersja na ciąg, Unicode, spowalnia do (i zużywa dwukrotnie pamięć). Zastosowany UTF-8 nie jest tak prosty jak StandardCharsets.ISO_8859_1.

Najlepiej byłoby, gdybyś przeważnie pracował z bajtami i tylko dla określonych pól CSV przekonwertował je na String.

Plik odwzorowany w pamięci może być najbardziej odpowiedni. Zakresy plików mogą być używane równolegle, plując plik.

try (FileChannel sourceChannel = new RandomAccessFile("source.csv","r").getChannel(); ...
MappedByteBuffer buf = sourceChannel.map(...);

Stanie się to trochę dużym kodem, wprowadzanie wierszy od razu (byte)'\n', ale nie będzie zbyt skomplikowane.

możesz spróbować:

try (BufferedWriter writer = new BufferedWriter(new FileWriter(targetFile), 1024 * 1024 * 64)) {
  try (BufferedReader br = new BufferedReader(new FileReader(sourceFile), 1024 * 1024 * 64)) {

Myślę, że pozwoli ci to zaoszczędzić jedną lub dwie minuty. test można wykonać na moim komputerze w ciągu około 4 minut, określając rozmiar bufora.

czy może być szybciej? Spróbuj tego:

final char[] cbuf = new char[1024 * 1024 * 128];

try (Writer writer = new FileWriter(targetFile)) {
  try (Reader br = new FileReader(sourceFile)) {
    int cnt = 0;
    while ((cnt = br.read(cbuf)) > 0) {
      // add your code to process/split the buffer into lines.
      writer.write(cbuf, 0, cnt);
    }
  }
}

Powinno to zaoszczędzić trzy lub cztery minuty.

Jeśli to wciąż za mało. (Myślę, że prawdopodobnie zadajesz pytanie, dlatego musisz wielokrotnie wykonywać to zadanie). jeśli chcesz to zrobić w ciągu jednej minuty lub nawet kilku sekund. następnie powinieneś przetworzyć dane i zapisać je w db, a następnie przetworzyć zadanie przez wiele serwerów.

Dzięki wszystkim twoim sugestiom najszybciej wymyśliłem wymianę pisarza BufferedOutputStream, co dało poprawę o około 25%:

   try (BufferedReader reader = Files.newBufferedReader(Paths.get("sample.csv"))) {
        try (BufferedOutputStream writer = new BufferedOutputStream(Files.newOutputStream(Paths.get("target.csv")), 1024 * 16)) {
            reader.lines().parallel()
                    .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
                    .forEach(line -> {
                        writer.write((line + "\n").getBytes());
                    });
        }
    }

Nadal BufferedReaderdziała lepiej niż BufferedInputStreamw moim przypadku.