Jak podzielić pliki CSV według określonej liczby wierszy?

Mam plik CSV (około 10000 wierszy; każdy wiersz ma 300 kolumn) przechowywany na serwerze LINUX. Chcę podzielić ten plik CSV na 500 plików CSV po 20 rekordów każdy. (Każdy ma taki sam nagłówek CSV, jak obecny w oryginalnym CSV)

Czy jest jakieś polecenie Linuksa, które pomoże w tej konwersji?

Uczynił to funkcją. Możesz teraz zadzwonićsplitCsv <Filename> [chunkSize]

splitCsv() {
    HEADER=$(head -1 $1)
    if [ -n "$2" ]; then
        CHUNK=$2
    else 
        CHUNK=1000
    fi
    tail -n +2 $1 | split -l $CHUNK - $1_split_
    for i in $1_split_*; do
        sed -i -e "1i$HEADER" "$i"
    done
}

Znalezione na: http://edmondscommerce.github.io/linux/linux-split-file-eg-csv-and-keep-header-row.html

Użyj polecenia podziału systemu Linux:

split -l 20 file.txt new    

Podziel plik „plik.txt” na pliki zaczynające się od nazwy „nowy”, każdy zawierający 20 linii tekstu.

Wpisz man splitpo znaku zachęty Unix, aby uzyskać więcej informacji. Będziesz jednak musiał najpierw usunąć nagłówek z pliku.txt (używając tailna przykład polecenia), a następnie dodać go z powrotem do każdego z podzielonych plików.

To powinno działać !!!

file_name= Nazwa pliku, który chcesz podzielić.
10000= Liczba wierszy, które każdy podzielony plik będzie zawierał
file_part_= Prefiks nazwy podzielonego pliku (file_part_0, file_part_1, file_part_2..etc tak dalej)

split -d -l 10000 nazwa_pliku.csv file_part_

To powinno zrobić to za Ciebie - wszystkie Twoje pliki zostaną nazwane Part1-Part500.

#!/bin/bash
FILENAME=10000.csv
HDR=$(head -1 $FILENAME)   # Pick up CSV header line to apply to each file
split -l 20 $FILENAME xyz  # Split the file into chunks of 20 lines each
n=1
for f in xyz*              # Go through all newly created chunks
do
   echo $HDR > Part${n}    # Write out header to new file called "Part(n)"
   cat $f >> Part${n}      # Add in the 20 lines from the "split" command
   rm $f                   # Remove temporary file
   ((n++))                 # Increment name of output part
done

Mam jednowierszową odpowiedź (ten przykład daje 999 wierszy danych i jeden wiersz nagłówka na plik)

cat bigFile.csv | parallel --header : --pipe -N999 'cat >file_{#}.csv'

https://stackoverflow.com/a/53062251/401226