Ponowne indeksowanie dużego pliku CSV

Przejrzałem odpowiedzi w tym pomocnym wątku , ale mój problem wydaje się na tyle inny, że nie mogę wymyślić dobrej odpowiedzi (przynajmniej z sed).

Mam duży plik CSV (ponad 200 GB) z wierszami, które wyglądają następująco:

<alphanumerical_identifier>,<number>

gdzie <alphanumerical_identifier>jest unikalny w całym pliku. Chciałbym utworzyć osobny plik, który zastąpi pierwszą kolumnę indeksem , tj

<index>,<number>

abyśmy otrzymali:

1, <number>
2, <number>
3, <number>

Czy można awkwygenerować rosnący indeks bez ładowania pełnego pliku do pamięci?

Ponieważ indeks rośnie monotonicznie, może być jeszcze lepiej po prostu go upuścić. Czy rozwiązanie tego byłoby takie inne ?, tj .:

<number>
<number>
<number>

Nie w pobliżu terminala do przetestowania, ale co powiesz na często pomijane nlpolecenie? Coś jak:

cut -f 2 -d , original.csv | nl -w 1 -p -s , > numbered.csv

Oto kilka podejść, ale żadne nie zbliży się do prędkości powyższego rozwiązania cuti nl:

1. awk

   awk -F, '{$1=NR;print $1","$2;}' file.csv > newfile.csv

2. Perl

   perl -pe 's/[^,]+/$./' file.csv > newfile.csv

   lub

   perl -F, -ane '$F[0]=$.; print join ",", @F' file.csv

3. Shell (ale nie polecam go do pliku 200G, zajmie to wieki)

   i=1; while IFS=, read foo num; do 
           printf "%d,%s\n" $((i++)) $num; 
   done < file.csv > newfile.csv
   

Powyższe rozwiązania są posortowane według prędkości. Przetestowałem na moim laptopie i pliku 40M, a oni wzięli (średnio 10 uruchomień) 2.2282 (awk), 2.4555 (1. perl), 3.1825s (2. perl) i aż 48.6035s dla powłoki. Bardzo mądry cuti nlrozwiązanie masz już było około 4 razy szybciej w 0.6078s.