Mam wiele dużych plików CSV i chciałbym je w formacie TSV (format rozdzielany tabulatorami). Problem polega na tym, że w polach pliku CSV znajdują się przecinki, np .:

 A,,C,"D,E,F","G",I,"K,L,M",Z

Oczekiwany wynik:

 A      C   D,E,F   G   I   K,L,M   Z

(gdzie białe spacje to „twarde” karty)

Mam Perla, Pythona i coreutils zainstalowane na tym serwerze.

Pyton

Dodaj do pliku o nazwie csv2tab.shi uczyń go wykonywalnym

#!/usr/bin/env python
import csv, sys
csv.writer(sys.stdout, dialect='excel-tab').writerows(csv.reader(sys.stdin))

Przebiegi testowe

$ echo 'A,,C,"D,E,F","G",I,"K,L,M",Z' | ./csv2tab.sh                         
A       C   D,E,F   G   I   K,L,M   Z

$ ./csv2tab.sh < data.csv > data.tsv && head data.tsv                                                   
1A      C   D,E,F   G   I   K,L,M   Z
2A      C   D,E,F   G   I   K,L,M   Z
3A      C   D,E,F   G   I   K,L,M   Z

Dla zabawy sed.

sed -E 's/("([^"]*)")?,/\2\t/g' file

Jeśli sednie obsługuje -E, spróbuj -r. Jeśli sednie obsługujesz \tliteralnej tabulacji, spróbuj umieścić literalną tabulację (w wielu powłokach, ctrl- v tab) lub w Bash, użyj ciągu w $'...'stylu C (w takim przypadku odwrotny ukośnik w \2musi zostać podwojony). Jeśli chcesz zachować cudzysłowy, użyj \1zamiast \2(w takim przypadku wewnętrzna para nawiasów jest bezużyteczna i może zostać usunięta).

Nie czyni to próby obsługi podwójnych cudzysłowów w cudzysłowie; niektóre dialekty CSV obsługują to, podwajając cytowany podwójny cytat (sic).

Za pomocą csvkitnarzędzia (Python), na przykład:

$ csvformat -T in.csv > out.txt

Czy streaming, z poprawnym cytowaniem CSV i TSV i ucieczką

Jest w apt i innych menedżerach pakietów

Jedną z opcji może być moduł Text :: CSV perla np

perl -MText::CSV -lne 'BEGIN { $csv = Text::CSV->new() }
  print join "\t", $csv->fields() if $csv->parse($_)
' somefile

demonstrować

echo 'A,,C,"D,E,F","G",I,"K,L,M",Z' |
  perl -MText::CSV -lne 'BEGIN { $csv = Text::CSV->new() }
  print join "\t", $csv->fields() if $csv->parse($_)
'
A       C   D,E,F   G   I   K,L,M   Z

Perl

perl -lne '
   my $re = qr/,(?=(?:[^"]*"[^"]*")*(?![^"]*"))/;
   print join "\t", map { s/(?<!\\)"//gr =~ s/\\"/"/gr } split $re;
'

Awk

awk -v Q=\" -v FPAT="([^,]*)|(\"[^\"]+\")" -v OFS="\t" '{
   for (i=1; i<=NF; ++i)
      if ( substr($i, 1, 1) == Q )
         $i = substr($i, 2, length($i) - 2)
   print $1, $2, $3, $4, $5, $6, $7, $8
}'

Wynik:

A               C       D,E,F   G       I       K,L,M   Z

W termojądrowym roztworze flyswatter musi być używany libreoffice. Podczas gdy https://ask.libreoffice.org/en/question/19042/is-is-possible-to-convert-comma-separated-value-csv-to-tab-separated-value-tsv-via-headless-mode / sugeruje, że nie jest to możliwe, ale jest złe (lub po prostu nieaktualne?), a następujące polecenie działa na moim 5.3 .:

loffice "-env:UserInstallation=file:///tmp/LibO_Conversion" --convert-to csv:"Text - txt - csv (StarCalc)":9,34,UTF8 --headless --outdir some/path --infilter='csv:44,34,UTF8' *.csv

envargumentem może być pominięte, ale w ten sposób dokumenty nie pojawi się w ostatnim dokumencie.

Jeśli masz lub możesz zainstalować csvtoolnarzędzie:

csvtool -t COMMA -u TAB cat in.csv > out.ctv

Zauważ, że z jakiegoś powodu csvtoolnie ma strony podręcznika, ale csvtool --helpwydrukuje kilkaset wierszy dokumentacji.

Korzystanie mlrjest prawie zwięzłe, ale wyłączenie nagłówków wymaga długich opcji:

mlr --c2t --implicit-csv-header --headerless-csv-output cat file.csv 

Wydajność:

A       C   D,E,F   G   I   K,L,M   Z

Jestem autorem konwertera CSV na TSV typu open source, który obsługuje opisane transformacje. Jest dość szybki, może warto go sprawdzić, jeśli istnieje potrzeba konwertowania dużych plików CSV. Narzędzie jest częścią eBay's TSV Utilities Toolkit (dokumentacja csv2tsv tutaj ). Wystarczą domyślne opcje dla opisanych danych wejściowych:

$ csv2tsv file.csv > file.tsv

Wigor

Dla zabawy w Vimie można wykonywać zamiany wyrażeń regularnych . Oto potencjalne czteroliniowe rozwiązanie, zaadaptowane z: /programming/33332871/remove-all-commas-between-quotes-with-a-vim-regex

1. Przecinki między cudzysłowami są najpierw zamieniane na podkreślenia (lub inne nieobecne znaki),
2. Wszystkie inne przecinki są zastępowane tabulatorami,
3. Podkreślenia w cudzysłowie są przywracane do przecinków,

4. Znaki cudzysłowu są usuwane.
   
   

   :%s/".\{-}"/\=substitute(submatch(0), ',', '_' , 'g')/g
   :%s/,/\t/g
   :%s/_/,/g
   :%s/"//g

Aby nieco skrypty rozwiązania, cztery wiersze powyżej (bez dwukropka) można zapisać do pliku, np to_tsv.vim. Otwórz każdy plik CSV do edycji z Vima i sourcedo to_tsv.vimskryptu na Vima linii poleceń (dostosowany od /programming/3374179/run-vim-script-from-vim-commandline/8806874#8806874 ):

    :source /path/to/vim/filename/to_tsv.vim

Oto przykład konwersji CSV na TSV za pomocą jqnarzędzia :

$ jq -rn '@tsv "\(["A","","C","D,E,F","G","I","K,L,M","Z"])"'
A       C   D,E,F   G   I   K,L,M   Z

lub:

$ echo '["A","","C","D,E,F","G","I","K,L,M","Z"]' | jq -r @tsv
A       C   D,E,F   G   I   K,L,M   Z

Jednak format CSV musi być dobrze sformatowany, więc każdy ciąg musi być cytowany.

^{Źródło: prosty format wyjściowy TSV .}

Przy perlzałożeniu, że pola csv nie mają osadzonych "ani nowych linii lub kart:

perl -pe 's{"(.*?)"|,}{$1//"\t"}ge'

Poniżej znajduje się po prostu korekta odpowiedzi @tripleee, dzięki czemu usuwa cudzysłowy z ostatniego pola, tak jak w przypadku wszystkich innych pól.

Aby pokazać, co jest poprawiane, poniżej znajduje się odpowiedź trójki oraz niewielka modyfikacja przykładowych danych OP z dodanymi cudzysłowami wokół końcowego pola „ Z ”.

echo 'A,,C,"D,E,F","G",I,"K,L,M","Z"' |  sed -r -e 's/("([^"]*)")?,/\2\t/g'
A       C   D,E,F   G   I   K,L,M   "Z"

Widać, że „ Z ” zostało otoczone cudzysłowami. Różni się to od obsługi pól wewnętrznych. Na przykład „ G ” nie zawiera cudzysłowów.

Następujące polecenie używa drugiego podstawienia do wyczyszczenia ostatniej kolumny:

echo 'A,,C,"D,E,F","G",I,"K,L,M","Z"' |  sed -r -e 's/("([^"]*)")?,/\2\t/g' \
                                                -e 's/\t"([^"]*)"$/\t\1/'
A       C   D,E,F   G   I   K,L,M   Z