Próbowałem zmienić zestaw znaków pliku .csv z UTF-16 na UTF-8 za pomocą polecenia unix
iconv -f utf-16le -t UTF-8//TRANSLIT <input file> -o <output file>
Po uruchomieniu polecenia liczenia słów zawartość pliku została zmniejszona do 466 linii z 5600 linii pierwotnie.
1
Czy na pewno Twoje polecenie liczenia słów rozumie UTF-16 i przede wszystkim poprawnie zlicza wiersze?
grawity
Czy jesteś pewien, że dane wejściowe to UTF-16?
Attie
Lepiej opublikuj mały przykładowy plik.
harrymc