Użycie awk do usunięcia znaku kolejności bajtów

Jak wyglądałby awkskrypt (prawdopodobnie jednolinijkowy) służący do usuwania zestawienia komponentów ?

Specyfikacja:

• wypisz każdy wiersz po pierwszym ( NR > 1)
• dla pierwszego wiersza: jeśli zaczyna się od #FE #FFlub #FF #FE, usuń je i wydrukuj resztę

Spróbuj tego:

awk 'NR==1{sub(/^\xef\xbb\xbf/,"")}{print}' INFILE > OUTFILE

W pierwszym rekordzie (wierszu) usuń znaki zestawienia komponentów. Wydrukuj każdy rekord.

Lub trochę krócej, wiedząc, że domyślną akcją w awk jest wydrukowanie rekordu:

awk 'NR==1{sub(/^\xef\xbb\xbf/,"")}1' INFILE > OUTFILE

1 to najkrótszy warunek, który zawsze jest prawdziwy, więc każdy rekord jest drukowany.

Cieszyć się!

- DODATEK -

Często zadawane pytania dotyczące znaku kolejności bajtów Unicode (BOM) zawiera poniższą tabelę zawierającą dokładne bajty BOM dla każdego kodowania:

Bytes         |  Encoding Form
--------------------------------------
00 00 FE FF   |  UTF-32, big-endian
FF FE 00 00   |  UTF-32, little-endian
FE FF         |  UTF-16, big-endian
FF FE         |  UTF-16, little-endian
EF BB BF      |  UTF-8

W ten sposób możesz zobaczyć, jak \xef\xbb\xbfodpowiada EF BB BF UTF-8bajtom BOM z powyższej tabeli.

Korzystanie z GNU sed(w systemie Linux lub Cygwin):

# Removing BOM from all text files in current directory:
sed -i '1 s/^\xef\xbb\xbf//' *.txt

W FreeBSD:

sed -i .bak '1 s/^\xef\xbb\xbf//' *.txt

Zaleta korzystania z GNU lub FreeBSD sed: -iparametr oznacza „na miejscu” i będzie aktualizował pliki bez potrzeby przekierowań lub dziwnych sztuczek.

Na komputerze Mac:

To awkrozwiązanie w innej odpowiedzi działa , ale sedpowyższe polecenie nie działa. Przynajmniej na Macu (Sierra) seddokumentacja nie wspomina o obsłudze znaków szesnastkowych ucieczki ala \xef.

Podobną sztuczkę można osiągnąć w dowolnym programie, podłączając do spongenarzędzia z moreutils :

awk '…' INFILE | sponge INFILE

Nie awk, ale prostsze:

tail -c +4 UTF8 > UTF8.nobom

Aby sprawdzić BOM:

hd -n 3 UTF8

Jeśli BOM jest obecny, zobaczysz: 00000000 ef bb bf ...

Oprócz konwersji zakończeń linii CRLF na LF, dos2unixusuwa również zestawienia komponentów:

dos2unix *.txt

dos2unix konwertuje również pliki UTF-16 z BOM (ale nie pliki UTF-16 bez BOM) do UTF-8 bez BOM:

$ printf '\ufeffä\n'|iconv -f utf-8 -t utf-16be>bom-utf16be
$ printf '\ufeffä\n'|iconv -f utf-8 -t utf-16le>bom-utf16le
$ printf '\ufeffä\n'>bom-utf8
$ printf 'ä\n'|iconv -f utf-8 -t utf-16be>utf16be
$ printf 'ä\n'|iconv -f utf-8 -t utf-16le>utf16le
$ printf 'ä\n'>utf8
$ for f in *;do printf '%11s %s\n' $f $(xxd -p $f);done
bom-utf16be feff00e4000a
bom-utf16le fffee4000a00
   bom-utf8 efbbbfc3a40a
    utf16be 00e4000a
    utf16le e4000a00
       utf8 c3a40a
$ dos2unix -q *
$ for f in *;do printf '%11s %s\n' $f $(xxd -p $f);done
bom-utf16be c3a40a
bom-utf16le c3a40a
   bom-utf8 c3a40a
    utf16be 00e4000a
    utf16le e4000a00
       utf8 c3a40a

Wiem, że pytanie było skierowane do unix / linux, pomyślałem, że warto byłoby wspomnieć o dobrej opcji dla tych, którzy mają problemy z unixem (w Windows, z UI).
Napotkałem ten sam problem w projekcie WordPress (BOM powodował problemy z kanałem rss i walidacją strony) i musiałem zajrzeć do wszystkich plików w dość dużym drzewie katalogów, aby znaleźć ten, który był z BOM. Znalazłem aplikację o nazwie Replace Pioneer i w niej:

Batch Runner -> Search (aby znaleźć wszystkie pliki w podfolderach) -> Replace Template -> Binary remove BOM (jest gotowe wyszukanie i zastąpienie szablonu).

Nie było to najbardziej eleganckie rozwiązanie i wymagało zainstalowania programu, co jest wadą. Ale kiedy dowiedziałem się, co się wokół mnie dzieje, zadziałało to jak urok (i znalazłem 3 pliki z około 2300, które były z BOM).