Jak określić kodowanie plików w systemie OS X?

Próbuję wprowadzić kilka znaków UTF-8 do pliku LaTeX w TextMate (który mówi, że jego domyślne kodowanie to UTF-8), ale LaTeX ich nie rozumie.

Uruchomienie cat my_file.texpokazuje poprawnie znaki w Terminalu. Running ls -alpokazuje coś, czego nigdy wcześniej nie widziałem: znak „@” przy liście plików:

-rw-r--r--@  1 me      users      2021 Feb 11 18:05 my_file.tex

(I tak, używam \usepackage[utf8]{inputenc}w LaTeX.)

Znalazłem iconv, ale to nie wydaje się być w stanie powiedzieć mi, jakie jest kodowanie - zostanie przekonwertowane dopiero, gdy to zrozumiem.

Te @środki, że plik rozszerzył atrybuty pliku z nim związane. Możesz zapytać o nie za pomocą getxattr()funkcji.

Nie ma określonego sposobu na wykrycie kodowania pliku. Przeczytaj tę odpowiedź, wyjaśnia, dlaczego.

Jest narzędzie wiersza poleceń, enca , które próbuje odgadnąć kodowanie. Może będziesz chciał to sprawdzić.

Użycie opcji -I(to duże i) w poleceniu pliku wydaje się pokazywać kodowanie pliku.

file -I {filename}

W systemie Mac OS X polecenie file -I(duże i) poda odpowiedni zestaw znaków, o ile testowany plik zawiera znaki spoza podstawowego zakresu ASCII.

Na przykład, jeśli wejdziesz do Terminala i użyjesz vi do utworzenia pliku, np. vi test.txt następnie wstaw kilka znaków i dołącz znak akcentowany (spróbuj ALT-e, a następnie e), a następnie zapisz plik.

Piszą file -I text.txti powinieneś otrzymać taki wynik:

test.txt: text/plain; charset=utf-8

vim -c 'execute "silent !echo " . &fileencoding | q' {filename}

alias gdzieś w mojej konfiguracji basha jako

alias vic="vim -c 'execute \"silent !echo \" . &fileencoding | q'"

więc po prostu piszę

vic {filename}

Na moim waniliowym OSX Yosemite daje dokładniejsze wyniki niż "plik -I":

$ file -I pdfs/udocument0.pdf
pdfs/udocument0.pdf: application/pdf; charset=binary
$ vic pdfs/udocument0.pdf
latin1
$
$ file -I pdfs/t0.pdf
pdfs/t0.pdf: application/pdf; charset=us-ascii
$ vic pdfs/t0.pdf
utf-8

Możesz także konwertować z jednego typu pliku na inny za pomocą następującego polecenia:

iconv -f original_charset -t new_charset originalfile > newfile

na przykład

iconv -f utf-16le -t utf-8 file1.txt > file2.txt

Po prostu użyj:

file -I <filename>

Otóż ​​to.

Użycie filepolecenia z --mime-encodingopcją (np. file --mime-encoding some_file.txt) Zamiast opcji -I działa w systemie OS X i ma dodatkową zaletę polegającą na pomijaniu typu MIME „tekst / zwykły”, co prawdopodobnie nie jest dla Ciebie ważne.

Klasyczny 8-bitowy LaTeX jest bardzo ograniczony, jeśli chodzi o użycie znaków UTF8; w dużym stopniu zależy od kodowania używanej czcionki i dostępnych glifów, które ta czcionka ma.

Ponieważ nie podajesz konkretnego przykładu, trudno jest dokładnie wiedzieć, gdzie jest problem - niezależnie od tego, czy próbujesz użyć glifu, którego nie ma Twoja czcionka, czy też nie używasz prawidłowego kodowania czcionki w pierwszym miejsce.

Oto minimalny przykład pokazujący, jak kilka znaków UTF8 może być używanych w dokumencie LaTeX:

\documentclass{article}
\usepackage[T1]{fontenc}
\usepackage{lmodern}
\usepackage[utf8]{inputenc}
\begin{document}
‘Héllø—thêrè.’
\end{document}

Możesz mieć więcej szczęścia z kodowaniem [utf8x], ale ostrzegam, że nie jest już obsługiwane i ma pewne cechy charakterystyczne w porównaniu z [utf8] (o ile pamiętam; minęło trochę czasu, odkąd na to patrzyłem). Ale jeśli to załatwi sprawę, tylko to się liczy.

Znak @ oznacza, że ​​plik ma rozszerzone atrybuty . xattr filepokazuje jakie atrybuty posiada, xattr -l filepokazuje też wartości atrybutów (które czasami mogą być duże - spróbuj np. xattr /System/Library/Fonts/HelveLTMMzobaczyć starodawną czcionkę, która istnieje w rozwidleniu zasobów).

Wpisanie file myfile.texw terminalu może czasami wskazać kodowanie i typ pliku za pomocą szeregu algorytmów i magicznych liczb. Jest to dość przydatne, ale nie licz na to, że dostarcza konkretnych lub wiarygodnych informacji.

Localizable.stringsPlik (znaleziono w zlokalizowanych aplikacji Mac OS X) jest zazwyczaj być UTF-16 plik źródłowy C.

Synalyze It! pozwala na porównanie tekstu lub bajtów we wszystkich kodowaniach oferowanych przez bibliotekę ICU . Korzystając z tej funkcji, zwykle od razu widać, która strona kodowa ma sens dla Twoich danych.

Możesz spróbować załadować plik do okna przeglądarki Firefox, a następnie przejść do Widok - Kodowanie znaków. Obok typu kodowania pliku powinien znajdować się znacznik wyboru.

Którego LaTeX używasz? Kiedy używałem teTeX-a, musiałem ręcznie pobrać pakiet Unicode i dodać go do moich plików .tex:

% UTF-8 stuff
\usepackage[notipa]{ucs}
\usepackage[utf8x]{inputenc}
\usepackage[T1]{fontenc}

Teraz przeszedłem na XeTeX z pakietu TeXlive 2008 ( tutaj ), jest to jeszcze prostsze:

% UTF-8 stuff
\usepackage{fontspec}
\usepackage{xunicode}

Jeśli chodzi o wykrywanie kodowania pliku, możesz się nim bawić file(1)(ale jest to raczej ograniczone), ale jak ktoś powiedział, jest to trudne.

Brutalnym sposobem sprawdzenia kodowania może być po prostu sprawdzenie pliku w edytorze szesnastkowym lub podobnym. (lub napisz program do sprawdzenia) Spójrz na dane binarne w pliku. Format UTF-8 jest dość łatwy do rozpoznania. Wszystkie znaki ASCII to pojedyncze bajty o wartościach poniżej 128 (0x80) Sekwencje wielobajtowe są zgodne ze wzorcem przedstawionym w artykule wiki

Jeśli możesz znaleźć prostszy sposób na uzyskanie programu do weryfikacji kodowania, jest to oczywiście skrót, ale jeśli wszystko inne zawiedzie, to załatwi sprawę.

Zaimplementowałem poniższy skrypt bash, działa u mnie.

Najpierw próbuje przejść iconvz kodowania zwróconego przez file --mime-encodingdo utf-8.

Jeśli to się nie powiedzie, przechodzi przez wszystkie kodowania i pokazuje różnicę między oryginalnym i ponownie zakodowanym plikiem. Pomija kodowania, które generują duży wynik różnicowy („duży” zgodnie z definicją MAX_DIFF_LINESzmiennej lub drugim argumentem wejściowym), ponieważ są to najprawdopodobniej nieprawidłowe kodowanie.

Jeśli w wyniku użycia tego skryptu wydarzy się coś złego, nie obwiniaj mnie. Jest rm -ftam, więc są potwory. Próbowałem zapobiec niepożądanym efektom, używając go na plikach z losowym sufiksem, ale nie składam żadnych obietnic.

Testowane na Darwin 15.6.0.

#!/bin/bash

if [[ $# -lt 1 ]]
then
  echo "ERROR: need one input argument: file of which the enconding is to be detected."
  exit 3
fi

if [ ! -e "$1" ]
then
  echo "ERROR: cannot find file '$1'"
  exit 3
fi

if [[ $# -ge 2 ]]
then
  MAX_DIFF_LINES=$2
else
  MAX_DIFF_LINES=10
fi


#try the easy way
ENCOD=$(file --mime-encoding $1 | awk '{print $2}')
#check if this enconding is valid
iconv -f $ENCOD -t utf-8 $1 &> /dev/null
if [ $? -eq 0 ]
then
  echo $ENCOD
  exit 0
fi

#hard way, need the user to visually check the difference between the original and re-encoded files
for i in $(iconv -l | awk '{print $1}')
do
  SINK=$1.$i.$RANDOM
  iconv -f $i -t utf-8 $1 2> /dev/null > $SINK
  if [ $? -eq 0 ]
  then
    DIFF=$(diff $1 $SINK)
    if [ ! -z "$DIFF" ] && [ $(echo "$DIFF" | wc -l) -le $MAX_DIFF_LINES ]
    then
      echo "===== $i ====="
      echo "$DIFF"
      echo "Does that make sense [N/y]"
      read $ANSWER
      if [ "$ANSWER" == "y" ] || [ "$ANSWER" == "Y" ]
      then
        echo $i
        exit 0
      fi
    fi
  fi
  #clean up re-encoded file
  rm -f $SINK
done

echo "None of the encondings worked. You're stuck."
exit 3