Ustawienie poprawnego kodowania podczas instalacji potokowej w Pythonie

Podczas przesyłania potokowego danych wyjściowych programu w języku Python interpreter języka Python ma problem z zakodowaniem i ustawia go na Brak. Oznacza to taki program:

# -*- coding: utf-8 -*-
print u"åäö"

będzie działał dobrze, gdy będzie działał normalnie, ale zawiedzie z:

UnicodeEncodeError: Kodek „ascii” nie może zakodować znaku u '\ xa0' w pozycji 0: porządek poza zakresem (128)

gdy jest używany w sekwencji rur.

Jaki jest najlepszy sposób, aby to zadziałało podczas instalacji rurowej? Czy mogę po prostu powiedzieć mu, aby używało dowolnego kodowania powłoki / systemu plików / czegokolwiek używa?

Sugerowane do tej pory sugestie to bezpośrednia modyfikacja pliku site.py lub zakodowanie domyślnego kodowania za pomocą tego hacka:

# -*- coding: utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
print u"åäö"

Czy istnieje lepszy sposób na wykonanie instalacji rurowej?

Kod działa, gdy jest uruchamiany w skrypcie, ponieważ Python koduje dane wyjściowe do dowolnego kodowania używanego przez aplikację terminala. Jeśli korzystasz z pipingu, musisz go sam zakodować.

Ogólna zasada brzmi: zawsze używaj wewnętrznego Unicode. Dekoduj otrzymane wiadomości i koduj to, co wysyłasz.

# -*- coding: utf-8 -*-
print u"åäö".encode('utf-8')

Innym przykładem dydaktycznym jest program w języku Python do konwersji między ISO-8859-1 i UTF-8, dzięki czemu wszystko jest wielkie między nimi.

import sys
for line in sys.stdin:
    # Decode what you receive:
    line = line.decode('iso8859-1')

    # Work with Unicode internally:
    line = line.upper()

    # Encode what you send:
    line = line.encode('utf-8')
    sys.stdout.write(line)

Ustawienie domyślnego kodowania systemu jest złym pomysłem, ponieważ niektóre używane moduły i biblioteki mogą polegać na tym, że jest to ASCII. Nie rób tego

Po pierwsze, w odniesieniu do tego rozwiązania:

# -*- coding: utf-8 -*-
print u"åäö".encode('utf-8')

Nie jest praktyczne jednoznaczne drukowanie za pomocą danego kodowania za każdym razem. To byłoby powtarzalne i podatne na błędy.

Lepszym rozwiązaniem jest zmiana sys.stdoutna początku programu, aby zakodować za pomocą wybranego kodowania. Oto jedno rozwiązanie, które znalazłem w Pythonie: Jak wybiera się sys.stdout.encoding? , w szczególności komentarz „toka”:

import sys
import codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdout)

Możesz spróbować zmienić zmienną środowiskową „PYTHONIOENCODING” na „utf_8”. Napisałem stronę na temat mojej próby z tym problemem .

Tl; dr na blogu:

import sys, locale, os
print(sys.stdout.encoding)
print(sys.stdout.isatty())
print(locale.getpreferredencoding())
print(sys.getfilesystemencoding())
print(os.environ["PYTHONIOENCODING"])
print(chr(246), chr(9786), chr(9787))

daje Ci

utf_8
False
ANSI_X3.4-1968
ascii
utf_8
ö ☺ ☻

export PYTHONIOENCODING=utf-8

wykonuj zadanie, ale nie możesz ustawić go na samym pythonie ...

co możemy zrobić, to sprawdzić, czy nie jest ustawiony i powiedzieć użytkownikowi, aby ustawił go przed wywołaniem skryptu za pomocą:

if __name__ == '__main__':
    if (sys.stdout.encoding is None):
        print >> sys.stderr, "please set python env PYTHONIOENCODING=UTF-8, example: export PYTHONIOENCODING=UTF-8, when write to stdout."
        exit(1)

Zaktualizuj, aby odpowiedzieć na komentarz: problem istnieje po prostu podczas instalacji na stdout. Testowałem w Fedorze 25 Python 2.7.13

python --version
Python 2.7.13

kot b.py

#!/usr/bin/env python
#-*- coding: utf-8 -*-
import sys

print sys.stdout.encoding

działa ./b.py

UTF-8

uruchomiony ./b.py | mniej

None

Miałem podobny problem w zeszłym tygodniu . Łatwo było to naprawić w moim IDE (PyCharm).

Oto moja poprawka:

Zaczynając od paska menu PyCharm: Plik -> Ustawienia ... -> Edytor -> Kodowanie plików, następnie ustaw: „Kodowanie IDE”, „Kodowanie projektu” i „Domyślne kodowanie plików właściwości” WSZYSTKIE na UTF-8 i teraz działa jak urok.

Mam nadzieję że to pomoże!

Argumentowana zdezynfekowana wersja odpowiedzi Craiga McQueena.

import sys, codecs
class EncodedOut:
    def __init__(self, enc):
        self.enc = enc
        self.stdout = sys.stdout
    def __enter__(self):
        if sys.stdout.encoding is None:
            w = codecs.getwriter(self.enc)
            sys.stdout = w(sys.stdout)
    def __exit__(self, exc_ty, exc_val, tb):
        sys.stdout = self.stdout

Stosowanie:

with EncodedOut('utf-8'):
    print u'ÅÄÖåäö'

Mógłbym to „zautomatyzować”, dzwoniąc do:

def __fix_io_encoding(last_resort_default='UTF-8'):
  import sys
  if [x for x in (sys.stdin,sys.stdout,sys.stderr) if x.encoding is None] :
      import os
      defEnc = None
      if defEnc is None :
        try:
          import locale
          defEnc = locale.getpreferredencoding()
        except: pass
      if defEnc is None :
        try: defEnc = sys.getfilesystemencoding()
        except: pass
      if defEnc is None :
        try: defEnc = sys.stdin.encoding
        except: pass
      if defEnc is None :
        defEnc = last_resort_default
      os.environ['PYTHONIOENCODING'] = os.environ.get("PYTHONIOENCODING",defEnc)
      os.execvpe(sys.argv[0],sys.argv,os.environ)
__fix_io_encoding() ; del __fix_io_encoding

Tak, możliwe jest uzyskanie nieskończonej pętli tutaj, jeśli to „setenv” zawiedzie.

Pomyślałem, że wspomnę o czymś, z czym musiałem długo eksperymentować, zanim w końcu zrozumiałem, co się dzieje. Może to być tak oczywiste dla wszystkich tutaj, że nie zadali sobie trudu, aby o tym wspomnieć. Ale pomogłoby mi, gdyby tak zrobili, więc na tej zasadzie ...!

Uwaga: Używam Jython specjalnie, wersja 2.7, więc być może nie dotyczy to CPython ...

NB2: pierwsze dwie linie mojego pliku .py to:

# -*- coding: utf-8 -*-
from __future__ import print_function

Mechanizm ciągów znaków „%” (AKA „operator interpolacji”) powoduje również DODATKOWE problemy ... Jeśli domyślnym kodowaniem „środowiska” jest ASCII i spróbujesz zrobić coś takiego

print( "bonjour, %s" % "fréd" )  # Call this "print A"

Nie będziesz mieć problemów z uruchomieniem w Eclipse ... W Windows CLI (okno DOS) przekonasz się, że kodowanie to strona kodowa 850 (mój system operacyjny Windows 7) lub coś podobnego, co może obsłużyć przynajmniej europejskie znaki akcentowane, więc będę pracować.

print( u"bonjour, %s" % "fréd" ) # Call this "print B"

będzie również działać.

Jeśli, OTOH, przekierujesz do pliku z CLI, standardowym kodowaniem będzie None, który będzie domyślnie ustawiony na ASCII (w moim systemie operacyjnym i tak), który nie będzie w stanie obsłużyć żadnego z powyższych wydruków ... (przerażające kodowanie błąd).

Więc możesz pomyśleć o przekierowaniu stdout za pomocą

sys.stdout = codecs.getwriter('utf8')(sys.stdout)

i spróbuj uruchomić w potoku CLI do pliku ... Bardzo dziwnie, wydruk A powyżej zadziała ... Ale wydruk B powyżej spowoduje błąd kodowania! Następujące działania będą jednak działać poprawnie:

print( u"bonjour, " + "fréd" ) # Call this "print C"

Doszedłem do wniosku (tymczasowo), że jeśli ciąg znaków, który jest określony jako ciąg Unicode przy użyciu prefiksu „u”, zostanie przesłany do mechanizmu obsługi%, wydaje się, że wiąże się to z użyciem domyślnego kodowania środowiska, niezależnie od czy ustawiłeś stdout na przekierowywanie!

Sposób, w jaki ludzie sobie z tym radzą, jest kwestią wyboru. Z zadowoleniem powitałbym eksperta od Unicode, który powiedziałby, dlaczego tak się dzieje, czy w jakiś sposób popełniłem błąd, jakie jest preferowane rozwiązanie tego problemu, czy dotyczy to również CPython , czy dzieje się to w Pythonie 3 itp. Itp.

Natrafiłem na ten problem w starszej aplikacji i trudno było ustalić, gdzie wydrukowano. Pomogłem sobie z tym hackiem:

# encoding_utf8.py
import codecs
import builtins


def print_utf8(text, **kwargs):
    print(str(text).encode('utf-8'), **kwargs)


def print_utf8(fn):
    def print_fn(*args, **kwargs):
        return fn(str(*args).encode('utf-8'), **kwargs)
    return print_fn


builtins.print = print_utf8(print)

Oprócz mojego skryptu test.py:

import encoding_utf8
string = 'Axwell Λ Ingrosso'
print(string)

Zauważ, że to zmienia WSZYSTKIE wywołania drukowania, aby używały kodowania, więc Twoja konsola wydrukuje to:

$ python test.py
b'Axwell \xce\x9b Ingrosso'

W systemie Windows ten problem występował bardzo często podczas uruchamiania kodu w języku Python z edytora (takiego jak Sublime Text), ale nie w przypadku uruchamiania go z wiersza polecenia.

W takim przypadku sprawdź parametry edytora. W przypadku SublimeText Python.sublime-buildrozwiązało to:

{
  "cmd": ["python", "-u", "$file"],
  "file_regex": "^[ ]*File \"(...*?)\", line ([0-9]*)",
  "selector": "source.python",
  "encoding": "utf8",
  "env": {"PYTHONIOENCODING": "utf-8", "LANG": "en_US.UTF-8"}
}