UnicodeDecodeError: kodek „charmap” nie może dekodować bajtu X w pozycji Y: znak odwzorowuje na <nieokreślony>

Próbuję uzyskać program w języku Python 3 do wykonywania pewnych operacji przy użyciu pliku tekstowego wypełnionego informacjami. Jednak podczas próby odczytania pliku pojawia się następujący błąd:

 Traceback (most recent call last):  
     File "SCRIPT LOCATION", line NUMBER, in <module>  
     `text = file.read()`  
     File "C:\Python31\lib\encodings\cp1252.py", line 23, in decode  
     `return codecs.charmap_decode(input,self.errors,decoding_table)[0]`  
     UnicodeDecodeError: 'charmap' codec can't decode byte 0x90 in position 2907500: character maps to `<undefined>`  

Plik, o którym mowa, nie korzysta z CP1252kodowania. Używa innego kodowania. Który musisz sam wymyślić. Typowe są Latin-1i UTF-8. Ponieważ 0x90 tak naprawdę nic nie znaczy Latin-1, UTF-8(gdzie 0x90 jest bajtem kontynuacji) jest bardziej prawdopodobne.

Określasz kodowanie podczas otwierania pliku:

file = open(filename, encoding="utf8")

Tylko dodać, jeśli file = open(filename, encoding="utf8")nie działa spróbujfile = open(filename, errors='ignore')

Jako rozszerzenie odpowiedzi @ LennartRegebro :

Jeśli nie możesz powiedzieć, jakiego kodowania używa Twój plik, a powyższe rozwiązanie nie działa (nie jest utf8), a znalazłeś się tylko w zgadywaniu - istnieją narzędzia online , za pomocą których można zidentyfikować, jakie to kodowanie. Nie są idealne, ale zwykle działają dobrze. Po ustaleniu kodowania powinieneś być w stanie użyć powyższego rozwiązania.

EDYCJA: (Skopiowane z komentarza)

Dość popularny edytor tekstowy Sublime Textma polecenie wyświetlania kodowania, jeśli zostało ustawione ...

1. Idź do View-> Show Console(lub Ctrl+ `)

2. Wpisz w pole u dołu view.encoding()i Undefinedmiej nadzieję na najlepsze (nie udało mi się nic dostać, ale może będziesz mieć więcej szczęścia ...)

Alternatywnie, jeśli nie trzeba dekodować pliku, takie jak przesyłanie plików do serwisów open(filename, 'rb'). r = odczyt, b = binarny

TLDR? Próbować:file = open(filename, encoding='cp437)

Dlaczego? Gdy jedno użycie:

file = open(filename)
text = file.read()

Python zakłada, że ​​plik używa tej samej strony kodowej co bieżące środowisko (cp1252 w przypadku postu otwierającego) i próbuje zdekodować go do własnego domyślnego UTF-8. Jeśli plik zawiera znaki o wartościach niezdefiniowanych na tej stronie kodowej (np. 0x90), otrzymujemy błąd UnicodeDecodeError. Czasami nie znamy kodowania pliku, czasem kodowanie pliku może być nieobsługiwane przez Python (np. Cp790), czasem plik może zawierać kodowanie mieszane.

Jeśli takie znaki nie są potrzebne, można zdecydować o ich zastąpieniu znakami zapytania:

file = open(filename, errors='replace')

Innym obejściem jest użycie:

file = open(filename, errors='ignore')

Znaki pozostaną nienaruszone, ale inne błędy również zostaną zamaskowane.

Całkiem dobrym rozwiązaniem jest określenie kodowania, ale nie kodowania (jak cp1252), ale takiego, w którym zdefiniowano WSZYSTKIE znaki (jak cp437):

file = open(filename, encoding='cp437')

Strona kodowa 437 to oryginalne kodowanie DOS. Wszystkie kody są zdefiniowane, więc nie ma błędów podczas odczytu pliku, żadnych błędów jest maskowanych, znaki są zachowywane (niezupełnie pozostawione nienaruszone, ale nadal możliwe do odróżnienia).

Dla osób pracujących w Anaconda w systemie Windows miałem ten sam problem. Notepad ++ pomóż mi go rozwiązać.

Otwórz plik w Notepad ++. W prawym dolnym rogu pokaże ci bieżące kodowanie pliku. W górnym menu obok „Widok” znajdź „Kodowanie”. W „Kodowaniu” przejdź do „zestawów znaków” i tam wraz z pacjentem szukaj kodowania, którego potrzebujesz. W moim przypadku kodowanie „Windows-1252” znaleziono w „Zachodnioeuropejskim”

Przestań marnować czas, po prostu dodaj następujące elementy encoding="cp437"i errors='ignore'do kodu zarówno w trybie odczytu, jak i zapisu:

open('filename.csv', encoding="cp437", errors='ignore')
open(file_name, 'w', newline='', encoding="cp437", errors='ignore')

Życzenia powodzenia

dla mnie zmiana kodowania Mysql na taki sam jak mój kod pomogła w rozwiązaniu problemu. `photo = open ('pic3.png', kodowanie = latin1), silny tekst