db = MySQLdb.connect (host = "localhost", user = "root", passwd = "", db = "testdb", use_unicode = True, charset = "utf8")
KyungHoon Kim
wow, @KyungHoonKim uratowałeś mi życie! W górę!
Florian Doyen
Odpowiedzi:
66
Znak U + 201C Lewy podwójny cudzysłów nie występuje w kodowaniu Latin-1 (ISO-8859-1).
To jest obecny w stronie kodowej 1252 (zachodnia Europejskiej). Jest to kodowanie specyficzne dla systemu Windows oparte na standardzie ISO-8859-1, ale umieszczające dodatkowe znaki w zakresie 0x80-0x9F. Strona kodowa 1252 jest często mylona z ISO-8859-1 i jest to denerwujące, ale teraz standardowe zachowanie przeglądarki internetowej, że jeśli serwujesz swoje strony jako ISO-8859-1, przeglądarka będzie traktować je jako cp1252. Jednak tak naprawdę są to dwa różne kodowania:
>>> u'He said \u201CHello\u201D'.encode('iso-8859-1')
UnicodeEncodeError
>>> u'He said \u201CHello\u201D'.encode('cp1252')
'He said \x93Hello\x94'
Jeśli używasz bazy danych tylko jako magazynu bajtów, możesz użyć cp1252 do kodowania “i innych znaków obecnych na stronie kodowej Windows Western. Ale nadal inne znaki Unicode, które nie są obecne w cp1252, będą powodować błędy.
Możesz użyć encode(..., 'ignore')do wyeliminowania błędów, pozbywając się znaków, ale tak naprawdę w tym stuleciu powinieneś używać UTF-8 zarówno w bazie danych, jak i na stronach. To kodowanie pozwala na użycie dowolnego znaku. Najlepiej byłoby również powiedzieć MySQL, że używasz łańcuchów UTF-8 (ustawiając połączenie z bazą danych i sortowanie w kolumnach ciągów), aby można było uzyskać prawidłowe porównanie i sortowanie bez rozróżniania wielkości liter.
Czy nie jest cp1252to ścisła nadzbiór ISO-8859-1? To znaczy, kiedy przeglądarki otrzymają stronę ISO-8859-1, mogą renderować ją tak, jakby była to CP1252, ponieważ i tak nie będzie żadnych znaków z zakresu 0x80-0x9F.
MSalters
3
Nie, bajty 0x80–0x9F mają rzeczywiste przypisania w ISO-8859-1, które są nadpisywane przez dodatki cp1252, więc nie jest to nadzbiór. Odwzorowują dokładnie na znaki Unicode U + 0080 – U + 009F, które stanowią zestaw znaków sterujących. Są to znaki sterujące, które nie są zbyt często używane, dlatego przeglądarkom to uszło na sucho, ale jest to denerwujące, gdy próbujesz przekonwertować sekwencje bajtów-jako-Unicode.
bobince
Jedyny raz, kiedy widziałem znaki z zakresu U + 0080-U + 009F w pliku zakodowanym jako ISO-8859-1 lub UTF-8, wynikał z tego, że jakiś klaun połączył kilka plików, z których niektóre były zakodowane w cp850 a następnie transkodowanie powstałego bałaganu z „latin1” na UTF-8. Wersja robocza specyfikacji HTML5 rozważa uświęcenie tego bardzo praktycznego zachowania przeglądarki (i całej masy podobnych przypadków) - zobacz whatwg.org/specs/web-apps/current-work/multipage/ ...
John Machin
94
Napotkałem ten sam problem podczas korzystania z modułu Python MySQLdb. Ponieważ MySQL umożliwia przechowywanie dowolnych danych binarnych w polu tekstowym, niezależnie od zestawu znaków, znalazłem tutaj swoje rozwiązanie:
Edycja: Cytuj z powyższego adresu URL, aby spełnić żądanie w pierwszym komentarzu ...
„UnicodeEncodeError: kodek 'latin-1' nie może zakodować znaku ...”
Dzieje się tak, ponieważ MySQLdb normalnie próbuje zakodować wszystko do latin-1. Można to naprawić, wykonując następujące polecenia zaraz po ustanowieniu połączenia:
Sugeruje się, aby w odpowiedzi podać odpowiednią część powiązanego elementu. Link do dodatkowego czytania jest świetny, ale spróbuj umieścić podsumowanie w swojej odpowiedzi, że tak powiem :)
Fluffeh
@Fluffeh I tak było.
CatShoes
1
wielkie dzięki, zadziałało jak urok po wypróbowaniu 1000 innych rzeczy.
Juergen Riemer,
2
Tylko db.set_character_set ('utf8') powinno rozwiązać problem
Pandurang Patil
21
Najlepszym rozwiązaniem jest
ustaw kodowanie mysql na 'utf-8'
polub ten komentarz (dodaj use_unicode=Truei charset="utf8")
db = MySQLdb.connect (host = "localhost", user = "root", passwd = "", db = "testdb", use_unicode = True, charset = "utf8") - KyungHoon Kim 13 marca 2014 o 17:04
szczegóły patrz:
classConnection(_mysql.connection):"""MySQL Database Connection Object"""
default_cursor = cursors.Cursor
def__init__(self, *args, **kwargs):"""
Create a connection to the database. It is strongly recommended
that you only use keyword parameters. Consult the MySQL C API
documentation for more information.
host
string, host to connect
user
string, user to connect as
passwd
string, password to use
db
string, database to use
port
integer, TCP/IP port to connect to
unix_socket
string, location of unix_socket to use
conv
conversion dictionary, see MySQLdb.converters
connect_timeout
number of seconds to wait before the connection attempt
fails.
compress
if set, compression is enabled
named_pipe
if set, a named pipe is used to connect (Windows only)
init_command
command which is run once the connection is created
read_default_file
file from which default client values are read
read_default_group
configuration group to use from the default file
cursorclass
class object, used to create cursors (keyword only)
use_unicode
If True, text-like columns are returned as unicode objects
using the connection's character set. Otherwise, text-like
columns are returned as strings. columns are returned as
normal strings. Unicode objects will always be encoded to
the connection's character set regardless of this setting.
charset
If supplied, the connection character set will be changed
to this character set (MySQL-4.1 and newer). This implies
use_unicode=True.
sql_mode
If supplied, the session SQL mode will be changed to this
setting (MySQL-4.1 and newer). For more details and legal
values, see the MySQL documentation.
client_flag
integer, flags to use or 0
(see MySQL docs or constants/CLIENTS.py)
ssl
dictionary or mapping, contains SSL connection parameters;
see the MySQL documentation for more details
(mysql_ssl_set()). If this is set, and the client does not
support SSL, NotSupportedError will be raised.
local_infile
integer, non-zero enables LOAD LOCAL INFILE; zero disables
autocommit
If False (default), autocommit is disabled.
If True, autocommit is enabled.
If None, autocommit isn't set and server default is used.
There are a number of undocumented, non-standard methods. See the
documentation for the MySQL C API for some hints on what they do.
"""
Mam nadzieję, że twoja baza danych ma przynajmniej UTF-8. Następnie będziesz musiał uruchomić, yourstring.encode('utf-8')zanim spróbujesz umieścić go w bazie danych.
Próbujesz zapisać punkt kodowy Unicode \u201cprzy użyciu kodowania, ISO-8859-1 / Latin-1które nie może opisać tego punktu kodowego. Być może będziesz musiał zmienić bazę danych, aby używała utf-8 i przechowywać dane łańcuchowe przy użyciu odpowiedniego kodowania, albo możesz chcieć wyczyścić dane wejściowe przed zapisaniem zawartości; tj. używając czegoś takiego jak doskonały przewodnik Sama Ruby'ego i18n . To mówi o problemach, które windows-1252mogą powodować, i sugeruje, jak to zrobić, oraz linki do przykładowego kodu!
Latin-1 koduje określone znaki Unicode, ale nie ten. Nie ma znaczenia, czy \ u201c nie mieści się w bajcie. windows-1252 jest również schematem kodowania z pojedynczym oktetem i zawiera \ u201c.
Mark Tolonen
cp1253 (aka windows-1253) jest również schematem kodowania znaków z pojedynczym oktetem, a mimo to \u0391pasuje dobrze do bajtu (w szczególności bajtu 193). Ty może chcesz przyjrzeć się , że ; ludzie uznali to za pomocne.
tzot
Unicode zawiera glify Latin-1 / cp1253 w postaci 16-bitowych punktów kodowych. Dziwię się, że komentarze wydają się być odwrotne.
msw
-3
Python: Będziesz musiał dodać
# - * - kodowanie: UTF-8 - * - (usuń spacje wokół *)
do pierwszej linii pliku Pythona. a następnie dodaj do tekstu do zakodowania: .encode ('ascii', 'xmlcharrefreplace') . Spowoduje to zastąpienie wszystkich znaków Unicode ich odpowiednikiem w ASCII.
Odpowiedzi:
Znak U + 201C Lewy podwójny cudzysłów nie występuje w kodowaniu Latin-1 (ISO-8859-1).
To jest obecny w stronie kodowej 1252 (zachodnia Europejskiej). Jest to kodowanie specyficzne dla systemu Windows oparte na standardzie ISO-8859-1, ale umieszczające dodatkowe znaki w zakresie 0x80-0x9F. Strona kodowa 1252 jest często mylona z ISO-8859-1 i jest to denerwujące, ale teraz standardowe zachowanie przeglądarki internetowej, że jeśli serwujesz swoje strony jako ISO-8859-1, przeglądarka będzie traktować je jako cp1252. Jednak tak naprawdę są to dwa różne kodowania:
>>> u'He said \u201CHello\u201D'.encode('iso-8859-1') UnicodeEncodeError >>> u'He said \u201CHello\u201D'.encode('cp1252') 'He said \x93Hello\x94'
Jeśli używasz bazy danych tylko jako magazynu bajtów, możesz użyć cp1252 do kodowania
“
i innych znaków obecnych na stronie kodowej Windows Western. Ale nadal inne znaki Unicode, które nie są obecne w cp1252, będą powodować błędy.Możesz użyć
encode(..., 'ignore')
do wyeliminowania błędów, pozbywając się znaków, ale tak naprawdę w tym stuleciu powinieneś używać UTF-8 zarówno w bazie danych, jak i na stronach. To kodowanie pozwala na użycie dowolnego znaku. Najlepiej byłoby również powiedzieć MySQL, że używasz łańcuchów UTF-8 (ustawiając połączenie z bazą danych i sortowanie w kolumnach ciągów), aby można było uzyskać prawidłowe porównanie i sortowanie bez rozróżniania wielkości liter.źródło
cp1252
to ścisła nadzbiór ISO-8859-1? To znaczy, kiedy przeglądarki otrzymają stronę ISO-8859-1, mogą renderować ją tak, jakby była to CP1252, ponieważ i tak nie będzie żadnych znaków z zakresu0x80-0x9F
.Napotkałem ten sam problem podczas korzystania z modułu Python MySQLdb. Ponieważ MySQL umożliwia przechowywanie dowolnych danych binarnych w polu tekstowym, niezależnie od zestawu znaków, znalazłem tutaj swoje rozwiązanie:
Używanie UTF8 z Python MySQLdb
Edycja: Cytuj z powyższego adresu URL, aby spełnić żądanie w pierwszym komentarzu ...
db.set_character_set('utf8') dbc.execute('SET NAMES utf8;') dbc.execute('SET CHARACTER SET utf8;') dbc.execute('SET character_set_connection=utf8;')
źródło
Najlepszym rozwiązaniem jest
polub ten komentarz (dodaj
use_unicode=True
icharset="utf8"
)szczegóły patrz:
class Connection(_mysql.connection): """MySQL Database Connection Object""" default_cursor = cursors.Cursor def __init__(self, *args, **kwargs): """ Create a connection to the database. It is strongly recommended that you only use keyword parameters. Consult the MySQL C API documentation for more information. host string, host to connect user string, user to connect as passwd string, password to use db string, database to use port integer, TCP/IP port to connect to unix_socket string, location of unix_socket to use conv conversion dictionary, see MySQLdb.converters connect_timeout number of seconds to wait before the connection attempt fails. compress if set, compression is enabled named_pipe if set, a named pipe is used to connect (Windows only) init_command command which is run once the connection is created read_default_file file from which default client values are read read_default_group configuration group to use from the default file cursorclass class object, used to create cursors (keyword only) use_unicode If True, text-like columns are returned as unicode objects using the connection's character set. Otherwise, text-like columns are returned as strings. columns are returned as normal strings. Unicode objects will always be encoded to the connection's character set regardless of this setting. charset If supplied, the connection character set will be changed to this character set (MySQL-4.1 and newer). This implies use_unicode=True. sql_mode If supplied, the session SQL mode will be changed to this setting (MySQL-4.1 and newer). For more details and legal values, see the MySQL documentation. client_flag integer, flags to use or 0 (see MySQL docs or constants/CLIENTS.py) ssl dictionary or mapping, contains SSL connection parameters; see the MySQL documentation for more details (mysql_ssl_set()). If this is set, and the client does not support SSL, NotSupportedError will be raised. local_infile integer, non-zero enables LOAD LOCAL INFILE; zero disables autocommit If False (default), autocommit is disabled. If True, autocommit is enabled. If None, autocommit isn't set and server default is used. There are a number of undocumented, non-standard methods. See the documentation for the MySQL C API for some hints on what they do. """
źródło
utf8mb4
dla mysql, jeśli maszemoji
.etc, zapoznaj się z czym-jest-różnica-między-utf8mb4-a-utf8-charsets-in-mysqlMam nadzieję, że twoja baza danych ma przynajmniej UTF-8. Następnie będziesz musiał uruchomić,
yourstring.encode('utf-8')
zanim spróbujesz umieścić go w bazie danych.źródło
Próbujesz zapisać punkt kodowy Unicode
\u201c
przy użyciu kodowania,ISO-8859-1 / Latin-1
które nie może opisać tego punktu kodowego. Być może będziesz musiał zmienić bazę danych, aby używała utf-8 i przechowywać dane łańcuchowe przy użyciu odpowiedniego kodowania, albo możesz chcieć wyczyścić dane wejściowe przed zapisaniem zawartości; tj. używając czegoś takiego jak doskonały przewodnik Sama Ruby'ego i18n . To mówi o problemach, którewindows-1252
mogą powodować, i sugeruje, jak to zrobić, oraz linki do przykładowego kodu!źródło
Użytkownicy SQLAlchemy mogą po prostu określić swoje pole jako
convert_unicode=True
.Przykład:
sqlalchemy.String(1000, convert_unicode=True)
SQLAlchemy po prostu zaakceptuje obiekty Unicode i zwróci je z powrotem, obsługując samo kodowanie.
Dokumenty
źródło
Użyj poniższego fragmentu, aby przekonwertować tekst z łaciny na angielski
import unicodedata def strip_accents(text): return "".join(char for char in unicodedata.normalize('NFKD', text) if unicodedata.category(char) != 'Mn') strip_accents('áéíñóúü')
wynik:
źródło
Latin-1 (aka ISO 8859-1 ) to schemat kodowania znaków z pojedynczym oktetem i nie można dopasować
\u201c
(“
) do bajtu.Czy chodziło Ci o kodowanie UTF-8?
źródło
\u0391
pasuje dobrze do bajtu (w szczególności bajtu 193). Ty może chcesz przyjrzeć się , że ; ludzie uznali to za pomocne.Python: Będziesz musiał dodać # - * - kodowanie: UTF-8 - * - (usuń spacje wokół *) do pierwszej linii pliku Pythona. a następnie dodaj do tekstu do zakodowania: .encode ('ascii', 'xmlcharrefreplace') . Spowoduje to zastąpienie wszystkich znaków Unicode ich odpowiednikiem w ASCII.
źródło