Jaki jest najlepszy sposób na usunięcie akcentów w łańcuchu Unicode w Pythonie?

Mam w Pythonie ciąg znaków Unicode i chciałbym usunąć wszystkie akcenty (znaki diakrytyczne).

Znalazłem w sieci elegancki sposób na zrobienie tego w Javie:

1. przekonwertować ciąg Unicode na jego długą znormalizowaną formę (z osobnym znakiem dla liter i znaków diakrytycznych)
2. usuń wszystkie znaki, których typ Unicode jest „diakrytyczny”.

Czy muszę instalować bibliotekę, taką jak pyICU, czy jest to możliwe tylko przy użyciu standardowej biblioteki python? A co z python 3?

Ważna uwaga: chciałbym uniknąć kodu z wyraźnym odwzorowaniem znaków akcentowanych na ich nieakcentowany odpowiednik.

Unidecode jest prawidłową odpowiedzią na to pytanie. Transliteruje dowolny ciąg Unicode do najbliższej możliwej reprezentacji w tekście ascii.

Przykład:

accented_string = u'Málaga'
# accented_string is of type 'unicode'
import unidecode
unaccented_string = unidecode.unidecode(accented_string)
# unaccented_string contains 'Malaga'and is of type 'str'

Co powiesz na to:

import unicodedata
def strip_accents(s):
   return ''.join(c for c in unicodedata.normalize('NFD', s)
                  if unicodedata.category(c) != 'Mn')

Działa to również na litery greckie:

>>> strip_accents(u"A \u00c0 \u0394 \u038E")
u'A A \u0394 \u03a5'
>>> 

Kategoria charakter „Mn” oznacza Nonspacing_Mark, która jest podobna do unicodedata.combining w odpowiedzi MiniQuark za (nie myśleć unicodedata.combining, ale prawdopodobnie jest lepszym rozwiązaniem, ponieważ jest to bardziej wyraźne).

I pamiętaj, że te manipulacje mogą znacznie zmienić znaczenie tekstu. Akcenty, umlauty itp. Nie są „dekoracją”.

Właśnie znalazłem tę odpowiedź w Internecie:

import unicodedata

def remove_accents(input_str):
    nfkd_form = unicodedata.normalize('NFKD', input_str)
    only_ascii = nfkd_form.encode('ASCII', 'ignore')
    return only_ascii

Działa to dobrze (na przykład w języku francuskim), ale myślę, że drugim krokiem (usunięcie akcentów) można by się lepiej zająć niż upuszczenie znaków spoza ASCII, ponieważ nie powiedzie się to w niektórych językach (na przykład po grecku). Najlepszym rozwiązaniem byłoby prawdopodobnie jawne usunięcie znaków Unicode oznaczonych jako znaki diakrytyczne.

Edycja : to załatwia sprawę:

import unicodedata

def remove_accents(input_str):
    nfkd_form = unicodedata.normalize('NFKD', input_str)
    return u"".join([c for c in nfkd_form if not unicodedata.combining(c)])

unicodedata.combining(c)zwróci true, jeśli znak cmożna połączyć z poprzednim, to znaczy, jeśli jest to znak diakrytyczny.

Edycja 2 : remove_accentsoczekuje ciągu znaków Unicode , a nie ciągu bajtów. Jeśli masz ciąg bajtów, musisz go zdekodować na ciąg znaków Unicode:

encoding = "utf-8" # or iso-8859-15, or cp1252, or whatever encoding you use
byte_string = b"café"  # or simply "café" before python 3.
unicode_string = byte_string.decode(encoding)

Właściwie pracuję nad zgodnym z projektem Pythonem 2.6, 2.7 i 3.4 i muszę tworzyć identyfikatory z wolnych wpisów użytkowników.

Dzięki tobie stworzyłem tę funkcję, która działa cuda.

import re
import unicodedata

def strip_accents(text):
    """
    Strip accents from input String.

    :param text: The input string.
    :type text: String.

    :returns: The processed String.
    :rtype: String.
    """
    try:
        text = unicode(text, 'utf-8')
    except (TypeError, NameError): # unicode is a default on python 3 
        pass
    text = unicodedata.normalize('NFD', text)
    text = text.encode('ascii', 'ignore')
    text = text.decode("utf-8")
    return str(text)

def text_to_id(text):
    """
    Convert input text to id.

    :param text: The input string.
    :type text: String.

    :returns: The processed String.
    :rtype: String.
    """
    text = strip_accents(text.lower())
    text = re.sub('[ ]+', '_', text)
    text = re.sub('[^0-9a-zA-Z_-]', '', text)
    return text

wynik:

text_to_id("Montréal, über, 12.89, Mère, Françoise, noël, 889")
>>> 'montreal_uber_1289_mere_francoise_noel_889'

Dotyczy to nie tylko akcentów, ale także „pociągnięć” (jak w ø itp.):

import unicodedata as ud

def rmdiacritics(char):
    '''
    Return the base character of char, by "removing" any
    diacritics like accents or curls and strokes and the like.
    '''
    desc = ud.name(char)
    cutoff = desc.find(' WITH ')
    if cutoff != -1:
        desc = desc[:cutoff]
        try:
            char = ud.lookup(desc)
        except KeyError:
            pass  # removing "WITH ..." produced an invalid name
    return char

Jest to najbardziej elegancki sposób, jaki mogę wymyślić (o czym wspomniała Alexis w komentarzu na tej stronie), chociaż nie sądzę, aby był on naprawdę elegancki. W rzeczywistości jest to raczej hack, jak wskazano w komentarzach, ponieważ nazwy Unicode są - tak naprawdę tylko nazwami, nie dają żadnej gwarancji, że będą spójne lub coś w tym rodzaju.

Nadal istnieją specjalne litery, które nie są przez to obsługiwane, takie jak litery odwrócone i odwrócone, ponieważ ich nazwa Unicode nie zawiera „Z”. To i tak zależy od tego, co chcesz zrobić. Czasami potrzebowałem usuwania akcentów, aby uzyskać porządek sortowania w słowniku.

EDYTUJ NOTATKĘ:

Uwzględniono sugestie z komentarzy (obsługa błędów wyszukiwania, kod Python-3).

W odpowiedzi na odpowiedź @ MiniQuark:

Próbowałem odczytać plik csv, który był w połowie francuski (zawierający akcenty), a także niektóre ciągi, które ostatecznie stałyby się liczbami całkowitymi i liczbami zmiennoprzecinkowymi. W ramach testu utworzyłem test.txtplik, który wyglądał tak:

Montréal, über, 12.89, Mère, Françoise, noël, 889

Musiałem dołączyć wiersze 2i 3sprawić, by zadziałało (co znalazłem w bilecie Pythona), a także dołączyć komentarz @ Jabba:

import sys 
reload(sys) 
sys.setdefaultencoding("utf-8")
import csv
import unicodedata

def remove_accents(input_str):
    nkfd_form = unicodedata.normalize('NFKD', unicode(input_str))
    return u"".join([c for c in nkfd_form if not unicodedata.combining(c)])

with open('test.txt') as f:
    read = csv.reader(f)
    for row in read:
        for element in row:
            print remove_accents(element)

Wynik:

Montreal
uber
12.89
Mere
Francoise
noel
889

(Uwaga: korzystam z Mac OS X 10.8.4 i używam Python 2.7.3)

gensim.utils.deaccent (tekst) z Gensim - modelowanie tematów dla ludzi :

'Sef chomutovskych komunistu dostal postou bily prasek'

Innym rozwiązaniem jest kod unidecode .

Zauważ, że sugerowane rozwiązanie z unicodedata zazwyczaj usuwa akcenty tylko w niektórych postaciach (np. Zmienia się 'ł'w '', a nie w 'l').

Niektóre języki łączą znaki diakrytyczne jako litery języka i znaki diakrytyczne z akcentem, aby określić akcent.

Myślę, że bezpieczniej jest wyraźnie określić, jakie diactrics chcesz usunąć:

def strip_accents(string, accents=('COMBINING ACUTE ACCENT', 'COMBINING GRAVE ACCENT', 'COMBINING TILDE')):
    accents = set(map(unicodedata.lookup, accents))
    chars = [c for c in unicodedata.normalize('NFD', string) if c not in accents]
    return unicodedata.normalize('NFC', ''.join(chars))