Kompletny zestaw znaków interpunkcyjnych dla Pythona (nie tylko ASCII)

Czy istnieje lista lub biblioteka zawierająca wszystkie znaki interpunkcyjne, z którymi często się spotykamy?

Zwykle używam string.punctuation, ale niektóre znaki interpunkcyjne nie są w nim zawarte, na przykład:

>>> "'" in string.punctuation
True
>>> "’" in string.punctuation
False

Przydałaby Ci się ta kontrola:

>>> import unicodedata
>>> unicodedata.category("'").startswith("P")
True
>>> unicodedata.category("’").startswith("P")
True

Kategorie Unicode P * dotyczą specjalnie interpunkcji :

złącze (Pc), myślnik (Pd), wstępny cytat (Pi), końcowy cytat (Pf), otwórz (Ps), zamknij (Pe), inny (Po)

Aby przygotować wyczerpującą kolekcję, którą możesz następnie wykorzystać do szybkiej kontroli członkostwa, użyj zestawu:

>>> import sys
>>> from unicodedata import category
>>> codepoints = range(sys.maxunicode + 1)
>>> punctuation = {c for i in codepoints if category(c := chr(i)).startswith("P")}
>>> "'" in punctuation
True
>>> "’" in punctuation
True

Wyrażenie przypisania tutaj wymaga Python 3.8+, odpowiednik dla starszych wersji Python:

chrs = (chr(i) for i in range(sys.maxunicode + 1))
punctuation = set(c for c in chrs if category(c).startswith("P"))

Uważaj, że niektóre inne znaki w string.punctuationrzeczywistości znajdują się w symbolu kategorii Unicode . Możesz je łatwo dodać, jeśli chcesz.

Odpowiedź wysłana przez wim jest poprawna, jeśli chcesz sprawdzić, czy znak jest znakiem interpunkcyjnym.

Jeśli naprawdę potrzebujesz listy wszystkich znaków interpunkcyjnych, jak sugeruje tytuł pytania, możesz użyć następujących opcji:

import sys
from unicodedata import category
punctuation_chars =  [chr(i) for i in range(sys.maxunicode) 
                             if category(chr(i)).startswith("P")]

Odpowiedź wim jest świetna, jeśli możesz zmienić kod, aby użyć funkcji.

Ale jeśli musisz użyć inoperatora (na przykład dzwonisz do kodu biblioteki), możesz użyć wpisywania kaczki:

import unicodedata
class DuckType:
    def __contains__(self,s):
        return unicodedata.category(s).startswith("P")
punct=DuckType()
#print("'" in punct,'"' in punct,"a" in punct)

To wygląda na niezłą robotę dla wyrażenia regularnego (regexp):

    import re
    text = re.sub(r"[^\w\s]", "", str(text), flags=re.UNICODE)

Wyrażenie regularne dopasowuje tutaj wszystko oprócz białych znaków i znaków słownych. Flaga re.UNICODEsłuży do dopasowania pełnego zestawu znaków Unicode.

Jak wskazały inne odpowiedzi, sposobem na to jest skorzystanie z właściwości / kategorii Unicode. Zaakceptowana odpowiedź uzyskuje dostęp do tych informacji za pośrednictwem standardowego unicodedatamodułu biblioteki , ale w zależności od kontekstu, w którym jest to potrzebne, może być szybszy lub wygodniejszy dostęp do tej samej informacji o właściwości za pomocą wyrażeń regularnych.

Jednak standardowy remoduł biblioteczny nie zapewnia rozszerzonej obsługi Unicode. Do tego potrzebny jest regexmoduł dostępny w PyPI ( pip install regex):

>>> import regex as re
>>> re.match("\p{Punctuation}", "'")
<regex.Match object; span=(0, 1), match="'">
>>> re.match("\p{Punctuation}", "’")
<regex.Match object; span=(0, 1), match='’'>

Warunkiem jest dobry przegląd wszystkich różnych rodzajów właściwości Unicode można wyszukiwać za pomocą wyrażeń regularnych tutaj . Oprócz tych dodatkowych funkcji wyrażeń regularnych, które są udokumentowane na stronie głównej PyPI, regexcelowo udostępnia ten sam interfejs API co re, więc należy się spodziewać po redokumentacji, aby dowiedzieć się, jak korzystać z którejkolwiek z nich.