Natural Language Toolkit to biblioteka Pythona do lingwistyki komputerowej.
Czytam tę książkę ( NLTK ) i jest ona myląca. Entropia jest zdefiniowana jako : Entropia jest sumą prawdopodobieństwa każdej etykiety pomnożonej przez prawdopodobieństwo prawdopodobieństwa tej samej etykiety Jak mogę zastosować entropię i maksymalną entropię w zakresie eksploracji tekstu? Czy...
Podczas próby załadowania punkttokenizera ... import nltk.data tokenizer = nltk.data.load('nltk:tokenizers/punkt/english.pickle') ... a LookupErrorzostał podniesiony: > LookupError: > ********************************************************************* > Resource...
Szukam sposobu na podzielenie tekstu na n-gramów. Normalnie zrobiłbym coś takiego: import nltk from nltk import bigrams string = "I really like python, it's pretty awesome." string_bigrams = bigrams(string) print string_bigrams Zdaję sobie sprawę, że nltk oferuje tylko bigramy i trygramy, ale...
Jak znaleźć listę wszystkich możliwych tagów pos używanych przez Natural Language Toolkit
Kiedy używam każdego? Ponadto ... czy lematyzacja NLTK jest zależna od części mowy? Czy nie byłoby dokładniejsze, gdyby było?
Chcę sprawdzić w programie w języku Python, czy słowo jest w słowniku języka angielskiego. Wydaje mi się, że najlepszym rozwiązaniem może być interfejs nltk wordnet, ale nie mam pojęcia, jak go używać do tak prostego zadania. def is_english_word(word): pass # how to I implement...
Dopiero zaczynam używać NLTK i nie do końca rozumiem, jak uzyskać listę słów z tekstu. Jeśli używam nltk.word_tokenize(), otrzymuję listę słów i znaków interpunkcyjnych. Zamiast tego potrzebuję tylko słów. Jak pozbyć się interpunkcji? Również word_tokenizenie działa z wieloma zdaniami: punkty są...
Mam więc zbiór danych, z którego chciałbym usunąć słowa pomijane stopwords.words('english') Walczę, jak użyć tego w moim kodzie, aby po prostu usunąć te słowa. Mam już listę słów z tego zbioru danych, część, z którą się zmagam, polega na porównaniu z tą listą i usuwaniu słów pomijanych. Każda...
W skrypcie powłoki sprawdzam, czy te pakiety są zainstalowane, czy nie, jeśli nie są zainstalowane, instaluję je. Więc za pomocą skryptu powłoki: import nltk echo nltk.__version__ ale zatrzymuje skrypt powłoki na importlinii w terminalu linux próbował zobaczyć w ten sposób: which nltk co nic...
Mam problem z użyciem pip do zainstalowania prawie wszystkiego. Jestem nowy w kodowaniu, więc pomyślałem, że może to jest coś, co robię źle i zrezygnowałem z easy_install, aby uzyskać większość tego, co potrzebowałem, co ogólnie działa. Jednak teraz próbuję pobrać bibliotekę nltk i żadna z nich nie...
Mój kod: import nltk.data tokenizer = nltk.data.load('nltk:tokenizers/punkt/english.pickle') Komunikat o błędzie: [ec2-user@ip-172-31-31-31 sentiment]$ python mapper_local_v1.0.py Traceback (most recent call last): File "mapper_local_v1.0.py", line 16, in <module> tokenizer =...
Śledziłem samouczek, który był dostępny w części 1 i części 2 . Niestety autor nie miał czasu na ostatnią sekcję, która polegała na wykorzystaniu podobieństwa cosinusowego, aby faktycznie znaleźć odległość między dwoma dokumentami. Podążałem za przykładami w artykule za pomocą poniższego linku...
Czy można używać Stanford Parser w NLTK? (Nie mówię o Stanford POS.)
Wydawało mi się, że często odpowiedzią na mój tytuł jest przeczytanie dokumentacji, ale przejrzałem książkę NLTK, ale ona nie daje odpowiedzi. Jestem trochę nowy w Pythonie. Mam kilka .txtplików i chcę móc korzystać z funkcji korpusu, które NLTK zapewnia dla korpusu nltk_data. Próbowałem,...