Użyłem LDA do zbioru dokumentów i znalazłem kilka tematów. Wynikiem mojego kodu są dwie macierze zawierające prawdopodobieństwa; jedno prawdopodobieństwo doc-temat i drugie prawdopodobieństwo słowo-temat. Ale tak naprawdę nie wiem, jak wykorzystać te wyniki do przewidzenia tematu nowego dokumentu....
Próbuję przeprowadzić klastrowanie na poziomie dokumentu. Skonstruowałem macierz częstotliwości termin-dokument i próbuję zgrupować te wektory o dużych wymiarach za pomocą k-średnich. Zamiast bezpośredniego grupowania, najpierw zastosowałem dekompozycję wektora osobliwego LSA (Latent Semantic...
Zbudowałem kilka sieci neuronowych (MLP (w pełni połączony), Elman (cykliczny)) do różnych zadań, takich jak gra w Pong, klasyfikowanie odręcznych cyfr i tym podobne ... Dodatkowo próbowałem zbudować pierwsze sieci neuronowe splotowe, np. Do klasyfikowania wielocyfrowych notatek odręcznych, ale...
Pracuję nad problemem klastrowania tekstu. Dane zawierają kilka zdań. Czy istnieje dobry algorytm, który osiąga wysoką dokładność w przypadku krótkiego tekstu? Czy możesz podać dobre referencje? Algorytmy takie jak KMeans, grupowanie widmowe nie działają dobrze w przypadku tego problemu....
Warunki te są często spotykane, ale chciałbym wiedzieć, jakie według ciebie są różnice, jeśli w ogóle.
Mam do czynienia z problemem klasyfikacji tekstu. Przeszukiwacz sieciowy indeksuje strony określonej domeny i dla każdej strony chcę dowiedzieć się, czy należy ona do jednej konkretnej klasy, czy nie. Oznacza to, że jeśli nazwiebym tę klasę jako Pozytywna , każda zaindeksowana strona internetowa...
Zainspirowany tym pytaniem zastanawiam się, czy nie wykonano żadnej pracy nad modelami tematycznymi dla dużych kolekcji niezwykle krótkich tekstów. Moją intuicją jest to, że Twitter powinien być naturalną inspiracją dla takich modeli. Jednak z niektórych ograniczonych eksperymentów wygląda na to,...
Spędziłem trzy dni, bawiąc się tmpo przeczytaniu dokumentu roboczego przez znajomego, w którym zbadał korpus tekstowy za pomocą UCINET, pokazując chmury tekstowe, dwumodowe wykresy sieciowe i rozkład pojedynczej wartości (z grafiką, przy użyciu Staty). Wystąpiło wiele problemów: w systemie Mac OS X...
Podczas przetwarzania języka naturalnego można wziąć korpus i ocenić prawdopodobieństwo wystąpienia następnego słowa w sekwencji n. n jest zwykle wybierane jako 2 lub 3 (bigramy i trygramy). Czy istnieje znany punkt, w którym śledzenie danych dla n-tego łańcucha staje się nieproduktywne, biorąc...
Czy możesz polecić pakiet do eksploracji tekstu w języku R, który może być używany w przypadku dużych ilości danych? Po drugie, czy jest dostępny GUI dla któregokolwiek z pakietów eksploracji tekstu w R? Po trzecie, czy istnieje inny program do eksploracji tekstu typu open source, który jest...
Mam matrycę terminów dokumentowych , a teraz chciałbym wyodrębnić słowa kluczowe dla każdego dokumentu za pomocą nadzorowanej metody uczenia się (SVM, Naive Bayes, ...). W tym modelu używam już Tf-idf, znacznika Pos, ...M.M.M Ale teraz zastanawiam się nad kolejnymi. Mam macierz z podobieństwami...
W dwóch popularnych bibliotekach identyfikacji języka, Compact Language Detector 2 dla C ++ i wykrywaczu języka dla java, oba wykorzystały (oparte na znakach) n-gramach do wyodrębnienia funkcji tekstowych. Dlaczego nie używa się worka słów (pojedyncze słowo / słownik) i jakie są zalety i wady worka...
Jaka jest / są różnice między tymi modelami reprezentacji tekstu: Worek słów i model przestrzeni
W aplikacji do eksploracji tekstu jednym prostym podejściem jest użycie heurystyki do tworzenia wektorów jako zwartych rzadkich reprezentacji dokumentów. Jest to dobre w przypadku ustawień wsadowych, w których cały korpus jest znany z góry, ponieważ wymaga całego korpusui d...
Cześć. Chciałem wiedzieć, czy są jakieś dobre książki na temat eksploracji tekstu i klasyfikacji z niektórymi studiami przypadków ?. Jeśli nie, wystarczyłyby niektóre dokumenty / czasopisma dostępne publicznie. Jeśli zilustrują swoje przykłady R jeszcze lepiej. Nie szukam instrukcji krok po kroku,...
Tradycyjne podejście do konstruowania obiektów do eksploracji tekstu jest oparte na zasadzie work-of-words i można je ulepszyć za pomocą tf-idf do konfigurowania wektora cech charakteryzującego dany dokument tekstowy. Obecnie próbuję użyć bi-gramowego modelu językowego lub (N-gram) do budowy...
Zgodnie z dokumentacją removeSparseTermsfunkcji z tmpakietu, to jest to, co wiąże się z rzadkością: A term-document matrix where those terms from x are removed which have at least a sparse percentage of empty (i.e., terms occurring 0 times in a document) elements. I.e., the resulting matrix...
Czytałem: https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition Ale nie potrafię zrozumieć, dlaczego formuła została zbudowana w taki sposób. Co robię Rozumiem: iDF powinien na pewnym poziomie zmierzyć, jak często termin S pojawia się w każdym z dokumentów, zmniejszając jego wartość, ponieważ...
Właśnie przydzielono mi projekt przeprowadzania analizy sentymentu dla niektórych zbiorów dokumentów. Przez Googling pojawiło się wiele badań związanych z sentymentem. Moje pytania to: Jakie są główne metody / algorytmy analizy sentymentów w dziedzinie uczenia maszynowego i analizy...
Mój zestaw danych obejmuje zarówno całkowitą śmiertelność, jak i przeżycie organizmu w trzech typach miejsc: przybrzeżnym, śródokanałowym i przybrzeżnym. Liczby w poniższej tabeli reprezentują liczbę witryn. 100% Mortality 100% Survival Inshore 30 31 Midchannel 10 20 Offshore 1 10 Chciałbym...