Zastanawiam się, jak oznaczyć (tagować) zdania / akapity / dokumenty za pomocą doc2vec w gensim - z praktycznego punktu widzenia. Czy musisz mieć każde zdanie / akapit / dokument z własną unikalną etykietą (np. „Wysłane_123”)? Wydaje się to przydatne, jeśli chcesz powiedzieć „jakie słowa lub...
Jakiego narzędzia najlepiej użyć do wizualizacji (narysowania wierzchołków i krawędzi) wykresu zawierającego 1000000 wierzchołków? Na wykresie jest około 50000 krawędzi. Potrafię obliczyć położenie poszczególnych wierzchołków i krawędzi. Zastanawiam się nad napisaniem programu do generowania pliku...
Ostatnio pojawiła się furia, gdy Facebook przeprowadzał eksperymenty na swoich użytkownikach, aby sprawdzić, czy mogą zmienić emocje użytkownika, a teraz są w porządku . Chociaż nie jestem zawodowym naukowcem danych, czytam o etyce nauki o danych z książki Cathy O'Neill „Doing Data Science” i...
Próbuję zbudować system rekomendacji przy użyciu filtrowania grupowego. Mam zwykłe [user, movie, rating]informacje. Chciałbym włączyć dodatkową funkcję, taką jak „język” lub „czas trwania filmu”. Nie jestem pewien, jakich technik mógłbym użyć w przypadku takiego problemu. Proszę sugerować...
Muszę generować okresowe (dzienne, miesięczne) raporty pulpitu nawigacyjnego analityki internetowej. Będą one statyczne i nie będą wymagały interakcji, więc wyobraź sobie plik PDF jako docelowy wynik. Raporty będą mieszać tabele i wykresy (głównie wykresy przebiegu w czasie i wykresy punktowe...
Mam dużą rzadką macierz użytkowników i przedmiotów, które lubią (rzędu 1 mln użytkowników i 100 000 przedmiotów, z bardzo niskim poziomem rzadkości). Badam sposoby, w jakie mogę na nim przeprowadzić wyszukiwanie kNN. Biorąc pod uwagę rozmiar mojego zbioru danych i niektóre wstępne testy, które...
Mam rzadkie cechy, które są predykcyjne, mam też pewne gęste cechy, które są również predykcyjne. Muszę połączyć te funkcje razem, aby poprawić ogólną wydajność klasyfikatora. Rzecz w tym, że kiedy próbuję połączyć je ze sobą, cechy gęste mają tendencję do dominacji nad cechami rzadkimi, a zatem...
Mam problem z grupowaniem ogromnej liczby zdań w grupy według ich znaczenia. Jest to podobne do problemu, gdy masz wiele zdań i chcesz je pogrupować według ich znaczenia. Jakie algorytmy są zalecane? Nie wiem z góry liczby klastrów (a ponieważ nadchodzi więcej danych, klastry również mogą się...
Zastanawiam się, czy jest jakaś heurystyka na temat liczby cech w porównaniu z liczbą obserwacji. Oczywiście, jeśli liczba cech jest równa liczbie obserwacji, model się dopasuje. Stosując rzadkie metody (LASSO, elastyczna siatka) możemy usunąć kilka funkcji w celu zmniejszenia modelu. Moje pytanie...
Bagging to generowanie wielu predyktorów, które działają tak samo, jak jeden predyktor. Dropout jest techniką, która uczy sieci neuronowe uśredniania wszystkich możliwych podsieci. Patrząc na najważniejsze zawody Kaggle, wydaje się, że te dwie techniki są bardzo często używane razem. Nie widzę...
Jak mogę uzyskać liczbę brakujących wartości w każdym wierszu w ramce danych Pandas. Chciałbym podzielić ramkę danych na różne ramki danych, które mają taką samą liczbę brakujących wartości w każdym wierszu. Jakieś
Próbuję obliczyć ilość pamięci potrzebną GPU do trenowania mojego modelu na podstawie tych notatek Andreja Karphaty'ego: http://cs231n.github.io/convolutional-networks/#computational-considerations Moja sieć ma 532,752 aktywacji i 19 027 984 parametrów (wag i odchyleń). Są to 32-bitowe wartości...
Czy ktoś może napisać prosty przykład Keras wykorzystujący wywołanie zwrotne, aby zapisać model po każdej epoce? Potrafię znaleźć przykłady oszczędzania ciężarów, ale chcę móc zapisać w pełni funkcjonujący model po każdej epoce
Tutaj odpowiedź odnosi się do znikania i eksplodowania gradientów, które były sigmoidpodobne do funkcji aktywacyjnych, ale, jak sądzę, Relumają wadę i są to oczekiwana wartość. nie ma ograniczeń dla wyjścia, Reluwięc jego oczekiwana wartość nie jest równa zero. Pamiętam czas, zanim popularność...
Gdy stosowana jest losowa inicjalizacja centroidów, różne serie K-średnich dają różne całkowite SSE. I ma to kluczowe znaczenie dla wydajności algorytmu. Jakie są skuteczne podejścia do rozwiązania tego problemu? Najnowsze podejścia są mile
Pracuję nad rozpoznawaniem mowy z Tensorflow i planuję trenować LSTM NN z zestawem danych masywnych fal. Ze względu na wzrost wydajności planuję używać tfrecords. Istnieje kilka przykładów w Internecie (Inception na przykład.), W których pliki tfrecords są podzielone na odłamki. Moje pytanie brzmi:...
Mam pewne trudności w uzyskaniu wstecznej propagacji za pomocą ReLU i wykonałem trochę pracy, ale nie jestem pewien, czy jestem na dobrej drodze. Funkcja kosztu: gdzie jest wartością rzeczywistą, a jest wartością przewidywaną. Zakładamy również, że > 0 zawsze.Y Y...
Pracuję nad pytaniem z książki online: http://neuralnetworksanddeeplearning.com/chap1.html Rozumiem, że jeśli dodatkowa warstwa wyjściowa składa się z 5 neuronów wyjściowych, prawdopodobnie mogłabym ustawić odchylenie na 0,5 i wagę 0,5 dla każdej poprzedniej warstwy. Ale pytanie wymaga teraz...
Zaczynam się uczyć uczenia maszynowego ze strony internetowej Tensorflow. Rozwinąłem bardzo podstawowe podejście do programu głębokiego uczenia się (ta metoda sprawia, że uczę się szybko zamiast czytać książki i duże artykuły). Jest kilka mylących rzeczy, z którymi się zetknąłem, 2 z nich...
Czy przypadkowa implementacja lasu w scikit-learn wykorzystuje średnią dokładność jako metodę punktacji do oszacowania błędu uogólnienia przy próbkach z worka? Nie jest to wspomniane w dokumentacji, ale metoda score () podaje średnią dokładność. Mam bardzo niezrównoważony zestaw danych i używam...