Przeglądałem artykuł BERT, który używa GELU (Gaussian Error Linear Unit), który podaje równanie jako co z kolei jest przybliżone doGELU(x)=xP(X≤x)=xΦ(x).GELU(x)=xP(X≤x)=xΦ(x). GELU(x) = xP(X ≤ x) = xΦ(x).0.5x(1+tanh[2/π−−−√(x+0.044715x3)])0.5x(1+tanh[2/π(x+0.044715x3)])0.5x(1 + tanh[\sqrt{ 2/π}(x...
https://github.com/Rdatatable/data.table/wiki/Benchmarks-%3A-Grouping Testy danych data.table nie były aktualizowane od 2014 roku. Słyszałem, że gdzieś Pandasjest teraz szybciej niż data.table. Czy to prawda? Czy ktoś zrobił jakieś testy porównawcze? Nigdy wcześniej nie korzystałem z Pythona, ale...
Próbuję usunąć słowa stop przed wykonaniem modelowania tematu. Zauważyłem, że niektóre słowa negacji (nie, ani nigdy, nigdy itd.) Są zwykle uważane za słowa stop. Na przykład NLTK, spacy i sklearn zawierają „not” na swoich listach słów kluczowych. Jeśli jednak usuniemy „nie” z poniższych zdań,...
Mam dwa zdania, S1 i S2, oba o liczbie słów (zwykle) poniżej 15. Jakie są najbardziej praktyczne i skuteczne algorytmy (uczenie maszynowe), które są prawdopodobnie łatwe do wdrożenia (sieć neuronowa jest w porządku, chyba że architektura jest tak skomplikowana jak Google Inception itp.). Szukam...
Próbuję poszukać dobrego argumentu na temat tego, dlaczego warto wykorzystać odległość Manhattanu nad odległością euklidesową w uczeniu maszynowym. Najbliższa mi jak dotąd dobra argumentacja dotyczy wykładu MIT . W 36:15 na slajdach można zobaczyć następujące oświadczenie: „Zazwyczaj stosuj dane...
Niedawno natknąłem się na terminy Word2Vec , Sentence2Vec i Doc2Vec i trochę zdezorientowany, ponieważ jestem nowy w semantyce wektorowej. Czy ktoś może wyjaśnić różnice w tych metodach prostymi słowami. Jakie są najbardziej odpowiednie zadania dla każdej
Z samouczka RNN firmy Keras: „RNN są trudne. Wybór wielkości partii jest ważny, wybór straty i optymalizatora ma kluczowe znaczenie itp. Niektóre konfiguracje nie będą zbieżne”. Jest to więc bardziej ogólne pytanie dotyczące dostrajania hiperparametrów LSTM-RNN w Keras. Chciałbym wiedzieć o...
Dlaczego podczas szkolenia modeli uczenia maszynowego czasami korzystne jest utrzymanie wielkości partii na poziomie 2? Pomyślałem, że najlepiej będzie użyć rozmiaru, który najlepiej pasuje do twojej pamięci / RAM GPU. Ta odpowiedź twierdzi, że dla niektórych pakietów moc 2 jest lepsza jako...
Chciałbym zmniejszyć wymiarowość na prawie 1 milionach wektorów, każdy o 200 wymiarach ( doc2vec). Używam do tego TSNEimplementacji z sklearn.manifoldmodułu, a głównym problemem jest złożoność czasu. Mimo method = barnes_hutto szybkość obliczeń jest wciąż niska. Czasami nawet kończy się...
Stworzyliśmy aplikację sieci społecznościowej do celów eLearningu. To eksperymentalny projekt, nad którym pracujemy w naszym laboratorium. Przez pewien czas był używany w niektórych studiach przypadków, a dane w naszym relacyjnym DBMS (SQL Server 2008) stają się duże. To już kilka gigabajtów, a...
Zastanawiam się, czy jest jakaś heurystyka na temat liczby cech w porównaniu z liczbą obserwacji. Oczywiście, jeśli liczba cech jest równa liczbie obserwacji, model się dopasuje. Stosując rzadkie metody (LASSO, elastyczna siatka) możemy usunąć kilka funkcji w celu zmniejszenia modelu. Moje pytanie...
Mam problem z klasyfikacją binarną: Około 1000 próbek w zestawie treningowym 10 atrybutów, w tym binarne, numeryczne i kategoryczne Który algorytm jest najlepszym wyborem dla tego rodzaju problemu? Domyślnie zacznę od SVM (wstępne posiadanie nominalnych wartości atrybutów przekonwertowanych na...
Korzystam z przykładu OpenCV letter_recog.cpp do eksperymentowania na losowych drzewach i innych klasyfikatorach. Ten przykład zawiera implementacje sześciu klasyfikatorów - losowe drzewa, boosting, MLP, kNN, naiwne Bayesa i SVM. Używany jest zestaw danych do rozpoznawania liter UCI z 20000...
Jakiego narzędzia najlepiej użyć do wizualizacji (narysowania wierzchołków i krawędzi) wykresu zawierającego 1000000 wierzchołków? Na wykresie jest około 50000 krawędzi. Potrafię obliczyć położenie poszczególnych wierzchołków i krawędzi. Zastanawiam się nad napisaniem programu do generowania pliku...
Ostatnio pojawiła się furia, gdy Facebook przeprowadzał eksperymenty na swoich użytkownikach, aby sprawdzić, czy mogą zmienić emocje użytkownika, a teraz są w porządku . Chociaż nie jestem zawodowym naukowcem danych, czytam o etyce nauki o danych z książki Cathy O'Neill „Doing Data Science” i...
Próbuję zbudować system rekomendacji przy użyciu filtrowania grupowego. Mam zwykłe [user, movie, rating]informacje. Chciałbym włączyć dodatkową funkcję, taką jak „język” lub „czas trwania filmu”. Nie jestem pewien, jakich technik mógłbym użyć w przypadku takiego problemu. Proszę sugerować...
Mam pewne trudności w uzyskaniu wstecznej propagacji za pomocą ReLU i wykonałem trochę pracy, ale nie jestem pewien, czy jestem na dobrej drodze. Funkcja kosztu: gdzie jest wartością rzeczywistą, a jest wartością przewidywaną. Zakładamy również, że > 0 zawsze.Y Y...
Mam rzadkie cechy, które są predykcyjne, mam też pewne gęste cechy, które są również predykcyjne. Muszę połączyć te funkcje razem, aby poprawić ogólną wydajność klasyfikatora. Rzecz w tym, że kiedy próbuję połączyć je ze sobą, cechy gęste mają tendencję do dominacji nad cechami rzadkimi, a zatem...
W przypadku wykrywania powszechnym sposobem ustalenia, czy propozycja jednego obiektu była poprawna, jest Skrzyżowanie przez Unię (IoU, IU). Pobiera zestaw proponowanych pikseli obiektowych i zestaw rzeczywistych pikseli obiektowych B i oblicza:ZAZAAbbB jao U( A , B ) = A ∩ BA ∪...
Gdy stosowana jest losowa inicjalizacja centroidów, różne serie K-średnich dają różne całkowite SSE. I ma to kluczowe znaczenie dla wydajności algorytmu. Jakie są skuteczne podejścia do rozwiązania tego problemu? Najnowsze podejścia są mile