Mam niezrównoważony zestaw danych w zadaniu klasyfikacji binarnej, w którym liczba dodatnia vs. liczba ujemna wynosi 0,3% w porównaniu z 99,7%. Różnica między pozytywami a negatywami jest ogromna. Kiedy trenuję CNN ze strukturą stosowaną w problemie MNIST, wynik testu pokazuje wysoką fałszywą...
Rozumiem, że szkolenie wstępne jest stosowane, aby uniknąć niektórych problemów z konwencjonalnym treningiem. Jeśli używam propagacji wstecznej z, powiedzmy autoencoderem, wiem, że napotkam problemy z czasem, ponieważ propagacja wsteczna jest powolna, a także że mogę utknąć w lokalnych optymach i...
Problemy klasyfikacyjne z nieliniowymi granicami nie mogą być rozwiązane przez prosty perceptron . Poniższy kod R służy do celów ilustracyjnych i jest oparty na tym przykładzie w języku Python): nonlin <- function(x, deriv = F) { if (deriv) x*(1-x) else 1/(1+exp(-x)) } X <-...
Próbuję zrozumieć architekturę RNN. Znalazłem ten samouczek, który był bardzo pomocny: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Zwłaszcza ten obraz: Jak to pasuje do sieci feed-forward? Czy ten obraz jest po prostu innym węzłem w każdej
Załóżmy, że mam prostą jednowarstwową sieć neuronową z n wejściami i jednym wyjściem (zadanie klasyfikacji binarnej). Jeśli ustawię funkcję aktywacji w węźle wyjściowym jako funkcję sigmoidalną, wówczas wynikiem będzie klasyfikator regresji logistycznej. W tym samym scenariuszu, jeśli zmienię...
Uczę się o głębokim uczeniu się (w szczególności CNN) i o tym, jak zwykle wymaga ogromnej ilości danych, aby zapobiec nadmiernemu dopasowaniu. Jednak powiedziano mi również, że im wyższa pojemność / więcej parametrów modelu, tym więcej danych jest wymaganych, aby zapobiec nadmiernemu dopasowaniu....
Czy można trenować sieć neuronową, aby rysować obraz w określonym stylu? (Więc pobiera obraz i przerysowuje w stylu, dla którego został wytrenowany). Czy istnieje zatwierdzona technologia dla tego rodzaju rzeczy? Wiem o algorytmie DeepArt. Dobrze jest wypełnić główny obraz pewnym wzorem (na...
Czy istnieje jakaś reguła praktyczna między głębokością sieci neuronowej a szybkością uczenia się? Zauważyłem, że im głębsza sieć, tym niższa musi być szybkość uczenia się. Jeśli to prawda, dlaczego tak
Podczas gdy faktycznie programowałem na maszynach Boltzmanna na zajęciach z fizyki, nie znam ich teoretycznej charakterystyki. W przeciwieństwie do tego znam skromną wiedzę na temat teorii modeli graficznych (o kilku pierwszych rozdziałach książki Lauritzen Modele graficzne ). Pytanie: Czy...
Jeśli chodzi o różnicę między siecią neuronową a głębokim uczeniem się, możemy wymienić kilka elementów, takich jak więcej warstw, ogromny zestaw danych, potężny sprzęt komputerowy, aby uczynić szkolenie skomplikowanym modelem. Poza tym, czy są jakieś bardziej szczegółowe wyjaśnienia dotyczące...
Korzystam z dwukierunkowego RNN, aby wykryć zdarzenie niezrównoważonego wystąpienia. Klasa dodatnia jest 100 razy rzadziej niż klasa negatywna. Chociaż nie używa się regularyzacji, mogę uzyskać 100% dokładności na zestawie pociągów i 30% na zestawie walidacji. Włączam regularyzację l2, a wynik to...
Pracuję w sieci splotowej do rozpoznawania obrazów i zastanawiałem się, czy mogę wprowadzić obrazy o różnych rozmiarach (choć nie tak bardzo różnych). W sprawie tego projektu: https://github.com/harvardnlp/im2markup Mówią: and group images of similar sizes to facilitate batching Więc nawet po...
Przeczytałem o maszynach SVM i dowiedziałem się, że rozwiązują one problem optymalizacji, a maksymalny margines był bardzo rozsądny. Teraz, za pomocą jąder, mogą znaleźć nawet nieliniowe granice separacji, co było świetne. Jak dotąd naprawdę nie mam pojęcia, w jaki sposób SVM (specjalna maszyna...
W najnowszym artykule WaveNet autorzy odnoszą się do swojego modelu jako stosu warstw rozszerzonych splotów. Tworzą również następujące wykresy wyjaśniające różnicę między zwinięciem „zwykłym” a zwężeniem rozszerzonym. Wyglądają zwykłe sploty Jest to splot o wielkości filtra 2 i kroku 1,...
W artykule zatytułowanym Głębokie uczenie się i zasada wąskiego gardła informacji autorzy stwierdzają w sekcji II A), co następuje: Pojedyncze neurony klasyfikują tylko liniowo separowalne dane wejściowe, ponieważ mogą implementować tylko hiperpłaszczyzny w swojej przestrzeni wejściowej...
W dokumentach AlphaGo Zero i AlphaZero DeepMind opisują dodawanie szumu Dirichleta do wcześniejszych prawdopodobieństw działań z węzła głównego (stanu płyty) w wyszukiwaniu drzewa Monte Carlo: Dodatkową eksplorację osiąga się, dodając szum Dirichleta do wcześniejszych prawdopodobieństw w węźle...
Trenuję sztuczną sieć neuronową (propagacja wsteczna, sprzężenie zwrotne) z niestandardowymi danymi rozproszonymi. Oprócz błędu średniej kwadratowej błędu literatura często sugeruje współczynnik korelacji Pearsona do oceny jakości trenowanej sieci. Ale czy współczynnik korelacji Pearsona jest...
Mam bardzo rzadkie dane wejściowe, np. Lokalizacje niektórych funkcji na obrazie wejściowym. Co więcej, każda funkcja może mieć wiele detekcji (nie jestem pewien, czy będzie to miało wpływ na projekt systemu). Będę to przedstawiał jako obraz binarny kanału k z pikselami ON reprezentującymi obecność...
Moje pytanie dotyczy związku między hipotezą efektywnego kodowania, która została opisana na stronie Wikipedii dotyczącej wydajnego kodowania i algorytmów uczenia sieci neuronowej. Jaki jest związek między efektywną hipotezą kodowania a sieciami neuronowymi? Czy są jakieś modele sieci neuronowych...
Tło: Używam aproksymacji wartości Q sieci neuronowej w moim zadaniu uczenia się zbrojenia. Podejście jest dokładnie takie samo, jak opisane w tym pytaniu , jednak samo pytanie jest inne. W tym podejściu liczba wyników jest liczbą działań, które możemy podjąć. W prostych słowach algorytm jest...