Niedawno pracowałem nad uczeniem się algorytmów wzmacniających, takich jak adaboost, zwiększanie gradientu i wiedziałem, że najczęściej używanym słabym uczniem są drzewa. Naprawdę chcę wiedzieć, czy istnieją pewne udane przykłady (mam na myśli kilka artykułów lub artykułów) wykorzystania sieci...
W przypadku modelu liniowego termin skurczu wynosi zawsze .P ( β )y=β0+xβ+εy=β0+xβ+εy=\beta_0+x\beta+\varepsilonP(β)P(β)P(\beta) Jaki jest powód, dla którego nie zmniejszamy terminu odchylenia (przechwytywania) ? Czy powinniśmy zmniejszyć termin obciążenia w modelach sieci...
Chciałbym wiedzieć, czy istnieje kod do trenowania splotowej sieci neuronowej do przeprowadzania klasyfikacji szeregów czasowych. Widziałem kilka ostatnich artykułów ( http://www.fer.unizg.hr/_download/repository/KDI-Djalto.pdf ), ale nie jestem pewien, czy coś istnieje lub czy sam to...
Zasadniczo moje pytanie brzmi: w perceptronach wielowarstwowych perceptrony są używane z funkcją aktywacji sigmoidalnej. Tak więc w regule aktualizacji jest obliczany jakoy^y^\hat{y} y^=11+exp(−wTxi)y^=11+exp(−wTxi)\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)} Czym zatem ten...
Często wspomina się, że rektyfikowane jednostki liniowe (ReLU) zastąpiły jednostki softplus, ponieważ są liniowe i szybsze w obliczeniach. Czy softplus nadal ma tę zaletę, że indukuje rzadkość, czy też jest ograniczony do ReLU? Pytam o to, dlatego zastanawiam się nad negatywnymi konsekwencjami...
To pytanie ma już odpowiedzi tutaj : Jak zmiana funkcji kosztów może być dodatnia? (1 odpowiedź) Co powinienem zrobić, gdy moja sieć neuronowa się nie uczy? (5 odpowiedzi) Zamknięte w zeszłym miesiącu . Trenuję model (Recurrent Neural Network) do...
Czytałem artykuł z normalizacji wsadowej (BN) (1) i nie rozumiałem potrzeby używania średnich ruchomych do śledzenia dokładności modelu, a nawet jeśli zaakceptowałem, że było to właściwe, nie rozumiem co dokładnie robią. W moim rozumieniu (co się mylę) w dokumencie wspomniano, że wykorzystuje on...
Używałem theano do eksperymentowania z LSTM i zastanawiałem się, jakie metody optymalizacji (SGD, Adagrad, Adadelta, RMSprop, Adam itp.) Działają najlepiej dla LSTM? Czy są jakieś prace badawcze na ten temat? Czy odpowiedź zależy również od rodzaju aplikacji, dla której używam LSTM? Jeśli tak,...
Dlaczego propagacja wsteczna nie działa, gdy inicjujesz całą wagę o tej samej wartości (powiedzmy 0,5), ale działa dobrze, gdy otrzymujesz liczby losowe? Czy algorytm nie powinien obliczyć błędu i działać stamtąd, mimo że początkowo wagi są takie
Dlaczego podczas treningu głębokich i płytkich sieci neuronowych powszechnie stosuje się metody gradientowe (np. Opadanie gradientu, Niestierow, Newton-Raphson), w przeciwieństwie do innych metaheurystyk? Przez metaheurystykę rozumiem metody takie jak symulowane wyżarzanie, optymalizacja kolonii...
Mam model głębokiej sieci neuronowej i muszę go wyszkolić na moim zestawie danych, który składa się z około 100 000 przykładów, moje dane weryfikacyjne zawierają około 1000 przykładów. Ponieważ trenowanie każdego przykładu zajmuje trochę czasu (około 0,5 s dla każdego przykładu) i aby uniknąć...
Mam do czynienia z bayesowskim hierarchicznym modelem liniowym , tutaj sieć go opisująca. YYY oznacza dzienną sprzedaż produktu w supermarkecie (zaobserwowano). XXX jest znaną matrycą regresorów, w tym cen, promocji, dnia tygodnia, pogody i świąt. S.S.S to nieznany ukryty poziom zapasów...
Pracuję nad klasyfikacją etapu snu. Czytałem niektóre artykuły badawcze na ten temat, wiele z nich używało SVM lub metody ensemble. Czy dobrym pomysłem jest użycie splotowej sieci neuronowej do klasyfikacji jednowymiarowego sygnału EEG? Jestem nowy w tego rodzaju pracy. Wybacz mi, jeśli poproszę o...
Mam sieć neuronową skonfigurowaną do przewidywania czegoś, gdzie zmienna wyjściowa jest porządkowa. Opiszę poniżej, używając trzech możliwych wyjść A <B <C. Jest całkiem oczywiste, jak używać sieci neuronowej do generowania danych kategorycznych: dane wyjściowe to tylko softmax ostatniej...
Próbuję zrozumieć różne architektury RNN (Recurrent Neural Network), które mają być zastosowane do danych szeregów czasowych, i zaczynam się mylić z różnymi nazwami, które są często używane przy opisywaniu RNN. Czy struktura Długiej pamięci krótkoterminowej (LSTM) i Gated Recurrent Unit (GRU) jest...
W implementacji ResNet przez Tensorflow widzę , że używają inicjalizatora skalowania wariancji, a także, że inicjator Xavier jest popularny. Nie mam za dużo doświadczenia, co jest lepsze w
Zastosowanie funkcji softmax na wektorze spowoduje „prawdopodobieństwa” i wartości od do . 000111 Ale możemy również podzielić każdą wartość przez sumę wektora, co da prawdopodobieństwa i wartości od do .000111 Przeczytałem tutaj odpowiedź , ale mówi ona, że powodem jest to, że jest...
Jeśli chodzi o żargon sieci neuronowej (y = waga * x + odchylenie), skąd mam wiedzieć, które zmienne są ważniejsze od innych? Mam sieć neuronową z 10 wejściami, 1 ukrytą warstwą z 20 węzłami i 1 warstwą wyjściową, która ma 1 węzeł. Nie jestem pewien, jak się dowiedzieć, które zmienne wejściowe...
Uczę sieci neuronowej (szczegóły nieważne), gdzie dane docelowe to wektor kątów (od 0 do 2 * pi). Szukam porady, jak zakodować te dane. Oto, co obecnie próbuję (z ograniczonym sukcesem): 1) Kodowanie 1-of-C: I bin ustawiam możliwe kąty na około 1000 dyskretnych kątów, a następnie wskazuję...
Mam lekką dezorientację na wstecznej propagacji błędów algorytmu stosowanego w perceptronu wielowarstwowego (MLP). Błąd jest regulowana przez funkcję kosztów. W wstecznej propagacji błędów, staramy się dostosować ciężar warstw ukrytych. Błąd wyjściowy, który rozumiem, to znaczy e = d - y[Bez...