Struktura sieci inspirowana uproszczonymi modelami neuronów biologicznych (komórek mózgowych). Sieci neuronowe są uczone do „uczenia się” za pomocą technik nadzorowanych i nienadzorowanych i mogą być wykorzystywane do rozwiązywania problemów optymalizacji, problemów z aproksymacją, klasyfikowania wzorców i ich kombinacji.
W pełni połączone (przynajmniej warstwa po warstwie z więcej niż 2 ukrytymi warstwami) sieci backprop są uniwersalnymi uczniami. Niestety, często są powolne w nauce i mają tendencję do nadmiernego dopasowania lub mają niezręczne uogólnienia. Po wygłupianiu się z tymi sieciami zauważyłem, że...
Jednym z hiperparametrów dla sieci LSTM jest temperatura. Co to
Jaka jest różnica między siecią neuronową, systemem głębokiego uczenia się i siecią głębokich przekonań? O ile pamiętam, twoja podstawowa sieć neuronowa jest czymś w rodzaju 3 warstw, a Deep Belief Systems opisałem jako sieci neuronowe ułożone jedna na drugiej. Do niedawna nie słyszałem o Deep...
Moim celem jest rozwiązanie następującego problemu, który opisałem na podstawie jego danych wejściowych i wyjściowych: Wejście: Kierunkowy wykres acykliczny z m węzłami, n źródłami i 1 ujściem ( m > n ≥ 1 ).GGGmmmnnn111m>n≥1m>n≥1m > n \geq 1 Wynik: VC wymiar (lub zbliżanie niego) dla...
Wprowadzenie Krok pierwszy Napisałem standardową sieć neuronową z propozycją wsteczną i aby ją przetestować, zdecydowałem się na mapowanie XOR. Jest to sieć 2-2-1 (z funkcją aktywacji tanh) X1 M1 O1 X2 M2 B1 B2 Do celów testowych ręcznie skonfigurowałem górny środkowy neuron (M1), aby był...
Niedawno dowiedziałem się o istnieniu tej hierarchicznej pamięci czasowej (HTM) . Przeczytałem już dokument Hierarchical Temporal Memory: Concepts, Theory and Terminology (autorstwa Jeffa Hawkinsa i Dileepa George'a), który wydaje się raczej łatwy do zrozumienia, ale jedną czerwoną flagą jest to,...
Kiedy mówimy, że sztuczna sieć neuronowa jest wielowarstwowym Perceptronem ? A kiedy mówimy, że sztuczna sieć neuronowa jest wielowarstwowa ? Czy termin perceptron jest powiązany z regułą uczenia się w celu aktualizacji wag? Czy jest to związane z jednostkami
Używam sieci neuronowych do przewidywania szeregów czasowych. Pytanie, przed którym teraz stoję, brzmi: jak zakodować datę / godzinę / numer seryjny. każdego zestawu wejściowego jako danych wejściowych do sieci neuronowej? Czy powinienem używać kodowania 1 C (używanego do kodowania kategorii), jak...
Widziałem kilka pytań na tej stronie na temat Deep Dream, jednak żadne z nich nie mówi konkretnie o tym, co robi DeepDream. O ile się zebrałem, wydaje się, że zmienili funkcję celu, a także zmienili propagację wsteczną, tak że zamiast aktualizacji wag aktualizują obraz wejściowy. Zastanawiam się,...
Udowodniono, że sieci neuronowe o racjonalnych wagach mają moc obliczeniową uniwersalnej maszyny Turinga. Obliczalność Turinga z sieciami neuronowymi . Z tego, co otrzymuję, wydaje się, że użycie ciężarów o wartościach rzeczywistych daje jeszcze więcej mocy obliczeniowej, chociaż nie jestem tego...
Po przeczytaniu osiągnięć Google Deepmind w grach Atari , próbuję zrozumieć q-learning i q-sieci, ale jestem trochę zdezorientowany. Zamieszanie powstaje w koncepcji współczynnika dyskontowego. Krótkie streszczenie tego, co rozumiem. Głęboka splotowa sieć neuronowa służy do oszacowania wartości...
Niedawno przeczytałem naprawdę ciekawy wpis na blogu Google Research Blog o sieci neuronowej. Zasadniczo wykorzystują te sieci neuronowe do rozwiązywania różnych problemów, takich jak rozpoznawanie obrazów. Używają algorytmów genetycznych do „ewolucji” ciężarów aksonów. Więc w zasadzie mój pomysł...
Czy są jakieś zalety posiadania więcej niż 2 ukrytych warstw w sieci neuronowej? Widziałem niektóre miejsca, które go polecają, inne dowodzą, że nie ma przewagi. Który jest
Czy algorytm sztucznej sieci neuronowej można wyrazić w kategoriach operacji zmniejszania mapy? Interesuję się również bardziej ogólnie metodami paralelizacji stosowanymi do ANN i ich zastosowaniem do przetwarzania w chmurze. Sądzę, że jedno podejście wymagałoby uruchomienia pełnego ANN na każdym...
Dlaczego początkowe wagi sieci neuronowych są inicjowane jako liczby losowe? Czytałem gdzieś, że ma to na celu „przełamanie symetrii”, a to przyspiesza naukę sieci neuronowej. W jaki sposób przełamanie symetrii sprawia, że uczy się szybciej? Czy zainicjowanie wag na 0 nie byłoby lepszym...
Uczyłem się o sieciach neuronowych i SVM. Samouczki, które przeczytałem, podkreślają, jak ważne jest jądro dla SVM. Bez funkcji jądra maszyny SVM są tylko liniowym klasyfikatorem. Dzięki kernelizacji SVM mogą również zawierać funkcje nieliniowe, co czyni je bardziej zaawansowanym...
W przypadku wielu projektów uczenia maszynowego, które wykonujemy, zaczynamy od k klasyfikatora Nearest Neighbor. Jest to idealny klasyfikator początkowy, ponieważ zwykle mamy wystarczająco dużo czasu na obliczenie wszystkich odległości, a liczba parametrów jest ograniczona (k, metryka odległości i...
Czy podczas aktualizacji wag sieci neuronowej za pomocą algorytmu propagacji wsteczne z terminem pędu należy zastosować szybkość uczenia się również do terminu pędu? Większość informacji, które mogłem znaleźć na temat używania pędu, ma równania wyglądające mniej więcej...