Czy istnieją sieci neuronowe z bardzo małą liczbą węzłów, które przyzwoicie rozwiązują niebanalne problemy?

11

Chciałbym wiedzieć, czy istnieje jakaś sieć neuronowa, która rozwiązuje (z> = 80% dokładnością) każdy nietrywialny problem, który wykorzystuje bardzo niewiele węzłów (gdzie 20 węzłów nie jest twardym limitem). Chcę rozwinąć intuicję dotyczącą rozmiarów sieci neuronowych.

neural-networks Guillermo Mosse
źródło
Uniwersalne twierdzenie o aproksymacji: sieć neuronowa z jedną ukrytą warstwą może aproksymować dowolną „rozsądną” funkcję, biorąc pod uwagę wystarczającą liczbę węzłów w ukrytej warstwie.
nbro
2
Myślę, że nie będzie łatwo odpowiedzieć na twoje pytanie. Co rozumiesz przez „nietrywialny problem”?
nbro
Chcę kilka węzłów nawet w ukrytych warstwach.
Guillermo Mosse
@ nbro moje poczucie „nietrywialności” w tym kontekście jest trudne do rozwiązania lub nierozwiązane.
DukeZhou

Odpowiedzi:

13

Nawet jeśli nie można poprawnie odpowiedzieć na to pytanie, ponieważ nie jest to trywialne określenie (może autor będzie później edytować te pytania, aby lepiej je określić), korzystam z okazji, aby wskazać ten artykuł, który wydaje mi się interesujący

Najmniejsza sieć neuronowa do nauki krytyczności Ising

Zakładając, że masz ogólne wyobrażenie o modelu Isinga , myślę, że problem z identyfikacją temperatury krytycznej z perspektywy opartej na danych można uznać za nieistotny, a artykuł pokazuje, w jaki sposób autorzy poprawili wydajność związaną z rozwiązaniem tego zadania z przejściem NN z 100 ukrytych neuronów, jak opisano w tym artykule Fazy ​​uczenia maszynowego materii od 2017 roku, do zaledwie 2 ukrytych neuronów

Tylko moje centy:

  • redukcja neuronów, przy jednoczesnym zachowaniu dobrej wydajności, powinna pomóc w interpretacji przetwarzania neuronowego, które jest powszechnie niejasne, a jego złożoność rośnie (wykładniczo) wraz z liczbą neuronów
Nicola Bernini
źródło
3
Chciałem tylko przykładów, które sama społeczność uznała za interesujące. Wydaje mi się, że zdefiniowanie nietrywialności nie jest wcale banalne. Dobrze?
Guillermo Mosse
1
@ GuillermoMosse Nie, zdefiniowanie tego, co nie jest łatwe, jest dość proste. Definicja jest mniej więcej dowolna w zależności od tego, co najlepiej pasuje do sytuacji. Jestem pewien, że bardzo prosty NN mógłby nauczyć się mówić, czy dana liczba jest nietrywialnym pierwiastkiem kwadratowym ...
las