Jest mocą obliczeniową sieci neuronowych związaną z funkcją aktywacyjną

10

Udowodniono, że sieci neuronowe o racjonalnych wagach mają moc obliczeniową uniwersalnej maszyny Turinga. Obliczalność Turinga z sieciami neuronowymi . Z tego, co otrzymuję, wydaje się, że użycie ciężarów o wartościach rzeczywistych daje jeszcze więcej mocy obliczeniowej, chociaż nie jestem tego pewien.

Czy istnieje jednak korelacja między mocą obliczeniową sieci neuronowej a jej funkcją aktywacyjną? Na przykład, jeśli funkcja aktywacji porównuje dane wejściowe z limitem sekwencji Speckera (czego nie można zrobić za pomocą zwykłej maszyny Turinga, prawda?), Czy to czyni sieć neuronową obliczeniową „silniejszą”? Czy ktoś mógłby wskazać mi odniesienie w tym kierunku?

computability neural-networks K.Steff
źródło
Co rozumiesz przez moc obliczeniową?
edA-qa mort-ora-y
@ edA-qamort-ora-y Wprowadziłem kilka zmian w celu wyjaśnienia pytania. Jeśli masz inne sugestie dotyczące edycji, chętnie je uwzględnię
K.Steff,

Odpowiedzi:

12

Tylko uwaga:

  • N.N.

  • N.N.

  • N.N.

ale ...

  • N.N.
Vor
źródło
5

Zamierzam wybrać łatwe rozwiązanie i powiedzieć „Tak”. Rozważ funkcję aktywacji, która akceptuje dowolne dane wejściowe i po prostu zwraca stałą wartość (to znaczy ignoruje dane wejściowe). Ta sieć zawsze daje stałą moc wyjściową, a zatem moc obliczeniowa (prawdopodobnie z dowolnej definicji) tej sieci wynosi zero. Nie jest w stanie niczego obliczyć.

To wystarczy, aby pokazać korelację między funkcją aktywacji a mocą sieci. Oczywiście nie pokazuje ani nie obala, że ​​sieć mogłaby mieć większą moc niż uniwersalna maszyna Turinga.

edA-qa mort-ora-y
źródło