Zarówno funkcja logistyczna, jak i odchylenie standardowe są zwykle oznaczane . Będziemy używać i y dla standardowego odchylenia.σ ( x ) = 1 / ( 1 + exp ( - x ) ) s
Mam logistycznego neuron z wejściem losowej którego średnia i odchylenie standardowe wiem. Mam nadzieję, że różnica od średniej może być dobrze przybliżona przez szum Gaussa. Tak więc, z lekkim nadużyciem notacji, załóżmy, że produkuje . Jaka jest oczekiwana wartość ? Odchylenie standardowe może być duża lub mała w porównaniu z lub . Dobre przybliżenie postaci zamkniętej dla oczekiwanej wartości byłoby prawie tak dobre, jak rozwiązanie postaci zamkniętej.
Nie sądzę, aby istniało rozwiązanie w formie zamkniętej. Można to postrzegać jako splot, a charakterystyczna funkcja gęstości logistycznej jest znana ( ), ale nie jestem pewien, jak bardzo to pomaga. Odwrotny kalkulator symboliczny był w stanie rozpoznać gęstość w temperaturze do splotu gęstości rozkładu logistycznego oraz standardowego rozkładu normalnego, co sugeruje, ale nie dowodzi, że nie ma prostego elementarny całki. Bardziej poszlakowe dowody: w niektórych artykułach na temat dodawania szumu wejściowego Gaussa do sieci neuronowych z neuronami logistycznymi, dokumenty te również nie zawierały wyrażeń w formie zamkniętej.
Pytanie to pojawiło się przy próbie zrozumienia błędu w przybliżeniu średniego pola w maszynach Boltzmana.
źródło