Oczekiwana wartość losowej zmiennej Gaussa przekształconej funkcją logistyczną

10

Zarówno funkcja logistyczna, jak i odchylenie standardowe są zwykle oznaczane . Będziemy używać i y dla standardowego odchylenia.σ ( x ) = 1 / ( 1 + exp ( - x ) ) sσσ(x)=1/(1+exp(x))s

Mam logistycznego neuron z wejściem losowej którego średnia μ i odchylenie standardowe s wiem. Mam nadzieję, że różnica od średniej może być dobrze przybliżona przez szum Gaussa. Tak więc, z lekkim nadużyciem notacji, załóżmy, że produkuje σ(μ+N(0,s2))=σ(N(μ,s2)) . Jaka jest oczekiwana wartość σ(N(μ,s2)) ? Odchylenie standardowe s może być duża lub mała w porównaniu z μ lub 1 . Dobre przybliżenie postaci zamkniętej dla oczekiwanej wartości byłoby prawie tak dobre, jak rozwiązanie postaci zamkniętej.

Nie sądzę, aby istniało rozwiązanie w formie zamkniętej. Można to postrzegać jako splot, a charakterystyczna funkcja gęstości logistycznej jest znana ( πt csch πt ), ale nie jestem pewien, jak bardzo to pomaga. Odwrotny kalkulator symboliczny był w stanie rozpoznać gęstość w temperaturze 0 do splotu gęstości rozkładu logistycznego oraz standardowego rozkładu normalnego, co sugeruje, ale nie dowodzi, że nie ma prostego elementarny całki. Bardziej poszlakowe dowody: w niektórych artykułach na temat dodawania szumu wejściowego Gaussa do sieci neuronowych z neuronami logistycznymi, dokumenty te również nie zawierały wyrażeń w formie zamkniętej.

Pytanie to pojawiło się przy próbie zrozumienia błędu w przybliżeniu średniego pola w maszynach Boltzmana.

Douglas Zare
źródło

Odpowiedzi:

5

Oto co ostatecznie wykorzystałem:

Napisz gdzie . Możemy użyć rozszerzenia serii Taylor.X N ( 0 , s 2 )σ(N(μ,s2))=σ(μ+X)XN(0,s2)

σ(μ+X)=σ(μ)+Xσ(μ)+X22σ(μ)+...+Xnn!σ(n)(μ)+...

E[σ(μ+X)]=E[σ(μ)]+E[Xσ(μ)]+E[X22σ(μ)]+...=σ(μ)+0+s22σ(μ)+0+3s424σ(4)(μ)+...+s2k2kk!σ(2k)(μ)...

Występują problemy z konwergencją. Funkcja logistyczna ma biegun, w którym , więc przy , nieparzyste. Rozbieżność nie jest tym samym, co prefiks jest bezużyteczny, ale to przybliżenie serii może być zawodne, gdy jest znaczące.exp(x)=1x=kπikP(|X|>μ2+π2)

Ponieważ , możemy zapisywać pochodne jako wielomiany w . Na przykład i . Współczynniki są powiązane z OEIS A028246 .σ(x)=σ(x)(1σ(x))σ(x)σ(x)σ=σ3σ2+2σ3σ=σ7σ2+12σ36σ4

Douglas Zare
źródło
4

Masz tutaj losową zmienną, która podąża za logit-normalną (lub logistyczno-normalną) dystrybucją (patrz wikipedia ), czyli . Momenty rozkładu logit-normal nie mają rozwiązań analitycznych.logit[x]N(μ,s2)

Ale oczywiście można je uzyskać za pomocą integracji numerycznej. Jeśli używasz R, pakiet logitnorm zawiera wszystko, czego potrzebujesz. Przykład:

install.packages("logitnorm")
library(logitnorm)
momentsLogitnorm(mu=1, sigma=2)

Daje to:

> momentsLogitnorm(mu=1, sigma=2)
      mean        var 
0.64772644 0.08767866

Tak więc istnieje nawet funkcja wygody, która bezpośrednio da ci średnią i wariancję.

Wolfgang
źródło