Niech będzie w . Jaka jest średnia i macierz kowariancji (z maksimum obliczonym elementarnie)?
Dzieje się tak np. Dlatego, że jeśli użyjemy funkcji aktywacji ReLU w głębokiej sieci i założymy przez CLT, że wejścia do danej warstwy są w przybliżeniu normalne, to jest to rozkład wyjść.
(Jestem pewien, że wiele osób już to obliczało, ale nie mogłem znaleźć nigdzie wymienionego wyniku w sposób czytelny).
Odpowiedzi:
Możemy to najpierw zmniejszyć, aby zależeć tylko od pewnych momentów jednostronnego / dwuwymiarowego skróconego rozkładu normalnego: pamiętaj oczywiście, że
Wykorzystamy niektóre wyniki z
Rosenbaum uważa, że i rozważa obcięcie zdarzenia .
W szczególności użyjemy trzech następujących wyników, jego (1), (3) i (5). Najpierw zdefiniuj następujące elementy:
Teraz Rosenbaum pokazuje, że:
Przydatne będzie również rozważenie specjalnego przypadku (1) i (3) z , tj. Obcinaniem 1d:ay=−∞
Teraz chcemy rozważyć
Użyjemy które są wartościami i gdy , .
Teraz, używając (*), otrzymujemy i użycie zarówno (*), jak i (**) daje dzięki czemu
Aby znaleźć , będziemy potrzebowaćCov(X+,Y+)
Oto kod Pythona do obliczenia chwil:
oraz test Monte Carlo, że działa:
co daje10,000,000
0.000572145310512 0.00298692620286
, wskazując, że deklarowane oczekiwania i kowariancja odpowiadają szacunkom Monte Carlo (na podstawie próbek).źródło