W celu rozwiązania problemów związanych z wyborem modelu, szereg metod (LASSO, regresja kalenicy itp.) Zmniejszy współczynniki zmiennych predykcyjnych w kierunku zera. Szukam intuicyjnego wyjaśnienia, dlaczego poprawia to zdolność przewidywania. Jeśli prawdziwy efekt zmiennej był w rzeczywistości...
Dużo czytałem o PCA, w tym różne tutoriale i pytania (takie jak ten , ten , ten i ten ). Geometryczny problem, który PCA próbuje zoptymalizować, jest dla mnie jasny: PCA próbuje znaleźć pierwszy główny składnik, minimalizując błąd rekonstrukcji (projekcji), który jednocześnie maksymalizuje...
Czytałem o rozkładzie wartości pojedynczej (SVD). W prawie wszystkich podręcznikach wspomniano, że rozkłada macierz na trzy macierze o podanej specyfikacji. Ale jaka jest intuicja dzielenia macierzy w takiej formie? PCA i inne algorytmy redukcji wymiarów są intuicyjne w tym sensie, że algorytm ma...
Jak poszedłbyś wyjaśnić iid (niezależne i identycznie rozpowszechniane) osobom
Zaczerpnięte z praktycznych statystyk badań medycznych, gdzie Douglas Altman pisze na stronie 285: ... dla dowolnych dwóch wielkości X i Y, X będzie skorelowane z XY. Rzeczywiście, nawet jeśli X i Y są próbkami liczb losowych, spodziewalibyśmy się, że korelacja X i XY wyniesie 0,7 Próbowałem...
Dowiedziałem się o intuicji stojącej za dywergencją KL, jak bardzo funkcja rozkładu modelu różni się od teoretycznego / prawdziwego rozkładu danych. Źródłem Czytam mówi dalej, że intuicyjne rozumienie „odległość” między tymi dwoma dystrybucjami jest pomocny, ale nie powinny być brane dosłownie, bo...
Jestem całkowicie ślepy i pochodzę z programowania. Próbuję nauczyć się uczenia maszynowego i aby to zrobić, najpierw muszę się dowiedzieć o regresji liniowej. Wszystkie wyjaśnienia w Internecie, które znajduję na ten temat, najpierw rysują dane. Szukam praktycznego wyjaśnienia regresji liniowej,...
Przykład Steina pokazuje, że oszacowanie maksymalnego prawdopodobieństwa nnn zmiennych o rozkładzie normalnym ze średnimi μ1,…,μnμ1,…,μn\mu_1,\ldots,\mu_n i wariancjami 111 jest niedopuszczalne (pod funkcją straty kwadratowej) iff n≥3n≥3n\ge 3 . Aby uzyskać dobry dowód, zobacz pierwszy rozdział...
Widzę pojęcie „wymienności” stosowane w różnych kontekstach (np. Modele bayesowskie), ale nigdy nie rozumiałem tego terminu bardzo dobrze. Co oznacza ta koncepcja? W jakich okolicznościach przywołuje się tę koncepcję i
Z Wikipedii: Załóżmy, że bierzesz udział w teleturnieju i masz do wyboru trzy drzwi: za jednymi drzwiami jest samochód; za innymi kozy. Ty wybierasz drzwi, powiedz nr 1, a gospodarz, który wie, co jest za drzwiami, otwiera kolejne drzwi, powiedz nr 3, który ma kozę. Następnie mówi do ciebie:...
Załóżmy, że jest zmienną losową z pdf . Zatem zmienna losowa ma pdfXXXfX(x)fX(x)f_X(x)Y=X2Y=X2Y=X^2 fY(y)={12y√(fX(y√)+fX(−y√))0y≥0y<0fY(y)={12y(fX(y)+fX(−y))y≥00y<0f_Y(y)=\begin{cases}\frac{1}{2\sqrt{y}}\left(f_X(\sqrt{y})+f_X(-\sqrt{y})\right) & y \ge 0 \\ 0 & y \lt 0\end{cases} Rozumiem...
Bardzo prosta wersja centralnego ograniczonego twierdzenia, jak poniżej n−−√((1n∑i=1nXi)−μ) →d N(0,σ2)n((1n∑i=1nXi)−μ) →d N(0,σ2) \sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2) czyli Lindeberg – Lévy CLT. Nie rozumiem, dlaczegopo...
Niedawno dowiedziałem się o zasadzie rozumowania probabilistycznego zwanej „ wyjaśnianiem ” i staram się pojąć w tym intuicję. Pozwól, że przygotuję scenariusz. Niech AAA będzie wydarzeniem, w którym ma miejsce trzęsienie ziemi. Niech wydarzenie BBB będzie wydarzeniem, gdy wesoły zielony gigant...
Ta wiadomość w artykule Reutera z 25.02.2019 jest obecnie w wiadomościach: Dowody na istnienie wywołanego przez człowieka globalnego ocieplenia uderzają w „złoty standard” [Naukowcy] stwierdzili, że pewność, że działalność człowieka podnosi ciepło na powierzchni Ziemi, osiągnęła poziom...
Jaka jest różnica między wariancją skończoną a nieskończoną? Moja wiedza na temat statystyk jest raczej podstawowa; Wikipedia / Google niewiele tu
Wzór na warunkowe prawdopodobieństwo wystąpienia biorąc pod uwagę, że zdarzyło się , jest następujący: P \ left (\ text {A} ~ \ middle | ~ \ text {B} \ right) = \ frac { P \ left (\ text {A} \ cap \ text {B} \ right)} {P \ left (\ text {B} \
Uogólnione modele addytywne to takie, w których na przykład . funkcje są płynne i należy je oszacować. Zwykle przez karane splajny. MGCV jest pakietem w R, który to robi, a autor (Simon Wood) pisze książkę o swoim pakiecie z przykładami R. Ruppert i in. (2003) napisać znacznie bardziej dostępną...
Załóżmy, że mamy losową zmienną . Jeśli jest parametrem prawdziwym, funkcja prawdopodobieństwa powinna być zmaksymalizowana, a pochodna równa zero. Jest to podstawowa zasada leżąca u podstaw estymatora maksymalnego prawdopodobieństwa.X∼ f( x | θ )X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Jak...
Próbuję zrozumieć artykuł na temat prognozowania obciążenia elektrycznego, ale walczę z zawartymi w nim koncepcjami, zwłaszcza modelem SARIMAX . Ten model służy do przewidywania obciążenia i wykorzystuje wiele pojęć statystycznych, których nie rozumiem (jestem studentem informatyki na studiach...
Cytując świetną odpowiedź Gunga Podobno badacz zwrócił się kiedyś do Fishera z „nieistotnymi” wynikami, pytając go, co powinien zrobić, a Fisher powiedział „idź zdobyć więcej danych”. Z punktu widzenia Neymana-Pearsona jest to rażące hakowanie ppp , ale czy istnieje przypadek użycia, w którym...