Odporność ogólnie odnosi się do niewrażliwości statystyki na odchylenia od jej podstawowych założeń (Huber i Ronchetti, 2009).
Przy rozwiązywaniu problemów biznesowych z wykorzystaniem danych często zdarza się, że co najmniej jedno kluczowe założenie, że klasyczne statystyki poniżej szpilek są nieprawidłowe. Przez większość czasu nikt nie zadaje sobie trudu, aby sprawdzić te założenia, więc tak naprawdę nigdy nie...
Przypuszczam, że denerwuję się za każdym razem, gdy słyszę, jak ktoś mówi, że nienormalność reszt i / lub heteroskedastyczność narusza założenia OLS. Do oszacowania parametrów w modelu OLS żadne z tych założeń nie jest konieczne w twierdzeniu Gaussa-Markowa. Widzę, jak to ma znaczenie w testowaniu...
Mam do czynienia z danymi liniowymi z wartościami odstającymi, z których niektóre są o 5 standardowych odchyleń od szacowanej linii regresji. Szukam techniki regresji liniowej, która zmniejsza wpływ tych punktów. Jak dotąd oszacowałem linię regresji ze wszystkimi danymi, a następnie odrzuciłem...
Próbowałem zreplikować wyniki opcji Stata robustw R. Użyłem rlmpolecenia z pakietu MASS, a także polecenia lmrobz pakietu „robustbase”. W obu przypadkach wyniki są zupełnie inne niż „solidna” opcja w Stacie. Czy ktoś może zasugerować coś w tym kontekście? Oto wyniki, które uzyskałem, gdy...
Istnieje wiele niezawodnych estymatorów skali . Godnym uwagi przykładem jest mediana bezwzględnego odchylenia, które odnosi się do odchylenia standardowego jako σ=MAD⋅1.4826σ=MAD⋅1.4826\sigma = \mathrm{MAD}\cdot1.4826 . W ramach bayesowskich istnieje wiele sposobów dokładnego oszacowania...
To pytanie zadał mój przyjaciel, który nie jest obeznany z Internetem. Nie mam statystyk i szukałem w Internecie tego pytania. Pytanie brzmi: czy możliwe jest zastąpienie wartości odstających wartością średnią? jeśli to możliwe, czy są jakieś odniesienia do książek / czasopisma, na których można...
Moje pytanie wypływa z tego komentarza na blogu Andrew Gelmana, w którym opowiada się za stosowaniem 50% przedziałów ufności zamiast 95% przedziałów ufności, chociaż nie dlatego, że są one dokładniej oszacowane: Wolę przerwy od 50% do 95% z 3 powodów: Stabilność obliczeniowa, Bardziej...
W tym poście na blogu Andrew Gelmana znajduje się następujący fragment: Modele bayesowskie sprzed 50 lat wydają się beznadziejnie proste (z wyjątkiem, oczywiście, prostych problemów) i spodziewam się, że modele bayesowskie będą wydawać się beznadziejnie proste, za 50 lat. (Dla prostego...
Korzystam z pakietu robustbase , aby przeprowadzić oszacowanie glm. Jednak gdy to robię, pojawia się następujący błąd: Error in solve.default(crossprod(X, DiagB * X)/nobs, EEq) : system is computationally singular: reciprocal condition number = 1.66807e-16 Co to oznacza / wskazuje? Jak mogę to...
Pochodząc z pola widzenia komputerowego, często stosowałem metodę RANSAC (Random Sample Consensus) do dopasowywania modeli do danych z wieloma wartościami odstającymi. Jednak nigdy nie widziałem, aby używali go statystycy i zawsze miałem wrażenie, że nie była uważana za metodę „statystycznie...
Czytałem, że test t jest „dość solidny”, gdy rozkłady próbek odbiegają od normalności. Oczywiście ważny jest rozkład próbkowania różnic. Mam dane dla dwóch grup. Jedna z grup jest mocno wypaczona względem zmiennej zależnej. Wielkość próby jest dość mała dla obu grup (n = 33 w jednej i 45 w...
Po przeprowadzeniu analizy głównego składnika (PCA) chcę rzutować nowy wektor na przestrzeń PCA (tzn. Znaleźć jego współrzędne w układzie współrzędnych PCA). Mam obliczony PCA w języku R użyciu prcomp. Teraz powinienem być w stanie pomnożyć mój wektor przez macierz obrotu PCA. Czy główne elementy...
Oszacowałem solidny model liniowy Rz wagami MM, korzystając z rlm()pakietu MASS. „R” nie podaje wartości dla modelu, ale chciałbym ją mieć, jeśli jest to znacząca ilość. Interesuje mnie również to, czy jest jakieś znaczenie posiadanie wartości która waży całkowitą i resztkową wariancję w taki sam...
Planuję przeprowadzić badanie symulacyjne, w którym porównuję wydajność kilku solidnych technik korelacji z różnymi rozkładami (wypaczonymi, z wartościami odstającymi itp.). Przez solidne rozumiem idealny przypadek bycia odpornym na a) wypaczone rozkłady, b) wartości odstające i c) ciężkie...
Czy ktoś może mi wyjaśnić logikę matematyczną, która łączyłaby dwa zdania (a) i (b) razem? Pozwól nam mieć zestaw wartości (pewna dystrybucja). Teraz, a) Mediana nie zależy od każdej wartości [zależy tylko od jednej lub dwóch wartości średnich]; b) Mediana jest miejscem występowania minimalnych...
Solidna metoda PCA (opracowana przez Candes i in. 2009 lub jeszcze lepiej Netrepalli i in. 2014 ) jest popularną metodą wykrywania zmiennych odstających na wielu odmianach , ale odległość Mahalanobisa można również zastosować do detekcji wartości odstających, biorąc pod uwagę solidną, regularną...
Mam dwie grupy badanych, A i B, każda o wielkości około 400 i około 300 predyktorów. Moim celem jest zbudowanie modelu predykcyjnego dla zmiennej odpowiedzi binarnej. Mój klient chce zobaczyć wynik zastosowania modelu zbudowanego z A na B. (W swojej książce „Strategie modelowania regresji”...
Jak dopasować parametry rozkładu t, tj. Parametry odpowiadające „średniej” i „odchyleniu standardowemu” rozkładu normalnego. Zakładam, że są one nazywane „średnimi” i „skalowaniem / stopniami swobody” dla rozkładu t? Poniższy kod często powoduje błędy „nieudana...
Próbuję przetestować zerową wartość , względem lokalnej alternatywy E [ X ] > 0 , dla zmiennej losowej X , z zastrzeżeniem łagodnego do średniego pochylenia i kurtozy zmiennej losowej. Zgodnie z sugestiami Wilcoxa w „Wstęp do solidnego szacowania i testowania hipotez” spojrzałem na testy oparte...
Używałem iteracyjnie ponownie ważonych najmniejszych kwadratów (IRLS), aby zminimalizować funkcje następującej formy, J(m)=∑Ni=1ρ(|xi−m|)J(m)=∑i=1Nρ(|xi−m|)J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right) gdzie jest liczbą wystąpień , jest dokładnym oszacowaniem, którego chcę, a...