Dla prostego przykładu załóżmy, że istnieją dwa modele regresji liniowej
- 1 Model posiada trzy czynniki prognostyczne,
x1a
,x2b
, ix2c
- Model 2 ma trzy predyktory z modelu 1 i dwa dodatkowe predyktory
x2a
orazx2b
Istnieje równanie regresji populacji, w którym wyjaśniona wariancja populacji wynosi dla Modelu 1 i dla Modelu 2. Inkrementalna wariancja wyjaśniona przez Model 2 w populacji wynosi
Jestem zainteresowany uzyskaniem standardowych błędów i przedziałów ufności dla estymatora . Chociaż przykład dotyczy odpowiednio predyktorów 3 i 2, moje zainteresowania badawcze dotyczą szerokiego zakresu różnych liczb predyktorów (np. 5 i 30). Moją pierwszą myślą było używać jako prognozy i bootstrap, ale nie byłem pewien, czy byłoby to właściwe.
pytania
- Czy rozsądny estymatorem hemibursztynianu p 2 ?
- Jak można uzyskać przedział ufności dla zmiany r-kwadrat populacji (tj. )?
- Czy ładowanie byłoby odpowiednie do obliczania przedziału ufności?
Wszelkie odniesienia do symulacji lub opublikowanej literatury będą również mile widziane.
Przykładowy kod
Jeśli to pomoże, stworzyłem mały zestaw danych symulacyjnych w R, który można wykorzystać do zademonstrowania odpowiedzi:
n <- 100
x <- data.frame(matrix(rnorm(n *5), ncol=5))
names(x) <- c('x1a', 'x1b', 'x1c', 'x2a', 'x2b')
beta <- c(1,2,3,1,2)
model2_rho_square <- .7
error_rho_square <- 1 - model2_rho_square
error_sd <- sqrt(error_rho_square / model2_rho_square* sum(beta^2))
model1_rho_square <- sum(beta[1:3]^2) / (sum(beta^2) + error_sd^2)
delta_rho_square <- model2_rho_square - model1_rho_square
x$y <- rnorm(n, beta[1] * x$x1a + beta[2] * x$x1b + beta[3] * x$x1c +
beta[4] * x$x2a + beta[5] * x$x2b, error_sd)
c(delta_rho_square, model1_rho_square, model2_rho_square)
summary(lm(y~., data=x))$adj.r.square -
summary(lm(y~x1a + x1b + x1c, data=x))$adj.r.square
Powód do niepokoju z bootstrap
Uruchomiłem bootstrap na niektórych danych z około 300 przypadkami i 5 predyktorami w prostym modelu i 30 predyktorami w pełnym modelu. Podczas gdy oszacowanie próbki przy użyciu skorygowanej różnicy r-kwadrat było 0.116
, przedział ufności podskokiem był przeważnie większy CI95% (0,095 do 0,214), a średnia wartości bootstrapów nie była w pobliżu oszacowania próbki. Wydawało się, że średnia z próbek z zatłoczoną próbką jest wyśrodkowana na oszacowanej próbce różnicy między r-kwadratami w próbce. Dzieje się tak pomimo tego, że do oszacowania różnicy użyłem skorygowanych próbek r-kwadratów.
Co ciekawe, wypróbowałem alternatywny sposób obliczania as
- obliczyć próbkę zmiany r-kwadrat
- skoryguj zmianę próbki r-kwadrat za pomocą standardowej skorygowanej formuły r-kwadrat
W zastosowaniu do przykładowych danych ta zmniejszona oszacowanie do lecz wydawało się odpowiednie przedziały ufności dla tej metody I wspomnianym pierwszym, 95% przedział ufności (0,062, 0,179) ze średnią .118..082
Ogólnie rzecz biorąc, obawiam się, że ładowanie początkowe zakłada, że próbka jest populacją, a zatem szacunki, że redukcja w przypadku nadmiernego dopasowania może nie działać odpowiednio.
źródło
Odpowiedzi:
PopulacjaR2
Ja najpierw próbuje zrozumieć definicję ludności R-kwadrat .
Cytując swój komentarz:
Myślę, że masz na myśli to jest granica próbkiR2 , gdy jeden replikuje modelowi nieskończenie wiele razy (z tymi samymi czynnikami prognostycznymi przy każdej replikacji).
Jaki jest zatem wzór na wartość asymptotyczną próbki ? Napisz swój model liniowy Y = μ + σ G jak w https://stats.stackexchange.com/a/58133/8402 i używaj tych samych notacji co ten link. Następnie można sprawdzić, czy próbka R 2 przechodzi do P O P R 2 : = λR2 Y=μ+σG
R2 gdy powiela się modelY=μ+σGnieskończenie wiele razy.popR2:=λn+λ Y=μ+σG
Jako przykład:
Populacja submodeluR2
Załóżmy teraz, że modelem jest z H 1 : μ ∈ W 1 i rozważmy podmodel H 0 : μ ∈ W 0 .Y=μ+σG H1:μ∈W1 H0:μ∈W0
Następnie stwierdzono powyżej, że populacja modelowego H 1 jest p o p R 2 1 : = λ 1R2 H1 gdzieλ1=‖ P Z 1 μ‖2popR21:=λ1n+λ1 iZ1=[1]⊥∩W1,a następnie po prostu mamy‖PZ1μ‖2=∑(μi-ˉμ)2.λ1=∥PZ1μ∥2σ2 Z1=[1]⊥∩W1 ∥PZ1μ∥2=∑(μi−μ¯)2
źródło
Zamiast odpowiedzieć na pytanie, które zadałeś, zapytam, dlaczego zadajesz to pytanie. Zakładam, że chcesz wiedzieć, czy
jest co najmniej tak dobry jak
w wyjaśnianiu
y
. Ponieważ te modele są zagnieżdżone, wydaje się, że oczywistym sposobem na odpowiedź na to pytanie jest przeprowadzenie analizy wariancji porównującej je, w taki sam sposób, jak można przeprowadzić analizę dewiacji dla dwóch GLM, takich jakNastępnie możesz użyć przykładowej poprawy R-kwadrat między modelami jako najlepszego odgadnięcia, jaka byłaby poprawa dopasowania w populacji, zawsze zakładając, że możesz zrozumieć sens populacji R-kwadrat. Osobiście nie jestem pewien, czy mogę, ale z tym nie ma to żadnego znaczenia.
Mówiąc bardziej ogólnie, jeśli interesuje Cię ilość ludności, prawdopodobnie jesteś zainteresowany uogólnieniem, więc miara dopasowania próbki nie jest dokładnie tym, czego chcesz, ale „poprawiona”. Na przykład wydaje się, że sprawdzanie krzyżowe pewnej ilości, która szacuje rodzaj i liczbę faktycznych błędów, których można się spodziewać po próbce, takich jak MSE, osiąga pożądane wyniki.
Ale jest całkiem możliwe, że czegoś mi brakuje ...
źródło
Podwójnie regulowany pasek w kształcie r-kwadrat
Moim najlepszym przypuszczeniem przy odpowiedzi jest zrobienie podwójnie dostosowanego bootstrapu z kwadratem r. Wdrożyłem technikę. Obejmuje to:
Uzasadnieniem jest to, że pierwszy skorygowany r-kwadrat usuwa uprzedzenie wprowadzone przez bootrapping (tj. Ładowanie początkowe zakłada, że próbka r-kwadrat jest r-kwadratem populacji). Drugi skorygowany r-kwadrat wykonuje standardową korektę, która jest stosowana do normalnej próbki w celu oszacowania populacji r-kwadrat.
W tym momencie wszystko, co widzę, to to, że zastosowanie tego algorytmu generuje szacunki, które wydają się odpowiednie (tj. Średnia theta_hat w bootstrapie jest bardzo zbliżona do próbki theta_hat). Standardowy błąd jest zgodny z moją intuicją. Nie przetestowałem jeszcze, czy zapewnia on odpowiednią częstotliwość odwiedzin, gdy znany jest proces generowania danych, i nie jestem do końca pewien, w jaki sposób argument można uzasadnić na podstawie pierwszych zasad
Jeśli ktoś widzi powody, dla których takie podejście byłoby problematyczne, byłbym wdzięczny za to.
Symulacja Algina i in
Smithson (2001) na temat używania parametru niecentryczności
Bibliografia
źródło