Różnica między analizą regresji a analizą wariancji?

21

Uczę się teraz o analizie regresji i analizie wariancji.

W analizie regresji masz jedną zmienną ustaloną i chcesz wiedzieć, jak ta zmienna idzie z drugą zmienną.

W analizie wariancji chcesz wiedzieć na przykład: Jeśli ta konkretna karma dla zwierząt wpływa na masę zwierząt ... SO jeden ustalony var i wpływ na inne ...

Czy to dobrze, czy źle, proszę pomóżcie mi ...

regression Le Max
źródło

25

Załóżmy, że twój zestaw danych składa się ze zbioru $(x_i,y_i)$ dla $i=1,\ldots,n$ i chcesz spojrzeć na zależność $y$ od $x$ .

Załóżmy, że znaleźć wartości i z i które minimalizują resztę sumy kwadratów Następnie się być przewidywane -wartość dla każdego (niekoniecznie obserwowane już) -wartość. To regresja liniowa. $\hat\alpha$ $\hat\beta$ $\alpha$ $\beta$

\sum_{i = 1}^{n} (y_{i} - (α + β x_{i}))^{2} .

$\sum_{i=1}^n (y_i - (\alpha+\beta x_i))^2.$

\hat{y} = \hat{α} + \hat{β} x

$\hat y = \hat\alpha+ \hat\beta x$

y

$y$

x

$x$

Rozważmy teraz rozkład całkowitej sumy kwadratów zstopniach swobody, w "wyjaśnia" oraz "części" niewyjaśnione: z

\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2} where \bar{y} = \frac{y_{1} + \dots + y_{n}}{n}

$\sum_{i=1}^n (y_i - \bar y)^2 \qquad\text{where }\bar y = \frac{y_1+\cdots+y_n}{n}$

n - 1

$n-1$

\underset{explained}{\underset{⏟}{\sum_{i = 1}^{n} ((\hat{α} + \hat{β} x_{i}) - \bar{y})^{2}}} + \underset{unexplained}{\underset{⏟}{\sum_{i = 1}^{n} (y_{i} - (\hat{α} + \hat{β} x_{i}))^{2}}} .

$\underbrace{\sum_{i=1}^n ((\hat\alpha+\hat\beta x_i) - \bar y)^2}_{\text{explained}}\ +\ \underbrace{\sum_{i=1}^n (y_i - (\hat\alpha+\hat\beta x_i))^2}_{\text{unexplained}}.$

1

$1$ i

stopnie swobody. To analizy wariancji, a następnie uważa się, co, jak F statystyki

n - 2

$n-2$

Tastatystyka F testuje hipotezę zerową

.

F = \frac{\sum_{i = 1}^{n} ((\hat{α} + \hat{β} x_{ja}) - \bar{y})^{2)} / 1}{\sum_{ja = 1}^{n} (y_{ja} - (\hat{α} + \hat{β} x_{ja}))^{2)} / (n - 2))} .

$F = \frac{\sum_{i=1}^n ((\hat\alpha+\hat\beta x_i) - \bar y)^2/1}{\sum_{i=1}^n (y_i - (\hat\alpha+\hat\beta x_i))^2/(n-2)}.$

β = 0

$\beta=0$

y = α + β_{ja}

$y = \alpha + \beta_i$

i

$i$

k

$k$

k - 1

$k-1$

n - k

$n-k$

Kilka dodatkowych punktów:

Dla niektórych matematyków powyższe sprawozdanie może sprawiać wrażenie, że całe pole jest tylko tym, co widać powyżej, więc może wydawać się tajemnicze, że zarówno regresja, jak i analiza wariancji są aktywnymi obszarami badawczymi. Wiele rzeczy nie pasuje do odpowiedzi odpowiedniej do opublikowania tutaj.
$y=\alpha+\beta x$

Michael Hardy
źródło

5

@MichaelHardy Podczas gdy rozkład wariancji na składniki w regresji jest często określany jako analiza tabeli wariancji. To nie jest to, co statystycy zwykle rozumieją przez ANOVA. Metody 1) regresja liniowa, 2) analiza wariancji i 3) analiza kowariancji są kategoriami pod ogólnym nagłówkiem ogólnego modelu liniowego, regresja liniowa obejmuje ciągłe zmienne towarzyszące, ANOVA obejmuje tylko dyskretne grupy, a ANCOVA jest kombinacją ciągłych zmiennych towarzyszących i dyskretne grupy.

Michael R. Chernick,

1

Nieformalnie czasami mówi się w ten sposób, a moja odpowiedź tego nie powiedziała, ale należy wiedzieć, że (1) oszacowanie współczynników najmniejszych kwadratów odbywa się w jednym z dwóch problemów (predyktory ciągłe lub kategoryczne) i dekompozycji sumy kwadratów z odpowiadającymi im stopniami swobody --- tabela anova --- jest również wykonywana w jednym z dwóch problemów.

Michael Hardy,

5

Dzięki tej koncesji musisz przyznać, że nie ma nic złego w mojej odpowiedzi. Również terminy ANOVA, ANCOVA i regresja nie są warunkami nieformalnymi. Są one bardzo wyraźnie formalne i nie można powiedzieć OP, że ANOVA jest rozkładem wariancji w regresji. Fakt, że procedura statystyczna, którą ktoś nazwał anovą, może wykonać dowolny model liniowy, niczego nie dowodzi. W SAS proc reg zajmuje się tylko regresją, proc anova zajmuje się tylko analizą wariancji, tak jak ją zdefiniowałem, a proc glm jest tym, który robi obie te rzeczy.

Michael R. Chernick

1

.... a w R „lm (....)” podaje współczynniki regresji w obu sytuacjach, a „anova (lm (....))” daje rozkład sumy kwadratu i stopni swobody, w obu sytuacjach. Jeśli chodzi o „muszę się przyznać”, poniżej twojej odpowiedzi umieściłem kilka dalszych komentarzy. Z pewnością, jeśli zamierzasz wspomnieć o regresji logistycznej, byłoby lepiej, gdybyś powiedział, że skoro nie mówisz o regresji liniowej, słowo „regresja” jest bardzo szerokim terminem, który może obejmować wiele rzeczy.

Michael Hardy,

@MichaelHardy Zapraszam do komentowania mojego pytania zadanego na stronie stats.SE. Myślę, że twoja odpowiedź i moja odpowiedź na to pytanie są w pewnym sensie poprawne. Z pewnością sprzeciwiam się odrzuceniu mojej odpowiedzi. Chciałem uzyskać na ten temat opinie innych członków społeczności statystycznej.

Michael R. Chernick,

5

Główną różnicą jest zmienna odpowiedzi. Podczas gdy regresja logistyczna zajmuje się odpowiedzią binarną w analizie regresji liniowej, a także regresją nieliniową, zmienna odpowiedzi jest ciągła. Masz zmienną (zmienne) (zwane także zmiennymi zmiennymi), które mają funkcjonalny związek ze zmienną ciągłej odpowiedzi. W analizie wariancji odpowiedź jest ciągła, ale należy do kilku różnych kategorii (np. Grupy leczenia i grupy kontrolnej). W analizie wariancji szukasz różnicy w średniej odpowiedzi między grupami. W regresji liniowej patrzysz, jak zmienia się odpowiedź wraz ze zmianą zmiennych towarzyszących. Innym sposobem spojrzenia na różnicę jest stwierdzenie, że w regresji zmienne towarzyszące są ciągłe, podczas gdy w analizie wariancji są dyskretnym zestawem grup.

Michael R. Chernick
źródło

6

Uznałbym to pytanie za różnicę między regresją liniową a analizą wariancji; wprowadzenie regresji logistycznej wydaje się odsuwać od tematu. Jednak twoje ostatnie zdanie jest błędne. Analizę wariancji można przeprowadzić niezależnie od tego, czy predyktory są dyskretne czy ciągłe.

Michael Hardy

1

Rzeczywiście istnieją analizy predykcyjne w analizie wariancji. W twoim przykładzie predyktor jest kategoryczny, ale nie musi tak być. Analiza wariancji uwzględnia nie tylko problemy dotyczące „grup dyskretnych”.

Michael Hardy

3

@MichaelHardy Cofam się o krok, ponieważ kiedy sprawdzam swoje encyklopedie statystyczne, odnajduję odniesienie do analizy wariancji pod względem rozkładu wariancji w ogólnym modelu liniowym. Ale termin ten ma dwa znaczenia i dość często ANOVA różni się od ANCOVA i regresji w sposób, który opisałem. Dlatego OP powinien mieć świadomość obu terminów - tego, który odnosi się do piekła na temat składników wariancji w ogólnym modelu liniowym, i tego, który odnosi się do podklasy modeli liniowych, które obejmują tylko odrębne grupy.

Michael R. Chernick

2

Uważam, że użycie, którego używasz, jest nieformalne. Wspominanie o regresji logistycznej wydaje się dziwne, nie mówiąc o jednej z wielu „regresji”, gdy termin ten jest używany w szerokim sensie szacowania średniej lub przewidywanej wartości jednej zmiennej na podstawie drugiej, a następnie odróżniania jej od analizy wariancji . Ale pytanie o różnicę między modelami regresji liniowej a analizą wariancji wydaje się bardziej sensowne. Ale często nie ma pewności, co zamierzał oryginalny plakat.

Michael Hardy,

7

Jakiekolwiek by były twoje intencje, uważam komentarz „ Mam doktorat z statystyki ... ” za nieodpowiedni. Przede wszystkim nie rozwiązuje problemu. Apelowanie do władzy jest często używanym, ale bardzo błędnym podejściem do dowodzenia. Apelowanie do własnego autorytetu jest jeszcze bardziej problematyczne. Można to również interpretować jako wykazanie (nieumyślnie lub w inny sposób) braku szacunku dla @MichaelHardy (osoby, do której się zwracasz), która również ma doktorat z statystyki z bardzo renomowanego programu.

kardynał

2

Analiza wariancji (ANOVA) jest zbiorem statystycznej metody analizy obserwacji przyjętych za strukturę

$y_i=\beta_1x_{i1}+\beta_2x_{i2}+\dots+\beta_px_{ip}+e_i,~i=1(1)n$ $p$ $\beta_1,\beta_2,\dots,\beta_p$ $e_1,e_2,\dots,e_n$ $x_{ij}$ $e_i$ $0$ $\sigma^2$

$E(y^{n \times 1})=X\beta,D(y)=\sigma^2I_n$

$x_{ij}$ $\beta_j$ $x_{ij}$ $\beta_j$ $0$ $1$

$x_{ij}$ $t$ $T$ $t^2,e^{-T}$ itp., Mamy przypadek * analizy regresji. Ogólnie rzecz biorąc, w analizie regresji wszystkie czynniki są ilościowe i traktowane ilościowo.

Głównie są to dwa rodzaje analiz.

Argha
źródło

i = 1 (1) n

$i=1(1)n$

1

i = 1 (1) n

$i=1(1)n$

i = 1, 2, \dots, n

$i=1,2,\dots,n$

-1

W analizie regresji masz jedną zmienną ustaloną i chcesz wiedzieć, jak ta zmienna idzie z drugą zmienną.

W analizie wariancji chcesz wiedzieć na przykład: Jeśli ten konkretny pokarm dla zwierząt wpływa na masę zwierząt ... SO jeden ustalony var i wpływ na inne.

Aiza
źródło

1

Cześć Aiza, witaj w SE. Musisz to zmienić, aby dać więcej kontekstu i wyjaśnić, jakie jest pytanie.

Przestań szybko

Różnica między analizą regresji a analizą wariancji?

Odpowiedzi: