Rzucanie wielowymiarowego modelu liniowego jako regresji wielokrotnej

Czy przekształcenie wielowymiarowego modelu regresji liniowej jako wielokrotnej regresji liniowej jest całkowicie równoważne? Ja nie odnosząc się po prostu działa $t$ oddzielnych regresji.

Przeczytałem o tym w kilku miejscach (Bayesian Data Analysis - Gelman i wsp. Oraz Multivariate Old School - Marden), że wielowymiarowy model liniowy można łatwo sparametryzować jako regresję wielokrotną. Jednak żadne źródło w ogóle o tym nie rozwija. Zasadniczo po prostu o tym wspominają, a następnie kontynuują korzystanie z modelu wielowymiarowego. Matematycznie napiszę najpierw wersję na wielu odmianach,

gdzie zmienne pogrubione to macierze z ich rozmiarami poniżej nich. Jak zwykle,to dane,to macierz projektowa,to zwykle reszty rozmieszczone, ato to, czym jesteśmy zainteresowani wnioskować.

\underset{n \times t}{Y} = \underset{n \times k}{X} \underset{k \times t}{B} + \underset{n \times t}{R},

$\underset{n \times t}{\mathbf{Y}} = \underset{n \times k}{\mathbf{X}} \hspace{2mm}\underset{k \times t}{\mathbf{B}} + \underset{n \times t}{\mathbf{R}},$

Y

$\mathbf{Y}$

X

$\mathbf{X}$

R

$\mathbf{R}$

B

$\mathbf{B}$

Aby ponownie sparametryzować to jako znaną wielokrotną regresję liniową, wystarczy przepisać zmienne w następujący sposób:

\underset{n t \times 1}{y} = \underset{n t \times n k}{D} \underset{n k \times 1}{β} + \underset{n t \times 1}{r},

$\underset{nt \times 1}{\mathbf{y}} = \underset{nt \times nk}{\mathbf{D}} \hspace{2mm} \underset{nk \times 1}{\boldsymbol{\beta}} + \underset{nt \times 1}{\mathbf{r}},$

gdzie zastosowanymi reparametryzacjami są , i . oznacza, że rzędy matrycy są ułożone od końca do końca w długi wektor, a jest produktem Kroneckera lub zewnętrznym. $\mathbf{y} = row(\mathbf{Y})$ $\boldsymbol\beta = row(\mathbf{B})$ $\mathbf{D} = \mathbf{X} \otimes \mathbf{I}_{n}$ $row()$ $\otimes$

Jeśli więc jest to tak łatwe, po co męczyć się z pisaniem książek na modelach wielowymiarowych, statystykami testów itp.? Najbardziej efektywne jest najpierw przekształcenie zmiennych i użycie typowych technik jednowymiarowych. Jestem pewien, że istnieje dobry powód, po prostu trudno mi się zastanowić nad jednym, przynajmniej w przypadku modelu liniowego. Czy zdarzają się sytuacje z wielowymiarowym modelem liniowym i normalnie rozłożonymi błędami losowymi, w których ta zmiana parametrów nie ma zastosowania, lub ogranicza możliwości analizy, którą można przeprowadzić?

Źródła Widziałem to: Marden - Statystyki na wielu odmianach: Old School. Rozdziały 5.3–5.5. Książka jest dostępna bezpłatnie pod adresem : http://istics.net/stat/

Gelman i in. - Analiza danych bayesowskich. Mam drugie wydanie, aw tej wersji jest mały akapit w rozdz. 19 „Modele regresji wielowymiarowej” zatytułowane: „Równoważny model regresji wielowymiarowej”

Zasadniczo, czy możesz zrobić wszystko z równoważnym modelem regresji liniowej jednowymiarowej, co można zrobić z modelem wielowymiarowym? Jeśli tak, to po co w ogóle opracowywać metody wielowymiarowych modeli liniowych?

A co z podejściami bayesowskimi?

regression multiple-regression linear-model multivariate-regression bill_e
źródło

To dobre pytanie. Być może możesz poprosić o więcej w kategoriach fundamentów niż konstrukcji.

Subhash C. Davar,

Co rozumiesz przez fundamenty, a nie strukturę? Czy mógłbyś opracować?

bill_e

Mogę zauważyć, że nauczyłem się tylko dwóch prac w ramach mojego pierwszego i podyplomowego stopnia dawno temu, nie mam uwodzenia w opisach technicznych. Rozumiem, że analiza wielowymiarowa ma różne założenia w porównaniu z wielokrotną regresją liniową lub po prostu modelem regresji liniowej. Założenia analizy wielowymiarowej są różne, tzn. Przeważają oczekiwania matematyczne. wielokrotna regresja liniowa przyjmuje pewne inne założenia, które prowadzą do heteroscedatyczności. Mam tutaj na myśli strukturę, która odnosi się do twoich równań.

Subhash C. Davar,

Powinieneś powiedzieć to wyraźnie w tytule lub na początku, czy mówisz o wielowymiarowym (ogólnym) modelu liniowym, czy o bayesowskiej regresji wielowymiarowej .

ttnphns,

Ok, więc .. to nie jest moje podejście, wskazałem dwa miejsca, w których to widziałem. Podejście to stanowi sedno problemu. Jaka jest różnica między wersją wielowymiarową a sparametryzowaną wersją jednowymiarową?

bill_e

Odpowiedzi:

Zasadniczo, czy możesz zrobić wszystko z równoważnym modelem regresji liniowej jednowymiarowej, co można zrobić z modelem wielowymiarowym?

Uważam, że odpowiedź brzmi „nie”.

Jeśli Twoim celem jest po prostu oszacowanie efektów (parametry w ) lub dalsze przewidywanie w oparciu o model, to tak, nie ma znaczenia, aby przyjąć formułę modelu między nimi. $\mathbf{B}$

Jednak w celu wnioskowania statystycznego, szczególnie w celu przeprowadzenia klasycznego testu istotności, sformułowanie wielowymiarowe wydaje się praktycznie niezastąpione. Mówiąc dokładniej, mogę posłużyć się typową analizą danych w psychologii jako przykładem. Dane od badanych są wyrażone jako $n$

\underset{n \times t}{Y} = \underset{n \times k}{X} \underset{k \times t}{B} + \underset{n \times t}{R},

$\underset{n \times t}{\mathbf{Y}} = \underset{n \times k}{\mathbf{X}} \hspace{2mm}\underset{k \times t}{\mathbf{B}} + \underset{n \times t}{\mathbf{R}},$

gdzie $k-1$ $\mathbf{X}$ $t$ $\mathbf{Y}$

W powyższym sformułowaniu dowolną ogólną hipotezę liniową można łatwo wyrazić jako

L B M = C,

$\mathbf{L} \mathbf{B} \mathbf{M} = \mathbf{C},$

gdzie $\mathbf{L}$ $\mathbf{L}$ $\mathbf{C}$ $\mathbf{0}$

Piękno systemu wielowymiarowego polega na jego oddzieleniu między dwoma typami zmiennych, między podmiotem a wewnątrz podmiotu. To rozdzielenie pozwala na łatwe sformułowanie trzech rodzajów testów istotności w ramach wielowymiarowych: klasyczne testowanie na wielu odmianach, testowanie na wielu odmianach z powtarzanymi pomiarami i testowanie na wielu odmianach z powtarzanymi pomiarami. Co więcej, testowanie Mauchly pod kątem naruszenia sferyczności i odpowiednie metody korekcji (Greenhouse-Geisser i Huynh-Feldt) również stają się naturalne dla testów jednowymiarowych w systemie wielowymiarowym. Właśnie w ten sposób pakiety statystyczne zaimplementowały te testy, takie jak samochód w R, GLM w IBM SPSS Statistics i instrukcja REPEATED w PROC GLM SAS.

Nie jestem pewien, czy sformułowanie ma znaczenie w analizie danych bayesowskich, ale wątpię, aby powyższe możliwości testowania można było sformułować i wdrożyć na platformie jednoczynnikowej.

bluepole
źródło

Rozumiem, to ma sens. Dziękuję za świetną odpowiedź. Chciałbym też usłyszeć perspektywę bayesowską.

bill_e

@PeterRabbit Jeśli podoba Ci się odpowiedź, proszę wyrazić wdzięczność dla bluepole, akceptując jego odpowiedź. Dostanie punkty.

pteetor,

Zrobię to, tylko trochę się zastanawiam, czy ktoś nie zaoferuje perspektywy Bayesa.

bill_e

Oba modele są równoważne, jeśli dopasujesz odpowiednią strukturę wariancji-kowariancji. W przekształconym modelu liniowym musimy dopasować macierz wariancji-kowariancji komponentu błędu do produktu Kronecker, który ma ograniczoną dostępność w dostępnych programach komputerowych. Teoria modeli liniowych - modele jednowymiarowe, wielowymiarowe i mieszane to doskonałe odniesienie do tego tematu.

Edytowane

Oto kolejna miła referencja dostępna za darmo.

MYaseen208
źródło

No dobrze, więc w normalnym modelu jednowymiarowym nie ma żadnej struktury kowariancji „wewnątrz” DV. Dlatego testy hipotez dotyczące tego nie istnieją. Dziękuję Ci! Zobaczę, czy mogę odebrać tę książkę.

bill_e