Jak mogę oszacować standardowe błędy współczynnika podczas regresji kalenicy?

Używam regresji grzbietu na wysoce wielokoliniowych danych. Używając OLS, otrzymuję duże standardowe błędy współczynników z powodu wielokoliniowości. Wiem, że regresja kalenicy jest sposobem na poradzenie sobie z tym problemem, ale we wszystkich implementacjach regresji kalenicy, na które patrzyłem, nie zgłoszono żadnych standardowych błędów dla współczynników. Chciałbym w jakiś sposób oszacować, jak bardzo regresja kalenicy pomaga, widząc, jak bardzo zmniejsza standardowe błędy określonych współczynników. Czy istnieje sposób oszacowania ich w regresji grzbietu?

Myślę, że boostrap byłby najlepszym sposobem na uzyskanie solidnych SE. Dokonano tego w niektórych zastosowanych pracach przy użyciu metod skurczowych, np. Analizy danych konsorcjum dotyczącego północnoamerykańskiego reumatoidalnego zapalenia stawów z zastosowaniem karanej regresji logistycznej (BMC Proceedings 2009). Jest też miły artykuł Caselli na temat obliczeń SE z modelem karanym, regresją karną, błędami standardowymi i Bayesowskim Lassosem (analiza bayesowska 2010 5 (2)). Są jednak bardziej zainteresowani penalizacją lasso i elastycznej sieci .

Zawsze myślałem o regresji grzbietu jako sposobie uzyskania lepszych przewidywań niż standardowy OLS, w którym model nie jest na ogół jednoznaczny. W przypadku wyboru zmiennych bardziej odpowiednie są kryteria lasso lub elasticnet , ale trudno jest zastosować procedurę ładowania początkowego (ponieważ wybrane zmienne zmieniałyby się z jednej próbki do drugiej, a nawet w wewnętrznej pętli fold wykorzystywanej do optymalizacji ℓ 1 / ℓ 2 parametry); nie jest tak w przypadku regresji grzbietu, ponieważ zawsze bierze się pod uwagę wszystkie zmienne.$k$$\ell_1$$\ell_2$

Nie mam pojęcia o pakietach R, które podałyby tę informację. Wydaje się, że nie jest dostępny w pakiecie glmnet (patrz artykuł Friedmana w JSS, Ścieżki normalizacji dla uogólnionych modeli liniowych poprzez zejście współrzędnych ). Jednak Jelle Goeman, autorka pakietu podlegającego karze , również omawia tę kwestię. Nie mogę znaleźć oryginalnego pliku PDF w Internecie, więc po prostu cytuję jego słowa:

To bardzo naturalne pytanie, aby zadać standardowe błędy współczynników regresji lub innych oszacowanych wielkości. Zasadniczo takie standardowe błędy można łatwo obliczyć, np. Za pomocą paska startowego.

Mimo to ten pakiet celowo ich nie udostępnia. Powodem tego jest to, że standardowe błędy nie mają większego znaczenia w przypadku silnie tendencyjnych oszacowań, takich jak wynikające z karanych metod szacowania. Ocena karana to procedura, która zmniejsza wariancję estymatorów poprzez wprowadzenie istotnego błędu. Błąd systematyczny każdego estymatora jest zatem głównym składnikiem jego średniego błędu kwadratu, podczas gdy jego wariancja może przyczyniać się tylko do niewielkiej części.

Niestety, w większości zastosowań regresji karnej niemożliwe jest uzyskanie wystarczająco dokładnego oszacowania błędu. Wszelkie obliczenia oparte na bootstrapie mogą dać jedynie ocenę wariancji szacunków. Wiarygodne szacunki błędu są dostępne tylko wtedy, gdy dostępne są wiarygodne obiektywne szacunki, co zwykle nie ma miejsca w sytuacjach, w których stosuje się szacunki karane.

Zgłoszenie standardowego błędu w oszacowaniu podlegającym karze opowiada zatem tylko część historii. Może dawać błędne wrażenie dużej precyzji, całkowicie ignorując niedokładność spowodowaną odchyłką. Z pewnością błędem jest tworzenie oświadczeń o zaufaniu, które opierają się wyłącznie na ocenie wariancji oszacowań, takich jak przedziały ufności oparte na bootstrapie.

Zakładając, że proces generowania danych jest zgodny ze standardowymi założeniami OLS, standardowe błędy regresji kalenicowej podane są przez:

$\sigma^2 (A^T A + \Gamma^T \Gamma)^{-1} A^T A (A^T A + \Gamma^T \Gamma)^{-1}$

Powyższa notacja jest zgodna z notacją wiki dotyczącą regresji grzbietu . Konkretnie,

$A$

$\sigma^2$

$\Gamma$

$\Gamma ^T\Gamma$$\text{$\lambda $I}$$\text{I}$$\lambda$całki i inne odwrotne problemy. „Odwrotnym problemem w nauce jest proces obliczania z zestawu obserwacji czynników przyczynowych, które je wytworzyły: na przykład obliczenie obrazu w tomografii komputerowej, rekonstrukcja źródła w akustyce lub obliczenie gęstości Ziemi na podstawie pomiarów jej grawitacji pole. tutaj "SPSS zawiera kod dodatkowy, który podaje standardowe odchylenie wszystkich parametrów, a dodatkowe parametry można uzyskać za pomocą propagacji błędów, jak w dodatku do tego artykułu .

Ogólnie rzecz biorąc, źle rozumiane w regularyzacji Tichonowa jest to, że stopień wygładzenia ma bardzo niewiele wspólnego z dopasowaniem krzywej, należy zastosować współczynnik wygładzania, aby zminimalizować błąd parametrów będących przedmiotem zainteresowania. Musiałbyś wyjaśnić znacznie więcej na temat konkretnego problemu, który próbujesz rozwiązać, aby prawidłowo zastosować regresję kalenicy w pewnym prawidłowym kontekście problemu odwrotnego, a wiele artykułów na temat wyboru czynników wygładzających oraz wielu opublikowanych zastosowań regularyzacji Tichonowa to trochę heurystyczny.

Ponadto regularyzacja Tichonowa jest tylko jednym odwrotnym leczeniem problemu wśród wielu. Kliknij link do czasopisma Inverse Problems .