Kształt przedziałów ufności i predykcji dla regresji nieliniowej

13

Czy pasma ufności i prognozy wokół regresji nieliniowej powinny być symetryczne wokół linii regresji? Oznacza to, że nie przyjmują kształtu klepsydry, jak w przypadku pasm regresji liniowej. Dlaczego?

Oto model: Oto rysunek:

F(x)=(AD1+(xC)B)+D

http://i57.tinypic.com/2q099ok.jpg

a oto równanie:

wprowadź opis zdjęcia tutaj

Serge
źródło
Twoje pytanie jest niejasne, ponieważ przechodzisz od pytania, czy „mają one być symetryczne” w pierwszym zdaniu, do sugerowania, że ​​nie ma ich w zdaniu 2 i pytasz (prawdopodobnie), dlaczego nie są w zdaniu 3. Czy potrafisz to bardziej spójne / jasne?
Gung - Przywróć Monikę
OK, pozwól, że zapytam w ten sposób - dlaczego pasma ufności i prognozy są symetryczne wokół linii regresji, gdy regresja jest nieliniowa, ale przybiera kształt klepsydry, gdy jest liniowa?
Serge
Tylko niektóre komentarze, na wypadek, gdyby okazały się pomocne: wygląda na to, że twoje odpowiedzi muszą być nieujemne i zbiegać się do (lub blisko niego) przy , podczas gdy te pasma są najwyraźniej wznoszone przy użyciu modelu niezależnego błędu addytywnego. To czyni ich nierealnymi, zwłaszcza po lewej stronie. Co więcej, wzory niebieskich kropek sugerują, że błąd ma silną korelację szeregową, co również należy uwzględnić przy konstruowaniu tych pasm. Chociaż możesz nie chcieć poradzić sobie z tą dodatkową złożonością danych podczas dopasowywania, oznacza to, że narysowane pasma nie są warte wiele. 000
whuber
Masz rację. Zespół przechodzi na terytorium ujemne. Jednak nie interesują mnie wartości samych pasm, ale raczej wartości EC50 odpowiadające limitom pasma. Czy istnieje alternatywa dla budowania pasm w ten sposób?
Serge
Tak, ale jak zasugerowałem, mogą się skomplikować. Uogólnione metody najmniejszych kwadratów i szeregów czasowych mogą poradzić sobie z korelacją szeregową. Nieliniowe transformacje zmiennej zależnej są jednym narzędziem do obsługi błędu nieaddytywnego. Bardziej wyrafinowanym narzędziem jest uogólniony model liniowy. Wybory zależą częściowo od charakteru zmiennej zależnej. BTW, chociaż nie jestem pewien, co rozumiesz przez „wartości EC50” (brzmi to tak, jakbyś modelował zależności dawka-odpowiedź), wszystko obliczone z ilustrowanych pasm będzie podejrzane.
whuber

Odpowiedzi:

8

Należy oczekiwać, że przedziały ufności i predykcji będą się zwykle powiększać w pobliżu końca - z tego samego powodu, dla którego zawsze robią to w zwykłej regresji; ogólnie niepewność parametru prowadzi do szerszych przedziałów w pobliżu końców niż w środku

Można to łatwo dostrzec przez symulację, albo przez symulację danych z danego modelu, albo przez symulację z rozkładu próbkowania wektora parametru.

Zwykłe (w przybliżeniu poprawne) obliczenia wykonywane dla regresji nieliniowej obejmują przyjęcie lokalnego przybliżenia liniowego (jest to podane w odpowiedzi Harveya), ale nawet bez nich możemy uzyskać pewne pojęcie o tym, co się dzieje.

Jednak wykonywanie rzeczywistych obliczeń nie jest łatwe i może się zdarzyć, że programy mogą skorzystać ze skrótu obliczeniowego, który ignoruje ten efekt. Możliwe jest również, że w przypadku niektórych danych i niektórych modeli efekt jest stosunkowo niewielki i trudny do zauważenia. Rzeczywiście, przy przedziałach predykcji, szczególnie przy dużej wariancji, ale z dużą ilością danych, czasami może być trudno dostrzec krzywą w zwykłej regresji liniowej - mogą wyglądać prawie prosto i stosunkowo łatwo jest odróżnić odchylenie od prostości.

Oto przykład tego, jak trudno jest zobaczyć tylko przedział ufności dla średniej (przedziały prognozowania mogą być znacznie trudniejsze do zobaczenia, ponieważ ich względna zmienność jest o wiele mniejsza). Oto niektóre dane i nieliniowe dopasowanie do najmniejszych kwadratów, z przedziałem ufności dla średniej populacji (w tym przypadku generowanym z rozkładu próbkowania, ponieważ znam prawdziwy model, ale coś bardzo podobnego można zrobić poprzez asymptotyczne przybliżenie lub ładowanie początkowe):

wprowadź opis zdjęcia tutaj

Fioletowe granice wyglądają prawie równolegle do niebieskich prognoz ... ale nie są. Oto błąd standardowy rozkładu próbkowania tych średnich prognoz:

wprowadź opis zdjęcia tutaj

co oczywiście nie jest stałe.


Edytować:

Wyrażenia „sp”, które właśnie opublikowałeś, pochodzą prosto z przedziału predykcji dla regresji liniowej !

Glen_b - Przywróć Monikę
źródło
czy mówisz również, że wzrost niepewności parametru w miarę oddalania się od centrum powinien spowodować rozszerzenie pasma na końcach nawet w przypadku regresji nieliniowej, ale że nie jest to tak oczywiste? Czy istnieje teoretyczny powód, dla którego to poszerzenie nie występuje w przypadku regresji nieliniowej? Moje zespoły z pewnością wyglądają bardzo symetrycznie.
Serge
1
Takie poszerzenie powinno być typowe, ale nie stanie się tak samo z każdym modelem nieliniowym i nie będzie tak oczywiste z każdym modelem, a ponieważ nie jest to tak łatwe, może nie zostać obliczone w ten sposób przez dany program . Nie wiem, jak zostały obliczone pasma, na które patrzysz - nie czytam w myślach i nie widzę kodu programu, o którym nawet nie wspomniałeś.
Glen_b
@ user1505202, na pełne pytanie pozostaje trudne pytanie. Czy możesz podać, jaki jest twój model (jego funkcjonalna forma)? Czy możesz załączyć obraz kłopotliwej postaci?
Gung - Przywróć Monikę
1
Dzięki. Mam liczby i są one zasadniczo stałe - różnica między linią regresji a każdą granicą prognozy wynosi od 18,21074 w środku do 18,24877 na końcach. Więc nieznaczne poszerzenie, ale bardzo nieznaczne. Nawiasem mówiąc, @gung, dostałem równanie, które oblicza przedział przewidywania. Jest to:Y-hat +/- sp(Y-hat)
Serge
1
To jest rodzaj wariacji, którą możesz zobaczyć z interwałem przewidywania przy dużych próbkach. Co to jest sp
Glen_b
5

Matematyka obliczania ufności i pasm prognoz krzywych dopasowanych przez regresję nieliniową wyjaśniono na tej stronie zweryfikowanej krzyżowo. Pokazuje, że pasma nie zawsze są / zwykle symetryczne.

A oto wyjaśnienie zawierające więcej słów i mniej matematyki:

Najpierw zdefiniujmy G | x, który jest gradientem parametrów przy określonej wartości X i przy użyciu wszystkich najlepiej dopasowanych wartości parametrów. Wynikiem jest wektor z jednym elementem na parametr. Dla każdego parametru jest on definiowany jako dY / dP, gdzie Y jest wartością Y krzywej przy danej wartości X i wszystkich wartościach parametru najlepiej dopasowanego, a P jest jednym z parametrów.)

G '| x to transponowany wektor gradientowy, więc jest to raczej kolumna niż rząd wartości. Cov jest macierzą kowariancji (odwrócony Hesjan z ostatniej iteracji). Jest to macierz kwadratowa z liczbą wierszy i kolumn równą liczbie parametrów. Każdy element w macierzy jest kowariancją między dwoma parametrami. Używamy Cov w odniesieniu do znormalizowanej macierzy kowariancji , gdzie każda wartość mieści się w zakresie od -1 do 1.

Teraz oblicz

c = G '| x * Cov * G | x.

Wynik jest pojedynczą liczbą dla dowolnej wartości X.

Pasma ufności i prognozy są wyśrodkowane na krzywej najlepszego dopasowania i rozciągają się powyżej i poniżej krzywej w równej wysokości.

Przedziały ufności rozciągają się powyżej i poniżej krzywej o:

= sqrt (c) * sqrt (SS / DF) * CriticalT (% zaufania, DF)

Pasma prognozy rozciągają się na dalszą odległość powyżej i poniżej krzywej, równą:

= sqrt (c + 1) * sqrt (SS / DF) * CriticalT (% zaufania, DF)

W obu tych równaniach wartość c (zdefiniowana powyżej) zależy od wartości X, więc pasma ufności i prognozy nie są stałej odległości od krzywej. Wartość SS jest sumą kwadratów dopasowania, a DF jest liczbą stopni swobody (liczba punktów danych minus liczba parametrów). CriticalT jest stałą z rozkładu t opartą na pożądanym poziomie ufności (tradycyjnie 95%) i liczbie stopni swobody. Dla limitów 95% i dość dużego df wartość ta jest bliska 1,96. Jeśli DF jest mały, wartość ta jest wyższa.

Harvey Motulsky
źródło
Dzięki, Harvey. Pracuję nad uzyskaniem gradientu parametrów dla mojej funkcji. Czy przypadkiem znasz znany przykład, bo nie jestem pewien, w jaki sposób uzyskuje się macierz kowariancji.
Serge
Jeśli korzystasz z wersji demonstracyjnej GraphPad Prism, możesz dopasować dane do dowolnego modelu i wyświetlić macierz kowariancji (opcjonalny wynik wybrany na karcie Diagnostyka) oraz pasma ufności lub prognozy (zarówno liczby, jak i wykres; wybierz także w Karta diagnostyczna). Nie jest to dobry przykład, ale przynajmniej możesz porównać macierz kowariancji i sprawdzić, czy problem występuje przed czy po ...
Harvey Motulsky,
Jednak dwie rzeczy. 1. Pryzmat dał mi macierz Cov. Jest to jednak tylko jedna liczba dla całego zestawu danych. Czy nie powinienem otrzymać jednej wartości na wartość X? 2. Dostaję pasmo predykcji na wykresie, ale chciałbym, aby dane wyjściowe zawierały wartości. Pryzmat wydaje się tego nie robić. Jestem bardzo nowy w Pryzmatach, więc może nie szukałem wszędzie, ale próbowałem!
Serge
1. Macierz kowariancji pokazuje stopień, w jakim parametry są ze sobą powiązane. Jest więc jedna wartość dla każdej pary parametrów, o które chcesz dopasować regresję nieliniową. 2. Spójrz na zakładkę Zakres, aby poprosić Pryzmat o utworzenie tabeli współrzędnych XY krzywej z wartościami plus / minus dla pasm ufności lub prognozy. 3. Aby uzyskać pomoc techniczną dotyczącą Prism, wyślij wiadomość e-mail na adres [email protected]. Forum to służy do pytań statystycznych, a nie pomocy technicznej.
Harvey Motulsky