Oszacowanie modelu wykładniczego

10

Model wykładniczy to model opisany następującym równaniem:

yja^=β0miβ1x1ja++βkxkja

Najczęstszym podejściem stosowanym do oszacowania takiego modelu jest linearyzacja, którą można łatwo wykonać poprzez obliczenie logarytmów obu stron. Jakie są inne podejścia? Szczególnie interesują mnie te, które potrafią obsłużyć w niektórych spostrzeżeniach.yja=0

Aktualizacja 31.01.2011
Jestem świadoma faktu, że ten model nie może wygenerować zera. Opowiem trochę o tym, co modeluję i dlaczego wybieram ten model. Powiedzmy, że chcemy przewidzieć, ile pieniędzy wydaje klient w sklepie. Oczywiście wielu klientów tylko szuka i nic nie kupuje, dlatego jest ich 0. Nie chciałem używać modelu liniowego, ponieważ generuje on wiele wartości ujemnych, co nie ma żadnego sensu. Innym powodem jest to, że ten model działa naprawdę dobrze, znacznie lepiej niż liniowy. Użyłem algorytmu genetycznego do oszacowania tych parametrów, więc nie było to podejście „naukowe”. Teraz chciałbym wiedzieć, jak radzić sobie z problemem przy użyciu bardziej naukowych metod. Można również założyć, że większość lub nawet wszystkie zmienne są zmiennymi binarnymi.

Tomek Tarczyński
źródło
1
jeśli w twoich danych są zera, regresja wykładnicza może być nieodpowiednia, ponieważ model, jak podałeś, nie pozwala na obserwowanie wartości zerowych.
mpiktas

Odpowiedzi:

11

Jest tu kilka problemów.

(1) Model musi być wyraźnie probabilistyczny . W prawie wszystkich przypadkach nie będzie żadnego zestawu parametrów, dla których lewa odpowiada RHS dla wszystkich swoich danych: nie będzie pozostałości. Musisz przyjąć założenia dotyczące tych pozostałości. Czy spodziewasz się, że będą wynosić średnio zero? Być symetrycznie dystrybuowanym? Być w przybliżeniu normalnie dystrybuowany?

Oto dwa modele, które zgadzają się z tym określonym, ale pozwalają na drastycznie odmienne zachowanie resztkowe (i dlatego zwykle skutkują różnymi oszacowaniami parametrów). Możesz zmieniać te modele, zmieniając założenia dotyczące wspólnej dystrybucji :ϵja

B: y i = β 0 exp ( β 1 x 1 i + + β k x k i ) + ϵ i .

ZA: yja=β0exp(β1x1ja++βkxkja+ϵja)
B: yja=β0exp(β1x1ja++βkxkja)+ϵja.

(Pamiętaj, że są to modele danych ; zwykle nie ma czegoś takiego jak szacunkowa wartość danych ).^ y iyjayja^

(2) Konieczność obsługi wartości zerowych dla wartości y oznacza, że podany model (A) jest zarówno zły, jak i nieodpowiedni , ponieważ nie może wytworzyć wartości zerowej bez względu na błąd losowy. Drugi model powyżej (B) dopuszcza zerowe (a nawet ujemne) wartości y. Nie należy jednak wybierać modelu wyłącznie na takiej podstawie. Powtórzmy 1: ważne jest, aby odpowiednio modelować błędy.

(3) Linearyzacja zmienia model . Zazwyczaj powoduje to modele takie jak (A), ale nie takie jak (B). Jest używany przez osoby, które przeanalizowały swoje dane wystarczająco, aby wiedzieć, że ta zmiana nie wpłynie znacząco na oszacowania parametrów oraz przez osoby, które nie są świadome tego, co się dzieje. (Wiele razy trudno odróżnić).

(4) Powszechnym sposobem radzenia sobie z możliwością zerowej wartości jest zaproponowanie, aby (lub niektóre jej ponowne wyrażanie, takie jak pierwiastek kwadratowy) miał ściśle dodatnią szansę na równe zero. Matematycznie mieszamy masę punktową („funkcję delta”) z innym rozkładem. Te modele wyglądają tak:y

fa(yja)fa(θ);θjot=βjot0+βjot1x1ja++βjotkxkja

gdzie jest jednym z parametrów ukrytych w wektorze , jest rodziną sparametryzowanych rozkładów przez , i jest ponownym wyrażeniem (funkcja „link” uogólnionego modelu liniowego: patrz odpowiedź onestop). (Oczywiście więc = gdy ) Przykładami są zero-napompowane modele Poissona i ujemnego dwumianowego .PrFθ[f(Y)=0]=θj+1>0θFθ1,,θjfyPrFθ[f(Y)t](1θj+1)Fθ(t)t0

(5) Zagadnienia dotyczące budowy i dopasowania modelu są powiązane, ale różne . Jako prosty przykład, nawet zwykły model regresji można dopasować na wiele sposobów za pomocą najmniejszych kwadratów (co daje te same oszacowania parametrów co Maksymalne prawdopodobieństwo i prawie takie same standardowe błędy), iteracyjnie przeważone najmniejsze kwadraty , różne inne formy „ wytrzymałych najmniejszych kwadratów ” itp. Wybór dopasowania często opiera się na wygodzie, praktyczności ( np. dostępności oprogramowania), znajomości, nawyku lub konwencji, ale przynajmniej należy pomyśleć biorąc pod uwagę to, co jest właściwe dla założonego rozkładu warunków błędu , do czegoY=β0+β1X+ϵϵjafunkcja straty dla problemu może być uzasadniona, a także możliwość wykorzystania dodatkowych informacji (takich jak wcześniejsza dystrybucja parametrów).

Whuber
źródło
10

Jest to uogólniony model liniowy (GLM) z funkcją łączenia logów .

Dowolny rozkład prawdopodobieństwa na z niezerową gęstością przy zeru obsłuży w niektórych obserwacjach; najpowszechniejszym byłby rozkład Poissona, skutkujący regresją Poissona , czyli modelowaniem log-liniowym. Innym wyborem byłby ujemny rozkład dwumianowy .[0,)yja=0

Jeśli nie masz danych zliczania lub jeśli przyjmuje wartości niecałkowite, możesz nadal korzystać ze struktury uogólnionych modeli liniowych, nie określając w pełni rozkładu dla ale zamiast tego określając jedynie związek między jego średnią a wariancją przy użyciu quasi-prawdopodobieństwa .yjaP.(yja|x)

jeden przystanek
źródło
Szkoda, że ​​nie zostałem o tym nauczony na uniwersytecie: / Wygląda na to, że w tym przypadku będzie to pomocne, ale potrzebuję trochę czasu, aby zagłębić się w szczegóły. Dzięki!
Tomek Tarczyński
yja
3

Zawsze możesz użyć nieliniowych najmniejszych kwadratów . Twój model to:

yja=β0exp(β1x1ja+...+βkxkja)+εja

yja

mpiktas
źródło
Co z początkowymi wartościami parametrów? Jaki jest dobry sposób na ich wybór? Jak stwierdziłem w aktualizacji, można założyć, że nie ma zmiennych ciągłych.
Tomek Tarczynski
@Tomek, myślę, że nie ma jednego dobrego sposobu na ich wybór. Zwykle zależy to od danych. Sugeruję średnią dla przecięcia i zero dla innych współczynników.
mpiktas