Jak modelować ten dziwny rozkład (prawie odwrotny J)

Moja zmienna zależna pokazana poniżej nie pasuje do żadnej znanej mi dystrybucji. Regresja liniowa wytwarza nieco nienormalne, wypaczone w prawo resztki, które w dziwny sposób odnoszą się do przewidywanego Y (drugi wykres). Wszelkie sugestie dotyczące transformacji lub innych sposobów uzyskania najbardziej aktualnych wyników i najlepszej dokładności predykcyjnej? Jeśli to możliwe, chciałbym uniknąć niezdarnego podziału na kategorie, powiedzmy, 5 wartości (np. 0, lo%, med%, hi%, 1).

Metody regresji ocenzurowanej mogą obsługiwać takie dane. Zakładają, że reszty zachowują się jak w zwykłej regresji liniowej, ale zostały zmodyfikowane w taki sposób

1. (Lewa cenzura): wszystkie wartości mniejsze niż dolny próg, który jest niezależny od danych (ale może różnić się w zależności od przypadku), nie zostały określone ilościowo; i / lub

2. (Właściwa cenzura): wszystkie wartości większe niż wysoki próg, który jest niezależny od danych (ale może różnić się w zależności od przypadku), nie zostały określone ilościowo.

„Nieokreślony” oznacza, że ​​wiemy, czy wartość spada poniżej (lub powyżej) progu, ale to wszystko.

Metody dopasowania zazwyczaj wykorzystują maksymalne prawdopodobieństwo. Gdy model odpowiedzi odpowiadającej wektorowi X jest w formie$Y$$X$

z iid o wspólnym rozkładzie F σ z PDF f σ (gdzie σ są nieznanymi „parametrami uciążliwymi”), to - przy braku cenzury - logarytmiczne prawdopodobieństwo obserwacji ( x i , y i ) wynosi$\varepsilon$$F_\sigma$$f_\sigma$$\sigma$$(x_i, y_i)$

Z censoring występuje, można podzielić na trzy przypadki (ewentualnie puste) klasy: indeksów do n 1 , z Y i zawiera na dolny próg wartości i stanowią pozostawione uciętych danych; indeksów i = N 1 + 1 do N 2 , z Y i określono ilościowo; a dla pozostałych indeksów y i zawierają górne wartości progowe i reprezentują prawą cenzurę$i=1$$n_1$$y_i$$i=n_1+1$$n_2$$y_i$$y_i$dane. Prawdopodobieństwo dziennika jest uzyskiwane w taki sam sposób, jak poprzednio: jest to dziennik iloczynu prawdopodobieństw.

Jest to maksymalizowane numerycznie jako funkcja $(\beta, \sigma)$

Z mojego doświadczenia wynika, że ​​takie metody mogą działać dobrze, gdy cenzuruje się mniej niż połowę danych; w przeciwnym razie wyniki mogą być niestabilne.

Oto prosty Rprzykład z wykorzystaniem censRegpakietu do zilustrowania, jak OLS i wyniki ocenzurowane mogą się różnić (bardzo dużo) nawet przy dużej ilości danych. Jakościowo odtwarza dane w pytaniu.

library("censReg")
set.seed(17)
n.data <- 2960
coeff  <- c(-0.001, 0.005)
sigma  <- 0.005
x      <- rnorm(n.data, 0.5)
y      <- as.vector(coeff %*% rbind(rep(1, n.data), x) + rnorm(n.data, 0, sigma))
y.cen           <- y
y.cen[y < 0]    <- 0
y.cen[y > 0.01] <- 0.01
data = data.frame(list(x, y.cen))

$0.005$$-0.001$$0.005$

Użyjmy obu lmi censRegdopasuj linię:

fit <- censReg(y.cen ~ x, data=data, left=0.0, right=0.01)
summary(fit)

Podane przez wyniki regresji ocenzurowanej print(fit)są

(Intercept)           x       sigma 
  -0.001028    0.004935    0.004856 

$-0.001$$0.005$$0.005$ .

fit.OLS <- lm(y.cen ~ x, data=data)
summary(fit.OLS)

Podane przez OLS dopasowanie print(fit.OLS)to

(Intercept)            x  
   0.001996     0.002345  

summary$0.002864$ , czyli mniej niż połowę wartości rzeczywistej. Tego rodzaju uprzedzenia są typowe dla regresji z dużą ilością cenzurowanych danych.

Dla porównania ograniczmy regresję do danych ilościowych:

fit.part <- lm(y[0 <= y & y <= 0.01] ~ x[0 <= y & y <= 0.01])
summary(fit.part)

(Intercept)  x[0 <= y & y <= 0.01]  
   0.003240               0.001461  

Nawet gorzej!

Kilka zdjęć podsumowuje sytuację.

lineplot <- function() {
  abline(coef(fit)[1:2], col="Red", lwd=2)
  abline(coef(fit.OLS), col="Blue", lty=2, lwd=2)
  abline(coef(fit.part), col=rgb(.2, .6, .2), lty=3, lwd=2)
}
par(mfrow=c(1,4))
plot(x,y, pch=19, cex=0.5, col="Gray", main="Hypothetical Data")
lineplot()
plot(x,y.cen, pch=19, cex=0.5, col="Gray", main="Censored Data")
lineplot()
hist(y.cen, breaks=50, main="Censored Data")
hist(y[0 <= y & y <= 0.01], breaks=50, main="Quantified Data")

$0$$0.01$ w pierwszym zostały przesunięte do odpowiednich progów, aby uzyskać drugi wykres. W rezultacie możesz zobaczyć wszystkie cenzurowane dane ułożone u dołu iu góry.

$Y$$0.0032$$0.0037$

Czy wartości są zawsze między 0 a 1?

Jeśli tak, możesz rozważyć dystrybucję wersji beta i regresję wersji beta.

Pamiętaj jednak o przemyśleniu procesu prowadzącego do twoich danych. Możesz również zrobić model z napompowaniem 0 i 1 (0 modeli z napompowaniem jest powszechnych, prawdopodobnie prawdopodobnie musiałbyś przedłużyć do 1 napompowanego przez ciebie samego). Duża różnica polega na tym, że te skoki reprezentują dużą liczbę dokładnych zer i jedynek lub tylko wartości zbliżone do 0 i 1.

Najlepiej skonsultować się z lokalnym statystykem (z umową o nieujawnianiu, aby omówić szczegóły skąd pochodzą dane), aby wypracować najlepsze podejście.

Zgodnie z radą Grega Snowa słyszałem, że modele beta są również przydatne w takich sytuacjach (patrz Smithson i verkuilen, 2006, A Better Lemon Squeezer ), a także regresji kwantowej ( Bottai i in., 2010 ), ale te wydają się być tak wyraźnymi efektami podłogi i sufitu, że mogą być nieodpowiednie (szczególnie regresja beta).

Inną alternatywą byłoby rozważenie typów modeli regresji ocenzurowanej, w szczególności modelu Tobita , w którym uważamy, że zaobserwowane wyniki są generowane przez pewną ukrytą zmienną ukrytą, która jest ciągła (i przypuszczalnie normalna). Nie powiem, że ten ciągły model leżący u podstaw jest rozsądny, biorąc pod uwagę histogram, ale możesz znaleźć pewne wsparcie dla niego, ponieważ widzisz, że rozkład (ignorowanie podłogi) ma wyższą gęstość przy niższych wartościach instrumentu i powoli zmniejsza się do wyższych wartości.

Powodzenia, że ​​cenzura jest tak dramatyczna, że ​​trudno sobie wyobrazić odzyskanie bardzo przydatnych informacji w ekstremalnych zasobach. Wygląda mi na to, że prawie połowa twojej próbki mieści się w pojemnikach podłogowych i sufitowych.