Regresja liniowa z błędami Laplace'a

Rozważ model regresji liniowej:

$$y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n,$$ gdzie $\varepsilon _i \sim \mathcal L(0, b)$ , to znaczy , Rozkład Laplace'a ze średnią $0$ i parametrem skali $b$ , wszystkie są wzajemnie niezależne. Rozważ maksymalne oszacowanie prawdopodobieństwa nieznanego parametru $\boldsymbol \beta$ : $$-\log p(\mathbf y \mid \mathbf X, \boldsymbol \beta, b) = n\log (2b) + \frac 1b\sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$$ z którego $$\hat{\boldsymbol \beta}_{\mathrm {ML}} = {\arg\min }_{\boldsymbol \beta \in \mathbb R^m} \sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$$

Jak znaleźć rozkład reszt $\mathbf y - \mathbf X\hat{\boldsymbol \beta}_{\mathrm {ML}}$ w tym modelu?

Przyjmuje się, że reszty (faktycznie nazywane błędami) są losowo rozmieszczone z rozkładem podwójnie wykładniczym (rozkład Laplace'a). Jeśli dopasowujesz te punkty danych xiy, zrób to numerycznie. Najpierw obliczasz beta-hat_ML dla tych punktów jako całości, korzystając ze wzoru podanego powyżej. To określi linię przechodzącą przez punkty. Następnie odejmij wartość y każdego punktu od wartości y linii przy tej wartości x. Jest to pozostałość dla tego punktu. Resztki wszystkich punktów można wykorzystać do zbudowania histogramu, który da ci rozkład reszt.

Jest na ten temat dobry artykuł matematyczny autorstwa Yang (2014) .

--Zawietrzny