Różnica między uśrednieniem danych a dopasowaniem i dopasowaniem danych a następnie uśrednieniem

Jeśli istnieje, między dopasowaniem linii do wielu oddzielnych „eksperymentów”, a następnie uśrednieniem pasowań lub uśrednieniem danych z oddzielnych eksperymentów, a następnie dopasowaniem uśrednionych danych. Pozwól mi rozwinąć:

Wykonuję symulacje komputerowe, które generują krzywą, pokazaną poniżej. Wydobywamy ilość, nazwijmy ją „A”, dopasowując region liniowy wykresu (długi czas). Wartość jest po prostu nachyleniem regionu liniowego. Z regresją liniową związany jest oczywiście błąd.

Zazwyczaj przeprowadzamy około 100 takich symulacji w różnych warunkach początkowych, aby obliczyć średnią wartość „A”. Powiedziano mi, że lepiej jest uśrednić surowe dane (z poniższego wykresu) na grupy, powiedzmy 10, następnie dopasować do „A” i uśrednić te 10 „A” razem.

Nie mam intuicji, czy ma to jakąś wartość, czy też jest lepsze niż dopasowanie 100 pojedynczych wartości „A” i uśrednienie ich.

error fitting average pragmatist1
źródło

Nie jestem pewien, czy rozumiem: A w różnych momentach, a następnie ? Następnie robisz to kilka razy i bierzesz średnią wszystkich ?

A = β_{0} + β_{1} t

$A= \beta_0 +\beta_1 t$

β_{1}

$\beta_1$

Przepraszam, nie. Powyższy wykres jest wynikiem pojedynczej symulacji (nazwijmy to eksperymentem). Początkowy obszar nieliniowy jest odrzucany, a następnie dopasowujemy linię do części liniowej i uzyskujemy nachylenie „A”. Tak więc jedna cała symulacja daje jedno oszacowanie „A”. Oczywiście moje pytanie dotyczy tego, czy uśrednienie wielu wykresów, a następnie obliczenie A różni się od obliczenia A dla kilku wykresów i uśrednienia ich. Nadzieja, która wyjaśnia.

pragmatist1

Nie rozumiem, dlaczego miałoby to mieć znaczenie? (jeśli założenia dla regresji liniowej są spełnione)

Wydaje mi się, że dopasowanie nigdy nie idzie źle / nie zbiega się / nie podaje absurdalnie stromych oszacowań z powodu małych eksperymentów? Byłoby to coś, w czym mogłoby pomóc połączenie pierwszego (lub hierarchicznego modelu).

Björn

Możesz także dopasować wszystkie dane do siebie, ale zawierać jakiś element do rozróżnienia eksperymentów (różne przechwyty dla każdego eksperymentu lub nawet różne nachylenia), coś w stylu liniowego modelu mieszanego. W ten sposób możesz

oszacować

Odpowiedzi:

Wyobraźmy sobie, że jesteśmy w kontekście danych panelowych, w których występują różnice w czasie oraz między firmami . Pomyśl o każdym okresie jako osobnym eksperymencie. Rozumiem twoje pytanie jako równoważne z oszacowaniem efektu przy użyciu: $t$ $i$ $t$

Zróżnicowanie przekrojowe średnich szeregów czasowych.
Średnie szeregów czasowych zmienności przekroju.

Ogólnie odpowiedź brzmi: nie.

Ustawić:

W moim sformułowaniu możemy traktować każdy okres jako osobny eksperyment. $t$

Powiedzmy, że masz zrównoważony panel długości na firm. Jeśli dzielimy każdy przedział czasu na itp., Możemy zapisać ogólne dane jako: $T$ $n$ $(X_t, \mathbf{y}_t)$

Y = [\begin{matrix} y_{1} \\ y_{2)} \\ \dots \\ y_{n} \end{matrix}] X = [\begin{matrix} X_{1} \\ X_{2)} \\ \dots \\ X_{n} \end{matrix}]

$Y = \begin{bmatrix} \mathbf{y}_1 \\ \mathbf{y}_2 \\ \ldots \\ \mathbf{y}_n \end{bmatrix} \quad \quad X = \begin{bmatrix} X_1 \\ X_2 \\ \ldots \\ X_n \end{bmatrix}$

Średnia pasowań:

\begin{aligned} \frac{1}{T.} \sum_{t} b_{t} & = \frac{1}{T.} \sum_{t} {(X_{t}^{'} X_{t})}^{- 1} X_{t}^{'} y_{t} \\ = \frac{1}{T.} \sum_{t} {S.}_{t}^{- 1} (\frac{1}{n} \sum_{ja} x_{t, ja} y_{t, ja}) gdzie {S.}_{t} = \frac{1}{n} \sum_{ja} x_{t, ja} x_{t, ja}^{'} \end{aligned}

$\begin{align*} \frac{1}{T} \sum_t \mathbf{b}_t &= \frac{1}{T} \sum_t \left(X_t'X_t \right)^{-1} X_t' \mathbf{y}_t \\ &= \frac{1}{T} \sum_t S^{-1}_t \left( \frac{1}{n} \sum_i \mathbf{x}_{t,i} y_{t,i}\right) \quad \text{where } S_t = \frac{1}{n} \sum_i \mathbf{x}_{t,i} \mathbf{x}_{t,i}' \end{align*}$

Dopasowanie średnich:

Zasadniczo nie jest to równe oszacowaniu opartemu na zmienności przekrojowej średnich szeregów czasowych (tj. Między estymatorem).

{(\frac{1}{n} \sum_{ja} {\bar{x}}_{ja} {\bar{x}}_{ja}^{'})}^{- 1} \frac{1}{n} \sum_{ja} {\bar{x}}_{ja} {\bar{y}}_{ja}

$\left( \frac{1}{n} \sum_i \bar{\mathbf{x}}_i \bar{\mathbf{x}}_i' \right)^{-1} \frac{1}{n} \sum_i \bar{\mathbf{x}}_i \bar{y}_i$

Gdzie itd. ... $\bar{\mathbf{x}}_i = \frac{1}{T} \sum_t \mathbf{x}_{t, i}$

Łączna ocena OLS:

Warto zastanowić się nad zbiorczym oszacowaniem OLS. Co to jest? Następnie użyj

\begin{aligned} \hat{b} & = {(X^{'} X)}^{- 1} X^{'} Y \\ = {(\frac{1}{n T.} \sum_{t} X_{t}^{'} X_{t})}^{- 1} (\frac{1}{n T.} \sum_{t} X_{t}^{'} y_{ja}) \end{aligned}

$\begin{align*} \hat{\mathbf{b}} &= \left(X'X\right)^{-1}X'Y \\ &= \left( \frac{1}{nT} \sum_t X_t'X_t \right)^{-1} \left( \frac{1}{nT} \sum_t X_t' \mathbf{y}_i \right) \end{align*}$

b_{t} = {(X_{t}^{'} X_{t})}^{- 1} X_{t}^{'} y_{i}

$\mathbf{b}_t = \left(X_t'X_t \right)^{-1}X_t' \mathbf{y}_i$

\begin{aligned} = {(\frac{1}{n T.} \sum_{t} X_{t}^{'} X_{t})}^{- 1} (\frac{1}{n T.} \sum_{t} X_{t}^{'} X_{t} b_{t}) \end{aligned}

$\begin{align*} &= \left( \frac{1}{nT} \sum_t X_t'X_t \right)^{-1} \left( \frac{1}{nT} \sum_t X_t'X_t \mathbf{b}_t \right) \end{align*}$

Niech i będą naszymi szacunkami odpowiednio dla pełnej próbki i okresu . Potem będzie: $S = \frac{1}{nT} \sum_i X'X$ $S_t = \frac{1}{n} X_t'X_t$ $\operatorname{E}[\mathbf{x}\mathbf{x}']$ $t$

\begin{aligned} \hat{b} & = \frac{1}{T.} \sum_{t} ({S.}^{- 1} {S.}_{t}) b_{t} \end{aligned}

$\begin{align*} \hat{\mathbf{b}} &= \frac{1}{T} \sum_t \left( S^{-1} S_t \right) \mathbf{b}_t \end{align*}$

Jest to coś w rodzaju średniej z różnych szacunków czasowych , ale jest nieco inne. W pewnym sensie przywiązujesz większą wagę do okresów o większej zmienności zmiennych po prawej stronie. $\mathbf{b}_t$

Przypadek specjalny: zmienne po prawej stronie są niezmienne czasowo i specyficzne dla firmy

Jeśli zmienne po prawej stronie dla każdej firmy są stałe w czasie (tj. dla dowolnego i ), to dla wszystkich i mielibyśmy: $i$ $X_{t_1} = X_{t_2}$ $t_1$ $t_2$ $S = S_t$ $t$

\hat{b} = \frac{1}{T.} \sum_{t} b_{t}

$\hat{\mathbf{b}} = \frac{1}{T} \sum_t \mathbf{b}_t$

Zabawny komentarz:

Tak jest w przypadku Fama i Macbeth, w którym, kiedy zastosowali tę technikę uśredniania szacunków przekrojowych, aby uzyskać spójne błędy standardowe przy szacowaniu, w jaki sposób oczekiwane zwroty różnią się w zależności od kowariancji firm na rynku (lub innych ładunków czynnikowych).

Procedura Fama-Macbeth jest intuicyjnym sposobem na uzyskanie spójnych standardowych błędów w kontekście panelu, gdy terminy błędów są skorelowane przekrojowo, ale niezależne w czasie. Bardziej nowoczesną techniką, która daje podobne wyniki, jest grupowanie na czas.

Matthew Gunn
źródło

(Uwaga: nie mam wystarczającej reputacji, aby móc komentować, więc zamieszczam to jako odpowiedź).

W przypadku konkretnego postawionego pytania odpowiedź fcop jest prawidłowa: dopasowanie średniej jest takie samo jak uśrednienie pasowań (przynajmniej dla liniowych najmniejszych kwadratów). Warto jednak wspomnieć, że którekolwiek z tych naiwnych podejść „ online ” może dać stronnicze wyniki, w porównaniu do dopasowania wszystkich danych jednocześnie. Ponieważ oba są równoważne, skupię się na podejściu „dopasuj do średniej”. W istocie, montaż uśrednionej KRZYWYCH pomija pewne wątpliwości w wartości pomiędzy różnymi punktów. Na przykład jeśli , , a , to $\bar{y}[x]=\langle y[x]\rangle$ $y$ $x$ $y_1[x_1]=y_2[x_1]=2$ $y_1[x_2]=1$ $y_1[x_2]=3$ $\bar{y}[x_1]=\bar{y}[x_2]=2$ , ale przy każdym dopasowaniu krzywej powinno być znacznie więcej uwagi na temat niedopasowania na porównaniu z . $x_1$ $x_2$

Zauważ, że większość naukowych platform oprogramowania powinna mieć narzędzia do obliczania / aktualizacji prawdziwego dopasowania „najmniejszych kwadratów” online (znanego jako rekurencyjne najmniejsze kwadraty ). Można więc wykorzystać wszystkie dane (jeśli jest to pożądane).

GeoMatt22
źródło

Odpowiedź wysłana przez fcop została usunięta. Możesz nieco zmienić swoją odpowiedź

Glen_b