Co to jest notacja algebraiczna do obliczania przedziału predykcji dla regresji wielokrotnej? Brzmi głupio, ale mam problem ze znalezieniem wyraźnej algebraicznej notacji tego.
Jeśli najlepszym przybliżeniem liniowym (przy użyciu najmniejszych kwadratów) moich punktów danych jest linia y=mx+by=mx+by=mx+b , jak mogę obliczyć błąd przybliżenia? Jeśli obliczę odchylenie standardowe różnic między obserwacjami i prognozami
Pytanie jest bardzo proste: dlaczego, kiedy próbujemy dopasować model do naszych danych, liniowy lub nieliniowy, zwykle próbujemy zminimalizować sumę kwadratów błędów, aby uzyskać nasz estymator parametru modelu? Dlaczego nie wybrać innej funkcji celu do zminimalizowania? Rozumiem, że z przyczyn...
Oprócz wyjątkowych okoliczności, w których absolutnie musimy zrozumieć zależność średnią, jakie są sytuacje, w których badacz powinien wybrać OLS zamiast regresji kwantylowej? Nie chcę, aby odpowiedź brzmiała „jeśli nie ma sensu rozumieć relacji ogona”, ponieważ moglibyśmy po prostu użyć regresji...
Kiedy wykonujemy wiele regresji i mówimy, że patrzymy na średnią zmianę zmiennej dla zmiany zmiennej , utrzymując wszystkie pozostałe zmienne na stałym poziomie, na jakich wartościach utrzymujemy inne zmienne jako stałe? Ich średni? Zero? Dowolna wartość?yyyxxx Jestem skłonny myśleć, że to ma...
Obraz znajduje się na stronie 204, rozdział 4 „Rozpoznawanie wzorów i uczenie maszynowe” autorstwa Bishopa, gdzie nie rozumiem, dlaczego rozwiązanie najmniejszych kwadratów daje tutaj słabe wyniki: Poprzedni akapit dotyczył faktu, że rozwiązania najmniejszych kwadratów nie są odporne na wartości...
Rozważ regresję kalenicową z dodatkowym ograniczeniem wymagającym, aby miał jednostkową sumę kwadratów (równoważnie wariancję jednostkową); w razie potrzeby można założyć, że ma również jednostkową sumę kwadratów:y^y^\hat{\mathbf y}yy\mathbf
Ostatnio odkryłem, że w stosowanej literaturze ekonometrycznej, gdy mamy do czynienia z problemami wyboru cech, nierzadko wykonuje się LASSO, a następnie regresję OLS przy użyciu wybranych zmiennych. Zastanawiałem się, jak możemy zakwalifikować ważność takiej procedury. Czy spowoduje to problemy...
Zaczynam od mojej regresji OLS: gdzie D jest zmienną fikcyjną, szacunki różnią się od zera niską wartością p. Następnie wykonuję test RESETU Ramseya i stwierdzam, że mam trochę błędnej specyfikacji równania, a zatem uwzględniam kwadrat x: y = β 0 + β 1 x 1 + β 2 x 2 1 + β 3 D + εy= β0+ β1x1+ β2)D...
Wiem, jak obliczyć PCA i SVD matematycznie, i wiem, że oba można zastosować do regresji liniowej najmniejszych kwadratów. Główną zaletą SVD matematycznie wydaje się być to, że można ją zastosować do macierzy niekwadratowych. Oba skupiają się na rozkładzie macierzyPoza wymienioną przewagą SVD, czy...
Przeczytałem to oświadczenie na jednym starym egzaminie prawda / fałsz: Możemy uzyskać wiele lokalnych optymalnych rozwiązań, jeśli rozwiążemy problem regresji liniowej, minimalizując sumę błędów kwadratu za pomocą spadku gradientu. Rozwiązanie: Fałsz Moje pytanie brzmi, która część tego...
Próbuję dopasować regresję, aby wyjaśnić liczbę zabójstw w każdej dzielnicy miasta. Chociaż wiem, że moje dane są zgodne z rozkładem Poissona, próbowałem dopasować taki OLS: log(y+1)=α+βX+ϵlog(y+1)=α+βX+ϵlog(y+1) = \alpha + \beta X + \epsilon Następnie spróbowałem (oczywiście!) Regresji...
Z An Introduction to Statistical Learning przez James i wsp., Przerwa, jeden z krzyżowego (LOOCV) oszacowanie jest określone przez CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i gdzieMSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i =...
Jeśli ma pełną pozycję, istnieje odwrotność i otrzymujemy oszacowanie najmniejszych kwadratów: iXXXXTXXTXX^TXβ^=(XTX)−1XYβ^=(XTX)−1XY\hat\beta = (X^TX)^{-1}XYVar(β^)=σ2(XTX)−1Var(β^)=σ2(XTX)−1\operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1} Jak intuicyjnie wyjaśnić we wzorze wariancji?...
Mam wrażenie, że na podstawie kilku artykułów, książek i artykułów, które przeczytałem, zalecanym sposobem dopasowania rozkładu prawdopodobieństwa na zbiorze danych jest oszacowanie maksymalnego prawdopodobieństwa (MLE). Jednak jako fizyk bardziej intuicyjny sposób polega na dopasowaniu pdf modelu...
Widziałem tę listę tutaj i nie mogłem uwierzyć, że istnieje tak wiele sposobów rozwiązania najmniejszych kwadratów. „Normalne równania” na Wikipedii wydawał się być dość prosty sposób do α^β^=y¯−β^x¯,=∑ni=1(xi−x¯)(yi−y¯)∑ni=1(xi−x¯)2α^=y¯−β^x¯,β^=∑i=1n(xi−x¯)(yi−y¯)∑i=1n(xi−x¯)2 {\displaystyle...
Mam pytanie dotyczące pominiętej zmienności stronniczej w regresji logistycznej i liniowej. Powiedzmy, że pomijam niektóre zmienne z modelu regresji liniowej. Udawaj, że te pominięte zmienne nie są skorelowane ze zmiennymi, które zawarłem w moim modelu. Te pominięte zmienne nie wpływają na...
Zastanawiałem się, czy istnieje związek między a testem F.R2R2R^2 Zwykle i mierzy siłę związek liniowy w regresji.R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R^2=\frac {\sum (\hat Y_t - \bar Y)^2 / T-1} {\sum( Y_t - \bar Y)^2 / T-1} Test F tylko potwierdza hipotezę. Czy istnieje...
Nie jestem pewien, czy normalizacja jest tu właściwym słowem, ale postaram się zilustrować, o co próbuję zapytać. Zastosowany tutaj estymator to najmniej kwadratów. Załóżmy, że masz y=β0+β1x1y=β0+β1x1y=\beta_0+\beta_1x_1 , możesz wyśrodkować go wokół średniej o...
Jestem w tym całkiem nowy, więc mam nadzieję, że wybaczysz mi, jeśli pytanie jest naiwne. (Kontekst: Uczę się ekonometrii z książki Davidsona i MacKinnona „Teoria ekonometryczna i metody” i wydaje się, że nie wyjaśniają tego; przyjrzałem się także książce optymalizacyjnej Luenbergera, która zajmuje...