Odnosi się do ogólnej techniki szacowania, która wybiera wartość parametru, aby zminimalizować kwadratową różnicę między dwiema wielkościami, taką jak wartość obserwowana zmiennej i oczekiwana wartość tej obserwacji uwarunkowana wartością parametru. Gaussowskie modele liniowe pasują do najmniejszych kwadratów, a najmniejsze kwadraty to idea leżąca u podstaw zastosowania błędu średniego kwadratu (MSE) jako metody oceny estymatora.
W jakich okolicznościach należy rozważyć zastosowanie metod regularyzacji (regresja kalenicy, lasso lub najmniejszych kątów) zamiast OLS? W przypadku gdy pomaga to w prowadzeniu dyskusji, moim głównym zainteresowaniem jest poprawienie dokładności
Dla badań symulacyjnych mam do generowania zmiennych losowych, które wykazują prefined (populacji) korelację do istniejącej zmiennej .YYY I spojrzał w Ropakowaniach copula, a CDVinektóre mogą powodować przypadkowe wielowymiarowych rozkładów danej struktury zależności. Nie można jednak naprawić...
Rozumiem, że oszacowanie regresji grzbietu to która minimalizuje resztkową sumę kwadratu i kara za rozmiarββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} +...
Dlaczego warto korzystać z podstawowego średniego błędu kwadratu (RMSE) zamiast średniego bezwzględnego błędu (MAE)? cześć Badałem błąd wygenerowany w obliczeniach - początkowo obliczyłem błąd jako błąd pierwiastkowy znormalizowany do kwadratu. Patrząc trochę bliżej, widzę, że efekt kwadratu...
Pozornie renomowane źródła twierdzą, że zmienna zależna musi być normalnie dystrybuowana: Założenia modelu: YYY jest normalnie rozłożone, błędy są normalnie rozłożone, ei∼N(0,σ2)ei∼N(0,σ2)e_i \sim N(0,\sigma^2) i niezależne, a XXX jest stały, a stała wariancja σ2σ2\sigma^2 . Penn State, STAT...
Na tej stronie jest kilka wątków omawiających, jak ustalić, czy reszty OLS są asymptotycznie normalnie rozłożone. Inny sposób oceny normalności reszt za pomocą kodu R znajduje się w tej doskonałej odpowiedzi . To kolejna dyskusja na temat praktycznej różnicy między znormalizowanymi a...
Jaka jest główna różnica między oszacowaniem maksymalnego prawdopodobieństwa (MLE) a oszacowaniem metodą najmniejszych kwadratów (LSE)? Dlaczego nie możemy użyć MLE do przewidywania wartości w regresji liniowej i odwrotnie?yyy Każda pomoc na ten temat będzie bardzo mile...
Zwykle słyszę o „zwykłych najmniejszych kwadratach”. Czy to najczęściej stosowany algorytm regresji liniowej? Czy istnieją powody, by użyć
Dlaczego de facto standardowa funkcja sigmoidalna tak popularna w (nie-głębokich) sieciach neuronowych i regresji logistycznej?11+e−x11+e−x\frac{1}{1+e^{-x}} Dlaczego nie używamy wielu innych pochodnych funkcji, z szybszym czasem obliczeń lub wolniejszym rozpadem (więc zanikający gradient...
Mam pewne problemy z wyprowadzeniem rozwiązania regresji kalenicowej. Znam rozwiązanie regresji bez terminu regularyzacji: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Ale po dodaniu terminu L2 do funkcji kosztu, w jaki sposób rozwiązanie staje
Kiedy przeprowadzamy regresję liniową aby dopasować kilka punktów danych , klasyczne podejście minimalizuje błąd kwadratu. Od dawna zastanawia mnie pytanie, które zminimalizowanie błędu kwadratu da taki sam wynik, jak zminimalizowanie błędu absolutnego ? Jeśli nie, dlaczego minimalizacja błędu...
Próbuję uruchomić regresję OLS: DV: Zmiana masy ciała w ciągu roku (waga początkowa - waga końcowa) IV: Czy ćwiczysz czy nie. Wydaje się jednak rozsądne, że cięższe osoby będą tracić więcej masy na jednostkę ćwiczeń niż osoby szczuplejsze. Dlatego chciałem dołączyć zmienną kontrolną: CV:...
Czy ktoś może polecić dobre przedstawienie teorii stojącej za częściową regresją najmniejszych kwadratów (dostępną online) dla kogoś, kto rozumie SVD i PCA? Przejrzałem wiele źródeł online i nie znalazłem niczego, co miałoby właściwe połączenie rygorystyczności i dostępności. Przyjrzałem się...
tło Załóżmy, że mamy model zwykłych najmniejszych kwadratów, w którym mamy współczynniki w naszym modelu regresji, kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} gdzie to wektor współczynników , to macierz projektowa zdefiniowana
Zawsze używam lm()w R do regresji liniowej na . Ta funkcja zwraca współczynnik taki, żeyyyxxxββ\betay=βx.y=βx.y = \beta x. Dzisiaj dowiedziałem się o całkowitej liczbie najmniejszych kwadratów i tej princomp()funkcji (analiza głównego składnika, PCA) można użyć do jej wykonania. To powinno być dla...
Właśnie natknąłem się na ten artykuł , który opisuje, jak obliczyć powtarzalność (aka niezawodność, aka korelacja wewnątrzklasowa) pomiaru za pomocą modelowania efektów mieszanych. Kod R byłby następujący: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc =...
Chciałbym zrozumieć, dlaczego w modelu OLS rozkłada się RSS (resztkową sumę kwadratów) χ2⋅(n−p)χ2⋅(n−p)\chi^2\cdot (n-p) ( ppp oznacza liczbę parametrów w modelu, nnn liczbę obserwacji). Przepraszam, że zadałem tak podstawowe pytanie, ale wydaje się, że nie jestem w stanie znaleźć odpowiedzi...
W jaki sposób powiązane są PCA, LDA, CCA i PLS? Wszystkie wydają się „widmowe” i algebraiczne liniowe i bardzo dobrze rozumiane (powiedzmy, że ponad 50 lat teorii wokół nich zbudowanych). Są używane do bardzo różnych rzeczy (PCA do redukcji wymiarów, LDA do klasyfikacji, PLS do regresji), ale nadal...
Jestem nowy w uczeniu maszynowym i staram się go uczyć na własną rękę. Niedawno czytałem notatki z wykładów i zadałem podstawowe pytanie. Slajd 13 mówi, że „Szacunek najmniejszych kwadratów jest taki sam jak Szacunek maksymalnego prawdopodobieństwa w modelu Gaussa”. Wygląda na to, że jest to coś...
Jeśli najlepszym przybliżeniem liniowym (przy użyciu najmniejszych kwadratów) moich punktów danych jest linia y=mx+by=mx+by=mx+b , jak mogę obliczyć błąd przybliżenia? Jeśli obliczę odchylenie standardowe różnic między obserwacjami i prognozami