Mam zestaw danych z założeniem, że najbliżsi sąsiedzi są najlepszymi predyktorami. Po prostu idealny przykład wizualizacji gradientu dwukierunkowego Załóżmy, że mamy przypadek, w którym brakuje kilku wartości, możemy łatwo przewidzieć na podstawie sąsiadów i trendu. Odpowiadająca macierz...
Próbuję znaleźć informacje dotyczące założeń regresji PLS (pojedynczy yyy ). Szczególnie interesuje mnie porównanie założeń PLS z regresją OLS. Przeczytałem / przejrzałem wiele literatury na temat PLS; artykuły Wolda (Svante i Herman), Abdiego i wielu innych, ale nie znalazły zadowalającego...
Muszę obliczyć kwartyle (Q1, mediana i Q3) w czasie rzeczywistym na dużym zestawie danych bez zapisywania obserwacji. Najpierw wypróbowałem algorytm P-kwadrat (Jain / Chlamtac), ale nie byłem z niego zadowolony (nieco za dużo procesora i nie przekonałem się precyzją przynajmniej w moim zestawie...
Właśnie miałem (intelektualny) atak paniki. Ciągła zmienna losowa, która następuje po mundurze w zamkniętym przedziale : wygodnie znana koncepcja statystyczna. U( a , b )U(a,b)U(a,b) Ciągły jednolity rv mający wsparcie nad rozszerzonymi rzeczywistymi (połową lub całością): nie odpowiedni rv, ale...
Ogólnie zastanawiam się, czy kiedykolwiek lepiej nie używać ortogonalnych wielomianów podczas dopasowywania regresji do zmiennych wyższego rzędu. W szczególności zastanawiam się nad użyciem R: Jeśli poly()z raw = FALSEprodukuje te same wartości, montowany poly()z raw = TRUEoraz polyz raw =...
Próbuję zrozumieć logikę testu chi-kwadrat. Test chi-kwadrat to . jest następnie porównywany z rozkładem chi-kwadrat, aby znaleźć wartość p. w celu odrzucenia lub nie hipotezy zerowej. : obserwacje pochodzą z rozkładu, którego użyliśmy do stworzenia naszych oczekiwanych wartości. Na przykład...
tło Próbuję zrozumieć pierwszy przykład w kursie na temat dopasowywania modeli (więc może się to wydawać absurdalnie proste). Obliczenia wykonałem ręcznie i pasują one do przykładu, ale kiedy powtórzę je w R, współczynniki modelu są wyłączone. Myślałem, że różnica może wynikać z tego, że...
Mam rozkład empiryczny . Obliczam to w następujący sposóbG(x)G(x)G(x) x <- seq(0, 1000, 0.1) g <- ecdf(var1) G <- g(x) Mam na myśli , tzn. to pdf, a to cdf.h Gh(x)=dG/dxh(x)=dG/dxh(x) = dG/dxhhhGGG Chcę teraz rozwiązać równanie dla górnej granicy całkowania (powiedzmy ), tak że...
Zwykle nie możemy narysować krzywej ROC dla dyskretnych klasyfikatorów, takich jak drzewa decyzyjne. Czy mam rację? Czy jest jakiś sposób na narysowanie krzywej ROC dla
Właśnie skończyłem „Wprowadzenie do uczenia statystycznego” . Zastanawiałem się, czy zastosowanie weryfikacji krzyżowej w celu znalezienia najlepszych parametrów dostrajania różnych technik uczenia maszynowego różni się od szpiegowania danych? Wielokrotnie sprawdzamy, która wartość parametru...
Mam dane o tym, ilu użytkowników publikuje ile pytań. Na przykład, [UserCount, QuestionCount] [2, 100] [9, 10] [3, 80] ... ... Oznacza to, że 2 użytkowników opublikowało 100 pytań, 9 użytkowników opublikowało 10 pytań i tak dalej. Jak więc ustalić, czy UserCount, QuestionCountrozkład jest...
Mam codzienne dane dotyczące sprzedaży produktu o dużej sezonowości. Chcę uchwycić sezonowość w modelu regresji. Czytałem, że jeśli masz dane kwartalne lub miesięczne, w takim przypadku możesz utworzyć odpowiednio 3 i 11 zmiennych zastępczych - ale czy mogę sobie poradzić z danymi dziennymi? Mam...
Wydaje mi się, że uczenie się w zespole zawsze da lepsze wyniki predykcyjne niż w przypadku jednej hipotezy uczenia się. Dlaczego więc nie używamy ich przez cały czas? Sądzę, że powodem są być może ograniczenia obliczeniowe? (nawet wtedy używamy słabych predyktorów, więc nie...
Podczas modelowania szeregów czasowych można (1) modelować strukturę korelacyjną terminów błędów, ponieważ np. Proces AR (1) (2) obejmuje zmienną zależną opóźnioną jako zmienną objaśniającą (po prawej stronie) Rozumiem, że są to czasem istotne powody, dla których warto (2). Jakie są jednak...
Otrzymałem model regresji logistycznej (via train) dla odpowiedzi binarnej i uzyskałem macierz dezorientacji logistycznej przez confusionMatrixin caret. Daje mi to macierz dezorientacji modelu logistycznego, choć nie jestem pewien, jakiego progu używa się do jej uzyskania. Jak uzyskać macierz...
Czytałem o obliczaniu wartości w modelach mieszanych i po przeczytaniu FAQ R-sig, innych postów na tym forum (zamieściłem kilka, ale nie mam wystarczającej reputacji) i kilku innych odniesień, rozumiem, że używając Wartości w kontekście modeli mieszanych są skomplikowane.R 2R2R2R^2R2R2R^2 Ostatnio...
(Podobne pytanie zadałem na stronie math.se. ) W geometrii informacji wyznacznikiem macierzy informacji Fishera jest naturalna postać objętości na rozmaitości statystycznej, więc ma dobrą interpretację geometryczną. Na przykład fakt, że pojawia się w definicji Jeffreys przed, jest związany z jej...
To pytanie może być zbyt proste. Jeśli chodzi o tymczasowy trend danych, chciałbym dowiedzieć się, w którym momencie następuje „nagła” zmiana. Na przykład na pierwszym rysunku pokazanym poniżej chciałbym znaleźć punkt zmiany za pomocą metody statystycznej. I chciałbym zastosować taką metodę w...
Czytam komentarz do artykułu, a autor stwierdza, że czasami, mimo że estymatory (znalezione przez ML lub maksymalne quasilikelihood) mogą nie być spójne, moc testu ilorazu wiarygodności lub quasi-ilorazu wiarygodności może nadal być zbieżna z 1, ponieważ liczba obserwowanych danych dąży do...
Nauczyłem się w statystyce elementarnej, że przy ogólnym modelu liniowym, aby wnioski były ważne, obserwacje muszą być niezależne. Kiedy występuje klastrowanie, niezależność może już nie prowadzić, prowadząc do nieprawidłowego wnioskowania, chyba że zostanie to uwzględnione. Jednym ze sposobów...