Uważam, że generowanie wykresów przez R może zająć dużo czasu, gdy obecne są miliony punktów - nic dziwnego, biorąc pod uwagę, że punkty są drukowane indywidualnie. Ponadto takie wykresy są często zbyt zagracone i gęste, aby były przydatne. Wiele punktów nakłada się i tworzy czarną masę, a wiele...
Czy możliwe jest zwizualizowanie wyników analizy głównych składników w sposób zapewniający lepszy wgląd niż tylko tabele podsumowań? Czy można to zrobić, gdy liczba obserwacji jest duża, powiedzmy ~ 1e4? I czy można to zrobić w R [mile widziane inne
Wikipedia wyjaśnia: W przypadku zestawu danych średnia to suma wartości podzielona przez liczbę wartości. Ta definicja odpowiada jednak temu, co nazywam „przeciętnym” (przynajmniej tak pamiętam naukę). Jeszcze Wikipedia cytuje: Istnieją inne miary statystyczne, które wykorzystują próbki,...
Jaki jest wzór na wariancję iloczynu zmiennych zależnych? W przypadku zmiennych niezależnych formuła jest prosta: v a r (XY) = E( X2)Y2)) - E( XY)2)= v a r ( X) v a r ( Y) + v a r ( X) E( Y)2)+ v a r ( Y) E( X)2)var(XY)=E(X2Y2)−E(XY)2=var(X)var(Y)+var(X)E(Y)2+var(Y)E(X)2 {\rm var}(XY) =...
W mojej pracy porównujemy przewidywane rankingi z prawdziwymi rankingami dla niektórych zestawów danych. Do niedawna korzystaliśmy z Kendall-Tau sam. Grupa pracująca nad podobnym projektem zasugerowała, że zamiast tego próbujemy użyć gammy Goodmana-Kruskala i wolą ją. Zastanawiałem się, jakie były...
Typowe procedury wyboru zmiennych oparte na danych (na przykład do przodu, do tyłu, krokowo, wszystkie podzbiory) mają tendencję do uzyskiwania modeli o niepożądanych właściwościach, w tym: Współczynniki odchylone od zera. Błędy standardowe, które są zbyt małe, a przedziały ufności, które są zbyt...
Powszechnie wiadomo, że przedziały ufności i testowanie hipotez statystycznych są ściśle powiązane. Moje pytania koncentrują się na porównaniu średnich dla dwóch grup w oparciu o zmienną numeryczną. Załóżmy, że taka hipoteza jest testowana przy użyciu testu t. Z drugiej strony można obliczyć...
Chcę wygenerować fabułę opisaną w książce ElemStatLearn „Elementy statystycznego uczenia się: eksploracja danych, wnioskowanie i przewidywanie. Drugie wydanie” Trevora Hastiego i Roberta Tibshirani i Jerome Friedmana. Fabuła jest: Zastanawiam się, jak mogę stworzyć ten dokładny wykres R,...
To wygląda na podobne pytanie i nie uzyskało wielu odpowiedzi. Pomijając testy, takie jak D Cooka, i patrząc na resztki jako grupę, interesuje mnie, w jaki sposób inni używają resztek podczas oceny dobroci dopasowania. Używam surowych pozostałości: na wykresie QQ do oceny normalności w wykresie...
W maju 2010 r. Użytkownik Wikipedii Mcorazao dodał zdanie do artykułu o skośności: „Wartość zero wskazuje, że wartości są względnie równomiernie rozłożone po obu stronach średniej, zazwyczaj, ale niekoniecznie, implikując rozkład symetryczny”. Jednak na stronie wiki nie ma faktycznych przykładów...
Jakie są przydatne wskazówki dotyczące testowania parametrów (tj. Głębokość interakcji, dziecko, częstotliwość próbkowania itp.) Za pomocą GBM? Powiedzmy, że mam 70-100 funkcji, populację 200 000 i zamierzam przetestować głębokość interakcji 3 i 4. Oczywiście muszę przeprowadzić testy, aby...
Czy można obliczyć wartości AIC lub BIC dla modeli regresji lasso i innych modeli znormalizowanych, w których parametry tylko częściowo wchodzą do równania. Jak określa się stopnie swobody? Używam R, aby dopasować modele regresji lasso z glmnet()funkcją z glmnetpakietu i chciałbym wiedzieć, jak...
W tym artykule utalentowany badacz Cosma Shalizi przekonuje, że aby w pełni zaakceptować subiektywny pogląd bayesowski, należy również zaakceptować niefizyczny wynik, że strzałka czasu (podana przez przepływ entropii) powinna faktycznie cofnąć się . Jest to głównie próba argumentacji przeciwko...
W zbiorze danych dwóch nie pokrywających się populacji (pacjenci i osoby zdrowe, ogółem n=60n=60n=60 ) chciałbym znaleźć (spośród zmiennych niezależnych) znaczące predyktory dla zmiennej zależnej ciągłej. Występuje korelacja między predyktorami. Chcę dowiedzieć się, czy któryś z predyktorów jest...
/ edit: Dalsze działania teraz możesz użyć irlba :: prcomp_irlba / edit: śledzenie mojego własnego posta. irlbama teraz argumenty „środkowy” i „skalowany”, które pozwalają go używać do obliczania podstawowych składników, np .: pc <- M %*% irlba(M, nv=5, nu=0, center=colMeans(M),...
Powiedzmy, że mam 1000 komponentów i zbieram dane o tym, ile razy rejestrują awarię i za każdym razem, gdy logują awarię, śledzę również, ile czasu zajęło mojemu zespołowi usunięcie problemu. Krótko mówiąc, rejestrowałem czas naprawy (w sekundach) dla każdego z tych 1000 elementów. Dane podano na...
Czy „głębokie uczenie się” to kolejny termin na modelowanie wielopoziomowe / hierarchiczne? Jestem znacznie bardziej zaznajomiony z tym drugim niż ten pierwszy, ale z tego, co mogę powiedzieć, podstawowa różnica nie polega na ich definicji, ale na tym, jak są one używane i oceniane w ich domenie...
Korzystam z narzędzia libsvm ( http://www.csie.ntu.edu.tw/~cjlin/libsvm/ ) do klasyfikacji wektora wsparcia. Jestem jednak zdezorientowany co do formatu danych wejściowych. Z README: Format pliku danych szkoleniowych i testowych to: <label> <index1>:<value1>...
Johansson (2011) w „ Zdrowaś niemożliwe: wartości p, dowody i prawdopodobieństwo ” (tutaj również link do czasopisma ) stwierdza, że niższe wartości są często uważane za silniejsze dowody przeciw zerowej wartości. Johansson sugeruje, że ludzie uznaliby dowody przeciwko wartości zerowej za...
Czytam bardzo interesujący artykuł Sellersa i Shmueli na temat modeli regresji dla danych zliczania. Na początku (s. 944) przytaczają McCullaugh i Nelder (1989), twierdząc, że regresja dwumianowa jest niepopularna i ma problematyczne powiązanie kanoniczne. Znalazłem wspomniany fragment i mówi (s....