Przeprowadzam analizę, w której głównym celem jest zrozumienie danych. Zestaw danych jest wystarczająco duży do weryfikacji krzyżowej (10k), a predyktory obejmują zarówno zmienne ciągłe, jak i zmienne, a wynik jest ciągły. Głównym celem było sprawdzenie, czy sensowne jest wyrzucenie niektórych...
Wiem, że OLS jest bezstronny, ale nieskuteczny przy heteroscedastyczności w ustawieniu regresji liniowej. W Wikipedii http://en.wikipedia.org/wiki/Minimum_mean_square_error Estymator MMSE jest asymptotycznie obiektywny i zbiega się w rozkładzie do rozkładu normalnego: , gdzie I (x) to...
Usiłuję zrozumieć wyniki analizy głównych składników wykonanych w następujący sposób: > head(iris) Sepal.Length Sepal.Width Petal.Length Petal.Width Species 1 5.1 3.5 1.4 0.2 setosa 2 4.9 3.0 1.4 0.2 setosa 3 4.7 3.2 1.3 0.2 setosa 4 4.6 3.1 1.5 0.2 setosa 5 5.0 3.6 1.4 0.2 setosa 6 5.4 3.9...
Czasami zakładamy, że regresory są stałe, tzn. Nie są stochastyczne. Myślę , że to oznacza, że wszystkie nasze predyktory, oszacowania parametrów itp. Są zatem bezwarunkowe, prawda? Czy mogę nawet posunąć się tak daleko, że nie są już zmiennymi losowymi? Jeśli z drugiej strony przyjmiemy, że...
Odtąd myślałem X, YX,YX, Y są z N.( 0 , 1 )N.(0,1)N(0,1) i są więc niezależni X- 2 YX-2)YX - 2Y ma rozkład N.( 0 , 5 )N.(0,5)N(0, 5). NastępnieX- 2Y> 0X-2)Y>0X-2Y > 0 ma prawdopodobieństwo 1 / 21/2)1/2. Wydaje mi się, że powyższe jest poprawne, choć wydaje się, że wtedy X> n...
Dzisiaj natknąłem się na książkę „Teoria informacji: wprowadzenie do samouczka” Jamesa Stone'a i przez chwilę zastanawiałem się nad zakresem zastosowania teorii informacji w nauce o danych stosowanych (jeśli nie czujesz się komfortowo z tym wciąż nieco rozmytym terminem, pomyśl o analizie danych ,...
Tak więc, dla zabawy, pobieram niektóre dane połączeń z call center, w którym pracuję, i próbuję przetestować na nich kilka hipotez, a konkretnie liczbę połączeń odebranych w ciągu tygodnia, i dopasowuję je rozkładem Poissona. Ze względu na przedmiot mojej pracy istnieją dwa rodzaje tygodni,...
Dobrze wiadomo, że liniowa kombinacja 2 losowych zmiennych normalnych jest również losową zmienną normalną. Czy istnieją jakieś wspólne niestandardowe rodziny dystrybucji (np. Weibull), które również dzielą tę właściwość? Wydaje się, że istnieje wiele kontrprzykładów. Na przykład liniowa kombinacja...
12 nauczycieli uczy 600 uczniów. 12 kohort nauczanych przez tych nauczycieli mieści się w przedziale od 40 do 90 studentów i oczekujemy systematycznych różnic między kohortami, ponieważ absolwenci byli nieproporcjonalnie przydzieleni do poszczególnych kohort, a wcześniejsze doświadczenia wykazały,...
6-stronna kostka jest rzutowana iteracyjnie. Jaka jest oczekiwana liczba rzutów wymagana do uzyskania sumy większej lub równej K? Przed edycją P(Sum>=1 in exactly 1 roll)=1 P(Sum>=2 in exactly 1 roll)=5/6 P(Sum>=2 in exactly 2 rolls)=1/6 P(Sum>=3 in exactly 1 roll)=5/6 P(Sum>=3 in...
Dla zabawy chcę zobrazować moje miesięczne zużycie energii w gospodarstwach domowych w ujęciu rocznym. Chciałbym jednak dołączyć pewne odniesienie do miesięcznej temperatury, dzięki czemu mogę ustalić, czy mój dom lub zachowanie poprawia się, pogarsza lub utrzymuje stałe w odniesieniu do zużycia...
Biorąc pod uwagę przypadków raka płuc i dopasowanych kontroli (bez raka płuc) (dopasowanie w zależności od wieku, płci itp.). Aby znaleźć dowody na wpływ palenia na raka płuc, zastosowałem dokładny test Fishera na stole awaryjnym. Nie wzięto jednak pod uwagę, że kontrole i przypadki zostały...
Ten artykuł twierdzi, że w CART, ponieważ podział binarny jest wykonywany na jednej zmiennej towarzyszącej na każdym etapie, wszystkie podziały są ortogonalne, a zatem interakcje między zmiennymi towarzyszącymi nie są brane pod uwagę. Jednak wiele bardzo poważnych odniesień twierdzi, wręcz...
Mam zestaw danych ze zmienną ciągłą i binarną zmienną docelową (0 i 1). Muszę zdyskretyzować zmienne ciągłe (w przypadku regresji logistycznej) w odniesieniu do zmiennej docelowej oraz z ograniczeniem, że częstotliwość obserwacji w każdym przedziale powinna być zrównoważona. Próbowałem algorytmów...
Chcę nauczyć się (wydedukować) wagi atrybutów dla mojej miary niepodobieństwa, której mogę używać do grupowania. Mam kilka przykładów par obiektów, które są „podobne” (powinny znajdować się w tej samej grupie), a także kilka przykładów par obiektów, które są „nie podobne” (nie powinny być w tej...
W Random Forest każde drzewo jest uprawiane równolegle na unikalnej próbce danych doładowania. Ponieważ oczekuje się, że każda próbka przypominająca zawiera około 63% unikalnych obserwacji, pozostawia to około 37% obserwacji, które można wykorzystać do testowania drzewa. Teraz wydaje się, że w...
Mam kilka modeli predykcyjnych, których wydajność chciałbym przetestować ponownie (tj. Zabrać mój zestaw danych, „przewinąć” go do poprzedniego momentu i zobaczyć, jak ten model działałby prospektywnie). Problem polega na tym, że niektóre z moich modeli zostały zbudowane w procesie interaktywnym....
Mam dwa różne łańcuchy Markowa, każdy z jednym stanem pochłaniania i znaną pozycją początkową. Chcę określić prawdopodobieństwo, że łańcuch 1 osiągnie stan pochłaniania w mniejszej liczbie kroków niż łańcuch 2. Myślę, że mogę obliczyć prawdopodobieństwo osiągnięcia stanu pochłaniania w danym...
Pytania: Jaka jest różnica między drzewkami regresji wzmocnionej (BRT) a uogólnionymi modelami wzmocnionej (GBM)? Czy można ich używać zamiennie? Czy jedna jest specyficzną formą drugiej? Dlaczego Ridgeway użył wyrażenia „Uogólnione modele regresji wzmocnionej” (GBM), aby opisać to, co Friedman...
Jak powinienem zrozumieć anovawynik, porównując dwa modele? Przykład: Res.Df RSS Df Sum of Sq F Pr(>F) 1 9 54.032 2 7 4.632 2 49.4 37.329 0.0001844 *** Strona podręcznika stwierdza: „Obliczanie tabel wariancji (lub dewiacji) dla jednego lub większej liczby dopasowanych obiektów modelu”....