Statystyki i duże zbiory danych

Jakie są zalety i wady korzystania z LARS [1] w porównaniu ze stosowaniem opadania współrzędnych w celu dopasowania regresji liniowej regulowanej przez L1? Interesują mnie głównie aspekty wydajności (moje problemy występują zwykle Nw setkach tysięcy i p<20). Jednak wszelkie inne spostrzeżenia...

Zadałem to pytanie wczoraj na StackOverflow i otrzymałem odpowiedź, ale zgodziliśmy się, że wydaje się to nieco hackingowe i może być lepszy sposób, aby na to spojrzeć. Pytanie: Chciałbym obliczyć standardowe błędy Newey-Westa (HAC) dla wektora (w tym przypadku wektor zwraca zapas). Funkcja...

Dopasowuję krokową regresję logistyczną dla zestawu danych w SPSS. W procedurze dopasowuję mój model do losowego podzbioru, który jest ok. 60% całej próby, co stanowi około 330 przypadków. Interesujące jest dla mnie to, że za każdym razem, gdy ponownie próbkuję moje dane, pojawiają się różne...

Mam wielu niezależnych programistów, którzy próbują zidentyfikować zdarzenia w szeregu czasowym - w tym przypadku oglądam wideo rozmowy twarzą w twarz i szukam określonych zachowań niewerbalnych (np. Skinienie głową) oraz kodują czas i kategorię każdego z nich zdarzenie. Dane te można rozsądnie...

Problem Chciałbym wykreślić wariancję wyjaśnioną przez każdy z 30 parametrów, na przykład jako wykres słupkowy z innym słupkiem dla każdego parametru i wariancję na osi y: Jednak wariancje są mocno wypaczone w kierunku małych wartości, w tym 0, co można zobaczyć na histogramie poniżej: Jeśli...

W odpowiedzi na rosnącą liczbę statystyk i badaczy krytykujących użyteczność testowania zerowej hipotezy (NHT) dla nauki jako kumulatywnego przedsięwzięcia, grupa zadaniowa American Psychological Association ds. Wnioskowania statystycznego uniknęła całkowitego zakazu NHT, ale zasugerowała, że...

Mam zestaw graczy. Grają przeciwko sobie (parami). Pary graczy są wybierane losowo. W każdej grze jeden gracz wygrywa, a drugi przegrywa. Gracze grają ze sobą ograniczoną liczbę gier (niektórzy grają w więcej gier, inni mniej). Mam więc dane (kto wygrywa z kim i ile razy). Teraz zakładam, że każdy...

Niedawno ukończyłem studia magisterskie z zakresu modelowania medycznego i biologicznego wraz z matematyką inżynierską jako tłem. Mimo że mój program edukacyjny obejmował znaczną liczbę kursów statystyki matematycznej (lista poniżej), którymi zarządzałem z dość wysokimi ocenami, często kończyłem...

Dane: Niedawno pracowałem nad analizą stochastycznych właściwości przestrzenno-czasowego pola błędów prognozowania produkcji energii wiatrowej. Formalnie można powiedzieć, że jest to proces indeksowane dwukrotnie w czasie (przytih), a raz w miejscu (P), zHoznacza liczbę razy LookAhead (czyli co...

Chciałbym uzyskać współczynniki dla problemu LASSO | | Y- Xβ| | +λ | | β| |1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Problem polega na tym, że funkcje glmnet i lars dają różne odpowiedzi. Dla funkcji glmnet proszę o współczynniki λ / | | Y| |λ/||Y||\lambda/||Y||zamiast po prostu...

Potrzebuję wzoru na prawdopodobieństwo zdarzenia w n-zmiennym rozkładzie Bernoulliego przy danych prawdopodobieństwa dla pojedynczego elementu i dla par elementów . Równoważnie mogę dać średnią i kowariancji .X∈{0,1}nX∈{0,1}nX\in\{0,1\}^n P ( X i = 1 ∧ X j = 1 ) = p i j...

Eksperymentuję z klasyfikowaniem danych do grup. Jestem całkiem nowy w tym temacie i staram się zrozumieć wyniki niektórych analiz. Korzystając z przykładów z Quick-R , Rsugerowanych jest kilka pakietów. Próbowałem użyć dwóch z tych pakietów ( fpcużywając kmeansfunkcji i mclust). Jednym aspektem...

Jeśli potrafisz mierzyć szereg czasowy obserwacji na dowolnym poziomie precyzji w czasie, a twoim celem jest zidentyfikowanie związku między X i Y, czy istnieje jakieś empiryczne uzasadnienie dla wyboru określonego poziomu agregacji nad innym, czy też powinno wybór należy podjąć na podstawie teorii...

to jest mój pierwszy post. Jestem naprawdę wdzięczny za tę społeczność. Usiłuję analizować dane zliczania wzdłużnego, które są obcinane przez zero (prawdopodobieństwo, że zmienna odpowiedzi = 0 wynosi 0), a średnia! = Wariancja, więc wybrano ujemny rozkład dwumianowy nad poissonem. Funkcje /...

Szukam metod, które można wykorzystać do oszacowania modelu błędu pomiaru „OLS”. x i = X i + e x , i Y i = α + β X iyi=Yi+ey,iyi=Yi+ey,iy_{i}=Y_{i}+e_{y,i} xi=Xi+ex,ixi=Xi+ex,ix_{i}=X_{i}+e_{x,i} Yi=α+βXiYi=α+βXiY_{i}=\alpha + \beta X_{i} Gdzie błędy są niezależne normalne z nieznanymi...

Szukam dobrych referencji na temat używania danych kierunkowych (miara kierunku w stopniach) jako niezależnej zmiennej w regresji; idealnie byłoby to również przydatne w przypadku hierarchicznych modeli nieliniowych (dane są zagnieżdżone). Interesują mnie również dane kierunkowe bardziej...

Mam problem z ustaleniem, co plot.stldokładnie oznaczają słupki zasięgu . Znalazłem post Gavina na to pytanie i przeczytałem również dokumentację, rozumiem, że mówią one o względnej wielkości rozłożonych komponentów, ale nadal nie jestem całkowicie pewien, jak działają. Na przykład: dane: malutki...

Załóżmy, że iY ∼ N ( μ y , σ 2 y )X∼N(μx,σ2x)X∼N(μx,σx2)X \sim \mathcal{N}(\mu_x, \sigma^2_x)Y∼N(μy,σ2y)Y∼N(μy,σy2)Y \sim \mathcal{N}(\mu_y, \sigma^2_y) Interesuje mnie . Czy istnieje obiektywny estymator dla z ?z=min(μx,μy)z=min(μx,μy)z = \min(\mu_x, \mu_y)zzz Prosty estymator...

W dzisiejszym wywiadzie zapytano mnie o coś podobnego do tego. Ankieter chciał wiedzieć, jakie jest prawdopodobieństwo, że opcja „za pieniądze” skończy się w pieniądzu, gdy zmienność zmierza do nieskończoności. Powiedziałem 0%, ponieważ rozkłady normalne, które leżą u podstaw modelu...

Widzę model regresji, który regresuje zwroty z indeksu giełdowego z opóźnieniem (12 miesięcy) Rentowność z tego samego indeksu giełdowego, marżę kredytową (różnica między średnią miesięczną wolną od ryzyka obligacją a obligacją korporacyjną) plony), wskaźnik inflacji r / r oraz wskaźnik produkcji...