W Kahneman i Deaton (2010) autorzy piszą:††^\dagger Ta regresja wyjaśnia 37% wariancji, z pierwiastkowym średnim błędem kwadratowym (RMSE) wynoszącym 0,67852. Aby wyeliminować wartości odstające i nieprawdopodobne dochody, porzuciliśmy obserwacje, w których wartość bezwzględna różnicy między...
Jaka jest różnica między wartością odstającą a anomalią w kontekście uczenia maszynowego. Rozumiem, że oba odnoszą się do tej samej
Mam zestaw danych z założeniem, że najbliżsi sąsiedzi są najlepszymi predyktorami. Po prostu idealny przykład wizualizacji gradientu dwukierunkowego Załóżmy, że mamy przypadek, w którym brakuje kilku wartości, możemy łatwo przewidzieć na podstawie sąsiadów i trendu. Odpowiadająca macierz...
Próbuję oddzielić dwie grupy wartości od jednego zestawu danych. Mogę założyć, że jedna z populacji jest normalnie rozmieszczona i ma co najmniej połowę wielkości próbki. Wartości drugiego są zarówno niższe, jak i wyższe niż wartości pierwszego (rozkład jest nieznany). Staram się znaleźć górne i...
Jakie są zalety i wady korzystania z LARS [1] w porównaniu ze stosowaniem opadania współrzędnych w celu dopasowania regresji liniowej regulowanej przez L1? Interesują mnie głównie aspekty wydajności (moje problemy występują zwykle Nw setkach tysięcy i p<20). Jednak wszelkie inne spostrzeżenia...
Uwaga: to pytanie jest repost, ponieważ moje poprzednie pytanie musiało zostać usunięte ze względów prawnych. Porównując PROC MIXED z SAS z funkcją lmez nlmepakietu w R, natknąłem się na pewne dość mylące różnice. Mówiąc dokładniej, stopnie swobody w różnych testach różnią się między PROC MIXEDi...
Muszę uzyskać jak najdokładniejszą wartość jasności głównie stabilnego źródła światła, biorąc pod uwagę dwanaście wartości jasności próbki. Czujnik jest niedoskonały, a światło może czasami „migotać” jaśniej lub ciemniej, co można zignorować, stąd moja potrzeba wykrycia wartości odstających...
Próbuję wykryć anomalne wartości w szeregu czasowym danych klimatycznych z pewnymi brakującymi obserwacjami. Przeszukując sieć znalazłem wiele dostępnych podejść. Spośród nich rozkład stl wydaje się atrakcyjny w sensie usunięcia trendów i składników sezonowych i przestudiowania reszty. Czytając...
Znalazłem wiele artykułów, w których stwierdzono, że metody ulepszania są wrażliwe na wartości odstające, ale żaden artykuł nie wyjaśnia, dlaczego. Z mojego doświadczenia wynika, że wartości odstające są złe dla dowolnego algorytmu uczenia maszynowego, ale dlaczego metody wspomagające są...
Mam dość przewidywalne dzienne szeregi czasowe z tygodniową sezonowością. Jestem w stanie wymyślić prognozy, które wydają się dość dokładne (potwierdzone przez krzyżową weryfikację), gdy nie ma wakacji. Jednak gdy są święta, mam następujące problemy: W mojej prognozie dostaję niezerowe liczby...
Pracuję nad statystykami dla kompilacji oprogramowania. Mam dane dla każdego kompilacji na pass / fail i upływający czas i generujemy ~ 200 z nich / tydzień. Wskaźnik skuteczności można łatwo agregować, mogę powiedzieć, że 45% minęło w danym tygodniu. Ale chciałbym również zsumować upływający czas...
Muszę napisać program, aby znaleźć średni punkt GPS z populacji punktów. W praktyce dzieje się tak: Każdego miesiąca osoba rejestruje punkt GPS tego samego zasobu statycznego. Ze względu na charakter GPS punkty te różnią się nieznacznie każdego miesiąca. Czasami osoba popełnia błąd i zapisuje...
Próbuję zautomatyzować wykrywanie wartości odstających w szeregach czasowych i użyłem modyfikacji rozwiązania zaproponowanego przez Roba Hyndmana tutaj . Powiedzmy, że mierzę codzienne wizyty na stronie z różnych krajów. W niektórych krajach, w których codzienne wizyty to kilka setek lub tysięcy,...
Jaki jest najlepszy sposób automatycznego wybierania funkcji do wykrywania anomalii? Zazwyczaj traktuję Wykrywanie Anomalii jako algorytm, w którym cechy są wybierane przez ludzkich ekspertów: liczy się zakres wyjściowy (jak w „nienormalnym wejściu - nienormalnym wyjściu”), więc nawet przy wielu...
Piszę skrypt analizujący czasy uruchamiania procesów. Nie jestem pewien ich dystrybucji, ale chcę wiedzieć, czy proces działa „za długo”. Do tej pory korzystałem z 3 standardowych odchyleń czasów ostatniego uruchomienia (n> 30), ale powiedziano mi, że nie zapewnia to niczego użytecznego, jeśli...
Można zastosować regresję do wykrycia naszych poziomów. Rozumiem, że istnieją sposoby na ulepszenie modelu regresji poprzez usunięcie wartości odstających. Ale głównym celem tutaj nie jest dopasowanie modelu regresji, ale znalezienie lierów za pomocą
Używam zwykłego estymatora kurtozy, , ale zauważam, że nawet małe „odstające” w moim rozkładzie empirycznym , tj. małe szczyty daleko od centrum, wpływają na to ogromnie. Czy istnieje estymator kurtozy, który jest bardziej
Jak tytuł mówi, czy ktoś wie o dobrej, aktualnej książce, która ogólnie obejmuje wstępne przetwarzanie danych, a szczególnie techniki wykrywania wartości odstających? Książka nie musi skupiać się wyłącznie na tym, ale powinna wyczerpująco omawiać wyżej wymienione tematy - nie byłbym zadowolony z...
Prowadzę badania w dziedzinie odpowiedzi funkcjonalnej roztoczy. Chciałbym zrobić regresję, aby oszacować parametry (szybkość ataku i czas obsługi) funkcji Rogers typu II. Mam zestaw danych z pomiarami. Jak mogę najlepiej określić wartości odstające? Do mojej regresji używam następującego skryptu...
Mam losową regresję logistyczną przechwytującą (z powodu powtarzających się pomiarów) i chciałbym przeprowadzić diagnostykę, szczególnie dotyczącą wartości odstających i wpływowych obserwacji. Spojrzałem na pozostałości, aby zobaczyć, czy istnieją spostrzeżenia, które się wyróżniają. Ale...