Praktyczne zasady dla „nowoczesnych” statystyk

85

Lubię książkę G van Belle'a na temat statystycznych reguł kciuka oraz, w mniejszym stopniu, typowych błędów w statystyce (i jak ich uniknąć) autorstwa Phillipa I Gooda i Jamesa W. Hardina. Odnoszą się do typowych problemów podczas interpretacji wyników badań eksperymentalnych i obserwacyjnych oraz dostarczają praktycznych zaleceń dotyczących wnioskowania statystycznego lub analizy danych eksploracyjnych. Uważam jednak, że nieco brakuje „nowoczesnych” wytycznych, zwłaszcza w związku z coraz większym wykorzystaniem obliczeniowych i rzetelnych statystyk w różnych dziedzinach lub wprowadzeniem technik od społeczności uczących się maszynowo, np. W biostatystyce klinicznej lub epidemiologii genetycznej.

Oprócz sztuczek obliczeniowych lub typowych pułapek w wizualizacji danych, które można by rozwiązać w innym miejscu, chciałbym zapytać: jakie są najważniejsze zasady, które poleciłbyś w celu wydajnej analizy danych? ( jedna zasada na odpowiedź, proszę ).

Mam na myśli wytyczne, które możesz przekazać koledze, badaczowi bez silnego doświadczenia w modelowaniu statystycznym lub studentowi na kursie od średniego do zaawansowanego. Może to dotyczyć różnych etapów analizy danych, np. Strategii próbkowania, wyboru cech lub budowy modelu, porównania modeli, szacowania końcowego itp.

chl
źródło

Odpowiedzi:

62

Nie zapomnij wykonać podstawowych kontroli danych przed rozpoczęciem analizy. W szczególności spójrz na wykres rozproszenia każdej zmiennej, którą zamierzasz analizować, na podstawie numeru ID, daty / godziny zbierania danych lub podobnych. Oko często potrafi wykryć wzorce, które ujawniają problemy, gdy statystyki podsumowujące nie pokazują niczego niezwykłego. A jeśli zamierzasz użyć dziennika lub innej transformacji do analizy, użyj go również do wydruku.

jeden przystanek
źródło
6
Nauczyłem się tego na własnej skórze. Dwa razy.
onestop
2
Tak! Rozejrzyj się zanim skoczysz. Proszę spojrzeć na dane.
vqv,
7
Kontrola wzrokowa danych może zwiększyć błąd typu I, jeżeli decyzje są podejmowane post-hoc. Zwykle przeprowadzam analizy potwierdzające, ponieważ zostały one wcześniej określone, i uwzględniam wyniki, na które inspekcja miała wpływ, jako analizy eksploracyjne lub wrażliwości.
AdamO,
51

Zachowaj powtarzalność analizy. Recenzent, szef lub ktoś inny ostatecznie zapyta cię, jak dokładnie osiągnąłeś swój wynik - prawdopodobnie sześć miesięcy lub dłużej po przeprowadzeniu analizy. Będzie nie pamiętać, jak czyścić dane, co analiza zrobiłeś, dlaczego wybrał ten konkretny model został użyty ... i odbudowę tego wszystkiego jest ból.

Następstwo: użyj jakiegoś języka skryptowego, dodaj komentarze do skryptów analitycznych i zachowaj je. To, czego używasz (R, SAS, Stata, cokolwiek) jest mniej ważne niż posiadanie całkowicie powtarzalnego skryptu. Odrzuć środowiska, w których jest to niemożliwe lub niezręczne.

Stephan Kolassa
źródło
24
Jeśli zamierzasz użyć R, zalecam osadzenie kodu R w dokumencie Sweave, który tworzy raport. W ten sposób kod R pozostaje w raporcie.
John D. Cook
36

Nie ma darmowego lunchu

Duża część błędów statystycznych powstaje poprzez kliknięcie dużego błyszczącego przycisku o nazwie „Oblicz znaczenie” bez uwzględnienia ciężaru ukrytych założeń.

Powtarzać

Nawet jeśli w grę wchodzi pojedyncze połączenie z losowym generatorem, można mieć szczęście lub pecha i wyciągnąć błędne wnioski.

użytkowników88
źródło
29

Jedna reguła na odpowiedź ;-)

Porozmawiaj ze statystykami przed przeprowadzeniem badania. Jeśli to możliwe, przed złożeniem wniosku o dotację. Pomóż mu / jej zrozumieć badany problem, uzyskaj informacje na temat analizy danych, które zamierzasz gromadzić, i zastanów się, co to oznacza dla twojego projektu badania i wymagań dotyczących danych. Być może statystyki facet / gal sugerują zrobienie modelu hierarchicznego w celu uwzględnienia tego, kto zdiagnozował pacjentów - wtedy trzeba śledzić, kto zdiagnozował kogo. Brzmi to trywialnie, ale o wiele lepiej pomyśleć o tym przed zebraniem danych (i nie uda się zebrać czegoś kluczowego) niż później.

Na pokrewną uwagę: wykonaj analizę mocy przed rozpoczęciem. Nic nie jest tak frustrujące, jak brak budżetu na wystarczająco dużą próbkę. Myśląc o tym, jakiego rozmiaru efektu oczekujesz, pamiętaj o uprzedzeniu publikacji - rozmiar efektu, który zamierzasz znaleźć, będzie prawdopodobnie mniejszy niż oczekiwano, biorąc pod uwagę (stronniczą) literaturę.

Stephan Kolassa
źródło
28

Jedną rzeczą, którą mówię moim uczniom, jest stworzenie odpowiedniego wykresu dla każdej wartości p. np. wykres rozrzutu, jeśli testują korelację, wykresy pudełkowe obok siebie, jeśli wykonują jednokierunkową ANOVA itp.

Rob Hyndman
źródło
28

Jeśli decydujesz się na dwa sposoby analizy danych, wypróbuj je w obie strony i sprawdź, czy to robi różnicę.

Jest to przydatne w wielu kontekstach:

  • Przekształcać czy nie przekształcać
  • Test nieparametryczny lub parametryczny
  • Korelacja Spearmana lub Pearsona
  • PCA lub analiza czynnikowa
  • Czy użyć średniej arytmetycznej, czy dokładnego oszacowania średniej
  • Czy dołączyć zmienną towarzyszącą, czy nie
  • Czy użyć usuwania z listy, usuwania z pary, imputacji lub innej metody zamiany brakujących wartości

Nie powinno to zwalniać z przemyślenia problemu, ale przynajmniej daje poczucie stopnia, w jakim merytoryczne ustalenia są wiarygodne przy wyborze.

Jeromy Anglim
źródło
4
Czy to cytat? Zastanawiam się tylko, w jaki sposób wypróbowanie alternatywnych procedur testowych (a nie strategii analizy!) Nie może nieco złamać kontroli nad błędem typu I lub początkowym obliczeniem mocy. Wiem, że SAS systematycznie zwraca wyniki z testów parametrycznych i nieparametrycznych (przynajmniej w porównaniu dwóch prób średnich i ANOVA), ale zawsze uważam to za intrygujące: Czy nie powinniśmy zdecydować przed zobaczeniem wyników, jaki test powinien zostać zastosowany?
chl
4
@chl dobry punkt. Zgadzam się, że powyższa zasada może być użyta z niewłaściwych powodów. Tzn. Próbowanie rzeczy na wiele sposobów i tylko raportowanie wyniku, który daje bardziej przyjemną odpowiedź. Uważam, że zasada praktyczna jest tak przydatna jak narzędzie szkoleniowe analityków danych, aby poznać wpływ decyzji analitycznych na merytoryczne wnioski. Widziałem, jak wielu studentów gubi się przy podejmowaniu decyzji, szczególnie tam, gdzie w literaturze znajdują się konkurencyjne porady (np. Przekształcać lub nie przekształcać), które często mają minimalny wpływ na merytoryczne wnioski.
Jeromy Anglim,
1
@chl nie, to nie jest cytat. Ale pomyślałem, że dobrze jest wytyczyć zasadę kciuka od jej uzasadnienia i zastrzeżeń. Zmieniłem to na pogrubienie, aby było jasne.
Jeromy Anglim
1
Ok, dla mnie sensowne jest wypróbowanie różnych transformacji i sprawdzenie, czy to lepszy sposób na wyjaśnienie badanych związków; To, czego nie rozumiem, to wypróbowanie różnych strategii analizy, chociaż jest to obecna praktyka (ale nie zgłoszona w opublikowanych artykułach :-), szczególnie. gdy opierają się na różnych założeniach (w EFA vs. PCA przyjmujesz dodatkowy termin błędu; w testach nieparametrycznych vs. parametrycznych odrzucasz część założeń itp.). Ale zgadzam się, że rozgraniczenie między analizą eksploracyjną a potwierdzającą nie jest tak jasne ...
chl
2
Wydaje mi się to przydatne tylko do analizy eksploracyjnej lub podczas etapów szkolenia i walidacji. Zawsze będziesz potrzebować ostatniego etapu weryfikacji, w przeciwnym razie możesz oszukać się przez pewne znaczące wyniki, które działają dobrze, gdy uzyskasz pożądaną różnicę zgodnie z twoimi „subiektywnymi” przekonaniami . Kto ma ocenić, która metoda działa lepiej? Osobiście, jeśli wątpię w różne metody, testuję je na danych symulowanych, aby przetestować takie rzeczy, jak wariancja estymatorów lub niezawodność itp.
Martijn Weterings,
22

Zapytaj o swoje dane. W dzisiejszej erze taniej pamięci RAM często pracujemy na dużych ilościach danych. Jeden błąd „grubego palca” lub „utracone miejsce po przecinku” może łatwo zdominować analizę. Bez podstawowego sprawdzania rozsądku (lub kreślenia danych, jak sugerują inni tutaj), można zmarnować dużo czasu. Sugeruje to również stosowanie podstawowych technik „odporności” na wartości odstające.

shabbychef
źródło
2
Następstwo: sprawdź, czy ktoś zakodował brakującą wartość jako „9999” zamiast „NA”. Jeśli twoje oprogramowanie korzysta z tej wartości według wartości nominalnej, zepsuje Twoją analizę.
Stephan Kolassa
21

Użyj oprogramowania, które pokazuje łańcuch logiki programowania od surowych danych, aż do końcowych analiz / wyników. Unikaj oprogramowania takiego jak Excel, w którym jeden użytkownik może popełnić niewykrywalny błąd w jednej komórce, który wykryje tylko ręczne sprawdzanie.


źródło
1
VisTrails to jeden system, który pomaga w tym procesie. (Użyłem tylko systemów homebrew; wspólne cele grupy są ważniejsze niż określone narzędzie).
denis
18

Zawsze zadawaj sobie pytanie „co oznaczają te wyniki i jak będą one wykorzystywane?”

Zwykle celem korzystania ze statystyk jest pomoc w podejmowaniu decyzji w warunkach niepewności. Dlatego ważne jest, aby mieć na uwadze: „Jakie decyzje zostaną podjęte w wyniku tej analizy i jak ta analiza wpłynie na te decyzje?” (np. opublikuj artykuł, zalecenie zastosowania nowej metody, zapewnij Y dofinansowania w wysokości X, uzyskaj więcej danych, zgłoś szacunkową ilość jako E itp. itd.)

Jeśli nie uważasz, że należy podjąć jakąkolwiek decyzję, to zastanawiasz się, dlaczego przeprowadzasz analizę w pierwszej kolejności (ponieważ analiza jest dość droga). Uważam statystyki za „uciążliwe”, ponieważ są one środkiem do celu, a nie samym celem. Moim zdaniem określamy tylko niepewność, abyśmy mogli wykorzystać ją do podejmowania decyzji, które dokładnie wyjaśniają tę niepewność.

Myślę, że jest to jeden z powodów, dla których uproszczenie jest ogólnie dobrą polityką, ponieważ zazwyczaj o wiele łatwiej jest odnieść proste rozwiązanie do realnego świata (a zatem do środowiska, w którym podejmowana jest decyzja) niż rozwiązanie złożone . Zazwyczaj łatwiej jest zrozumieć ograniczenia prostej odpowiedzi. Następnie przechodzisz do bardziej złożonych rozwiązań, gdy rozumiesz ograniczenia prostego rozwiązania i jak rozwiązuje je złożone.

prawdopodobieństwo prawdopodobieństwa
źródło
3
Zgadzam się ze wszystkim, z wyjątkiem koncepcji uproszczenia. Dla mnie prostota lub złożoność powinna być funkcją kosztu niewłaściwej decyzji, którą elokwentnie wyjaśniłeś. Prostota może mieć znikome koszty w jednym obszarze (np. Wyświetlanie niewłaściwej reklamy klientowi), a zupełnie inny koszt w innym (niewłaściwe leczenie pacjenta).
Thomas Speidel
18

Może istnieć długa lista, ale kilka: (bez określonej kolejności)

  1. Wartość p NIE jest prawdopodobieństwem. W szczególności nie jest prawdopodobne popełnienie błędu typu I. Podobnie CI nie mają probabilistycznej interpretacji dla danych. Mają one zastosowanie do powtarzanych eksperymentów.

  2. Problem związany z wariancją dominuje tendencyjność przez większość czasu w praktyce, więc tendencyjne oszacowanie przy małej wariancji jest lepsze niż oszacowanie bezstronne przy dużej wariancji (przez większość czasu).

  3. Dopasowanie modelu jest procesem iteracyjnym. Przed analizą danych należy zrozumieć źródło danych i możliwe modele, które pasują lub nie pasują do opisu. Spróbuj także modelować wszelkie problemy projektowe w swoim modelu.

  4. Skorzystaj z narzędzi wizualizacji, spójrz na dane (w celu wykrycia ewentualnych nieprawidłowości, oczywistych trendów itp.), Aby je przeanalizować). Użyj metod wizualizacji (jeśli to możliwe), aby zobaczyć, jak model pasuje do tych danych.

  5. Wreszcie, używaj oprogramowania statystycznego do tego, do czego są stworzone (aby ułatwić zadanie obliczeń), nie zastępują one ludzkiego myślenia.

suncoolsu
źródło
14
Twoja pozycja 1 jest niepoprawna: wartość P oznacza prawdopodobieństwo uzyskania danych jako ekstremalnych lub bardziej ekstremalnych, biorąc pod uwagę hipotezę zerową. O ile wiem, oznacza to, że P jest prawdopodobieństwem - warunkowym, ale jednak prawdopodobieństwem. Twoje stwierdzenie jest poprawne w okolicznościach, w których ktoś pracuje w ramach paradygmatu błędów Neymana-Pearsona, ale nie działa w paradygmacie fisheryjskim, w którym wartości P są dowodami przeciwko hipotezie zerowej. Prawdą jest, że paradygmaty są regularnie mieszane w niespójny miszmasz, ale oba są „poprawne”, gdy są stosowane same i nienaruszone.
Michael Lew,
2
W przypadku przedziałów ufności ponownie poprawia się tylko w ramach neymańskich przedziałów ufności. Fisher (i inni przed nim) również opracowali i wykorzystali rzeczy, które interpretuje się jako przedziały ufności, i istnieje całkowicie poprawna interpretacja takich przedziałów odnosząca się do konkretnego eksperymentu, w którym uzyskano przedział. Moim zdaniem są zdecydowanie lepsze od Neymana. Zobacz moją odpowiedź na pytanie Funkcje dyskretne: Zasięg przedziału ufności? więcej szczegółów: stats.stackexchange.com/questions/8844/...
Michael Lew
@Michael masz rację, ale zobaczmy: ile razy Null ma rację? Lub lepiej: czy ktoś może udowodnić, czy wartość null jest poprawna? Możemy również prowadzić głębokie filozoficzne debaty na ten temat, ale nie o to chodzi. W kontroli jakości powtórzenia mają sens, ale w nauce każda dobra reguła decyzyjna musi uwarunkować dane.
suncoolsu,
1
Fisher o tym wiedział (w oparciu o obserwowane dane i na tej podstawie opiera się uwaga na temat kontroli jakości). Na tej podstawie stworzył wiele kontrprzykładów. Bayesian walczy o to, powiedzmy, od ponad pół wieku.
suncoolsu,
1
@Michael Przepraszam, jeśli nie byłem wystarczająco jasny. Wszystko, co chciałem powiedzieć: wartość P jest prawdopodobieństwem TYLKO wtedy, gdy wartość null jest prawdą, ale w większości przypadków wartość null NIE jest prawdą (jak w: nigdy nie oczekujemy, że jest prawdą; zakładamy, że to prawda, ale nasze założenie jest praktycznie niepoprawne.) Jeśli jesteś zainteresowany, mogę wskazać literaturę bardziej szczegółowo omawiającą ten pomysł. μ=0
suncoolsu,
13

W przypadku organizacji / zarządzania danymi upewnij się, że podczas generowania nowych zmiennych w zbiorze danych (na przykład obliczania indeksu masy ciała na podstawie wzrostu i masy) oryginalne zmienne nigdy nie zostaną usunięte. Podejście nieniszczące jest najlepsze z punktu widzenia odtwarzalności. Nigdy nie wiadomo, kiedy można źle wprowadzić polecenie, a następnie trzeba powtórzyć generowanie zmiennych. Bez oryginalnych zmiennych stracisz dużo czasu!

pmgjones
źródło
11

Zastanów się dobrze nad procesem generowania danych (DGP). Jeśli model, którego chcesz użyć, nie odzwierciedla MZD, musisz znaleźć nowy model.

Jason Morgan
źródło
Skąd wiesz, skąd możesz wiedzieć, czym jest MZD. Na przykład uruchamiam szeregi czasowe w obszarze, w którym nie widziałem jeszcze dobrze rozwiniętej teorii (dlaczego występują pewne rodzaje wydatków publicznych). Nie sądzę, aby w tym przypadku można było poznać prawdziwy proces.
user54285
8

W przypadku histogramów należy stosować zasadę dotyczącą liczby pojemników na histogramie :

pierwiastek kwadratowy z liczby punktów danych

doug
źródło
6

Pomimo coraz większych zestawów danych i wydajniejszego oprogramowania, nadmiernie dopasowane modele stanowią poważne zagrożenie dla badaczy, zwłaszcza tych, którzy nie zostali jeszcze spaleni przez nadmierne dopasowanie. Nadmierne dopasowanie oznacza, że ​​dopasowałeś coś bardziej skomplikowanego niż twoje dane i najnowszy stan techniki. Podobnie jak miłość czy piękno, trudno je zdefiniować, nie mówiąc już o formalnym zdefiniowaniu, ale łatwiej je rozpoznać.

Minimalna reguła wynosi 10 punktów danych dla każdego parametru oszacowanego dla czegoś takiego jak regresja klasyczna i uważaj na konsekwencje, jeśli ją zignorujesz. W przypadku innych analiz zwykle potrzebujesz znacznie więcej, aby wykonać dobrą robotę, szczególnie jeśli w danych występują rzadkie kategorie.

Nawet jeśli możesz łatwo dopasować model, powinieneś stale martwić się, co to znaczy i jak daleko jest on odtwarzalny nawet przy bardzo podobnym zestawie danych.

Nick Cox
źródło
Jest to ogólnie postrzegane jako ogólna zasada dla modeli, w których reakcja jest warunkowo normalna. W innych przypadkach jest to zbyt liberalne. Na przykład, w przypadku klasyfikacji binarnej, odpowiednią regułą byłoby 15 obserwacji w rzadziej występującej kategorii dla każdej zmiennej; a dla analizy przeżycia byłoby to 10 zdarzeń (tj. danych bez cenzury) dla każdej zmiennej.
gung
Zgadzam się. Będę edytować, ale dlaczego nie opublikować własnej ogólnej zasady wraz z rozszerzonym komentarzem.
Nick Cox,
1
Powinieneś wyróżnić ostatnie zdanie: „Nawet jeśli możesz łatwo dopasować model, powinieneś stale martwić się, co to znaczy i jak daleko można go odtworzyć nawet przy bardzo podobnym zestawie danych”.
Martijn Weterings
6

Yt+h(Yt,Xt) t>T(Y1,X1),,(YT,XT)

  1. Yt+h
  2. Yt+hYt

Yt+hYt+Xt

robin girard
źródło
5

Jeśli model nie zbiegnie się łatwo i szybko, może to być wina oprogramowania. Jednak znacznie częściej zdarza się, że dane nie są odpowiednie dla modelu lub model nie jest odpowiedni dla danych. Trudno powiedzieć, którzy empirycy i teoretycy mogą mieć różne poglądy. Ale myślenie przedmiotowe, naprawdę patrzenie na dane i ciągłe myślenie o interpretacji modelu pomagają w jak największym stopniu. Przede wszystkim wypróbuj prostszy model, jeśli skomplikowany model się nie zbiegnie.

Nie ma korzyści w wymuszaniu zbieżności lub deklarowaniu zwycięstwa i przyjmowaniu wyników po wielu iteracjach, ale zanim twój model naprawdę się zbiegnie. W najlepszym razie oszukasz się, jeśli to zrobisz.

Nick Cox
źródło
„naprawdę patrzeć na dane”, byłoby tak miło, gdybyśmy otrzymali numer NN, który wykona to za nas.
Martijn Weterings
Nazywał się JWT.
Nick Cox
5

W regresji zmiennych instrumentalnych zawsze sprawdzaj łączne znaczenie swoich instrumentów. Zasada praktyczna Staiger-Stock mówi, że statystyka F mniejsza niż 10 jest niepokojąca i wskazuje, że twoje instrumenty mogą być słabe, tj. Nie są wystarczająco skorelowane ze zmienną endogenną. Nie oznacza to jednak automatycznie, że F powyżej 10 gwarantuje mocne instrumenty. Staiger i Stock (1997) wykazali, że techniki zmiennych instrumentalnych, takie jak 2SLS, mogą być bardzo tendencyjne w „małych” próbkach, jeśli instrumenty są tylko słabo skorelowane ze zmienną endogenną. Ich przykładem było badanie przeprowadzone przez Angrista i Kruegera (1991), którzy mieli ponad 300 000 obserwacji - niepokojący fakt dotyczący pojęcia „małych” próbek.

Martijn Weterings
źródło
Dodałem link do artykułu, ale uważam, że ta odpowiedź wymaga dalszego formatowania, zbyt trudne było podkreślenie „ogólnej zasady” opartej na bardzo szybkim skanowaniu artykułu, a ta odpowiedź nie jest zbyt intuicyjna.
Martijn Weterings
3

Brak kryteriów wyboru kryteriów informacyjnych.

Kiedy ktoś powie coś w stylu „IC? Wskazuje to, ale często wiadomo, że daje złe wyniki” (gdzie? To jakikolwiek list, który lubisz), wiesz, że będziesz musiał również pomyśleć o modelu, a zwłaszcza czy to robi sens naukowy lub praktyczny.

Żadna algebra nie może ci tego powiedzieć.

Nick Cox
źródło
2

Przeczytałem to gdzieś (prawdopodobnie na krzyżu) i nigdzie nie byłem w stanie jej znaleźć, więc proszę ...

Jeśli odkryłeś interesujący wynik, prawdopodobnie jest to zły.

Bardzo łatwo jest się ekscytować perspektywą oszałamiającej wartości p lub prawie idealnego błędu weryfikacji krzyżowej. Osobiście ekstatycznie przedstawiłem kolegom niesamowite (fałszywe) wyniki, aby je wycofać. Najczęściej, jeśli wygląda zbyt dobrze, aby mogło być prawdziwe ...

'skaza prawda. „Cała prawda.

timwiz
źródło
2

Staraj się być dzielnym, a nie cnotliwym. To znaczy, nie pozwól, aby drobne oznaki nie-normalności, nie-niezależności lub nieliniowości itp. Blokowały Twoją drogę, jeśli takie wskazówki należy zignorować, aby dane mówiły głośno i wyraźnie . - W języku duńskim przymiotniki to „dristig” vs. „dydig”.

Jørgen Hilden
źródło
1

Analizując dane podłużne, należy sprawdzić, czy zmienne są kodowane w ten sam sposób w każdym okresie.

Pisząc moją rozprawę, która wymagała analizy danych wtórnych, minął tydzień całkowitej zdumienia o 1-jednostkową zmianę średnich wyników depresji w skądinąd stabilnej średniej z roku: okazało się, że jeden z lat zestaw danych, pozycje skali dla zatwierdzonego przyrządu zostały zakodowane 1–4 zamiast 0–3.

Alexis
źródło
1

Twoja hipoteza powinna decydować o wyborze modelu, a nie na odwrót.

Parafrazując Maslowa, jeśli jesteś młotem, wszystko wygląda jak gwóźdź. Określone modele mają wbudowane oślepiające założenia i założenia dotyczące świata: na przykład modele niedynamiczne dławią informacje zwrotne na temat wyników leczenia.

Alexis
źródło
1

Użyj symulacji, aby sprawdzić, gdzie struktura modelu może tworzyć „wyniki”, które są po prostu matematycznymi artefaktami założeń modelu

Przeprowadź analizę zmienionych losowo zmiennych lub zmiennych symulowanych, o których wiadomo, że nie są ze sobą powiązane. Czy robi to wiele razy i porównuje uśrednione oceny punktowe (i przedziały ufności lub wiarygodne) z wynikami uzyskanymi na rzeczywistych danych: czy wszystkie one są tak różne?

Alexis
źródło
0

Jestem analitykiem danych, a nie statystykiem, ale takie są moje sugestie.

1) Przed analizą danych upewnij się, że założenia Twojej metody są prawidłowe. Gdy zobaczysz wyniki, trudno będzie je zapomnieć nawet po rozwiązaniu problemów i zmianie wyników.

2) Pomaga poznać twoje dane. Uruchomiłem szeregi czasowe i uzyskałem wynik, który nie miał sensu, biorąc pod uwagę dane z ostatnich lat. Przejrzałem metody w świetle tego i odkryłem, że uśrednianie modeli w metodzie zniekształcało wyniki dla jednego okresu (i nastąpiło pęknięcie strukturalne).

3) Uważaj na praktyczne zasady. Odzwierciedlają doświadczenia poszczególnych badaczy z ich własnych danych, a jeśli ich dziedzina bardzo różni się od twojej, ich wnioski mogą nie być poprawne dla twoich danych. Co więcej, i był to dla mnie szok, statystycy często nie zgadzają się w kluczowych punktach.

4) Spróbuj przeanalizować dane różnymi metodami i sprawdź, czy wyniki są podobne. Zrozum, że żadna metoda nie jest idealna i uważaj, aby sprawdzić, czy możesz naruszyć założenia.

użytkownik54285
źródło