Wnioskowanie dla sceptycznego (ale nie niechętnego matematyce) czytelnika

14

Właśnie obejrzałem wykład na temat wnioskowania statystycznego („porównywanie proporcji i środków”), będący częścią wstępu do kursu online dotyczącego statystyk. Materiał miał dla mnie jak najmniej sensu, jak zawsze (do tej pory musiałem to widzieć dziesiątki razy, rozłożone w ciągu ostatnich trzech dekad).

Szukam książki o „podstawowych statystykach-101” (ocena punktowa, ocena szacunkowa, wnioskowanie statystyczne, testowanie hipotez, projekt badania), która poważnie traktuje problem przekonania sceptycznego czytelnika ...

Poniżej podaję kilka przykładów typu pytania, że autor Szukam weźmie poważnie i wiedzą, jak rozwiązać przekonująco.

Ale najpierw pozwólcie mi poświęcić chwilę na podkreślenie, że w tym poście nie zadaję tych pytań. Proszę nie odpowiadać na nie! Podaję je tylko jako przykłady oraz w ramach „testu lakmusowego” (dla typu autora wyszukiwania).

  1. Jeśli „proporcja” jest po prostu średnią zmiennej logicznej (tj. Takiej, która przyjmuje tylko wartości 0 i 1), dlaczego naucza się różnych procedur przeprowadzania wnioskowania statystycznego z „proporcjami” i „środkami”?

  2. Jeśli rozkład normalny jest tak solidny, że przyjęcie normalności daje dobre wyniki nawet w przypadkach, gdy dane te nie są całkiem normalnie rozłożone, a jeśli rozkład t jest tak normalny, dlaczego całe zamieszanie związane z użyciem rozkładu t zamiast normalna?

  3. Czym dokładnie są „stopnie swobody” i dlaczego się o nie martwimy?

  4. Co to znaczy mówić o „prawdziwej” wartości parametru, biorąc pod uwagę, że po prostu używamy rozkładów, które wyglądają podobnie do danych?

  5. Dlaczego „eksploracyjna analiza danych” jest dobra, a „szpiegowanie danych” to zła rzecz?

Jak powiedziałem, zniechęca mnie postawa wynikająca z zaniedbania takich pytań. To nie „postawa epistemologiczna”, którą chcę widzieć u kogoś, kto mnie czegoś uczy. Szukam autorów, którzy szanują sceptycyzm i racjonalność czytelnika, i którzy wiedzą, jak się do nich odnieść (niekoniecznie zaglądając na strony z formalizmami i informacjami technicznymi).

Zdaję sobie sprawę, że jest to wysoki porządek, a może szczególnie, jeśli chodzi o statystyki. Dlatego nie oczekuję, że wielu autorom się to uda. Ale w tej chwili byłbym zadowolony ze znalezienia tylko jednego .

Dodam, że nie jestem niechętny matematyce. Przeciwnie, kocham matematykę. (Nie mam nic przeciwko analizie [inaczej „rachunek zaawansowany”], algebrze liniowej, teorii prawdopodobieństwa, a nawet podstawowej teorii miary.)

To powiedziawszy, moim zainteresowaniem w tej chwili są statystyki „stosowane”, „praktyczne”, „codzienne”, „realne” (w przeciwieństwie do teoretycznych subtelności). (Ale ja też nie chcę książki kucharskiej!)

FWIW, przeczytałem kilka pierwszych rozdziałów analizy danych przy użyciu regresji i modeli wielopoziomowych / hierarchicznych autorstwa Gelmana i Hilla i podoba mi się ton autorów. Ich koncentracja jest praktyczna, ale w razie potrzeby przejdź do teorii. Często też wycofują się i krytycznie oceniają standardowe praktyki, a także przedstawiają szczere opinie, które przemawiają do zdrowego rozsądku czytelnika. Niestety, autorzy ci nie napisali książki poświęconej tematowi, o który pytam w tym poście (materiały „Stats 101”, jak opisano powyżej). Wiem też, że jeden z tych autorów (Gelman) jest współautorem bardzo cenionej analizy danych bayesowskich , ale znowu nie tego obecnie szukam.

EDYTOWAĆ:

Dikran Marsupial podnosi następujący zarzut:

Nie sądzę, aby zaniedbywanie pytań było konieczne, przychodzi moment, w którym udzielenie odpowiedzi na każde pytanie odwraca uwagę od przedstawienia podstawowych pojęć, które często są ważniejsze (szczególnie w książce ze statystykami 101!).

Zgadzam się z tym. Bardziej trafne byłoby dla mnie stwierdzenie, że szukam „drugiego spojrzenia na podstawowe statystyki”. W gruncie rzeczy, jako moją motywację, spojrzałem na podręczniki używane na kursach dla absolwentów na temat wnioskowania (powiedzmy) i odkryłem, że zbyt zaniedbywali pytania takie jak te, które wymieniłem. Jeśli już, wydawali się jeszcze mniej skłonni do zagłębiania się w takie pytania (aby mogli skupić się na takich kwestiach, jak warunki dla pewnej zbieżności lub innej z tego lub innego ...).

Problem polega na tym, że bardziej zaawansowane książki są adresowane do radykalnie odmiennej populacji czytelników, w której „sceptycyzm osoby postronnej” został drastycznie wyczerpany. IOW, ci, którzy biorą statystyki na poziomie magisterskim, nie są już zainteresowani pytaniami, które mnie niepokoją. Nie są już sceptyczni wobec tych rzeczy. (Jak sobie poradzili z gardzeniem sceptycyzmem? Być może niektórzy nigdy nie byli zbyt krytyczni, zwłaszcza jeśli dość wcześnie nauczyli się swoich statystyk - wiem, że sam nie byłem szczególnie krytycznym studentem pierwszego roku, chociaż nie byłem weźcie więc statystyki. Inni mogli mieć nauczycieli, którzy wypełnili braki w swoich podręcznikach. Niektórzy mogli być na tyle sprytni, aby samodzielnie znaleźć odpowiedzi na takie pytania. Kto wie.)

kjo
źródło
2
Większość tych pytań - na które nie mamy odpowiedzieć - ma dobre odpowiedzi już tutaj na CV. Niektóre z tych pytań mają nawet dość trywialne odpowiedzi. Ale na każdy temat pojawia się tysiąc pytań - nigdy nie znajdziesz wyjaśnienia obejmującego wszystkie możliwe pytania, ani nie znajdziesz takiego, które przewiduje tylko konkretne pytania, które masz podczas oglądania lub czytanie. Cóż, możesz trafić jeden lub dwa przypadkiem, ale ogólnie rzecz biorąc, jest to niemożliwy standard. Dlaczego po prostu nie zadawać pytań, gdy się pojawiają? Na stronie, która odpowiada na pytania?
Glen_b
2
Powiem, że podobne pytania pojawiają się, gdy ludzie robią statystyki (a niektóre książki odpowiadają na niektóre z nich), ale większość z nich nie jest rzeczywistymi pytaniami dotyczącymi sceptycyzmu - w większości są to proste pytania dotyczące zrozumienia. np. „czym są stopnie swobody i dlaczego nas to obchodzi” wcale nie jest sceptyczny, lecz wymaga jasności wyjaśnień i motywacji. Powodem, dla którego zaawansowani użytkownicy statystyk nie martwią się tym, jest to, że już rozumieją, dlaczego są tak cenni.
Glen_b

Odpowiedzi:

6

Masz już kilka dobrych sugestii. Oto kilka innych. Po pierwsze, dwa blogi, które czytam sporadycznie, i na których czasem zadajesz sobie takie pytania. Ponieważ są to blogi, możesz nawet zadawać pytania i uzyskać bardzo dobre odpowiedzi! Nadchodzą:

http://andrewgelman.com/ (Andrew Gelman)

http://errorstatistics.com/ (Deborah Mayo)

I kilka książek, które myślę, że ci pomogą: Box, Hunter & Hunter: Statystyka dla eksperymentatorów.

Jak mówi tytuł, jest to („pierwszy”, ale naprawdę, naprawdę… drugi) kurs dla ludzi, którzy chcieliby zaprojektować własne eksperymenty, a więc je przeanalizować. Bardzo wysoko w części „dlaczego”.

Następnie: DR Cox: Zasady wnioskowania statystycznego, kolejna bardzo dobra książka o tym „dlaczego”, a nie „jak”.

A ponieważ pytasz, dlaczego środki i proporcje są traktowane inaczej, oto książka, która tego nie robi: http://www.amazon.com/Statistics-4th-David-Freedman/dp/0393929728/ref=sr_1_1?s = książki i ie = UTF8 i qid = 1373395118 & sr = 1-1 i słowa kluczowe = freedman + statystyki

Niski w matematyce, wysoki w zasadach.

kjetil b halvorsen
źródło
8

Raczej wątpię, aby istniała jedna książka, która będzie dla ciebie odpowiednia, ponieważ indywidualni ludzie są sceptyczni co do różnych rzeczy, a książki są napisane dla docelowych odbiorców, a nie dla pojedynczych osób. Jest to jedna z dobrych rzeczy w uczeniu się przez osobę, a nie tylko książka, czyli to, że możesz zadawać pytania na bieżąco. Jest to dość trudna rzecz w liniowym tekście.

Nie sądzę, aby zaniedbywanie pytań było konieczne, przychodzi moment, w którym udzielenie odpowiedzi na każde pytanie odwraca uwagę od przedstawienia podstawowych pojęć, które często są ważniejsze (szczególnie w książce ze statystykami 101!).

Podejrzewam, że najlepszym podejściem jest zdobycie dobrej książki, a następnie poszukiwanie odpowiedzi na pytania bez odpowiedzi w innym miejscu. Mam przed sobą półkę pełną tekstów statystycznych, po prostu dlatego, że żaden z nich w izolacji nie jest wszystkim, czego potrzebuję (nawet książki Jaynes; o).

Dla absolutnie początkującego uważam, że książka Granta Fostera „Zrozumieć statystyki” jest dobrym miejscem do rozpoczęcia, ale podejrzewam, że w tym przypadku jest ona zbyt podstawowa.

Dikran Torbacz
źródło
1
„Nie sądzę, aby zaniedbywanie pytań było cokolwiek złego…” Myślę, że to uczciwy sprzeciw; Dodałem EDYCJĘ do mojego postu, aby rozwiązać ten problem.
kjo
7

XΘXΘΘXtXΘ

Zen
źródło
5
+1 dużą część powodów, dla których procedury statystyczne wydają się wątpliwe, jest to, że są one raczej sprzeczne z intuicją, a historyczna ocena tego, jak statystyki się skończyły, jest prawdopodobnie dobrym podejściem dla sceptyka.
Dikran Torbacz
2
@DikranMarsupial: W rzeczywistości przeczytałem „Historię statystyki” Stiglera, aby znaleźć sedno moich trudności ze statystykami. I to pomogło niektórym. Niestety, pomija większość epoki Fishera kontra Neymana, kiedy (podejrzewam), że powstało wiele przewrotnych dziwactw. Spróbowałem około 50 stron książki Halda, ale jego pochodzenie nie było możliwe: były one wyraźnie skierowane do czytelników posiadających znaczącą wiedzę statystyczną ... Pomyśl o tym, myślę, że książka skierowana do wykształconego laika zatytułowana „Dlaczego czy statystyki są takie dziwne? ” sprzedałby się dobrze :) :)
kjo
4
IMHO kontr-intuicyjność statystyk sprzed epoki Fishera vs Neymana (chociaż intuicyjność nie oznacza przydatności i odwrotnie). Książki Iana Hackinga mogą być warte spróbowania, podobało mi się „Pojawienie się prawdopodobieństwa”. Uważam, że statystyki bayesowskie są znacznie łatwiejsze do zrozumienia konceptualnego niż statystyki częstokrzyskie, ale znacznie trudniejsze do wykonania w praktyce. Zrozumienie różnic między podejściami bayesowskimi a częstymi często pomogło mi zrozumieć podejście częste.
Dikran Torbacz
1
Dzięki, sprawdzę hakowanie. Jego książki mają w moich oczach od dłuższego czasu, chociaż odłożyłem czytanie, myśląc, że bardziej skupił się na filozofii teorii prawdopodobieństwa (temat, który sam w sobie fascynuje). To powiedziawszy, zdaję sobie sprawę, że przynajmniej kilka moich problemów ze statystykami wpływa na interpretację prawdopodobieństwa, więc może czytanie Hackowania rozwiąże przynajmniej niektóre z moich zastrzeżeń.
kjo
2
@ kjo Przeczytałem Logikę wnioskowania statystycznego Hackinga i uznałem, że jest to bardzo „filozoficzne” - podchodził do koncepcji prawdopodobieństwa jako „wsparcia” i odrzucał Neymana-Pearsona, ale kontynuował proste przykłady - nie omawiał uciążliwych parametrów, wiele - wnioskowanie na temat parametrów lub cokolwiek trudnego (chyba że zapomniałem). Z pewnością warte przeczytania, ale nie polecałbym tego na początek.
Scortchi - Przywróć Monikę
6

Abelson (1995), Statistics as Principled Argument jest wprowadzający i ma interesujące podejście do niektórych pytań, które często dezorientują uczniów.

Ale być może musisz po prostu przeczytać kilka książek na temat statystyki teoretycznej (pomijając wszystkie rzeczy dotyczące zbieżności, przestrzeni metrycznych itp.), A następnie, nawet jeśli nie odpowiadają konkretnie na pytania takie jak twoje przykłady, będziesz w stanie odpowiedzieć na większość je sam i sprawdź resztę, jak sugeruje @Dikran.

Zasugerowałem w innym wątku, czytając Cox & Hinkley, Statystyka teoretyczna lub Cox, Zasady wnioskowania statystycznego wraz z Casella i Berger, Wnioskowanie statystyczne, aby zrozumieć różne perspektywy.

Scortchi - Przywróć Monikę
źródło
1
Uznałem to za interesujące, ale nie sądzę, aby w ogóle było na poziomie oczekiwanym przez PO.
Gala
@Gael Prawdopodobnie masz rację, szczególnie w związku z edycją.
Scortchi - Przywróć Monikę