Pojęcie „udowodnione statystycznie”

10

Kiedy wiadomości mówią o „udowodnieniu statystycznym”, czy używają prawidłowo zdefiniowanej koncepcji statystyki, źle ją stosują, czy po prostu używają oksymoronu?

Wyobrażam sobie, że „dowód statystyczny” nie jest w rzeczywistości czymś wykonywanym w celu udowodnienia hipotezy, ani dowodu matematycznego, ale raczej „testem statystycznym”.

Quora Feans
źródło
10
Nie ma dowodów w statystykach, z wyjątkiem tego, że dowody w statystykach matematycznych powinny być zgodne ze standardami matematycznymi. Jednak takie dowody nie mają znaczenia dla twojego pytania. Jeśli chodzi o twój przykład, nikt poza idiotą lub humorystą nie twierdzi, że każda amerykańska rodzina ma 2,4 dzieci. Twierdzenie to co najwyżej, że przeciętnie rodziny mają 2,4 dzieci; można to sprawdzić za pomocą ankiet przykładowych lub innego spisu, ale ponieważ liczba może się zmieniać lub systematycznie zmieniać, inny wynik nie oznacza, że ​​pierwszy wynik był nieprawidłowy; ani ten sam wynik nie oznacza, że ​​pierwszy wynik był poprawny.
Nick Cox

Odpowiedzi:

16

To, o czym ludzie mówią, jest zgadywaniem i różni się w zależności od wiadomości. Być może najczęstsze jest to, że podają jedno zdanie podsumowujące badania, które wymagają kilku stron.

Jednak ostatni akapit jest błędny. Statystycznie, każda rodzina NIE ma 2,4 dzieci. Średnia wynosi 2,4 dzieci. Jest to całkowicie możliwe. Jeśli weźmiesz losową próbkę amerykańskich rodzin (trudne, ale możliwe), uzyskasz oszacowanie średniej. Jeśli jednak przeprowadziłeś spis rodzin, to jeśli spis rzeczywiście obejmował każdą rodzinę (nie ma), lub jeśli osoby, które uzyskały, są reprezentatywne dla osób, których nie otrzymały, w odniesieniu do liczby dzieci, to byś udowodnił fakt.

Jednak spis nie tęskni za ludźmi, ludzie, za którymi tęskni, różnią się pod wieloma względami od ludzi, których dostaje. Biuro Spisu Ludności stara się zatem ustalić, czym się różnią; w ten sposób ponownie podaje się liczbę dzieci w rodzinie.

Ale są rzeczy, które możesz udowodnić; jeśli chcesz wiedzieć, powiedzmy, średnią liczbę lat, jaką nauczał każdy profesor w twoim dziale, możesz uzyskać dokładne dane i podać dokładną średnią.

Twój przedostatni akapit jest również problematyczny, ponieważ testy statystyczne są przeprowadzane właśnie w celu udowodnienia hipotez; a dokładniej, są one wykonywane (zresztą w ramach częstych), aby odrzucić hipotezę zerową na danym poziomie istotności.

Peter Flom
źródło
Poprawiłem moje pytanie.
Quora Feans
5

Myślę, że - jak w przypadku tak wielu rzeczy - jest to połączenie powszechnego nieporozumienia kulturowego z dziennikarskimi próbami wybicia krótkiego stenogramu, co czasem bywa mylące.

Telefony komórkowe powodują raka! ” Sprzedaje więcej reklam niż jakieś wyjaśnienie na temat badania możliwego linku.

Oczywiście wnioski oparte na wnioskach statystycznych nie są dowodem w żadnym trudnym sensie. Opiera się na założeniach, a nawet wtedy wnioski (w najlepszym przypadku) są probabilistyczne (jak otrzymujemy, powiedzmy przy wnioskowaniu bayesowskim), a następnie przy wnioskowaniu częstym należy dodać zwykły błąd błędnej interpretacji wartości p jako prawdopodobieństwo, że zero jest prawdą. To nawet bez uwzględnienia takich kwestii, jak publikacja czy uprzedzenia w zakresie zgłaszania

Podobne błędy widzisz tak samo, jak w przypadku raportów naukowych, i to jest tak samo frustrujące .

Sama nie podoba mi się wyrażenie „statystycznie udowodnione”, ponieważ wydaje mi się, że robi złe wrażenie. Choć dobrze wykonane statystyki są potężnym narzędziem, rzeczy, które faktycznie mówią, mogą być zaskakująco subtelne, a odpowiednia dyskusja na temat znaczenia tego, czego się nauczyliśmy i towarzyszących im kwalifikacji zawartych w wnioskach jest często nieodpowiednia do szumu i wyrazistości nagłówka lub pośpieszne kilka akapitów wciśniętych pomiędzy zwykłe plotki o celebrytach.

Rzeczywiście, nawet w czasopismach akademickich, w których tego rodzaju kwalifikacje wydają się niezbędne, często są one pomijane, a zamiast tego pojawia się sformułowanie formalne (różne w zależności od obszaru badań), które jest uważane za „namaszczenie” wyniku.

Myślę, że jest miejsce na dokładne wyjaśnienie rozumowania, poczynając od wyników wnioskowania (czy to oszacowanie punktowe i przedziałowe, testowanie hipotez, obliczenia teoretyczne czy nawet eksploracyjna konstrukcja kilku porównań wizualnych), aż do wniosków, do których prowadzą. To rozumowanie jest miejscem, w którym leży prawdziwe sedno sprawy (w tym luki w rozumowaniu zostałyby odkryte, gdyby były wyraźne) i rzadko widzimy, że zostało to określone.

Poza tym możemy zachować ostrożność

Glen_b - Przywróć Monikę
źródło
(+1) Czy możesz przejrzeć każdy z moich przyszłych artykułów?
Matt Krause,
2
Może ci się to nie podobać. Niejednokrotnie raporty mojego arbitra kończyły się znacznie dłużej niż oryginał, ponieważ szczegółowo omawiam, co jest nie tak i jak to naprawić (w większości przypadków wystarczy, że odpowiedzią będzie wycięcie całych odcinków papieru, a nie próba naprawienia najbardziej problematyczne, ale zazwyczaj najciekawsze, niestety). Jeden z moich uczniów miał podobny raport ze swojej pracy od jednego z jej sędziów; był właściwie bardzo cenny i doprowadził do znacznie lepszego produktu końcowego.
Glen_b
-2

Wiedza empiryczna jest zawsze probabilistyczna - nigdy wyraźnie nieprawdziwa lub fałszywa, ale zawsze gdzieś pomiędzy. „Dowód” statystyczny polega na zebraniu wystarczającej ilości danych, aby zmniejszyć prawdopodobieństwo, że hipoteza jest błędna, do poziomu poniżej pewnego przyjętego progu. A próg „prawdy” lub „poprawności” różni się w zależności od dyscypliny akademickiej. Socjologowie są zadowoleni z 95% prawdopodobieństwa, że ​​mają rację, a czasami zadowalają się mniejszym; fizycy kwantowi wymagają 99,99999% lub więcej.

Kevin Krumwiede
źródło
2
Witamy na stronie @Kevin Krumwiede. Twoje ostatnie zdanie jest dwuznaczne. Wygląda na to, że popełniasz częsty błąd, który łączy wartość p <0,05 (np.) Z 95% prawdopodobieństwem, że hipoteza zerowa jest fałszywa.
gung - Przywróć Monikę