Jak opisałbyś w prostym języku angielskim cechy odróżniające rozumowanie bayesowskie od częstościowego?

Oto jak wytłumaczyłbym babci podstawową różnicę:

Zgubiłem telefon gdzieś w domu. Mogę użyć lokalizatora telefonu na podstawie przyrządu, aby zlokalizować telefon, a po naciśnięciu lokalizatora telefon zaczyna wydawać sygnał dźwiękowy.

Problem: Który obszar mojego domu powinienem wyszukać?

Uzasadnienie dla częstych

Słyszę pisk telefonu. Mam również model mentalny, który pomaga mi zidentyfikować obszar, z którego dochodzi dźwięk. Dlatego po usłyszeniu sygnału domyślam się, w jakim obszarze domu muszę szukać telefonu.

Uzasadnienie bayesowskie

Słyszę pisk telefonu. Teraz oprócz modelu mentalnego, który pomaga mi zidentyfikować obszar, z którego dochodzi dźwięk, znam także miejsca, w których w przeszłości zgubiłem telefon. Łączę zatem swoje wnioski za pomocą sygnałów dźwiękowych i wcześniejszych informacji o lokalizacjach, w których zgubiłem telefon w przeszłości, aby zidentyfikować obszar, który muszę wyszukać, aby zlokalizować telefon.

Język mocno w policzek:

Bayesian definiuje „prawdopodobieństwo” dokładnie w taki sam sposób, jak robi to większość niestatystów - mianowicie wskazanie prawdopodobieństwa zdania lub sytuacji. Jeśli zadasz mu pytanie, da ci bezpośrednią odpowiedź, przypisując prawdopodobieństwa opisujące prawdopodobne wyniki możliwych sytuacji w danej sytuacji (i poda jego wcześniejsze założenia).

Frequentist to ktoś, kto uważa, że ​​prawdopodobieństwa reprezentują częstotliwości długoterminowe, z którymi zdarzają się zdarzenia; w razie potrzeby wymyśli fikcyjną populację, z której twoją szczególną sytuację można by uznać za losową próbę, aby mógł w sposób znaczący mówić o częstotliwościach w długim okresie. Jeśli zadasz mu pytanie dotyczące konkretnej sytuacji, nie udzieli bezpośredniej odpowiedzi, a zamiast tego wypowie się na temat tej (prawdopodobnie wyobrażonej) populacji. Wielu statystyków, którzy nie są częstymi, łatwo pomylić odpowiedź i zinterpretować ją jako prawdopodobieństwo Bayesa dotyczące konkretnej sytuacji.

Należy jednak zauważyć, że większość metod Frequentist ma odpowiednik Bayesa, który w większości przypadków daje zasadniczo ten sam wynik, różnica jest w dużej mierze kwestią filozofii, aw praktyce jest to kwestia „koni na kursy”.

Jak można się domyślić, jestem Bayesianinem i inżynierem. ; o)

Bardzo nieuprzejmie powiedziałbym, że:

Frequentist: Pobieranie próbek jest nieskończone, a zasady podejmowania decyzji mogą być ostre. Dane są powtarzalną losową próbką - istnieje częstotliwość. Podstawowe parametry są stałe, tj. Pozostają stałe podczas tego powtarzalnego procesu próbkowania.

Bayesian: Nieznane ilości są traktowane probabilistycznie, a stan świata można zawsze aktualizować. Dane są obserwowane z zrealizowanej próbki. Parametry są nieznane i opisane probabilistycznie. Dane są naprawione.

Jest świetny post na blogu, który daje dokładny przykład tego, jak Bayesian i Frequentist poradziliby sobie z tym samym problemem. Dlaczego nie odpowiedzieć na problem sam, a następnie sprawdzić?

Problem (zaczerpnięty z bloga Panos Ipeirotis):

Masz monetę, która po obróceniu kończy głowę z prawdopodobieństwem p, a kończy ogonem z prawdopodobieństwem 1-p. (Wartość p jest nieznana.)

Próbując oszacować p, przerzucasz monetę 100 razy. Kończy głowę 71 razy.

Następnie musisz zdecydować o następującym wydarzeniu: „W ciągu następnych dwóch rzutów dostaniemy dwie głowy z rzędu”.

Czy mógłbyś się założyć, że wydarzenie się wydarzy lub że tak się nie stanie?

Powiedzmy, że człowiek rzuca sześciościenną kostką i ma wyniki 1, 2, 3, 4, 5 lub 6. Ponadto mówi, że jeśli wyląduje na 3, da ci darmowy podręcznik.

Następnie nieformalnie:

Częstościowym byłoby powiedzieć, że każdy wynik ma równe 1 na 6 prawdopodobieństwo wystąpienia. Uważa, że ​​prawdopodobieństwo pochodzi z rozkładów częstotliwości w długim okresie.

Bayesa jednak powiedziałbym powiesić na sekundę, znam tego człowieka, on jest David Blaine, znany oszust! Mam wrażenie, że coś knuje. Powiem, że jest tylko 1% szansa, że ​​wyląduje na 3, ALE ponownie ocenię to przekonanie i zmienię je, im więcej rzuci kostką. Jeśli widzę, że inne liczby pojawiają się równie często, iteracyjnie zwiększę szansę z 1% do czegoś nieco wyższego, w przeciwnym razie jeszcze bardziej ją zmniejszę. Uważa prawdopodobieństwo za stopień wiary w propozycję.

Trochę zabawy ...

Bayesian to ten, który niejasno spodziewa się konia i dostrzegając osła, mocno wierzy, że widział muła.

Z tej strony:

http://www2.isye.gatech.edu/~brani/isyebayes/jokes.html

i z tej samej strony fajny esej ...

„Intuicyjne wyjaśnienie twierdzenia Bayesa”

http://yudkowsky.net/rational/bayes

Bayesian jest proszony o stawianie zakładów, które mogą obejmować wszystko, z czego mucha szybciej czołgnie się po ścianie, do której lekarstwo uratuje większość istnień ludzkich lub którzy więźniowie powinni pójść do więzienia. Ma duże pudełko z rączką. Wie, że jeśli włoży do pudełka absolutnie wszystko, co wie, w tym swoją osobistą opinię, i przekręci klamkę, podejmie najlepszą możliwą decyzję.

Często odwiedzający proszeni są o pisanie raportów. Ma wielką czarną księgę zasad. Jeśli sytuacja, w której jest proszony o sporządzenie raportu, jest opisana w jego zbiorze przepisów, może on przestrzegać zasad i napisać raport tak starannie sformułowany, że w najgorszym przypadku jest on błędny, raz na 100 (lub raz na 20 lub jeden raz czas w jakiejkolwiek specyfikacji jego raportu).

Częsty odwiedzający wie (bo napisał o tym raporty), że Bayesian czasami robi zakłady, które w najgorszym przypadku, gdy jego osobista opinia jest błędna, mogą się źle skończyć. Częstochowiec wie również (z tego samego powodu), że jeśli stawia zakłady przeciwko Bayesianowi za każdym razem, gdy różni się od niego, to w dłuższej perspektywie przegra.

Mówiąc wprost, powiem, że rozumowanie Bayesa i Frequentist wyróżniają się na dwa różne sposoby odpowiedzi na pytanie:

Jakie jest prawdopodobieństwo?

Większość różnic sprowadza się zasadniczo do tego, w jaki sposób każdy odpowiada na to pytanie, ponieważ zasadniczo określa on dziedzinę prawidłowych zastosowań teorii. Teraz nie możesz udzielić żadnej odpowiedzi w kategoriach „zwykłego angielskiego”, bez dalszego generowania dodatkowych pytań. Dla mnie odpowiedź brzmi (jak można się domyślić)

prawdopodobieństwo jest logiką

$1$$0$. Dodatkowo rachunek prawdopodobieństwa można wyprowadzić z rachunku zdań. Jest to najbardziej zgodne z rozumowaniem „bayesowskim” - chociaż rozszerza ono również rozumowanie bayesowskie w aplikacjach, zapewniając zasady przypisywania prawdopodobieństw, a także zasady manipulowania nimi. Oczywiście prowadzi to do pytania uzupełniającego „czym jest logika?” dla mnie najbliższą rzeczą, jaką mógłbym dać jako odpowiedź na to pytanie, jest: „logika to sądy rozsądku osądu racjonalnego, z danym zestawem założeń” (co to jest racjonalna osoba? itd.). Logika ma te same funkcje, co rozumowanie bayesowskie. Na przykład logika nie mówi ci, co przyjąć lub co jest „absolutnie prawdziwe”. Mówi tylko, w jaki sposób prawda jednego zdania jest powiązana z prawdą drugiego. Zawsze trzeba dostarczyć logiczny system z „aksjomatami”, aby mógł on zacząć od wniosków. Mają także te same ograniczenia, że ​​można uzyskać arbitralne wyniki ze sprzecznych aksjomatów. Ale „aksjomaty” są niczym innym jak wcześniej ustalonymi prawdopodobieństwami$1$

W przypadku rozumowania częstych mamy odpowiedź:

prawdopodobieństwo to częstotliwość

chociaż nie jestem pewien, czy „częstotliwość” jest zwykłym angielskim terminem, w jakim jest tutaj używana - być może „proporcja” jest lepszym słowem. Chciałem dodać do częstej odpowiedzi, że prawdopodobieństwo zdarzenia jest uważane za rzeczywistą, mierzalną (obserwowalną?) Wielkość, która istnieje niezależnie od osoby / obiektu, który ją oblicza. Ale nie mogłem tego zrobić w „zwykły angielski” sposób.

Być może więc wersja „czysto angielska” różni się tym, że częste rozumowanie jest próbą rozumowania na podstawie „absolutnych” prawdopodobieństw, podczas gdy rozumowanie bayesowskie jest próbą rozumowania na podstawie „względnych” prawdopodobieństw.

Inna różnica polega na tym, że częste podstawy są bardziej niejasne w tłumaczeniu rzeczywistego problemu na abstrakcyjną matematykę teorii. Dobrym przykładem jest zastosowanie „zmiennych losowych” w teorii - mają one precyzyjną definicję w abstrakcyjnym świecie matematyki, ale nie ma jednoznacznej procedury, którą można by zastosować, aby zdecydować, czy jakaś zaobserwowana wielkość jest, czy nie jest „przypadkowa” zmienna".

Bayesowski sposób rozumowania, pojęcie „zmiennej losowej” nie jest konieczne. Rozkład prawdopodobieństwa jest przypisany do wielkości, ponieważ jest nieznany - co oznacza, że ​​nie można go wywnioskować logicznie na podstawie posiadanych informacji. Zapewnia to proste połączenie między obserwowalną wielkością a teorią - ponieważ „bycie nieznanym” jest jednoznaczne.

W powyższym przykładzie widać również kolejną różnicę w tych dwóch sposobach myślenia - „losowy” w porównaniu z „nieznanym”. „losowość” jest sformułowana w taki sposób, że „losowość” wydaje się być właściwością rzeczywistej ilości. I odwrotnie, „bycie nieznanym” zależy od tego, o którą osobę pytasz o tę ilość - stąd jest to właściwość statystysty dokonującego analizy. Daje to początek przymiotnikom „obiektywnym” i „subiektywnym”, często dołączanym do każdej teorii. Łatwo jest wykazać, że „losowość” nie może być własnością niektórych standardowych przykładów, po prostu prosząc dwóch częstych, którzy otrzymali różne informacje o tej samej ilości, o podjęcie decyzji, czy jest ona „losowa”. Jednym z nich jest zwykła urna Bernoulliego: częstownik 1 ma zasłonięte oczy podczas rysowania, podczas gdy częsty 2 stoi nad urną, obserwując częsty 1 wyciągający piłki z urny. Jeśli deklaracja „losowości” jest właściwością kulek w urnie, to nie może zależeć od odmiennej wiedzy częstokroć 1 i 2 - a zatem dwaj częsty powinni podać tę samą deklarację „losowy” lub „nieprzypadkowy” .

W rzeczywistości uważam, że wiele filozofii wokół tego zagadnienia jest po prostu wspaniała. Nie ma to na celu odrzucić debaty, ale jest to słowo ostrożności. Czasami sprawy praktyczne mają pierwszeństwo - podam przykład poniżej.

Równie łatwo można argumentować, że istnieją więcej niż dwa podejścia:

• Neyman-Pearson („częsty”)
• Podejścia oparte na prawdopodobieństwie
• W pełni bayesowski

Starszy kolega niedawno przypomniał mi, że „wiele osób w wspólnym języku mówi o częstych i bayesowskich. Myślę, że bardziej uzasadnione jest rozróżnienie oparte na prawdopodobieństwie i częste. Zarówno maksymalne prawdopodobieństwo, jak i metody bayesowskie są zgodne z zasadą prawdopodobieństwa, podczas gdy metody częste nie. „

Zacznę od bardzo prostego praktycznego przykładu:

Test jest więc w 100% dokładny lub w 95% dokładny, w zależności od tego, czy pacjent jest zdrowy czy chory. Podsumowując, oznacza to, że test jest co najmniej w 95% dokładny.

Na razie w porządku. Są to stwierdzenia, które złożyłby częsty. Te stwierdzenia są dość proste do zrozumienia i prawdziwe. Nie ma potrzeby gofrować w związku z „interpretacją częstych”.

Ale rzeczy stają się interesujące, gdy próbujesz je odwrócić. Biorąc pod uwagę wynik testu, czego możesz dowiedzieć się o zdrowiu pacjenta? Biorąc pod uwagę wynik testu negatywnego, pacjent jest oczywiście zdrowy, ponieważ nie ma fałszywych wyników ujemnych.

Ale musimy również rozważyć przypadek, w którym test jest pozytywny. Czy wynik testu był pozytywny, ponieważ pacjent był chory, czy też wynik był fałszywie dodatni? To tutaj rozchodzą się osoby często podróżujące i bayesowskie. Wszyscy zgodzą się, że obecnie nie można na nie odpowiedzieć. Częstotliwość odmówi odpowiedzi. Bayesian będzie przygotowany na udzielenie odpowiedzi, ale najpierw musisz dać Bayesianowi wcześniej - tzn. Powiedzieć, jaka część pacjentów jest chora.

Podsumowując, następujące stwierdzenia są prawdziwe:

• Dla zdrowych pacjentów test jest bardzo dokładny.
• Dla chorych pacjentów test jest bardzo dokładny.

Jeśli jesteś zadowolony z takich oświadczeń, to korzystasz z częstych interpretacji. Może się to zmieniać w zależności od projektu, w zależności od rodzaju problemów.

Ale możesz chcieć zrobić różne stwierdzenia i odpowiedzieć na następujące pytanie:

• Jak dokładny jest dla tych pacjentów, którzy uzyskali pozytywny wynik testu?

Wymaga to uprzedniego i bayesowskiego podejścia. Zauważ również, że jest to jedyne pytanie interesujące dla lekarza. Lekarz powie „Wiem, że pacjenci albo uzyskają wynik pozytywny, albo negatywny. Ja również teraz, gdy wynik ujemny oznacza, że ​​pacjent jest zdrowy i można go odesłać do domu. Jedynymi zainteresowanymi pacjentami są ci, którzy otrzymali pozytywny wynik - czy są chorzy ?.

Podsumowując: W przykładach takich jak ten Bayesian zgodzi się ze wszystkim, co powiedział częsty. Ale Bayesian będzie argumentował, że oświadczenia częstego użytkownika, choć prawdziwe, nie są zbyt przydatne; i będzie argumentować, że na użyteczne pytania można odpowiedzieć tylko z góry.

Częstotliwość rozważy kolejno każdą możliwą wartość parametru (H lub S) i zapyta „czy parametr jest równy tej wartości, jakie jest prawdopodobieństwo, że mój test jest poprawny?”

Bayesjan zamiast tego rozważy każdą możliwą zaobserwowaną wartość (+ lub -) z kolei i zapyta: „Jeśli wyobrażam sobie, że właśnie zaobserwowałem tę wartość, co mi to mówi o warunkowym prawdopodobieństwie H-w porównaniu do S?”.

Statystyki bayesowskie i częstokrzyskie są kompatybilne, ponieważ można je rozumieć jako dwa ograniczające przypadki oceny prawdopodobieństwa przyszłych zdarzeń na podstawie przeszłych zdarzeń i założonego modelu, jeśli przyzna się, że w granicach bardzo dużej liczby obserwacji nie ma wątpliwości co do system pozostaje, i że w tym sensie bardzo duża liczba obserwacji jest równa znajomości parametrów modelu.

Załóżmy, że dokonaliśmy pewnych obserwacji, np. Wyniku 10 rzutów monetą. W statystyce bayesowskiej zaczynasz od tego, co zaobserwowałeś, a następnie oceniasz prawdopodobieństwo przyszłych obserwacji lub parametrów modelu. W statystykach częstych zaczynasz od pomysłu (hipotezy) tego, co jest prawdą, zakładając scenariusze dużej liczby poczynionych obserwacji, np. Moneta jest bezstronna i daje 50% głów do góry, jeśli rzucisz ją wiele razy. Opierając się na tych scenariuszach dużej liczby obserwacji (= hipoteza), oceniasz częstotliwość dokonywania obserwacji podobną do tej, którą robiłeś, tj. Częstotliwość różnych wyników 10 rzutów monetą. Dopiero wtedy bierzesz swój rzeczywisty wynik, porównujesz go z częstotliwością możliwych wyników i decydujesz, czy wynik należy do tych, które mają wystąpić z wysoką częstotliwością. W takim przypadku wnioskujesz, że dokonane obserwacje nie są sprzeczne z Twoimi scenariuszami (= hipoteza). W przeciwnym razie dojdziesz do wniosku, że dokonana obserwacja jest niezgodna z Twoimi scenariuszami, i odrzucasz hipotezę.

Tak więc statystyki bayesowskie zaczynają się od tego, co zaobserwowano i oceniają możliwe przyszłe wyniki. Częstotliwościowe statystyki rozpoczynają się od abstrakcyjnego eksperymentu tego, co można by zaobserwować, gdyby ktoś coś założył, i dopiero wtedy porównuje wyniki eksperymentu abstrakcyjnego z tym, co faktycznie zaobserwowano. W przeciwnym razie oba podejścia są kompatybilne. Obaj oceniają prawdopodobieństwo przyszłych obserwacji na podstawie niektórych poczynionych lub postawionych hipotez.

Zacząłem pisać w bardziej formalny sposób:

Pozycjonowanie wnioskowania bayesowskiego jako szczególnego zastosowania wnioskowania częstokrzyskiego i odwrotnie. figshare.

http://dx.doi.org/10.6084/m9.figshare.867707

Manuskrypt jest nowy. Jeśli zdarzy ci się to przeczytać i masz komentarze, daj mi znać.

Powiedziałbym, że patrzą na prawdopodobieństwo na różne sposoby. Bayesian jest subiektywny i wykorzystuje przekonania a priori do zdefiniowania wcześniejszego rozkładu prawdopodobieństwa na możliwych wartościach nieznanych parametrów. Opiera się więc na teorii prawdopodobieństwa, takiej jak deFinetti. Częstotliwość postrzega prawdopodobieństwo jako coś, co ma związek z ograniczającą częstotliwością opartą na obserwowanej proporcji. Jest to zgodne z teorią prawdopodobieństwa rozwiniętą przez Kołmogorowa i von Misesa.
Częstochowiec dokonuje wnioskowania parametrycznego, używając tylko funkcji prawdopodobieństwa. Bayesian bierze to i mnoży przez przeora i normalizuje je, aby uzyskać rozkład tylny, którego używa do wnioskowania.

Odpowiadam na to pytanie: częste osoby porównujące dane, które widzą, z oczekiwaniami. Oznacza to, że mają model mentalny określający częstotliwość coś powinno się zdarzyć, a następnie widzą dane i jak często to się zdarza. tzn. jak prawdopodobne są dane, które widzieli, biorąc pod uwagę wybrany przez nich model.

Z drugiej strony lud Bayesian łączy swoje modele mentalne. Oznacza to, że mają model oparty na swoich wcześniejszych doświadczeniach, który mówi im, jak według nich powinny wyglądać dane, a następnie łączą to z danymi, które obserwują, aby osądzić jakieś `` późniejsze '' przekonanie. tzn. znajdują prawdopodobieństwo, że model, który chcą wybrać, jest prawidłowy, biorąc pod uwagę zaobserwowane dane.

Frequentist: Prawdziwy stan natury to. Jeśli zwykle wykonuję takie analizy, 95% moich odpowiedzi będzie poprawnych.

Bayesian: Istnieje 95% szans na to, że prawdziwą odpowiedzią jest ... Opieram to na kombinacji danych, które mi dałeś i naszych wcześniejszych domysłów na temat tego, co jest prawdą.

Frequentist: obstawianie kości. Tylko wartość kości decyduje o wyniku: wygrywasz zakład lub nie. W zależności od samej szansy.

Bayesian: gra w pokera Texas Hold'em. Jesteś jedynym, który widzi twoje dwie karty. Masz trochę wiedzy na temat innych graczy na stole. Musisz dostosować swoje prawdopodobieństwo wygranej na flopie, turnie i riverze i ewentualnie w zależności od tego, którzy gracze zostali. Czy często blefują? Czy są agresywnymi czy pasywnymi graczami? Wszystko to decyduje o tym, co robisz. To nie tylko prawdopodobieństwo otrzymania pierwszych dwóch kart, które zdecydują, czy wygrasz, czy nie.

Granie w pokera często oznacza, że ​​każdy gracz na początku pokazuje swoje ręce, a następnie stawia zakład lub pasuje przed pokazaniem kart na flopie, turnie i riverze. Teraz znowu zależy tylko od szansy, czy wygrasz, czy nie.

Powiedz, jeśli złapałeś ból głowy i idź do lekarza. Załóżmy, że w zestawie decyzyjnym lekarza istnieją dwie przyczyny bólu głowy, nr 1 dla guza mózgu (podstawowa przyczyna, która powoduje ból głowy w 99% przypadków) i nr 2 przeziębienia (przyczyna, która może powodować bóle głowy u bardzo niewielu pacjentów) .

Wtedy decyzje lekarzy oparte na częstym podejściu byłyby takie, że masz guz mózgu.

Decyzja lekarzy oparta na podejściu bayesowskim powie ci, że masz przeziębienie (nawet jeśli tylko 1% przeziębienia powoduje bóle głowy)

Samiec i kotka są trzymane w stalowej komorze wraz z wystarczającą ilością jedzenia i wody na 70 dni.

Częstochowiec powiedziałby, że średni okres ciąży kotów wynosi 66 dni, kotka była w upale, kiedy koty były uwięzione, a raz w upale będzie się krzyżować przez 4 do 7 dni. Ponieważ prawdopodobnie nastąpiło wiele aktów rozmnażania i wystarczająco dużo czasu na ciążę, szanse są na to, że kiedy pudełko zostanie otwarte w dniu 70, jest miot noworodków.

Bayesian powiedziałby: słyszałem poważnego Marvina Gaye wychodzącego z pudełka pierwszego dnia, a potem rano usłyszałem wiele dźwięków przypominających kociaki. Tak więc, nie wiedząc wiele na temat rozmnażania kotów, istnieje prawdopodobieństwo, że kiedy pudełko zostanie otwarte w dniu 70, pojawi się miot noworodków.