Pochodzenie progu „5 ” dla akceptacji dowodów w fizyce cząstek?

Wiadomości informują, że CERN ogłosi jutro, że bozon Higgsa został eksperymentalnie wykryty na podstawie dowodów 5 . Zgodnie z tym artykułem:$\sigma$

5 oznacza 99,99994% szansy, że dane, które widzą detektory CMS i ATLAS, to nie tylko przypadkowy szum - i 0,00006% szansy, że zostali oszukani; 5 \ sigma jest niezbędna dla pewności coś być oficjalnie oznaczony naukową „odkrycie”.$\sigma$$\sigma$

Nie jest to zbyt rygorystyczne, ale wydaje się, że fizycy stosują standardową metodologię statystyczną „testowania hipotez”, ustawiając $\alpha$ na $0.0000006$ , co odpowiada $z=5$ (dwustronne)? Czy jest jakieś inne znaczenie?

W większości nauk oczywiście ustawienie alfa na 0,05 odbywa się rutynowo. Byłoby to równoważne z dowodami „two- $\sigma$ ”, chociaż nigdy nie słyszałem, by tak się to nazywało. Czy istnieją inne dziedziny (oprócz fizyki cząstek), w których znacznie bardziej rygorystyczna jest definicja alfa? Czy ktoś zna odniesienie do tego, jak fizyka cząstek przyjęła zasadę pięciu $\sigma$ ?

Aktualizacja: zadaję to pytanie z prostego powodu. Moja książka Intuicyjna biostatystyka (jak większość książek ze statystykami) zawiera sekcję, która wyjaśnia, jak arbitralna jest zwykła reguła „P <0,05”. Chciałbym dodać ten przykład dziedziny naukowej, w której potrzebna jest znacznie (znacznie!) Mniejsza wartość . Ale jeśli przykład jest w rzeczywistości bardziej skomplikowany, z wykorzystaniem metod bayesowskich (jak sugerują niektóre komentarze poniżej), to nie byłby trafny lub wymagałby znacznie więcej wyjaśnień.$\alpha$

W większości zastosowań statystyki jest taki stary kasztan o „wszystkie modele są złe, niektóre są przydatne”. W takim przypadku spodziewalibyśmy się, że model będzie działał tylko na danym poziomie, ponieważ opisujemy niewiarygodnie skomplikowany proces przy użyciu prostego modelu.

Fizyka jest bardzo różna, dlatego intuicja opracowana na podstawie modeli statystycznych nie jest tak właściwa. W fizyce, w szczególności w fizyce cząstek, która zajmuje się bezpośrednio podstawowymi prawami fizycznymi, model naprawdę powinien być dokładnym opisem rzeczywistości. Każde odstępstwo od tego, co przewiduje model, musi być całkowicie wyjaśnione hałasem eksperymentalnym, a nie ograniczeniem modelu. Oznacza to, że jeśli model jest dobry i poprawny, a aparat eksperymentalny zrozumiał, istotność statystyczna powinna być bardzo wysoka, stąd ustawiony wysoki słupek.

Drugi powód jest historyczny, społeczność fizyki cząstek została w przeszłości spalona przez „odkrycia” o niższym poziomie istotności, które później zostały wycofane, a zatem są one teraz bardziej ostrożne.

Historia i pochodzenie

Według Roberta D Cousins 1 i Tommaso Dorigo 2 , pochodzenie pochodzenia progowego 5 σ leży we wczesnych pracach fizyki cząstek w latach 60., kiedy badano liczne histogramy eksperymentów rozpraszania i poszukiwano pików / uderzeń, które mogłyby wskazywać na pewną nowo odkrytą cząsteczkę . Próg jest surową regułą uwzględniającą wiele dokonywanych porównań.$^{1}$$^{2}$$5\sigma$

Obaj autorzy odnoszą się do artykułu z Rosenfeld 3 z 1968 r. , Który dotyczył pytania, czy istnieją odległe mezony i bariony, dla których mierzono kilka efektów 4 σ . Artykuł odpowiedział negatywnie na to pytanie, argumentując, że liczba opublikowanych oświadczeń odpowiada statystycznie oczekiwanej liczbie wahań. Wraz z kilkoma obliczeniami popierającymi ten argument artykuł promował użycie poziomu 5 σ :$^3$$4 \sigma$$5\sigma$

Rosenfeld: „Zanim przejdziemy do badania daleko poza widm masowych gdzie guzki zostały zgłoszone w $(K\pi\pi)_{3/2},(\pi \rho)^{--}$ powinniśmy najpierw zdecydować, co próg istotności na zapotrzebowanie w 1968 roku chcę aby pokazać wam, że chociaż eksperymentatorzy prawdopodobnie powinni zauważyć efekty $3\sigma$ , teoretycy i fenomenolodzy powinni poczekać, aż efekt osiągnie $>4\sigma$ . ”

a później w artykule (nacisk jest mój)

Rosenfeld: „Następnie, aby powtórzyć moje ostrzeżenie na początku tego rozdziału; generujemy co najmniej 100 000 potencjalnych guzów rocznie i powinniśmy oczekiwać kilku wahań $4\sigma$ i setek $3\sigma$ . Jakie są implikacje? Dla teoretyka lub fenomenologa morał jest prosty; poczekaj na efekty $5\sigma$ . ”

Tommaso wydaje się uważać, twierdząc, że zaczęło się od artykułu Rosenfelda

Tommaso: „Należy jednak zauważyć, że artykuł został napisany w 1968 r., Ale w latach siedemdziesiątych i osiemdziesiątych nie przyjęto ścisłego kryterium pięciu standardowych odchyleń w odniesieniu do wniosków o odkrycie. Na przykład nie zastosowano takiego kryterium, jak kryterium pięciu sigma za odkrycie bozonów W i Z, które zdobyły Nagrodę Nobla w dziedzinie fizyki Rubbii i Van der Meerowi w 1984 r. ”

$5\sigma$$^4$

Schneider: „Często„ poziomy ufności ”wynoszące 95% lub 99% są podawane dla pozornie rozbieżnych danych, ale są to tylko dwa lub trzy sigmy statystyczne. Nauczono mnie nie wierzyć w mniej niż pięć sigma , co jeśli myślisz jest to absurdalnie surowe wymaganie --- coś w rodzaju poziomu ufności 99,9999%. Ale oczywiście taki limit jest stosowany, ponieważ rzeczywisty rozmiar sigmy prawie nigdy nie jest znany. W astronomii jest po prostu zbyt wiele wolnych zmiennych, które możemy nie kontroluj lub nie wiem o ”.

$4\sigma$$5\sigma$$^5$

Franklin: Wydaje się, że do 2003 r. Obowiązywało kryterium 5-odchylenia standardowego dla „obserwacji”

...

Członek współpracy BaBar przypomina, że ​​mniej więcej w tym czasie redaktorzy „ Physical Review Letters” wydali kryterium 5-sigma

Nowoczesne zastosowanie

$5\sigma$$^6$$^7$

$Z = 5$$5\sigma$$2.87 \times 10^{−7}$

$5\sigma$

• $5\sigma$$3\sigma$$4\sigma$

• $5\sigma$

• $\sigma$$\sigma$$\sigma$$6\sigma$

• $5\sigma$

$5\sigma$${^{8,}}$$^9$$^{1}$$^{2}$

Inne pola

Warto zauważyć, że wiele innych dziedzin naukowych nie ma podobnych progów lub w jakiś sposób nie zajmuje się tym problemem. Wyobrażam sobie, że ma to trochę sensu w przypadku eksperymentów z ludźmi, w których przedłużenie eksperymentu o wartości 0,05 lub 0,01 jest bardzo kosztowne (lub niemożliwe).

$^{10}$$^{11}$

1. Cousins, RD (2017). Paradoks Jeffreysa-Lindleya i kryteria odkrycia w fizyce wysokich energii. Synthese, 194 (2), 395–432. link arxiv

2. Dorigo, T. (2013) Demystifying The Five-Sigma Criterion, from science20.com 2019-03-07

3. Rosenfeld, AH (1968). Czy są jakieś odległe mezony lub bariony? źródło internetowe: escholarship

4. Burbidge, G., Roberts, M., Schneider, S., Sharp, N., i Tifft, W. (1990, listopad). Dyskusja panelowa: Problemy związane z Redshift. W publikacji konferencji NASA (t. 3098, s. 462). link do kserokopii na harvard.edu

5. Franklin, A. (2013). Przesuwające się standardy: eksperymenty z fizyki cząstek elementarnych w XX wieku. University of Pittsburgh Press.

6. Co oznacza sigma 5? od physics.org 2019-03-07

7. Beringer, J., Arguin, JF, Barnett, RM, Copic, K., Dahl, O., Groom, DE, ... i Yao, WM (2012). Przegląd fizyki cząstek elementarnych. Przegląd fizyczny Cząstki D, pola, grawitacja i kosmologia, 86 (1), 010001. (sekcja 36.2.2. Testy istotności, strona 394, link aps.org )

8. Lyons, L. (2013). Odkrywanie znaczenia 5 sigma. nadruk arXiv arXiv: 1310.1284. link arxiv

9. Lyons, L. (2014). Zagadnienia statystyczne w poszukiwaniu nowej fizyki. arXiv preprint link arxiv

10. Baker, M. (2015). Ponad połowa badań psychologicznych nie przejdzie testu odtwarzalności. Wiadomości natury. z nature.com 2019-03-07

11. Horton, R. (2015). Offline: czym jest sigma 5 medycyny ?. The Lancet, 385 (9976), 1380. z thelancet.com 2019-03-07

Z zupełnie innych powodów niż fizyka istnieją inne dziedziny o znacznie bardziej rygorystycznych cechach, gdy biorą udział w testowaniu hipotez. Wśród nich znajduje się epidemia genetyczna, szczególnie gdy używają „GWAS” (Genome-Wide Association Association) do badania różnych markerów genetycznych chorób.

Ponieważ badanie GWAS jest ogromnym ćwiczeniem w testowaniu wielu hipotez, najnowocześniejsze techniki analizy są oparte na znacznie bardziej rygorystycznych wartościach alfa niż 0,05. Inne takie techniki badań „przesiewowych kandydatów”, które następują po badaniach genomicznych, prawdopodobnie zrobią to samo.

Poziom jest tak wysoki, aby uniknąć przedwczesnych zapowiedzi wiadomości, które później okazują się fałszywe. Aby uzyskać więcej dyskusji na ten temat, zobacz

https://physics.stackexchange.com/questions/8752/standard-deviation-in-particle-physics?rq=1

https://physics.stackexchange.com/questions/31126/how-many-sigma-did-the-discovery-of-the-w-boson-have