Odrzucenie opartej na entropii paradoksu czasu Bayesa do tyłu Shaliziego?

W tym artykule utalentowany badacz Cosma Shalizi przekonuje, że aby w pełni zaakceptować subiektywny pogląd bayesowski, należy również zaakceptować niefizyczny wynik, że strzałka czasu (podana przez przepływ entropii) powinna faktycznie cofnąć się . Jest to głównie próba argumentacji przeciwko maksymalnemu entropii / w pełni subiektywnemu poglądowi Bayesa przedstawionemu i spopularyzowanemu przez ET Jaynesa .

W LessWrong wielu autorów bardzo interesuje się Bayesowską teorią prawdopodobieństwa, a także subiektywnym Bayesowskim podejściem jako podstawą formalnych teorii decyzyjnych i krokiem w kierunku silnej AI Eliezer Yudkowsky jest tam wspólnym współpracownikiem i niedawno czytałem ten post, kiedy ja natknąłem się na ten komentarz (kilka innych dobrych komentarzy pojawiło się wkrótce po nim na stronie oryginalnego postu).

Czy ktoś może komentować zasadność obalenia Shalizi przez Yudkowsky'ego. W skrócie, argument Yudkowsky'ego jest taki, że fizyczny mechanizm, za pomocą którego agent rozumujący aktualizuje swoje przekonania, wymaga pracy, a zatem pociąga za sobą koszty termodynamiczne, które Shalizi zamiata pod dywan. W innym komentarzu Yudkowsky broni tego, mówiąc:

„Jeśli spojrzysz na perspektywę logicznie wszechwiedzącego doskonałego obserwatora spoza systemu, pojęcie„ entropii ”jest praktycznie bez znaczenia, podobnie jak„ prawdopodobieństwo ”- nigdy nie musisz używać termodynamiki statystycznej do modelowania czegokolwiek, po prostu używasz deterministycznej precyzji równanie falowe. ”

Czy jakiś probabilista lub mechanik statystyczny może wypowiedzieć się na ten temat? Nie dbam o argumenty władzy dotyczące statusu Shaliziego lub Yudkowskiego, ale naprawdę chciałbym zobaczyć podsumowanie tego, w jaki sposób trzy punkty Yudkowsky'ego krytykują artykuł Shaliziego.

Aby zachować zgodność z wytycznymi FAQ i uczynić to pytanie konkretnie możliwym do odpowiedzi, proszę zauważyć, że proszę o konkretną, szczegółową odpowiedź, która bierze trzyetapowy argument Yudkowsky'ego i wskazuje, gdzie w artykule Shalizi te trzy kroki obalają założenia i / lub pochodne, lub, z drugiej strony wskazuje, gdzie w pracy Shaliziego poruszane są argumenty Yudkowsky'ego.

Często słyszałem artykuł Shalizi reklamowany jako żelazny dowód na to, że w pełni subiektywny Bayesianizm nie może być broniony ... ale po kilkukrotnym przeczytaniu artykułu Shalizi wygląda mi na zabawkowy argument, który nigdy nie miałby zastosowania obserwatorowi wchodzącemu w interakcję z tym, co jest obserwowane (tj. całą faktyczną fizyką). Ale Shalizi jest świetnym badaczem, dlatego z radością powitałbym drugą opinię, ponieważ bardzo prawdopodobne jest, że nie rozumiem ważnych fragmentów tej debaty.

bayesian entropy maximum-entropy philosophical Ely
źródło

Shalizi lubi być prowokujący ... jego argument wydaje mi się zasadniczo taki sam jak argument kreacjonistyczny, że ewolucja narusza drugie prawo termodynamiki, ponieważ organizmy „późniejsze” są bardziej złożone w zorganizowany sposób niż organizmy „wcześniejsze”, ale drugie prawo mówi, że entropia nie maleje. Jednak 1) w drugim prawie nie ma niczego, co zapobiega lokalnemu spadkowi entropii, i 2) ten argument sugeruje, że nikt nigdy nie może się niczego dowiedzieć o czymkolwiek (dlaczego uczenie się przez aktualizację Bayesian powinno być inne niż jakikolwiek inny proces uczenia się?)

łucznik

Nie dałabym się wciągnąć w debatę między Shalizi i Yudkowskim; żaden nie jest autorytetem. (Shalizi pisze jednak dobrze.) W każdym razie, nie sądzisz, że fizyka. To lepsze miejsce na to pytanie?

Emre

Czy czytałeś wiele postów sekwencyjnych Yudkowsky'ego? Myślę, że on też pisze całkiem dobrze. Obie te postacie mają kontrowersyjne postawy, ale Shalizi wydaje się naprawdę wypowiadać się na temat subiektywnego bayesianizmu. Powodem, dla którego tu zapytałem, jest to, że ściśle wiąże się ono z bardziej czysto teoretycznymi statystykami, które Shalizi napisał z Andrew Gelmanem, który jest również pełen problemów filozoficznych (chociaż Gelman jest całkowitym profesjonalistą, jeśli chodzi o praktykę). ( link )

ely

Próbowałem sprowadzić to do równań, ale wydaje się, że nie mogę tego jeszcze zrobić. Myślę, że największym problemem Shazili jest jego drugie założenie w Części 1, a mianowicie, że możesz po prostu zaktualizować (losowy) punkt

fazy za pomocą Reguły Bayesa. Jak zauważa Yudkowsky, lekceważy to fakt, że kiedy ponownie mierzysz i aktualizujesz swoją początkową dystrybucję, musisz dodać SWÓJ wkład do systemu ...

X

$X$

Néstor

X

$X$

Odpowiedzi:

W skrócie: 1: 0 dla Yudkowsky'ego.

Cosma Shalizi uważa rozkład prawdopodobieństwa poddany pewnym pomiarom. Odpowiednio aktualizuje prawdopodobieństwa (tutaj nie ma znaczenia, czy jest to wnioskowanie Bayensa, czy cokolwiek innego).

Nic dziwnego, że entropia rozkładu prawdopodobieństwa zmniejsza się.

Jednak wyciąga błędny wniosek, że mówi coś o strzale czasu:

Założenia te odwracają strzałkę czasu, tzn. Powodują, że entropia nie rośnie.

Jak wskazano w komentarzach, termodynamika ma znaczenie dla entropii systemu zamkniętego . Oznacza to, że zgodnie z drugą zasadą termodynamiki entropia układu zamkniętego nie może się zmniejszyć. Nie mówi nic o entropii podsystemu (lub systemu otwartego); w przeciwnym razie nie można użyć lodówki.

A kiedy mierzymy coś (tj. Wchodzimy w interakcję i zbieramy informacje), nie jest to już zamknięty system. Albo nie możemy użyć drugiego prawa, albo - musimy rozważyć zamknięty system złożony z systemu mierzonego i obserwatora (tj. Nas samych).

W szczególności, gdy mierzymy dokładny stan cząstki (zanim poznaliśmy jej rozkład), rzeczywiście obniżamy jej entropię. Jednak, aby przechowywać informacje, musimy zwiększyć naszą entropię o co najmniej tę samą kwotę (zwykle jest to ogromny koszt ogólny).

Więc Eliezer Yudkowsky ma rację:

1) Pomiary wykorzystują pracę (lub przynajmniej kasowanie w przygotowaniu do następnego pomiaru wykorzystuje pracę).

Właściwie uwaga na temat pracy nie jest tutaj najważniejsza. Podczas gdy termodynamika polega na powiązaniu (lub wymianie) entropii z energią, możesz się obejść (tzn. Nie musimy uciekać się do zasady Landauera , której Shalizi jest sceptyczny ). Aby zebrać nowe informacje, musisz usunąć poprzednie informacje.

Aby zachować spójność z mechaniką klasyczną (i kwantową), nie można utworzyć funkcji arbitralnie mapującej cokolwiek na wszystkie zera (bez efektów ubocznych). Możesz ustawić funkcję mapującą pamięć na zero , ale jednocześnie zrzucając gdzieś informacje, co skutecznie zwiększa entropię środowiska.

(Powyższe wynika z dynamiki hamiltonowskiej - tj. Zachowania przestrzeni fazowej w przypadku klasycznym i jednolitości ewolucji w przypadku kwantowym.)

PS: Trik na dziś - „zmniejszenie entropii”:

$H = 1$
$H = 0$

Piotr Migdal
źródło

czy ta wersja tl; dr jest poprawna: „Artykuł Shalizi jest tylko specjalnym odtworzeniem demona Maxwella”?

Artem Kaznatcheev

@ArtemKaznatcheev Zasadniczo tak. Ale bardziej w smaku zamknięte niż otwarte systemy. Ale dla tych, którzy nie lubią czytać, jest pierwszy wiersz;).

Piotr Migdal

Podoba mi się ta odpowiedź, ale trudno mi pogodzić się z dyskusją na inny temat. Spójrz na ten link i znajdź wątek / odpowiedź zapoczątkowaną przez użytkownika „pragmatist”. Jeśli dodasz akapit lub dwa dotyczące tego argumentu (lub wyjaśniając, dlaczego ten argument jest ważny / nie zgadza się z twoją odpowiedzią powyżej), chętnie go zaakceptuję.

ely

@EMS Cóż, „Czy możesz skomentować dyskusję?” nie najlepiej nadaje się do SE (i ogólnie jest wiele argumentów). Co więcej, faktycznie uzasadniłem krytykę pracy Shalizi. W tym także krytyka krytyki artykułu wymaga zbyt wiele. Czy możesz być bardziej szczegółowy, tzn. Dokładnie wskazać punkty? Jednak: „Kiedy wykonujemy mechanikę statystyczną, zwykle nie interesuje nas entropia systemu plus obserwator” - fałsz (systemy otwarte vs zamknięte), „ewolucja systemu nie będzie jednolita” - to prawda, ale nawet klasycznie nie można zmniejsz całkowitą entropię.

Piotr Migdal

@EMS Zasada usuwania jest głębsza niż stat. mech. - jak powiedziałem, jeśli to nie zaspokoi, obali zarówno mechanikę kwantową, jak i klasyczną. I jeszcze raz: nie można stosować reguł dla systemów zamkniętych do systemów otwartych - więc większość argumentów pragmatyków albo nie jest naukowych (tj. W to, w co wierzyć, albo nie) lub ignoruje fizykę.

Piotr Migdal

Wada Shalizi jest bardzo podstawowa i wywodzi się z założenia, że ewolucja czasu jest odwracalna (odwracalna).

Ewolucja stanów INDYWIDUALNYCH w czasie jest odwracalna. Ewolucja czasowa rozkładu w CAŁEJ PRZESTRZENI FAZOWEJ z pewnością nie jest odwracalna, chyba że układ jest w równowadze. Artykuł traktuje ewolucję czasową rozkładów w całej przestrzeni fazowej, a nie poszczególnych stanów, a zatem założenie o odwracalności jest całkowicie niefizyczne. W przypadku równowagi wyniki są trywialne.

Strzała czasu pochodzi z tego faktu, że ewolucja rozkładów czasu nie jest odwracalna (przyczyna spływu gradientów i rozprzestrzeniania się gazów). Wiadomo, że nieodwracalność wynika z „warunków kolizji”

Jeśli weźmiesz to pod uwagę, jego argument się rozpadnie. Na razie entropia informacji = entropia termodynamiczna. :RE

Ethan
źródło

Ponieważ na poziomie podstawowym QM jest deterministyczna - równanie Schrodingera dokładnie opisuje rozwój systemu w czasie i nie ma co do tego wątpliwości - i jest liniowe , wydaje się, że odwracalność w ewolucji poszczególnych stanów natychmiast oznaczałaby odwracalność w jakakolwiek dystrybucja takich stanów. Dlatego chciałbym zobaczyć twoje matematyczne uzasadnienie twojego twierdzenia, że jest inaczej, ponieważ pokaże ono wyraźniej to, co teraz domyślnie zakładasz na temat równań dynamicznych.

whuber

Dla rozkładu równowagi rzeczy są trywialne, ewolucja czasu jest odwracalna. W przypadku układu dyssypatywnego, w którym objętość przestrzeni fazowej nie jest stała, wiele stanów rozkładu początkowego może być odwzorowanych na pojedynczy stan rozkładu końcowego lub odwrotnie (nie jest już odwracalny). Jest to oczywiste w przypadku np. Swobodnej ekspansji gazu doskonałego. Ruch każdej pojedynczej cząstki jest wyraźnie odwracalny, ale sama ekspansja nie jest, ponieważ pociąga za sobą zmianę objętości przestrzeni fazowej. Gaz nigdy nie „ekspanduje”. Jeśli nadal nie jesteś szczęśliwy, mogę wypracować dla ciebie matematykę.

Ethan

Ponieważ zarzucasz Shalizi, że się mylisz, dobrym pomysłem byłoby zaoferowanie jakiegoś obiektywnego wsparcia matematycznego. Uważaj jednak, aby nie oddalić się zbytnio od centrum tej strony, która dotyczy analizy danych, a nie fizyki! Niemniej jednak przykład swobodnej ekspansji nie wydaje mi się dyspozycyjny, ponieważ w (hipotetycznie) zwartym wszechświecie wydaje się, że nie ma czegoś takiego: gaz rozszerza się w inne miejsce.

whuber

Czasami zapominam, na której zmianie stosów jestem. Może coś tam zacznę. Ale w przypadku gazu zmiana entropii wynosi TdS = dU + pdV, ale dU wynosi zero, jesteśmy adiabatyczni, więc dS = pdV / T. Według idealnego prawa gazu dS = nRdV / V, więc przejście od v1 do v2 zmienia entropię o ln (v2 / v1). Zasadniczo wszystkie spontaniczne procesy makroskopowe (tj. Odtwarzalne) są nieodwracalne. Ale być może wyciągnięcie tego z podstawowych zasad nie jest trywialne (Boltzmann spędził na tym swoje życie)

Ethan

Powiązany artykuł wyraźnie to zakłada

Operator ewolucji T jest odwracalny.

Ale jeśli używasz QM w konwencjonalny sposób, to założenie nie ma zastosowania. Załóżmy, że masz stan X1, który może ewoluować do X2 lub X3 z jednakowym prawdopodobieństwem. Można powiedzieć, że stan X1 ewoluuje w zestaw ważony [1/2 X2 + 1/2 X3]. Shalizi to potwierdza ten zestaw nie ma więcej entropii niż X1.

Ale my, jako obserwatorzy lub jako część tego systemu, możemy tylko spojrzeć na jedną z gałęzi, X2 lub X3. Wybór jednego z tych dwóch odgałęzień, na które patrzymy, dodaje odrobinę nowej entropii, a wybór ten nie jest odwracalny. Stąd bierze się wzrost entropii z czasem. Shalizi użył matematyki, w której cała entropia pochodzi z rozgałęzień kwantowych, a następnie zapomnij, że rozgałęzienia kwantowe się zdarzają.

jimrandomh
źródło

Artykuł (jako drugie prawo) dotyczy systemów zamkniętych. Mechanika kwantowa jest całkowicie odwracalna w systemie zamkniętym (tzn. Wszyscy operatorzy są ujednoliceni). Jedynym nieodwracalnym działaniem w mechanice kwantowej jest pomiar; jeśli zmierzysz system zamknięty, to nie będzie on już zamknięty z perspektywy termodynamiki. Jeśli twój obserwator znajduje się w systemie i mierzy podsystem, wówczas obserwator + podsystem ewoluują razem, a zatem operacja jest odwracalna (ta sztuczka jest nieformalnie nazywana „kościołem większej przestrzeni Hilberta”). Zatem twój argument z „QM” jest błędny.

Artem Kaznatcheev

Dzieje się tak tylko wtedy, gdy uważasz, że interpretacja kopenhaska (lub inne, które oddzielają „pomiar” od jednolitych procesów). Wiele światów utrzymuje, że pomiar jest zwykłymi jednolitymi prawami i dlatego jest całkowicie odwracalny; jest tylko artefaktem stanu początkowego wszechświata, że prawdopodobieństwo jego odwrócenia prawdopodobnie nie jest prawdopodobne (być może nie tłumaczę tego zbyt dobrze, nie jestem fizykiem). W każdym razie nie jestem przekonany, że ze względu na tę krytykę należy odpowiedzieć na tę odpowiedź.

ely

@EMS Nie ma znaczenia, jakiej interpretacji używasz, QM systemu zamkniętego jest odwracalna. Ale w szerszym kontekście pierwotnego pytania szczegóły dotyczące odpowiedzi osoby udzielającej odpowiedzi dotyczącej QM są nieistotne: Shalizi już porusza ten punkt w części II.A w bardziej ogólnym znaczeniu; nawet poprawna forma tej odpowiedzi nie wykracza poza niedociągnięcia, na które wskazuje sam Shalizi.

Artem Kaznatcheev

Jak wspomniano w innym wątku omawiającym ten temat, ta odpowiedź wydaje się być drugą stroną drugiej podanej odpowiedzi: jeśli nalegasz na wymagania systemu zamkniętego, musisz znaleźć swoje źródło entropii (tj. „System zamknięty” Shalizi musi obejmować osoba z odrobiną entropii dla „dzieje się w dół jednej (nieznanej) gałęzi dwóch gałęzi”. To znaczy, wydaje się, że ta odpowiedź mówi również, że praca Shalizi jest tylko powtórzeniem Demona Maxwella. Ponownie, mogę być nieporozumienie z powodu braku formalnego treningu fizycznego

ely