Dlaczego statystycy zdefiniowali macierze losowe?

Studiowałem matematykę dziesięć lat temu, więc mam doświadczenie matematyczne i statystyczne, ale to pytanie mnie zabija.

To pytanie jest dla mnie trochę filozoficzne. Dlaczego statystycy opracowali wszelkiego rodzaju techniki do pracy z przypadkowymi macierzami? To znaczy, czy losowy wektor nie rozwiązał problemu? Jeśli nie, jaka jest średnia z różnych kolumn macierzy losowej? Anderson (2003, Wiley) uważa wektor losowy za specjalny przypadek macierzy losowej z tylko jedną kolumną.

Nie widzę sensu posiadania losowych macierzy (i jestem pewien, że to dlatego, że jestem ignorantem). Ale zrób to ze mną. Wyobraź sobie, że mam model z 20 losowymi zmiennymi. Jeśli chcę obliczyć funkcję prawdopodobieństwa połączenia, dlaczego powinienem obrazować je jako macierz zamiast wektora?

czego mi brakuje?

ps: Przykro mi z powodu źle oznakowanego pytania, ale nie było żadnych tagów dla macierzy losowej i nie mogę ich jeszcze utworzyć!

edycja: zmieniono macierz na macierze w tytule

Zależy to od tego, w jakiej dziedzinie się znajdujesz, ale jedno z wielkich początkowych badań nad losowymi macierzami wyszło z fizyki atomowej i zostało pionierem Wignera. Krótki przegląd znajduje się tutaj . W szczególności to wartości własne (które są poziomami energii w fizyce atomowej) losowych macierzy wygenerowały wiele interesujących ton, ponieważ korelacje między wartościami własnymi dały wgląd w spektrum emisji procesów rozpadu jądrowego.

Niedawno nastąpił duży odrodzenie w tej dziedzinie, wraz z pojawieniem się rozkładu Tracy-Widom dla największych wartości własnych losowych matryc, a także oszałamiające połączenia z pozornie niezwiązanymi dziedzinami, takimi jak teoria płytek , fizyka statystyczna, całkowalne systemy , zjawiska KPZ , losowa kombinatoryka, a nawet hipoteza Riemanna . Możesz znaleźć więcej przykładów tutaj .

W przypadku bardziej przyziemnych przykładów naturalnym pytaniem o macierz wektorów rzędowych jest to, jak mogłyby wyglądać jego komponenty PCA. Możesz uzyskać heurystyczne oszacowania tego, zakładając, że dane pochodzą z jakiegoś rozkładu, a następnie patrząc na wartości własne macierzy kowariancji, które będą przewidywane na podstawie uniwersalności macierzy losowej : niezależnie od (w granicach przyczyny) rozmieszczenia wektorów, ograniczenie rozkładu wartości własne zawsze będą zbliżać się do zestawu znanych klas. Możesz myśleć o tym jak o rodzaju CLT dla losowych macierzy. Zobacz przykłady w tym dokumencie .

Wydaje się, że czujesz się komfortowo z zastosowaniem losowych wektorów. Na przykład codziennie radzę sobie z tego rodzaju przypadkowymi wektorami: stopami procentowymi różnych terminów zapadalności. Bank Rezerw Federalnych ma serię H15 , spójrz na bony skarbowe 4-tygodniowe, 3-miesięczne, 6-miesięczne i 1-letnie. Możesz myśleć o tych 4 stawkach jak o wektorze z 4 elementami. Jest to dość losowe, spójrz na historyczne wartości na poniższym wykresie.

Jak w przypadku dowolnych liczb losowych możemy zadać sobie pytanie: jaka jest między nimi kowariancja? Teraz masz macierz kowariancji 4x4. Jeśli oszacujesz to na podstawie danych z jednego miesiąca, otrzymujesz 12 różnych macierzy kowariancji każdego roku, jeśli chcesz, aby się nie nakładały. Przykładowa macierz kowariancji losowych szeregów jest sama w sobie obiektem losowym, patrz artykuł Wisharta „UCZESTNICTWO GENERALIZOWANEJ MOMENTU ROZMIESZCZANIA PRODUKTU W PRÓBKACH Z NORMALNEJ WIELOKROTNEJ LUDNOŚCI”. Tutaj . Jest to dystrybucja zawołał za nim.

Jest to jeden ze sposobów dotarcia do losowych macierzy. Nic dziwnego, że teoria macierzy losowych (RMT) jest stosowana w finansach, jak widać teraz.

W fizyce teoretycznej macierze losowe odgrywają ważną rolę w zrozumieniu uniwersalnych cech widm energetycznych układów o określonych symetriach.

Moje doświadczenie w fizyce teoretycznej może sprawić, że przedstawię tu nieco stronniczy punkt widzenia, ale posunę się nawet tak daleko, aby zasugerować, że popularność teorii macierzy losowych (RMT) wywodzi się z jej udanego zastosowania w fizyce.

Nie wchodząc zbyt szczegółowo w szczegóły, można na przykład uzyskać widma energii w mechanice kwantowej, obliczając wartości własne układów hamiltonianów - które można wyrazić jako macierz hermitowską. Często fizycy nie są zainteresowani konkretnymi układami, ale chcą wiedzieć, jakie są ogólne właściwości układów kwantowych o właściwościach chaotycznych, co prowadzi wartości hermitowskiej macierzy hamiltonowskiej do ergo- micznego wypełnienia przestrzeni macierzy po zmianie energii lub innych parametrów ( np. warunki brzegowe). Motywuje to do traktowania klasy układów fizycznych jako macierzy losowych i patrzenia na średnie właściwości tych układów. Polecam literaturę na temat hipotezy Bohigasa-Gianonniego-Schmidta, jeśli chcesz zanurzyć się w to głębiej.

Krótko mówiąc, można na przykład wykazać, że poziomy energii w systemach, które mają symetrię odwracania w czasie, zachowują się zasadniczo inaczej niż poziomy energii w systemach, które nie mają symetrii odwrócenia w czasie (co dzieje się na przykład po dodaniu pola magnetycznego). W rzeczywistości dość krótkie obliczenia z wykorzystaniem losowych macierzy Gaussa mogą wykazać, że poziomy energii wydają się być różnie zbliżone w obu układach.

Wyniki te można rozszerzyć i pomóc zrozumieć także inne symetrie, które miały duży wpływ na różne dziedziny, takie jak fizyka cząstek lub teoria transportu mezoskopowego, a później nawet na rynkach finansowych.

Mapa liniowa to mapa między przestrzeniami wektorowymi. Załóżmy, że masz mapę liniową i wybrałeś podstawy dla jej domen i przestrzeni zasięgu. Następnie możesz napisać macierz, która koduje mapę liniową. Jeśli chcesz rozważyć losowe mapy liniowe między tymi dwiema przestrzeniami, powinieneś wymyślić teorię losowych macierzy. Losowa projekcja jest prostym przykładem takiej rzeczy.

Ponadto w fizyce istnieją obiekty o wartościach macierzowych / tensorowych. Lepki tensora naprężeń jest takie (m prawdziwego zoo). W prawie homogenicznych materiałach lepkosprężystych przydatne może być modelowanie naprężeń (sprężystych, lepkich i innych), a zatem naprężeń punktowych jako losowego tensora o małej wariancji. Chociaż istnieje naprężenie / odkształcenie w sensie „mapy liniowej”, bardziej uczciwe jest opisanie tego zastosowania losowych macierzy jako randomizacji czegoś, co już było macierzą.

Wykrywanie kompresyjne jako zastosowanie w przetwarzaniu obrazu opiera się na losowych matrycach jako połączonych pomiarach sygnału 2D. Określone właściwości tych macierzy, a mianowicie spójność , są określone dla tych macierzy i odgrywają rolę w teorii.

Rażąco uproszczone, okazuje się, że minimalizacja normy L1 określonego iloczynu macierzy Gaussa i rzadkiego sygnału wejściowego pozwala odzyskać znacznie więcej informacji, niż można się spodziewać.

Najważniejsze wczesne badania w tej dziedzinie, jakie znam, to praca Uniwersytetu Ryżu: http://dsp.rice.edu/research/compressive-sensing/random-matrices

Teoria produktów macierzowych jako „pomiarów sygnału” sięga co najmniej wstecz z czasów II wojny światowej. Jak powiedział mi mój były profesor, indywidualne testowanie każdego żołnierza armii pod kątem, powiedzmy, kiły, było kosztowne. Mieszanie tych próbek w systematyczny sposób (poprzez mieszanie części każdej próbki krwi razem i testowanie ich) zmniejszyłoby liczbę prób wykonania testu. Można to wymodelować jako losowy wektor binarny pomnożony przez rzadką macierz.