Geometria i AI

Macierze, kostki, warstwy, stosy i hierarchie są tym, co moglibyśmy dokładnie nazwać topologiami . Rozważ topologię w tym kontekście projektu geometrycznego wyższego poziomu systemu uczenia się.

Wraz ze wzrostem złożoności często przydatne jest przedstawienie tych topologii jako struktur grafu ukierunkowanego. Diagramy stanów i praca Markowa nad teorią gier to dwa miejsca, w których powszechnie stosuje się ukierunkowane wykresy. Kierunkowe wykresy mają wierzchołki (często wizualizowane jako zamknięte kształty) i krawędzie często wizualizowane jako strzałki łączące kształty.

Możemy również przedstawiać GAN jako ukierunkowany wykres, w którym moc wyjściowa każdej sieci napędza trening drugiej w sposób przeciwny. Sieci GAN przypominają topologicznie pasek Möbiusa.

Nie możemy odkryć nowych projektów i architektur, nie rozumiejąc nie tylko matematyki konwergencji na optymalnym rozwiązaniu lub śledzenia jednego, ale także topologii połączeń sieciowych, które mogą wspierać taką konwergencję. To tak, jakby najpierw opracować procesor, wyobrażając sobie, czego system operacyjny potrzebuje przed napisaniem systemu operacyjnego.

Aby rzucić okiem na topologie, których NIE JESZCZE WCZYTYWANO pod uwagę, najpierw przyjrzyjmy się, jakie były.

Krok pierwszy - wytłaczanie w drugim wymiarze

W latach 80. sukces został osiągnięty dzięki rozszerzeniu oryginalnego projektu perceptronu. Naukowcy dodali drugi wymiar, aby stworzyć wielowarstwową sieć neuronową. Rozsądną zbieżność osiągnięto poprzez propagację wsteczną gradientu funkcji błędu poprzez gradienty funkcji aktywacji osłabione przez szybkości uczenia się i tłumione innymi meta-parametrami.

Krok drugi - Dodanie wymiarów do dyskretnego sygnału wejściowego

Widzimy pojawienie się sieci splotowych opartych na istniejących ręcznie dostrojonych technikach splotu obrazu wprowadzających wymiary do wejścia sieciowego: położenie pionowe, komponenty kolorów i ramkę. Ten ostatni wymiar ma kluczowe znaczenie dla CGI, wymiany twarzy i innych technik morfologicznych we współczesnym tworzeniu filmów. Bez tego mamy generowanie obrazów, kategoryzację i usuwanie szumów.

Krok trzeci - stosy sieci

Widzimy stosy sieci neuronowych pojawiające się pod koniec lat 90. XX wieku, gdzie szkolenie jednej sieci jest nadzorowane przez inną. Jest to wprowadzenie warstw pojęciowych, ani w sensie kolejnych warstw neuronów, ani w sensie warstw kolorów na obrazie. Ten rodzaj warstwowania również nie jest rekurencyjny. To bardziej przypomina świat przyrody, w którym jedna struktura jest organem w innym całkowicie innym rodzaju struktury.

Krok czwarty - Hierarchie sieci

Widzimy często pojawiające się w badaniach hierarchie sieci neuronowych z lat 2000 i wczesnych lat 2010 (Laplacian i inni), które kontynuują interakcję między sieciami neuronowymi i kontynuują analogię mózgu ssaków. Widzimy teraz meta-strukturę, w której całe sieci stają się wierzchołkami na ukierunkowanym wykresie reprezentującym topologię.

Krok piąty% mdash; Odjazdy z orientacji kartezjańskiej

Niekartezjańskie systematycznie powtarzające się układy komórek i połączenia między nimi zaczęły pojawiać się w literaturze. Na przykład Gauge Equivariant Convolutional Networks i Icosahedral CNN (Taco S.Cohen , Maurice Weiler, Berkay Kicanaoglu, Max Welling, 2019) analizują użycie układu opartego na wypukłym regularnym dwudziestościanie.

Zreasumowanie

Warstwy mają zwykle wartościowane funkcje aktywacji wierzchołków i macierze tłumienia odwzorowane na wyczerpujący zestaw ukierunkowanych krawędzi między sąsiednimi warstwami [1]. Warstwy splotu obrazu są często w dwuwymiarowych układach wierzchołków z sześcianami tłumienia odwzorowanymi na skrócony zestaw ukierunkowanych krawędzi między sąsiadującymi warstwami [2]. Stosy mają całe sieci warstwowe jako wierzchołki na meta-grafie, a te meta-wierzchołki są połączone w sekwencji, przy czym każda krawędź jest albo meta-parametrem szkoleniowym, sygnałem wzmacniającym (sprzężeniem zwrotnym w czasie rzeczywistym) lub inną kontrolą uczenia . Hierarchie sieci odzwierciedlają pogląd, że wiele elementów sterujących może być agregowanych i bezpośrednio uczą się na niższym poziomie lub przypadek, w którym wiele elementów uczących się może być kontrolowanych przez jedną sieć nadzorczą wyższego poziomu.

Analiza trendu w uczeniu się topologii

Możemy analizować trendy w architekturze uczenia maszynowego. Mamy trzy trendy topologiczne.

• Głębokość w wymiarze przyczynowości - Warstwy do przetwarzania sygnału, w których wyjście jednej warstwy aktywacji jest podawane przez matrycę parametrów tłumiących (wag) do wejścia następnej warstwy. Ponieważ ustanowiono większe kontrole, zaczynając od podstawowego spadku gradientu w propagacji wstecznej, można osiągnąć większą głębokość.

• Wymiarowość sygnału wejściowego - od wejścia skalarnego po hipersześciany (wideo ma poziomą, pionową, głębię kolorów łącznie z przezroczystością i ramkę - Należy pamiętać, że nie jest to to samo, co liczba wejść w sensie perceptronowym.

• Rozwój topologiczny - powyższe dwa mają charakter kartezjański. Wymiary są dodawane pod kątem prostym do istniejącego wymiaru. Ponieważ sieci są połączone w hierarchie (jak w hierarchii Laplaciana), a Möbius rozbiera się jak koła (jak w GAN), trendy są topograficzne i najlepiej są reprezentowane przez ukierunkowane wykresy, w których wierzchołki nie są neuronami, ale ich mniejszymi sieciami.

Jakich topologii brakuje?

Ta sekcja wyjaśnia znaczenie pytania tytułowego.

• Czy istnieje jakiś powód, dla którego wiele meta-wierzchołków, z których każdy reprezentuje sieć neuronową, można tak ułożyć, że wiele meta-wierzchołków superwizora może, w połączeniu, nadzorować wiele meta-wierzchołków pracowników?
• Dlaczego propagacja wsteczna sygnału błędu jest jedynym nieliniowym odpowiednikiem ujemnego sprzężenia zwrotnego?
• Czy nie można zastosować współpracy między meta-wierzchołkami zamiast nadzoru, gdy istnieją dwie wzajemne krawędzie reprezentujące elementy sterujące?
• Skoro sieci neuronowe są wykorzystywane głównie do uczenia się zjawisk nieliniowych, dlaczego zabrania się innych rodzajów zamkniętych ścieżek w projektowaniu sieci lub ich wzajemnych połączeń?
• Czy jest jakiś powód, dla którego dźwięk nie może zostać dodany do obrazu, aby klipy wideo mogły być automatycznie kategoryzowane? Jeśli tak jest, to czy scenariusz jest możliwą ekstrakcją filmu i czy można użyć architektury przeciwnej do generowania scenariuszy i produkcji filmów bez systemu studia filmowego? Jak wyglądałaby ta topologia jako graf kierunkowy?
• Mimo że ortogonalnie rozmieszczone komórki mogą symulować dowolne regularne rozmieszczenie upakowania nieortogonalnych wierzchołków i krawędzi, czy jest to skuteczne w wizji komputerowej, w której wspólne jest przechylenie kamery inne niż plus lub minus 90 stopni?
• Czy efektywne jest rozmieszczanie pojedynczych komórek w sieciach lub sieciach komórek w systemach sztucznej inteligencji ortogonalnie w systemach uczenia się, których celem jest rozumienie i montaż języka naturalnego lub sztuczne poznawanie?

Notatki

1. Sztuczne komórki w MLP wykorzystują raczej funkcje arytmetyczne zmiennoprzecinkowe lub stacjonarne, a nie elektrochemiczne transmisje impulsowe oparte na amplitudzie i progu zbliżeniowym. Nie są to realistyczne symulacje neuronów, więc nazywanie neuronów wierzchołków byłoby mylącą nazwą dla tego rodzaju analizy.

2. Korelacja cech obrazu i względne zmiany między pikselami w bliskiej odległości są znacznie wyższe niż w przypadku odległych pikseli.

Topologia to nauka o formach geometrycznych zróżnicowanych przez przecięcie i rozwidlenie. Termin ten jest używany w odniesieniu do architektur sieciowych aspektów graficznych. Można go użyć do rozważenia rozszerzenia analogii sieci neuronowej, przy założeniu, że w swojej aktywacji ANN nie przypominają neuronów biologicznych. Z tego powodu trudno jest ograniczyć dyskusję do kwestii topologicznych, rozważając to, co w dużej mierze nie zostało zbadane.

Paradygmat pracownika przełożonego jest tym, czego używają stosy i hierarchie Laplacian, podczas gdy paradygmatem współpracownika jest to, czego używają sieci przeciwników. Chociaż informacje zwrotne są negatywne, model generatywny (G) i model dyskryminacyjny (D) faktycznie współpracują ze sobą, aby osiągnąć cel, ponieważ w dyskursie używa się orędownika diabłów, aby zbliżyć się do prawd. Z pewnością pojawią się inne konstrukcje, w których wierzchołki nie są sztucznymi neuronami, ale całe ANN i elementy CNN.

Paradygmaty nauczyciel-uczeń i przełożony-pracownik to prawdopodobnie tylko dwa z wielu. Aby zasymulować plastyczność neuronalną, paradygmaty ogrodnika-rośliny, mechanika urządzeń i inżyniera produktu wymagają zbadania.

Propagacja wsteczna sygnału błędu nie jest jedynym nieliniowym odpowiednikiem ujemnego sprzężenia zwrotnego. Kołowa topologia GAN jest również negatywnym sprzężeniem zwrotnym, jak wskazałeś podczas korzystania z analogii paska Möbius. W związku z tym należy zastanowić się więcej.

Interesująca jest współpraca między meta-wierzchołkami. Czy współpraca musi być udawanym typem przeciwnika? Czy pozytywne opinie mogą być przydatne w topologiach sztucznej inteligencji? Właściciele gospodarstw i kierowcy ciężarówek zajmujących się dystrybucją żywności kupują żywność w supermarketach, które są na końcu łańcucha procesów, których rola jest tylko częścią. Większe cykle w ukierunkowanych graficznych reprezentacjach topologii i projektów prawdopodobnie prawdopodobnie wykorzystają pozytywne lub negatywne informacje zwrotne.

Sztuczna produkcja filmów może wynikać z badań, takich jak praca Cornella U nad generowaniem wideo z tekstu - Li, Min, Shen, Carlson i Carin .

Edge of Chaos and Machine Learning; i korzyści w podejmowaniu decyzji

Bezpośrednia odpowiedź na twoje pytanie : -

Edge of Chaos

Layperson Objaśnienie : -

( https://www.lucd.ai/post/the-edge-of-chaos# !)

O czym jest ta odpowiedź : -

Edge of Chaos w teorii chaosu może być ważnym tematem badań nad sztuczną inteligencją.

Jaka jest krawędź chaosu? Zakłada się, że pole to istnieje w szerokiej gamie systemów. Ma wiele zastosowań w takich dziedzinach. To pole jest strefą przejściową między wzajemnym oddziaływaniem między porządkiem a nieporządkiem.

Interesuje mnie skrzyżowanie sztucznej inteligencji z teorią chaosu. Krawędź chaosu służy jako potencjalna topologia, która jest w dużej mierze niezbadana w uczeniu maszynowym.

To bogate pole, które oferuje duży potencjał. Jest to w dużej mierze nieznane i niedoszacowane.

W tej odpowiedzi zbadam korzyści płynące z analizy takiego pola. Korzyści pojawiają się przy podejmowaniu decyzji, takie jak optymalny sposób inwestowania i zarządzania siłą roboczą w organizacji.

Wyjaśnienie techniczne : -

„Macierze, kostki, warstwy, stosy i hierarchie są tym, co moglibyśmy dokładnie nazwać topologiami. Rozważ topologię w tym kontekście wyższą geometryczną konstrukcję systemu uczenia się”. ~ Douglas Daseeco, plakat otwierający

Porównaj to z tym fragmentem poniższego streszczenia artykułu: -

„... Poprzez dynamiczną analizę stabilności w różnych komputerowych modelach wizyjnych znajdujemy bezpośredni dowód, że optymalna wydajność głębokiej sieci neuronowej występuje w pobliżu punktu przejścia oddzielającego stabilne i chaotyczne atraktory.…” Feng, Ling i Choy Heng Lai. - „Optymalna inteligencja maszyn blisko krawędzi chaosu”. nadruk arXiv arXiv: 1909.05176 (2019).

-

„Krawędź chaosu to przestrzeń przejściowa między porządkiem a nieuporządkowaniem, o której istnieje hipoteza, że ​​istnieje w szerokiej gamie systemów. Ta strefa przejściowa jest regionem ograniczonej niestabilności, która powoduje stałą dynamiczną grę między porządkiem a nieporządkiem.

Chociaż idea skraju chaosu jest abstrakcyjna i nieintuicyjna, ma wiele zastosowań w takich dziedzinach, jak ekologia, zarządzanie biznesem, psychologia, nauki polityczne i inne dziedziny nauk społecznych. Fizycy pokazali, że adaptacja do skraju chaosu występuje w prawie wszystkich systemach z informacją zwrotną. - „Ostrze chaosu”. Wikipedia, wolna encyklopedia . Wikipedia, wolna encyklopedia, 10 września 2019 r. Internet. 22 września 2019 r.

Korzyści ze studiowania takiej dziedziny :

„[...] Strategia, protokół, zespoły, działy, hierarchie. Wszystko starannie zorganizowane w celu uzyskania optymalnej wydajności.

A przynajmniej tak powinno być. Ale kiedy zastosujemy soczewkę teoretyczną złożoności do prowadzonej działalności, widzimy, że sprawy są bardziej złożone. Nie postrzegamy już organizacji jako organizacji, ani działów jako działów, ale jako złożone systemy adaptacyjne, najlepiej zrozumiane w trzech częściach:

ZATRUDNIENIE

Wykorzystywanie modeli mentalnych do podejmowania lepszych decyzji w pracy Życie zawodowe jest pełne trudnych wyborów. Czy jestem gotowy na tę promocję? Który z moich menedżerów powinienem wybrać jako mentora? Co powinienem jeść na lunch? Nie ma niezawodnej metody konsekwentnego podejmowania najlepszych działań - nawet najlepsi z nas popełniają błędy - ale przy użyciu odpowiednich narzędzi można zmaksymalizować szanse na sukces.

Po pierwsze, pracownicy (w złożoności mówią: czynniki heterogeniczne). Każdy pracownik ma inne i zmieniające się reguły decyzyjne, które zarówno odzwierciedlają środowisko, jak i próbują przewidywać zmiany w nim. Po drugie, pracownicy wchodzący w interakcje ze sobą oraz struktury tworzone przez te interakcje - naukowcy nazywają to pojawienie się. Wreszcie pojawia się nadrzędna struktura, która zachowuje się jak system wyższego poziomu o właściwościach i cechach odmiennych od właściwości jej czynników bazowych. Ta ostatnia część jest powodem, dla którego często mówimy „całość jest większa niż suma jej części”.

Biorąc pod uwagę chęć kierownictwa do kontroli, złożoność nie jest wygodną rzeczywistością. Zamiast zmierzyć się z brutalną rzeczywistością systemu, nad którym pracują, menedżerowie często pracują w silosach, tworząc modele i mechanizmy, które narzucają fornir pewności. W ten sposób pomagają sobie i swoim kolegom w podejmowaniu decyzji przy mniejszej liczbie zmiennych. Osiągnięcie celów wyznaczonych przez te modele generuje dowody sukcesu - ale jest to sukces uproszczony, który może nie leżeć w najlepszym interesie całego systemu.

Na przykład nadanie sztywnego priorytetu maksymalizacji zysków akcjonariuszy daje pracownikom jasność: w przypadku trudnego kompromisu preferowana jest opcja natychmiastowej rentowności. Ale oczywiście wszyscy zdajemy sobie sprawę, że obniżenie wydatków i inwestycji w celu zwiększenia krótkoterminowych marż może być szkodliwe dla długoterminowej kondycji firmy. Tylko przyjmując złożoność, możemy skutecznie zrównoważyć konkurujące wartości i priorytety (oraz wpływ decyzji na wszystkie). [...] ”- Fresno, Blanca González del.„ Zamówienie z Chaosu: jak zastosować teorię złożoności w pracy: BBVA. ” AKTUALNOŚCI BBVA , BBVA, 4 grudnia 2017 r., < Www.bbva.com/en/order-from-chaos-how-to-apply-complexity-theory-at-work/ >.

Dalsza lektura : -

• ( http://www.marspolemics.com/racing-over-the-edge-of-chaos-cyberspace-and-artificial-intelligence-in-the-future-operating-environment/ )
• ( https://scitechdaily.com/physicists-apply-machine-learning-to-solve-the-universes-mysteries/ )
• ( https://www.technologyreview.com/s/602234/how-the-mathematics-of-algebraic-topology-is-revolutionizing-brain-science/ )

Źródła i referencje : -

• ( https://en.wikipedia.org/wiki/Edge_of_chaos )
• ( https://arxiv.org/abs/1909.05176v1 )
• ( https://ktiml.mff.cuni.cz/~bartak/ui_seminar/talks/2016ZS/FilipMatzner_DeepLearning.pdf )
• ( https://en.wikipedia.org/wiki/Self-organized_criticality )

To może być nie na temat. Jeśli tak, usuń go.

W obwodach elektronicznych mamy logiczne bloki - generatory, wyzwalacze, komórki pamięci, selektory, alus, fpus, magistrale i wiele innych układów. I z tego mamy komputery, a od następnego poziomu mamy sieci komputerowe ...

Do uczenia maszynowego musimy mieć podobną organizację rzeczy, ale jeśli mamy komputery 64-bitowe, nasze sieci neuronowe mogą mieć bardziej złożone wejścia / wyjścia ORAZ więcej funkcji logicznych niż zdefiniowane w jakimkolwiek języku programowania.

Zatem dla X bitów wejściowych mamy stany X ^ (2 ^ 2) dla jednego bitu wyjściowego, a 2 ^ X bitów do wyboru potrzebną funkcję logiczną.

Musimy więc konsekwentnie studiować te funkcje, podkreślając niezbędne, jako pierwsze filtry opencv, jak na przykład.