W przypadku pytań związanych z uczeniem się kontrolowanym przez zewnętrzne pozytywne wzmocnienie lub negatywny sygnał sprzężenia zwrotnego lub oba te czynniki, w przypadku których uczenie się i korzystanie z tego, czego się dotąd nauczyliśmy, odbywa się jednocześnie.
Jaka jest różnica między uczeniem się bez modelowania a uczeniem się opartym na modelu? Wydaje mi się, że każdy uczący się bez modelu, uczący się metodą prób i błędów, może zostać przekształcony w modelowy. W takim przypadku, kiedy uczniowie bez modeli byliby...
O ile rozumiem, Q-learning i gradienty polityki (PG) to dwa główne podejścia stosowane do rozwiązywania problemów RL. Podczas gdy Q-learning ma na celu przewidzenie nagrody za pewne działanie podjęte w określonym stanie, gradienty polityki bezpośrednio przewidują samo działanie. Jednak oba...
Chcę stworzyć sztuczną inteligencję, która może grać w pięć w jednym rzędzie / gomoku. Jak wspomniałem w tytule, chcę do tego wykorzystać naukę wzmacniającą. Używam metody gradientu zasad , a mianowicie REINFORCE, z linią bazową. Do przybliżenia wartości i funkcji polityki używam sieci neuronowej...
Na przykład tytuł tego artykułu brzmi: „Przykładowy krytyk aktorski z powtórką z doświadczenia”. Co to jest wydajność próbkowania i w jaki sposób można wykorzystać ważność próbkowania do jej
Studiuję naukę wzmacniającą i jej warianty. Zaczynam rozumieć, jak działają algorytmy i jak mają one zastosowanie do MDP. To, czego nie rozumiem, to proces definiowania stanów MDP. W większości przykładów i samouczków reprezentują one coś prostego, jak kwadrat w siatce lub podobny. W przypadku...
Czy istnieje sposób nauczenia uczenia się przez wzmacnianie w aplikacjach innych niż gry? Jedyne przykłady, jakie mogę znaleźć w Internecie, to agenci gier. Rozumiem, że VNC kontroluje dane wejściowe do gier za pośrednictwem sieci wzmacniającej. Czy można to skonfigurować za pomocą oprogramowania...
Koduję model uczenia się zbrojenia z agentem PPO dzięki bardzo dobrej bibliotece Tensorforce , zbudowanej na bazie Tensorflow. Pierwsza wersja była bardzo prosta i teraz nurkuję w bardziej złożonym środowisku, w którym wszystkie działania nie są dostępne na każdym kroku. Powiedzmy, że jest 5...
Patrzyłem na naukę wzmacniania, a konkretnie bawiłem się, tworząc własne środowiska do użycia z SI OpenAI Gym. Korzystam z agentów z projektu stable_baselines do testowania go. Jedną z rzeczy, które zauważyłem w praktycznie wszystkich przykładach RL, jest to, że nigdy nie wydaje się, aby w żadnej...
Projektując rozwiązania problemów, takich jak Lunar Lander na OpenAIGym , Reinforcement Learning to kuszący sposób na zapewnienie agentowi odpowiedniej kontroli działania, tak aby z powodzeniem wylądować. Ale w jakich przypadkach algorytmy systemu sterowania, takie jak sterowniki PID , wykonałyby...
Przechodziłem przez tę implementację DQN i widzę, że na linii 124 i 125 zainicjowano dwie różne sieci Q. Z mojego zrozumienia, myślę, że jedna sieć przewiduje odpowiednie działanie, a druga sieć przewiduje docelowe wartości Q dla znalezienia błędu Bellmana. Dlaczego nie możemy stworzyć jednej...
Tabelaryczny algorytm uczenia Q gwarantuje znalezienie optymalnego QQQ funkcjonować, Q∗Q∗Q^*, pod warunkiem spełnienia następujących warunków (warunki Robbins-Monro ) dotyczących wskaźnika uczenia się ∑tαt(s,a)=∞∑tαt(s,a)=∞\sum_{t} \alpha_t(s, a) = \infty ∑tα2t(s,a)<∞∑tαt2(s,a)<∞\sum_{t}...
Jako student, który chce pracować nad uczeniem maszynowym, chciałbym wiedzieć, jak można rozpocząć studia i jak je śledzić, aby być na bieżąco. Na przykład jestem gotów pracować nad problemami RL i MAB, ale na te tematy jest ogromna literatura. Co więcej, tematy te są badane przez naukowców z...
Czytałem książkę Reinforcement Learning: An Introduction autorstwa Richarda S. Sutton i Andrew G. Barto (kompletny szkic, 5 listopada 2017 r.). Na stronie 271 przedstawiono pseudo-kod dla epizodycznej metody Monte-Carlo z zastosowaniem gradientowej polityki. Patrząc na ten pseudo-kod, nie...
Trusted Region Policy Optimization (TRPO) i Proximal Policy Optimization (PPO) to dwa najnowocześniejsze algorytmy gradientowe. Podczas korzystania z pojedynczego działania ciągłego normalnie użyłbyś pewnego rozkładu prawdopodobieństwa (na przykład Gaussa) dla funkcji straty. Wersja przybliżona...
Czy optymalna polityka jest zawsze stochastyczna (tj. Mapa stanów do rozkładu prawdopodobieństwa na działania), jeśli środowisko jest również stochastyczne? Intuicyjnie, jeśli środowisko jest deterministyczne (to znaczy, jeśli agent jest w staniesssi podejmuje działanie , wtedy następny stan jest...
W robotyce technika uczenia się zbrojenia służy do znalezienia wzoru sterowania dla robota. Niestety, większość metod gradientu polityki jest statystycznie tendencyjna, co może doprowadzić robota do niebezpiecznej sytuacji, patrz strona 2 w Jan Peters i Stefan Schaal: Wzmocnienie uczenia się...
Wynalazłem szachową grę planszową. Zbudowałem silnik, aby mógł grać autonomicznie. Silnik jest w zasadzie drzewem decyzyjnym. Składa się z: Funkcja wyszukiwania, która w każdym węźle znajduje wszystkie możliwe legalne ruchy Funkcja oceny, która przypisuje wartość liczbową do pozycji na planszy...