Jak zastosować gradienty polityki w przypadku wielu ciągłych działań?

Trusted Region Policy Optimization (TRPO) i Proximal Policy Optimization (PPO) to dwa najnowocześniejsze algorytmy gradientowe.

Podczas korzystania z pojedynczego działania ciągłego normalnie użyłbyś pewnego rozkładu prawdopodobieństwa (na przykład Gaussa) dla funkcji straty. Wersja przybliżona to:

gdzie $A$ jest zaletą nagród, $P(a_1)$ charakteryzuje się $\mu$ i $\sigma^2$który pochodzi z sieci neuronowej, jak w środowisku Pendulum tutaj: https://github.com/leomzhong/DeepReinforcementLearningCourse/blob/69e573cd88faec7e9cf900da8eeef08c57dec0f0/hw4/main.py .

Problem polega na tym, że nie mogę znaleźć żadnego artykułu na temat ciągłych działań 2+ przy użyciu gradientów polityki (nie metod krytyk aktorskich, które stosują inne podejście, przenosząc gradient z funkcji Q).

Czy wiesz, jak to zrobić za pomocą TRPO dla 2 ciągłych działań w środowisku LunarLander ?

Czy następujące podejście jest prawidłowe dla funkcji utraty gradientu polityki?

Jak już powiedziałeś, działania wybrane przez Actor-Critic zwykle pochodzą z normalnego rozkładu i zadaniem agenta jest znalezienie odpowiedniej średniej i standardowego odchylenia w oparciu o bieżący stan. W wielu przypadkach ta jedna dystrybucja jest wystarczająca, ponieważ wymagana jest tylko 1 ciągła akcja. Ponieważ jednak dziedziny takie jak robotyka stają się coraz bardziej zintegrowane z AI, rosnącym problemem są sytuacje, w których wymagane są 2 lub więcej ciągłych działań.

Istnieją dwa rozwiązania tego problemu: pierwszym i najczęstszym jest to, że dla każdego ciągłego działania istnieje osobny agent uczący się własnej 1-wymiarowej średniej i odchylenia standardowego. Część jego stanu obejmuje również działania innych agentów, aby dać kontekst temu, co robi cały system. Zwykle robimy to w moim laboratorium, a oto artykuł opisujący to podejście, w którym 3 aktorów-krytyków pracuje razem, aby poruszyć ramię robota.

Drugie podejście polega na tym, aby jeden agent znalazł wielowymiarową (zwykle normalną) dystrybucję polisy. Chociaż teoretycznie to podejście może mieć bardziej zwięzły rozkład polityki poprzez „obracanie” rozkładu opartego na macierzy współwariancji, oznacza to, że należy nauczyć się również wszystkich wartości macierzy współwariancji. Zwiększa to liczbę wartości, których należy się nauczyć$n$ ciągłe wyjścia z $2n$ (średnia i stddev), do $n+n^2$ ($n$ środki i $n \times n$macierz współwariancji). Ta wada sprawiła, że ​​takie podejście nie jest tak popularne w literaturze.

To jest bardziej ogólna odpowiedź, ale powinna pomóc tobie i innym w rozwiązywaniu związanych z nimi problemów.