Znaczenie współczynnika rabatu w uczeniu się przez wzmocnienie

Po przeczytaniu osiągnięć Google Deepmind w grach Atari , próbuję zrozumieć q-learning i q-sieci, ale jestem trochę zdezorientowany. Zamieszanie powstaje w koncepcji współczynnika dyskontowego. Krótkie streszczenie tego, co rozumiem. Głęboka splotowa sieć neuronowa służy do oszacowania wartości optymalnej oczekiwanej wartości działania. Sieć musi zminimalizować funkcję utraty gdzie to Gdzie Q jest skumulowaną wartością wyniku r

$$L_i=\mathbb{E}_{s,a,r}\left[(\mathbb{E}_{s'}\left[y|s,a\right]-Q(s,a;\theta_i))^2\right]$$ $\mathbb{E}_{s'}\left[y|s,a\right]$Q $$\mathbb{E}\left[r+\gamma max_{a'} Q(s',a';\theta^-_i)\right|s,a]$$ $Q$$r$jest wartością punktową dla wybranej akcji. $s,a$ i $s',a'$ oznaczają odpowiednio stan i działanie wybrane w czasie $t$ oraz stan i działanie w czasie $t'$ . $\theta^-_i$ są obciążniki sieci w poprzedniej iteracji. $\gamma$ jest czynnikiem zniżka które uwzględniają czasową różnicę wartości punktowej. $i$ indeks jest krok czasowy. Problem polega na tym, aby zrozumieć, dlaczego $\gamma$ nie zależy od $\theta$ .

Z matematycznego punktu widzenia jest współczynnikiem dyskonta i reprezentuje prawdopodobieństwo, aby osiągnąć stan ze stanu .s ′$\gamma$$s'$$s$

Wydaje mi się, że sieć faktycznie uczy się przeskalowywać zgodnie z prawdziwą wartością , więc dlaczego nie pozwolić ?γ γ = $Q$$\gamma$$\gamma=1$

Współczynnik dyskontowy nie reprezentuje prawdopodobieństwa osiągnięcia stanu ze stanu . To byłoby , które nie jest używane w Q-Learning, ponieważ jest ono wolne od modelu (tylko metody uczenia wzmacniającego oparte na modelu wykorzystują te prawdopodobieństwa przejścia). Współczynnik dyskontowy to hiperparametr dostrojony przez użytkownika, który reprezentuje, o ile przyszłe zdarzenia tracą swoją wartość w zależności od tego, jak daleko są w czasie. W przywołanej formule mówisz, że wartość dla twojego obecnego stanu jest natychmiastową nagrodą za ten stan plus to, czego oczekujesz w przyszłości, zaczynając od$s′$$s$$p(s'|s,a)$$γ$$y$$s$$s$γ < 1. Ale ten przyszły termin musi zostać zdyskontowany, ponieważ przyszłe nagrody mogą nie (jeśli ) mieć taką samą wartość jak otrzymywanie nagrody w tej chwili (tak jak wolimy otrzymywać teraz 100 $ zamiast 100 $ jutro). Od Ciebie zależy, czy chcesz stracić przyszłe nagrody (zależy to od problemu). Współczynnik rabatu równy 0 oznacza, że ​​zależy ci tylko na natychmiastowych nagrodach. Im wyższy współczynnik rabatu, tym dalej nagrody będą się rozprzestrzeniać w czasie.$γ < 1$

Sugeruję przeczytanie książki Sutton i Barto przed wypróbowaniem Deep-Q, aby nauczyć się czystej nauki o wzmocnieniu poza kontekstem sieci neuronowych, co może być mylące.