Jednym z hiperparametrów dla sieci LSTM jest temperatura. Co to jest?

Temperatura jest hiperparametrem LSTM (i ogólnie sieci neuronowych) wykorzystywanych do kontrolowania losowości prognoz poprzez skalowanie logów przed zastosowaniem softmax. Na przykład, w TensorFlow za Magenta realizacji z LSTMs, temperatura reprezentuje ile podzielić logits przez przed obliczania Softmax.

Gdy temperatura jest 1 obliczamy Softmax bezpośrednio na logits (nieskalowanym wyjściowy wcześniejszych warstwach) i stosując temperaturę 0,6 model oblicza Softmax o , co daje większą wartość. Wykonywanie softmax na większych wartościach sprawia, że ​​LSTM jestbardziej pewny(potrzeba mniej danych wejściowych, aby aktywować warstwę wyjściową), ale takżebardziej konserwatywnyw swoich próbkach (jest mniej prawdopodobne, że próbkuje od mało prawdopodobnych kandydatów). Zastosowanie wyższej temperatury powoduje łagodniejszy rozkład prawdopodobieństwa w klasach i sprawia, że ​​RNN jest łatwiej „wzbudzany” przez próbki, co powodujewiększą różnorodność,a takżewięcej błędów.$\frac{logits}{0.6}$

$\mathbf{z}$$\mathbf{z} =$$(z_1,\ldots,z_n)$$\mathbf{q} = (q_1,\ldots,q_n)$$z_i$

$q_i = \frac{\exp{(z_i/T)}}{\sum_j\exp{(z_j/T)}}\tag{1}$

$T$

Funkcja softmax normalizuje kandydatów przy każdej iteracji sieci w oparciu o ich wartości wykładnicze, zapewniając, że wyjścia sieci są od zera do jednego za każdym razem.

Temperatura zwiększa zatem wrażliwość na kandydatów o niskim prawdopodobieństwie. W LSTM kandydat lub próbka może być literą, słowem lub nutą, na przykład:

${\displaystyle \tau \to \infty }$${\displaystyle \tau \to 0^{+}}$

- z artykułu w Wikipedii na temat funkcji softmax

Odniesienie

Hinton, Geoffrey, Oriol Vinyals i Jeff Dean. „Destylowanie wiedzy w sieci neuronowej”. nadruk arXiv arXiv: 1503.02531 (2015). arXiv