GAN (generatywne sieci przeciwne) są również możliwe dla tekstu?

Czy GAN - generatywne sieci przeciwne - są dobre tylko dla obrazów, czy mogą być również użyte do tekstu?

Na przykład wytrenuj sieć, aby generowała sensowne teksty ze streszczenia.

UPD - cytaty wynalazcy GAN Iana Goodfellow.

GAN nie zostały zastosowane do NLP, ponieważ GAN są zdefiniowane tylko dla danych o wartości rzeczywistej. ( 2016 ) źródło

To nie jest całkowicie błędny pomysł. Powinno być możliwe wykonanie co najmniej jednego z następujących źródeł ... (2017)

Tak, GAN może być użyty do tekstu. Istnieje jednak problem w połączeniu sposobu działania sieci GAN i normalnego generowania tekstu przez sieci neuronowe:

• Sieci GAN działają poprzez propagowanie gradientów poprzez składanie generatora i dyskryminatora.
• Tekst jest zwykle generowany przez posiadanie końcowej warstwy softmax na przestrzeni tokena, to znaczy, wyjście w sieci to zwykle prawdopodobieństwo wygenerowania każdego tokena (tj. Dyskretna jednostka stochastyczna).

Te dwie rzeczy same w sobie nie działają dobrze, ponieważ nie można propagować gradientów za pomocą dyskretnych jednostek stochastycznych. Istnieją dwa główne podejścia do rozwiązania tego problemu: algorytm REINFORCE i reparametryzacja Gumbel-Softmax (znana również jako rozkład betonu ). Weź pod uwagę, że REINFORCE jest znany z dużej zmienności, więc potrzebujesz dużych ilości danych, aby uzyskać dobre oszacowanie gradientu.

Jako przykład REINFORCE dla tekstowych GAN-ów możesz sprawdzić artykuł SeqGAN . Przykład Gumbel-Softmax możesz sprawdzić w tym artykule .

Inną zupełnie inną opcją jest brak dyskretnej jednostki stochastycznej jako wyjścia generatora (np. Generowanie tokenów deterministycznie w przestrzeni osadzonej), co eliminuje pierwotny problem propagacji wstecznej przez nie.

Istnieją jeszcze bardziej szczegółowe badania na ten temat:

Wyszkolony generator jest w stanie wytwarzać zdania o określonym poziomie gramatyki i logiki.

Xuerong Xiao, „Generowanie tekstu za pomocą generatywnego treningu przeciwników”

To pytanie odnosi się do tego: https://linguistics.stackexchange.com/questions/26448/how-to-translate-pelevins-creative-unit-idea-to-a-scienceific-problem

Tak, GAN można teraz także wykorzystywać do danych dyskretnych. Pierwszy przypadek tej intuicji miał miejsce, gdy powstały GAN Wasserstein (WGAN). Ian Goodfellow zajął się podejściem do tego problemu w ramach Reinforcement Learning na konferencji NIPS 2016. Ponadto w tym artykule omówiono postępy w zakresie GAN w odniesieniu do danych dyskretnych.