Jak w przypadku wygładzania Kneser-Ney obsługiwane są niewidoczne słowa?

Z tego, co widziałem, formuła wygładzania Knesera-Neya (drugiego rzędu) jest w jakiś sposób podana jako

$\begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align}$

ze współczynnikiem normalizującym $\lambda(w_{n-1})$ podanym jako

$\begin{align} \lambda(w_{n-1}) &= \frac{D}{\sum_{w'} C\left(w_{n-1}, w'\right)} \times N_{1+}\left(w_{n-1}\bullet\right) \end{align}$

oraz prawdopodobieństwo kontynuacji słowaw $P_{cont}(w_n)$$w_n$

$\begin{align} P_{cont}(w_n) &= \frac{N_{1+}\left(\bullet w_{n}\right)}{\sum_{w'} N_{1+}\left(\bullet w'\right)} \end{align}$

gdzie to liczba kontekstów widzieliśmy w lub, prościej, liczba różnych wyrazów poprzedzających dane słowo . Z tego, co zrozumiałem, formułę można stosować rekurencyjnie. w ∙ $N_{1+}\left(\bullet w\right)$$w$$\bullet$$w$

Teraz dobrze radzi sobie ze znanymi słowami w nieznanych kontekstach dla różnych długości n-gramów, ale nie wyjaśnia, co zrobić, gdy są słowa spoza słownika. Próbowałem podążać za tym przykładem, który stwierdza, że ​​w kroku rekursji dla unigramów, . Następnie dokument wykorzystuje to - cytując Chena i Goodmana - do uzasadnienia powyższej formuły jako . P 1 K N (w)=Pcont(w$P_{cont}(/) = P^0_{KN}(/) = \frac{1}{V}$$P^1_{KN}(w) = P_{cont}(w)$

Nie widzę jednak, jak to działa w obecności nieznanego słowa . W tych przypadkach ponieważ, oczywiście, nieznane słowo nie kontynuuje niczego w odniesieniu do zestawu szkoleniowego. Podobnie liczba n-gramów będzie wynosić .P c o n t ( nieznany ) = $w = \text{unknown}$ C(wn-1,nieznane)=$P_{cont}(\text{unknown}) = \frac{0}{\text{something}}$$C\left(w_{n-1}, \text{unknown}\right) = 0$

Ponadto cały może wynosić zero, jeśli zostanie napotkana sekwencja nieznanych słów - powiedzmy trygram słów OOD.$\sum_{w'} C\left(w_{n-1}, w'\right)$

czego mi brakuje?

Dan Jurafsky opublikował rozdział o modelach N-Gram, który mówi trochę o tym problemie:

Po zakończeniu rekursji unigramy są interpolowane z równomiernym rozkładem:

$\begin{align} P_{KN}(w) = \frac{\max(c_{KN}(w)-d,0)}{\sum_{w'}c_{KN}(w')}+\lambda(\epsilon)\frac{1}{|V|} \end{align}$

Jeśli chcemy dołączyć nieznane słowo <UNK>, jest ono po prostu zawarte w zwykłym słownictwie z liczbą zero, a zatem jego prawdopodobieństwo będzie następujące:

$\begin{align} \frac{\lambda(\epsilon)}{|V|} \end{align}$

Próbowałem dowiedzieć się, co to znaczy, ale nie jestem pewien, czy oznacza po prostu lim x → 0 x . Jeśli tak jest, i zakładasz, że gdy liczba zmienia się na zero, być może λ ( ϵ ) zmienia się na d , zgodnie z:$\epsilon$$\lim_{x\rightarrow0}x$$\lambda(\epsilon)$$d$

$\begin{align} \lambda(w_{i-1}) = \frac{d}{c(w_{i-1})}\vert\{w:c(w_{i-1},w)>0\}\vert \end{align}$

wtedy nieznane słowo otrzymuje tylko ułamek rabatu, tj .:

$\begin{align} \frac{\lambda(\epsilon)}{|V|} = \frac{d}{|V|} \end{align}$

W ogóle nie jestem pewien tej odpowiedzi, ale chciałem ją znaleźć na wypadek, gdyby wzbudziła ona jeszcze więcej przemyśleń.

Aktualizacja: Kopiąc trochę dalej, wydaje się, że jest zwykle używany do oznaczenia pustego ciągu („”), ale nadal nie jest jasne, jak to wpływa na obliczanie λ . $\epsilon$$\lambda$wciąż jest moim najlepszym przypuszczeniem$\frac{d}{|V|}$

Istnieje wiele sposobów trenowania modelu, <UNK>choć Jurafsky sugeruje, aby wybrać te słowa, które pojawiają się bardzo rzadko podczas treningu, i po prostu je zmienić <UNK>.

Następnie po prostu trenuj prawdopodobieństwa, jak zwykle.

Zobacz ten film od 3:40 -

https://class.coursera.org/nlp/lecture/19

Innym podejściem jest po prostu rozważenie słowa jako <UNK>pierwszego, gdy jest ono widoczne na treningu, chociaż z mojego doświadczenia wynika, że ​​podejście to przypisuje zbyt dużą masę prawdopodobieństwa <UNK>.

Kilka myśli, ale jestem daleki od bycia ekspertem w tej sprawie, więc nie zamierzam udzielać odpowiedzi na pytanie, ale je analizować.

$\lambda(\epsilon)$$\lambda(\epsilon)$

Inną opcją byłoby oszacowanie <unk>prawdopodobieństwa metodami wymienionymi przez Randy'ego i traktowanie go jak zwykłego tokena.

$\frac{\lambda(\epsilon)}{|V|}$