Na suavização Kneser-Ney, como são tratadas as palavras invisíveis?

Pelo que vi, a fórmula de suavização Kneser-Ney (de segunda ordem) é, de uma maneira ou de outra, dada como

$\begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align}$

com o fator de normalização fornecido como$\lambda(w_{n-1})$

$\begin{align} \lambda(w_{n-1}) &= \frac{D}{\sum_{w'} C\left(w_{n-1}, w'\right)} \times N_{1+}\left(w_{n-1}\bullet\right) \end{align}$

e a probabilidade de continuação de uma palavra$P_{cont}(w_n)$$w_n$

$\begin{align} P_{cont}(w_n) &= \frac{N_{1+}\left(\bullet w_{n}\right)}{\sum_{w'} N_{1+}\left(\bullet w'\right)} \end{align}$

onde é o número de contextos em que w foi visto ou, mais simples, o número de palavras distintas \ bullet que precedem a palavra dada w . Pelo que entendi, a fórmula pode ser aplicada recursivamente.$N_{1+}\left(\bullet w\right)$$w$$\bullet$$w$

Agora, isso lida bem com palavras conhecidas em contextos desconhecidos para diferentes comprimentos de n-grama, mas o que não explica é o que fazer quando houver palavras fora do dicionário. Tentei seguir este exemplo, que afirma que, na etapa de recursão para unigramas, $P_{cont}(/) = P^0_{KN}(/) = \frac{1}{V}$ . O documento então usa isso - citando Chen e Goodman - para justificar a fórmula acima como $P^1_{KN}(w) = P_{cont}(w)$ .

Mas não vejo como isso funciona na presença de uma palavra desconhecida . Nesses casos, , pois, obviamente, a palavra desconhecida não continua em relação ao conjunto de treinamento. Da mesma forma, a contagem de n gramas será .$w = \text{unknown}$$P_{cont}(\text{unknown}) = \frac{0}{\text{something}}$$C\left(w_{n-1}, \text{unknown}\right) = 0$

Além disso, o termo inteiro pode ser zero se uma sequência de palavras desconhecidas - digamos, um trigrama de palavras OOD - for encontrada.$\sum_{w'} C\left(w_{n-1}, w'\right)$

o que estou perdendo?

Dan Jurafsky publicou um capítulo sobre modelos N-Gram que fala um pouco sobre esse problema:

No final da recursão, os unigramas são interpolados com a distribuição uniforme:

$\begin{align} P_{KN}(w) = \frac{\max(c_{KN}(w)-d,0)}{\sum_{w'}c_{KN}(w')}+\lambda(\epsilon)\frac{1}{|V|} \end{align}$

Se queremos incluir uma palavra desconhecida <UNK> , ela é incluída apenas como uma entrada regular de vocabulário com contagem zero e, portanto, sua probabilidade será:

$\begin{align} \frac{\lambda(\epsilon)}{|V|} \end{align}$

Eu tentei descobrir o que isso significa, mas não tenho certeza se apenas significa lim x → 0 x . Se for esse o caso, e você assume que, conforme a contagem vai para zero, talvez λ ( ϵ ) vá para d , de acordo com:$\epsilon$$\lim_{x\rightarrow0}x$$\lambda(\epsilon)$$d$

$\begin{align} \lambda(w_{i-1}) = \frac{d}{c(w_{i-1})}\vert\{w:c(w_{i-1},w)>0\}\vert \end{align}$

a palavra desconhecida recebe apenas uma fração do desconto, ou seja:

$\begin{align} \frac{\lambda(\epsilon)}{|V|} = \frac{d}{|V|} \end{align}$

Não estou confiante em relação a esta resposta, mas queria divulgá-la, caso isso provoque mais alguns pensamentos.

Atualização: Procurando um pouco mais, parece que normalmente é usado para denotar a sequência vazia (""), mas ainda não está claro como isso afeta o cálculo de λ . $\epsilon$$\lambda$ainda é o meu melhor palpite$\frac{d}{|V|}$

Existem várias maneiras de treinar um modelo com <UNK> embora Jurafsky sugira escolher aquelas palavras que ocorrem muito poucas vezes no treinamento e simplesmente alterá-las para <UNK>.

Depois, simplesmente treine as probabilidades como faria normalmente.

Veja este vídeo a partir das 3:40 -

https://class.coursera.org/nlp/lecture/19

Outra abordagem é simplesmente considerar uma palavra como <UNK>a primeira vez que é vista em treinamento, embora, pela minha experiência, essa abordagem atribua muito da massa de probabilidade <UNK>.

Apenas alguns pensamentos, estou longe de ser um especialista no assunto, então não pretendo fornecer uma resposta para a pergunta, mas analisá-la.

$\lambda(\epsilon)$$\lambda(\epsilon)$

Another option would be to estimate the <unk> probability with the methods mentioned by Randy and treating it as a regular token.

I think this step is made to ensure that the formulas are consistent. Notice that the term $\frac{\lambda(\epsilon)}{|V|}$ does not depend on the context and assigns fixed values to the probabilities of every token. If you want to predict the next word you can prescind this term, on the other hand if you want to compare the Kneser - Ney probability assigned to each token under two or more different contexts you might want to use it.