Diferença entre MLE e Baum Welch na conexão HMM

Em esta questão populares , alta resposta upvoted faz MLE e Baum Welch separar na montagem HMM.

Para problemas de treinamento, podemos usar os três algoritmos a seguir: MLE (estimativa de máxima verossimilhança), treinamento em Viterbi (NÃO confunda com decodificação em Viterbi), Baum Welch = algoritmo de avanço / retrocesso

MAS na Wikipedia , diz

O algoritmo Baum-Welch usa o conhecido algoritmo EM para encontrar a estimativa da máxima probabilidade máxima dos parâmetros

Então, qual é a relação entre o MLE e o algoritmo de Baum-Welch?

Minha tentativa: o objetivo do algoritmo Baum-Welch é maximizar a probabilidade, mas ele usa um algoritmo especializado (EM) para resolver a otimização. Ainda podemos maximizar a probabilidade usando outros métodos, como o gradiente decente. É por isso que a resposta separa dois algoritmos.

Estou certo e alguém pode me ajudar a esclarecer?

Consulte uma das respostas (do Masterfool) no link da pergunta que você forneceu,

A resposta de Morat é falsa em um ponto: Baum-Welch é um algoritmo de Expectativa-Maximização, usado para treinar os parâmetros de um HMM. Ele usa o algoritmo de retroceder durante cada iteração. O algoritmo forward-backward é na verdade apenas uma combinação dos algoritmos forward e backward: uma passagem para frente, uma para trás.

E eu concordo com a resposta de PierreE aqui, o algoritmo de Baum-Welch é usado para resolver a probabilidade máxima em HHM. Se os estados são conhecidos (sequência rotulada e supervisionada), então outro método para maximizar o MLE é usado (talvez, simplesmente conte a frequência de cada emissão e transição observada nos dados de treinamento, veja os slides fornecidos por Franck Dernoncourt).

Na configuração do MLE para HMM, acho que você não pode usar apenas descida de gradiente, pois a probabilidade (ou log-verossimilhança) não possui uma solução de forma fechada e deve ser resolvida iterativamente, como no caso de modelos de mistura, então passamos ao EM. (Veja mais detalhes em Bishop, livro Reconhecimento de Padrões, capítulo 13.2.1 Pág. 614)

Então, qual é a relação entre o MLE e o algoritmo de Baum-Welch?

O algoritmo de maximização de expectativa (EM) é mais geral e o algoritmo Baum-Welch é simplesmente uma instanciação dele, e EM é um algoritmo iterativo para máxima verossimilhança (ML). Então o algoritmo Baum-Welch também é um algoritmo iterativo para máxima probabilidade.

Normalmente, existem três algoritmos de otimização para estimativa da máxima verossimilhança (uma abordagem freqüente): 1) descida do gradiente; 2) Cadeia de Markov Monte Carlo; 3) maximização de expectativas.

Esta pergunta está aqui há alguns meses, mas esta resposta pode ajudar novos leitores, como um complemento ao comentário de David Batista.

O algoritmo Baulm-Welch (BM) é um algoritmo de maximização de expectativa para resolver a estimativa de máxima verossimilhança (MLE) para treinar seu HMM quando os estados são desconhecidos / ocultos (treinamento não supervisionado).

Mas se você conhece os estados, pode usar um método MLE (que não será o BM) para ajustar seu modelo aos dados / estados do par de maneira supervisionada.