O algoritmo EM estima consistentemente os parâmetros no modelo de mistura gaussiana?

9

Estou estudando o modelo Gaussian Mixture e me proponho a essa pergunta.

Suponha que os dados subjacentes sejam gerados a partir de uma mistura de distribuição Gaussiana e cada um deles tenha um vetor médio μ kR p , onde 1 k K e cada um deles tenha a mesma matriz de co-variância Σ e assuma que Σ é uma matriz diagonal. E suponha que a taxa de mistura seja 1 / K , ou seja, cada cluster tem o mesmo peso.KμkRp1kKΣΣ1/K

Portanto, neste exemplo ideal, o único trabalho é estimar os vetores médios μ kR p , onde 1 k K e a matriz de co-variância Σ .KμkRp1kKΣ

A minha pergunta é: se usarmos EM algoritmo, seremos capazes de estimar consistentemente e Σ , ou seja, quando tamanho da amostra n , será o estimador de produzido pela EM algoritmo de alcançar o verdadeiro valor de μ k e Σ ?μkΣnμkΣ

KevinKim
fonte

Respostas:

1

Se o algoritmo for inicializado com valores aleatórios a cada vez, não, a convergência não será necessariamente consistente. Inicialização não aleatória será presumivelmente produzem o mesmo resultado cada vez, mas eu não acredito que isto produziria necessário, os valores "corretas" de .μk

Como um aparte, fixando a proporção de mistura para e fixando Σ para ser diagonal, o algoritmo se torna muito semelhante ao algoritmo k -eans. Isso também possui convergência inconsistente, dependendo da inicialização aleatória.1/KΣk

dcorney
fonte
Eu experimentei numericamente, pelo menos para duas classes independentes de distribuição normal, o EM produz estimador consistente da média da classe. No entanto, os meios K não pode fazer isso, eu provei-o matematicamente
KevinKim
11
Você poderia dar mais detalhes, por favor? Por exemplo, quais os dados que você estava usando, como você inicializados os parâmetros etc.
dcorney
Concorde com @dcorney. Realmente depende dos valores iniciais que você escolherá. Pelo menos na prática, a escolha incorreta dos valores iniciais leva a uma estimativa inconsistente (eu uso o pacote R do mixtools)
Demidov