Um algoritmo de otimização geralmente usado para estimativa de probabilidade máxima na presença de dados ausentes.
Estou tentando entender bem o algoritmo EM, para poder implementá-lo e usá-lo. Passei um dia inteiro lendo a teoria e um artigo em que o EM é usado para rastrear uma aeronave usando as informações de posição provenientes de um radar. Honestamente, acho que não entendo completamente a idéia...
Estudei algoritmos para agrupar dados (aprendizado não supervisionado): EM e k-means. Eu continuo lendo o seguinte: O k-means é uma variante do EM, com as suposições de que os clusters são esféricos. Alguém pode explicar a frase acima? Eu não entendo o que significa esférico e como kmeans e EM...
Qual é a diferença entre os algoritmos EM (Maximização de Expectativas) e Subida de Gradiente (ou descida)? Existe alguma condição sob a qual eles são
Li em algum lugar que o método Variational Bayes é uma generalização do algoritmo EM. De fato, as partes iterativas dos algoritmos são muito semelhantes. Para testar se o algoritmo EM é uma versão especial do Variational Bayes, tentei o seguinte: YYY são dados, é a coleção de variáveis latentes...
Nota: Estou postando uma pergunta de um ex-aluno meu incapaz de postar por conta própria por motivos técnicos. Dada uma amostra iid de uma distribuição Weibull com pdf existe uma representação variável ausente útil e, portanto, um algoritmo EM (maximização de expectativa) associado que pode...
Eu li algumas explicações do algoritmo EM (por exemplo, do reconhecimento de padrões e aprendizado de máquina de Bishop e do primeiro curso de Roger e Gerolami sobre aprendizado de máquina). A derivação do EM está bem, eu entendo. Também entendo por que o algoritmo cobre algo: em cada etapa,...
Pelo pouco que sei, o algoritmo EM pode ser usado para encontrar a máxima probabilidade ao zerar as derivadas parciais em relação aos parâmetros da probabilidade, fornecendo um conjunto de equações que não podem ser resolvidas analiticamente. Mas é necessário o algoritmo EM, em vez de usar alguma...
Depois de executar a análise de componentes principais (PCA), quero projetar um novo vetor no espaço do PCA (ou seja, encontrar suas coordenadas no sistema de coordenadas do PCA). Eu calculei o PCA na linguagem R usando prcomp. Agora eu devo poder multiplicar meu vetor pela matriz de rotação PCA....
Esta pergunta foi migrada do Mathematics Stack Exchange porque pode ser respondida em Validação cruzada. Migrou há 6 anos . Na abordagem do algoritmo EM, usamos a desigualdade de Jensen para chegar
Eu quero implementar o algoritmo EM manualmente e depois compará-lo com os resultados normalmixEMdo mixtoolspacote. Claro, eu ficaria feliz se os dois tivessem os mesmos resultados. A referência principal é Geoffrey McLachlan (2000), Modelos de Mistura Finita . Eu tenho uma densidade de mistura de...
Considere a probabilidade de log de uma mistura de gaussianos: l(Sn;θ)=∑t=1nlogf(x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σ2i)}l(Sn;θ)=∑t=1nlogf(x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σi2)}l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i f(x^{(t)}|\mu^{(i)},...
O procedimento EM aparece, para os não iniciados, como mais ou menos magia negra. Estimar parâmetros de um HMM (por exemplo) usando dados supervisionados. Em seguida, decodifique os dados não marcados, usando o retrocesso para 'contar' os eventos como se os dados fossem marcados, mais ou menos. Por...
Estou tentando aprender como usar os campos aleatórios de Markov para segmentar regiões em uma imagem. Não entendo alguns dos parâmetros no MRF ou por que às vezes a maximização de expectativas que realizo não converge para uma solução. A partir teorema de Bayes, eu tenho , onde é o valor de...
Existem muitas publicações que enfatizam o método de Maximização de Expectativas em modelos de mistura (Mistura de Gaussiana, Modelo de Markov Oculto, etc.). Por que EM é importante? O EM é apenas uma maneira de otimizar e não é amplamente usado como método baseado em gradiente (gradiente decente...
Eu sei que o k-means geralmente é otimizado usando a Maximização de Expectativas . No entanto, podemos otimizar sua função de perda da mesma maneira que otimizamos qualquer outra! Encontrei alguns trabalhos que realmente usam descida gradiente estocástica para médias k em larga escala, mas não...
Existem alternativas rápidas para o algoritmo EM para aprender modelos com variáveis latentes (especialmente pLSA)? Eu estou bem em sacrificar a precisão em favor da
Digamos que tenho uma população de 50 milhões de coisas únicas e colho 10 milhões de amostras (com substituição) ... O primeiro gráfico anexado mostra quantas vezes eu coleciono a mesma "coisa", o que é relativamente raro como o população é maior que minha amostra. No entanto, se minha população é...
Estou tentando separar dois grupos de valores de um único conjunto de dados. Eu posso assumir que uma das populações está normalmente distribuída e tem pelo menos metade do tamanho da amostra. Os valores do segundo são mais baixos ou mais altos que os valores do primeiro (a distribuição é...
Eu tenho algumas perguntas conceituais simples que gostaria de esclarecer sobre o MLE (Estimativa de Máxima Verossimilhança) e qual o vínculo que ele tem, se houver, com o EM (Maximização de Expectativas). Pelo que entendi, se alguém disser "Usamos o MLE", isso significa automaticamente que eles...
Quais são os benefícios de atribuir certos valores iniciais às probabilidades de transição em um modelo de Markov oculto? Eventualmente, o sistema os aprenderá; então, qual é o sentido de fornecer valores que não sejam aleatórios? O algoritmo subjacente faz alguma diferença como Baum – Welch? Se...