MLE = Estimativa de Máxima Verossimilhança MAP = Máximo a posteriori O MLE é intuitivo / ingênuo, pois começa apenas com a probabilidade de observação dada o parâmetro (ou seja, a função de verossimilhança) e tenta encontrar o parâmetro que melhor se adequa à observação . Mas não leva em...
Eu já vi referências ao aprendizado da teoria das probabilidades bayesianas em R, e eu queria saber se há mais como isso, talvez especificamente em Python? Voltado para o aprendizado da teoria da probabilidade bayesiana, inferência, estimativa da máxima verossimilhança, modelos gráficos e o...
O classificador Naive Bayes é o classificador que atribui itens a uma classe base na maximização do posterior para associação à classe e assume que os recursos dos itens são independentes.CxxxCCCP(C|x)P(C|x)P(C|x) A perda de 0-1 é a perda que atribui a qualquer classificação incorreta uma perda de...
Existem vários artigos pesados em matemática que descrevem o laço bayesiano, mas eu quero testar o código JAGS correto que eu possa usar. Alguém poderia postar um exemplo de código BUGS / JAGS que implementa regressão logística regularizada? Qualquer esquema (L1, L2, Elasticnet) seria ótimo, mas...
Atualmente, estou lendo o excelente livro "Doing Bayesian Data Analysis" de Kruschke. No entanto, o capítulo sobre regressão logística hierárquica (capítulo 20) é um tanto confuso. A Figura 20.2 descreve uma regressão logística hierárquica em que o parâmetro de Bernoulli é definido como uma função...
Estou tentando executar um logit bayesiano nos dados aqui . Estou usando bayesglm()no armpacote em R. A codificação é direta o suficiente: df = read.csv("http://dl.dropbox.com/u/1791181/bayesglm.csv", header=T) library(arm) model = bayesglm(PASS ~ SEX + HIGH, family=binomial(link="logit"),...
Suponha que tenhamos um conjunto de pontos . Cada ponto é gerado usando a distribuição Para obter posterior para , escrevemos p (x | \ mathbf {y}) \ propto p (\ mathbf {y} | x) p (x) = p (x) \ prod_ {i = 1} ^ N p (y_i x) De acordo com o artigo de Minka na expectativa de propagação precisamos 2...
Como se deve transformar um resultado freqüentista em um prior bayesiano? Considere o seguinte cenário bastante genérico: Um experimento foi realizado no passado e um resultado em algum parâmetro foi medido. A análise foi realizada com uma metodologia frequentista. Um intervalo de confiança para...
Estou reproduzindo do zero os resultados na Seção 4.2.1 de Probabilidade marginal da produção de Gibbs Siddhartha Chib Jornal da Associação Estatística Americana, vol. 90, No. 432. (Dec., 1995), pp. 1313-1321. É uma mistura de modelos normais com o número conhecido de componentes. k ≥...
Existe um conjugado antes da distribuição de Laplace ? Caso contrário, existe uma expressão de forma fechada conhecida que se aproxima do posterior para os parâmetros da distribuição de Laplace? Eu pesquisei bastante por aí, sem sucesso, então meu palpite atual é "não" nas perguntas acima...
Ao obter amostras do MCMC para inferir um parâmetro específico, quais são os bons guias para o número mínimo de amostras efetivas que se deve buscar? E esse conselho muda à medida que o modelo se torna mais ou menos
Sou bastante novo no campo dos processos gaussianos e como eles estão sendo aplicados no aprendizado de máquina. Eu continuo lendo e ouvindo sobre as funções de covariância sendo a principal atração desses métodos. Então, alguém poderia explicar de maneira intuitiva o que está acontecendo nessas...
Não entendo como essa equação foi derivada. P(I|M1∩M2)≤P(I)P(I′)⋅P(M1|I)P(M2|I)P(M1|I′)P(M2|I′)P(I|M1∩M2)≤P(I)P(I′)⋅P(M1|I)P(M2|I)P(M1|I′)P(M2|I′)P(I|M_{1}\cap M_{2}) \leq \frac{P(I)}{P(I')}\cdot \frac{P(M_{1}|I)P(M_{2}|I)}{P(M_{1}|I')P(M_{2}|I')} Esta equação foi do artigo "Trial by...
Eu perguntei sobre isso antes e realmente tenho lutado para identificar o que torna um parâmetro de modelo e o que o torna uma variável latente. Portanto, analisando vários tópicos sobre este tópico neste site, a principal distinção parece ser: Variáveis latentes não são observadas, mas têm uma...
Portanto, sabemos que a pesquisa aleatória funciona melhor que a pesquisa em grade, mas uma abordagem mais recente é a otimização bayesiana (usando processos gaussianos). Procurei uma comparação entre os dois e não encontrei nada. Eu sei que no cs231n de Stanford eles mencionam apenas pesquisa...
O que é o Deep Learning Bayesiano e como ele se relaciona com as estatísticas Bayesianas tradicionais e com o Deep Learning tradicional? Quais são os principais conceitos e matemática envolvidos? Eu poderia dizer que são apenas estatísticas bayesianas não paramétricas? Quais são suas obras...
Eu sou novo na pesquisa estatística bayesiana. Ouvi de pesquisadores que pesquisadores bayesianos implementam melhor o MCMC por eles mesmos do que usando ferramentas como JAGS / Stan. Posso perguntar qual é o benefício de implementar o algoritmo MCMC por si mesmo (em linguagens "não muito rápidas"...
Aprendendo estatísticas bayesianas pela primeira vez; como um ângulo para entender o MCMC, eu me perguntava: está fazendo algo que fundamentalmente não pode ser feito de outra maneira, ou está apenas fazendo algo com muito mais eficiência do que as alternativas? A título de ilustração, suponha que...
Eu apenas comecei a construir modelos em stan ; para familiarizar-me com a ferramenta, estou trabalhando em alguns dos exercícios em Análise Bayesiana de Dados (2ª ed.). O exercício Waterbuck supõe que os dados , com ( N , θ ) desconhecido. Como o Hamiltoniano Monte Carlo não permite parâmetros...
Tenho notado que, em muitas aplicações práticas, os métodos baseados no MCMC são usados para estimar um parâmetro, mesmo que o posterior seja analítico (por exemplo, porque os anteriores eram conjugados). Para mim, faz mais sentido usar estimadores MAP em vez de estimadores baseados no MCMC....