Pretendo estimar um GLM hierárquico, mas com a seleção de recursos para determinar quais covariáveis são relevantes no nível da população a serem incluídas. Suponha que eu tenha grupos com observações e possíveis covariáveis Ou seja, possuo uma matriz de design de covariáveis \ boldsymbol {x}...
Em "Aprendizado de máquina: uma perspectiva probabilística" de Kevin Murphy, capítulo 3.2, o autor demonstra o aprendizado do conceito bayesiano em um exemplo chamado "jogo de números": Depois de observar amostras de , queremos escolha uma hipótese que melhor descreva a regra que gerou as amostras....
TLDR: As splines de regressão em placas finas têm uma interpretação probabilística / bayesiana? Dado pares de entrada-saída (xi,yi)(xi,yi)(x_i,y_i) , i=1,...,ni=1,...,ni=1,...,n ; Eu quero estimar uma função f(⋅)f(⋅)f(\cdot) seguinte forma
Uma função de caixa preta , que é avaliada pontualmente, sujeita a ruído gaussiano, ou seja, f ( x ) + N ( μ ( x ) , σ ( x ) 2 ) , pode ser minimizada usando a otimização bayesiana onde um gaussiano Processo é usado como um modelo de função barulhenta.f:Rn→Rf:Rn→Rf: \mathbb{R}^n \rightarrow...
Suponha que e são duas variáveis aleatórias que possuem RVs binários como seus componentes (portanto ) e ambos ( e ) são intercambiáveis, ou seja,X=(X1,...,Xn),:(Ω,A,P)→({0,1}n,2{0,1}n)X=(X1,...,Xn),:(Ω,A,P)→({0,1}n,2{0,1}n)X=(X_1, ..., X_n),: (\Omega, A,P)\to (\{0,1\}^n,...
Comecei a ler sobre o estimador de máxima verossimilhança e as estatísticas bayesianas recentemente. Eu entendo que, dado um modelo estatístico onde pertence a um grande espaço de parâmetros , a divergência KL entre e ( é a verdadeira O parâmetro que gostaríamos de encontrar) é minimizado para o...
Na teoria bayesiana da probabilidade, probabilidade é nossa expressão do conhecimento sobre uma determinada coisa, não uma propriedade dessa coisa. No entanto, sempre vejo as pessoas tratarem como um parâmetro que precisa ser estimado. Eles configuram um prior para , geralmente na forma de uma...
Estou confuso sobre a maneira correta de escrever a rede elástica. Depois de ler alguns trabalhos de pesquisa, parece haver três formas 1)exp{ - λ1| βk| - λ2β2k}exp{-λ1|βk|-λ2βk2}\exp\{-\lambda_1|\beta_k|-\lambda_2\beta_k^2\} 2)exp{ - ( λ1| βk| +
Estou implementando uma mistura variada de baunilha de gaussianos multivariados, conforme o capítulo 10 do Reconhecimento de padrões e aprendizado de máquina (Bishop, 2007). A abordagem bayesiana requer a especificação de (hiper) parâmetros para o Gaussian-inverso-Wishart antes: α0 0α0\alpha_0...
Ao executar uma análise bayesiana, uma coisa a verificar é a autocorrelação das amostras MCMC. Mas não entendo o que está causando essa autocorrelação. Aqui , eles estão dizendo que Amostras de alta autocorrelação [do MCMC] geralmente são causadas por fortes correlações entre variáveis....
Na página 146 da Análise Bayesiana de Dados de Gelman, Gelman discute o valor p Bayesiano como uma maneira de verificar o ajuste do modelo. A idéia é comparar os dados observados ( ) com os dados que poderiam ter sido gerados pelo modelo se replicarmos o experimento ( ).yyyyr e pyrepy^{rep} Ele...
Quais são as alternativas de última geração aos Processos Gaussianos (GP) para regressão não-linear não paramétrica com incerteza de previsão, quando o tamanho do conjunto de treinamento começa a se tornar proibitivo para os GPs de baunilha, mas ainda não é muito grande? Os detalhes do meu...
Considere um conjunto de dados de treinamento XXX, um modelo probabilístico parametrizado por θθ\thetae uma prévia P( θ )P(θ)P(\theta). Para um novo ponto de dadosx∗x∗x^*, podemos calcular P(x∗)P(x∗)P(x^*) usando: uma abordagem totalmente bayesiana: a distribuição preditiva posterior P(x∗| X) =...
Eu tenho uma pergunta sobre a atualização bayesiana. Em geral, a atualização bayesiana refere-se ao processo de obter o posterior de uma distribuição anterior de crenças. Alternativamente, pode-se entender o termo usando a parte posterior do primeiro passo como entrada anterior para cálculos...
Isso não está diretamente relacionado à minha outra pergunta , embora o tópico seja o mesmo. Também é provavelmente uma pergunta muito trivial, mas tenha paciência :) Eu estava discutindo com um colega sobre o uso da regressão de processo gaussiana, e ele fez duas afirmações com as quais não...
Sabemos confidence intervalque não pode ser usado para declaração de probabilidade, isso é algo reservado credible interval. No entanto, as técnicas freqüentistas mais comumente usadas (por exemplo, intervalos de confiança para médias e proporções) são equivalentes a intervalos credíveis...
Segundo Karl Popper, apenas hipóteses falsificáveis são verdadeiramente científicas (citando a Wikipedia ): nenhum número de resultados positivos no nível dos testes experimentais pode confirmar uma teoria científica, mas um único contra-exemplo é logicamente decisivo: mostra que a teoria, da...
Atualmente, estou estudando "Processos Gaussianos para Aprendizado de Máquina" e, no capítulo 3, eles afirmam que o posteriorp(y∗|X,y,x∗)p(y∗|X,y,x∗)p(y_*|X,\mathbf{y},\mathbf{x}_*) (eq. 3.10) e a variável latente posterior p(f∗|X,y,x∗)p(f∗|X,y,x∗)p(f_*|X,\mathbf{y},\mathbf{x}_*)(eq. 3.9)...
Um estimador de Bayes é aquele que minimiza o risco de Bayes. Especificamente, se e somente se δΛ=argminBR(Λ,δ):=∫R(θ,δ)dΛ(θ)=∫(∫L(θ,δ(x))dx)dΛ(θ)δΛ=argminBR(Λ,δ):=∫R(θ,δ)dΛ(θ)=∫(∫L(θ,δ(x))dx)dΛ(θ)\delta_{\Lambda} = \arg\min \operatorname{BR}(\Lambda,\delta) := \int R(\theta, \delta) d...
Eu tenho seis anos em uma função de negócios e tenho um bacharelado em física e matemática aplicada / estatísticas. "The Big Picture", de Sean Carroll (físico da Caltech) me abriu a idéia de que as estatísticas bayesianas são uma maneira útil de pensar em qualquer coisa - inevitavelmente você tem...