Com um plano prévio, os estimadores ML (freqüentista - máxima verossimilhança) e MAP (bayesiano - máxima a posteriori) coincidem. De maneira mais geral, porém, estou falando de estimadores de pontos derivados como otimizadores de alguma função de perda. Ou seja, (Bayesian) x (x^(. ) = argminE (...
Existem bons livros que explicam conceitos importantes da teoria das probabilidades, como funções de distribuição de probabilidade e funções de distribuição cumulativa? Por favor, evite consultar livros como "Estatística Matemática e Análise de Dados", de John Rice, que começam com conceitos...
Eu me deparei com algumas maneiras básicas de medir a complexidade das redes neurais: Ingênuo e informal: conte o número de neurônios, neurônios ocultos, camadas ou camadas ocultas Dimensão VC (Eduardo D. Sontag [1998] "Dimensão VC de redes neurais" [ pdf ].) Um curso de complexidade...
Essa questão foi inspirada em duas interações recentes que eu tive, uma aqui no CV , a outra na economics.se. Lá, eu havia postado uma resposta no conhecido "Paradoxo do Envelope" (lembre-se, não como a "resposta correta", mas como a resposta decorrente de suposições específicas sobre a estrutura...
Quais abordagens teóricas da causalidade eu devo conhecer como estatístico / economista aplicado? Eu sei o (um pouquinho) Modelo causal de Neyman – Rubin (e Roy , Haavelmo etc.) O trabalho de Pearl sobre causalidade Causalidade de Granger (embora menos orientada para o tratamento) De quais...
Sem citar fontes, a Wikipedia define a entropia cruzada de distribuições discretas e Q comoPPPQQQ H×( P; Q )= - ∑xp ( x )registroq( X ) .H×(P;Q)=-∑xp(x)registroq(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Quem foi o primeiro a começar a usar essa...
Os testes de permutação (também chamados de teste de randomização, teste de re-randomização ou teste exato) são muito úteis e úteis quando a suposição de distribuição normal exigida por, por exemplo, t-testnão é atendida e quando a transformação dos valores pela classificação do teste...
Esta questão fornece uma definição quantitativa de entropia cruzada, em termos de sua fórmula. Estou procurando uma definição mais fictícia, diz a wikipedia: Na teoria da informação, a entropia cruzada entre duas distribuições de probabilidade mede o número médio de bits necessários para...
Eu tentei calcular o AIC de uma regressão linear em R, mas sem usar a AICfunção, assim: lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 No entanto, AICfornece um valor
Considere a solução de Jaynes para o paradoxo de Bertrand usando o princípio da indiferença . Por que um argumento semelhante não se aplica ao paradoxo de Borel-Kolmogorov ? Há algo errado em argumentar que, como o problema não especifica uma orientação para a esfera, girar a esfera não deve...
Para uma variável aleatória contínua arbitrária, digamos , sua entropia diferencial é sempre menor que ∞ ? (Tudo bem se estiver - ∞ .) Se não, qual é a condição necessária e suficiente para que seja menor que ∞
Eu pensei que o conceito de conjunto típico fosse bastante intuitivo: uma sequência de comprimento pertenceria ao conjunto típico se a probabilidade de saída da sequência fosse alta. Portanto, qualquer sequência que provavelmente estivesse em . (Estou evitando a definição formal relacionada à...
Os modelos de mistura gaussiana (GMMs) são atraentes porque são simples de trabalhar tanto analiticamente quanto na prática e são capazes de modelar algumas distribuições exóticas sem muita complexidade. Há algumas propriedades analíticas que devemos esperar manter que não são claras em geral. Em...
Imagine a seguinte configuração: Você tem 2 moedas, a moeda A que é garantida como justa e a moeda B que pode ou não ser justa. Você é solicitado a fazer 100 lançamentos de moedas, e seu objetivo é maximizar o número de caras . Sua informação prévia sobre a moeda B é que ela foi lançada 3 vezes e...
Contexto : Eu quero desenhar uma linha em um gráfico de dispersão que não aparece paramétrica, portanto, eu estou usando geom_smooth()no ggplotno R. Ele retorna automaticamente, geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use...
Li recentemente este artigo sobre a entropia de uma distribuição de probabilidade discreta. Ele descreve uma boa maneira de pensar em entropia como o número esperado de bits (pelo menos ao usar o log2log2\log_2 em sua definição de entropia) necessário para codificar uma mensagem quando sua...
Existe algum uso para a quantidade em estatística ou teoria da informação?∫f( X )2dx∫f(x)2dx \int f(x)^2
A entropia diferencial do VR gaussiano é log2(σ2πe−−−√)log2(σ2πe)\log_2(\sigma \sqrt{2\pi e}). Isso depende deσσ\sigma, que é o desvio padrão. Se normalizarmos a variável aleatória para que ela tenha variação unitária, sua entropia diferencial cai. Para mim, isso é contra-intuitivo, porque a...
Estou tentando entender a seguinte prova de que o gaussiano tem entropia máxima. Como o passo estrelado faz sentido? Uma covariância específica apenas fixa o segundo momento. O que acontece com o terceiro, quarto, quinto momento,
Eu tenho trabalhado bastante na amostragem de importância durante o ano passado e tenho algumas perguntas em aberto com as quais esperava obter ajuda. Minha experiência prática com esquemas de amostragem de importância é que eles ocasionalmente podem produzir estimativas fantásticas de baixa...