Não me sinto confortável com as informações de Fisher, o que elas medem e como elas são úteis. Também o relacionamento com o limite de Cramer-Rao não é aparente para mim. Alguém pode, por favor, dar uma explicação intuitiva desses
Ok, essa é uma pergunta bastante básica, mas estou um pouco confusa. Na minha tese, escrevo: Os erros padrão podem ser encontrados calculando o inverso da raiz quadrada dos elementos diagonais da matriz (observada) de Fisher Information:
Quero medir a entropia / densidade da informação / semelhança de padrão de uma matriz binária bidimensional. Deixe-me mostrar algumas fotos para esclarecimentos: Essa exibição deve ter uma entropia bastante alta: A) Isso deve ter entropia média: B) Finalmente, essas imagens devem ter...
Por que e quando devemos usar as Informações Mútuas sobre medições de correlação estatística como "Pearson", "spearman" ou "Kendall's
Se o interesse é apenas estimar os parâmetros de um modelo (estimativa pontual e / ou intervalo) e as informações anteriores não são confiáveis, fracas (sei que isso é um pouco vago, mas estou tentando estabelecer um cenário em que a escolha de um prior é difícil) ... Por que alguém escolheria usar...
Suponha que tenhamos uma variável aleatória . Se fosse o parâmetro true, a função de verossimilhança deveria ser maximizada e a derivada igual a zero. Esse é o princípio básico por trás do estimador de probabilidade máxima.X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Pelo que entendi, as...
Mais recentemente, li dois artigos. O primeiro é sobre a história da correlação e o segundo é sobre o novo método chamado Maximal Information Coefficient (MIC). Preciso da sua ajuda para entender o método MIC para estimar correlações não lineares entre variáveis. Além disso, as instruções para seu...
Alguém pode provar a seguinte conexão entre a métrica de informações de Fisher e a entropia relativa (ou divergência de KL) de maneira rigorosa e puramente matemática? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) )...
Dado o seguinte modelo hierárquico, e que é uma distribuição normal. Existe uma maneira de obter uma expressão exata para as informações de Fisher da distribuição marginal de dada . Ou seja, qual é a informação de Fisher de: Posso obter uma expressão para a distribuição marginal de dada c ,...
Seja θ∈Rnθ∈Rn\theta \in R^{n} . A Matriz de Informações de Fisher é definida como: I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj∣∣∣θ]I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Como posso provar que...
Suponha que eu tenha dois conjuntos e e uma distribuição de probabilidade conjunta sobre esses conjuntos . Deixe e representam as distribuições marginais mais de e , respectivamente.Y p ( x , y ) p ( x ) p ( y ) X YXXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY As informações mútuas entre...
Estou repostando uma "resposta" a uma pergunta que eu havia feito há duas semanas atrás: Por que o Jeffreys é útil antes? Era realmente uma pergunta (e eu também não tinha o direito de postar comentários), então espero que esteja tudo bem fazer isso: No link acima, é discutido que a característica...
Na configuração padrão de máxima verossimilhança (amostra iid Y1,…,YnY1,…,YnY_{1}, \ldots, Y_{n} de alguma distribuição com densidade fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0} )) e no caso de um modelo especificado corretamente, as informações de Fisher são fornecidas
Estou tentando provar que a matriz de informações observada avaliada no estimador de verossimilhança máxima fraca consistentemente consistente (MLE) é um estimador fracamente consistente da matriz de informações esperada. Este é um resultado amplamente citado, mas ninguém fornece uma referência ou...
Eu trabalho com as informações mútuas há algum tempo. Mas encontrei uma medida muito recente no "mundo da correlação" que também pode ser usada para medir a independência da distribuição, a chamada "correlação à distância" (também denominada correlação browniana):...
minha pergunta se aplica particularmente à reconstrução de
Os testes de permutação (também chamados de teste de randomização, teste de re-randomização ou teste exato) são muito úteis e úteis quando a suposição de distribuição normal exigida por, por exemplo, t-testnão é atendida e quando a transformação dos valores pela classificação do teste...
Ao examinar os vetores próprios da matriz de covariância, obtemos as direções da variação máxima (o primeiro vetor próprio é a direção na qual os dados variam mais etc.); isso é chamado de análise de componentes principais (PCA). Fiquei imaginando o que significaria olhar para os autovetores /...
Diferentes livros citam condições diferentes para a existência de uma matriz de informações de Fisher. Várias dessas condições estão listadas abaixo, cada uma das quais aparece em algumas, mas não em todas, das definições de "matriz de informações de Fisher". Existe um conjunto padrão e mínimo...
(Postei uma pergunta semelhante no math.se. ) Na geometria da informação, o determinante da matriz de informações de Fisher é uma forma de volume natural em um coletor estatístico, portanto, possui uma ótima interpretação geométrica. O fato de aparecer na definição de Jeffreys anterior, por...