A informação de Fisher mede a curvatura da probabilidade logarítmica e pode ser usada para avaliar a eficiência dos estimadores.
Não me sinto confortável com as informações de Fisher, o que elas medem e como elas são úteis. Também o relacionamento com o limite de Cramer-Rao não é aparente para mim. Alguém pode, por favor, dar uma explicação intuitiva desses
Ok, essa é uma pergunta bastante básica, mas estou um pouco confusa. Na minha tese, escrevo: Os erros padrão podem ser encontrados calculando o inverso da raiz quadrada dos elementos diagonais da matriz (observada) de Fisher Information:
Suponha que tenhamos uma variável aleatória . Se fosse o parâmetro true, a função de verossimilhança deveria ser maximizada e a derivada igual a zero. Esse é o princípio básico por trás do estimador de probabilidade máxima.X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Pelo que entendi, as...
Alguém pode provar a seguinte conexão entre a métrica de informações de Fisher e a entropia relativa (ou divergência de KL) de maneira rigorosa e puramente matemática? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) )...
Dado o seguinte modelo hierárquico, e que é uma distribuição normal. Existe uma maneira de obter uma expressão exata para as informações de Fisher da distribuição marginal de dada . Ou seja, qual é a informação de Fisher de: Posso obter uma expressão para a distribuição marginal de dada c ,...
Seja θ∈Rnθ∈Rn\theta \in R^{n} . A Matriz de Informações de Fisher é definida como: I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj∣∣∣θ]I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Como posso provar que...
Estou repostando uma "resposta" a uma pergunta que eu havia feito há duas semanas atrás: Por que o Jeffreys é útil antes? Era realmente uma pergunta (e eu também não tinha o direito de postar comentários), então espero que esteja tudo bem fazer isso: No link acima, é discutido que a característica...
Na configuração padrão de máxima verossimilhança (amostra iid Y1,…,YnY1,…,YnY_{1}, \ldots, Y_{n} de alguma distribuição com densidade fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0} )) e no caso de um modelo especificado corretamente, as informações de Fisher são fornecidas
Estou tentando provar que a matriz de informações observada avaliada no estimador de verossimilhança máxima fraca consistentemente consistente (MLE) é um estimador fracamente consistente da matriz de informações esperada. Este é um resultado amplamente citado, mas ninguém fornece uma referência ou...
Os testes de permutação (também chamados de teste de randomização, teste de re-randomização ou teste exato) são muito úteis e úteis quando a suposição de distribuição normal exigida por, por exemplo, t-testnão é atendida e quando a transformação dos valores pela classificação do teste...
Diferentes livros citam condições diferentes para a existência de uma matriz de informações de Fisher. Várias dessas condições estão listadas abaixo, cada uma das quais aparece em algumas, mas não em todas, das definições de "matriz de informações de Fisher". Existe um conjunto padrão e mínimo...
(Postei uma pergunta semelhante no math.se. ) Na geometria da informação, o determinante da matriz de informações de Fisher é uma forma de volume natural em um coletor estatístico, portanto, possui uma ótima interpretação geométrica. O fato de aparecer na definição de Jeffreys anterior, por...
Considere uma variável aleatória Bernoulli com o parâmetro (probabilidade de sucesso). A função de probabilidade e as informações de Fisher (uma matriz ) são:X∈{0,1}X∈{0,1}X\in\{0,1\}θθ\theta1×11×11 \times
Exemplos: Eu tenho uma frase na descrição do trabalho: "Java senior engineer in UK". Eu quero usar um modelo de aprendizado profundo para prever em duas categorias: English e IT jobs. Se eu usar o modelo de classificação tradicional, ele poderá prever apenas 1 rótulo com softmaxfunção na última...
De "Em toda a probabilidade: modelagem estatística e inferência usando a probabilidade" de Y. Pawitan, a probabilidade de uma parametrização é definida como modo que se g for um a um, então L ^ * (\ psi) = L (g ^ {- 1} (\ psi)) (p. 45). Eu estou tentando mostrar o Exercício 2.20, que afirma que...
Estou tentando entender a diferença entre a Newton-Raphsontécnica e a Fisher scoringtécnica calculando a primeira iteração para cada método de uma Bernoulliamostra. (Eu sei que, neste caso, posso calcular explicitamente e imediatamente πm l eπmeue\pi_{mle} mas quero fazê-lo iterativamente apenas...
Estou tendo problemas para encontrar um recurso on-line que deriva da Matriz de Informações de Fisher esperada para a distribuição t do aluno univariada. Alguém conhece esse recurso? Na ausência de qualquer recurso existente que deriva a matriz de informações de Fisher esperada para a distribuição...
As informações de Fisher são definidas de duas maneiras equivalentes: como a variação da inclinação de e como o negativo da curvatura esperada de . Como o primeiro é sempre positivo, isso implicaria que a curvatura da função de probabilidade de logaritmo é negativa em todos os lugares. Isso me...