Perguntas com a marcação «information-theory»

Um ramo da matemática / estatística usado para determinar a capacidade de transporte de informações de um canal, seja aquele usado para comunicação ou definido em um sentido abstrato. A entropia é uma das medidas pelas quais os teóricos da informação podem quantificar a incerteza envolvida na previsão de uma variável aleatória.

20
Quais são os valores corretos para precisão e rechamada em casos extremos?

Precisão é definida como: p = true positives / (true positives + false positives) É verdade que, como true positivese false positivesabordagem 0, a precisão se aproxima de 1? Mesma pergunta para recall: r = true positives / (true positives + false negatives) No momento, estou implementando...

19
O que é entropia empírica?

Na definição de conjuntos comuns em conjunto (em "Elementos da teoria da informação", cap. 7.6, p. 195), usamos - 1nregistrop ( xn)−1nlog⁡p(xn)-\frac{1}{n} \log{p(x^n)} como a entropia empírica de uma sequência com . Eu nunca me deparei com essa terminologia antes. Não é definido explicitamente...

18
Por que a divergência KL não é negativa?

Por que a divergência KL não é negativa? Da perspectiva da teoria da informação, tenho uma compreensão tão intuitiva: Digamos que existem dois conjuntos AAA e BBB que são compostos do mesmo conjunto de elementos rotulados por xxx . p(x)p(x)p(x) e q(x)q(x)q(x) são distribuições de probabilidade...

15
Definição e origem da entropia cruzada

Sem citar fontes, a Wikipedia define a entropia cruzada de distribuições discretas e Q comoPPPQQQ H×( P; Q )= - ∑xp ( x )registroq( X ) .H×(P;Q)=-∑xp(x)registro⁡q(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Quem foi o primeiro a começar a usar essa...

15
Qualitativamente, o que é entropia cruzada

Esta questão fornece uma definição quantitativa de entropia cruzada, em termos de sua fórmula. Estou procurando uma definição mais fictícia, diz a wikipedia: Na teoria da informação, a entropia cruzada entre duas distribuições de probabilidade mede o número médio de bits necessários para...

15
Cálculo da AIC “manualmente” em R

Eu tentei calcular o AIC de uma regressão linear em R, mas sem usar a AICfunção, assim: lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 No entanto, AICfornece um valor

15
Qual é a intuição por trás de amostras intercambiáveis ​​sob a hipótese nula?

Os testes de permutação (também chamados de teste de randomização, teste de re-randomização ou teste exato) são muito úteis e úteis quando a suposição de distribuição normal exigida por, por exemplo, t-testnão é atendida e quando a transformação dos valores pela classificação do teste...

14
Como interpretar entropia diferencial?

Li recentemente este artigo sobre a entropia de uma distribuição de probabilidade discreta. Ele descreve uma boa maneira de pensar em entropia como o número esperado de bits (pelo menos ao usar o log2log2\log_2 em sua definição de entropia) necessário para codificar uma mensagem quando sua...