Um ramo da matemática / estatística usado para determinar a capacidade de transporte de informações de um canal, seja aquele usado para comunicação ou definido em um sentido abstrato. A entropia é uma das medidas pelas quais os teóricos da informação podem quantificar a incerteza envolvida na previsão de uma variável aleatória.
Eu já vi algumas perguntas aqui sobre o que isso significa em termos leigos, mas estas são muito leigas para o meu propósito aqui. Estou tentando entender matematicamente o que significa a pontuação da AIC. Mas, ao mesmo tempo, não quero uma prova de rigor que me faça não ver os pontos mais...
Estou procurando uma explicação intuitiva para as seguintes perguntas: Na estatística e na teoria da informação, qual é a diferença entre a distância de Bhattacharyya e a divergência de KL, como medidas da diferença entre duas distribuições de probabilidade discretas? Eles não têm absolutamente...
Andrew More define ganho de informação como: IG(Y|X)=H(Y)−H(Y|X)EuG(Y|X)=H(Y)-H(Y|X)IG(Y|X) = H(Y) - H(Y|X) onde é a entropia condicional . No entanto, a Wikipedia chama a quantidade acima de informações mútuas .H(Y|X)H(Y|X)H(Y|X) A Wikipedia, por outro lado, define ganho de informação como a...
Existem medidas de similaridade ou distância entre duas matrizes de covariância simétricas (ambas com as mesmas dimensões)? Estou pensando aqui em análogos à divergência KL de duas distribuições de probabilidade ou à distância euclidiana entre vetores, exceto aplicada a matrizes. Eu imagino que...
Eu usei o princípio da entropia máxima para justificar o uso de várias distribuições em várias configurações; no entanto, ainda não consegui formular uma interpretação estatística, em oposição à teórica da informação, da entropia máxima. Em outras palavras, o que maximizar a entropia implica nas...
Depois de muita pesquisa cruzada validada, ainda não me sinto mais perto de entender a divergência entre KL fora do campo da teoria da informação. É bastante estranho, como alguém com formação em matemática, achar muito mais fácil entender a explicação da teoria da informação. Para delinear meu...
Estou estudando árvores de classificação e regressão, e uma das medidas para a localização da divisão é a pontuação GINI. Agora, estou acostumado a determinar a melhor localização de divisão quando o log da razão de probabilidade dos mesmos dados entre duas distribuições é zero, o que significa...
Mais recentemente, li dois artigos. O primeiro é sobre a história da correlação e o segundo é sobre o novo método chamado Maximal Information Coefficient (MIC). Preciso da sua ajuda para entender o método MIC para estimar correlações não lineares entre variáveis. Além disso, as instruções para seu...
Precisão é definida como: p = true positives / (true positives + false positives) É verdade que, como true positivese false positivesabordagem 0, a precisão se aproxima de 1? Mesma pergunta para recall: r = true positives / (true positives + false negatives) No momento, estou implementando...
Na definição de conjuntos comuns em conjunto (em "Elementos da teoria da informação", cap. 7.6, p. 195), usamos - 1nregistrop ( xn)−1nlogp(xn)-\frac{1}{n} \log{p(x^n)} como a entropia empírica de uma sequência com . Eu nunca me deparei com essa terminologia antes. Não é definido explicitamente...
Por que a divergência KL não é negativa? Da perspectiva da teoria da informação, tenho uma compreensão tão intuitiva: Digamos que existem dois conjuntos AAA e BBB que são compostos do mesmo conjunto de elementos rotulados por xxx . p(x)p(x)p(x) e q(x)q(x)q(x) são distribuições de probabilidade...
Vamos considerar as duas distribuições de probabilidade a seguir P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 divergência de Kullback-Leibler igual a . Quero saber em geral o que esse número me mostra? Geralmente, a divergência...
Suponha que eu tenha dois conjuntos e e uma distribuição de probabilidade conjunta sobre esses conjuntos . Deixe e representam as distribuições marginais mais de e , respectivamente.Y p ( x , y ) p ( x ) p ( y ) X YXXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY As informações mútuas entre...
Sem citar fontes, a Wikipedia define a entropia cruzada de distribuições discretas e Q comoPPPQQQ H×( P; Q )= - ∑xp ( x )registroq( X ) .H×(P;Q)=-∑xp(x)registroq(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Quem foi o primeiro a começar a usar essa...
Esta questão fornece uma definição quantitativa de entropia cruzada, em termos de sua fórmula. Estou procurando uma definição mais fictícia, diz a wikipedia: Na teoria da informação, a entropia cruzada entre duas distribuições de probabilidade mede o número médio de bits necessários para...
Eu tentei calcular o AIC de uma regressão linear em R, mas sem usar a AICfunção, assim: lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 No entanto, AICfornece um valor
Os testes de permutação (também chamados de teste de randomização, teste de re-randomização ou teste exato) são muito úteis e úteis quando a suposição de distribuição normal exigida por, por exemplo, t-testnão é atendida e quando a transformação dos valores pela classificação do teste...
Os modelos de mistura gaussiana (GMMs) são atraentes porque são simples de trabalhar tanto analiticamente quanto na prática e são capazes de modelar algumas distribuições exóticas sem muita complexidade. Há algumas propriedades analíticas que devemos esperar manter que não são claras em geral. Em...
Li recentemente este artigo sobre a entropia de uma distribuição de probabilidade discreta. Ele descreve uma boa maneira de pensar em entropia como o número esperado de bits (pelo menos ao usar o log2log2\log_2 em sua definição de entropia) necessário para codificar uma mensagem quando sua...
Para uma variável aleatória contínua arbitrária, digamos , sua entropia diferencial é sempre menor que ∞ ? (Tudo bem se estiver - ∞ .) Se não, qual é a condição necessária e suficiente para que seja menor que ∞