Os modelos de mistura gaussiana (GMMs) são atraentes porque são simples de trabalhar tanto analiticamente quanto na prática e são capazes de modelar algumas distribuições exóticas sem muita complexidade. Há algumas propriedades analíticas que devemos esperar manter que não são claras em geral. Em...
Estou tentando entender a seguinte prova de que o gaussiano tem entropia máxima. Como o passo estrelado faz sentido? Uma covariância específica apenas fixa o segundo momento. O que acontece com o terceiro, quarto, quinto momento,
Existe algum uso para a quantidade em estatística ou teoria da informação?∫f( X )2dx∫f(x)2dx \int f(x)^2
Eu tenho trabalhado bastante na amostragem de importância durante o ano passado e tenho algumas perguntas em aberto com as quais esperava obter ajuda. Minha experiência prática com esquemas de amostragem de importância é que eles ocasionalmente podem produzir estimativas fantásticas de baixa...
A entropia diferencial do VR gaussiano é log2(σ2πe−−−√)log2(σ2πe)\log_2(\sigma \sqrt{2\pi e}). Isso depende deσσ\sigma, que é o desvio padrão. Se normalizarmos a variável aleatória para que ela tenha variação unitária, sua entropia diferencial cai. Para mim, isso é contra-intuitivo, porque a...
Quanto ao título, a idéia é usar informações mútuas, aqui e depois do IM, para estimar a "correlação" (definida como "o quanto eu sei sobre A quando conheço B") entre uma variável contínua e uma variável categórica. Em breve, vou lhe contar sobre o assunto, mas antes de aconselhá-lo a ler essa...
Nota: esta pergunta é um repost, pois minha pergunta anterior teve que ser excluída por razões legais. Ao comparar o PROC MIXED do SAS com a função lmedo nlmepacote no R, deparei-me com algumas diferenças bastante confusas. Mais especificamente, os graus de liberdade nos diferentes testes...
Gostaria de calcular a divergência de Jensen-Shannon para ele após três distribuições. O cálculo abaixo está correto? (Eu segui a fórmula JSD da wikipedia ): P1 a:1/2 b:1/2 c:0 P2 a:0 b:1/10 c:9/10 P3 a:1/3 b:1/3 c:1/3 All distributions have equal weights, ie 1/3. JSD(P1, P2, P3) = H[(1/6, 1/6,...
Na Wikipedia, existe uma definição do Critério de Informação de Akaike (AIC) como AIC=2k−2logLAIC=2k−2logL AIC = 2k -2 \log L , onde kkk é o número de parâmetros e logLlogL\log L é a probabilidade de log do modelo. No entanto, os nossos notas Econometria na universidade um estado bem respeitado...
(Postei uma pergunta semelhante no math.se. ) Na geometria da informação, o determinante da matriz de informações de Fisher é uma forma de volume natural em um coletor estatístico, portanto, possui uma ótima interpretação geométrica. O fato de aparecer na definição de Jeffreys anterior, por...
Eu escrevi um programa para simular um embaralhamento de cartão overhand . Cada carta é numerada, com o naipe passando CLUBS, DIAMONDS, HEARTS, SPADESe a classificação de Dois a Dez, depois Valete, Rainha, Rei e Ás. Assim, o Two of Clubs tem um número 1, o Three of Clubs um 2 .... O Ace of Clubs...
A forma mais simples da CLT teórica da informação é a seguinte: Seja como iid com média e variação . Seja a densidade da soma normalizada e seja a densidade gaussiana padrão. Então o CLT teórico da informação afirma que, se é finito para alguns n , então D (f_n \ | \ phi) \ para 0 como n \ to \...
Eu tenho uma dúvida muito básica. Desculpe se isso irrita poucos. Eu sei que o valor de Informações Mútuas deve ser maior que 0, mas deve ser menor que 1? É limitado por algum valor superior? Obrigado,
Poderia a informação mútua sobre a entropia conjunta: 0 ≤ I( X, Y)H( X, Y)≤ 10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 ser definido como: "A probabilidade de transmitir uma informação de X para Y"? Sinto muito por ser tão ingênuo, mas nunca estudei teoria da informação e estou apenas...
Qual é uma boa métrica para avaliar a qualidade da análise de componentes principais (PCA)? Eu executei esse algoritmo em um conjunto de dados. Meu objetivo era reduzir o número de recursos (a informação era muito redundante). Sei que a porcentagem de variação mantida é um bom indicador da...
Quero quantificar o relacionamento entre duas variáveis, A e B, usando informações mútuas. A maneira de calculá-lo é impedindo as observações (veja o código Python de exemplo abaixo). No entanto, quais fatores determinam qual número de posições é razoável? Eu preciso que a computação seja rápida,...
Na minha pesquisa, encontrei o seguinte problema geral: tenho duas distribuições e no mesmo domínio e um grande (mas finito) número de amostras dessas distribuições. As amostras são distribuídas de forma independente e idêntica a partir de uma dessas duas distribuições (embora as distribuições...
Estou tentando aplicar a idéia de informações mútuas à seleção de recursos, conforme descrito nestas notas de aula (na página 5). Minha plataforma é Matlab. Um problema que encontro ao calcular informações mútuas a partir de dados empíricos é que o número é sempre tendencioso para cima. Encontrei...
Como o título diz, a redução de dimensão sempre perde alguma informação? Considere, por exemplo, PCA. Se os dados que eu tenho são muito escassos, eu suponho que uma "melhor codificação" possa ser encontrada (isso está de alguma forma relacionado à classificação dos dados?), E nada seria...
Eu estou um pouco confuso. Alguém pode me explicar como calcular informações mútuas entre dois termos com base em uma matriz termo-documento com ocorrência de termos binários como pesos? D o c u m e n t 1D o c u m e n t doisD o c u m e n t 3′Wh y′1 11 11 1′Ho w′1 10 01 1′Wh e n′1 11 11 1′Wh e r...