Estou tentando aplicar a idéia de informações mútuas à seleção de recursos, conforme descrito nestas notas de aula (na página 5). Minha plataforma é Matlab. Um problema que encontro ao calcular informações mútuas a partir de dados empíricos é que o número é sempre tendencioso para cima. Encontrei...
No artigo chamado Aprendizagem Profunda e o Princípio do Gargalo de Informações, os autores declaram na seção II A) o seguinte: Neurônios únicos classificam apenas entradas linearmente separáveis, pois podem implementar apenas hiperplanos em seu espaço de entrada . Os hiperplanos podem...
Neste https://cs231n.github.io/neural-networks-case-study/, por que ele menciona "o classificador Softmax interpreta todos os elementos de ff como mantendo as probabilidades de log (não normalizadas) das três classes". Entendo por que não é normalizado, mas não por que é log? O que significa uma...
Minha pergunta diz respeito à relação entre a hipótese de codificação eficiente, descrita na página da Wikipedia sobre algoritmos de codificação eficiente e aprendizado de rede neural. Qual é a relação entre a hipótese de codificação eficiente e as redes neurais? Existem modelos de redes neurais...
Suponha que eu tenha uma amostra de frequências de 4 eventos possíveis: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 e tenho as probabilidades esperadas de meus eventos ocorrerem: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Com a soma das frequências observadas dos meus quatro eventos (18), posso calcular as...
Hoje, deparei-me com o livro "Teoria da informação: uma introdução tutorial", de James Stone, e pensei por um momento ou dois sobre a extensão do uso da teoria da informação na ciência de dados aplicada (se você não se sente confortável com esse termo ainda um pouco confuso, pense na análise de...
Estou tentando entender a forma normalizada de informações mútuas pontuais. n p m i = p m i ( x , y)l o g( p ( x , y) ))npmEu=pmEu(x,y)euog(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Por que a probabilidade conjunta de log normaliza as informações mútuas pontuais entre [-1, 1]? As informações...
Estou tendo problemas para criar alguma intuição sobre entropia conjunta. = incerteza na distribuição conjunta ; = incerteza em ; = incerteza em .H(X,Y)H(X,Y)H(X,Y)p(x,y)p(x,y)p(x,y)H(X)H(X)H(X)px(x)px(x)p_x(x)H(Y)H(Y)H(Y)py(y)py(y)p_y(y) Se H (X) for alto, a distribuição será mais incerta e,...
Dadas duas distribuições normais bivariadas e , estou tentando calcular a divergência de Jensen-Shannon entre elas, definido (para o caso discreto) como: que KLD é a divergência Kullback-Leibler e M = \ frac {1} {2} (P + Q) Encontrei a maneira de calcular KLD em termos de parâmetros das...
Na entrada da Wikipedia para o critério de informação Akaike , lemos em Comparação com BIC (critério de informação bayesiano) que ... AIC / AICc tem vantagens teóricas sobre BIC ... AIC / AICc é derivado de princípios de informação; O BIC não é ... O BIC tem um prioritário de 1 / R (onde R é o...
Deixei XXXser uma variável aleatória que aceita valores em um conjunto . A distribuição de não é uniforme, mas existe um subconjunto que é "uniforme": todos os eventos em ocorrem com igual probabilidade.XX\mathcal{X}XXXA∈XA∈XA\in\mathcal{X}AAA Podemos relacionar a entropia de com o tamanho do...
Em 2015, Tishby e Zaslavsky publicaram um artigo bem conhecido, alegando que o chamado Princípio do Gargalo da Informação poderia ser usado para entender algum comportamento de redes neurais profundas. Em um artigo mais recente (abril de 2017) , Schwartz-Ziv e Tishby expandem essas reivindicações,...
"Entropia" captura aproximadamente o grau de "informação" em uma distribuição de probabilidade. Para distribuições discretas, há uma interpretação muito mais exata: A entropia de uma variável aleatória discreta é um limite inferior ao número esperado de bits necessários para transferir o...