Uma quantidade matemática projetada para medir a quantidade de aleatoriedade de uma variável aleatória.
A entropia de Shannon é o negativo da soma das probabilidades de cada resultado multiplicado pelo logaritmo de probabilidades de cada resultado. Que finalidade o logaritmo serve nessa equação? Uma resposta intuitiva ou visual (em oposição a uma resposta profundamente matemática) receberá pontos de...
Estou treinando uma rede neural para classificar um conjunto de objetos em n-classes. Cada objeto pode pertencer a várias classes ao mesmo tempo (multi-classe, multi-rótulo). Li que, para problemas com várias classes, geralmente é recomendável usar softmax e entropia cruzada categórica como a...
Quero medir a entropia / densidade da informação / semelhança de padrão de uma matriz binária bidimensional. Deixe-me mostrar algumas fotos para esclarecimentos: Essa exibição deve ter uma entropia bastante alta: A) Isso deve ter entropia média: B) Finalmente, essas imagens devem ter...
Na minha opinião, a divergência de KL da distribuição da amostra para a distribuição verdadeira é simplesmente a diferença entre entropia cruzada e entropia. Por que usamos a entropia cruzada para ser a função de custo em muitos modelos de aprendizado de máquina, mas usamos a divergência de...
Antes de tudo, percebi que, se preciso realizar previsões binárias, tenho que criar pelo menos duas classes executando uma codificação one-hot. Isso está correto? No entanto, a entropia cruzada binária é apenas para previsões com apenas uma classe? Se eu usasse uma perda de entropia cruzada...
Eu já vi algumas perguntas aqui sobre o que isso significa em termos leigos, mas estas são muito leigas para o meu propósito aqui. Estou tentando entender matematicamente o que significa a pontuação da AIC. Mas, ao mesmo tempo, não quero uma prova de rigor que me faça não ver os pontos mais...
Eu sei que a entropia é a medida da aleatoriedade de um processo / variável e pode ser definida da seguinte forma. para uma variável aleatória conjunto : - . No livro sobre Entropia e Teoria da Informação de MacKay, ele fornece esta declaração no capítulo 2X∈X∈X
Estou lendo sobre entropia e estou tendo dificuldades para conceituar o que isso significa no caso contínuo. A página wiki declara o seguinte: A distribuição de probabilidade dos eventos, juntamente com a quantidade de informações de cada evento, forma uma variável aleatória cujo valor esperado...
No presente trabalho , o pesquisador talentoso Cosma Shalizi argumenta que aceitar plenamente uma visão subjetiva Bayesian, é preciso também aceitar um resultado não físico que a flecha do tempo (dado pelo fluxo de entropia) deve realmente ir para trás . Isto é principalmente uma tentativa de...
Em 5.5, Deep Learning (de Ian Goodfellow, Yoshua Bengio e Aaron Courville), afirma que Qualquer perda que consiste em uma probabilidade logarítmica negativa é uma entropia cruzada entre a distribuição empírica definida pelo conjunto de treinamento e a distribuição de probabilidade definida pelo...
Ao treinar redes neurais de segmentação de pixel, como redes totalmente convolucionais, como você decide usar a função de perda de entropia cruzada versus a função de perda de coeficiente de dados? Sei que essa é uma pergunta curta, mas não tenho certeza de que outras informações fornecer....
Tanto a entropia cruzada quanto a divergência KL são ferramentas para medir a distância entre duas distribuições de probabilidade. Qual é a diferença? Além disso, a minimização de KL é equivalente à minimização de entropia cruzada.K G ( P | Q ) = Σ x P ( x ) log P ( x )H( P, Q ) = - ∑xP( X ) logQ...
Eu usei o princípio da entropia máxima para justificar o uso de várias distribuições em várias configurações; no entanto, ainda não consegui formular uma interpretação estatística, em oposição à teórica da informação, da entropia máxima. Em outras palavras, o que maximizar a entropia implica nas...
Depois de muita pesquisa cruzada validada, ainda não me sinto mais perto de entender a divergência entre KL fora do campo da teoria da informação. É bastante estranho, como alguém com formação em matemática, achar muito mais fácil entender a explicação da teoria da informação. Para delinear meu...
Qual é a maneira correta mais teórica da informação / física para calcular a entropia de uma imagem? Não me preocupo com a eficiência computacional agora - quero teoricamente o mais correto possível. Vamos começar com uma imagem em escala de cinza. Uma abordagem intuitiva é considerar a imagem...
Não sou de forma alguma um estatístico (eu tive um curso de estatística matemática, mas nada além disso) e, recentemente, enquanto estudava teoria da informação e mecânica estatística, conheci uma coisa chamada "medida de incerteza" / "entropia". Eu li a derivação de Khinchin como uma medida de...
Eu tenho usado distribuições normais de log como distribuições anteriores para parâmetros de escala (para distribuições normais, t distribuições etc.) quando tenho uma idéia aproximada sobre qual deve ser a escala, mas quero errar ao dizer que não sei muito sobre isso. Eu o uso porque esse uso faz...
Na definição de conjuntos comuns em conjunto (em "Elementos da teoria da informação", cap. 7.6, p. 195), usamos - 1nregistrop ( xn)−1nlogp(xn)-\frac{1}{n} \log{p(x^n)} como a entropia empírica de uma sequência com . Eu nunca me deparei com essa terminologia antes. Não é definido explicitamente...
Estou experimentando um pouco de auto-codificadores e, com o tensorflow, criei um modelo que tenta reconstruir o conjunto de dados MNIST. Minha rede é muito simples: X, e1, e2, d1, Y, onde e1 e e2 são camadas de codificação, d2 e Y são camadas de decodificação (e Y é a saída reconstruída). X tem...
Estou procurando um livro ou recurso on-line que explique diferentes tipos de entropia, como Entropia de Amostra e Entropia de Shannon e suas vantagens e desvantagens. Alguém pode me apontar na direção