entropia máxima ou maxent é um princípio estatístico derivado da teoria da informação. As distribuições que maximizam a entropia (sob algumas restrições) são consideradas "maximamente não informativas" dadas as restrições. A entropia máxima pode ser usada para vários propósitos, como escolha de prioridade, escolha de modelo de amostragem ou projeto de experimentos.
Eu sei que a entropia é a medida da aleatoriedade de um processo / variável e pode ser definida da seguinte forma. para uma variável aleatória conjunto : - . No livro sobre Entropia e Teoria da Informação de MacKay, ele fornece esta declaração no capítulo 2X∈X∈X
No presente trabalho , o pesquisador talentoso Cosma Shalizi argumenta que aceitar plenamente uma visão subjetiva Bayesian, é preciso também aceitar um resultado não físico que a flecha do tempo (dado pelo fluxo de entropia) deve realmente ir para trás . Isto é principalmente uma tentativa de...
Eu usei o princípio da entropia máxima para justificar o uso de várias distribuições em várias configurações; no entanto, ainda não consegui formular uma interpretação estatística, em oposição à teórica da informação, da entropia máxima. Em outras palavras, o que maximizar a entropia implica nas...
Eu tenho usado distribuições normais de log como distribuições anteriores para parâmetros de escala (para distribuições normais, t distribuições etc.) quando tenho uma idéia aproximada sobre qual deve ser a escala, mas quero errar ao dizer que não sei muito sobre isso. Eu o uso porque esse uso faz...
Para uma variável aleatória contínua arbitrária, digamos , sua entropia diferencial é sempre menor que ∞ ? (Tudo bem se estiver - ∞ .) Se não, qual é a condição necessária e suficiente para que seja menor que ∞
Qual é a distribuição máxima de entropia para uma variável contínua positiva, dados seus primeiro e segundo momentos? Por exemplo, uma distribuição Gaussiana é a distribuição máxima de entropia para uma variável ilimitada, dada sua média e desvio padrão, e uma distribuição Gamma é a distribuição...
Estou tentando entender a seguinte prova de que o gaussiano tem entropia máxima. Como o passo estrelado faz sentido? Uma covariância específica apenas fixa o segundo momento. O que acontece com o terceiro, quarto, quinto momento,
Seja px,ypx,yp_{x,y} uma distribuição conjunta de duas variáveis categóricas X,YX,YX,Y , com x,y∈{1,…,K}x,y∈{1,…,K}x,y\in\{1,\ldots,K\} . Digamos que nnn amostras foram retiradas dessa distribuição, mas recebemos apenas as contagens marginais, ou seja, para j=1,…,Kj=1,…,Kj=1,\ldots,K...
A questão: o bootstrapping é superior ao jackknifing; no entanto, estou me perguntando se há casos em que o jackknifing é a única ou pelo menos uma opção viável para caracterizar a incerteza das estimativas de parâmetros. Além disso, em situações práticas, o quão tendencioso / impreciso é o...
Eu estava lendo a discussão no Hacker News sobre o uso do desvio padrão em oposição a outras métricas, como o desvio médio absoluto. Portanto, se seguíssemos o princípio da entropia máxima, com que tipo de distribuição usaríamos se soubéssemos a média da distribuição e o desvio médio absoluto? Ou...
Uma das questões importantes que os meteorologistas enfrentam é se a série fornecida pode ser prevista ou não? Eu me deparei com um artigo intitulado " Entropia como um indicador prioritário de previsibilidade ", de Peter Catt, que usa Entropia aproximada (ApEn) como uma medida relativa para...
Geralmente, existem muitas distribuições conjuntas consistentes com um conjunto conhecido de distribuições marginais .P(X1=x1,X2=x2,...,Xn=xn)P(X1=x1,X2=x2,...,Xn=xn)P(X_1 = x_1, X_2 = x_2, ..., X_n = x_n)fi(xi)=P(Xi=xi)fi(xi)=P(Xi=xi)f_i(x_i) = P(X_i = x_i) Destas distribuições conjuntas, o...
Estou intrigado com o conceito de um modelo de entropia máxima de Markov (MEMM) e estou pensando em usá-lo para um etiquetador de parte do discurso (POS). No momento, estou usando um classificador convencional de máxima entropia (ME) para marcar cada palavra individualmente. Isso usa vários...
Pergunta curta: por que isso é verdade? Pergunta longa: Muito simplesmente, estou tentando descobrir o que justifica essa primeira equação. O autor do livro que estou lendo (contexto aqui, se você quiser, mas não é necessário), afirma o seguinte: Devido à suposição de quase gaussianidade,...
Recentemente, tive uma rápida discussão com um amigo experiente que mencionou que os SVMs são o limite de temperatura zero da regressão logística. A lógica envolvia polítopos marginais e dualidade de fenchel. Eu não fui capaz de seguir. Esta afirmação sobre SVMs é o limite de temperatura zero da...
Suponha que a quantidade que queremos deduzir seja uma distribuição de probabilidade. Tudo o que sabemos é que a distribuição vem de um conjunto EEE determinado, digamos, por alguns de seus momentos e temos um anterior .QQQ O princípio da entropia máxima (MEP) diz que que possui menos entropia...
Dada uma proporção e seu erro padrão, que premissa distributiva minimiza suposições / maximiza entropia? É o beta (e posso usar o método dos momentos para estimar seus parâmetros)? Ou alguma outra