Suponha que eu tenha dois conjuntos e e uma distribuição de probabilidade conjunta sobre esses conjuntos . Deixe e representam as distribuições marginais mais de e , respectivamente.Y p ( x , y ) p ( x ) p ( y ) X YXXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY As informações mútuas entre...
Os testes de permutação (também chamados de teste de randomização, teste de re-randomização ou teste exato) são muito úteis e úteis quando a suposição de distribuição normal exigida por, por exemplo, t-testnão é atendida e quando a transformação dos valores pela classificação do teste...
Gostaria de saber se a floresta aleatória de Breiman (floresta aleatória no pacote R randomForest) usa como critério de divisão (critério para seleção de atributo) o ganho de informações ou o índice Gini? Tentei descobrir isso em http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm e na...
Estou agrupando distribuições de probabilidade usando o algoritmo de Afinidade de Propagação e planejo usar a Densidade de Jensen-Shannon como métrica de distância. É correto usar o próprio JSD como a distância ou o JSD ao quadrado? Por quê? Que diferenças resultariam da escolha de um ou outro?...
Esta questão fornece uma definição quantitativa de entropia cruzada, em termos de sua fórmula. Estou procurando uma definição mais fictícia, diz a wikipedia: Na teoria da informação, a entropia cruzada entre duas distribuições de probabilidade mede o número médio de bits necessários para...
Sem citar fontes, a Wikipedia define a entropia cruzada de distribuições discretas e Q comoPPPQQQ H×( P; Q )= - ∑xp ( x )registroq( X ) .H×(P;Q)=-∑xp(x)registroq(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Quem foi o primeiro a começar a usar essa...
Ao examinar os vetores próprios da matriz de covariância, obtemos as direções da variação máxima (o primeiro vetor próprio é a direção na qual os dados variam mais etc.); isso é chamado de análise de componentes principais (PCA). Fiquei imaginando o que significaria olhar para os autovetores /...
Eu pensei que o conceito de conjunto típico fosse bastante intuitivo: uma sequência de comprimento pertenceria ao conjunto típico se a probabilidade de saída da sequência fosse alta. Portanto, qualquer sequência que provavelmente estivesse em . (Estou evitando a definição formal relacionada à...
Para uma variável aleatória contínua arbitrária, digamos , sua entropia diferencial é sempre menor que ∞ ? (Tudo bem se estiver - ∞ .) Se não, qual é a condição necessária e suficiente para que seja menor que ∞
Li recentemente este artigo sobre a entropia de uma distribuição de probabilidade discreta. Ele descreve uma boa maneira de pensar em entropia como o número esperado de bits (pelo menos ao usar o log2log2\log_2 em sua definição de entropia) necessário para codificar uma mensagem quando sua...
A entropia de uma distribuição contínua com função de densidade fff é definida como negativa da expectativa de log(f),log(f),\log(f), e , portanto, é igual a Hf=−∫∞−∞log(f(x))f(x)dx.Hf=−∫−∞∞log(f(x))f(x)dx.H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x. Também dizemos que qualquer...
Existe algum uso para a quantidade em estatística ou teoria da informação?∫f( X )2dx∫f(x)2dx \int f(x)^2
Estou tentando entender a seguinte prova de que o gaussiano tem entropia máxima. Como o passo estrelado faz sentido? Uma covariância específica apenas fixa o segundo momento. O que acontece com o terceiro, quarto, quinto momento,
Qual é a distribuição máxima de entropia para uma variável contínua positiva, dados seus primeiro e segundo momentos? Por exemplo, uma distribuição Gaussiana é a distribuição máxima de entropia para uma variável ilimitada, dada sua média e desvio padrão, e uma distribuição Gamma é a distribuição...
A entropia diferencial do VR gaussiano é log2(σ2πe−−−√)log2(σ2πe)\log_2(\sigma \sqrt{2\pi e}). Isso depende deσσ\sigma, que é o desvio padrão. Se normalizarmos a variável aleatória para que ela tenha variação unitária, sua entropia diferencial cai. Para mim, isso é contra-intuitivo, porque a...
O custo da entropia cruzada faz sentido no contexto da regressão (em oposição à classificação)? Se sim, você poderia dar um exemplo de brinquedo através do TensorFlow? Se não, por que não? Eu estava lendo sobre entropia cruzada em Redes Neurais e Deep Learning, de Michael Nielsen, e parece que...
Portanto, essa questão está um pouco envolvida, mas eu tentei meticulosamente torná-la a mais direta possível. Objetivo: Para encurtar a história, existe uma derivação da negentropia que não envolve cumulantes de ordem superior, e estou tentando entender como ela foi derivada. Antecedentes: (eu...
A questão: o bootstrapping é superior ao jackknifing; no entanto, estou me perguntando se há casos em que o jackknifing é a única ou pelo menos uma opção viável para caracterizar a incerteza das estimativas de parâmetros. Além disso, em situações práticas, o quão tendencioso / impreciso é o...
Seja px,ypx,yp_{x,y} uma distribuição conjunta de duas variáveis categóricas X,YX,YX,Y , com x,y∈{1,…,K}x,y∈{1,…,K}x,y\in\{1,\ldots,K\} . Digamos que nnn amostras foram retiradas dessa distribuição, mas recebemos apenas as contagens marginais, ou seja, para j=1,…,Kj=1,…,Kj=1,\ldots,K...
Eu tenho um conjunto de dados muito grande e faltam cerca de 5% de valores aleatórios. Essas variáveis estão correlacionadas entre si. O exemplo a seguir do conjunto de dados R é apenas um exemplo de brinquedo com dados correlatos simulados. set.seed(123) # matrix of X variable xmat <-...