Depois de muita pesquisa cruzada validada, ainda não me sinto mais perto de entender a divergência entre KL fora do campo da teoria da informação. É bastante estranho, como alguém com formação em matemática, achar muito mais fácil entender a explicação da teoria da informação. Para delinear meu...
Vejo que ambas as funções fazem parte de métodos de mineração de dados, como os Gradress Boosting Regressors. Vejo que esses também são objetos separados. Como é a relação entre os dois em
A maioria dos recursos sobre regras de pontuação adequadas menciona várias regras de pontuação diferentes, como perda de log, pontuação de Brier ou pontuação esférica. No entanto, eles geralmente não dão muita orientação sobre as diferenças entre eles. (Anexo A: Wikipedia .) Escolher o modelo que...
Não sei se o assunto entra no interesse CrossValidated. Você vai me dizer. Eu tenho que estudar um gráfico (a partir da teoria dos grafos ) ou seja. Eu tenho um certo número de pontos que estão conectados. Eu tenho uma mesa com todos os pontos e os pontos de que cada um depende. (Eu também tenho...
Estou tendo problemas para entender o conceito de uma variável aleatória como uma função. Eu entendo a mecânica (acho) mas não entendo a motivação ... Dizer é uma probabilidade tripla, onde , é a álgebra de Borel- nesse intervalo e é a medida regular de Lebesgue. Seja uma variável aleatória de a...
Estou estudando árvores de classificação e regressão, e uma das medidas para a localização da divisão é a pontuação GINI. Agora, estou acostumado a determinar a melhor localização de divisão quando o log da razão de probabilidade dos mesmos dados entre duas distribuições é zero, o que significa...
Estou interessado em aprender mais sobre técnicas bayesianas não paramétricas (e relacionadas). Minha formação é em ciência da computação e, embora eu nunca tenha feito um curso sobre teoria das medidas ou teoria das probabilidades, tive uma quantidade limitada de treinamento formal em...
O que significa dizer que "a variação é um estimador tendencioso". O que significa converter uma estimativa tendenciosa em uma estimativa imparcial por meio de uma fórmula simples. O que essa conversão faz exatamente? Além disso, qual é o uso prático dessa conversão? Você converte essas pontuações...
Especificamente, estou procurando referências (papéis, livros) que mostrem e expliquem rigorosamente a maldição da dimensionalidade. Essa questão surgiu depois que comecei a ler este white paper de Lafferty e Wasserman. No terceiro parágrafo, eles mencionam uma equação "bem conhecida" que implica...
Mais recentemente, li dois artigos. O primeiro é sobre a história da correlação e o segundo é sobre o novo método chamado Maximal Information Coefficient (MIC). Preciso da sua ajuda para entender o método MIC para estimar correlações não lineares entre variáveis. Além disso, as instruções para seu...
(Para saber por que escrevi isso, verifique os comentários abaixo da minha resposta a esta pergunta .) Erros do tipo III e teoria da decisão estatística Às vezes, dar a resposta certa à pergunta errada é chamado de erro Tipo III. A teoria da decisão estatística é uma formalização da tomada de...
Eu queria saber se alguém sabe ou se existe um aplicativo nas estatísticas em que é necessária uma consistência forte de um estimador em vez de uma consistência fraca. Ou seja, uma consistência forte é essencial para o aplicativo e o aplicativo não funcionaria com consistência...
Precisão é definida como: p = true positives / (true positives + false positives) É verdade que, como true positivese false positivesabordagem 0, a precisão se aproxima de 1? Mesma pergunta para recall: r = true positives / (true positives + false negatives) No momento, estou implementando...
Na definição de conjuntos comuns em conjunto (em "Elementos da teoria da informação", cap. 7.6, p. 195), usamos - 1nregistrop ( xn)−1nlogp(xn)-\frac{1}{n} \log{p(x^n)} como a entropia empírica de uma sequência com . Eu nunca me deparei com essa terminologia antes. Não é definido explicitamente...
Questão principalmente teórica. Existem exemplos de distribuições não normais que têm os quatro primeiros momentos iguais aos da normal? Eles poderiam existir na
Se eu fixar os valores dos nós observados de um MRF, ele se tornará um
Por que a divergência KL não é negativa? Da perspectiva da teoria da informação, tenho uma compreensão tão intuitiva: Digamos que existem dois conjuntos AAA e BBB que são compostos do mesmo conjunto de elementos rotulados por xxx . p(x)p(x)p(x) e q(x)q(x)q(x) são distribuições de probabilidade...
Vamos considerar as duas distribuições de probabilidade a seguir P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 divergência de Kullback-Leibler igual a . Quero saber em geral o que esse número me mostra? Geralmente, a divergência...
Suponha que eu tenha dois conjuntos e e uma distribuição de probabilidade conjunta sobre esses conjuntos . Deixe e representam as distribuições marginais mais de e , respectivamente.Y p ( x , y ) p ( x ) p ( y ) X YXXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY As informações mútuas entre...
Eu li este tópico e parece-me que se pode dizer que: estatística = indução? probabilidade = dedução? Mas estou me perguntando se pode haver mais alguns detalhes sobre a comparação que estou perdendo. Por exemplo, as estatísticas são iguais à indução, ou é apenas um caso particular? Parece que a...