Medida da distância entre distribuições ou variáveis, como distância euclidiana entre pontos no espaço n.
Estou estudando reconhecimento de padrões e estatística e quase todos os livros que abro sobre o assunto me deparo com o conceito de distância de Mahalanobis . Os livros dão explicações intuitivas, mas ainda não são boas o suficiente para eu realmente entender o que está acontecendo. Se alguém me...
Estou começando a se envolver com o uso de glmnetcom LASSO Regressão onde meu desfecho de interesse é dicotômica. Criei um pequeno quadro de dados simulado abaixo: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67,...
Eu aprendi sobre a intuição por trás da divergência KL quanto o quanto uma função de distribuição de modelo difere da distribuição teórica / verdadeira dos dados. A fonte Estou lendo continua a dizer que a compreensão intuitiva de 'distância' entre estas duas distribuições é útil, mas não deve ser...
Alguém sabe como descobrir se os pontos 7, 16 e 29 são pontos influentes ou não? Li em algum lugar que, como a distância de Cook é menor que 1, eles não são. Estou certo?
Estou executando um cluster hierárquico de dados que reuni e processei no despejo de dados do reddit no Google BigQuery. Meu processo é o seguinte: Receba as últimas 1000 postagens em / r / policy Reúna todos os comentários Processar os dados e calcular uma n x mmatriz de dados (n: usuários /...
Idêntico significado, que irá produzir resultados idênticos para uma similaridade entre um Classificação do vetor u e um conjunto de vectores V . Eu tenho um modelo de espaço vetorial que tem como medida a distância (distância euclidiana, semelhança de cosseno) e a técnica de normalização...
No algoritmo de floresta aleatória, Breiman (autor) constrói a matriz de similaridade da seguinte maneira: Envie todos os exemplos de aprendizado em cada árvore da floresta Se dois exemplos aterrissarem na mesma folha, incrementar o elemento correspondente na matriz de similaridade em 1 Normalize...
Existe uma fórmula de formulário fechado para (ou algum tipo de ligação) no EMD entre e ?x 2 ∼ N ( μ 2 , Σ 2 )x1∼N(μ1,Σ1)x1∼N(μ1,Σ1)x_1\sim N(\mu_1, \Sigma_1)x2∼N(μ2,Σ2)x2∼N(μ2,Σ2)x_2 \sim N(\mu_2,
O teste de Mantel é geralmente aplicado a matrizes simétricas de distância / diferença. Pelo que entendi, uma suposição do teste é que a medida usada para definir diferenças deve ser pelo menos uma semi-métrica (atenda aos requisitos padrão de uma métrica, mas não à desigualdade do triângulo). A...
Gostaria de agrupar hierarquicamente meus dados, mas, em vez de usar a distância euclidiana, gostaria de usar a correlação. Além disso, como o coeficiente de correlação varia de -1 a 1, com -1 e 1 indicando "co-regulação" em meu estudo, estou tratando -1 e 1 como d = 0. Portanto, meu cálculo é d= 1...
Quero executar o agrupamento K-means nos objetos que tenho, mas os objetos não são descritos como pontos no espaço, ou seja, por objects x featuresconjunto de dados. No entanto, sou capaz de calcular a distância entre dois objetos (ela se baseia em uma função de similaridade). Então, eu descarto a...
Eu tenho duas funções de densidade de probabilidade de distribuições normais: f1( x1|μ1, σ1) = 1σ12 π--√e- ( x - μ1)22 σ21f1(x1|μ1,σ1)=1σ12πe−(x−μ1)22σ12f_1(x_1 \; | \; \mu_1, \sigma_1) = \frac{1}{\sigma_1\sqrt{2\pi} } \; e^{ -\frac{(x-\mu_1)^2}{2\sigma_1^2} } e f2( x2|μ2, σ2) =1σ22π--√e- ( x...
A maioria dos algoritmos clássicos de agrupamento e redução de dimensionalidade (agrupamento hierárquico, análise de componentes principais, médias médias, mapas auto-organizados ...) são projetados especificamente para dados numéricos, e seus dados de entrada são vistos como pontos em um espaço...
Por favor, prove que se tivermos duas variáveis (tamanho igual da amostra) XXX e YYY e a variação em XXX for maior que em YYY , a soma das diferenças ao quadrado (ou seja, distâncias euclidianas ao quadrado) entre os pontos de dados em XXX também será maior que que dentro de YYY...
Preciso calcular a distância de Mahalanobis da amostra em R entre cada par de observações em uma matriz de covariáveis. Preciso de uma solução que seja eficiente, ou seja, apenas as distâncias sejam calculadas e implementadas preferencialmente em C / RCpp / Fortran etc. Suponho que , a matriz de...
Estou usando o KL Divergence como uma medida de dissimilaridade entre 2 e .p . m . f.p.m.f.p.m.f. QPPPQQQ =-ΣP(Xi)ln(Q(Xi))+ΣP(Xi)ln(P(Xi))DKeu( P| | Q)= ∑i = 1Nem( PEuQEu) PEuDKeu(P||Q)=∑Eu=1Nem(PEuQEu)PEuD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i = - ∑ P( XEu) l n( Q (...
Eu tenho dois conjuntos de dados (dados de origem e destino) que seguem a distribuição diferente. Estou usando o MMD - que é uma distribuição de distância não paramétrica - para calcular a distribuição marginal entre os dados de origem e de destino. dados de origem, Xs dados de destino,...
Estou realizando um projeto de análise de dados que envolve a investigação do tempo de uso do site ao longo do ano. O que eu gostaria de fazer é comparar até que ponto os padrões de uso são "consistentes", por exemplo, quão próximos eles estão de um padrão que envolve usá-lo por 1 hora uma vez por...
Vou usar a divergência KL no meu código python e recebi este tutorial . Nesse tutorial, implementar a divergência de KL é bastante simples. kl = (model * np.log(model/actual)).sum() Pelo que entendi, a distribuição de probabilidade de modele actualdeve ser <= 1. Minha pergunta é: qual é o...
Estive olhando a página da Wikipedia para correlação de distância, onde parece ser caracterizada por como pode ser calculada. Embora eu pudesse fazer os cálculos, luto para obter quais medidas de correlação de distância e por que os cálculos têm a mesma aparência. Existe uma (ou muitas)...