Estatísticas e Big Data

Eu tenho uma matriz , contendo minhas amostras N = 20 no espaço D = 100- dimensional. Agora desejo codificar minha própria análise de componentes principais (PCA) no Matlab. Eu desprezo X para X_0 primeiro.X N = 20 D = 100 X X 020×10020×10020\times100XXXN=20N=20N=20D=100D=100D=100XXXX0X0X_0 Li no...

Estou analisando os dados de rastreamento ocular de um experimento projetado. Uma versão simplificada dos meus dados tem esta aparência (você pode obter os dados de dput () aqui ), head(lookDATA) participant fixationImage fixationCount 1 9 Automobile 81 2 9 Bird 63 3 9 Chair 82 4 9 Dog 64 5 9...

Eu tenho uma pergunta básica. Digamos que eu tenha duas variáveis aleatórias, e Y . Eu posso padronizá-los subtraindo a média e dividindo pelo desvio padrão, ou seja, X s t a n d a r d i z e d = ( X - E ( X ) )XXXYYY .Xstandardized=(X−E(X))(SD(X))Xstandardized=(X−E(X))(SD(X))X_{standardized} =...

Imagine uma situação: temos registros históricos (20 anos) de três minas. A presença de prata aumenta a probabilidade de encontrar ouro no próximo ano? Como testar essa pergunta? Aqui estão dados de exemplo: mine_A <- c("silver","rock","gold","gold","gold","gold","gold",...

Ao estudar duas amostras independentes, nos dizem que estamos olhando para a "diferença de duas médias". Isso significa que pegamos a média da população 1 ( ) e subtraímos a média da população 2 ( ). Portanto, nossa "diferença de dois meios" é ( - \ bar y_2 ). ˉ y 2 ˉ y 1 ˉ y 2y¯1y¯1\bar...

Como sugerido no título. Suponha que são variáveis ​​aleatórias contínuas de iid com pdf . Considere o evento em que , , portanto é quando a sequência diminui pela primeira vez. Então, qual é o valor de ?X1,X2,…,XnX1,X2,…,XnX_1, X_2, \dotsc, X_nfffX1≤X2…≤XN−1>XNX1≤X2…≤XN−1>XNX_1 \leq X_2...

Na seção 7 do artigo Random Forests (Breiman, 1999), o autor afirma a seguinte conjectura: "Adaboost é uma floresta aleatória". Alguém já provou ou refutou isso? O que foi feito para provar ou refutar este post de

Peço desculpas pelo leve abuso de terminologia; Espero que fique claro o que quero dizer abaixo. Considere uma variável aleatória . Tanto a média quanto a mediana podem ser caracterizadas por um critério de otimalidade: a média é o número que minimiza e a mediana esse número que minimiza . Nesta...

Eu tenho um conjunto de dados de 50 amostras. Cada amostra é composta por 11 recursos booleanos (possivelmente correlacionados). Gostaria de visualizar como essas amostras são plotadas em 2D e examinar se existem agrupamentos / agrupamentos entre as 50 amostras. Eu tentei as duas abordagens a...

Costumo ver pessoas falando sobre validação cruzada 5x2 como um caso especial de validação cruzada aninhada . Suponho que o primeiro número (aqui: 5) se refira ao número de dobras no loop interno e o segundo número (aqui: 2) se refira ao número de dobras no loop externo? Então, como isso difere de...

Tenho quase certeza de que já vi o seguinte resultado nas estatísticas, mas não me lembro onde. Se for uma variável aleatória positiva e então quando , onde é o CDF de

Li num artigo a seguinte frase: O fato de existir uma diferença entre os coeficientes de curto e longo prazo é resultado de nossa especificação, que inclui variáveis ​​endógenas defasadas. Eles executam uma regressão nas primeiras diferenças e incluem um atraso na variável dependente. Agora...

Eu tenho os seguintes vetores X e Y simples: > X [1] 1.000 0.063 0.031 0.012 0.005 0.000 > Y [1] 1.000 1.000 1.000 0.961 0.884 0.000 > > plot(X,Y) Quero fazer a regressão usando o log do X. Para evitar o log (0), tento colocar +1 ou +0,1 ou +0,00001 ou +0,000000000000001: >...

Eu tenho procurado uma explicação clara de "bucketização" no aprendizado de máquina sem sorte. O que eu entendo até agora é que a bucketização é semelhante à quantização no processamento de sinal digital, onde uma faixa de valores contínuos é substituída por um valor discreto. Isso está...

A estatística do teste de Durbin-Watson pode estar em uma região inconclusiva, onde não é possível rejeitar ou deixar de rejeitar a hipótese nula (neste caso, de autocorrelação zero). Que outros testes estatísticos podem produzir resultados "inconclusivos"? Existe uma explicação geral (acenar com...

O teste de Durbin-Watson testa a autocorrelação de resíduos no lag 1. Mas o mesmo acontece com o teste da autocorrelação no lag 1 diretamente. Além disso, você pode testar a autocorrelação em lag 2,3,4 e há bons testes de portmanteau para autocorrelação em vários atrasos e obter gráficos agradáveis...

Qual é a maneira correta de testar a importância dos índices de Sharpe ou dos índices de informação? Os índices de Sharpe serão baseados em vários índices de ações e podem ter períodos variáveis ​​de retorno. Uma solução que eu vi descrita simplesmente aplica um teste t de Student, com o df...

A seguir, um nomograma criado a partir do conjunto de dados mtcars com o pacote rms para a fórmula: mpg ~ wt + am + qsec O modelo em si parece bom com R2 de 0,85 e P <0,00001 > mod Linear Regression Model ols(formula = mpg ~ wt + am + qsec, data = mtcars) Model Likelihood...

A ponderação baseada em precisão é central para a metanálise? Borenstein et al. (2009) escrevem que, para que a meta-análise seja possível, tudo o que é necessário é: Os estudos relatam uma estimativa pontual que pode ser expressa como um único número. A variação pode ser calculada para essa...

Dadas duas distribuições contínuas e , não está claro para mim se a relação de dominância convexa entre elas:FXFX\mathcal{F}_XFYFY\mathcal{F}_Y (0)FX<cFY(0)FX<cFY(0)\quad \mathcal{F}_X