Perguntas com a marcação «large-data»

13
Agrupe Big Data em R e a amostragem é relevante?

Eu sou novo na ciência de dados e tenho um problema ao encontrar clusters em um conjunto de dados com 200.000 linhas e 50 colunas em R. Como os dados têm variáveis ​​numéricas e nominais, métodos como o K-significa que usa a medida de distância euclidiana não parece ser uma escolha apropriada....

r clustering sampling large-data
12
Como executar a imputação de valores em um número muito grande de pontos de dados?

Eu tenho um conjunto de dados muito grande e faltam cerca de 5% de valores aleatórios. Essas variáveis ​​estão correlacionadas entre si. O exemplo a seguir do conjunto de dados R é apenas um exemplo de brinquedo com dados correlatos simulados. set.seed(123) # matrix of X variable xmat <-...

r random-forest missing-data data-imputation multiple-imputation large-data definition moving-window self-study categorical-data econometrics standard-error regression-coefficients normal-distribution pdf lognormal regression python scikit-learn interpolation r self-study poisson-distribution chi-squared matlab matrix r modeling multinomial mlogit choice monte-carlo indicator-function r aic garch likelihood r regression repeated-measures simulation multilevel-analysis chi-squared expected-value multinomial yates-correction classification regression self-study repeated-measures references residuals confidence-interval bootstrap normality-assumption resampling entropy cauchy clustering k-means r clustering categorical-data continuous-data r hypothesis-testing nonparametric probability bayesian pdf distributions exponential repeated-measures random-effects-model non-independent regression error regression-to-the-mean correlation group-differences post-hoc neural-networks r time-series t-test p-value normalization probability moments mgf time-series model seasonality r anova generalized-linear-model proportion percentage nonparametric ranks weighted-regression variogram classification neural-networks fuzzy variance dimensionality-reduction confidence-interval proportion z-test r self-study pdf
12
Teste de hipótese com Big Data

Como você realiza testes de hipóteses com big data? Eu escrevi o seguinte script do MATLAB para enfatizar minha confusão. Tudo o que ele faz é gerar duas séries aleatórias e executar uma regressão linear simples de uma variável na outra. Ele realiza essa regressão várias vezes usando diferentes...

hypothesis-testing large-data
10
Faz sentido calcular intervalos de confiança e testar hipóteses quando dados de toda a população estão disponíveis?

Faz sentido calcular intervalos de confiança e testar hipóteses quando os dados de toda a população estão disponíveis? Na minha opinião, a resposta é não, pois podemos calcular com precisão os verdadeiros valores dos parâmetros. Mas então, qual é a proporção máxima de dados da população original...

hypothesis-testing confidence-interval sample-size large-data population