Estatísticas e Big Data

9
História: o papel da estatística na astronomia

Recentemente, afirmei corajosamente diante de um grupo de estudantes do oitavo ano razoavelmente inteligentes que a astronomia contribuiu muito para os fundamentos da estatística e que muitos conceitos estatísticos foram inventados para uso em astronomia. No entanto, olhando para trás, fiquei...

9
Teoria de valores extremos: parâmetros lognormal de GEV

A distribuição Lognormal pertence ao domínio máximo de atração de Gumbel , onde: FlogN(x;μ,σ)=Φ(lnx−μσ)FlogN(x;μ,σ)=Φ(ln⁡x−μσ)F^{logN}(x; \mu,\sigma)=\Phi\left(\frac{\ln x - \mu}{\sigma}\right), FGum(x;μ,β)=e−exp(−x−μβ)FGum(x;μ,β)=e−exp⁡(−x−μβ)F^{Gum}(x;\mu,\beta) =...

9
Por que o algoritmo EM precisa ser iterativo?

Suponha que você tenha uma população com unidades, cada uma com uma variável aleatória . Você observa valores para qualquer unidade para a qual . Queremos uma estimativa de .X i isson Poisson ( λ ) n = N - n 0 X i > 0 λNNNXEuIsson Poisson ( λ )Xi∼Poisson(λ)X_i \sim \text{Poisson}(\lambda)n = N-...

9
Agrupando dados ruidosos ou com outliers

Eu tenho dados barulhentos de duas variáveis ​​como esta. x1 <- rep(seq(0,1, 0.1), each = 3000) set.seed(123) y1 <- rep (c(0.2, 0.8, 0.3, 0.9, 0.65, 0.35,0.7,0.1,0.25, 0.3, 0.95), each = 3000) set.seed(1234) e1 = rnorm(length(x1), 0.07,0.07) set.seed(1223) e2 = rnorm(length(x1),...