Posso reconstruir uma distribuição normal do tamanho da amostra e dos valores mínimo e máximo? Eu posso usar o ponto médio para proxy da média

Eu sei que isso pode ser um pouco complicado, estatisticamente, mas esse é o meu problema.

Eu tenho muitos dados de intervalo, ou seja, o tamanho mínimo, máximo e amostral de uma variável. Para alguns desses dados, também tenho uma média, mas não muitos. Quero comparar esses intervalos entre si para quantificar a variabilidade de cada intervalo e também para comparar as médias. Tenho um bom motivo para supor que a distribuição é simétrica em torno da média e que os dados terão uma distribuição gaussiana. Por esse motivo, acho que posso justificar o uso do ponto médio da distribuição como proxy da média, quando ela estiver ausente.

O que eu quero fazer é reconstruir uma distribuição para cada intervalo e usá-la para fornecer um desvio ou erro padrão para essa distribuição. As únicas informações que tenho são os máximos e mínimos observados em uma amostra e o ponto médio como proxy da média.

Dessa forma, espero poder calcular as médias ponderadas de cada grupo e também calcular o coeficiente de variação de cada grupo, com base nos dados de faixa que tenho e em minhas suposições (de distribuição simétrica e normal).

Eu pretendo usar o R para fazer isso, então qualquer ajuda de código também seria apreciada.

r normal-distribution estimation missing-data order-statistics green_thinlake
fonte

Fiquei me perguntando por que você diz que tem dados para valores mínimos e máximos e máximos; depois, você terá informações apenas sobre o mínimo e o máximo esperados. Qual é - observado ou esperado?

Scortchi - Reinstate Monica

Desculpe, esse é o meu erro. Os dados máximos e mínimos são observados (medidos a partir de objetos da vida real). Eu alterei o post.

22414 Greenlight (

Respostas:

A função de distribuição cumulativa conjunta para o mínimo de e máximo de para uma amostra de de uma distribuição gaussiana com médio e desvio padrão é $x_{(1)}$ $x_{(n)}$ $n$ $\mu$ $\sigma$

F (x_{(1)}, x_{(n)}; μ, σ) = Pr (X_{(1)} < x_{(1)}, X_{(n)} < x_{(n)}) = Pr (X_{(n)} < x_{(n)}) - Pr (X_{(1)} > x_{(1)}, X_{(n)} < x_{(n)} = Φ {(\frac{x_{(n)} - μ}{σ})}^{n} - {[Φ (\frac{x_{(n)} - μ}{σ}) - Φ (\frac{x_{(1)} - μ}{σ})]}^{n}

$F(x_{(1)},x_{(n)};\mu,\sigma) = \Pr(X_{(1)}<x_{(1)}, X_{(n)}<x_{(n)})\\ =\Pr( X_{(n)}<x_{(n)}) - \Pr(X_{(1)}>x_{(1)}, X_{(n)}<x_{(n)}\\ =\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right)^n - \left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) -\Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right]^n$

onde é o CDF gaussiano padrão. A diferenciação em relação a e fornece a função de densidade de probabilidade conjunta $\Phi(\cdot)$ $x_{(1)}$ $x_{(n)}$

f (x_{(1)}, x_{(n)}; μ, σ) = n (n - 1) {[Φ (\frac{x_{(n)} - μ}{σ}) - Φ (\frac{x_{(1)} - μ}{σ})]}^{n - 2} \cdot ϕ (\frac{x_{(n)} - μ}{σ}) \cdot ϕ (\frac{x_{(1)} - μ}{σ}) \cdot \frac{1}{σ^{2}}

$f(x_{(1)},x_{(n)};\mu,\sigma) =\\ n(n-1)\left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) - \Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right]^{n-2}\cdot\phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right)\cdot\phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\cdot\tfrac{1}{\sigma^2}$

onde é o PDF gaussiano padrão. Tomar o log e soltar os termos que não contêm parâmetros fornece a função de probabilidade de log $\phi(\cdot)$

ℓ (μ, σ; x_{(1)}, x_{(n)}) = (n - 2) \log [Φ (\frac{x_{(n)} - μ}{σ}) - Φ (\frac{x_{(1)} - μ}{σ})] + \log ϕ (\frac{x_{(n)} - μ}{σ}) + \log ϕ (\frac{x_{(1)} - μ}{σ}) - 2 \log σ

$\ell(\mu,\sigma;x_{(1)},x_{(n)}) =\\ (n-2)\log\left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) - \Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right] + \log\phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) + \log\phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right) - 2\log\sigma$

Isso não parece muito tratável, mas é fácil ver que ele é maximizado, seja qual for o valor de , definindo , ou seja, o ponto médio - o primeiro termo é maximizado quando o argumento de um CDF é negativo do argumento do outro; os segundo e terceiro termos representam a probabilidade conjunta de duas variáveis normais independentes. $\sigma$ $\mu=\hat\mu=\frac{x_{(n)}+x_{(1)}}{2}$

Substituindo na probabilidade do log e escrevendo fornece $\hat\mu$ $r=x_{(n)}-x_{(1)}$

ℓ (σ; x_{(1)}, x_{(n)}, \hat{μ}) = (n - 2) \log [1 - 2 Φ (\frac{- r}{2 σ})] - \frac{r^{2}}{4 σ^{2}} - 2 \log σ

$\ell(\sigma;x_{(1)},x_{(n)},\hat\mu)=(n-2)\log\left[1 - 2\Phi\left(\tfrac{-r}{2\sigma}\right)\right] - \frac{r^2}{4\sigma^2} -2\log{\sigma}$

Esta expressão deve ser maximizada numericamente (por exemplo, com optimizeo statpacote de R ) para encontrar . (Acontece que , em que é uma constante dependendo apenas de talvez alguém mais matematicamente hábil do que eu poderia mostrar o porquê.) $\hat\sigma$ $\hat\sigma=k(n)\cdot r$ $k$ $n$

As estimativas não são úteis sem uma medida de precisão. As informações de Fisher observadas podem ser avaliadas numericamente (por exemplo, com hessiano numDerivpacote R ) e usadas para calcular erros padrão aproximados:

Eu (μ) = - {\frac{\partial^{2} ℓ (μ; \hat{σ})}{(\partial μ)^{2}} |}_{μ = \hat{μ}}

$I(\mu)=-\left.\frac{\partial^2{\ell(\mu;\hat\sigma)}}{(\partial\mu)^2}\right|_{\mu=\hat\mu}$

Eu (σ) = - {\frac{\partial^{2} ℓ (σ; \hat{μ})}{(\partial σ)^{2}} |}_{σ = \hat{σ}}

$I(\sigma)=-\left.\frac{\partial^2{\ell(\sigma;\hat\mu)}}{(\partial\sigma)^2}\right|_{\sigma=\hat\sigma}$

Seria interessante comparar a probabilidade e as estimativas do método dos momentos para em termos de viés (o MLE é consistente?), Variância e erro do quadrado médio. Há também a questão da estimativa para os grupos em que a média da amostra é conhecida além do mínimo e do máximo. $\sigma$

Scortchi - Restabelecer Monica
fonte

+1. Adicionando constante a para a log-probabilidade não irá alterar a localização do seu máximo, mas converte-lo em função da e , onde o valor de que maximiza é alguns função . Equivalentemente, como você afirma. Em outras palavras, a quantidade relevante para trabalhar é a razão do desvio padrão para a faixa (observada), ou igualmente bem sua recíproca - que está intimamente relacionada à faixa Studentizada .

2 \log (r)

$2\log(r)$

σ / r

$\sigma/r$

n

$n$

σ / r

$\sigma/r$

n \to k (n)

$n\to k(n)$

\hat{σ} = k (n) r

$\hat\sigma=k(n)r$

whuber

@ whuber: Obrigado! Parece óbvio em retrospectiva. Vou incorporar isso na resposta.

Scortchi - Restabelece Monica

Você precisa relacionar o intervalo ao desvio / variância padrão. seja a média, o desvio padrão e seja o intervalo. Então, para a distribuição normal, temos que % da massa de probabilidade está dentro de 3 desvios padrão da média. Como regra prática, isso significa que, com uma probabilidade muito alta, $\mu$ $\sigma$ $R=x_{(n)} - x_{(1)}$ $99.7$

μ + 3 σ \approx x_{(n)}

$\mu + 3\sigma \approx x_{(n)}$ e

μ - 3 σ \approx x_{(1)}

$\mu - 3\sigma \approx x_{(1)}$

Subtraindo o segundo do primeiro, obtemos

6 σ \approx x_{(n)} - x_{(1)} = R

$6\sigma \approx x_{(n)} - x_{(1)}= R$ (a propósito, é daí que vem a metodologia de garantia de qualidade "six-sigma" na indústria). Em seguida, você pode obter uma estimativa para o desvio padrão por onde a barra indica médias. É quando você assume que todas as subamostras são da mesma distribuição (você escreveu sobre ter intervalos esperados ). Se cada amostra é um normal diferente, com média e variância diferentes, é possível usar a fórmula para cada amostra, mas a incerteza / imprecisão possível no valor estimado do desvio padrão será muito maior.

\hat{σ} = \frac{1}{6} ({\bar{x}}_{(n)} - {\bar{x}}_{(1)})

$\hat \sigma = \frac 16 \Big(\bar x_{(n)} - \bar x_{(1)}\Big)$

Ter um valor para a média e para o desvio padrão caracteriza completamente a distribuição normal.

Alecos Papadopoulos
fonte

Isso não é uma aproximação aproximada para pequeno nem um resultado assintótico para grande .

n

$n$

n

$n$

Scortchi - Restabelece Monica

@Stortchi Bem, eu não disse que é uma boa estimativa, mas acredito que é sempre bom ter soluções facilmente implementadas, mesmo que sejam muito difíceis, para ter uma noção quantitativa do problema em mãos, além de outras. abordagens sofisticadas e eficientes, como por exemplo a descrita na outra resposta a essa pergunta.

Alecos Papadopoulos

Eu não insistiria com "a expectativa do intervalo amostral acaba por ser cerca de 6 vezes o desvio padrão para valores de de 200 a 1000". Mas estou sentindo falta de algo sutil em sua derivação, ou não funcionaria tão bem quanto justificar dividir o intervalo por qualquer número?

n

$n$

Scortchi - Restabelece Monica

@ Scortchi Bem, o espírito da abordagem é "se esperamos que quase todas as realizações caiam dentro de 6 sigmas, é razoável esperar que as realizações extremas estejam próximas da fronteira" - isso é tudo o que realmente existe. Talvez eu estou muito acostumado a operar sob uma informação extremamente incompleta, e obrigado a dizer algo quantitativa sobre isso ... :)

Alecos Papadopoulos

Eu poderia responder que ainda mais observações ficariam dentro de da média, dando uma estimativa melhor . Não devo, porque é um absurdo. Qualquer número acima de será uma estimativa aproximada para algum valor de .

10 σ

$10 \sigma$

\hat{σ} = \frac{R}{10}

$\hat\sigma=\frac{R}{10}$

1.13

$1.13$

n

$n$

Scortchi - Reinstate Monica

É simples obter a função de distribuição do máximo da distribuição normal (consulte "P.max.norm" no código). A partir dele (com algum cálculo), você pode obter a função quantil (consulte "Q.max.norm").

Usando "Q.max.norm" e "Q.min.norm", é possível obter a mediana do intervalo relacionado a N. Usando a ideia apresentada por Alecos Papadopoulos (na resposta anterior), é possível calcular sd.

Tente o seguinte:

N = 100000    # the size of the sample

# Probability function given q and N
P.max.norm <- function(q, N=1, mean=0, sd=1){
    pnorm(q,mean,sd)^N
} 
# Quantile functions given p and N
Q.max.norm <- function(p, N=1, mean=0, sd=1){
    qnorm(p^(1/N),mean,sd)
} 
Q.min.norm <- function(p, N=1, mean=0, sd=1){
    mean-(Q.max.norm(p, N=N, mean=mean, sd=sd)-mean)
} 

### lets test it (takes some time)
Q.max.norm(0.5, N=N)  # The median on the maximum
Q.min.norm(0.5, N=N)  # The median on the minimum

iter = 100
median(replicate(iter, max(rnorm(N))))
median(replicate(iter, min(rnorm(N))))
# it is quite OK

### Lets try to get estimations
true_mean = -3
true_sd = 2
N = 100000

x = rnorm(N, true_mean, true_sd)  # simulation
x.vec = range(x)                  # observations

# estimation
est_mean = mean(x.vec)
est_sd = diff(x.vec)/(Q.max.norm(0.5, N=N)-Q.min.norm(0.5, N=N))

c(true_mean, true_sd)
c(est_mean, est_sd)

# Quite good, but only for large N
# -3  2
# -3.252606  1.981593

Vyga
fonte

E (R) = σ \int_{- \infty}^{\infty} 1 - (1 - Φ (x))^{n} - Φ (x)^{n} d x = σ d_{2} (n)

$\operatorname{E} (R) = \sigma \int_{-\infty}^{\infty} 1-(1-\Phi(x))^n -\Phi(x)^n\, \mathrm{d} x = \sigma d_2(n)$

R

$R$

Φ (\cdot)

$\Phi(\cdot)$

d_{2}

$d_2$

n

$n$

n

$n$