Parâmetros de estimativa da distribuição t de Student

23

Quais são os estimadores de probabilidade máxima para os parâmetros da distribuição t de Student? Eles existem em forma fechada? Uma rápida pesquisa no Google não me deu nenhum resultado.

Hoje estou interessado no caso univariado, mas provavelmente terei que estender o modelo para várias dimensões.

EDIT: Na verdade, estou mais interessado nos parâmetros de localização e escala. Por enquanto, posso assumir que o parâmetro de graus de liberdade é fixo e, possivelmente, usar algum esquema numérico para encontrar o valor ideal posteriormente.

estimation maximum-likelihood t-distribution Grzenio
fonte

Que eu saiba, eles não existem de forma fechada. Pode ser necessária uma abordagem do tipo subida em gradiente.

Pat

Embora a distribuição t de Student tenha um único parâmetro, você se refere a "parâmetros" no plural. Você está incluindo parâmetros de localização e / ou escala?

whuber

@whuber, obrigado pelo comentário, estou realmente interessado nos parâmetros de localização e escala, mais do que nos graus de liberdade.

Grzenio 9/07/2013

Com dados, a equação de probabilidade para o parâmetro location é algebricamente equivalente a um polinômio de grau . Você considera que zero desse polinômio é dado em "forma fechada"?

n

$n$

2 n - 1

$2n-1$

whuber

@whuber, existem casos especiais para pequenos n, por exemplo, n = 3?

Grzenio 10/07/2013

27

O formulário fechado não existe para T, mas uma abordagem muito intuitiva e estável é através do algoritmo EM. Agora, como o aluno é uma mistura em escala de normais, você pode escrever seu modelo como

y_{i} = μ + e_{i}

$y_i=\mu+e_i$

onde e . Isso significa que, condicionalmente, em a são apenas a média ponderada e o desvio padrão. Este é o passo "M" $e_i|\sigma,w_i \sim N(0,\sigma^2w_i^{-1})$ $w_i\sim Ga(\frac{\nu}{2}, \frac{\nu}{2})$ $w_i$

\hat{μ} = \frac{\sum_{i} w_{i} y_{i}}{\sum_{i} w_{i}}

$\hat{\mu}=\frac{\sum_iw_iy_i}{ \sum_iw_i}$

{\hat{σ}}^{2} = \frac{\sum_{i} w_{i} (y_{i} - \hat{μ})^{2}}{n}

$\hat{\sigma}^2= \frac{\sum_iw_i(y_i-\hat{\mu})^2}{n}$

Agora, a etapa "E" substitui por sua expectativa, considerando todos os dados. Isto é dado como: $w_i$

{\hat{w}}_{i} = \frac{(ν + 1) σ^{2}}{ν σ^{2} + (y_{i} - μ)^{2}}

$\hat{w}_i=\frac{(\nu+1) \sigma^2 }{\nu \sigma^2 +(y_i-\mu)^2}$

para simplesmente iterar as duas etapas acima, substituindo o "lado direito" de cada equação pelas estimativas de parâmetros atuais.

Isso mostra muito facilmente as propriedades de robustez da distribuição t, pois as observações com grandes resíduos recebem menos peso no cálculo da localização e influência limitada no cálculo de . Por "influência limitada", quero dizer que a contribuição para a estimativa de da i-ésima observação não pode exceder um determinado limite (este é no algoritmo EM). Além disso, é um parâmetro de "robustez", pois aumentar (diminuir) resultará em pesos mais (menos) uniformes e, portanto, mais (menos) sensibilidade a valores discrepantes. $\mu$ $\sigma^2$ $\sigma^2$ $(\nu+1)\sigma^2_{old}$ $\nu$ $\nu$

Uma coisa a ser observada é que a função de probabilidade de log pode ter mais de um ponto estacionário; portanto, o algoritmo EM pode convergir para um modo local em vez de global. É provável que os modos locais sejam encontrados quando o parâmetro location for iniciado muito perto de um outlier. Portanto, começar na mediana é uma boa maneira de evitar isso.

probabilityislogic
fonte

1

Fantástico. Estou brincando com a ideia de ajustar os alunos usando o EM há algum tempo, precisamente pelo motivo de parecer uma mistura de gaussianos. Você tem uma citação / referência para as equações de atualização que você fornece? Isso aumentaria ainda mais a grandiosidade deste post.

Pat

Na verdade, acho que encontrei um para um modelo misto de t de estudante (que eu vou usar para essas coisas): as misturas de distribuições t de Student como uma estrutura robusta para registro rígido. Demetrios Gerogiannis, Christophoros Nikou, Aristidis Likas. Image and Vision Computing 27 (2009) 1285–1294.

Pat

O link na minha resposta a esta pergunta tem uma estrutura EM muito geral para cargas e cargas de funções de probabilidade - quantil, estudante, logística e faz regressão geral. Seu caso específico é "regressão" sem covariáveis - somente interceptação -, portanto, se encaixa perfeitamente nessa estrutura. Além disso, há um grande número de termos de penalidade que você pode incorporar a essa estrutura.

probabilityislogic

@probabilityislogic realmente legal! E se também for desconhecido? Você também pode dar alguma referência, por favor? Talvez seja melhor aqui: stats.stackexchange.com/questions/87405/…

ν

$\nu$

Quartzo

Eu acho que essa referência é melhor do que @ Pat. «ESTIMATIVA ML DA DISTRIBUIÇÃO USANDO EM E SUAS EXTENSÕES, ECM E ECME.» Você precisa ter muito cuidado na seleção do valor inicial do parâmetro enquanto executa o algoritmo EM devido ao problema ideal local. Em outras palavras, você precisa saber algo sobre seus dados. Normalmente, evito o uso da distribuição t em minha pesquisa.

4

O documento a seguir aborda exatamente o problema que você postou.

Liu C. e Rubin DB 1995. "Estimativa ML da distribuição t usando EM e suas extensões, ECM e ECME". Statistica Sinica 5: 19–39.

Ele fornece uma estimativa geral de parâmetros de distribuição t multivariada, com ou sem o conhecimento do grau de liberdade. O procedimento pode ser encontrado na Seção 4 e é muito semelhante ao probabilityislogic's para uma dimensão.

mitchshih
fonte

7

Parece que o artigo a que você se refere contém uma resposta útil à pergunta, mas as respostas são melhores quando são independentes e não requerem recursos externos (aqui, por exemplo, é possível que OP ou leitores não tenham acesso a este artigo ) Você poderia detalhar um pouco sua resposta para torná-la mais independente?

Patrick Coulombe

3

Duvido que exista na forma fechada: se você escrever qualquer um dos fatores de probabilidade como e, considerando isso, você obterá uma equação não linear em . Mesmo que você consiga obter uma solução, dependendo do número de fatores (termos) , a equação MLE dependerá desse maneira não trivial. Tudo isso simplifica drasticamente, é claro, quando

\frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} {(1 + \frac{t^{2}}{ν})}^{- \frac{ν + 1}{2}} = \frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} \exp {[\ln (1 + \frac{t^{2}}{ν})] [- \frac{ν + 1}{2}]}

$\frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \left(1+\frac{t^2}{\nu} \right)^{-\frac{\nu+1}{2}} = \frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \exp \left \{ \left [ \ln \left(1+\frac{t^2}{\nu} \right) \right ] \left [ {-\frac{\nu+1}{2}} \right ]\right \}$

ν

$\nu$

n

$n$

n

$n$

ν \to \infty

$\nu \rightarrow \infty$ , quando o poder se aproxima de um exponencial (PDF gaussiano).

Lucozade
fonte

1

Mesmo no cenário gaussiano, a probabilidade do log é não linear em seus parâmetros :-).

whuber

Na verdade, estou interessado em parâmetros de localização e escala, mais do que nos graus de liberdade. Consulte editar a pergunta e desculpe por não ser preciso.

Grzenio 9/07/2013

2

Descobri recentemente um estimador em formato fechado para a escala da distribuição t de Student. Que eu saiba, essa é uma nova contribuição, mas gostaria de receber comentários sugerindo resultados relacionados. O artigo descreve o método no contexto de uma família de distribuições "exponenciais acopladas". O t de Student é referido como Gaussiano Acoplado, onde o termo de acoplamento é o recíproco do grau de liberdade. A estatística de forma fechada é a média geométrica das amostras. Assumindo um valor do acoplamento ou grau de liberdade, uma estimativa da escala é determinada multiplicando a média geométrica das amostras por uma função que envolve o acoplamento e um número harmônico.

https://arxiv.org/abs/1804.03989 Uso da média geométrica como estatística para a escala das distribuições gaussianas acopladas, Kenric P. Nelson, Mark A. Kon, Sabir R. Umarov

Kenric
fonte

Parâmetros de estimativa da distribuição t de Student

Respostas: