O que, precisamente, é um intervalo de confiança?

86

Sei grosseiramente e informalmente o que é um intervalo de confiança. No entanto, parece que não consigo entender um detalhe bastante importante: de acordo com a Wikipedia:

Um intervalo de confiança não prevê que o valor real do parâmetro tenha uma probabilidade específica de estar no intervalo de confiança, dados os dados realmente obtidos.

Eu também vi pontos semelhantes feitos em vários lugares neste site. Uma definição mais correta, também da Wikipedia, é:

se intervalos de confiança são construídos em várias análises de dados separadas de experimentos repetidos (e possivelmente diferentes), a proporção desses intervalos que contêm o valor verdadeiro do parâmetro corresponderá aproximadamente ao nível de confiança

Mais uma vez, eu já vi pontos semelhantes em vários lugares deste site. Eu não entendo. Se, em experimentos repetidos, a fração dos intervalos de confiança calculados que contêm o parâmetro verdadeiro for , como pode a probabilidade de no intervalo de confiança calculado para o experimento real ser diferente de ? Estou procurando o seguinte em uma resposta: $\theta$ $(1 - \alpha)$ $\theta$ $(1 - \alpha)$

Esclarecimento da distinção entre as definições incorretas e corretas acima.
Uma definição formal e precisa de um intervalo de confiança que mostra claramente por que a primeira definição está errada.
Um exemplo concreto de um caso em que a primeira definição está espetacularmente errada, mesmo que o modelo subjacente esteja correto.

confidence-interval definition dsimcha
fonte

4

Esta postagem apresenta algumas boas discussões sobre a questão dos intervalos de confiança stats.stackexchange.com/questions/2356/… . O artigo mencionado no post, acho, ajuda a esclarecer precisamente por que as definições acima estão corretas para intervalos de confiança. Muitas vezes, ao visualizar como os ICs se decompõem, é possível entendê-los melhor.

probabilityislogic

2

Parte de mim aplaude a pergunta (+1). Uma parte concorrente deseja ressaltar que: 1. A grande maioria dos consumidores de estatísticas, pessoas que usam estatísticas de forma pragmática, mas não filosoficamente, a fim de defender sua opinião em química ou pesquisa de mercado, nunca entenderá a delicadeza dos problemas, e frequentemente ficar sem saber como explicar os resultados. 2. Até alguns estatísticos puristas podem cair na armadilha de fazer afirmações supostamente probabilísticas como aquelas que envolvem intervalos de confiança quando não estão trabalhando com amostras aleatórias. Uma questão muito maior.

Roland2

3

@ Mario Sua suposição não é verdadeira! Das 100 repetições do experimento, esperamos que 95 dos ICs (não os meios) contenham a média verdadeira (mas desconhecida). O IC é aleatório, mas a média da população real não é.

whuber

6

Há um bom artigo de Cumming & Maillardet (2006) mostrando que nem 95% das médias de replicação cairão no IC original, mas apenas 83,4% (eles chamam esse valor de 'porcentagem de captura'). A razão é que existem duas fontes de variabilidade: A) a variabilidade da média original ao redor mue B) a variabilidade da replicação significa ao redor mu. A maioria das pessoas esquece A: o IC original não é necessariamente construído ao redor mu!

Felix S

2

Os leitores interessados também podem querer ver este tópico: Por que um IC 95% não implica uma chance de 95% de conter a média?

gung

26

Achei esse experimento mental útil ao pensar em intervalos de confiança. Ele também responde à sua pergunta 3.

Seja e . Considere duas observações de tomando os valores e correspondentes às observações e de e deixe e . Então é um intervalo de confiança de 50% para (já que o intervalo inclui se ou , cada um com probabilidade ). $X\sim U(0,1)$ $Y=X+a-\frac{1}{2}$ $Y$ $y_1$ $y_2$ $x_1$ $x_2$ $X$ $y_l=\min(y_1,y_2)$ $y_u=\max(y_1,y_2)$ $[y_l,y_u]$ $a$ $a$ $x_1<\frac12<x_2$ $x_1>\frac12>x_2$ $\frac14$

No entanto, se , sabemos que a probabilidade de o intervalo conter é , não . A sutileza é que um intervalo de confiança para um parâmetro significa que os pontos finais do intervalo (que são variáveis aleatórias) se situam em ambos os lados do parâmetro com probabilidade antes de calcular o intervalo , não que a probabilidade do parâmetro ficar dentro do intervalo é depois que você calculou o intervalo . $y_u-y_l>\frac12$ $a$ $1$ $\frac12$ $z\%$ $z\%$ $z\%$

Chris Taylor
fonte

3

Observe que quase certamente, portanto, o intervalo contém o parâmetro com probabilidade zero. De fato, seu argumento funciona se o que você está estimando é .

Y > a

$Y>a$

[y_{l}, y_{u}]

$[y_l,y_u]$

a

$a$

θ = a + \frac{1}{2}

$\theta=a+\frac12$

Fiz

4

Eu não acho que esse exemplo de contador seja válido, pois você só sabe a probabilidade de que o intervalo contenha é um depois de ver que . É perfeitamente razoável que a probabilidade mude após a aquisição de informações adicionais. Se tudo o que você sabia era que o intervalo era de 50%, a probabilidade ainda seria 1/2 (embora seja uma probabilidade bayesiana e não freqüentadora, pois se aplica a um evento específico que não tem frequência de longo prazo)

θ

$\theta$

y_{u} - y_{l} > 1 / 2

$y_u-y_l>1/2$

Dikran Marsupial

1

Esse é realmente um bom exemplo, mas eu discordo totalmente de suas afirmações sobre probabilidades de alguma forma mudarem antes e depois de calcular o intervalo de confiança. Isso não faz sentido e dá a impressão de que a matemática se importa com o que você sabe e o que não sabe. Não faz !!. Você sempre tem que é . Você também sempre tem que é . Isso não é uma contradição, uma é simplesmente uma probabilidade incondicional e a outra é uma probabilidade condicional.

P (a \in [y_{l}, y_{u}])

$\mathbb{P}(a \in [y_l,y_u])$

\frac{1}{2}

$\tfrac{1}{2}$

P (a \in [y_{l}, y_{u}] | y_{u} - y_{l} > \frac{1}{2})

$\mathbb{P}(a \in [y_l,y_u] \;|\; y_u - y_l > \tfrac{1}{2})$

1

$1$

fgp

2

@ fgp, sim, talvez seja uma redação ruim da parte de Taylor falando sobre as probabilidades mudarem. Nenhuma probabilidade está mudando. O que o argumento está mostrando é como é fácil surgir situações que demonstram um entendimento incorreto dos ICs levam a problemas lógicos. Se você acredita que um IC observado tem 50% de probabilidade de estar correto, mas não pode estar correto, então você entende que um IC está errado.

John

36

Existem muitos problemas relacionados a intervalos de confiança, mas vamos nos concentrar nas citações. O problema está em possíveis interpretações erradas, em vez de ser uma questão de correção. Quando as pessoas dizem que "um parâmetro tem uma probabilidade específica de" algo, elas estão pensando no parâmetro como sendo uma variável aleatória. Este não é o ponto de vista de um procedimento de intervalo de confiança (clássico), para o qual a variável aleatória é o próprio intervalo e o parâmetro é determinado, não aleatório, mas desconhecido. É por isso que essas declarações são frequentemente atacadas.

Matematicamente, se deixarmos ser qualquer processo que mapeia dados para subconjuntos do espaço de parâmetros e se (não importa qual é o valor do parâmetro pode ser) a afirmação define um evento , por definição, tem uma probabilidade para qualquer valor possível de . Quando é um procedimento de intervalo de confiança com confiança , essa probabilidade deve ter um número mínimo (acima de todos os valores de parâmetro) de $t$ $\mathbf{x} = (x_i)$ $\theta$ $\theta \in t(\mathbf{x})$ $A(\mathbf{x})$ $\Pr_{\theta}\left( A(\mathbf{x}) \right)$ $\theta$ $t$ $1-\alpha$ $1-\alpha$ . (Sujeito a esse critério, geralmente selecionamos procedimentos que otimizam algumas propriedades adicionais, como produzir intervalos curtos de confiança ou simétricos, mas isso é um assunto separado.) A Lei Fraca de Grandes Números justifica a segunda cotação. Isso, no entanto, não é uma definição de intervalos de confiança: é apenas uma propriedade que eles têm.

Penso que esta análise respondeu à pergunta 1, mostra que a premissa da pergunta 2 está incorreta e torna a questão 3 discutível.

whuber
fonte

3

Obrigado por fornecer uma resposta a uma excelente pergunta. Posso trazer a seguinte analogia para uma discussão mais aprofundada? Suponha que eu jogue uma moeda justa repetidamente. Então, . Agora, jogo a moeda uma vez, mas não mostro o que joguei e pergunto: "Qual é a probabilidade de que as caras levantem?". como você responderia aquela pergunta?

P (H e a d) = .50

$P(Head) = .50$

Wolfgang

3

Outra maneira de expressá-lo: para não-bayesianos, as únicas "coisas" que podem ter uma probabilidade são possíveis eventos - no sentido de resultados futuros de um experimento aleatório. Como o parâmetro possui um valor verdadeiro fixo, uma vez que você possui um intervalo com valores específicos, não é mais um evento possível, independentemente de o parâmetro estar ou não incluído no intervalo. Como resultado, você pode ter confiança no processo que gera o intervalo, mas não em dois números específicos.

caracal

1

@caracal - apenas um pouco de reflexão, é um "coin flip" todo verdadeiramente "aleatório"? Se você disser "sim", rejeitaria a ideia de que se uma moeda aparecer cara é uma função determinística (mas complicada) de muitas coisas (como vento, altitude, força e ângulo de giro, peso da moeda etc. .). Acho que isso mostra o duplo padrão de "aleatoriedade" que se aplica ao pensamento baseado em IC. Os dados são fixos, mas não temos certeza sobre seu valor (os dados são aleatórios ), enquanto os parâmetros são fixos, mas não temos certeza sobre seu valor ( parâmetros ergo não são aleatórios ).

probabilityislogic

4

@ Wolfgang Não vejo como o seu exemplo se refere a intervalos de confiança. Você não solicita nada relacionado a um parâmetro distributivo. Sua situação está mais intimamente relacionada aos intervalos de previsão. Acho que toda essa discussão pode ter algum interesse nesse contexto, mas não pertence a um tópico sobre intervalos de confiança.

whuber

2

@whuber A questão de saber se é possível fazer uma declaração de probabilidade sobre um determinado IC de 95% que captura o parâmetro verdadeiro desconhecido é muito semelhante à pergunta se é possível fazer uma declaração de probabilidade sobre um flip específico em que o resultado ainda é desconhecido. A longo prazo, 95% dos ICs capturarão o parâmetro. A longo prazo, 50% dos flips são cabeças. Podemos dizer que existe uma chance de 95% de um determinado IC capturar o parâmetro? Podemos dizer que há 50% de chance de que as cabeças levantem antes de olhar? Eu diria que sim para ambos. Mas algumas pessoas podem discordar.

Wolfgang

19

Eu não chamaria a definição de ICs de errada, mas eles são fáceis de interpretar mal, devido à existência de mais de uma definição de probabilidade. Os ICs são baseados na seguinte definição de Probabilidade (Frequentista ou Ontológica)

(1) probabilidade de uma proposição = proporção de longo prazo de vezes que a proposição é observada verdadeira, condicional ao processo de geração de dados

Portanto, para ser conceitualmente válido no uso de um IC, você deve aceitar esta definição de probabilidade. Caso contrário, seu intervalo não é um IC, do ponto de vista teórico.

É por isso que a definição usou a proporção de palavras e NÃO a probabilidade de palavras , para deixar claro que a definição de probabilidade "frequência de longo prazo" está sendo usada.

A principal definição alternativa de probabilidade (epistemológica ou probabilidade como uma extensão da lógica dedutiva ou bayesiana) é

(2) probabilidade de uma proposição = grau racional de crença de que a proposição é verdadeira, condicionada a um estado de conhecimento

As pessoas geralmente confundem intuitivamente essas duas definições e usam a interpretação que aconteça para atrair sua intuição. Isso pode levar você a todos os tipos de situações confusas (especialmente quando você muda de um paradigma para outro).

O fato de as duas abordagens frequentemente levarem ao mesmo resultado significa que, em alguns casos, temos:

grau racional de crença de que a proposição é verdadeira, condicional a um estado de conhecimento = proporção de longo prazo de vezes que a proposição é observada verdadeira, condicional ao processo de geração de dados

O ponto é que ele não se sustenta universalmente ; portanto, não podemos esperar que as duas definições diferentes sempre levem aos mesmos resultados. Portanto, a menos que você efetivamente elabore a solução bayesiana e encontre o mesmo intervalo, não será possível atribuir ao intervalo dado pelo IC a interpretação como uma probabilidade de conter o valor verdadeiro. E se o fizer, o intervalo não é um intervalo de confiança, mas um intervalo credível.

probabilityislogic
fonte

2

Não vejo por que a probabilidade de uma proposição de acordo com a definição 1 deva ser um número racional. A proporção de longo prazo parece se referir ao limite das proporções de tempos, de modo que a proposição é observada como verdadeira. Cada proporção é um número racional, mas seu limite pode não ser. (Felizmente, este parêntese de vocês parece tangencial na melhor das hipóteses para o resto da sua resposta.)

Fez

3

@ probability Esta resposta parece nos levar a uma tangente de uma maneira não muito construtiva. Igualar probabilidade e proporção é uma forma de confusão ontológica, semelhante a igualar uma temperatura ao nível de mercúrio em um termômetro: um é um construto teórico e o outro é um fenômeno físico usado para medi-lo. Há alguma discussão sobre isso em stats.stackexchange.com/questions/1525/… .

whuber

@Didier - você está certo, na verdade a sequência de , que é termos racionais com limite irracional. Eu removi esta observação. Obrigado por trazer isso à tona.

x_{n} = \frac{r}{2 x_{n - 1}} + \frac{x_{n - 1}}{2} \to \sqrt{r}

$x_n=\frac{r}{2x_{n-1}}+\frac{x_{n-1}}{2} \rightarrow \sqrt{r}$

probabilityislogic

6

@whuber - O ponto é relevante para abordar, porque é exatamente esse mal-entendido que leva as pessoas a interpretar os ICs da maneira errada. Probabilidade confusa com "grau racional de crença" não é consistente com o paradigma freqüentista. É o que acontece quando você considera ICs como "probabilidade de o valor verdadeiro estar no intervalo", que é o que @dsimcha está fazendo na pergunta.

probabilityislogic

1

@ probability Obrigado pela explicação. Eu entendi sua resposta como estando de acordo com uma definição de "probabilidade = proporção". De fato, uma releitura ainda sugere que é isso que você está dizendo no terceiro parágrafo, embora seu comentário agora caracterize isso como um mal-entendido. Você pode esclarecer esse ponto.

whuber

6

RA Fisher tinha um critério para a utilidade dos intervalos de confiança: Um IC não deve admitir "subconjuntos identificáveis" que impliquem um nível de confiança diferente. Na maioria dos exemplos (se não todos), temos casos em que existem subconjuntos identificáveis com probabilidades de cobertura diferentes.

Nesses casos, você pode usar intervalos de créditos bayesianos para especificar um senso subjetivo de onde está o parâmetro ou pode formular um intervalo de probabilidade para refletir a incerteza relativa no parâmetro, dados os dados.

Por exemplo, um caso que parece relativamente livre de contradições é o intervalo de confiança normal de dois lados para a média da população. Assumindo amostragem de uma população normal com determinado padrão, o IC95% não admite subconjuntos identificáveis que forneçam mais informações sobre o parâmetro. Isso pode ser visto pelo fato de que a média da amostra é uma estatística suficiente na função de verossimilhança - ou seja, a função de verossimilhança é independente dos valores individuais da amostra, uma vez que sabemos a média da amostra.

A razão pela qual temos alguma confiança subjetiva no IC simétrico de 95% para a média normal decorre menos da probabilidade de cobertura declarada e mais do fato de que o IC de 95% simétrico para a média normal é o intervalo de "maior probabilidade", ou seja, todos valores de parâmetro dentro do intervalo têm uma probabilidade mais alta do que qualquer valor fora do intervalo. No entanto, como a probabilidade não é uma probabilidade (no sentido da precisão a longo prazo), é mais um critério subjetivo (como é o uso bayesiano do anterior e da probabilidade). Em resumo, existem infinitos intervalos para a média normal que têm 95% de probabilidade de cobertura, mas apenas o IC simétrico tem a plausibilidade intuitiva que esperamos de uma estimativa de intervalo.

Portanto, o critério de RA Fisher implica que a probabilidade de cobertura deve equiparar-se à confiança subjetiva apenas se não admitir nenhum desses subconjuntos identificáveis. Se houver subconjuntos, a probabilidade de cobertura estará condicionada aos valores reais do (s) parâmetro (s) que descrevem o subconjunto. Para obter um intervalo com o nível intuitivo de confiança, você precisa condicionar o intervalo estimado nas estatísticas auxiliares apropriadas que ajudam a identificar o subconjunto. OU, você pode recorrer a modelos de dispersão / mistura, que naturalmente levam a interpretar os parâmetros como variáveis aleatórias (também conhecidas como estatísticas bayesianas) ou pode calcular o perfil / probabilidade condicional / marginal na estrutura de probabilidade. De qualquer forma, você abandonou qualquer esperança de apresentar uma probabilidade objetivamente verificável de estar correta,

Espero que isto ajude.

kst
fonte

1

(+1) Uma maneira de justificar o IC normal simétrico é que ele minimiza o comprimento esperado. Em última análise, isso apenas empurra a subjetividade para a escolha do comprimento como uma função de perda em um procedimento de decisão: mas esse é sem dúvida um tipo "bom" de subjetividade (porque expõe o papel de nossos objetivos analíticos na escolha do procedimento estatístico) em vez de subjetividade "ruim", que soa apenas como um epíteto pejorativo.

whuber

5

De uma perspectiva teórica, as perguntas 2 e 3 são baseadas na suposição incorreta de que as definições estão erradas. Portanto, estou de acordo com a resposta da @ whuber a esse respeito, e a resposta da @ whuber para a pergunta 1 não exige nenhuma contribuição adicional minha.

No entanto, de uma perspectiva mais prática, um intervalo de confiança pode receber sua definição intuitiva (probabilidade de conter o valor verdadeiro) quando é numericamente idêntico a um intervalo credível bayesiano com base nas mesmas informações (isto é, um prévio não informativo).

Mas isso é um pouco desanimador para o duro anti-bayesiano, porque, a fim de verificar as condições para dar ao seu IC a interpretação que ele / ela deseja dar, eles devem elaborar a solução bayesiana, para a qual a interpretação intuitiva se aplica automaticamente!

O exemplo mais fácil é um intervalo de confiança para a média normal com uma variação conhecida e um intervalo credível posterior . $1-\alpha$ $\overline{x}\pm \sigma Z_{\alpha/2}$ $1-\alpha$ $\overline{x}\pm \sigma Z_{\alpha/2}$

Não tenho exatamente certeza das condições, mas sei que o seguinte é importante para a interpretação intuitiva dos ICs:

1) existe uma estatística de pivô, cuja distribuição é independente dos parâmetros (existem pivôs exatos fora das distribuições normal e do qui-quadrado?)

2) não há parâmetros de incômodo (exceto no caso de uma estatística central, que é uma das poucas maneiras exatas de lidar com parâmetros de incômodo ao criar ICs)

3) existe uma estatística suficiente para o parâmetro de interesse e o intervalo de confiança usa a estatística suficiente

4) a distribuição amostral da estatística suficiente e a distribuição posterior apresentam algum tipo de simetria entre a estatística suficiente e o parâmetro. No caso normal da distribuição amostral, a simetria está em enquanto . $(\overline{x}|\mu,\sigma)\sim N(\mu,\frac{\sigma}{\sqrt{n}})$ $(\mu|\overline{x},\sigma)\sim N(\overline{x},\frac{\sigma}{\sqrt{n}})$

Geralmente, essas condições são difíceis de encontrar e geralmente é mais rápido calcular o intervalo bayesiano e compará-lo. Um exercício interessante também pode ser tentar responder à pergunta "para que data anterior meu IC também é um intervalo de credibilidade?" Você pode descobrir algumas suposições ocultas sobre seu procedimento de IC examinando isso anteriormente.

probabilityislogic
fonte

1

(+1) Existe realmente uma pessoa como um "anti-Bayesiano"? :-)

whuber

6

@whuber Aqui está um . E aqui está uma econometria que colabora com ela na bolsa de estudos em filosofia da estatística.

Ciano

1

Obrigado! Essa é uma discussão extremamente interessante na filosofia da probabilidade e estatística da qual eu desconhecia.

whuber

1

Você escreveu incorretamente como ausente ?

\bar{x} \pm \frac{z_{α / 2} σ}{\sqrt{n}}

$\overline x \pm \frac{z_{\alpha/2}\sigma}{\sqrt{n}}$

\sqrt{n}

$\sqrt{n}$

qazwsx

3

Isso é algo que pode ser difícil de entender:

se, em média, 95% de todos os intervalos de confiança contiverem o parâmetro
e eu tenho um intervalo de confiança específico
por que a probabilidade de que esse intervalo contenha o parâmetro também não seja 95%?

Um intervalo de confiança refere-se ao procedimento de amostragem. Se você coletar muitas amostras e calcular um intervalo de confiança de 95% para cada amostra, descobrirá que 95% desses intervalos contêm a média da população.

Isso é útil para, por exemplo, departamentos de qualidade industrial. Esses caras tiram muitas amostras e agora têm a confiança de que a maioria de suas estimativas estará bem próxima da realidade. Eles sabem que 95% de suas estimativas são muito boas, mas não podem dizer isso sobre cada estimativa específica.

Compare isso com os dados: se você jogasse 600 (justos) dados, quantos 6 você jogaria? Seu melhor palpite é * 600 = 100. $\frac{1}{6}$

No entanto, se você jogou UM dado, é inútil dizer: "Existe uma probabilidade de 1/6 ou 16,6% de que eu já joguei um 6". Por quê? Porque o dado mostra um 6 ou alguma outra figura. Você jogou 6, ou não. Portanto, a probabilidade é 1 ou 0. A probabilidade não pode ser . $\frac{1}{6}$

Quando perguntado antes do lance qual seria a probabilidade de jogar um 6 com um dado, um bayesiano responderia " " (com base em informações anteriores: todo mundo sabe que um dado tem 6 lados e uma chance igual de cair em um deles), mas um Frequentista diria "Não faço ideia" porque o freqüentismo é baseado exclusivamente nos dados, não em antecedentes ou em informações externas. $\frac{1}{6}$

Da mesma forma, se você tiver apenas 1 amostra (portanto, 1 intervalo de confiança), não poderá dizer qual é a probabilidade de a média da população estar nesse intervalo. A média (ou qualquer parâmetro) está nela ou não. A probabilidade é 1 ou 0.

Além disso, não é correto que os valores dentro do intervalo de confiança sejam mais prováveis do que aqueles fora dele. Eu fiz uma pequena ilustração; tudo é medido em ° C. Lembre-se de que a água congela a 0 ° C e ferve a 100 ° C.

O caso: em um lago frio, gostaríamos de estimar a temperatura da água que flui abaixo do gelo. Medimos a temperatura em 100 locais. Aqui estão os meus dados:

0,1 ° C (medido em 49 locais);
0,2 ° C (também em 49 localidades);
0 ° C (. Em uma localização Este foi água apenas sobre a congelar);
95 ° C (em um local, há uma fábrica que despeja ilegalmente água muito quente no lago).
Temperatura média: 1,1 ° C;
Desvio padrão: 1,5 ° C;
95% -CI: (-0,8 ° C ...... + 3,0 ° C).

As temperaturas nesse intervalo de confiança definitivamente NÃO são mais prováveis do que as que estão fora dele. A temperatura média da água corrente neste lago NÃO PODE ser mais fria que 0 ° C, caso contrário não seria água, mas gelo. Uma parte desse intervalo de confiança (ou seja, a seção de -0,8 a 0) realmente tem uma probabilidade de 0% de conter o parâmetro true.

Concluindo: os intervalos de confiança são um conceito freqüentista e, portanto, são baseados na ideia de amostras repetidas. Se muitos pesquisadores coletassem amostras desse lago e todos os pesquisadores calculassem intervalos de confiança, 95% desses intervalos conterão o parâmetro true. Mas, para um único intervalo de confiança, é impossível dizer qual a probabilidade de conter o parâmetro true.

Pieter Hogendoorn
fonte

1

Não confunda o fato de que a estatística frequentista não mede a crença com uma pessoa frequentista que possui crenças anteriores e as atualiza. A diferença não é se o frequentista é um idiota sem conhecimento fora dos dados, mas se as estatísticas freqüentistas fornecem medidas diretas dos estados de crença. O frequentista deve atualizar suas crenças com base em testes, ICs, etc., caso contrário, todo o sistema não funciona, porque tudo depende das decisões tomadas.

John

2

Ok, percebo que quando você calcula um intervalo de confiança de 95% para um parâmetro usando métodos freqüentadores clássicos, isso não significa que há uma probabilidade de 95% de que o parâmetro esteja dentro desse intervalo. E, no entanto ... quando você aborda o problema de uma perspectiva bayesiana e calcula um intervalo credível de 95% para o parâmetro, obtém (assumindo um anterior não informativo) exatamente o mesmo intervalo que utiliza a abordagem clássica. Portanto, se eu usar estatísticas clássicas para calcular o intervalo de confiança de 95% para (digamos) a média de um conjunto de dados, é verdade que há uma probabilidade de 95% de que o parâmetro esteja nesse intervalo.

Ringold
fonte

5

A obtenção do mesmo resultado usando intervalos de confiança freqüentes e intervalos Bayesianos credíveis depende do problema e, em particular, da distribuição anterior usada na abordagem bayesiana. Também é importante em matemática e ciências que, quando você estiver certo, esteja certo pelo motivo correto!

Dikran Marsupial

4

Se você "usar estatísticas clássicas para calcular o intervalo de confiança de 95% para [um parâmetro]", "se você estiver pensando de maneira consistente, não fará sentido se referir a uma" probabilidade de que o parâmetro esteja nesse intervalo ". No momento em que você menciona essa probabilidade, você mudou seu modelo estatístico da situação. No novo modelo, onde o parâmetro é aleatório, é incorreto calcular um IC usando métodos freqüentes. Obter a resposta certa dessa maneira em algumas situações é interessante, mas não justifica a confusão conceitual subjacente a ela.

whuber

4

@ whuber - sua premissa "... se você está pensando de maneira consistente ..." tem uma consequência do bom e velho teorema de Cox. Diz que, se você está pensando de maneira consistente, sua solução deve ser matematicamente equivalente a uma bayesiana. Portanto, dada essa premissa, um IC será necessariamente equivalente a um intervalo confiável, e sua interpretação como probabilidade é válida. E em Bayes, não é o parâmetro que tem uma distribuição, é a incerteza sobre esse parâmetro que tem uma distribuição.

probabilityislogic

2

... continua ... Então, pode-se jogar o jogo bobo de que sou um bayesiano "Prob que o parâmetro está no intervalo", sou freqüentador de "prob que o intervalo cobre o parâmetro", sou bayesiano ..., sou freqüentador, ... sou bayesiano ..., sou freqüentador ... ... o tempo todo os números do cálculo real nunca mudam

probabilityislogic

2

Você está perguntando sobre o intervalo de confiança Frequentist . A definição (observe que nenhuma das suas 2 citações é uma definição! As declarações Just, que estão corretas) são:

Se eu repetisse esse experimento várias vezes, dado esse modelo ajustado com esses valores de parâmetro , em 95% dos experimentos o valor estimado de um parâmetro cairia dentro desse intervalo.

Então você tem um modelo (construído usando os dados observados) e seus parâmetros estimados. Então, se você gerasse alguns conjuntos de dados hipotéticos de acordo com este modelo e parâmetros, os parâmetros estimados cairiam dentro do intervalo de confiança.

Portanto, de fato, essa abordagem freqüentista toma o modelo e os parâmetros estimados como fixos, como dados e trata seus dados como incertos - como uma amostra aleatória de muitos outros dados possíveis.

Isso é realmente difícil de interpretar e esta é muitas vezes usado como um argumento para a estatística bayesiana ( que eu acho que pode ser, por vezes, pouco discutível . As estatísticas Bayesian, por outro lado leva seus dados como parâmetros fixos e trata como incerto. Os bayesiana intervalos credíveis são então é realmente intuitivo, como seria de esperar: intervalos bayesianos credíveis são intervalos em que 95% do valor real do parâmetro está.

Mas, na prática, muitas pessoas interpretam os intervalos de confiança freqüentadores da mesma maneira que os intervalos credíveis bayesianos e muitos estatísticos não consideram isso um grande problema - embora todos saibam, não é 100% correto. Também na prática, os intervalos de confiança / credibilidade freqüentista e bayesiano não diferem muito quando se usam anteriores não informativos bayesianos .

Curioso
fonte

-1 Sua "definição" parece estar incorreta, pelo menos em uma leitura. O IC é construído para cobrir o parâmetro true com probabilidade . Não é condicional a um modelo ou método específico de ajuste dos parâmetros. Talvez eu esteja interpretando mal a definição: tomo "este modelo ajustado com este valor de parâmetro" para me referir à sua estimativa atual do parâmetro. Se não foi assim que você pretendeu, talvez você possa esclarecer esse ponto?

1 - α

$1-\alpha$

1 - α

$1-\alpha$

whuber

@whuber, OK, entendi, mas se você diz que minha definição está errada, poste sua definição completa do que é o IC.

Curioso

Esclareci meu comentário, Tomas, porque me ocorre que talvez esteja lendo sua definição de uma maneira que você não pretendia. Kiefer, Introdução à Inferência Estatística , escreve "[O] resultado do experimento é ... [S] sobre o procedimento é usado para estimar e o verdadeiro valor de é ... [A] quantidade .. .O número é chamado coeficiente de confiança do procedimento ... é chamado de

X

$X$

t = [L, U]

$t=[L,U]$

ϕ (θ)

$\phi(\theta)$

θ

$\theta$

θ_{0}

$\theta_0$

γ_{t} (θ_{0}) = \underset{θ_{0}}{Pr} {L (X) \leq ϕ (θ_{0}) \leq U (X)}

$\gamma_t(\theta_0)=\Pr_{\theta_0}\{L(X)\le \phi(\theta_0)\le U(X)\}$

{\bar{γ}}_{t} = inf_{θ \in Ω} γ_{t} (θ)

$\bar{\gamma}_t=\inf_{\theta\in\Omega}\gamma_t(\theta)$

t

$t$

t

$t$ intervalo de confiança. "

whuber

@ whuber, sua definição é realmente incompreensível para mim e tenho medo para a maioria das pessoas também :) E sim, eu quis dizer a estimativa atual, como os freqüentadores obtêm a estimativa de parâmetro como dada e os dados como aleatórios, o oposto de bayesiano.

Curioso

3

Penso que o principal problema na sua definição Curioso é "... o valor estimado de um parâmetro cairia dentro do intervalo". Não é um parâmetro estimado, mas um parâmetro fixo desconhecido; e não cai dentro do intervalo, mas o intervalo se move e 95% do tempo captura o parâmetro.

John John

2

Suponha que estamos em uma situação simples. Você tem um parâmetro desconhecido e um estimador de que possui uma imprecisão em torno de 1 (informalmente). Você acha que (informalmente) deve estar em mais frequência. $\theta$ $T$ $\theta$ $\theta$ $[T-1;T+1]$

Em um experimento real, você observa . $T=12$

É natural fazer a pergunta "Dado o que vejo ( ), qual é a probabilidade ?". Matematicamente: . Todo mundo naturalmente faz essa pergunta. A teoria do intervalo de confiança deve responder logicamente a essa pergunta. Mas isso não acontece. $T=12$ $\theta\in[11;13]$ $P(\theta\in[11;13]|T=12)$

As estatísticas bayesianas respondem a essa pergunta. Na estatística bayesiana, você pode realmente calcular . Mas você precisa assumir uma anterior que é uma distribuição de antes de fazer a experiência e observando . Por exemplo : $P(\theta\in[11;13]|T=12)$ $\theta$ $T$

Suponha que tenha um uniforme de distribuição anterior em $\theta$ $[0;30]$
faça esse experimento, encontre $T=12$
Aplique a fórmula de Bayes: $P(\theta\in[11;13]|T=12)=0.94$

Mas, nas estatísticas freqüentistas, não há anterior e, portanto, algo como não existe. Em vez disso, os estatísticos dizem algo assim: "Seja o que for , a probabilidade de é de ". Matematicamente: " $P(\theta\in...|T \in...)$ $\theta$ $\theta\in [T-1;T+1]$ $0.95$ $\forall\theta, P(\theta\in[T-1;T+1]|\theta)=0.95$

Assim :

Bayesiano: para $P(\theta\in[T-1;T+1]|T)=0.94$ $T=12$
Frequentista: $\forall\theta, P(\theta\in[T-1;T+1]|\theta)=0.95$

A afirmação bayesiana é mais natural. Na maioria das vezes, a afirmação freqüentista é mal interpretada espontaneamente como a afirmação bayesiana (por qualquer cérebro humano normal que não pratica estatística há anos). E honestamente, muitos livros de estatísticas não deixam esse ponto muito claro.

E praticamente?

Em muitas situações usuais, o fato é que as probabilidades obtidas por abordagens freqüentistas e bayesianas são muito próximas. Portanto, essa confusa declaração afirmativa para a bayesiana tem poucas consequências. Mas "filosoficamente" é muito diferente.

Benoit Sanchez
fonte

O que, precisamente, é um intervalo de confiança?

Respostas: