Lendo gráficos de caixa e bigode: é possível captar diferenças significativas entre os grupos?

Suponha que estamos analisando esse gráfico de caixa e bigode:

Entre quinta e sexta-feira, acho que a maioria concorda que parece haver uma diferença significativa no tempo dormido. Mas isso é uma conjectura estatisticamente válida? Podemos discernir diferenças significativas devido ao fato de nenhuma das faixas do quartil interno se sobrepor entre quinta e sexta-feira? E o fato de os bigodes superiores e inferiores de quinta e sexta-feira, respectivamente, se sobreporem? Isso afeta nossa análise?

Normalmente, acompanhar um gráfico como esse seria uma espécie de ANOVA, mas estou curioso para saber o quanto podemos dizer sobre as diferenças entre os grupos simplesmente olhando para um boxplot .

Não, você não pode. Se você tiver o tamanho da amostra e muita experiência, poderá adivinhar - e a precisão do seu palpite dependerá (além do tamanho do efeito) do tamanho da amostra. Se N = 1.000.000 por grupo, muita importância. Se N = 10 por grupo, não muito. Com 100 por grupo, é mais difícil adivinhar.

Eu diria que isso é uma coisa boa . O que se pode fazer com um gráfico de caixa não é tentar adivinhar a significância estatística, mas observar o que está acontecendo e tentar argumentar sobre isso. Hmm. Mais dormindo nos fins de semana. Isso é interessante, mas não é realmente surpreendente. Poderíamos modelar horas de sono em função do fim de semana versus não. Ou poderíamos tentar ver se esse padrão variava. Talvez as pessoas aposentadas não tenham esse padrão? E os trabalhadores em turnos? Pessoas que trabalham nos fins de semana? Pessoas que trabalham 7 dias por semana?

Como meu professor favorito na pós-graduação (Herman Friedman) costumava dizer: "Pare de investigar!"

Sim você pode. Pelo menos em um sentido aproximado.

Descrevo como abaixo (e, de fato, há uma relação com "sobreposição de caixa", como você sugere), juntamente com algumas advertências e limitações. Mas primeiro vamos discutir algumas preliminares para alguns antecedentes e contextos. (Eu acho que uma resposta apropriada aqui não deve se concentrar nos detalhes do exemplo - embora isso talvez mereça alguma menção como um aparte), mas na questão central do uso de boxplots para avaliar se diferenças aparentes podem ser facilmente explicadas como variação aleatória ou não .)

Se você tiver acesso aos dados, poderá desenhar boxplots entalhados, projetados para esse tipo de comparação visual.

Há uma discussão sobre cálculos de boxplot entalhados aqui . Se os intervalos de entalhe não se sobrepõem, os dois grupos comparados são aproximadamente diferentes no nível de 5%; os cálculos são baseados nos cálculos normais, mas são bastante robustos e têm um desempenho razoavelmente bom em várias distribuições. (Se for tratado como um teste formal, o poder não é tão alto no normal, mas deve funcionar muito bem em uma variedade de casos mais ou menos "típicos" de cauda mais pesada.)

Considerando como os boxplots entalhados funcionam, você pode discernir uma regra prática rápida que funcionará quando você tiver apenas uma exibição como a da pergunta. Quando o tamanho da amostra é 10 e a mediana é colocada perto do meio da caixa, os entalhes em um gráfico de caixa entalhado têm aproximadamente a largura da caixa, portanto as extremidades do entalhe e a caixa ficam aproximadamente no mesmo lugar.

Veja aqui a discussão sobre como surge uma regra prática " ".$n=10$

No entanto, você não precisa da mediana no meio da caixa para esta comparação; isso explica apenas como chegamos à regra. Embora tenhamos começado com boxplots entalhados e com um cálculo normal de um intervalo para a mediana, agora estamos apenas considerando a regra de "sobreposição de caixa" em e um nulo que (junto com outras suposições) resultaria em distribuições contínuas idênticas versus alguma alternativa que tenderia a separar as caixas (não necessariamente mudança de local puro, embora essa seja a alternativa mais fácil de interpretar).$n=10$

$n=9$$n=10$

$n=10$$n=10,10$$n=9,9$$n=8,8$

Outros tamanhos de amostra : Se você conhece os tamanhos das amostras, pode descobrir para onde os entalhes vão apenas no visor. Se você tiver um limite inferior nos tamanhos das amostras, poderá obter um limite superior nos locais dos entalhes. Mas mesmo se tudo o que você sabe é que é pelo menos 10, você pode rapidamente verificar se há sobreposição de caixa. A largura dos intervalos de entalhe é proporcional a para que você possa descobrir que em , os entalhes devem estar a meio caminho de cada quartil da mediana.$n$$\sqrt{n}$$n=40$

Olhando para o seu enredo:

Observe que, pela aparência do gráfico, podemos dizer que o tamanho da amostra deve ser pelo menos 5; se tivessem menos de 5, os gráficos de amostras individuais teriam pistas distintas de que eram de um tamanho de amostra menor (como medianas sendo o ponto morto de cada caixa ou o bigode sendo o comprimento 0 quando havia um valor externo).

Como alternativa, se as caixas (marcando os quartis) não se sobrepuserem e o tamanho da amostra for de pelo menos 10, os dois grupos comparados deverão ter medianas diferentes no nível de 5% (considerada uma comparação pareada).

Se você não sabe o 's, já que sabemos que os tamanhos de amostra deve ser de pelo menos 5, você só precisa fazer os intervalos um pouco maiores do que as caixas, especificamente, se você estender cada caixa cerca de 40% do distância da mediana e ainda não se sobrepõem, indicariam uma diferença significativa para - retornando aqui a um argumento do raciocínio do gráfico de caixas com entalhe em vez da base mais ampla que podemos discernir apenas comparando a caixa.$n$$n=5$

[Observe que isso não leva em consideração o número de comparações; portanto, se você estiver fazendo várias comparações, o erro geral do tipo I será maior. Destina-se a uma inspeção visual e não a testes formais; no entanto, as idéias envolvidas podem ser adaptadas a uma abordagem mais formal, incluindo ajustes para múltiplas comparações.]

Tendo abordado se você pode , seria razoável considerar se deveria . Talvez não; a questão dos possíveis hackers p é real, mas se você estiver usando isso para descobrir se, por exemplo, deve buscar coletar novos dados sobre a questão da pesquisa e tudo o que você tem é um boxplot em um artigo - digamos - pode ser bastante útil para poder avaliar se há mais do que poderia ser explicado facilmente pela variação devido ao ruído. Mas considerar essa questão em profundidade seria realmente responder a uma pergunta diferente.