Devemos ensinar curtose em um curso de estatística aplicada? Se sim, como?

17

Tendência central, expansão e assimetria podem ser definidas relativamente bem, pelo menos de forma intuitiva; as medidas matemáticas padrão dessas coisas também correspondem relativamente bem às nossas noções intuitivas. Mas a curtose parece ser diferente. É muito confuso e não combina bem com nenhuma intuição sobre a forma distributiva.

Uma explicação típica da curtose em uma configuração aplicada seria esse extrato das estatísticas aplicadas para negócios e gerenciamento usando o Microsoft Excel [ 1 ] :[1]

A curtose refere-se a quão alta é uma distribuição ou, inversamente, quão plana é. Se houver mais valores de dados nas caudas, do que o que você espera de uma distribuição normal, a curtose é positiva. Por outro lado, se houver menos valores de dados nas caudas do que o esperado em uma distribuição normal, a curtose é negativa. O Excel não pode calcular esta estatística, a menos que você tenha pelo menos quatro valores de dados.

Além da confusão entre "curtose" e "excesso de curtose" (como neste livro, é comum usar a palavra anterior para se referir ao que outros autores chamam de último), a interpretação em termos de "pico" ou "planicidade" é então atrapalhado com a mudança de atenção para quantos itens de dados estão nas caudas. Considerando "pico" e "caudas" é necessário - Kaplansky [ 2 ][2]Reclamou em 1945 que muitos livros didáticos da época afirmavam erroneamente que a curtose estava relacionada ao quão alto o pico da distribuição é comparado ao de uma distribuição normal, sem considerar as caudas. Mas claramente ter que considerar a forma no pico e nas caudas torna a intuição mais difícil de entender, um ponto que o extrato citado acima pula ao seguir do pico ao peso das caudas, como se esses conceitos fossem os mesmos.

Além disso, essa explicação clássica da curtose "pico e cauda" funciona apenas para distribuições simétricas e unimodais (de fato, os exemplos ilustrados nesse texto são todos simétricos). No entanto, a maneira geral "correta" de interpretar a curtose, seja em termos de "picos", "caudas" ou "ombros", tem sido contestada há décadas . [ 2 ][2][3][4][5][6]

Existe uma maneira intuitiva de ensinar a curtose em um ambiente aplicado que não atinja contradições ou contra-exemplos quando uma abordagem mais rigorosa é adotada? A curtose é mesmo um conceito útil no contexto desse tipo de curso de análise de dados aplicada, em oposição às aulas de estatística matemática? Se o "pico" de uma distribuição é um conceito intuitivamente útil, devemos ensiná-lo por meio de momentos L [ 7 ] ?[7]

Herkenhoff, L. e Fogli, J. (2013). Estatísticas aplicadas para negócios e gerenciamento usando o Microsoft Excel. Nova York, NY: Springer.[1]

Kaplansky, I. (1945). "Um erro comum em relação à curtose". Jornal da Associação Estatística Americana,40(230): 259.[2]

Darlington, Richard B (1970). "Kurtosis é realmente 'pico'?". The American Statistician24(2): 19–22[3]

Mouros, JJA. (1986) "O significado de curtose: Darlington reexaminado". The American Statistician40(4): 283–284[4]

Balanda, Kevin P. e MacGillivray, HL (1988). "Kurtosis: A Critical Review". The American Statistician 42(2): 111–119[5]

DeCarlo, LT (1997). "Sobre o significado e uso da curtose". Métodos psicológicos,2(3), 292. Chicago[6]

Hosking, JRM (1992). "Momentos ou momentos L? Um exemplo comparando duas medidas de forma distributiva". The American Statistician46(3): 186–189[7]

Silverfish
fonte
2
O que você quer dizer com currículos comuns? Ou seja, qual o nível de educação.
Gumeo 15/09/2015
5
O que exatamente você está ensinando sobre curtose? Esta questão é bastante vaga como é. Por favor, preencha agora como ele se encaixa nos seus currículos e talvez alguns exemplos intuitivos das medidas padrão com as quais você concorda que são contraditórios na curtose.
John John
3
Não acho que a medida do momento da curtose seja realmente muito diferente da distorção do momento a esse respeito. Nos dois casos, eles realmente não refletem o que as pessoas pensam que fazem e são menos intuitivos do que as histórias que as pessoas contam a si mesmas. Para cada contra-exemplo surpreendente que tenho sobre curtose, tenho outro sobre assimetria. Eu não removeria nenhum deles, mas reduziria a ênfase nas medidas de momento, as moveria depois e mudaria a maneira como elas são ensinadas, para que não conflitemos conceitos diferentes e não faça reivindicações que não se sustentam.
Glen_b -Reinstate Monica
3
Uma inclinação maior não implica uma cauda mais pesada na direção da inclinação. A assimetria zero não significa simetria (todos os momentos ímpares que zero não implica simetria). A simetria nem implica em distorção zero. Que intuições restam?
Glen_b -Reinstate Monica
3
Aqui está outra resposta com alguma discussão que tem uma classe interessante de exemplos. Existem alguns outros, mas não os vejo agora. Algumas das postagens do whuber também são úteis.
Glen_b -Reinstate Monica

Respostas:

18

A curtose é realmente muito simples ... e útil. É simplesmente uma medida de valores extremos ou caudas. Não tem nada a ver com o auge - essa definição deve ser abandonada.

Aqui está um conjunto de dados:
0, 3, 4, 1, 2, 3, 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 999

Observe que '999' é um erro externo.

Aqui está o valores z 4 do conjunto de dados:z4

0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00,0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 360,98

Observe que apenas o outlier dá que é notavelmente diferente de 0.z4

A média desses valores de 4 é a curtose da distribuição empírica (subtraia 3, se quiser, não importa para o argumento que estou argumentando): 18.05z4

Deveria ser óbvio a partir desse cálculo que os dados próximos ao "pico" (dados não-discrepantes) contribuem quase nada para a estatística da curtose.

A curtose é útil como uma medida de valores extremos. Os valores extremos são importantes para os alunos do ensino fundamental e, portanto, a curtose deve ser ensinada. Mas a curtose não tem praticamente nada a ver com o pico, seja pontudo, achatado, bimodal ou infinito. Você pode ter todas as opções acima com pequena curtose e todas as opções acima com grande curtose. Então deveria NUNCA ser apresentado como tendo algo a ver com o pico, porque isso ensinará informações incorretas. Também torna o material desnecessário confuso e aparentemente menos útil.

Resumo:

  1. curtose é útil como uma medida de caudas (outliers).
  2. a curtose não tem nada a ver com o pico.
  3. a curtose é praticamente útil e deve ser ensinada, mas apenas como uma medida de valores extremos. Não mencione o pico ao ensinar a curtose.

Este artigo explica claramente por que a definição de "pico" está agora oficialmente morta.

Westfall, PH (2014). " Kurtosis as Peakedness, 1905 - 2014. RIP " The American Statistician , 68 (3), 191–195.

Peter Westfall
fonte
4
Bem-vindo ao CV, espero que você fique por perto e contribua com mais no futuro! Editei sua postagem para incluir um link para o artigo e reformatei algumas anotações matemáticas. Espero que você não se importe. (Ao colocar matemática em um $exemplo $z^4$, é possível usar )LATEX
Silverfish
6

Embora a questão seja um pouco vaga, é interessante. Em que níveis é ensinada a curtose? Lembro-me de ter sido mencionado em um curso (de mestrado) em modelos lineares (há muito tempo, baseado na primeira edição do livro de Seber). Não era um tópico importante, mas entra em tópicos como o estudo da (falta de) robustez do teste da razão de verossimilhança (teste F) da igualdade de variâncias, onde (a partir da memória) o nível correto depende assintoticamente da mesma curtose que o distribuição normal, o que é demais para assumir! Vimos um artigo (mas nunca o li com detalhes) http://www.jstor.org/stable/4615828?seq=1#page_scan_tab_contents de Oja, que tenta descobrir qual distorção, curtose e outras medidas realmente.

Por que acho isso interessante? Como tenho ensinado na américa latina, onde parece que a assimetria e a curtose são ensinadas por muitos como tópicos importantes, e tentando dizer aos estudantes de pós-graduação (muitos da economia) que a curtose é uma má medida da forma de uma distribuição (principalmente porque a variabilidade de amostragem dos quartos poderes simplesmente é muito grande), foi difícil. Eu estava tentando fazê-los usar QQplots. Então, para alguns dos comentaristas, sim, isso é ensinado em alguns lugares, provavelmente em muito!

A propósito, essa não é apenas minha opinião. A seguinte postagem no blog https://www.spcforexcel.com/knowledge/basic-statistics/are-skewness-and-kurtosis-useful-statistics contém esta citação (atribuída ao Dr. Wheeler):

Em suma, assimetria e curtose são praticamente inúteis. Shewhart fez essa observação em seu primeiro livro. As estatísticas de assimetria e curtose simplesmente não fornecem nenhuma informação útil além daquelas já fornecidas pelas medidas de localização e dispersão.

Devemos ensinar técnicas melhores para estudar formas de distribuição! como QQplots (ou gráficos de distribuição relativa). E, se alguém ainda precisar de medidas numéricas, as medidas baseadas nos momentos L serão melhores. Vou citar uma passagem do artigo JR Statist Soc B (1990) 52, n. 1, pp 105--124 de JRM Hosking: "Momentos L: análise e estimativa de distribuição usando combinação linear de estatísticas de ordem", página 109:

λ1λ2μ(F)12σ1(F)τ3τ4

(No momento, refiro-me ao artigo para as definições dessas medidas, todas baseadas em momentos L.). O interessante é que, a medida tradicional de curtose, baseada em quartos momentos, é não uma medida de curtose no sentido de Oja! (Editarei as referências para essa reivindicação quando a encontrar).

kjetil b halvorsen
fonte
1
Não há problema com o uso de técnicas gráficas e outras para entender propriedades distributivas, mas a afirmação de que "assimetria e curtose são praticamente inúteis" é hipérbole. Ambos têm grandes efeitos em todos os tipos de inferência estatística.
Peter Westfall 12/12
@ Peter Provavelmente significava "curtose empírica" ​​nessa declaração.
Kjetil b halvorsen
1
Mesmo assim, a curtose empírica informa quando você tem um problema externo nos seus dados. Por isso, ainda acho que o comentário "distorção e curtose são praticamente inúteis" é exagero. Certamente, elas podem não ser grandes estimativas dos parâmetros da "população", especialmente com amostras menores, mas "praticamente inútil" é um exagero. Mesmo se eles não estimam os parâmetros da população particularmente bem, eles ainda fornecem informações descritivas úteis sobre o conjunto de dados existente. Informações que, é claro, devem ser complementadas por visualizações gráficas, como gráficos qq.
precisa
@ Peter Westfall: O verdadeiro Q talvez seja se a curtose empírica é a melhor medida para detectar problemas extremos ou se há algo melhor?
Kjetil b halvorsen
A curtose empírica mede o caráter outlier de um conjunto de dados, não os outliers individuais. Eu não chegaria ao ponto de dizer que curtose = 3 (como normal) significa "sem discrepâncias", mas eu diria que esse caso significa que o caracter discrepante (medido pelo valor-z médio, cada um levado para o quarto potência) é semelhante à de uma distribuição normal. Por outro lado, uma enorme curtose indica certamente um problema externo. Sim, gráficos qq normais são melhores para um diagnóstico mais refinado. Aliás, o gráfico qq normal e a curtose excessiva têm uma conexão matemática firme.
22418 Peter Westfall
3

Na minha opinião, o coeficiente de distorção é útil para motivar os termos: distorção positiva e distorção negativa. Mas é aí que para, se seu objetivo é avaliar a normalidade. As medidas clássicas de assimetria e curtose geralmente não conseguem capturar vários tipos de desvio da normalidade. Normalmente, aconselho meus alunos a usar técnicas gráficas para avaliar se é razoável avaliar a normalidade, como um gráfico de qq ou um gráfico de probabilidade normal. Também com uma amostra de tamanho adequado, um histograma também pode ser usado. Boxplots também são úteis para identificar valores extremos ou até caudas pesadas.

Isso está de acordo com as recomendações de uma força-tarefa de 1999 da APA:

" Suposições. Você deve se esforçar para garantir que as suposições subjacentes necessárias para a análise sejam razoáveis, dados os dados. Examine os resíduos cuidadosamente. Não use testes de distribuição e índices estatísticos de forma (por exemplo, assimetria, curtose) como um substituto para examinar graficamente seus resíduos. O uso de um teste estatístico para diagnosticar problemas no ajuste do modelo tem várias deficiências. Primeiro, testes de significância diagnóstica baseados em estatísticas resumidas (como testes de homogeneidade de variância) geralmente são impraticáveis; nossos testes estatísticos de modelos geralmente são mais robustos que nossos testes estatísticos de suposições. Segundo, estatísticas como assimetria e curtose geralmente não detectam irregularidades distributivas nos resíduos. Terceiro, os testes estatísticos dependem do tamanho da amostra e, à medida que o tamanho da amostra aumenta, os testes geralmente rejeitam suposições inócuas. Em geral, não há substituto para a análise gráfica de suposições."

Referência: Wilkinson, L., & Task Force on Statistical Inference. (1999). Métodos estatísticos em revistas de psicologia: Diretrizes e explicações. American Psychologist, 54, 594-604.

G. Lamothe
fonte
1

Dependendo de como o curso é aplicado, a questão da precisão das estimativas pode surgir. A precisão da estimativa de variância depende fortemente da curtose. A razão pela qual isso acontece é que, com alta curtose, a distribuição permite dados raros e extremos potencialmente observáveis. Assim, o processo de geração de dados produzirá valores muito extremos em algumas amostras, e valores não tão extremos em outras. No primeiro caso, você obtém uma estimativa de variação muito grande e, no último, uma estimativa de variação pequena.

Se a interpretação ultrapassada e incorreta do "pico" fosse eliminada, e o foco fosse inteiramente dado aos discrepantes (isto é, observáveis ​​raros e extremos), seria mais fácil ensinar a curtose nos cursos introdutórios. Mas as pessoas se enrolam tentando justificar o "pico" porque é (incorretamente) declarado dessa maneira em seus livros, e sentem falta das reais aplicações da curtose. Essas aplicações estão principalmente relacionadas a valores discrepantes e, é claro, os discrepantes são importantes nos cursos de estatística aplicada.

Peter Westfall
fonte
1
Você é o mesmo Peter Westfall que o autor da resposta mais votada neste tópico? Nesse caso, você pode mesclar seus perfis e editar diretamente sua resposta antiga em vez de postar outra resposta.
Ameba diz Reinstate Monica
1
Sim, desculpe por perder a netiqueta.
precisa
-1

Francamente, não entendo por que as pessoas querem complicar coisas simples. Por que não apenas mostrar a definição (roubada de Wikipedia ):

Kurt[X]=E[(X-μσ)4]=μ4σ4=E[(X-μ)4](E[(X-μ)2])2,

Você pode substituir o operador de expectativa por estimadores baseados em soma 1nEu=1n, claro. Ajuda a discutir as unidades de medida deμ,σ2,μ4e mostre por que o quarto momento deve ser escalado pelo quadrado da variação para tornar a curtose a medida adimensional, ou seja, um parâmetro de forma. Então, agora temos localizaçãoμ, escala σ2e qualquer número de parâmetros para descrever a forma, como inclinação e curtose. Eu sempre começaria com equações. Supostamente fácil de entender explicações em inglês comum apenas torna tudo mais confuso. Verbosidade clareza.

Aksakal
fonte
1
O problema é que, depois de obter a curtose, é muito pouco intuitivo o que significa (se é que existe alguma coisa). Não combina com qualidades úteis da distribuição.
Peter Flom - Restabelece Monica
Sim, a curtose combina com uma qualidade muito útil de uma distribuição - é uma medida do peso da cauda (valores extremos). Teoremas matemáticos de suporte, para os quais não há contra-exemplo: (i) a curtose está entre E (Z ^ 4 * I (| Z |> 1)) e E (Z ^ 4 * I (| Z |> 1)) + 1 , para todas as distribuições que tenham um quarto momento finito. (ii) para a subclasse de distribuições contínuas em que a densidade de Z ^ 2 está diminuindo em (0,1), a curtose está entre E (Z ^ 4 * I (| Z |> 1)) e E (Z ^ 4 * I (| Z |> 1)) + .5 e (iii) para qualquer sequência de distribuições com curtose tendendo ao infinito, E (Z ^ 4 * I (| Z |> b)) / curtose -> 1, para todo verdadeiro b.
precisa