Inferência para o leitor cético (mas não avesso à matemática)

14

Acabei de assistir a uma palestra sobre inferência estatística ("comparando proporções e médias"), parte de uma introdução ao curso on-line de estatísticas. O material fez tão pouco sentido para mim como sempre (agora eu já deveria ter visto esse material dezenas de vezes, espalhado nas últimas três décadas).

Estou procurando um livro sobre "Estatísticas básicas-101" (estimativa pontual, avaliação estimada, inferência estatística, teste de hipóteses, desenho de estudo) que leve a sério o problema de convencer um leitor cético ...

Abaixo, dou alguns exemplos do tipo de pergunta que o autor que estou procurando levaria a sério e saberia lidar de maneira convincente.

Mas, primeiro, permita-me salientar que neste post não estou fazendo essas perguntas. Por favor, não responda! Dou-lhes apenas exemplos, e como "teste decisivo" (para o tipo de autor de pesquisa).

  1. Se uma "proporção" é simplesmente a média de uma variável booleana (ou seja, que aceita apenas os valores 0 e 1), por que diferentes procedimentos são ensinados para fazer inferência estatística com "proporções" e com "meios"?

  2. Se a distribuição normal é tão robusta que, assumindo a normalidade, obtém bons resultados, mesmo nos casos em que esses dados não são normalmente distribuídos normalmente, e se a distribuição t é tão normal, por que todo o barulho de usar a distribuição t em vez de normal?

  3. O que exatamente são "graus de liberdade" e por que nos preocupamos com eles?

  4. O que significa falar do valor "verdadeiro" de um parâmetro, considerando que estamos apenas usando distribuições que parecem semelhantes aos dados?

  5. Por que a "análise exploratória de dados" é uma coisa boa, enquanto a "espionagem de dados" é uma coisa má?

Como já disse, fico impressionado com a atitude implícita na negligência de tais perguntas. Não é a "postura epistemológica" que quero ver em alguém que está me ensinando alguma coisa. Procuro autores que respeitem o ceticismo e a racionalidade do leitor e que sabem como abordá-los (sem necessariamente entrar em páginas e páginas de formalismos e detalhes técnicos).

Percebo que essa é uma tarefa difícil, e talvez especialmente quando se trata de estatística. Portanto, não espero que muitos autores tenham conseguido. Mas no momento eu ficaria satisfeito em encontrar apenas um .

Deixe-me acrescentar que não sou avesso à matemática. Pelo contrário, eu amo matemática. (Estou acostumado com a análise [aka "cálculo avançado"], álgebra linear, teoria das probabilidades e até teoria básica das medidas.)

Dito isto, meu interesse no momento está nas estatísticas "aplicadas", "práticas", "cotidianas" e "do mundo real" (em oposição às sutilezas teóricas). (Mas também não quero um livro de receitas!)

FWIW, li os primeiros capítulos da análise de dados usando modelos de regressão e modelos multiníveis / hierárquicos de Gelman e Hill, e gosto do tom dos autores. Seu foco é prático, mas entre na teoria quando necessário. Eles também costumam recuar e avaliar criticamente as práticas padrão, e oferecem opiniões sinceras que apelam ao bom senso de um leitor cético. Infelizmente, esses autores não escreveram um livro dedicado ao assunto sobre o qual estou perguntando neste post (material "Estatísticas 101", como descrito acima). Também estou ciente de que um desses autores (Gelman) foi co-autor da análise de dados Bayesiana, altamente conceituada , mas, novamente, não é isso que estou procurando no momento.

EDITAR:

Dikran Marsupial levanta a seguinte objeção:

Eu não acho que exista necessariamente algo errado em negligenciar as perguntas; chega um momento em que abordar todas as questões diminui a exposição dos conceitos básicos que geralmente são mais importantes (especialmente em um livro sobre estatísticas 101).

Eu concordo com isso. Seria mais preciso dizer que estou procurando uma "segunda olhada nas estatísticas básicas". De fato, com essa motivação, observei os livros didáticos usados ​​nos cursos de graduação em inferência (por exemplo) e descobri que eles também negligenciavam questões como as que eu listei. Na verdade, eles pareciam ainda menos inclinados a se aprofundar em tais questões (para que pudessem se concentrar em assuntos como as condições para alguma convergência ou outra disso ou daquilo ...).

O problema é que os livros mais avançados são dirigidos a uma população radicalmente diferente de leitores, onde o "ceticismo do forasteiro" foi drasticamente esgotado. IOW, aqueles que estão fazendo estatísticas no nível da pós-graduação já passaram do ponto de se incomodarem com as perguntas que me incomodam. Eles não estão mais céticos sobre nada disso. (Como eles superaram a crise de ceticismo? Talvez alguns nunca tenham sido muito críticos em primeiro lugar, especialmente se eles aprenderam suas estatísticas bem cedo - eu sei que eu não era um calouro particularmente crítico, por exemplo, embora eu não tenha faça estatísticas. Outros podem ter professores que informaram onde seus livros ficaram aquém. Alguns podem ter sido espertos o suficiente para descobrir por si próprios as respostas a essas perguntas. Quem sabe.)

kjo
fonte
2
A maioria dessas perguntas - as que não devemos responder - já tem boas respostas no CV. Algumas dessas perguntas ainda têm respostas bastante triviais. Mas existem milhares de perguntas que as pessoas surgem durante qualquer tópico - você nunca encontrará uma explicação que cubra todas as perguntas possíveis, nem uma que antecipa apenas as perguntas específicas que você tem enquanto assiste ou lendo. Bem, você pode acertar um ou dois por acaso, mas no geral é um padrão impossível. Por que não fazer as perguntas à medida que elas surgem? Em um site que responde perguntas?
Glen_b -Reinstate Monica
2
Eu direi que perguntas semelhantes surgem quando as pessoas fazem estatísticas (e alguns livros respondem a algumas delas), mas a maioria delas não são questões reais relacionadas ao ceticismo - na maioria são perguntas simples de compreensão. por exemplo, "o que são graus de liberdade e por que nos importamos" não é cético, está pedindo clareza de explicação e motivação. As razões pelas quais usuários avançados de estatística não se preocupam com isso são porque eles já entendem por que são tão valiosos.
Glen_b -Reinstate Monica

Respostas:

6

Você já tem boas sugestões. Aqui estão mais alguns. Primeiro, dois blogs que eu leio esporadicamente e onde perguntas como você se pergunta são discutidas algumas vezes. Como são blogs, você pode até fazer perguntas e obter respostas muito boas! Lá vem eles:

http://andrewgelman.com/ (Andrew Gelman)

http://errorstatistics.com/ (Deborah Mayo)

E alguns livros que acho que irão ajudá-lo: Box, Hunter & Hunter: Estatísticas para experimentadores.

Como o título diz, este é um ("primeiro", mas realmente, muito ... segundo) curso para pessoas que gostariam de projetar seus próprios experimentos e analisá-los. Muito alto na parte "por que".

Então: DR Cox: Principles of Statistical Inference, outro livro muito bom sobre o "por que" e não o "como".

E, como você pergunta por que os meios e as proporções são tratados de maneira diferente, aqui está um livro que não faz isso: http://www.amazon.com/Statistics-4th-David-Freedman/dp/0393929728/ref=sr_1_1?s = livros & ie = UTF8 & qid = 1373395118 & sr = 1-1 & palavras-chave = freedman + statistics

Pouco em matemática, alto em princípios.

kjetil b halvorsen
fonte
8

Duvido que exista um único livro que seja adequado a você, pois as pessoas tendem a ser céticas quanto a coisas diferentes, e os livros são escritos para um público-alvo, e não para indivíduos. Essa é uma das coisas boas de ser ensinado por uma pessoa, e não apenas um livro, que você pode fazer perguntas à medida que avança. Isso é algo bastante difícil de fazer em um texto linear.

Eu não acho que exista necessariamente algo errado em negligenciar as perguntas; chega um momento em que abordar todas as questões diminui a exposição dos conceitos básicos que geralmente são mais importantes (especialmente em um livro sobre estatísticas 101).

Suspeito que a melhor abordagem é obter um bom livro e procurar a resposta para perguntas não respondidas em outros lugares. Eu tenho uma estante cheia de textos estatísticos na minha frente, simplesmente porque nenhum deles isoladamente é tudo o que eu preciso (nem mesmo o livro de Jaynes; o).

Para o iniciante, acho que o livro de Grant Foster "Understanding Statistics" é um bom ponto de partida, mas suspeito que seja bastante básico nesse caso.

Dikran Marsupial
fonte
1
"Eu não acho que exista necessariamente algo errado em negligenciar as perguntas ..." Eu acho que essa é uma objeção justa; Adicionei uma edição à minha postagem para corrigi-la.
KJo
7

XΘXΘΘXtXΘ

zen
fonte
5
+1 uma grande parte da razão pela qual os procedimentos estatísticos parecem questionáveis ​​é porque eles são contra-intuitivos e uma apreciação histórica de como as estatísticas acabaram do jeito que são, provavelmente é uma boa abordagem para o cético.
Dikran Marsupial
2
@DikranMarsupial: De fato, li "A história das estatísticas", de Stigler, precisamente para entender as minhas dificuldades com estatísticas. E isso ajudou alguns. Infelizmente, deixa de fora a maior parte da era Fisher vs Neyman, quando (suspeito) muita da perversidade bizarra surgiu. Tentei cerca de 50 páginas do livro de Hald, mas achei suas derivações impossíveis de seguir: elas eram claramente dirigidas a leitores com significativa experiência estatística ... Vamos pensar nisso, acho que um livro dirigido ao leigo educado e intitulado "Por que as estatísticas são tão estranhas? " venderia bem ... :)
kjo 9/07
4
IMHO, a contra-intuitividade das estatísticas é anterior à era de Fisher vs Neyman (embora a intuitividade não implique utilidade ou vice-versa). Os livros de Ian Hacking podem valer a pena tentar, gostei de "O surgimento da probabilidade". Acho estatísticas bayesianas muito mais fáceis de entender conceitualmente do que estatísticas freqüentistas, mas muito mais difíceis de executar na prática. Compreender as diferenças entre as abordagens bayesiana e freqüentista me ajudou muito a entender a abordagem freqüentista.
Dikran Marsupial
1
Obrigado, vou verificar Hacking. Seus livros estão à minha vista há muito tempo, embora eu tenha adiado a leitura dele pensando que ele estava mais centrado na filosofia da teoria das probabilidades (um assunto que acho fascinante por si só). Dito isso, reconheço que pelo menos alguns dos meus problemas com as estatísticas interferem na interpretação da probabilidade, portanto, talvez a leitura de Hacking resolva pelo menos algumas das minhas objeções.
9133 kjo
2
@kjo Eu li a Lógica da Inferência Estatística de Hacking e achei muito 'filosófico' - ele estava com a ideia de probabilidade como 'suporte' e desceu Neyman-Pearson, mas continuou com exemplos simples - não discutiu parâmetros incômodos, inferência de parâmetro ou qualquer coisa complicada (a menos que eu tenha esquecido). Vale a pena ler, certamente, mas não recomendo.
Scortchi - Reinstate Monica
6

Abelson (1995), Estatística como argumento de princípios é introdutório e tem uma visão interessante de algumas das perguntas que frequentemente confundem os alunos.

Mas talvez você só precise ler alguns livros sobre estatística teórica (ignorando todo o material sobre convergência, espaços métricos etc.) e, mesmo que eles não respondam especificamente a perguntas como os seus exemplos, você poderá responder a maioria das perguntas. você mesmo e procure o resto, como sugere @Dikran.

Sugeri em outro tópico a leitura de Cox & Hinkley, Estatística Teórica ou Cox, Princípios de Inferência Estatística, juntamente com Casella & Berger, Inferência Estatística , para entender as diferentes perspectivas existentes.

Scortchi - Restabelecer Monica
fonte
1
Achei interessante, mas não acho que esteja no nível esperado pelo OP.
Gala
@ Gael Você provavelmente está certo, especialmente em vista da edição.
Scortchi - Reinstate Monica