Usando simulações em computador para entender melhor os conceitos estatísticos no nível de pós-graduação

11

Olá, estou fazendo um curso de pós-graduação em estatística e abordamos estatísticas de testes e outros conceitos.

No entanto, muitas vezes sou capaz de aplicar as fórmulas e desenvolver uma espécie de intuição sobre como as coisas funcionam, mas muitas vezes fico com a sensação de que talvez se eu apoiasse meu estudo com experimentos simulados, desenvolvesse melhor intuição para os problemas em questão. .

Então, eu tenho pensado em escrever simulações simples para entender melhor alguns dos conceitos que discutimos em aula. Agora eu poderia usar o Java para:

  1. Produzir uma população aleatória com média normal e desvio padrão.
  2. Depois, pegue uma pequena amostra e tente calcular empiricamente os erros do Tipo I e do Tipo II.

Agora, as perguntas que tenho são:

  1. Essa é uma abordagem legítima para desenvolver a intuição?
  2. Existe software para fazer isso ( SAS?, R?)
  3. é uma disciplina em estatística que lida com essa programação: estatística experimental ?, estatística computacional? simulação?
user1172468
fonte
1
Eu uso simulação o tempo todo para tentar entender melhor o que está acontecendo. Você pode usar praticamente qualquer linguagem de programação ou programa estatístico para fazer esses tipos de experimentos (até o Excel).
John
1
+1, simulações e figuras são duas das técnicas mais úteis para criar intuição. Eu os usei normalmente para ajudar os outros e eu mesma a entender as coisas. Existem muitas respostas para perguntas do currículo que usam sims para ilustrar coisas. Se você quiser alguns links, eu poderia facilmente listar algumas das minhas respostas que usaram sims dessa maneira. Você também pode fazer uma pergunta aqui no CV nesse sentido; por exemplo, 'Estou tentando entender _____, mas estou tendo dificuldades, alguém pode fornecer uma explicação com um sim que tornará isso mais claro?' ou "Eu fiz esse simulador e sugere que funciona dessa maneira, certo?"
gung - Restabelece Monica
4
Em um esforço para atender aos altos padrões e expectativas deste site, uso simulação (bem como derivações e ilustrações teóricas) em todas as respostas que possam se beneficiar. Uma grande fração das minhas respostas recentes incluirá alguma forma de simulação, especialmente quase qualquer resposta a uma pergunta com a tag r . Por exemplo, você pode consultá-los na página de pesquisa, se estiver interessado.
whuber
2
Você encontrará muitos ótimos analisando as respostas do @ whuber. Como minhas respostas (e habilidades de programação) tendem a ser menos sofisticadas, elas podem dar um bom primeiro passo. Eu uso um sim para mostrar que é difícil usar o ajuste do modelo para escolher o melhor link em um GLiM aqui: diferença entre modelos de logit e probit . Aqui, uso um sim para mostrar como a energia cai à medida que os tamanhos dos grupos se tornam desiguais no teste t: como interpretar a comparação de médias de diferentes tamanhos de amostra .
gung - Restabelece Monica
2
Esta pergunta do CV: explicação da simulação estatística , também pode ser de interesse para os leitores deste tópico.
gung - Restabelece Monica

Respostas:

7

Gostei da sua pergunta, mas não tenho respostas específicas para 2 e 3? Eu imagino que pacotes de software como SAS (falando amplamente de produtos SAS e não apenas SAS / STAT) podem ter ferramentas que facilitam a simulação, mas não posso dizer com certeza. Não acho que esse tipo de coisa se encaixe como um ramo da matemática ou da estatística.

Agora, a questão 1 é o que eu gostaria de focar. A simulação pode ajudar no aprendizado de estatísticas em todos os níveis e na pesquisa estatística em geral. De fato, existem periódicos focados em simulação e computação. Até o FDA reconhece a imprudência da simulação ao projetar ensaios clínicos e ajudar a prever resultados.

Na década de 1960, Julian Simon ensinou estatística introdutória usando a simulação como motivador. Embora controverso, ele afirmou mais tarde que estava realizando uma reamostragem (permutação e inicialização) antes de Efron. Ele publicou um livro usando essas idéias em 1969. Certamente faltava a teoria e era apenas um auxílio didático e não uma nova abordagem para a estimativa estatística. Ele não desenvolveu nenhuma das propriedades matemáticas que vieram com e depois de Efron.

Eu acho que para as estatísticas introdutórias é útil fazer simulação para demonstrar distribuições de amostras, mostrar como o teorema do limite central surge e a simulação física através do quincunx demonstra a versão DeMoivre - Laplace do teorema do limite central.

Às vezes, aumenta a intuição. Penso que o problema de Monty Hall é intrigante e aparentemente paradoxal, mesmo para matemáticos como Paul Erdos. Mas simular o jogo geralmente é muito convincente. Existem muitos problemas de probabilidade que são contra-intuitivos e a simulação pode, acho que ajuda.

Em 1978, quando estava trabalhando no meu doutorado em teoria dos valores extremos, tive uma idéia intuitiva para um teorema do limite que estava tentando provar. Eu lutei com a matemática. Decidi simular o processo estocástico e a simulação "confirmou" meu resultado. Isso me deu a confiança necessária para provar isso.

Portanto, mesmo no nível de pós-graduação e além da simulação, pode ser útil de duas maneiras.

  1. Para ajudar a desenvolver a intuição, como você sugere na pergunta 1, mas também

  2. Para confirmar a intuição como fiz na minha tese

Michael R. Chernick
fonte
Eu encontrei alguém que tenha abordado o problema Monty Hall, em SAS e R aqui sas-and-r.blogspot.com/2010/01/... - desfrutar
user1172468
Susan Holmes, da Universidade de Stanford, colocou a simulação do jogo Monty Hall em seu site há vários anos. Obrigado por nos lembrar @ user1172468 de que muitas pessoas podem e provavelmente estão colocando simulações em sites teóricos.
Michael R. Chernick
Problema de Monty Hall com R (muito fácil de seguir): bodowinter.com/tutorial/bw_doodling_monty_hall.pdf
vasili111
8
  1. Sim. Afinal, é sobre a sua intuição.
  2. R combina com você. A codificação será bastante fácil para você, se você já conhece o Java (ou qualquer outra "linguagem de programação padrão").
  3. A estatística computacional lida com o design de algoritmos para a implementação de métodos estatísticos, provavelmente esse é o mais próximo do que você tenta descrever aqui.

Divirta-se com o seu curso!

usεr11852
fonte
Eu acho que sua resposta complementa a minha. Dei uma resposta detalhada a 1 e você forneceu uma resposta mais definitiva para 2 e 3. Parece que você está respondendo a uma pergunta dentro de alguns minutos da minha. Provavelmente nos sobrepusemos. De qualquer forma, você deu 2 boas respostas e eu te dei votos por eles!
Michael R. Chernick
Obrigado pelo polegar para cima! Parece que você está um passo à minha frente em responder. :)
usεr11852
Continue respondendo. Eu vou descansar. Eu já atingi meu limite diário de representantes.
Michael R. Chernick
Gente, achei as duas respostas boas. Eu selecionei a resposta de @ Michael porque só posso selecionar uma resposta correta e me senti em abordar algumas das questões mais fundamentais em questão.
user1172468
1
@ user1172468 Você realmente não precisa explicar, mas é bom que você fez.
Michael R. Chernick
4

O pacote TeachingDemos para R nasceu de um processo de pensamento semelhante ao seu, tentando visualizar e entender os conceitos de maneiras diferentes. Existem funções no pacote que usam simulação para ajudar no entendimento de alguns conceitos-chave. A versão do desenvolvimento (R-forge, mas ainda não no CRAN) inclui uma função "simfun" que pode ser usada para criar funções de simulação para ajudar ainda mais nas simulações.

Greg Snow
fonte
1
Já no CRAN: cran.r-project.org/package=TeachingDemos
vasili111
1
Também lista de outros Ensino e ligações de aprendizagem para as estatísticas com R: cran.r-project.org/web/views/TeachingStatistics.html
vasili111