Sobre George Box, Galit Shmueli e o método científico?

16

(Essa pergunta pode parecer mais adequada para o Philosophy SE. Espero que os estatísticos possam esclarecer meus equívocos sobre as declarações de Box e Shmueli, por isso estou publicando aqui).

George Box (da fama do ARIMA) disse:

"Todos os modelos estão errados, mas alguns são úteis."

Galit Shmueli, em seu famoso artigo "Explicar ou prever" , argumenta (e cita outros que concordam com ela) que:

Explicar e prever não são os mesmos, e que alguns modelos fazem um bom trabalho de explicação, mesmo que façam um mau trabalho na previsão.

Eu sinto que esses princípios são de alguma forma contraditórios.

Se um modelo não prevê bem, é útil?

Mais importante, se um modelo explica bem (mas não necessariamente prevê bem), então deve ser verdade (isto é, não errado) de uma maneira ou de outra. Então, como isso se encaixa nos "todos os modelos estão errados" da Box?

Finalmente, se um modelo explica bem, mas não prevê bem, como é mesmo científico? A maioria dos critérios de demarcação científica (verificacionismo, falsificacionismo, etc ...) implica que uma afirmação científica precisa ter poder preditivo ou coloquialmente: uma teoria ou modelo está correto somente se puder ser empiricamente testado (ou falsificado), o que significa que precisa prever resultados futuros.

Minhas perguntas:

  • A afirmação de Box e as idéias de Shmueli são realmente contraditórias ou estou faltando alguma coisa, por exemplo, um modelo não pode ter poder preditivo e ainda assim ser útil?
  • Se as afirmações de Box e Shmueli não são contraditórias, o que significa um modelo estar errado e não prever bem, mas ainda assim ter poder explicativo? Em outras palavras: se alguém tira a correção e a capacidade preditiva, o que resta de um modelo?

Quais validações empíricas são possíveis quando um modelo tem poder explicativo, mas não poder preditivo? Shmueli menciona coisas como: use o AIC para explicação e o BIC para previsão, etc, ... mas não vejo como isso resolve o problema. Com modelos preditivos, você pode usar o AIC ou BIC, ou R2 ou L1 regularização, etc ... mas finalmente fora de testes e desempenho da amostra na produção é o que determina a qualidade do modelo. Mas para modelos que explicam bem, não vejo como alguma função de perda possa realmente avaliar um modelo. Na filosofia da ciência, existe o conceito de sub-determinaçãoo que parece pertinente aqui: para qualquer conjunto de dados, sempre é possível escolher criteriosamente alguma distribuição (ou mistura de distribuições) e a função de perda L forma que elas se ajustem aos dados (e, portanto, pode-se afirmar que o explicam). Além disso, o limiar em que L deve estar abaixo para que alguém afirme que o modelo explica adequadamente os dados é arbitrário (tipo de p-valores semelhantes, por que é p<0.05 e não p<0.1 ou p<0.01 ?).

  • Com base no exposto, como validar objetivamente um modelo que explica bem, mas não prevê bem, já que o teste fora da amostra não é possível?
Skander H. - Restabelecer Monica
fonte
Veja também uma pergunta relacionada: Paradoxo na seleção de modelos (AIC, BIC, para explicar ou prever?) .
Richard Hardy
3
Tanto quanto me lembro de Shmueli, para ela explicar bem significa acertar a forma funcional (mas possivelmente tem uma enorme imprecisão de estimativa quando se trata de parâmetros dessa forma funcional), enquanto prever boas maneiras de obter a troca de viés e variância direita (comprometimento da forma funcional para aumentar a precisão da estimativa). Além disso, a tag filosófica pode ser útil aqui.
Richard Hardy
1
Eu não acho que o "ou" precise ser exclusivo. Simplicidade e unificação são critérios de seleção não controversos para teorias de valor preditivo igual e, nesse caso, sacrificar a precisão por elas pode muito bem ser justificado em muitos contextos. O lema de Box reflete uma visão diferente da ciência, avançada, por exemplo, na Imagem Científica de van Fraassen (e voltando a Kant): é construir descrições adequadas / úteis do observado, não contar literalmente histórias verdadeiras sobre a "realidade" não observável. Adequação grosseira pode ser suficiente para muitas tarefas, e "o único modelo correto" pode muito bem ser uma invenção ingênua.
Conifold
2
@Conifold De fato, a análise de loop de sistemas causais complexos de Richard Levins (não um método estatístico, embora haja aplicações relacionadas diretamente a previsões estatísticas) sacrifica quase toda a precisão em favor do realismo do modelo (variáveis ​​e relações entre eles) e da generalidade (aplicabilidade dos resultados analíticos em um modelo para todas as variáveis ​​que compartilham a mesma estrutura causal). Ver Levins, R. (1966). A estratégia de construção de modelos em biologia populacional . American Scientist , 54 (4), 421-431.
Alexis19 /
(+1. Ainda espero encontrar tempo para postar uma resposta aqui ...)
ameba diz Reinstate Monica

Respostas:

9

Deixe-me começar com a citação expressiva de George Box, de que "todos os modelos estão errados, mas alguns são úteis". Esta afirmação é um encapsulamento da abordagem metodológica do "positivismo", que é uma abordagem filosófica que é altamente influente nas ciências. Essa abordagem é descrita em detalhes (no contexto da teoria econômica) no ensaio metodológico clássico de Friedman (1966) . Nesse ensaio, Friedman argumenta que qualquer teoria científica útil constitui necessariamente uma simplificação da realidade e, portanto, suas suposições devem sempre se afastar da realidade até certo ponto, e podem até se afastar substancialmente da realidade.em reduzir a complexidade do mundo a um conjunto gerenciável de princípios e sua precisão em fazer previsões sobre a realidade e gerar novas hipóteses testáveis ​​sobre a realidade. Assim, Friedman argumenta que "todos os modelos estão errados" na medida em que todos contêm suposições que simplificam (e, portanto, se afastam) da realidade, mas que "alguns são úteis" na medida em que fornecem uma estrutura simples para fazer previsões úteis sobre a realidade.

Agora, se você ler Box (1976) (o artigo em que ele afirma que "todos os modelos estão errados"), verá que ele não cita Friedman, nem menciona o positivismo metodológico. No entanto, sua explicação sobre o método científico e suas características é extremamente próxima da desenvolvida por Friedman. Em particular, os dois autores enfatizam que uma teoria científica fará previsões sobre a realidade que podem ser testadas com relação a fatos observados, e o erro na previsão poderá então ser usado como base para a revisão da teoria.

Agora, vamos à dicotomia discutida por Galit Shmueli em Shmueli (2001) . Neste artigo, Shmueli compara explicação causal e previsão de resultados observados e argumenta que essas são atividades distintas. Especificamente, ela argumenta que as relações causais são baseadas em construções subjacentes que não se manifestam diretamente em resultados mensuráveis ​​e, portanto, "dados mensuráveis ​​não são representações precisas de suas construções subjacentes" (p. 293). Ela argumenta, portanto, que há um aspecto da análise estatística que envolve inferências sobre relações causais subjacentes não observáveis ​​que não se manifestam em diferenças contrafactuais mensuráveis ​​nos resultados.

A menos que eu esteja entendendo algo errado, acho justo dizer que essa idéia está em tensão com as visões positivistas de Box e Friedman, como representado na citação de Box. O ponto de vista positivista diz essencialmente que não há "construções" metafísicas admissíveis além daquelas que se manifestam em resultados mensuráveis. O positivismo limita-se à consideração de dados observáveis ​​e conceitos construídos sobre esses dados; exclui a consideração de a prioriconceitos metafísicos. Assim, um positivista argumentaria que o conceito de causalidade só pode ser válido na medida em que é definido em termos de resultados mensuráveis ​​na realidade - na medida em que é definido como algo distinto disso (como Shmueli o trata), isso seria considerado especulação metafísica e seria tratado como inadmissível no discurso científico.

Então, acho que você está certo - essas duas abordagens estão essencialmente em conflito. A abordagem positivista usada por Box insiste que conceitos científicos válidos sejam inteiramente fundamentados em suas manifestações na realidade, enquanto a abordagem alternativa usada por Shmueli diz que existem algumas "construções" que são conceitos científicos importantes (que queremos explicar), mas que não podem estar perfeitamente representados quando "operacionalizados", relacionando-os a resultados mensuráveis ​​na realidade.

Restabelecer Monica
fonte
Exatamente!!! Shmueli parece estar contradizendo as definições mais positivistas (e falsificacionistas) do que é uma afirmação científica, e estou me perguntando se a intenção dela é realmente fazer uma afirmação filosófica tão ousada? ou se ela, como estatística, não está ciente de quão ousadas são suas declarações?
Skander H. - Reinstale Monica
Eu postei uma pergunta relacionada à filosofia SE , gostaria de pesar?
Skander H. - Reinstale Monica
1
Embora o positivismo e o pragmatismo compartilhem traços anti-realistas, a abordagem de Box é a última, e o positivismo não influencia as ciências pelo menos desde o final da década de 1960. É por isso que Box não menciona Friedman ou outros positivistas. O pragmatismo não se limita a dados observáveis ​​e não tem problemas com conceitos a priori ou construções metafísicas. Ele simplesmente não os vê como se aproximando da "realidade" e, portanto, visando recursos "corretos" exclusivos, eles podem ser plurais, dependentes de tarefas e revisáveis. As relações causais são tais construções, portanto não há conflito entre Box e Shmueli.
Conifold 14/06/19
Independentemente de Box ser pragmático, a citação específica que ele dá aqui é, na minha opinião, mais propícia ao positivismo do que ao pragmatismo. A última filosofia adota uma visão pluralista da metafísica, que sustenta que existem várias maneiras coerentes de conceituar a realidade e que todas elas são "verdadeiras" no sentido de serem conceituações úteis da realidade. Assim, o positivismo diria: "todos os modelos estão errados, mas alguns são úteis", enquanto a máxima do pragmatismo estaria mais próxima de "muitos modelos estão certos, porque são úteis".
Reponha Monica
A identificação de verdadeiro com útil é apenas um equívoco popular sobre o pragmatismo. Todos os modelos estão errados porque "certo" sugere que eles têm algo a que corresponder, o que os pragmáticos negam. E o princípio da tolerância, "os modelos têm razão desde que sirvam a um propósito", é devido a Carnap, o pai do positivismo lógico.
21919 Conifold
4

Um modelo, quando usado para explicar as coisas, é uma simplificação da realidade. Simplificação é apenas outra palavra para "errado de alguma maneira útil". Por exemplo, se arredondarmos o número 3,1415926535898 para 3,14, estaremos cometendo um erro, mas esse erro permite que os humanos se concentrem na parte mais importante desse número. É assim que os modelos são usados ​​para explicar, pois fornece insights sobre alguns problemas, mas, por necessidade, é preciso abstrair-se de muitas outras coisas: nós, humanos, não somos muito bons em analisar milhares de coisas simultaneamente. Se nos preocupamos principalmente com a previsão, queremos incluir essas milhares de coisas sempre que possível, mas explicar o compromisso é diferente.

Maarten Buis
fonte
1
"mas esse erro permite que os humanos se concentrem na parte mais importante desse número". isso faz sentido e me ajuda a entender o que "explicação" significa, mas também confirma meu argumento de que a explicação é mais um conceito artístico / estético do que científico. Com base em vocêπPor exemplo, considere também o seguinte: Uma nova técnica de redução de dimensionalidade permite plotar gráficos muito elegantes e intuitivos de dados de alta dimensão, o que é uma boa explicação, mas não há como avaliar objetivamente a precisão dessa técnica; seu valor é puramente subjetivo.
Skander H. - Reinstale Monica
1
@SkanderH. Na medida em que "gráficos elegantes e intuitivos" facilitam aplicações de engenharia ou o desenvolvimento de novas teorias, seu valor não é puramente subjetivo ou não científico, é pragmático. A unificação, o poder explicativo, a simplicidade e a coerência são amplamente reconhecidos como valores epistêmicos , e não estéticos . A escolha entre a teoria do éter de Lorentz e a relatividade especial foi feita com base nessas considerações, que são preditivamente equivalentes.
Conifold
3

Um exemplo de modelo que é excelente na previsão, mas não explica nada, é apresentado no artigo da Wikipedia " Todos os modelos estão errados ". O exemplo é o modelo de gravitação de Newton. O modelo de Newton quase sempre fornece previsões indistinguíveis de observações empíricas. No entanto, o modelo é extremamente implausível: porque postula uma força que pode agir instantaneamente em distâncias arbitrariamente grandes.

O modelo de Newton foi suplantado pelo modelo dado na teoria geral da relatividade de Einstein. Com a relatividade geral, as forças gravitacionais viajam pelo espaço em velocidade finita (a velocidade da luz).

O modelo de Newton não é uma simplificação do modelo relativista geral. Para ilustrar isso, considere uma maçã caindo de uma árvore. Segundo a relatividade geral, a maçã cai sem que a Terra exerça nenhuma força sobre a maçã. (A principal razão pela qual a maçã cai é que a Terra distorce o tempo, de modo que os relógios próximos à base da árvore correm mais lentamente do que os relógios mais altos da árvore.) Assim, como observa o artigo da Wikipedia, o modelo de Newton é completamente errado em termos de explicação. perspectiva.

O artigo de Shmueli [2010] pressupõe que há dois propósitos para um modelo: previsão e explicação. De fato, vários autores afirmaram que existem três propósitos (ver, por exemplo, Konishi & Kitagawa [ Critérios de Informação e Modelagem Estatística , 2008: §1.1] e Friendly & Meyer [ Análise de Dados Discretos , 2016: §11.6]). Os três propósitos correspondem aos três tipos de raciocínio lógico:

  • previsão (correspondente à dedução);
  • estimativa de parâmetros (correspondente à indução);
  • descrição da estrutura (correspondente ao sequestro).
Fase sólida
fonte
Dizer que o modelo de gravitação de Newton "não explica nada" é, francamente, ridículo. -1.
Ameba diz Reinstate Monica
ameba, o modelo de Newton não explica nada sobre como a gravitação funciona, sob a suposição de que a relatividade geral é precisa. Se uma maçã cair, o modelo de Newton postula que a Terra exerce uma força sobre a maçã e esse postulado é completamente falso. Peço que considere minha resposta ainda mais. Se você ainda não entende, diga-me o que não está claro.
fase sólida
O que você diz é bastante claro, mas eu discordo totalmente disso.
Ameba diz Reinstate Monica
ameba, peço que explique por que você discorda: você tem um motivo? (Note que eu adicionei uma sentença extra para a resposta.)
fase sólida
Obrigado. Vou procurar as referências que você menciona. Entendo como um modelo pode prever, mesmo que não explique. O que não entendo é a direção oposta: como um modelo pode explicar sem prever. Seus exemplos de Newton vs. Einstein apenas confundem tudo ainda mais: toda a razão pela qual a teoria de Einstein substituiu a de Newton foi porque ela previu melhor. Veja de outra maneira: se temos modelos explicativos concorrentes, como podemos avaliá-los, a menos que testemos qual deles tem o poder mais preditivo?
Skander H. - Restabelece Monica
1

Sou graduado em estatística, então não vou me chamar de especialista, mas aqui estão meus dois centavos.

Modelos não se explicam; os humanos os interpretam. Modelos lineares são mais fáceis de entender do que redes neurais e florestas aleatórias, porque estão mais próximos de como tomamos decisões. De fato, as RNAs imitam o cérebro humano, mas você não decide qual restaurante deve ir amanhã fazendo uma série de multiplicações de matrizes. Em vez disso, você pondera alguns fatores em sua mente por sua importância, que é essencialmente uma combinação linear.

"Poder explicativo" mede quão bem um modelo se dá bem com a intuição humana, enquanto "poder preditivo" mede quão bem ele se alinha com o mecanismo subjacente do processo de interesse. A contradição entre eles é essencialmente a lacuna entre o que o mundo é e como podemos percebê-lo / entendê-lo. Espero que isso explique por que "alguns modelos fazem um bom trabalho de explicação, mesmo que façam um mau trabalho na previsão".

Ian Stewart disse uma vez: "Se nossos cérebros fossem simples o suficiente para entendê-los, seríamos tão simples que não poderíamos". Infelizmente, nossos pequenos cérebros humanos são realmente muito simples em comparação com o universo, ou mesmo uma bolsa de valores (que envolve muitos cérebros :). Até agora, todos os modelos são produtos de cérebros humanos, por isso devem ser mais ou menos imprecisos, o que leva a "Todos os modelos estão errados" da Box. Por outro lado, um modelo não precisa ser tecnicamente correto para ser útil. Por exemplo, as leis do movimento de Newton foram refutadas por Einstein, mas continuam sendo úteis quando um objeto não é ridiculamente grande ou rápido.

Para responder à sua pergunta, sinceramente não vejo a incompatibilidade entre os argumentos de Box e Shmueli. Parece que você considera "poder explicativo" e "poder preditivo" como propriedades binomiais, mas acho que eles se situam nas duas extremidades de um espectro.

nalzok
fonte