O que os estatísticos fazem que não podem ser automatizados?

O software eventualmente tornará os estatísticos obsoletos? O que é feito que não pode ser programado em um computador?

@ Adam, se você pensa em pesquisadores estatísticos de maneira análoga a outros campos - pessoas que se baseiam na metodologia e no conhecimento existentes -, pode ficar mais claro que a resposta para sua primeira pergunta é 'Não'.

Os estatísticos que se sustentam com a simples aplicação de pacotes de software enlatados podem ser substituídos por computadores a cada passo, exceto escrevendo a seção de discussão de um artigo onde os resultados devem ser interpretados. Então, nesse sentido, sim - poderia ser automatizado (embora tivesse que ser um software complicado que possui um processador de linguagem natural).

No entanto, como a maioria dos pesquisadores descobre, as rotinas "enlatadas" que as pessoas costumam usar são bastante limitadas e devem ser modificadas (ou novos métodos devem ser desenvolvidos inteiramente) para responder a perguntas de pesquisa especializadas - é aqui que o aspecto humano da estatística é indispensável. . Ou, um pesquisador deve simplesmente se contentar com uma pergunta de pesquisa um tanto diferente, mas relacionada, que possa ser respondida usando métodos clássicos.

A maioria dos estatísticos que conheço trabalha em trabalhos de pesquisa (por exemplo, professores, cientistas de pesquisa), onde seu papel principal é o desenvolvimento de nova metodologia. Se esse processo pudesse ser automatizado, o que significa que um computador pode formular e desenvolver uma nova metodologia útil, receio que os pesquisadores de todos os campos sejam obsoletos.

Os computadores só tornarão os estatísticos obsoletos quando a IA forte tornar os seres humanos como um todo obsoletos.

A pergunta me lembra a pergunta sobre "Se existem todos esses métodos estatísticos robustos, por que as pessoas ainda usam outros métodos?" Parte da resposta é hábito e treinamento, mas grande parte é que a pergunta é ingênua: "robusta" não significa "você não precisa pensar e entender o que está fazendo", como a pergunta implica.

Quero dizer, você pode baixar o pacote de estatísticas R hoje e fazer qualquer técnica estatística básica ao anoitecer. Você pode então baixar alguns pacotes e começar a usar métodos tão esotéricos que a maioria de nós nem sequer ouviu falar deles. A pergunta é: você obteria respostas razoáveis? A resposta é provavelmente não.

Os algoritmos são automatizados, mas você ainda precisa fazer muitos julgamentos ao longo do caminho investigativo: do plano de ataque ao julgamento final de se os resultados realmente fazem sentido. Para chegar a esse ponto, você está realmente falando de computadores do tipo Star-Trek, onde pode dizer: "Computador, diga-me ...", momento em que praticamente toda vocação humana é obsoleta.

O que um estatístico pode fazer que um computador não pode? Escreva o programa original pelo qual eles são substituídos.

Além dessa resposta um tanto tola, a raiz da questão é ignorar a ciência real da estatística em favor de sua mecânica e descontar inteiramente o papel do processo criativo na análise estatística. Isto é, para usar o exemplo de carro de Peter Flom, como dizer que os carros são construídos usando rebites e soldas, então não há razão para que o novo Mustang não possa ser projetado por robôs de rebitagem e soldagem.

Uma quantidade enorme de estatísticas é envolvida em conhecimentos, solicitações de julgamento e criatividade no assunto. A análise "enlatada" executada a partir de um algoritmo geralmente não fornece a melhor resposta, e há inúmeros exemplos documentados em que o uso de métodos automatizados realmente fornece a resposta errada - ou pelo menos a resposta que você acha que está recebendo. O uso de procedimentos e seleção passo a passo de seleção de variáveis ​​com base em valor p baseados em quantis puramente numericamente definidos são dois com os quais estou mais familiarizado, mas tenho certeza que você pode encontrar muitos outros por aí.

Mesmo que tudo isso ainda tenha sido automatizado, existe a questão de interpretar os resultados. O trabalho do estatístico (ou cientista com inclinação estatística) não é concluído quando você obtém um coeficiente de regressão ou valor de p. O que significa esse achado ? Quais são as advertências? O que isso representa no contexto do que veio antes?

Finalmente, você tem o desenvolvimento de novos métodos. A estatística não é algo que foi simplesmente apresentado há muito tempo por pessoas cujos nomes reconhecemos - Fisher, Cox, etc. É um campo em evolução, e você não pode programar um novo método em um computador até que uma pessoa desenvolva o próprio método.

Outra maneira de interpretar essa pergunta pode ser: "o rápido aumento das técnicas estatísticas automatizadas nos últimos anos correspondeu à diminuição da demanda de empregos por estatísticos e analistas de dados dedicados?"

Podemos resolver essa questão olhando os dados

Dados cortesia do Indeed.com & blog revolutions

Eu não concordo inteiramente com a premissa da pergunta, ou seja, acho que não há como os computadores esperarem substituir os estatísticos, mas para dar um exemplo concreto do motivo pelo qual penso que:

O trabalho que os estatísticos fazem com os cientistas, particularmente no projeto e na interpretação de experimentos, requer não apenas uma mente humana, mas também uma inclinação filosófica que é inconcebível que os computadores possam mostrar.

A menos que acabemos em algum tipo de situação do tipo Skynet, é claro, nesse caso, acho que todas as apostas provavelmente estão fora do alcance do futuro de toda a humanidade, não importa apenas os estatísticos :-)

A pergunta sugere uma visão ingênua de um estatístico - que se trata de verificar se ap <0,05 e relatar alguns números e gráficos padrão. Se é isso que você quer dizer com estatístico, você está certo em sua implicação de que grande parte disso poderia ser totalmente automatizada. Mas não é isso que significa estatístico.

No entanto, defina seu termo estatístico e você poderá obter melhores respostas.

Carregar um pacote de estatísticas no seu computador não faz de você um estatístico, assim como comprar um carro faz você dirigir.

Mesmo que o estatístico apenas aplique rotinas "enlatadas", há muitas perguntas.

1. Qual rotina? Que rotina responderá às perguntas do cliente?
2. Com quais variáveis? e eles deveriam ser transformados? Alguns níveis devem ser combinados? Qual deve ser forçado a entrar em um modelo?
3. Com quais dados? Os outliers devem ser excluídos? Aparado? Talvez um método robusto?

e assim por diante.

Mas o trabalho começa muito antes do computador ser ligado e termina muito depois que o pacote estatístico é desligado.

Antes: O que o cliente deseja fazer? Muitas vezes, isso é muito trabalho! Quais dados o cliente possui? Oy vey! As variáveis ​​são rotuladas de V1 a V828171 Quais são quais? Qual é o estado da literatura? O que o cliente espera? Quão técnico deve ser?

Depois: O que significam resultados ? (e não apenas "isso significa que a regressão é significativa"). Como os resultados devem ser explicados ao cliente? Que outras questões os resultados levantam?

Acho que levará muito tempo até que os computadores possam fazer isso.

Estudos acadêmicos que analisam a probabilidade de automação de diferentes ocupações ou tarefas não pensam que estatísticos serão substituídos em breve por computadores. Veja, por exemplo, o controverso estudo de Frey e Osborne (2013) , que classifica as ocupações de acordo com a probabilidade de informatização; os estatísticos são classificados de baixo em 213 em 702, com uma probabilidade de 22% (ver tabela no apêndice). Se você ainda estiver interessado, consulte também o artigo Slate aqui .

Arntz et al. (2016) ( aqui um artigo do The Economist) analisam tarefas em vez de ocupações para a União Europeia e chegam a uma conclusão semelhante: Fazer "Matemática ou Estatística Complexa" está estatisticamente significativamente negativamente relacionado à automatização do trabalho (consulte a Tabela 3).

Mas é aconselhável cautela, pois nem sempre os acadêmicos e / ou economistas foram muito bons em prever o futuro (o ganhador do Nobel Robert Lucas, por exemplo, concluiu em 2003, alguns anos antes da crise financeira, que o "problema central da prevenção da depressão como foi resolvido, para todos os fins práticos, e de fato foi resolvido por muitas décadas. " ). Ambos os estudos parecem ser documentos de trabalho, que são amplamente discutidos, mas não foram publicados em periódicos padrão revisados ​​por pares.

Em relação ao debate acadêmico, aqui você encontra um artigo de visão geral sobre o estado das pesquisas sobre automação.

Eu acho que a IA só tornará os estatísticos mais inteligentes e competitivos. Por quê? Porque essa é a intenção da inteligência artificial desde a sua concepção, há muitas décadas ...