Os especialistas são prejudiciais?

15

Estou lendo "O Papel do Xadrez na Pesquisa em Inteligência Artificial" ( pdf ) e, curiosamente, ele diz:

A experiência sugere [...] que contribuições de especialistas em xadrez, embora geralmente úteis, não podem ser totalmente confiáveis.

Um bom exemplo disso é a função de avaliação do Deep Thought. Várias mudanças feitas por especialistas em xadrez humano não conseguiram melhorar significativamente e, ocasionalmente, até afetavam negativamente o desempenho da máquina.

Aqui, especialistas humanos, juntamente com seus conhecimentos, introduziram seus próprios preconceitos no programa. Uma maneira de resolver esse problema é limitar o tipo e a quantidade de entradas especializadas permitidas no programa; em outro ter uma máquina quase "sem conhecimento".

  • Quão verdadeiro é isso na pesquisa e na prática modernas?
  • Isso é um grande problema, ou apenas algo específico para o jogo de xadrez?
andreister
fonte
3
há uma citação famosa para esse efeito na PNL. Algo
parecido com
3
A resposta de Atilla está amplamente correta (com a qualificação que forneço como comentário), mas pensei em observar brevemente que, no caso específico do xadrez, foi demonstrado que o Pensamento Profundo joga xadrez de maneira muito diferente dos especialistas em xadrez. O Pensamento Profundo calcula explicitamente muitos movimentos com antecedência. Os especialistas calculam apenas alguns movimentos, mas também empregam o atalho computacional para lembrar jogos e resultados experimentados anteriormente. Essa lembrança se manifesta através do reconhecimento implícito de padrões que sobrepõe uma experiência afetiva ao jogo (certos movimentos "parecem certos").
Mike Lawrence

Respostas:

11

Eu acho que isso é mais sobre solução de problemas de engenharia. Os projetos de engenharia mais bem-sucedidos não duplicam o raciocínio de especialistas ou a natureza do especialista exatamente. Eles resolveram o problema de uma maneira diferente.

Por exemplo, as máquinas de lavar usam uma técnica diferente da humana, os aviões usam dinâmicas diferentes das aves.

Se você estiver duplicando o raciocínio especializado, a entrada deles é tudo . Mas se você estiver resolvendo o mesmo problema usando técnicas diferentes (pesquisa rápida, memória enorme ...), a entrada deles só será útil .

Atilla Ozgur
fonte
Embora eu concorde com você, esse raciocínio parece óbvio demais, desculpe :) No artigo, eles dizem que os especialistas "introduziram seus próprios preconceitos", o que parece um pouco mais do que mal-entendidos na implementação.
andreister
É claro que eles dão opiniões boas e ruins, uma vez que veem o mundo à sua maneira, o que é muito diferente da visão do computador.
Atilla Ozgur
7
Eu acrescentaria que é preciso considerar que o conhecimento é frequentemente tão automatizado que se torna opaco ao exame consciente. Portanto, os especialistas geralmente deixam de ter conhecimento verbalizável das etapas de processamento de informações que estão adotando para obter desempenho especializado.
Mike Lawrence
3

Tais questões são comuns em várias áreas que requerem julgamento.

O capítulo " Previsão e ajustes de julgamento " em Makridakis, Wheelwright e Hyndman Forecasting: Métodos e aplicações tem histórias semelhantes de julgamento de especialistas com desempenho insuficiente, às vezes até em sistemas muito simples.

Há um artigo (Dawes et al (1989) "Clinical vs Atuarial Judgement" Science , Vol. 243, n. 4899, p1668-74) sobre as falhas do julgamento de especialistas na área médica contra o que chama de métodos "atuariais" - basicamente bastante simples modelos estatísticos.

Por outro lado, há um artigo na literatura atuarial sobre o 'barulho' e a inconsistência do julgamento de especialistas em um problema específico naquela área em que o julgamento de especialistas é frequentemente considerado por seus praticantes como de suma importância.

Makridakis et al discutem falhas de julgamento de especialistas em muitas áreas, relacionadas à previsão, e contêm conselhos valiosos.

E assim por diante. Os vieses cognitivos são abundantes e os especialistas humanos sofrem deles, juntamente com todos os outros.

Glen_b -Reinstate Monica
fonte
3

A questão de saber se os especialistas são ou não prejudiciais certamente não é um problema restrito ao jogo de xadrez.

Uma questão interessante na literatura sobre o design ideal dos comitês de política monetária (MPC) é se os comitês devem ou não incluir especialistas externos que não sejam funcionários em tempo integral do banco central.

Para colocar isso em perspectiva, primeiro considere o MPC do Banco da Inglaterra. É composto por cinco membros executivos internos do banco e quatro especialistas externos. Por outro lado, o Federal Reserve Bank emprega um comitê composto exclusivamente por funcionários do banco.

Membros especialistas externos estão incluídos no MPC do Banco da Inglaterra, pois acredita-se que eles tragam conhecimento e informações extras àquelas obtidas no Banco da Inglaterra.

Então, qual projeto de MPC é melhor? Especialistas ou especialistas?

Bem, essa área de pesquisa ainda está ativa e foi investigada recentemente por Hansen & McMahon (2010) . Sugiro consultar as referências mencionadas neste artigo para uma leitura mais aprofundada sobre esta questão dos "comitês de especialistas".

Esse é um grande problema (importante)? Levando em consideração os efeitos que a decisão de um MPC pode ter para a economia, eu diria que este é um problema muito importante!

Por fim, devo mencionar que as decisões de política monetária podem, em teoria, ser delegadas a um computador. Por exemplo, o computador pode ser programado para implementar, digamos, uma regra simples de política monetária ; por exemplo, um compromisso. Isso removeria informações especializadas depois que a regra de política monetária fosse programada no computador. O uso do computador na política monetária é mencionado em Svensson (1999) .

Referência : Stephen Eliot Hansen e Michael McMahon, 2010. "O que especialistas externos trazem para um comitê? Evidências do Banco da Inglaterra", Documentos de Trabalho sobre Economia 1238, Departamento de Economia e Negócios, Universitat Pompeu Fabra.

Lars EO Svensson, 1999. "Como a política monetária deve ser conduzida em uma era de estabilidade de preços?", Anais do Federal Reserve Bank de Kansas City, páginas 195-259.

Graeme Walsh
fonte
3

Eu acho que a chave é consistência. O especialista não possui apenas um conhecimento particular, mas um sistema no qual esse conhecimento opera. Eles têm uma persona, uma estratégia geral, dentro da qual suas táticas residem e evoluem.

Em certo sentido, um programa de computador jogando xadrez é um monstro de Frankenstein criado a partir de uma mistura de vários corpos (programadores, especialistas, etc.). Portanto, não surpreende que o conselho de um especialista não se encaixe bem com o sistema existente.

Concordo com outros comentários de que os especialistas podem não saber como fazem o que fazem. Nesse caso, sendo humano, sua mente consciente cria uma história plausível sobre o motivo pelo qual eles chegaram a uma decisão específica. Mas ainda acho que a consultoria especializada para a equipe de programação está sempre fora de contexto (ou seja, inconsistente com o contexto do design e histórico do programa).

EDIT: Também pode haver um viés de reforço aqui. Não consigo encontrar bons links para explicar o viés de reforço, mas a maneira como entendo o termo é o efeito que você obtém ao atualizar (reajustar) um modelo supervisionado usando os resultados anteriores do modelo - geralmente indiretamente - como destinos. É semelhante ao viés de confirmação, mas envolve um nível de indireção. Especialistas humanos teriam seus vieses de reforço, o que poderia afetar as coisas.

Wayne
fonte
Não sei se entendi sua última frase, o que parece ser um ponto interessante. Você poderia elaborar?
23712 Michelle
@ Michelle: O programa que esperamos melhorar com o conselho de um especialista já tem seu próprio contexto (design original, programadores, especialistas anteriores, etc.). O conselho que estamos tentando incorporar vem de um contexto diferente e pode não funcionar bem - pode nem ser consistente com - o contexto que o programa já possui. Minha última declaração foi uma tentativa de dizer que é realmente improvável que novas informações funcionem no contexto (do programa) já estabelecido.
23712 Wayne Wayne