Existe um forte argumento de que o instinto de sobrevivência é um pré-requisito para criar uma AGI?

11

Essa questão decorre de várias fontes "informais". Filmes como 2001, A Space Odyssey e Ex Machina ; livros como Destination Void (Frank Herbert) e outros sugerem que a inteligência geral quer sobreviver e até aprender a importância disso.

Pode haver vários argumentos para a sobrevivência. Qual seria o mais proeminente?

agi Eric Platon
fonte
@DukeZhou Você teria documentos públicos sobre o assunto?
quer
11
Ainda não. (Vai ser um processo longo, pois nosso ciclo de desenvolvimento é muito lento. Eu provavelmente também não deveria ter mencionado a AGI nesse contexto, porque o que realmente estou vendo é mais uma função de utilidade generalizada que mitiga riscos, não um super-inteligência!) Queria atualizá-lo, mas provavelmente é melhor se eu excluir o meu comentário original por ser excessivamente otimista / enganoso a esse respeito.
DukeZhou
11
Essencialmente, meu pensamento era que uma função de utilidade econômica geral formaria uma boa base para uma AGI, fornecendo um motivo primordial . (A idéia é que a inteligência geral é apenas um grau de capacidade re: um conjunto de problemas em expansão infinita.) Seria relacionado ao instinto de sobrevivência no sentido em que o autômato é direcionado para a tomada de decisões ideal no contexto de manter e melhorar sua condição, (embora não a ponto de expansão irracional que poderia ser prejudicial para o seu "ecossistema) , onde todas as decisões sejam consideradas econômica.
DukeZhou
11
(se você tiver um "local online", onde esses temas podem ser discutidos, isso seria ótimo --- Eu acho que nós estamos ficando expulso neste site)
Eric Platon

Respostas:

6

Steve Omohudro escreveu um artigo chamado Basic AI Drives, que explica por que esperaríamos que uma IA com objetivos limitados encontrasse alguns conceitos básicos e gerais úteis para seus objetivos limitados.

Por exemplo, uma IA projetada para maximizar os retornos do mercado de ações, mas cujo design não menciona a importância de continuar sobrevivendo, perceberia que sua sobrevivência contínua é um componente essencial para maximizar os retornos do mercado de ações e, assim, tomar ações para se manter operacional.

Em geral, devemos ser céticos de 'antropomorfizar' AI e outro código, mas parece que não são razões para esperar esse além "bem, os seres humanos se comportam desta forma, por isso deve ser como todos se comporta de inteligência."

Matthew Graves
fonte
11
Presumo que Omohudru use "maximizar retornos" no contexto do minimax, onde a mitigação da desvantagem faz parte da equação. Na minha perspectiva, "vencer mais sobreviver" é uma extensão básica do minimax em jogos cíclicos.
DukeZhou
5

O conceito de "instinto de sobrevivência" provavelmente se enquadra na categoria do que Marvin Minsky chamaria de "palavra de mala", ou seja, reúne vários fenômenos relacionados ao que a princípio parece ser uma noção singular.

Portanto, é bem possível que possamos construir mecanismos que pareçam algum tipo de instinto de sobrevivência 'codificado', sem que isso apareça como regra (s) explícita (s) no design.

Veja o belo livrinho 'Vehicles' do neuroanatomista Valentino Braitenberg para uma narrativa convincente de como conceitos 'de cima para baixo' como 'instinto de sobrevivência' podem evoluir 'de baixo para cima'.

Além disso, tentar garantir que artefatos inteligentes dêem uma prioridade muito alta à sua sobrevivência pode facilmente levar a um Killbot Hellscape .

NietzscheanAI
fonte
2

Responderei citando o livro O Mito de Sísifo :

Existe apenas uma questão filosófica realmente séria, e isso é suicídio.

Portanto, provavelmente, precisamos de algum grau de instinto de sobrevivência se não quisermos que nossas AGIs "se encerrem" (seja lá o que isso signifique), sempre que existirem.

kc sayz 'kc sayz'
fonte