Como os carros autônomos poderiam tomar decisões éticas sobre quem matar?

74

Obviamente, carros autônomos não são perfeitos, então imagine que o carro do Google (como exemplo) entrou em uma situação difícil.

Aqui estão alguns exemplos de situações infelizes causadas por um conjunto de eventos:

  • O carro está indo em direção a uma multidão de 10 pessoas atravessando a rua, por isso não pode parar a tempo, mas pode evitar matar 10 pessoas batendo no muro (matando os passageiros),
  • Evitando matar o motociclista, considerando que a probabilidade de sobrevivência é maior para o passageiro do carro,
  • Matar um animal na rua em favor de um ser humano,
  • Mudar de faixa para colidir com outro carro para evitar matar um cachorro,

E aqui estão alguns dilemas:

  • O algoritmo reconhece a diferença entre um ser humano e um animal?
  • O tamanho do ser humano ou animal é importante?
  • Ele conta quantos passageiros ele tem vs. pessoas na frente?
  • "Sabe" quando bebês / crianças estão a bordo?
  • Isso leva em consideração a idade (por exemplo, matar os mais velhos primeiro)?

Como um algoritmo decidirá o que deve fazer da perspectiva técnica? Está ciente do exposto (contando a probabilidade de mortes) ou não (matando pessoas apenas para evitar sua própria destruição)?

Artigos relacionados:

kenorb
fonte
3
Não vou andar em nenhum veículo programado para não fazer de mim o passageiro sua principal prioridade de segurança. Não estou sozinho nesse pensamento. Se alguém tiver planos de forçar fabricantes de veículos autônomos a programar seus veículos para fazer algo diferente de priorizar a segurança de seus passageiros, então toda a indústria poderá fechar suas portas agora. As primeiras vezes que um passageiro morre por causa de alguma decisão ética abominável será a última vez que a grande maioria das pessoas compraria outro veículo autônomo. Quem quer montar em uma armadilha mortal?
Dunk
O chamado "problema do carrinho" é um problema de troll-y. Há um motivo pelo qual é conhecido como um experimento mental e não um estudo de caso: não é algo que já aconteceu. Não é nem perto de ser real, principalmente porque os carros não são fundamentalmente carrinhos. A resposta certa em qualquer caso remotamente aplicável é quase sempre "pisar no freio" e, se houver uma exceção, ela só pode ser resolvida de uma maneira: protegendo os habitantes do carro a todo custo e sem sequer considerar qualquer outra coisa , por duas razões.
Mason Wheeler
2
O primeiro, @Dunk, cobriu muito bem: pragmatismo. Se for possível para o carro fazer uma escolha diferente, ninguém em sã consciência gostaria de comprar uma. A segunda é que, se houver uma função "matar todos" embutida no computador do carro, significa que já existe para hackers maliciosos encontrarem e abusarem. Pese a chance muito real de alguém descobrir uma maneira de desencadear isso com opiniões contraditórias contra a idéia puramente fictícia de uma situação legítima de problema de bonde, e só há uma resposta possível que não seja moralmente absurda e abominável.
Mason Wheeler

Respostas:

54

Como os carros autônomos poderiam tomar decisões éticas sobre quem matar?

Não deveria. Carros autônomos não são agentes morais. Os carros falham de maneiras previsíveis. Cavalos falham de maneiras previsíveis.

o carro está indo em direção a uma multidão de 10 pessoas atravessando a rua, por isso não pode parar a tempo, mas pode evitar matar 10 pessoas batendo no muro (matando os passageiros),

Nesse caso, o carro deve pisar no freio. Se as 10 pessoas morrem, isso é lamentável. Simplesmente não podemos confiar em todas as nossas crenças sobre o que está ocorrendo fora do carro. E se essas dez pessoas forem realmente robôs feitos para parecerem pessoas? E se eles estão tentando te matar?

evitando matar o motociclista, considerando que a probabilidade de sobrevivência é maior para o passageiro do carro,

Novamente, a codificação desse tipo de sentimentos em um veículo abre o motociclista para todos os tipos de ataques, incluindo motociclistas "falsos" . Os humanos mal estão equipados para tomar essas decisões por conta própria, se houver. Em caso de dúvida, basta pisar no freio.

matar animais nas ruas em favor do ser humano,

Mais uma vez, basta pisar no freio. E se fosse um bebê? E se fosse uma bomba?

mudar de faixa para colidir com outro carro para evitar matar um cachorro,

Não. O cachorro estava no lugar errado na hora errada. O outro carro não estava. Basta pisar no freio, o mais seguro possível.

O algoritmo reconhece a diferença entre um ser humano e um animal?

Um humano? Nem sempre. E se o humano tiver uma arma? E se o animal tiver dentes grandes? Não há contexto?

  • O tamanho do ser humano ou animal é importante?
  • Ele conta quantos passageiros ele tem vs. pessoas na frente?
  • "Sabe" quando bebês / crianças estão a bordo?
  • Isso leva em consideração a idade (por exemplo, matar os mais velhos primeiro)?

Os humanos não podem concordar com essas coisas. Se você perguntar a um policial o que fazer em qualquer uma dessas situações, a resposta não será: "Você deveria ter desviado para a esquerda, ponderado todas as partes relevantes em sua cabeça, avaliado as idades relevantes entre todas as partes e depois se virou levemente certo, e você teria salvado 8% mais vidas ". Não, o policial apenas dirá: "Você deveria ter parado o veículo o mais rápido e seguro possível". Por quê? Porque os policiais sabem que as pessoas normalmente não estão equipadas para lidar com cenários de acidentes de alta velocidade.

Nossa meta para "carro autônomo" não deve ser 'um agente moral a par de um humano'. Deve ser um agente com a complexidade reativa da barata, que falha previsivelmente.

Doxosophoi
fonte
Na maioria desses cenários, as pessoas que são potencialmente mortas são mais culpadas pelos danos do que o carro / ocupante do carro - pisar no freio parece ser a única resposta razoável, já que o ocupante também não poderia evitar o acidente. Como você aponta, é muito possível usar um algoritmo que se comporte (potencialmente) matando o ocupante em vez de um pedestre como uma maneira de realmente matar o ocupante, potencialmente até colocando a culpa no ocupante, no carro ou no fabricante.
mais clara
48

A resposta para muitas dessas perguntas depende de como o dispositivo está programado. Um computador capaz de dirigir e reconhecer para onde a estrada vai provavelmente terá a capacidade de distinguir visualmente um humano de um animal, seja com base no contorno, na imagem ou no tamanho. Com um reconhecimento de imagem suficientemente nítido, é possível contar o número e o tipo de pessoas em outro veículo. Poderia até usar dados existentes sobre a probabilidade de lesões em pessoas em diferentes tipos de veículos.

Por fim, as pessoas discordam das escolhas éticas envolvidas. Talvez possa haver "configurações de ética" para o usuário / proprietário configurar, como "considere apenas a contagem de vidas" versus "vidas mais jovens são mais valiosas". Pessoalmente, acho que não é terrivelmente controverso que uma máquina se danifique antes de prejudicar um ser humano, mas as pessoas discordam da importância da vida dos animais de estimação. Se as configurações explícitas de matar este primeiro deixar as pessoas desconfortáveis, as respostas podem ser determinadas a partir de um questionário fornecido ao usuário.

Ben N
fonte
2
Algo na parte mais profunda da minha mente pensa que uma configuração de ética de edição seria uma má idéia. Não sei ao certo o que é, exceto o fato de ser uma máquina em vez de uma pessoa, mas eu sempre chego à conclusão de que já temos esse contrato não escrito de assinar as decisões éticas das pessoas sempre que entramos em um carro com mais alguém.
Ian
6
'configurações de ética'? Realmente? Você terá pessoas definindo isso com base em qualquer preconceito possível 'Matar a pessoa que parece mais ____' Homossexual? Raça menos favorita? Ou o que aconteceria se dois veículos nos condutores de uma colisão tivessem ética oposta? Então ambos são executados e há danos adicionais adicionais? Essas leis precisam ser universais (pelo menos dentro de um país), assim como as leis de trânsito.
Navigator_
3
@ navigator_ Espero que as opções fornecidas pelo fabricante estejam dentro do razoável.
Ben N
11
Razão como definida por quem? Esse é o meu ponto de vista.
Navigator_
3
Na verdade, acho que a "configuração ética" é a única opção viável / justa, porque imita o driver específico o mais próximo possível. O motorista do carro deve ser responsável pelo que acontecer como resultado, como se estivesse dirigindo. Não vejo como programar um carro para (por exemplo) colocar a vida do motorista antes de mais nada é diferente do motorista colocar a vida dele antes de mais nada.
Pandora
26

Pessoalmente, acho que isso pode ser um problema exagerado. Problemas com o carrinho só ocorrem quando a situação é otimizada para impedir a "terceira opção".

Um carro tem freios, não é? "Mas e se os freios não funcionarem?" Bem, então o carro não tem permissão para dirigir. Mesmo no tráfego regular, os operadores humanos aprendem que sua velocidade deve ser limitada para que você possa parar na área que pode ver. Soluções como essas reduzirão a possibilidade de um problema no carrinho.

Quanto aos animais ... se não houver um esforço explícito para lidar com humanos na estrada, acho que os animais serão tratados da mesma forma. Isso parece implausível - o atropelamento acontece frequentemente e o "atropelamento" humano é indesejável, mas os animais são muito menores e mais difíceis de ver do que os humanos, então acho que detectar humanos será mais fácil, evitando muitos acidentes.

Em outros casos (bugs, falhas ao dirigir, várias falhas empilhadas), talvez ocorram acidentes, eles serão analisados ​​e os veículos serão atualizados para evitar situações semelhantes.

Pimgd
fonte
É errado dizer que a IA só dirige tão rápido quanto pode parar do que vê, porque o mesmo é verdade para até os humanos defensivos. A razão é que devem ser feitas suposições. Ao subir uma colina, presume-se que um grande obstáculo não esteja totalmente fora de vista [Fonte: DARPA Grand Challenge]. Essas suposições são baseadas em regras do caminho para determinar quais ações são corretas. Assim, se ocorrer um acidente, desde que você siga as regras da estrada, poderá reduzir sua responsabilidade. Portanto, um carro deve ser capaz de tomar essas decisões, mas talvez de forma limitada (proteger o consumidor).
Harrichael
12

Esse é o conhecido problema do carrinho . Como Ben N disse, as pessoas discordam sobre o curso de ação correto para cenários de problemas com carros, mas deve-se notar que, com carros autônomos, a confiabilidade é tão alta que esses cenários são realmente improváveis. Portanto, não haverá muito esforço nos problemas que você está descrevendo, pelo menos a curto prazo.

Harsh
fonte
Eu me pergunto até que ponto o problema do carrinho realmente é adequado para isso. O problema do carrinho é essencialmente discreto, descrevendo uma opção de uma vez por todas, enquanto na prática o algoritmo deve fazer uma sequência de escolhas em incrementos de tempo (potencialmente pequenos), possivelmente com novas informações disponíveis. É provável que um algoritmo útil seja um problema de 'controle contínuo' incorporado no espaço 3D real, lidando com velocidades e probabilidades, não com uma decisão moral abstrata e discreta. Se nada mais, isso significaria que a implementação não teria que ser definida em termos morais tão rígidos.
NietzscheanAI
11
@NietzscheanAI A idéia do problema do carrinho não está em qual decisão tomar, mas em que decisão você deve tomar. Você deve considerar burgulars, número de pessoas, número de animais, quem é o culpado, segurança do motorista, bem maior, menor mudança etc. Você ainda pode aplicar probabilidades a problemas de carrinho, por exemplo. A rota A tem 30% de chance de matar 10 pessoas. Os problemas do carrinho geralmente envolvem duas rotas, para que você possa considerar em quais fatores você baseia a decisão ética com mais precisão.
Harrichael
11

No mundo real, as decisões serão tomadas com base na lei e, conforme observado em Law.SE , a lei geralmente favorece a inação sobre a ação.

Marca
fonte
Ah, isso faz muito sentido para as vítimas humanas. A escolha da lei seria diferente se o carro pudesse desviar-se de um cachorro em vez de um pedestre?
Ben N
6

Para um carro sem motorista projetado por uma única entidade, a melhor maneira de tomar decisões sobre quem matar é estimar e minimizar a provável responsabilidade.

Não é necessário identificar absolutamente corretamente todas as vítimas em potencial na área para ter uma defesa de sua decisão, apenas para identificá-las, assim como um humano poderia ser esperado.

Nem sequer precisa saber a idade e condição física de todos no carro, pois pode solicitar essas informações e, se recusado, tem a defesa de que os passageiros optaram por não fornecê-las e, portanto, assumiu a responsabilidade de privá-las de a capacidade de tomar uma decisão melhor.

Ele só precisa ter um modelo viável para minimizar a exposição da entidade a ações judiciais, que podem ser aprimoradas ao longo do tempo para torná-la mais rentável.

dynrepsys
fonte
6

“Esta questão moral de quem economizar: 99% de nosso trabalho de engenharia é impedir que essas situações ocorram.” - Christopher von Hugo, Mercedes-Benz

Esta citação é de um artigo intitulado Autônomo Mercedes-Benzes priorizará a segurança dos ocupantes sobre pedestres publicado em 7 de outubro de 2016 por Michael Taylor , recuperado em 8 de novembro de 2016.

Aqui está um trecho que descreve qual é a solução tecnológica e prática para o problema.

A montadora mais antiga do mundo não vê mais o problema, semelhante à questão de 1967, conhecida como Problema do Trole, como irrespondível. Em vez de se atar a nós éticos e morais em uma crise, a Mercedes-Benz simplesmente pretende programar seus carros autônomos para salvar as pessoas dentro do carro. Toda vez.

Todos os futuros carros autônomos de nível 4 e 5 da Mercedes-Benz priorizarão salvar as pessoas que transportam, de acordo com Christoph von Hugo, gerente de sistemas de assistência ao motorista e segurança ativa da montadora.

O artigo também contém o seguinte parágrafo fascinante.

Um estudo divulgado no meio do ano pela revista Science também não limpou o ar. A maioria das pessoas pesquisadas em 1928 achou que seria eticamente melhor para carros autônomos sacrificar seus ocupantes em vez de colidir com pedestres. No entanto, a maioria também disse que não compraria carros autônomos se priorizasse a segurança dos pedestres.

timtim
fonte
3

Sinceramente, acho que esse problema (o problema do carrinho) é intrinsecamente complicado, pois a solução do mundo real provavelmente será bem direta. Como um motorista humano, um motorista de IA será programado para agir em todos os momentos de uma maneira genericamente ética, sempre escolhendo o curso de ação que não causa dano ou o menor dano possível.

Se um motorista de IA encontrar perigo, como danos iminentes à propriedade, obviamente a AI irá frear com força e apontar o carro para longe de objetos quebráveis ​​para evitar ou minimizar o impacto. Se o perigo atingir um pedestre, carro ou prédio, ele escolherá colidir com o objeto menos precioso ou mais caro possível, causar o menor dano possível - colocando um valor mais alto em um ser humano do que em um prédio ou um cachorro.

Finalmente, se a escolha do motorista de IA do seu carro for atropelar uma criança ou bater em uma parede ... ela guiará o carro e você contra a parede. Isso é o que qualquer bom humano faria. Por que uma boa IA agiria de maneira diferente?

Randy
fonte
11
'a IA irá frear com força', 'escolherá colidir com ...', se estas forem declarações, você poderia postar algumas referências? Ou eles são baseados em opiniões?
kenorb
11
O OP colocou a pergunta como: "Que dano a IA escolherá infligir?". Eu acho que esse é o objetivo errado. Os humanos não fazem isso. Em vez disso, a IA seguirá uma estratégia mais geral de evitar danos e causar o mínimo de danos possível. Esse objetivo de otimização é mais intuitivo e mais difícil de argumentar quando surgem preocupações de responsabilidade.
Randy
3

Eles não deveriam. As pessoas deveriam.

As pessoas não podem colocar as responsabilidades das decisões éticas nas mãos dos computadores. É nossa responsabilidade, como cientistas da computação / especialistas em IA, programar decisões que os computadores tomam. Ainda haverá baixas humanas a partir disso? É claro que eles --- as pessoas não são perfeitas e nem os programas.

Há um excelente debate aprofundado sobre esse tópico aqui . Gosto particularmente do argumento de Yann LeCun sobre o dilema ético paralelo de testar medicamentos potencialmente letais em pacientes. Semelhante aos carros autônomos, ambos podem ser letais, com boas intenções de salvar mais pessoas a longo prazo.

Charles
fonte
3

Como os carros autônomos poderiam tomar decisões éticas sobre quem matar?

Ao gerenciar a responsabilidade legal e a segurança do consumidor.

Um carro que ofereça segurança ao consumidor será comprado pelos referidos consumidores. As empresas não querem ser responsabilizadas por matar seus clientes, nem querem vender um produto que coloque o usuário em situação legal. Responsabilidade legal e segurança do consumidor são o mesmo problema quando analisadas da perspectiva do "custo para o consumidor".

E aqui estão alguns dilemas:

  • O algoritmo reconhece a diferença entre um ser humano e um animal?

Se um animal / humano não puder ser evitado legalmente (e o carro tiver direito legal - se não estiver, então algo mais está errado com a tomada de decisão da IA), provavelmente não. Se o carro puder evitar com segurança o obstáculo, a IA poderá ser razoavelmente vista para tomar essa decisão, ou seja. desviar para outra faixa em uma estrada aberta. Observe que há ênfase na responsabilidade e na segurança do motorista.

  • O tamanho do ser humano ou animal é importante?

Apenas o fator de risco de bater no obstáculo. Atingir um hipopótamo pode ser menos desejável do que bater no fosso. Atingir um cachorro é provavelmente mais desejável do que destruir o automóvel do cliente.

  • Ele conta quantos passageiros ele tem vs. pessoas na frente?

Ele conta as pessoas como passageiros para ver se a pista de estacionamento pode ser tomada. Ele considera as pessoas na frente como um fator de risco em caso de colisão.

  • "Sabe" quando bebês / crianças estão a bordo?

Não.

  • Isso leva em consideração a idade (por exemplo, matar os mais velhos primeiro)?

Não. Esta é simplesmente a abstração errada para tomar uma decisão. Como isso poderia ser ponderado na escolha do curso de ação certo para reduzir o fator de risco? Se a Opção 1 for atingida por rapaz com 20% de chance de danos significativos nos ocupantes e sem responsabilidade legal e a Opção 2 for atingida por um idoso com 21% de chance de danos significativos nos ocupantes e sem responsabilidade legal, o que o filósofo pode convencer mesmo apenas uma pessoa de os pesos justos e equitativos para tomar uma decisão?

Felizmente, a melhor decisão, na maioria das vezes, é acertar os intervalos para reduzir a velocidade (especialmente quando você considera que muitas vezes é valioso agir de forma previsível, para que pedestres e motoristas possam reagir de acordo). Enquanto isso, melhorias de valor melhores podem ser feitas em termos de previsão de quando os motoristas tomarão más decisões e quando outras ações (como acertar o contrário) são mais benéficas do que acertar as quebras. Nesse ponto, não vale a pena nem começar a coletar informações para tomar as decisões éticas propostas pelos filósofos. Portanto, essa questão é exagerada por jornalistas e filósofos sensacionais.

Harrichael
fonte
2

Penso que, na maioria dos casos, o carro deixaria de reduzir a velocidade como opção principal, em vez de dirigir em direção a uma escolha específica ou afastá-la. Como outros já mencionaram, ter configurações relacionadas à ética é apenas uma má idéia. O que acontece se dois carros programados com configurações éticas opostas e estiverem prestes a colidir? Os carros poderiam ter um sistema para substituir as configurações do usuário e escolher a solução mais benéfica para todos. É de fato um conceito interessante, que definitivamente precisa ser discutido e padronizado antes da implementação generalizada. Colocar decisões éticas nas mãos das máquinas dificulta a representação das responsabilidades resultantes.

imhotraore
fonte
Sim, frear para evitar uma colisão seria absolutamente a melhor solução. Infelizmente, em alguns casos (os casos abordados na pergunta), bater em algo é inevitável. Você parece concordar com algumas respostas existentes. Observe que gostaríamos que cada resposta pudesse se sustentar por si mesma. Depois de ter reputação suficiente, você poderá votar nas respostas que julgar úteis. O problema de dois carros configurados de maneira oposta é realmente interessante; seria ótimo se você editasse sua resposta para expandir isso. Obrigado!
Ben N
Muito obrigado pela sua resposta, eu realmente aprecio isso e vou usá-lo daqui para frente no site. Eu não estava ciente das diretrizes para respostas.
Imhotraore 17/11/16
1

Eu acho que não haveria uma maneira de editar essas configurações de ética em um carro. Mas ei, se os telefones celulares podem ser enraizados, por que não carros? Eu imagino que haverá versões do Linux no futuro para modelos específicos que permitirão que você faça o que quiser.

Quanto a quem tomará essas decisões, será como as questões de privacidade de hoje. Haverá um cabo de guerra na manta pelos provedores de sistemas operacionais (que tentarão configurá-lo para uma quantidade mínima de pessoas feridas, cada uma com seus próprios métodos), companhias de seguros (que tentarão fazer você pagar mais para sistemas operacionais que serão mostrados estatisticamente para danificar seu carro com mais facilidade) e fabricantes de carros (que desejam que você lixeira seu carro o mais rápido possível, para que você compre um novo; ou faça carros que exijam um ridículo quantidade de serviço $$$).

Então, alguns denunciantes irão expor um código que escolhe matar crianças pequenas em vez de adultos - porque terá mais dificuldade em diferenciá-las dos animais e terá chances de salvar quem, com mais certeza, reconhecerá como seres humanos. O fabricante do sistema operacional receberá um tapa na cabeça do público e um novo consenso será encontrado. Os denunciantes também sairão de companhias de seguros e fabricantes de automóveis.

A humanidade pega uma frigideira quente e se queima e aprende a calçar luvas de antemão. Meu conselho seria garantir que você não fosse a mão - fique longe deles por alguns anos até que todos os erros sejam cometidos.

Stefanio
fonte
1

A única opção sensata é usar um comportamento previsível. Assim, nas pessoas diante do cenário do carro: primeiro, o carro pisa no freio, ao mesmo tempo buzina e permanece no curso. As pessoas têm a chance de sair do caminho, levando a zero pessoas sendo mortas. Também com freios completos (de 50 km por hora a zero é menor que 3 comprimentos de carro), quase não se pode imaginar uma situação de impacto. Mesmo que não seja possível alcançar o ponto final, é improvável que ocorram danos graves aos pedestres.

O outro cenário é simplesmente louco. Portanto, a distância deve ser inferior a 3 comprimentos de carro, pelo menos um comprimento de carro necessário para a direção; um acidente de carro é uma situação incontrolável, pode levar a girar e matar todas as 11 pessoas.

Além de dizer que não acredito que exista um exemplo na realidade em que haja um dilema; a solução nesses casos improváveis, se estiver em conformidade com as expectativas da parte contrária, de permitir que a outra parte atenue a situação também.

lalala
fonte
Por favor, tente passar pela primeira resposta postada por Ben e tente editar a sua de acordo com o que é a IA!
quintumnia
você pode ser mais específico? Eu li a primeira resposta de bens, mas não consigo ver como isso está relacionado. Você pode explicar 'o que é AI'?
Lalala
O que eu quis dizer com isso; é ter conhecimento sobre a IA; portanto, sua resposta pode ser negada ou nada a ver; sua majestade!
quintumnia
@ quintumnia Esta resposta parece-me bem (+1) - apenas continuar sem tentar desviar ou tomar decisões é uma escolha válida.
Ben N