Por que precisamos de IA explicável?

56

Se o objetivo original do desenvolvimento da IA ​​era ajudar os seres humanos em algumas tarefas e esse objetivo ainda se mantém, por que deveríamos nos preocupar com a sua explicabilidade? Por exemplo, no aprendizado profundo, desde que a inteligência nos ajude ao melhor de suas habilidades e chegue com cuidado às suas decisões, por que precisaríamos saber como sua inteligência funciona?

Malioboro
fonte
15
O que acontece quando a IA não fornece uma boa resposta? Como você encontra o problema? Como você verifica a solução, se você não entende o raciocínio? Como você garante que não sejamos todos transformados em clipes de papel? :)
Luaan 2/09
8
Não estou publicando como resposta, já que suspeito que não atenda aos padrões, mas suponha que perguntemos a uma IA como resolver os problemas climáticos e diga "poluir os oceanos". Talvez esteja certo e exista alguma maneira artificial de consertar as coisas. Talvez um desenvolvedor tenha cometido um erro e a saída real deveria ter "despoluído os oceanos". Como você pretende distinguir entre os dois, se não muito, seguindo o raciocínio da IA?
Flater
5
Alguma resposta a essa pergunta é realmente necessária, além do conhecimento comum da existência de técnicas antagônicas? No momento, é possível fazer pequenos ajustes para inserir dados que criam mudanças massivamente desproporcionais na saída. Em tarefas como reconhecimento visual de objetos, nas quais os resultados podem ser facilmente verificados em relação a uma inteligência real, os resultados parecem absurdos e insanos, e indicam que o que a IA está "vendo" é algo muito diferente do que estamos vendo. . Se a IA não conseguir se explicar nesses casos, sua utilidade diminui drasticamente.
Mason Wheeler
1
Embora sua pergunta seja baseada na necessidade de IA explicável, eu também gostaria de propor uma leitura que desafie essa visão - acho que há pontos muito bons lá. Entre outras coisas, uma razão para a necessidade de explicabilidade pode estar ligada à nossa necessidade humana de explicar os sistemas ao nosso redor e, em seguida, à nossa maior confiança nos sistemas que entendemos, mesmo que esses sistemas apresentem desempenho inferior aos que não entendemos. Espero que adicione algum material para reflexão - hackernoon.com/…
Elisio Quintino
2
Isso pode ser um recurso adicional interessante. As pessoas tentaram construir um classificador Husky vs Wolf e perceberam que a rede não focava no animal, mas no fundo, porque todas as imagens com neve ao fundo eram lobos. Em outras palavras, se você detectar um carro, precisará ter certeza de que isso se deve a um carro na imagem e não a um sinal de parada na lateral da imagem.
jaaq 4/09

Respostas:

64

Como argumentado por Selvaraju et al. , há três estágios de evolução da IA, nos quais a interpretabilidade é útil.

  1. Nos estágios iniciais do desenvolvimento da IA, quando a IA é mais fraca que o desempenho humano, a transparência pode nos ajudar a construir modelos melhores . Pode dar uma melhor compreensão de como um modelo funciona e nos ajuda a responder a várias perguntas importantes. Por exemplo, por que um modelo funciona em alguns casos e não em outros, por que alguns exemplos confundem o modelo mais do que outros, por que esses tipos de modelos funcionam e outros não, etc.

  2. Quando a IA está em pé de igualdade com o desempenho humano e os modelos de ML estão começando a ser implantados em vários setores, ela pode ajudar a criar confiança para esses modelos. Vou elaborar um pouco mais tarde, porque acho que é a razão mais importante.

  3. Quando a IA supera significativamente os seres humanos (por exemplo, IA jogando xadrez ou Go), ela pode ajudar no ensino de máquinas (ou seja, aprender com a máquina sobre como melhorar o desempenho humano nessa tarefa específica).

Por que a confiança é tão importante?

Primeiro, deixe-me dar alguns exemplos de setores em que a confiança é fundamental:

  • Na área da saúde, imagine uma rede neural profunda realizando o diagnóstico de uma doença específica. Uma NN de caixa preta clássica apresentaria apenas um "sim" ou "não" binário. Mesmo que pudesse superar os humanos em pura previsibilidade, seria totalmente inútil na prática. E se o médico discordasse da avaliação do modelo, ele não deveria saber por que o modelo fez essa previsão; talvez tenha visto algo que o médico perdeu. Além disso, se o diagnóstico fosse incorreto (por exemplo, uma pessoa doente fosse classificada como saudável e não recebesse o tratamento adequado), quem assumiria a responsabilidade: o usuário do modelo? o hospital? a empresa que projetou o modelo? A estrutura legal em torno disso é um pouco embaçada.

  • Outro exemplo são os carros autônomos. As mesmas perguntas surgem: se um carro trava, de quem é a culpa: o motorista? do fabricante do carro? a empresa que projetou a IA? A responsabilidade legal é fundamental para o desenvolvimento desse setor.

De fato, essa falta de confiança, segundo muitos, dificultou a adoção da IA ​​em muitos campos (fontes: 1 , 2 , 3 ). Embora exista uma hipótese de que, com sistemas mais transparentes, interpretáveis ​​ou explicáveis, os usuários estarão melhor equipados para entender e, portanto, confiar nos agentes inteligentes (fontes: 1 , 2 , 3 ).

Em várias aplicações do mundo real, você não pode simplesmente dizer "funciona 94% do tempo". Você também pode precisar fornecer uma justificativa ...

Regulamentos governamentais

Vários governos estão lentamente procedendo à regulamentação da IA ​​e a transparência parece estar no centro de tudo isso.

O primeiro a avançar nessa direção é a UE, que estabeleceu várias diretrizes nas quais afirmam que a IA deve ser transparente (fontes: 1 , 2 , 3 ). Por exemplo, o GDPR afirma que, se os dados de uma pessoa foram submetidos a sistemas de "tomada de decisão automatizada" ou "criação de perfil", ele tem o direito de acessar

"informações significativas sobre a lógica envolvida"

( Artigo 15, GDPR da UE )

Agora isso é um pouco embaçado, mas há claramente a intenção de exigir alguma forma de explicabilidade desses sistemas. A idéia geral que a UE está tentando aprovar é que "se você tem um sistema automatizado de tomada de decisões que afeta a vida das pessoas, elas têm o direito de saber por que uma determinada decisão foi tomada". Por exemplo, um banco tem uma AI que aceita e recusa pedidos de empréstimo, então os solicitantes têm o direito de saber por que o pedido foi rejeitado.

Resumindo...

AIs explicáveis ​​são necessárias porque:

  • Isso nos dá uma melhor compreensão, o que nos ajuda a melhorá-los.
  • Em alguns casos, podemos aprender com a IA como tomar melhores decisões em algumas tarefas.
  • Ajuda os usuários a confiar na IA, o que leva a uma adoção mais ampla da IA.
  • AIs implantadas em um futuro (não distante) podem ser necessárias para serem mais "transparentes".
Djib2011
fonte
4
Esse é exatamente o problema (IMHO). Freqüentemente, você não pode testar exaustivamente uma caixa preta e, em seguida, aceita (mesmo em aplicações críticas da vida) algo que "parece bom o suficiente", neste caso, o cérebro humano, e somos todos bons nisso. Se não podemos fazer isso por IA, é por causa de (limitações?) Em nossa regulamentação, não porque "para pilotar um avião, tudo tem que ser matematicamente comprovado" (não é, mesmo hoje em dia sem IA). É claro que a maneira como você testa uma IA não pode ser a mesma que você testa um piloto humano (mesmo que eles possam coincidir parcialmente).
Adriano Repetti
11
@ZsoltSzilagy Não estou dizendo que as regulamentações governamentais são uma coisa ruim. Só estou dizendo que eles são um motivo sério para desenvolver IA explicável, se você estiver trabalhando em alguns setores.
Djib2011 02/09
8
Outro ponto a acrescentar é a concentração de risco. Um cão farejador de drogas pode ser tendencioso, e você não pode perguntar por que ele tomou certas decisões. Mas é apenas um cão em milhares. Um único modelo de IA será implantado globalmente; portanto, se estiver errado, ele terá um impacto muito maior.
Brendan Whiting
19
@BrendanWhiting, na verdade, esse é um caso interessante. Qual é a diferença entre um cão farejador de drogas e uma IA farejadora de drogas. Por que exigir que a IA dê uma explicação enquanto o cão não precisa ... Acho que a diferença é que, no primeiro caso, o cachorro é apenas uma ferramenta que ajuda o ser humano (neste caso, o policial da DEA) a fazer sua decisão. Ele é o responsável por isso, não o cachorro. Da mesma forma, não há problemas com as IAs de suporte à decisão , apenas com as de tomada de decisão . É assim que acho que toda essa responsabilidade em muitos domínios será ignorada.
Djib2011 2/09
6
Talvez também seja um problema de incógnitas desconhecidas. Treinamos animais há milhares de anos e estamos bastante confiantes de que isso é estável. Se houvesse matilhas de animais treinados saqueadores que dominavam o mundo, provavelmente já teria acontecido a essa altura. (Embora eu meio que goste da teoria de que a maioria dos cães é um tipo de parasita, eles evoluíram para ser tão fofos que cuidamos deles em vez de nossos próprios filhotes).
Brendan Whiting
15

Por que precisamos de IA explicável? ... por que precisamos saber "como sua inteligência funciona?"

Porque qualquer pessoa com acesso ao equipamento, habilidade e tempo suficientes, pode forçar o sistema a tomar uma decisão inesperada. O proprietário do equipamento, ou terceiros, contando com a decisão sem uma explicação sobre por que ela está correta estaria em desvantagem.

Exemplos - Alguém pode descobrir:

  • As pessoas nomeadas John Smith e solicitam cirurgia cardíaca em: manhãs de terça-feira, tardes de quarta-feira ou sextas-feiras em dias e meses ímpares têm 90% de chance de passar para a frente da fila.

  • Os casais que têm o sobrenome do homem com uma letra ímpar na primeira metade do alfabeto e solicitam um empréstimo com um cônjuge cujo primeiro nome começa com uma letra do início do alfabeto têm 40% mais chances de receber o empréstimo se tiverem menos de 5 entradas ruins no histórico de crédito.

  • etc.

Observe que os exemplos acima não devem ser fatores determinantes em relação à pergunta que está sendo feita, mas é possível que um adversário (com seu próprio equipamento ou conhecimento do algoritmo) possa explorá-lo.

Documentos de origem :

  • " AdvHat: ataque adversário do mundo real ao sistema ArcFace Face ID " (23 de agosto de 2019) por Stepan Komkov e Aleksandr Petiushko

    • Criar um adesivo e colocá-lo no seu chapéu engana o sistema de reconhecimento facial.
  • " Defesa contra ataques adversos por meio da regeneração de recursos resilientes " (8 de junho de 2019), por Tejas Borkar, Felix Heide e Lina Karam

    • "As previsões de redes neurais profundas (DNN) mostraram-se vulneráveis ​​a perturbações adversárias cuidadosamente criadas. Especificamente, as chamadas perturbações adversas universais são perturbações agnósticas de imagem que podem ser adicionadas a qualquer imagem e podem enganar uma rede de destino para fazer previsões errôneas. Partindo das estratégias de defesa antagônica existentes, que funcionam no domínio da imagem, apresentamos uma nova defesa que opera no domínio do recurso DNN e efetivamente se defende contra esses ataques universais antagônicos. Nossa abordagem identifica os recursos convolucionais pré-treinados que são mais vulneráveis ​​aos adversários. ruído e implanta unidades defensoras que transformam (regeneram) essas ativações do filtro DNN em recursos resistentes ao ruído, protegendo contra perturbações invisíveis do adversário ".

  • " Ataque de um pixel para enganar redes neurais profundas " (3 de maio de 2019), de Jiawei Su, Danilo Vasconcellos Vargas e Sakurai Kouichi

    • Alterar um pixel pode causar estes erros:

    figura 1
    Fig. 1. Ataques de um pixel criados com o algoritmo proposto que enganou com êxito três tipos de DNNs treinados no conjunto de dados CIFAR-10: Rede All convolutional (AllConv), Network in network (NiN) e VGG. Os rótulos da classe original estão na cor preta, enquanto os rótulos da classe de destino e a confiança correspondente são fornecidos abaixo.

     

    Figura 2
    Fig. 2. Ataques de um pixel no conjunto de dados do ImageNet em que os pixels modificados são realçados com círculos vermelhos. Os rótulos da classe original estão na cor preta, enquanto os rótulos da classe de destino e sua confiança correspondente são fornecidos abaixo.

Sem uma explicação de como e por que uma decisão é tomada, não se pode confiar absolutamente nela.

Roubar
fonte
1
As descobertas de ataques de um pixel e outras coisas semelhantes é por que afirmo que o aprendizado profundo não está aprendendo nada.
Joshua
1
@ Josué Bem, não está aprendendo como na aprendizagem humana (entendendo o raciocínio), mas aprende a função multidimensional que pode classificar essas imagens em categorias. Ele fez isso por conta própria, embora tenha resolvido a melhor solução usando força bruta. Isso é muito o que esperar de um pacote de metal e areia dispostos ordenadamente para permitir que a eletricidade flua de maneira sistemática.
user14492 4/09
1
WRT para seus exemplos, digamos que o empréstimo para casais com uma condição desagradável, não é esse tipo de coisa mitigada, apenas alimentando os dados do modelo com os quais ele deveria se preocupar? Como o nome nunca deve ser fornecido à IA, porque a AI nunca deve fazer determinações com base no nome do solicitante. No entanto, eu entendo o seu argumento, poderia haver exemplos menos artificiais em relação aos pontos de dados que a IA realmente precisa. Os ataques de um pixel são super interessantes
Cruncher
@Cruncher Exemplos menos elaborados são sempre melhores quando alguém está fazendo uma observação, tanto quanto a retrospectiva é 20/20. Que tal se o empréstimo recusado anterior tivesse um número primo (maior que 7) e o anterior tivesse dois números primos e entre 17 e 43, etc. Então, você encontrará alguém que diga que venderá algo por X dólares, contrate um empréstimo e tente ser desqualificado, faça isso algumas vezes, agora contrate um empréstimo para uma casa ou navio - chance 30% maior e recusas anteriores com desconto. Sem uma explicação por trás do motivo, você sempre desejaria fazer sua própria escolha.
Rob
@ Josué Bem, eles certamente podem aprender a encontrar ataques de um pixel e coisas semelhantes. (O artigo vinculado aqui usou uma abordagem evolutiva, mas vi resultados semelhantes usando GANs.) Nenhum método de classificação será perfeito. A visão humana é vulnerável a ilusões de ótica. Este é o equivalente da máquina. Podemos apenas encontrar exemplos mais extremos para sistemas de visão de máquina, porque eles podem fazer e registrar previsões mais rapidamente do que os humanos, para que possamos treinar efetivamente outro sistema para encontrar estados de falha que atendam a determinados critérios.
Ray
8

Se você é um banco, hospital ou qualquer outra entidade que usa análise preditiva para tomar uma decisão sobre ações que têm um grande impacto na vida das pessoas, você não tomaria decisões importantes apenas porque as árvores do Gradient Boosted pediram para você fazer isso. Primeiro, porque é arriscado e o modelo subjacente pode estar errado e, segundo, porque em alguns casos é ilegal - consulte Direito à explicação .

Tomasz Bartkowiak
fonte
5

A IA explicável é frequentemente desejável porque

  1. A IA (em particular, redes neurais artificiais) pode falhar catastroficamente em realizar o trabalho pretendido. Mais especificamente, pode ser hackeado ou atacado com exemplos adversários ou tomar decisões erradas inesperadas cujas consequências são catastróficas (por exemplo, podem levar à morte de pessoas). Por exemplo, imagine que uma IA seja responsável por determinar a dosagem de um medicamento que precisa ser administrado a um paciente, com base nas condições do paciente. E se a IA fizer uma previsão errada e isso levar à morte do paciente? Quem será responsável por tal ação? Para aceitar a previsão de dosagem da IA, os médicos precisam confiara IA, mas a confiança só vem com o entendimento, o que requer uma explicação. Portanto, para evitar possíveis falhas, é fundamental entender o funcionamento interno da IA, para que ela não tome essas decisões erradas novamente.

  2. A IA geralmente precisa interagir com os seres humanos, que são seres sencientes (temos sentimentos) e que frequentemente precisam de uma explicação ou garantia (sobre algum tópico ou evento).

  3. Em geral, os humanos geralmente procuram uma explicação e compreensão de seus arredores e do mundo. Por natureza, somos seres curiosos e exploratórios. Por que uma maçã cai?

nbro
fonte
4

A resposta para isso é incrivelmente simples. Se você for um executivo de um banco um dia, talvez seja necessário se levantar no tribunal e explicar por que sua IA negou hipotecas a todas essas pessoas ... que por acaso compartilham alguma característica protegida pela legislação antidiscriminação. O juiz não ficará feliz se você afastar a pergunta com murmúrios sobre algoritmos. Ou pior, por que esse carro / avião caiu e como você o evitará na próxima vez.

Esse é o principal bloqueador para a adoção mais difundida da IA ​​em muitos setores.

Gaius
fonte
1
"A resposta" está exagerando seu caso. Gostaria de votar se você dissesse "Uma resposta ..."
John Coleman
3

Outro motivo: no futuro, a IA pode ser usada para tarefas que não são possíveis de serem entendidas pelos seres humanos, entendendo como o algoritmo de IA dado funciona nesse problema, podemos entender a natureza do fenômeno.

Makintosz
fonte
2

Além de todas essas respostas mencionarem as razões mais práticas de querermos IAs explicáveis, eu gostaria de adicionar uma mais filosófica.

Entender como as coisas ao nosso redor funcionam é uma das principais forças motrizes da ciência desde a antiguidade. Se você não entender como as coisas funcionam, não poderá evoluir além desse ponto. Só porque "a gravidade funciona" não nos impediu de entender como funciona. Por sua vez, uma melhor compreensão disso levou a várias descobertas importantes, que nos ajudaram a aprimorar nossa tecnologia.

Da mesma forma, se pararmos em "funciona", pararemos de melhorá-lo.


Editar:

A IA não se resume apenas a fazer "máquinas pensarem", mas também através delas para entender como o cérebro humano funciona. AI e neurociência andam lado a lado .

Isso tudo não seria possível sem ser capaz de explicar a IA.

Jerome
fonte
0

Não se deve presumir que o desenvolvimento da IA ​​tenha sido originalmente motivado pelo desejo de ajudar os seres humanos. Existem muitas explicações plausíveis igualmente difíceis de provar ou refutar.

  • Seja conhecido por sonhar com alguma idéia futurista antes que alguém o faça
  • Adquira poder antes de algum inimigo imaginado ou de algum potencial futuro
  • Porque pode ser possível
  • Para se divertir
  • Porque o Departamento de Defesa dos EUA provavelmente o financiaria indefinidamente
  • É uma boa jogada de carreira
  • Para provar que não há nada particularmente milagroso no cérebro humano
  • Fomos contratados e recebemos algum dinheiro, e parecia uma boa maneira de gastá-lo
  • Foi decidido persegui-lo, mas nenhum de nós realmente se lembra por que

Também existem algumas palavras descritivas mal definidas nesta pergunta, embora possa ser difícil encontrar palavras melhores para substituí-las. Como formalizaríamos isso?

  • Para suas melhores habilidades (os sistemas inteligentes) - De que maneira medimos habilidades e comparamos os resultados com elas? Dizemos a um aluno: "Você não está se aplicando", mas isso dificilmente é uma observação científica. É um julgamento um tanto arbitrário, baseado em uma projeção de êxito que não foi cumprida de acordo com o sistema de classificação de terceiros e sua aplicação por outras partes falíveis.
  • Chegando com cuidado às decisões - O cuidado implica objetivos que são objetivos. Ainda não documentamos uma plataforma de computação avançada que codifique um sistema de ética aplicado a uma consciência abstraída de situações, como no caso de um ser humano ético, pelo qual o cuidado obtém algum significado realista. O fato de um gate nand desempenhar uma função nand de maneira confiável ou algum algoritmo comprovadamente convergir com um determinado tamanho de conjunto de dados sob condições específicas dificilmente é um significado totalmente estendido do que somos quando tomamos cuidado.
  • Explicável --- Isso também é ambíguo. Em um extremo, a convergência em um conjunto de valores de parâmetros durante a convergência de uma rede artificial é uma explicação, mas os valores individuais não são explicados. No extremo oposto, um relatório completo de uma hipótese, projeto experimental, escolha de um conjunto de condições, análise, resultados e conclusão ainda não é uma explicação exaustiva. Esse relatório pode incluir apenas abaixo de 1% das informações que descrevem a aplicação da inteligência humana às pesquisas descritas no relatório.

O trabalho inicial em redes artificiais foi criticado em periódicos de IA do início dos anos 90 por não ser explicável com base na rastreabilidade. Os sistemas de produção (baseados em regras) deixaram rastros de auditoria das regras que foram aplicadas e dos resultados de quais regras anteriores, para que alguém pudesse montar uma prova por escrito do resultado. Isso foi de utilidade limitada.

Quando os volantes são removidos dos veículos e algumas jurisdições começam a legislar contra a condução humana em algumas regiões, não será porque as provas de segurança em um milhão de cenários foram escritas. Isso ocorre porque as distribuições de mortes acidentais registradas, desmembramentos e destruições de propriedades resultantes de um motorista de IA instalado em um determinado tipo de veículo, durante um período de tempo suficientemente convincente, indicam sua segurança sobre essas distribuições para motoristas humanos. Eventualmente, em alguma sala do tribunal ou comitê legislativo, alguém dirá isso ou seu equivalente.

Se não proibirmos a condução humana nessas condições especificadas para a região em discussão, condenaremos X um número de homens, mulheres, crianças e pedestres e passageiros idosos por ano a uma morte prematura.

Entender o mecanismo de ação e as decisões tomadas para casos específicos é útil, mas por que isso é útil é tão indeterminado quanto o porquê a IA se tornou um campo viável de trabalho e estudo.

  • Seria interessante comparar sistemas de IA competitivos de alguma maneira quantificável.
  • Seria de grande valor acadêmico entender mais sobre inteligência.
  • Uma explicação melhor contribui para um bom artigo.
  • Eu estava rabiscando um dia e cheguei a uma maneira de explicar uma classe específica de sistemas que parecia ser mal explicada.

Embora a não auditabilidade dos sistemas de IA possa surgir no chão de eventos legislativos e judiciais, muitas das decisões tomadas serão baseadas na maneira como as avaliações estatísticas são publicadas e percebidas. Aqueles que insistem que os sistemas operam de uma maneira que pode ser explicada provavelmente serão, consciente ou inconscientemente, motivados pelo interesse em uma percepção de que o domínio dos seres humanos é um destino manifesto. É mais do que irônico que muitos daqueles que ajudaram os interesses dos EUA e da URSS durante a Guerra Fria agora sejam considerados líderes terroristas pelos sucessores de ambas as facções da Guerra Fria.

A questão relacionada e mais claramente responsável é se é de esperar que um ajudante inteligente permaneça indefinidamente. A investigação de sempre-inteligentes-para-sempre-ajudantes está em andamento e é de notável interesse para todos, desde autores de ficção científica e roteiristas a pensadores de afiliados militares.

Douglas Daseeco
fonte
-1

IMHO, a necessidade mais importante de IA explicável é impedir que nos tornemos intelectualmente preguiçosos. Se pararmos de tentar entender como as respostas são encontradas, concedemos o jogo às nossas máquinas.

S. McGrew
fonte
Bem, entendemos como elas encontram respostas em alto nível: elas adivinham milhões de vezes até encontrar um padrão promissor. A tarefa intelectual é entender o que causa esses padrões - uma questão que a IA não se importa.
Zsolt Szilagy 02/09
Às vezes isso é verdade, mas alguns tipos de IA (por exemplo, algoritmos genéticos) geralmente se saem melhor do que isso e podem ser estruturados para fornecer boas pistas sobre o que causa padrões. Às vezes, basta apontar que "o padrão encontrado neste conjunto de dados é muito parecido com o padrão encontrado nesse outro conjunto de dados" pode ser muito informativo e levar a uma explicação da causa.
S. McGrew