Houve recente aumento no interesse em e X plainable A rtificial I ntelligence (XAI). Aqui está a missão da XAI, conforme declarado em sua página da DARPA :
O programa AI explicável (XAI) visa criar um conjunto de técnicas de aprendizado de máquina que:
- Produza modelos mais explicáveis, mantendo um alto nível de desempenho de aprendizado (precisão de previsão); e
- Permita que usuários humanos entendam, confiem adequadamente e gerenciem efetivamente a geração emergente de parceiros artificialmente inteligentes.
Artigo do New York Times A IA pode ser ensinada a se explicar? faz um bom trabalho ao explicar a necessidade de XAI do ponto de vista do interesse humano, além de fornecer uma visão geral das técnicas que estão sendo desenvolvidas para o mesmo. A força por trás do movimento XAI parece centrar-se no conceito de direito à explicação , ou seja, o requisito de que os aplicativos de IA que impactam significativamente as vidas humanas por meio de suas decisões possam explicar às partes interessadas os fatores / razões que levaram à à referida decisão.
Como o direito à explicação é razoável, dados os padrões atuais pelos quais nos responsabilizamos?
fonte
Respostas:
Em suma, é bastante razoável.
Mais especificamente, tornar a IA responsável e responsável pela explicação da decisão parece razoável porque
Humanos (neste caso, a DARPA) escolheu criar, aumentar e evoluir a IA com o dinheiro dos contribuintes. Também em nossa sociedade, sempre que os humanos se reúnem para algum propósito (algum arranjo formal como o governo ou outro), a prestação de contas e a responsabilidade são assumidas e atribuídas. Portanto, esperar que a IA (que tomará decisões em nosso nome) explique suas decisões parece apenas uma extensão natural de como os humanos operam atualmente .
Os seres humanos ( pelo menos geralmente ) não têm super poder ou recursos para controlar e manipular o resto da população. Mas quando o fazem (como nossos líderes políticos ), queremos que eles sejam responsáveis.
Em casos raros, humanos poderosos se tornam poderosos devido a coisas acessíveis a todos , enquanto o super poder da IA não será. Portanto, nossa civilização se sentiria mais segura e menos insegura com uma IA que não fecha a porta quando perguntas são feitas.
Outros benefícios da IA que oferecem uma explicação sobre como uma decisão é tomada
Muito mais fácil para depurar e melhorar em seu estágio inicial.
Pode ser personalizado ainda mais (e ao longo do caminho) para amplificar certos aspectos, como bem-estar social, mais lucratividade, etc.
fonte
No artigo Slave to the Algorithm? Por que um "direito a uma explicação" provavelmente não é o remédio que você está procurando , os autores afirmam que é improvável que o "direito à explicação" forneça um remédio completo para danos algorítmicos por pelo menos duas razões.
Não está claro quando qualquer direito relacionado à explicação pode ser acionado
As explicações exigidas pela lei, "informações significativas sobre a lógica do processamento", podem não ser fornecidas pelos métodos atuais (explicáveis) de IA
Os autores concluem que o "direito à explicação" é perturbador , mas que outras leis do Regulamento Geral de Proteção de Dados da União Europeia, como
pode compensar os defeitos do "direito à explicação".
Para concluir, o "direito à explicação" é uma tentativa de proteger os cidadãos contra as possíveis conseqüências indesejáveis do uso dos métodos de IA. No entanto, isso não é perfeito e talvez seja necessário promulgar direitos mais claros.
fonte