Parece bastante incontroverso dizer que as abordagens baseadas em NN estão se tornando ferramentas bastante poderosas em muitas áreas da IA - seja reconhecendo e decompondo imagens (rostos na fronteira, cenas de rua em automóveis, tomada de decisão em situações complexas ou incertas ou com dados parciais). Quase inevitavelmente, alguns desses usos evoluirão para situações em que a IA baseada em NN assume parte ou toda a carga humana, e geralmente é melhor do que as pessoas.
Os exemplos podem incluir NN hipoteticamente usado como etapas em carros autônomos, diagnóstico médico, verificação de identidade / humano, verificação de circuito / projeto, alerta de transação duvidosa. Provavelmente muitos campos na próxima década.
Suponha que isso aconteça e seja geralmente bem-sucedido (por exemplo, ele obtém diagnósticos de 80% a 65% dos médicos humanos ou algo assim, ou carros com IA que incluem um acidente com componente NN 8% menos que carros ou alternativas movidos por humanos, como queiras).
Agora - suponha que um deles aberrante e seriamente faça algo muito errado em um caso. Como alguém pode abordar isso? Com as etapas da lógica formal, é possível rastrear um processo formal de decisão, mas com o NN pode não haver lógica formal, especialmente se ela for complexa o suficiente (em algumas décadas, digamos), existem apenas 20 bilhões de processadores neurais e suas ponderações de E / S e conexões, pode não ser possível determinar o que causou algum incidente, mesmo que vidas fossem perdidas. Também pode não ser possível dizer mais do que os sistemas aprendem continuamente e esses incidentes são raros.
Também não ouvi falar de nenhuma maneira significativa de fazer uma "caixa preta" ou um gravador de vôo equivalente para NNs (mesmo que não tenha sido usado em um caso crítico para a vida), que nos permitiria entender e evitar uma má decisão. Ao contrário de outras respostas a defeitos do produto, se um NN puder ser treinado após o evento para corrigir um desses casos, ele não fornecerá claramente a certeza que desejaríamos, que a nova configuração do NN corrigiu o problema ou não reduziu o risco e equilíbrio de outros problemas ao fazê-lo. É apenas muito opaco. E, no entanto, claramente, é principalmente muito valioso como uma abordagem de IA.
Em 20 anos, se o NN for um componente (reconhecido como seguro e bem-sucedido) em um voo de avião ou projeto de aeronave, ou incorporado em um sistema hospitalar para assistir a emergências ou detectar fraudes em um banco, e como de costume, passou por qualquer regulamentação e regulamentação. os requisitos de mercado podem existir e ter um bom histórico por anos no mercado geral e , em um caso, um sistema desse tipo, algum tempo depois, claramente falha em uma ocasião - ele interpreta perigosamente a estrada, recomenda medicamentos que causam danos à vida ou flagrantemente erros de diagnóstico, ou limpa uma flagrante transação fraudulenta de 200 milhões de libras em um banco de compensação que só é pego por acaso antes do envio do dinheiro.
O que o fabricante pode fazer para lidar com as preocupações do público ou do mercado ou para explicar o incidente? O que a equipe de tecnologia faz quando informada pelo conselho "como isso aconteceu e se assegura de que está consertado"? Que tipo de logs significativos podem ser mantidos etc.? A sociedade teria que simplesmente aceitar que a incerteza e um comportamento maluco ocasional poderiam ser inerentes (boa sorte com a sociedade convincente disso!)? Ou existe alguma maneira melhor de abordar a atividade de registro / depuração / decisão mais adequada para as redes remotas?