O artigo As limitações do aprendizado profundo em configurações adversas explora como as redes neurais podem ser corrompidas por um invasor que pode manipular o conjunto de dados com o qual a rede neural treina. Os autores experimentam uma rede neural destinada a ler dígitos manuscritos, prejudicando sua capacidade de leitura distorcendo as amostras de dígitos manuscritos com os quais a rede neural é treinada.
Estou preocupado que atores mal-intencionados possam tentar invadir a IA. Por exemplo
- Enganar veículos autônomos para interpretar mal os sinais de parada versus o limite de velocidade.
- Ignorando o reconhecimento facial, como os do caixa eletrônico.
- Ignorando filtros de spam.
- Análise de sentimentos enganadores de resenhas de filmes, hotéis etc.
- Ignorando mecanismos de detecção de anomalias.
- Comandos de voz falsos.
- Classificar com precisão previsões médicas baseadas em aprendizado de máquina.
Que efeito adversário poderia atrapalhar o mundo? Como podemos evitá-lo?
Respostas:
A IA é vulnerável de duas perspectivas de segurança da maneira que eu a vejo:
O método clássico de explorar erros programáticos definitivos para obter algum tipo de execução de código na máquina que está executando o AI ou para extrair dados.
Truques através do equivalente a ilusões ópticas de IA para a forma específica de dados com a qual o sistema foi projetado para lidar.
O primeiro deve ser mitigado da mesma maneira que qualquer outro software. Não tenho certeza se a IA é mais vulnerável nessa frente do que em outros softwares, eu estaria inclinado a pensar que a complexidade talvez aumente levemente o risco.
A segunda é provavelmente melhor atenuada pelo refinamento cuidadoso do sistema, conforme observado em algumas das outras respostas, mas também por tornar o sistema mais sensível ao contexto; muitas técnicas contraditórias dependem da contribuição sendo avaliada no vácuo.
fonte
Programmer vs Programmer
É uma "guerra do infinito": programadores versus programadores. Tudo pode ser hackável. A prevenção está ligada ao nível de conhecimento do profissional encarregado da segurança e dos programadores em segurança de aplicativos.
por exemplo, existem várias maneiras de identificar um usuário que está tentando atrapalhar as métricas geradas pela análise de sentimentos, mas há maneiras de contornar essas etapas também. É uma luta muito chata.
Agent vs Agent
Um ponto interessante que o @DukeZhou levantou é a evolução desta guerra, envolvendo duas inteligência artificial (agentes). Nesse caso, a batalha é uma das mais experientes. Qual é o modelo mais bem treinado, você sabe?
No entanto, para alcançar a perfeição na questão da vulnerabilidade, a inteligência artificial ou a super inteligência artificial superam a capacidade de contornar o humano. É como se o conhecimento de todos os hacks até hoje já existisse na mente desse agente e ele começou a desenvolver novas maneiras de burlar seu próprio sistema e desenvolver proteção. Complexo, certo?
Eu acredito que é difícil ter uma IA que pense: "O humano vai usar uma foto em vez de colocar seu rosto para ser identificado?"
Como podemos evitá-lo
Sempre ter um humano supervisionando a máquina, e ainda assim não será 100% eficaz. Isso desconsiderando a possibilidade de um agente poder melhorar seu próprio modelo sozinho.
Conclusão
Então, acho que o cenário funciona da seguinte maneira: um programador tenta contornar as validações de uma IA e o desenvolvedor de IA que adquire conhecimento através de logs e testes tenta criar um modelo mais inteligente e seguro, tentando reduzir as chances de falha.
fonte
Existem vários trabalhos sobre verificação de IA. Os verificadores automáticos podem provar as propriedades de robustez das redes neurais. Isso significa que se a entrada X do NN não é perturbada mais do que em um determinado limite ε (em alguma métrica, por exemplo, L2), o NN dá a mesma resposta.
Esses verificadores são feitos por:
Essa abordagem pode ajudar a verificar as propriedades de robustez das redes neurais. O próximo passo é construir uma rede neural que requeira robustez. Alguns dos documentos acima contêm também métodos de como fazer isso.
Existem diferentes técnicas para melhorar a robustez das redes neurais:
treinamento antagônico (ver, por exemplo, A. Kurakin et al., ICLR 2017 )
destilação defensiva (ver, por exemplo, N. Papernot et al., SSP 2016 )
Defesa MMSTV ( Maudry et al., ICLR 2018 ).
Pelo menos o último pode comprovadamente tornar o NN mais robusto. Mais literatura pode ser encontrada aqui .
fonte
Acredito que sim, nenhum sistema é seguro, mas não tenho certeza se ainda posso dizer isso depois de 20 a 30 anos de desenvolvimento / evolução da IA. De qualquer forma, existem artigos que mostram humanos enganando a IA (visão computacional).
https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google
https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms
fonte
Inverta sua pergunta por um momento e pense:
No final do dia, software é software e sempre haverá bugs e problemas de segurança. As IAs estão em risco para todos os problemas que os softwares que não são de IA estão em risco, sendo que a AI não concede algum tipo de imunidade.
Quanto à adulteração específica da IA, a AI corre o risco de receber informações falsas. Diferentemente da maioria dos programas, a funcionalidade da IA é determinada pelos dados que consome.
Para um exemplo do mundo real, há alguns anos a Microsoft criou um chatbot de IA chamado Tay. O povo do Twitter levou menos de 24 horas para ensiná-lo a dizer "Vamos construir um muro, e o México vai pagar por isso":
(Imagem retirada do artigo da Verge no link abaixo, não reivindico crédito por isso.)
E isso é apenas a ponta do iceberg.
Alguns artigos sobre Tay:
Agora imagine que não era um robô de bate-papo, imagine que era uma peça importante da IA de um futuro em que a IA é responsável por coisas como não matar os ocupantes de um carro (ou seja, um carro autônomo) ou não matar um paciente a mesa cirúrgica (ou seja, algum tipo de equipamento de assistência médica).
Concedido, seria de esperar que essas IAs estivessem mais protegidas contra essas ameaças, mas supondo que alguém encontrasse uma maneira de alimentar uma quantidade tão grande de informações falsas, sem ser notado (afinal, os melhores hackers não deixam rastro), o que realmente poderia significar a diferença entre vida e morte.
Usando o exemplo de um carro autônomo, imagine se dados falsos poderiam fazer com que o carro pensasse que era necessário fazer uma parada de emergência quando estava em uma rodovia. Uma das aplicações para a IA médica é a decisão de vida ou morte no pronto-socorro, imagine se um hacker pudesse mudar a balança em favor da decisão errada.
Em última análise, a escala do risco depende de quão humanos dependentes se tornam na IA. Por exemplo, se os humanos aceitassem o julgamento de uma IA e nunca o questionassem, estariam se abrindo a todo tipo de manipulação. No entanto, se eles usarem a análise da IA como apenas uma parte do quebra-cabeça, seria mais fácil identificar quando uma IA está errada, seja por meios acidentais ou maliciosos.
No caso de um tomador de decisões médicas, não basta acreditar na IA, realizar testes físicos e obter algumas opiniões humanas também. Se dois médicos discordarem da IA, descarte o diagnóstico da IA.
No caso de um carro, uma possibilidade é ter vários sistemas redundantes que devem essencialmente "votar" sobre o que fazer. Se um carro tivesse várias IAs em sistemas separados que precisassem votar sobre qual ação tomar, um hacker precisaria executar mais do que apenas uma AI para obter o controle ou causar um impasse. É importante ressaltar que, se as IAs funcionassem em sistemas diferentes, a mesma exploração usada em um não poderia ser feita em outro, aumentando ainda mais a carga de trabalho do hacker.
fonte
Concordo com o Akio que nenhum sistema é completamente seguro, mas a vantagem é que os sistemas de IA são menos propensos a ataques quando comparados com os sistemas antigos, devido à capacidade de melhorar constantemente.
Com o passar do tempo, mais pessoas entrarão em campo, trazendo novas idéias e o hardware estará melhorando, para que sejam "IA forte".
fonte
A inteligência artificial é vulnerável a hackers?
dica; se você diz que a IA é vulnerável, discordo de você por essa afirmação. A inteligência artificial é dividida em três categorias nem fases pelas quais devemos passar, ie.
inteligência estreita artificial
inteligência geral artificial
super inteligência artificial
Portanto, de acordo com sua declaração; "Estou preocupado que atores maliciosos possam tentar invadir a IA ....."
dados pelos exemplos em seu corpo da mensagem, estamos no nível de inteligência artificial estreita, onde hackers humanos podem distorcer seu código malicioso para invadir esses aplicativos, nesse nível. No entanto, se pularmos diretamente para o nível final de Artificial Inteligência; então, por todos os meios, um ser humano não pode invadir nem invadir um programa de software super inteligente ou um agente super inteligente de alta tecnologia. Por exemplo; um hacker humano, faz uma coisa de cada vez, não há nada para impedir que uma inteligência artificial divida seu foco e faça muitos funcionários simultaneamente, é difícil adivinhar uma mente que funciona exatamente dessa maneira
para a sua informação
imagine viver em uma nova sociedade de alta tecnologia. Confira o grande desafio cibernético
Se você perdeu esse evento, lamento.
fonte
Qualquer tipo de inteligência é vulnerável a hackers, sejam eles baseados em DNA ou artificiais. Primeiro, vamos definir hackers. Nesse contexto, o hacking é a exploração de pontos fracos para obter fins específicos, que podem incluir status, ganho financeiro, interrupção de negócios ou governo, informações que podem ser usadas para extorsão, vantagem em um negócio ou eleição de negócios ou alguma outra forma de controle ou manipulação.
Aqui estão exemplos de estratégias de hackers cerebrais e seus objetivos comuns. Cada um deles tem um sistema digital equivalente.
Alguns estão preocupados com o que foi chamado de The Singularity, onde entidades de software inteligentes podem ser capazes de invadir humanos e suas estruturas sociais para obter seus próprios fins. Que os humanos possam invadir os agentes inteligentes de outros humanos é outra possibilidade óbvia. Não acho que os dados de treinamento sejam o único ponto de ataque.
As possibilidades listadas na pergunta merecem consideração, mas esta é a minha versão da lista.
A única maneira de evitá-lo é aguardar um evento de extinção global, mas pode haver maneiras de mitigá-lo. Assim como o programa satan foi escrito para encontrar vulnerabilidades em sistemas UNIX, sistemas inteligentes podem ser criados para encontrar vulnerabilidades em outros sistemas inteligentes. Obviamente, assim como os modelos de programação e os sistemas de informação convencionais podem ser projetados com a segurança em mente, reduzindo as vulnerabilidades ao grau razoavelmente possível desde o primeiro dia, os sistemas de IA podem ser projetados com esse objetivo em mente.
Se você seguir o caminho de informações de qualquer sistema e considerar as maneiras de ler ou gravar o sinal em qualquer ponto do caminho, poderá se proteger preventivamente contra esses pontos de acesso. Claramente, é essencial ter cuidado ao adquirir dados para usar no treinamento, e é necessária a criptografia adequada ao longo dos caminhos das informações, além de garantir que nenhum acesso físico seja concedido a pessoas não autorizadas, mas prevejo batalhas entre medidas e contramedidas decorrentes dessas preocupações e oportunidades.
fonte
Existem muitas maneiras de hackear uma IA. Quando eu era criança, descobri como vencer um computador de xadrez. Eu sempre segui o mesmo padrão, uma vez que você aprende, pode explorá-lo. O melhor hacker do mundo tem 4 anos e quer algo que tentará coisas diferentes até estabelecer um padrão em seus pais. De qualquer forma, obtenha uma Ai para aprender os padrões de uma IA e, dada uma combinação específica, você pode descobrir o resultado. Também existem apenas falhas simples ou porta dos fundos no código, de propósito ou por acaso. Existe também a possibilidade de a IA invadir a si mesma. É chamado de mau comportamento, lembre-se da criança pequena novamente ...
BTW maneira simples é tornar a IA sempre falha segura ... algo que as pessoas esquecem.
fonte