A inteligência artificial é vulnerável a hackers?

27

O artigo As limitações do aprendizado profundo em configurações adversas explora como as redes neurais podem ser corrompidas por um invasor que pode manipular o conjunto de dados com o qual a rede neural treina. Os autores experimentam uma rede neural destinada a ler dígitos manuscritos, prejudicando sua capacidade de leitura distorcendo as amostras de dígitos manuscritos com os quais a rede neural é treinada.

Estou preocupado que atores mal-intencionados possam tentar invadir a IA. Por exemplo

  • Enganar veículos autônomos para interpretar mal os sinais de parada versus o limite de velocidade.
  • Ignorando o reconhecimento facial, como os do caixa eletrônico.
  • Ignorando filtros de spam.
  • Análise de sentimentos enganadores de resenhas de filmes, hotéis etc.
  • Ignorando mecanismos de detecção de anomalias.
  • Comandos de voz falsos.
  • Classificar com precisão previsões médicas baseadas em aprendizado de máquina.

Que efeito adversário poderia atrapalhar o mundo? Como podemos evitá-lo?

Surya Sg
fonte
6
Considere que humano inteligência é vulnerável a hackers
Gaius
Interessante. Você está interessado em "modelos de risco de ambientes contraditórios" ou em algo mais próximo de uma resposta tradicional de segurança cibernética, mas ainda diretamente sobre a IA? Muitas felicidades.
Revelações tautológicas

Respostas:

19

A IA é vulnerável de duas perspectivas de segurança da maneira que eu a vejo:

  1. O método clássico de explorar erros programáticos definitivos para obter algum tipo de execução de código na máquina que está executando o AI ou para extrair dados.

  2. Truques através do equivalente a ilusões ópticas de IA para a forma específica de dados com a qual o sistema foi projetado para lidar.

O primeiro deve ser mitigado da mesma maneira que qualquer outro software. Não tenho certeza se a IA é mais vulnerável nessa frente do que em outros softwares, eu estaria inclinado a pensar que a complexidade talvez aumente levemente o risco.

A segunda é provavelmente melhor atenuada pelo refinamento cuidadoso do sistema, conforme observado em algumas das outras respostas, mas também por tornar o sistema mais sensível ao contexto; muitas técnicas contraditórias dependem da contribuição sendo avaliada no vácuo.

Christopher Griffith
fonte
11
The split between code vulnerabilities and usage vulnerabilities is good. However, the code vulnerabilities typically are minuscule in AI. The complexity of AI lies in the data, whether that's node weights in a neural network or trees in a random forest. There's just a small bit of code to feed the AI, and the chief risk there is not overfeeding it - a classic buffer overflow risk, easily mitigated by late 20th century techniques.
MSalters
@MSalters Eu acho que é difícil tirar uma conclusão geral porque a complexidade do código pode variar muito entre diferentes tipos de agentes de IA (acho que seu comentário é amplamente preciso para redes neurais). Além disso, embora os dados e a manipulação deles sejam provavelmente a maior superfície de ataque, seria imprudente descontar o mesmo tipo de ataques que permitiram a execução remota de código por meio de arquivos de imagem comprometidos no passado que exploravam falhas nos aplicativos de visualização de imagens. O vetor é o dado que está sendo transmitido, mas o comportamento ainda está no cabeçalho do código vulnerável, eu acho.
Christopher Griffith
7

Programmer vs Programmer

É uma "guerra do infinito": programadores versus programadores. Tudo pode ser hackável. A prevenção está ligada ao nível de conhecimento do profissional encarregado da segurança e dos programadores em segurança de aplicativos.

por exemplo, existem várias maneiras de identificar um usuário que está tentando atrapalhar as métricas geradas pela análise de sentimentos, mas há maneiras de contornar essas etapas também. É uma luta muito chata.

Agent vs Agent

Um ponto interessante que o @DukeZhou levantou é a evolução desta guerra, envolvendo duas inteligência artificial (agentes). Nesse caso, a batalha é uma das mais experientes. Qual é o modelo mais bem treinado, você sabe?

No entanto, para alcançar a perfeição na questão da vulnerabilidade, a inteligência artificial ou a super inteligência artificial superam a capacidade de contornar o humano. É como se o conhecimento de todos os hacks até hoje já existisse na mente desse agente e ele começou a desenvolver novas maneiras de burlar seu próprio sistema e desenvolver proteção. Complexo, certo?

Eu acredito que é difícil ter uma IA que pense: "O humano vai usar uma foto em vez de colocar seu rosto para ser identificado?"

Como podemos evitá-lo

Sempre ter um humano supervisionando a máquina, e ainda assim não será 100% eficaz. Isso desconsiderando a possibilidade de um agente poder melhorar seu próprio modelo sozinho.

Conclusão

Então, acho que o cenário funciona da seguinte maneira: um programador tenta contornar as validações de uma IA e o desenvolvedor de IA que adquire conhecimento através de logs e testes tenta criar um modelo mais inteligente e seguro, tentando reduzir as chances de falha.

Guilherme IA
fonte
3
Ótima resposta. (imo, deve ser a resposta aceita, mas você precisa fornecer algum suporte ou links.) independentemente, sua lógica está correta, embora eu ache que isso comece a se estender além do Programador vs. Programador para Agente vs. Agente, à medida que os novos algoritmos aumentam. sofisticação e empreenda essas estratégias sem necessidade humana.
DukeZhou
11
Atualizada! Bom ponto @DukeZhou
Guilherme IA
6

Como podemos evitar isso?

Existem vários trabalhos sobre verificação de IA. Os verificadores automáticos podem provar as propriedades de robustez das redes neurais. Isso significa que se a entrada X do NN não é perturbada mais do que em um determinado limite ε (em alguma métrica, por exemplo, L2), o NN dá a mesma resposta.

Esses verificadores são feitos por:

Essa abordagem pode ajudar a verificar as propriedades de robustez das redes neurais. O próximo passo é construir uma rede neural que requeira robustez. Alguns dos documentos acima contêm também métodos de como fazer isso.

Existem diferentes técnicas para melhorar a robustez das redes neurais:

Pelo menos o último pode comprovadamente tornar o NN mais robusto. Mais literatura pode ser encontrada aqui .

Ilya Palachev
fonte
2
Isso soa como uma reivindicação impossível ... a menos que se trate de algumas entradas particulares X, em vez de entradas gerais X? Nesse caso, parece não dizer quase nada sobre hackers, já que as entradas não precisam se limitar às perturbações das pessoas no treinamento?
Mehrdad
11
@ Mehrdad: Provavelmente é possível em um sentido probabilístico se o espaço de entrada estiver suficientemente estruturado para que você possa amostrá-lo aleatoriamente. Ou seja, você provavelmente pode estabelecer que, para 95% das entradas possíveis, 95% das perturbações menores que ε não afetam o rótulo da classe. Isso é equivalente ao estabelecimento de que a borda entre as classes de saída no espaço de entrada é suave ou que a maior parte do espaço de entrada não fica perto de uma borda de classe. Obviamente, parte do espaço de entrada deve estar perto de uma borda de classe.
MSalters
Não tenho certeza se isso se aplicaria no caso "contraditório" descrito no artigo: Lá, (IIRC), um gradiente propagado de volta é adicionado a toda a imagem, de modo que a alteração na entrada completa pode ser bastante grande - mesmo se a alteração para cada pixel individual é quase imperceptível.
Niki
@MSalters: Eu acho que sim. Mas, então, que parece desvalorizar um pouco justo a menos que você pode realmente mostrar as fotos que estão em uma borda classe deve realmente estar em uma beira classe ...
Mehrdad
A frase "O próximo passo é construir uma rede neural que exigiu robustez" está sendo pesquisada. Em geral, é muito difícil se livrar do problema de não robustez da NN. Mas é possível aumentar a robustez por treinamento adversário (ver, por exemplo, A. Kurakin et al., ICLR 2017 ), destilação defensiva (ver, por exemplo, N. Papernot et al., SSP 2016 ), defesa MMSTV ( Maudry et al., ICLR 2018 ) Pelo menos o último pode comprovadamente tornar o NN mais robusto.
Ilya Palachev
4

Acredito que sim, nenhum sistema é seguro, mas não tenho certeza se ainda posso dizer isso depois de 20 a 30 anos de desenvolvimento / evolução da IA. De qualquer forma, existem artigos que mostram humanos enganando a IA (visão computacional).

https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google

https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms

Akio
fonte
4

A inteligência artificial é vulnerável a hackers?

Inverta sua pergunta por um momento e pense:

O que tornaria a IA menos vulnerável a hackers em comparação com qualquer outro tipo de software?

No final do dia, software é software e sempre haverá bugs e problemas de segurança. As IAs estão em risco para todos os problemas que os softwares que não são de IA estão em risco, sendo que a AI não concede algum tipo de imunidade.

Quanto à adulteração específica da IA, a AI corre o risco de receber informações falsas. Diferentemente da maioria dos programas, a funcionalidade da IA ​​é determinada pelos dados que consome.

Para um exemplo do mundo real, há alguns anos a Microsoft criou um chatbot de IA chamado Tay. O povo do Twitter levou menos de 24 horas para ensiná-lo a dizer "Vamos construir um muro, e o México vai pagar por isso":

Nós vamos construir um muro, e o México vai pagar por isso

(Imagem retirada do artigo da Verge no link abaixo, não reivindico crédito por isso.)

E isso é apenas a ponta do iceberg.

Alguns artigos sobre Tay:

Agora imagine que não era um robô de bate-papo, imagine que era uma peça importante da IA ​​de um futuro em que a IA é responsável por coisas como não matar os ocupantes de um carro (ou seja, um carro autônomo) ou não matar um paciente a mesa cirúrgica (ou seja, algum tipo de equipamento de assistência médica).

Concedido, seria de esperar que essas IAs estivessem mais protegidas contra essas ameaças, mas supondo que alguém encontrasse uma maneira de alimentar uma quantidade tão grande de informações falsas, sem ser notado (afinal, os melhores hackers não deixam rastro), o que realmente poderia significar a diferença entre vida e morte.

Usando o exemplo de um carro autônomo, imagine se dados falsos poderiam fazer com que o carro pensasse que era necessário fazer uma parada de emergência quando estava em uma rodovia. Uma das aplicações para a IA médica é a decisão de vida ou morte no pronto-socorro, imagine se um hacker pudesse mudar a balança em favor da decisão errada.

Como podemos evitar isso?

Em última análise, a escala do risco depende de quão humanos dependentes se tornam na IA. Por exemplo, se os humanos aceitassem o julgamento de uma IA e nunca o questionassem, estariam se abrindo a todo tipo de manipulação. No entanto, se eles usarem a análise da IA ​​como apenas uma parte do quebra-cabeça, seria mais fácil identificar quando uma IA está errada, seja por meios acidentais ou maliciosos.

No caso de um tomador de decisões médicas, não basta acreditar na IA, realizar testes físicos e obter algumas opiniões humanas também. Se dois médicos discordarem da IA, descarte o diagnóstico da IA.

No caso de um carro, uma possibilidade é ter vários sistemas redundantes que devem essencialmente "votar" sobre o que fazer. Se um carro tivesse várias IAs em sistemas separados que precisassem votar sobre qual ação tomar, um hacker precisaria executar mais do que apenas uma AI para obter o controle ou causar um impasse. É importante ressaltar que, se as IAs funcionassem em sistemas diferentes, a mesma exploração usada em um não poderia ser feita em outro, aumentando ainda mais a carga de trabalho do hacker.

Pharap
fonte
11
Eu gosto da ideia de ter vários sistemas de IA separados que precisam chegar a um acordo como uma técnica de mitigação. Embora você tivesse que ter certeza de que qualquer mecanismo de votação que eles usassem não pudesse ser composto para falsificar uma decisão.
Christopher Griffith
@ChristopherGriffith True, isso é um risco. No caso do carro, a melhor maneira de atenuar isso é projetar o sistema para que um invasor precise de acesso físico para manipulá-lo e dificultar o acesso, para que a pessoa precise entrar no carro para acessá-lo. Manter um sistema offline geralmente é uma boa medida defensiva para hackers, embora nem sempre seja o ideal.
Pharap
1

Concordo com o Akio que nenhum sistema é completamente seguro, mas a vantagem é que os sistemas de IA são menos propensos a ataques quando comparados com os sistemas antigos, devido à capacidade de melhorar constantemente.

Com o passar do tempo, mais pessoas entrarão em campo, trazendo novas idéias e o hardware estará melhorando, para que sejam "IA forte".

Simbarashe Timothy Motsi
fonte
1

A inteligência artificial é vulnerável a hackers?

dica; se você diz que a IA é vulnerável, discordo de você por essa afirmação. A inteligência artificial é dividida em três categorias nem fases pelas quais devemos passar, ie.

  • inteligência estreita artificial

  • inteligência geral artificial

  • super inteligência artificial

Portanto, de acordo com sua declaração; "Estou preocupado que atores maliciosos possam tentar invadir a IA ....."

dados pelos exemplos em seu corpo da mensagem, estamos no nível de inteligência artificial estreita, onde hackers humanos podem distorcer seu código malicioso para invadir esses aplicativos, nesse nível. No entanto, se pularmos diretamente para o nível final de Artificial Inteligência; então, por todos os meios, um ser humano não pode invadir nem invadir um programa de software super inteligente ou um agente super inteligente de alta tecnologia. Por exemplo; um hacker humano, faz uma coisa de cada vez, não há nada para impedir que uma inteligência artificial divida seu foco e faça muitos funcionários simultaneamente, é difícil adivinhar uma mente que funciona exatamente dessa maneira

para a sua informação

não são aceitos pelo que a mídia diz sobre IA em geral, simplesmente porque; eles não sabem que o grande problema acontecerá são as novas espécies que competem com os seres humanos

imagine viver em uma nova sociedade de alta tecnologia. Confira o grande desafio cibernético

Se você perdeu esse evento, lamento.

quintumnia
fonte
Eu imagino que, mesmo em um mundo com criações artificialmente super inteligentes, ainda haverá maneiras de invadir esses sistemas usando ferramentas altamente especializadas que podem simplesmente superar os sistemas de IA generalizados em tarefas específicas.
krowe2
1

Qualquer tipo de inteligência é vulnerável a hackers, sejam eles baseados em DNA ou artificiais. Primeiro, vamos definir hackers. Nesse contexto, o hacking é a exploração de pontos fracos para obter fins específicos, que podem incluir status, ganho financeiro, interrupção de negócios ou governo, informações que podem ser usadas para extorsão, vantagem em um negócio ou eleição de negócios ou alguma outra forma de controle ou manipulação.

Aqui estão exemplos de estratégias de hackers cerebrais e seus objetivos comuns. Cada um deles tem um sistema digital equivalente.

  • Propaganda do governo - conformidade previsível
  • Golpes - dinheiro
  • Spoofing - reação pública bem-humorada
  • Roll play - ganhe confiança para obter acesso ou manipular
  • Centros de dor - explorar o vício para aumentar a renda

Alguns estão preocupados com o que foi chamado de The Singularity, onde entidades de software inteligentes podem ser capazes de invadir humanos e suas estruturas sociais para obter seus próprios fins. Que os humanos possam invadir os agentes inteligentes de outros humanos é outra possibilidade óbvia. Não acho que os dados de treinamento sejam o único ponto de ataque.

  • Matrizes de parâmetros podem ser substituídas de uma maneira difícil de detectar.
  • Sinais de reforço podem ser adulterados.
  • Bolhas de erro conhecidas nas permutações de entrada podem ser exploradas.
  • A natureza determinística dos sistemas digitais pode ser explorada por outros aprendizes, duplicando o sistema treinado e buscando pontos de vulnerabilidade off-line antes de executá-los em uma rede

As possibilidades listadas na pergunta merecem consideração, mas esta é a minha versão da lista.

  • Assassinato por avaria AV ou sistemas de identificação de falsificação em farmácias ou hospitais
  • Desvio de grandes quantidades de produto enviado para um destinatário que não pagou por eles
  • Genocídio social marginalizando grupos específicos de indivíduos

A única maneira de evitá-lo é aguardar um evento de extinção global, mas pode haver maneiras de mitigá-lo. Assim como o programa satan foi escrito para encontrar vulnerabilidades em sistemas UNIX, sistemas inteligentes podem ser criados para encontrar vulnerabilidades em outros sistemas inteligentes. Obviamente, assim como os modelos de programação e os sistemas de informação convencionais podem ser projetados com a segurança em mente, reduzindo as vulnerabilidades ao grau razoavelmente possível desde o primeiro dia, os sistemas de IA podem ser projetados com esse objetivo em mente.

Se você seguir o caminho de informações de qualquer sistema e considerar as maneiras de ler ou gravar o sinal em qualquer ponto do caminho, poderá se proteger preventivamente contra esses pontos de acesso. Claramente, é essencial ter cuidado ao adquirir dados para usar no treinamento, e é necessária a criptografia adequada ao longo dos caminhos das informações, além de garantir que nenhum acesso físico seja concedido a pessoas não autorizadas, mas prevejo batalhas entre medidas e contramedidas decorrentes dessas preocupações e oportunidades.

Douglas Daseeco
fonte
0

Existem muitas maneiras de hackear uma IA. Quando eu era criança, descobri como vencer um computador de xadrez. Eu sempre segui o mesmo padrão, uma vez que você aprende, pode explorá-lo. O melhor hacker do mundo tem 4 anos e quer algo que tentará coisas diferentes até estabelecer um padrão em seus pais. De qualquer forma, obtenha uma Ai para aprender os padrões de uma IA e, dada uma combinação específica, você pode descobrir o resultado. Também existem apenas falhas simples ou porta dos fundos no código, de propósito ou por acaso. Existe também a possibilidade de a IA invadir a si mesma. É chamado de mau comportamento, lembre-se da criança pequena novamente ...

BTW maneira simples é tornar a IA sempre falha segura ... algo que as pessoas esquecem.

Tony Lester
fonte