IA adversária e machine learning adversário

A inteligência artificial (IA) e o machine learning (ML) se tornaram tecnologias comuns nas empresas modernas. Da análise de tendências de clientes e design de produto ao atendimento ao cliente, o uso de IA/ML está em todos os lugares. Cada vez mais, a IA e o ML se tornaram fundamentais para a maneira como as empresas modernas administram suas operações e fazem negócios.

Mas os criminosos sabem disso, e os sistemas de IA/ML estão se tornando alvos. Eis que surge a IA adversária (e o ML adversário). Essas são técnicas projetadas para enganar ou explorar sistemas baseados em IA com o objetivo de comprometer sua eficácia. O ML adversário tem ganhado cada vez mais destaque nos últimos anos. Em 2020, o MITRE lançou o ATLAS™ (Adversarial Threat Landscape for Artificial-Intelligence Systems, ou Panorama de ameaças adversárias para sistemas de inteligência artificial), uma matriz de ameaças que descreve os riscos para sistemas de machine learning e amplia a superfície de ataque dos sistemas existentes.

Entender como a IA adversária funciona e suas implicações é essencial para qualquer equipe de SecOps. Neste artigo, vamos nos aprofundar nesse tópico. Vamos examinar por que é uma preocupação crescente, as principais técnicas empregadas pelos adversários e como você pode mitigar os riscos que ela traz.

O que é IA/ML adversários?

A IA adversária ou o machine learning (ML) adversário buscam inibir o desempenho de sistemas de IA/ML por meio de manipulação ou indução ao erro. Esses ataques a sistemas de machine learning podem ocorrer em vários estágios do ciclo de vida de desenvolvimento do modelo, com adulteração de dados de treinamento, envenenamento de modelos de ML com a introdução de imprecisões ou vieses e até a criação de entradas enganosas para produzir resultados incorretos. Além disso, essas táticas podem ser combinadas para ampliar a eficácia de um ataque.

Diferentemente das ciberameaças tradicionais, como malware ou phishing, a IA adversária tenta explorar a lógica de tomada de decisão de um sistema de IA, resultando em um malware que pode escapar de um modelo de machine learning treinado e pronto para produção. Como consequência, a IA/ML adversária está se tornando a principal preocupação de equipes modernas de SecOps.

Preocupações críticas decorrentes de IA e ML adversários

A IA adversária é uma realidade atual e uma técnica em alta, e sua sofisticação cada vez maior aumenta seu potencial de comprometer gravemente a segurança de uma organização. Isso traz diversas preocupações críticas:

• Maior complexidade dos modelos de IA e ML: à medida que os modelos de IA/ML avançam, eles se tornam alvos mais atrativos de ciber ataques.
• Confiança implícita nos resultados de IA/ML: as organizações estão cada vez mais tratando os sistemas de IA/ML como caixas-pretas. Essa confiança crescente e sem questionamentos nos resultados gerados pelo sistema os torna mais vulneráveis a ataques, dificultando a detecção de sistemas comprometidos.
• Presença difundida da IA/ML: as tecnologias de IA/ML entraram nas empresas em todos os setores. Isso amplifica o impacto de um ataque de IA adversária bem-sucedido.
• Capacidades aprimoradas dos invasores: a tecnologia relacionada a IA/ML continua a avançar. Assim como as ferramentas, métodos e habilidades das pessoas que buscam explorar esses sistemas.

Principais técnicas em IA e ML adversários

Para entender melhor como os ataques de IA adversária são realizados, os profissionais de segurança devem se familiarizar com algumas das principais técnicas de seus adversários.

Envenenamento de dados

Os modelos de ML são treinados com vastas quantidades de dados. Na IA preditiva, um modelo de ML pode prever resultados com base nos dados históricos com os quais foi treinado. Na IA generativa, um modelo pode gerar um conteúdo totalmente novo com base nos dados de treinamento que consumiu.

Os dados de treinamento são absolutamente essenciais para o desempenho de um modelo de IA, e é por isso que são um alvo tão atrativo da IA adversária. O envenenamento de dados envolve a alteração desses dados de treinamento para gerar comportamento ou tomada de decisão falhos no modelo resultante. Os sistemas que são baseados em modelos com falha sofrerão impactos prejudiciais tremendos.

Adulteração de modelos

Os ataques de IA adversária também usam a adulteração de modelos, nas quais são feitas modificações não autorizadas nos parâmetros de um modelo ou estrutura de ML. Isso é diferente do envenenamento de dados porque o alvo é o próprio modelo pré-treinado. Um modelo adulterado pode ter sua habilidade de produzir resultados precisos comprometida.

Como os modelos de IA/ML podem ser usados na tomada de decisão de negócios ou do cliente, um modelo adulterado, especialmente um que passa despercebido por um longo período, pode levar a resultados devastadores.

Capacidade de transferência de ataques

À medida que os invasores testam táticas em vários sistemas de IA/ML, eles podem aproveitar ferramentas para aplicar técnicas de ataque bem-sucedidas a outros sistemas. A ampliação de seus esforços para executar IA adversária exige muito menos recursos de computação do que a criação e treinamento de modelos e sistemas de IA/ML.

Em vista dessas técnicas de ataque, como as empresas modernas podem mitigar os riscos?

Como mitigar os riscos

Para garantir uma postura robusta de segurança que inclua proteção contra IA adversária, as empresas precisam de estratégias que comecem no nível mais básico da cibersegurança.

Monitoramento e detecção

Assim como qualquer outro sistema na sua rede, os sistemas de IA/ML devem ser monitorados continuamente para detectar e responder a uma ameaça de IA adversária com rapidez. Utilize plataformas de cibersegurança com monitoramento contínuo, detecção de intrusões e proteção de endpoint. Você também pode implementar análise em tempo real de dados de entrada e saída do seu sistema de IA/ML. Ao analisar esses dados em busca de alterações inesperadas ou atividades anormais dos usuários, você pode responder rapidamente com medidas para bloquear e proteger seus sistemas.

O monitoramento contínuo também pode levar à aplicação de análise comportamental de usuário e identidade (UEBA), que você pode usar para estabelecer uma linha de base comportamental para seu modelo de ML. Com isso, você pode detectar com mais facilidade padrões anômalos de comportamento nos seus modelos.

Conscientização e educação dos usuários

Muitos dos seus funcionários e partes interessadas podem não conhecer o conceito de IA adversária, menos ainda suas ameaças e sinais. Como parte da sua estratégia geral de defesa de cibersegurança, promova a conscientização com programas de treinamento e educação. Treine suas equipes para aprenderem a reconhecer atividades ou resultados suspeitos relacionados a sistemas baseados em IA/ML. Pergunte também ao seu provedor de segurança como ele fortalece sua tecnologia contra IA adversária. Uma das maneiras da CrowdStrike de fortificar a eficácia do ML contra esses tipos de ataques é usando red teaming em nossos próprios classificadores de ML, com ferramentas automatizadas que geram novas amostras adversárias com base em uma série de geradores com ataques configuráveis.

Ao capacitar sua equipe com esse tipo de conhecimento, você tem uma camada adicional de segurança e promove uma cultura de vigilância que melhora seus esforços de cibersegurança.

Treinamento adversário

O treinamento adversário é um algoritmo defensivo adotado por algumas organizações para proteger seus modelos de forma proativa. Ele envolve a introdução de exemplos adversários nos dados de treinamento de um modelo para ensiná-lo a classificar essas entradas de maneira correta como intencionalmente enganosas.

Ao ensinar um modelo de ML a reconhecer tentativas de manipular seus dados de treinamento, você faz com que ele veja a si mesmo como o alvo e se defenda contra ataques como envenenamento de modelos.

Defenda-se de IA/ML adversários com a CrowdStrike

Com as empresas modernas dependendo cada vez mais de sistemas baseados em IA/ML, o surgimento da IA adversária como um risco proeminente de cibersegurança não deve ser nenhuma surpresa. Com o objetivo de inibir o desempenho de sistemas de IA, a IA adversária usa técnicas como envenenamento ou adulteração de modelos para prejudicar a precisão e a confiabilidade dos resultados gerados pelo sistema.

Para se defender contra IA adversária, você precisa de uma postura reforçada de cibersegurança que use ferramentas robustas em uma única plataforma. A plataforma CrowdStrike Falcon^® é um pacote avançado de ferramentas de cibersegurança que oferece proteção de ponta a ponta contra todos os tipos de ciberameaças. Entre em contato com a CrowdStrike para saber mais.

Inscreva-se para uma avaliação gratuita