Como os bots atacam modelos de linguagem grandes: Os 10 melhores LLM da OWASP

1. Injeção rápida

Um ataque de injeção rápida busca alterar o comportamento dos LLMs de maneiras maliciosas que, de acordo com a OWASP, podem fazer com que os modelos “violem diretrizes, gerem conteúdo prejudicial, permitam acesso não autorizado ou influenciem decisões críticas”. Para impactar o comportamento dos modelos por meio de prompts, pode ser necessário que o adversário injete muitos prompts, inundando o modelo com prompts prejudiciais para maximizar o dano ou atingir um prompt que alcance o resultado desejado. Para inserir um número suficientemente grande de prompts maliciosos, os adversários precisarão de bots para automação. 

2. Divulgação de informações confidenciais

Na corrida para criar LLMs que forneçam valor comercial aos funcionários e clientes, as organizações treinarão modelos em vastos armazenamentos de dados proprietários da organização. No entanto, esses armazenamentos de dados podem conter informações confidenciais, incluindo dados pessoais e segredos comerciais. Os adversários quase certamente investigarão esses modelos na esperança de revelar esses dados confidenciais . E como os adversários podem não saber exatamente quais dados estão procurando e como solicitá-los especificamente, eles podem adotar uma abordagem de força bruta, emitindo vários prompts na esperança de que um deles revele informações confidenciais valiosas. Para executar um grande número de prompts contra modelos, os adversários que desejam escalar seus ataques implantarão bots.

3. Cadeia de mantimentos

Como qualquer sistema de informação, os LLMs têm dependências, incluindo dados de treinamento, modelos de base e plataformas de implantação, o que significa que os adversários podem comprometer um LLM ao comprometer sua cadeia de suprimentos . Para comprometer dependências, os adversários provavelmente usarão bots para manipular armazenamentos de dados com informações falsas, invadir sistemas de autenticação com preenchimento de credenciais ou proxies de phishing em tempo real e investigar vulnerabilidades de autorização.

4. Envenenamento de dados e modelos

No envenenamento de dados, os adversários manipulam dados de pré-treinamento, ajuste fino ou incorporação para introduzir vulnerabilidades, backdoors ou vieses. De acordo com a OWASP, “essa manipulação pode comprometer a segurança, o desempenho ou o comportamento ético do modelo, levando a resultados prejudiciais ou capacidades prejudicadas”. Embora existam muitos métodos que os adversários podem empregar para manipular dados, os bots são uma ferramenta comum em muitos tipos de ataque, desde a violação de autenticação ou autorização até a inserção de dados falsos em armazenamentos de dados por meio de aplicativos que não têm proteção contra bots.

5. Manuseio de saída impróprio

O tratamento inadequado da saída refere-se à falha em verificar se a saída de um modelo LLM pode prejudicar um sistema que depende dessa saída. Embora as vulnerabilidades da cadeia de suprimentos e do envenenamento de dados e modelos se refiram a comprometimentos de sistemas a montante do modelo LLM, o tratamento inadequado da saída impacta os sistemas a jusante; ou seja, sistemas que dependem da saída do modelo LLM. De acordo com a OWASP , “a exploração bem-sucedida de uma vulnerabilidade de manipulação de saída inadequada pode resultar em script entre sites (XSS) e falsificação de solicitação entre sites (CSRF) em navegadores da web, bem como falsificação de solicitação do lado do servidor (SSRF), escalonamento de privilégios ou execução remota de código em sistemas de back-end”.

Para analisar isso de outra forma, o adversário usa o LLM para atacar outro aplicativo que depende da saída do LLM. Embora um invasor possa explorar essa vulnerabilidade por meio de entradas cuidadosamente elaboradas em um aplicativo, o invasor pode tentar aplicar um ataque de força bruta por meio da automação, tentando muitas variações para descobrir uma entrada que produza uma saída que prejudique um aplicativo posterior. A automação tentará forçar uma saída maliciosa do modelo e testar se a saída teve o efeito negativo desejado no aplicativo. Para dimensionar esse tipo de sondagem serão necessários bots.

6. Agência excessiva

Agência excessiva é uma forma de escalada de privilégios realizada por meio de um sistema baseado em LLM. A vulnerabilidade deriva de um sistema baseado em LLM executado com privilégios elevados, permitindo que ele chame funções ou interaja com outros sistemas. O adversário, sem saber onde o sistema baseado em LLM escalou privilégios ou como explorar essa escalada, provavelmente usará a automação para inserir vários prompts, na esperança de acionar e explorar uma escalada de privilégios.

7. Vazamento de prompt do sistema

Os aplicativos criados em LLMs geralmente fornecem ao LLM instruções de prompt do sistema que orientam o comportamento do modelo para atender aos requisitos do aplicativo. Na prática, os prompts do sistema podem conter segredos: strings de conexão com bancos de dados, código proprietário, propriedade intelectual ou outro conteúdo que as empresas devem manter seguro. Vazamento de prompt do sistema , então, é uma forma específica de injeção de prompt que faz com que um aplicativo revele inadvertidamente suas instruções de sistema.

Fazer com que um LLM exponha esses segredos por meio de prompts não é trivial, e quase certamente os adversários desenvolverão scripts automatizados para sondar com mais eficiência os dados confidenciais incorporados nos prompts do sistema.

8. Fraquezas de vetores e incorporação

Os aplicativos LLM geralmente aprimoram a saída do modelo por meio de contexto aprimorado, fornecido aos modelos por meio de uma técnica conhecida como geração aumentada de recuperação (RAG). O conteúdo fornecido aos LLMs via RAG não é texto bruto, mas sim vetores pré-processados com metadados e conteúdo incorporados. De acordo com a OWASP , “fraquezas na forma como vetores e embeddings são gerados, armazenados ou recuperados podem ser exploradas por ações maliciosas (intencionais ou não) para injetar conteúdo prejudicial, manipular saídas de modelos ou acessar informações confidenciais”. Em outras palavras, os adversários podem ir atrás do conteúdo RAG e seu processamento para atacar o sistema LLM.

As empresas implementam seus próprios processos e definem o escopo do conteúdo RAG para atender às necessidades específicas de sua organização, o que significa que o conteúdo e suas falhas serão exclusivos da organização. Da perspectiva do adversário, descobrir essas falhas não será fácil, então certamente exigirá exploração automatizada, ou seja, o uso de bots.

9. Desinformação

Quando os LLMs produzem informações falsas ou enganosas , os sistemas que dependem dessas informações podem apresentar mau funcionamento, resultando em violações de segurança, danos à reputação e responsabilidade legal. Os LLMs podem produzir informações incorretas por meio de alucinações ou por causa de vieses e lacunas nos dados de treinamento.  

Adversários que buscam explorar alucinações provavelmente automatizarão suas análises de estímulos e respostas. Por exemplo, ao automatizar o processo de geração de código — ou seja, usar um LLM para gerar muitas instâncias de código de computador — os adversários podem encontrar referências de código para bibliotecas de software que, na verdade, não existem. O adversário pode então criar uma biblioteca de software malicioso em qualquer repositório de código que o LLM tenha alucinado. Se o código gerado pelo LLM não for revisado adequadamente, a biblioteca maliciosa será incorporada ao produto lançado.

Os adversários também podem usar bots para manipular dados de treinamento, inserindo intencionalmente grandes quantidades de dados com a intenção de distorcer o modelo.

10. Consumo ilimitado

A décima vulnerabilidade do OWASP LLM, consumo ilimitado , é muito semelhante à vulnerabilidade da API do OWASP chamada consumo irrestrito de recursos , bem como à ameaça automatizada do OWASP chamada negação de serviço . O adversário excede o número esperado de solicitações a tal ponto que o serviço de inferência sofre negação de serviço, degradação de desempenho e custos excessivos. De acordo com a OWASP, “as altas demandas computacionais dos LLMs, especialmente em ambientes de nuvem, os tornam vulneráveis à exploração de recursos e ao uso não autorizado”. Para exceder o uso esperado, os adversários quase certamente usarão bots para aumentar o volume de solicitações.

Implementando proteções de bot

Com muitas organizações enfrentando pressão para agir rapidamente na introdução de recursos de IA no mercado e com as implicações de segurança dos LLMs não totalmente compreendidas, elas devem considerar a implementação de proteções de bots na frente de aplicativos baseados em LLM, bem como nos aplicativos que alimentam dados em modelos de LLM. Quanto mais ataques os adversários puderem lançar, maiores serão suas chances de sucesso. A F5 fornece um serviço de proteção contra bots particularmente eficaz, o F5 Distributed Cloud Bot Defense , desenvolvido com base em IA, que ajuda as organizações a obter vantagem contra adversários que usam bots e automação para atingir aplicativos LLM.

Saiba mais sobre a Distributed Cloud Bot Defense.