Proteção de API para fábricas de IA: O primeiro passo para a segurança da IA

Anteriormente em nossa série sobre fábricas de IA, definimos uma fábrica de IA como um grande investimento em armazenamento, rede e computação que atende a requisitos de treinamento e inferência de alto volume e alto desempenho. Assim como as fábricas tradicionais, as fábricas de IA aproveitam modelos de IA pré-treinados para transformar dados brutos em inteligência. Os aplicativos de IA são simplesmente os mais modernos dos aplicativos modernos, fortemente conectados por meio de APIs e altamente distribuídos.

Começamos com a premissa de que um aplicativo de IA é um aplicativo moderno, com os mesmos desafios familiares para entrega, segurança e operação, e que os modelos de IA aumentarão radicalmente o número de APIs que precisam de entrega e segurança. 

Então, missão cumprida! Conseguimos, certo? Sabemos como entregar aplicativos modernos com segurança. Temos práticas recomendadas de segurança de application bem estabelecidas e entendemos as complexidades da proteção de APIs. Temos soluções que fornecem proteção abrangente e segurança consistente em ambientes distribuídos.

Não tão rápido! Guarde seus GPTs enquanto nos aprofundamos brevemente nos detalhes.

Embora os aplicativos de IA compartilhem os mesmos riscos e desafios dos aplicativos modernos (ambos são essencialmente sistemas baseados em API), os aplicativos de IA têm implicações específicas: treinamento, ajuste fino, inferência, geração aumentada de recuperação (RAG) e pontos de inserção em fábricas de IA.

Então, sim, os aplicativos de IA, assim como os aplicativos modernos, têm uma natureza altamente distribuída, criam dispersão de ferramentas e complicam os esforços para manter visibilidade consistente, aplicação uniforme de políticas de segurança e correção universal de ameaças em arquiteturas híbridas e multinuvem. Além de lidar com essa “ bola de fogo ” de risco e complexidade, os defensores devem lidar com a natureza aleatória das solicitações humanas e a natureza altamente variável do conteúdo adquirido pela IA, que pode levar a respostas imprevisíveis da IA, bem como considerações sobre normalização de dados, tokenização, incorporação e preenchimento de bancos de dados vetoriais.

Reunir dados em fábricas de IA cria um ecossistema empresarial holístico e conectado, e a integração e as interfaces entre todas essas partes móveis exigem uma postura de segurança de API robusta.

É crucial proteger as APIs que são portas de entrada para funcionalidades de application de IA e trocas de dados contra riscos de segurança. Embora as mesmas explorações de vulnerabilidades, ataques de lógica de negócios, abuso de bots e riscos de negação de serviço (DoS) se apliquem, há considerações adicionais para pontos de inserção novos e modificados dentro de fábricas de IA e riscos para LLMs por meio de interfaces de processamento de linguagem natural (NLP), plug-ins, conectores de dados e serviços downstream — durante treinamento, ajuste fino, inferência e RAG. Além disso, ataques conhecidos como DoS têm considerações adicionais; mitigações para DDoS volumétrico e DoS de application L7 não compensam completamente os riscos de DoS de modelo . Os aplicativos de IA também apresentam um paradoxo de explicabilidade, ressaltando a importância da rastreabilidade para ajudar a compensar alucinações, preconceitos e desinformação.

E os atacantes não estão parados. A IA generativa democratiza ataques e aumenta a sofisticação de campanhas de cibercriminosos e de estados-nação. Os agentes LLM agora podem hackear aplicativos da web e APIs de forma autônoma, por exemplo, executando tarefas complexas como extração cega de esquemas de banco de dados e injeções de SQL sem precisar conhecer a vulnerabilidade com antecedência.

Embora os novos riscos de IA estejam gerando muito burburinho, a importância da segurança de API para fábricas de IA não pode ser exagerada. É urgente. O aumento da superfície de API para aplicativos de IA é impressionante. Todo CISO precisa incorporar a segurança de API como parte dos programas de governança de IA, já que o mantra central de qualquer guia de sobrevivência de CISO deve ser "você não pode proteger o que não pode ver". Se você não tiver um inventário das interfaces por trás de seus aplicativos de IA, terá um modelo de ameaça incompleto e lacunas em sua postura de segurança .

As applications de IA são dinâmicas, variáveis ​​e imprevisíveis. A adoção segura de aplicativos de IA exige maior ênfase na eficácia, criação de políticas robustas e operações automatizadas. As tecnologias de inspeção desempenharão um papel crítico e evolutivo na segurança.

Para segurança de API em aplicativos e ecossistemas de IA, em particular, as organizações precisarão compensar a maior probabilidade de uso inseguro de APIs de terceiros arquitetando a segurança para chamadas de API de saída e casos de uso relacionados, além dos controles de segurança de entrada que estão amplamente implementados. As soluções de gerenciamento de bots não podem depender apenas da identificação “humana” ou “de máquina”, dado o aumento do tráfego entre serviços e Leste-Oeste , por exemplo, dos fluxos de trabalho do RAG. E como a cadeia de suprimentos de applications LLM pode ser vulnerável e impactar a integridade dos dados de treinamento, modelos e plataformas de implantação (que geralmente são provenientes de terceiros e podem ser manipulados por meio de ataques de adulteração ou envenenamento), os controles de segurança precisam ser implementados em todos os lugares: no data center, nas nuvens, na borda e do código, passando pelos testes, até a produção.  

A tecnologia AI Gateway desempenhará um papel fundamental em ajudar as equipes de segurança e risco a mitigar riscos aos LLMs, como injeção rápida e divulgação de informações confidenciais, mas o primeiro passo na jornada de segurança da IA começa com a proteção de APIs que conectam aplicativos de IA e ecossistemas de IA, tornando a segurança intrínseca em todo o ciclo de vida do aplicativo de IA.