O que é Edge AI? Navegando pela inteligência artificial na borda

IA de ponta é a convergência de diversas tecnologias, incluindo inteligência artificial, Internet das Coisas (IoT), computação de ponta e sistemas embarcados, cada um desempenhando um papel crucial na viabilização do processamento inteligente e da tomada de decisões na ponta da rede. A IA de ponta envolve o uso de algoritmos incorporados para monitorar a atividade de um sistema remoto, bem como o processamento de dados coletados por dispositivos como sensores e outros rastreadores de dados não estruturados, incluindo temperatura, idioma, rostos, movimento, imagens, proximidade e outras entradas analógicas.

Esses sistemas remotos podem assumir muitas formas, incluindo sensores, smartphones, dispositivos IoT, drones, câmeras e até mesmo veículos e aparelhos inteligentes. Os dados coletados desses sistemas servem como entrada para algoritmos de IA de ponta, fornecendo informações valiosas sobre o estado do sistema ou seus arredores, permitindo que os sistemas de IA de ponta respondam rapidamente a mudanças ou anomalias e entendam o ambiente em que operam. Essas aplicações de IA de ponta seriam impraticáveis ou até mesmo impossíveis de operar em um ambiente de nuvem centralizada ou de data center empresarial devido a problemas relacionados a custo, latência, largura de banda, segurança e privacidade.

A Edge AI abrange uma ampla gama de casos de uso, incluindo:

• Veículos autônomos. O Edge AI permite que os veículos analisem dados de sensores em tempo real para tomar decisões em frações de segundo para tarefas como detecção de objetos, rastreamento de faixa e prevenção de colisões, sem depender constantemente da conectividade em nuvem.
• Cidades inteligentes. Dados de sensores e câmeras implantados em uma área urbana podem alimentar vários aplicativos de cidades inteligentes, incluindo gerenciamento de tráfego, monitoramento de segurança pública, gerenciamento de resíduos e otimização de energia.
• Monitoramento agrícola. O Edge AI oferece suporte à agricultura de precisão analisando dados de sensores, drones e imagens de satélite para monitorar a saúde das plantações, otimizar a irrigação, detectar infestações de pragas e realizar análises em tempo real das condições ambientais.
• IoT industrial. Ao implantar algoritmos de IA diretamente em equipamentos de fabricação e sensores, os dispositivos de ponta podem monitorar a integridade das máquinas, detectar defeitos e otimizar os processos de produção sem depender de servidores centralizados.
• Monitoramento de saúde. O Edge AI oferece suporte ao monitoramento remoto de pacientes e assistência médica personalizada por meio da análise de dados de dispositivos vestíveis, sensores médicos e equipamentos de imagem para realizar análises em tempo real de dados médicos e alertar os provedores de assistência médica sobre possíveis problemas de saúde.

Existem dois paradigmas principais para implantar algoritmos e modelos de IA: na borda ou na nuvem. Estratégias para integrar sistemas que abrangem sites de nuvem e de ponta são chamadas de “cloud-in” ou “edge-out”, ambas com implicações para desempenho, segurança e operações.

A IA de ponta envolve a implantação de IA em dispositivos remotos para permitir o processamento e a tomada de decisões em tempo real na ponta da rede ou em ambientes descentralizados. Esses sistemas podem analisar dados localmente, em grande parte, sem depender de conectividade de rede ou transmitir dados para servidores centralizados, o que resulta em menor latência e tempos de resposta mais rápidos. Os sistemas de IA de ponta também mantêm dados confidenciais locais, reduzindo o risco de violações de privacidade ou riscos de segurança associados à transmissão de dados para a nuvem.

Exemplos de Edge AI incluem veículos autônomos que usam IA implantada localmente para analisar dados de sensores e tomar decisões de condução em tempo real e dispositivos domésticos inteligentes que usam a Edge AI para processar comandos de voz ou monitorar instalações para invasores.

Por outro lado, a IA em nuvem é caracterizada pela implantação de algoritmos e modelos de IA em servidores de nuvem centralizados, permitindo processamento de dados em larga escala, treinamento e inferência. Os recursos de nuvem oferecem capacidades de computação significativas, permitindo tarefas complexas de IA, como treinamento de aprendizado profundo ou análise de big data, que exigem enorme poder computacional. As soluções de IA em nuvem podem ser facilmente dimensionadas para acomodar grandes volumes de dados e usuários, tornando-as adequadas para aplicativos com alto rendimento ou requisitos de uso intensivo de recursos.

Mecanismos de recomendação, como os usados pela Amazon ou Netflix para oferecer aos consumidores opções de produtos novos ou alternativos com base em dados extensivos do usuário, são exemplos de sistemas de Cloud AI em grande escala que exigem recursos computacionais substanciais para funcionar de maneira ideal.

Outros casos de uso de IA abrangem IA de ponta e IA de nuvem para atender às necessidades específicas do cliente. Exemplos da vida real incluem a Sentient.io, uma provedora de plataforma de dados e IA sediada em Cingapura, que desenvolveu o Sentient Marketplace, um centro de serviços inovadores de IA que permite que as empresas integrem facilmente a IA em seus fluxos de trabalho existentes. No entanto, o rápido sucesso do mercado apresentou vários desafios complexos, incluindo a dificuldade de operar e implantar serviços de IA em ambientes distribuídos: no local, na nuvem pública, na nuvem privada e na borda.

Ao operar em vários provedores em sites de clientes, as soluções individuais de provedores de nuvem podem oferecer distribuições proprietárias do Kubernetes, o que pode ser assustador para organizações que precisam aproveitar essas plataformas em seus respectivos ambientes de nuvem. Também foi complicado o processo de implantação dos modelos de IA da Sentient nos sites dos clientes, o que exigiu a configuração de ambientes Kubernetes locais para cada site de ponta e o tratamento manual de atualizações e sincronização de novos modelos. Isso resultou em maior complexidade operacional e orquestração de fluxo de trabalho e políticas de segurança inconsistentes.

A Sentient.io fez uma parceria com a F5 para oferecer soluções de IA "como serviço" prontas para uso e de nível empresarial para clientes em uma variedade de setores verticais usando o F5 Distributed Cloud App Stack, uma plataforma Kubernetes pronta para empresas que simplifica implantações em locais locais, na nuvem e na borda. A solução simplificou as operações da Sentient, reduzindo a latência e permitindo o processamento de IA em tempo real na ponta. A entrega de inferência na borda elimina restrições de rede e largura de banda devido à localização geográfica e garante a entrega imediata de inferência aos aplicativos em tempo real. Essa mudança na implantação do modelo permitiu que a Sentient.io entregasse aplicativos de IA de alto desempenho aos seus clientes com um tempo de geração de valor mais rápido, otimizasse a alocação de recursos, reduzisse os custos operacionais gerais e integrasse nativamente a segurança de aplicativos e APIs.

A colaboração também proporcionou economias de custos significativas em relação ao processo anterior de gerenciamento manual de diversas plataformas de nuvem, o que exigia equipes dedicadas e gerava custos substanciais de recursos. Com o F5 Distributed Cloud Services, a Sentient simplificou as operações, cortando custos por meio da otimização de recursos e simplificando o gerenciamento de aplicativos, liberando recursos para outras iniciativas estratégicas de confirmação.

O acesso à IA de ponta envolve a implantação de uma combinação de dispositivos, tecnologias, componentes de infraestrutura e integrações para permitir acesso e utilização eficientes de recursos de IA na ponta da rede. Isso inclui:

• Dispositivos de ponta. Incorporados com sensores e microcontroladores, os dispositivos de ponta coletam dados do mundo físico e podem hospedar modelos de IA de ponta para processamento local. Exemplos de dispositivos IoT são termostatos inteligentes, câmeras de vigilância, monitores de umidade do solo e sensores industriais. Os dispositivos de ponta também podem incluir smartphones e tablets, que não apenas detectam o ambiente, mas também podem aproveitar seu poder de processamento e conectividade para executar tarefas de IA de ponta.
• Tecnologias. Operar sistemas de IA na borda da rede requer uma série de tecnologias especializadas, incluindo algoritmos treinados e modelos de IA otimizados para implantação em dispositivos com recursos limitados. Estruturas e plataformas de IA de ponta também estão disponíveis para fornecer ferramentas e bibliotecas para simplificar o desenvolvimento e a implantação do sistema. 
• Infraestrutura. Conectividade de rede confiável, com ou sem fio, é necessária para que dispositivos de IA de ponta se comuniquem entre si e com servidores centralizados quando necessário, e pode incluir componentes de hardware como servidores de ponta, gateways e roteadores. Além disso, as APIs são a peça fundamental nas arquiteturas de IA, permitindo que diferentes componentes e serviços se comuniquem entre si e troquem dados e instruções.
• Integrações. Os sistemas de IA de ponta devem ser capazes de se integrar às redes e infraestruturas existentes para garantir a acessibilidade dos dados, permitir escalabilidade e compatibilidade com outros componentes do sistema e facilitar a complexidade do gerenciamento.

Além disso, esteja ciente dos seguintes desafios e limitações para implantar e acessar a Edge AI.

• Poder de computação e conectividade limitados. A maioria dos dispositivos de ponta tem poder de processamento, memória e armazenamento limitados, o que pode restringir a complexidade e o tamanho dos modelos de IA que podem operar na ponta. Além disso, os dispositivos de ponta geralmente operam em ambientes com opções limitadas de conectividade de rede, o que também pode afetar a capacidade de resposta, o desempenho e a confiabilidade dos sistemas de IA de ponta.
• Custo e disponibilidade. Muitos modelos de IA se beneficiam de aceleradores de carga de trabalho, como Unidades de Processamento Gráfico (GPUs) e Unidades de Processamento de Dados (DPUs) para processamento mais rápido, mas as GPUs, em particular, são caras e, devido a restrições físicas, podem ser grandes demais para uso em formatos miniaturizados. Isso pode limitar os tipos de algoritmos de IA que podem ser implantados em dispositivos de ponta e pode exigir técnicas de otimização alternativas.
• Privacidade de dados. Alguns sistemas de IA de ponta geram e processam dados confidenciais ou protegidos localmente, levantando preocupações sobre privacidade de dados e conformidade com regulamentações como HIPAA ou GDPR. Garantir a privacidade dos dados e a conformidade com os requisitos legais pode exigir a implementação de medidas adequadas de anonimização, criptografia e controle de acesso.
• Gerenciamento de dispositivos. Implantar, monitorar, atualizar e manter sistemas de IA de ponta distribuídos em locais geograficamente dispersos pode ser desafiador e requer ferramentas e plataformas de gerenciamento eficientes.

Proteger dados e mitigar riscos de segurança em implantações de IA de ponta requer uma abordagem holística que enfatize uma abordagem de segurança em várias camadas. Embora a IA de ponta seja diferente das cargas de trabalho de computação tradicionais em aspectos importantes, como sua capacidade de aprender com dados e desenvolver comportamento com base na experiência, em termos de requisitos de segurança, a IA de ponta tem muito em comum com sistemas de IoT mais convencionais e compartilha muitos dos mesmos riscos, incluindo: 

• Malware e ataques cibernéticos. Dispositivos de IA de ponta são suscetíveis a infecções por malware, ataques cibernéticos e exploração remota se não forem protegidos adequadamente. Implementar software antivírus, sistemas de detecção de intrusão e atualizações regulares de software deve fazer parte de toda estratégia de segurança de IA de ponta.
• Segurança de rede . Dispositivos de IA de ponta geralmente se comunicam entre si e com servidores centralizados em redes, o que os torna alvos potenciais para ataques baseados em rede. Comunicações de rede seguras com mecanismos de criptografia, autenticação e controle de acesso para proteger dados em trânsito e impedir acesso não autorizado aos recursos da rede.
• Integridade de dados . Para manter a precisão e a confiabilidade dos modelos de IA e dos processos de tomada de decisão, é necessário proteger a integridade dos dados processados pelos dispositivos de IA de ponta. Detectar e mitigar adulteração, manipulação ou corrupção de dados requer a implementação de validação de dados, somas de verificação e verificações de integridade para verificar a autenticidade e a consistência das entradas de dados.
• Segurança física. Dispositivos de IA de ponta geralmente são implantados em ambientes remotos ou hostis, o que os torna vulneráveis a danos, adulteração física, roubo ou vandalismo. Proteções físicas, como gabinetes invioláveis ou câmeras de vigilância, ajudam a proteger os dispositivos contra danos, manipulação ou acesso não autorizado.
• Segurança de API. Ecossistemas de IA, incluindo plug-ins, são facilitados por APIs, que estão sujeitas a vulnerabilidades, abusos, configurações incorretas e ataques que ignoram controles de autenticação e autorização deficientes.
• Segurança do Large Language Model (LLM). Os LLMs e os processos relevantes de treinamento e inferência associados à tomada de decisões em aplicações generativas baseadas em IA estão sujeitos a inúmeros riscos, incluindo injeção imediata, envenenamento de dados, alucinações e viés.

Para uma análise aprofundada dos riscos de segurança envolvidos na implantação e no gerenciamento de sistemas de IA baseados em LLMs, incluindo aplicativos de IA de ponta, revise o OWASP Top 10 para aplicativos de modelos de linguagem grandes , que promove a conscientização sobre suas vulnerabilidades, sugere estratégias de correção e busca melhorar a postura de segurança dos aplicativos LLM.  

Devido ao seu posicionamento na borda da rede ou em outros locais remotos, é importante otimizar a infraestrutura de IA de borda para desempenho, utilização de recursos, segurança e outras considerações. No entanto, otimizar a eficiência e o desempenho de dispositivos com recursos limitados pode ser desafiador, pois minimizar os requisitos computacionais, de memória e de energia e, ao mesmo tempo, manter um desempenho aceitável geralmente envolve compensações.

A IA de ponta faz parte de um conjunto de tecnologias em rápida evolução na borda da rede, que está inaugurando uma nova era de ambientes de computação inteligentes, responsivos e mais eficientes. Essas tecnologias, na junção dos avanços em processadores, redes, softwares e segurança, estão abrindo novas possibilidades de inovação e transformação em todos os setores. Esses casos de uso de computação de ponta aproveitam análises e tomadas de decisão em tempo real na borda da rede, permitindo que as organizações processem e analisem dados mais próximos de sua origem e melhorem os tempos de resposta para aplicativos sensíveis à latência ou garantam a entrega de conteúdo em tempo real.

Distribuir recursos de computação pela borda da rede também permite que as organizações se adaptem rapidamente às mudanças nas demandas de carga de trabalho e otimizem a utilização de recursos para melhorar o desempenho e a eficiência geral do sistema. Essas possibilidades se devem em parte à evolução de componentes desenvolvidos especificamente para infraestrutura de computação de ponta, como servidores de ponta, plataformas e bibliotecas de computação de ponta e processadores de IA em chip que fornecem os recursos de computação, armazenamento e rede necessários para dar suporte a aplicativos de IA de ponta.

A Edge AI desempenhou um papel fundamental na condução do renascimento da infraestrutura na borda da rede, e a integração da IA com a IoT continua a impulsionar a tomada de decisões inteligentes na borda, impulsionando aplicações revolucionárias em saúde, automação industrial, robótica, infraestrutura inteligente e muito mais.

TinyML é uma abordagem para ML e IA que se concentra em parte na criação de modelos e algoritmos de ML de software leves, que são otimizados para implantação em dispositivos de ponta com recursos limitados, como microcontroladores e dispositivos de IA de ponta. Os algoritmos baseados em TinyML são projetados para serem energeticamente eficientes e capazes de executar tarefas de inferência localmente sem depender de recursos de nuvem.

Além disso, processadores compactos e poderosos, como DPUs, que são componentes de hardware especializados projetados para descarregar e acelerar tarefas de processamento de dados da CPU, são cada vez mais usados em computação de ponta e cargas de trabalho de IA/ML, onde o processamento eficiente de grandes quantidades de dados é crucial para desempenho e escalabilidade. Essa eficiência é especialmente valiosa em ambientes de computação de ponta, onde restrições de energia podem limitar o uso de soluções de GPU que consomem muita energia.

Vinculando essas inovações em um continuum de ponta a nuvem e data center está uma nova geração de soluções de rede que permite processamento, análise e observabilidade de dados contínuos em arquiteturas distribuídas, incluindo recursos de computação híbrida, multinuvem e de ponta. Essas redes dependerão cada vez mais de APIs, que são componentes essenciais das plataformas de computação de ponta, pois facilitam a comunicação, a integração e a automação para permitir a troca e a sincronização de dados sem interrupções em ambientes de computação distribuída. As APIs também permitem a interoperabilidade entre diversos dispositivos, sistemas e serviços de ponta, fornecendo interfaces padronizadas, o que também permite o provisionamento, o gerenciamento e o controle dinâmicos de recursos e serviços de ponta.

Nessas arquiteturas distribuídas de amplo alcance, os dados podem ser processados e analisados com segurança em vários pontos ao longo do continuum, desde dispositivos de ponta localizados próximos a fontes de dados até servidores de nuvem centralizados — ou dispersos — localizados em data centers. Esse continuum de ponta a ponta permite que as organizações aproveitem com segurança os pontos fortes de vários ambientes de computação e integrem cargas de trabalho tradicionais e de IA para atender aos diversos requisitos de aplicativos modernos.

A F5 é a única provedora de soluções que protege, entrega e otimiza qualquer aplicativo, qualquer API, em qualquer lugar, em todo o continuum de ambientes distribuídos, incluindo aplicativos de IA na borda da rede. Os aplicativos baseados em IA são os mais modernos entre os aplicativos modernos e, embora haja considerações específicas para sistemas que empregam GenAI, como riscos de LLM e inferência distribuída, esses aplicativos também estão sujeitos a latência, negação de serviço, vulnerabilidades de software e abuso por parte de malfeitores que usam bots e automação maliciosa.

Novas experiências digitais orientadas por IA são altamente distribuídas, com uma mistura de fontes de dados, modelos e serviços que se expandem entre ambientes locais, na nuvem e de ponta, todos conectados por uma rede crescente de APIs que adicionam desafios de segurança significativos. A proteção dessas conexões de API e dos dados que passam por elas é o desafio crítico de segurança que as empresas devem enfrentar à medida que implantam mais serviços habilitados para IA.

A F5 Distributed Cloud Services oferece a solução de segurança de API mais abrangente do setor, pronta para IA, com testes de código de API e análise de telemetria para ajudar a proteger contra ameaças sofisticadas baseadas em IA, ao mesmo tempo em que facilita a proteção e o gerenciamento de ambientes de aplicativos de ponta e multinuvem. As soluções de rede multi-nuvem da F5 oferecem rede baseada em SaaS com otimização de tráfego e serviços de segurança para nuvens públicas e privadas e implantações de ponta por meio de um único console, facilitando a carga de gerenciamento de serviços dependentes da nuvem e de vários fornecedores terceirizados. Com as soluções de rede F5, você obtém implantações de IA aceleradas, gerenciamento de políticas de ponta a ponta e observabilidade para uma infraestrutura totalmente automatizável e confiável. 

Além disso, o novo F5 AI Data Fabric é uma base para a criação de soluções inovadoras que ajudam os clientes a tomar decisões mais informadas e ações mais rápidas. A telemetria dos Distributed Cloud Services, BIG-IP e NGINX se combinam para fornecer insights inigualáveis, produzir relatórios em tempo real, automatizar ações e capacitar agentes de IA.

A F5 também está lançando um assistente de IA que mudará a maneira como os clientes interagem e gerenciam as soluções da F5 usando uma interface de linguagem natural. Com a tecnologia F5 AI Data Fabric, o assistente de IA gerará visualizações de dados, identificará anomalias, consultará e gerará configurações de políticas e aplicará etapas de correção. Ele também atuará como um gerente de suporte ao cliente integrado, permitindo que os clientes façam perguntas e recebam recomendações com base no treinamento de modelos de bases de conhecimento de produtos inteiras.

Ao alimentar e proteger suas aplicações baseadas em IA, desde o data center até a borda, as soluções da F5 fornecem ferramentas poderosas que oferecem desempenho e segurança previsíveis para que você possa obter o maior valor de seus investimentos em IA.