Como as empresas de telecomunicações podem levar a IA generativa para o próximo nível
Nos últimos 18 meses, a IA generativa (GenAI) conquistou o mundo.
Novos serviços, como ChatGPT e DALL-E, podem gerar texto, imagens e código de software em resposta a solicitações de linguagem natural dos usuários.
Novos níveis de produtividade agora são possíveis e, de acordo com uma pesquisa recente da Bloomberg Intelligence, o mercado de GenAI pode valer até US$ 1,3 trilhão até 2032.
Com o valor desta tecnologia agora vividamente aparente, estamos começando a ver um impulso crescente para criar versões específicas para cada setor e região dos Large Language Models (LLMs) que permitem que os computadores gerem textos confiáveis e outros conteúdos.
LLMs são modelos estatísticos de linguagem treinados em uma grande quantidade de dados. Eles podem ser usados para gerar e traduzir texto e outros conteúdos, bem como executar tarefas de processamento de linguagem natural. Os LLMs geralmente são baseados em arquiteturas de aprendizado profundo.
Em todo o mundo, operadoras de telecomunicações pioneiras já estão se preparando para desempenhar um papel importante na entrega e segurança desses LLMs especializados. Em particular, elas estão prevendo uma forte demanda por soluções GenAI de ponta a ponta de empresas, start-ups, universidades e administrações públicas que não podem se dar ao luxo de construir a infraestrutura de computação necessária por si mesmas.
É uma tendência atraente e, com as devidas salvaguardas de segurança, as soluções de LLM como serviço poderão em breve ser usadas para desenvolver aplicações GenAI específicas para saúde, educação, transporte e outros setores importantes (incluindo telecomunicações).
Desafios
Então, quais são os próximos passos para fazer tudo funcionar e quais são alguns dos principais desafios que temos pela frente?
Como precisam ser muito responsivos, altamente confiáveis e sempre disponíveis, muitos LLMs provavelmente serão distribuídos em várias nuvens e locais de borda de rede.
De fato, com a latência apropriada, o GenAI será essencial para as propostas de ponta das empresas de telecomunicações, pois os usuários precisarão de respostas “conversacionais” em tempo real.
Para empresas de telecomunicações que têm lutado para aumentar a receita, fornecer infraestrutura de ponta para dar suporte a sistemas GenAI especializados pode ser um novo mercado importante . A Bloomberg Intelligence estima que o mercado de infraestrutura como serviço da GenAI (usado para treinar LLMs) valerá US$ 247 bilhões até 2032.
No entanto, aqueles que esperam ganhar o prêmio máximo da GenAI precisam ter cuidado.
Arquiteturas distribuídas, que podem aumentar a superfície de ataque potencial, exigem soluções de segurança robustas e escaláveis para evitar vazamento de dados e informações de identificação pessoal, tanto nas fases de treinamento de IA quanto de inferência.
À medida que agentes mal-intencionados empregam cada vez mais técnicas de movimentação lateral para abranger vários sistemas interconectados, é essencial que as empresas de telecomunicações protejam tanto os aplicativos quanto as APIs que terceiros usarão para acessar o LLM como serviço. Para ajudar a aumentar a conscientização sobre esse assunto, a Open Source Foundation for Application Security (OWASP) iniciou recentemente um novo projeto para educar desenvolvedores, designers, arquitetos, gerentes e organizações sobre os potenciais riscos de segurança ao implantar e gerenciar LLMs.
Uma coisa é certa: as empresas de telecomunicações precisam manter a confiança do cliente necessária para se tornarem participantes confiáveis neste mercado, já que os sistemas GenAI frequentemente precisarão processar dados pessoais ou comerciais confidenciais. Por esse motivo, muitos governos e reguladores estão interessados em que esses sistemas sejam executados em capacidade computacional localizada dentro de suas jurisdições. Enquanto isso, as empresas também estão relutantes em compartilhar dados confidenciais que possam ameaçar sua propriedade intelectual e, portanto, preferem usar ofertas privadas de LLM.
Outras questões importantes incluem a maneira como os clusters de IA atuam como comunidades virtuais de usuários, o que requer caminhos de dados de alto desempenho para acessar dados que residem em repositórios privados de países e empresas.
Além disso, o impacto da IA no tráfego de rede e na infraestrutura será cada vez mais influenciado pelos planos de países e empresas de auto-hospedar aplicativos de IA. Preocupações com alucinações, direitos autorais, segurança, bem como os impactos ambientais da IA, estão levando muitos a buscar mais segurança e controle sobre os dados. Além disso, eles precisarão de novas maneiras de mitigar a pressão prevista sobre as GPUs. Todas essas considerações impactam o TCO geral das infraestruturas de IA.
Entre nas empresas de telecomunicações: proteção flexível e escalável em vários ambientes
As empresas de telecomunicações podem desempenhar um papel importante na revolução da IA. Eles possuem infraestruturas nacionais, têm uma oferta B2B existente e são uma opção natural para se tornarem provedores de IA como serviço.
Como exemplo, a F5 já está ajudando uma empresa de telecomunicações na Europa a garantir sua nova proposta GenAI. Neste caso, nosso cliente está usando as tecnologias Nvidia DGX Super POD e Nvidia AI Enterprise para desenvolver o primeiro LLM treinado nativamente em um idioma local. O objetivo é capturar as nuances da língua, bem como as especificidades de sua gramática, contexto e identidade cultural.
Para proteger a solução em vários sites de ponta, a empresa de telecomunicações aproveitará o F5 Distributed Cloud Web Application and API Protection (WAAP) , fornecido como um serviço baseado em nuvem. Eles também estão aproveitando os clusters ADC da F5 para executar o balanceamento de carga da nova plataforma de IA em sua infraestrutura de ponta.
Fundamentalmente, as soluções da F5 podem ser empregadas em data centers de nuvem pública e multilocação, bem como internamente e em sua infraestrutura de ponta.
Além disso, o F5 Distributed Cloud WAAP e as soluções de segurança de API associadas podem ser rapidamente dimensionados conforme o tráfego aumenta, reduzindo o custo geral de entrega do LLM como serviço. O F5 também fornece visibilidade do fluxo de tráfego, latência e tempos de resposta que as empresas de telecomunicações e outros provedores de serviços gerenciados precisarão para fornecer aos clientes empresariais acordos de nível de serviço.
Outra maneira pela qual o F5 pode ajudar é lidar com o fato de que as tarefas de inferência e IA de LLM são conhecidas por exigir muitos recursos. Essas cargas de trabalho exigem amplas trocas de dados e, muitas vezes, resultam em gargalos devido à necessidade de trocas de dados seguras em escala. Isso pode resultar em uma menor utilização de recursos valiosos, o que leva ao aumento de custos operacionais e atrasos nos resultados desejados.
Se jogarem suas cartas corretamente e forem capazes de alavancar de forma inteligente soluções de segurança escaláveis e robustas, as empresas de telecomunicações têm tudo o que é preciso para se tornarem provedoras confiáveis de LLMs específicos para a indústria e para a nação. As que tiverem sucesso, sem dúvida, ganharão uma grande vantagem competitiva nos próximos anos.
Quer saber mais? Marque uma reunião com a F5 no Mobile World Congress em Barcelona de 26 a 29 de fevereiro (Hall 5, Stand 5C60)