Otimize o gerenciamento de tráfego para ingestão de dados de fábrica de IA
No verão de 2024, o fundador e CEO da Nvidia, Jensen Huang, afirmou que “um novo tipo de fábrica de IA de data center produz uma nova mercadoria: inteligência artificial”. Então, vamos enquadrar a IA como se fosse uma mercadoria física. Fazer isso evoca imagens do Complexo River Rouge da Ford — uma personificação da integração vertical e da industrialização. Ferro e borracha entravam de um lado, os automóveis Ford saíam do outro. Com suas próprias docas, 160 quilômetros de trilhos ferroviários internos, uma usina elétrica dedicada e até mesmo suas próprias fábricas integradas de aço, vidro e papel, a Rouge funcionava 24 horas por dia e produzia quase 1,5 milhão de carros por ano.
Da mesma forma, as fábricas de IA de hoje e do futuro que atendem a modelos de treinamento e inferência de alto volume e alto desempenho consomem enormes quantidades de ingredientes brutos. Ou seja, dados. Estruturado, não estruturado, vídeo, texto e muito mais. Essas fábricas transformam esses dados em saídas tokenizadas que podem ser aproveitadas em inúmeras aplicações. E assim como o The Rouge Complex precisava de controle preciso sobre cada estágio da produção, as cargas de trabalho de IA exigem sistemas robustos de gerenciamento de tráfego para lidar com a ingestão, o processamento e a entrega de dados — em uma palavra: logística. As soluções certas de gerenciamento de tráfego dão às fábricas de IA a capacidade de extrair matérias-primas do campo e torná-las utilizáveis. Com as ferramentas logísticas certas, as equipes podem garantir fluxo de dados contínuo, alto rendimento, baixa latência e segurança, semelhante a manter uma linha de montagem funcionando perfeitamente em todas as etapas.
O que toda fábrica de IA requer
A Harvard Business Review descreveu em 2020 como a afiliada do Alibaba, Ant Group, cria inteligência acionável a partir de sua fábrica de IA para “gerenciar uma variedade de negócios, atendendo [mais de] 10 vezes mais clientes do que os maiores bancos dos EUA — com menos de um décimo do número de funcionários”. A maneira como o Ant Group conceitua uma fábrica de IA é igualmente convincente:
“Quatro componentes são essenciais para cada fábrica. O primeiro é o pipeline de dados, o processo semiautomatizado que coleta, limpa, integra e protege dados de forma sistemática, sustentável e escalável. O segundo são os algoritmos, que geram previsões sobre estados ou ações futuras do negócio. A terceira é uma plataforma de experimentação, na qual hipóteses sobre novos algoritmos são testadas para garantir que suas sugestões estejam tendo o efeito pretendido. O quarto é a infraestrutura, os sistemas que incorporam esse processo no software e o conectam a usuários internos e externos.”
Anteriormente em nossa série sobre fábricas de IA , a F5 definiu uma fábrica de IA como um grande investimento em armazenamento, rede e computação que atende a requisitos de treinamento e inferência de alto volume e alto desempenho. É por isso que o primeiro e o quarto componentes da lista do Ant Group são especialmente intrigantes: o desafio de estabelecer os sistemas necessários para gerenciar com segurança e eficiência os dados que os modelos de IA ingerem traz à tona a questão de como as fábricas de IA devem desenvolver a infraestrutura ao seu redor para produzir valor.
O gerenciamento de tráfego para ingestão de dados de IA é o processo incessante por meio do qual o tráfego de dados de IA com vários bilhões de parâmetros e rico em mídia é gerenciado e transportado para uma fábrica de IA para fins de treinamento e aprendizado de máquina. É aqui que uma solução de gerenciamento de tráfego de alto desempenho entra em ação para levar esse tráfego para a fábrica de IA. Sem essa solução, as equipes podem rapidamente precisar reutilizar conexões para manter o tráfego fluindo ou atingir os limites da infraestrutura de armazenamento, o que não é ideal para os requisitos de transporte de dados de alta capacidade e baixa latência que as fábricas de IA exigem para operar no ritmo e na escala desejados e otimizados .
Gerenciando o tráfego de dados de IA que viaja para, através e entre fábricas de IA.
Mantendo as fábricas de IA funcionando
Mas a taxa de progressão neste campo está longe de estagnar. Modelos de IA cada vez mais complexos exigem maiores quantidades de entrada de dados em frequências crescentes. Isso introduz um desafio de gravidade de dados, pois a colocação de dados em uma nuvem ou no local é muito importante dentro de um modelo de IA. Uma fábrica de IA construída para suportar a atração gravitacional das demandas de dados de IA do futuro precisa de uma infraestrutura que possa ser dimensionada para acompanhar os requisitos de insights mais rápidos dos dados que recebe. A infraestrutura de fábrica de IA pode, em última análise, determinar o sucesso e o valor comercial do modelo de IA que ela suporta. Esse rápido crescimento no consumo de mídia avançada pode aumentar significativamente o tráfego de rede e os custos associados se processados por meio de alguns provedores de nuvem. Assim, as empresas que enfrentam essa situação enfrentam um desafio duplo: manter a alta velocidade de transferência de dados necessária para modelos de aprendizado de IA eficientes e gerenciar as complexidades e despesas vinculadas ao trânsito e processamento de dados na nuvem.
Analisar cuidadosamente os quatro tipos de implantação de fábrica de IA descritos no artigo inicial sobre fábricas de IA (IA-SaaS, hospedada na nuvem, auto-hospedada ou hospedada na borda) pode ajudar as empresas a gerenciar essas complexidades, eliminando ou reduzindo a dependência da largura de banda da nuvem. O processamento de dados localmente não apenas elimina a questão da largura de banda da nuvem da equação. Ele também oferece controle total sobre conjuntos de dados de treinamento confidenciais. Isso, por sua vez, torna mais fácil atender aos requisitos regulatórios (por exemplo, GDPR, HIPAA ou PCI DSS), pois as organizações podem controlar como os dados são armazenados, acessados e processados, ao mesmo tempo em que minimizam a exposição dos dados ao manter informações confidenciais dentro da rede segura de uma organização.
Melhor infraestrutura é igual a mais valor para fábricas de IA
O tráfego de dados de IA e o tráfego de aplicativos interagem com o F5 BIG-IP Local Traffic Manager (LTM) e soluções de hardware de última geração de maneira semelhante. Isso significa que, assim como na otimização dos fluxos de tráfego de aplicativos tradicionais, as equipes podem otimizar seus fluxos de tráfego de dados de IA com ferramentas como o perfil FastL4 , aumentando o desempenho e a produtividade do servidor virtual. Eles podem aproveitar as otimizações de TCP para ajustar como os sistemas lidam com conexões TCP, essenciais para o desempenho da rede. Eles podem até mesmo implantar o OneConnect do BIG-IP, aumentando a taxa de transferência da rede por meio do gerenciamento eficiente das conexões criadas entre seus sistemas BIG-IP e os membros do pool de back-end. Organizações que buscam uma solução para distribuir o tráfego de dados de IA entre fábricas de IA não precisam procurar muito para encontrá-la. A F5 vem desenvolvendo ferramentas para otimizar o gerenciamento de tráfego de aplicativos há mais de duas décadas, tornando o BIG-IP LTM ideal para lidar com o tráfego de ingestão de dados de IA.
As aplicações de IA são as mais modernas das aplicações modernas. Sem uma solução de gerenciamento de tráfego robusta e versátil, os dados utilizáveis ficam inativos no campo e o valor que um modelo de IA pode extrair deles evapora. O Rouge tinha suas docas e quilômetros de trilhos de trem, as fábricas de IA têm soluções F5 como o BIG-IP.
O foco da F5 em IA não para por aqui: explore como a F5 protege e entrega aplicativos de IA em qualquer lugar .
Interessado em aprender mais sobre fábricas de IA? Explore as outras postagens do blog da série de fábricas de IA que a F5 publicou até o momento: