A Sentient.io, uma provedora de plataforma de dados e IA sediada em Cingapura, está democratizando o acesso à IA para empresas de todos os tamanhos. Os Serviços de Nuvem Distribuída da F5 ajudaram a otimizar as operações dispersas da Sentient.io, reduzindo os custos operacionais e capacitando o processamento de IA em tempo real na borda.
A jornada da Sentient.io como inovadora em IA foi marcada por um sucesso notável. Em busca de sua visão de capacitar diversos setores com soluções de IA transformadoras, a Sentient.io busca fornecer insights em tempo real que ajudem a impulsionar a tomada de decisões eficazes. As soluções de IA da empresa estão revolucionando indústrias, capacitando empresas a liberar o poder transformador da IA. O Sentient Marketplace da empresa é um centro de serviços de IA inovadores que permitem que as empresas integrem facilmente a IA em seus fluxos de trabalho existentes. O Sentient Marketplace permite que clientes em países da ASEAN e no Japão aproveitem o poder da IA.
No entanto, o rápido crescimento e uma base de clientes em expansão trouxeram vários desafios complexos, como a complexidade dos ambientes multinuvem e as limitações do processamento nativo da nuvem tradicional. Soluções individuais de provedores de nuvem trazem desafios inerentes quando se opera em vários provedores. Cada um oferece uma distribuição proprietária do Kubernetes, por exemplo (GKE ou AKS), o que pode ser assustador para organizações que precisam aproveitar essas plataformas em seus respectivos ambientes de nuvem.
Para agravar ainda mais os desafios, havia o complicado processo de implantação de modelos de IA nos sites dos clientes. A abordagem manual de baixar modelos, configurar ambientes Kubernetes locais para cada site de ponta e manipular atualizações manualmente não só consumia tempo, mas também era propensa a erros, resultando em atrasos e implantações de modelos inconsistentes. Além disso, sincronizar novos modelos do Sentient Marketplace central para os sites dos clientes era um processo muito manual, o que levava a maiores deficiências operacionais nos sites dos clientes.
À medida que os aplicativos de IA da Sentient.io ganharam força com os clientes, eles perceberam os desafios de operar e implantar esses serviços em ambientes distribuídos — no local, na nuvem pública e na nuvem privada. Isso resultou em um ciclo de tempo de valorização mais longo para suas ofertas, com maior complexidade operacional e orquestração de fluxo de trabalho e políticas de segurança inconsistentes. Além disso, eles não conseguiam encontrar uma solução que funcionasse em qualquer nuvem para implantação e entrega seguras de seus aplicativos de IA.
Reconhecendo a necessidade de uma abordagem mais simplificada e eficiente, a Sentient.io fez uma parceria com a F5 usando os Serviços de Nuvem Distribuída da F5 para oferecer soluções de IA "como serviço" prontas para uso e de nível empresarial para clientes em uma variedade de setores verticais para liberar o poder da IA para seus negócios.
O F5 Distributed Cloud App Stack é o serviço essencial que eles habilitaram na plataforma para permitir o processamento de dados em tempo real na borda. O Distributed Cloud App Stack permite que dados de inferência localizados sejam entregues mais próximos do aplicativo, reduzindo dependências de links baseados na Internet ou móveis para recuperação de dados de inferência.
O Distributed Cloud App Stack unificou seu ambiente de aplicativos, eliminando a necessidade de gerenciar diversas distribuições do Kubernetes e otimizando a maneira como eles implantam e gerenciam os principais serviços de IA. Essa simplificação resultou em muitas melhorias operacionais e permitiu que a Sentient.io implementasse facilmente modelos de IA em qualquer provedor de nuvem com maior eficiência.
“Graças ao F5 Distributed Cloud App Stack, a maneira como entregamos infraestrutura de IA aos nossos clientes foi transformada”, diz Christopher Yeo, CEO da Sentient.io. “O processamento de dados na borda desbloqueou insights em tempo real, capacitando nossos clientes a tomar decisões instantâneas e informadas, não importa o volume de dados ou onde eles estejam. Essa mudança revolucionou nossos negócios, colocando-nos na vanguarda da inovação em IA.”
No futuro, a Sentient.io também pretende explorar os F5 Distributed Cloud Services para proteger suas soluções LLM. “Nossa experiência com a F5 nos deu a confiança para explorar o F5 Distributed Cloud Web Application and API Protection (WAAP) para proteger holisticamente nossos serviços LLM e mitigar ameaças de LLM, como negação de serviço e divulgação de informações confidenciais”, diz Yeo.
A Sentient.io é capaz de acelerar o tempo de valorização para empresas que buscam soluções inovadoras de IA/ML com a F5.
Os Serviços de Nuvem Distribuída da F5 eliminaram a necessidade de gerenciar vários ambientes de nuvem, simplificando as operações e melhorando a eficiência. Isso permitiu que a Sentient.io implementasse modelos de IA em vários provedores de nuvem com maior agilidade e escalabilidade
A solução simplificou as operações da Sentient, reduzindo a latência e permitindo o processamento de IA em tempo real na borda. A entrega de inferência na borda elimina restrições de rede e largura de banda devido à localização geográfica e garante a entrega imediata de inferência aos aplicativos em tempo real. Essa mudança na implantação do modelo permitiu que a Sentient.io entregasse aplicativos de IA de alto desempenho aos seus clientes com um tempo de retorno mais rápido.
O Distributed Cloud App Stack inclui recursos de GPU integrados, o que reduz a necessidade de a Sentient implantar recursos de GPU adicionais em cada site de inferência.
Ao simplificar as operações na Plataforma de Nuvem Distribuída, eles conseguiram otimizar a alocação de recursos e reduzir os custos operacionais gerais. A integração nativa e o suporte para segurança de aplicativos e APIs na plataforma garantiram que todos os aplicativos de inferência estivessem protegidos.
A colaboração também proporcionou economias de custos significativas. Gerenciar diversas plataformas de nuvem exigia equipes dedicadas e gerava custos substanciais de recursos. Com o F5 Distributed Cloud Services, a Sentient simplificou as operações, cortando custos por meio da otimização de recursos e simplificando o gerenciamento de aplicativos, liberando recursos para iniciativas estratégicas.
Yeo diz: “A questão sobre o F5 Distributed Cloud Services é que ele não é apenas uma potência para IA; é nossa arma secreta para segurança de dados. É tudo uma questão de confiança. Com o F5, a Sentient.io não está apenas inovando, mas também garantindo que a privacidade e a integridade dos dados sejam sólidas como uma rocha.”
Veja todas as histórias de clientes