Generación Aumentada por Recuperación (RAG) para Fábricas de IA

Al igual que una planta de fabricación tradicional, una fábrica de IA está diseñada para generar resultados y modelos de IA a través de una infraestructura meticulosamente orquestada de servidores, GPU, DPU y almacenamiento. Las fábricas de IA, que respaldan el entrenamiento y la inferencia, son cruciales para desarrollar aplicações de IA a escala. Sin embargo, la incorporación de RAG para mejorar la relevancia contextual de sus resultados libera el verdadero potencial de una fábrica de IA.

Antes de profundizar en el tema, definamos la generación aumentada por recuperación: RAG es una técnica de IA que incorpora datos propietarios para complementar los modelos de IA y ofrecer resultados de IA conscientes del contexto. A medida que las implementaciones de aplicação se vuelven más distribuidas y alojadas en entornos híbridos y multicloud , los datos de una empresa están en todas partes. La pregunta que surge para las organizaciones que quieren aprovechar la ventaja estratégica de sus datos para la IA es: ¿cómo conectamos datos relevantes para aumentar las entradas en modelos de IA como los modelos de lenguaje grande (LLM)? Las organizaciones están recurriendo a RAG para resolver esto y crear carreteras seguras desde el modelo de IA hasta los silos de datos distribuidos. Esto permite el acceso a la información más reciente, lo que hace que los resultados sean oportunos, contextualizados y más precisos. Sin esto, incluso los modelos de IA mejor ajustados no tienen acceso a la información más reciente, que cambia con frecuencia tan pronto como se completa el entrenamiento.

¿Cuales son algunos ejemplos? Dos de los aspectos a tener en cuenta son los vehículos autónomos basados en visión y los LLM cuando alucinan o hacen suposiciones a partir de la falta de relevancia contextual de una solicitud.

En el caso de los vehículos autónomos, la inferencia debe incluir datos en tiempo real basados en la ubicación del vehículo y el entorno en constante cambio que lo rodea para transitar de forma segura por calles con peatones, ciclistas y otros automóviles. Para los LLM, y usando un ejemplo de chatbot de soporte al cliente, el acceso a información del producto como registros de cambios, bases de conocimiento, estado del sistema y telemetría junto con información única del cliente como tickets de soporte, historial de compras y perfiles de clientes transforman las respuestas genéricas de LLM en resultados valiosos.