Controlar las aplicaciones de IA generativa mediante el contexto
La última encuesta AI Pulse de EY revela que el 87% de los altos directivos mencionan obstáculos en la adopción, desde problemas de ciberseguridad y datos hasta la ausencia de políticas y gobernanza. Incorporar la IA generativa (GenAI) en la empresa requiere deseo y capacidad para hacerlo realidad. La distancia entre ambos se cubre con la complejidad operativa y la necesidad de confianza en esta nueva tecnología.
Durante décadas, las empresas han creado y desplegado software, pero GenAI plantea un nuevo reto: el control. A diferencia del software tradicional, las aplicaciones GenAI actúan con autonomía y son no deterministas. Por eso no puedes confiar en que las aplicaciones GenAI solo hagan lo previsto y nunca algo inesperado; al menos, no aún. La falta de control limita su adopción masiva. Comprender el poder del contexto ayuda a entender mejor este reto, y esa comprensión permite a las empresas ampliar el diseño del software tradicional para ajustarse a GenAI.
Con suficiente contexto, la incertidumbre de las aplicaciones GenAI se vuelve manejable porque el contexto conecta lo que las aplicaciones GenAI pueden hacer con lo que la empresa busca lograr. Puedes obtener contexto de tres ámbitos: la aplicación GenAI, el entorno y el negocio.
Comparación del contexto de la aplicación
El contexto disponible en las aplicaciones GenAI difiere significativamente del de las aplicaciones tradicionales. Las aplicaciones tradicionales definen de antemano las entradas permitidas como parámetros para operaciones predefinidas. Las mismas entradas siempre generan los mismos resultados. En cambio, las aplicaciones GenAI aceptan un abanico mucho más amplio de entradas en modelos de lenguaje extensos (LLM) que, por diseño, generan resultados no deterministas. Las mismas entradas pueden o no producir el mismo resultado.
Ejemplo de determinismo en aplicaciones tradicionales:
Este ejemplo en Python calcula la edad de una persona usando la fecha de nacimiento y la fecha actual. Para ser concisos, no incluimos aspectos como el manejo de tipos ni considerar si la fecha de nacimiento ya pasó en el año actual.
from datetime import datetime
from typing import Union
def calcular_edad(fecha_nacimiento:str, fecha_actual:str) -> int
edad = current_dt.year - birth_dt.year
edad de retorno
Dado: fecha de nacimiento = 30 de junio de 1972 y fecha actual = 31 de agosto de 2025
Edad: 53 años.
Ejemplo de indeterminismo en la aplicación GenAI:
Esta aplicación puede estimar la edad probable de una persona usando información general sin necesidad de conocer su fecha de nacimiento ni la fecha actual.
Las aplicaciones de IA generativa aceptan una amplia variedad de entradas para la inferencia LLM.
Pregunta: ¿Qué edad tiene una persona que le gusta la música disco y recuerda quién ganó el oro olímpico en los 100 m femeninos en Barcelona?
Tras proporcionar esta indicación exacta tres veces por separado, las respuestas del LLM fueron las siguientes:
Respuesta 1: 55 años
Respuesta 2: De 40 a 60 años
Respuesta 3: 40, 50 o 60 segundos
La función Python dentro de la aplicación tradicional recibe dos datos (fecha de nacimiento y fecha actual) y calcula la diferencia en años. No puede determinar la edad de una persona ni interpretar descripciones sobre sus preferencias o hábitos, ya que no sintetiza ni extrae conclusiones.
En comparación, la aplicación GenAI puede procesar afirmaciones sobre géneros musicales populares en la infancia y conocimientos generales sobre grandes eventos deportivos para deducir una respuesta, aunque las respuestas varían porque pequeñas diferencias en la entrada, como reformular una pregunta o ajustar la temperatura (que influye en el nivel de aleatoriedad en las respuestas de los LLM), pueden modificar el resultado. Aunque el código de la aplicación no cambie entre respuestas, estas pueden ser diferentes. Esta variabilidad crece con la complejidad del mensaje, la incorporación de más fuentes de entrada y el comportamiento de los componentes de enrutamiento en la infraestructura de inferencia.
Dada esta libertad, no cuesta imaginar casos en los que una aplicación GenAI se desvíe mucho de su comportamiento previsto sin un contexto adicional. Estos dos ejemplos de contexto muestran el determinismo extremo del software tradicional y la naturaleza no determinista de las aplicaciones GenAI. No esperamos que el software tradicional adivine o prediga la edad de una persona según el contexto, pero sí esperamos que las aplicaciones GenAI manejen este tipo de preguntas no deterministas con frecuencia. Si la aplicación no tiene suficiente contexto, debemos analizar a continuación el entorno de la aplicación.
El contexto ambiental proporciona información a la aplicación desde el exterior
El entorno abarca la infraestructura y los servicios que rodean la aplicación. En julio de 1982, durante el seminario de la industria informática CreativeThink, Alan Kay afirmó: “Quienes realmente se toman en serio el software deben fabricar su propio hardware”, porque creía firmemente en el vínculo estrecho entre ambos. Quiero extrapolar esa idea para incluir también el entorno de despliegue.
Las aplicaciones no existen en un vacío. Diversos servicios de infraestructura se combinan para ofrecer un entorno en el que las aplicaciones pueden funcionar. Estos servicios son externos a las aplicaciones pero esenciales para que funcionen correctamente, al igual que el hardware. Llevando esta idea un paso más allá, monitorizamos estos servicios de infraestructura de forma rigurosa usando diversas soluciones de observabilidad que recopilan y analizan datos detallados de telemetría a lo largo del tiempo. Estos datos reflejan el rendimiento de la aplicación y cómo puede influir el entorno que la rodea.
Podemos clasificar el contexto ambiental en dos tipos: pasivo y activo. Consideramos pasivas todas las formas de telemetría (por ejemplo, logs, métricas, trazas y eventos) porque las emitimos y recopilamos continuamente mientras funciona la infraestructura y las aplicaciones. Las alertas, notificaciones y paneles son activos. Usan reglas para interpretar la telemetría y transmitir el contexto operativo. La configuración de las reglas aporta significado operativo a la información, determinando cuándo se acercan o superan los límites en cualquier parte del entorno.
Las aplicaciones GenAI plantean un reto al enfoque basado en reglas porque aún no contamos con telemetría fiable que abarque los comportamientos aparentemente infinitos de un componente autónomo. Eso no significa que la innovación se detenga. Se están explorando dos enfoques: Métricas basadas en dominio para medir el éxito de GenAI y el LLM como juez. El primero utiliza métodos alternativos para establecer una verdad de referencia y comparar el resultado de GenAI, registrando las tasas de acierto y error. El segundo emplea un LLM para evaluar la precisión de otro. El tiempo determinará cuánto pueden avanzar estas vías diversas para lograr un control efectivo de GenAI mediante el contexto ambiental.
La intención empresarial completa el panorama contextual
La intención empresarial se define como “Todo lo que la empresa desea y nada de lo que no desea”. Incluye las situaciones que la aplicación y el entorno podrían pasar por alto.
Noticias recientes resaltan un caso donde el componente GenAI de una aplicación recibió suficiente poder para realizar operaciones sumamente dañinas, como eliminar todos los registros de clientes de una base de datos. Estos datos de aquella situación muestran claramente la discrepancia entre la intención del negocio y las acciones que las aplicaciones GenAI podrían ejecutar.
| Qué ocurrió | El contexto empresarial faltante |
|---|---|
| Una herramienta de codificación IA eliminó una base de datos de producción durante una congelación de código. |
|
| La herramienta de codificación con IA indicó que no soportaba revertir bases de datos y que no había instancias para restaurar, pero al ejecutar manualmente un rollback, sí funcionó. |
|
Este estudio de caso muestra algunas de las muchas lagunas que pueden aparecer entre lo que se permite hacer a GenAI y lo que una empresa quiere que haga.
Diseñar una aplicación con una función para eliminar un registro es completamente válido, pero dejar que la IA borre todos los registros sin pedir permiso no lo es. En el software tradicional, restringimos el permiso para eliminar registros para minimizar el riesgo de pérdidas empresariales, pero la GenAI introduce una autonomía que los controles de acceso basados en roles no regulan adecuadamente. El contexto empresarial facilita esto al definir comportamientos esperados frente a inesperados, y traduce esos criterios en requisitos específicos, como acciones explícitamente prohibidas y pausas obligatorias para la intervención humana. Es el contexto completo el que proporciona este nivel de control.
Las arquitecturas de aplicaciones diseñadas antes de la llegada de GenAI ya no son suficientes. GenAI requiere un nuevo modelo arquitectónico que integre los tres dominios contextuales: la aplicación, su entorno y la intención del negocio. Esta explicación de Phil Schmid, Ingeniero Sénior de Relaciones con IA en Google DeepMind, resulta especialmente útil para comprender la diferencia clave que aportan las aplicaciones GenAI. Resalta que los LLM captan contexto como parte de sus datos de entrada y muestra cómo distintos componentes de una aplicación GenAI definen y utilizan el contexto según su función.
La arquitectura y la ingeniería para aplicaciones GenAI deben aprovechar los tres dominios de contexto para obtener resultados que siempre se ajusten a los objetivos empresariales. Sin una visión completa del contexto, el control es irrelevante, la confianza desaparece y la adopción masiva resulta imposible.