El impacto de la IA generativa en el rendimiento de las aplicação
Abundan los estudios sobre la impaciencia de los consumidores. Abandonarán una aplicación, eliminarán otra y se quejarán en voz alta en las redes sociales si una aplicación funciona mal. Y para muchos, mal significa “responder en más de un par de segundos”.
Entra la IA generativa , que, según la experiencia y los puntos de referencia , generalmente tarda mucho más de un par de segundos en responder. Pero, al igual que en nuestras conversaciones de texto con amigos y familiares, mientras los chatbots están "pensando", se nos presenta cuidadosamente un "..." animado para indicar que recibirán una respuesta.
Por alguna razón, la animación activa una reacción pavloviana casi digital que nos hace estar dispuestos a esperar. Quizás la razón radique en la psicología del antropomorfismo, que tiende a hacernos mirar con mejores ojos a los no humanos imbuidos de personalidad humana. Así, como percibimos a la IA como al menos parecida a un ser humano, le concedemos la misma gracia que le concederíamos a un ser humano.
Cualquiera que sea el motivo detrás de nuestra disposición a esperar la experiencia del usuario de IA de hoy, surge la pregunta de hasta dónde llegará esa gracia y por cuánto tiempo. A medida que más y más aplicações se integran, aumentan y se dotan de capacidades de IA , las preguntas sobre el rendimiento aceptable se vuelven cada vez más importantes de responder.
¿Cuánta latencia es aceptable para una experiencia de usuario de IA? ¿Importa dónde se introduce esa latencia o solo es aceptable cuando sabemos que hay una IA generativa involucrada?
Esta es un área importante a examinar porque sabemos que uno de los tabúes de la seguridad de las aplicação es la introducción de latencia en el proceso. A pesar de la realidad que requiere latencia para inspeccionar y evaluar el contenido contra amenazas conocidas (SQLi, código malicioso, inyección de indicaciones), los usuarios de servicios de seguridad de aplicação se apresuran a desactivar cualquier solución que provoque una degradación del rendimiento.
Les presento el Anexo A, las respuestas a una pregunta sobre este tema de nuestra encuesta sobre el estado de la estrategia de aplicação de 2022 , en la que aproximadamente el 60 % de los líderes de TI y de negocios desactivarían los controles de seguridad por una ganancia de entre el 1 % y el 50 % en el rendimiento.
Está claro que el rendimiento importa y la latencia se considera algo muy malo™. Entonces, la pregunta es: ¿cuánta latencia es aceptable para la experiencia del usuario de IA? ¿Son todavía aplicables las antiguas medidas de “la respuesta debe ser menor a X segundos”? ¿O es que la IA está ampliando ese límite para todas las aplicaciones o solo para aquellas que claramente son IA?
Y si nuestra paciencia es sólo una reacción inicial, parcialmente debida a la novedad de la IA generativa, ¿qué hacemos cuando la novedad desaparece?
Si, como es la tendencia actual, la inferencia se hace más rápida, tal vez la cuestión no tenga sentido. Pero si no es así, ¿los componentes y servicios que entregan, protegen y respaldan la IA necesitarán ser aún más rápidos para compensar lo lenta que es la inferencia?
Así de rápido se mueve la industria. Tenemos preguntas que generan más preguntas y antes de tener respuestas, surgen nuevas preguntas. La acumulación de preguntas sin respuesta parece un ticket de problemas en una empresa donde alguien desconectó un interruptor central y luego todo el personal de TI se fue por el resto del día.
Sabemos que la entrega y la seguridad de las aplicaciones cambiarán gracias a la IA. Tanto para quienes desean usar la IA para optimizar las operaciones corporativas y de los clientes, como para quienes desarrollan las soluciones para ellos. Las soluciones obvias (puertas de enlace de IA, seguridad de datos y defensas contra ataques tradicionales como DDoS ) son fáciles de responder, y ya estamos en eso. Pero comprender el impacto a largo plazo es una tarea mucho más difícil, especialmente cuando se trata del rendimiento.
Porque la otra realidad es que el hardware sólo nos llevará hasta cierto punto antes de encontrarnos con limitaciones físicas, y luego dependerá del resto de la industria descubrir cómo mejorar el rendimiento de lo que seguramente será un componente crítico de cada negocio.