El mejor indicador de si un agente de IA va a usarse no tiene que ver con lo bien que responde. Lo he visto suficientes veces como para fiarme del patrón: agentes que funcionan razonablemente bien y que nadie abre a las tres semanas y otros bastante más limitados que la gente usa a diario. Se me ocurre que la diferencia no está en el agente, sino en el entorno donde se ejecuta.
Por entorno no me refiero solo a la ventana donde vive. Me refiero a tres cosas que se pueden comprobar antes de invertir un minuto: lo que cuesta llegar hasta él, lo que alcanza a ver cuando le preguntas y qué trabajo queda cuando ya te ha respondido.
Cuántos pasos hay desde tu tarea hasta el agente
Da bastante igual si el agente vive dentro de la herramienta donde trabajas o en un sitio propio al que entras aparte. Lo que importa es la distancia.
Si para usarlo tienes que interrumpir lo que estás haciendo, recordar cómo se llamaba, buscar el enlace en un correo de hace dos meses y volver a explicarle el contexto desde cero, la cuenta no sale. No es pereza: es que hacerlo a mano cuesta menos que todo eso junto.
La comprobación es sencilla. Piensa en la tarea concreta para la que te lo propusieron y cuenta los pasos que hay desde que estás dentro de esa tarea hasta que el agente está ayudando. A partir de tres pasos el agente compite en desventaja contra tu costumbre y la costumbre suele ganar.
Qué “ve” cuando le preguntas
Un agente que no llega a la información de tu organización va a responder “de oídas” y lo hará convencido.
Aquí es donde suelo ver decepciones. Alguien prueba el agente con una pregunta de su trabajo real, recibe una respuesta genérica y concluye que la IA no sirve para lo suyo. Las dos causas más probables que me vienen a la mente serían:
- Que el agente no tenga acceso a los documentos donde está la respuesta, porque viven en un sitio que nadie conectó o el usuario no ha facilitado el contexto.
- Que sí los alcance, pero que convivan tres versiones del mismo documento y ninguna esté marcada como la buena.
En ambos casos el agente contesta lo que puede y el usuario concluye lo que ya hemos dicho.
Nada de esto lo decides tú, pero lo sufres tú. Si la información de la empresa está repartida en carpetas heredadas, con versiones que se contradicen y permisos sin revisar desde hace años, ningún agente lo va a ordenar por sí mismo. Lo que hará será amplificarlo.
En qué estado te devuelve el resultado
La tercera condición se centra en lo que tienes que hacer una vez has recibido la respuesta. Si el agente resuelve la consulta y con ello terminas ya ha cumplido, ya que es el resultado esperado. Donde fijarse es en los casos en que el agente produce un contenido que necesitas trasladar.
Cuando el resultado obtenido necesita una segunda vuelta antes de poder utilizarlo, reformatearlo, completar huecos o rehacer contenido, eso elimina el ahorro logrado. Pesa sobre todo en tareas cortas y frecuentes, que son las que más veces repites al cabo del mes.
La pregunta útil es cuánto trabajo queda entre esa respuesta y darla por buena.
Tres preguntas antes de la próxima demostración
Cuando te enseñen el siguiente agente, la pregunta interesante no es qué modelo lleva por dentro. Es dónde va a estar cuando lo necesites, qué va a poder ver cuando le preguntes y qué te va a tocar hacer con lo que te devuelva.
Si las tres respuestas encajan con tu día, lo vas a usar sin que nadie te lo recuerde. Y si alguna no encaja, conviene saberlo antes y no tres semanas después, cuando ya nadie recuerda cómo se llamaba.
