Casi elijo mal la arquitectura de un agente de IA. Asi la valide con un panel ciego de 4 modelos.

Casi tomamos una decision de arquitectura equivocada.

En Legimus AI evaluabamos, en un feature aislado, algo mas ambicioso que un chatbot: un agente capaz de operar la plataforma por su cuenta, como tu propio experto de Legimus trabajando para tu negocio. La opcion sobre la mesa: darle manos de verdad, que operara un navegador igual que una persona. No era solo evitar construir endpoints nuevos, un navegador es universal, el mismo mecanismo que hoy opera nuestra plataforma manana podria actuar sobre el sitio de cualquier cliente.

En vez de decidir por instinto le pase el mismo dilema, con los mismos hechos, a cuatro agentes de IA de proveedores distintos, sin que ninguno viera la respuesta de los otros. Un panel ciego.

Los cuatro llegaron solos a la misma conclusion: un agente que ejecuta acciones reales no deberia manejar un navegador.

La razon, una vez que la ves, es obvia. Una API falla claro: funciona o tira un error. Un navegador falla de mil formas: un boton que se movio, una carga lenta, un modal inesperado. Si el agente decide cada paso con un LLM, esos errores se acumulan: una cadena de 6 pasos al 95% de exito cada uno termina cerca del 74% total. Ademas consume memoria real por tarea activa y cuesta 10 a 50 veces mas en tokens, porque el modelo tiene que "mirar" la pantalla en cada paso.

Nada de esto es nuevo si lo pensas con calma. Pero mi instinto inicial fue otro, y capaz lo hubiera defendido si no paraba a contrastarlo.

Terminamos construyendo lo que en la industria llaman agent gateway: una capa intermedia entre el agente y sus acciones, con identidad, limite de uso y regla de reintento por accion, sin duplicar efectos. Las reglas quedan en un solo lugar en vez de repetirse en cada integracion, y el agente lee la documentacion de cada comando para saber que puede y que no.

Esquema: el agente nunca ejecuta directo, todo pasa por el gateway

Lo de operar sobre el sitio de un cliente puede esperar. Primero lo hacemos adentro de Legimus: si el mismo agente te puede guiar en vivo dentro de nuestra plataforma, ahi vemos hasta donde llega, con ciclos cortos de feedback y sin arriesgar nada afuera. Recien con eso probado reevaluamos el navegador, o lo que exista para entonces, para llevarlo a los sitios de los clientes.

No arrancamos de cero: venimos reforzando como orquestar y aislar agentes, y como elegir modelo y esfuerzo por tarea, sea investigacion, ejecucion o validacion. Eso se aprende usando, no leyendo. El mismo panel de recien es ejemplo: cuatro opiniones en paralelo, aisladas, sin contaminarse. Lo que me quedo no fue la respuesta, fue el metodo.

Es una herramienta mas, no la ultima palabra. Hoy es imposible estar al dia con todo lo nuevo, y un panel asi da una primera lectura rapida cuando la decision no es obvia. Pero no confio en el output al 100%: lo contrasto con la realidad y verifico los datos con evidencia. Los agentes dan la idea inicial, la validacion la hago yo.