El dilema del agente de larga duración: ¿cuándo preguntar?
Los agentes de inteligencia artificial diseñados para ejecutar tareas complejas que abarcan cientos de acciones secuenciales enfrentan un problema fundamental: una sola suposición incorrecta al inicio puede desencadenar errores en cascada que arruinan todo el proceso.
Cuando las instrucciones son incompletas, el agente debe decidir no solo si pedir una aclaración, sino cuándo hacerlo.
Hasta ahora, ninguna investigación había medido cómo cambia el valor de una aclaración a lo largo de la ejecución. El nuevo estudio "Ask Early, Ask Late, Ask Right: When Does Clarification Timing Matter for Long-Horizon Agents?" (arXiv: 2605.07937) aborda precisamente esta brecha.
Un marco de inyección forzada para medir el valor temporal
Para cuantificar el impacto del momento en que se entrega una aclaración, los autores desarrollaron un marco de inyección forzada. En lugar de esperar a que el agente pregunte, los investigadores introducen aclaraciones de referencia en puntos controlados de la trayectoria del agente.
Se exploraron cuatro dimensiones de información faltante:
- Objetivo (goal)
- Entrada (input)
- Restricción (constraint)
- Contexto (context)
Los experimentos abarcaron tres benchmarks de agentes, cuatro modelos frontera (tres modelos por benchmark, y uno adicional en un solo benchmark), 84 variantes de tareas y más de 6.000 ejecuciones.
Este diseño permite construir curvas de demanda empíricas que muestran cómo el valor de cada tipo de aclaración decae con el tiempo.
Hallazgos clave: la ventana de oportunidad es estrecha
Los resultados revelan que el valor de una aclaración depende críticamente de qué información falta y en qué momento se proporciona.
"Goal clarification loses nearly all value after 10% of execution: pass@3 drops from 0.78 to baseline."
Es decir, si el agente no recibe una aclaración sobre el objetivo antes de completar el primer 10% de la tarea, ya es prácticamente inútil. La tasa de éxito (pass@3) cae de 0,78 al nivel de no preguntar nunca.
En cambio, las aclaraciones sobre la entrada conservan valor hasta aproximadamente el 50% de la ejecución. Las aclaraciones sobre restricciones y contexto muestran patrones intermedios.
Un hallazgo aún más contundente: diferir cualquier tipo de aclaración más allá de la mitad de la trayectoria degrada el rendimiento por debajo de no preguntar nunca. Preguntar tarde es peor que no preguntar.
Correlaciones entre modelos: la tarea manda
Para descartar que los perfiles de tiempo fueran artefactos de un modelo concreto, los autores calcularon correlaciones de Kendall tau entre los resultados de distintos modelos.
Entre modelos que comparten la misma cobertura de tareas, las correlaciones oscilan entre 0,78 y 0,87, lo que indica un alto grado de acuerdo.
Cuando se comparan los cuatro modelos en el panel completo, las correlaciones bajan a 0,34–0,67, pero siguen siendo significativas.
Esto confirma que los perfiles de tiempo son sustancialmente intrínsecos a la tarea, no meras peculiaridades de cada modelo.
Sesiones no guionizadas: los modelos actuales fallan en el timing
En un estudio complementario de 300 sesiones no guionizadas, se observó que ningún modelo frontera actual pregunta dentro de la ventana empíricamente óptima.
Las estrategias observadas van desde preguntar en exceso (52% de las sesiones) hasta no preguntar nunca. Ninguna se acerca al punto dulce identificado en el marco de inyección forzada.
Esto sugiere que los agentes actuales carecen de una política de aclaración consciente del tiempo, y que el simple hecho de saber cuándo preguntar podría mejorar drásticamente su rendimiento.
Contribuciones y camino a seguir
El estudio ofrece tres contribuciones principales:
- Curvas de demanda empíricas que proporcionan la base cuantitativa que los marcos teóricos existentes requerían pero no tenían.
- Objetivos de diseño concretos para políticas de aclaración sensibles al tiempo.
- Código y datos públicos para que la comunidad pueda reproducir y extender los resultados.
En palabras de los autores, los hallazgos "establecen objetivos de diseño concretos para políticas de aclaración sensibles al tiempo".
Para los desarrolladores de agentes autónomos, la lección es clara: preguntar temprano, preguntar tarde, pero sobre todo, preguntar en el momento adecuado.