L'évaluation des agents IA repose traditionnellement sur la vérification du processus : l'agent a-t-il appelé le bon outil avec les bons arguments ? Cette approche ignore cependant l'écart possible entre une commande envoyée et l'effet réel produit dans le système.

ThinkingBox change d'angle en utilisant un backend réel et des outils MCP pour mesurer l'état final de la base de données source. L'idée est simple : peu importe le chemin emprunté, seule la donnée finale compte. Cette méthode permet de détecter les cas où un agent affirme avoir terminé une tâche alors que la base de données contredit son affirmation source.

Ce mécanisme de vérification exécutable a été transformé en fonction de récompense pour le post-entraînement d'agents via l'algorithme GRPO source. Pour ce faire, les chercheurs ont constitué un pool d'entraînement avec des tâches situées en dehors du benchmark ThinkingBox-Bench, en sélectionnant celles dont la difficulté était adaptée au modèle pour éviter les tâches déjà résolues ou impossibles source.

Les résultats sur le modèle Qwen3.8-27B après 50 étapes de fine-tuning illustrent un déplacement de la performance vers la fiabilité systématique :

  • Le taux de succès moyen (pass@1) progresse, passant de 51,70 % à 60,78 % source.
  • La répétabilité (Observed 20/20), c'est-à-dire le nombre de tâches réussies lors de toutes les tentatives, bondit de 38 à 107 tâches source.

En revanche, on observe une légère baisse du taux de tâches résolues au moins une fois (pass@20), qui chute de 89,35 % à 87,97 % source.

Ce compromis suggère que le renforcement basé sur le résultat final stabilise les solutions efficaces mais réduit légèrement la capacité d'exploration du modèle. L'agent devient moins capable de trouver une solution "par chance" sur des cas complexes, mais gagne en rigueur sur les processus critiques. Un exemple concret montre qu'un agent qui ignorait les règles d'approbation managériale pour un déclassement de chambre d'hôtel dans 15 tentatives sur 20 a, après entraînement, respecté l'état de la réservation dans l'intégralité des tests source.

L'implémentation de ThinkingBox-Training est disponible sur GitHub source.