Les agents basés sur les modèles de langage actuels font face à un paradoxe d'efficacité : ils utilisent le texte pour raisonner et interagir, un format indispensable pour l'usage humain mais extrêmement coûteux et lent en termes de calcul. Pour résoudre ce problème, l'architecture HybridAgents propose de sortir du tout-textuel en introduisant une dimension de raisonnement dans l'espace latent.
Passer du texte à l'abstraction latente
Le cœur du système repose sur un composant technique nommé HybridLink. Son rôle est de permettre des transitions fluides entre le mode discret (le texte lisible) et le mode latent (les représentations mathématiques internes du modèle). Cette capacité permet à l'agent de ne plus traduire chaque étape intermédiaire de sa pensée en mots, ce qui alourdit inutilement les séquences de calcul.
L'utilisation de cet espace latent permet de traiter l'information de manière plus compacte, tout en conservant une mémoire de travail continue. Cette mémoire est cruciale pour préserver un contexte hybride sans perte d'information au fil des échanges. Contrairement aux modèles qui ne raisonnent que de manière latente — et qui perdent alors leur capacité à utiliser des outils externes — cette approche hybride maintient la capacité de l'agent à agir via le texte tout en pensant de manière plus abstraite source.
Stabiliser le raisonnement hybride
L'introduction de ce mode mixte pose un défi de stabilité : comment empêcher le modèle de se perdre lors du passage d'un mode à l'autre ? La recherche s'appuie sur des algorithmes de post-entraînement spécifiques. D'une part, HybridSFT est utilisé pour stabiliser la génération hybride en apprenant au modèle de base comment se coordonner avec le HybridLink. D'autre part, l'utilisation du renforcement (HybridRL) permet au modèle de décider de manière optimale quand il est nécessaire de « réfléchir » dans l'espace latent et quand il doit passer à l'action par le texte.
Des gains de performance concrets
Les résultats annoncés sur 11 benchmarks — couvrant les mathématiques, la médecine et le raisonnement agentique — montrent une amélioration de performance de 10,4 % par rapport aux agents frontières actuels. Mais l'intérêt principal réside dans l'efficacité opérationnelle : l'architecture permet de réduire le nombre de tokens de 35,5 % à 54,7 %, tout en accélérant l'inférence jusqu'à 2,6 fois source.
Si ces résultats sont prometteurs pour la réduction des coûts de calcul, leur généralisation dépendra de la capacité de ces architectures à maintenir cette stabilité sur des tâches de plus en plus complexes et variées sans dégrader la transparence du raisonnement.