La génération de code par les grands modèles de langage (LLM) se heurte systématiquement à un mur : l'absence de preuve d'exécution. Produire un script est une chose, garantir qu'il répond aux contraintes d'un problème complexe en est une autre. Jusqu'ici, les systèmes de jugement officiels se contentaient souvent de fournir un verdict binaire (accepté ou refusé) sans expliquer la nature de l'erreur, limitant ainsi la capacité de l'IA à s'auto-corriger.

Le mécanisme de la preuve par l'exécution

Pour rompre ce cycle de l'essai et de l'erreur aveugle, de nouveaux agents de vérification émergent. Le modèle Arbiter, un agent de type Mixture-of-Experts (MoE) de 35 milliards de paramètres, repose sur un principe simple mais exigeant : au lieu de simplement dire qu'un programme est faux, il doit prouver pourquoi.

Entraîné par apprentissage par renforcement dans un environnement de type sandbox, l'objectif d'Arbiter est de générer des contre-exemples. Ces derniers sont des entrées spécifiques qui brisent le programme suspecté, fournissant une preuve exécutable du défaut. Cette approche transforme la vérification en un processus de diagnostic actif plutôt qu'en une simple inspection statique source.

L'impact de la boucle de rétroaction

Cette capacité de diagnostic change radicalement la performance des modèles de génération lors des phases d'affinement (refinement). L'expérience montre que lorsque le processus de codage est guidé par ce type de feedback, les résultats progressent de manière significative.

Lors d'une étude de cas sur l'IOI 2026, l'utilisation de l'affinement guidé par Arbiter a permis au modèle GPT-OSS-120B d'atteindre un score attendu de 385,46 points, franchissant le seuil de la médaille d'or. En comparaison, un feedback basé uniquement sur les retours d'un juge en ligne (online-judge) limite le score à 334,6 points source.

Les gains statistiques sur la précision de jugement sont également concrets. Sur la plateforme USACO-Judge, la précision moyenne des verdicts binaires passe de 71,41 % avec un cadre agentique standard à 87,41 % après l'entraînement de l'agent Arbiter source. L'entraînement permet également de faire passer le taux de succès de la génération de contre-exemples de 40,61 % à 62,67 % source.

On passe ainsi d'une IA qui "devine" la correction à une IA capable de structurer son raisonnement autour de preuves de défaillance concrètes, réduisant ainsi l'écart entre la génération brute et la validation logicielle rigoureuse.