L'un des défis majeurs des grands modèles de langage (LLM) réside dans leur capacité à maintenir une précision constante lorsque la quantité d'informations en entrée augmente. Si la fenêtre de contexte s'élargit, la performance des modèles peut se dégrader, rendant le suivi d'instructions fragile et instable. LIFBench est un nouveau benchmark conçu spécifiquement pour évaluer cette stabilité et cette capacité de suivi d'instructions dans des scénarios à contexte long.
Une structure dimensionnelle pour la complexité
Pour dépasser les limites des benchmarks existants, LIFBench s'appuie sur une architecture de données diversifiée. Le dataset se compose de 2 766 instructions réparties sur onze tâches différentes, structurées autour de trois scénarios de contexte long [S1, S2].
Plutôt que de proposer des tests statiques, le benchmark utilise une méthode d'expansion automatisée. Cette approche permet de varier les instructions selon trois axes : la longueur, l'expression et les variables source. L'objectif est de tester la robustesse du modèle sur des plages allant jusqu'à 128 000 tokens, réparties sur six intervalles de longueur distincts source. Cette approche permet d'observer précisément le point de rupture où le modèle commence à perdre le fil de la consigne initiale malgré un volume de données élevé.
Dépasser l'évaluation par GPT-4
L'évaluation de la qualité des réponses des LLM pose un problème méthodologique majeur. Traditionnellement, de nombreuses études utilisent des modèles comme GPT-4 pour évaluer d'autres modèles, mais cette méthode présente des lacunes notables entre le jugement automatisé par LLM et l'expertise humaine source.
Pour pallier ce problème, les auteurs introduisent LIFEval. Contrairement aux méthodes dépendantes d'un autre LLM, LIFEval utilise une méthode d'évaluation basée sur des rubriques (rubric-based assessment) source. Ce système permet un scoring automatisé et précis des réponses complexes sans s'appuyer sur le jugement d'un modèle tiers ou d'humains, offrant ainsi une analyse multi-perspective de la performance et de la stabilité des modèles source.