IBM pousse la modularité de son projet Granite Switch vers une nouvelle étape avec la version 4.1. Les modèles de 8B et 30B paramètres ne se contentent plus de générer du texte : ils intègrent désormais une capacité de décision et de transcription vocale via un système d'adaptateurs. L'objectif affiché est de multiplier les fonctionnalités sans multiplier la consommation de ressources matérielles.

L'efficacité par la réutilisation du cache KV

Le mécanisme repose sur l'utilisation d'adaptateurs de type aLoRA (Low-Rank Adaptation). Contrairement à un modèle monolithique qui devrait recharger des poids différents pour chaque tâche, Granite Switch 4.1 utilise des adaptateurs activables qui partagent le cache KV du modèle de base.

Concrètement, le cache généré lors d'une étape de génération peut être réutilisé pour une tâche de décision ultérieure. Cette architecture permet de basculer d'une requête de chat à une requête de décision ou de transcription avec une latence réduite, tout en consommant approximativement la même quantité de VRAM qu'un modèle de base seul source.

Une boîte à outils spécialisée

La version 4.1 est livrée avec un ensemble de composants intégrés pour couvrir des besoins variés :

  • Un adaptateur Decision pour la prise de décision générale.
  • Un adaptateur Guardian, spécialisé dans la sécurité, dont IBM affirme qu'il surpasse des modèles comme Jev 1.13 ou Microsoft-Decision-1 sur des tâches de décision liées à la sécurité.
  • Granite-Speech-5.0-Turbo-CTC, un modèle de transcription (ASR) présenté comme le plus rapide du classement OpenASR.

L'intérêt technique réside dans cette capacité à combiner des spécialistes. En ajoutant des adaptateurs spécialisés à un modèle de base, on cherche à obtenir une précision supérieure sur des tâches de classification spécifiques sans sacrifier la polyvalence du modèle généraliste.

Performance et ouverture de l'écosystème

Sur le terrain, cette architecture vise une efficacité opérationnelle accrue dans les workflows complexes. IBM rapporte que le modèle Granite-Switch-4.1-30B a été capable de compléter un flux de travail RAG (Retrieval-Augmented Generation) en 5 étapes plus rapidement que le modèle Jev-27B lors de tests comparatifs source.

Au-delà de la performance pure, IBM prévoit d'ouvrir l'écosystème via la sortie d'un SDK d'adaptateurs pour l'entraînement dans Mellea. Cela permettrait à la communauté de composer ses propres modèles en mélangeant des adaptateurs propriétaires et tiers, transformant le modèle de base en un outil sur mesure pour des tâches très ciblées, allant de la classification de texte à la prise de décision en temps réel.