L'unification des tâches audio est un enjeu de simplification pour le déploiement des modèles. Traditionnellement, la transcription, la traduction et l'identification des locuteurs (diarisation) nécessitent des modèles distincts et des pipelines complexes. NVIDIA tente de rompre avec cette fragmentation avec Nemotron 3.5 Transcribe, un modèle open-weight désormais disponible sur Hugging Face et ModelScope source.

Un checkpoint pour plusieurs fonctions

Le modèle propose une approche monolithique : il traite la transcription de 40 langues, la traduction de 31 d'entre elles (vers ou depuis l'anglais) et l'attribution d'orateurs pour 13 langues source. Cette capacité de gestion se décline sur des enregistrements pouvant atteindre une heure, avec une limite de huit locuteurs identifiables source.

Contrairement aux architectures classiques qui traitent la diarisation comme une étape de post-traitement, Nemotron 3.5 Transcribe intègre des indices de locuteurs (speaker cues) directement dans le modèle de langage via des caractéristiques acoustiques source. Ce mécanisme permet de taguer chaque intervention lors de la génération même, plutôt que de tenter d'attacher des étiquettes de locuteurs à des mots après coup, une méthode souvent source d'erreurs de synchronisation.

Performances et benchmarks

Sur le segment des modèles en accès libre (open-weight), le modèle se positionne en tête de plusieurs classements. Sur l'Hugging Face Open ASR Leaderboard, il affiche un taux d'erreur de mots (WER) moyen de 5,33 % pour l'anglais source.

Ses résultats s'étendent à d'autres catégories :

  • En multilingue, il affiche un WER moyen de 4,62 % sur sept langues source.
  • Pour les formats longs, il atteint un WER de 10,98 % source.

En ce qui concerne la précision de l'attribution des locuteurs, le modèle se classe premier parmi les modèles évalués sur le benchmark combiné transcription-et-diarisation de David AI source.

Si l'unification des processus dans un seul checkpoint simplifie l'architecture logicielle, l'efficacité réelle dépendra de la capacité des développeurs à adapter le modèle à des lexiques spécialisés, comme le secteur médical, via le fine-tuning ou le prompting contextuel source.