La plupart des modèles multimodaux actuels reposent sur une structure complexe : des encodeurs séparés traduisent l'image ou le son avant de transmettre ces représentations au modèle de langage. Selon Google DeepMind, cette séparation augmente la latence et la consommation de mémoire (source).
Le modèle Gemma 4 12B adopte une approche unifiée dite « sans encodeur » (encoder-free). Au lieu d'utiliser des modules de traduction dédiés, les entrées visuelles et audio sont projetées directement dans l'espace dimensionnel des tokens textuels du backbone. Pour la vision, ce processus repose sur un module d'embedding léger combinant multiplication matricielle, embeddings positionnels et normalisations. Pour l'audio, le signal brut est projeté directement vers l'architecture du modèle. Cette simplification vise à réduire la complexité matérielle tout en maintenant des capacités de raisonnement avancées.
Cette architecture permet au modèle de taille moyenne (environ 11,95 milliards de paramètres) d'intégrer l'audio nativement, une caractéristique qui n'était pas présente sur les modèles de cette catégorie auparavant. Cette capacité s'inscrit dans une famille de modèles comprenant les versions E2B, E4B, 26B A4B et 31B, offrant différents niveaux de performance et de spécialisation.
L'objectif technique est de rendre cette intelligence accessible sur du matériel grand public. Gemma 4 12B est conçu pour fonctionner localement sur des ordinateurs portables équipés de 16 Go de RAM ou de mémoire unifiée. En combinant cette efficacité avec une licence Apache 2.0, le modèle cherche à faciliter le déploiement d'expériences multimodales et agentiques directement sur les machines des utilisateurs, via des plateformes comme Hugging Face ou Kaggle.