Le laboratoire co-fondé par Xavier Niel et Iliad présente MoshiVis, la première IA vocale open-source capable de parler d’images.
Kyutai continue d’améliorer son modèle d’IA Moshi et a lancé récemment une toute nouvelle fonctionnalité nommée MoshiVis. MoshiVis permet à Moshi d’analyser des images tout en maintenant ses capacités conversationnelles et une faible latence. En somme, l’IA vocale est ainsi désormais capable de comprendre les images que vous lui montrez.
Conçu pour être accessible à la communauté, le modèle mise sur un entraînement optimisé avec des données variées et de haute qualité. Il repose sur l’encodeur de vision figé de PaliGemma2-3B-448 et utilise des modules d’attention croisée pour intégrer les informations visuelles aux échanges vocaux.
Un pipeline synthétique génère des dialogues dynamiques autour d’images, grâce à des modèles Mistral Nemo simulant des interactions variées. MoshiVis réduit son besoin en données audio en exploitant des textes existants et son propre “monologue intérieur”. À l’inférence, l’attention croisée est mise en cache, optimisant les calculs et assurant de bonnes performances même avec peu de données audio. Des tests sur OCR-VQA, VQAv2 et COCO valident cette approche avec des résultats comparables aux modèles spécialisés.
L’évaluation conversationnelle souligne un équilibre entre précision et richesse descriptive. Si MoshiVis est plus détaillé, il obtient parfois des scores inférieurs aux indicateurs classiques, privilégiant une interaction plus fluide et naturelle. Ce projet ouvre de nouvelles perspectives pour l’adaptation de Moshi à divers usages, même en contexte de données vocales limitées, et encourage la communauté à contribuer à son développement. Si vous souhaitez l’essayer, Kyutai le propose en accès libre sur cette page, il faudra cependant saisir votre adresse email et vous pourrez fournir l’image que vous souhaitez. A noter cependant, l’IA est toujours uniquement capable de parler en anglais.
À partir du 1er septembre 2026, des centaines de films et séries distribués par StudioCanal…
Des abonnés Freebox Pop semblent confrontés depuis plusieurs semaines à des pertes de connexion suivies…
Votre magazine hebdomadaire “Totalement Fibrés” en direct tous les vendredi à 17h30 et en replay…
La régulation du démarchage téléphonique évolue à nouveau. Le Conseil constitutionnel censure une partie de…
L'opérateur propose un contrôle parental gratuit baptisé Safe Family, qui permet d'encadrer les enfants sur…
L’intelligence artificielle prend encore plus de place chez Orange. Le groupe vient de nommer un…