Le laboratoire co-fondé par Xavier Niel et Iliad présente MoshiVis, la première IA vocale open-source capable de parler d’images.
Kyutai continue d’améliorer son modèle d’IA Moshi et a lancé récemment une toute nouvelle fonctionnalité nommée MoshiVis. MoshiVis permet à Moshi d’analyser des images tout en maintenant ses capacités conversationnelles et une faible latence. En somme, l’IA vocale est ainsi désormais capable de comprendre les images que vous lui montrez.
Conçu pour être accessible à la communauté, le modèle mise sur un entraînement optimisé avec des données variées et de haute qualité. Il repose sur l’encodeur de vision figé de PaliGemma2-3B-448 et utilise des modules d’attention croisée pour intégrer les informations visuelles aux échanges vocaux.
Un pipeline synthétique génère des dialogues dynamiques autour d’images, grâce à des modèles Mistral Nemo simulant des interactions variées. MoshiVis réduit son besoin en données audio en exploitant des textes existants et son propre “monologue intérieur”. À l’inférence, l’attention croisée est mise en cache, optimisant les calculs et assurant de bonnes performances même avec peu de données audio. Des tests sur OCR-VQA, VQAv2 et COCO valident cette approche avec des résultats comparables aux modèles spécialisés.
L’évaluation conversationnelle souligne un équilibre entre précision et richesse descriptive. Si MoshiVis est plus détaillé, il obtient parfois des scores inférieurs aux indicateurs classiques, privilégiant une interaction plus fluide et naturelle. Ce projet ouvre de nouvelles perspectives pour l’adaptation de Moshi à divers usages, même en contexte de données vocales limitées, et encourage la communauté à contribuer à son développement. Si vous souhaitez l’essayer, Kyutai le propose en accès libre sur cette page, il faudra cependant saisir votre adresse email et vous pourrez fournir l’image que vous souhaitez. A noter cependant, l’IA est toujours uniquement capable de parler en anglais.
La Freebox Ultra promet des débits très élevés, mais encore faut-il disposer de l’équipement adapté…
Une deuxième mise à jour pour la carte de couverture mobile de l'opérateur, avec cette…
Dans le Tarn, la cour d’appel de Toulouse a ordonné le retrait d’une installation de…
Face à des risques croissants, la Commission européenne déploie une nouvelle boîte à outils visant…
Free Mobile poursuit son déploiement de réseau mobile, dans un mois sans coup d'éclat pour…
Disney+ supprime Dolby Vision, HDR10+ et la 3D sur fond de litige autour de brevets.…