Le laboratoire co-fondé par Xavier Niel et Iliad présente MoshiVis, la première IA vocale open-source capable de parler d’images.
Kyutai continue d’améliorer son modèle d’IA Moshi et a lancé récemment une toute nouvelle fonctionnalité nommée MoshiVis. MoshiVis permet à Moshi d’analyser des images tout en maintenant ses capacités conversationnelles et une faible latence. En somme, l’IA vocale est ainsi désormais capable de comprendre les images que vous lui montrez.
Conçu pour être accessible à la communauté, le modèle mise sur un entraînement optimisé avec des données variées et de haute qualité. Il repose sur l’encodeur de vision figé de PaliGemma2-3B-448 et utilise des modules d’attention croisée pour intégrer les informations visuelles aux échanges vocaux.
Un pipeline synthétique génère des dialogues dynamiques autour d’images, grâce à des modèles Mistral Nemo simulant des interactions variées. MoshiVis réduit son besoin en données audio en exploitant des textes existants et son propre “monologue intérieur”. À l’inférence, l’attention croisée est mise en cache, optimisant les calculs et assurant de bonnes performances même avec peu de données audio. Des tests sur OCR-VQA, VQAv2 et COCO valident cette approche avec des résultats comparables aux modèles spécialisés.
L’évaluation conversationnelle souligne un équilibre entre précision et richesse descriptive. Si MoshiVis est plus détaillé, il obtient parfois des scores inférieurs aux indicateurs classiques, privilégiant une interaction plus fluide et naturelle. Ce projet ouvre de nouvelles perspectives pour l’adaptation de Moshi à divers usages, même en contexte de données vocales limitées, et encourage la communauté à contribuer à son développement. Si vous souhaitez l’essayer, Kyutai le propose en accès libre sur cette page, il faudra cependant saisir votre adresse email et vous pourrez fournir l’image que vous souhaitez. A noter cependant, l’IA est toujours uniquement capable de parler en anglais.
Free va profondément revoir la numérotation de ses chaînes TV à compter du 25 août.…
Comme annoncé récemment dans nos lignes, Free va lancer une nouvelle numérotation sur Free TV…
La bêta 5 d’iOS 27 réserve une petite surprise aux abonnés des opérateurs français. Un…
Free reste bien placé sur le terrain des prix malgré sa montée en gamme .…
À l’heure des vacances, certains abonnés Freebox disposent d’un avantage particulièrement pratique et parfois oublié.…
C’est un changement radical qui entre en vigueur ce mardi 11 août. Le démarchage téléphonique…