L'IA Gemini Live de Google peut désormais "lire" l'écran de votre smartphone
Google améliore rapidement Gemini en ajoutant des fonctionnalités plus significatives, dont Gemini Live with Video, une fonctionnalité alimentée par le Projet Astra. Cette fonctionnalité, qui est actuellement déployée auprès de certains utilisateurs, permet à Gemini d'analyser l'écran de l'appareil en temps réel et de fournir des réponses en langage naturel.
Le Projet Astra, annoncé l'année dernière, est une initiative de Google visant à développer des chatbots d'IA capables d'interagir en temps réel en utilisant l'écran ou la caméra d'un smartphone. Google a confirmé le mois dernier le lancement de Gemini Live with Video, et les premiers utilisateurs signalent aujourd'hui que la fonction est disponible sur leurs appareils.
- Découvrez les principales fonctionnalités de Gemini que vous devez maîtriser
La fonction "Partage d'écran avec Live" de Gemini
Un utilisateur de Reddit possédant un appareil Xiaomi a récemment indiqué qu'il avait désormais accès à la fonction "Partage d'écran avec Gemini", qui permet à Gemini Live de voir ce qui se passe sur votre écran en temps réel, plutôt que d'analyser une image statique ou un clip enregistré. Les utilisateurs peuvent poser des questions à Gemini Live sur ce qui est affiché et même engager des discussions basées sur le contenu.
La fonction est apparemment fonctionnelle dans la plupart des applications, y compris la galerie et le navigateur web. Cependant, lorsque l'utilisateur a demandé à Gemini Live d'ouvrir YouTube, l'IA a répondu qu'elle était limitée au chat et à la collaboration. Cet outil est accessible via le nouveau bouton "Screen Share with Gemini", situé au-dessus du bouton "Ask About Screen" dans la feuille flottante de Gemini.
Laissez Gemini Live accéder à votre flux de caméra
Une autre fonctionnalité lancée en même temps que Screen Share with Gemini est Gemini Live with Video, qui permet aux utilisateurs de transmettre à Gemini des vues de caméras en direct. Contrairement au partage d'écran, cette fonctionnalité permet à Gemini d'analyser le flux de la caméra en direct, qu'il s'agisse de la caméra arrière ou de la caméra avant.
Google a démontré que cette fonctionnalité peut aider les utilisateurs à discuter et à interagir avec leur environnement en temps réel. Dès qu'elle sera disponible, la fonction sera accessible via l'application Gemini en lançant Gemini Live et en appuyant sur le nouveau bouton vidéo, qui prend également en charge une fonction de pause similaire à celle de Gemini Live en mode vocal.
Contrairement à Google Lens ou à l'outil "Ask About Screen", Gemini Live with Video permet une conversation plus naturelle, basée sur la parole, plutôt que de s'appuyer sur une recherche en ligne. Les interactions sont ainsi plus fluides et plus intuitives.
Innovant ou inquiétant?
L'un des aspects importants des capacités de Gemini Live est la manière dont Google peut utiliser les données et les médias partagés par le biais de cette fonctionnalité. Comme pour les autres outils multimodaux de Gemini, les données telles que la voix, les images ou d'autres interactions peuvent être exploitées pour former et affiner les modèles d'intelligence artificielle de Google.
Ce qui est intéressant, c'est que Gemini pourrait devenir beaucoup plus réactif, intelligent et personnalisé au fil du temps. En tirant des enseignements de l'utilisation réelle, le système peut s'adapter aux préférences et aux besoins des utilisateurs, pour offrir à terme une assistance plus intuitive et des fonctionnalités innovantes. Ce type d'amélioration continue est au cœur de l'IA de pointe.
Cependant, du côté des préoccupations, cela soulève également des questions importantes sur la confidentialité et le contrôle des données. Même si Google promet de respecter les mêmes normes de confidentialité et de sécurité que celles appliquées à l'ensemble de ses services, les utilisateurs peuvent se demander comment leurs données sont utilisées, qui peut y accéder et combien de temps elles sont conservées. La transparence sera essentielle. Les utilisateurs doivent s'attendre- et exiger- des explications claires et accessibles sur les pratiques de traitement des données.
Nous pensons que Google fournira des informations plus détaillées au fur et à mesure du déploiement de Gemini Live, notamment en ce qui concerne les contrôles de l'utilisateur, les mécanismes d'acceptation et les mesures de protection de la vie privée. D'ici là, les utilisateurs devront peut-être trouver un équilibre entre l'excitation d'une IA plus intelligente et une bonne dose de prudence.
Pour l'instant, les fonctionnalités de Gemini Live semblent être déployées auprès d'un nombre très limité d'utilisateurs. J'ai vérifié sur mon appareil Samsung Galaxy et j'ai constaté que la fonction n'avait pas encore été activée. De plus, l'accès à ces outils nécessite un abonnement Google One AI Premium.
Avez-vous testé l'un des outils d'IA de Gemini? Quelles sont les fonctionnalités que vous trouvez les plus utiles? Faites-nous part de vos impressions dans les commentaires!
Via : 9to5Google Source : Reddit
