Windows 11: avec Copilot Voice et Copilot Vision, Microsoft veut que vous parliez et échangiez avec votre PC comme avec vos amis

Hier à 15h00

Microsoft a annoncé sa nouvelle salve de mises à jour pour Windows 11. Des fonctions qui, selon les responsables de l’entreprise, vont offrir des possibilités nouvelles pour les utilisateurs en "rendant l’IA plus intuitive et facilement accessible" grâce à la voix.

Il y eut le clic, puis l’écriture. Place désormais à la voix et à la vision. Alors que Windows 10 tire officiellement sa révérence cette semaine, Windows 11 s’offre son lot annuel de nouveautés de l’automne. Et un sujet au cœur du système d’exploitation maison (OS): l’intelligence artificielle.

"C’est la technologie la plus transformatrice de notre vie", nous confie Navjot Virk. Pour la responsable des expériences Windows, l’OS doit servir à "démocratiser l’IA en la rendant intuitive et facilement accessible au plus grand nombre, pas seulement aux technophiles". Comme à chaque mise à jour de Windows 11, l’IA fait le plein de nouveautés. À moins que ce ne soit l’inverse. Et lors des annonces de ce 16 octobre, c’est Copilot Voice qui a été officiellement intronisé. "Un changement fondamental dans l’interaction avec l’ordinateur", promet Navjot Virk. Et ce sera disponible en français dès le lancement dans les prochains jours.

Copilot Voice pour demander plus naturellement

Après la souris et le clavier qui furent pendant quatre décennies les outils indispensables pour communiquer avec son ordinateur, vous pourrez désormais utiliser votre voix comme modalité d’entrée. Certes, il y eut des tentatives par le passé avec Cortana, un des tout premiers assistants vocaux, mais jamais qui ne trouvent leur plein potentiel.

L’utilisateur va ainsi parler à son PC IA, qui pourra entendre, comprendre et répondre. D’un simple "Hey Copilot !", la discussion peut être entamée pour n’importe quel sujet, d’une demande d’explications sur un fichier à une recette de cuisine pour X personnes. Les boutons "Copilot", Voix ou bien les touches Windows+C activent la fonction ou y mettent un terme (ou bien dites simplement "Au revoir" à Copilot). C’est réactif, flexible et complet dans ses réponses pour s’adapter aux besoins et capacités de l’utilisateur.

Copilot Voice va s’accompagner de Copilot Vision. Et cette fois, c’est l’ordinateur qui, avec votre autorisation, va vous aider en "voyant ce que vous voyez et en vous assistant dans votre travail ou votre quotidien", explique la responsable de Windows. Une façon totalement nouvelle d’obtenir de l’aide sur son PC, car Copilot Vision s’appuie sur l’affichage (écran entier ou fenêtre simplement, vous décidez) pour vous apporter un support guidé dans votre flux de travail, de manière plus contextuelle, proactive aussi, et faciliter la tâche de l’utilisateur.

Copilot Vision peut vous guider dans des logiciels que vous ne maîtrisez pas © Microsoft

Cela peut aller d’un tri de documents à l’écran à des conseils donnés par l’IA pour démarrer avec un logiciel un peu plus compliqué. Copilot pourra vous montrer où cliquer, corriger un projet vidéo ou améliorer votre photo. Une version de Copilot qui arrive aussi dans le jeu vidéo et notamment sur les nouvelles consoles ROG Xbox Ally qui embarqueront Copilot afin d’obtenir de l’aide ou des conseils directement depuis un jeu. "Copilot Vision, c’est comme avoir quelqu’un juste à côté, un expert pour vous aider et vous guider à tout moment", souligne Navjot Virk, qui espère voir de plus en plus de convertis à l’IA maison avec des fonctions plus naturelles et moins intimidantes.

Productivité, fluidité et démocratisation

Parler à son ordinateur doit surtout devenir instinctif. Lui montrer des documents pour qu’il nous aide, extrêmement intuitif. Mais c’est aussi dans l’échange avec Copilot que l’entreprise américaine simplifie toujours plus le langage. Décrire une tâche complexe sans avoir à taper un long prompt, voilà vers quoi Microsoft veut tendre. La voix est donc son meilleur allié, notamment pour le multitâche réel (solliciter Copilot tout en cuisinant, par exemple) comme virtuel (passer d’un élément à l’autre dans une même discussion pour interrompre et compléter). L’interaction conversationnelle se veut alors plus simple que la saisie.

Plus facile aussi dans les usages. Copilot Vision peut comprendre tout un fichier et pas seulement ce qui est visible à l’écran pour renforcer sa compréhension et son analyse. Si la mise à jour de Windows 11 est déployée dès ce 16 octobre, Microsoft a déjà en tête l’étape suivante. "Nous avons appris qu’il fallait y aller progressivement dans le déploiement de nos nouveautés, prendre le temps d’expliquer l’utilisation à venir et ne pas noyer les utilisateurs les moins aguerris sous une avalanche de fonctions nouvelles. On met donc les suivantes progressivement dans Windows Insider (programme pour bêta-testeurs Windows, NDLR)", explique Navjot Virk.

Microsoft teste actuellement dans Windows 11 l'ajout de l'IA dans la barre de tâches avec des raccourcis vers Copilot Voice et Vision © Microsoft

Les prochaines fonctions vont rendre encore plus naturelle l’utilisation de l’IA sur un PC Windows. Tout d’abord, avec "Ask Copilot" qui va prendre place dans la barre des tâches et être plus en évidence, avec un accès rapide à Copilot Voice et Vision. Les résultats sont instantanés, le hub plus moderne et interactif. À croire que ces deux nouvelles fonctions y trouvent une place logique pour être utiles. "Nous ne voulons pas créer de nouvelles habitudes, mais rendre Copilot fluide et omniprésent dans les usages existants", glisse Marcus Ash, en charge du design et de la recherche Windows.

Rendre l’IA séduisante, intuitive et rassurante

Toute la réflexion tourne d’ailleurs autour de cette envie de rendre tout naturel à l’usage. Et parmi les futures fonctionnalités, il y aura aussi Copilot Actions, la liberté de laisser Copilot agir au nom de l’utilisateur pour réorganiser des dossiers ou des photos, renommer des fichiers, extraire des infos d’un PDF, envoyer un mail, faire une réservation, etc. Tout ce qui pourrait "s’apparenter à des corvées et des tâches ennuyeuses" serait alors réalisé par des agents IA.

Microsoft veut aussi aller au-delà de sa simple plateforme et ses services favoris grâce aux futurs connecteurs qui permettront de lier, en plus des services maison habituels (Onedrive, Outlook, Word, etc.) et les comptes Google (Gmail, Dirve, Contacts, Agenda) pour aider Copilot à mieux "rechercher et raisonner sur votre contenu pour se montrer un meilleur assistant encore", explique Marcus Ash. D’autres services et applications seront ajoutés au fil du temps.

Être productif, ne plus avoir peur de ne pas savoir faire ou trouver, simplement demander: Microsoft poursuit dans sa volonté de démocratiser l’IA sur les PC Windows. L’IA doit être là pour aider, pas pour freiner, déclarent en chœur les deux experts Microsoft. Pour cela, parler semble plus naturel et moins angoissant pour certains que la peur de mal taper ou cliquer au mauvais endroit. Désormais, il suffira de dire ce qui passe par la tête ou de montrer. "Copilot peut en quelque sorte déchiffrer ce que vous voulez dire, lire dans vos pensées d’une certaine manière", s’amuse Marcus Ash.

Si ces nouveautés sont pensées pour faciliter la vie, elles se feront toutes avec l’aval obligatoire de l’utilisateur et de manière toujours sécurisée, assure Microsoft. "Nous voulons avancer prudemment, apprendre, et garantir que les utilisateurs se sentent en contrôle", ajoute-t-il. En contrôle et en sécurité, deux conditions sine qua none pour rendre l’IA utile, séduisante et surtout rassurante.

Melinda Davan-Soulas