Réussir le test visuel de Turing : L’histoire de la quête de Meta du réalisme visuel dans la VR.
En novembre 2020, Mark Zuckerberg, PDG de Meta, écrivait à Andrew « Boz » Bosworth, directeurs techniques, et Michael Abrash, responsable scientifique du Reality Labs, afin de leur poser la question suivante : Qu’est-ce qui nous empêche d’avoir un affichage en VR que l’on confondrait presque avec la réalité, et que devons-nous faire pour y parvenir ?
C’était le dernier e-mail d’une série de conversations détaillées sur la création de systèmes d’affichage de réalité virtuelle (VR) avancés que Mark Zuckerberg et Michael Abrash avaient eues au fil des années. Tout a commencé lors d’un déplacement en 2015 dans une entreprise prometteuse spécialisée dans la réalité augmentée (AR). Cela s’est ensuite intensifié par le biais d’échanges réguliers, de discussions en tandem, de tests technologiques ainsi que de nombreuses démos à Redmond et Menlo Park.
La réponse aurait pu se limiter à de la spéculation, mais c’était tout sauf le cas, car l’équipe Display Systems Research (DSR) de Reality Labs, dirigée par Douglas Lanman, avait effectué des recherches approfondies sur toutes les technologies nécessaires pour répondre à la question initiale de Mark Zuckerberg au cours des cinq années précédentes. Mark a en réalité posé la bonne question au bon moment pour stimuler et pousser plus loin la réflexion de l’équipe DSR sur les écrans de VR pour la décennie à venir : réussir le test visuel de Turing.
Le Saint-Graal de la recherche sur les écrans
Le test de Turing a été conçu en 1950 par Alan Turing afin d’évaluer la capacité qu’un ordinateur a de passer pour un humain. Le test visuel de Turing est une expression que l’équipe DSR a adoptée et contribué à populariser, de même que les équipes universitaires les plus éminentes.
Concrètement, le test évalue si ce qui est affiché sur un casque de VR peut être confondu avec la réalité. C’est donc un test subjectif qu’aucune technologie de VR n’a encore réussi à ce jour. Bien que la VR crée déjà un fort sentiment réellement convaincant de présence dans les lieux virtuels, elle n’en est pas encore au point de se confondre avec la réalité.
La question de Mark Zuckerberg a incité Doug Lanman à rédiger une note interne qui a été largement diffusée, intitulée « Réussir le test visuel de Turing » en décembre 2020. Celle-ci contenait une feuille de route détaillée pour atteindre cet objectif, qui, s’il est atteint, ouvrira de nombreuses opportunités en VR, allant des espaces de travail virtuels qui favorisent la productivité à distance, à l’interaction sociale virtuelle qui donne l’impression authentique d’être avec d’autres personnes, en passant par le tourisme virtuel, et jusqu’à quasiment tous les usages et activités du monde réel.
VR : Changer potentiellement le monde
Grâce à la VR, le télétravail permettra à beaucoup plus de personnes de vivre où elles le souhaitent, plutôt que de devoir déménager près des bassins d’emploi. Cela créera de nouvelles opportunités à la fois pour les collaborateurs, dont l’accès à un large éventail d’emplois ne serait plus limité par la localisation géographique, et pour les entreprises, qui seront en mesure de faire appel à des talents aux quatre coins du monde. Au-delà de la productivité, la VR, ainsi que l’AR, ont le potentiel de changer le monde autant, voire plus, que l’informatique personnelle, et les expériences visuelles au réalisme indiscernable y joueront un rôle central.
Aujourd’hui, dans la publication « Inside the Lab« , nous étudierons en détails le travail de l’équipe DSR. Celle-ci élabore une technologie d’affichage qui rendra le futur métavers réel, en relevant le défi du test visuel de Turing pour toutes les expériences visuelles, aux côtés des Codec Avatars, d’une sensation de toucher crédible, d’un audio spatial et bien plus encore. Nous examinerons les principales technologies développées par DSR, évoquerons l’approche de prototypage qui alimente leurs progrès, et partagerons les résultats d’une étude perceptive inédite qui a catalysé une grande partie de leurs recherches.
Enfin, nous partagerons des informations concernant plusieurs prototypes de DSR et vous dévoilerons Mirror Lake, un prototype qui intègre le travail de DSR dans plusieurs domaines de recherche au sein d’un casque de nouvelle génération léger et confortable.
C’est donc l’histoire d’une exploration scientifique, de la genèse d’une idée de recherche à sa transformation en un programme complet à fort potentiel pour changer notre façon de travailler, de jouer et de communiquer.
VR : Le défi à relever
Le défi auquel l’équipe DSR est confrontée dans sa quête de réalisme visuel est facile à résumer : la technologie requise pour réussir le test visuel de Turing, surtout dans un casque grand public, n’existe pas encore. Car si Quest et Quest 2 créent déjà des expériences visuelles 3D convaincantes, ces casques ne peuvent rivaliser avec nos expériences dans le monde réel. La principale limite relève de la résolution, mais les défis vont bien au-delà.
La VR pose tout un tas de nouveaux problèmes qui n’existaient pas avec les écrans 2D, tels que le conflit vergence-accommodation (VAC), l’aberration chromatique, la parallaxe oculaire et la distorsion visuelle. Par conséquent, il y a de nombreux obstacles à surmonter, de nombreuses recherches à effectuer et beaucoup d’études à mener sur les utilisateurs avant de s’approcher d’une expérience visuelle totalement réaliste en VR. Les innovations nécessaires doivent combler ces lacunes dans plusieurs catégories fondamentales.
À commencer par la problématique liée à la résolution : les casques de VR ont des champs de vision beaucoup plus étendus qu’un écran très large. Les pixels disponibles doivent donc être appliqués sur une zone beaucoup plus grande par rapport à un affichage 2D, ce qui se traduit par une résolution inférieure pour un nombre donné de pixels. Par exemple, une vision de 20/20 sur l’ensemble du champ de vision humain nécessiterait environ 13.000 pixels horizontaux, un chiffre supérieur à la capacité de n’importe quel écran grand public existant.
Une réalité à nuancer
La réalité est toutefois à nuancer, car l’œil n’a pas la capacité de percevoir une haute résolution sur l’ensemble du champ de vision, mais l’ampleur du défi reste la même. Non seulement il faut bien plus de pixels, mais il faut également qu’ils soient de meilleure qualité.
Aujourd’hui, les casques de VR ont une luminosité et un contraste bien plus faibles que les ordinateurs portables, les téléviseurs et les smartphones. De fait, la VR ne peut atteindre le niveau de détail et de netteté auquel nous sommes habitués avec les affichages en 2D. En outre, les lentilles utilisées dans les écrans de VR actuels déforment souvent l’image virtuelle, ce qui en réduit le réalisme, à moins que la distorsion ne soit entièrement corrigée par le logiciel. Ce qui est difficile étant donné que la distorsion varie lorsque l’œil se déplace pour regarder dans différentes directions.
De plus, bien que cela ne touche pas au réalisme, les casques peuvent être difficiles à utiliser pendant des périodes prolongées, car cette distorsion, ainsi que le poids du casque, peuvent provoquer un inconfort et une fatigue temporaires. Autre élément si crucial qu’il dispose de sa propre catégorie, la capacité à faire la mise au point correctement à n’importe quelle distance, un point qui sera abordé par la suite.
Les conditions de la réussite du test de Turing
Afin de combler les lacunes mentionnées ci-dessus, Mark Zuckerberg et Doug Lanman estiment que la réussite du test visuel de Turing nécessite la mise en place d’une nouvelle technologique comprenant les éléments suivants :
- La technologie de « focale variable », qui propose une profondeur de champ correcte (par opposition à un foyer fixe unique), permettant ainsi une vision plus claire et plus confortable à portée de bras pendant de longues périodes.
- La résolution approchant et dépassant à terme la vision humaine de 20/20.
- La correction de la distorsion pour remédier aux aberrations optiques, comme les franges de couleur autour des objets et la déformation de l’image que peuvent engendrer les optiques de visualisation.
- La technologie HDR (gamme dynamique élevée) qui améliore la gamme de couleurs, la luminosité et le contraste qu’on peut expérimenter en VR.
Le développement de toutes ces fonctionnalités est nécessaire (et difficile à atteindre), mais pas suffisant. Tout cela doit finalement s’intégrer dans un casque plus confortable, adapté à l’usage des consommateurs. Cela signifie que l’équipe DSR doit non seulement améliorer l’affichage, mais aussi élaborer des systèmes d’affichage complets bien au-delà de ce qui existe aujourd’hui. C’est le défi que DSR s’apprête à relever et qu’il faut absolument surmonter selon Mark Zuckerberg pour développer la nouvelle génération de VR.
Doug Lanman souligne la complexité de la tâche : « Concevoir et fabriquer des casques intégrant cet ensemble de technologies est un travail difficile et de longue haleine. En effet, dans le cas des affichages sur les casques, tous les systèmes techniques sont interconnectés. La taille, le poids, la puissance et le coût entrent en compétition et doivent tenir dans un casque compact et portable ». Il ne s’agit pas seulement de faire entrer toutes les technologies dans un budget limité, car chaque élément doit également être compatible avec tous les autres. Par exemple, certaines technologies de suivi de l’œil doivent être associées à certains types spécifiques de lentilles d’affichage pour fonctionner correctement.
La quête de réalisme visuel menée par DSR
L’équipe Display Systems Research (DSR) de Reality Labs a directement étudié ce problème en réalisant différents prototypes, allant de technologies individuelles à des systèmes complets, qui tracent et repoussent les limites du vaste espace de conception de l’affichage VR, puis en menant des études auprès d’utilisateurs sur ces prototypes pour évaluer les progrès réalisés en vue de réussir le test visuel de Turing. Le résultat tangible de cette démarche est exposé chez RL Research à Redmond : un mur entier de prototypes qui explorent collectivement un large éventail de technologies pour développer la prochaine génération d’écrans de VR. En somme, il s’agit de la représentation de l’histoire vivante de la quête de réalisme visuel menée par DSR.
Dans la suite de cette publication, nous allons découvrir cette histoire, de ses débuts à son état actuel. Nous examinerons successivement chacun des quatre axes technologiques principaux, y compris une mise à jour du programme à mise au point variable que nous avons évoqué à plusieurs reprises au fil des ans. Nous aborderons également deux architectures récentes de systèmes d’affichage développées par DSR : Holocake 2 qui, à notre connaissance, possède l’optique la plus compacte de tous les casques VR de type Quest 2, et est le premier casque de ce type doté d’une optique holographique, ainsi que Mirror Lake, une architecture proposée pour les futures générations d’expérience visuelle en VR.
VR : La focale variable et le rôle inattendu des mains
En 2015, la nouvelle équipe de Doug Lanman débutait son étude des technologies d’affichage qui allaient potentiellement permettre de réussir le test visuel de Turing. Au même moment, Meta (alors connue sous le nom de Facebook) lançait l’Oculus Rift, bientôt suivi d’une nouvelle méthode d’interaction : les manettes Touch, qui ont permis d’apporter une présence tactile à la VR.
Doug Lanman était persuadé à raison que Reality Labs irait un jour au-delà de Touch en matière de technologie de suivi des mains, qui était alors en cours de développement au sein de l’équipe de recherche. Et c’est en 2020, que les équipes ont ajouté la fonctionnalité Mains sur Quest. Cette réflexion a permis à Doug Lanman d’obtenir une information clé : il faut pouvoir faire la mise au point sur les mains afin de les utiliser plus efficacement.
Cela peut sembler évident et courant, puisque c’est exactement ce qu’il se passe dans le monde réel, mais cela change la donne en VR. Dans le monde réel, nous modifions constamment la forme des lentilles de nos yeux pour faire la mise au point à la distance de ce que nous regardons, ce qui permet d’obtenir une image correcte de la lumière provenant de cette distance. À l’inverse, les casques de VR actuels disposent de lentilles dont la mise au point à la distance est fixe, environ 1,5 à 2 mètres.
Cela signifie que, bien que nous n’en soyons pas conscients, la lumière provient toujours effectivement de la même distance dans la VR, quel que soit l’endroit que nous regardons. Il s’agit d’un phénomène nouveau pour nos systèmes visuels. L’inadéquation des signaux que l’on reçoit dans la VR entre la distance simulée d’un objet virtuel en 3D et la distance de mise au point (qui, là encore, est fixée à environ 1,5 à 2 mètres dans les casques actuels) peut entraîner un conflit de vergence-accomodation (VAC).
La VAC est un phénomène bien connu dans le domaine de la VR, peut entraîner une fatigue temporaire et une vision floue, et peut être l’une des sources de l’inconfort ressenti lorsqu’on passe beaucoup de temps en VR. Mark Zuckerberg a expliqué l’année dernière lorsqu’il évoquait les avantages de la mise au point variable que : « Vos yeux essayent de faire la mise au point sans succès, parce que [l’affichage] est projeté [à] une distance unique ».
L’un des moyens de résoudre le problème de la VAC consiste à ajuster dynamiquement la profondeur de champ dans la VR pour qu’elle corresponde à la distance de l’objet regardé, ce qui permettrait à nos yeux de faire la mise au point à la bonne distance. L’un des moyens potentiels d’y parvenir, connu sous le nom de « mise au point variable », consiste à déplacer les lentilles en fonction de ce que l’observateur regarde.
Pour tester cette théorie, L’équipe DSR a élaboré en 2016 un prototype encombrant visant à démontrer l’expérience. Appelés « machines à voyager dans le temps », les prototypes de ce type, qui ne sont pas prêts à être utilisés par les consommateurs, ont été élaborés dans le but d’explorer ce qui pourrait être possible après des années de recherche et de développement. Ces machines à voyager dans le temps constituent une part importante des recherches de DSR consistant à explorer l’espace de conception des futures technologies visuelles de VR.
Une étude inédite auprès des consommateurs et l’évolution de Half Dome
Lorsque Mark Zuckerberg s’est rendu à RL Research en 2017, il a pu observer un large éventail de prototypes et prendre certaines décisions sur les futures orientations technologiques de l’entreprise. La démo VR qu’il a testée ce jour-là était l’une des premières tentatives de mise au point variable : un prototype imposant qui permettait d’améliorer la netteté des objets proches. Ce premier essai et d’autres ont montré que le principe sous-jacent au système de mise au point variable pouvait fonctionner et qu’il offrait des expériences visuelles personnelles plus nettes. Cependant, les résultats, bien que prometteurs, étaient anecdotiques, et l’équipe n’avait pas de preuve définitive que la version DSR de la mise au point variable pouvait surmonter la VAC et améliorer l’acuité et le confort.
Marina Zannoli, alors scientifique spécialisée dans la vision au sein de l’équipe DSR, est intervenue dans le processus afin de trouver la réponse. a mené une étude sur la mise au point variable auprès des utilisateurs. Elle a commencé par lancer un défi technique de taille : l’équipe devait créer un nouveau casque dont le poids et la taille se rapprocheraient beaucoup de ceux de l’Oculus Rift, afin d’éviter que l’étude ne soit perturbée par l’inconfort général qu’entraîne le port d’un prototype encombrant.
Pour ce faire, il a fallu diviser par quatre la masse du casque existant, qui pesait 2.450 grammes (environ 5,5 livres), tout en affinant le dispositif pour qu’il soit exempt du bruit et des vibrations générés par le système de mise au point variable.
Neuf mois plus tard, l’équipe a livré Half Dome Zero, un casque prototype dédié à la recherche de 680 grammes, entièrement compatible avec tous les jeux de VR commercialisés pour le Rift à l’époque, mais avec la capacité de fournir une profondeur de champ correcte grâce à la mise au point variable. Bien qu’un peu plus lourd que le Rift, qui pèse 470 grammes, Marina Zannoli a estimé que ce nouveau casque était suffisamment léger pour fournir des informations pertinentes concernant les préférences des utilisateurs et les véritables avantages de la mise au point variable.
Les véritables avantages de la mise au point variable
Ensuite, Marina Zannoli a testé les avantages de la mise au point variable, et notamment savoir si elle améliore la netteté des objets proches, si elle aide les utilisateurs à percevoir plus rapidement les scènes en 3D, si elle augmente le confort visuel et, surtout si les utilisateurs apprécient cette technologie.
Elle décida alors d’aborder le problème d’une manière très différente de l’approche standard de la science de la vision, qui consiste à utiliser des stimuli limités tels que des tableaux optométriques. Elle fonda l’étude sur des expériences de VR riches, en travaillant avec une équipe d’artistes techniques pour développer une application de démo personnalisée, basée sur la technologie des jeux vidéo. Celle-ci encourage les participants à passer la plupart de leur temps à observer les objets à proximité. Il s’agit d’une technologie que les développeurs de VR doivent actuellement éviter en raison des limites connues de la VR à focale fixe.
Désormais munie d’un casque adapté et d’un protocole soigneusement conçu, Marina Zannoli a fait un essai de deux jours avec 63 personnes, visant à évaluer le système à mise au point variable conçu par l’équipe en comparaison à la VR à mise au point fixe. Le premier jour, la fonction de mise au point variable était pleinement activée sur le Half Dome Zero, tandis que le second, le casque fonctionnait en mode de mise au point fixe, qui est la norme pour les casques de VR actuels. Les participants devaient répondre à plusieurs questionnaires afin d’évaluer leurs préférences.
Les résultats de l’étude furent encourageants. Selon Marina Zannoli, « les résultats ont révélé que l’utilisation de la mise au point variable améliore globalement le confort des participants. Ils ont ressenti moins de fatigue, de nausées et de troubles de la vision, et ils ont été capables de mieux identifier les petits objets, de lire plus facilement les textes et de réagir plus rapidement à leur environnement visuel ». Des participants ont préféré la VR à mise au point variable à la VR à mise au point fixe. Particulièrement surprenant, car Half Dome Zero était un prototype précoce doté d’un logiciel imparfait de suivi oculaire et de correction des distorsions.
À l’été 2017, DSR avait enfin la preuve que la mise au point variable était plus performante et confortable pour la VR. Les études d’Inria et UC Berkeley et de Stanford publiées au même moment soutenaient cette conclusion. L’équipe était désormais certaine qu’il fallait résoudre en priorité la multitude de défis techniques restants (couvrant le suivi oculaire, l’infographie, la conception optique, les systèmes de contrôle et le poids). Ainsi, au cours des cinq années suivantes, DSR a élaboré plusieurs prototypes qui ont repoussé les limites de la technologie à mise au point variable.
Au-delà de la mise au point variable : La résolution rétinienne, l’affichage sans distorsion et l’HDR
Selon Doug Lanman, « la série Half Dome a été un tournant décisif pour notre équipe. Elle nous a permis d’améliorer la technologie de mise au point variable et nous a servi de modèle pour nos autres programmes de recherche en matière d’affichage ». Half Dome a lancé une série de recherches similaires. Il s’agit d’un processus qui commence par la mise en place d’exigences et d’hypothèses techniques, suivi de la construction d’imposantes machines temporelles pour démontrer l’expérience, puis, de la création de prototypes affinés pour valider le concept et, enfin, de la réalisation d’études auprès d’utilisateurs afin de générer des données essentielles pour le prototype suivant.
« Nous avons rigoureusement appliqué cette méthode aux autres dimensions du test visuel de Turing », ajoute Doug Lanman, notamment la résolution, les distorsions optiques et la gamme dynamique.
Penchons-nous un peu plus sur ces trois domaines et voyons à quel stade de recherche de DSR se trouve chacun d’entre eux.
Butterscotch : Comprendre la résolution rétinienne
La résolution rétinienne est depuis longtemps la référence absolue pour les appareils équipés d’un écran. Bien qu’il n’existe pas de définition universellement reconnue, on considère généralement qu’elle se situe autour de 60 pixels par degré (ppd), ce qui est suffisant pour correspondre à 20/20 sur un tableau optométrique. Alors que la plupart des ordinateurs portables, des téléviseurs et des téléphones mobiles ont depuis longtemps franchi ce cap, la VR est en retard, car son champ de vision immersif répartit les pixels disponibles sur une étendue visuelle beaucoup plus grande. Par exemple, l’affichage de Quest 2 diffuse environ 20 pixels par degré.
Cela limite évidemment la capacité à présenter des petits textes et d’autres détails, et peut également limiter le réalisme perçu. Par exemple, au Japon, les chercheurs ont démontré que la perception du réalisme s’améliore parallèlement à la résolution de l’image, jusqu’à 120 pixels par degré, c’est-à-dire bien au-delà de ce qui est considéré comme la résolution rétinienne. Le réalisme visuel étant au cœur du test visuel de Turing, DSR a élaboré au fil des ans une série de prototypes de VR à haute résolution pour sonder l’importance de la résolution rétinienne dans le contexte de la VR, et pour faire en sorte que les casques atteignent ce niveau.
La valeur de ce prototypage a été renforcée lorsque Mark Zuckerberg et Andrew Bosworth ont rendu visite à RL Research l’année dernière. Sur le chemin de l’aéroport, Mark Zuckerberg a sondé Micheal Abrash pour connaître la progression de l’équipe concernant la résolution rétinienne. Quelques heures plus tard, Micheal testait Butterscotch, le dernier et plus avancé des prototypes de résolution rétinienne de DSR.
Butterscotch serait essentiel pour l’avenir de la VR
Butterscotch est un excellent exemple de prototypage pour obtenir des réponses aussi rapides et directes que possible. À ce jour, aucun écran ne permet d’obtenir une résolution proche de celle de la rétine pour le champ de vision VR standard. L’équipe a donc utilisé des écrans LCD 3k et a limité le champ de vision à environ la moitié de celui de Quest 2 afin de porter la résolution à 55 ppd, soit deux fois et demie celle de Quest 2. Puis, l’équipe a développé un nouveau type de lentille hybride afin d’atteindre une résolution élevée.
Cette version ne peut toutefois pas être commercialisée et expédiée, car elle est beaucoup trop lourde et encombrante, avec un champ de vision sous-dimensionné. Néanmoins, ce prototype a permis à Mark Zuckerberg d’expérimenter une résolution proche de celle de la rétine et de constater par lui-même la différence. C’est exactement le but des machines temporelles conçues par DSR. Après avoir essayé Butterscotch et reconnu que sa technologie de résolution rétinienne est essentielle pour l’avenir de la VR, Mark Zuckerberg a demandé à l’entreprise de revoir sa feuille de route en matière de résolution.
Il reste encore beaucoup de chemin à parcourir pour parvenir à une résolution VR proche de la réalité, mais Butterscotch se rapproche du but. Il permet également d’intégrer d’autres technologies de DSR dans des systèmes d’affichage à haute résolution. Par exemple, DSR élabore une variante à la mise au point variable de Butterscotch dont la résolution sera trois fois supérieure à celle du prototype Half Dome Zero. Avec une mise au point fixe, un flou se produit à l’écart du plan focal, ce qui est d’autant plus important que la résolution est élevée. Butterscotch à mise au point variable permettra d’évaluer tous les avantages de cette technologie en termes d’acuité visuelle proche de la vision humaine.
Éviter les distorsions optiques dans les casques de VR
La résolution de l’expérience visuelle en VR est importante, mais elle ne constitue qu’une pièce du puzzle. La qualité de l’image est tout aussi capitale. Pour plusieurs raisons techniques, aucune lentille de VR ne peut être totalement exempte de distorsions optiques. Certaines distorsions peuvent être corrigées en déformant l’image dans le logiciel. Il s’agit d’un élément crucial pour quasiment tous les casques de VR aujourd’hui.
Toutefois, le logiciel de correction des distorsions des casques de VR actuels ne fonctionne pas parfaitement ; la correction est statique, mais la distorsion de l’image virtuelle est dynamique et change en fonction de l’endroit où l’on regarde. Comme illustré ci-dessous, ce phénomène de distorsion de l’image, peut rendre la VR moins réelle, car l’environnement bouge lorsque l’œil se déplace. Cela prend davantage d’ampleur avec le système à mise au point variable, car l’image s’agrandit et se rétrécit légèrement lorsque la distance focale de l’affichage change.
L’équipe a très vite compris l’importance d’une correction précise de la distorsion de la mise au point variable, grâce à une erreur dans l’étude de 2017 menée auprès des utilisateurs du Half Dome Zero. de la distorsion de la mise au point variable avait été accidentellement désactivée. L’équipe a corrigé cette erreur et a appris par la même occasion que la technologie de mise au point variable ne présentait des avantages significatifs que si la correction de la distorsion des lentilles était appliquée correctement. Cela a mis en évidence l’importance d’une bonne correction de la distorsion. Au fur et à mesure que l’équipe approfondit le sujet, il est rapidement apparu que les outils nécessaires n’étaient pas disponibles.
Des études de distorsion qui prennent du temps
Les études de distorsion sont très longues à mettre en place. La fabrication des lentilles d’un casque personnalisé peut à elle seule prendre des semaines ou des mois, et ce n’est que le début du long processus de fabrication d’un écran de casque fonctionnel pouvant être utilisé pour les tests. DSR a compris qu’il fallait mener des études de distorsion à la vitesse d’un logiciel de conception optique plutôt qu’à celle d’un matériel de fabrication de lentilles pour résoudre ce problème.
L’équipe a utilisé la technologie de la télévision 3D pour créer un simulateur de distorsion de lentille en VR qui peut induire des distorsions contrôlées avec précision. Cela lui permet d’étudier instantanément les algorithmes de correction de distorsion pour n’importe quelle conception de lentille. DSR présentera sa solution de prototypage rapide lors de la conférence annuelle SIGGRAPH en août.
Grâce à cette capacité unique de prototypage rapide, l’équipe a pu, pour la première fois, mener une étude auprès des utilisateurs afin d’examiner la correction de la distorsion par suivi oculaire. Contrairement au logiciel de correction des casques actuels, la correction dynamique de la distorsion utilise le suivi oculaire pour mettre à jour la correction en tenant compte du mouvement des yeux. Cela permet de produire des images stables que la correction statique actuelle ne peut pas produire.
Le prototypage rapide promet d’accélérer considérablement la recherche sur la distorsion et la correction des lentilles de VR de toutes sortes, ouvrant ainsi la voie à la réduction de la distorsion dans les futurs casques de VR.
Starburst : Des casques à haute gamme dynamique (HDR)
La résolution, la correction de la distorsion et la mise au point variable sont toutes des piliers essentiels de la réalité visuelle avancée, mais la gamme dynamique élevée (HDR) est la seule technologie qui a permis d’obtenir une sensation accrue de réalisme et de profondeur le plus souvent. Le terme HDR fait référence à la prise en charge de larges plages de luminosité, de contraste et de couleur. Il s’est récemment imposé dans le domaine de la télévision.
Les « nits » sont des unités qui décrivent la quantité de lumière émise par un objet. Les valeurs normales pour un environnement intérieur vont bien au-delà de 10.000 nits, comme indiqué ci-dessous. Jusqu’à présent, une TV standard avait une luminosité de quelques centaines de nits seulement. Toutefois, en 2013, des chercheurs de Dolby Labs ont mené une étude auprès d’utilisateurs avec un affichage personnalisé qui atteignait un pic de 20.000 nits. L’étude a révélé que le point idéal pour une luminosité maximale se situait autour de 10.000 nits. Cette étude pionnière a incité l’industrie de la télévision à développer et à proposer des écrans HDR ces cinq dernières années, avec un grand succès.
La VR doit rattraper son retard à ce sujet. Quest 2 a une luminosité maximale d’environ 100 nits, et il ne sera pas facile d’aller bien au-delà compte tenu des contraintes de puissance, de température et de taille des casques de VR. Comme Mark Zuckerberg l’expliquait dans un entretien l’année dernière, « le défi le plus ardu en termes d’affichage et d’obtention d’une image très vive [relève] probablement du problème d’[HDR]. Les téléviseurs se sont un peu améliorés en matière d’HDR récemment. Mais la vivacité … des écrans que nous avons comparés à ce que votre œil voit dans le monde réel [est] juste un ordre de grandeur ».
Les écrans LCD et les lentilles utilisés dans les casques de VR modernes offrent un contraste inférieur à celui des écrans de télévision qui réduit encore plus le réalisme. En outre, l’augmentation de la luminosité tend à amplifier le problème, car les couleurs plus sombres, notamment le noir, ne sont pas très vives. Enfin, les écrans actuels ne peuvent afficher qu’un sous-ensemble de la gamme complète de couleurs que l’œil humain est capable de percevoir.
Les chercheurs de DSR élaborent un prototype de casque de VR en HDR. Selon Nathan Matsuda, chercheur au sein de l’équipe DSR, « notre dernière création, Starburst, est encombrante, lourde et fixe. Les utilisateurs doivent la tenir devant eux comme une paire de jumelles surdimensionnées. Ils font tout de même une expérience inédite : une démo capable de reproduire toute la gamme de luminosité généralement présente dans les environnements intérieurs ou nocturnes ».
Rien ne remplace l’expérience directe de l’HDR avec vos propres yeux. DSR fera la démo de Starburst à SIGGRAPH en août. En attendant, DSR suit son modèle habituel en élaborant des casques HDR améliorés pouvant servir dans le cadre des études auprès des utilisateurs. Le chemin vers de véritables écrans de réalité virtuelle en HDR est encore long, mais DSR a sauté le pas et communiquera ses avancées au fur et à mesure.
VR : Passer à l’étape suivante
Après des années de démos et d’études auprès des utilisateurs, DSR est convaincu que la résolution rétinienne, la mise au point variable, la correction précise de la distorsion et l’HDR sont essentielles pour réussir le test visuel de Turing dans la VR. L’équipe a élaboré et validé des prototypes qui font progresser chacun de ces aspects du réalisme visuel un à un. Mais la récompense ultime consiste à combiner tous ces éléments dans un seul casque compact, de manière fonctionnelle, et cela porte le défi à onze.
Le problème est que les casques de VR doivent être compacts, légers et élégants, et que le matériel supplémentaire nécessaire pour mettre en œuvre les technologies de DSR va à l’encontre de cet objectif. Doug Lanman observe : « Après près de sept ans de développement de casques à mise au point variable hautes performances, nos ingénieurs en mécanique ont constamment remarqué que tout système de mise au point variable convaincant (au moins celui basé sur des lentilles ou des écrans à translation physique) ajoute environ 40 à 50 grammes ». Cela semble peu, soit le poids de deux piles AA. Toutefois, ce poids supplémentaire signifie que les utilisateurs devront supporter un casque 10% plus lourd que le Quest 2.
C’est là qu’intervient Andrew Maimone, chercheur au sein de l’équipe DSR. Ses recherches se concentrent sur la réduction de la taille, du poids et de la puissance de la VR actuelle. « Bien que nos premiers prototypes nous aient permis d’en apprendre beaucoup, la réussite du test visuel de Turing avec des bancs d’essai volumineux, encombrants et expérimentaux n’est qu’une première étape pour proposer un jour ces technologies de façon élégante et légère que vous voudrez utiliser au quotidien », explique Andrew Maimone. « C’est pourquoi nous construisons également des prototypes architecturaux qui explorent la manière dont nous pouvons condenser tous ces éléments en un produit commercialisable qui peut être expédié ».
Holocake : Jusqu’où est-il possible d’aller ?
Andrew Maimone a dirigé le développement de l’un des prototypes architecturaux que Mark Zuckerberg et Andrew Bosworth ont découvert à Redmond à l’automne dernier. Il s’agit d’un casque super compact appelé Holocake 2.
L’Holocake 2 dispose d’une optique compacte et holographique. Cette approche a déjà été abordée dans cette publication sur le casque Holocake en 2020. Ce prototype est le casque de VR le plus fin et le plus léger jamais élaboré. L’Holocake original ressemblait à une paire de lunettes de soleil dépourvue des principaux composants mécaniques et électriques, et avait des performances optiques nettement inférieures à celles des casques de VR grand public actuels. À l’inverse, l’Holocake 2 est un casque entièrement fonctionnel, relié à un PC et capable de faire fonctionner n’importe quel titre de VR pour PC existant.
Pour comprendre comment l’Holocake 2 parvient à être ultra-compact, il faut revenir sur la fabrication des écrans de VR. Les écrans de VR actuels reposent sur une source lumineuse, un panneau d’affichage qui forme des images en atténuant ou en accentuant la lumière, et une lentille qui concentre la lumière de l’écran dans l’œil. En général, la lentille doit se trouver à quelques centimètres de l’affichage afin d’avoir une puissance de focalisation suffisante pour diriger la lumière vers l’œil.
Mais, comme illustré ci-dessus, il est possible de placer la lentille beaucoup plus près de l’affichage, ce qui réduit considérablement la taille du casque. L’Holocake 2 combine deux technologies pour y parvenir. Tout d’abord, le prototype remplace la lentille par une optique holographique qui courbe les rayons lumineux comme une lentille, mais qui a la forme d’une fine plaque de verre transparente. Ensuite, il met en œuvre un pliage optique basé sur la polarisation (imitant une lentille compacte, mais avec la petite taille d’une optique holographique) pour raccourcir considérablement le trajet de la lumière de l’écran à l’œil.
Cela semble un moyen presque magique de réduire la taille et le poids. Mais alors quel est le piège ? Le piège principal concerne la source de lumière : les casques Holocake nécessitent des lasers spécialisés, plutôt que les LED utilisées dans les produits de VR existants. Selon Andrew Maimone, « les lasers ne sont pas si hors du commun aujourd’hui, mais on ne les trouve pas dans beaucoup de produits de grande consommation qui répondent à nos critères de performances, de taille et de prix. Nous devrons donc faire beaucoup d’efforts d’ingénierie pour parvenir à un laser commercialisable qui réponde à nos spécifications, qui soit sûr, peu coûteux et efficace, et qui puisse tenir dans un casque de VR fin ».
À ce jour, l’équipe n’a pas encore tranché sur les sources laser appropriées, mais si cela s’avère faisable, les affichages en VR ressembleront aux lunettes de soleil.
Mirror Lake : Rassembler toutes les pièces du puzzle
Les multiples pistes de recherche de l’équipe DSR découlent toutes d’une philosophie de base. Comme l’indique Doug Lanman : « Notre équipe s’appelle Display Systems Research, car nous savions que toutes les démos et études menées auprès des utilisateurs dans le monde ne serviraient à rien si nous ne développons pas des architectures convaincantes et pratiques au fur et à mesure. C’est là le cœur du travail de DSR : la recherche constante d’une solution afin de comprendre comment tout peut s’assembler pour créer une expérience visuelle de nouvelle génération qui est en passe de réussir le test visuel de Turing. Pas d’une façon selon laquelle on aurait tout envisagé, mais d’une manière qui apporte une véritable valeur ajoutée aux utilisateurs ».
L’Holocake 2 est un produit qui découle de cette philosophie et va encore s’améliorer. Aujourd’hui, les équipes dévoilent un système d’affichage encore plus performant : Mirror Lake. Il s’agit d’un concept semblable à des lunettes de ski. Il est dérivé de l’architecture de base de l’Holocake 2 et ajoute presque tout ce que l’équipe a développé au cours des sept dernières années.
Mirror Lake illustre les possibilités qu’offre l’architecture d’Holocake, avec ses surfaces extérieures planes. Par exemple, les modules fins de mise au point variable électroniques issus de Half Dome 3 peuvent être ajoutés afin de résoudre le décalage sans alourdir le casque. Et au lieu d’ajouter des verres correcteurs encombrants, la correction individuelle de la vue se fait simplement en fixant une autre lentille fine à l’avant du casque, ou même en intégrant la correction de l’utilisateur directement à l’hologramme utilisé dans la lentille principale de l’Holocake. Il y a aussi une paire de caméras frontales nichées dans les tempes qui permettent d’utiliser une caméra réelle alimentée par le « Machine Learning ». DSR présentera ce travail lors de la conférence SIGGRAPH.
Le suivi oculaire est devenu un élément essentiel pour réussir le test visuel de Turing, car il est nécessaire pour la correction des distorsions dynamiques et pour la mise au point variable. L’architecture de Mirror Lake inaugure une nouvelle approche, en utilisant des films holographiques pour rediriger la lumière des yeux vers une paire de caméras montées dans la sangle du casque. Cette approche inédite permet également le suivi oculaire à plusieurs vues, ce qui améliore considérablement la précision.
Grâce à l’holographie, tout est fin et plat. Les modules de mise au point variable sont plats, de même que tous les films holographiques utilisés pour l’Holocake, la correction et le suivi oculaire. Les technologies fines et plates sont faciles à ajouter. Cela a été mis en évidence grâce à l’invention récente des affichages de caméra réelle réversible. L’équipe a compris que ces derniers pouvaient être intégrés à la conception de Mirror Lake en plaçant simplement un autre écran plat 3D dans la pile optique.
Mirror Lake est prometteur, mais il ne s’agit pour l’instant que d’un concept. En effet, aucun casque entièrement fonctionnel n’a encore été fabriqué afin de prouver son architecture de manière concluante. Mais si ce projet se concrétise, il changera la donne en matière d’expérience visuelle en VR.
Le long chemin à parcourir pour réussir le test visuel de Turing
Même si Mirror Lake peut potentiellement changer la donne, ce n’est qu’une étape supplémentaire sur le long chemin qui mène à la réussite du test visuel de Turing. Le développement de la technologie nécessaire pour réussir ce test et sa transposition en casques qui répondront aux besoins de millions de personnes prendront plusieurs années. De nombreuses embûches sont à prévoir en cours de route, et il faudra apprendre et comprendre beaucoup de nouvelles choses. L’équipe DSR est bien consciente de ce défi et a pour mission d’aboutir à un véritable réalisme visuel. Les efforts déployés jusqu’à présent ont convaincu l’équipe et Mark Zuckerberg que cet objectif est à portée de main.
Comme l’a déjà indiqué Mark Zuckerberg, « d’ici dix ans, nous souhaitons évidemment que le [casque] devienne plus petit. L’idéal est de parvenir à un équivalent d’un écran Retina Display pour la VR… [Il est également nécessaire de créer] une sorte de lentille liquide ou de lentille à mouvement mécanique, soit quelque chose qui peut projeter des images à différentes distances… Il ne faut pas non plus renoncer à la vivacité de ce que nos yeux voient vraiment en termes de contraste et de luminosité des couleurs si tout est juste légèrement plus terne dans la VR ». Ce cadre de travail concernant l’importance de la résolution rétinienne, de la mise au point variable et de l’HDR est le résultat d’années de travail avec l’équipe DSR pour investir dans ces technologies, en constater les avantages et concrétiser chacune d’entre elles.
Quant à Doug Lanman, celui-ci conclut : « Les lasers pourraient finalement s’avérer inutiles pour la VR, du moins sous la forme requise pour l’Holocake. Et, dans ce cas, Mirror Lake deviendrait obsolète. Tel est le défi que représente l’invention de nouveaux systèmes d’affichage reposant sur des technologies émergentes. Mais la meilleure façon d’y parvenir consiste à explorer plusieurs pistes. Mirror Lake n’est qu’une des pistes de recherche envisagées par DSR. Quoi qu’il en soit, quelle que soit la piste retenue, notre équipe est certaine que la réussite du test visuel de Turing constitue notre objectif, et que rien dans la physique ne nous empêchera d’y parvenir. Au cours des sept dernières années, nous avons entrevu cet avenir et nous restons pleinement engagés à chercher un moyen pratique de créer un métavers réaliste d’un point de vue visuel ».
