Pourquoi personne ne parle de cette fonctionnalité de l'Apple Vision Pro?

Apple Immersive est un format vidéo spécialement conçu pour l'Apple Vision Pro- et comme vous le verrez, ce format est très différent des autres formats VR et, associé à la puissance d'Apple sur le marché, il résout certains problèmes essentiels du contenu vidéo VR.

Bien sûr, le contenu produit par des professionnels est encore rare- et là encore, Vision Pro souffre du problème de l'œuf et de la poule des nouvelles plates-formes. Les quelques heures de production vidéo disponibles en Apple Immersive ne justifient pas l'achat de casques à plus de 3000 euros. Mais ce qui est remarquable, c'est qu'Apple a pris en main le problème du contenu du début à la fin.

Tout à la fin, on trouve logiquement l'Apple Vision Pro avec- bien sûr- le service de streaming maison d'Apple, l'Apple TV+. Le contenu provient (entre autres) de sa propre société de production, Apple Studios. Et oui, comme on le sait depuis quelques jours, Apple construit même ses propres caméras pour le contenu immersif, comme le fabricant le mentionne en passant dans son communiqué de presse sur le premier film immersif Apple.

Le sport sur l'Apple Vision Pro

Outre l'exploitation de sa propre société de production, Apple travaille également en partenariat avec des dizaines d'autres entreprises. Parmi les démos déjà disponibles sur Apple TV+, on trouve un montage de la NFL incroyablement impressionnant avec des scènes de match cool et des scènes de coulisses qui vous emmènent directement dans les vestiaires des stars. Sans blague, cela va révolutionner les expériences sportives.

En parlant de football, Apple est déjà partenaire de la ligue 1 allemande de football. La Supercup a été produite en collaboration avec la startup berlinoise Softseed sous forme de streaming live 10K. L'entrée vidéo provenait de huit caméras, donc quasiment en 80K. Le défi? Un volume de données vidéo d'environ 1 To par minute et un délai "glass to glass" de 35 secondes, c'est-à-dire entre l'objectif de la caméra dans le stade et les casques VR sur le canapé.

Avec le développeur français immersiv.io, la DFL (équivalent de la FFF en Allemagne) a également déjà montré un prototype de la manière dont nous regarderons peut-être les matchs de football à l'avenir, même si cet exemple est moins immersif (calculé) et plus informatif.

Productions de films et de séries- et savoir-faire

Bien entendu, les événements sportifs ne sont pas le seul contenu. Les studios Apple viennent de terminer Submerged, la première production des studios Apple d'une durée au moins égale à celle d'un court métrage, réalisée par le cinéaste oscarisé Edward Berger. C'est passionnant pour toute l'industrie: de telles productions VR apportent des défis, des problèmes, mais aussi des opportunités complètement nouveaux.

Une citation intéressante est apparue dans le flux en direct de ProAV TV avec Craig Heffernan du fabricant de caméras et de logiciels de montage BlackMagic: "Les films VR sont plus du théâtre que du cinéma. Car il est clair qu'au lieu de laisser les spectateurs regarder une scène à travers une fenêtre statique ou mobile- c'est-à-dire à travers l'objectif d'une caméra- et d'orienter leur regard ou de zoomer de manière très ciblée, on place son audience devant ou même directement dans la scène. Et le public décide lui-même où il regarde.

Comment diriger l'attention du public dans un film d'horreur? De nouvelles techniques d'éclairage sont nécessaires- ou de son, ce que l'Apple Vision Pro fait d'ailleurs très bien, mais nous y reviendrons.

Dans Submerged, cela est en grande partie résolu par la profondeur de champ, ce qui m'a parfois un peu dérangé. Car contrairement à un téléfilm, je me sens plus actif et je veux pouvoir regarder la zone floue avec mes yeux et faire la mise au point. Mais cela fonctionne aussi par le son - par exemple, un sous-marin qui passe au-dessus de votre tête et qui s'annonce par un bruit de basse.

Et bien sûr, le défi consiste à avoir un plateau bien rangé. Où doit-on placer la lumière? Où placer les microphones des acteurs? Il est également impossible d'effectuer des mouvements de caméra rapides sans donner la nausée au public. Le logiciel de montage vidéo Davinci Resolve de BlackMagic détecte automatiquement les mouvements rapides susceptibles de provoquer des nausées chez les spectateurs dans le nouveau flux de travail immersif d'Apple.

Il est clair qu'Apple a déployé ses 1000 bras dans toutes les directions et qu'elle est en train de nouer des partenariats, d'accumuler du savoir-faire et de se lancer dans des dimensions très différentes de ce que nous avons vu jusqu'à présent dans le domaine du contenu VR.

Le codec de l'Apple Vision Pro

Qu'est-ce qui est encore spécial? Bien sûr, j'ai- et certains d'entre vous aussi- déjà vu suffisamment de contenus VR. Mais pourquoi donc le contenu vidéo d'Apple est-il si net? La réponse ne réside pas (seulement) dans la qualité de production elle-même, mais aussi dans le codec vidéo- et dans ce que l'on appelle la projection. Mais qu'est-ce que c'est?

Une vidéo que vous regardez sur votre téléviseur est enregistrée en deux dimensions- tout comme l'écran de télévision. Mais qu'en est-il d'une vidéo VR dans laquelle vous pouvez regarder autour de vous? Dans le cas d'un contenu à 360 degrés, vous pouvez imaginer la vidéo comme une sphère au centre de laquelle se trouve votre tête. La vidéo se déroule alors à l'intérieur de cette sphère. Pour un contenu à 180 degrés, il s'agit logiquement d'une demi-sphère.

Pour pouvoir intégrer cette vidéo sphérique dans un format vidéo toujours en deux dimensions, une projection est nécessaire- de la même manière qu'un globe est transformé en carte du monde en deux dimensions pour un atlas en 2D à l'aide de ce que l'on appelle la projection de Mercator. Le défi: de même que les tailles des pays sur la carte du monde en deux dimensions ne sont pas en corrélation avec les tailles réelles des pays, chaque zone de l'image n'est pas représentée à la même taille- et n'a donc pas la même résolution ou qualité.

Apple s'appuie donc sur une projection spéciale que même les passionnés de VR et les développeurs comme Mike Swanson ou Anthony Maës ne peuvent pour l'instant décrypter que partiellement. En raison des DRM et du cryptage du contenu immersif, il n'est en effet pas possible de regarder la vidéo comme ça. Il semble toutefois qu'Apple mise sur un type de projection très particulier, qui implique notamment une rotation atypique du contenu vidéo de 45 degrés.

Le Vision Pro peut faire de la 3D pour vraiment tous les yeux

Ah oui, et puis il y a bien sûr le facteur 3D. Pour que le contenu apparaisse en trois dimensions, il doit y avoir une piste vidéo distincte pour chaque œil. C'est là que le codec HEVC avec le suffixe "MV" pour Multiview est en train de s'établir. Au lieu de stocker les images pour les deux yeux l'un à côté de l'autre ou l'un au-dessus de l'autre, celles-ci sont stockées dans le codec comme des vues séparées.

À partir de ces deux vues, Apple restitue ensuite en temps réel le flux vidéo adapté à l'utilisateur, en tenant compte de l'écart pupillaire de l'observateur et des lentilles supplémentaires éventuellement utilisées. Cette Dynamic Bespoke Projection vise à résoudre le problème de la distance entre la lentille de la caméra et l'œil du spectateur, qui ne correspond pratiquement jamais à la distance entre les deux. Comme l'explique Anthony Maës dans son article sur Medium, une capture d'écran de la lecture immersive d'Apple serait différente pour quasiment chaque utilisateur. Anya Taylor-Joy et Harry Melling aiment ça.

Le résultat est que les vidéos VR dans l'Apple Vision Pro n'ont pas les problèmes de perception de la taille que l'on observe souvent sur d'autres modèles. On a toujours l'impression que les pièces ne sont pas de la bonne taille et qu'elles sont par exemple trop grandes. En conséquence, la sensation de saisir des objets dans la réalité mixte est étrange.

Pour en revenir au contenu vidéo, la netteté de l'image est vraiment incroyable. Alicia Keys est incroyablement réaliste dans le concert privé pour l'Apple Vision Pro- ce que les autres vidéos VR n'arrivent pas à faire actuellement malgré la résolution 8K. La proximité avec la superstar est vraiment impressionnante. Malheureusement, les barrières DRM nous empêchent de vous montrer des captures d'écran ou des extraits vidéo des films en immersion d'Apple.

En outre, le format vidéo devrait, selon Apple, améliorer la compression de 30 %, car les images, qui sont assez similaires pour les deux yeux, permettent de superposer facilement le contenu. Compte tenu des taux de transfert de données parfois misérables en Allemagne dans les fichiers vidéo gigantesques de 8K par œil, 90 Hertz et 10 bits de profondeur de couleur, on peut vraiment se réjouir de chaque bit économisé.

Le Vision Pro est aussi un pro de l'audio

D'ailleurs, le son du Vision Pro est tout aussi impressionnant que la qualité de l'image. Mais ce qui est intéressant, c'est la manière dont l'Apple Vision Pro travaille avec le son.

En effet, pour simuler la réalité virtuelle de la manière la plus réaliste possible, le son doit arriver dans vos oreilles exactement comme il le ferait dans la scène que vous êtes en train de regarder. En d'autres termes, si vous regardez une scène de film dans une église, vous aurez une réverbération nette en raison de l'espace important et des murs nus, alors que dans une pièce plutôt basse et équipée de rideaux, comme lors du concert privé d'Alicia Keys, le son est très proche et doux.

Mais comment le Vision Pro fait-il pour que le son parvienne à vos oreilles exactement comme prévu, que vous soyez assis dans une église, sur un poêle ou dans votre salon?

C'est une technologie appelée Spacial Audio Engine qui est utilisée. Comme le rapporte VRTonung, l'Apple Vision Pro scanne en permanence la pièce à l'aide de ses caméras intégrées et tente d'adapter en permanence le son à votre espace et même à la nature de sa surface. Cela se fait par le biais de l'Audio Raytracing, qui simule la propagation des ondes sonores dans les pièces. Meta a d'ailleurs récemment introduit cette fonctionnalité dans le Meta Quest 3.

En outre, chaque personne perçoit le son différemment en fonction de la forme de sa tête et de ses oreilles. Grâce à ce que l'on appelle la Head-Related Transfer Function (HRTF), le Vision Pro adapte en outre le son à la forme de votre tête individuelle- l'audio computationnel, en quelque sorte.

Apple et l'industrie audiovisuelle

Un dernier point pour expliquer pourquoi l'Apple Vision Pro va décoller en vidéo: De plus en plus de caméras "grand public" sont disponibles sur le marché, qui sont exclusives ou au moins conçues pour Apple Immersive. Outre la caméra de production d'Apple, Blackmagic propose la URSA Cine Immersive, qui devrait être disponible début 2025 et qui, avec un prix estimé entre 20.000 et 30.000 euros, s'adresse aux professionnels.

Canon, qui a annoncé un objectif spécial Apple Immersive pour son EOS R7 à 1400 euros, est nettement moins cher. Et bien sûr, vous pouvez également enregistrer des vidéos pour Apple Immersive avec l'Apple Vision Pro lui-même ou l'iPhone. C'est d'ailleurs la raison pour laquelle les caméras de l'iPhone 16 (test) sont placées côte à côte.

Conclusion

Oui, bien sûr, vous allez dire qu'en fin de compte, les caméras serviront probablement à réaliser des films cochons.

Mais il en a toujours été ainsi: les deux grands moteurs des technologies numériques sont l'industrie pornographique et l'industrie militaire. Nous avons récemment évoqué l'utilisation des casques VR parl'armée et la police- et nos deux collègues Johanna et Ben ont même participé à une opération de police en réalité virtuelle.

Mais comme je l'ai dit, la percée dans les autres domaines va finir fini par suivre, et je pense que la vidéo VR est désormais imminente.