Dans ce billet regardons de plus près le workflow image mis en place sur le film 360° « La Vie à Venir ».
Tournage
« La Vie à Venir » est une expérience immersive vu à travers les yeux d’un prématuré. Nous allons découvrir ses parents, son environnement et le personnel médical qui l’entourent. Pour ce projet tourné avec des comédiens, nous avons cherché un système de tournage compact, de mise en oeuvre simple et qui permettait d’avoir un retour vidéo à 360° en direct. La caméra OZO de Nokia est celle qui répondait le mieux à ces critères et assurait un niveau de qualité élevé. En effet ce système de prise de vue est complètement intégré et contrairement à d’autres systèmes, il n’y a pas toute une ribambelle de câbles à brancher en tout sens et qui peuve nt rendre la mise en place lourde. La OZO offre également un retour vidéo sur casque Oculus en direct. Cet élément est important afin de régler le jeu des comédiens en relation avec un système de prise de vue en 360° où le réalisateur ne peut être sur le plateau. Ainsi le réalisateur et toute l’équipe technique se trouvait déporté dans la pièce d’à côté, hors du champ de prise de vue et suivaient le jeu au travers du système de monitoring de l’OZO à plat sur un écran d’ordinateur et au travers d’un casque Oculus.
Post-production image
Préstitch – montage
Un élément à prendre en compte lors du montage VR est le support de diffusion. Les vidéos que nous produisons vont être visionnées sur plateforme internet de type Facebook ou Youtube, dans ce cas les vidéos sont vues à plat. Elles seront également vues dans des casques de type Oculus ou GearVR. Le workflow que nous avons mis en place nous permet de vérifier chaque étape de notre travail sur les deux types de support aussi bien dans Nuke Studio que dans Premiere Pro. Cet aspect est très important aussi bien pour le stitch que pour le montage.
La OZO enregistre les flux des 8 capteurs en 2K x 2K dans un format propriétaire le OZOraw qui est exploitable dans la suite logicielle fournie avec la caméra. À partir de cette suite logicielle, il est possible de sortir directement des plans préstitchés et des plans stitchés en revanche les temps de rendu sont relativement important. L’autre option est d’exporter séparément les flux de chaque caméra. Afin de garder le maximum d’information tout au long de la post-production nous avons sorti ces 8 flux au format OpenDNG. En plus des 8 flux vidéos la caméra OZO génère un fichier de metadonnées qui contient toutes les informations à propos de la caméra : position des caméras dans l’espace, focales et distortions des objectifs. Ces métadonnées sont exploitables directement dans Nuke. Grâce à ces métadonnées nous avons pu sortir très rapidement de Nuke des plans préstitchés de qualité suffisante pour le montage. En effet ces métadonnées permettent à Nuke de recréer directement le rig correspondant aux 8 flux. Les plans sélectionnés via la script ont été exportés de Nuke en séquence d’images Jpeg en 1/2 résolution (2K) afin de limiter les temps de rendu et l’espace disque nécessaire à ces exports.
A partir des fichiers proxy/préstitch le montage se déroule dans Premiere Pro de manière habituelle en utilisant les outils dédiés à la 360°.
Une fois le montage validé, la timeline de Premiere est importée directement dans Nuke Studio via un fichier xml, cela simplifie la gestion et la manipulation des différents scripts Nuke. Dans Nuke Studio, un simple clic sur un plan de la timeline crée un script préconfiguré avec tous les réglages de rendu, de point d’entrée et de sortie, etc. Les rendus des scripts sont directement visualisables sur la timeline. Dans un souci de qualité maximale tous les rendus finaux seront effectués en DPX 4K equirectangulaire (4096×2048). Lorsque l’on commence à gérer un nombre important de plans, cette automatisation est très appréciable et évite nombreuses manipulations de reconformation. Elle simplifie également la gestion des dossiers de fichiers de scripts et des rendus liés puisque Nuke Studio s’en charge de manière transparente.
Stitch
En ce qui concerne le stitch, nous sommes partis de la base générée par les métadonnées de la OZO, puis nous avons ajusté certains paramètres afin d’optimiser les réglages pour chaque plan. La suite CaraVR dans Nuke permet de corriger les problèmes de parallaxes inhérents aux tournages à plusieurs caméras. Sur le projet « La Vie à Venir » les parallaxes sont très importants du fait du dispositif de tournage. En effet l’étagement des différents plans va de 0 à 8 m alors que selon les caméras on conseille souvent un minimum de 1m à 1m50 de distance minimum de tournage. Dans notre cas la caméra OZO est posée sur un lit à la position d’un bébé prématuré, les acteurs vont s’en approcher à moins d’un mètre, différents éléments du décor se trouvent entre 50 cm pour la table de chevet et 8 mètres pour le couloir d’où arrivent parents et personnel médical. Le travail de stitch constitue à guider les outils de CaraVR vers les endroits où les parallaxes sont le mieux corrigés par un travail de rotoscopie qui exclue les parties aux parallaxes trop importants. Le grand champ couvert par les optiques de la caméra OZO nous a bien aidé car les zones de recouvrement entre deux « yeux » étaient relativement large ce qui a laissé une grande latitude de choix lors du stitch. Une fois ce premier travail de stitch effectué, nous ajustons certaines partie de l’image grâce aux outils de déformation pour assembler au mieux les zones de « couture » entre les images. Certaines parties de l’image sont ensuite nettoyées par un travail de matte painting pour effacer ou corriger certains éléments comme le support de la caméra.
 Image brute une fois les métadonnées chargées |
 Image traitée par le node C_Stitcher de CaraVR |
Étalonnage
L’étalonnage d’une vidéo en 360° est singulier du fait que les bords droit et gauche d’une image sont continus. Donc tant que l’on reste sur une correction globale cela ne pose pas de problème, en revanche dès que l’on souhaite faire le moindre masque il faut veiller à ce que le masque soit continu des deux côtés de l’image. De même la gestion des flous est particulière puisque sur un image équirectangulaire, plusieurs pixels peuvent ne représenter qu’un seul pixel une fois reprojetés dans l’espace virtuel. Les pixels de l’équateur valent pour un pixel alors que au zénith ou au nadir une ligne entière ne va représenter que un seul pixel un fois projetée. Un flou appliqué sur une image équirectangulaire serait incohérent une fois reprojeté dans l’espace virtuel car il ne serait pas régulier. Il faut donc reprojeter l’image avant d’appliquer un flou.
À ce jour parmi les logiciels d’étalonnage seul Assimilate Scratch intègre des fonctions qui gèrent la réalité virtuelle. Toujours dans notre recherche d’efficacité nous avons conduit l’étalonnage à l’intérieur de Nuke Studio car ses outils d’étalonnage sont poussés tout comme la gestion de la 360°. Nous avons à notre disposition des outils qui permettent de repositionner les bords droit et gauches afin de caler les masques de manière continue et lorsque cela est nécessaire, nous pouvons aller chercher un détail de l’image pour le reprojeter dans un espace rectilinéaire et travailler de manière plus classique.
Dans notre projet « La Vie à Venir », la caméra prend la place du nouveau-né. L’histoire se déroule depuis son point de vue, le choix d’étalonnage a été de signifier la vision du bébé qui voit flou et en noir et blanc aux premières heures de sa vie puis va progressivement gagner en netteté et en couleur lors des premières semaines de sa vie. Il a fallu trouver un compromis entre signification et lisibilité de l’image, l’objectif n’était pas non plus de faire un film complètement flou et trop sombre. Parfois l’étalonnage révèle quelques coquilles de stitch, ce workflow intégré permet à tout instant de remonter au stitch pour corriger un détail sans avoir à réexporter l’ensemble d’un plan. Cela ne serait pas le cas dans un workflow utilisant différents logiciels qui se limitent à une des étapes de la post-production.