RA & Marqueurs

Commençons par un des cas les plus fréquemment rencontrés: l’image marqueur.

C’est une des options les plus accessibles et faciles à mettre en oeuvre via Vuforia: transformer une image donnée en un ensemble de points reconnaissable par l’application de RA.

Elle permet assez souvent d’apporter du complément d’information à un support préexistant (journal, magazine, livre).

Cette configuration est un manière intéressante d’apporter un complément à un produit sans rien perdre de son intérêt original. Cependant, la réalité augmenté est alors utilisée en agrément car elle présuppose que l’utilisateur possède déjà l’objet-marqueur.

J’ai rencontré ce cas de figure lorsque j’ai travaillé sur une application compagnon pour le livre “Téo et Léonie” publié par la société suisse Kenzan. Certaines pages du livre pouvaient être scannées via l’application et apparaissent en version pop-up avec bruitages et effets spéciaux.

Basée sur la même technologie, il s’agit cette fois d’utiliser uniquement une portion d’une image plus grande comme marqueur. Ainsi, la nature exacte du marqueur est invisible pour l’utilisateur.

J’ai utilisé cette technique pour le Brooniscope lors de la deuxième édition de “I Love Transmedia” (aujourd’hui Newimages Festival) à Paris. Le format événementiel m’avait permis d’imprimer deux grands dessus de tables dans lesquels étaient cachés des marqueurs.

Les visiteurs du salon pouvaient alors s’amuser à chercher le personnage cachés dans le décor à l’aide d’une tablette sur lesquelles tournaient le Brooniscope. Ce dernier apparaissaient quand les utilisateurs pointaient un des marqueurs dissimulés dans ces grands dessins.

Le problèmes des deux solutions précédentes : l’utilisateur doit toujours avoir le marqueur sur lui ou à proximité pour utiliser l’application. Or ce cadre très contraignant peut vite devenir rédhibitoire si tout l’intérêt de l’application repose sur la possibilitée de l’utiliser n’importe quand et n’importe où.

Cela a été la première contrainte posée lors de la création de Storyfab, ce petit studio de film en RA créé à Spooklight Studio: il fallait que les utilisateurs puissent créer leurs films dès que l’inspiration venait et quel qu’en soit le décor.

Pour pallier à ce problème, nous avons utilisé une autre technologie de Vuforia, le Custom Marker, qui permet à l’utilisateur de prendre lui-même une photo de l’image qu’il souhaite utiliser comme marqueur. L’application testait ensuite si le marqueur choisi offrait un tracking suffisamment stable, sans quoi l’utilisateur était prié de choisir autre chose.

Cependant, la souplesse cette technique a un inconvénient majeur: Trouver le marqueur idéal n’est pas aisé.

Certains marqueurs, bien que fonctionnels ne sont pas optimaux et causent des vibrations lors du tracking des scènes. Si ces artefacts ne sont pas très graves lors de la phase d’édition, la moindre saute peut par contre nuire grandement à la qualité du film lors de la phase de “tournage”.

A contrario, un marqueur efficace (par exemple une couverture de magazine) peut se révéler assez disgracieux au milieu d’un décor de film…

Le meilleur compromis que nous ayons trouvé était de fabriquer nous-même nos marqueurs pour s’assurer qu’ils assuraient un tracking de qualité tout en était esthétiquement intéressants, le tout sans que l’application connaisse le marqueur à l’avance.

Cette technique est idéal pour utiliser l’application dans un environnement contrôlé. Par exemple lors de la réalisation d’un film sur une longue période ou lors d’événements, comme lors de ce salon de l’EPFL où nous présentions Storyfab pour la première fois au grand public (vidéo ci-contre).

Ces contraintes ont pu être palliées sur Kouji, le produit développé par Spooklight à la suite de Storyfab.

Grâce à l’utilisation dès sa sortie d’ARKit d’apple, nous avons pu placer nos personnages dans l’espace grâce à une reconnaissance de plan seamless. Fini les marqueurs: ARKit et son équivalent sur android ARCore analysent les différents points d’intérêts de l’environnement et en déduisent via les mouvements de la caméra et la parallaxe la distance réelle qui les sépare !

Cette technologie, qui dès lors permet un tracking de qualité dans grand nombre de cas est pour l’heure la solution la plus aboutie sur téléphones et tablettes. Elle sera peut-être amenée à s’améliorer via les réseaux de neurones et les analyses poussés d’images. Mais, pour le moment, une qualité de reconnaissance de l’environnement supérieure ne se rencontre que sur des appareils de Mixed Reality spécialisés.

C’est notamment le cas des lunettes Magic Leap, avec lesquelles nous avons pas mal expérimentés à Spooklight Studio.

Le mélange de différentes sources de données optiques (flux vidéo et rebonds infrarouge) et mécanique (position et orientation du casque dans l’espace) permet cette fois ci de fournir une approximation 3D de l’environnement entourant l’utilisateur.

Cette précision offre tout un nouvel horizon d’interaction: Proximité avec l’utilisateur, occlusion des éléments virtuels par le décor, analyse de la lumière, positionnement plus précis des objets dans l’espace virtuels etc.

Sans cette précision nos prototypes réalisés avec le Magic Leap et l’Hololens n’auraient simplement pas été possibles.

Ci-contre quelques prototypes réalisés au sein de Spooklight Studios :