Initiation à la DataViz en Réalité Augmentée
Cet article aborde un angle expérimental de la DataViz : l’utilisation des technologies de Réalité Augmentée (RA). Il ne s’agit pas d’une nouvelle technologie, mais les avancées en matière de puissance de calcul couplée à la miniaturisation des équipements contribuent à un réel regain d’intérêt pour ces outils. À date, les secteurs les plus avancés sont l’industrie sur des cas d’usages de maintenance et la santé pour assister les chirurgiens.
Introduction
Le terme « Réalité Augmentée » fut inventé en 1990 par le chercheur Tom Caudell employé de la firme Boeing. Avec l’aide de son collègue David Mizell, ils inventent un procédé d’aide à l’exécution des tâches de maintenances grâce à un affichage tête haute (en anglais Head Up Display, acronyme HUD) [1]. Celui-ci se place sur la tête des techniciens afin de pouvoir superposer les schémas techniques virtuels sur la vision réelle via un dispositif optique. Pour un panorama plus détaillé des origines du concept je vous invite à vous reporter à l’étude [2].
A mon sens, la meilleure définition de la RA est celle énoncée par Philippe Fuchs et Guillaume Moreau :
La réalité augmentée regroupe l’ensemble des techniques permettant d’associer un monde réel avec un monde virtuel, spécialement en utilisant l’intégration d’images réelles (IR) avec des entités virtuelles (EV) : images de synthèse, objets virtuels, textes, symboles, schémas, graphiques, … D’autres types d’associations entre mondes réels et virtuels sont possibles par le son ou le retour d’effort. [3].
La RA est le premier niveau d’immersion de l’utilisateur dans un monde virtuel d’après la notion du « continuum virtuel / réel » imaginée en 1994 par Paul Milgram. Pour résumer, la RA est une Interface Homme-Machine (IHM).
Pour interagir avec l’utilisateur, la RA repose sur la notion de « déclencheurs ». Ces derniers sont plus ou moins évolués, avec ou sans marqueurs. En l’absence de ces derniers, c’est par l’intermédiaire de coordonnées de géolocalisation – système de positionnement en extérieur / intérieur : Global Positioning System (GPS), Wifi, Bluetooth, Ultra WideBand (UWB), Internet Protocole (IP), … – stockées dans un Système d’Information (SI) que les interactions avec l’utilisateur sont rendues possibles.
Principe de fonctionnement de la RA
Concepts généraux
L’algorithme d’un système de RA peut être résumé en six étapes :
- Recherche du/des déclencheur(s) à l’aide de différents capteurs : photographique, géolocalisation, accéléromètre, gyroscope, …
- Détection et calcul de la direction et/ou position du déclencheur par rapport à l’utilisateur : orientation du capteur photographique qui filme les images de la scène réelle en 2D, coordonnées GPS, …
- Identification du déclencheur : marqueur, visage, coordonnées GPS, …
- Détermination de(s) élément(s) virtuel(s) à superposer au(x) déclencheur(s) ou à incruster dans la scène réelle : pictogramme, vidéo, élément HTML, …
- Calcul de l’orientation ainsi que les coordonnées dans le plan des éléments virtuels. Selon l’orientation de la caméra de l’utilisateur, il peut être nécessaire de déformer les éléments.
- Composition de l’image finale à partir de l’image de la scène réelle capturée par le capteur photographique ainsi que le(s) élément(s) virtuel(s) généré(s).
Actuellement, une partie de ces étapes peuvent être abstraites via l’emploi de Software Development Kit (SDK) open source ou logiciel propriétaire tel ARToolKit, Layar, D’Fusion, Vuforia, …
Les prérequis de la RA
Les déclencheurs
Les déclencheurs sont classifiés en deux grandes familles : avec ou sans marqueur.
Avec marqueur, également appelé tag ou pattern
Cette catégorie regroupe l’ensemble des moyens qu’utilise un système de RA pour identifier les objets de la scène réelle avec lesquels il doit interagir : superposer un objet virtuel sur un marqueur de la scène réelle, substituer un objet de la scène réelle par un objet virtuel [4], … Ils sont au nombre de trois :
- Le tag fiduciaire : il s’agit du plus connu, celui-ci peut être assimilé à un QR Code, composé d’un motif géométrique abstrait en noir et blanc.
- Le tag graphique : Il s’agit d’un marqueur fiduciaire auquel le motif géométrique abstrait est remplacé par un logo, un texte, un symbole, … Celui-ci est délimité par un contour noir.
- Le tag objet ou tag naturel : Il s’agit d’un marqueur intelligent qui analyse les images de la scène réelle pour identifier les zones interactives. L’utilisation de différents descripteurs d’images permet de détecter des visages, des lieux, des objets, … Le projet SixthSense14 repose sur l’utilisation d’amer pour détecter les actions de l’utilisateur.
Afin d’offrir une expérience utilisateur réaliste, le système doit tenir compte de l’orientation, de l’emplacement, ainsi que du déplacement du marqueur par rapport à la caméra de l’utilisateur. Il est possible de mixer l’utilisation des différents types de marqueurs.
Ce type de capteurs comporte cependant deux contraintes majeures. Tout d’abord, ils doivent être intégrés et présents dans la scène réelle capturée pendant toute la durée de l’interaction avec l’utilisateur. De plus, ceux-ci doivent être suffisamment proches de l’utilisateur pour que le système parvienne à identifier les différents tags. En cas de perte de vue ou de non détection d’un marqueur, l’objet virtuel n’apparaît pas.
Sans marqueur : le géopositionnement
Le système de RA utilise les coordonnées de géolocalisation comme déclencheur couplé à un ou plusieurs capteur(s) inertiel(s) afin de déterminer l’orientation de l’appareil. Comme précédemment, ce procédé n’est pas exempt de défaut. En fonction de la nature du projet, la précision du signal GPS d’une dizaine de mètres peut s’avérer insuffisante. De plus, celui-ci est inutilisable dans les zones couvertes ou requiert l’exploitation d’un système de positionnement d’intérieur : Wifi, Near Field Communication (NFC), Bluetooth, UWB, …
Une batterie de capteurs
Les mesures prises en temps réel nécessitent la présence de capteurs que l’on peut regrouper en deux classes : les extéroceptifs et les proprioceptifs.
La performance d’un système de RA requiert que l’ensemble des capteurs utilisés soit correctement calibré. Pour d’avantage d’information, je vous invite à consulter la thèse de Gaël Sourimant [5] qui consacre la majeur partie du chapitre 3 au calibrage de la caméra.
Capteurs extéroceptifs
Ces capteurs, qu’ils soient actifs (capteurs infrarouges, télémètre laser, radar, capteurs ultra-son, …) ou passifs (capteur photographique, microphone, GPS, …), renseignent le système de RA sur l’environnement externe (monde réel).
Les capteurs de vision (Charge-Coupled Device (CCD), Complementarity Metal-Oxide-Semiconductor (CMOS), …), outre la capture des scènes du monde réel, sont souvent utilisés pour la reconnaissance de signature visuelle. L’utilisation des capteurs de géopositionnement comme le GPS permet de déterminer grossièrement l’emplacement des POI. Ceci contribue à restreindre le périmètre de recherche lors de l’utilisation des descripteurs d’images capturées à l’aide du capteur photographique : en plus des notions de couleur, texte ou forme est ajoutée une information de géolocalisation.
Capteurs proprioceptifs
Ce type de capteurs se charge d’analyser et de décrire l’environnement local. Ils sont généralement internes au système de RA et fournissent des renseignements sur l’état du système. Les smartphones et tablettes sont composés d’un grand nombre de capteurs inertiels desquels on peut citer : l’accéléromètre, le gyroscope, la boussole.
Le gyroscope permet de prendre en compte les mouvements de la caméra souhaités ou non : déplacement, tremblements, … La boussole permet quant à elle d’affiner la précision du calcul de position réalisé grâce au GPS.
Les moyens de visualisation
La RA peut être transmise à l’utilisateur par l’intermédiaire :
- D’un écran standard : smartphone, tablette, moniteur, télévision, …
- D’un écran transparent : tablette transparente, TV transparente, lunette (Google Glass, HoloLens), HUD (par brise de voiture, casque de pilote d’avion de chasse), …
- D’un visiocasque : Head-Mounted Display (HMD) comme l’Oculus rift, Google Cardboard, …
État de l’art
Application technique
La démocratisation des smartphones et tablettes au cours de ces 10 dernières années a fortement contribué au développement des solutions RA étant donné que ces périphériques possèdent tous les prérequis à l’utilisation de ces technologies : nombreux capteurs intégrés (photographique, géolocalisation, mouvement, …), puissance de calcul comparable à un ordinateur pour les modèles hauts de gamme, connexion Internet permanente mais surtout ils sont déjà utilisés quotidiennement par un très grand nombre d’utilisateurs. En 2015, un français sur deux possède un smartphone. De plus, les coûts de ces technologies ne cessent de baisser. Les domaines d’application tendent à s’élargir, à date, les principaux secteurs sont :
- Construction / Bâtiment Travaux Publics (BTP) / Architecture :
- Présentation virtuelle 3D sur terrain réel d’un projet immobilier comme en témoigne, Michel Gautier, maire de Betton (solution développée par Artefacto)
- Aide à la décision dans le cadre de travaux urbains : superposition d’images virtuelles de canalisation ou câblage sur une surface réelle (mur, sol, …) [6]
- Industrie :
- Aide à la réalisation des tâches industrielles : conception, production, assemblage, maintenance, formation, … illustrées par les solutions AugmentedPro Maintenance et AugmentedPro Production mises au point par la société française Robocortex.
- Tourisme :
- Guide touristique virtuel : musées, monuments / lieux, … tel que l’explique Emmanuel Mahé, auteur du projet de réalité augmen