COMPAS - vulgarisation scientifiqueDe nos jours, les écrans de grande taille (plus de 50cm) deviennent de plus en plus courants. Avec l’arrivée des écrans plats, offrant un encombrement réduit et une surface d’affichage toujours plus grande, nous nous sommes habitués à une représentation du monde de plus en plus vaste et détaillée. Un des moteurs de cette évolution est l’amélioration des systèmes de capture d’image, qui augmentent en définition. Les films en haute définition ou les appareils photographiques, dont le capteur comporte plusieurs millions pixels (le pixel est une unité de surface permettant de mesurer une image numérique), nécessitent pour en tirer pleinement profit de grandes surfaces d’affichage.
Il en va de même pour les outils des scientifiques. Les capteurs des microscopes ou des télescopes ont beaucoup évolué au cours des années 2000, provoquant une forte augmentation de la quantité de données capturées. Les images numériques deviennent donc de plus en plus complexes. La résolution native limitée d’un écran d’ordinateur classique ne permet d’afficher de manière détaillée qu’une partie de l’image d’origine, la vue globale entrainant une perte d’information. Les chercheurs, lors de l’analyse de leurs données, sont donc confrontés à un problème de visualisation . Une solution pourrait être un système multi-échelle, permettant l’affichage de l’image en entier tout en conservant ses détails.
Une plateforme de visualisation scientifique :
Débuté en 2008, le projet WILD (Wall-sized Interaction with Large Datasets, interaction à l’échelle d’un mur avec de grands jeux de données), mené au sein de l’équipe « In-Situ » du Laboratoire de Recherche en Informatique, a pour but de développer un mur d’image interactif au service des scientifiques. Ce projet met à la disposition des équipes de recherche de différents domaines un outil qui serait trop lourd en terme de coût humain et financier pour être utilisé au sein d’un seul laboratoire.
- Image de la Terre affichée sur les écrans de WILD
- © Michel Beaudouin-Lafon, LRI
Physiquement, le mur est organisé en quatre panels sur roulettes, permettant d’articuler et d’incliner l’écran. Il est composé de 32 écrans d’ordinateur de 30 pouces (environ 76cm de diagonale). La résolution totale du mur, qui correspond au nombre de pixels en longueur et en largeur, est de 20480x6400 pixels. La taille totale du mur est de 5,5m de longueur par 1,8m de hauteur. Un cluster (groupe d’ordinateurs) de 16 ordinateurs est utilisé pour gérer l’affichage de l’image sur les écrans.
Voir plus grand, plus finement.
L’objectif premier du mur est de permettre l’affichage d’une importante quantité de données en une seule fois. Le premier exemple présenté est une prise de vue du Soleil par le télescope spatial SOHO. Même lorsque le soleil apparaît en entier, on peut voir des détails (par exemple les éruptions solaires) qui ne sont pas visibles sur un écran d’ordinateur classique.
- astrophysiciens observant une carte du ciel affichée sur WILD
- © Phototheque CNRS - Cyril Fresillon.
Mais parfois, une vue d’ensemble ne suffit pas à interpréter les informations d’une image. Il s’avère alors nécessaire de conserver la possibilité de zoomer facilement sur une zone d’intérêt. L’utilisation du mur révèle par exemple tout son intérêt lors de l’affichage d’une carte du ciel. Une image capturée par un télescope contenant deux degrés du ciel comporte en effet des milliers de galaxies sous forme de points lumineux, amassés en groupes d’importance et de concentration différentes. Le zoom permis par le logiciel dirigeant le mur offre alors la possibilité de se focaliser sur une galaxie, permettant ainsi d’en étudier par exemple l’intensité et le spectre lumineux.
- Affichage d’une très grosse molécule sur les écrans de WILD
- © E. Pietriga, INRIA
Outre le fait de pouvoir afficher un grand nombre de données simultanément, le mur en offre aux chercheurs une vue différente. Ainsi, une molécule chimique très complexe (une protéine, de l’ADN…), composée de centaines d’atomes, est classiquement représentée sous forme de ruban, sa structure fine étant trop complexe pour être observée sur une large échelle. L’affichage de la même molécule sur le mur permet non seulement de conserver la forme globale, mais également de représenter les interactions atomiques, très importantes pour mieux comprendre sa structure.
Les murs d’image de très grande taille représentent une voie de recherche en plein développement. La NASA (l’administration nationale de l’aéronautique et de l’espace américaine) détient le record de la plus grande taille avec un mur nommé HyperWall 2 composé de 128 écrans. D’autres murs sont basés sur la technique de rétroprojection de l’image. Cette technologie présente un défaut : la résolution de l’image est alors limitée à celle du projecteur utilisé (l’image d’un projecteur haute définition a une résolution de 1920 par 1080 pixels. On peut l’améliorer en utilisant plusieurs projecteurs mais sans atteindre la résolution de WILD). La résolution native d’un seul des 32 écrans composant le mur du LRI est de 2 560 par 1 600 pixels, portant la résolution totale du mur à 20480x6400 pixels.
Le mur du projet WILD offre une image plus résolue, offrant plus de détails pour une même surface physique comparée à des projecteurs. Un exemple concret nous est présenté sous la forme des pages d’un article scientifique. Si avec la résolution du mur WILD nous sommes capables de lire même les plus petits caractères d’imprimerie, l’affichage des pages à la résolution d’un projecteur ne permet pas de lire le texte.
Interaction avec le mur
Outre l’affichage précis et détaillé des données scientifiques, le projet WILD représente également un effort de recherche sur les moyens de mieux interagir avec elles. En effet, au sein de la majorité des laboratoires, les données sont étudiées par chaque scientifique indépendamment sur son ordinateur. Or, le travail serait plus efficace et plus fructueux si plusieurs chercheurs pouvaient réfléchir de manière collaborative sur un jeu de données. La très grande taille de l’image et la pièce dédiée au dispositif offrent ainsi la possibilité de se réunir à plusieurs pour étudier l’image. Néanmoins, plus l’image est grande, plus il devient difficile de naviguer en son sein, en particulier à plusieurs. Ce problème devient évident lorsque l’image occupe un pan de mur entier !
Pour répondre à ce problème, il est nécessaire de créer une interface permettant d’interagir avec le mur, de manière plus facile et naturelle. Les chercheurs du projet WILD s’intéressent aux interactions entre l’homme et la machine. Les participants ont pu "jouer" avec une une table « multitouch » : cette table contient un ordinateur et dispose en guise de plateau d’un écran tactile. Celui-ci permet d’interagir avec le système d’exploitation, comme on le ferait avec un clavier et une souris. Appelée « Surface » par la société Microsoft, ce type de table permet d’agir via des gestes naturels sur du contenu digital, comme des photographies ou des vidéos. Pour se déplacer d’une photographie à l’autre, il suffit d’effectuer un balayage de gauche à droite de l’écran, comme si l’on tournait une vraie page. Un zoom est effectué en écartant les doigts posés sur l’écran. Comme nous avons pu le tester, ce type de table représente un véritable lieu de rencontre qui favorise les interactions avec les données et entre les personnes. C’est une caméra, équipée d’un système de reconnaissance d’image dans l’infrarouge qui permet à la table de reconnaître des objets comme des doigts.
Les chercheurs du projet WILD ont appliqué ces principes à l’échelle du mur via la mise en place d’un système d’interaction basé sur la reconnaissance de mouvements. Le suivi des gestes de l’observateur est effectué par dix caméras détectant la lumière dans le proche infrarouge. Les objets permettant de naviguer au sein de l’image sont identifiés à l’aide de boules reflechissant cette lumière. La captation par les caméras du déplacement dans l’espace de ces boules permet de restituer ce mouvement dans le système, qui le traduit en actions à réaliser sur l’image. En collant ces boules sur des objets comme un pointeur ou une télécommande, on les transforme ainsi en outil de navigation au sein de l’image, comme la souris pour nos ordinateurs personnels. La précision de la captation est de l’ordre du demi millimètre, avec un relevé de la position de la boule toutes les 30 millisecondes. Le développement de logiciels tirant parti de la reconnaissance de la position de ces objets permet de se passer de clavier et de souris pour gérer le mur d’images.
L’équipe de recherche s’interroge toujours sur les méthodes offrant le plus de facilité et de naturel dans l’interaction avec le mur. Certaines techniques sont très esthétiques, comme celle utilisée par John Anderton (campé par Tom Cruise) dans le film Minority Report. Différents gestes de la main permettaient au personnage de naviguer au sein d’une séquence vidéo : un balayage de la droite vers la gauche pour revenir en arrière, ou un demi cercle pour zoomer. Mais après différents essais, il s’avère que ces actions sont difficilement applicables dans la réalité, car elles sont peu précises et trop fatigantes à long terme. Des solutions alternatives sont actuellement explorées, avec en particulier l’utilisation d’une télécommande pour le zoom, le geste étant réservé au pointage de la zone d’intérêt.
L’interaction avec le mur, outre le regard nouveau qu’elle permet d’apporter sur les données, étend également les capacités d’utilisation. En offrant une méthode simple pour zoomer et se déplacer, il devient par exemple possible de travailler sur des images dont la taille en pixels excède celle du mur. Cette caractéristique nous est présentée via l’affichage d’une photographie très haute résolution (26 gigapixels) des toits de Paris. L’image, assemblage de 2346 clichés pris du sommet de la tour Saint Sulpice, mesure 350000 pixels de large (à comparer aux 20000 du mur). Cette image peut néanmoins être affichée en entier sur le mur sans trop de perte d’informations, mais surtout, il est très aisé de repérer une zone d’intérêt au sein du cliché et de zoomer sur celle-ci. Il devient alors possible de découvrir quelques petits secrets, comme un pistolet reposant sur le toit d’un immeuble !
- Comparaison d’IRM de cerveaux au moyen de la plateforme WILD
- © Phototheque CNRS - Cyril Fresillon.
Les futures applications du mur devront toujours mieux prendre en compte les besoins des chercheurs. Le laboratoire s’implique ainsi dans la mise en place d’une utilisation pluridisciplinaire du mur, avec des collaborations au sein de domaines scientifiques variés comme la chimie, les mathématiques, la neuroimagerie ou l’astrophysique. Dans ces deux derniers domaines, le mur permet par exemple de comparer des IRM de différents cerveaux en pointant une zone d’intérêt sur une maquette et en la visualisant sur tous les clichés en même temps ou bien un astrophysicien peut venir observer une image prise par le satellite Planck et y chercher avec ses propres yeux des structures inconnues qu’un programme d’analyse des données, non prévu pour cela, ne trouvera pas !
En s’appuyant sur de véritables jeux de données et les acteurs scientifiques qui les utilisent, le mur du projet WILD représente une plateforme multidisciplinaire, dont l’évolution portera sur une plus grande ergonomie et une meilleure adaptation au contexte de la recherche ciblée.
