
Nous vivons dans une ère numérique constamment à la recherche de nouvelles technologies et sommes entourés d’une multitude d’interfaces (électroménager, téléphones portables, ordinateurs, sites web, pda, bornes interactives…). Nous sommes donc adeptes de cet environnement numérique (voir informatique ubiquitaire) et dépendants d’un rapport permanent avec nos objets technologiques.
On peut donc dire qu’on tend vers une utilisation naturelle de ces objets car ils sont aujourd’hui complètement ancrés dans notre quotidien. Cette notion d’utilisation naturelle régit la recherche de nouveaux périphériques et moyens de communication en allant vers la disparition d’un intermédiaire entre l’utilisateur et le périphérique (souris, stylet, boutons physiques…) et donc de la main comme seul périphérique d’entrée apparent.
De nombreux dispositifs et technologies s’orientent vers cette notion d’utilisation naturelle. La plus représentative actuellement est la technologie multitouch qui permet la reconnaissance et l’interprétation de plusieurs points d’entrée. En d’autres mots, la capacité à ne plus interagir qu’avec un seul point (curseur de souris, stylet…) mais avec plusieurs points. Ainsi, il est possible d’utiliser plusieurs doigts de sa main pour interagir avec un dispositif (Grande référence "populaire" : Minority Report). On se rapproche donc bien d’une utilisation naturelle par une communication gestuelle et intuitive. Aussi, la possibilité de plusieurs points d’entrée permet une utilisation collective et collaborative car plusieurs personnes peuvent interagir sur l’écran. D’ailleurs, un projet très intéressant est installé à Helsinki : Citywall.

Il s’agit d’un large écran en centre-ville qui propose à quiconque le souhaite d’ajouter des photos, vidéos et informations sur la ville d’Helsinki. Ainsi, les citadins peuvent venir essayer cette nouvelle technologie et ajouter du contenu s’ils le veulent. Ce projet rejoint une démarche sociale et pédagogique dans le sens où il permet la découverte, l’initiation et l’appréhension de cette nouvelle technologie au grand public… au delà de simples fins technologiques et scientifiques.
Cette technologie s’est aujourd’hui plus largement démocratisée grâce aux sorties successives de l’iPhone et de la table Microsoft Surface.

Par son succès, l’iPhone a su populariser quelques gestes pour des actions telles que le zoom, le scroll (défilement) et le célèbre "slide to unlock" (glisser pour déverrouiller).

Ces gestes peuvent ainsi être considérés comme "acquis" et pourraient définir les débuts d’un "dictionnaire gestuel interactif mondial".

Microsoft Surface, plus connue outre-Atlantique, explore de nouveaux usages et donne sens à l’utilisation de cette nouvelle technologie (en effet, il ne s’agit pas de "pondre" une nouvelle technologie sans lui affecter et révéler des usages cohérents et adéquats…). Ainsi, elle propose la synchronisation et la visualisation du contenu de périphériques mobiles en posant simplement ces objets sur la table.

Par exemple, imaginez-vous poser votre téléphone portable sur cette table et de voir (à l’écran) tous vos médias en sortir. Vous avez donc vos photos, vidéos, musiques, sonneries… que vous pouvez manipuler et faire glisser dans un autre téléphone posé sur cette même table… assez magique et très intuitif ! Plus prospectif, Microsoft montrait dans ses vidéos de présentation l’utilisation de Surface dans un bar ou restaurant : faites votre commande sur la table, consommez et posez votre carte bancaire dessus afin de payer (et pouvoir répartir à plusieurs les frais). Très intéressant mais il faudrait tout de même revoir les normes de cartes bancaires, les lois…

Cette synchronisation (qui, pour moi, donne toute la valeur à ce produit) est déjà utilisée par T-Mobile et AT&T dans leurs magasins afin de poser un modèle de téléphone portable pour voir sa fiche technique, d’en poser plusieurs pour visualiser une comparaison, d’en choisir un et y "glisser" un forfait, des goodies… c’est pas Orange qui nous proposerait (enfin?) des dispositifs (et des services, forfaits, offres, …) aussi intéressants…
De nombreuses expérimentations ont été faites sur des interfaces gestuelles sans contact. Les plus fameuses, incroyables et intéressantes sont, pour ma part, celles de Johnny Lee, récent diplômé de la Carnegie Mellon University.

Il utilise une simple wiimote pour créer de réelles interactions gestuelles telles que le tracking de plusieurs doigts dans l’espace, du "head tracking" afin de capter la position de la tête de l’utilisateur et lui proposer des images en conséquence… très intéressant lorsqu’on sait qu’une wiimote coûte environ 35€ !
Quittons momentanément le monde des dispositifs interactifs et concentrons nous plutôt sur la gestuelle. Nos gestes viennent compléter notre discours oral et nous ne les contrôlons peu (en général, excluons les politiciens…). En effet, dans le même principe que chacun à sa propre façon de parler, on peut dire que chacun à sa propre façon de s’exprimer gestuellement (communication non-verbale) et que chacun développe ses propres gestes. On peut voir cette "personnalité gestuelle" dans l’art avec des mouvements tels que l’expressionnisme abstrait (Jackson Pollock, Franz Kline…) et l’abstraction lyrique (Pierre Soulages, Joan Mitchell, Jean Bazaine…), où l’expression sur la toile se fait par le geste, le mouvement ("action painting").

Jackson Pollock ("Number 31", 1950) - Pierre Soulages ("21 Octobre 1964", 1964)
On remarque donc que la gestuelle est intuitive, on ne la "commande" pas. Ceci permet donc de faire l’analogie entre l’intuition de la communication gestuelle et l’intuition de l’utilisation d’un dispositif par le geste > tendre vers une utilisation naturelle, intuitive.
Arrive alors la question de savoir s’il est possible d’établir un dictionnaire mondial des gestes interactifs ? Ceci semble être aujourd’hui très compliqué voire impossible. En effet, on peut distinguer cinq "piliers" qui compromettent ce projet.
1. Tout d’abord, chaque marque développe ses propres produits et ses propres gestes qui font partie de la proposition d’usage et constituent donc de la valeur ajoutée. Chaque marque a donc plutôt intérêt à proposer des gestes différents pour se démarquer. On peut même voir qu’au sein d’une marque, plusieurs produits peuvent avoir des gestes différents pour une même action (ex : pour faire défiler une page sur un macbook, on peut poser deux doigts sur le trackpad et les faire glisser. Sur l’iPhone/iPod Touch, il suffit de poser un seul doigt et c’est relativement perturbant lorsqu’on passe de l’un à l’autre.).
2. En second lieu intervient le contexte. En effet, le même geste peut être associé à plusieurs actions différentes selon le contexte (ex : faire glisser un doigt sur un iPhone permet de déverrouiller l’appareil, de faire défiler une liste, de faire basculer un "interrupteur" : cocher/décocher, de se déplacer sur une image…).
3. Ensuite, la culture constitue en quelque sorte une barrière : on se rend compte que beaucoup de gestes qui sont ancrés dans notre langage ne le sont absolument pas dans d’autres pays et n’ont aucun sens (voir "Dictionnaire des gestes" de François Caradec) et ainsi, est-ce possible de développer un dictionnaire gestuel international sans créer une nouvelle langue ?
4. On trouve aujourd’hui dans nos périphériques de nombreuses actions abstraites, qui ont été créées par l’informatique et sont purement virtuelles : par exemple le copier-coller. Comment représenter un copier-coller par un geste alors que cette action est totalement impossible avec des objets physiques ? D’ailleurs, ce n’est pas pour rien que l’iPhone ne propose pas cette fonctionnalité !
5. Le dernier point qui est le plus important est l’intuition (indissociable de la gestuelle). C’est le paramètre qu’il faut absolument conserver et qui doit régir toute recherche. Ainsi, il ne faut pas créer de toute pièce un nouveau langage gestuel pour pouvoir interagir avec un dispositif car ce serait complètement opposé à l’intuition et aux raisonnements actuels en matière d’ergonomie et d’accessibilité.
En conclusion, bien que la constitution d’un dictionnaire mondial des gestes interactifs semble impossible, comme le dit Dan Saffer (designer chez Adaptive Path), le designer d’interaction doit absolument se placer en marge des constructeurs sinon ces derniers imposeront leurs propres langages gestuels. De plus, je crois que nous manquons de recul sur ce genre de dispositifs et qu’il faut laisser le temps à certains gestes pour rentrer dans les moeurs (exemple avec l’iPhone qui a démocratisé plusieurs gestes).


#1. PAR Monsieur Alex LE 06/07/08 - 22:39
Bonsoir,
Très bon article !
Je me permet un petit lien vers cet article ressource.
#2. PAR Fubiz LE 08/07/08 - 0:34
Excellent article en effet, félicitations !
#3. PAR Éric Le Tutour LE 08/07/08 - 21:18
Très bon article.
Excellent, l’idée du support multimédia qui reconnaîtrait l’objet multimédia qu’on pose dessus et en “extirperait” visuellement le contenu…
#4. PAR katapulp LE 16/07/08 - 22:42
Bon article, un peu fouilli (action painting by microsoft? :p) mais qui soulève des points intéressants! Je ne sais pas si l’on peut vraiment parler d’ “interfaces naturelles” alors qu’on ne fait que rajouter une couche tactile à un environnement métaphorique, mais c’est un autre débat… A mon sens, s’attacher à réfléchir sur une grammaire gestuelle “universelle” revient néanmoins à tomber dans l’écueil de la technologie. Ce ne sont pas les nouveaux modes d’interactions qui créent la valeur ajoutée mais bien la corrélation entre ces modalités et l’interface utilisateur. Il est donc inutile de comparer des “devices” comme une table tactile et un iPhone puisque la taille de l’écran induit forcément des contextes et usages différents. C’est justement cette réflexion sur les scénarii d’usage (en tenant compte des facteurs de confort d’utilisation induit par la posture et le temps d’utilisation) qui permettra de faire émerger de nouveaux gestes. Si la constitution d’un tel dictionnaire n’a pas de sens aujourd’hui, c’est parce que ces projets sont des “coquilles vides”, dont on vente la révolution technique, et singent plus ou moins des “OS” pensés pour la souris. D’ailleurs, Saffer l’a bien compris, il vend des “patterns” d’interfaces avec son nouveau bouquin puisque personne n’est foutu de créer des applications adaptées! Si certaines interactions se sont démocratisées aussi vite, c’est parce Apple a su recycler intelligemment une gestuelle expérimentée par d’autres, et la poser sur une UI cohérente, ergonomique et bien finie. Et c’est à nous d’en créer des meilleures!