Des écrans tactiles précis grâce à l'IA

Nous connaissons probablement tous cette situation: si vous voulez taper rapidement un message sur votre smartphone, il vous arrive de toucher les mauvaises lettres sur le petit clavier - ou sur d'autres boutons de saisie dans une application. Mais nous ne sommes pas les seuls concerné·es. Les capteurs tactiles, qui détectent la saisie du doigt sur l'écran tactile, n'ont pas beaucoup changé depuis leur apparition sur les téléphones mobiles au milieu des années 2000.

En revanche, les écrans des smartphones et des tablettes offrent aujourd'hui une qualité visuelle sans précédent, qui se manifeste encore davantage avec chaque nouvelle génération d'appareils: fidélité accrue des couleurs, résolution plus élevée, contraste plus net. Un iPhone de dernière génération, par exemple, a une résolution d'affichage de 2532x1170 pixels. Mais le capteur tactile qu'il intègre ne peut détecter une saisie qu'avec une résolution d'environ 32x15 pixels - soit près de 80 fois moins que la résolution de l'écran: «Et nous voilà à nous demander pourquoi nous faisons tant de fautes de frappe sur le petit clavier ? Nous pensons que nous devrions être en mesure de sélectionner des objets avec une précision au pixel près grâce au toucher, mais ce n'est certainement pas le cas», déclare Christian Holz, professeur d'informatique à l'ETH Zurich, membre du Sensing, Interaction & Perception Lab (SIPLAB), dans une interview pour la série «Spotlights» du département des sciences informatiques.

Avec son doctorant Paul Streli, Christian Holz a maintenant mis au point une intelligence artificielle (IA) appelée «CapContact», qui confère aux écrans tactiles une super-résolution leur permettant de détecter de manière fiable quand et où les doigts touchent réellement la surface de l'écran, avec une précision bien supérieure à celle des appareils actuels. Cette semaine, ils ont présenté leur nouvelle solution d'IA à ACM CHI 2021, la première conférence sur les facteurs humains dans les systèmes informatiques.

Reconnaissance de l'endroit où les doigts touchent l'écran

Les chercheurs de l'ETH Zurich ont développé l'IA pour les écrans tactiles capacitifs, qui sont les types d'écrans tactiles utilisés dans tous nos téléphones mobiles, tablettes et ordinateurs portables. Le capteur détecte la position des doigts par le fait que le champ électrique entre les lignes du capteur change en fonction de la proximité d'un doigt lorsqu'il touche la surface de l'écran. Étant donné que la détection capacitive capte intrinsèquement cette proximité, elle ne peut pas réellement détecter un véritable contact - qui est toutefois suffisant pour l'interaction, car l'intensité d'un toucher mesuré diminue de manière exponentielle avec la distance croissante des doigts.

La détection capacitive n'a jamais été conçue pour déduire avec une précision extrême l'endroit où un toucher se produit réellement sur l'écran, explique Christian Holz : «Elle ne détecte que la proximité de nos doigts». Les écrans tactiles des appareils actuels interpolent donc l'endroit où la saisie est effectuée avec le doigt à partir de mesures de proximité grossières. Dans leur projet, les chercheurs ont cherché à combler les deux lacunes de ces capteurs omniprésents: D'une part, ils ont dû augmenter la faible résolution actuelle des capteurs et, d'autre part, ils ont dû trouver comment déduire précisément la surface de contact respective entre le doigt et la surface de l'écran à partir des mesures capacitives.

Par conséquent, «CapContact», la nouvelle méthode développée par Paul Streli et Christian Holz à cette fin, combine deux approches: D'une part, ils utilisent les écrans tactiles comme des capteurs d'image. Selon Christian Holz, un écran tactile est essentiellement une caméra de profondeur à très basse résolution qui peut voir à environ huit millimètres de distance. Une caméra de profondeur ne capture pas d'images en couleur, mais enregistre une image de la proximité des objets. En revanche, «CapContact» exploite cette vision pour détecter avec précision les zones de contact entre les doigts et les surfaces grâce à un nouvel algorithme d'apprentissage profond développé par les chercheurs.

«Premièrement, «CapContact» estime les zones de contact réelles entre les doigts et les écrans tactiles au moment du toucher, explique Christian Holz. Deuxièmement, il génère ces zones de contact avec une résolution huit fois supérieure à celle des capteurs tactiles actuels, ce qui permet à nos dispositifs tactiles de détecter le toucher avec beaucoup plus de précision.»

Pour entraîner l'IA, les chercheurs ont construit un appareil personnalisé qui enregistre les intensités capacitives, c'est-à-dire les types de mesures que nos téléphones et tablettes enregistrent, ainsi que les véritables cartes de contact grâce à un capteur de pression optique haute résolution. En capturant une multitude de touchers de plusieurs participant·es au test, les chercheurs ont obtenu un ensemble de données d'entraînement, à partir duquel «CapContact» a appris à prédire les zones de contact en super-résolution à partir des données grossières et à faible résolution des capteurs des dispositifs tactiles actuels.

La faible résolution de l'écran tactile comme source d'erreur

«Dans notre article, nous montrons qu'à partir de la zone de contact entre votre doigt et l'écran d'un smartphone, telle qu'estimée par «CapContact», nous pouvons déduire les emplacements des entrées tactiles avec une plus grande précision que ne le font les appareils actuels», ajoute Paul Streli. Les chercheurs ont montré qu'un tiers des erreurs sur les appareils actuels sont dues à la faible résolution de la détection des entrées. «CapContact» peut éliminer ces erreurs grâce à la nouvelle approche d'apprentissage profond des chercheurs.

Les chercheurs démontrent également que «CapContact» distingue de manière fiable les surfaces tactiles, même lorsque les doigts touchent l'écran de manière très rapprochée. C'est le cas, par exemple, du geste du pincement, lorsque vous déplacez votre pouce et votre index sur un écran pour agrandir des textes ou des images. Les appareils actuels peuvent difficilement distinguer des touchers adjacents proches.

Les résultats de leur projet remettent désormais en question la norme industrielle actuelle des écrans tactiles. Dans une autre expérience, les chercheurs ont utilisé un capteur de résolution encore plus faible que ceux installés dans nos téléphones portables actuels. Néanmoins, «CapContact» a mieux détecté les touchers et a été capable de déduire les emplacements de saisie avec une plus grande précision que les appareils actuels à la résolution normale. Cela indique que la solution d'IA des chercheurs pourrait ouvrir la voie à une nouvelle détection tactile dans les futurs téléphones mobiles et tablettes, qui fonctionnerait de manière plus fiable et plus précise, tout en étant moins encombrante et moins complexe en termes de fabrication de capteurs.

Pour permettre à d'autres de s'appuyer sur leurs résultats, les chercheurs publient leur modèle d'apprentissage profond, leur code et leur ensemble de données sur leur page de projet.