Ouah, tant de spectateurs! Qu’arrive-t-il lorsqu'une personne se trouve sur scène, par exemple pour faire un discours? Les mondes virtuels permettent de l'étudier désormais – par exemple pour des séries d'expériences psychologiques. | Photo: Vizard

La tâche est toujours identique. Près de 150 personnes tests doivent trouver une pièce dans le bâtiment Sanaa, l’édifice d’Essen (D) considéré comme un chef-d’œuvre architectural, avec ses plus de 130 fenêtres différentes et quatre niveaux avec des hauteurs de pièces variables. «Un bâtiment magnifique, mais compliqué», note Christoph Hoelscher. Ainsi, qui veut passer de l’auditorium lumineux du rez-de-chaussée à une salle de réunion au troisième étage y perd rapidement ses repères.

L’équipe du chercheur en sciences cognitives de l’ETH Zurich a donc créé un modèle virtuel de ce cube de béton pour ses tests. Car l’un des problèmes fondamentaux est qu’il est difficile d’avoir une vue d’ensemble précise du fonctionnement de l’édifice, explique-t-il. Les scientifiques ont donc par exemple remplacé la cage d’escalier fermée par un escalier ouvert et inséré, à certains endroits dans les plafonds, des ouvertures qui laissent voir les autres étages. «Il est impossible de modifier ce genre de choses ainsi dans un bâtiment réel», note Christoph Hoelscher. Résultat du test: des axes visuels améliorés vers des points d’orientation importants telles les cages d’escalier permettent une navigation plus rapide. L’architecture doit prendre en compte le fonctionnement cognitif de l’être humain, note Michal Gath-Morad, sa directrice d’étude.

Réduit à l’essentiel

Les sciences cognitives, la psychologie sociale, l’architecture et les études de marché recourent toujours plus aux modèles virtuels pour leur recherche, observe Christoph Hoelscher. Les sujets qui portent des lunettes VR interagissent avec des personnes et des environnements virtuels et testent systématiquement le comportement humain.

Les scénarios sont reproduits à l’aide de logiciels de l’industrie du jeu. L’important, selon le chercheur, est de savoir dans quelle mesure cela permet de se projeter dans une autre réalité; les spécialistes parlent de degré objectif d’immersion.

L’expérimentation dans la réalité virtuelle présente de grands avantages, souligne-t-il. Les expériences sont en général plus simples et donc moins chères à réaliser. Chacune a un cadre clair et est donc facile à reproduire – un grand plus pour les sciences où la reproductibilité est un sujet de discussion depuis des années. Certaines expériences, telle celle de Christoph Hoelscher, seraient difficiles, voire impossibles à mener dans la réalité. Car, quel maître d’ouvrage accepterait qu’on perce son plafond à titre d’essai?

Sur le plan méthodologique, l’utilisation de modèles virtuels par les sciences cognitives et sociales rappelle les pratiques des sciences naturelles. Les chercheuses en sciences de la vie travaillent souvent avec des organismes modèles pour comprendre des processus fondamentaux. Du cube d’Essen, Christoph Hoelscher a essentiellement reproduit la structure spatiale et les perspectives visuelles centrales, alors que la nature des sols et les couleurs des parois sont par exemple absentes. L’expérience est donc réduite aux éléments essentiels. Certains détails sont ajoutés en fonction des questions.

Afin de pouvoir utiliser des modèles virtuels de manière à en tirer des enseignements, les scientifiques doivent déterminer quels facteurs peuvent être représentés de manière pertinente dans une expérience de réalité virtuelle (VR) – et donc aussi évaluer de manière réaliste les limites de la méthode. «La réalité virtuelle n’est jamais qu’un modèle. De la même manière qu’en physique les modèles atomiques aident à comprendre la réalité sans la représenter entièrement», note Jascha Grübel de l’Université de Wageningue (NL). Il travaille sur l’application des technologies informatiques dans les domaines de recherche les plus divers et collabore avec Christoph Hoelscher à l’ETH Zurich. Ce dernier ajoute qu’on peut étudier dans le modèle des variantes contrôlées qui se démarquent clairement les unes des autres: «En les comparant, nous pouvons distinguer des modèles de comportement fondamentaux.»

Des deepfakes utiles

Changement de décor – un laboratoire à Lausanne: la jeune femme aux yeux sombres vous regarde, cligne des yeux, hoche brièvement la tête et sourit légèrement. Rien de plus. Dans une deuxième scène, elle ne sourit plus, ne regarde plus non plus directement l’observateur, mais à côté de lui. Ces deux scènes sont tirées d’une expérience psychologique menée par Marianne Schmid Mast à l’Université de Lausanne. La chercheuse en comportement veut élucider le rôle joué par les hochements de tête, les sourires et le contact visuel direct lors d’un entretien d’embauche. Des sujets tests évaluent tour à tour diverses personnes virtuelles telle la femme aux yeux sombres: quel comportement trouvez-vous le plus sympathique, qui engageriez-vous plutôt?

En principe, le dispositif expérimental est un classique pour comprendre les règles de l’interaction sociale, par exemple au travail ou lors d’entretiens d’embauche. Au laboratoire de Marianne Schmid Mast, les participants à l’étude regardent toujours plus souvent des vidéos générées par l’IA à cette fin au lieu d’actrices mises en scène. A partir de la photo de n’importe quelle personne test, un logiciel peut créer un deepfake exécutant un modèle défini de mouvement. L’arrière-plan est souvent plutôt neutre. «Il importe que rien ne distraie de l’expérience, dit la professeure. La scène peut tout à fait paraître simple, cela aide même parfois.» Tout ce qui irrite détourne l’attention de l’observateur. Un avatar trop parfait serait d’ailleurs dérangeant – un effet nommé «canny valley». Cela vaut aussi en architecture: «Pour donner une impression, les esquisses sont souvent meilleures qu’un rendu parfait», remarque Christoph Hoelscher.

Une fois les avatars programmés, on peut tester leur comportement avec les variables les plus diverses: hommes, femmes, à la peau claire ou foncée. Une autre solution serait de faire répéter à différentes actrices les gestes et les regards définis et toujours de la même manière. Ce n’est pas une mince affaire et c’est surtout très coûteux. «Dans nos vidéos deepfake, nous pouvons aussi combiner de façon ciblée divers comportements et étudier leur impact de manière contrôlée», explique Marianne Schmid Mast.

Lorsqu'on étudie la communication non verbale, la nervosité ou l’assurance, par exemple, doivent être traduites en une combinaison de gestes. «Seule la standardisation du comportement permet d’établir des liens de causalité», précise la chercheuse. Les observations sur le terrain, en situation réelle, sont souvent trop complexes. Trop de variables supplémentaires peuvent exercer une influence. D’où, parfois, des interprétations basées uniquement sur des phénomènes aléatoires. En condition contrôlée, en revanche, on mesure un résultat clair.

La spécialiste du comportement voit aussi les limites des expériences IA dans son domaine. Les deepfakes d’interactions sociales entre deux personnes, par exemple, restent difficiles à réaliser. Dans l’expérience qu’elle mène, le sourire est plutôt discret, car un sourire qui montre les dents peut vite devenir sinistre. Les limites de la technologie déterminent-elles la manière de poser les questions? Cela ne devrait pas arriver, car on peut toujours se rabattre sur des essais réels, dit Marianne Schmid Mast. Néanmoins, en raison de l’évolution fulgurante des possibilités techniques, les expériences avec des vidéos générées par l’IA gagnent en importance dans son domaine.

Le boom de la recherche avec des vidéos générées par l’IA et la VR est là. Des villes virtuelles sont créées pour une étude de santé publique afin d’examiner les effets de l’ordre et de la négligence dans l’environnement urbain sur la santé. Ou bien on étudie à l’aide de modèles virtuels si de nouvelles éoliennes et installations solaires sont plutôt perçues comme agréables dans un environnement bâti ou naturel. La diversité des domaines d’application est énorme.

Limites éthiques aussi dans le virtuel

«Mais les résultats de certaines études montrent qu’il y a d’importantes différences entre la perception dans la VR et dans le monde réel», avertit Jascha Grübel. Ainsi, les zones du cerveau actives lors d’un mouvement physique dans un environnement virtuel sont différentes de celles actives lors d’un mouvement réel. Mais il n’est pas clair si cela pose un problème. «Peut-être que le cerveau traite le monde réel différemment au niveau neurologique, mais nous constatons des résultats similaires au niveau cognitif décisionnel.»

Les voix, les odeurs, la foule, les températures sont des facteurs qui peuvent aussi avoir une influence qu’on ne peut pas toujours déterminer clairement, dit Jascha Grübel. «Les données du monde réel ont ici une grande plus-value et peuvent montrer où les modèles simplifient trop.» Les technologies futures pourront peut-être en reproduire une partie. L’Université de Delft travaille sur un simulateur VR qui peut reproduire l’odeur et la température. Un monde virtuel complet pourrait aussi faire paniquer les personnes tests. Par exemple un incendie dans le bâtiment de Sanaa, avec fumée et chaleur. Même dans un environnement virtuel, on atteint rapidement les limites éthiques.