Nom : Ateliers de Réalité Virtuelle

Objectifs : Nos travaux ont pour objectif principal de doter les entités qui peuplent les environnements virtuels de comportements autonomes. Ceci soulève trois questions auxquelles nos travaux apportent des réponses :

• Quels sont les fondements de l'autonomie et comment doter une entité d'un comportement autonome ?
• Quels modèles et méthodes pour le rendu multi-sensoriel de ces environnements virtuels et l'interfaçage comportemental des acteurs humains ?
• Comment assurer l'immersion d'acteurs humains en interaction avec des entités artificielles douées d'autonomie avec lesquelles ils doivent coopérer ?

Ces travaux ont pour contexte la réalité virtuelle et les systèmes multi-agents. Le paradigme des systèmes multi-agents permet d'envisager les environnements virtuels comme étant peuplés d'entités autonomes. La réalité virtuelle, augmentée (ou mixte) permet aux humains de s'immerger et d'interagir avec ces entités. Cette dualité permet d'expérimenter des réalités de synthèse d'une manière originale ; elle est la clé de voûte de l'étude des systèmes complexes comme nous l'envisageons dans notre équipe.

Responsable : Pierre DE LOOR

Participants : Matthieu AUBRY, Yvon AUTRET, Cyrille BAUDOUIN, Ronan BILLON, Cédric BUCHE, Pierre CHEVAILLIER, Nicolas COTE, Pierre DE LOOR, Frédéric DEVILLERS, Goulven GUILLOU, Frédéric JULLIARD, Vincent KOEHL, Frédéric LE CORRE, Eric MAISEL, Kristen MANACH, Nicolas MARION, Daniel MELLET, Alexis NÉDÉLEC, Mathieu PAQUIER, Mircea POPOVICI, Ronan QUERREC, Cyril SEPTSEAULT, Fabien TENCE, Jacques TISSEAU, Thanh Hai TRINH, Morgan VEYRET

Fondements scientifiques :

La thématique comportement autonome est structurée autour du développement d'architectures comportementales et de l'identification des principes de l'autonomisation des modèles. L'identification de ces principes repose sur l'étude, et le transfert au virtuel, de la notion d'autonomie telle qu'elle est considérée dans d'autres domaines, en particulier en sciences cognitives. Il s'agit, non plus de définir un modèle autonome mais les principes d'un modèle qui puisse s'autonomiser. L'apprentissage artificiel interactif, l'anticipation ou la notion de co-évolution sont les domaines étudiés en relation avec les projets In Virtuo et SARA. Le groupe de travail GAM est un espace d'échanges sur ces sujets.

Le rendu multi-sensoriel d'environnements virtuels peuplés d'entités autonomes repose sur la conception d'interfaces comportementales, tant d'un point de vue technologique que psycho-sensoriel. L'enjeu est de fournir des services de rendu et d'animation en temps réel qui n'introduisent aucun biais dans les simulations et qui tirent partie des architectures multi-processeurs (CPU, GPU, voire PPU). Les travaux dans ce domaine sont capitalisés dans la plate-forme ARéVi qui est également utilisée par le projet EBV.

L'immersion et l'interaction d'acteurs humains dans des environnements virtuels peuplés d'entités autonomes, notamment des humanoïdes de synthèse. Un humanoïde virtuel est un acteur autonome capable d'identifier la présence et les intentions d'autres acteurs, entités et utilisateurs de l'environnement. Ces acteurs sont capables par leurs actions d'échanger, de mettre en commun, des informations, des connaissances, concept de communiaction. Le but est d'aboutir à la coexistence des acteurs virtuels et humains dans un même environnement. Les autres thématiques de l'équipe ARéVi sur l'autonomisation, l'apprentissage et l'anticipation ainsi que les relations avec les travaux du projet SARA, constituent une base de collaboration importante pour ce thème de recherche.

Compétences :

• Réalité virtuelle, réalité augmentée, analyse et synthèse de mouvements, acoustique, perception sonore, son spatialisé, animation comportementale, interaction Humain-Machine, intelligence artificielle, vision artificielle, apprentissage artificiel, méta-modélisation, systèmes multi-agents.
• Plate-forme de réalité virtuelle, autonomie, humanoïde de synthèse, ingénierie des connaissances.
• Simulation participative et immersive, environnement de réalité virtuelle pour la formation, systèmes tutoriaux intelligents.

Domaines d'application :

• La réalité virtuelle et les arts. Il s'agit de créer des oeuvres artistiques mettant en jeux une interaction forte, multi-modale, en temps réel et à l'échelle 1 d'artistes humains et virtuels. Ce domaine d'application permet d'étudier l'efficacité des modes de communication entre humains et humanoïdes, le réalisme comportemental des acteurs et l'évolution des connaissances de l'acteur virtuel sur son environnement.
• Les mondes virtuels et les communautés virtuelles. Les applications reposent sur des environnements virtuels souvent de très grandes tailles, tels que des sites historiques, dans lesquels des acteurs humains sont immergés et interagissent avec des entités artificielles autonomes, humaines ou animales, réalistes ou imaginaires.
• Les environnements virtuels pour l'apprentissage humain (EVAH, EVF). Ces applications reposent sur la plate-forme Mascaret. Dans Mascaret, l'environnement de formation et les activités des apprenants et formateurs sont décrits comme des instances d'un méta-modèle, ce qui facilite leur définition et permet de doter l'EVAH d'un système tuteur adaptatif. Ces travaux sont menés avec des chercheurs en psychologie cognitive et en sciences de l'éducation du projet SARA (groupe de travail EVAH). Ils reposent aussi sur le développement de méthodologie d'évaluation de l'activité des sujets humains, domaine encore peu exploré en réalité virtuelle. Une application de Mascaret est le projet de paillasse virtuelle.

Principales collaborations :

• Université de Bretagne Sud, Valoria : analyse et synthèse de gestes.
• Université Technologique de Compiègne, HEUDIASYC : réalité virtuelle et connaissances
• INRIA - Rennes, Bunraku : environnement virtuel de formation.
• Université de Constanta, Roumanie, équipe Cerva : reconstition de sites historiques (projet TOMIS) et environnements virtuels pour l'apprentissage humain (projet EVE). Cette collaboration donne lieu à des échanges réguliers de chercheurs.
• Le LISyC est membre de l'AF-RV, Association Française de Réalité virtuelle, Mixte Augmentée et d'Interaction 3D.

Réalisations :

• Plates-formes pour la simulation interactive d'entités autonomes
  • ARéVi : plate-forme de réalité virtuelle.
  • oRis : environnement de programmation et de simulation orienté agent.
• Bibliothèques
  • HLib 2: animation d'humanoïdes de synthèse pour ARéVi.
  • ArFCM : cartes cognitives floues pour ARéVi.
• Applications des résultats de la recherche
  • ARéVi-Road : environnement de formation à la conduite automobile en traffic. Projet mené par l'INSERR, le LISyC et CervVAL.
  • behavioRis : simulation de comportements réactifs. Projets européens Premecs II et Necessity.
  • Mascaret : Environnement de réalité Virtuelle pour l'Apprentissage Humain (EVAH).
  • Gaspar : application de Mascaret pour la simulation de l'activité aérienne sur porte-avions. Projet mené pour DCNS.
  • GVT : Generic Virtual Training : environnement virtuel de formation à la maintenance. Projet mené en collaboration avec l'Irisa (équipe Siames) pour Nexter Systems .
  • Paillasse virtuelle : environnement de réalité virtuelle pour l'apprentissage humain dédié aux travaux pratiques en sciences expérimentales et de l'ingénieur.
  • Sirene : guide virtuel en réalité augmentée. Projet ANR mené avec Océanopolis, Polymorph et Virtualys
  • CoPeFoot : Collective Perception in Football. Projet mené en collaboration avec l'équipe SARA sur la co-construction de situations dynamiques collaboratives.
  • Enactive Models