Seamless repose sur une approche pluridisciplinaire dans les domaines scientifiques de la réalité virtuelle et augmentée, de la perception humaine, de l'interaction homme-machine et des facteurs humains. La révolution actuelle dans le domaine de la réalité virtuelle ne nécessite pas seulement des avancées technologiques, mais aussi de placer l'utilisateur au centre de cette révolution. Afin de soutenir cette révolution, et en se référant aux deux scénarios susmentionnés, trois défis scientifiques majeurs sont abordés :

Assurer une transition transparente entre les réalités. Chaque réalité présente ses propres limites et caractéristiques, qui les rendent distinctes en termes de perception et d'interaction. Un utilisateur doit pouvoir passer d'une réalité à l'autre à volonté. Seamless vise à réduire l'écart entre les modalités de perception et d'interaction d'une réalité à l'autre afin d'offrir une expérience continue. En fin de compte, toutes les réalités peuvent coexister.

Assurer une collaboration transparente entre les réalités. Différents utilisateurs évoluant dans différentes réalités devraient pouvoir collaborer sur un pied d'égalité. Par égalité, nous entendons d'abord la perception/la conscience des collaborateurs et des réalités parallèles. Les utilisateurs doivent être conscients de l'existence d'autres collaborateurs et doivent pouvoir partager un espace de travail commun. Deuxièmement, nous faisons référence aux capacités d'interaction des utilisateurs. Les utilisateurs doivent être en mesure d'interagir et de collaborer sur un pied d'égalité, quelle que soit la réalité dans laquelle ils se trouvent ou leurs caractéristiques individuelles, ce qui finit par estomper les frontières entre les réalités au cours du processus de collaboration.

Assurer une évaluation transparente de l'expérience de l'utilisateur. L'évaluation de l'expérience utilisateur dans la RV/AR est multifactorielle et nécessite l'évaluation d'un large éventail de paramètres, depuis les performances de l'utilisateur jusqu'à son état mental, en passant par ses préférences. L'évaluation est une étape clé de tout processus de conception qui permet de détecter les défauts et d'améliorer le système. Les méthodes d'évaluation actuelles s'appuient fortement sur l'utilisation de questionnaires ou de mesures spécifiques à une tâche, qui ne fournissent qu'une évaluation générale et imprécise de l'expérience de l'utilisateur. La vision de Seamless est que l'évaluation des systèmes de RV et de RA devrait être capable de fournir des informations précises concernant les défauts du système et devrait minimiser la collecte explicite d'informations auprès de l'utilisateur. L'évaluation directe de l'état mental de l'utilisateur par électroencéphalographie (EEG) est une voie particulièrement prometteuse.

Afin de relever les trois principaux défis scientifiques, le programme de recherche de Seamless est structuré en trois axes de recherche principaux suivant une approche ascendante. Notre approche ascendante est centrée sur l'utilisateur, considérant d'abord les capacités perceptives des utilisateurs, puis leurs capacités d'interaction, et enfin la façon dont l'expérience globale est perçue.

(SC1) Modéliser et améliorer la perception humaine des réalités. La perception et la conscience de notre environnement sont nécessaires à toute interaction. La technologie de la réalité virtuelle et augmentée est très hétérogène et modifie considérablement la façon dont les humains perçoivent leur environnement. Afin d'assurer une transition et une collaboration transparentes entre les réalités, des recherches fondamentales sont nécessaires pour mieux comprendre la perception humaine au sein des différentes réalités et entre elles. D'une part, la médiation génère une dégradation de la perception. La technologie XR actuelle n'est pas en mesure de fournir les mêmes indices pour percevoir le contenu virtuel que les humains perçoivent le contenu réel. Les utilisateurs auront donc une perception dégradée/réduite du contenu virtuel, ce qui peut entraver/limiter leurs capacités d'interaction. D'autre part, la médiation permet de contrôler les informations perceptives disponibles pour l'utilisateur, en les augmentant (par exemple, en affichant des informations cachées ou supplémentaires) ou en les diminuant (par exemple, en supprimant les informations distrayantes). Cet axe de recherche se concentre sur la recherche fondamentale et appliquée afin de mieux comprendre la perception humaine dans la réalité étendue et la manière dont la réalité étendue peut être utilisée pour modifier les informations perceptives afin d'améliorer les capacités humaines.

(SC2) Modéliser et améliorer l'interaction des différentes réalités. L'interaction est étroitement liée à la perception, non seulement parce que la perception dicte les interactions disponibles, mais aussi parce que l'interaction et la perception peuvent être modélisées par une boucle de rétroaction fermée. Cependant, dans le contexte d'un continuum réalité-virtualité très hétérogène, les modalités et les capacités d'interaction diffèrent fortement au sein d'une même réalité et d'une réalité à l'autre. Par exemple, les méthodes d'interaction qui seraient efficaces pour les contextes de RV pourraient ne pas être optimales pour les contextes de RA. En outre, dans un contexte d'application où les utilisateurs passent constamment d'une réalité à l'autre, les défis d'une transition et d'une collaboration transparentes se posent. Premièrement, des recherches fondamentales sont nécessaires pour modéliser la manière dont les utilisateurs interagissent dans ce continuum lorsque les capacités perceptives sont dégradées et/ou augmentées. Deuxièmement, il est nécessaire de proposer de nouvelles méthodes d'interaction qui garantissent des capacités d'interaction équivalentes tout au long du continuum d'interaction. Enfin, dans le contexte de la RX sociale, ces méthodes devraient soutenir efficacement la collaboration.

(SC3) Modéliser et améliorer l'expérience de l'utilisateur parmi les réalités. Les techniques d'interaction exploitent les connaissances sur la perception et le comportement des utilisateurs afin d'améliorer le processus d'interaction, mais l'évaluation du système ne doit pas se concentrer uniquement sur les mesures de performance. À cet égard, l'expérience de l'utilisateur est un aspect fondamental de tout système interactif, qui se rapporte à la capacité des utilisateurs à utiliser le système et à leur expérience subjective lors de l'interaction avec le système. Cependant, le nombre de dimensions de l'expérience utilisateur dans les systèmes de RV et de RA est plus important que dans les systèmes informatiques traditionnels. Cet axe se concentre sur la recherche de ces dimensions supplémentaires, notamment la présence, l'incarnation, l'accessibilité et la facilité d'apprentissage. L'objectif de cet axe est de proposer des méthodes innovantes pour les évaluer, les modéliser et les prédire.

L’équipe Seamless collabore avec de grandes entreprises (InterDigital, Orange Labs) ou des PMEs (Polymorph, Haption, Mensia). Du fait de sa thématique fortement pluridisciplinaire, Seamless collabore étroitement avec de nombreux partenaires académiques en France ou à l’étranger sur des sujets complémentaires comme les Neurosciences, le traitement de signal, l’interaction homme-machine ou la réalité Virtuelle : Tokyo University, University of Central Florida, University of Barcelona, TU Wien, IMT-Atlantique, Ecole Central Nantes, University of Bordeaux, Inrap, CHU Rennes