L'ambition scientifique de ROBOTLEARN est d'entraîner les robots à acquérir la capacité de regarder, d'écouter, d'apprendre, de bouger et de parler d'une manière socialement acceptable. Cet objectif sera atteint grâce à un équilibre entre les découvertes scientifiques, le développement d'algorithmes pratiques et de logiciels associés, et une validation expérimentale approfondie. Il est prévu de doter les plates-formes robotiques de la capacité d'interagir et de communiquer avec plusieurs personnes sans contrainte physique. La feuille de route de ROBOTLEARN comporte deux volets : (i) s'appuyer sur les réalisations récentes de l'équipe Perception, en particulier les techniques d'apprentissage automatique pour l'alignement temporel et spatial des données audio et vision, les méthodes bayésiennes variationnelles pour le suivi unimodal et multimodal des humains, et les architectures d'apprentissage profond pour l'amélioration de la parole audio et audiovisuelle, et (ii) explorer de nouvelles opportunités de recherche scientifique au carrefour des architectures d'apprentissage profond discriminatives et génératives, de l'apprentissage et de l'inférence bayésienne, de la vision par ordinateur, du traitement du signal audio/parole, des systèmes de dialogue parlé et de la robotique. Le domaine d'application primordial de ROBOTLEARN est le développement de méthodologies et de technologies interactives multimodales et multipartites pour les robots sociaux (compagnons).

ROBOTLEARN sera structuré en trois axes de recherche, permettant de développer des robots socialement intelligents. Premièrement, sur les modèles probabilistes profonds, qui comprennent la grande famille des architectures de réseaux neuronaux profonds, la grande famille des modèles probabilistes, et leur intersection. En bref, nous allons étudier comment exploiter conjointement le pouvoir de représentation des réseaux profonds et la flexibilité des modèles probabilistes. Les autoencodeurs variationnels sont un exemple bien connu d'une telle combinaison. Les modèles probabilistes profonds constituent l'épine dorsale méthodologique du projet proposé et jettent les bases des deux autres axes de recherche. Deuxièmement, nous développerons des méthodes pour la compréhension automatique du comportement humain à partir de données auditives et visuelles. Dans ce but, nous concevrons nos algorithmes pour exploiter la nature complémentaire de ces deux modalités, et adapterons leurs procédures d'inférence et de mise à jour en ligne aux ressources informatiques disponibles lors de l'utilisation de plateformes robotiques. Troisièmement, nous étudierons des modèles et des outils permettant à un robot d'apprendre automatiquement les politiques d'action sociale optimales. En d'autres termes, apprendre à sélectionner les meilleures actions en fonction de l'environnement social. l'environnement social. Il est important de noter que ces politiques d'action devraient également nous permettre d'améliorer la perception robotique, au cas où cela serait nécessaire pour mieux comprendre l'interaction en cours. Nous pensons que ces deux axes de recherche, fondés sur des modèles profonds et probabilistes, nous permettront à terme d'entraîner les robots à acquérir une intelligence sociale, c'est-à-dire, comme nous l'avons vu dans l'introduction, la capacité de regarder, écouter, apprendre, bouger et parler.