La vision à long terme de l'équipe Rainbow est de développer la nouvelle génération de robots basés capteur capables de naviguer et/ou d’interagir en coopération avec des utilisateurs humains dans un environnement complexe non structuré. Plus clairement, le terme “coopération” peut avoir plusieurs sens suivant le contexte donné: par exemple, il peut référer à la simple coexistence (robots et humains partagent un certain espace tout en réalisant des tâches indépendantes), la conscience de l'humain (les robots doivent être conscients de l'état de l'humain et des ses intentions afin d'ajuster ses actions de façon adéquate), ou la coopération réelle (robots et humains réalisent une certaine tâche conjointement et ont besoin de coordonner leurs actions). Parmi cette représentation générale, les activités Rainbow seront tout particulièrement orientées sur le cas de la coopération (partagée) entre robots et humains en aspirant à la vision suivante: d'une part, habiliter les robots avec un grand degré d'autonomie pour leur permettre d'agir efficacement dans des environnement non-triviaux (e.g., en dehors de cadres usine complètement définis). D'autre part, inclure les utilisateurs humains dans la boucle afin les avoir dans le contrôle (partiel ou bilatéral) de certains aspects du comportement général du robot. Nous envisageons d'aborder ces défis par des perspectives méthodologiques, algorithmiques et orientées applications.

Les principaux axes de recherche autour desquels l'équipe Rainbow sera articulée sont les suivants: trois piliers ( Perception Optimale et Robuste aux Incertitudes; Contrôle Avancée basé Capteurs; Haptique pour les Applications Robotiques) qui ont pour but de développer des méthodes, des algorithmes et des technologies pour la réalisation du sujet central de Contrôle Partagé des Systèmes Robotiques Complexes.

Ci-après, un résumé descriptif des quatres axes de recherche de Rainbow.

Perception Optimale et Robuste aux Incertitudes

Les futurs robots auront besoin d'un large degré d'autonomie pour, e.g., interpréter les informations perçues pour une estimation précise de l'état du robot et du monde (qui peut possiblement inclure des utilisateurs humains), et pour élaborer des stratégies de mouvement capables de prendre en compte plusieurs contraintes (actionnement, limites capteurs, environnement), inclure également la précision de l'estimation d'état (i.e., à quel point l'état robot/environnement peut être reconstruit à partir de données de perception). Dans ce contexte, nous seront particulièrement, intéressés dans (i) l'élaboration de stratégies d'optimisation de trajectoires capables de maximiser une certaine norme du gain d'informations collectées au long de la trajectoire (et avec les capteurs disponibles). Ceci peut être vu comme un exemple de Perception Active, avec un objectif principal basé sur les stratégies d'optimisation en-ligne/réactives de trajectoires capables de prendre en compte de multiples exigences/contraintes (limites perception/actionnement, bruits caractéristiques). Nous serons aussi intéressés par le couplage entre la perception optimale et l’exécution concourante de tâches supplémentaires (e.g., navigation, manipulation). (ii) Des méthodes formelles garantissant la précision de la localisation/estimation d'état pour la robotique mobile, principalement en exploitant des outils d'analyse formelle. L'intérêt de ces méthodes réside dans leur habilité à fournir des bornes possiblement conservatives mais sûres sur la meilleure précision que l'on peut obtenir avec la paire robot/capteurs donnée, et qui peuvent ainsi être utilisées à des fins de planification ou de conception système (choix de la meilleure série de capteurs pour un robot/tâche donné). (iii) La localisation/tracking d'objets avec une morphologie pauvre/inconnue ou déformable, qui sera d'une importance indispensable afin de permettre aux robots d'estimer l'état « d'objets complexes » (e.g., les tissus humains en robotique médicale, les matériaux élastiques en manipulation) pour contrôler leur pose/interaction avec les objets d'intérêt.

Contrôle Avancé basé Capteur

L'une des principales compétences de la précédente équipe Lagadic fut, généralement parlant, le thème du contrôle basé capteur, i.e., comment exploiter les capteurs (typiquement embarqués) pour contrôler le mouvement de robots fixes/à base fixe. Le principal apport a consisté en l'élaboration de méthodes pour coupler directement le mouvement du robot à l'aide des sorties capteurs afin d'inverser ce mapping pour diriger les robots vers une configuration spécifiée par une mesure capteur désirée (ainsi, directement dans l'espace capteur). Cette idée générale a été appliquée dans différents contextes : principalement avec la vision standard (d'où le terme Visual Servoing - Asservissement Visuel), mais aussi avec l'audio; l'image ultrason et la RGB-D.

L’utilisation de capteurs pour contrôler le mouvement des robots sera à l'évidence un sujet central pour l'équipe Rainbow également, puisque l’utilisation de la perception (essentiellement embarquée) est une caractéristique centrale de toute future application en robotique (qui devrait typiquement agir en milieu non structuré). Nous visons ainsi à dégager le meilleur de notre expérience dans le contrôle basé capteur pour proposer de nouvelles façons d'exploiter les données perçues pour, grosso modo, contrôler le mouvement d'un robot. A cet égard, nous prévoyons de travailler sur les sujets suivants : (i) «les méthodes directes/denses» qui cherchent à directement exploiter les données brutes perçues pour le calcul de la loi de contrôle pour des tâches de positionnement/navigation. Les avantages de ces méthodes résident dans la nécessité du faible pré-traitement de données pour minimiser les erreurs d'extraction de caractéristique et, en général, pour améliorer la robustesse/précision (puisque toutes les données accessibles sont utilisées par le contrôleur de mouvement) ; (ii) l’interaction basée capteur avec des objets de forme inconnue/déformable, pour acquérir la compétence de manipuler, e.g., des objets flexibles à partir des données capteurs acquises (e.g., contrôler en ligne une aiguille étant insérée dans du tissu flexible) ; (iii) le contrôle prédictif basé capteur, pour développer en ligne/réactivement des méthodes d'optimisation de trajectoire capables de planifier des trajectoires faisables pour les robots sujets à des contraintes de perception/actionnement avec la possibilité de percevoir (de façon embarquée) pour une replanification continue (avec un certain horizon de temps futur) de la trajectoire optimale. Ces méthodes jouerons un rôle important dans la gestion de robots complexes sujets à des contraintes de perception/actionnement complexes, pour lesquels des méthodes réactives pures ne sont pas valables. De plus, le couplage avec la perception optimale susmentionnée sera également considéré; (iv) le contrôle et l'estimation décentralisée multi-robot, avec encore pour but l'élaboration de stratégies basées capteur pour des groupes de multiples robots ayant pour besoin de maintenir une formation ou de réaliser des tâches de navigation/manipulation. Ici, les enjeux viennent de la nécessité de produire des stratégies décentralisées «simples» de contrôle multimodal sous la présence de contraintes de perception complexes (e.g., lors de l'utilisation de caméras embarquées, le champ de vision limité, les occultations). De même, le besoin d'estimer localement des quantités globales (e.g., le repère de référence commun, les propriétés globales de la formation telle que la connectivité ou la rigidité) sera aussi une ligne de recherche active.

Haptique pour les Applications en Robotique

Dans la coopération envisagée entre opérateurs humains et robots, la chaîne typique de perception exploitée (en dehors de la vision) pour informer les opérateurs humains reste le plus souvent celle de la force/kinesthésie (en général, le sens du toucher et des forces appliquées à la main de l'humain ou des ses membres). C'est pourquoi, une partie de nos activités sera dévouée à l'étude et à l'avancement de l'utilisation d'algorithmes de signaux haptiques et d’interfaces pour fournir un retour aux utilisateurs durant l’exécution de la tâche partagée. Nous considérerons : (i) l'utilisation de signaux haptiques multimodaux pour des applications de téléopération générales, en étudiant la façon de véhiculer les informations aux travers de chaînes kinesthésiques et cutanées, e.g., les forces/couples qui peuvent être ressentis par la saisie d'un joystick/outil à retour de force. Ces signaux sont riches en information sur, e.g., les directions de mouvement préférées/interdites, mais sont aussi intrinsèquement limitées dans leur résolution puisque la chaîné kinesthésique peut facilement être surchargée (lorsque trop d'information est compressée en un unique signal). Durant les dernières années, l'émergence de nouveaux appareils cutanés capables de, e.g., fournir un retour vibro-tactile sur le bout des doigts ou sur la peau, se sont avérés être une solution viable pour complémenter la chaîne kinesthésique classique. Nous étudierons la façon de combiner ces deux modalités sensorielles pour différents scénarios d'application prototypique, e.g., la téléopération à 6-ddl de bras manipulateurs, les approches à guides virtuels, et la manipulation à distance d'objets (possiblement déformables); (ii) dans le contexte particulier de la robotique médicale, nous comptons aborder le problème de l'apport de signaux haptiques pour des tâches de robotique médicales typiques, telles que l'insertion semi-autonome d'aiguille et la robotique médicale en explorant l'utilisation de retours kinesthésiques pour le rendu des propriétés mécaniques des tissus, et le vibro-tactile dans le but de fournir avec des guides basés sur l'information des trajectoires pré-calculées (avec pour but d’accroître) l'ergonomie/acceptabilité de cette technologie dans le domaine médical); (iii) enfin, dans le contexte du contrôle multi-robot nous aimerions explorer la façon d'utiliser la chaine haptique pour fournir des informations sur le statut de plusieurs robots exécutant une tâche de navigation ou de manipulation. Dans ce cas, le problème est (encore plus) porté sur la représentation (ou la compression) de l'information sur plusieurs robots en un faible nombre de signaux. Nous planifions d'utiliser des outils spécialisés, tels que des gants exosquelettes actionnés capables de fournir des signaux a chaque bouts de doigt de la main de l'humain, ou en ayant recours à des méthodes de «compression» inspirées des synergies posturales de la main pour fournir des signaux coordonnés représentatifs de quelques (mais complexes) mouvements du groupe multi-robot, e.g., les mouvements coordonnés (translations/expansions/rotations) ou la saisie / le transport collectif.

Contrôle Partagé des Systèmes Complexes Robotiques

Le dernier et principal axe de recherche exploitera les méthodes, algorithmiques et technologiques développées dans les axes précédents pour réaliser des applications impliquant la conduite semi-autonomes complexes de robots dans des environnements complexes conjointement avec des utilisateurs humains. Le leitmotiv est de réaliser des paradigmes de contrôle partagé avancés, qui visent essentiellement a fusionner l'autonomie robotique et l'intervention de l'utilisateur en une manière optimale pour exploiter le meilleur des deux mondes (la précision/perception/mobilité/force du robot et les capacités cognitives de l'humain). Un thème commun sera la question de où «tracer la ligne» entre l'autonomie du robot et l'intervention humaine : évidemment, il n'y a pas de réponse générale, et chaque choix de conception dépendra de la tâche particulière en jeux et/ou des possibilités technologiques/algorithmiques du système robotique considéré.

Une application prototypique envisagée, exploitant et combinant les trois axes de recherche précédents, est la suivante: un robot complexe (e.g., un système deux bras, un robot humanoïde, un groupe multi-UAV) a besoin d'opérer dans un environnement en exploitant sa perception embarquée (la vision étant en général la principale) et de faire face à de multiples contraintes (actionnement limité, perception limitée, cinématique/dynamique complexe, l'évitement d'obstacles, l'interaction avec des entités difficiles à modéliser telles que les personnes environnantes, etc.). Le robot doit donc posséder une autonomie assez large pour interpréter et exploiter les données perçues afin d'estimer son propre état et celui de l'environnement (l'axe «Perception Optimale et Robuste aux Incertitudes»), et pour planifier son mouvement afin d'accomplir la tâche (e.g., la navigation, la manipulation) en faisant face à toutes les contraintes robot/environnement. C'est pourquoi, les méthodes de contrôle avancé capables d'exploiter les données sensorielles au mieux, et capable de face faire en ligne à des contraintes de façon optimale (en, e.g., replanifiant de façon continue et en prédisant sur un horizon de temps futur) sera nécessaire (axes « Contrôle Avancé basé Capteur »), avec un possible (et intéressant) couplage avec la partie sensorielle pour optimiser, en même temps, le processus d'estimation d'état. Pour finir, un opérateur humain sera typiquement en charge de fournir des commandes haut niveau (e.g., où aller, quoi regarder, quoi attraper et où) qui seront ensuite exécutées de façon autonome par un robot, avec de possibles modifications locales à cause des contraintes (locales) diverses. Dans le même temps, l'opérateur devra aussi recevoir des signaux visuels-forces informatifs en ligne sur, en général, à quel point ses commandes sont exécutées et si le robot préférerait un suggérerait d'autres plans (à cause des contraintes locales qui ne sont pas le soucis de l'opérateur). Cette information devra être restituée visuellement et haptiquement avec une combinaison optimale de signaux qui dépendrons de l'application donnée (axes « Haptique pour les Applications Robotiques »)