Depuis sa création, SoftBank Robotics poursuit l’objectif de mettre à disposition du plus grand nombre des robots humanoïdes compagnons et assistants personnels.

Après le développement d’une première génération de robots humanoïdes de petite taille, NAO, en 2006, SoftBank Robotics a relevé un nouveau défi avec Romeo en 2009 : la réalisation d’un robot de grande taille, adapté à l’environnement domestique pour faciliter l’interaction et permettre de remplir des tâches du quotidien, comme ouvrir une porte, prendre des objets sur une table ou aider une personne à marcher.

Les différentes étapes :

Logo Projet Romeo

Les travaux sur Romeo ont été initiés dans le cadre d’un « projet FUI » (fonds unique interministériel) en janvier 2009. Labellisé par le pôle de compétitivité Cap Digital, le projet a été financé par la DGCIS, la Région Ile de France et la ville de Paris. Le Projet ROMEO a rassemblé une douzaine de partenaires industriels et académiques français.

Le Projet ROMEO visait quatre objectifs couvrant plusieurs aspects majeurs de la robotique :

  • Une plateforme mécatronique et logicielle interactive, ouverte et modulable
  • Un robot assistant personnel, des fonctions de surveillance et d’interaction homme – machine
  • Une plateforme robuste pour la recherche
  • Les bases d’un cluster industriel robotique

En quatre ans, Romeo est passé d’une vision ambitieuse de la robotique d’assistance à un robot de 1,4m, connu dans le monde entier. Les premiers exemplaires ont été commandés par des laboratoires français et européens. La dynamique fondatrice de la filière de la robotique de service française, initiée par ce projet FUI, se prolonge déjà dans de nouvelles collaborations nationales et européennes.

Logo Projet Romeo 2

Le projet Romeo 2 a été lancé en novembre 2012. Labellisé par Cap Digital et soutenu par Bpifrance comme projet structurant des pôles de compétitivité (PSPC) du Programme d’investissements d’avenir, ce projet de 4 ans regroupe 16 partenaires industriels et académiques.

Cette deuxième étapes vise à approfondir des axes indispensables pour l’acceptabilité d’un robot humanoïde de grande taille au domicile de personnes en situation de perte d’autonomie :

  • La sûreté informatique et physique
  • La capacité à apprendre les habitudes de son utilisateur pour en comprendre les besoins et les intentions
  • Les applications d’assistance à la personne

évolution.png

Développements techniques

Au cours de la première étape du projet (2009 – 2012), la plateforme physique de Romeo a été entièrement assemblée par SoftBank Robotics. Elle a connu deux versions, comme imaginé lors de la rédaction du projet. Entre les deux versions, la conception de la colonne vertébrale a changé, l’électronique définitive a été intégrée dans la tête, les coques du haut du corps ont été réalisées dans une matière plus solide, le câblage électronique des jambes a été amélioré, les batteries ont été intégrées…

Toutes ces améliorations n’ont néanmoins pas été jugées suffisantes pour atteindre une qualité qui permettrait de répondre aux exigences des laboratoires qui ont commandé des Romeo. Un troisième cycle de conception a donc été initié après la fin du projet pour finaliser les mains, les bras, l’architecture interne du torse et de la tête notamment. Une rationalisation du câblage et de l’implantation des cartes électroniques a également dû être effectuée. Les actionneurs des jambes basés sur des vérins à câbles conçus par le CEA LIST ont été optimisés avec SoftBank Robotics pour améliorer leur fiabilité en vue de leur utilisation pour la marche. Leur intégration dans l’exosquelette en carbone n’avait pas pu être faite au cours de la première étape du projet et a été réalisée depuis. SoftBank Robotics n’avait pas fini la mise au point d’un système d’actionnement opérationnel pour la colonne vertébrale, mais le LISV a réalisé deux conceptions différentes pour la colonne dont une est actionnée mais n’a pas pu être intégrée sur le prototype complet. Le poignet et la main du robot, qui n’étaient pas une priorité de la phase 1, n’étaient pas opérationnels sur le prototype de fin 2012 mais ont été intégrés depuis.

Calotte tactile
Calotte tactile (CEA LIST)

Un système original d’actionnement des yeux, proposé par le LPPA, a été réalisé pendant le projet et a été optimisé depuis par SoftBank Robotics. Les yeux mobiles sont couplés à un système vestibulaire devant permettre une stabilisation du regard du robot, point indispensable pour accéder à des modes de marche plus dynamiques préconisés par le LPPA.

Le travail sur le système auditif et vocal, crucial pour une interaction naturelle avec le robot, avait néanmoins bien avancé avec la thèse réalisée par Télécom Paris Tech sur la séparation de source et la première intégration des résultats sur le microcontrôleur qui équipera la carte de traitement audio. De son côté le LIMSI avait enregistré et annoté plusieurs corpus qui ont été utilisés pour la mise au point des fonctions de reconnaissance non verbale développées au cours de ses deux thèses : la détection des émotions et la reconnaissance du locuteur. Ces fonctions ont été intégrées dans l’architecture des robots de SoftBank Robotics en coopération avec Voxler. Acapela a amélioré sa fonction de reconnaissance de la parole et a conçu la voix de synthèse de Romeo. Voxler a développé un outil permettant de modifier la voix de Romeo et a intégré sur NAO un jeu musical exploitant ses briques d’analyse musicale.

Enregistrement de corpus (LIMSI, Institut de la Vision)
Enregistrement de corpus (LIMSI, Institut de la Vision)

Le CEA LIST et SoftBank Robotics ont travaillé sur le système visuel du robot pour le doter de la capacité à reconnaître des objets, des gestes et de naviguer dans son environnement. Sur la reconnaissance d’instances d’objets, c’est-à-dire d’objets dont des images ont été apprises a priori, le CEA LIST avait obtenu des performances qui le plaçaient au deuxième niveau mondial pour la précision et au premier pour le rapport rapidité/précision, mais il restait néanmoins un travail à faire sur l’amélioration du temps de calcul de cette reconnaissance. Sur le sujet de la reconnaissance de classes d’objets (il s’agit de reconnaître une chaise alors que la base d’apprentissage contient des images de chaises différentes de celle à reconnaître), le CEA LIST a développé une méthode intitulée Fast Shared Boosting qui arrive au niveau, voire au-dessus, des meilleures performances actuelles mondiales.

Reconnaissance d’objets (CEA LIST)
Reconnaissance d’objets (CEA LIST)

Pour la perception de la gestuelle de l’opérateur, SoftBank Robotics s’était concentrée sur l’utilisation de plusieurs technologies de capteurs 3D (projection de motifs IR, temps de vol, stéréo-vision) pour pouvoir faire des premiers essais d’interaction gestuelle qui ont confirmé l’importance de ce type d’interaction. Mais le choix de la technologie de capteur 3D n’avait pas pu être fait à la fin du projet n°1 car toutes celles qui avaient été testées avaient des avantages et des inconvénients et celle qui serait choisie devrait faire l’objet d’un compromis délicat, dans lequel les contraintes techniques s’ajouteront aux contraintes industrielles. Sur la localisation et la navigation aussi, SoftBank Robotics a exploré plusieurs pistes (amers visuels, laser) qui ont permis d’atteindre des résultats satisfaisants mais là encore, le choix définitif de la technologie s’est avèré délicat et les expérimentations devaient se prolonger avant de pouvoir trancher pour la solution industrielle.

Les partenaires qui avaient travaillé sur la planification et le contrôle sensori-moteur du mouvement de Romeo n’avait malheureusement pas pu travailler sur le prototype complet de Romeo mais avait pu mettre au point leurs algorithmes sur des simulateurs réalistes de Romeo, sur NAO, sur d’autres robots humanoïdes disponibles dans leur labo ou sur des sous-ensembles de Romeo. Le LAAS a travaillé sur la génération de mouvements stables du corps entier qui permet au robot de générer des mouvements complexes tout en conservant son équilibre. En s’inspirant des travaux du LPPA sur le paradigme de la commande top-down, le LAAS avait proposé un schéma de commande oculocentré qui ont permis d’obtenir des marches réactives de bien meilleure qualité.

Le LAAS avait également amélioré ses algorithmes de planification de mouvement pour prendre en compte des tâches complexes comme l’ouverture d’une porte qui nécessite la coordination du mouvement de la porte, du bras du robot et également de ses jambes. Des travaux avaient aussi été entrepris pour s’inspirer davantage des mouvements humains afin de doter les robots de gestes « naturels » qui faciliteraient l’acceptabilité des grands robots humanoïdes dans notre environnement. L’INRIA a également fait un pas de plus vers une marche guidée par le regard, une marche réactive capable de prendre en compte sur un ou plusieurs pas une perturbation détectée pendant la marche. Une nouvelle allure de marche, exploitant la flexibilité des orteils de Romeo et autorisant une oscillation verticale du bassin, a été développée. Elle permet au robot de marcher non seulement de façon plus naturelle mais aussi plus rapide, grâce à des pas plus grands, tout en limitant la vitesse et les efforts demandés aux moteurs. SoftBank Robotics a d’ailleurs utilisé certains de ces principes pour améliorer la marche de NAO. Le LPPA a travaillé sur un modèle probabiliste de l’équilibre qui permet de gérer l’imprécision des capteurs de NAO (et de Romeo) pour offrir une bonne résistance à des situations anormales comme des poussées extérieures.

Ce type de stabilisation sera crucial pour un robot de grande taille comme Romeo. Enfin, explorant la piste biomimétique, le LPPA a travaillé sur un contrôleur neuronal pour la locomotion bipède par algorithmes génétiques. Ce contrôleur a donné quelques résultats prometteurs, mais nécessite encore du travail pour être intégré dans un algorithme de marche complet.

Controleur Neuronal
Contrôleur Neuronal (LPPA, ISIR)

Le travail sur les comportements, le dialogue et les émotions devait exploiter tous les résultats des travaux décrits précédemment pour permettre au robot d’adapter les actions du robot au contexte dans lequel il se trouve. Spirops a mis en œuvre son outil de prise de décision dans l’environnement de développement des robots de SoftBank Robotics  de façon à offrir un moyen simple, pour le concepteur d’applications, de décrire les raisons qui doivent décider le robot à entreprendre une action plutôt qu’une autre en fonction du contexte. Voxler et Spirops ont repris à leur compte le travail sur le dialogue, que la disparition d’As An Angel (partenaire au début du projet) avait laissé inachevé. Ils ont développé un système permettant de décrire de courts dialogues. Afin d’apporter du contenu à ce dialogue, Spirops a développé des liens avec Linkedin, Google Contact et Google Calendar. Grâce à ces trois applications, le robot peut exploiter des informations sur la biographie, les relations et l’agenda de son interlocuteur pour mener des discussions. Spirops a aussi développé un système de gestion de la connaissance de son interlocuteur que le robot peut utiliser pour savoir quelle émotion exprimer au moment opportun. Le LIMSI a travaillé sur la caractérisation du locuteur dans l’interaction émotionnelle avec le robot via son comportement vocal pour adapter le comportement du robot. Cela a consisté à déterminer un profil émotionnel de l’interlocuteur en fonction des émotions détectées dans sa voix, à implémenter, dans l’outil de prise de décision Spirops, ce profil sous forme de règles et l’influence de ce profil sur le choix de comportement à adopter par le robot. Spirops et SoftBank Robotics ont finalement intégré tous ces développements dans le cadre du dialogue entre l’homme et le robot. L’intégration a été partielle, puisque le robot n’avait pas pu être disponible pour tous les partenaires avant la fin du projet 1 et n’avait pas pu être testé avec ses utilisateurs finaux. Mais des maquettes sur NAO ont permis de valider la faisabilité de l’intégration des développements des partenaires sur Romeo. L’Institut de la Vision a pu tester, sur NAO, quelques-unes des applications élémentaires développées avec certains de ses patients. Les résultats issus de ce test se sont révélés assez positifs et ont suscité un réel intérêt de la part des personnes déficientes pour qui cela constituerait une réelle aide au quotidien à domicile. Une liste de préconisations qui seront prises en compte pour les futurs développements de Romeo a été établie.