Pour pouvoir prendre des décisions et réaliser des actions, le robot a besoin de percevoir son environnement. Plus sa perception sera riche, mieux il comprendra la situation dans laquelle il se trouve et mieux il pourra s’y adapter. C’est la raison pour laquelle ce lot de travail, dans lequel les fonctions de perception du robot seront développées, est essentiel pour le reste du projet et notamment pour les applications qui seront développées puis testées avec les personnes âgées.

Projet Romeo 4

Tracking multi-personne (LAAS)

En utilisant une caméra RGB-D (couleur et distance), le robot est capable de détecter les personnes en face de lui mais surtout de les suivre et de les reconnaître même quand elles changent de position et se masquent mutuellement.

Localisation d’événements sonores (LAAS & INRIA)

Le LAAS et l’INRIA ont travaillé sur  la localisation des sources sonores. Une approche binaurale (deux microphones) a été retenue par le LAAS pour réaliser une localisation horizontale de la source sonore. C’est de cette façon que les humains localisent les sources sonores, par détection des différences interaurales en phase (Interaural Phase Difference –IPD), et en intensité (Interaural Level Difference –ILD).

 

Projet Romeo 1

Localisation et suivi d’objets (INRIA)

L’INRIA propose une fonction de localisation et de suivi d’objets qui sera utilisée notamment pour la commande référencée capteur lors de la saisie d’objet. Sur la vidéo ci-dessous, on voit comment le système de vision localise l’objet en s’appuyant aussi bien sur ses contours que sur la texture qui le compose.

Projet Romeo 3

Reconnaissance des objets (ARMINES)

Si la fonction de tracking est très utile pour la préhension des objets, elle n’offre pas d’informations sémantiques sur la nature de l’objet. L’objet n’est pas reconnu comme une boîte de médicaments ou une tasse.