Équipe AVR - Automatique Vision et Robotique

ISAV 2019-2020

De Équipe AVR - Automatique Vision et Robotique
Aller à : navigation, rechercher

Visite d'entreprise

  • Visite : Hager à Obernai
  • Date : 18 octobre de 7h45 à 12h30

Isav1.jpg Isav2.jpg Isav3.jpg

Projets tutorés

  • Présentation et attribution des sujets : vendredi 6 décembre de 13h30
  • Debut des projets : vendredi 13 décembre à 8h30 en salle C138 pour les projets qui auront lieu à TPS; vendredi 13 décembre à l'IRCAD pour les projets qui auront lieu à IRCAD (contacter l'encadrant afin d'obtenir un rendez-vous !!)
  • Evaluation des projets : vendredi 14 février de 8h30 à 13h30 en salle C138
  • Sujets :

Asservissement visuel direct pour l'endoscopie flexible robotisée

  • Encadrant : Florent Nageotte [1]
  • Objectifs : Les méthodes d’asservissement visuel direct (également appelé asservissement visuel photométrique ou asservissement visuel basé luminance) permettent de réaliser le contrôle d’un robot à partir d’images sans avoir recours à des procédures de traitement d’image complexes. Le vecteur d’erreur consiste en la différence entre une image désirée et l’image courante. Le jacobien utilisé dans le correcteur ne dépend alors que du gradient de l’image courante, qui peut être obtenu très facilement [Col2008,Col2011]. Ces techniques ont beaucoup été utilisées dans le cas de robots médicaux guidés par ultrasons [Nad2013] car les techniques conventionnelles nécessitant d’extraire des primitives visuelles fonctionnent mal dans le cas d’images ultrasonores.
Principe de l'asservissement visuel direct

En endoscopie ces techniques ont peu été utilisées. Une des difficultés est liée au sous-actionnement des endoscopes robotisés. Par exemple, l’endoscope du robot STRAS [2] développé au laboratoire ICube dispose de seulement 4 DDLs. Il est donc en général impossible de réduire l’erreur de luminance à zéro. Une autre limitation est le bassin de convergence réduit des asservissements visuels directs. Les applications de suivi actif pour lesquelles l’erreur reste faible sont peu affectées par ce problème. Ce n’est plus le cas si l’erreur ne peut pas être annulée.

Dans ce projet on s’intéressera aux possibilités de contrôle d’un endoscope robotisé à partir d’asservissement visuel direct. Pour cela on développera un simulateur basé sur Matlab afin d'explorer la possibilité d'utiliser des invariants aux mouvements non motorisés.

  • Références :

[Col2008] C. Collewet, E. Marchand, and F. Chaumette. Visual servoing set free from image processing. In IEEE Int. Conf. on Robotics and Automation, ICRA08, Pasadena, CA, May 2008.

[Col2011] C. Collewet and E. Marchand. Photometric visual servoing. IEEE Trans. on Robotics, 27(4):828–834, August 2011.

[Nad2013] C. Nadeau and A. Krupa.Intensity-based ultrasound visual servoing : Modeling and validation with 2-d and 3-d probes.Transactions on Robotics, 29(4) :1003–1015, August 2013

  • Déroulement du projet :
    • Développement d'une simulation avec Matlab
    • Test de lois de commande
    • Simulation sur images endoscopiques
  • Matériel disponible : Utilisation de Matlab en salle de projet, images in vivo d'endoscopie
  • Lieu : Télécom Physique Strasbourg
  • Etudiants : Waessem Renaud, Baruch Camille

Localisation et suivi 3D d'un crayon en temps réel

  • Encadrant : Philippe Zanne [3]
  • Objectifs : Lors de la fête de la science, une des demonstrations présentées en robotique est un robot artiste. Ce robot dessine les visiteurs du stand à partir d'images provenant d'une webcam. Le problème du système actuel est que le dessin se fait en boucle ouverte, ce qui nécessite pour chaque "oeuvre" un recalage entre le robot et le support du dessin. Afin de supprimer cette phase de recalage, nous souhaiterions développer un système capable partir d'une caméra, de reconstruire en temps réel la position et l'orientation du crayon manipulé par le robot.
  • Déroulement du projet : Pour attendre ce but, il faudra :
    1. développer un marqueur 3D assurant de pouvoir reconstruire la position du stylo quelque soit sa configuration (on pourra utiliser les marqueurs plan proposés par la bibliothèque "aruco".
    2. calibration de la camera et du marqueur
    3. développer un algorithme du suivi de ce marqueur.
    4. reconstruire par pose du stylo
    5. (bonus) réaliser une petite application affichant un dessin réalisé par un utilisateur
  • Matériel disponible : PC avec opencv aruco et qt en salle projet.
  • Lieu : Télécom Physique Strasbourg
  • Etudiants : Parisot Axel, STEPHAN Thomas

Navigation avec Turtlebot (ROS)

  • Encadrant : Loic Cuvillon [4]
  • Objectifs :
Turtlebot3 burger components.png

Utiliser l’environnement ROS et le robot dédié turtleBot3 Burger pour évaluer une solution de navigation entre un point de départ et d’arrivé en évitant des obstacles.

Le robot est équipé de 2 moteurs Dynamixel incluant variateurs et codeurs, d'une centrale inertielle, un LIDAR et une carte ARM compatible ROS. L'environnement de développement ROS (Robotic Operating System) fournit quant à lui des bibliothèques dédiées à ce robot incluant :

  • Déroulement du projet :
    • Assemblage et test du Turtlebot3
    • Installation ROS et test des packages disponibles pour le Turtlebot3 Burger
    • Évaluation des méthodes disponibles de navigation d’un point de passage (waypoint) à un autre
    • Évaluation de la méthode des graphes de visibilité pour définir des waypoints à travers une scène contenant des obstacles.
  • Matériel disponible : deux Turlebot3 Burger et deux PC Linux pour y installer ROS
  • Lieu : Télécom Physique Strasbourg
  • Etudiants : FAURE Johan, Lhuillier Maxime

Robotique collaborative

  • Encadrant : Maciej BEDNARCZYK [5]
  • Objectifs :

L'utilisation de systèmes robotiques pour assister les thérapies de rééducation des troubles de la fonction neuromotrice est un sujet actif de la robotique médicale. Les dispositifs de rééducation robotiques présentent un grand potentiel pour le traitement de lésions neurologiques telles que les accidents vasculaires cérébraux, car le traitement implique des mouvements répétitifs afin de restaurer les fonctions motrices. L'objectif de la rééducation des membres supérieurs est de restaurer la capacité du patient à utiliser ses deux mains pour gérer ses activités quotidiennes. Contrairement aux stratégies classiques de rééducation qui ne visent que le membre atteint, la rééducation bimanuelle consiste à utiliser simultanément un bras sain et un bras atteint dans un mouvement bimanuel commun. Ce type de rééducation repose sur le retour proprioceptif de chaque membre. L'un des principaux défis à relever est le choix du couplage entre les deux mains du patient. Si la rigidité du couplage est trop grande, le patient est susceptible d'appliquer une contribution minimale avec le bras atteint, car le bras sain domine le mouvement. Au contraire, si la connexion est trop souple, les patients présentant une déficience grave ne pourront effectuer aucun mouvement bimanuel car la force du côté le plus faible n’est pas suffisante.

Le but du projet est de proposer des stratégies de rééducation bimanuelle en utilisant les avantages de la robotique collaborative et notamment de la commande en impédance variable. Ce type de commande est très utilisé dans les tâches d'interaction physique entre l'Homme et le robot. Le travail demandé consiste à simuler le comportement d'un robot collaboratif commandé en impédance et définir les lois de changement de profile d'impédance en fonction de l'interaction avec le patient lors de la tâche de rééducation.

  • Déroulement du projet :
  • Matériel disponible : PC avec matlab
  • Lieu : TPS, réunions IHU
  • Etudiants : Foky Zegui, Cornilleau Axel

Commande robuste d'un système non linéaire

  • Encadrant : G. Iuliana Bara [6]
  • Objectifs :

Des nombreux domaines tels que la robotique ou les machines-outils, utilisent souvent des modèles de systèmes à deux masses couplées par un arbre élastique et un réducteur avec jeu. Ce type de modèles permet de prendre en compte des phénomènes apparaissant entre différentes pièces mécaniques, telles que les engrenages et les arbres, pouvant générer des effets d’adhérence-glissement et des cycles limites. De plus, un frottement non linéaire peut être considéré autant pour l'entraînement que pour la charge.

L’objectif du projet est de concevoir un correcteur robuste de type H_inf pour la commande en position de ce type de système non linéaire.

  • Déroulement du projet : simulation du modèle d’état non linéaire en Matlab/simulink, études des points d'équilibre, synthèse d'un correcteur robuste de type H_inf
  • Matériel disponible : PC avec Matlab/Simulink
  • Lieu : TPS, Illkirch
  • Etudiants : Gauthier Sylvain, Rohr Julien

Migration de la manip de TPE (asservissement visuel) sur bus EtherCAT

  • Encadrant : Philippe Zanne [7]
  • Objectifs :

L'objectif du projet est de migrer sur bus EtherCAT le robot utilisé pour faire les TPE ISAV en 2eme année :

    • remplacer les cartes I/O actuelles par des composants beckhoff.
    • installation de pc + composant logiciel nécessaires pour le contrôleur du robot
    • installation d’un nouveau pc vision
    • réalisation d’un asservissement visuel
  • Déroulement du projet :
  • Matériel disponible :
  • Lieu : TPS, Illkirch
  • Etudiants : Roussel Loic, PLASSE Jonathan

Suivi d’instruments robotisés flexibles dans des images de colonoscopie

  • Encadrant : Florent Nageotte [8]
  • Objectifs :
Instruments de chirurgie robotisés vus par une caméra endoscopique

Le suivi d’instruments robotisés flexibles dans des images de colonoscopie est une tâche très utile si on veut réaliser des gestes partiellement automatiques. Toutefois c’est une tâche très difficile pour plusieurs raisons : les images endoscopiques sont généralement de qualité médiocre, l’environnement est mobile, les réflexions et spécularités rendent les techniques de détection peu efficaces. Dans le cas d’instruments robotisés on dispose de mesures de déplacement moteur qui peuvent être mises à profit pour guider la détection. Cependant les modèles sont peu précis en raison des transmissions par câbles utilisées pour l’actionnement des instruments. Dans ce projet on s’intéressera aux possibilités de suivre des instruments en combinant modèles et traitement d’images par des méthodes de fusion de données. On pourra notamment envisager des méthodes de filtrage de Kalman ou de filtrage particulaire.

  • Déroulement du projet :
    • Analyse des images et données
    • Développement de méthodes de traitement d’image, par exemple basées sur la couleur, sur la corrélation ou le suivi de points d’intérêts
    • Développement de méthodes de filtrage
  • Matériel disponible : Utilisation de Matlab / OpenCV ou tout autre logiciel souhaité en salle de projet, images in vivo d'endoscopie et données moteur associées seront fournies
  • Lieu : Télécom Physique Strasbourg
  • Etudiants : CHARCOSSET Rose / FERY Corentin

Stages PFE

à suivre