Équipe AVR - Automatique Vision et Robotique

ISAV 2020-2021

De Équipe AVR - Automatique Vision et Robotique
Sauter à la navigation Sauter à la recherche

Projets tutorés

  • Présentation et attribution des sujets : mardi 15 décembre de 10h30
  • Debut des projets : jeudi 7 janvier en salle C138 à TPS;
  • Evaluation des projets : présentation orale des projets le vendredi 19 février de 9h30 à 14h en salle C138. Le rapport d'une quinzaine de pages maximum et les codes sont à envoyer au(x) tuteur(s) avec copie à G. I. Bara pour le 27 février au plus tard.


Ordre de passage
Etudiants Sujet Heure de passage
BOULAY Alexis, DANIELE Vincent Traitement d'image pour l'identification d'un robot à câbles 9h30 à 10h00
DIEUMEGARD Hugo, DEMEURANT Léo Asservissement visuel direct pour l'endoscopie flexible robotisée 10h00 à 10h30
STHENEUR François, BRESSON Camille Loi de commande prédictive sous contraintes sur carte Arduino 10h30 à 11h00
BIZOUARD Camille, ROUANET Paul Simulation d'asservissement visuel 11h00 à 11h30
HERVÉ Céline, VIMBERT Roxane, PALUT Olivia Programmation multitâche d'un robot mobile Turtlebot 11h45 à 12h15
FERRER Ludovic, FOURDAN Paul Estimation des paramètres d'un robot à câble flexibles 12h15 à 12h45
NOUVEL Laura, SIMON Lucie Odométrie inertielle-visuelle monoculaire 12h45 à 13h15
EHRHARDT Léo, FLECK Nicolas Suivi de trajectoire pour des robots mobiles monocycle 13h15 à 13h45
LASSALLE-ASTIS Nina, LAVIEILLE François Etude de la stabilité des systèmes descripteurs avec changement d'indice 13h45 à 14h15


  • Sujets :

Sujet 1 : Traitement d'image pour l'identification d'un robot à câbles

  • Encadrants : Edouard Laroche [1] et Rima Saadaoui [2]
  • Objectifs : contribuer à l'identification d'un modèle de robot à câbles en estimant, à partir d'un flux vidéo, les déformations transverses d'un de ses câbles
  • Déroulement du projet : Un modèle de robot à câbles a été développé qui prend en compte des déformations transverses de type paraboliques. A partir d'un flux vidéos obtenu sur un robot planaire (il suffit pour cela de n'utiliser que 4 câbles du robot qui en comporte 8), vous aurez la charge d'estimer l'évolution au cours du temps des déformations des câbles. Selon les conditions au moment du projet, vous pourrez participer aux expérience destinées à récupérer le flux vidéo. Suivant votre avancée, vous pourrez également prendre en main le simulateur du robot et comparer les trajectoires obtenues avec celle fournies par la simulation.
  • Matériel disponible : robot à câbles INCA 6D et caméra
  • Lieu : TPS et/ou à distance
  • Etudiants : BOULAY Alexis, DANIELE Vincent

Sujet 2 : Asservissement visuel direct pour l'endoscopie flexible robotisée

  • Encadrant : Florent Nageotte [3]
  • Objectifs : Les méthodes d’asservissement visuel direct (également appelé asservissement visuel photométrique ou asservissement visuel basé luminance) permettent de réaliser le contrôle d’un robot à partir d’images sans avoir recours à des procédures de traitement d’image complexes. Le vecteur d’erreur consiste en la différence des niveaux de gris entre une image désirée et l’image courante. Le jacobien utilisé dans le correcteur ne dépend alors que du gradient de l’image courante, qui peut être obtenu très facilement [Col2008,Col2011]. Ces techniques ont beaucoup été utilisées dans le cas de robots médicaux guidés par ultrasons [Nad2013] car les techniques conventionnelles nécessitant d’extraire des primitives visuelles fonctionnent mal dans le cas d’images ultrasonores.

Principe asservissement visuel direct.png

En endoscopie ces techniques ont peu été utilisées. Une des difficultés est liée au sous-actionnement des endoscopes robotisés. Par exemple, l’endoscope du robot STRAS [2] développé au laboratoire ICube dispose de seulement 4 DDLs. Il est donc en général impossible de réduire l’erreur de luminance à zéro. Une autre limitation est le bassin de convergence réduit des asservissements visuels directs. Les applications de suivi actif pour lesquelles l’erreur reste faible sont peu affectées par ce problème. Ce n’est plus le cas si l’erreur ne peut pas être annulée.

Dans ce projet on s’intéressera aux possibilités de contrôle d’un endoscope robotisé à partir d’asservissement visuel direct. Pour cela on développera un simulateur basé sur Matlab afin d'explorer la possibilité d'utiliser des invariants aux mouvements non motorisés.

  • Références :

[Col2008] C. Collewet, E. Marchand, and F. Chaumette. Visual servoing set free from image processing. In IEEE Int. Conf. on Robotics and Automation, ICRA08, Pasadena, CA, May 2008.

[Col2011] C. Collewet and E. Marchand. Photometric visual servoing. IEEE Trans. on Robotics, 27(4):828–834, August 2011.

[Nad2013] C. Nadeau and A. Krupa.Intensity-based ultrasound visual servoing : Modeling and validation with 2-d and 3-d probes.Transactions on Robotics, 29(4) :1003–1015, August 2013

  • Déroulement du projet :
    • Développement d'une simulation avec Matlab
    • Test de lois de commande
    • Simulation sur images endoscopiques
  • Matériel disponible : Utilisation de Matlab en salle de projet, images in vivo d'endoscopie
  • Lieu : Télécom Physique Strasbourg / Distanciel
  • Etudiants : DIEUMEGARD Hugo, DEMEURANT Léo

Sujet 3 : Filtrage pour la reconstruction de pose avec une caméra en mouvement

  • Encadrants : Florent Nageotte [4]
  • Objectifs : On souhaite tester des méthodes de filtrage (filtre de Kalman sans parfum, filtre particulaire) pour reconstruire la pose complète d'une caméra par rapport à un objet inconnu dans le cas où la mesure du mouvement de la caméra est très imprécise. L'application visée est en endoscopie flexible robotisée, où les mouvements de la caméra endoscopique sont mal connus en raison des erreurs sur le modèle cinématique direct du robot (frottement des câbles, déformations du corps de l'endoscope, écrasement des vertèbres de flexion). On se trouve donc dans le cas où on dispose d'un modèle de changement d'état entâché de bruit et d'une mesure seulement partielle (facteur d'échelle inconnu), pour lequel des méthodes d'estimation d'état peuvent fournir des solutions intéressantes.
  • Déroulement du projet : Il s'agira d'un projet de simulation avec Matlab. Une simulation directe réaliste sera d'abord mise en place. Puis des méthodes de filtrage seront développées et testées dans différentes configurations (amplitude de mouvement de l'endoscope, erreurs sur le modèle cinématique). NB : ce projet pourrait être prolongé par un stage avec un focus sur les aspects de vision par ordinateur avec une mise en oeuvre sur un robot réel. Renseignements
  • Matériel disponible : Machine personnelle équipée de Matlab ou machine en salle de projet.
  • Lieu : Salle de projet TPS ou à distance.
  • Etudiants :

Sujet 4 : Loi de commande prédictive sous contraintes sur carte Arduino

  • Objectifs : Implémentation d'une loi de commande prédictive sous contraintes sur une carte Arduino Due.

La commande prédictive sous contraintes, Model Preditive Control (MPC) en anglais est une branche de l'automatique parmi les plus reconnues en industrie. L'idée est de construire un problème d’optimisation basé sur la prédiction des futurs états du système (à partir du modèle), ou la minimisation de la fonction coût permet d’atteindre les objectives de performance, tout en prenant en compte les contraintes : saturations, valeurs interdites pour l'état (vitesse maximale d'un moteur par exemple) ..etc. L’implémentation pratique de ces lois de commande nécessite la résolution, en temps-réel (< 1 ms), d'un problème d'optimisation de type programmation quadratique avec contraintes, ce qui représente la taches principale du projet. Enfin, nous souhaitons tester la solution sur une maquette que nous utilisons pour les travaux pratiques en automatique (QET DC Motor Control Trainer). L'idée et de contrôler la position d'un moteur à courant continue, en minimisant l’énergie du signal de commande et en respectant les contraintes : ne pas dépasser une vitesse maximale donnée et respecter la saturation du signal d'entrée.

DC quanser.jpeg
  • Déroulement du projet :
  1. Programmer un solveur des problèmes d'optimisation de type programmation quadratique avec contraintes.
  2. Optimisation du code afin d'atteindre une convergence rapide (< 1 ms)
  3. Écrire les bibliothèques permettant de formaliser un problème MPC
  4. Évaluer la solution sur une maquette de commande de la position d'un moteur à courant continu
  • Matériel disponible :
  1. Arduino Due
  2. Carte électronique permettant de faire l'interface avec la maquette
  3. Maquette de commande de la position d'un moteur à courant continu
  • Lieu :
  1. A Distance
  2. C003 - Télécom Physique Strasbourg, pour l’évaluation pratique
  • Etudiants : STHENEUR François, BRESSON Camille

Sujet 5 : Programmation multitâche d'un robot mobile Turtlebot

Turtlebot3 burger components.png
  • Encadrant : Loic Cuvillon [5]
  • Objectifs : Programmation multi-tâche légère en langage C d'un robot mobile turtleBot3 (https://www.youtube.com/watch?v=74NnDkFFGV8) afin d'atteindre un point d'arrivée en évitant des obstacles détectés par le LIDAR embarqué.
  • Déroulement du projet :
    • Assemblage et test du Turtlebot3
    • Installation ROS et test des packages disponibles pour le Turtlebot3 Burger (pour comparaison et prise en main)
    • Installation d'un Linux temps réel sur le Raspberry Pi embarqué (RT_PREEMPT patch ou Xenomai)
    • Ecrire ou transposer le code d'odométrie et de commande cinématique du robot disponible dans le driver ROS pour le turtlebot dans un code C/C++ multi-tâche.
    • Evaluer la méthode des potentiels pour atteindre un point d'arrivée en évitant des obstacles détectés par le LIDAR
  • Matériel disponible  : Un turtlebot burger. Le robot est équipé de 2 moteurs Dynamixel incluant variateurs et codeurs, d'une centrale inertielle, un LIDAR et une carte ARM compatible ROS et un Raspberry pi. L'environnement de développement ROS (Robotic Operating System) fournit des bibliothèques dédiées à ce robot de haut niveau pouvant servir de comparaison.
  • Lieu : Telecom Physique Strasbourg C138
  • Etudiants : HERVÉ Céline, VIMBERT Roxane, PALUT Olivia

Sujet 6 : Simulation d'asservissement visuel

  • Encadrants : Philippe Zanne
  • Objectifs : Virtualization du robot des TPE ISAV afin de pouvoir s'abstraire de la couche matériel. On propose pour cela d'utiliser un logiciel de modélisation 3d du type BLENDER et son moteur d'animation afin de pouvoir créer le robot et interagir à distance avec le modèle.
  • Déroulement du projet :
  1. créer le modèle 3d du robot
  2. création de la chaine cinématique du robot
  3. animation du robot à partir de données articulaires venant d'un programme tiers
  4. mise en place de la boucle d'asservissement visuel
  • Matériel disponible : Machine personnelle équipée de BLENDER ou machine en salle de projet
  • Lieu : Salle de projet TPS ou à distance
  • Etudiants : BIZOUARD Camille, ROUANET Paul

Sujet 7 : Estimation des paramètres d'un robot à câble flexibles

  • Encadrants : Rima SAADAOUI, Edouard LAROCHE [6], Hassan OMRAN
  • Objectifs : Vous aurez en charge de proposer une méthode d'identification permettant d'estimer les paramètres d'un robot parallèle à câbles tenant compte des flexibilités des câbles
  • Déroulement du projet : nous disposons déjà d'un simulateur du robot que vous commencerez par prendre en main. Vous envisagerez différentes approches permettant d'estimer les valeurs des paramètres. Parmi celles proposées dans la System Identification Toolbox de Matlab, la méthode d'identification de type "boite grise " (idnlgrey) sera un bon candidat. Vous mettrez en œuvre la méthode retenue sur des données simulées et proposerez une trajectoire d'excitation permettant d'estimer les paramètres avec une précision satisfaisante
  • Matériel disponible : simulateur du robot et système expérimental INCA
  • Lieu : TPS et/ou distanciel
  • Etudiants : FERRER Ludovic, FOURDAN Paul

Sujet 8 : Odométrie inertielle-visuelle monoculaire

  • Encadrants : Adlane Habed [7]
  • Objectifs : Odométrie inertielle-visuelle monoculaire
  • Déroulement du projet : Il s'agit d'exploiter des informations partielles provenant d'une centrale inertielle et des images successives d’une caméra en mouvement pour le calcul de l'odométrie (le mouvement) de cette dernière. Plusieurs cas de figures feront l’objet de cette étude selon que la caméra soit calibrées ou pas et selon les informations considérées de la centrale inertielle.
  • Matériel disponible : Votre smartphone, un PC avec Matlab et/ou OpenCV
  • Lieu : Télécom Physique Strasbourg et/ou distanciel
  • Etudiants : NOUVEL Laura, SIMON Lucie

Sujet 9 : Suivi de trajectoire pour des robots mobiles monocycle

  • Encadrants : G. Iuliana Bara [8]
  • Objectifs : L’objectif est d’implémenter des techniques de commande robuste pour le suivi de trajectoire des robots mobiles monocycle.
  • Déroulement du projet : Sur la base d’un modèle cinématique soumis à des perturbations et en prenant en compte la saturation du signal d'entrée, la stratégie de commande utilise une commande par modes glissants pour l’asservissement de l’orientation et la méthode des ellipsoïdes attractifs pour l’asservissement en position.
  • Matériel disponible : PC avec Matlab
  • Lieu : TPS, salle projet C138 et/ou à distance
  • Etudiants : EHRHARDT Léo, FLECK Nicolas

Sujet 10 : Etude de la stabilité des systèmes descripteurs avec changement d'indice

  • Encadrants : G. Iuliana Bara[9]
  • Objectifs : Etude de la stabilité des systèmes descripteurs commutés avec changement d'indice
  • Déroulement du projet :
  • Matériel disponible : PC avec Matlab
  • Lieu : TPS, salle projet C138 et/ou à distance
  • Etudiants : LASSALLE-ASTIS Nina, LAVIEILLE François