Équipe AVR - Automatique Vision et Robotique

Page personnelle de Florent Nageotte

De Équipe AVR - Automatique Vision et Robotique
Sauter à la navigation Sauter à la recherche


Maître de Conférences
Enseignant en Automatique, chercheur en Robotique


Florent nageotte id3.jpg


english | français

Offre de Stage de Master

Computer vision for robotic flexible endoscopy

pdf file for internship proposal


Title : Environment reconstruction using a monocular endoscopic camera

Keywords : visual tracking, shape from motion, depth recovery, medical robotics

Duration : approximately 5 months (ideally between february and august 2021)

Grant : legal grant for training periods (~ 550 euros / month).

Location : ICube Robotic platform, at IHU Strasbourg

Context : This internship takes place in the scope of the assistance to medical procedures with robotic flexible endoscopes.

The AVR team of the ICube laboratory has developed a robotic platform for endoluminal surgery called STRAS (see photo below). This is a telemanipulated system equipped with an endoscopic camera and two articulated instruments, with 3 degrees of freedom each. In addition to the conventional telemanipulation control, we aim at including automatic modes to the robot, with the aim to perform tasks such as automated scanning, or automatic endoscope positioning. For reaching this aim, one of the difficulties to be tackled is the reconstruction of the shape of the environment with the only available sensor: a monocular endoscopic camera.

Automatic task viewed from the endoscopic camera
STRAS robotic system

Problem to be solved In this project, we aim at reconstructing the shape and position of the environment (tissues in in vivo environment, phantoms in laboratory setups) with respect to the endoscopic camera. The camera being monocular, shape and structure from motion will be primarily used to reconstruct the environment and motions up to a scale factor. Shape from shading could also be envisioned. The difficulties are the low quality of endoscopic images, the limited possible lateral displacement of the endoscope and the possible interactions of the instruments with the tissues creating disturbing motions and deformations. In a second step, we will try to reconstruct the metric shape and positions. This can be done by using odometric measurements on the endoscope. However, these measurements are known to be imprecise. Specific strategies, will thus be needed to recover the unknown scale factor, by using for instance Bayesian filtering approaches or machine learning techniques.

Work to be carried out The intern will have to develop algorithms for shape reconstruction from monocular images by relying on state of the art methods for tissues tracking in endoscopy (gastroenterology in particular). Algorithms have already been implanted for pure tracking and can serve as a basis. Techniques for depth estimation will then be developed, by focusing on the use of embedded measurements provided by the robot encoders. If needed a second miniature camera could be added to the setup. Tests will be carried out in the laboratory on phantoms and on in vivo images acquired during previous preclinical trials.

Work environment The internship will take place on the medical robotic platform of the ICube laboratory located at IHU (Institut Hospitalo Universitaire) in the heart of Strasbourg. The intern will be supervised by Florent Nageotte (associate professor in medical robotics) and Philippe Zanne (Engineer, responsible for the STRAS robotic system). The intern will have access to a computer for developing programs, to image acquisition systems, to in vivo images and to the robotic device for laboratory testing. Developments will be made in C / C++ or Python and possibly with Matlab for prototyping.

Covid19 conditions: In case of sanitary constraints that may prevent the internship to be realized on site, a large part of the work could be done at a distance by working on data acquired off-line. Only robotic testing will be made impossible. The intern will have to work on his/her own laptop either developing and running algorithms locally or at a distance on a connected machine.

Candidates profile We are looking for Master students in the second year or students in engineering school at the level of Master 2, with major in computer vision or robotics / computer science with a strong interest / experience in computer vision. Interest in medical applications is a plus. Proficiency in C/C++ or Python coding is mandatory.

Conditions 5 to 6 months between February 2021 and August / September 2021. The intern will receive the legal “gratification” (around 550€ / month)

Application Interested candidates should send CV / resume, master program and grades (if available) and motivation letter to Nageotte@unistra.fr, by mentioning “computer vision internship” in the email subject.

Documents pédagogiques récents

Pour les étudiants de M1MNE

  • Les supports de cours sont disponibles ici (version déposée le 08/09/20).
  • Vous pouvez télécharger la version électronique du cours (déposée le 08/09/20)

ainsi que les sujets de TD (version du 08/09/20).










Curriculum Vitae

  • 2000 : Diplôme d'ingénieur de l'ENSPS, Strasbourg.
  • 2000 : DEA Photonique Image et Cybernétique, ULP, Strasbourg. Stage de fin d'études au Center for Distributed Robotics de l'université de Minnesota sous la direction de N. Papanikolopoulos
  • 2005 : Thèse de doctorat, ULP, Strasbourg en robotique médicale sous la direction de M. de Mathelin.
  • Depuis septembre 2006 : Maître de Conférences à l'université de Strasbourg (anciennement ULP)

Responsabilités

  • Responsable du parcours IRMC du master IRIV porté par TPS (M1 IMed / M2 IRMC)
  • Référent Alumnis et Association des Anciens élèves de l'école, responsable de l'enquête annuelle de la Conférence des Grandes Ecoles sur le devenir des diplômés

Fonctions d'enseignement

Maître de Conférences l' Université de Strasbourg, rattaché à Télécom Physique Strasbourg, (école d'ingénieurs) depuis février 2019 (auparavant rattaché à la faculté de Physique et Ingénierie) .

Matières enseignées

A TPS 3ème année, TIS option DTMI

  • GMCAOs en chirurgie digestive
  • Estimation de pose, recalage et asservissements visuels pour la robotique médicale (Transparents de cours (version du 01/12/2019), Fascicule de TDs)


TPS, M2 IRIV / IRMC

En licence ESA et Mécatronique 3ème année

En master MNE 1ère année



TPS formation FIP 3ème année



Ecole d'été de robotique médicale

  • Présentation des asservissements visuels appliqués à la robotique médicale, donnée lors de la 8ème école d'été européenne de robotique médicale à Montpellier le 24 septembre 2019. Lien sur la page de l'école

Recherche

Assistance robotisée aux gestes chirurgicaux :

  • Assistance à la suture en chirurgie laparoscopique
  • Assistance à la chirurgie transluminale (projet Anubis dans le cadre du pôle de compétitivité Alsace "Innovations Thérapeutiques" : développement de gestes autonomes et compensation de mouvement physiologique
  • Assistance à la chirurgie endoluminale (projet Isis dans le cadre du pôle de compétitivité Alsace "Innovations Thérapeutiques" : développement, commande et télémanipulation d'un système robotique basé sur des endoscopes flexibles), puis projet de maturation EASE financé par SATT Conectus
  • Encadrement de thèses
    • Laurent Ott, thèse soutenue en novembre 2009 (compensation de mouvements physiologiques en endoscopie flexible). Prix de thèse de l'UDS.
    • Bérengère Bardou, thèse soutenue en novembre 2011(Développement et commande d'un système robotique pour l'assistance à la chirurgie transluminale)
    • Antonio De Donno, thèse soutenue en décembre 2013 (Assistance à la chirurgie endoluminale et à trocart unique)
    • Paolo Cabras, thèse soutenue en février 2016 : 3D Pose Estimation of Continuously Deformable Instruments in Robotic Endoscopic Surgery : manuscript
    • Laure-Anaïs Chanel, thèse soutenue en mars 2016 (Traitement par HIFU robotisé sous imagerie échographique)
  • Thèses en cours :
    • Rafael Aleluia Porto, depuis décembre 2016 (commande par vision de systèmes flexibles)
    • Gaelle Thomas, depuis octobre 2018, avec J. Vappou et L. Barbé (Assistance robotisée à l'ouverture de la barrière hémato-encéphalique), dans le cadre du projet ANR 3BOPUS porté par CEA - Neurospin (B. Larrat)
    • Thibault Poignonec, depuis octobre 2019 (commande partagée pour la chirurgie mini-invasive)
  • Co-encadrement :
    • Fernando Gonzalez Herrera, depuis février 2020
    • Guiqiu Liao, depuis octobre 2019


Thématiques

  • Assistance robotique à l'endoscopie flexible, projet STRAS
  • Commande par vision
  • Asservissement visuels
  • Estimation par la vision
  • Planification de trajectoire
  • Robotique médicale et chirurgicale
  • Systèmes flexibles à câbles
  • Recalage par l'image

Publications

Publications téléchargeables

  • Combining Differential Kinematics and Optical Flow for Automatic Labeling of Continuum Robots in Minimally Invasive Surgery, dans Frontiers in Robotics and IA, september 2019, Article en open access

Liste des publications

http://icube-publis.unistra.fr/?author=nageotte&allaut=or&title=&team=&platform=&national=&project=&tagmed=&year1=&year2=&=#hideMenu


Coin perso

Seattle, WA (ICRA 2015)

Centre ville depuis Lake Union
Dîner de bienvenue au Experience Music Project / Science Fiction Museum
Vue nord depuis Columbia Center



Tokyo (Medical robotics seminar à l'ambassade de France)

Temple d'Asakusa
Tokyo depuis Sunshine60
Shibuya by night



Texas (Computational Surgery 2011)

San Antonio Riverside
Fort Alamo
Texas Medical Center Houston


Minneapolis, MN (EMBC09)

Downtown Minneapolis
le plus grand "Mall" des USA
Land of lakes (lake Calhoun)

Photos du Japon (Icra09, Kobe)

Kyoto - le pavillon d'or
Kobe de jour
... et de nuit

Photos de Scottsdale, AZ (Biorob08)

Soleil couchant
la "Sun Valley" depuis la "Camel Moutain"
le repos du "best student"

Photos de Californie (Icra08, pasadena)

Banc de lions de mer
Véhicules de secours
Santa Barbara

Photos de Pékin (Iros06)

Palais d'été
Soupe à la tortue
Grande muraille dans la brume

Photos de l'Ontario (visite chez MDRobotics septembre 06)

Chutes du Niagara
Toronto depuis la tour CN
Tour CN, Toronto

Photos de San Diego (Medical Imaging 05)

Palais
Balboa park
Dauphins en moyenne mer

Photos de Chicago (Cars04)

Chicago by night
...encore
et de jour