Nous proposons une methode de localisation et construction de carte simultanees, adaptee aux objectifs et contraintes de la RA. Cette methode repose sur le suivi inter-images de surfaces planes de la scene, dont les intersections avec un plan de reference sont detectees automatiquement par filtrage particulaire. Ces intersections sont utilisees pour lever l'ambiguite du positionnement mono-plan et connaitre les equations des plans intersectant le plan de reference. Un systeme de RA semi-automatique est propose, qui ne reclame que tres peu d'intervention de la part de l'operateur : celui-ci doit simplement ``viser'' avec la camera les plans a integrer et valider ou non les solutions proposees par le systeme (par simple pression sur un bouton). Differentes strategies de filtrage particulaire sont comparees sur une sequence synthetique, et une utilisation complete du systeme est presentee sur une scene reelle. Enfin, nous montrons des resultats preliminaires d'extension de cette methode a un systeme de type SLAM entierement automatique.

https://hal.inria.fr/inria-00186303/document

Reconstruction et augmentation simultanées de scènes planes par morceaux

Dans cette these on aborde le probleme de la localisation en milieux urbains. Inferer un positionnement precis en ville est important dans nombre d’applications comme la realite augmentee ou la robotique mobile. Or les systemes bases sur des capteurs inertiels (IMU) sont sujets a des derives importantes et les donnees GPS peuvent souffrir d’un effet de vallee qui limite leur precision. Une solution naturelle est de s’appuyer le calcul de pose de camera en vision par ordinateur. On remarque que les bâtiments sont les reperes visuels principaux de l’humain mais aussi des objets d’interet pour les applications de realite augmentee. On cherche donc a partir d’une seule image a calculer la pose de la camera par rapport a une base de donnees de bâtiments references connus. On decompose le probleme en deux parties : trouver les references visibles dans l’image courante (reconnaissance de lieux) et calculer la pose de la camera par rapport a eux. Les approches classiques de ces deux sous-problemes sont mises en difficultes dans les environnements urbains a cause des forts effets perspectives, des repetitions frequentes et de la similarite visuelle entre facades. Si des approches specifiques a ces environnements ont ete developpes qui exploitent la grande regularite structurelle de tels milieux, elles souffrent encore d’un certain nombre de limitations autant pour la detection et la reconnaissance de facades que pour le calcul de pose par recalage de modele. La methode originale developpee dans cette these s’inscrit dans ces approches specifiques et vise a depasser ces limitations en terme d’efficacite et de robustesse aux occultations, aux changements de points de vue et d’illumination. Pour cela, l’idee principale est de profiter des progres recents de l’apprentissage profond par reseaux de neurones convolutionnels pour extraire de l’information de haut-niveau sur laquelle on peut baser des modeles geometriques. Notre approche est donc mixte Bottom-Up/Top-Down et se decompose en trois etapes cles. Nous proposons tout d’abord une methode d’estimation de la rotation de la pose de camera. Les 3 points de fuite principaux des images en milieux urbains, dits points de fuite de Manhattan sont detectes grâce a un reseau de neurones convolutionnels (CNN) qui fait a la fois une estimation de ces points de fuite mais aussi une segmentation de l’image relativement a eux. Une second etape de raffinement utilise ces informations et les segments de l’image dans une formulation bayesienne pour estimer efficacement et plus precisement ces points. L’estimation de la rotation de la camera permet de rectifier les images et ainsi s’affranchir des effets de perspectives pour la recherche de la translation. Dans une seconde contribution, nous visons ainsi a detecter les facades dans ces images rectifiees et a les reconnaitre parmi une base de bâtiments connus afin d’estimer une translation grossiere. Dans un soucis d’efficacite, on a propose une serie d’indices bases sur des caracteristiques specifiques aux facades (repetitions, symetrie, semantique) qui permettent de selectionner rapidement des candidats facades potentiels. Ensuite ceux-ci sont classifies en facade ou non selon un nouveau descripteur CNN contextuel. Enfin la mise en correspondance des facades detectees avec les references est operee par un recherche au plus proche voisin relativement a une metrique apprise sur ces descripteurs [...]

Localisation par l'image en milieu urbain : application à la réalité augmentée

Dans le cadre de la conception d'un systeme de Realite Augmentee temps reel, nous proposons et comparons plusieurs methodes de recalage basees sur la presence d'une structure plane par morceaux. En particulier, une approximation lineaire du point de vue nous permet d'obtenir un algorithme rapide et fiable. Notre systeme est plus precis que la plupart des systemes temps reel existants, bien qu'il s'appuie sur une connaissance minimale de la scene (pas de capteur, ni de marqueur). Nous evaluons les differentes methodes a l'aide d'une mire, puis presentons une incrustation sur une sequence d'interieur peu texturee.

Recalage temporel d'une structure plane par morceaux : application à la Réalité Augmentée temps réel

Integrer des elements virtuels dans des images reelles, en temps reel et en trois dimensions : comment fait-on ? A quoi cela sert-il ?

Réalité augmentée : entre mythes et réalités

Nous presentons un systeme de recalage temporel 3D/2D capable de suivre dans une sequence d'images un objet 3D dont le modele est connu. Il comporte le suivi des primitives, le calcul du point de vue et la mise a jour des primitives visibles. Le coeur de notre systeme est la methode de calcul du point de vue, qui prend en compte de facon tres robuste des primitives de type different (points, droites et courbes 3D non necessairement definies parametriquement) et est capable de donner une estimation correcte du point de vue meme lorsque des erreurs de suivi se produisent. Nous montrons la fiabilite de notre systeme dans le cadre d'un projet de realite augmentee.

https://hal.inria.fr/inria-00098702/document

Une méthode statistique robuste à deux niveaux pour le recalage temporel à partir de primitives de type différent

Mesurer en temps reel la pose d'une camera relativement a des reperes tridimensionnels identifies dans une image video est un, sinon le pilier fondamental de la realite augmentee. Nous proposons de resoudre ce probleme dans des environnements bâtis, a l'aide de la vision
par ordinateur. Nous montrons qu'un systeme de positionnement plus precis que le GPS, et par ailleurs plus stable, plus rapide et moins couteux en memoire que d'autres systemes de positionnement visuel introduits dans la litterature, peut etre
obtenu en faisant cooperer : approche probabiliste et geometrie aleatoire (detection a contrario des points de fuite de
l'image), apprentissage profond (proposition de boites contenant des facades, elaboration d'un descripteur de facades base sur un reseau de
neurones convolutifs), inference bayesienne (recalage par esperance-maximisation d'un modele geometrique et semantique compact
des facades identifiees) et selection de modele (analyse des mouvements de la camera par suivi de plans textures). Nous decrivons
de plus une methode de modelisation in situ, qui permet d'obtenir de maniere fiable, de par leur confrontation immediate a la realite, des modeles 3D utiles au calcul de pose tel que nous l'envisageons.

Gilles Simon

Papers

Positionnement visuel pour la réalité augmentée en environnement plan