CA2245044C - Procede de production de donnees cartographiques par stereovision - Google Patents

Procede de production de donnees cartographiques par stereovision Download PDF

Info

Publication number
CA2245044C
CA2245044C CA002245044A CA2245044A CA2245044C CA 2245044 C CA2245044 C CA 2245044C CA 002245044 A CA002245044 A CA 002245044A CA 2245044 A CA2245044 A CA 2245044A CA 2245044 C CA2245044 C CA 2245044C
Authority
CA
Canada
Prior art keywords
images
image
disparity
coordinates
curves
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CA002245044A
Other languages
English (en)
Other versions
CA2245044A1 (fr
Inventor
Nicolas Ayache
David Canu
Jacques Ariel Sirat
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus DS SAS
Original Assignee
Matra Systemes et Information
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matra Systemes et Information filed Critical Matra Systemes et Information
Publication of CA2245044A1 publication Critical patent/CA2245044A1/fr
Application granted granted Critical
Publication of CA2245044C publication Critical patent/CA2245044C/fr
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects

Abstract

Le procédé fournit des données cartographiques en trois dimensions à partir de n images à deux dimensions de la scène, fournies par n capteurs avec des points de vue différents. On calibre chaque capteur pour estimer les paramètres des n modèles F i(x,y,z) définissant la relation entre les coordonnées x,y,z d'un point de la scène et les coordonnées (p,q)i de sa projection dans l'image i; on met en correspondance chacun des n-1 couples d'images (comportant toutes une même image de référence), en recherchant l'homologue de chaque pixel de l'image de référence le long de l'épipolaire correspondante de l'autre image du couple; dans chaque couple de deux images et pour chaque pixel de l'image de référence, on établit une courbe de ressemblance en fonction de la disparité, le long de l'épipolaire de l'autre image; on ramène toutes les courbes dans un référentiel commun; on effectue la sommation des courbes, et on retient le pic le plus élevé de la courbe résultante; et enfin, on calcule les coordonnées x,y,z à partir de la disparité du pic et des paramètres des n modèles.

Description

PROCEDE DE PRODUCTION DE DONNEES CARTOGRAPHIQUES PAR
STEREOVISION
La présente invention concerne les procédés de produc-tion de données cartographiques en trois dimensions à partir de n images à deux dimensions d'une scène, fournies par n capteurs ayant des points de vue différents de la scène.
On sait depuis très longtemps définir la postion dans l'espace de structures présentes dans une scène et visibles dans deux images prises sous différents angles de vue, par des techniques stéréoscopiques. Ce procédé a été généralisé
au cas de n images, n étant un entier supérieur à 2, ces n images constituant un système stéréoscopique à plusieurs lignes de base.
On connaît notamment des procédés comportant les étapes suivantes - on calibre les n capteurs (en utilisant la connais-sance 3D de leur position relative par rapport à la scène observée et/ou des procédés de reconnaissance de formes, de façon à disposer des paramètres de n modèles Fi(x,y,z) définissant chacun la relation entre un point de la scène, de coordonnées x,y,z, et les coordonnées (p,q)i de sa
2 projection dans chacune des n images, pour i allant de 1 à
n ;
- on met en correspondance les n images, de façon à
localiser dans les images les coordonnées de la projecion d'un même point dans l'espace à trois dimensions ;
- on effectue une reconstruction 3D, consistant à
obtenir les coordonnées x,y et z du point 3D correspondant à chaque appariement entre images, à partir de la connais-sance des modèles Fi et des points images appariés.
Un procédé de ce genre est décrit dans l'article de Sing Bing Kang et al. "A Multibaseline Stereo System with Active Illumination and Real-Time Image Acquisition", Proceedings IEEE Int. Conf. on Computer Vision, pages 88-93, juin 1995.
Le procédé proposé dans cet article met en oeuvre quatre caméras dont les axes optiques convergent approximativement en un même point. L'image fournie par une des caméras est choisie comme référence. Etant donné que les axes des caméras ne sont pas parallèles, les lignes épipolaires associées ne sont pas parallèles aux lignes des images. Pour simplifier la restitution de l'altitude à partir des images stéréoscopiques, c'est-à-dire la reconstruction 3D, les images sont soumises à une rectification qui transforme
3 chaque paire d'images d'origine en une autre paire telle que les lignes épipolaires qui en résultent soient parallèles, égales et confondues avec les lignes des images. Le mode de mise en correspondance utilise une variable ~, définie comme la distance au centre optique, suivant l'axe de visée passant par le centre optique de la caméra de référence et le point considéré, pour calculer la zone de recherche d'homologues potentiels dans les images à apparier à l'image de référence. L'utilisation de cette variable ~ conduit inévitablement à un modèle de passage non linéaire entre les images, ce qui complique les calculs. La stratégie enseignée par l'article, consistant à affecter une importance égale à
chaque couple, est source d'erreur chaque fois que des points sont masqués dans une ou plusieurs des images.
Une étude détaillée d'algorithmes de fusion de plusieurs représentations pour restituer des données cartographiques 3D à partir de plusieurs images 2D d'une scène est donnée dans la thèse de l'Université de Paris Sud, Centre d'Orsay, Mai 1988 "Construction et Fusion de Représentations Visuel-les 3D . Applications à la Robotique Mobile" de N. Ayache.
La présente invention vise à fournir un procédé de production de données cartographiques répondant mieux que
4 ceux antérieurement connus aux exigences de la pratique, notamment en ce qu'il facilite la mise en correspondance mufti-couples de n images (n étant un entier supérieur à 2) et est suffisamment souple pour s'adapter sans difficulté à
de nombreux domaines, tels que - la détection d'obstacles et le guidage autonome d'un robot mobile, dans une scène fixe, - la modélisation 3D de sites réels, - la cartographie, - la reconnaissance aérienne, permettant d'obtenir un profil de terrain, - la modélisation de trajectoires optimales, lors de la préparation d'une mission aérienne.
Pour cela, le procédé utilise notamment la constatation que, quelle que soit la nature des capteurs (sténopé, barrette de sites photodétecteurs, capteur à balayage) et leur position relative au moment de l'acquisition des images (à condition qu'elles soient stéréoscopiques et qu'il y ait un recouvrement entre plusieurs images) on peut toujours exprimer les n-1 courbes de ressemblance, correspondant chacune à un couple d'images dont une image de référence unique, en fonction de la disparité, définie dans un couple ~5 quelconque. Pour cela, on effectue un changement de référen-tiel des courbes de ressemblance, qui peut toujours être réalisé par un modèle affine de passage de la disparité d'un couple à celle d'un autre couple.
La disparité pourra en général être assimilée à l' ab-cisse curviligne d'un point par rapport à un autre le long de l'épipolaire ; elle peut être mesurée en pixels dans le cas fréquent d'une image représentée par des points élémen-taires affectés chacun d'au moins une valeur radiométrique (luminance et/ou chrominance).
L'invention propose notamment un procédé de production de données cartographiques en trois dimensions à partir de n images à deux dimensions de la scène, fournies par n capteurs avec des points de vue différents, n étant un entier supérieur à 2, suivant lequel .
(a) on calibre chaque capteur d' ordre i pour estimer les paramètres des n modèles Fi(x,y,z) définissant la relation entre les coordonnées x,y,z d'un point de la scène et les coordonnées (p,q)i de sa projec-tion dans l'image i parmi les n_ images ;
(b) on met en correspondance chacun des n-1 couples d'images comportant toutes une même image de réfé-rence choisie parmi les n images, en recherchant l' homologue de chaque pixel ou zone de l' image de référence le long de l'épipolaire correspondante de l'autre image du couple ;
(c) dans chacun des n-1 couples de deux images compre-nant chacune une image de référence et pour chaque pixel ou zone de l' image de référence, on établit une courbe de ressemblance (courbe de variation d'un indice de similarité) en fonction de la disparité, le long de l'épipolaire de l'autre image ;
(d) on ramène toutes les courbes dans un référentiel commun, par un modèle par exemple affine, pour appa-rier le plus grand nombre possible d'images ;
(e) on effectue la sommation des courbes, en écartant éventuellement chaque pic situé à une disparité
singulière par rapport à celui de toutes les autres courbes et on retient le pic le plus élevé de la courbe résultante ; et (f) on calcule les coordonnées x,y,z,à partir de la disparité du pic retenu et des paramètres des n modèles F;(x,y,z).
Il est également possible de calculer plusieurs images de disparité en prenant différentes images comme référence.
La fusion peut s'effectuer après calcul des coordonnées en trois dimensions ; elle peut aussi s'effectuer au niveau des images de disparité, ce qui est une solution avantageuse lorsque les capteurs sont calibrés dans un espace projectif.
La fusion des résultats de mise en correspondance multi-couples peut être réalisée à l'aide d'un vote majoritaire, en affectant un coefficient de pondération plus élevé aux pics correspondant aux points de vue les plus distants de l'image de référence.
Le procédé qui vient d'être décrit permet d'écarter dans la plupart des cas les difficultés rencontrées pour trouver à coup sûr l'homologue d'un point de l'image dans une ou plusieurs autres images. L'utilisation d'un nombre n supé-rieur à 2 permet d'écarter les conséquences d'une occulta-tion dans une ou plusieurs images. La cohérence géométrique des appariements multiples réduit les erreurs et lève les ambiguïtés. La présence d'images ayant des points de vue proches permet de traiter des images ressemblantes ayant peu d'occultation entre elles; l'utilisation d'images ayant des points de vue distants permet d'obtenir une information 3D
précise.

Les caractéristiques ci-dessus ainsi que d'autres apparaîtront mieux à la lecture de la description qui suit de modes particuliers de réalisation de l'invention, donnés à titre d'exemple non limitatif. La description se réfère aux dessins qui l'accompagnent, dans lesquels .
- la figure 1 est un schéma représentant une disposition possible des capteurs et montrant le rôle de la rectifica-tion ;
- la figure 2 montre le principe des appariements d'un point par recherche sur des portions d'épipolaire ;
- la figure 3 montre des exemples de courbes de varia-tion d'un indice de ressemblance en fonction de la dispari-té ;
- la figure 4 représente un exemple de schéma d'exploi-tation des images dans le cadre de l'appariement multi-images ;
- la figure 5 montre un procédé de fusion des traite-ments multi-images ;
- la figure 6 montre un mode de mise en référence de courbes de ressemblance par rapport à un plan ; et - les figures 7A et 7B, qui montrent des courbes de ressemblance en fonction de la disparité, montrent l'intérêt d'une sélection des courbes.
On décrira tout d'abord l'architecture générale du procédé, qui est conservée quelle que soit l'application, avant d'envisager des cas particuliers. Pour simplifier, les parties déjà bien connues du procédé suivant l'invention ne seront que brièvement rappelées et on pourra se reporter aux documents déjà mentionnés ainsi que .
- en ce qui concerne le cas simple de capteurs de type sténopé, tous identiques, fournissant des images acquises dans des positions coplanaires, à la même altitude, à
l'article de R.Y. Tsai "Multiframe Image Point Matching and 3-D Surface Reconstruction" IEEE Transactions on Pattern Analysis and Machine Intelligence, PAMI-5, n° 2, pages 159-164, mars 1983 ;
- en ce qui concerne la cartographie à partir de cartes d'images aériennes numériques calibrées, à l'article de L. Gabet et al. "Construction Automatique de Modèle Numéri-que de Terrain à Haute Résolution en Zone Urbaine", Bul. SFPT n° 135, pages 9-25, 1994.
Le procédé suivant l'invention comporte trois phases es-sentielles .
- le calibrage des capteurs (étape (a) ci-dessus), ~10 - la mise en correspondance ou appariement des images, impliquant la fusion d'au moins n résultats de mise en correspondance mufti-couples, ces résultats étant les cartes de disparité directement obtenues ou des modèles numériques d'élévation (MNE) calculés à partir de ces dernières, - la reconstruction 3D (étape (f)).
Ces trois phases seront successivement décrites.
Calibrage Le calibrage des capteurs a pour but de fournir une estimation des paramètres des modèles F1(x,y,z) et Fi(x,y,z) qui définissent la relation entre les coordonnées x,y,z d'un point 3D de la scène et les coordonnées 2D (p,q) de sa projection dans le plan image respectivement nl et rci.
Le procédé exige une telle calibrage préalable des cap-teurs. Dans le cas simple de deux capteurs seulement, illustré en figure 1, le calibrage a pour but d'estimer les paramètres des modèles FUx,Y, z) F2(x,y,z) qui définissent la relation entre un point Sk de la scène, défini en trois dimensions par ses coordonnées x,y et z et les coordonnées (p,q)i de sa projection dans le plan image rti ( avec i = 1 ou 2 ) .
Le calibrage est effectué différemment selon la nature des capteurs, par des procédés connus, comme par exemple celui décrit dans l'article de Ayache mentionné plus haut.
On peut utiliser des correspondances entre des points homologues des images, définies manuellement ou obtenues par des techniques de reconnaissance de forme portant sur des voisinages.
A l'issue de cette étape, on dispose de l'ensemble des modèles Fi(x,y,z) avec iE{1,...,n~ et des directions de recherche des points correspondants, qui sont celles des épipolaires.
Toutefois, lorsque le calibrage est réalisé sans connaissance initiale 3D de la scène, la reconstruction 3D
ne peut être définie par les méthodes classiques qu'à une transformation projective près de l'espace projectif 3D. On verra plus loin que le procédé multi-couples suivant l'invention est indépendant de la géométrie et permet d'appréhender les variations d'altitude dans la scène.

Mise en correspondance multi-couples L'appariement des images s'effectue en recherchant l'homologue de chaque point P d'une image de référence, généralement défini avec son voisinage sous forme d'une vignette, le long des épipolaires E2,E3,... des autres images (figure 2). Pour cela, on établit des courbes de similarité
en fonction de la disparité d12, d 1~, . . . (lignes A et B) .
L'indice de similarité S peut être notamment un coefficient d'inter-corrélation ou un indice de ressemblance sur des contours ou des régions. Toutes les courbes sont ensuite ramenées dans un référentiel commun, par exemple d13, qui fera apparaître un appariement probable avec une précision sub-pixélique correspondant à la coïncidence des pics (ligne C de la ffigure 3).
Un changement de référentiel est nécessaire si on veut exprimer toutes les courbes dans un même référentiel en vue de leur fusion ; il utilise un modèle affine élaboré en fonction de la géométrie d'acquisition des images. Ce modèle est de la forme, pour un exemple impliquant trois images en tout .
d13 = a (~l, ~) dia + b (~l, ~) où d désigne la disparité, r~ et ~, désignent les paramètres qui définissent la géométrie des couples (1,2) et (1,3) pour une position p sur l'épipolaire de la primitive (point, contour ou région) à apparier dans l'image 1.
Lorsque le calibrage est réalisé sans connaissance 3D de la scène, les coefficients a (r~, ~.) et b (p, ~.) du modèle affine sont calculés en utilisant une rectification des images, destinée à transformer chaque paire d'images planes 2D en une autre paire telle que les lignes épipolaires soient parallèles et confondues avec les lignes ou les colonnes des images, comme indiqué sur la figure 1 où les épipolaires conjuguées rectifiées sont indiquées dans les plans réti-mens virtuels T1,2 et r2,1 pour les points I1k et Izk dans les plans image n1 et n2. La rectification facilite la mise en correspondance en permettant d'établir immédiatement les courbes de la figure 3.
A titre d'exemple, on peut indiquer que le modèle de passage (p,q) - Fi(x,y,z) pour un modèle sténopé est, en coordonnées projectives, une fonction linéaire'de la forme .
û _ P x , .
wp sx avec û = wq et x = sy w sz s P est une matrice 3x4 définie à un lecteur multiplicatif près ; w et s sont des facteurs multiplicatifs.
Pour déterminer la matrice, 11 paramètres sont nécessaires.
Ils peuvent être déterminés à condition de disposer d'au moins 6 points homologues.
Si on considère uniquement deux images, on peut définir un modèle de passage d'un point 3D de la scène aux coordonnées de sa projection dans chacune des images rectifiées 1 et 2 ; les matrices de projection perspectives M et N pour l'image 1 et l'image 2 définissant les modèles de passage sont .
û1 = M ~c û2 = N X
Pour calculer les coefficients des matrices M et N, à un facteur d'échelle près, il faut respecter diverses contrain-tes .
- épipolaires parallèles dans les deux images (épipoles à l' infini) ;
- pour un point 3D quelconque Sk n' appartenant pas au plan focal des caméras définis après rectification, ordon-nées des pixels, représentés par les points Ikl,z et Ikz,l identiques (figure 1) ;
- coordonnées des centres optiques C1 et Cz invariants pour la rectification.
5 Les équations auxquelles conduisent ces contraintes sont données dans le document Ayache mentionné plus haut.
Une solution à ces équations peut être trouvée de manière à limiter les distorsions des images rectifiées. A
titre d'exemple, on donne les expressions suivantes pour les 10 matrices M et N .
OL(t~C T
flC(t n CZ)T 0 ~(C1 /~ CZ)T
0 N = ~(~~ ~ c2)T 0 15 ((C1 -CZ) n t)T CI (Cy ~ t) ((C -C n t T T
1 Z) ) C1 (C2 l~ t) où
cl et cz sont les vecteurs des coordonnées 3D des centres optiques C1 et Cz des caméras à sténopé ;
a et (3 sont des facteurs d'échelle, conditionnant la déformation des images rectifiées dans la direction des épipolaires pour l'un et dans la direction orthogonale pour l'autre (si les épipolaires après rectification sont choisies horizontales).
f est un vecteur imposant l'orientation du plan de rectifi-cation (permettant de limiter les distorsions des images rectifiées).
La géométrie projective permet de calculer également les matrices M et N par l'intermédiaire des matrices fondamen-tales. On tYouvera dans la thèse de l'Ecole Polytechnique "Vision stéréoscopique et propriétés différentielles des surfaces" de F. Devernay la description d'une telle appro-che.
Les matrices de passage des images réelles (ou acquises) aux images rectifiées peuvent se déduire des matrices M et N, par exemple de la manière indiquée dans le document Ayache.
I1 faut ensuite définir un modèle inter-disparité par ses coefficients a (A, ~,) et b (1~, ~) tels que d13 (p) - a (~1, ~.) . dlz + b (~1, ~.) Ce modèle fait passer de la disparité d12(p) du point p dans le couple des images rectifiées 1 et 2 à la disparité
d13 (p) dans le couple formé des images 1 et 3 . r~ désigne le couple d'images (1,2) et ~. désigne le couple d'images (1,3).
Les équations paramétriques des lignes de visée dans la caméra 1, définies à partir des coordonnées du pixel p dans l'image rectifiée dans la géométrie du couple r~ et dans la géométrie du couple ~. sont .
x = CI+~¿t~ 8t x = CI+~l.¿tu où x désigne les coordonnées 3D d'un point cl (coordonnées du centre optique de la caméra 1) et tn et tu sont les vecteurs directeurs définis de façon simple en fonction des termes de la matrice M .
~~m1-plm3) ~ ~m2'~Im3) = E~,(m'1-Plm'3~ ~ im2~1~3~
où e désigne un coefficient de normalisation du vecteur t.
On en déduit que Aln = Zw"

aV2C Zu.n = (tnT. tu) ~~~tn~~
Les expressions de a et b s'en déduisent directement k ~ . ,~w n a(~1~ I~) _ _I
k b(~1. ~) = k2-k~ . k2 . w.~
k1 fo On considèrera de nouveau le cas particulier et simple où les capteurs sont de type sténopé. L'appariement multi-couples peut s'effectuer par la démarche schématisée en figure 4, dans le cas de quatre images réelles, numérotées 1, 2, 3 et 4. Après rectification, un point P de l'image 1 pris comme référence sera recherché sur les épipolaires correspondantes des images 2, 3 et 4. En utilisant la rotation montrée en figure 4, les appariements mufti-couples sont réalisés entre les images gi et di, avec iE~1,2,3}
Les coefficients a et b du modèle affine du passage de la disparité d'un couple à la disparité d'un autre couple peuvent s'exprimer simplement en fonction de la position du pixel P à apparier, de la géométrie du couple d'origine et de celle du couple de destination.
Comme on l'a indiqué plus haut, on fusionne ensuite l'ensemble des appariements obtenus en prenant n différentes images comme référence (n=4 dans le cas de la figure 4) .
Cette opération peut s'effectuer après calcul des modèles numériques de terrain (MNT) ou d'élévation (MNE), comme indiqué en figure 5. Mais elle peut être effectuée par fusion des cartes de disparité, pour obtenir une carte de disparité finale, avant de déterminer le MNE final.
De préférence, la fusion est réalisée sur le principe des votes majoritaires ou sélection d'une valeur médiane.
Une pondération est utilisée au moment de la réalisation des votes. Elle est calculée en affectant un poids maximum aux points de vue les plus distants de l'image de référence.
Lorsque la géométrie des capteurs est connue (modèle sténopé, scanner, barrette) on donnera quelques indications sur un mode de mise en correspondance ou appariement dans le cas de deux images 1 et 2, l'image I étant l'image de référence. Les notations sont celles de la figure 6. La mise en référence prend en compte un plan ~ à une altitude constante z=zo. Les fonctions Fi sont connues, et, dans 1e cas de modèles sténopés, reviennent aux matrices de projec-tion perpective Mi. On peut en conséquence toujours exprimer 5 les coordonnées (p,q) en 2D dans le plan ~ pour z=zo à
partir de deux pixels (p,,, q1) et (p2, q2) mis en correspondance dans les images 1 et 2.
Si (x1, y1) est le point du plan ~ qui est l' image du pixel (p1, q~) à apparier de l' image 1, et (x2, yz) est l' image 10 du pixel (pz,q2) de l'image 2, alors on définit la disparité
associée à cet appariement potentiel comme la distance euclidienne dans le plan ~ entre les points (xl,yl) et (x2iy2) 15 412(x1, y1 ) _ (x1 -x2)2 + (y1 -3'2)2 A partir de cette définition de la disparité, le calcul montre que l'on peut exprimer la disparité dans un couple d'images (1,2) sous la forme 20 412(x1' y1 ~ - (an -am~2 + (Cn -~m~2 ~ (Zp -'Z~

où an, am, c " et c m sont des coefficients que l' on peut déduire des systèmes linéaires reliant, à z0 constant, p et q et le vecteur m défini plus haut dans chaque image.
Dans le cas des images 1 et 3, on aurait, de façon similaire, une relation C113(xl,,Yl) _ (ap-am)2+(cp-cm)2~(zo-Z) où aP et cp jouent le même rôle que an et cn. Le modèle linéaire de passage inter-disparité entre le couple r~ des images (1,2) et le couple ~. des images 1,3), lorsque le plan est spécifié, s'écrit très simplement sous la forme .
~ d13(xl~ y1) - Q(~~ i~) ' d12(xl, y1) avec .
(a p am)2 + (~p Cm~2 (an _ am)2 + (Cn - Cm)2 On peut ainsi établir, par un calcul qui pourra être fait en parallèle, toutes les courbes de similarité en vue de faire apparaître les pics qui se correspondent.
Lors de l'appariement, il convient d'écarter les pics dus à une occultation de points dans une des images du couple. La figure 7B montre, à titre d'exemple, les courbes de ressemblance en fonction de la disparité pour quatre couples. Le pixel de l'image de référence est masqué sur l'autre image dans le couple 4, qui fait apparaître des pics pour des disparités où les autres courbes ne présentent pas de maximum. Dans ce cas, il conviendra d'écarter la courbe 4 pour trouver la disparité correcte pour le pixel masqué.
Ce résultat peut notamment être obtenu par un vote majori-taire.

Claims (3)

1. Procédé de production de données cartographiques en trois dimensions à partir de n images à deux dimensions de la scène, fournies par n capteurs avec des points de vue différents, n étant un entier supérieur à 2, suivant lequel.

(a) -on calibre chaque capteur d'ordre i pour estimer les paramètres des n modèles F i(x,y,z) définissant la relation entre les coordonnées x,y,z d'un point de la scène et les coordonnées (p,q)i de sa projec-tion dans l'image i parmi les n images ;

(b) on met en correspondance chacun des n-1 couples d'images comportant toutes une même image de réfé-rente choisie parmi les n images, en recherchant l'homologue de chaque pixel ou zone de l'image de référence le long de l'épipolaire correspondante de l'autre image du couple;

(c) dans chacun des n-1 couples de deux images compre-nant chacune une image de référence et pour chaque pixel ou zone de l'image de référence, on établit une courbe de ressemblance (courbe de variation d'un indice de similarité) en fonction de la disparité, le long de l'épipolaire de l'autre image ;
(d) on ramène toutes les courbes dans un référentiel commun, par un modèle par exemple affine, pour appa-rier le plus grand nombre possible d'images ;
(e) on effectue la sommation des courbes, en écartant éventuellement chaque pic situé â une disparité
singulière par rapport à celui de toutes les autres courbes et on retient le pic le plus élevé de la courbe résultante ; et (f) on calcule les coordonnées x,y,z à partir de la disparité du pic retenu et des paramètres des n modèles F i(x,y,z).
2. Procédé selon la revendication 1, caractérisé en ce que l'on effectue plusieurs appariements en prenant diffé-rentes images comme référence.
3. Procédé selon la revendication 1 ou 2, caractérisé en ce qu'on fusionne les résultats de mise en correspondance multi-couples à l'aide d'un vote majoritaire, en affectant un coefficient de pondération plus élevé aux pics correspon-dant aux points de vue les plus distants de l'image de référence.
CA002245044A 1997-08-12 1998-08-10 Procede de production de donnees cartographiques par stereovision Expired - Fee Related CA2245044C (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR9710284 1997-08-12
FR9710284A FR2767404B1 (fr) 1997-08-12 1997-08-12 Procede de production de donnees cartographiques par stereovision
US09/132,488 US6175648B1 (en) 1997-08-12 1998-08-11 Process for producing cartographic data by stereo vision

Publications (2)

Publication Number Publication Date
CA2245044A1 CA2245044A1 (fr) 1999-02-12
CA2245044C true CA2245044C (fr) 2004-01-20

Family

ID=26233745

Family Applications (1)

Application Number Title Priority Date Filing Date
CA002245044A Expired - Fee Related CA2245044C (fr) 1997-08-12 1998-08-10 Procede de production de donnees cartographiques par stereovision

Country Status (5)

Country Link
US (1) US6175648B1 (fr)
EP (1) EP0897163B1 (fr)
CA (1) CA2245044C (fr)
ES (1) ES2212235T3 (fr)
FR (1) FR2767404B1 (fr)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6694057B1 (en) * 1999-01-27 2004-02-17 Washington University Method and apparatus for processing images with curves
US6661913B1 (en) * 1999-05-05 2003-12-09 Microsoft Corporation System and method for determining structure and motion using multiples sets of images from different projection models for object modeling
US6714672B1 (en) * 1999-10-27 2004-03-30 Canon Kabushiki Kaisha Automated stereo fundus evaluation
US6674892B1 (en) * 1999-11-01 2004-01-06 Canon Kabushiki Kaisha Correcting an epipolar axis for skew and offset
US7224357B2 (en) * 2000-05-03 2007-05-29 University Of Southern California Three-dimensional modeling based on photographic images
CN1308897C (zh) * 2002-09-15 2007-04-04 深圳市泛友科技有限公司 利用一组二维照片与三维模型库生成新的三维模型的方法
KR100446636B1 (ko) 2002-11-21 2004-09-04 삼성전자주식회사 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법
ES2228251B1 (es) * 2003-05-09 2006-02-16 Universitat Pompeu Fabra Dispositivo de interfaz natural no invasiva para la interaccion con un sistema informatico y metodo de operacion.
US7015926B2 (en) * 2004-06-28 2006-03-21 Microsoft Corporation System and process for generating a two-layer, 3D representation of a scene
ES2602091T3 (es) * 2005-06-23 2017-02-17 Koninklijke Philips N.V. Intercambio combinado de datos de imagen y relacionados
WO2008053649A1 (fr) * 2006-11-02 2008-05-08 Konica Minolta Holdings, Inc. Procédé d'acquisition d'image grand angle et dispositif d'appareil photographique stéréo grand angle
EP2076055B1 (fr) * 2007-12-27 2012-10-24 Saab AB Procédé pour l'affichage d'une image virtuelle
US20110050857A1 (en) * 2009-09-03 2011-03-03 Electronics And Telecommunications Research Institute Apparatus and method for displaying 3d image in 3d image system
JP5815562B2 (ja) * 2010-01-26 2015-11-17 サーブ アクティエボラーグ(パブル) 自動化された三次元マッピング法
US9536320B1 (en) * 2014-12-23 2017-01-03 John H. Prince Multiple coordinated detectors for examination and ranging
CN109785225B (zh) * 2017-11-13 2023-06-16 虹软科技股份有限公司 一种用于图像矫正的方法和装置
CN109785390B (zh) * 2017-11-13 2022-04-01 虹软科技股份有限公司 一种用于图像矫正的方法和装置
FR3080937B1 (fr) 2018-05-03 2021-06-04 Commissariat Energie Atomique Procede et dispositif de reconnaissance de distance en temps reel
US11941863B2 (en) * 2021-08-04 2024-03-26 Datalogic Ip Tech S.R.L. Imaging system and method using a multi-layer model approach to provide robust object detection

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5179441A (en) * 1991-12-18 1993-01-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Near real-time stereo vision system
US5383013A (en) * 1992-09-18 1995-01-17 Nec Research Institute, Inc. Stereoscopic computer vision system
FR2700654B1 (fr) * 1993-01-19 1995-02-17 Thomson Csf Procédé d'estimation de disparité entre les images monoscopiques constituant une image stéréoscopiques.
US5911035A (en) * 1995-04-12 1999-06-08 Tsao; Thomas Method and apparatus for determining binocular affine disparity and affine invariant distance between two image patterns
JP3539788B2 (ja) * 1995-04-21 2004-07-07 パナソニック モバイルコミュニケーションズ株式会社 画像間対応付け方法
US5818959A (en) * 1995-10-04 1998-10-06 Visual Interface, Inc. Method of producing a three-dimensional image from two-dimensional images
US6046763A (en) * 1997-04-11 2000-04-04 Nec Research Institute, Inc. Maximum flow method for stereo correspondence

Also Published As

Publication number Publication date
US6175648B1 (en) 2001-01-16
CA2245044A1 (fr) 1999-02-12
EP0897163A1 (fr) 1999-02-17
ES2212235T3 (es) 2004-07-16
FR2767404B1 (fr) 1999-10-22
FR2767404A1 (fr) 1999-02-19
EP0897163B1 (fr) 2003-12-10

Similar Documents

Publication Publication Date Title
CA2245044C (fr) Procede de production de donnees cartographiques par stereovision
EP3144881B1 (fr) Procede de mosaiquage 3d panoramique d'une scene
CN107833181B (zh) 一种基于变焦立体视觉的三维全景图像生成方法
Zhu et al. Generalized parallel-perspective stereo mosaics from airborne video
CN104539928B (zh) 一种光栅立体印刷图像合成方法
US9025862B2 (en) Range image pixel matching method
EP3017599A1 (fr) Système et procédé de modélisation et d'étalonnage de dispositif de prise de vues
CN107767440A (zh) 基于三角网内插及约束的文物序列影像精细三维重建方法
CN101320473A (zh) 自由多视角、实时的三维重建系统和方法
CN108088391A (zh) 一种三维形貌测量的方法和系统
CN108399631B (zh) 一种尺度不变性的倾斜影像多视密集匹配方法
CN103226840A (zh) 全景影像拼接及量测系统及方法
CN111932627A (zh) 一种标识物绘制方法及系统
Hu et al. Overview of underwater 3D reconstruction technology based on optical images
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
CN111429571A (zh) 一种基于时空图像信息联合相关的快速立体匹配方法
CN116128966A (zh) 一种基于环境物体的语义定位方法
Ichimaru et al. Underwater stereo using refraction-free image synthesized from light field camera
CN114252058A (zh) 一种航空精细大场景制作与量测方法
Schenk et al. Hierarchical approach to reconstruct surfaces by using iteratively rectified imagery
CN113223163A (zh) 点云地图构建方法及装置、设备、存储介质
Hirzinger et al. Photo-realistic 3D modelling-From robotics perception to-wards cultural heritage
Gangapurwala Methods of stereophotogrammetry: A Review
Gonçalves Using structure-from-motion workflows for 3D mapping and remote sensing
Wu et al. Photogrammetric processing of LROC NAC images for precision lunar topographic mapping

Legal Events

Date Code Title Description
EEER Examination request
MKLA Lapsed