CA2253955A1 - Procede et dispositif de guidage d'une perche de ravitaillement en vol - Google Patents
Procede et dispositif de guidage d'une perche de ravitaillement en vol Download PDFInfo
- Publication number
- CA2253955A1 CA2253955A1 CA002253955A CA2253955A CA2253955A1 CA 2253955 A1 CA2253955 A1 CA 2253955A1 CA 002253955 A CA002253955 A CA 002253955A CA 2253955 A CA2253955 A CA 2253955A CA 2253955 A1 CA2253955 A1 CA 2253955A1
- Authority
- CA
- Canada
- Prior art keywords
- receptacle
- image
- pole
- camera
- bowsprit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D39/00—Refuelling during flight
Abstract
The invention relates to aircraft in-flight refuelling. To facilitate the connection of an in-flight-refuelling line on an adjustable boom at the rear of a refuelling aircraft with a connection receptacle on an aircraft being refuelled, automatic guiding means are provided comprising: a camera (40) borne by the boom end and supplying an image in the form of an electronic signal; shape recognising means (56, 58, 60) coupled with the camera to recognise, in the camera-supplied image, characteristic elements linked with the receptacle; position calculating means to determine, by calculating from the camera-supplied image the variation between the characteristic elements of the image at a given moment, and a reference position derived from a memorised image of the line and the receptacle when the connection is effected; means (62) to deduce, from the actual size of the receptacle and from the size and the position of its projection in the image, the depth variation between the end of the system and the receptacle; and means for controlling the adjustment of the boom and the extension of the line on the basis of the variations thus determined, so as to repeatedly bring the line closer to the receptacle until the variations are cancelled.
Description
CA 022~39~ 1998-11-09 PROCEDE ET DISPOSITIF DE GUIDAGE D'UNE PERCHE DE
RAVITAILLEMENT EN VOL
L'invention concerne les systèmes de ravitaillement en vol des avions.
Le ravitaillement en vol consiste à t,ansrérer du carburant d'un avion ravitailleur vers un avion ravitaillé à l'aide d'un tuyau qui traverse un 10 bout-dehors (denomination anglaise courante . "boom") et d'une perche télescopique qui prolonge le bout-dehors. Le bout-dehors est fixé à la partie inférieure arrière du fuselage de l'avion ravitailleur par une liaison semi-rigide lui laissant une certaine liberté de mouvement. L'ensemble du bout-dehors et de la perche flotte sous l'empennage de l'avion ravitailleur grâce à
15 des ailerons équipés de gouvernes qui permettent de le diriger. La longueur totale de l'ensemble du bout-dehors et de la perche déployée peut atteindre 1~ ou 20 mètres. L'avion ravitaillé comporte un réceptacle destiné à recevoir l'extrémité de la perche lors du ravitaillement. Ce receptacle est doté de moyens de verrouillage pour maintenir la perche en relation avec un conduit 20 qui permet de déverser le carburant de l'avion ravitailleur vers un réservoir de l'avion ravitaillé.
Le pilote de l'avion ravitaillé doit approcher son avion sous l'empennage du ravitailleur à proximité de la perche qui s'étend derrière celui-ci, et maintenir sa vitesse rigoureusement égale à celle du ravitailleur 25 jusqu'à la fin de l'opération de ravitaillement.
Deux methodes existent pour réaliser la jonction entre les réservoirs du ravitailleur et du ravitaillé.
Dans le premier cas, I'avion ravitaillé est équipé d'une perche de ravitaillement en vol qui s'étend dans le champ de vision du pilote, et le 30 tuyau issu du réservoir de carburant du ravitailleur se prolonge au delà du bout-dehors et de la perche par un "panier" destiné à recevoir la perche du ravitaillé. C'est donc le pilote du ravitaillé qui dirige son avion de façon à
verrouiller sa perche au fond du panier.
Dans le second cas, auquel l'invention s'interesse plus 35 precisément, I'avion ravitaillé n'est équipé que d'un réceptacle de ravitaillement, et c'est l'extrémité de la perche du ravitailleur qui vient se . .
CA 022~39~ 1998-11-09
RAVITAILLEMENT EN VOL
L'invention concerne les systèmes de ravitaillement en vol des avions.
Le ravitaillement en vol consiste à t,ansrérer du carburant d'un avion ravitailleur vers un avion ravitaillé à l'aide d'un tuyau qui traverse un 10 bout-dehors (denomination anglaise courante . "boom") et d'une perche télescopique qui prolonge le bout-dehors. Le bout-dehors est fixé à la partie inférieure arrière du fuselage de l'avion ravitailleur par une liaison semi-rigide lui laissant une certaine liberté de mouvement. L'ensemble du bout-dehors et de la perche flotte sous l'empennage de l'avion ravitailleur grâce à
15 des ailerons équipés de gouvernes qui permettent de le diriger. La longueur totale de l'ensemble du bout-dehors et de la perche déployée peut atteindre 1~ ou 20 mètres. L'avion ravitaillé comporte un réceptacle destiné à recevoir l'extrémité de la perche lors du ravitaillement. Ce receptacle est doté de moyens de verrouillage pour maintenir la perche en relation avec un conduit 20 qui permet de déverser le carburant de l'avion ravitailleur vers un réservoir de l'avion ravitaillé.
Le pilote de l'avion ravitaillé doit approcher son avion sous l'empennage du ravitailleur à proximité de la perche qui s'étend derrière celui-ci, et maintenir sa vitesse rigoureusement égale à celle du ravitailleur 25 jusqu'à la fin de l'opération de ravitaillement.
Deux methodes existent pour réaliser la jonction entre les réservoirs du ravitailleur et du ravitaillé.
Dans le premier cas, I'avion ravitaillé est équipé d'une perche de ravitaillement en vol qui s'étend dans le champ de vision du pilote, et le 30 tuyau issu du réservoir de carburant du ravitailleur se prolonge au delà du bout-dehors et de la perche par un "panier" destiné à recevoir la perche du ravitaillé. C'est donc le pilote du ravitaillé qui dirige son avion de façon à
verrouiller sa perche au fond du panier.
Dans le second cas, auquel l'invention s'interesse plus 35 precisément, I'avion ravitaillé n'est équipé que d'un réceptacle de ravitaillement, et c'est l'extrémité de la perche du ravitailleur qui vient se . .
CA 022~39~ 1998-11-09
2 PCT/FR97/00823 loger dans le réceptacle afin de permettre le transfert de carburant. La perche est guidée par un opérateur placé à l'arrière de l'avion ravitaillé.
Celui-ci regarde à travers un hublot et procède aux opérations d'~ccooplement des deux avions pour le transfert de carburant. L'opérateur s rlispose à cet effet de ",d"~lles de co"""ande, agissant sur des servo-moteurs de guidage du bout-dehors, pour approcher l'extrémité arrière de l'ensemble bout-dehors/perche jusqu'au réceplacle placé sur l'avion ravitaillé. La position de ce réceptacle est repérée par une marque peinte sur la tôle de l'avion. Lorsque la perche est à la position désirée, en face du receptacle, I'opérateur déclenche un déploiement supplémentaire de l'extrémité de la perche téléscopique, ce qui engage en position verrouillée la perche dans le réceptacle. Le transfert de carburant peut alors avoir lieu.
Le guidage de la perche vers le réceptacle de l'avion ravitaillé est une opération délicate du fait des mouvements relatifs des deux avions et du bout-dehors, et de la grande sensibilité des gouvernes aux altitudes et vitesses usuelles de travail. L'action de l'opérateur sur les commandes du bout-dehors doit être très progressive et le temps nécessaire pour réaliser la jonction entre la perche et le réceptacle peut-être long (quelques minutes) surtout si la masse d'air ambiante est turbulente.
Pour diverses raisons, il peut être souhaitable d'effectuer les opérations sans utiliser un opérateur placé à l'arrière de l'avion ravitailleur.Un but de l'invention est donc de concevoir un système qui permet de réaliser les opérations d'accouplement sans opérateur placé à l'arrière de l'avion ravitailleur.
2s Un autre but de l'invention est de diminuer le temps nécessaire pour réaliser l'accouplement de la perche et du réceptacle et d'augmenter ainsi la rotation des ravitaillements.
Une idée serait d'utiliser deux caméras vidéo placées de chaque côté de l'avion. Ces caméras, qui observeraient la scène de ravitaillement SOUS deux angles différents permettraient de faire de la reconstruction en trois dimensions des objets de la scene. Cela permettrait d'en déduire, dans un repère 3D, les coordonnées du réceptacle et de l'extrémité de la perche.
Mais si cette solution est envisageable pour des applications de robotique en milieu industriel, sa mise en oeuvre sur un avion de CA 022~39~ 1998-11-09
Celui-ci regarde à travers un hublot et procède aux opérations d'~ccooplement des deux avions pour le transfert de carburant. L'opérateur s rlispose à cet effet de ",d"~lles de co"""ande, agissant sur des servo-moteurs de guidage du bout-dehors, pour approcher l'extrémité arrière de l'ensemble bout-dehors/perche jusqu'au réceplacle placé sur l'avion ravitaillé. La position de ce réceptacle est repérée par une marque peinte sur la tôle de l'avion. Lorsque la perche est à la position désirée, en face du receptacle, I'opérateur déclenche un déploiement supplémentaire de l'extrémité de la perche téléscopique, ce qui engage en position verrouillée la perche dans le réceptacle. Le transfert de carburant peut alors avoir lieu.
Le guidage de la perche vers le réceptacle de l'avion ravitaillé est une opération délicate du fait des mouvements relatifs des deux avions et du bout-dehors, et de la grande sensibilité des gouvernes aux altitudes et vitesses usuelles de travail. L'action de l'opérateur sur les commandes du bout-dehors doit être très progressive et le temps nécessaire pour réaliser la jonction entre la perche et le réceptacle peut-être long (quelques minutes) surtout si la masse d'air ambiante est turbulente.
Pour diverses raisons, il peut être souhaitable d'effectuer les opérations sans utiliser un opérateur placé à l'arrière de l'avion ravitailleur.Un but de l'invention est donc de concevoir un système qui permet de réaliser les opérations d'accouplement sans opérateur placé à l'arrière de l'avion ravitailleur.
2s Un autre but de l'invention est de diminuer le temps nécessaire pour réaliser l'accouplement de la perche et du réceptacle et d'augmenter ainsi la rotation des ravitaillements.
Une idée serait d'utiliser deux caméras vidéo placées de chaque côté de l'avion. Ces caméras, qui observeraient la scène de ravitaillement SOUS deux angles différents permettraient de faire de la reconstruction en trois dimensions des objets de la scene. Cela permettrait d'en déduire, dans un repère 3D, les coordonnées du réceptacle et de l'extrémité de la perche.
Mais si cette solution est envisageable pour des applications de robotique en milieu industriel, sa mise en oeuvre sur un avion de CA 022~39~ 1998-11-09
3 PCT/F1~97/00823 ravitaillement en vol, avec les co"~,dinles opérationnelles que cela implique, ~evient extremement complexe et rend ses pe, rur",a"ces incertaines.
Une des difficultés est d'effectuer l'acquisition et la poursuite de deux objets de l'image ayant des mouvements indépendants qui entraînent des phénomènes de masqua~e de ces objets. Une autre difflculté provient de l'utilisation de ca",éras à focale variable. Ce type d'équipement est nécess~ire afin de pouvoir gara,)lir que les deux objets soient présents simultanément sur les images, et cela en prenant en compte les éventuelles turbulences, et de permettre une bonne précision dans l'extraction en 3 dimensions de leurs coorclonnées notamment lors de la phase finale du guidage de la perche sur le réceptacle.
La mise en oeuvre de deux caméras à focale variable destinées à
faire de la reconstruction en 3 dimensions est extrêmement complexe car elle impose une connaissance inslanta~ ~ée et précise de la valeur des focales, et un asservissement des axes optiques des deux caméras en fonction de la valeur des focales; cela impose donc leur installation sur des plate-formes, ce qui, compte-tenu de l'environnement ambiant et des températures imposées par la haute altitude (de l'ordre de -55~C) n'est pas simple.
L'invention vise à proposer une solution plus simple à mettre en oeuvre que cette solution à deux caméras.
On propose selon l'invention un système d'accouplement, notamment pour le ravitaillement en vol, utilisant des moyens de guidage automatique de l'extrémité d'une perche vers un réceptacle d'accouplement 2s en vue de l'accouplement de la perche et de ce réceptacle, la perche étant déployable à partir d'une extrémité d'un bout-dehors orientable, système caractérisé en ce qu'il comporte:
- une caméra portée par l'extrémité du bout-dehors et fournissant une image sous forme de signal électronique, - des moyens de reconnaissance de forme couplés à la caméra pour reconnaltre, dans l'image fournie par la caméra, des éléments caractéristiques liés au réceptacle, - des moyens de calcul de position pour déterminer, par calcul dans l'image fournie par la caméra, I'écart entre la position des éléments 3~ caractéristiques de l'image à un instant donné, et une position de référence , . . , ~ . ~ . .
CA 022~39~ l998-ll-09
Une des difficultés est d'effectuer l'acquisition et la poursuite de deux objets de l'image ayant des mouvements indépendants qui entraînent des phénomènes de masqua~e de ces objets. Une autre difflculté provient de l'utilisation de ca",éras à focale variable. Ce type d'équipement est nécess~ire afin de pouvoir gara,)lir que les deux objets soient présents simultanément sur les images, et cela en prenant en compte les éventuelles turbulences, et de permettre une bonne précision dans l'extraction en 3 dimensions de leurs coorclonnées notamment lors de la phase finale du guidage de la perche sur le réceptacle.
La mise en oeuvre de deux caméras à focale variable destinées à
faire de la reconstruction en 3 dimensions est extrêmement complexe car elle impose une connaissance inslanta~ ~ée et précise de la valeur des focales, et un asservissement des axes optiques des deux caméras en fonction de la valeur des focales; cela impose donc leur installation sur des plate-formes, ce qui, compte-tenu de l'environnement ambiant et des températures imposées par la haute altitude (de l'ordre de -55~C) n'est pas simple.
L'invention vise à proposer une solution plus simple à mettre en oeuvre que cette solution à deux caméras.
On propose selon l'invention un système d'accouplement, notamment pour le ravitaillement en vol, utilisant des moyens de guidage automatique de l'extrémité d'une perche vers un réceptacle d'accouplement 2s en vue de l'accouplement de la perche et de ce réceptacle, la perche étant déployable à partir d'une extrémité d'un bout-dehors orientable, système caractérisé en ce qu'il comporte:
- une caméra portée par l'extrémité du bout-dehors et fournissant une image sous forme de signal électronique, - des moyens de reconnaissance de forme couplés à la caméra pour reconnaltre, dans l'image fournie par la caméra, des éléments caractéristiques liés au réceptacle, - des moyens de calcul de position pour déterminer, par calcul dans l'image fournie par la caméra, I'écart entre la position des éléments 3~ caractéristiques de l'image à un instant donné, et une position de référence , . . , ~ . ~ . .
CA 022~39~ l998-ll-09
4 PCT/FR97/00823 issue d'une image mémorisée de la perche et du réceptacle lorsque leur accouplement est réalisé, - des moyens pour déduire de la taille réelle du réceptacle, de la taille et de la position de sa projection dans l'image, I'écart en profondeur5 entre l'extrémité de la perche et le réce~acle, - et des moyens pour con~",~,~der l'orientation du bout-dehors et le déploiement de la perche en fon.;lio~l des écarts ainsi mesurés, de manière à rapprocher itérativement la perche du réceptacle jusqu'à
l'annulation de ces écarts.
Ainsi, I'idée proposée par l'invention est de placer une caméra sur le bout-dehors, vers l'extrémité arrière de celle-ci, donc suffisamment proche du réceptacle à observer, d'utiliser l'image produite pour faire de la reconnaissance de forme et de l'écartométrie dans le plan de l'image, et d'y rajouter la connaissance préalable de la configuration théorique d'éléments caractéristiques du réceptacle (ou d'une marque peinte associée) pour évaluer l'écart entre la perche et le réceptacle selon l'axe de profondeur.
Le principe de guidage sera ensuite de minimiser itérativement ces écarts, c'est-à-dire de rallier, par un asservissement en vitesse, une image de référence.
Alors qu'il serait naturel d'utiliser des caméras aussi écartées que possible de l'axe de la perche, donc en pratique des caméras montées sur l'avion ravitailleur, pour mieux observer et mesurer l'écart en trois dimensions entre l'extrémité de la perche et le réceptacle, I'invention propose une solution différente utilisant une caméra montée sur le bout-dehors. Cette configuration évite de travailler dans un repère 3D absolu, puisque seuls les mouvements relatifs du réceptacle par rapport au bout-dehors sont observés. Il faut d'ailleurs noter que le positionnement de la caméra sur le bout-dehors fait apparaître dans l'image la perche télescopique. Ce point pourrait être un handicap dans la mesure où la perche risque de masquer, dans certains cas, une partie (voire la totalité) des éléments caractéristiques liés au réceptacle. Il s'avère que cet inconvénient n'est que peu contraignant car la caméra est fixe par rapport au bout-dehors, si bien que la surface de l'image couverte par la perche télescopique est parfaitement prédictible.
CA 022~39~ 1998-11-09
l'annulation de ces écarts.
Ainsi, I'idée proposée par l'invention est de placer une caméra sur le bout-dehors, vers l'extrémité arrière de celle-ci, donc suffisamment proche du réceptacle à observer, d'utiliser l'image produite pour faire de la reconnaissance de forme et de l'écartométrie dans le plan de l'image, et d'y rajouter la connaissance préalable de la configuration théorique d'éléments caractéristiques du réceptacle (ou d'une marque peinte associée) pour évaluer l'écart entre la perche et le réceptacle selon l'axe de profondeur.
Le principe de guidage sera ensuite de minimiser itérativement ces écarts, c'est-à-dire de rallier, par un asservissement en vitesse, une image de référence.
Alors qu'il serait naturel d'utiliser des caméras aussi écartées que possible de l'axe de la perche, donc en pratique des caméras montées sur l'avion ravitailleur, pour mieux observer et mesurer l'écart en trois dimensions entre l'extrémité de la perche et le réceptacle, I'invention propose une solution différente utilisant une caméra montée sur le bout-dehors. Cette configuration évite de travailler dans un repère 3D absolu, puisque seuls les mouvements relatifs du réceptacle par rapport au bout-dehors sont observés. Il faut d'ailleurs noter que le positionnement de la caméra sur le bout-dehors fait apparaître dans l'image la perche télescopique. Ce point pourrait être un handicap dans la mesure où la perche risque de masquer, dans certains cas, une partie (voire la totalité) des éléments caractéristiques liés au réceptacle. Il s'avère que cet inconvénient n'est que peu contraignant car la caméra est fixe par rapport au bout-dehors, si bien que la surface de l'image couverte par la perche télescopique est parfaitement prédictible.
CA 022~39~ 1998-11-09
5 PCT/FRg7/00823 L'invention propose de fixer la ou les caméras sur le bout-dehors, proche de son extrémité, c'est-à-dire solidaire,l,ent à l'extrémité du mécanisme de guidage. Les avantages sont multiples; on peut citer le positionnement de la caméra dans une zone proche de la cible à atteindre, le mouvement convergent du bout-dehors vers le réceptacle au cours de la phase de ravitaillement, ce qui limite les risques de sortie du champ de la caméra et ce qui limite également le nombre d'objets présents sur les images. On pourra alors exécuter le guidage de la ca",era avec une focale fixe, ce qui simplifie particulièrement la mise en oeuvre de la méthode ~0 retenue.
Le systeme sera mis en oeuvre avec un calculateur suffisamment puissant pour faire de la reconnaissance de forme et de la poursuite a partir d'un traitement d'image numérique. Ce calculateur embarqué dans l'avion de ravitaillement utilisera une base de données dans laquelle seront mémorisés les éléments caractéristiques des différents réceptacles et peintures de marquage qui équipent les avions susceptibles d'être ravitaillés. Le guidage par ce système d'imagerie dépend en effet d'un processus de reconnaissance d'éléments caractéristiques liés au réceptacle. Il est souhaitable que le système automatique s'adapte aux marques déjà
20 existantes ou puisse être utilisé pour des avions portant des marquages ou des réceptacles différents.
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description détaillée qui suit et qui est faite en référence aux dessins annexés dans lesquels:
- la figure 1 représente une vue globale d'un avion ravitailleur accouplé à un avion ravitaillé;
- la figure 2 représente plus en détail une vue latérale de la queue de l'avion ravitailleur avec son bout-dehors arriere orientable;
- la figure 3 représente une vue de dessus correspondant à la figure 2;
- la figure 4 représente une vue en coupe schématique du réceptacle placé sur l'avion ravitaillé, apte à recevoir l'extrémité de la perche de l'avion ravitailleur;
CA 022~39~ 1998-11-09
Le systeme sera mis en oeuvre avec un calculateur suffisamment puissant pour faire de la reconnaissance de forme et de la poursuite a partir d'un traitement d'image numérique. Ce calculateur embarqué dans l'avion de ravitaillement utilisera une base de données dans laquelle seront mémorisés les éléments caractéristiques des différents réceptacles et peintures de marquage qui équipent les avions susceptibles d'être ravitaillés. Le guidage par ce système d'imagerie dépend en effet d'un processus de reconnaissance d'éléments caractéristiques liés au réceptacle. Il est souhaitable que le système automatique s'adapte aux marques déjà
20 existantes ou puisse être utilisé pour des avions portant des marquages ou des réceptacles différents.
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description détaillée qui suit et qui est faite en référence aux dessins annexés dans lesquels:
- la figure 1 représente une vue globale d'un avion ravitailleur accouplé à un avion ravitaillé;
- la figure 2 représente plus en détail une vue latérale de la queue de l'avion ravitailleur avec son bout-dehors arriere orientable;
- la figure 3 représente une vue de dessus correspondant à la figure 2;
- la figure 4 représente une vue en coupe schématique du réceptacle placé sur l'avion ravitaillé, apte à recevoir l'extrémité de la perche de l'avion ravitailleur;
CA 022~39~ 1998-11-09
6 PCT/FR97/00823 - la figure S représente une vue de dessus du réceptacle et de la marque peinte cal acte~ i~lique qui permet de repérer sa position exacte;
- la figure 6 représente schématiquement le montage de la caméra sur le bout-dehors;
- la figure 7 représente s~ ",aliquement une image foumie par la caméra lors de l'appr~cl~e en vue d'un accouplement automatique;
- la figure 8 représente l'image finale obtenue par la caméra lorsque la perche est en position prête pour l'accouplement;
- la figure 9 représente un schéma global du système de guidage 10 selon l'invention.
Sur la figure 1 on a représenté schématiquement un avion ravitailleur 10 et un avion ravitaillé en vol 12. Le système de ravitaillement en vol est composé d'un bout-dehors 14 prolongé par une perche 1~ télescopique 16. Il s'étend sous la partie arrière du fuselage de l'avion ravitailleur. Le bout-dehors 14 est rigide et orientable par rapport à l'axe longitudinal de l'avion tout en restant globalement dirigé vers l'arrière et vers le bas. Par rapport à l'axe longitudinal de l'avion il peut par exemple s'incliner vers le bas dans un secteur angulaire s'étendant de 20~ jusqu'à
20 40~ et lateralement de 0~ à 10~ ou 15~ de part et d'autre de l'axe. Il peut avoir une longueur de 5 à 10 mètres par exemple et il se prolonge par une perche téléscopique 16 qui peut s'etendre sur une longueur de quelques mètres. Par exemple la longueur totale du bout-dehors et de la perche peut varier entre 1~ et 20 mètres. La fixation du bout-dehors à l'arrière de l'avion 2~ est une fixation semi-rigide par une rotule et l'orientation du bout-dehors par rapport à l'axe se fait par le moyen d'ailerons mobiles contrôlés par des servo-moteurs; la commande des servo-moteurs se fait à partir de l'avion ravitailleur.
Dans l'exemple décrit le bout-dehors est guidé par des ailerons 30 disposés en V mais une autre disposition de ces ailerons (en T par exemple) est envisageable. Le guidage du bout-dehors reprend donc le principe de fonctionnement bien connu d'un empennage d'avion disposant d'une architecture équivalente. Le principe de l'invention est indépendant de la manière dont est réalisé le guidage.
CA 022~39~ 1998-11-09
- la figure 6 représente schématiquement le montage de la caméra sur le bout-dehors;
- la figure 7 représente s~ ",aliquement une image foumie par la caméra lors de l'appr~cl~e en vue d'un accouplement automatique;
- la figure 8 représente l'image finale obtenue par la caméra lorsque la perche est en position prête pour l'accouplement;
- la figure 9 représente un schéma global du système de guidage 10 selon l'invention.
Sur la figure 1 on a représenté schématiquement un avion ravitailleur 10 et un avion ravitaillé en vol 12. Le système de ravitaillement en vol est composé d'un bout-dehors 14 prolongé par une perche 1~ télescopique 16. Il s'étend sous la partie arrière du fuselage de l'avion ravitailleur. Le bout-dehors 14 est rigide et orientable par rapport à l'axe longitudinal de l'avion tout en restant globalement dirigé vers l'arrière et vers le bas. Par rapport à l'axe longitudinal de l'avion il peut par exemple s'incliner vers le bas dans un secteur angulaire s'étendant de 20~ jusqu'à
20 40~ et lateralement de 0~ à 10~ ou 15~ de part et d'autre de l'axe. Il peut avoir une longueur de 5 à 10 mètres par exemple et il se prolonge par une perche téléscopique 16 qui peut s'etendre sur une longueur de quelques mètres. Par exemple la longueur totale du bout-dehors et de la perche peut varier entre 1~ et 20 mètres. La fixation du bout-dehors à l'arrière de l'avion 2~ est une fixation semi-rigide par une rotule et l'orientation du bout-dehors par rapport à l'axe se fait par le moyen d'ailerons mobiles contrôlés par des servo-moteurs; la commande des servo-moteurs se fait à partir de l'avion ravitailleur.
Dans l'exemple décrit le bout-dehors est guidé par des ailerons 30 disposés en V mais une autre disposition de ces ailerons (en T par exemple) est envisageable. Le guidage du bout-dehors reprend donc le principe de fonctionnement bien connu d'un empennage d'avion disposant d'une architecture équivalente. Le principe de l'invention est indépendant de la manière dont est réalisé le guidage.
CA 022~39~ 1998-11-09
7 PCT/FR97/00823 L'allongement télescopique de la perche est également contrôle à partir de l'avion et peut éventuellement être mesuré par un télémètre intégré à la perche télescopique.
Les figures 2 et 3 représentent plus en détail une vue du bout-s dehors 14 avec sa perche télescopique 16 et ses ailerons 18. Les ailerons sont par exemple deux ailerons disposés en V et comprenant des parties mobiles (éventuellement la totalité des ailerons peut être mobile) co""l)andées de manière à modifier la portance de chacun et ainsi modifier l'inclinaison latérale et verticale du bout-dehors. C'est cette inclinaison, couplée à un choix d'allongement télescopique de la perche, qui permet de positionner exactement l'extrémite de la perche par rapport à un réceptacle prévu sur l'avion ravitaillé, pendant que l'avion ravitaillé suit de très près le ravitailleur à la même vitesse que ce dernier.
Dans la technique antérieure, le positionnement était manuel et fait par un opérateur placé à l'arrière de l'avion ravitailleur; I'opérateur - manipule des manettes de commande et observe directement, à travers unhublot transparent, le resultat de ses manoeuvres jusqu'à obtenir un positionnement exact de l'extrémité de la perche en regard du réceptacle de l'avion ravitaillé.
La figure 4 représente schématiquement en coupe le réceptacle d'accouplement prévu pour recevoir la perche de ravitaillement. Le réceptacle 20 est disposé en affleurement avec les tôles 22 du fuselage de l'avion. Il comprend de préference un logement d'entrée, avec des parois 24 de forme généralement conique ou pyramidale se rétrécissant vers I'intérieur, de manière que l'extrémité 26 de la perche 16 soit naturellement guidée, lorsqu'elle pénètre dans le logement, vers un fond de logement dans lequel se situe le dispositif d'accouplement proprement dit 28. Le guidage par les parois 24 est tel que l'extrémite de la perche s'enclenche naturellement dans le dispositif d'accouplement 28 dès lors qu'elle est en place devant le réceptacle et qu'une action de déploiement télescopique supplémentaire de quelques centimètres ou dizaines de centimètres est effectuée. Le dispositif d'accouplement permet de maintenir la perche en place pendant l'opération de transfert de carburant; ce dispositif est connecté, à l'intérieur de l'avion ravitaillé, par une conduite 30, à un reservoir de carburant non représenté.
. , . , . . . ... , .. ~ . . ..
CA 022~39~ 1998-11-09
Les figures 2 et 3 représentent plus en détail une vue du bout-s dehors 14 avec sa perche télescopique 16 et ses ailerons 18. Les ailerons sont par exemple deux ailerons disposés en V et comprenant des parties mobiles (éventuellement la totalité des ailerons peut être mobile) co""l)andées de manière à modifier la portance de chacun et ainsi modifier l'inclinaison latérale et verticale du bout-dehors. C'est cette inclinaison, couplée à un choix d'allongement télescopique de la perche, qui permet de positionner exactement l'extrémite de la perche par rapport à un réceptacle prévu sur l'avion ravitaillé, pendant que l'avion ravitaillé suit de très près le ravitailleur à la même vitesse que ce dernier.
Dans la technique antérieure, le positionnement était manuel et fait par un opérateur placé à l'arrière de l'avion ravitailleur; I'opérateur - manipule des manettes de commande et observe directement, à travers unhublot transparent, le resultat de ses manoeuvres jusqu'à obtenir un positionnement exact de l'extrémité de la perche en regard du réceptacle de l'avion ravitaillé.
La figure 4 représente schématiquement en coupe le réceptacle d'accouplement prévu pour recevoir la perche de ravitaillement. Le réceptacle 20 est disposé en affleurement avec les tôles 22 du fuselage de l'avion. Il comprend de préference un logement d'entrée, avec des parois 24 de forme généralement conique ou pyramidale se rétrécissant vers I'intérieur, de manière que l'extrémité 26 de la perche 16 soit naturellement guidée, lorsqu'elle pénètre dans le logement, vers un fond de logement dans lequel se situe le dispositif d'accouplement proprement dit 28. Le guidage par les parois 24 est tel que l'extrémite de la perche s'enclenche naturellement dans le dispositif d'accouplement 28 dès lors qu'elle est en place devant le réceptacle et qu'une action de déploiement télescopique supplémentaire de quelques centimètres ou dizaines de centimètres est effectuée. Le dispositif d'accouplement permet de maintenir la perche en place pendant l'opération de transfert de carburant; ce dispositif est connecté, à l'intérieur de l'avion ravitaillé, par une conduite 30, à un reservoir de carburant non représenté.
. , . , . . . ... , .. ~ . . ..
CA 022~39~ 1998-11-09
8 P( l/r~97/00823 La figure 5 représente une vue de dessus du réce,utacle 20 affleurant à la surface de l'avion. Pour faciliter la mise en place de l'extrémité de la perche par l'opérateur, la position exacte du réceptacle peut être soulignée par un marquage tpeintures par exemple). L'opérateur ~Jiss~ manuellement en vision directe peut s'aider de ce marquage pour vérifier que la perche est en bonne position avant de déployer un plus de perche, ce qui permettra le verrouillage de celle-ci dans le réceptacle. Dans l'exemple représenté, le marquage 32 est une forme généralement triangulaire entourant le réceptacle, avec des arêtes 34 qui s'étendent 10 transversalement à l'axe de l'avion. Ce marquage n'est qu'un exemple.
La présente invention propose un système automatique de guidage, mais ne se substitue pas au guidage manuel, de manière qu'un avion ravitaillé puisse être accouplé indifféremment à un avion ravitailleur pourvu de moyens de guidage automatique ou à un avion ravitailleur 15 dépourvu de moyens automatiques. C'est pourquoi l'invention utilise de préférence les mêmes marques que celles qui sont utilisées actuellement sur les avions ravitaillables existants.
Le guidage automatique utilise une reconnaissance de forme d'image, à partir de l'image fournie par une caméra (visible ou 20 eventuellement infrarouge). Selon l'invention, comme le montre la figure 6, la caméra 40 est montée à l'extrémité du bout-dehors 14, par exemple derrière les ailerons 18. En principe une seule caméra suffit mais on verra qu'on peut également utiliser deux caméras, par exemple une de chaque côté du bout-dehors, ou une dessus et une dessous, ou encore deux 25 caméras placées au dessus du bout-dehors, très proches l'une de l'autre puisqu'elles sont toutes deux sur le bout-dehors, mais l'une décalée à droite et l'autre decalée à gauche.
La figure 7 représente une image enregistrée par la caméra 40 au cours de l'approche de l'extrémité de la perche vers le réceptacle.
L'image 44 du tuyau 14 est très déformée puisque la ligne de visée de la caméra est pratiquement parallèle à la perche télescopique.
Du fait de la géométrie retenue pour le système, le projeté de la perche sur l'image est un trapèze qui couvre la partie inférieure de l'image.
En choisissant une ligne de visée légèrement divergente par rapport à l'axe 3~ de la perche, on peut minimiser la surface de l'image couverte par la perche.
CA 022~39~ l998-ll-09
La présente invention propose un système automatique de guidage, mais ne se substitue pas au guidage manuel, de manière qu'un avion ravitaillé puisse être accouplé indifféremment à un avion ravitailleur pourvu de moyens de guidage automatique ou à un avion ravitailleur 15 dépourvu de moyens automatiques. C'est pourquoi l'invention utilise de préférence les mêmes marques que celles qui sont utilisées actuellement sur les avions ravitaillables existants.
Le guidage automatique utilise une reconnaissance de forme d'image, à partir de l'image fournie par une caméra (visible ou 20 eventuellement infrarouge). Selon l'invention, comme le montre la figure 6, la caméra 40 est montée à l'extrémité du bout-dehors 14, par exemple derrière les ailerons 18. En principe une seule caméra suffit mais on verra qu'on peut également utiliser deux caméras, par exemple une de chaque côté du bout-dehors, ou une dessus et une dessous, ou encore deux 25 caméras placées au dessus du bout-dehors, très proches l'une de l'autre puisqu'elles sont toutes deux sur le bout-dehors, mais l'une décalée à droite et l'autre decalée à gauche.
La figure 7 représente une image enregistrée par la caméra 40 au cours de l'approche de l'extrémité de la perche vers le réceptacle.
L'image 44 du tuyau 14 est très déformée puisque la ligne de visée de la caméra est pratiquement parallèle à la perche télescopique.
Du fait de la géométrie retenue pour le système, le projeté de la perche sur l'image est un trapèze qui couvre la partie inférieure de l'image.
En choisissant une ligne de visée légèrement divergente par rapport à l'axe 3~ de la perche, on peut minimiser la surface de l'image couverte par la perche.
CA 022~39~ l998-ll-09
9 PCT/FR97/00823 L'autre conséquence de cette géométrie est que la hauteur du trapèze varie peu en fonction de la longueur de perche déployée, et cette information peut même servir pour estimer la longueur de perche déployée. Cette longueur peut être également obtenue par tout autre système (retour d'information s des servomoteurs de déplGi~",enl, télémètre, etc.).
Le système est donc capable de connaître à chaque instant la forme exacte de la projection de la perche sur l'image.
L'image du réceptacle peut être soulignée par une marque de peinture contrastée ~ui permet de le repérer. Par simplicité, on considère
Le système est donc capable de connaître à chaque instant la forme exacte de la projection de la perche sur l'image.
L'image du réceptacle peut être soulignée par une marque de peinture contrastée ~ui permet de le repérer. Par simplicité, on considère
10 que la marque peinte représente la position exacte du réceptacle, ce qui est le cas si elle entoure de près le réceptacle. Cependant, on comprendra que la marque de repère pourrait être située plus loin du réceptacle, le calcul de position devant alors tenir compte de l'écart entre cette marque et le réceptacle puisque le calcul de guidage se fait par rapport à la marque alors que l'opération de guidage consiste à s'approcher du réceptacle. Il peut être intéressant d'utiliser une marque espacée du réceptacle pour que l'image de la marque risque moins d'être occultée par la perche elle-même.
L'image 42 de la marque de peinture 32 est déformée par rapport à l'image horizontale de la figure 5 du fait de la vision oblique de la caméra 20 (en principe le bout-dehors est incliné obliquement vers le bas, la caméra etant orientée parallèlement au bout-dehors, alors que le plan de la marque est généralement horizontal).
La figure 8 représente l'image finale 46 de la marque peinte telle que la caméra doit la voir au moment où la perche est prête pour un 25 accouplement. Cette image finale 46 dépend bien entendu de la marque utilisée. L'image finale de la marque est à une position de référence bien déterminée dans l'image, et elle a une dimension bien déterminée. Mais attention, cette image finale, sa position de référence et sa dimension de référence ne sont pas absolues: elle dépendent de la longueur de perche 30 déployée et de l'orientation du bout-dehors par rapport à l'horizontale. On comprend en effet par exemple que si une grande longueur de perche est déployée entre la caméra et le réceptacle, I'image de la marque peinte doit apparaître plus petite que si une courte longueur est déployée. De même, si le bout-dehors est plus incliné verticalement ou latéralement, la projection CA 022~39~ 1998-11-09 WO 97t43180 11~ PCT/FR97/00823 de la marque peinte sur le plan d'image ne sera pas la même que si l'inclinaison est moindre.
Les circuits de calcul ont pour fonction de co",~,arer l'image détectée 42 et l'image de référence, et d'en déduire des co"""a,ldes de guidage a appliquer aux ailerons du bout-dehors et des commandes de déploiement à appliquer aux servo-moteurs de la perche dans un sens tendant à faire coïncider l'image 42 de la marque de peinture avec l'image de référence correspon~la,~t à la position propice à l'accouplement.
On aura compris que la coïncidence implique que la position 10 détectée du réceptacle et la taille des éléments cara~e, istiques correspondent à ceux de l'image de référence.
Sur les figures 7 et 8, on a représenté des images schématiques et non le paysage réellement enregistré par la caméra. Mais de toute façon, le positionnement de la caméra sur le bout-dehors permet de travailler sur 15 des images simples car la proximité de la caméra par rapport à l'avion ravitaillé limite le nombre d'objets présents dans le champ de la caméra.
Ceci permet de simplifier les opérations de reconnaissance de forme qui permettent l'asservissement entre une forme reconnue et une forme de référence.
Le traitement de signal numérique utilisé dans l'invention comporte donc au moins les étapes suivantes:
- filtrage des images issues de la caméra;
- extraction de caractéristiques (éléments ponctuels ou contours ou zones homogènes, etc,..);
- reconnaissance d'une forme de référence dans l'image;
- écartométrie de position dans le plan image de la forme détectée par rapport à la forme de référence;
- élaboration de signaux de déplacement du bout-dehors et de la perche dans un sens tendant à rapprocher la forme détectée de la forme de référence, en position et en dimensions, - poursuite de l'écartométrie de position et la comparaison de dimensions si la coïncidence n'est pas atteinte, ou détection d'une coïncidence en position et dimensions - autorisation d'accouplement en cas de détection de coïncidence.
CA 022~39~ 1998-11-09
L'image 42 de la marque de peinture 32 est déformée par rapport à l'image horizontale de la figure 5 du fait de la vision oblique de la caméra 20 (en principe le bout-dehors est incliné obliquement vers le bas, la caméra etant orientée parallèlement au bout-dehors, alors que le plan de la marque est généralement horizontal).
La figure 8 représente l'image finale 46 de la marque peinte telle que la caméra doit la voir au moment où la perche est prête pour un 25 accouplement. Cette image finale 46 dépend bien entendu de la marque utilisée. L'image finale de la marque est à une position de référence bien déterminée dans l'image, et elle a une dimension bien déterminée. Mais attention, cette image finale, sa position de référence et sa dimension de référence ne sont pas absolues: elle dépendent de la longueur de perche 30 déployée et de l'orientation du bout-dehors par rapport à l'horizontale. On comprend en effet par exemple que si une grande longueur de perche est déployée entre la caméra et le réceptacle, I'image de la marque peinte doit apparaître plus petite que si une courte longueur est déployée. De même, si le bout-dehors est plus incliné verticalement ou latéralement, la projection CA 022~39~ 1998-11-09 WO 97t43180 11~ PCT/FR97/00823 de la marque peinte sur le plan d'image ne sera pas la même que si l'inclinaison est moindre.
Les circuits de calcul ont pour fonction de co",~,arer l'image détectée 42 et l'image de référence, et d'en déduire des co"""a,ldes de guidage a appliquer aux ailerons du bout-dehors et des commandes de déploiement à appliquer aux servo-moteurs de la perche dans un sens tendant à faire coïncider l'image 42 de la marque de peinture avec l'image de référence correspon~la,~t à la position propice à l'accouplement.
On aura compris que la coïncidence implique que la position 10 détectée du réceptacle et la taille des éléments cara~e, istiques correspondent à ceux de l'image de référence.
Sur les figures 7 et 8, on a représenté des images schématiques et non le paysage réellement enregistré par la caméra. Mais de toute façon, le positionnement de la caméra sur le bout-dehors permet de travailler sur 15 des images simples car la proximité de la caméra par rapport à l'avion ravitaillé limite le nombre d'objets présents dans le champ de la caméra.
Ceci permet de simplifier les opérations de reconnaissance de forme qui permettent l'asservissement entre une forme reconnue et une forme de référence.
Le traitement de signal numérique utilisé dans l'invention comporte donc au moins les étapes suivantes:
- filtrage des images issues de la caméra;
- extraction de caractéristiques (éléments ponctuels ou contours ou zones homogènes, etc,..);
- reconnaissance d'une forme de référence dans l'image;
- écartométrie de position dans le plan image de la forme détectée par rapport à la forme de référence;
- élaboration de signaux de déplacement du bout-dehors et de la perche dans un sens tendant à rapprocher la forme détectée de la forme de référence, en position et en dimensions, - poursuite de l'écartométrie de position et la comparaison de dimensions si la coïncidence n'est pas atteinte, ou détection d'une coïncidence en position et dimensions - autorisation d'accouplement en cas de détection de coïncidence.
CA 022~39~ 1998-11-09
11 PCT/FRg7/00823 La figure 9 représente la constitution globale du système selon l'invention et on va détailler plus précisément les fonctions qui peuvent être mises en oeuvre pour obtenir un fonctionnement optimal de l'invention.
La caméra 40 co",po,le comme c'est toujours le cas une tête optique 50 et des circuits électroniques de commande 52 et de mise en forme de signaux électriques bruts.
Le signal vidéo fourni par la caméra est llcns,,,is jusqu'à l'avion ravitailleur et est exploité par un calculateur numérique. Les fonctions 10 réalisées par ce calculateur ont été détaillées par commodité sous forme de blocs en cascade sur la figure 9.
Le calculateur reçoit les signaux de la caméra et les convertit en numérique dans un convertisseur analogique numérique 54 (sauf si le signal a déjà été numérisé à l'intérieur de la caméra). Les signaux d'image 1s numérisés subissent alors les traitements suivants:
Un traitement d'amélioration de l'image numérique (bloc ~6) permettant de travailler sur une image corrigée des défauts fixes ou périodiques issus de la caméra, et de réduire le bruit. Pour réaliser ces opérations de pré-traitement, une batterie d'opérateurs de corrections peut 20 être utilisée en fonction de la qualité des images. On peut citer les corrections radiométriques et d'homogénéités qui visent à réduire les phénomènes de distorsions ou de dégradations des niveaux de gris, les corrections géométriques, le moyennage d'images (3 par 3 par exemple) ou les filtrages de Gauss ou filtrage médian pour réduire les bruits haute 25 fréquence. On peut également soustraire aux images issues de la caméra une image de référence des défauts fixes (réduction des bruits basse fréquence).
Après ces filtrages numériques, les signaux sont traités dans un bloc de détection de contours permettant de remplacer l'image par des 30 lignes de contour afin de faciliter ensuite la reconnaissance de formes attendues dans ces lignes; le circuit de détection de contour fonctionne à
partir d'une mesure des contrastes: il ne retient que les zones de changement forts de contraste. Si la peinture de la marque spécifique entourant le réceptacle est suffisamment contrastée, on peut mettre par CA 022~39~ 1998-11-09 exemple un seuil de détection de contour tel que seul le contour de cette marque soit conservé dans l'image traitée.
Ce bloc peut être complété par une fonction de détection d'éléments ponctuels de l'image. Il s'agit là de détecter les angles des s formes de l'image. La connaissance des angles ~.r&senLs dans l'image est une inrormalio" qui permet d'améliorer ou d'accélérer le module de rec~""aissance de formes. Deux ",éll,Gcles cl~ssigues peuvent être citées à
titre d'exemple pour réaliser cette fonction: la méthode de Moravek ou le calcul du Hessien. Une troisième fonction de détection des régions homogènes de l'image peut également être ajoutée. Cette dernière étape peut, par exemple, utiliser la méthode de Kohler. On prépare ainsi la phase de reconnaissance des formes en extrayant de l'image les informations utiles qu'elles contient: contours, angles, régions homogènes.
Les techniques de détection de contours sont maintenant des 15 fonctions classiques en traitement d'image numérique et il n'est pas nécess~ire d'entrer dans les détails de cette fonction. Les non specialistes qui souhaiteraient acquérir quelques connaissances sur ce sujet peuvent par exemple se référer à l'article de R. Deriche "Using Cany's Criteria to Derive a Recursively Implemented Optimal Edge Detector", International Journal of Computer Vision, 1(2): 167, 1987. Egalement, le livre de William K. Pratt "Digital Image Processing" édité par John Wiley and Sons, 1987 rappelle les éléments classiques de la détection de contour, ainsi d'ailleurs que ceux du traitement d'amélioration d'image préalable à cette détection.
On peut également se référer au livre de R. Horaud et O. Monga ' \Jision par Ordinateur, Outils Fondamentaux" éditions Hermès, Paris 1995, qui traite d'une façon exhaustive le problème de détection de contours.
Le procédé préconisé ne dépend pas du choix de la méthode de détection de contours retenue.
L'etape de traitement suivante, effectuee dans le bloc 58, est une étape de chaînage des contours obtenus; en effet, la detection de contours fournit des points isolés, c'est-à-dire non reliés mathématiquement. Il faut donc réaliser le chaînage de ces points de contours, en intégrant des connaissances a priori sur les objets que l'on cherche à isoler (continuité du 3~ contour, taille ) afin de limiter le nombre de contours de l'image qui ne CA 022~39~ 1998-ll-09 présentent pas d'intérêt. Les contours retenus sont ensuite codés par des méthodes classiques telles que: code de cha~ne, approximation polygonale, approximation polynomiale, descripteurs de Fourier.
Les non spécialistes peuvent également s'ils veulent acquérir des connaissances, se référer à la ,néll~Je de chaînage exposée par G.
Giraudon "An efficient Edge Following Al~olill.lll". Proceedings of the ~th Scandinavian Co"rer~l~ce on ~mage Analysis", Stockholm, pages ~47-5~4, 1 987.
L'image traitée qui résulte de ces traitements se présente maintenant sous forme de vecteurs caractéristiques qui peuvent être stockés dans une mémoire et traités ultérieurement sous forme de vecteurs et non d'images point par point.
Le bloc de traitement suivant est un bloc 60 de reconnaissance de forme proprement dit permettant de reconnaître dans cet ensemble de vecteurs une image du réceptacle ou de son marquage associé. Ce bloc doit donc comparer l'image de contours vectorisés détectée par la caméra, éventuellement complétée par les angles et les régions homogènes, à un modèle théorique auquel devrait correspondre cette image à un moment donné.
Comme on ne sait pas où est situé l'image de la marque dans le champ de la caméra, et comme il faut de toutes façons déterminer la position de cette image si on la reconnaît, on utilise de préférence un principe de reconnaissance par translation de segments.
On rappelle le principe général, maintenant classique, de la reconnaissance par translation de segments: on recherche les translations individuelles qui permettent de superposer un segment du contour détecté
avec un segment co~,espondant du modèle recherché ayant sensiblement la meme orientation; comme le segment détecté et le segment du modèle n'ont pas forcément la même dimension (surtout au début de la phase de guidage), il y a de multiples translations possibles permettant d'amener le premier segment sur le deuxième. L'ensemble de ces translations possibles peut en fait être représenté par un "vecteur de translation". Si on recherche les vecteurs de translations, c'est-à-dire les ensembles de translations possibles, pour tous les segments du modèle qu'on cherche à reconnaître dans l'image, on obtient tout un ensemble de "segments de translations" qui .. . . . . . .
CA 022~39~ 1998-ll-09 WO 97/43180 14 rCTlFR97/00823 sont d'autant plus regroupés qu'il y a bien dans l'image detectée un contour ressemblant au modèle. Ces vecteurs regroupés se coupent dans une zone qui statistiquement représente une translation globale la plus proba~le ame"ant un contour détecté sur un contour modèle. L'existence d'une telle 5 translation pr~bdbl~ co"~ Je une rec~r"aiss~ce de la prés~nce de la forme recherchée dans l'image détectée. De plus la translation la plus p,~ba~le permet de définir l'écart en deux clin,e,lsions dans l'image détectée entre la posilion de la forme recGnnue et la position théorique recherchée.
On applique ce principe de reconnaissance de forme aux contours présents dans l'image traitée par le bloc ~8 et on compare ces contours à un modèle de rerérence. Le modèle de référence est issu d'une base de données qui comporte différentes images caractéristiques prédéte~"inées correspondant aux différentes marques susceptibles d'être peintes sur les avions à ravitailler.
Mais de plus le modèle de référence n'est pas fixe . il évolue au cours du temps en fonction de l'orientation du bout-dehors et de la longueur de perche déployée. Le bloc de reconnaissance de forme doit donc prendre en co~"pte à tout moment ces informations d'orientation et de longueur. Le modèle de référence pour une orientation de perche et une longueur donnée est l'image des éléments caractéristiques que voit la caméra lorsque l'extrémité de la perche pour cette longueur et cette orientation de bout-dehors est en regard du réceptacle et prête pour l'enclenchement de l'accouplement.
Ce modèle de référence comprend une forme de référence et une position relative de référence. Les informations de reconnaissance de forme permettent alors d'établir dans un bloc d'écartométrie 62 une écartométrie à
deux dimensions représentant l'écart de position dans le plan de l'image entre le contour reconnu et le modèle de référence.
Le bloc d'écartométrie 62 quantifie ces écarts de position et utilise par ailleurs des informations de rapport de dimensions entre le contour reconnu et le modèle de référence pour en déduire un écart selon l'axe de profondeur.
Les signaux d'écartométrie ainsi produits sont utilisés dans un bloc 64 de commande des servo-moteurs. Ce bloc comporte essentiellement CA 022~39~ 1998-11-09 WO 97/43180 ~5 PCT/FR97tO0823 un calaJl~tel~r qui élabore la réponse des servcco"""ar,des de pilotage du bout-dehors en fonction d'une loi de gui~ e. Cette loi de guidage prend en compte les écarts détectés pour orienter le bout-dehors à droite à gauche en haut ou en bas et pour piloter le ~léplQiement de la perche de manière à
- ~ t~p~roc;l~er itérativement la forme ~Iste~;t~e du modèle théorique cor,es~o"dant à la position actuelle du bout-dehors et au déploi~menl actuel de la perche. La loi de commande prend en compte l'état des gouvernes et des servo-moteurs. Elle est basée sur le caractéristiques mécaniques et élastiques de l'ensemble bout-dehors/perche ainsi que sur la 10 mécanique du vol des gouvemes.
Les signaux de commande issus du bloc 64 sont appliqués aux servomoteurs d'orientation des volets des ailerons 18 du bout-dehors 14 ainsi qu'aux servo-moteurs de déploiement de la perche télescopique. Ils permettent de réaliser par itérations successives la jonction entre 15 I'extrémité de la perche et le réceptacle de l'avion ravitaillé.
On prévoit de préférence que le système fonctionne en deux phases: une phase d'~cq~ ition dans laquelle les opérations de prétraitement d'extraction de contours et la reconnaissance de formes sont 20 effectuées dans toute l'image puis une phase de poursuite pour les images suivantes où ces opérations ne sont effectuées que dans une fenêtre de travail plus restreinte. La taille et le positionnement de cette fenêtre dans l'image sont déterminés selon le processus suivant:
Dans l'image n on calcule les parametres caractéristiques liés au 2s réceptacle (notamment position dans l'image et taille) par les opérations successives décrites ci-avant. On en déduit la réponse des servo-moteurs des gouvernes du bout-dehors et du déploiement de la perche. Par un filtrage de Kalman on estime la position et la taille des éléments caractéristiques a l'instant suivant dans l'image n+1. En prenant une marge 30 pour tenir compte d'éventuelles turbulences d'éventuelles actions des pilotes sur les gouvernes des avions ou des erreurs de modélisation on en déduit le positionnement et la taille de la fenêtre de travail dans l'image n+1.En réduisant la taille de la fenetre de travail on accélère le temps de calcul et donc la fréquence de travail de notre système. Le fait de 35 travailler sur des fenêtres plus petites permet également d'utiliser d'autres CA 022539~ 1998-11-09 techniques de reconnaissance, telles que la reconnaissance par corrélation dont la précision est meilleure que le pixel.
Cette technique de poursuite des éléments caractéristiques de l'image permet également d'anticiper les cas où ces éle",enls ne sont plus déte~-1ahles, soit parce qu'ils sont m~s~ és par un autre objet de la scène (la perche par exemple), soit parce qu'ils sont sortis du champ de la c~illler&, soit encore parce qu'ils ne se situent pas dans la fenêtre de travail. Dans ce cas là, le suivi des positions st ~ccessives dans l'image des éléments caractéristiques aux instants précédents permet d'établir une stratégie optimale de réacquisition de ces élérnents.
Lorsque la position finale désirée a été atteinte, le calculateur peut enclencher l'accouplement automatiquement, en or~onnant un déploiement supplémentaire de quelques centimètres ou dizaines de centimètres permettant le verrouillage de la perche dans le réceptacle, ou 1~ alors il peut fournir seulement un signal d'autorisation, I'enclenchement étant effectué par un opérateur qui contrôle que tout est en ordre. On notera que l'image élaborée par la caméra peut être transmise dans le poste de pilotage de l'avion ravitailleur et que les opérations sont alors contrôlées à partir du poste de pilotage et non d'un poste spécifique situé à l'arrière de l'avion.
Cette invention permet d'utiliser une caméra de constitution simple, sensible dans les spectre visible ou infrarouge. Pour les ravitaillements de nuit ou par mauvaise visibilité, I'utilisation d'une source d'éclairement peut être nécessaire.
~ien que l'invention permette d'utiliser une seule caméra, elle n'exclut pas qu'on prevoie deux caméras pour des raisons de redondance, ou pour limiter les cas de perte des élements caractéristiques au cours de la poursuite (par masquage de la perche par exemple). Dans ce cas, si la marque cesse d'être reconnue par le calculateur du fait qu'elle est masquée en tout ou partie par la perche, la deuxième caméra, légèrement décalée, prend automatiquement le relais et continue à assurer l'asservissement. Le système peut être également completé par une caméra portée par l'avion ravitailleur qui permet à l'opérateur d'avoir une vue globale de la scène du ravitaillement pour pouvoir assurer le contrôle du fonctionnement de l'asserrvissement.
La caméra 40 co",po,le comme c'est toujours le cas une tête optique 50 et des circuits électroniques de commande 52 et de mise en forme de signaux électriques bruts.
Le signal vidéo fourni par la caméra est llcns,,,is jusqu'à l'avion ravitailleur et est exploité par un calculateur numérique. Les fonctions 10 réalisées par ce calculateur ont été détaillées par commodité sous forme de blocs en cascade sur la figure 9.
Le calculateur reçoit les signaux de la caméra et les convertit en numérique dans un convertisseur analogique numérique 54 (sauf si le signal a déjà été numérisé à l'intérieur de la caméra). Les signaux d'image 1s numérisés subissent alors les traitements suivants:
Un traitement d'amélioration de l'image numérique (bloc ~6) permettant de travailler sur une image corrigée des défauts fixes ou périodiques issus de la caméra, et de réduire le bruit. Pour réaliser ces opérations de pré-traitement, une batterie d'opérateurs de corrections peut 20 être utilisée en fonction de la qualité des images. On peut citer les corrections radiométriques et d'homogénéités qui visent à réduire les phénomènes de distorsions ou de dégradations des niveaux de gris, les corrections géométriques, le moyennage d'images (3 par 3 par exemple) ou les filtrages de Gauss ou filtrage médian pour réduire les bruits haute 25 fréquence. On peut également soustraire aux images issues de la caméra une image de référence des défauts fixes (réduction des bruits basse fréquence).
Après ces filtrages numériques, les signaux sont traités dans un bloc de détection de contours permettant de remplacer l'image par des 30 lignes de contour afin de faciliter ensuite la reconnaissance de formes attendues dans ces lignes; le circuit de détection de contour fonctionne à
partir d'une mesure des contrastes: il ne retient que les zones de changement forts de contraste. Si la peinture de la marque spécifique entourant le réceptacle est suffisamment contrastée, on peut mettre par CA 022~39~ 1998-11-09 exemple un seuil de détection de contour tel que seul le contour de cette marque soit conservé dans l'image traitée.
Ce bloc peut être complété par une fonction de détection d'éléments ponctuels de l'image. Il s'agit là de détecter les angles des s formes de l'image. La connaissance des angles ~.r&senLs dans l'image est une inrormalio" qui permet d'améliorer ou d'accélérer le module de rec~""aissance de formes. Deux ",éll,Gcles cl~ssigues peuvent être citées à
titre d'exemple pour réaliser cette fonction: la méthode de Moravek ou le calcul du Hessien. Une troisième fonction de détection des régions homogènes de l'image peut également être ajoutée. Cette dernière étape peut, par exemple, utiliser la méthode de Kohler. On prépare ainsi la phase de reconnaissance des formes en extrayant de l'image les informations utiles qu'elles contient: contours, angles, régions homogènes.
Les techniques de détection de contours sont maintenant des 15 fonctions classiques en traitement d'image numérique et il n'est pas nécess~ire d'entrer dans les détails de cette fonction. Les non specialistes qui souhaiteraient acquérir quelques connaissances sur ce sujet peuvent par exemple se référer à l'article de R. Deriche "Using Cany's Criteria to Derive a Recursively Implemented Optimal Edge Detector", International Journal of Computer Vision, 1(2): 167, 1987. Egalement, le livre de William K. Pratt "Digital Image Processing" édité par John Wiley and Sons, 1987 rappelle les éléments classiques de la détection de contour, ainsi d'ailleurs que ceux du traitement d'amélioration d'image préalable à cette détection.
On peut également se référer au livre de R. Horaud et O. Monga ' \Jision par Ordinateur, Outils Fondamentaux" éditions Hermès, Paris 1995, qui traite d'une façon exhaustive le problème de détection de contours.
Le procédé préconisé ne dépend pas du choix de la méthode de détection de contours retenue.
L'etape de traitement suivante, effectuee dans le bloc 58, est une étape de chaînage des contours obtenus; en effet, la detection de contours fournit des points isolés, c'est-à-dire non reliés mathématiquement. Il faut donc réaliser le chaînage de ces points de contours, en intégrant des connaissances a priori sur les objets que l'on cherche à isoler (continuité du 3~ contour, taille ) afin de limiter le nombre de contours de l'image qui ne CA 022~39~ 1998-ll-09 présentent pas d'intérêt. Les contours retenus sont ensuite codés par des méthodes classiques telles que: code de cha~ne, approximation polygonale, approximation polynomiale, descripteurs de Fourier.
Les non spécialistes peuvent également s'ils veulent acquérir des connaissances, se référer à la ,néll~Je de chaînage exposée par G.
Giraudon "An efficient Edge Following Al~olill.lll". Proceedings of the ~th Scandinavian Co"rer~l~ce on ~mage Analysis", Stockholm, pages ~47-5~4, 1 987.
L'image traitée qui résulte de ces traitements se présente maintenant sous forme de vecteurs caractéristiques qui peuvent être stockés dans une mémoire et traités ultérieurement sous forme de vecteurs et non d'images point par point.
Le bloc de traitement suivant est un bloc 60 de reconnaissance de forme proprement dit permettant de reconnaître dans cet ensemble de vecteurs une image du réceptacle ou de son marquage associé. Ce bloc doit donc comparer l'image de contours vectorisés détectée par la caméra, éventuellement complétée par les angles et les régions homogènes, à un modèle théorique auquel devrait correspondre cette image à un moment donné.
Comme on ne sait pas où est situé l'image de la marque dans le champ de la caméra, et comme il faut de toutes façons déterminer la position de cette image si on la reconnaît, on utilise de préférence un principe de reconnaissance par translation de segments.
On rappelle le principe général, maintenant classique, de la reconnaissance par translation de segments: on recherche les translations individuelles qui permettent de superposer un segment du contour détecté
avec un segment co~,espondant du modèle recherché ayant sensiblement la meme orientation; comme le segment détecté et le segment du modèle n'ont pas forcément la même dimension (surtout au début de la phase de guidage), il y a de multiples translations possibles permettant d'amener le premier segment sur le deuxième. L'ensemble de ces translations possibles peut en fait être représenté par un "vecteur de translation". Si on recherche les vecteurs de translations, c'est-à-dire les ensembles de translations possibles, pour tous les segments du modèle qu'on cherche à reconnaître dans l'image, on obtient tout un ensemble de "segments de translations" qui .. . . . . . .
CA 022~39~ 1998-ll-09 WO 97/43180 14 rCTlFR97/00823 sont d'autant plus regroupés qu'il y a bien dans l'image detectée un contour ressemblant au modèle. Ces vecteurs regroupés se coupent dans une zone qui statistiquement représente une translation globale la plus proba~le ame"ant un contour détecté sur un contour modèle. L'existence d'une telle 5 translation pr~bdbl~ co"~ Je une rec~r"aiss~ce de la prés~nce de la forme recherchée dans l'image détectée. De plus la translation la plus p,~ba~le permet de définir l'écart en deux clin,e,lsions dans l'image détectée entre la posilion de la forme recGnnue et la position théorique recherchée.
On applique ce principe de reconnaissance de forme aux contours présents dans l'image traitée par le bloc ~8 et on compare ces contours à un modèle de rerérence. Le modèle de référence est issu d'une base de données qui comporte différentes images caractéristiques prédéte~"inées correspondant aux différentes marques susceptibles d'être peintes sur les avions à ravitailler.
Mais de plus le modèle de référence n'est pas fixe . il évolue au cours du temps en fonction de l'orientation du bout-dehors et de la longueur de perche déployée. Le bloc de reconnaissance de forme doit donc prendre en co~"pte à tout moment ces informations d'orientation et de longueur. Le modèle de référence pour une orientation de perche et une longueur donnée est l'image des éléments caractéristiques que voit la caméra lorsque l'extrémité de la perche pour cette longueur et cette orientation de bout-dehors est en regard du réceptacle et prête pour l'enclenchement de l'accouplement.
Ce modèle de référence comprend une forme de référence et une position relative de référence. Les informations de reconnaissance de forme permettent alors d'établir dans un bloc d'écartométrie 62 une écartométrie à
deux dimensions représentant l'écart de position dans le plan de l'image entre le contour reconnu et le modèle de référence.
Le bloc d'écartométrie 62 quantifie ces écarts de position et utilise par ailleurs des informations de rapport de dimensions entre le contour reconnu et le modèle de référence pour en déduire un écart selon l'axe de profondeur.
Les signaux d'écartométrie ainsi produits sont utilisés dans un bloc 64 de commande des servo-moteurs. Ce bloc comporte essentiellement CA 022~39~ 1998-11-09 WO 97/43180 ~5 PCT/FR97tO0823 un calaJl~tel~r qui élabore la réponse des servcco"""ar,des de pilotage du bout-dehors en fonction d'une loi de gui~ e. Cette loi de guidage prend en compte les écarts détectés pour orienter le bout-dehors à droite à gauche en haut ou en bas et pour piloter le ~léplQiement de la perche de manière à
- ~ t~p~roc;l~er itérativement la forme ~Iste~;t~e du modèle théorique cor,es~o"dant à la position actuelle du bout-dehors et au déploi~menl actuel de la perche. La loi de commande prend en compte l'état des gouvernes et des servo-moteurs. Elle est basée sur le caractéristiques mécaniques et élastiques de l'ensemble bout-dehors/perche ainsi que sur la 10 mécanique du vol des gouvemes.
Les signaux de commande issus du bloc 64 sont appliqués aux servomoteurs d'orientation des volets des ailerons 18 du bout-dehors 14 ainsi qu'aux servo-moteurs de déploiement de la perche télescopique. Ils permettent de réaliser par itérations successives la jonction entre 15 I'extrémité de la perche et le réceptacle de l'avion ravitaillé.
On prévoit de préférence que le système fonctionne en deux phases: une phase d'~cq~ ition dans laquelle les opérations de prétraitement d'extraction de contours et la reconnaissance de formes sont 20 effectuées dans toute l'image puis une phase de poursuite pour les images suivantes où ces opérations ne sont effectuées que dans une fenêtre de travail plus restreinte. La taille et le positionnement de cette fenêtre dans l'image sont déterminés selon le processus suivant:
Dans l'image n on calcule les parametres caractéristiques liés au 2s réceptacle (notamment position dans l'image et taille) par les opérations successives décrites ci-avant. On en déduit la réponse des servo-moteurs des gouvernes du bout-dehors et du déploiement de la perche. Par un filtrage de Kalman on estime la position et la taille des éléments caractéristiques a l'instant suivant dans l'image n+1. En prenant une marge 30 pour tenir compte d'éventuelles turbulences d'éventuelles actions des pilotes sur les gouvernes des avions ou des erreurs de modélisation on en déduit le positionnement et la taille de la fenêtre de travail dans l'image n+1.En réduisant la taille de la fenetre de travail on accélère le temps de calcul et donc la fréquence de travail de notre système. Le fait de 35 travailler sur des fenêtres plus petites permet également d'utiliser d'autres CA 022539~ 1998-11-09 techniques de reconnaissance, telles que la reconnaissance par corrélation dont la précision est meilleure que le pixel.
Cette technique de poursuite des éléments caractéristiques de l'image permet également d'anticiper les cas où ces éle",enls ne sont plus déte~-1ahles, soit parce qu'ils sont m~s~ és par un autre objet de la scène (la perche par exemple), soit parce qu'ils sont sortis du champ de la c~illler&, soit encore parce qu'ils ne se situent pas dans la fenêtre de travail. Dans ce cas là, le suivi des positions st ~ccessives dans l'image des éléments caractéristiques aux instants précédents permet d'établir une stratégie optimale de réacquisition de ces élérnents.
Lorsque la position finale désirée a été atteinte, le calculateur peut enclencher l'accouplement automatiquement, en or~onnant un déploiement supplémentaire de quelques centimètres ou dizaines de centimètres permettant le verrouillage de la perche dans le réceptacle, ou 1~ alors il peut fournir seulement un signal d'autorisation, I'enclenchement étant effectué par un opérateur qui contrôle que tout est en ordre. On notera que l'image élaborée par la caméra peut être transmise dans le poste de pilotage de l'avion ravitailleur et que les opérations sont alors contrôlées à partir du poste de pilotage et non d'un poste spécifique situé à l'arrière de l'avion.
Cette invention permet d'utiliser une caméra de constitution simple, sensible dans les spectre visible ou infrarouge. Pour les ravitaillements de nuit ou par mauvaise visibilité, I'utilisation d'une source d'éclairement peut être nécessaire.
~ien que l'invention permette d'utiliser une seule caméra, elle n'exclut pas qu'on prevoie deux caméras pour des raisons de redondance, ou pour limiter les cas de perte des élements caractéristiques au cours de la poursuite (par masquage de la perche par exemple). Dans ce cas, si la marque cesse d'être reconnue par le calculateur du fait qu'elle est masquée en tout ou partie par la perche, la deuxième caméra, légèrement décalée, prend automatiquement le relais et continue à assurer l'asservissement. Le système peut être également completé par une caméra portée par l'avion ravitailleur qui permet à l'opérateur d'avoir une vue globale de la scène du ravitaillement pour pouvoir assurer le contrôle du fonctionnement de l'asserrvissement.
Claims (4)
1. Système d'accouplement, notamment pour le ravitaillement en vol, utilisant des moyens de guidage automatique de l'extrémité d'une perche télescopique vers un réceptacle d'accouplement en vue de l'accouplement de la perche et de ce réceptacle, la perche étant déployable à partir d'une extrémité d'un bout-dehors orientable, système caractérisé en ce qu'il comporte:
- une caméra (40) portée par l'extrémité du bout-dehors et fournissant une image sous forme de signal électronique, - des moyens de reconnaissance de forme (56, 58, 60) couplés à la caméra pour reconnaître, dans l'image fournie par la caméra, des éléments caractéristiques liés au réceptacle, - des moyens de calcul de position pour déterminer, par calcul dans l'image fournie par la caméra, l'écart entre la position des éléments caractéristiques de l'image à un instant donné, et une position de référence issue d'une image mémorisée de la perche et du réceptacle lorsque leur accouplement est réalisé, - des moyens (62) pour déduire de la taille réelle du réceptacle, de la taille et de la position de sa projection dans l'image, l'écart en profondeur entre l'extrémité de la perche et réceptacle, - et des moyens pour commander l'orientation du bout-dehors et le déploiement de la perche en fonction des écarts ainsi déterminés, de manière à rapprocher itérativement la perche du réceptacle jusqu'à
l'annulation de ces écarts.
- une caméra (40) portée par l'extrémité du bout-dehors et fournissant une image sous forme de signal électronique, - des moyens de reconnaissance de forme (56, 58, 60) couplés à la caméra pour reconnaître, dans l'image fournie par la caméra, des éléments caractéristiques liés au réceptacle, - des moyens de calcul de position pour déterminer, par calcul dans l'image fournie par la caméra, l'écart entre la position des éléments caractéristiques de l'image à un instant donné, et une position de référence issue d'une image mémorisée de la perche et du réceptacle lorsque leur accouplement est réalisé, - des moyens (62) pour déduire de la taille réelle du réceptacle, de la taille et de la position de sa projection dans l'image, l'écart en profondeur entre l'extrémité de la perche et réceptacle, - et des moyens pour commander l'orientation du bout-dehors et le déploiement de la perche en fonction des écarts ainsi déterminés, de manière à rapprocher itérativement la perche du réceptacle jusqu'à
l'annulation de ces écarts.
2. Système d'accouplement selon la revendication 1, caractérisé en ce que la position de référence est une position des éléments caractéristiques, dans l'image fournie par la caméra, lorsque la perche est en position finale permettant un accouplement au réceptacle.
3. Système selon la revendication 2, caractérisé en ce que les moyens de reconnaissance de forme comprennent une base de données contenant des images caractéristiques prédéterminées correspondant à
différents réceptacles et marquages caractéristiques d'avions susceptibles d'être ravitaillés.
différents réceptacles et marquages caractéristiques d'avions susceptibles d'être ravitaillés.
4. Système selon la revendication 3, caractérisé en ce que les moyens de reconnaissance de forme comportent des moyens pour définir une position de référence variable au cours du temps, à partir de l'image prédéterminée, de l'orientation actuelle du bout-dehors, et de la longueur actuelle de perche déployée.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9605844A FR2748450B1 (fr) | 1996-05-10 | 1996-05-10 | Procede et dispositif de guidage d'une perche de ravitaillement en vol |
| FR96/05844 | 1996-05-10 | ||
| PCT/FR1997/000823 WO1997043180A1 (fr) | 1996-05-10 | 1997-05-07 | Procede et dispositif de guidage d'une perche de ravitaillement en vol |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CA2253955A1 true CA2253955A1 (fr) | 1997-11-20 |
Family
ID=9492018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CA002253955A Abandoned CA2253955A1 (fr) | 1996-05-10 | 1997-05-07 | Procede et dispositif de guidage d'une perche de ravitaillement en vol |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US6324295B1 (fr) |
| EP (1) | EP0934194B1 (fr) |
| JP (1) | JP2000509343A (fr) |
| CA (1) | CA2253955A1 (fr) |
| DE (1) | DE69702716T2 (fr) |
| FR (1) | FR2748450B1 (fr) |
| IL (1) | IL126921A (fr) |
| WO (1) | WO1997043180A1 (fr) |
Families Citing this family (91)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5910854A (en) | 1993-02-26 | 1999-06-08 | Donnelly Corporation | Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices |
| US5668663A (en) | 1994-05-05 | 1997-09-16 | Donnelly Corporation | Electrochromic mirrors and devices |
| US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
| US5904729A (en) * | 1997-03-04 | 1999-05-18 | The Boeing Company | Automated director light system for aerial refueling operations |
| US6326613B1 (en) | 1998-01-07 | 2001-12-04 | Donnelly Corporation | Vehicle interior mirror assembly adapted for containing a rain sensor |
| US8294975B2 (en) | 1997-08-25 | 2012-10-23 | Donnelly Corporation | Automotive rearview mirror assembly |
| US6172613B1 (en) | 1998-02-18 | 2001-01-09 | Donnelly Corporation | Rearview mirror assembly incorporating vehicle information display |
| US6124886A (en) | 1997-08-25 | 2000-09-26 | Donnelly Corporation | Modular rearview mirror assembly |
| US8288711B2 (en) | 1998-01-07 | 2012-10-16 | Donnelly Corporation | Interior rearview mirror system with forwardly-viewing camera and a control |
| US6445287B1 (en) | 2000-02-28 | 2002-09-03 | Donnelly Corporation | Tire inflation assistance monitoring system |
| US6693517B2 (en) | 2000-04-21 | 2004-02-17 | Donnelly Corporation | Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants |
| US6477464B2 (en) | 2000-03-09 | 2002-11-05 | Donnelly Corporation | Complete mirror-based global-positioning system (GPS) navigation solution |
| US6329925B1 (en) | 1999-11-24 | 2001-12-11 | Donnelly Corporation | Rearview mirror assembly with added feature modular display |
| WO2007053710A2 (fr) | 2005-11-01 | 2007-05-10 | Donnelly Corporation | Retroviseur interieur a affichage |
| US7167796B2 (en) | 2000-03-09 | 2007-01-23 | Donnelly Corporation | Vehicle navigation system for use with a telematics system |
| US7370983B2 (en) | 2000-03-02 | 2008-05-13 | Donnelly Corporation | Interior mirror assembly with display |
| EP1263626A2 (fr) | 2000-03-02 | 2002-12-11 | Donnelly Corporation | Systeme de miroir video integrant un module accessoire |
| US6866228B2 (en) * | 2000-07-21 | 2005-03-15 | Asher Bartov | Aerial refueling hose reel drive controlled by a variable displacement hydraulic motor and method for controlling aerial refueling hose reel |
| US6604711B1 (en) * | 2000-11-20 | 2003-08-12 | Sargent Fletcher, Inc. | Autonomous system for the aerial refueling or decontamination of unmanned airborne vehicles |
| ATE363413T1 (de) | 2001-01-23 | 2007-06-15 | Donnelly Corp | Verbessertes fahrzeugbeleuchtungssystem |
| US7255451B2 (en) | 2002-09-20 | 2007-08-14 | Donnelly Corporation | Electro-optic mirror cell |
| US7581859B2 (en) | 2005-09-14 | 2009-09-01 | Donnelly Corp. | Display device for exterior rearview mirror |
| US6918674B2 (en) | 2002-05-03 | 2005-07-19 | Donnelly Corporation | Vehicle rearview mirror system |
| US7329013B2 (en) | 2002-06-06 | 2008-02-12 | Donnelly Corporation | Interior rearview mirror system with compass |
| WO2003105099A1 (fr) | 2002-06-06 | 2003-12-18 | Donnelly Corporation | Systeme de miroir de courtoisie interieur a boussole |
| WO2004103772A2 (fr) | 2003-05-19 | 2004-12-02 | Donnelly Corporation | Assemblage de retroviseur pour vehicule |
| US7310177B2 (en) | 2002-09-20 | 2007-12-18 | Donnelly Corporation | Electro-optic reflective element assembly |
| AU2003278863A1 (en) | 2002-09-20 | 2004-04-08 | Donnelly Corporation | Mirror reflective element assembly |
| US7152828B1 (en) | 2002-11-01 | 2006-12-26 | Sargent Fletcher, Inc. | Method and apparatus for the hookup of unmanned/manned (“hum”) multi purpose vehicles with each other |
| US7446924B2 (en) | 2003-10-02 | 2008-11-04 | Donnelly Corporation | Mirror reflective element assembly including electronic component |
| US7308341B2 (en) | 2003-10-14 | 2007-12-11 | Donnelly Corporation | Vehicle communication system |
| WO2005103939A1 (fr) | 2004-03-25 | 2005-11-03 | Bell Helicopter Textron Inc | Système de commande pour véhicules |
| AU2004202179B2 (en) * | 2004-05-20 | 2011-04-21 | The Boeing Company | Method and apparatus for covertly determining the rate of relative motion between two objects |
| US6966525B1 (en) * | 2004-06-28 | 2005-11-22 | The Boeing Company | In-flight refueling system, alignment system, and method for automatic alignment and engagement of an in-flight refueling boom |
| US7309047B2 (en) * | 2005-02-25 | 2007-12-18 | The Boeing Company | Systems and methods for controlling flexible communication links used for aircraft refueling |
| US7188807B2 (en) * | 2005-03-11 | 2007-03-13 | The Boeing Company | Refueling booms with multiple couplings and associated methods and systems |
| US7469863B1 (en) | 2005-03-24 | 2008-12-30 | The Boeing Company | Systems and methods for automatically and semiautomatically controlling aircraft refueling |
| ATE517368T1 (de) | 2005-05-16 | 2011-08-15 | Donnelly Corp | Fahrzeugspiegelanordnung mit zeichen am reflektierenden teil |
| US7213787B2 (en) * | 2005-06-07 | 2007-05-08 | The Boeing Company | Valves for annular conduits including aircraft fuel conduits and associated systems and methods |
| US7637458B2 (en) | 2005-06-08 | 2009-12-29 | The Boeing Company | Systems and methods for providing back-up hydraulic power for aircraft, including tanker aircraft |
| US7293741B2 (en) * | 2005-06-09 | 2007-11-13 | The Boeing Company | System and methods for distributing loads from fluid conduits, including aircraft fuel conduits |
| US7533850B2 (en) | 2005-06-09 | 2009-05-19 | The Boeing Company | Fittings with redundant seals for aircraft fuel lines, fuel tanks, and other systems |
| US7581700B2 (en) * | 2005-06-09 | 2009-09-01 | The Boeing Company | Adjustable fittings for attaching support members to fluid conduits, including aircraft fuel conduits, and associated systems and methods |
| US7219857B2 (en) * | 2005-06-20 | 2007-05-22 | The Boeing Company | Controllable refueling drogues and associated systems and methods |
| US7298291B2 (en) * | 2005-07-29 | 2007-11-20 | The Boeing Company | Graphical symbology apparatus for use in an airborne refueling system |
| US7309048B2 (en) * | 2005-07-29 | 2007-12-18 | The Boeing Company | Vision system and method incorporating graphics symbology for use in a tanker refueling system |
| US7472868B2 (en) * | 2005-09-01 | 2009-01-06 | The Boeing Company | Systems and methods for controlling an aerial refueling device |
| EP2378350B1 (fr) | 2006-03-09 | 2013-12-11 | Gentex Corporation | Ensemble de rétroviseur de véhicule incluant un écran à haute intensité |
| US20080035787A1 (en) * | 2006-08-08 | 2008-02-14 | Thompson Mark N | Lighter-than-air gas handling system and method |
| US20080179453A1 (en) * | 2007-01-26 | 2008-07-31 | Thompson Mark N | Modular airship system and method |
| US20120092486A1 (en) * | 2008-02-29 | 2012-04-19 | Caterpillar Inc. | System and method for controlling a multi-machine caravan |
| US8154418B2 (en) | 2008-03-31 | 2012-04-10 | Magna Mirrors Of America, Inc. | Interior rearview mirror system |
| DE102008038178B4 (de) * | 2008-08-18 | 2012-12-13 | Eads Deutschland Gmbh | Steuerungsvorrichtung und Steuerungsverfahren für einen Tankausleger eines Tankluftfahrzeugs |
| US20100072320A1 (en) * | 2008-09-24 | 2010-03-25 | Asher Bartov | Programmable aerial refueling range |
| US9487144B2 (en) | 2008-10-16 | 2016-11-08 | Magna Mirrors Of America, Inc. | Interior mirror assembly with display |
| EP2370317B1 (fr) * | 2008-12-17 | 2014-10-22 | The Boeing Company | Atténuation automatique des forces s'exerçant sur une perche de ravitaillement |
| US20100217526A1 (en) * | 2009-02-26 | 2010-08-26 | Lockheed Martin Corporation | Method for simple optical autonomous refueling system |
| US8879139B2 (en) | 2012-04-24 | 2014-11-04 | Gentex Corporation | Display mirror assembly |
| US9598018B2 (en) | 2013-03-15 | 2017-03-21 | Gentex Corporation | Display mirror assembly |
| AU2014326772B2 (en) | 2013-09-24 | 2017-07-20 | Gentex Corporation | Display mirror assembly |
| US9511715B2 (en) | 2014-01-31 | 2016-12-06 | Gentex Corporation | Backlighting assembly for display for reducing cross-hatching |
| US20150284106A1 (en) * | 2014-02-28 | 2015-10-08 | Eaton Corporation | Aerial refueling boom with pressure limiting valve |
| WO2015143333A1 (fr) | 2014-03-21 | 2015-09-24 | Gentex Corporation | Ensemble miroir d'affichage trimodal |
| KR101894262B1 (ko) | 2014-04-01 | 2018-09-04 | 젠텍스 코포레이션 | 자동 디스플레이 미러 어셈블리 |
| WO2016044746A1 (fr) | 2014-09-19 | 2016-03-24 | Gentex Corporation | Ensemble rétroviseur |
| WO2016073848A1 (fr) | 2014-11-07 | 2016-05-12 | Gentex Corporation | Actionneur de miroir d'affichage plein écran |
| EP3218227B1 (fr) | 2014-11-13 | 2018-10-24 | Gentex Corporation | Système de rétroviseur avec un dispositif d'affichage |
| KR101997815B1 (ko) | 2014-12-03 | 2019-07-08 | 젠텍스 코포레이션 | 디스플레이 미러 어셈블리 |
| USD746744S1 (en) | 2014-12-05 | 2016-01-05 | Gentex Corporation | Rearview device |
| US9744907B2 (en) | 2014-12-29 | 2017-08-29 | Gentex Corporation | Vehicle vision system having adjustable displayed field of view |
| US9720278B2 (en) | 2015-01-22 | 2017-08-01 | Gentex Corporation | Low cost optical film stack |
| EP3064435A1 (fr) * | 2015-03-03 | 2016-09-07 | Airbus Defence and Space, S.A. | Systèmes et procédés pour le calcul de la distance et de la vitesse relative entre les trois axes de coordonnées d'un aéronef en vol |
| JP2018513810A (ja) | 2015-04-20 | 2018-05-31 | ジェンテックス コーポレイション | 装飾を備えた後方視認アセンブリ |
| EP3297870B1 (fr) | 2015-05-18 | 2020-02-05 | Gentex Corporation | Dispositif de rétroviseur plein affichage |
| WO2016209877A1 (fr) | 2015-06-22 | 2016-12-29 | Gentex Corporation | Système et procédé de traitement d'images vidéo transmises en continu afin de corriger le papillotement de lumières à modulation d'amplitude |
| CN108349435B (zh) | 2015-10-30 | 2021-06-15 | 金泰克斯公司 | 切换板 |
| USD797627S1 (en) | 2015-10-30 | 2017-09-19 | Gentex Corporation | Rearview mirror device |
| EP3368375B1 (fr) | 2015-10-30 | 2020-03-04 | Gentex Corporation | Rétroviseur |
| USD798207S1 (en) | 2015-10-30 | 2017-09-26 | Gentex Corporation | Rearview mirror assembly |
| USD800618S1 (en) | 2015-11-02 | 2017-10-24 | Gentex Corporation | Toggle paddle for a rear view device |
| USD845851S1 (en) | 2016-03-31 | 2019-04-16 | Gentex Corporation | Rearview device |
| USD817238S1 (en) | 2016-04-29 | 2018-05-08 | Gentex Corporation | Rearview device |
| US10025138B2 (en) | 2016-06-06 | 2018-07-17 | Gentex Corporation | Illuminating display with light gathering structure |
| US11505330B2 (en) * | 2016-08-20 | 2022-11-22 | Modern Technology Solutions, Inc. | Refueling system and systems with end effectors |
| US11745894B2 (en) * | 2016-08-20 | 2023-09-05 | Modern Technology Solutions, Inc. | Vehicle refueling and recharging |
| USD809984S1 (en) | 2016-12-07 | 2018-02-13 | Gentex Corporation | Rearview assembly |
| USD854473S1 (en) | 2016-12-16 | 2019-07-23 | Gentex Corporation | Rearview assembly |
| EP3562710A4 (fr) | 2016-12-30 | 2019-11-13 | Gentex Corporation | Miroir à affichage complet avec vue d'observateur à la demande |
| CN110312641A (zh) | 2017-03-17 | 2019-10-08 | 金泰克斯公司 | 双显示倒车摄像系统 |
| RU2745725C2 (ru) * | 2019-01-17 | 2021-03-31 | Александр Александрович Горшков | Способ дозаправки летательного аппарата в воздухе |
| US11834175B2 (en) | 2022-01-31 | 2023-12-05 | PEARI Co., Ltd. | Aerial refueling aircraft |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4158885A (en) * | 1977-11-09 | 1979-06-19 | The Boeing Company | Guidance-light display apparatus and method for in-flight link-up of two aircraft |
| US4298176A (en) * | 1979-03-01 | 1981-11-03 | Mcdonnell Douglas Corporation | Remote refueling station |
| USH297H (en) * | 1985-08-12 | 1987-07-07 | The United States Of America As Represented By The Secretary Of The Air Force | Robotic refueling system for tactical and strategic aircraft |
| US4890918A (en) * | 1988-09-15 | 1990-01-02 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Docking alignment system |
| GB2237251A (en) * | 1989-10-27 | 1991-05-01 | Plessey Co Plc | In-flight refueling apparatus |
| US5109345A (en) * | 1990-02-20 | 1992-04-28 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Closed-loop autonomous docking system |
| US5530650A (en) * | 1992-10-28 | 1996-06-25 | Mcdonnell Douglas Corp. | Computer imaging system and method for remote in-flight aircraft refueling |
| FR2705082B1 (fr) * | 1993-05-12 | 1995-08-04 | Aerospatiale | Système de ravitaillement en vol. |
| WO1996009207A1 (fr) * | 1994-09-19 | 1996-03-28 | Siemens Corporate Research, Inc. | Systeme autonome d'accostage d'un aeronef pilote par systeme video, procede et dispositif associes |
| US5906336A (en) * | 1997-11-14 | 1999-05-25 | Eckstein; Donald | Method and apparatus for temporarily interconnecting an unmanned aerial vehicle |
-
1996
- 1996-05-10 FR FR9605844A patent/FR2748450B1/fr not_active Expired - Fee Related
-
1997
- 1997-05-07 WO PCT/FR1997/000823 patent/WO1997043180A1/fr active IP Right Grant
- 1997-05-07 DE DE69702716T patent/DE69702716T2/de not_active Expired - Fee Related
- 1997-05-07 JP JP9524662A patent/JP2000509343A/ja active Pending
- 1997-05-07 EP EP97923156A patent/EP0934194B1/fr not_active Expired - Lifetime
- 1997-05-07 US US09/180,280 patent/US6324295B1/en not_active Expired - Lifetime
- 1997-05-07 IL IL12692197A patent/IL126921A/xx not_active IP Right Cessation
- 1997-05-07 CA CA002253955A patent/CA2253955A1/fr not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| IL126921A (en) | 2001-01-28 |
| EP0934194A1 (fr) | 1999-08-11 |
| DE69702716T2 (de) | 2001-04-05 |
| WO1997043180A1 (fr) | 1997-11-20 |
| FR2748450B1 (fr) | 1998-08-14 |
| JP2000509343A (ja) | 2000-07-25 |
| IL126921A0 (en) | 1999-09-22 |
| FR2748450A1 (fr) | 1997-11-14 |
| DE69702716D1 (de) | 2000-09-07 |
| EP0934194B1 (fr) | 2000-08-02 |
| US6324295B1 (en) | 2001-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0934194B1 (fr) | Procede et dispositif de guidage d'une perche de ravitaillement en vol | |
| EP2400460B1 (fr) | Procédé d'évaluation de la vitesse horizontale d'un drone, notamment d'un drone apte au vol stationnaire autopiloté | |
| EP3270365B1 (fr) | Dispositif d'aide au pilotage d'un giravion, giravion associe et procede d'aide au pilotage correspondant | |
| US20190068829A1 (en) | Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Obstructions | |
| EP3689755B1 (fr) | Systeme d'eclairage directionnel equipant un aeronef et procede d'eclairage associe | |
| FR2638544A1 (fr) | Systeme pour determiner la position spatiale d'un objet en mouvement, applique notamment a l'atterrissage des avions | |
| FR3000813A1 (fr) | Drone a voilure tournante comprenant des moyens de determination autonome de position dans un repere absolu lie au sol. | |
| EP3388914A1 (fr) | Procédé de suivi de cible par un drone, programme d'ordinateur, système électronique et drone associés | |
| FR3087134A1 (fr) | Ensemble de detection d'obstacle pour drone, drone equipe d'un tel ensemble de detection d'obstacle et procede de detection d'obstacle | |
| EP2818829B1 (fr) | Système de navigation et de pointage et procédé de calibration d'un système de navigation et de pointage | |
| Marchand et al. | RemoveDebris vision-based navigation preliminary results | |
| WO2008061307A1 (fr) | Procédé de détermination des caractéristiques d'une surface distante avec application lors de l'atterrissage d'un véhicule aérien | |
| WO2020021191A1 (fr) | Engin volant motorisé de mesure du relief de surfaces d'un objet prédéterminé et procédé de commande d'un tel engin | |
| WO2014147042A2 (fr) | Procédé et dispositif de détermination d'une interdistance entre un drone et un objet, procédé de pilotage de vol d'un drone | |
| EP0508905B1 (fr) | Procédé d'autoguidage d'un engin vers une cible par mesure de distance | |
| EP3712551B1 (fr) | Procédé de pointage et d'acquisition de cible pour une plateforme, nacelle et dispositif permettant la mise en oeuvre de ce procédé | |
| EP4016235A1 (fr) | Système d'acquisition de l'image d'un aéronef meneur depuis un aéronef suiveur en luminosité réduite | |
| EP3620852B1 (fr) | Procédé de capture d'images aériennes d'une zone géographique, procédé de cartographie tridimensionnelle d'une zone géographique et aéronef pour la réalisation de tels procédés | |
| EP3866136A1 (fr) | Procédé et système d'aide à la navigation pour un aeronèf par détection d'objets maritimes en vue d'un vol d'approche, d'une mise en vol stationnaire ou d'un atterrissage | |
| FR3090089A1 (fr) | Procédé d’assistance au traitement d’un sol | |
| EP4064010B1 (fr) | Procede et systeme de visualisation et de gestion d'une situation de l'environnement d'un aeronef | |
| EP4205406B1 (fr) | Procédé d'acquisition d'images d'un objet spatial en orbite terrestre par un engin spatial en orbite terrestre | |
| FR2633041A1 (fr) | Procedes et dispositifs pour determiner les positions et les dimensions de plusieurs objets ou evenements situes sur une surface connue | |
| Birk et al. | Reconnaissance and camp security missions with an unmanned aerial vehicle (uav) at the 2009 european land robots trials (elrob) | |
| CN109782442A (zh) | 显示系统、相关显示方法和计算机程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FZDE | Discontinued |