EP1656650B1 - Procede et systeme pour detecter un corps dans une zone situee a proximite d une interface - Google Patents

Procede et systeme pour detecter un corps dans une zone situee a proximite d une interface Download PDF

Info

Publication number
EP1656650B1
EP1656650B1 EP04767924A EP04767924A EP1656650B1 EP 1656650 B1 EP1656650 B1 EP 1656650B1 EP 04767924 A EP04767924 A EP 04767924A EP 04767924 A EP04767924 A EP 04767924A EP 1656650 B1 EP1656650 B1 EP 1656650B1
Authority
EP
European Patent Office
Prior art keywords
data
interface
image
representative
blue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP04767924A
Other languages
German (de)
English (en)
Other versions
EP1656650A1 (fr
Inventor
Thierry Cohignac
Frédéric Guichard
Christophe Migliorini
Fanny Rousson
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MG International SA
Original Assignee
MG International SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MG International SA filed Critical MG International SA
Publication of EP1656650A1 publication Critical patent/EP1656650A1/fr
Application granted granted Critical
Publication of EP1656650B1 publication Critical patent/EP1656650B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/08—Alarms for ensuring the safety of persons responsive to the presence of persons in a body of water, e.g. a swimming pool; responsive to an abnormal condition of a body of water
    • G08B21/082—Alarms for ensuring the safety of persons responsive to the presence of persons in a body of water, e.g. a swimming pool; responsive to an abnormal condition of a body of water by monitoring electrical characteristics of the water

Definitions

  • the present invention relates to a method, a system and devices for detecting a body in an area near an interface between two liquid and / or gaseous media including water / air type.
  • near also means “at the interface”.
  • the problem relates to detecting the presence of bodies in the vicinity of a water / air type interface. In addition to this main problem, there is the discrimination between the bodies located on one side or the other of the interface and the detection of stationary bodies.
  • a video camera uses two filters, in the blue-green and red ranges.
  • the red signal very attenuated in water, is removed from the signal in the blue-green wavelength range; thus, the reflections and signals corresponding to the surface of the water are eliminated.
  • the present invention solves the problem of detecting bodies located in the vicinity of a water / air type interface by proposing a method and a system for evaluating the position of a body with respect to an interface, particularly of water / water type. air, to discriminate the moving bodies of the stationary bodies, to generate alerts, to compile statistics, to give trajectory elements and to allow the detection of entrances or exits of bodies in the area under surveillance.
  • the invention relates to a method for detecting a body in an area near an interface between two liquid and / or gaseous media, especially of the water / air type.
  • the body is illuminated by electromagnetic radiation comprising at least two different wavelengths, in particular located in the ranges corresponding to the near infra-red on the one hand and the blue-green on the other hand.
  • Steps (c) to (f) are hereinafter referred to as the process of deducing the presence of a body. It follows from the combination of the technical features that it is thus possible to detect the presence of a body and / or to determine the position of the body detected with respect to the interface, by discriminating between a body located entirely under the interface. and a body located at least partly above the interface.
  • the method further comprises the step of integrating the results of the step of comparing the data groups in time.
  • the method further comprises the step of triggering an alarm if a human-sized body is detected under the interface for a time greater than a determined threshold.
  • the method is such that, to extract data corresponding to each image, two groups of data respectively representative of at least one part of the body in the near infra-red range and in the blue-green range, one generates caps (within the meaning of the present invention).
  • the method is such that to compare the groups of data, data representative of at least a part of the body in the blue-green range for which there is no, in a neighborhood, are sought. determined geometric, of corresponding data representative of at least a part of the body in the near infra-red range.
  • the method is such that to compare the groups of data, data representative of at least a part of the body in the blue-green range for which there is, in a determined geometric neighborhood, is sought. corresponding data representative of at least a part of the body in the infra-red range.
  • the conversion means, the digitization means, the computer processing means, the calculation means are hereinafter referred to as the means for deducing the presence of a body. It follows from the combination of technical features that it is thus possible to detect the presence of a body and / or to determine the position of the body detected with respect to the interface, by discriminating between a body located under the interface and a body located at least partly above the interface.
  • the system further comprises integration means for integrating in time the results of the calculation means of the groups of data.
  • the system further comprises activation means for actuating an alarm if a human-sized body is detected under the interface for a time greater than a determined threshold.
  • the system is such that the computer processing means can generate caps (within the meaning of the present invention).
  • the system is such that the calculation means make it possible to search the data representative of at least a part of the body in the blue-green range for which there is no, in a geometric neighborhood determined , corresponding data representative of at least a part of the body in the near infra-red range.
  • the system is such that the calculation means make it possible to search the data representative of at least a part of said body in the blue-green range for which there is, in a given geometrical neighborhood, data corresponding representative of at least a portion of said body in the near infra-red range.
  • a pixel is called an elementary zone of an image obtained by creating a generally regular tiling of said image.
  • a sensor such as a video camera, or a thermal or acoustic camera
  • FIG. 1a We have shown on the figure 1a an image 101 (symbolized by a man, swimming on the surface of a swimming pool, whose contours are not perfectly visible). On the figure 1b , this picture has been superimposed on a tiling 102 of pixels 103. figure 1c a tiling on which the values of the pixels have been indicated.
  • Two pixels of paving are said to be adjacent if their edges or their corners touch each other.
  • a path on the pavement is an ordered and finite set of pixels where each pixel is adjacent to its next (in the sense of the ordering).
  • the size of a path is given by the number of pixels constituting it.
  • Two pixels are said to be contiguous when the shortest path starting at one and ending at the other is smaller than a determined number of pixels.
  • a set of pixels is said to be related if for each pair of pixels in the set, there is a path beginning at one and ending at the other, this path consisting of pixels of the set.
  • the figure 2a represents a tiling 202 of 16 pixels 203, among which 3 pixels, denoted A, B and C, have been highlighted. It may be noted that the pixels A and B are adjacent and that the pixels B and C are adjacent. There is therefore a path (A->B-> C) that connects these pixels. The set of pixels ⁇ A, B, C ⁇ is therefore connected.
  • FIG. 2b there is also shown a tiling 202 of 16 pixels 203, designated by the letters A to P. If we select the set of pixels ⁇ A, B, C, E, F, I ⁇ , we can see that the pixels A and B are adjacent, that pixels B and C are adjacent, etc 7-8 So there are paths: A -> B -> C and C-> B -> F -> E -> I. Each pair of pixels of the set is connected by a path of pixels belonging to the set, the set of pixels ⁇ A, B, C, E, F, I ⁇ is therefore connected.
  • the same paving 202 is shown as on the figure 2b , by selecting the set of pixels ⁇ A, C, F, N, P ⁇ . There is a path: A->C-> F which connects the pixels A, C and F, but there is no path of pixels belonging to the set connecting N and P, or N to A.
  • the set of pixels ⁇ A, C, F, N, P ⁇ is not connected.
  • the set ⁇ A, C, F ⁇ is connected.
  • a pixel not belonging to a set is said to be adjacent to said set when it is joined to at least one pixel belonging to said set
  • FIGS. 3a, 3b, 4a, and 4b represent images composed of tilts 302 (respectively 402) of pixels 303 (respectively 403) on which their values have been indicated.
  • the set of pixels considered is therefore not a sup sup. level 1.
  • This set of pixels is therefore a sup sup. level 2.
  • the set of pixels considered is therefore a sup sup. level 1.
  • Called characteristic (s) associated with a cap one or values obtained by arithmetic and / or logical operations predefined from the values of the pixels of the cap, and / or positions of the pixels in the pavement, and / or the level of the cap.
  • an arithmetic operation could consist in using the sum of the differences between the value of each pixel of the cap and the level of the cap, or the size (number of pixels) of said cap.
  • cap sup. performed (or lower crown made): a superm. (resp.) whose associated characteristics are within a certain value range.
  • the figure 5 is a schematic view of the system for detecting bodies located in the vicinity of a water / air type interface.
  • the data or the images can be placed in a virtual common reference frame 503.
  • the virtual reference mark may correspond to the surface water 504, so that a point of the surface of the water 505, seen by the blue-green camera 506 and seen by the near infra-red camera 507, will be at the same place 508 in the common frame virtual. In this way, at two points close to the real space, will correspond close points in this virtual common reference.
  • the notion of geometric reference will correspond to the notion of proximity in the virtual common coordinate system.
  • the figure 6 represents, in the case of a pool, a general view of the system for the detection of bodies located in the vicinity of a water / air type interface, in particular the detection and monitoring of swimmers.
  • the system according to the invention comprises means, hereinafter described, for detecting a body 601 in a zone 603 located near an interface 602 between two liquid media 604 and / or gaseous 605 in particular of the water / air type; said body being illuminated by electromagnetic radiation comprising at least two different wavelengths, in particular lying in the ranges corresponding to the near infra-red on the one hand and blue-green on the other hand; said media having different absorption coefficients as a function of the wavelengths of the electromagnetic radiation.
  • near also means “at the interface”.
  • Each of the observation points 607a and 607b is located on one side of said interface 602. In this case, the observation points 607a and 607b are situated above the pool.
  • the video cameras 606a and 606b and their housings are overhead, they are in the open air.
  • the system further includes digital conversion means 609 for generating digital data from electrical signals 608a and 608b representative of the green-blue and near-infrared video images.
  • the cameras 606a and 606b are equipped with polarizing filters 611a and 611b at least partially eliminating the reflections of the light on said interface in said images.
  • This variant embodiment is particularly suitable in the case a pool reflecting the sun's rays or those of artificial lighting.
  • Said system further comprises computer processing means 700 described below.
  • the figure 7 represents a flowchart of the computer processing means 700.
  • the computer processing means 700 make it possible to discriminate the data corresponding to the green-blue video images of a part of a real body ( figure 1a ) of those corresponding to the apparent blue-green video images ( figure 1b ) generated by said interface 602.
  • the computer processing means 700 also make it possible to discriminate the data corresponding to the near infra-red video images of a part of a real body ( figure 1a ) of those corresponding to the apparent near infra-red video images ( figure 1b ) generated by said interface 602.
  • Said computer processing means 700 comprise calculation means, in particular a processor 701, and a memory 702.
  • the computer processing means 700 include extraction means 712 for extracting a group of data representative of at least a part of the body in the near infra-red range.
  • the computer processing means 700 further include extraction means 713 for extracting a group of data representative of at least a part of the body in the blue-green range.
  • An example of a characteristic associated with a cap may be its area defined by the number of pixels constituting it.
  • Another characteristic associated with a cap may be its contrast defined as being the sum of the differences between the value of each pixel of the cap and the level of the cap.
  • An example of a group of data representative of a part of a body may then be a cap having a contrast greater than a threshold SC and an area between a threshold TailleMin and a threshold TailleMax representative of the minimum and maximum dimensions of the body parts sought.
  • the computer means 700 make it possible to select from the groups of data extracted, those that do not correspond to a swimmer's part.
  • the system comprises means for eliminating the caps corresponding to reflections, water lines, carpets and any object potentially present in a pool and not corresponding to a swimmer. Examples of selection may be made by calculating the level of the caps, which must be less than a threshold SR corresponding to the average gray level of the reflections, by calculating the alignment of the caps, corresponding to the usual position of the water lines , by estimating the shape of the caps which does not have to be rectangular in order to eliminate the carpets.
  • the extraction means 712 and 713 can proceed otherwise than by means of the extraction of caps.
  • the extraction means 712 and 713 may extract groups of pixels sharing one or more predetermined properties, and then associate with each group of pixels characteristics, and deduce the presence of a group of data representative of at least a part of the body if the characteristics exceed a predetermined SC threshold.
  • the predetermined property or properties may, for example, be chosen so as to exclude the appearance of the water / air interface in the image. For example, in the case of infrared images, we can extract the groups of pixels whose brightness is much higher than the average brightness of the image of the interface and whose size is relative to that of a human body .
  • Said computer processing means 700 further comprise comparison means 714 for comparing said data groups.
  • said comparison means 714 look for data representative of at least a portion of said body in the blue-green range for which there is not, in a geometric comparison neighborhood, corresponding representative data. at least a portion of said body in the near infra-red range. So that in case of positive search, it can be concluded that said body is located under the interface.
  • a geometric comparison neighborhood for example a circular neighborhood of radius 50 cm, centered on the center of gravity of the extracted caps. in the green-blue image, caps removed in the near infra-red image. If the search is negative, the swimmer is considered to be below the surface of the water.
  • the data representative of at least a part of said body in the blue-green range for which there is, in a geometric comparison neighborhood, corresponding data representative of at least a part of said body in the near infra-red range So that in case of positive search, it can be concluded that said body is located at least partly above the interface.
  • a geometric comparison neighborhood for example a circular neighborhood of radius 50 cm, centered on the center of gravity of the extracted caps. in the green-blue image, caps removed in the near infra-red image. If the search is positive, the swimmer is considered to be at least partly above the surface of the water.
  • the extracted caps are combined in the green-blue image and those extracted in the near infra-red image if the distance the shortest (between the two closest pixels) is less than 30 cm. Unmatched green-blue image caps will then be considered to be a swimmer below the surface of the water. Paired blue-green image caps will be considered swimmers partly above the surface of the water.
  • the geometric comparison neighborhood is not necessarily determined.
  • system described in the present invention can be used in complement a system based on stereovision such as that described in the patent n ° FR 00/15803 .
  • system described in the present invention can advantageously use stereovision principles such as those described in patent no. FR 00/15803 .
  • stereovision principles such as those described in patent no. FR 00/15803 .
  • green-blue cameras and / or several near infra-red cameras These will work in stereovision.
  • said system includes a time integration 703, associated with a clock 704, for iterating at specified time intervals said process of deducing the presence of a body described above.
  • the video images are taken at determined time intervals from said observation point.
  • said computer processing means 700 comprise totalisers 705 for calculating the number of times the body is detected for a determined period of time T1.
  • Said computer processing means 700 further comprise discriminators 706 for discriminating, at a point in said zone, between the bodies that are present a number of times greater than a determined threshold. S1 and the bodies that are present a number of times below said determined threshold S1.
  • said bodies are hereinafter referred to as stationary bodies
  • said bodies are hereinafter referred to as moving bodies.
  • said computer processing means 700 further comprises means for calculating the number of times a body is detected as stationary and new for a determined period of time T2. Said period of time T2 is chosen greater than the duration of the phenomena that are observed, and in particular greater than T1.
  • Said computer processing means 700 further comprise transmission means 716 for transmitting an alert signal 711 according to the detection criteria described above.
  • the system emits a warning signal 711, in the presence of a human-sized body, stationary and located under the interface.
  • an additional step of integration over time can be advantageously performed by accumulating images from the same green-blue camera and / or near infrared.
  • the accumulated image is calculated for example by averaging the gray levels of the pixels of the successive images taken over a given time interval.
  • An accumulated image obtained by accumulating images from a green-blue camera will be called the accumulated green-blue image.
  • an accumulated image obtained by accumulation of the images coming from a near infra-red camera will be said near infra-red accumulated image.
  • the extraction means 712 and 713 can then also use the accumulated green-blue and / or near-infrared images.
  • the extraction means 712 may extract only the caps of the green-blue image for which there is not, in the accumulated green-blue image, similar cap located in a neighborhood.
  • the extraction means 712 and 713 will then also be able to use composite images consisting of accumulated blue-green images and blue-green images as well as composite images consisting of accumulated near infrared and near infra-red images.
  • the extraction means 712 may use the difference between the green-blue image and the accumulated green-blue image.
  • FIG 8 represents a schematic overview of the system according to the invention.
  • the conversion means 816, the digitization means 817, the computer processing means 818, the calculation means 819 are hereinafter referred to as the means for deducing the presence of a body 801. It is thus possible to detect the presence of a body 801 and / or to determine the position of the body detected with respect to the interface 803, by discriminating between a body 801 situated under the interface 803 and a body 801 located at least partly above the 803 interface.
  • system furthermore comprises integration means 820 for integrating, in time, the results of the calculation means 819 of the data groups 807.
  • the system further comprises activation means 821 for actuating an alarm 808 if a human-sized body is detected under the interface for a time greater than a determined threshold.

Description

    Domaine concerné
  • La présente invention concerne un procédé, un système et des dispositifs pour détecter un corps dans une zone située à proximité d'une interface entre deux milieux liquides et/ou gazeux notamment du type eau/air. Au sens de la présente invention "à proximité" désigne également "à l'interface".
    • Problème posé
  • Le problème concerne la détection de présence de corps dans le voisinage d'une interface de type eau/air. En plus de ce problème principal, viennent s'ajouter la discrimination entre les corps situés d'un côté ou de l'autre de l'interface et la détection de corps stationnaires.
  • L'invention s'attache plus particulièrement à résoudre ces différents problèmes dans le cas, entre autres, des quatre applications suivantes :
    • alarme si un corps stationnaire est situé sous l'interface. Par exemple, alarme dans le cas d'un corps immergé dans l'eau depuis un temps jugé trop long,
    • estimation statistique du temps d'occupation d'une zone surveillée. Cette application permet d'effectuer des analyses statistiques sur notamment l'occupation d'une piscine,
    • estimation de trajectoire des corps,
    • mise en évidence de la disparition d'un corps de la zone surveillée. Cette application peut être exploitée notamment dans le cas de la surveillance des nageurs en bord de mer.
    Art antérieur
  • Il existe différentes méthodes de détection de présence de corps dans une certaine zone. Elles utilisent en général plusieurs capteurs vidéo installés sous le niveau de l'interface. Bien qu'efficaces ces techniques ne sont pas toujours commodes à mettre en oeuvre. Elles peuvent également soulever des problèmes de maintenance, notamment dans des piscines ne comportant pas de galeries techniques.
  • Par ailleurs, pour résoudre ces problèmes, le déposant, a déposé le 6 décembre 2000 le brevet n° FR 00/15803 intitulé « procédé, système et dispositif pour détecter un corps à proximité d'une interface eau/air ». Le dispositif écrit dans ce brevet utilise des principes de détection et de localisation des corps par rapport à l'interface différents de ceux faisant l'objet de la présente demande.
  • Le document US 5 880 771 décrit un système electro-optique de détection d'objets immergés dans un moyen partiellement transmissif.
  • Une camera vidéo utilise deux filtres, dans les plages bleu-vert et rouge. Le signal rouge, très atténué dans l'eau, est enlevé du signal dans la plage de longueur d'onde bleu-vert ; ainsi, les reflets et signaux correspondant à la surface de l'eau sont élliminés.
    • Solution
  • La présente invention résout le problème de la détection de corps situés au voisinage d'une interface de type eau/air en proposant un procédé et un système permettant d'évaluer la position d'un corps par rapport à une interface notamment de type eau/air, de discriminer les corps en mouvement des corps stationnaires, de générer des alertes, d'élaborer des statistiques, de donner des éléments de trajectographie et de permettre la détection d'entrées ou de sorties de corps dans la zone surveillée.
    • Procédé
  • L'invention concerne un procédé pour détecter un corps dans une zone située à proximité d'une interface entre deux milieux liquides et/ou gazeux, notamment du type eau/air. Le corps est éclairé par un rayonnement électromagnétique comprenant au moins deux longueurs d'onde différentes, notamment situées dans des plages correspondant au proche infra-rouge d'une part et au vert-bleu d'autre part.
  • Les milieux ont des coefficients d'absorption différents en fonction des longueurs d'onde du rayonnement électromagnétique. Le procédé comprend les étapes suivantes :
    • (a) l'étape de choisir parmi les longueurs d'onde du rayonnement électromagnétique, au moins deux longueurs d'onde ou deux plages de longueurs d'onde,
    • (b) l'étape de réaliser, pour chacune des longueurs d'onde ou plages de longueur d'onde une image de l'interface et de la zone,
    • (c) l'étape de produire des signaux électriques représentatifs de chaque image,
    • (d) l'étape de numériser les signaux électriques de manière à produire des données correspondant à chaque image,
    • (e) l'étape d'extraire des données correspondant à chaque image deux groupes de données respectivement représentatifs d'au moins une partie du corps dans la plage proche infra-rouge et dans la plage vert-bleu,
    • (f) l'étape de comparer les groupes de données.
  • Les étapes (c) à (f) sont ci-après dénommées le processus de déduction de la présence d'un corps.
    Il résulte de la combinaison des traits techniques qu'il est ainsi possible de détecter la présence d'un corps et/ou de déterminer la position du corps détecté par rapport à l'interface, en discriminant entre un corps situé entièrement sous l'interface et un corps situé au moins en partie au-dessus de l'interface.
  • De préférence selon l'invention, le procédé comprend en outre l'étape d'intégrer dans le temps les résultats de l'étape de comparaison des groupes de données.
  • De préférence selon l'invention, le procédé comprend en outre l'étape de déclencher une alarme si un corps de taille humaine est détecté sous l'interface pendant un temps supérieur à un seuil déterminé.
  • De préférence selon l'invention, le procédé est tel que pour extraire des données correspondant à chaque image deux groupes de données respectivement représentatifs d'au moins une partie du corps dans la plage proche infra-rouge et dans la plage vert-bleu, on génère des calottes (au sens de la présente invention).
  • De préférence selon l'invention, le procédé comprend en outre les étapes suivantes :
    • l'étape d'associer à chaque calotte des caractéristiques,
    • l'étape de déduire la présence d'un groupe de données représentatif d'au moins une partie du corps si les caractéristiques dépassent un seuil SC prédéterminé.
  • De préférence selon l'invention, le procédé est tel que pour comparer les groupes de données, on recherche les données représentatives d'au moins une partie du corps dans la plage vert-bleu pour lesquelles il n'y a pas, dans un voisinage géométrique déterminé, de données correspondantes représentatives d'au moins une partie du corps dans la plage proche infra-rouge.
  • Ainsi en cas de recherche positive, on peut conclure que le corps est situé sous l'interface.
  • De préférence selon l'invention, le procédé est tel que pour comparer les groupes de données, on recherche les données représentatives d'au moins une partie du corps dans la plage vert-bleu pour lesquelles il y a, dans un voisinage géométrique déterminé, des données correspondantes représentatives d'au moins une partie du corps dans la plage infra-rouge.
  • Ainsi en cas de recherche positive, on peut conclure que le corps est situé au moins en partie au-dessus de l'interface.
  • Selon une variante de réalisation de l'invention, le procédé est plus particulièrement destiné à discriminer entre un corps stationnaire et un corps en mouvement. De préférence dans le cas de cette variante de réalisation, pour intégrer dans le temps les résultats de la comparaison des groupes de données, le procédé comprend en outre les étapes suivantes :
    • l'étape d'itérer à intervalles de temps déterminés le processus de déduction de la présence du corps,
    • l'étape de calculer le nombre de fois où le corps est détecté pendant une période de temps déterminée T1,
    • l'étape de discriminer, en un point de la zone, entre les corps qui sont présents un nombre de fois supérieur à un seuil déterminé S1 (ces corps sont ci-après désignés les corps stationnaires) et les corps qui sont présents un nombre de fois inférieur au seuil déterminé S1 (ces corps sont ci-après désignés les corps en mouvement).
  • Il est ainsi possible de détecter la présence d'un corps stationnaire situé entièrement sous l'interface et de déclencher en conséquence une alarme.
    • Système
  • L'invention concerne également un système pour détecter un corps dans une zone située à proximité d'une interface entre deux milieux liquides et/ou gazeux, notamment du type eau/air. Le corps est éclairé par un rayonnement électromagnétique comprenant au moins deux longueurs d'onde différentes, notamment situées dans des plages correspondant au proche infra-rouge d'une part et au vert-bleu d'autre part. Les milieux ont des coefficients d'absorption différents en fonction des longueurs d'onde du rayonnement électromagnétique. Le système comprend :
    • (a) des moyens de sélection pour choisir parmi les longueurs d'onde du rayonnement électromagnétique, au moins deux longueurs d'onde ou deux plages de longueurs d'onde,
    • (b) des moyens de prise de vues comprenant une caméra vidéo équipée d'un filtre permettant de réaliser une image vidéo dans la plage de longueur d'onde vert-bleu, et une caméra vidéo équipée d'un filtre permettant de réaliser au moins une image vidéo dans la plage de longueur d'onde proche infrarouge, pour réaliser, pour chacune desdites longueurs d'onde ou plages de longueur d'onde, une image de ladite interface et de ladite zone,
    • (c) des moyens de conversion pour produire des signaux électriques représentatifs de chaque image,
    • (d) des moyens de numérisation pour numériser les signaux électriques de manière à produire des données correspondant à chaque image,
    • (e) des moyens de traitement informatique pour extraire des données correspondant à chaque image deux groupes de données respectivement représentatifs d'au moins une partie du corps dans la plage proche infra-rouge et dans la plage vert-bleu,
    • (f) des moyens de calcul pour comparer les groupes de données.
  • Les moyens de conversion, les moyens de numérisation, les moyens de traitement informatique, les moyens de calcul sont ci-après dénommés les moyens de déduction de la présence d'un corps.
    Il résulte de la combinaison des traits techniques qu'il est ainsi possible de détecter la présence d'un corps et/ou de déterminer la position du corps détecté par rapport à l'interface, en discriminant entre un corps situé sous l'interface et un corps situé au moins en partie au-dessus de l'interface.
  • De préférence selon l'invention, le système comprend en outre des moyens d'intégration pour intégrer dans le temps les résultats des moyens de calcul des groupes de données.
  • De préférence selon l'invention, le système comprend en outre des moyens d'activation pour actionner une alarme si un corps de taille humaine est détecté sous l'interface pendant un temps supérieur à un seuil déterminé.
  • De préférence selon l'invention, le système est tel que les moyens de traitement informatique permettent de générer des calottes (au sens de la présente invention).
  • De préférence selon l'invention, le système est tel que les moyens de traitement informatique permettent :
    • d'associer à chaque calotte des caractéristiques,
    • de déduire la présence d'un groupe de données représentatif d'au moins une partie du corps si les caractéristiques dépassent un seuil SC prédéterminé.
  • De préférence selon l'invention, le système est tel que les moyens de calcul permettent de rechercher les données représentatives d'au moins une partie du corps dans la plage vert-bleu pour lesquelles il n'y a pas, dans un voisinage géométrique déterminé, de données correspondantes représentatives d'au moins une partie du corps dans la plage proche infra-rouge.
  • Il résulte de la combinaison des traits techniques qu'en cas de recherche positive, on peut conclure que le corps est situé sous l'interface.
  • De préférence selon l'invention, le système est tel que les moyens de calcul permettent de rechercher les données représentatives d'au moins une partie dudit corps dans la plage vert-bleu pour lesquelles il y a, dans un voisinage géométrique déterminé, des données correspondantes représentatives d'au moins une partie dudit corps dans la plage proche infra-rouge.
  • Il résulte de la combinaison des traits techniques qu'en cas de recherche positive, on peut conclure que ledit corps est situé au moins en partie au-dessus de l'interface.
    Dans le cas d'une variante de réalisation de l'invention, le système est plus particulièrement destiné à discriminer entre un corps stationnaire et un corps en mouvement. De préférence dans le cas de cette variante de réalisation, le système est tel que les moyens d'intégration pour intégrer dans le temps les résultats des moyens de calcul permettent :
    • d'itérer à intervalles de temps déterminés la mise en oeuvre des moyens de déduction de la présence dudit corps ;
    • de calculer le nombre de fois où le corps est détecté pendant une période de temps déterminée T1 ;
    • de discriminer, en un point de ladite zone, entre les corps qui sont présents un nombre de fois supérieur à un seuil déterminé S1 (ces corps sont ci-après désignés les corps stationnaires) et les corps qui sont présents un nombre de fois inférieur au seuil déterminé S1 (ces corps sont ci-après désignés les corps en mouvement).
    Il est ainsi possible de détecter la présence d'un corps stationnaire situé entièrement sous l'interface. Par conséquent, il est ainsi possible de déclencher une alarme. Description détaillée
  • D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description de variantes de réalisation de l'invention données à titre d'exemple indicatif et non limitatif, et des figures ci-après :
    • figures 1a, 1b, 1c qui représentent dans l'ordre une image, une image superposée d'un pavage, une image composée d'un pavage de pixel sur lesquels on a indiqué leur valeur, de manière à illustrer la notion de pavage de pixels,
    • figures 2a, 2b, 2c qui représentent une image composée d'un pavage de pixels sur lesquels on a indiqué leur valeur, de manière à illustrer la notion d'ensemble connexe de pixels,
    • figures 3a, 3b, 4a, 4b qui représentent une image composée d'un pavage de pixels sur lesquels on a indiqué leur valeur, de manière à illustrer la notion de niveau d'une calotte,
    • figures 5 et 6 qui représentent, dans le cas d'une piscine, une vue générale du système permettant la détection de corps situés au voisinage d'une interface de type eau/air, notamment la détection et la surveillance des nageurs,
    • figure 7 qui représente un organigramme des moyens de traitement informatique,
    • figure 8 représente une vue générale schématique du système selon l'invention.
  • Avant de décrire le système et les différentes parties qui le composent en se référant aux figures 5, 6, 7 et 8, on explicitera certains termes techniques en se référant aux figures la à 4.
    • Définitions
  • Les définitions ci-après explicitent les termes techniques employés dans la présente invention.
    • Pixel, Valeur de pixel
  • On appelle pixel : une zone élémentaire d'une image obtenue en créant un pavage, généralement régulier, de ladite image. Lorsque l'image provient d'un capteur tel qu'une caméra vidéo, ou une caméra thermique ou acoustique, on peut généralement associer une valeur à ce pixel : la couleur ou le niveau de gris pour une image vidéo.
    • Exemple :
  • On a représenté sur la figure 1a une image 101 (symbolisée par un homme, nageant à la surface d'une piscine, dont les contours ne sont pas parfaitement visibles). Sur la figure 1b, on a superposé à cette image un pavage 102 de pixels 103. On a représenté sur la figure 1c un pavage sur lequel on a indiqué les valeurs des pixels.
    • Pixels adjacents
  • Deux pixels du pavage sont dits adjacents si leurs bords ou leurs coins se touchent.
    • Chemin sur pavage
  • Un chemin sur le pavage est un ensemble ordonné et fini de pixels où chaque pixel est adjacent à son suivant (au sens de l'ordonnancement). La taille d'un chemin est donnée par le nombre de pixels le constituant.
    • Pixels jointifs
  • Deux pixels sont dits jointifs lorsque le chemin le plus court débutant à l'un et finissant à l'autre est de taille inférieure à un nombre déterminé de pixels.
    • Ensemble connexe de pixels
  • Un ensemble de pixels est dit connexe si pour chaque paire de pixels de l'ensemble, il existe un chemin débutant à l'un et finissant à l'autre, ce chemin étant constitué de pixels de l'ensemble.
    • Exemple :
  • La figure 2a représente un pavage 202 de 16 pixels 203, parmi lesquels on a mis en évidence 3 pixels, dénommés A, B et C. On peut remarquer que les pixels A et B sont adjacents et que les pixels B et C sont adjacents. Il existe donc un chemin (A->B->C) qui relie ces pixels. L'ensemble de pixels {A, B, C} est donc connexe.
  • Sur la figure 2b, on a également représenté un pavage 202 de 16 pixels 203, désignés par les lettres A à P. Si on sélectionne l'ensemble de pixels {A, B, C, E, F, I}, on peut constater que les pixels A et B sont adjacents, que les pixels B et C sont adjacents, etc..... Il existe donc des chemins : A -> B -> C et C-> B -> F -> E -> I. Chaque couple de pixels de l'ensemble est relié par un chemin de pixels appartenant à l'ensemble, l'ensemble de pixels {A, B, C, E, F, I} est par conséquent connexe.
  • Sur la figure 2c, on a représenté le même pavage 202 que sur la figure 2b, en sélectionnant l'ensemble de pixels {A, C, F, N, P}. Il existe un chemin : A->C->F qui relie les pixels A, C et F, mais il n'existe pas de chemin de pixels appartenant à l'ensemble reliant N et P, ou bien N à A. L'ensemble de pixels {A, C, F, N, P} n'est pas connexe. Par contre, l'ensemble {A, C, F} est connexe.
    • Pixel adjacent à un ensemble
  • Un pixel n'appartenant pas à un ensemble est dit adjacent audit ensemble lorsqu'il est jointif à au moins un pixel appartenant audit ensemble
    • Calotte
  • On appelle calotte sup. (resp. inf) : un ensemble connexe de pixels dont les valeurs sont supérieures (resp. inférieures) à une valeur prédéterminée et vérifiant la condition suivante :
    • les valeurs des pixels adjacents à l'ensemble (non compris dans l'ensemble) sont inférieures ou égales (respectivement. supérieures ou égales) à ladite valeur prédéterminée,
    • de sorte que les valeurs des pixels situés dans ledit ensemble sont supérieures (respectivement inférieures) aux valeurs des pixels adjacents à l'ensemble.
    Niveau d'une calotte
  • On appelle niveau d'une calotte sup. ou inf. ladite valeur prédéterminée.
    • Exemple :
  • Les figures 3a, 3b, 4a, et 4b représentent des images composées de pavages 302 (resp. 402) de pixels 303 (resp. 403) sur lesquels on a indiqué leurs valeurs.
  • La figure 3a représente (à l'intérieur 304 du trait fort 305) un ensemble de 4 pixels. Cet ensemble a les propriétés suivantes :
    • il est connexe au sens de la définition donnée,
    • les valeurs de tous les pixels de l'ensemble sont supérieures à 1,
    • les (douze) pixels adjacents à l'ensemble ont pour certains une valeur supérieure à 1.
  • L'ensemble de pixels considéré n'est donc pas une calotte sup. de niveau 1.
  • Par contre, cet ensemble de pixels a les propriétés suivantes :
    • il est connexe au sens de la définition donnée,
    • les valeurs de tous les pixels de l'ensemble sont supérieures à 2,
    • les (douze) pixels jointifs à l'ensemble ont tous une valeur inférieure ou égale à 2.
  • Cet ensemble de pixels est donc une calotte sup. de niveau 2.
  • La figure 3b représente un ensemble 306 de huit pixels présentant les propriétés suivantes :
    • il est connexe au sens de la définition donnée,
    • les valeurs de tous les pixels de l'ensemble sont supérieures à 1,
    • les (dix-huit) pixels jointifs à l'ensemble ont tous une valeur inférieure ou égale à 1.
  • L'ensemble de pixels considéré est donc une calotte sup. de niveau 1.
  • La figure 4a représente un pavage 402 de pixels 403. Dans ce pavage 402 on a isolé par un trait fort 405 un ensemble 404 de dix pixels répartis en deux zones 404 a et 404b. Cet ensemble de pixels 404 présente les propriétés suivantes :
    • il n'est pas connexe au sens de la définition donnée,
    • les valeurs de tous les pixels sont supérieures à 1
    • les (vingt-cinq) pixels jointifs à l'ensemble ont tous une valeur inférieure ou égale à 1.
  • Les dix pixels de cet ensemble non connexe ne constituent donc pas une calotte sup. de niveau 1.
  • La figure 4b représente un ensemble 406 de douze pixels présentant les propriétés suivantes :
    • il est connexe au sens de la définition donnée,
    • les valeurs des pixels ne sont pas toutes supérieures à 1,
    • les (vingt-quatre) pixels jointifs à l'ensemble ont tous une valeur inférieure ou égale à 1.
      L'ensemble de pixels considéré n'est donc pas une calotte sup. de niveau 1.
    Caractéristique(s) associée(s) à une calotte
  • On appelle caractéristique (s) associée(s) à une calotte : une ou des valeurs obtenues par des opérations arithmétiques et/ou logiques prédéfinies à partir des valeurs des pixels de la calotte, et/ou des positions des pixels dans le pavage, et/ou du niveau de la calotte.
  • Par exemple, une opération arithmétique pourrait consister à utiliser la somme des écarts entre la valeur de chaque pixel de la calotte et le niveau de la calotte, ou encore la taille (nombre de pixels) de ladite calotte.
    • Calotte réalisée
  • On appelle calotte sup. réalisée (resp. calotte inf. réalisée) : une calotte sup. (resp. inf.) dont les caractéristiques associées sont dans une plage de valeur déterminée.
    • Voisinage géométrique
  • On va maintenant décrire le système et les différentes parties qui le composent en se référant aux figures 5,6 et 7.
  • La figure 5 représente une vue schématique du système permettant la détection de corps situés au voisinage d'une interface de type eau/air.
  • Les images vert-bleu 501 et proche infra-rouge 502 n'étant pas forcément prises depuis le même point d'observation, avantageusement les données ou les images pourront être replacées dans un repère commun virtuel 503. Le repère virtuel pourra correspondre à la surface de l'eau 504, de telle sorte qu'un point de la surface de l'eau 505, vu par la caméra vert-bleu 506 et vu par la caméra proche infra-rouge 507, sera au même endroit 508 dans le repère commun virtuel. De cette façon, à deux points proches de l'espace réel, correspondront des points proches dans ce repère commun virtuel. La notion de repère géométrique correspondra à la notion de proximité dans le repère commun virtuel.
  • La figure 6 représente, dans le cas d'une piscine, une vue générale du système permettant la détection de corps situés au voisinage d'une interface de type eau/air, notamment la détection et la surveillance des nageurs.
  • Le système selon l'invention comprend des moyens, ci-après décrits, pour détecter un corps 601 dans une zone 603 située à proximité d'une interface 602 entre deux milieux liquides 604 et/ou gazeux 605 notamment du type eau/air ; ledit corps étant éclairé par un rayonnement électromagnétique comprenant au moins deux longueurs d'onde différentes, notamment situées dans des plages correspondant au proche infra-rouge d'une part et au vert-bleu d'autre part ; lesdits milieux ayant des coefficients d'absorption différents en fonction des longueurs d'onde du rayonnement électromagnétique.
  • Au sens de la présente invention "à proximité" désigne également "à l'interface ".
  • Le système comprend en outre les moyens :
    • Une caméra vidéo 606a, équipée d'un filtre permettant de réaliser au moins une image vidéo dans la plage de longueur d'onde de 300 à 700 nm (plage dénommée vert-bleu par la suite).
    • Une caméra vidéo 606b, équipée d'un filtre permettant de réaliser au moins une image vidéo dans la plage de longueur d'onde de 780 à 1100 nm (plage dénommée proche infra-rouge par la suite).
  • Ces caméras permettent de réaliser des images vidéo de ladite interface 602 et de ladite zone 603, à partir d'au moins deux points d'observation 607a et 607b.
  • Ces images sont représentées par des signaux électriques 608a et 608b.
  • Chacun des points d'observation 607a et 607b est situé d'un côté de ladite interface 602. En l'espèce, les points d'observation 607a et 607b sont situés au-dessus de la piscine. Les caméras vidéo 606a et 606b et leurs boîtiers sont aériens, ils sont à l'air libre.
  • Ledit système comprend en outre des moyens de conversion numérique 609 pour produire des données numériques à partir des signaux électriques 608a et 608b représentatifs des images vidéo vert-bleu et proche infra-rouge.
  • Avantageusement, lorsque ledit corps 601 est éclairé par de la lumière produisant des reflets sur ladite interface, les caméras 606a et 606b sont équipées de filtres polarisant 611a et 611b éliminant au moins en partie les reflets de la lumière sur ladite interface dans lesdites images. Cette variante de réalisation est particulièrement adaptée dans le cas d'une piscine reflétant les rayons du soleil ou ceux d'un éclairage artificiel.
  • Ledit système comprend en outre des moyens de traitement informatique 700 décrits ci-dessous.
  • La figure 7 représente un organigramme des moyens de traitement informatique 700.
  • Les moyens de traitement informatique 700 permettent de discriminer les données correspondant aux images vidéo vert-bleu d'une partie d'un corps réel (figure 1a) de celles correspondant aux images vidéo vert-bleu apparentes (figure 1b) générée par ladite interface 602.
  • Les moyens de traitement informatique 700 permettent également de discriminer les données correspondant aux images vidéo proche infra-rouge d'une partie d'un corps réel (figure 1a) de celles correspondant aux images vidéo proche infra-rouge apparentes (figure 1b) générée par ladite interface 602.
  • Lesdits moyens de traitement informatique 700 comprennent des moyens de calcul, notamment un processeur 701, et une mémoire 702.
  • Les moyens de traitement informatique 700 comprennent des moyens d'extraction 712 permettant d'extraire un groupe de données représentatives d'au moins une partie du corps dans la plage proche infra-rouge. Les moyens de traitement informatique 700 comprennent, en outre, des moyens d'extraction 713 permettant d'extraire un groupe de données représentatives d'au moins une partie du corps dans la plage vert-bleu.
  • Dans une variante de réalisation, pour extraire des groupes de données représentatifs d'au moins une partie du corps dans la plage proche infra-rouge et dans la plage vert-bleu, les moyens d'extraction 712 et 713
    • génèrent des calottes,
    • associent à chaque calotte des caractéristiques,
    • déduisent la présence d'un groupe de données représentatif d'au moins une partie du corps si les caractéristiques dépassent un seuil SC prédéterminé.
  • Un exemple de caractéristique associée à une calotte pourra être son aire définie par le nombre de pixels la constituant. Une autre caractéristique associée à une calotte peut être son contraste défini comme étant la somme des écarts entre la valeur de chaque pixel de la calotte et le niveau de la calotte.
  • Un exemple de groupe de données représentatif d'une partie d'un corps pourra alors être une calotte ayant un contraste supérieur à un seuil SC et une aire comprise entre un seuil TailleMin et un seuil TailleMax représentatifs des dimensions minimales et maximales des parties du corps recherchées.
  • Dans une variante de réalisation concernant les piscines, les moyens informatiques 700 permettent de sélectionner parmi les groupes de données extraits, ceux ne correspondant pas à une partie de nageur. Avantageusement le système comprend des moyens permettant d'éliminer les calottes correspondant aux reflets, aux lignes d'eau, aux tapis ainsi qu'à tout objet potentiellement présent dans une piscine et ne correspondant pas à une partie de nageur. Des exemples de sélection pourront se faire par calcul du niveau des calottes, qui doivent être inférieurs à un seuil SR correspondant au niveau de gris moyen des reflets, par calcul de l'alignement des calottes, correspondant à la position habituelle des lignes d'eau, par estimation de la forme des calottes qui ne doit pas être rectangulaire afin d'éliminer les tapis.
  • Pour extraire des groupes de données représentatifs d'au moins une partie du corps dans la plage proche infra-rouge et dans la plage vert-bleu, les moyens d'extraction 712 et 713 pourront procéder autrement qu'au moyen de l'extraction de calottes. Par exemple, les moyens d'extraction 712 et 713 pourront extraire des groupes de pixels partageant une ou plusieurs propriétés prédéterminées, et ensuite associer à chaque groupes de pixels des caractéristiques, et déduire la présence d'un groupe de données représentatif d'au moins une partie du corps si les caractéristiques dépassent un seuil SC prédéterminé. La ou les propriétés prédéterminées pourront par exemple être choisies de manière à exclure l'apparence de l'interface eau/air dans l'image. Par exemple, dans le cas des images infra-rouge, on pourra extraire les groupes de pixels dont la luminosité est bien supérieure à la luminosité moyenne de l'image de l'interface et dont la taille est relative à celle d'un corps humain.
  • Lesdits moyens de traitement informatique 700 comprennent en outre des moyens de comparaison 714, pour comparer lesdits groupes de données. Dans une variante de réalisation, lesdits moyens de comparaison 714, recherchent les données représentatives d'au moins une partie dudit corps dans la plage vert-bleu pour lesquelles il n'y a pas, dans un voisinage de comparaison géométrique, de données correspondantes représentatives d'au moins une partie dudit corps dans la plage proche infra-rouge. De sorte qu'en cas de recherche positive, on peut conclure que ledit corps est situé sous l'interface.
  • Dans le cas particulier de la localisation d'un nageur par rapport à la surface de l'eau, on recherche, dans un voisinage de comparaison géométrique, par exemple un voisinage circulaire de rayon 50 cm, centré sur le centre de gravité des calottes extraites dans l'image vert-bleu, des calottes extraites dans l'image proche infra-rouge. Si la recherche est négative, le nageur est considéré comme étant sous la surface de l'eau.
  • Pour comparer lesdits groupes de données, on recherche, les données représentatives d'au moins une partie dudit corps dans la plage vert-bleu pour lesquelles il y a, dans un voisinage de comparaison géométrique, des données correspondantes représentatives d'au moins une partie dudit corps dans la plage proche infra-rouge. De sorte qu'en cas de recherche positive, on peut conclure que ledit corps est situé au moins en partie au-dessus de l'interface.
  • Dans le cas particulier de la localisation d'un nageur par rapport à la surface de l'eau, on recherche, dans un voisinage de comparaison géométrique, par exemple un voisinage circulaire de rayon 50 cm, centré sur le centre de gravité des calottes extraites dans l'image vert-bleu, des calottes extraites dans l'image proche infra-rouge. Si la recherche est positive, le nageur est considéré comme étant au moins en partie au-dessus de la surface de l'eau.
  • Dans une variante de réalisation, toujours pour la localisation d'un nageur par rapport à l'interface eau/air, on apparie les calottes extraites dans l'image vert-bleu et celles extraites dans l'image proche infra-rouge si la distance la plus courte (entre les deux pixels les plus proches) est inférieure à 30 cm. Les calottes de l'image vert-bleu non appariées seront alors considérées comme étant un nageur sous la surface de l'eau. Les calottes de l'image vert-bleu appariées seront considérées comme des nageurs en partie au-dessus de la surface de l'eau.
  • Le voisinage de comparaison géométrique n'est pas nécessairement déterminé. Dans une variante de réalisation, on peut définir le voisinage de comparaison géométrique relatif aux calottes respectivement infra-rouge et vert-bleu, en fonction de considérations géométriques relatives aux positions desdites calottes et éventuellement aussi en fonction de considérations géométriques propres à l'environnement notamment l'orientation des caméras par rapport à l'interface ou l'orientation dans les images de la normale à l'interface. Les calottes issues des caméras infra-rouge étant relatives aux parties de corps situées au-dessus de l'interface, on cherchera les calottes vert-bleu correspondantes dans un voisinage de comparaison géométrique calculé en fonction de l'orientation de la normale à l'interface.
  • Dans une autre variante de réalisation, le système décrit dans la présente invention peut être utilisé en complément d'un système basé sur la stéréovision tel que celui décrit dans le brevet n° FR 00/15803 .
  • Dans le cas où le système décrit dans le brevet n° FR 00/15803 détecte un corps sous la surface de l'eau et,
    • s'il y a, dans un voisinage géométrique déterminé, des données correspondantes représentatives d'au moins une partie dudit corps dans la plage proche infra-rouge, on peut conclure que ledit corps est situé au moins en partie au-dessus de l'interface,
    • s'il n'y a pas, dans un voisinage géométrique déterminé, des données correspondantes représentatives d'au moins une partie dudit corps dans la plage proche infra-rouge, on peut conclure que ledit corps est situé en dessous de l'interface.
  • Dans une autre variante de réalisation, le système décrit dans la présente invention peut avantageusement utiliser des principes de stéréovision tels que ceux décrits dans le brevet n° FR 00/15803 . Dans le cas particulier de l'utilisation de plusieurs caméras vert-bleu et/ou de plusieurs caméras proche infra-rouge. Celles-ci pourront travailler en stéréovision.
  • Dans le cas où ledit système est plus particulièrement destiné à discriminer entre un corps stationnaire (un nageur en difficulté) et un corps en mouvement (un nageur s'ébattant dans un bassin), ledit système comprend une intégration dans le temps 703, associés à une horloge 704, pour itérer à intervalles de temps déterminés ledit processus de déduction de la présence d'un corps ci-dessus décrit. A cet effet, les images vidéo sont prises à intervalles de temps déterminés à partir dudit point d'observation. Dans ce cas, lesdits moyens de traitement informatique 700 comprennent des totalisateurs 705 pour calculer le nombre de fois où le corps est détecté pendant une période de temps déterminée T1. Lesdits moyens de traitement informatique 700 comprennent en outre des discriminateurs 706 pour discriminer, en un point de ladite zone, entre les corps qui sont présents un nombre de fois supérieur à un seuil déterminé S1 et les corps qui sont présents un nombre de fois inférieur audit seuil déterminé S1. Dans le premier cas, lesdits corps sont ci-après désignés les corps stationnaires, dans le deuxième cas lesdits corps sont ci-après désignés les corps en mouvement.
  • Dans une variante de réalisation, lesdits moyens de traitement informatique 700 comprennent en outre des moyens pour calculer le nombre de fois où un corps est détecté comme étant stationnaire et nouveau pendant une période de temps déterminée T2. Ladite période de temps T2 est choisie supérieure à la durée des phénomènes que l'on observe, et notamment supérieure à T1.
  • Lesdits moyens de traitement informatique 700 comprennent en outre des moyens d'émission 716 pour émettre un signal d'alerte 711 selon les critères de détection décrits ci-dessus. Notamment, dans une variante de réalisation plus particulièrement adaptée à la surveillance des nageurs dans une piscine, le système émet un signal d'alerte 711, en présence d'un corps de taille humaine, stationnaire et situé sous l'interface.
  • Dans une variante de réalisation dudit système, une étape supplémentaire d'intégration dans le temps pourra être avantageusement réalisée par accumulation d'images provenant d'une même caméra vert-bleu et/ou proche infra-rouge. L'image accumulée se calcule par exemple en moyennant les niveaux de gris des pixels des images successives prises sur un intervalle de temps déterminé. Une image accumulée obtenue par accumulation des images provenant d'une caméra vert-bleu sera dite image accumulée vert-bleu. De la même façon, une image accumulée obtenue par accumulation des images provenant d'une caméra proche infra-rouge sera dite image accumulée proche infra-rouge. Les moyens d'extraction 712 et 713 pourront alors également utiliser les images accumulées vert-bleu et/ou proche infra-rouge. Par exemple, les moyens d'extraction 712 pourront n'extraire que les calottes de l'image vert-bleu pour lesquelles il n'y a pas, dans l'image accumulée vert-bleu, de calotte similaire située dans un voisinage. Les moyens d'extraction 712 et 713 pourront alors aussi utiliser des images composites constituées des images accumulées vert-bleu et des images vert-bleu ainsi que des images composites constituées des images accumulées proche infra-rouge et proche infra-rouge. Par exemple, les moyens d'extraction 712 pourront utiliser la différence entre l'image vert-bleu et l'image vert-bleu accumulée.
  • On va maintenant décrire la figure 8 qui représente une vue générale schématique du système selon l'invention.
  • Le système permet de détecter un corps 801 dans une zone 802 située à proximité d'une interface 803 entre deux milieux liquides 812 et/ou gazeux 813, notamment du type eau/air. Le corps 801 est éclairé par un rayonnement électromagnétique 804 comprenant au moins deux longueurs d'onde différentes, notamment situées dans des plages correspondant au proche infra-rouge d'une part et au vert-bleu d'autre part. Les milieux 812 et 813 ont des coefficients d'absorption différents en fonction des longueurs d'onde du rayonnement électromagnétique. Le système comprend :
    • (a) des moyens de sélection 814 pour choisir parmi les longueurs d'onde du rayonnement électromagnétique 804, au moins deux longueurs d'onde ou deux plages de longueur d'onde,
    • (b) des moyens de prise de vues 815 pour réaliser, pour chacune des longueurs d'onde ou plages de longueur d'onde, une image 805 de l'interface et de la zone,
    • (c) des moyens de conversion 816 pour produire des signaux électriques 6 représentatifs de chaque image 805,
    • (d) des moyens de numérisation 817 pour numériser les signaux électriques 806 de manière à produire des données 807 correspondant à chaque image,
    • (e) des moyens de traitement informatique 818 pour extraire des données 807 correspondant à chaque image 805 deux groupes de données 807 respectivement représentatifs d'au moins une partie du corps 801 dans la plage proche infra-rouge et dans la plage vert-bleu,
    • (f) des moyens de calcul 819 pour comparer les groupes de données 807.
  • Les moyens de conversion 816, les moyens de numérisation 817, les moyens de traitement informatique 818, les moyens de calcul 819 sont ci-après dénommés les moyens de déduction de la présence d'un corps 801.
    Il est ainsi possible de détecter la présence d'un corps 801 et/ou de déterminer la position du corps détecté par rapport à l'interface 803, en discriminant entre un corps 801 situé sous l'interface 803 et un corps 801 situé au moins en partie au-dessus de l'interface 803.
  • Dans le cas de la variante de réalisation représentée sur la figure 809, le système comprend en outre des moyens d'intégration 820 pour intégrer dans le temps les résultats des moyens de calcul 819 des groupes de données 807.
  • Dans le cas de la variante de réalisation représentée sur la figure 809, le système comprend en outre des moyens d'activation 821 pour actionner une alarme 808 si un corps de taille humaine est détecté sous l'interface pendant un temps supérieur à un seuil déterminé.

Claims (16)

  1. Procédé pour détecter un corps (1) dans une zone (2) située à proximité d'une interface (3) entre deux milieux liquides et/ou gazeux, notamment du type eau/air ; ledit corps (1) étant éclairé par un rayonnement électromagnétique (4) comprenant au moins deux longueurs d'onde différentes, notamment situées dans des plages correspondant au proche infra-rouge d'une part et au vert-bleu d'autre part ; lesdits milieux ayant des coefficients d'absorption différents en fonction des longueurs d'onde du rayonnement électromagnétique (4) ; ledit procédé comprenant les étapes suivantes :
    - (a) l'étape de choisir parmi les longueurs d'onde du rayonnement électromagnétique (4), au moins deux longueurs d'onde ou deux plages de longueurs d'onde,
    - (b) l'étape de réaliser, pour chacune desdites longueurs d'onde ou plages de longueur d'onde une image (5) de ladite interface (3) et de ladite zone (2),
    - (c) l'étape de produire des signaux électriques (6) représentatifs de chaque image (5),
    - (d) l'étape de numériser les signaux électriques (6) de manière à produire des données (7) correspondant à chaque image (5),
    - (e) l'étape d'extraire desdites données (7) correspondant à chaque image (5) deux groupes de données (7) respectivement représentatifs d'au moins une partie dudit corps (1) dans la plage proche infra-rouge et dans la plage vert-bleu,
    - (f) l'étape de comparer lesdits groupes de données (7) ;
    les étapes (c) à (f) étant ci-après dénommées le processus de déduction de la présence d'un corps (1) ;
    de sorte qu'il est ainsi possible de détecter la présence d'un corps (1) et/ou de déterminer la position du corps (1) détecté par rapport à ladite interface (3), en discriminant entre un corps (1) situé entièrement sous l'interface (3) et un corps (1) situé au moins en partie au-dessus de l'interface (3).
  2. Procédé selon la revendication 1 ; ledit procédé comprenant en outre :
    - l'étape d'intégrer dans le temps les résultats de l'étape de comparaison desdits groupes de données (7).
  3. Procédé selon la revendication 2 ; ledit procédé comprenant en outre :
    - l'étape de déclencher une alarme (8) si un corps (1) de taille humaine est détecté sous ladite interface (3) pendant un temps supérieur à un seuil déterminé.
  4. Procédé selon l'une quelconques des revendications 1 à 3 ; ledit procédé étant tel que pour extraire desdites données (7) correspondant à chaque image (5) deux groupes de données (7) respectivement représentatifs d'au moins une partie dudit corps (1) dans la plage proche infra-rouge et dans la plage vert-bleu, on génère des calottes (9) (au sens de la présente invention).
  5. Procédé selon la revendication 4 ; ledit procédé comprenant en outre les étapes suivantes :
    - l'étape d'associer à chaque calotte (9) des caractéristiques (10) (au sens de la présente invention),
    - l'étape de déduire la présence d'un groupe de données (7) représentatif d'au moins une partie dudit corps (1) si les caractéristiques (10) dépassent un seuil SC prédéterminé.
  6. Procédé selon l'une quelconque des revendications 1 à 5 ; ledit procédé étant tel que pour comparer lesdits groupes de données (7), on recherche les données (7) représentatives d'au moins une partie dudit corps (1) dans la plage vert-bleu pour lesquelles il n'y a pas, dans un voisinage géométrique (11) déterminé, de données (7) correspondantes représentatives d'au moins une partie dudit corps (1) dans la plage infra-rouge ;
    de sorte qu'en cas de recherche positive, on peut conclure que ledit corps (1) est situé sous l'interface (3).
  7. Procédé selon l'une quelconque des revendications 1 à 5 ; ledit procédé étant tel que pour comparer lesdits groupes de données (7), on recherche, les données (7) représentatives d'au moins une partie dudit corps (1) dans la plage vert-bleu pour lesquelles il y a, dans un voisinage géométrique (11) déterminée, des données (7) correspondantes représentatives d'au moins une partie dudit corps (1) dans la plage infra-rouge ;
    de sorte qu'en cas de recherche positive, on peut conclure que ledit corps (1) est situé au moins en partie au-dessus de l'interface (3).
  8. Procédé selon la revendication 2 prise ensemble avec l'une quelconques des revendications 1 à 7 ; plus particulièrement destiné à discriminer entre un corps (1) stationnaire et un corps (1) en mouvement ; pour intégrer dans le temps les résultats de l'étape de comparaison desdits groupes de données (7), ledit procédé comprenant en outre les étapes suivantes :
    - l'étape d'itérer à intervalles de temps déterminés ledit processus de déduction de la présence dudit corps (1) ;
    - l'étape de calculer le nombre de fois où ledit corps (1) est détecté pendant une période de temps déterminée T1 ;
    - l'étape de discriminer, en un point de ladite zone (2), entre lesdits corps (1) qui sont présents un nombre de fois supérieur à un seuil déterminé S1 (lesdits corps (1) étant ci-après désignés les corps (1) stationnaires) et lesdits corps (1) qui sont présents un nombre de fois inférieur audit seuil déterminé S1 (lesdits corps (1) étant ci-après désignés les corps (1) en mouvement) ;
    de sorte qu'il est ainsi possible de détecter la présence d'un corps (1) stationnaire situé entièrement sous l'interface (3) et ainsi de déclencher une alarme (8).
  9. Système pour détecter un corps (1) dans une zone (2) située à proximité d'une interface (3) entre deux milieux liquides (12) et/ou milieux gazeux (13), notamment du type eau/air ; ledit corps (1) étant éclairé par un rayonnement électromagnétique (4) comprenant au moins deux longueurs d'onde différentes, situées dans des plages correspondant au proche infra-rouge d'une part et au vert-bleu d'autre part ; lesdits milieux ayant des coefficients d'absorption différents en fonction des longueurs d'onde du rayonnement électromagnétique (4) ; ledit système comprenant :
    - (a) des moyens de sélection (14) pour choisir parmi les longueurs d'onde du rayonnement électromagnétique (4), au moins deux longueurs d'onde ou deux plages de longueurs d'onde,
    - (b) des moyens de prise de vues (15) comprenant une caméra vidéo équipée d'un filtre permettant de réaliser une image vidéo dans la plage de longueur d'onde vert-bleu, et une caméra vidéo équipée d'un filtre permettant de réaliser au moins une image vidéo dans la plage de longueur d'onde proche infra-rouge, pour réaliser, pour chacune desdites longueurs d'onde ou plages de longueur d'onde, une image (5) de ladite interface (3) et de ladite zone (2),
    - (c) des moyens de conversion (16) pour produire des signaux électriques (6) représentatifs de chaque image (5),
    - (d) des moyens de numérisation (17) pour numériser les signaux électriques (6) de manière à produire des données (7) correspondant à chaque image (5),
    - (e) des moyens de traitement informatique (18) pour extraire desdites données (7) correspondant à chaque image (5) deux groupes de données (7) respectivement représentatifs d'au moins une partie dudit corps (1) dans la plage proche infra-rouge et dans la plage vert-bleu,
    - (f) des moyens de calcul (19) pour comparer lesdits groupes de données (7) ;
    les moyens de conversion (16), les moyens de numérisation (17), les moyens de traitement informatique (18), les moyens de calcul (19) étant ci-après dénommés les moyens de déduction de la présence d'un corps (1) ;
    de sorte qu'il est ainsi possible de détecter la présence d'un corps (1) et/ou de déterminer la position du corps (1) détecté par rapport à ladite interface (3), en discriminant entre un corps (1) situé sous l'interface (3) et un corps (1) situé au moins en partie au-dessus de l'interface (3).
  10. Système selon la revendication 9 ; ledit système comprenant en outre :
    - des moyens d'intégration (20) pour intégrer dans le temps les résultats des moyens de calcul (19) desdits groupes de données (7).
  11. Système selon la revendication 10 ; ledit système comprenant en outre :
    - des moyens d'activation (21) pour actionner une alarme (8) si un corps (1) de taille humaine est détecté sous ladite interface (3) pendant un temps supérieur à un seuil déterminé.
  12. Système selon l'une quelconques des revendications 9 à 11 ; ledit système étant tel que lesdits moyens de traitement informatique (18) permettent de générer des calottes (9) (au sens de la présente invention).
  13. Système selon la revendication 12 ; ledit système étant tel que lesdits moyens de traitement informatique (18) permettent :
    - d'associer à chaque calotte (9) des caractéristiques (10) (au sens de la présente invention),
    - de déduire la présence d'un groupe de données (7) représentatif d'au moins une partie dudit corps (1) si les caractéristiques (10) dépassent un seuil SC prédéterminé.
  14. Système selon l'une quelconque des revendications 9 à 13 ; ledit système étant tel que lesdits moyens de calcul (19) permettent de rechercher les données (7) représentatives d'au moins une partie dudit corps (1) dans la plage vert-bleu pour lesquelles il n'y a pas, dans un voisinage géométrique (11) déterminé, de données (7) correspondantes représentatives d'au moins une partie dudit corps (1) dans la plage infra-rouge ;
    de sorte qu'en cas de recherche positive, on peut conclure que ledit corps (1) est situé sous l'interface (3).
  15. Système selon l'une quelconque des revendications 9 à 13 ; ledit système étant tel que lesdits moyens de calcul (19) permettent de rechercher les données (7) représentatives d'au moins une partie dudit corps (1) dans la plage vert-bleu pour lesquelles il y a, dans un voisinage géométrique (11) déterminé, des données (7) correspondantes représentatives d'au moins une partie dudit corps (1) dans la plage infra-rouge ;
    de sorte qu'en cas de recherche positive, on peut conclure que ledit corps (1) est situé au moins en partie au-dessus de l'interface (3).
  16. Système selon la revendication 10 prise ensemble avec l'une quelconques des revendications 9 à 15 ; plus particulièrement destiné à discriminer entre un corps (1) stationnaire et un corps (1) en mouvement ; lesdits moyens d'intégration (20) pour intégrer dans le temps les résultats des moyens de calcul (19) permettant :
    - d'itérer à intervalles de temps déterminés la mise en oeuvre desdits moyens de déduction de la présence dudit corps (1) ;
    - de calculer le nombre de fois où ledit corps (1) est détecté pendant une période de temps déterminée T1 ;
    - de discriminer, en un point de ladite zone (2), entre lesdits corps (1) qui sont présents un nombre de fois supérieur à un seuil déterminé S1 (lesdits corps (1) étant ci-après désignés les corps (1) stationnaires) et lesdits corps (1) qui sont présents un nombre de fois inférieur audit seuil déterminé S1 (lesdits corps (1) étant ci-après désignés les corps (1) en mouvement) ;
    de sorte qu'il est ainsi possible de détecter la présence d'un corps (1) stationnaire situé entièrement sous l'interface (3) ;
    de sorte qu'il est ainsi possible de déclencher une alarme (8).
EP04767924A 2003-07-28 2004-07-28 Procede et systeme pour detecter un corps dans une zone situee a proximite d une interface Active EP1656650B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0350378A FR2858450B1 (fr) 2003-07-28 2003-07-28 Procede et systeme pour detecter un corps dans une zone situee a proximite d'une interface
PCT/FR2004/050363 WO2005013226A1 (fr) 2003-07-28 2004-07-28 Procede et systeme pour detecter un corps dans une zone situee a proximite d'une interface

Publications (2)

Publication Number Publication Date
EP1656650A1 EP1656650A1 (fr) 2006-05-17
EP1656650B1 true EP1656650B1 (fr) 2008-03-05

Family

ID=34043805

Family Applications (1)

Application Number Title Priority Date Filing Date
EP04767924A Active EP1656650B1 (fr) 2003-07-28 2004-07-28 Procede et systeme pour detecter un corps dans une zone situee a proximite d une interface

Country Status (8)

Country Link
US (1) US7583196B2 (fr)
EP (1) EP1656650B1 (fr)
JP (1) JP4766492B2 (fr)
AT (1) ATE388460T1 (fr)
DE (1) DE602004012283D1 (fr)
ES (1) ES2303092T3 (fr)
FR (1) FR2858450B1 (fr)
WO (1) WO2005013226A1 (fr)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008066619A1 (fr) * 2006-10-19 2008-06-05 Travis Sparks Lampe de piscine équipée d'une alarme de sécurité et d'un réseau de capteurs
US7839291B1 (en) * 2007-10-02 2010-11-23 Flir Systems, Inc. Water safety monitor systems and methods
US8390685B2 (en) * 2008-02-06 2013-03-05 International Business Machines Corporation Virtual fence
US8345097B2 (en) * 2008-02-15 2013-01-01 Harris Corporation Hybrid remote digital recording and acquisition system
WO2012145800A1 (fr) * 2011-04-29 2012-11-01 Preservation Solutions Pty Ltd Contrôle de la sécurité dans l'eau d'au moins une personne dans une masse d'eau
US8544120B1 (en) * 2012-03-02 2013-10-01 Lockheed Martin Corporation Device for thermal signature reduction
CN103646511A (zh) * 2013-11-25 2014-03-19 银川博聚工业产品设计有限公司 游泳池溺水动态监控装置
US20170167151A1 (en) * 2015-12-10 2017-06-15 Elazar Segal Lifesaving system and method for swimming pool
US10329785B2 (en) * 2016-04-08 2019-06-25 Robson Forensic, Inc. Lifeguard positioning system
JP7313811B2 (ja) * 2018-10-26 2023-07-25 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN109584509B (zh) * 2018-12-27 2020-08-11 太仓市小车东汽车服务有限公司 一种基于红外线与可见光组合的游泳池溺水监测方法
CN115278119B (zh) * 2022-09-30 2022-12-06 中国科学院长春光学精密机械与物理研究所 用于红外辐射特性测量的红外相机积分时间自动调整方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0683451B2 (ja) * 1986-08-01 1994-10-19 東芝エンジニアリング株式会社 水没検知システム
US4779095A (en) * 1986-10-28 1988-10-18 H & G Systems, Inc. Image change detection system
GB8811355D0 (en) * 1988-05-13 1997-09-17 Secr Defence An electro-optical detection system
US4862257A (en) * 1988-07-07 1989-08-29 Kaman Aerospace Corporation Imaging lidar system
JPH0378577A (ja) * 1989-08-19 1991-04-03 Mitsubishi Electric Corp 真空装置
US5043705A (en) * 1989-11-13 1991-08-27 Elkana Rooz Method and system for detecting a motionless body in a pool
GB9115537D0 (en) * 1991-07-18 1991-09-04 Secr Defence An electro-optical detection system
US5959534A (en) * 1993-10-29 1999-09-28 Splash Industries, Inc. Swimming pool alarm
US5638048A (en) * 1995-02-09 1997-06-10 Curry; Robert C. Alarm system for swimming pools
FR2741370B1 (fr) * 1995-11-16 1998-05-29 Poseidon Systeme de surveillance d'une piscine pour la prevention des noyades
US6963354B1 (en) * 1997-08-07 2005-11-08 The United States Of America As Represented By The Secretary Of The Navy High resolution imaging lidar for detecting submerged objects
US6628835B1 (en) * 1998-08-31 2003-09-30 Texas Instruments Incorporated Method and system for defining and recognizing complex events in a video sequence
US6327220B1 (en) * 1999-09-15 2001-12-04 Johnson Engineering Corporation Sonar location monitor
FR2802653B1 (fr) * 1999-12-21 2003-01-24 Poseidon Procede et systeme pour detecter un objet devant un fond
JP2002077897A (ja) * 2000-08-25 2002-03-15 Nippon Hoso Kyokai <Nhk> オブジェクト抽出型ｔｖカメラ
DE60111074T2 (de) * 2000-12-06 2006-05-04 Poseidon Verfahren und vorrichtung zur detektion eines körpers in der nähe einer wasser/luft schichtgrenze
SG95652A1 (en) * 2001-05-25 2003-04-23 Univ Nanyang Drowning early warning system
US6642847B1 (en) * 2001-08-31 2003-11-04 Donald R. Sison Pool alarm device

Also Published As

Publication number Publication date
WO2005013226A1 (fr) 2005-02-10
ATE388460T1 (de) 2008-03-15
FR2858450A1 (fr) 2005-02-04
ES2303092T3 (es) 2008-08-01
JP2007500892A (ja) 2007-01-18
EP1656650A1 (fr) 2006-05-17
US20070052697A1 (en) 2007-03-08
DE602004012283D1 (de) 2008-04-17
JP4766492B2 (ja) 2011-09-07
FR2858450B1 (fr) 2005-11-11
US7583196B2 (en) 2009-09-01

Similar Documents

Publication Publication Date Title
EP1656650B1 (fr) Procede et systeme pour detecter un corps dans une zone situee a proximite d une interface
EP2071280B1 (fr) Dispositif de génération d&#39;informations de normale et procédé de génération d&#39;informations de normale
FR3065307A1 (fr) Dispositif de capture d&#39;une empreinte d&#39;une partie corporelle.
FR2832528A1 (fr) Determination d&#39;un illuminant d&#39;une image numerique en couleur par segmentation et filtrage
EP3114831B1 (fr) Débruitage vidéo optimisé pour système multicapteur hétérogène
FR2989198A1 (fr) Procede et dispositif de detection d&#39;un objet dans une image
EP2307948B1 (fr) Dispositif interactif et procédé d&#39;utilisation
EP3388976B1 (fr) Procede de detection de fraude
EP1240622B1 (fr) Procede et systeme pour detecter un objet par rapport a une surface
EP1340104B1 (fr) Procede et dispositif pour detecter un corps a proximite d&#39;une interface de type eau/air
FR2717269A1 (fr) Système et procédé pour discriminer des cibles pouvant représenter des mines.
EP2756483B1 (fr) Procédé et système d&#39;acquisition et de traitement d&#39;images pour la détection du mouvement
FR2945883A1 (fr) Procede et systeme de detection de l&#39;etat ouvert ou ferme des yeux d&#39;un visage.
FR2911984A1 (fr) Procede pour identifier des points symboliques sur une image d&#39;un visage d&#39;une personne
FR2817624A1 (fr) Procede, systeme et dispositif pour detecter un corps a proximite d&#39;une interface de type eau/air
Chen et al. Extraction of oil slicks on the sea surface from optical satellite images by using an anomaly detection technique
EP4254250A1 (fr) Méthode et appareil pour détecter un spectateur d&#39;appareil mobile basée sur des données de profondeur
WO2023057726A1 (fr) Dispositif et procede opto-informatique d&#39;analyse en lumiere traversante d&#39;un recipient en materiau transparent ou translucide a l&#39;aide d&#39;une camera numerique polarimetrique
FR3135812A1 (fr) Procédé de surveillance automatique des personnes dans un bassin d’eau, programme d’ordinateur et dispositif associés
FR2817625A1 (fr) Procede pour detecter des corps nouveaux dans une scene eclairee par des lumieres non forcement contraintes
FR3055997A1 (fr) Systeme pour la determination d&#39;au moins une caracteristique relative au contour d&#39;un sujet contenu dans au moins une image numerique
FR3023924A1 (fr) Detecteur de navires sous-marins

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20060228

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PL PT RO SE SI SK TR

17Q First examination report despatched

Effective date: 20060811

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: MG INTERNATIONAL

111Z Information provided on other rights and legal means of execution

Free format text: FR

Effective date: 20070919

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REF Corresponds to:

Ref document number: 602004012283

Country of ref document: DE

Date of ref document: 20080417

Kind code of ref document: P

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2303092

Country of ref document: ES

Kind code of ref document: T3

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080605

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080805

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080606

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

26N No opposition filed

Effective date: 20081208

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080605

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080731

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

REG Reference to a national code

Ref country code: FR

Ref legal event code: GC

Ref country code: FR

Ref legal event code: AU

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080906

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080305

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080606

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 13

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 14

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: BE

Payment date: 20220720

Year of fee payment: 19

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20230711

Year of fee payment: 20

Ref country code: LU

Payment date: 20230711

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230831

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230710

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20231103

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: BE

Payment date: 20230929

Year of fee payment: 20