WO2007104542A1 - Verfahren und vorrichtung zum erzeugen einer strukturfreien fiberskopischen aufnahme - Google Patents

Verfahren und vorrichtung zum erzeugen einer strukturfreien fiberskopischen aufnahme Download PDF

Info

Publication number
WO2007104542A1
WO2007104542A1 PCT/EP2007/002218 EP2007002218W WO2007104542A1 WO 2007104542 A1 WO2007104542 A1 WO 2007104542A1 EP 2007002218 W EP2007002218 W EP 2007002218W WO 2007104542 A1 WO2007104542 A1 WO 2007104542A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
sensor
intensity
imaging parameters
imaging
Prior art date
Application number
PCT/EP2007/002218
Other languages
English (en)
French (fr)
Inventor
Volker Daum
Klaus Spinnler
Robert COURONNÉ
Matthias Elter
Stephan Rupp
Christian Winter
Original Assignee
Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Friedrich-Alexander-Universität Erlangen-Nürnberg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V., Friedrich-Alexander-Universität Erlangen-Nürnberg filed Critical Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority to EP07723228A priority Critical patent/EP1994501A1/de
Priority to US12/282,697 priority patent/US7801405B2/en
Publication of WO2007104542A1 publication Critical patent/WO2007104542A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24—Coupling light guides
    • G02B6/42—Coupling light guides with opto-electronic elements
    • G02B6/4298—Coupling light guides with opto-electronic elements coupling with non-coherent light sources and/or radiation detectors, e.g. lamps, incandescent bulbs, scintillation chambers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/04—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres
    • G02B6/06—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images

Definitions

  • the present invention relates to a device and a method which provide the possibility of producing interference-free images by means of fiber-optic systems, and in particular with the inclusion of an image-forming system in which an image is imaged onto a sensor by means of a bundle of several ordered light guides is, can be suitably edited to obtain an image without disturbing structures.
  • Optical systems in which an image is transferred to an imaging sensor via an optical system are widely used. Without the imaging of endoscopes, many applications would be unthinkable today, among others in the field of diagnostics, inspection, quality assurance and research.
  • lens-optical systems are used, ie systems with a rigid structure within which the image is transmitted through a lens arrangement similar to a lens of a camera on the sensor.
  • fiber optic systems are used, which consist of a large number of ordered light-conducting in a bundle zusainmengeutzter fibers, the light is passed through the plurality of fibers on a sensor.
  • the image director of high-quality fiberscopes consists of a regularly ordered bundle of about 5,000 to 8,000 individual fibers. Compared with the resolution of a conventional moving picture camera (for example VGA: 640 x 480> 300,000 pixels), this value is well below the limit for useful applications.
  • the image signal carried by the single fibers is observed with such a conventional motion picture camera.
  • the individual optical waveguides usually have a cladding, such that disruptive structures in the observed image result from the cladding, which structures can be smoothed for example by low-pass filters or adaptively reduced by spectral masking.
  • honeycomb-shaped sheathing structures In order to remove the structures introduced by the honeycomb structure and highly disturbing to evaluate an image, solutions already exist which interpolate a honeycomb-free image on the basis of the brightness information of the fibers. Likewise, the smoothing of the honeycomb-shaped sheathing structures is achieved, for example, by their masking in the Fourier space. Masking has the disadvantage that, although it improves the visual impression of the recorded image, it does not increase the accuracy with which the location of the image can be determined.
  • German patent DE 4318140 A1 A problem which is generally to be solved is dealt with in German patent DE 4318140 A1. There is described how the positions of the points of light through the individual glass fibers can be imaged on a higher resolution sensor can be determined.
  • the patent shows how, on the basis of the particular fiber coordinates, it is possible to associate the position of the fibers on the input side of the optical fiber bundle with the position of the points of light produced by the fibers on the sensor. Although this method prevents a misrepresentation caused by non-parallel fibers in the fiber bundle, no increase in resolution can be achieved in this way.
  • the prior art corresponding method for image processing of an image recorded by means of a fiber optic system have the disadvantage that although the quality of presentation or the subjective perception quality of the images is improved, but they initially do not cause an actual increase in resolution, since to improve the resolution of the introduction of additional (BiId-) information is necessary.
  • this prior knowledge can be introduced per single image in order to actually increase the resolution (for example by using edge-preserving filters). For example, if it is known that a straight-line jump in intensity takes place within the recording, the course of the edge in the recording can be determined with higher precision than the resolution of a single pixel by suitably applying a filter.
  • the object or the shape of the object to be observed is usually not known a priori, so that such methods are not generally possible.
  • the information difference or the information redundancy of several successive recordings can be made from varying viewing positions or directions combined to reconstruct an image that has a higher resolution than a single image.
  • conventional video sequences ie successive individual images consisting of a rectangular grid of pixels, such methods are used under the collective term "superresolution.”
  • superresolution there are first approaches for expanding the method for increasing the resolution of pixels that are used in arbitrary grating structures, ie non-rectangular coordinates.
  • the image information used here is that intensity which results from the summation of the pixels, which are located within a defined radius around a central pixel.
  • the method described there and other prior art methods have the great disadvantage that the localization of the fiber centers on the sensor can be done only with pixel accuracy, ie with the accuracy that is determined by the size of a single photosensitive pixel. This degrades the applicability of images thus generated for subsequent motion compensation that is just based on generating additional image information through motion detection, wherein the motion detection can be made with an accuracy that is below the pixel size.
  • a localization of the motion compensation underlying fiber centers with pixel accuracy therefore inevitably leads to a resolution that remains well below the possible theoretical value.
  • the summation of the light intensities in a circular area around a central pixel is only conditionally suitable for describing the total intensity transmitted by an optical fiber. For example, a deviation from a circular geometry of the light spot, as may occur when a single fiber or the fiber bundle has an angle relative to the sensor, results in the total intensity not being determined correctly.
  • the present invention has for its object to provide an apparatus and a method by means of which the generation of interference-free images for fiberskopische systems with higher spatial resolution and more precisely determined intensity values is possible.
  • the present invention is based on the finding that an image freed from interfering structures can be generated by means of a fiber bundle from a plurality of light guides and a sensor, if image parameters are provided for the fiber bundle and sensor system Describe properties of the intensity profile generated by each individual light guide on the sensor.
  • image reconstruction an amplitude value or brightness information is generated for each individual optical waveguide in that a function of the amplitude value and the imaging parameter of the relevant optical waveguide is adapted to an intensity image of the sensor, so that an optimal amplitude or brightness value is taken into account geometric imaging properties can be generated for each individual fiber.
  • the imaging parameters describe the geometric shape of the intensity distribution as produced by each individual light guide on the sensor.
  • the imaging parameters can be determined, for example, by a calibration to be performed once, in which the fiber bundle is preferably illuminated homogeneously and in which a parameterization is adapted to the individual intensity profiles of the individual optical fibers. This has the great advantage that by adjusting a parameterization, the coordinates of the fiber center or the center of the image of a fiber on the sensor can be determined with an accuracy that depends essentially on the statistics (ie the illumination intensity and the exposure time) and which can far exceed the accuracy or the spatial resolution of the individual pixels of a sensor.
  • the spatial extent of the intensity distribution as a function of the distance to the center of the same be described by suitable parameters. This can be done, for example, by standard deviations of a Gaussian function adapted to the intensity distributions, which may be symmetrical, but may be asymmetrical, ie has different extents in the X and Y directions on the sensor.
  • suitable parameters such as, for example, a tilting of the light guide or light fiber relative to the sensor, resulting in an elliptical shape of the light intensity on the sensor Has.
  • the intensity of the radiation transmitted by means of a single optical waveguide can be accurately detected, which is not possible with prior art methods which merely sum up the intensity of a number of fixed radius pixels around a central pixel.
  • a calibration is first carried out in which the characteristic parameters of a two-dimensional Gaussian distribution, ie the center (X and Y coordinates) and the width of the distribution in two dimensions ( ⁇ x and ⁇ y ).
  • This information is used in the processing of images taken by the fiberscopic system to produce an optimized amplitude value for each individual sensor.
  • fiber optics is used individually for the intensity distributions whose center and position are already known by the calibration, the parameterization or mapping function used for the calibration is used in order to adapt these optimally to the actually measured ones.
  • the amplitude parameter which can be freely determined during the adaptation is thus a measure of the total light intensity transmitted by the fiber and is used in the further course of the image processing as brightness information of the fiber concerned.
  • the calibration ensures that the position of the fiber centers is known with an accuracy that far exceeds the size of the individual pixels.
  • the individual images thus offer excellent spatial resolution as well as amplitude and brightness values that are determined with the greatest possible precision.
  • the image is imaged onto an imaging sensor by means of a fiber optic system consisting of many individual optical fibers such that the intensity profile caused by a single fiber on the surface of the sensor has a spatial extent greater than a single photosensitive Element or pixel of the sensor.
  • a low-resolution image can be calculated from an intensity image of the sensor which stores the image information transmitted by each individual optical waveguide in the form of an intensity value.
  • intensity image In the case of color images, of course, it is also possible to store three or more intensity values per light guide in order to obtain the color information.
  • a single low resolution image thus contains a number of pixels associated with individual fibers and which need not be arranged in a rectangular grid. Due to the generation of only a single pixel per light guide, the honeycomb structure of the light guide arrangement, as can be seen on the individual sensor recordings with a higher resolution, is successfully suppressed.
  • the motion detection in successive recordings is made possible, so that according to the invention a freely definable number of successive recordings can be used to detect a movement at locations of the image or a translational movement of the entire image and to derive associated motion vectors.
  • the motion estimation can be performed with an accuracy that exceeds the original image resolution.
  • the motion estimation can be carried out either on the basis of the irregular grid of the individual points of light per image guide.
  • a regular rectangular grid of pixels for example, but not necessarily in the resolution of the sensor used, may be generated by interpolation based on the irregular grid.
  • interpolation is to to obtain values for each pixel of the regular grid by the baricentric weighting of the three closest intensity values to the sampled pixel. Baricentric weighting is based on weighting and superimposing the intensity values of the three nearest points, that is, the points forming a triangle within which the scanned pixel is located, with the distance to the point of interest to determine the intensity value for the scanned pixel ,
  • a further example of how a continuous image can be interpolated on the basis of the punctiform brightness or amplitude values is by using the Delaunay triangulation or by using the dual Voronoi cells, as will be explained in more detail below.
  • the detected movements of the individual images are transformed back and superimposed with respect to a freely selectable reference image or reference time.
  • An increase in resolution results now from the fact that the motion vectors can be determined with an accuracy that is higher than the intrinsic resolution or the distance between two neighboring pixels.
  • the superimposed image therefore, there are several pixels for different moving objects which can be shifted by less than the intrinsic resolution of a single image, so that a combination of the images results in an increased resolution of the reconstructed image.
  • a still image can be generated or even an image sequence or a film, in which a few consecutive individual images are used to produce an image of the film or of the image sequence.
  • FIG. 2 shows the imaging of optical fibers onto square photosensitive pixels
  • 3 is a flow chart for a method of generating high resolution images
  • FIG. 10 shows a flow chart for a method according to the invention for generating imaging parameters of a light guide.
  • FIG. 1 shows an example of a system having a device for generating a high-resolution image or an evaluation device 100. Shown is, moreover, a fiber bundle 102 and a sensor 104, which is connected to the evaluation device according to the invention, so that the latter is the one Control exposure times of the sensor 104 can, as well as on the other hand can read the image data of the sensor 104.
  • An image or object is imaged on the sensor 104 by the fiber bundle 102 consisting of a plurality of individual light guides 106.
  • the imaging situation of the individual optical fibers on the sensor is shown in detail with reference to FIG. 2, in which approximately circular intensity distributions (for example intensity distribution 110) are shown overlapping the square pixel matrix 112 of, for example, a CCD sensor.
  • a single optical fiber exposes a plurality of pixels of the pixel array 112, with individual pixels completely illuminated by the fiber and only partially at the edges of the circular intensity distribution 110 be illuminated so that even with completely homogeneous illumination of the fiber and idealized light transport through the fiber at the edges of the fiber image pixels are only partially illuminated, so detect an intensity that is lower than that of the pixel in the center ,
  • the intensity may additionally decrease at the edge of the circular cross-section of a fiber optic fiber.
  • the array of fiber bundle 102 and sensor 104 has a set of imaging parameters that specify, among other things, the imaging location of the optical fibers on the sensor.
  • the location of the picture is to be understood as being the center indicates the area irradiated by a single light guide on the sensor.
  • points 114a, 114b and 114c are shown in FIG.
  • the points 114a to 114c which indicate the center of the light distributions of individual light guides or fibers on the sensor 104, are thereby determined during a calibration, as will be explained in more detail below.
  • the senor 104 is initially controlled by the device for generating a high-resolution image 100 such that it receives a series of successive intensity images.
  • a low-resolution image is first derived from the device for generating a high-resolution image 100 from each intensity image.
  • a pixel with associated intensity values is first determined for each individual fiber, so that the resulting low-resolution image initially has a number of pixels which corresponds to the number of optical fibers 106 of the fiber bundle 102.
  • a smaller number of pixels can be generated.
  • An image generated according to the invention therefore consists of Sercenter corresponding individual pixels, which have no such honeycomb structure and are not necessarily arranged in a uniform rectangular grid.
  • the spacing of adjacent pixels is greater than the spacing of adjacent photosensitive pixels of the sensor 104.
  • the image which has pixels corresponding to individual fiber centers can now either be used directly as a low-resolution image or, since the honeycomb structure is already removed within the image, a low-resolution image can be obtained by interpolation on the basis of this image has uniform arrangement of pixels.
  • the pixels 114a to 114c can be scanned, for example, with a grating 112, as can be seen in FIG. 2, wherein the intensity values for each pixel of the grating 112 are obtained, for example, by interpolation of the three nearest neighboring imaging locations or their associated intensity values , In the example of Fig.
  • the three imaging locations 114a-114c form a triangle, so that for the square pixels within this triangle, the intensity values can be obtained from a weighted superposition of the three intensity values of the imaging locations 114a-114c.
  • this weighting may be baricentric, i. the intensity values at the imaging locations are weighted and superposed with the distance of the respective imaging locations to the pixel to be interpolated.
  • a suitable parameterization can be adapted to the intensity distribution in order to obtain a brightness or amplitude value.
  • a low-resolution image may be generated which has the advantage of regularly arranged pixels, thus allowing mathematically simpler post-processing of the image.
  • the pixel size with which the image of the imaging locations is scanned is not given but freely selectable and adaptable to the respective needs or conditions.
  • the device for generating a high-resolution image 100 performs a motion estimation between the individual images of the series of low-resolution images, it being irrelevant whether the low-resolution images have pixel images scanned at right angles or in the grating of the image locations.
  • the individual successive low resolution images are compared as to whether either the entire image or portions of the image can be detected at other geometric locations of successive images, ie, portions of the image Whole image relative to the previous shot on the sensor 104 have moved. It should be noted that the imaging sites 114a-114c will of course not move on the sensor 104 because the fiber bundle 102 is rigidly disposed with respect to the sensor 104.
  • a movement is thus detected due to light intensities changing at the imaging locations 114a to 114c. If, for example, image areas corresponding to one another have been identified in two successive images and have shifted from one another, a motion vector can be defined which indicates the movement of the image area from one image to the next image.
  • the relative movement of mutually corresponding image areas can be determined with an accuracy that exceeds that of the original image resolution, ie the distance between adjacent image locations.
  • the apparatus for generating a high-resolution image 100 performs a back transformation of the moving objects at a reference time, for example to a previous image, and the intensity or amplitude values of the individual, back-transformed low-resolution images are superimposed.
  • image areas that have changed or moved in the course of the sequence of low-resolution images new pixels added, which need not be due to the higher accuracy of the motion vectors in the original image grid.
  • This situation is illustrated by the dashed pixels 116a to 116c in FIG.
  • the pixels 116a to 116c newly added by inverse transformation and subsequent superposition have the effect of observing the object to be observed in the original image with a higher resolution than the sensor or the arrangement of sensor and light guides allows intrinsically.
  • the apparatus for generating a high-definition image 100 thus makes it possible, by means of the processing of a sequence of recorded intensity images taking account of imaging parameters, to produce a high-resolution image which has a higher resolution than a single intensity image.
  • the device can be used in such a way that either a single stationary image is generated, or that a continuous sequence of images, ie an image sequence or a film with increased resolution is generated.
  • the number of individual intensity images, which are used to generate a high-resolution image can be freely adapted to the respective circumstances.
  • a criterion can be, for example, the desired increase in resolution, or the delay that inevitably occurs due to the acquisition of several images until a high-resolution image is generated.
  • the delay may be relevant, for example, if a real-time observation by means of the method according to the invention is to be made, whereby naturally a series of intensity images must be performed and processed until the first high-resolution image of the image sequence can be made visible on a screen.
  • the high-resolution image can be scanned or generated in a freely selectable resolution, wherein the scanning grating can correspond, for example, to the physical resolution of a screen for displaying the result.
  • a sequence of intensity images is first to be recorded in an image acquisition step 150.
  • the generating step 152 low-resolution images are generated from the intensity images by using imaging parameters indicating, for example, an imaging location of the optical fibers 106 on the sensor 104.
  • the successive low-resolution images are analyzed and relative motion vectors are determined for moving parts of the image or in the event that the entire image has moved.
  • the synthesis step 156 the high-resolution image from the low-resolution images is combined by transforming back the detected motions and superimposing the back-transformed images on each other.
  • the generated high resolution image may be scanned in an, for example, rectangular coordinate grid to output to an external display device.
  • Fig. 4 shows experimental results as can be obtained by applying a resolution enhancement method. Shown is the result of a processing of images from a flexible endoscope with fiber optic image guide.
  • Fig. A shows the original image recorded by the sensor at the proximal end of the endoscope has been.
  • Fig. B shows how an image can be generated by baricentric interpolation whose honeycomb pattern is reduced or suppressed.
  • Figures c to e show from left to right the application of the method with increasing complexity.
  • the result is shown using five frames
  • Fig. D the result using ten frames
  • Fig. E the result using fifteen frames to increase the resolution is shown.
  • the resolution continuously improves.
  • FIG. 5 shows an example of how the use of the method can improve the readability of a writing recorded by means of a fiber optic endoscope.
  • FIG. A an enlarged section of a receptacle after the reduction of the honeycomb structure is shown in FIG. A, the FIGURE b showing the same section according to the method of motion compensation according to the application.
  • the resolution can be increased in reality by the motion detection method, since parts of the fonts are only readable in FIG.
  • the advantage of this method is that information about the structure of the observed object need not be known in order to increase the resolution.
  • a straight line 200 as can be seen, for example, in FIG.
  • the motion compensation was done with different image materials. al with legible and unreadable, structured and unstructured as well as transversal or longitudinally shifted content examined and compared. Apart from extremely structurally weak scenes, which do not contribute to motion detection and thus offer no approach for increasing the spatial resolution. In particular, the number of images used around a basic image and the different structure in the image were examined for subjective perception as influencing factors. Implementation of the procedure for the post-processing of fiberscopic imagery confirms the significant increase of details (readable writing, edges, structures) when combining several single exposures.
  • the method is suitable for both transverse and longitudinal movement of the endoscope tip and is robust against non-homogeneous movement within the images.
  • the method described above can be classified or designated as an increase in resolution in the local area with interpolation from unequally distributed grids.
  • a modular separation between the localization of image information, the interpolated motion estimation, the generation of a high-resolution grating and its Cartesian scanning with baricentric extension of interpolation points enables the separate use and implementation of the respectively used procedures in software and hardware.
  • the adaptation and optimization of the method to any grid structure for obtaining higher-resolution image information offers three major advantages:
  • the method can be realized by parallelizing process steps in signal processor technology and thus be used as a module to increase resolution directly between the digitizing sensors after the fiber optics and a display / playback or further processing.
  • This step may be completed by a preprocessing step, e.g. Interpolation of the image material.
  • the actual physical properties of a fiberscopic image recording system are exploited in order to efficiently remove the image artifacts or the interfering structures, while at the same time retaining the entire image information.
  • the method according to the invention for producing a structure-free fiberscopic recording is based on firstly carrying out a calibration of the fiberscopic system and, on the basis of the findings obtained during the calibration, performing image reconstruction steps in real time.
  • the calibration only has to be done once, but the reconstruction is required for every single frame of an image stream.
  • One of the aims of the calibration is to determine the centers of all optical fibers with an accuracy that is greater than the size of the pixels of a sensor (ie with subpixel accuracy).
  • An image used for the calibration can be obtained, for example, by subtracting a homogeneous white area (for example a sheet of paper). is formed.
  • an artifact-free output image is reconstructed, which is constructed on the basis of the intensity values obtained at the locations of the centers of the light guides with subpixel accuracy.
  • the position of the centers of the optical fibers is determined by means of a calibration image in three stages. First, with pixel accuracy (that is, with a location resolution corresponding to the physical size of the pixels of the sensor), potential candidate points for the position of the center of the light pipe are determined. A significance value that indicates how well a two-dimensional Gaussian parameterization with specified parameters describes the intensity distribution around the candidate point is assigned to each candidate point.
  • an unbalanced two-dimensional Gaussian parameterization is fitted to the intensity acquired by the sensor (for example, using nonlinear optimization).
  • the fitting results in a position of the light guide center with a subpixel accuracy, with a further significance value being obtained for each adjustment made.
  • the actual centers of the optical fibers are then determined from the group of candidate points based on the significance values, and in addition a distance criterion describing the minimum reasonable distance between two adjacent centers of optical fibers is used.
  • the group of adjacent light guides which is suitable for the application of the distance criterion can be determined, for example, by a Delaunay triangulation of the centers of the light guides, which can also serve as the basis for a subsequent image reconstruction.
  • FIG. 6 shows three images, the left image 6 a representing a two-dimensional intensity image, as it is recorded by a fiber bundle during the calibration by means of a pixel sensor.
  • FIG. 6a shows three images, the left image 6 a representing a two-dimensional intensity image, as it is recorded by a fiber bundle during the calibration by means of a pixel sensor.
  • FIG. 6a shows three images, the left image 6 a representing a two-dimensional intensity image, as it is recorded by a fiber bundle during the calibration by means of a pixel sensor.
  • the structures assigned to the individual optical fibers are clearly recognizable, but the exact position of the center of the intensity distribution can not be determined since several pixels are exposed with high intensity by means of each fiber.
  • the candidate points are selected based on their brightness, which is set in relation to the brightness of the local neighborhood of the candidate point.
  • a symmetrical rectangular neighborhood N is used.
  • the size of the neighborhood for example, preferably depends on the diameter of a single optical fiber, which is approximately constant for all optical fibers of a fiber bundle.
  • the coordinate system 300 is defined in FIG. 6 a, so that a coordinate in the coordinate system 300 can be assigned to individual pixels.
  • the minimum and maximum intensity I n ⁇ n and Imax within the neighborhood N (X, Y) are first determined for each position (X, Y) in the calibration image and their coordinates (X min , Y min ) and (X ma ⁇ , Ymax) localized.
  • the point ⁇ X ma ⁇ r Ymax is identified as a candidate point for a center of a light guide if and only if I m3x - I m in> D m i n ,
  • a significance value indicating how well a two-dimensional symmetric Gaussian distribution describes the data in the vicinity of the candidate points is obtained by comparing the environment of the candidate point with the Gaussian distribution determined (template matching).
  • a template window corresponding to a neighborhood N is filled with the discrete values of a symmetric two-dimensional Gaussian distribution centered around the center of the example environment. For each example window, each of which corresponds to a candidate point Pi, a significance value s (pi) corresponding to the common RMS metric is calculated:
  • T (x, y) and I (x, y) correspond to the intensities of the individual pixels at the positions (x, y) of the example window and the neighborhood N (pi) of the candidate point pi.
  • points with a lower corresponding significance value or their surroundings agree better with the example environment. That is, the probability that the candidate point pi in question is near the actual center of the optical fiber is higher for low significance points than for high significance points.
  • FIG. 1b shows the result of the above operation and thus the candidate points and the associated significance values in greyscale representation.
  • the candidate points are now reevaluated by matching (fitting) two-dimensional, asymmetrical Gaussian distributions to the surroundings of the candidate points.
  • a two-dimensional, not symmetrical Gaussian distribution f (x, y; v) of a parameter vector v ( ⁇ x, ⁇ y, ⁇ x, ⁇ y, a) defines the (x U, Py) the center of the Gaussian distribution, the standard deviations in x and y direction ⁇ x , ⁇ y and an amplitude or an amplitude value a includes.
  • the full Gaussian function is thus written as:
  • the above function can be applied to the neighborhood N (pi) by nonlinear optimization of the following quadratic spacing problem by variation to be adapted to the vector v:
  • r (pi) which is also referred to as residuum
  • various minimization algorithms can be used, such as the Levenberg-Marquardt method.
  • Levenberg-Marquardt method With convergent optimization for a candidate point Pi, one obtains an improved subpixel accurate position ( ⁇ X / ⁇ y ) of the center of the fiber as the center of the Gaussian distribution, where r (pi) can be interpreted as a re-refined significance value for the candidate point (pi).
  • the Delaunay triangulation is preferably used, which immediately supplies the natural neighbor adjacent to the candidate point.
  • a triangulation D (P) of P is performed such that there is not a single point in P within the perimeter of a single triangle of triangulation.
  • a Delaunay triangulation maximizes the minimum angle of triangulation triangulation within each triangle.
  • the Voronoi diagram V (P) which describes the triangulation dual-graph.
  • Fig. 7a shows a number of points as an example, and the Delaunay triangulation adapted to the point distribution, which is represented by bold lines delimiting the triangles of the triangulation.
  • all the points in FIG. 7 a are arranged within areas, wherein the so-called Voronoi cells surrounding the individual points are created on the basis of the triangulation by forming boundary lines delimiting the Voronoi cells in that every single connecting line between two points, which has been created by the triangulation, a mid-plane is constructed, as can be seen in Fig. 7a.
  • Delaunay triangulation is relevant in that it directly provides the natural neighbors of each point.
  • the natural neighbors of a point are defined by the fact that each natural neighbor qi of a point pi is connected to the point pi by a connecting line of a triangle of triangulation.
  • FIG. 7b shows the Voronoi structure of the situation of FIG. 7a, showing an additionally inserted point p in the center of the point distribution whose natural neighbors are the points qi... Q 5 .
  • a candidate point or a coordinate pair ( ⁇ x , ⁇ y ) is accepted in the present embodiment of the present invention as the center of a light guide if it has the highest significance value r (pi) among the available candidates for the relevant light guide and additionally a distance condition is met.
  • the distance condition is based essentially on the fact that the diameter of the individual optical fibers d f i be r substantially for all light guide of an endoscope or a fiber bundle is constant. Since, for physical reasons, the light guides can not spatially overlap, a minimum distance d m i n between two found centers of
  • the order in which the individual points are inserted into the triangulation is determined by the significance value, with candidates of high significance (low calculated distance square), ie a high probability of being the actual center of the light guide, inserted first. If such a point of high significance is inserted and if this is the distance criterion, then this point is regarded as the center of the respective light guide. It is ensured by the distance criterion that only a single point per light guide (ie a single center) is inserted into the Delaunay triangulation. Mathematically, the distance criterion can be described as follows:
  • D q ⁇ be the distance of the candidate point to be inserted in the triangulation to its natural neighbor qi.
  • the candidate point is inserted into triangulation if and only if all i are:
  • a tuple of four values is available as an imaging parameter for each individual fiber. These are the coordinates of the center of the light guide ⁇ x and ⁇ y and the widths of the two-dimensional asymmetric Gaussian distribution ⁇ x and ⁇ y .
  • Fig. 6c shows as a result of the calibration the fiber centers found for the acquisition of Fig. 6a.
  • these two parameters describe geometric properties of the system of sensor and optical fiber, namely the exact imaging location as well as the geometric extension of the intensity distribution caused by a single fiber, these parameters do not change over time.
  • the transmitted intensity or the transmitted amplitude value of each individual light guide during the image acquisition and analysis can be determined exactly.
  • the intensity information transmitted by a single optical fiber and corresponding to the amplitude a of the two-dimensional Gaussian distribution describing the intensity distribution of a single optical fiber on the sensor must be determined. If you have individual, precisely determined intensity or amplitude values for each individual optical fiber, artifact-free images can be generated by interpolating the intensity information at the centers of the optical fibers into a higher-resolution grating, so that continuous image display in the higher-resolution grating can be achieved, as further will be explained in more detail below. For this purpose, the exact determination of the amplitude value a from equation 1 is first required.
  • the characteristic properties of each light guide, the parameter vector v were obtained. Both the center of the light guide ( ⁇ x / ⁇ y ) and the standard deviations ⁇ x and ⁇ y are constant over time, regardless of which image content is recorded with the fiberscope. However, the amplitude value a changes with changing picture content and has to be redetermined for every shot. This can preferably be done, for example, by solving a simple minimal equidistant quadratic problem (see equation 3):
  • a good initial value for the parameter a to be determined or freely set is, for example, the intensity I ( ⁇ x , ⁇ y ) which can be obtained by bilinear interpolation at the subpixel-accurate location of the center of the optical waveguide ( ⁇ x / ⁇ y ).
  • the minimization of equation 3 can be carried out in any suitable manner, for example by using the Newton-Rhapson method.
  • the method according to the invention for determining the amplitude value has the great advantage that the real image information, which is present in the form of the imaging parameters, is used to determine the amplitude value.
  • Ellipsoidal intensity distributions on the surface of the Sensors can thus be sufficiently considered, as they occur, for example, when the optical fiber has an angle relative to the surface of the sensor is not equal to 90 °.
  • a continuous, two-dimensional image can be interpolated from the discrete pixels and the amplitude values of the optical fibers associated therewith.
  • Voronoi cells are used to determine the interpolated intensities , as described below.
  • the concept of natural neighbors is used to determine neighboring points of points of a non-uniformly distributed set of points.
  • the natural neighbors of a point P s ⁇ n ⁇ are defined as the neighbors of the point P of the Delaunay triangulation of the set of points P u ⁇ * ⁇ . This is equivalent to the natural neighbors being those points of P whose Voronoi cells are truncated when an additional point P is inserted into the Voronoi diagram, as illustrated, for example, with reference to Figure 7c.
  • V (qi) is the Voronoi cell of the natural neighbor qi of p, and if p is also an additional point inserted in the triangulation having the Voronoi cell V (p), as shown in Fig. 7C, so you can do the following considerations.
  • the natural region N ⁇ jp, q t ⁇ is defined as that part of V (q) which is removed from the Voronoi cell V (qi) of qi upon insertion of the point P by the Voronoi cell V (p).
  • N ⁇ p, q t is thus V (p) n H (qi).
  • a (qi) denotes the area of N ⁇ p, q t ).
  • the natural coordinate ⁇ q ⁇ (p) of qi is then defined as the area ratio:
  • the area around the point P shown hatched in FIG. 7C is, for example, the natural area N (p, q 3 ).
  • the natural coordinates have the following important properties.
  • the third criterion just described which relates to the property of the local coordinates, can now be used to interpolate the intensity of an additionally inserted picture element (pixel) p from the intensities determined at the centers of the light guides qi. It should be noted that when adding a point p in the triangulation, the natural neighbors qi of the triangulation, whose positions were determined during triangulation, are used to determine the intensity or amplitude value I (p).
  • I (p) is the convex sum of the intensities I (qi):
  • the resulting image is a simply differentiable continuous function of the intensities I (q) based on the nodes of the centers of the optical fibers q.
  • both the natural neighbors and the natural coordinates of a pixel p remain constant in time, so long as the size, i. the resolution of a reconstructed interpolated image is not changed, both the natural neighbors and the natural coordinates per configuration can be calculated only once and stored in the form of a lookup table. Once this complex calculation has been carried out, individual images can be reconstructed without problems in real time.
  • FIG. 8 shows an example of how, using this concept according to the invention, it can be successfully distinguished from an artifact-based
  • the image clearly showing the honeycomb structure of a fiberscopic untreated image (Fig. 8a) has an artifact-free, continuous two-dimensional image (Fig. 8b) which is excellent, for example, for subsequent motion compensation based on perform the reconstructed artifact-free image.
  • FIG. 9 shows a flowchart in which the essential steps for generating an image according to the invention are shown.
  • imaging parameters of a light guide are initially provided which describe geometric properties of an intensity profile generated by the light guide on the sensor.
  • an intensity image is taken of the sensor.
  • an amplitude value for all the optical fibers ai is determined by adjusting a function of the amplitude value and the imaging parameters to the intensity recording.
  • the amplitude values are used as image information of the individual optical fibers to generate the image.
  • FIG. 10 shows a flow chart for a method according to the invention for generating imaging parameters of a light guide.
  • an intensity distribution generated by the light guide on the sensor is recorded.
  • mapping parameters are adjusted by adjusting a function of Imaging parameters and an amplitude value to the intensity distribution in a preliminary imaging environment, the extent of which depends on the nature of the light guide determined.
  • step 514 it is checked whether location information in the imaging parameters can be deduced to indicate an optical waveguide position which has a predetermined minimum distance to an optical waveguide position of the other optical waveguides.
  • the method is based on an iteration path and determines imaging parameters for a next candidate point of the light guide to be found.
  • the procedure is based on a memory path 518 and the mapping parameters for the candidate point are stored in a memory step 520.
  • the present invention describes a concept of how artefacts or unwanted structures within the fiberscopic recordings can be removed by means of an editing algorithm for fiberscopic recordings, which uses the actual physical properties of the fiberscopic imaging, without changing the actual image information.
  • the removal of the fiberscopic honeycomb structure in real time is made possible, in particular, by the method according to the invention.
  • any other photosensitive sensor arrays are also suitable for implementing the method according to the invention, such as arrays of photodiodes and other photosensitive elements such as photocathodes and photomultiplier tubes.
  • the most homogeneous possible illumination of the fiber bundle is advantageous for determining the fiber center positions, ie the imaging locations of the light guides on the sensor, a determination of the fiber centers can also be carried out by means of an inhomogeneous illumination.
  • a different light sensitivity of individual pixels of the sensor can also be taken into account, which, for example, can additionally be stored in the imaging parameters if they were obtained with homogeneous illumination of the fiber bundle.
  • the method according to the invention generating a high-resolution image can be implemented in hardware or in software.
  • the implementation can be carried out on a digital storage medium, in particular a floppy disk or CD with electronically readable control signals, which can interact with a programmable computer system in such a way that the method according to the invention for producing a high-resolution image is executed.
  • the invention thus also consists in a computer program product with a program code stored on a machine-readable carrier for carrying out the method according to the invention, when the computer program product runs on a computer.
  • the invention can thus be realized as a computer program with a program code for carrying out the method when the computer program runs on a computer.

Abstract

Ein von störenden Strukturen befreites Bild kann mittels eines Faserbündels (102) aus mehreren Lichtleitern (106) und eines Sensors (102) erzeugt werden, wenn für das System aus Faserbündel (102) und Sensor (104) Abbildungsparameter zur Verfügung gestellt werden, welche die geometrischen Eigenschaften des von jedem einzelnen Lichtleiter (106) auf dem Sensor (104) erzeugten Intensitätsverlaufs beschreiben. Bei der Bildrekonstruktion kann für jeden einzelnen Lichtleiter (106) ein Amplitudenwert bzw. eine Helligkeitsinformation dadurch erzeugt wird, dass eine Funktion des Amplitudenwerts und der Abbildungsparameter des betreffenden Lichtleiters (106) an eine Intensitätsaufnahme (300) des Sensors (104) angepasst wird, so dass ein optimaler Amplituden- bzw. Helligkeitswert unter Berücksichtigung der geometrischen Abbildungseigenschaften für jeden einzelnen Lichtleiter (106) erzeugt werden kann.

Description

Verfahren und Vorrichtung zum Erzeugen einer strukturfreien fibβrakopisehen Aufnahme
Beschreibung
Die vorliegende Erfindung befasst sich mit einer Vorrichtung und einem Verfahren, welche die Möglichkeit schaffen, mittels faseroptischer Systeme störungsfreie Bilder zu erzeugen und insbesondere damit, wie die Aufnahme eines bildgebenden Systems, bei dem ein Bild mittels eines Bündels von mehreren geordneten Lichtleitern auf einen Sensor abgebildet wird, geeignet bearbeitet werden kann, um ein Bild ohne störende Strukturen zu erhalten.
Optische Systeme, bei denen ein Bild über eine Optik auf einen bildgebenden Sensor transferiert wird, sind vielfach im Einsatz. Ohne den bildgebenden Einsatz von Endoskopen wären heute viele Anwendungen unter anderem im Bereich der Diagnostik, Inspektion, Qualitätssicherung und Forschung undenkbar. Dabei werden zum einem linsenoptische Systeme verwendet, also Systeme mit einem starren Aufbau innerhalb dessen das Bild durch eine Linsenanordnung ähnlich einem Objektiv einer Kamera auf den Sensor übertragen wird. Zum anderen kommen faseroptische Systeme zum Einsatz, die aus einer großen Anzahl geordneter lichtleitender in einem Bündel zusainmengefasster Fasern bestehen, wobei das Licht durch die Vielzahl von Fasern auf einen Sensor geleitet wird.
Die derzeitige Präferenz für linsenoptische Systeme liegt unter anderem in deren Bildqualität begründet. Wo ein im wortwörtlichen Sinne weitaus „ flexiblerer" Einsatz gefor- dert ist (kleiner, schwieriger Zugang) muss auf hochwertige halbstarre oder biegsame Endoskope (Fiberskope) mit geringen Arbeitsdurchmessern und Glasfaser-Bildleitern zurückgegriffen werden. Beim Einsatz eines solchen faseroptischen Systems aus mehreren Bildleitern wird typischerweise je einzelnem verwendeten Bildleiter ein endlicher Bereich des zu beobachtenden Objekts übertragen. Da bei vertretbaren Durchmessern des gesamten Faserbündels keine beliebig große Anzahl von einzelnen Fasern möglich ist und einzelne Fasern nicht mit beliebig kleinen Durchmessern hergestellt werden können, behindert bislang vor allem die schlechte Auflösung der übertragenen Bilddaten und die architekturbedingte Wabenstruktur eines solchen Systems einen adäquaten Einsatz dieser Geräte.
Der Bildleiter hochwertiger Fiberskope besteht aus einem regelmäßig geordneten Bündel von etwa 5000 bis 8000 Einzelfasern. Verglichen mit der Auflösung einer herkömmlichen Bewegtbildkamera (z.B. VGA: 640 x 480 > 300000 Bildpunkte bzw. Pixel) liegt dieser Wert damit weit unterhalb des Grenzwertes für sinnvolle Anwendungen. Typischerweise wird das mittels der Einzelfasern transportierte Bildsignal mit einer solchen herkömmlichen Bewegtbildkamera beobachtet. Die einzelnen Lichtleiter weisen meist eine Ummantelung auf, so dass sich aus der Ummantelung störende Strukturen in dem beobachteten Bild ergeben, die beispielsweise durch Tiefpassfilter geglättet oder adaptiv durch spektrale Maskierung reduziert werden können. Um die durch die wabenför- mige Struktur eingeführten und zur Beurteilung eines Bildes höchst störenden Strukturen zu entfernen, existieren bereits Lösungen, die ein wabenfreies Bild auf der Grundlage der Helligkeitsinformation der Fasern interpolieren. Ebenso wird die Glättung der wabenförmigen Ummantelungsstrukturen beispielsweise durch deren Maskierung im Fourierraum erreicht. Maskierungen haben dabei den Nachteil, dass sie zwar den optischen Eindruck, des aufgenommenen Bildes verbessern, nicht jedoch die Genauigkeit, mit der der Ab- bildungsort bestimmt werden kann, erhöhen.
Ein Problem, das es generell zu lösen gilt, wird in der deutschen Patentschrift DE 4318140 Al behandelt. Dort wird beschrieben, wie die Positionen der Lichtpunkte die durch die einzelnen Glasfasern auf einen höher auflösenden Sensor abgebildet werden bestimmt werden können. Die Patentschrift zeigt, wie auf der Basis der bestimmten Faserkoordinaten eine Zuordnung der Lage der Fasern auf der Eingangsseite des Lichtfaserbündels zu der Position der von den Fasern auf dem Sensor hervorgerufenen Lichtpunkte möglich ist. Durch dieses Verfahren wird zwar eine Fehlabbildung, wie sie durch nicht parallele Fasern im Faserbündel hervorgerufen wird, verhindert, jedoch kann so keine Auflösungsstei- gerung erzielt werden.
Dem Stand der Technik entsprechenden Verfahren zur Bildbearbeitung eines mittels eines faseroptischen Systems aufgenommenen Bildes haben dabei den Nachteil, dass zwar die Darstellungsqualität bzw. die subjektive Wahrnehmungsqualität der Aufnahmen verbessert wird, diese jedoch zunächst keine tatsächliche Auflösungssteigerung bewirken, da zur Verbesserung der Auflösung das Einbringen zusätzlicher (BiId-) Information notwendig ist.
Ist die Geometrie der beobachteten Szene bzw. das Auftreten bestimmter geometrischer Formen innerhalb der Szene bereits im Vorhinein bekannt, kann dieses Vorwissen je Einzelaufnahme eingebracht werden, um die Auflösung tatsächlich zu erhöhen (z.B. durch Anwendung von kantenerhaltender Filter) . Ist beispielsweise bekannt, dass innerhalb der Aufnahme ein gerade verlaufender Intensitätssprung verläuft, kann durch geeignetes Anwenden eines Filters der Verlauf der Kante in der Aufnahme mit höherer Präzision als der Auflösung eines einzelnen Bildpunktes bestimmt werden. Bei fiberoptischen Systemen, die zur Diagnose eingesetzt werden, ist jedoch das Objekt bzw. die Form des zu beobachtenden Objektes a priori meist nicht bekannt, so dass derartige Verfahren nicht generell möglich sind.
Prinzipiell kann die Informationsdifferenz bzw. die Informationsredundanz mehrerer aufeinanderfolgender Aufnahmen aus variierenden Betrachtungspositionen oder -richtungen kombiniert werden, um ein Bild zu rekonstruieren, das eine höhere Auflösung besitzt als eine Einzelaufnahme. Für herkömmliche Videosequenzen, also aufeinanderfolgende Einzelbilder, die aus einem rechtwinkligem Gitter aus Bildpunkten bestehen, werden solche Verfahren unter dem Sammelbegriff „Superresolution" angewendet. Darüber hinaus gibt es erste Ansätze zur Erweiterung des Verfahrens zur Auflösungssteigerung für Bildpunkte, die in beliebigen Gitterstrukturen, also in nicht-rechwinkligen Koordinaten, vorliegen.
Mittels Bewegungserkennung ist somit prinzipiell auf für Fiberskope eine effektive Steigerung der Bildauflösung möglich. Für effektive Implementierung von Bewegungserken- nungsalgorithmen (Motion Compensation) ist es jedoch erfor- derlich, als Grundlage für die Bewegungserkennung Bilder bereitzustellen, die frei von Artefakten, also von zusätzlichen den interessierenden Bildinhalt überdeckenden Strukturen sind.
Wie bereits oben erwähnt, existieren einige Ansätze, um ein mittels eines fiberskopischen Systems aufgenommenes Bild artefaktfrei zu machen, bzw. die in Systemen immer vorhandenen wabenförmigen Strukturen zu glätten bzw. zu interpolieren. Dabei wird unter anderem in der unveröffentlichten deutschen Patentanmeldung mit dem Aktenzeichen 10200604006.6 gezeigt, wie für eine Mehrzahl von mittels einer einzigen optischen Faser belichteten Pixel eines Pi- xelarrays je ein einziger Intensitätswert bestimmt werden kann, der als die durch den Bildleiter übermittelte Bildin- formation herangezogen wird. Darauf aufbauende Bildanalyse und Verarbeitungsalgorithmen basieren darauf, dass je einzelnem Lichtleiter lediglich ein einziger Bildpunkt verwendet wird, so dass in zusätzlichen Schritten ein wabenfreies Bild durch Interpolation zwischen den einzelnen Bildpunkten der Lichtleiter erzeugt werden kann. Dieses interpolierte Bild dient als Grundlage für eine darauf folgende Bewegungskompensation. Als Bildinformation wird dabei diejenige Intensität verwendet, die sich durch Summation der Pixel, die sich in einem festgelegten Radius um ein zentrales Pixel befinden, ergibt. Das dort beschriebene Verfahren und andere dem Stand der Technik entsprechenden Verfahren haben dabei den großen Nachteil, dass die Lokalisation der Faserzentren auf dem Sensor nur mit Pixelgenauigkeit, also mit der Genauigkeit, die durch die Größe eines einzelnen lichtempfindlichen Pixels vorgegeben ist, erfolgen kann. Dies verschlechtert die Anwendbarkeit solchermaßen erzeugter Bilder für eine darauf folgende Bewegungskompensation, die gerade darauf basiert, zusätzliche Bildinformation durch Bewegungserkennung zu erzeugen, wobei die Bewegungserkennung mit einer Genauigkeit vorgenommen werden kann, die unterhalb der Pixelgröße liegt. Eine Lokalisation der der Bewegungskompensation zugrunde liegenden Faserzentren mit Pixelgenauigkeit führt daher unweigerlich zu einer Auflösung, die weit unterhalb dem möglichen theoretischen Wert bleibt.
Darüber hinaus ist die Summation der Lichtintensitäten in einem kreisförmigen Gebiet um ein zentrales Pixel nur bedingt geeignet, die gesamte von einer Lichtleitfaser übertragene Intensität zu beschreiben. Beispielsweise führt eine Abweichung von einer kreisförmigen Geometrie des Licht- punktes, wie sie auftreten kann, wenn eine einzelne Faser bzw. das Faserbündel einen Winkel relativ zum Sensor aufweist, dazu, dass die Gesamtintensität nicht korrekt ermittelt wird.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine Vorrichtung und ein Verfahren zu schaffen, mittels dessen die Erzeugung von störungsfreien Bildern für fiberskopische Systeme mit höherer Ortsauflösung und präziser ermittelten Intensitätswerten möglich ist.
Diese Aufgabe wird durch ein Verfahren gemäß Patentanspruch 1 und 8 und durch eine Vorrichtung gemäß Patentanspruch 16 und 17 gelöst. Der vorliegenden Erfindung liegt dabei die Erkenntnis zugrunde, dass ein von störenden Strukturen befreites Bild mittels eines Faserbündels aus einer Mehrzahl von Lichtlei- tern und eines Sensors erzeugt werden kann, wenn für das System aus Faserbündel und Sensor Abbildungsparameter zur Verfügung gestellt werden, die die geometrischen Eigenschaften des von jedem einzelnen Lichtleiter auf dem Sensor erzeugten Intensitätsverlaufs beschreiben. Bei der Bildre- konstruktion wird für jeden einzelnen Lichtleiter ein Amplitudenwert bzw. eine Helligkeitsinformation dadurch erzeugt, dass eine Funktion des Amplitudenwerts und der Abbildungsparameter des betreffenden Lichtleiters an eine Intensitätsaufnahme des Sensors angepasst wird, so dass ein optimaler Amplituden- bzw. Helligkeitswert unter Berücksichtigung der geometrischen Abbildungseigenschaften für jede einzelne Faser erzeugt werden kann. Die Abbildungsparameter beschreiben dabei die geometrische Gestalt der Intensitätsverteilung, wie sie von jedem einzelnen Lichtlei- ter auf dem Sensor hervorgerufen wird. Die Abbildungsparameter können dabei beispielsweise durch eine einmalig durchzuführende Eichung bestimmt werden, bei der das Faserbündel bevorzugt homogen beleuchtet wird und bei der eine Parametrisierung an die individuellen Intensitätsverläufe der einzelnen Lichtleiter angepasst wird. Dies hat den großen Vorteil, dass durch Anpassen einer Parametrisierung die Koordinaten des Faserzentrums bzw. des Zentrums der Abbildung einer Faser auf dem Sensor mit einer Genauigkeit bestimmt werden kann, die im Wesentlichen von der Statistik (also von der Beleuchtungsintensität und der Belichtungszeit) abhängt und die die Genauigkeit bzw. die Ortsauflösung der einzelnen Pixel eines Sensors bei weitem übersteigen kann.
Darüber hinaus kann beim Eichen weitere Information über die Gestalt der Intensitätsverteilung gewonnen werden. Beispielsweise kann die räumliche Ausdehnung der Intensitätsverteilung in Abhängigkeit vom Abstand zum Zentrum dersel- ben durch geeignete Parameter beschrieben werden. Dies kann beispielsweise durch Standardabweichungen einer an die Intensitätsverteilungen angepassten Gaußfunktion, die symmetrisch bevorzugt jedoch unsymmetrisch sein kann, d.h. unter- schiedliche Ausdehnung in X- und in Y-Richtung auf dem Sensor hat. Durch die zusätzliche Bestimmung von Parametern, die die Ausdehnung der Intensitätsverteilung auf dem Sensor beschreiben, kann weiteren physikalischen Effekten Rechnung getragen werden, wie beispielsweise einer Verkippung des Lichtleiters bzw. der Lichtfaser relativ zum Sensor, was eine elliptische Form der Lichtintensität auf dem Sensor zur Folge hat. Erfindungsgemäß kann somit auch in einem solchen Fall die Intensität der mittels eines einzigen Lichtleiters übertragenden Strahlung genau erfasst werden, was mit dem Stand der Technik entsprechenden Verfahren, die lediglich die Intensität einer Anzahl von Pixeln in festem Radius um ein zentrales Pixel aufsummieren nicht möglich ist. Bei einem Ausführungsbeispiel der vorliegenden Erfindung wird daher zunächst eine Eichung durchgeführt, bei der als Abbildungsparameter die charakteristischen Parameter einer zwei-dimensionalen Gaußverteilung, also das Zentrum (X- und Y-Koordinate) und die Breite der Verteilung in zwei Dimensionen (σx und σy) bestimmt werden.
Diese Informationen werden bei der Verarbeitung von mittels des fiberskopischen Systems aufgenommenen Bildern dazu verwendet, um für jeden einzelnen Sensor einen optimierten Amplitudenwert zu erzeugen. Dabei wird Lichtleiter- individuell für die Intensitätsverteilungen, deren Zentrum und Position durch die Eichung bereits bekannt ist, die zur Eichung verwendete Parametrisierung bzw. Abbildungsfunktion verwendet, um diese in optimaler Art und Weise an die tatsächlich gemessenen anzupassen. Der bei der Anpassung frei zu bestimmende Amplitudenparameter ist somit ein Maß für die gesamte von der Faser übertragenen Lichtintensität und wird im weiteren Verlauf der Bildbearbeitung als Helligkeitsinformation der betroffenen Faser verwendet. Durch das Anpassen bzw. Fitten einer vorher bestimmten Eichfunktion für jede einzelne Faser während der Bildrekonstruktion ist es also gewährleistet., dass die tatsächlichen Abbildungseigenschaften einer jeden Faser dazu verwendet werden, einen Helligkeitswert je Faser zu bestimmen. Somit können keine Helligkeitsverfälschungen durch Aufsummieren falscher, in Wahrheit nicht zur Abbildung der Faser gehörender Pixel, auftreten. Darüber hinaus ist durch die Eichung sichergestellt, dass die Position der Faserzentren mit einer Genauigkeit, die die Größe der einzelnen Pixel bei weitem übersteigt, bekannt ist. Die einzelnen Aufnahmen bieten somit eine hervorragende Ortsauflösung sowie Amplituden- bzw. Helligkeitswerte, die mit größtmöglicher Präzision bestimmt sind.
So erzeugte Bilder eignen sich daher ideal für eine nachfolgende Bewegungskompensation.
Bei einem Ausführungsbeispiel der vorliegenden Erfindung wird das Bild mittels eines faseroptischen Systems bestehend aus vielen einzelnen Lichtleiterfasern auf einen bildgebenden Sensor derart abgebildet, dass der von einer einzelnen Faser auf der Oberfläche des Sensors verursachte Intensitätsverlauf eine räumliche Ausdehnung hat, die größer ist als ein einzelnes lichtempfindliches Element bzw. Pixel des Sensors. Dies hat den Vorteil, dass die Abbildungsparameter, die den Abbildungsort des Lichtleiters auf dem Sensor angeben, deutlich genauer als die geometrische Ausdehnung eines Pixels bestimmt werden kann, da diese durch Schwerpunktbildung bzw. Anpassen einer geeigneten Funktion an den Intensitätsverlauf, der mittels mehrerer Pixel gemessen wird, bestimmt wird.
Den selben statistischen Effekt macht man sich bei der Be- wegungskompensation zu Nutze, da bei der Detektion der Bewegung jeweils mehrere zusammengehörige Bildpunkte verwendet werden, so dass eine Abschätzung eines Bewegungsvektors von Bild zu Bild mit einer Genauigkeit erfolgen kann, die die intrinsische Auflösung, d.h. die Abstände benachbarter Bildpunkte, übersteigt.
Wird nun eine Aufnahme mittels des Sensors durchgeführt, kann aus einem Intensitätsbild des Sensors ein Niedrigauf- lösungsbild errechnet werden, welches die von jedem einzelnen Lichtleiter übermittelte Bildinformation in Form eines Intensitätswertes speichert. Bei Farbaufnahmen sind selbstverständlich auch die Speicherung von drei oder mehr Inten- sitätswerten je Lichtleiter möglich, um die Farbinformation zu erhalten. Ein einzelnes Niedrigauflösungsbild enthält somit eine Anzahl von Bildpunkten, die einzelnen Lichtleitern zugeordnet sind und die nicht in einem rechtwinkligen Gitter angeordnet sein müssen. Aufgrund der Erzeugung nur eines einzelnen Bildpunktes je Lichtleiter wird die waben- förmige Struktur der Lichtleiteranordnung, wie sie auf den einzelnen Sensoraufnahmen mit höherer Auflösung sichtbar ist, erfolgreich unterdrückt.
Dadurch wird insbesondere die Bewegungserkennung in aufeinanderfolgenden Aufnahmen ermöglicht, so dass erfindungsgemäß eine freibestimmbare Anzahl von aufeinanderfolgenden Aufnahmen dazu verwendet werden kann, eine Bewegung an Stellen des Bildes bzw. eine Translationsbewegung des ge- samten Bildes zu detektieren und dazugehörige Bewegungsvektoren abzuleiten. Wie bereits oben gesagt, kann dabei die Bewegungsschätzung mit einer Genauigkeit durchgeführt werden, welche die ursprüngliche Bildauflösung übersteigt.
Dabei kann die Bewegungsschätzung zum einen entweder auf Basis des unregelmäßigen Gitters der einzelnen Lichtpunkte je Bildleiter durchgeführt werden. Alternativ dazu kann, da die Wabenstruktur aus dem Bild bereits eliminiert wurde, auf Basis des unregelmäßigen Gitters durch Interpolation ein regelmäßiges, rechteckiges Gitter von Bildpunkten, beispielsweise aber nicht notwendigerweise in der Auflösung des verwendeten Sensors, erzeugt werden. Eine Möglichkeit der Interpolation ist dabei beispielsweise, die Intensi- tätswerte für jedes Pixel des regelmäßigen Gitters durch barizentrische Gewichtung der drei dem abgetasteten Pixel nächstliegenden Intensitätswerte zu gewinnen. Die Barizentrische Gewichtung basiert darauf, dass die Intensitätswerte der drei nächstliegenden Punkte, also derjenigen Punkte die ein Dreieck bilden, innerhalb dessen sich das abgetastete Pixel befindet, mit der Entfernung zum betreffenden Punkt gewichtet und überlagert werden, um den Intensitätswert für das abgetastete Pixel zu bestimmen.
Ein weiteres Beispiel, wie auf Basis der punktförmigen Helligkeit- bzw. Amplitudenwerte ein kontinuierliches Bild interpoliert werden kann ist unter Verwendung der Delaunay- Triangulation bzw. unter Verwendung der dazu dualen Voro- noi-Zellen, wie es weiter unten noch näher erläutert werden wird.
Um einen tatsächlichen Auflösungsgewinn zu erzielen, werden die detektierten Bewegungen der Einzelbilder bezüglich ei- nes frei wählbaren Referenzbildes oder Referenzzeitpunktes rücktransformiert und überlagert. Dadurch ergibt sich eine Abbildung, die mehr Bildpunkte beinhaltet, als ein Einzelbild. Eine Auflösungssteigerung ergibt sich nunmehr dadurch, dass die Bewegungsvektoren mit einer Genauigkeit be- stimmt werden können, die höher als die intrinsische Auflösung bzw. der Abstand zweier benachbarter Bildpunkte ist. In dem überlagerten Bild existieren also für bewegte Objekte mehrere Bildpunkte aus unterschiedlichen aufeinander folgenden Aufnahmen, die um weniger als die intrinsische Auflösung einer einzelnen Aufnahme verschoben sein können, so dass sich bei einer Kombination der Aufnahmen eine erhöhte Auflösung des rekonstruierten Bildes ergibt. Somit kann entweder ein Standbild erzeugt werden oder aber auch eine Bildsequenz bzw. ein Film, in dem jeweils einige auf- einanderfolgende Einzelbilder dazu verwendet werden, ein Bild des Films oder der Bildsequenz zu erzeugen. Es wird somit eine Möglichkeit geschaffen, mittels eines flexiblen faseroptischen Systems sowohl Untersuchungen durchzuführen, bei denen die Verwendung von hoch aufgelösten Einzelbildern erforderlich ist, als auch Untersuchun- gen, die das Beobachten eines Vorgangs in Echtzeit erfordern. Insbesondere bei endoskopischen medizinischen Untersuchungen werden somit neue Diagnosemöglichkeiten erschlossen, die das Verwenden eines möglichst dünnen und flexiblen Bildleiters bei gleichzeitiger hoher Auflösung der Bilder erfordern.
Mit Verfahren der „Auflösungssteigerung" für bewegte Bildsequenzen (Superresolution) überwindet man also die Informationsgrenze, deren Kalkulation sich bislang auf Betrach- tung von Einzelbildern bezog. Dies ähnelt dem Verhalten des menschlichen Auges beim Arbeiten mit Fiberskopen. Eine derartige Auflösungssteigerung eröffnet sowohl für die personelle Anwendung von Endoskopen, z.B. im Bereich der Sichtprüfung als auch für die rechnergestützte Weiterverarbei- tung der Daten neue interessante Anwendungsgebiete für die flexible Endoskopie. Insbesondere in solchen Bereichen, die bislang wegen ihrer hohen Anforderung an die Auflösung den starren linsenoptischen Endoskopen vorbehalten war.
Die vorgestellte Anwendung der Auflösungssteigerung die auf hochqualitativen, störungsfreien Einzelaufnahmen basiert, lässt sich im Rahmen der Produktionsmöglichkeiten mit nahezu jeglicher Bauform (Auflösung, Sensorik zur Digitalisierung und ähnliches) von faseroptischen Übertragungssystemen realisieren und findet ihren Anwendungsbereich von der hochqualitativen Nachbearbeitung von Aufnahmen bis hin zur schnellen Echtzeitaufbereitung von Sequenzen.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend, bezugnehmend auf die beiliegenden Figuren, erläutert. Es zeigen: Fig. 1 eine fiberskopische Vorrichtung zum Erzeugen eines Hochauflösungsbildes;
Fig. 2 die Abbildung von Lichtfasern auf quadratische lichtempfindliche Pixel;
Fig. 3 ein Flussdiagramm für ein Verfahren zum Erzeugen von Hochauflösungsbildern;
Fig. 4 ein Beispiel für eine experimentell bestimmte Auflösungssteigerung;
Fig. 5 ein weiteres Beispiel für die erzielbare Auflösungssteigerung;
Fig. 6 ein Beispiel für erfindungsgemäßes Bestimmen von Abbildungsparametern;
Fig. 7 ein Beispiel eines erfindungsgemäßen Interpolati- onsverfahrens zum Erzeugen von strukturfreien Bildern;
Fig. 8 ein Beispiel für ein erfindungsgemäß erzeugtes, strukturfreies Bild;
Fig. 9 ein Flussdiagramm für ein erfindungsgemäßes Erzeugen eines Bildes mittels eines Faserbündels; und
Fig. 10 ein Flussdiagramm für ein erfindungsgemäßes Verfahren zum Erzeugen von Abbildungsparametern eines Licht- leiters.
Fig. 1 zeigt ein Beispiel für ein System mit einer Vorrichtung zum Erzeugen eines Hochauflösungsbilds bzw. eine Aus- Werteeinrichtung 100. Gezeigt ist darüber hinaus ein Faserbündel 102 und ein Sensor 104, der mit der erfindungsgemäßen Auswerteeinrichtung verbunden ist, so dass diese zum einen die Belichtungszeitpunkte des Sensors 104 steuern kann, sowie zum anderen die Bilddaten des Sensors 104 auslesen kann.
Ein Bild oder Objekt wird von dem Faserbündel 102, das aus einer Mehrzahl einzelner Lichtleiter 106 besteht, auf dem Sensor 104 abgebildet.
Die Abbildungssituation der einzelnen Lichtleiter auf dem Sensor ist anhand von Fig. 2 detailliert dargestellt, bei der vereinfachend annährend kreisförmige Intensitätsverteilungen (beispielsweise Intensitätsverteilung 110) gezeigt sind, wie sie sich der quadratischen Pixelmatrix 112 beispielsweise eines CCD-Sensors überlagern.
Die Funktionsweise eines Verfahrens zum Erzeugen eines Hochauflösungsbildes bzw. soll nun im Folgenden anhand der Figuren 1 und 2 erläutert werden.
Wie es in Fig. 2 am Beispiel der kreisförmigen Intensitäts- Verteilung 110 beispielhaft gezeigt ist, belichtet eine einzelne Lichtfaser eine Mehrzahl von Pixeln der Pixelmatrix 112, wobei einzelne Pixel vollständig von der Faser beleuchtet werden und die Pixel am Rand der kreisförmigen Intensitätsverteilung 110 nur teilweise beleuchtet werden, so dass sich selbst bei vollständig homogener Beleuchtung der Faser und bei idealisiertem Lichttransport durch die Faser an den Rändern des Faserbildes Pixel befinden, die nur teilweise beleuchtet werden, also eine Intensität detektie- ren, die geringer ist als diejenige des Pixels im Zentrum. Darüber hinaus kann am Rand des kreisförmigen Querschnitts einer Lichtleitungsfaser aufgrund der optischen Eigenschaften der Faser die Intensität zusätzlich abnehmen.
Gemäß des erfindungsgemäßen Verfahrens existiert zu der An- Ordnung aus dem Faserbündel 102 und dem Sensor 104 ein Satz von Abbildungsparametern, welche unter Anderem den Abbildungsort der Lichtleiter auf dem Sensor angeben. Der Abbildungsort ist dabei so zu verstehen, dass dieser das Zentrum des von einem einzelnen Lichtleiter bestrahlten Bereichs auf dem Sensor angibt. Als Beispiele für die Zentren, die in den Lageinformationen angegeben sind, sind in Fig. 2 die Punkte 114a, 114b und 114c gezeigt.
Die Punkte 114a bis 114c, die das Zentrum der Lichtverteilungen einzelner Lichtleiter bzw. Fasern auf dem Sensor 104 angeben, werden dabei bei einer Eichung bestimmt, wie es im Folgenden noch näher erläutert wird.
Zur eigentlichen Erzeugung des Hochauflösungsbildes mittels des Faserbündels 102 und des Sensors 104 wird zunächst von der Vorrichtung zum Erzeugen eines Hochauflösungsbildes 100 der Sensor 104 derart angesteuert, dass dieser eine Folge von aufeinanderfolgenden Intensitätsbildern aufnimmt.
Basierend auf den einzelnen Intensitätsbildern und den Abbildungsparametern wird von der Vorrichtung zum Erzeugen eines Hochauflösungsbildes 100 zunächst von jedem Intensi- tätsbild ein Niedrigauflösungsbild abgeleitet. Dabei wird zunächst für jede einzelne Faser ein Bildpunkt mit dazugehörigen Intensitätswerten bestimmt, so dass das resultierende Niedrigauflösungsbild zunächst eine Anzahl von Bildpunkten aufweist, die der Anzahl der Lichtleiter 106 des Faserbündels 102 entspricht. Alternativ kann natürlich auch eine geringere Anzahl von Bildpunkten erzeugt werden. Zur Bestimmung der den Abbildungsorten 114a bis 114c entsprechenden Intensitätswerten ist es erfindungsgemäß bevorzugt möglich, geeignete Parametrisierungen unter Berücksichti- gung der Abbildungsparameter an die Intensitätsverteilung anzupassen (zu fitten) um einen Helligkeits- bzw. Amplitudenwert zu erhalten.
Das so erzeugte Bild weist keine wabenförmige Struktur mehr auf, wie in Fig. 2 zu erkennen ist, da die Ummantelungen der einzelnen Lichtfasern bzw. der zwischen den einzelnen Lichtleitern verbleibende Platz nicht beleuchtet wird. Ein erfindungsgemäß erzeugtes Bild besteht also aus zu den Fa- serzentren korrespondierenden einzelnen Bildpunkten, die keinerlei derartige Wabenstruktur aufweisen und die nicht notwendiger Weise in einem gleichmäßigen rechtwinkligen Gitter angeordnet sind. Darüber hinaus ist der Abstand be- nachbarter Bildpunkte größer als der Abstand benachbarter lichtempfindlicher Pixel des Sensors 104.
Das Bild, welches zu einzelnen Faserzentren korrespondierende Bildpunkte aufweist kann nun entweder als Niedrigauf- lösungsbild direkt weiterverwendet werden oder es kann, da die Wabenstruktur innerhalb des Bildes bereits entfernt ist, auf der Basis dieses Bildes ein Niedrigauflösungsbild durch Interpolation gewonnen werden, welches den Vorteil einer gleichmäßigen Anordnung von Bildpunkten besitzt. Dazu können die Bildpunkte 114a bis 114c beispielsweise mit einem Gitter 112, wie es in Fig. 2 zu sehen ist, abgetastet werden, wobei für jedes Pixel des Gitters 112 die Intensitätswerte beispielsweise durch Interpolation der drei nächst benachbarten Abbildungsorte bzw. deren zugeordneter Intensitätswerte gewonnen werden. Im Beispiel von Fig. 2 bilden die drei Abbildungsorte 114a bis 114c ein Dreieck, so dass für die quadratischen Pixel innerhalb dieses Dreiecks die Intensitätswerte aus einer gewichteten Superposi- tion der drei Intensitätswerte der Abbildungsorte 114a bis 114c gewonnen werden können. Beispielsweise kann diese Gewichtung barizentrisch erfolgen, d.h. die Intensitätswerte an den Abbildungsorten werden mit dem Abstand der jeweiligen Abbildungsorte zum zu interpolierenden Pixel gewichtet und superponiert . Erfindungsgemäß kann beispielsweise eine geeignete Parametrisierung an die Intensitätsverteilung an- gefittet werden, um einen Helligkeit- bzw. Amplitudenwert zu erhalten.
Alternativ kann ein Niedrigauflösungsbild erzeugt werden, welches den Vorteil der regelmäßig angeordneten Pixel aufweist, und das somit eine mathematisch einfachere Nachbearbeitung des Bildes ermöglicht. Dabei ist die Pixelgröße, mit der das Bild der Abbildungsorte abgetastet wird, nicht vorgegeben sondern frei wählbar und an die jeweiligen Bedürfnisse bzw. Rahmenbedingungen anpassbar.
Um nun zu einer tatsächlichen Auflösungssteigerung zu ge- langen, wird von der Vorrichtung zum Erzeugen eines Hochauflösungsbilds 100 eine Bewegungsschätzung zwischen den einzelnen Aufnahmen der Folge von Niedrigauflösungsbildern durchgeführt, wobei unerheblich ist, ob die Niedrigauflö- sungsbilder rechtwinklig abgetastete Pixeldarstellungen be- sitzen oder im Gitter der Abbildungsorte vorliegen. Bei der von der Vorrichtung zum Erzeugen eines Hochauflösungsbildes 100 durchgeführten Bewegungsverfolgung werden die einzelnen aufeinander folgenden Niedrigauflösungsbilder dahingehend verglichen, ob entweder das gesamte Bild bzw. Teilbereiche des Bildes an anderen geometrischen Orten aufeinanderfolgender Bilder nachgewiesen werden können, ob sich also Teile des Bildes bzw. das ganze Bild relativ zur vorhergehenden Aufnahme auf dem Sensor 104 bewegt haben. Dabei ist zu beachten, dass die Abbildungsorte 114a bis 114c sich selbstverständlich nicht auf dem Sensor 104 bewegen, da das Faserbündel 102 bezüglich des Sensors 104 starr angeordnet ist. Eine Bewegung wird somit also aufgrund von sich an den Abbildungsorten 114a bis 114c ändernden Lichtintensitäten detektiert. Sind beispielsweise in zwei aufeinanderfolgen- den Aufnahmen einander korrespondierende Bildbereiche identifiziert, die sich gegeneinander verschoben haben, kann ein Bewegungsvektor definiert werden, der die Bewegung des Bildbereiches von einem Bild zu dem darauf folgenden Bild angibt. Die Relativbewegung einander korrespondierender Bildbereiche kann dabei mit einer Genauigkeit bestimmt werden, die diejenige der ursprünglichen Bildauflösung, also des Abstands benachbarter Abbildungsorte, übersteigt.
Um nun die Auflösung tatsächlich zu steigern, wird von der Vorrichtung zum Erzeugen eines Hochauflösungsbildes 100 eine Rücktransformation der bewegten Objekte zu einem Referenzzeitpunkt beispielsweise auf ein vorhergehendes Bild durchgeführt und die Intensitäts- bzw. Amplitudenwerte der einzelnen, rücktransformierten Niedrigauflösungsaufnahmen werden überlagert. Dadurch werden Bildbereiche, die sich im Laufe der Folge von Niedrigauflösungsbildern verändert bzw. bewegt haben, neue Bildpunkte hinzugefügt, die aufgrund der höheren Genauigkeit der Bewegungsvektoren nicht im ursprünglichen Bildraster liegen müssen. Diese Situation ist anhand der gestrichelt dargestellten Bildpunkte 116a bis 116c in Fig. 2 verdeutlicht. Die durch Rücktransformation und anschließende Superposition neu hinzugefügten Bildpunk- te 116a bis 116c haben den Effekt, als würde im ursprünglichen Bild das zu beobachtende Objekt mit einer höheren Auflösung beobachtet, als sie der Sensor bzw. die Anordnung aus Sensor und Lichtleitern intrinsisch ermöglicht.
Durch die Vorrichtung zum Erzeugen eines Hochauflösungsbildes 100 wird es also ermöglicht, mittels der Verarbeitung einer Folge von aufgenommenen Intensitätsbildern unter Berücksichtigung von Abbildungsparametern ein Hochauflösungsbild zu erzeugen, welches eine höhere Auflösung hat als ein einzelnes Intensitätsbild.
Die Vorrichtung kann dabei so angewendet werden, dass entweder ein einzelnes stehendes Bild erzeugt wird, oder dass eine fortlaufende Folge von Bildern, also eine Bildsequenz oder ein Film mit gesteigerter Auflösung erzeugt wird. Dabei kann die Anzahl der einzelnen Intensitätsaufnahmen, die zur Erzeugung eines Hochauflösungsbildes herangezogen werden, frei an die jeweiligen Gegebenheiten angepasst werden. Ein Kriterium kann dabei beispielsweise die gewünschte Auf- lösungssteigerung sein, bzw. die Verzögerung, die sich aufgrund der Aufnahme mehrerer Bilder zwangsläufig einstellt, bis ein Hochauflösungsbild erzeugt ist. Die Verzögerung kann beispielsweise dann relevant sein, wenn eine Echtzeitbeobachtung mittels des erfindungsgemäßen Verfahrens ermög- licht werden soll, wobei naturgemäß eine Reihe von Intensitätsaufnahmen durchgeführt und bearbeitet werden müssen, bis das erste Hochauflösungsbild der Bildsequenz auf einem Bildschirm sichtbar gemacht werden kann. In einer Erweiterung der oben beschriebenen Ausführungsform kann das Hochauflösungsbild in einer beliebig wählbaren Auflösung abgetastet bzw. erzeugt werden, wobei das Abtast- gitter beispielsweise der physikalischen Auflösung eines Bildschirms zur Darstellung des Ergebnisses entsprechen kann.
Anhand von Fig. 3 sind im Folgenden noch einmal die aufein- anderfolgenden Schritte zur Durchführung des Verfahrens zur Auflösungssteigerung dargestellt. Um ein Hochauflösungsbild zu erzeugen, ist zunächst in einem Bildaufnahmeschritt 150 eine Folge von Intensitätsbildern aufzunehmen. Wie es oben beschrieben ist, werden in dem Erzeugungsschritt 152 Nied- rigauflösungsbilder aus den Intensitätsbildern unter Zuhilfenahme von Abbildungsparametern, die beispielsweise einen Abbildungsort der Lichtleiter 106 auf dem Sensor 104 angeben, erzeugt. Im darauf folgenden Bewegungserkennungs- schritt 154 werden die aufeinanderfolgenden Niedrigauflö- sungsbilder analysiert und es werden für bewegte Teile des Bildes bzw. für den Fall, dass sich das gesamte Bild bewegt hat, relative Bewegungsvektoren bestimmt. Im Syntheseschritt 156 wird das Hochauflösungsbild aus den Niedrigauf- lösungsbildern dadurch kombiniert, dass die detektierten Bewegungen zurücktransformiert werden und die rücktransformierten Bilder einander überlagert werden.
In einem zusätzlich, optionalen Abtastschritt 158 kann das erzeugte Hochauflösungsbild in einem beispielsweise recht- winkligen Koordinatengitter abgetastet werden, um es auf einem externen Anzeigegerät auszugeben.
Fig. 4 zeigt experimentelle Ergebnisse, wie sie durch das Anwenden eines Verfahrens zur Auflösungssteigerung erzielt werden können. Dargestellt ist das Resultat einer Bearbeitung von Aufnahmen aus einem flexiblen Endoskop mit Glasfaser-Bildleiter. Dabei zeigt Fig. a das Originalbild, das vom Sensor am proximalen Ende des Endoskops aufgezeichnet wurde. Fig. b zeigt wie durch barizentrische Interpolation ein Bild erzeugt werden kann, dessen Wabenmuster reduziert, bzw. unterdrückt ist. Die Figuren c bis e zeigen von links nach rechts die Anwendung des Verfahrens mit zunehmender Komplexität. In Fig. c ist das Ergebnis bei Nutzung von fünf Einzelbildern, in Fig. d das Ergebnis bei Nutzung von zehn Einzelbildern und in Fig. e das Ergebnis bei Nutzung von fünfzehn Einzelbildern zur Auflösungssteigerung dargestellt. Wie es anhand der Figuren zu sehen ist, wird die Auflösung bei Erhöhung der Anzahl der zur Bestimmung des Hochauflösungsbildes verwendeten Niedrigauflösungsbilder kontinuierlich besser.
Fig. 5 zeigt ein Beispiel, wie durch die Anwendung des Ver- fahrens die Lesbarkeit einer Schrift, die mittels eines faseroptischen Endoskops aufgezeichnet wurde, verbessert werden kann. In Fig. a ist dabei ein vergrößerter Ausschnitt einer Aufnahme nach der Reduktion der Wabenstruktur dargestellt, wobei die Figur b den selben Ausschnitt nach Anwen- düng des Verfahrens zur Bewegungskompensation zeigt. Wie es anhand der beiden Figuren eindeutig zu erkennen ist, kann durch das Bewegungserkennungs-Verfahren die Auflösung real gesteigert werden, da Teile der Schriften erst in Fig. b lesbar werden. Dabei hat das Verfahren den großen Vorteil, dass Informationen über die Struktur des beobachteten Gegenstandes nicht bekannt sein müssen, um die Auflösungssteigerung zu erzielen. Im Falle einer Geraden 200, wie sie beispielsweise in Fig. a zu sehen ist, wäre eine Auflösungssteigerung auch durch einen auf die Erkennung von Ge- raden abgestimmten Filter möglich, der durch Anpassung (Fit) einer geeigneten Funktion die Gerade 200 innerhalb des Bildausschnittes mit hoher Genauigkeit finden könnte. Solche Verfahren würden jedoch nicht die runden Formen und komplizierten Muster der Schriftzeichen erkennen können, wie es hier der Fall ist.
Wie es anhand der Abbildungen 4 und 5 zu sehen ist, wurde die Bewegungskompensation mit unterschiedlichem Bildmateri- al mit lesbarem und unlesbarem, strukturiertem und unstrukturiertem sowie transversal bzw. longitudinal verschobenem Inhalt untersucht und verglichen. Abgesehen wird von extrem strukturschwachen Szenen, die keinen Beitrag zur Bewegungs- detektion liefern und damit für die Erhöhung der räumlichen Auflösung keinen Ansatz bieten. Als Einflussgrößen wurden insbesondere die Anzahl der verwendeten Bilder um ein Basisbild herum und die unterschiedliche Struktur im Bild auf das subjektive Empfinden hin untersucht. Implementierung des Verfahrens für die Nachbearbeitung von fiberskopischen Bildmaterial bestätigen die deutliche Zunahme von Details (lesbare Schrift, Kanten, Strukturen) bei Kombination von mehreren Einzelaufnahmen.
Das Verfahren eignet sich sowohl für transversale als auch für longitudinale Bewegung der Endoskopspitze und ist robust gegenüber nicht homogener Bewegung innerhalb der Aufnahmen .
Oben beschriebenes Verfahren lässt sich als Auflösungssteigerung im Ortsbereich mit Interpolation aus ungleich verteilten Rastern klassifizieren bzw. bezeichnen. Eine modu- lare Trennung zwischen der Lokalisation von Bildinformation, der interpolierten Bewegungsschätzung, der Generierung eines hoch auflösenden Gitters und dessen kartesische Abtastung mit barizentrischer Erweiterung von Stützstellen ermöglicht die separate Nutzung und Umsetzung der jeweils eingesetzten Verfahren in Soft- und Hardware. Die Anpassung und Optimierung des Verfahrens auf beliebige Gitterstruktu- ren zur Gewinnung höher aufgelöster Bildinformation bietet drei wesentliche Vorteile:
1. Zur Generierung des höher aufgelösten Bildes werden statt kartesisch interpolierten Aufnahmen, wie sie herkömmlich durch den Auflösungsunterschied Videokamera-Glasfaserbündel vorliegen, direkt die Helligkeit der Faserzentren verwendet. 2. Konstruktiv bedingte Abweichungen der hexagonalen Struktur eines Faserbündels haben keinen negativen Einfluss auf das Ergebnis.
3. Das Verfahren ist robust gegenüber nicht-globalen Bewegungen, wie sie insbesondere bei weitwinkligen Objektiven in der Endoskopie beobachtet werden.
Das Verfahren kann durch Parallelisierung von Prozess- schritten in Signalprozessortechnik realisiert werden und damit als Modul zur Auflösungssteigerung direkt zwischen der digitalisierenden Sensorik nach der Faseroptik und einer Anzeige/Wiedergabe oder Weiterverarbeitung eingesetzt werden.
Bewegungskompensationsverfahren zur Auflösungssteigerung lassen sich durch die Kombination der nachfolgend beschriebenen fünf Schritte charakterisieren:
1. Lokalisierung der Faserzentren des Bildleiters.
2. Erzeugung von Nachbarschaftsbeziehungen, beispielsweise durch Triangulierung und Bereitstellung als geordnetes Dreiecksgitter.
3. Berechnung der globalen bzw. lokalen Bewegungsfelder zwischen den Aufnahmen eines Abschnitts der fiberskopischen Bildsequenz. Dieser Schritt kann durch einen Vorverarbeitungsschritt, z.B. Interpo- lation des Bildmaterials, unterstützt werden.
4. Kombination eines Basisbilds mit den Intensitäten der Faserzentren weiterer Bilder des Abschnitts der Bildsequenz, beispielsweise durch Einbringen der Bewegungsinvertierten Intensitäten von Faserzentren als Stützstellen in ein vorbereitetes HR-Gitter (High-Resolution-Gitter) . 5. Konvertierung des kombinierten hoch aufgelösten Bildes in die erforderliche Darstellung, z.B. durch kartesische Abtastung in ein Abbild mit rechteckig verteilten/angeordneten Bildpunkten. Die Intrapola- tion kann durch barizentrische Gewichtung der Grauwertverteilung zwischen den enthaltenen Stützstellen aufbereitet werden.
Im folgenden soll anhand der Figuren 6 bis 8 beispielhaft detailliert beschrieben werden, wie erfindungsgemäß niedrig aufgelöste Bilder, die von Artefakten bzw. störenden Strukturen befreit sind, erzeugt werden können, wie es beispielsweise im Schritt 152 des Verfahrens zur Bewegungskompensation erforderlich ist.
Dabei werden erfindungsgemäß, im Gegensatz zu dem Stand der Technik entsprechenden Verfahren, die tatsächlichen physikalischen Eigenschaften eines fiberskopischen Bildaufnahmesystems ausgenutzt, um auf effiziente Art und Weise die Bildartefakte bzw. die störenden Strukturen zu entfernen, wobei gleichzeitig die gesamte Bildinformation erhalten bleibt.
Dabei basiert das erfindungsgemäße Verfahren zum Erzeugen einer strukturfreien fiberskopischen Aufnahme darauf, dass zunächst eine Kalibration des fiberskopischen Systems durchgeführt wird und dass auf der Basis der während der Kalibration gewonnenen Erkenntnisse Bildrekonstruktionsschritte in Echtzeit durchgeführt werden. Die Kalibration muss lediglich einmal durchgeführt werden, die Rekonstruktion ist hingegen für jedes einzelne Bild (Frame) eines Bilderstroms erforderlich. Dabei ist es unter Anderem das Ziel der Kalibration, die Zentren aller Lichtleitfasern mit einer Genauigkeit zu ermitteln, die größer ist, als die Größe der Pixel eines Sensors (also mit Subpixel- Genauigkeit) . Ein für die Kalibration verwendetes Bild kann dabei beispielsweise dadurch gewonnen werden, dass eine homogene weiße Fläche (beispielsweise ein Blatt Papier) abge- bildet wird. Während der Bildrekonstruktion wird ein artefaktfreies Ausgangsbild rekonstruiert, das auf Basis der Intensitätswerte konstruiert wird, die an den mit Subpixel- genauigkeit genannten Orten der Zentren der Lichtleiter ge- wonnen werden. Dabei wird gemäß einem Ausführungsbeispiel der vorliegenden Erfindung die Position der Zentren der Lichtleiter mittels eines Kalibrationsbildes in drei Stufen bestimmt. Zunächst werden mit Pixelgenauigkeit (also mit einer Ortauflösung, die der physikalischen Größe der Pixel des Sensors entspricht) potenzielle Kandidatenpunkte für die Position des Zentrums des Lichtleiters bestimmt. Ein Signifikanzwert, der angibt wie gut eine zweidimensionale gaußförmige Parametrisierung mit festgelegten Parametern die Intensitätsverteilung um den Kandidatenpunkt be- schreibt, wird jedem Kandidatenpunkt zugeordnet.
Danach wird, in der Reihenfolge absteigender Signifikanz, an jedem Kandidatenpunkt eine unsymmetrische zweidimensionale Gaußparametrisierung an die mittels des Sensors aufge- nommene Intensitätsaufnahme angepasst (beispielsweise unter Benutzung von nichtlinearer Optimierung) . Die Anpassung ergibt eine Position des Lichtleiterzentrums mit einer Subpi- xel-Genauigkeit, wobei darüber hinaus für jede erfolgte Anpassung ein weiterer Signifikanzwert erhalten wird. Die tatsächlichen Zentren der Lichtleiter werden dann aus der Gruppe der Kandidatenpunkte basierend auf den Signifikanzwerten bestimmt, wobei darüber hinaus ein Abstandskriterium verwendet wird, das die minimale sinnvolle Distanz zweier benachbarter Zentren von Lichtleitern beschreibt. Dabei kann die Gruppe von benachbarten Lichtleitern, die für die Anwendung des Distanzkriteriums in Frage kommt, beispielsweise durch eine Delaunay-Triangulation der Zentren der Lichtleiter bestimmt werden, welche darüber hinaus auch als Grundlage für eine darauf folgende Bildrekonstruktion die- nen kann.
Im Folgenden wird detaillierter auf den Schritt der Kalibration und den mehrstufigen Prozess zum Bestimmen eines LichtleiterZentrums eingegangen. Dabei wird die Argumentation im Folgenden Bezug nehmen auf Fig. 6, die drei Aufnahmen zeigt, wobei die linke Aufnahme 6a ein zweidimensionales Intensitätsbild darstellt, wie es während der Kalibra- tion mittels eines Pixelsensors durch ein Faserbündel aufgenommen wird. Wie es in Fig. 6a zu sehen ist, sind die den einzelnen Lichtleitern zugeordneten Strukturen klar erkennbar, jedoch ist die genaue Position des Zentrums der Intensitätsverteilung nicht festzustellen, da mittels jeder Fa- ser mehrere Pixel mit hoher Intensität belichtet werden.
Die hellen Punkte in dem Kalibrationsbild (weiße belichtete Fläche) sind dabei offensichtliche Kandidatenpunkte für Zentren von Lichtleitern. Der einfachst denkbare Ansatz zur Identifikation von Kandidatenpunkten auf Basis ihrer Helligkeit (durchführen eines Schwellwertvergleichs) geht jedoch fehl, wenn ein Kalibrationsbild eine nicht gleichmäßige Helligkeitsverteilung aufweist. Daher werden zunächst die Kandidatenpunkte basierend auf Ihrer Helligkeit, die in Relation zur Helligkeit der lokalen Nachbarschaft des Kandidatenpunkts gesetzt wird, ausgewählt. Dafür wird beispielsweise eine symmetrische rechteckige Nachbarschaft N benutzt. Dabei ist die Größe der Nachbarschaft beispielsweise bevorzugt vom Durchmesser eines einzelnen Lichtleiters abhängig, welcher für alle Lichtleiter eines Faserbündels annährend konstant ist. Für die in der folgenden Betrachtung herangezogenen Koordinaten ist in Fig. 6a das Koordinatensystem 300 definiert, so dass einzelnen Pixeln eine Koordinate in dem Koordinatensystem 300 zugewie- sen werden können. Für die vorläufige Bestimmung von Kandidatenpunkten wird zunächst für jede Position (X, Y) im Kalibrationsbild die Minimal- und Maximalintensität In^n und Imax innerhalb der Nachbarschaft N (X, Y) bestimmt und deren Koordinaten (Xmin, Ymin) und (Xmaχ, Ymax) lokalisiert. Un- ter Ausnutzung eines lokalen Intensitätskriteriums (einer minimalen Intensitätsdifferenz) Dmin wird der Punkt {Xmaχr Ymax) genau dann als Kandidatenpunkt für ein Zentrum eines Lichtleiters identifiziert, wenn Im3x - Imin > Dmin ist. Sind gemäß den obigen Ausführungen alle Kandidatenpunkte für die Kalibrationsaufnahme bestimmt, wird für jeden einzelnen der Kandidatenpunkte ein Signifikanzwert, welcher angibt, wie gut eine zweidimensionale symmetrische Gaußver- teilung die Daten in der Umgebung der Kandidatenpunkte beschreibt, durch Vergleich der Umgebung des Kandidatenpunkts mit der Gaußverteilung bestimmt (Template Matching) . Eine Beispielumgebung (Template Window) die zu einer Nachbar- schaft N korrespondiert wird dazu mit den diskreten Werten einer symmetrischen zweidimensionalen Gaußverteilung, die um den Mittelpunkt der Beispielumgebung zentriert ist, gefüllt. Für jedes Beispielfenster, von denen ein jedes zu einem Kandidatenpunkt Pi korrespondiert, wird ein Signifi- kanzwert s(pi) berechnet, der der gängigen RMS-Metrik entspricht:
Figure imgf000027_0001
Dabei entsprechen T(x,y) und I(x,y) den Intensitäten der einzelnen Pixeln an den Positionen (x,y) des Beispielfensters und der Nachbarschaft N (pi) des Kandidatenpunktes pi. Dabei stimmen Punkte mit einem geringeren korrespondierenden Signifikanzwert bzw. deren Umgebungen besser mit der Beispielumgebung überein. Das heißt, die Wahrscheinlichkeit, dass der betreffende Kandidatenpunkt pi in der Nähe des tatsächlichen Zentrums des Lichtleiters liegt, ist für Punkte mit geringem Signifikanzwert höher als für Punkte mit hohem Signifikanzwert. Fig. Ib zeigt das Ergebnis obi- ger Operation und somit die Kandidatenpunkte und die dazugehörigen Signifikanzwerte in Graustufendarstellung.
In einem Schritt der Anpassung bzw. der Bestimmung der Zentren der Lichtleiter werden nun die Kandidatenpunkte er- neut bewertet, indem zweidimensionale, unsymmetrische gauß- förmige Verteilungen an die Umgebungen der Kandidatenpunkte angepasst (gefittet) werden. Eine zweidimensionale, nicht symmetrische Gaußverteilung f (x,y;v) wird von einem Parametervektor v (μx, μy, σx, σy, a) definiert, der das Zentrum (Ux, Py) der Gaußverteilung, die Standardabweichungen in x- und y-Richtung σx, σy sowie eine Amplitude bzw. einen Amplitudenwert a beinhaltet. Die vollständige Gaußfunktion schreibt sich somit als:
Figure imgf000028_0001
Bestimmt man zunächst die Parameter μx, μy so, dass f(x,y;v) um den Kandidatenpunkt pi zentriert ist, kann die obige Funktion an die Nachbarschaft N (pi) durch nichtlineare Optimierung des folgenden quadratischen Abstandsprob- lems durch Variation des Vektors v angepasst werden:
Figure imgf000028_0002
Zur Minimierung des auch Residuum genannten Wertes r(pi) können verschiedene Minimierungsalgorithmen verwendet werden, wie beispielsweise die Levenberg-Marquardt-Methode. Bei konvergierender Optimierung für einen Kandidatenpunkt Pi, erhält man eine verbesserte subpixelgenaue Position (μX/ μy) des Zentrums des Lichtleiters als Zentrum der Gaußverteilung, wobei r(pi) als erneuter verfeinerter Signifikanzwert für den Kandidatenpunkt (pi) interpretiert werden kann.
Die endgültige Auswahl des Zentrums eines jeden Lichtlei- ters erfolgt, wie bereits oben erwähnt, unter zusätzlicher
Ausnutzung eines Abstandskriteriums, zu dessen Anwendung zunächst die Bestimmung derjenigen anderen Zentren von
Lichtleitern notwendig ist, die die nächsten Nachbarn des betrachteten Kandidatenpunkts (pi) sind. Dabei wird bei- spielsweise bevorzugt die Delaunay-Triangulation verwendet, die unmittelbar die dem Kandidatenpunkt benachbarten natürlichen Nachbarn liefert.
Bei der Delaunay-Triangulation wird für eine Menge P von Punkten in einer Ebene eine Triangulation D (P) von P derart durchgeführt, dass es keinen einzigen Punkt in P gibt, der innerhalb des Umfangs eines einzelnen Dreiecks der Triangulation liegt. Eine Delaunay-Triangulation maxi- miert dabei den minimalen innerhalb eines jeden Dreiecks auftretenden Winkel aller Dreiecke der Triangulation. Eng mit dem Konzept der Delaunay-Triangulation verknüpft ist das Voronoi-Diagramm V(P) das den zur Triangulation dualen Graph beschreibt.
Das Konzept der Delaunay-Triangulation bzw. des Voronoi- Graphen ist im Folgenden anhand von Fig. 7 beschrieben. Wobei im weiteren Verlauf insbesondere darauf eingegangen werden wird, wie die anhand der Voronoi-Darstellung definierten natürlichen Koordinaten dazu verwendet werden kön- nen, aus einzelnen Punkten mit bestimmter Helligkeit bzw. Intensität ein kontinuierliches Intensitätsbild mit einer höheren Anzahl von Bildpunkten zu erzeugen.
Fig. 7a zeigt eine Anzahl von Punkten als Beispiel, sowie die an die Punkteverteilung angepasste Delaunay- Triangulation, die durch fett gezeichnete Linien, welche die Dreiecke der Triangulation begrenzen, dargestellt ist. Darüber hinaus sind alle Punkte in Fig. 7a innerhalb von Flächen angeordnet, wobei die die einzelnen Punkte umgeben- den sogenannten Voronoi-Zellen auf Grundlage der Triangulation dadurch erstellt werden, dass Begrenzungslinien, die die Voronoi-Zellen begrenzen, dadurch gebildet werden, dass für jede einzelne Verbindungslinie zwischen zwei Punkten, die durch die Triangulation entstanden ist, eine Mittelsen- kerechte konstruiert wird, wie es in Fig. 7a zu sehen ist.
Für die Kalibration, d.h. die endgültige Auswahl der Koordinatenpaare (μx, μy) die die endgültige Position der Zent- ren der Lichtleiter angeben, ist die Delaunay-Triangulation insofern relevant, als diese unmittelbar die natürlichen Nachbarn eines jeden Punktes liefert. Die natürlichen Nachbarn eines Punktes sind dabei dadurch definiert, das jeder natürliche Nachbar qi eines Punktes pi mit dem Punkt pi durch eine Verbindungs- bzw. Begrenzungslinie eines Dreiecks der Triangulation verbunden ist.
In Fig. 7b ist die Voronoi Struktur der Situation von Fig. 7a dargestellt, wobei ein zusätzlich eingefügter Punkt p im Zentrum der Punkteverteilung dargestellt ist, dessen natürliche Nachbarn die Punkte qi ... q5 sind. Ein Kandidatenpunkt bzw. ein Koordinatenpaar (μx, μy) wird beim vorliegenden Ausführungsbeispiel der vorliegenden Erfindung genau dann als Zentrum eines Lichtleiters akzeptiert, wenn dieses unter den zur Verfügung stehenden Kandidaten für den betreffenden Lichtleiter den höchsten Signifikanzwert r(pi) aufweist und zusätzlich eine Abstandsbedingung erfüllt.
Die Abstandsbedingung basiert im Wesentlichen darauf, dass der Durchmesser der einzelnen Lichtleiter dfiber im Wesentlichen für alle Lichtleiter eines Endoskops bzw. eines Faserbündels konstant ist. Da die Lichtleiter aus physikalischen Gründen räumlich nicht überlappen können, kann ein minimaler Abstand dmin zwischen zwei gefundenen Zentren von
Lichtleitern definiert werden, der noch plausibel erscheint
(beispielsweise dmin = 0.9 x dfiber) • Während der Kalibration wird kontinuierlich eine Delaunay-Triangulation O(P) auf
Grundlage der Datenpunkte aufgebaut. Dabei wird die Reihen- folge, mit der die einzelnen Punkte in die Triangulation eingefügt werden durch den Signifikanzwert bestimmt, wobei Kandidaten mit hoher Signifikanz (niedrigem berechneten Abstandsquadrat) , also hoher Wahrscheinlichkeit, das tatsächliche Zentrum des Lichtleiters zu sein, zuerst eingefügt werden. Ist ein solcher Punkt hoher Signifikanz eingefügt und besteht dieser das Distanzkriterium, so wird dieser Punkt als Zentrum des betreffenden Lichtleiters angesehen. Dabei wird durch das Distanzkriterium sichergestellt, dass lediglich ein einzelner Punkt pro Lichtleiter (also ein einzelnes Zentrum) in die Delaunay-Triangulation eingefügt wird. Mathematisch lässt sich das Distanzkriterium wie folgt beschreiben:
sei Dqι die Distanz des Kandidatenpunkts, der in die Triangulation eingefügt werden soll zu seinem natürlichen Nachbarn qi. Der Kandidatenpunkt wird dann und nur dann in die Triangulation eingefügt, wenn für alle i gilt:
V, : dqι ≤ d^
Nach der Kalibration des fiberskopischen Systems steht also für jede einzelne Faser ein Tupel aus vier Werten als Ab- bildungsparameter zur Verfügung. Es sind dies die Koordinaten des Zentrums des Lichtleiters μx und μy sowie die Breiten der zweidimensionalen asymmetrischen gaußförmigen Verteilung σx und σy.
Fig. 6c zeigt als ein Ergebnis der Kalibration die gefundenen FaserZentren für die Aufnahme von Fig. 6a.
Da diese beiden Parameter geometrische Eigenschaften des Systems aus Sensor und Lichtleiter beschreiben, nämlich den exakten Abbildungsort sowie die geometrische Ausdehnung der durch eine einzelne Faser hervorgerufenen Intensitätsverteilung, ändern sich diese Parameter im Laufe der Zeit nicht. Auf Grundlage der einmal bestimmten Parameter kann so die übermittelte Intensität bzw. der übermittelte Ampli- tudenwert eines jeden einzelnen Lichtleiters während der Bildaufnahme und Analyse exakt bestimmt werden.
Für die Bildrekonstruktion muss die Intensitätsinformation, die von einem einzelnen Lichtleiter übertragen wird, und die der Amplitude a der zweidimensionalen gaußförmigen Verteilung entspricht, welche die Intensitätsverteilung eines einzelnen Lichtleiters auf dem Sensor beschreibt, bestimmt werden. Hat man einzelne, präzise bestimmte Intensitäts- bzw. Amplitudenwerte für jeden einzelnen Lichtleiter bestimmt, können artefaktfreie Bilder erzeugt werden, indem die Intensitätsinformationen an den Zentren der Lichtleiter in ein höher aufgelöstes Gitter durch Interpolation über- tragen werden, so dass eine kontinuierliche Bilddarstellung im höher aufgelösten Gitter erreicht werden kann, wie weiter unten noch näher erläutert werden wird. Dazu ist zunächst das exakte Bestimmen des Amplitudenwertes a aus Gleichung 1 erforderlich.
Während der Kalibration wurden die charakteristischen Eigenschaften jedes Lichtleiters, der Parametervektor v gewonnen. Sowohl das Zentrum des Lichtleiters (μx/ μy) und die Standartabweichungen σx und σy sind zeitlich konstant, unabhängig davon, welcher Bildinhalt mit dem Fiberskop aufgenommen wird. Der Amplitudenwert a jedoch verändert sich mit sich veränderndem Bildinhalt und muss für jede Aufnahme neu bestimmt werden. Dies kann beispielsweise bevorzugt dadurch geschehen, dass ein einfaches minimales Abstandsquad- ratsproblem (siehe Gleichung 3) gelöst werden muss:
Ein guter Anfangswert für den zu bestimmenden bzw. frei zu fittenden Parameter a ist beispielsweise die Intensität I (μx, μy) die durch bilineare Interpolation am subpixelge- nauem Ort des Zentrums des Lichtleiters (μx/ μy) gewonnen werden kann. Die Minimierung von Gleichung 3 kann dabei auf jedwede geeignete Art und Weise, beispielsweise durch Anwendung der Newton-Rhapson-Methode erfolgen.
Erfindungsgemäß ist somit nur ein einzelner freier Parameter zur Bestimmung des Amplitudenwertes zu optimieren, was mit geringem Zeitaufwand möglich ist, so dass das erfindungsgemäße Verfahren in Echtzeit ablaufen kann. Dabei hat das erfindungsgemäße Verfahren zur Bestimmung des Amplitu- denwertes den großen Vorteil, dass die reale Abbildungsinformation, die in Form der Abbildungsparameter vorliegt, zur Bestimmung des Amplitudenwertes herangezogen wird. El- lipsoide Intensitätsverteilungen auf der Oberfläche des Sensors können somit hinreichend berücksichtigt werden, wie sie beispielsweise auftreten, wenn der Lichtleiter relativ zur Oberfläche des Sensors einen Winkel aufweist der ungleich 90° ist.
Basierend auf dem erfindungsgemäß gewonnenen Intensitätsdaten bzw. den Zentren der Intensitätsverteilung, die zu einzelnen Lichtleitern korrespondieren, und die mit hoher Präzision und wesentlich höherer Genauigkeit als der Größe des einzelnen Pixels bestimmt werden, kann nun beispielsweise eine Bewegungskompensation mit Aussicht auf hohen Erfolg durchgeführt werden.
Dazu kann bei einem weiteren Ausführungsbeispiel der vor- liegenden Erfindung aus den diskreten Bildpunkten und den dazu assoziierten Amplitudenwerten der Lichtleiter ein kontinuierliches, zweidimensionales Bild interpoliert werden, wobei bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung zur Bestimmung der interpolierten Intensi- täten Voronoi-Zellen verwendet werden, wie es im Folgenden beschrieben wird.
Zur Bildung eines artefaktfreien Bildes, also zur geeigneten Interpolation kann man sich charakteristische Eigen- schatten der Voronoi-Zellen zu Nutze machen. Wie bereits erwähnt, wird das Konzept der natürlichen Nachbarn dazu benutzt, benachbarte Punkte von Punkten einer nicht gleichmäßig verteilten Punktmenge zu bestimmen. Die natürlichen Nachbarn eines Punkts P s±nά dabei als die Nachbarn des Punktes P der Delaunay-Triangulation der Punktemenge P u {*} definiert. Dies ist äquivalent dazu, dass die natürlichen Nachbarn diejenigen Punkte von P sind, deren Voronoi- Zellen beschnitten werden, wenn ein zusätzlicher Punkt P in das Voronoi-Diagramm eingefügt wird, wie es beispiels- weise anhand von Fig. 7c dargestellt ist. Wenn die ursprünglichen Punkte qi die Zentren von Lichtleitern bezeichnen, die jeweils eine bestimmte Lichtintensität transportieren, so kann man anschaulich eine Voronoi-Zelle so verstehen, dass dies die Fläche bzw. das Gebiet ist, in die die Intensität des Lichtleiters strahlt bzw. diejenige Fläche des Objekts, deren Lichtintensität mittels des betreffenden Lichtleiters übertragen wird.
Wenn V (qi) die Voronoi-Zelle des natürlichen Nachbarn qi von p ist und wenn p darüber hinaus ein zusätzlich in die Triangulation eingefügter Punkt ist, der die Voronoi-Zelle V(p) besitzt, wie es in Fig. 7C gezeigt ist, so kann man folgende Betrachtungen anstellen. Die natürliche Region N{jp,qt} ist definiert als derjenige Teil von V (qi) der von der Voronoi-Zelle V (qi) von qi bei Einfügen des Punktes P durch die Voronoi-Zelle V(p) entfernt wird.
N{p,qt) ist also V(p) n H(qi). Im Folgenden bezeichnet A(qi) die Fläche von N{p,qt). Die natürliche Koordinate λqι (p) von qi ist dann definiert als das Flächenverhältnis:
Figure imgf000034_0001
Der in Fig. 7C schraffiert gezeichnete Bereich um den Punkt P ist beispielsweise die natürliche Fläche N(p,q3).
Die natürlichen Koordinaten haben dabei folgende wichtige Eigenschaften.
1. \{p) ist eine kontinuierliche Funktion von p und ist mit Ausnahme der ursprünglichen Datenpunkte kontinu- ierlich differenzierbar.
2. λqι \p) verschwindet außerhalb der Menge von Punkten, die den Delaunay-Simplex, der zu qi führt, umschließen.
3. Die λqι{p) erfüllen das Kriterium für lokale Koordinaten, das beschreibt, dass p eine konvexe Kombination seiner Nachbarn qi ist:
Figure imgf000035_0001
Das dritte eben beschriebene Kriterium, dass die Eigen- schaft der lokalen Koordinaten betrifft, kann nun dazu genutzt werden, die Intensität eines zusätzlich eingefügten Bildpunktes (Pixel) p aus den Intensitäten, die an den Zentren der Lichtleiter qi bestimmt wurden, zu interpolieren. Dabei ist zu beachten, dass bei dem Hinzufügen eines Punktes p in der Triangulation die natürlichen Nachbarn qi der Triangulation, deren Positionen während der Triangulation bestimmt wurden, zur Bestimmung des Intensitäts- bzw. Amplitudenwertes I (p) herangezogen werden. Die Intensität
I (p) ist die konvexe Summe der Intensitäten I (qi) :
Figure imgf000035_0002
Das resultierende Bild ist eine einfach differenzierbare kontinuierliche Funktion der Intensitäten I (q) , die auf den Stützstellen der Zentren der Lichtleiter q basiert.
Es gilt zu bemerken, dass das Finden der natürlichen Nachbarn eines jeden Pixels p und die Berechnung der natürlichen Koordinaten des Pixels eine zeitaufwendige Operation ist. Da jedoch sowohl die natürlichen Nachbarn als auch die natürlichen Koordinaten eines Pixels p zeitlich konstant bleiben, so lange die Größe, d.h. die Auflösung, eines rekonstruierten interpolierten Bildes nicht verändert wird, können sowohl die natürlichen Nachbarn als auch die natür- liehen Koordinaten je Konfiguration lediglich einmal berechnet und in Form einer Lookup-Tabelle gespeichert werden. Ist diese aufwendige Berechnung einmal erfolgt, können einzelne Bilder ohne Probleme in Echtzeit rekonstruiert werden.
Die Fig. 8 zeigt ein Beispiel, wie unter Anwendung dies erfindungsgemäßen Konzepts erfolgreich aus einem artefaktbe- hafteten Bild, das klar die wabenförmige Struktur einer fiberskopischen unbehandelten Aufnahme zeigt, (Fig. 8a) ein artefaktfreies, kontinuierliches zweidimensionales Bild (Fig. 8b) erzeugt werden kann, das sich hervorragend eig- net, um beispielsweise eine darauffolgende Bewegungskompen- sation auf Grundlage des rekonstruierten artefaktfreien Bildes durchzuführen.
Fig. 9 zeigt ein Flussdiagramm, in dem die wesentlichen Schritte für erfindungsgemäßes Erzeugen eines Bildes dargestellt sind.
Dabei werden in einem Vorbereitungsschritt 500 zunächst Abbildungsparameter eines Lichtleiters bereit gestellt, die geometrische Eigenschaften eines von dem Lichtleiter auf dem Sensor erzeugten Intensitätsverlaufs beschreiben.
Im Aufnahmeschritt 502 wird eine Intensitätsaufnahme dem Sensors aufgenommen.
Im Bildverarbeitungsschritt 504 wird ein Amplitudenwert für alle Lichtleiter ai durch Anpassen einer Funktion des Amplitudenwertes und der Abbildungsparameter an die Intensitätsaufnahme bestimmt.
In einem Rekonstruktionsschritt 506 werden die Amplitudenwerte als Bildinformation der einzelnen Lichtleiter verwendet, um das Bild zu erzeugen.
Fig. 10 zeigt ein Flussdiagramm für ein erfindungsgemäßes Verfahren zum Erzeugen von Abbildungsparametern eines Lichtleiters.
Im Bildaufnahmeschritt 510 wird eine von dem Lichtleiter auf dem Sensor erzeugten Intensitätsverteilung aufgenommen.
Im Anpassschritt 512 werden für einen Kandidatenpunkt pi die Abbildungsparameter durch Anpassen einer Funktion der Abbildungsparameter und eines Amplitudenwertes an die Intensitätsverteilung in einer vorläufigen Abbildungsumgebung, deren Ausdehnung von der Beschaffenheit des Lichtleiters abhängt, bestimmt.
Im Vergleichsschritt 514 wird überprüft, ob Ortsinformationen in den Abbildungsparametern auf eine Lichtleiterposition schließen lassen, die einen vorbestimmten Mindestabstand zu einer Lichtleiterposition der übrigen Lichtleiter auf- weist.
Wird festgestellt, dass der Mindestabstand unterschritten ist, wird anhand eines Iterationspfades verfahren und Abbildungsparameter für einen nächsten Kandidatenpunkt des zu findenden Lichtleiters bestimmt.
Ist der Mindestabstand nicht unterschritten, wird anhand eines Speicherpfades 518 verfahren und die Abbildungsparameter für den Kandidatenpunkt werden in einem Speicher- schritt 520 gespeichert.
Zusammenfassend beschreibt die vorliegende Erfindung ein Konzept, wie mittels eines Bearbeitungsalgorithmus für fiberskopische Aufnahmen, welche die tatsächlichen physikali- sehen Eigenschaften der fiberskopischen Abbildung benutzt, Artefakte, bzw. ungewollte Strukturen innerhalb der fiberskopischen Aufnahmen entfernt werden können, ohne dabei die tatsächliche Bildinformation zu verändern. Dabei wird insbesondere durch das erfindungsgemäße Verfahren die Ent- fernung der fiberskopischen Wabenstruktur in Echtzeit ermöglicht.
Darüber hinaus ist es bei Anwendung des erfindungsgemäßen Verfahrens ohne Weiteres möglich, verschiedene Kombinatio- nen von Fiberskopen und Sensoren dazu zu benutzen, um artefaktfrei kontinuierliche Aufnahmen zu erhalten. Obwohl in den beschriebenen Ausführungsbeispielen der vorliegenden Erfindung eine Abtastung von Bildern, um aus ungeordneten Aufnahmen Aufnahmen mit geordneter gitterförmi- ger Pixelstruktur zu erhalten mittels barizentrischer Ge- wichtung oder Delaunay-Triangulation durchgeführt wurde, ist auch jedwede andere Art der Abtastung geeignet, um das erfindungsgemäße Verfahren zu implementieren.
Darüber hinaus sind in den Ausführungsbeispielen der vor- liegenden Erfindung überwiegend Sensoren und rechtwinklig angeordnete, rechteckige lichtsensitive Flächen dargestellt, wie dies beispielsweise bei CCDs der Fall ist. Eine solche Anforderung ist in keiner Weise Voraussetzung für die Implementierung des erfindungsgemäßen Verfahrens. Wenn- gleich zur Bewegtbildaufnahme überwiegend CCDs und CMOS- Sensoren verwendet werden, sind jedwede anderen lichtempfindlichen Sensorarrays ebenso geeignet, das erfindungsgemäße Verfahren zu implementieren, wie beispielsweise Arrays aus Fotodioden und anderen fotosensitiven Elementen wie Fo- tokathoden und Fotoelektronenvervielfacher.
Wenngleich zur Bestimmung der Faserzentrenpositionen, also der Abbildungsorte der Lichtleiter auf dem Sensor eine möglichst homogene Beleuchtung des Faserbündels vorteilhaft ist, ist eine Bestimmung der Faserzentren auch mittels einer inhomogenen Beleuchtung durchführbar.
Alternativ kann zur Genauigkeitssteigerung auch eine abweichende Lichtsensitivität einzelner Pixel des Sensors be- rücksichtigt werden, die beispielweise zusätzlich in den Abbildungsparametern gespeichert werden kann, wenn diese bei homogener Beleuchtung des Faserbündels gewonnen wurden.
Obwohl das erfindungsgemäße Konzept in den vorhergehenden Abschnitten überwiegend in Anwendung auf faseroptische endoskopische Systeme diskutiert wurde, versteht es sich von selbst, dass dieses darüber hinaus überall dort anwendbar ist, wo eine Auflösungssteigerung eines vignettierten Bildes erzielt werden soll.
Abhängig von den Gegebenheiten kann das erfindungsgemäße Verfahren Erzeugen eines Hochauflösungsbildes in Hardware oder in Software implementiert werden. Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computer- system zusammenwirken können, dass das erfindungsgemäße Verfahren Erzeugen eines Hochauflösungsbildes ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computer-Programm-Produkt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computer- Programm-Produkt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computer- Programm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computer-Programm auf einem Computer abläuft.

Claims

Patentansprüche
1. Verfahren zum Erzeugen eines Bildes mittels eines Faserbündels (102) aus einer Mehrzahl von Lichtleitern (106) und eines Sensors (104), der an einer Sensorseite des Faserbündels (102) angeordnet ist, um durch die Lichtleiter (106) geleitetes Licht aufzunehmen, mit folgenden Schritten:
Bereitstellen von Abbildungsparametern eines Lichtleiters (106), welche geometrische Eigenschaften eines von dem Lichtleiter (106) auf dem Sensor erzeugten Intensitätsverlaufs beschreiben;
Aufnehmen einer Intensitätsaufnahme (302) mittels des Sensors;
Bestimmen eines Amplitudenwerts für den Lichtleiter durch Anpassen einer Funktion des Amplitudenwertes und der Abbildungsparameter an die Intensitätsaufnahme (302) ; und
Verwenden des Amplitudenwertes als Bildinformation des Lichtleiters, um das Bild zu erzeugen.
2. Verfahren gemäß Anspruch 1, bei dem die Funktion durch Minimieren eines Unterschieds zwischen der von der Funktion beschriebenen Intensitätsverteilung und der Intensitätsaufnahme (302) angepasst wird.
3. Verfahren gemäß Patentanspruch 2, bei dem der quadratische Unterschied der von der Funktion beschriebenen Intensitätsverteilung und der Intensitätsaufnahme (302) minimiert wird.
4. Verfahren gemäß einem der vorhergehenden Ansprüche, bei der als Abbildungsparameter die Koordinaten μx und μy sowie die Breiten σx und σy einer 2-diπιensionalen Gauß-Verteilung der Form:
f(x,y,v) = a exp - (x-μj (y-μyϊ
2σ 2σ ,
bereitgestellt werden; und
bei dem beim Anpassen der Funktion des Amplitudenwertes und der Abbildungsparameter der Amplitudenwert a variiert wird.
5. Verfahren gemäß einem der vorhergehenden Ansprüche, das einen weiteren Interpolationsschritt aufweist, um aus räumlich unregelmäßig angeordneten Amplitudenwer- ten der Lichtleiter des Faserbündels das Bild durch Interpolation der Amplitudenwerte in einem geordneten rechtwinkligen Pixelgitter zu erzeugen.
6. Verfahren gemäß Anspruch 5, bei dem zur Interpolation für jedes Pixel des Pixelgitters die Amplitudenwerte der natürlichen Nachbarn (qi...q5) des Pixels verwendet werden.
7. Verfahren gemäß Anspruch 6, bei der ein Helligkeits- wert des Pixels aus der Summe der gewichteten Amplitudenwerte der natürlichen Nachbarn (qi...q5) gebildet wird, wobei die Gewichtsfaktoren auf Verhältnissen der Voronoi-Zellen der natürlichen Nachbarn und des Pixels beruhen.
8. Verfahren zum Erzeugen von Abbildungsparametern eines Lichtleiters (106) eines Faserbündels (102) aus einer Mehrzahl von Lichtleitern (106), welche geometrische Eigenschaften eines von dem Lichtleiter (106) auf ei- nem Sensor (104) erzeugten Intensitätsverlaufs beschreiben, mit folgenden Schritten: Aufnehmen einer von dem Lichtleiter (106) auf dem Sensor erzeugten Intensitätsverteilung;
Bestimmen der Abbildungsparameter durch Anpassen einer Funktion der Abbildungsparameter und eines Amplitudenwertes an die Intensitätsverteilung in einer vorläufigen Abbildungsumgebung, deren Ausdehnung von der Beschaffenheit des Lichtleiters abhängt; und
Speichern der Abbildungsparameter, wenn Ortsinformationen in den Abbildungsparameter auf eine Lichtleiterposition schließen lassen, die einen vorbestimmten Mindestabstand zu einer Lichtleiterposition der übri- gen Lichtleiter aufweist.
9. Verfahren gemäß Anspruch 8, bei dem der Schritt des Bestimmens der Abbildungsparameter einen zusätzlichen Schritt der Vorselektion aufweist, bei dem die vorläu- fige Abbildungsumgebung durch Vergleich einer vorbestimmten Referenzintensitätsverteilung mit der Intensitätsverteilung bestimmt wird, sodass bei Erreichen eines vorbestimmten Referenzkriteriums eine Vergleichsumgebung in der die vorbestimmte Referenzinten- sitätsverteilung vorbestimmt ist, der vorläufige Abbildungsbereich ist.
10. Verfahren gemäß Anspruch 9, bei der das Referenzkriterium das Unterschreiten eines vorbestimmten quadrati- sehen Abstands zwischen der Intensitätsverteilung und der vorbestimmten Referenzintensitätsverteilung innerhalb der Vergleichsumgebung ist.
11. Verfahren gemäß einem der Ansprüche 8 bis 10, bei dem eine geometrische Ausdehnung des vorläufigen Abbildungsbereichs kleiner als das 1,1-fache des Durchmessers eines zylindrischen Lichtleiters ist.
12. Verfahren gemäß einem der Ansprüche 8 bis 11, bei dem die Abbildungsparameter dann gespeichert werden, wenn Ortsinformationen in den Abbildungsparametern auf eine Lichtleiterposition schließen lassen, deren Abstand zu einer Lichtleiterposition der übrigen Lichtleiter größer als das 0,9-fache des Durchmessers eines zylindrischen Lichtleiters ist.
13. Verfahren gemäß einem der Ansprüche 8 bis 12, bei dem beim Bestimmen der Abbildungsparameter die Ortskoordinaten σx und σy, die Breitenparameter σx und σy sowie ein Amplitudenwert a der folgenden Parametrisierung
f(x,y,v)= aexp - (χ-ßj b-ß,Y
Figure imgf000043_0001
variiert werden, um die Funktion an die Intensitätsverteilung anzupassen.
14. Verfahren gemäß Anspruch 13, bei dem beim Speichern der Abbildungsparameter die Parameter μx, μy, σx und σy gespeichert werden.
15. Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem der Sensor (104) eine Sensorauflösung besitzt, die höher ist als die von einer geometrischen Ausdehnung des Lichtleiters (106) abhängige Lichtleiterauflösung, und bei dem die Abbildungsparameter mit einer Genauigkeit bestimmt werden, die größer als die Sensorauflösung ist.
16. Vorrichtung zum Erzeugen eines Bildes mittels eines Faserbündels (102) aus einer Mehrzahl von Lichtleitern (106) und eines Sensors (104), der an einer Sensorseite des Faserbündels (102) angeordnet ist, um durch die Lichtleiter (106) geleitetes Licht aufzunehmen, mit folgenden Merkmalen: einer Einrichtung zum Bereitstellen von Abbildungsparametern eines Lichtleiters (106), welche geometrische Eigenschaften eines von dem Lichtleiter auf dem Sensor erzeugten Intensitätsverlaufs beschreiben;
eine Datenaufnahmeeinrichtung zum Aufnehmen einer Intensitätsaufnahme (300) mittels des Sensors (104) ;
einer Optimiereinrichtung zum Bestimmen eines Amplitudenwertes für den Lichtleiter durch Anpassen einer Funktion des Amplitudenwertes und der Abbildungsparameter an die Intensitätsaufnahme; und
einer Verarbeitungseinrichtung zum Verwenden des Amplitudenwertes als Bildinformation des Lichtleiters (106), um das Bild zu erzeugen.
17. Vorrichtung zum Erzeugen von Abbildungsparametern ei- nes Lichtleiters (106) eines Faserbündels (102) einer Mehrzahl von Lichtleitern (106), welche geometrische Eigenschaften eines von dem Lichtleiter (106) auf einem Sensor erzeugten Intensitätsverlaufs beschreiben, mit folgenden Merkmalen:
einer Bildaufnahmeeinrichtung zum Aufnehmen einer von dem Lichtleiter (106) auf dem Sensor (104) erzeugten IntensitatsVerteilung;
einer Optimiereinrichtung zum Bestimmen der Abbildungsparameter durch Anpassen einer Funktion eines Amplitudenwertes und der Abbildungsparameter an die Intensitätsverteilung in einer Umgebung eines vorläufigen Abbildungsbereichs, dessen Ausdehnung von der geometrischen Beschaffenheit des Lichtleiters (106) abhängt; und einer Speichereinrichtung zum Speichern der Abbildungsparameter, wenn Ortsinformationen in den Abbildungsparametern auf eine Lichtleiterposition schließen lassen, die einen vorbestimmten Mindestabstand zu ei- ner Lichtleiterposition der übrigen Lichtleiter aufweist.
18. Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens nach Anspruch 1 oder 8, wenn das Programm auf einem Computer abläuft.
PCT/EP2007/002218 2006-03-14 2007-03-13 Verfahren und vorrichtung zum erzeugen einer strukturfreien fiberskopischen aufnahme WO2007104542A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP07723228A EP1994501A1 (de) 2006-03-14 2007-03-13 Verfahren und vorrichtung zum erzeugen einer strukturfreien fiberskopischen aufnahme
US12/282,697 US7801405B2 (en) 2006-03-14 2007-03-13 Method and device for generating a structure-free fiberscopic picture

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006011707.7 2006-03-14
DE102006011707A DE102006011707B4 (de) 2006-03-14 2006-03-14 Verfahren und Vorrichtung zum Erzeugen einer strukturfreien fiberskopischen Aufnahme

Publications (1)

Publication Number Publication Date
WO2007104542A1 true WO2007104542A1 (de) 2007-09-20

Family

ID=38042838

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2007/002218 WO2007104542A1 (de) 2006-03-14 2007-03-13 Verfahren und vorrichtung zum erzeugen einer strukturfreien fiberskopischen aufnahme

Country Status (4)

Country Link
US (1) US7801405B2 (de)
EP (1) EP1994501A1 (de)
DE (1) DE102006011707B4 (de)
WO (1) WO2007104542A1 (de)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP2010253156A (ja) * 2009-04-28 2010-11-11 Fujifilm Corp 内視鏡システム、内視鏡、並びに内視鏡駆動方法
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
AU2012257496B2 (en) * 2011-05-16 2017-05-25 Mauna Kea Technologies Continuous and real-time calibration of fiber-based microscopic images
IN2014CN02708A (de) 2011-09-28 2015-08-07 Pelican Imaging Corp
WO2013175686A1 (ja) * 2012-05-22 2013-11-28 パナソニック株式会社 撮像処理装置および内視鏡
EP2873028A4 (de) 2012-06-28 2016-05-25 Pelican Imaging Corp Systeme und verfahren zur erkennung defekter kamera-arrays, optischer arrays und sensoren
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP2888720B1 (de) 2012-08-21 2021-03-17 FotoNation Limited System und verfahren zur tiefenschätzung aus mit array-kameras aufgenommenen bildern
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014164550A2 (en) * 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US9456134B2 (en) 2013-11-26 2016-09-27 Pelican Imaging Corporation Array camera configurations incorporating constituent array cameras and constituent cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US8995798B1 (en) 2014-05-27 2015-03-31 Qualitrol, Llc Reflective element for fiber optic sensor
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
DE102015002301B4 (de) 2015-02-24 2022-11-10 Johann Biener Geräte zur optischen Beobachtung von astronomischen Vorgängen und Bildern, mit Ersatz von Hohlspiegeln durch Pixel-Digitaltechnik
CN107621463B (zh) * 2017-10-16 2024-03-22 苏州微景医学科技有限公司 图像重建方法、装置及显微成像装置
CN107678153B (zh) 2017-10-16 2020-08-11 苏州微景医学科技有限公司 光纤束图像处理方法和装置
US20190209015A1 (en) * 2017-12-18 2019-07-11 Arizona Board Of Regents On Behalf Of The University Of Arizona Multi-field miniaturized micro-endoscope
EP3518017B1 (de) * 2018-01-24 2020-06-17 Technische Universität Dresden Verfahren und faseroptisches system zur beleuchtung und detektion eines objekts mit licht
US11270110B2 (en) 2019-09-17 2022-03-08 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
MX2022004163A (es) 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
DE102019132384A1 (de) * 2019-11-28 2021-06-02 Carl Zeiss Meditec Ag Verfahren zum Erstellen eines hochaufgelösten Bildes, Datenverarbeitungssystem und optisches Beobachtungsgerät
JP7329143B2 (ja) 2019-11-30 2023-08-17 ボストン ポーラリメトリックス，インコーポレイティド 偏光キューを用いた透明な物体のセグメンテーションのためのシステム及び方法
WO2021154386A1 (en) 2020-01-29 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
EP4085424A4 (de) 2020-01-30 2024-03-27 Intrinsic Innovation Llc Systeme und verfahren zum synthetisieren von daten für das trainieren von statistischen modellen auf verschiedenen bildgebenden modalitäten, einschliesslich polarisierter bilder
DE102020107519A1 (de) 2020-03-18 2021-09-23 Carl Zeiss Meditec Ag Vorrichtung und Verfahren zum Klassifizieren eines Gehirngewebeareals, Computerprogramm, nichtflüchtiges computerlesbares Speichermedium und Datenverarbeitungsvorrichtung
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
KR102553001B1 (ko) 2021-10-05 2023-07-10 한국과학기술연구원 인공지능 기반의 이미지의 허니컴 아티팩트 제거 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5878159A (en) * 1996-05-02 1999-03-02 Andromis S.A. Method for processing endoscopic images obtained with multicore fibers or multifibers
EP0944025A2 (de) * 1998-03-20 1999-09-22 Philips Patentverwaltung GmbH Bildgebendes Verfahren und Vorrichtung für medizinische Untersuchungen
WO2000067060A1 (en) * 1999-04-30 2000-11-09 Digital Optical Imaging Corporation Methods and apparatus for improved depth resolution using out-of-focus information in microscopy
US20030076571A1 (en) * 1999-12-17 2003-04-24 Macaulay Calum E. Methods and apparatus for imaging using a light guide bundle and a spatial light modulator
WO2004019090A1 (en) * 2002-08-23 2004-03-04 G6 Science Corp. Non-coherent fiber optic apparatus and imaging method
US6885801B1 (en) * 2001-12-06 2005-04-26 Clear Image Technology Llc Enhancement of fiber based images
US20050207668A1 (en) * 2002-07-18 2005-09-22 Mauna Kea Tech. Method for processing an image acquired through a guide consisting of a plurality of optical fibers

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2708507A1 (de) * 1977-02-26 1978-08-31 Leitz Ernst Gmbh Bilduebertragungseinrichtung zur untersuchung von unzugaenglichen partien eines objektes
DE4318140C2 (de) * 1993-06-01 1996-07-18 Fraunhofer Ges Forschung Verfahren zur Zuordnung der einkoppelseitigen Enden der einzelnen Lichtleitfasern eines Lichtleiterbündels zu den auskoppelseitigen Enden dieser Lichtleitfasern

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5878159A (en) * 1996-05-02 1999-03-02 Andromis S.A. Method for processing endoscopic images obtained with multicore fibers or multifibers
EP0944025A2 (de) * 1998-03-20 1999-09-22 Philips Patentverwaltung GmbH Bildgebendes Verfahren und Vorrichtung für medizinische Untersuchungen
WO2000067060A1 (en) * 1999-04-30 2000-11-09 Digital Optical Imaging Corporation Methods and apparatus for improved depth resolution using out-of-focus information in microscopy
US20030076571A1 (en) * 1999-12-17 2003-04-24 Macaulay Calum E. Methods and apparatus for imaging using a light guide bundle and a spatial light modulator
US6885801B1 (en) * 2001-12-06 2005-04-26 Clear Image Technology Llc Enhancement of fiber based images
US20050207668A1 (en) * 2002-07-18 2005-09-22 Mauna Kea Tech. Method for processing an image acquired through a guide consisting of a plurality of optical fibers
WO2004019090A1 (en) * 2002-08-23 2004-03-04 G6 Science Corp. Non-coherent fiber optic apparatus and imaging method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DETLEF RUPRECHT AND HEINRICH MÜLLER: "Deformed Cross-dissolves for Image Interpolation in Scientific Visualization", THE JOURNAL OF VISUALIZATION AND COMPUTER ANIMATION, vol. 5, 1994, pages 167 - 181, XP002444319 *
FANG FANG ET AL.: "Methods for removing "honeycomb" noise of fiber-endoscopic images", PROCEEDINGS OF THE SPIE, vol. 4224, 2000, pages 60 - 63, XP002435019 *

Also Published As

Publication number Publication date
DE102006011707A1 (de) 2007-09-20
US20090092363A1 (en) 2009-04-09
EP1994501A1 (de) 2008-11-26
DE102006011707B4 (de) 2010-11-18
US7801405B2 (en) 2010-09-21

Similar Documents

Publication Publication Date Title
DE102006011707B4 (de) Verfahren und Vorrichtung zum Erzeugen einer strukturfreien fiberskopischen Aufnahme
DE60023495T2 (de) Verfahren und vorrichtung zur bildübertragung mittels nicht kohärentem optischen faserbündel
DE102017220104A1 (de) Linsensystem mit variabler Brennweite mit Mehrebenen-Bildverarbeitung mit erweiterter Tiefenschärfe
DE602004008681T2 (de) Mikroskop-System und Verfahren
EP3293558B1 (de) Vorrichtung zum erfassen eines stereobilds
DE102013021542A1 (de) Mikroskop und Verfahren zur SPIM Mikroskopie
EP1943625A2 (de) Verfahren und vorrichtung zur rekonstruktion von bildern
EP2791896B1 (de) Verfahren zur erzeugung von superaufgelösten bildern mit verbesserter bildauflösung und messvorrichtung
DE112014006672T5 (de) Bildverarbeitungsvorrichtung, Bildgebungsvorrichtung, Mikroskopsystem, Bildverarbeitungsverfahren und ein Bildverarbeitungsprogramm
EP2147346B1 (de) Vorrichtung und verfahren zur kompensation von farbverschiebungen in faseroptischen abbildunssystemen
WO2022043438A1 (de) Verfahren, bildverarbeitungseinheit und laserscanningmikroskop zum hintergrundreduzierten abbilden einer struktur in einer probe
EP2494522B1 (de) Verfahren zur bestimmung eines satzes von optischen abbildungsfunktionen für die 3d-strömungsmessung
EP3712670A1 (de) Verfahren zur hochauflösenden scanning-mikroskopie
DE102015011427B4 (de) Bildaufnahmesystem und Bildauswertesystem
DE102006004006B3 (de) Verfahren und Vorrichtung zur Erzeugung eines hoch aufgelösten Bildes für faseroptische Systeme
DE102012102580A1 (de) Verfahren zum Messen eines Objektes sowie Intraoral-Scanner
EP4187306A1 (de) Verfahren zum auswerten von messdaten eines lichtfeldmikro-skops und vorrichtung zur lichtfeldmikroskopie
DE112014006356B4 (de) Verfahren zur Verbesserung der Bildqualität eines Ladungsträgerteilchen-Rastermikroskops und Ladungsträgerteilchen-Rastermikroskop
DE10307331B4 (de) Bildgebendes Verfahren zur rechnergestützten Auswertung computer-tomographischer Messungen durch direkte iterative Rekonstruktion
DE102020113454A1 (de) Mikroskop und Verfahren zum Erzeugen eines aus mehreren mikroskopischen Einzelbildern zusammengesetzten Bildes
DE102020118500A1 (de) Mikroskop und Verfahren zum Generieren eines aus mehreren mikroskopischen Teilbildern zusammengesetzten Bildes
DE3107170A1 (de) "vorrichtung zur verminderung von ringartefakten in ct-bildern"
DE102009037397B3 (de) Dreidimensionale Abbildung einer Probenstruktur
DE102022101527A1 (de) Messvorrichtung und Messverfahren zum Überprüfen eines Messbildzustandes
DE69911780T2 (de) Verfahren zur modellierung von gegenständen oder dreidimensionalen szenen

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07723228

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 12282697

Country of ref document: US

Ref document number: 2007723228

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE