DE102009001520B4 - Apparatus and method for interframe interpolation - Google Patents

Apparatus and method for interframe interpolation Download PDF

Info

Publication number
DE102009001520B4
DE102009001520B4 DE102009001520.5A DE102009001520A DE102009001520B4 DE 102009001520 B4 DE102009001520 B4 DE 102009001520B4 DE 102009001520 A DE102009001520 A DE 102009001520A DE 102009001520 B4 DE102009001520 B4 DE 102009001520B4
Authority
DE
Germany
Prior art keywords
image signal
information
input image
images
compander
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102009001520.5A
Other languages
German (de)
Other versions
DE102009001520A1 (en
Inventor
Peter Rieder
Markus Schu
Kilian Jacob
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Entropic Communications LLC
Original Assignee
Entropic Communications LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Entropic Communications LLC filed Critical Entropic Communications LLC
Priority to DE102009001520.5A priority Critical patent/DE102009001520B4/en
Priority to PCT/EP2010/053196 priority patent/WO2010103106A1/en
Publication of DE102009001520A1 publication Critical patent/DE102009001520A1/en
Application granted granted Critical
Publication of DE102009001520B4 publication Critical patent/DE102009001520B4/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

Vorrichtung zur Zwischenbildinterpolation, die Folgendes aufweist: – einen Eingang zur Zuführung eines Eingangsbildsignals (F), das eine Folge von Bildern (F(i – 1), F(i)) repräsentiert, die jeweils eine Anzahl von Bildpunkten aufweist, denen jeweils eine Mehrzahl von Bildinformationswerten zugeordnet ist; – eine Kompandereinheit (1), der das Eingangsbildsignal (F) zugeführt ist und die dazu ausgebildet ist, aus dem Eingangsbildsignal (F) durch Kompandieren der Bildinformationswerte ein kompandiertes Bildsignal (F1) zu erzeugen, dessen Bilder die gleiche Anzahl von Bildpunkten besitzen wie die Bilder des Eingangsbildsignals (F), wobei die Kompandereinheit (1) dazu ausgebildet ist, einen Wertebereich der Bildinformationswerte der Bilder zu reduzieren, wobei die Bildinformationswerte Farbinformationen und Helligkeitsinformationen umfassen; – eine Bewegungsschätzeinheit (3), der das kompandierte Bildsignal (F1) zugeführt ist und die dazu ausgebildet ist, basierend auf dem kompandierten Bildsignal (F1) eine Bewegungsinformation (M) zu dem Eingangsbildsignal (F) zu ermitteln; – eine Interpolationseinheit (4), der das Eingangsbildsignal (F) und die Bewegungsinformation (M) zugeführt sind und die dazu ausgebildet ist, ein interpoliertes Bildsignal (F2) zu erzeugen, das eine Bildfolge repräsentiert, die im Vergleich zu der durch das Eingangsbildsignal (F) repräsentierten Bildfolge eine höhere Bildfrequenz und/oder Bilder mit anderen Bewegungsphasen aufweist, ...An inter-frame interpolation apparatus comprising: an input for supplying an input image signal (F) representing a sequence of images (F (i-1), F (i)) each having a number of pixels, one each Associated with a plurality of image information values; A compander unit (1) which is supplied with the input image signal (F) and which is adapted to generate from the input image signal (F) by companding the image information values a companded image signal (F1) whose images have the same number of pixels as the ones Images of the input image signal (F), wherein the compander unit (1) is adapted to reduce a range of values of the image information values of the images, the image information values comprising color information and brightness information; - a motion estimation unit (3) to which the companded image signal (F1) is supplied and which is adapted to determine based on the companded image signal (F1) motion information (M) to the input image signal (F); An interpolation unit (4), to which the input image signal (F) and the motion information (M) are fed and which is designed to produce an interpolated image signal (F2) which represents an image sequence which is compared to that obtained by the input image signal (F2). F) represented image sequence has a higher frame rate and / or images with other phases of motion, ...

Description

Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zur Zwischenbildinterpolation.The present invention relates to an apparatus and a method for interframe interpolation.

Vorrichtungen und Verfahren zur Zwischenbildinterpolation sind grundsätzlich bekannt und dienen beispielsweise dazu, aus einem Bildsignal, das eine Bildfolge mit einer ersten Bildfrequenz repräsentiert, ein interpoliertes Bildsignal, das eine Bildfolge mit einer zweiten, höheren Bildfrequenz repräsentiert, zu erzeugen. Anwendung finden solche Vorrichtungen und Verfahren beispielsweise in der Fernsehtechnik, um aus einem Bildsignal, das eine 50 Hz-(Halb)-Bildfolge repräsentiert, ein Bildsignal zu erzeugen, das eine 100 Hz-Bildfolge repräsentiert, oder um aus einem Kinofilmsignal, das eine 24 Hz-Bildfolge repräsentiert, ein 100 Hz-Bildsignal zu interpolieren.Devices and methods for interframe interpolation are known in principle and serve, for example, to generate an interpolated image signal representing an image sequence having a second, higher image frequency from an image signal which represents an image sequence with a first image frequency. Such apparatus and methods are used, for example, in television technology to generate an image signal representing a 100 Hz image sequence from an image signal representing a 50 Hz (half) image sequence, or from a motion picture film signal representing a 24 Hz image sequence represents interpolating a 100 Hz image signal.

Um die Zwischenbilder bewegungsrichtig interpolieren zu können, ist es bekannt, die Bilder der zu interpolierenden Bildfolge in Bildblöcke zu unterteilen und durch Vergleich der Bildinhalte aufeinanderfolgender Bilder Bewegungsinformationen zu den einzelnen Bildblöcken, beispielsweise in Form von Bewegungsvektoren, zu ermitteln. Diese Bewegungsinformation wird anschließend für die Interpolation der Inhalte der Bildblöcke der Zwischenbilder verwendet.In order to be able to interpolate the intermediate images in the correct direction, it is known to subdivide the images of the image sequence to be interpolated into image blocks and to determine motion information about the individual image blocks, for example in the form of motion vectors, by comparing the image contents of successive images. This motion information is then used for the interpolation of the contents of the image blocks of the intermediate images.

Die Bewegungsschätzung, d. h. die Ermittlung von Bewegungsinformationen zu Bildblöcken der zu interpolierenden Zwischenbilder kann sehr rechenaufwendig sein, insbesondere dann, wenn den Bildpunkten der Bilder der zu interpolierenden Bildfolge Bildinformationswerte zugeordnet sind, die aus einem großen Wertebereich stammen können. Dies ist beispielsweise dann der Fall, wenn die zu interpolierende Bildfolge eine Folge von Bildern mit hohem Dynamikbereich ist. Eine solche Bildfolge wird nachfolgend auch als HDR-Bildfolge (HDR = High Dynamic Range) bezeichnet. Den Bildpunkten der Bilder einer solchen HDR-Bildfolge sind beispielsweise Bildinformationen in Form von Datenworten mit einer Datenwortbreite von 32 Bit zugeordnet.The motion estimation, d. H. The determination of movement information on image blocks of the intermediate images to be interpolated can be very computationally intensive, in particular if the image points of the images of the image sequence to be interpolated are assigned image information values which can originate from a large range of values. This is the case, for example, if the image sequence to be interpolated is a sequence of images with a high dynamic range. Such an image sequence is also referred to below as HDR image sequence (HDR = High Dynamic Range). The pixels of the images of such an HDR image sequence are associated, for example, with image information in the form of data words having a data word width of 32 bits.

Die Publikation ”Multi-level pixel difference classification methods”, Y. Chan et al., International Conference on Image Processing, IEEE, 23. bis 26. Oktober 1995, Vol. 3, Seite 252 bis 255, befasst sich mit Verfahren zur Pixel Difference Classification und beschreibt eine Verallgemeinerung, die als Multi-Level Pixel Difference Classification bezeichnet wird. Eine besondere Untermenge der Multi-Level Pixel Difference Classification ist ein Bit-Truncation Verfahren. Dabei werden einige der am wenigsten signifikanten Bits eines Bildpunktes fallengelassen. So wird ein Videosignal um einige der am wenigsten signifikanten Bits gekürzt, ehe es einer Bewegungsschätzeinheit zugeleitet wird.The publication "Multi-level pixel difference classification methods", Y. Chan et al., International Conference on Image Processing, IEEE, October 23-26, 1995, Vol. 3, pp. 252-255, is concerned with methods for pixels Difference Classification and describes a generalization called Multi-Level Pixel Difference Classification. A special subset of the Multi-Level Pixel Difference Classification is a bit-truncation method. In doing so, some of the least significant bits of a pixel are dropped. Thus, a video signal is truncated by some of the least significant bits before being passed to a motion estimator.

In der Publikation ”Motion compensated frame rate conversion using a specialized instruction set processor”, N. Beucher et al., IEEE Workshop on Signal Processing Systems Design and Implementation SIPS, 2. bis 4. Oktober 2006, Seite 130 bis 135, ist eine Bildratenkonversion beschrieben, welche bewegungskompensiert realisiert wird.In the publication "Motion compensated frame rate conversion using a specialized instruction set processor", N. Beucher et al., IEEE Workshop on Signal Processing Systems Design and Implementation SIPS, 2-4 October 2006, pages 130-135, is one Frame rate conversion described, which is realized motion compensated.

In der Publikation ”New Motion Estimation Algorithm Using Adaptively Quantized Low Bit-Resolution Image and Its VLSI Architecture for MPEG2 Video Encoding”, Seongsoo Lee et al., IEEE transactions on circuits and systems for video technology, Oktober 1998, Vol. 8, No. 6, Seiten 734 bis 744, ISSN 1051–8215 wird ein weiteres Verfahren zur Bewegungsschätzung beschrieben, bei dem zur Ermittlung einer Bewegungsinformation bei unterschiedlich hohen Pixelauflösungen potentielle Bewegungsvektoren errechnet werden.In the publication "New Motion Estimation Algorithm Using Adaptively Quantized Low-Bit-Resolution Image and Its VLSI Architecture for MPEG2 Video Encoding", Seongsoo Lee et al., IEEE transactions on circuits and systems for video technology, October 1998, Vol. 8, No , 6, pages 734 to 744, ISSN 1051-8215, a further method for motion estimation is described in which potential motion vectors are calculated to determine a motion information at different pixel resolutions.

US 5,737,023 B beschreibt ein Verfahren zur Bewegungsschätzung, bei dem die Pixelauflösung von Halbbildern reduziert wird, bevor eine Bewegungsschätzung vorgenommen wird. US 5,737,023 B describes a method of motion estimation in which the pixel resolution of fields is reduced before a motion estimation is made.

US 2002/0036705 A1 beschreibt ein Verfahren zur Bewegungsschätzung, bei dem informationslose Leerzeilen, die jede zweite Bildzeile ausmachen, gelöscht werden; hierdurch werden Halbbild-Felder gebildet, die anschließend in progressiv projizierbare Vollbilder umgewandelt werden. Durch das Löschen der informationslosen Leerzeilen wird die Anzahl der Pixel bzw. Bildpunkte der ursprünglichen Bilder halbiert. US 2002/0036705 A1 describes a method of motion estimation in which informationless blank lines that make up every other image line are deleted; As a result, field fields are formed, which are then converted into progressively projectable frames. Deleting the blank information lines halves the number of pixels or pixels of the original images.

US 6,192,079 B1 zeigt ein Verfahren, bei dem eine Bewegungsschätzung jeweils basierend auf Blöcken von Bildpunkten durchgeführt wird, was einer zumindest vorübergehenden Verringerung der Pixelzahl der Bilder gleichkommt. US 6,192,079 B1 shows a method in which a motion estimation is performed on the basis of blocks of pixels, which equates to an at least temporary reduction in the pixel number of the images.

EP 0883298 A2 zeigt eine Vorrichtung zur Zwischenbildinterpolation, bei der Feldern bzw. Halbbildern interpolierte Bildzeilen hinzugefügt werden. Dadurch entstehen Vollbilder mit doppelter Bildgröße bzw. doppelter Pixelzahl. EP 0883298 A2 shows an apparatus for inter-frame interpolation, are added to the fields or fields interpolated image lines. This results in frames with double image size or double the number of pixels.

WO 2008/081611 A1 zeigt eine Vorrichtung zur Zwischenbildinterpolation, die eine Bewegungsschätzung unter ausschließlicher Verwendung von Helligkeitssignalen durchführt, wohingegen Farbinformationen ohne Einfluss auf die Bewegungsschätzung bleiben. WO 2008/081611 A1 shows an apparatus for inter-frame interpolation, which performs a motion estimation using only brightness signals, whereas color information has no influence on the motion estimation.

Aufgabe der vorliegenden Erfindung ist es, eine Vorrichtung zur Zwischenbildinterpolation sowie ein Verfahren zur Zwischenbildinterpolation zur Verfügung zu stellen, bei denen für die Bewegungsschätzung ein geringerer Rechenaufwand benötigt wird, aber dennoch eine zuverlässige Bewegungsschätzung erreicht wird.The object of the present invention is to provide a device for inter-frame interpolation and a method for inter-frame interpolation for To provide, in which for the motion estimation a lower computational effort is needed, but still a reliable motion estimation is achieved.

Diese Aufgabe wird durch eine Vorrichtung gemäß Anspruch 1 und durch ein Verfahren gemäß Anspruch 13 gelöst.This object is achieved by a device according to claim 1 and by a method according to claim 13.

Die erfindungsgemäße Vorrichtung zur Zwischenbildinterpolation umfasst:

  • – einen Eingang zur Zuführung eines Eingangsbildsignals, das eine Folge von Bildern repräsentiert, die jeweils eine Anzahl von Bildpunkten aufweist, denen jeweils wenigstens eine Mehrzahl von Bildinformationswerten zugeordnet ist;
  • – eine Kompandereinheit, der das Eingangsbildsignal zugeführt ist und die dazu ausgebildet ist, aus dem Eingangsbildsignal durch Kompandieren der Bildinformationswerte ein kompandiertes Bildsignal zu erzeugen, dessen Bilder die gleiche Anzahl von Bildpunkten besitzen wie die Bilder des Eingangsbildsignals, wobei die Kompandereinheit dazu ausgebildet ist, einen Wertebereich der Bildinformationswerte der Bilder zu reduzieren, wobei die Bildinformationswerte Farbinformationen und Helligkeitsinformationen umfassen;
  • – eine Bewegungsschätzeinheit, der das kompandierte Bildsignal zugeführt ist und die dazu ausgebildet ist, basierend auf dem kompandierten Bildsignal eine Bewegungsinformation zu dem Eingangsbildsignal zu ermitteln; und
  • – eine Interpolationseinheit, der das Eingangsbildsignal und die Bewegungsinformation zugeführt sind und die dazu ausgebildet ist, ein interpoliertes Bildsignal zu erzeugen, das eine Bildfolge repräsentiert, die im Vergleich zu der durch das Eingangsbildsignal repräsentierten Bildfolge eine höhere Bildfrequenz und/oder Bilder mit anderen Bewegungsphasen aufweist.
The device according to the invention for interpixel interpolation comprises:
  • An input for supplying an input image signal representing a sequence of images each having a number of pixels each associated with at least a plurality of image information values;
  • A compander unit which is supplied with the input image signal and which is arranged to generate from the input image signal by companding the image information values a companded image signal whose images have the same number of pixels as the images of the input image signal, the compander unit being adapted to produce a Reduce the range of image information values of the images, the image information values comprising color information and brightness information;
  • A motion estimation unit supplied with the companded image signal and configured to determine motion information about the input image signal based on the companded image signal; and
  • An interpolation unit to which the input image signal and the motion information are applied and which is adapted to generate an interpolated image signal representing an image sequence which has a higher image frequency and / or images with different motion phases compared to the image sequence represented by the input image signal ,

Hierbei ist die Kompandereinheit dazu ausgebildet, den Wertebereich der Bildinformationswerte zu reduzieren, indem sowohl die Farbinformationen als auch die Helligkeitsinformationen der Bilder kompandiert werden, und das auf diese Weise kompandierte Bildsignal wird der Bewegungsschätzeinheit zugeführt.Here, the compander unit is configured to reduce the value range of the image information values by companding both the color information and the brightness information of the images, and the image signal companded in this manner is supplied to the motion estimation unit.

Das erfindungsgemäße Verfahren zur Zwischenbildinterpolation umfasst:

  • – Bereitstellen eines Eingangsbildsignals, das eine Folge von Bildern repräsentiert, die jeweils eine Anzahl von Bildpunkten aufweist, denen jeweils eine Mehrzahl von Bildinformationswerten zugeordnet ist;
  • – Erzeugen eines kompandierten Bildsignals, dessen Bilder die gleiche Anzahl von Bildpunkten besitzen wie die Bilder des Eingangsbildsignals, aus dem Eingangsbildsignal durch Kompandieren von Bildern des Eingangsbildsignals, deren Bildinformationswerte Farbinformationen und Helligkeitsinformationen umfassen, wodurch ein Wertebereich der Bildinformationswerte reduziert wird;
  • – Ermitteln einer Bewegungsinformation zu dem Eingangsbildsignal anhand des kompandierten Bildsignals; und
  • – Erzeugen eines interpolierten Bildsignals, das eine Bildfolge repräsentiert, die im Vergleich zu der durch das Eingangsbildsignal repräsentierten Bildfolge eine höhere Bildfrequenz und/oder Bilder mit anderen Bewegungsphasen aufweist, aus dem Eingangsbildsignal unter Verwendung der Bewegungsinformation.
The method according to the invention for interpixel interpolation comprises:
  • Providing an input image signal representing a sequence of images each having a number of pixels each associated with a plurality of image information values;
  • Generating a companded image signal whose images have the same number of pixels as the images of the input image signal, from the input image signal by companding images of the input image signal whose image information values include color information and brightness information, thereby reducing a range of values of the image information values;
  • - Determining a motion information to the input image signal based on the companded image signal; and
  • Generating an interpolated image signal representing an image sequence having a higher image frequency and / or images with different motion phases compared to the image sequence represented by the input image signal, from the input image signal using the motion information.

Hierbei wird der Wertebereich der Bildinformationswerte reduziert, indem sowohl die Farbinformationen als auch die Helligkeitsinformationen der Bilder kompandiert werden, und das auf diese Weise kompandierte Bildsignal wird beim Ermitteln der Bewegungsinformation verwendet.Here, the value range of the image information values is reduced by companding both the color information and the brightness information of the images, and the image signal companded in this manner is used in obtaining the motion information.

Unter einem Kompandieren der Bildinformationswerte ist im Zusammenhang mit der vorliegenden Beschreibung eine Reduktion des Wertebereichs der Bildinformationswerte zu verstehen. Diese Reduktion des Wertebereichs kann wahlweise unter Verwendung einer linearen oder einer nicht-linearen Kompanderkennlinie erfolgen. Bei einem Beispiel ist vorgesehen, dass die Bildinformationswerte des Eingangsbildsignals jeweils durch Datenworte mit einer Datenwortbreite von 32 Bit repräsentiert sind und dass diese Bildinformationswerte auf kompandierte Bildinformationswerte abgebildet werden, die jeweils durch ein Datenwort mit einer Datenwortbildbreite Von 8 Bit repräsentiert sind. Im einfachsten Fall erfolgt eine solche Kompandierung beispielsweise dadurch, dass das zu kompandierende Datenwort in eine Anzahl von Teildatenworten unterteilt wird, die jeweils gleiche oder unterschiedliche Datenwortbreiten besitzen und dass sich das kompandierte Datenwort jeweils aus den signifikantesten Bits (MSB) der Teildatenworte zusammensetzt.A companding of the image information values is to be understood in the context of the present description as a reduction of the value range of the image information values. This reduction of the range of values can optionally be done using a linear or a non-linear compander characteristic. In one example, the image information values of the input image signal are each represented by data words having a data word width of 32 bits, and these image information values are mapped to companded image information values, each represented by a data word having an 8-bit data word image width. In the simplest case, such companding takes place, for example, in that the data word to be compiled is subdivided into a number of partial data words which each have the same or different data word widths and in which the companded data word is composed of the most significant bits (MSB) of the partial data words.

Indem bei dieser Vorrichtung bzw. bei diesem Verfahren die Bewegungsschätzung nicht auf das Eingangsbildsignal, sondern auf das hinsichtlich seines Datenumfangs reduzierte kompandierte Bildsignal angewendet wird, lässt sich der Rechenaufwand im Zusammenhang mit der Bewegungsschätzung erheblich reduzieren.By applying the motion estimation not to the input image signal but to the companded image signal which is reduced in terms of its data volume, the computation effort associated with the motion estimation can be significantly reduced in this apparatus or in this method.

Ausführungsbeispiele werden nachfolgend unter Bezugnahme auf Figuren näher erläutert. Diese Figuren dienen zur Veranschaulichung des Grundprinzips, so dass lediglich die zur Veranschaulichung dieses Grundprinzips notwendigen Aspekte dargestellt sind. In den Figuren bezeichnen, sofern nicht anders angegeben, gleiche Bezugszeichen gleiche Merkmale mit gleicher Bedeutung.Embodiments will be explained in more detail with reference to figures. These figures serve to illustrate the basic principle, so that only the aspects necessary to illustrate this basic principle are shown. In the figures, unless otherwise indicated, like reference numerals designate like features having the same meaning.

1 veranschaulicht schematisch eine durch ein Eingangsbildsignal repräsentierte Eingangsbildfolge und ein aus dieser Eingangsbildfolge resultierende interpolierte Bildfolge. 1 schematically illustrates an input image sequence represented by an input image signal and an interpolated image sequence resulting from this input image sequence.

2 veranschaulicht ein Beispiel einer Vorrichtung zur Erzeugung der interpolierten Bildfolge aus der Eingangsbildfolge, die eine Kompandereinheit, eine Bewegungsschätzeinheit und eine Interpolationseinheit aufweist. 2 Fig. 12 illustrates an example of an apparatus for generating the interpolated image sequence from the input image sequence, which comprises a companding unit, a motion estimation unit and an interpolation unit.

3 veranschaulicht die Funktionsweise eines Beispiels einer Kompandereinheit. 3 illustrates the operation of an example of a compander unit.

4 veranschaulicht anhand eines Blockschaltbilds ein Beispiel der Bewegungsschätzeinheit. 4 illustrates, by way of a block diagram, an example of the motion estimation unit.

5 veranschaulicht anhand eines Blockschaltbilds ein Beispiel einer Interpolationseinheit. 5 illustrates a block diagram of an example of an interpolation unit.

6 veranschaulicht anhand eines Blockschaltbilds ein weiteres Beispiel einer Vorrichtung zur Erzeugung einer interpolierten Bildfolge aus einer Eingangsbildfolge. 6 illustrates a block diagram of another example of a device for generating an interpolated image sequence from an input image sequence.

1 zeigt schematisch eine Bildfolge, die nachfolgend auch als Eingangsbildfolge bezeichnet wird und die zeitlich aufeinanderfolgende Bilder F(i – 1), F(i) aufweist. Diese Bilder sind in 1 als zeitlich aufeinanderfolgende Bilder dargestellt, wobei t die Zeit und k eine diskrete Zeitvariable bezeichnet. Die einzelnen Bilder F(i – 1), F(i) weisen jeweils eine Anzahl von Bildpunkten (Pixel) auf, denen jeweils wenigstens ein Bildinformationswert zugeordnet ist. Sind diese Bilder Farbbilder, so sind jedem Bildpunkt beispielsweise drei Bildinformationswerte zugeordnet, entweder ein Rot-Wert (R), ein Grün-Wert (G) und ein Blau-Wert (B) bei einer RGB-Darstellung, oder ein Luminanzwert (Y-Wert) und zwei Chrominanzwerte (U-Wert und V-Wert) bei einer YUV-Darstellung. Aus verschiedenen Gründen kann es wünschenswert sein, an zeitlichen Positionen zwischen zwei aufeinanderfolgenden Bildern F(i – 1), F(i) der Eingangsbildfolge bewegungsrichtig Zwischenbilder zu interpolieren. ”Bewegungsrichtig” heißt in diesem Zusammenhang, dass diese Zwischenbilder so interpoliert werden, dass sich bewegende Objekte, die sich in einem Bild F(i – 1) der Eingangsbildfolge an einer ersten Position und in dem zweiten Bild F(i) an einer zweiten Position befinden, sich in dem wenigstens einen Zwischenbild an einer räumlichen Position zwischen der ersten und zweiten Position befinden. Die relative räumliche Lage dieses Objekts zwischen der ersten und zweiten Position entspricht dabei der relativen zeitlichen Lage des interpolierten Zwischenbilds zwischen den zeitlichen Positionen des ersten und zweiten Bilds F(i – 1), F(i). In 1 sind beispielhaft zwei solcher zu interpolierender Zwischenbilder F(i–)(α1 – 1)) und F(i – (α2 – 1)) dargestellt. Diese Zwischenbilder unterscheiden sich von den Eingangsbildern F(i – 1), F(i) hinsichtlich ihrer Bewegungsphase α, die grundsätzlich zwischen 0 und 1 liegen kann. In dem dargestellten Beispiel besitzen die Eingangsbilder beispielsweise die Bewegungsphase α = 0 oder α = 1, während die Zwischenbilder Bewegungsphasen α = α1 und α = α2 besitzen, die zwischen 0 und 1 liegen. 1 schematically shows an image sequence, which is hereinafter also referred to as input image sequence and the temporally successive images F (i - 1), F (i). These pictures are in 1 as temporally successive images, where t denotes the time and k denotes a discrete time variable. The individual images F (i-1), F (i) each have a number of pixels (pixels), to each of which at least one image information value is assigned. For example, if these images are color images, each pixel is associated with three image information values, either a red value (R), a green value (G) and a blue value (B) in an RGB representation, or a luminance value (Y). Value) and two chrominance values (U value and V value) in a YUV representation. For various reasons, it may be desirable to interpolate intermediate images at temporal positions between two successive images F (i-1), F (i) of the input image sequence. "Moving correctly" in this context means that these intermediate images are interpolated such that moving objects located in an image F (i-1) of the input image sequence at a first position and in the second image F (i) at a second position are located in the at least one intermediate image at a spatial position between the first and second position. The relative spatial position of this object between the first and second position corresponds to the relative temporal position of the interpolated intermediate image between the temporal positions of the first and second image F (i-1), F (i). In 1 By way of example, two such intermediate images F (i -) (α 1 - 1)) to be interpolated and F (i - (α 2 - 1)) are shown. These intermediate images differ from the input images F (i-1), F (i) in terms of their motion phase α, which may in principle be between 0 and 1. For example, in the illustrated example, the input images have the motion phase α = 0 or α = 1, while the intermediate images have motion phases α = α 1 and α = α 2 ranging from 0 to 1.

Die Eingangsbildfolge kann hinsichtlich der Bildinformationswerte, die den einzelnen Pixel zugeordnet sind, insbesondere eine hochaufgelöste Bildfolge, wie z. B. eine HDR-Bildfolge sein. Diese Bildinformationswerte können dabei im Vergleich zu herkömmlichen Fernsehbildern einem hohen Wertebereich entstammen. Bei HDR-Bildfolgen ist jedem Pixel beispielsweise ein digitales Datenwort mit einer Wortbreite von 32 Bit zugeordnet, von denen 24 bit die Farbverteilung und 8 bit die Helligkeit bestimmen. Ein digitales Datenwort für ein Pixel eines HDR-Bilds umfasst also: 8 bit für einen Rotanteil (R); 8 bit für einen Grünanteil (G); 8 bit für einen Blauanteil (G); 8 bit für einen die Helligkeit bestimmenden Exponenten.The input image sequence may, with regard to the image information values assigned to the individual pixels, in particular a high-resolution image sequence, such. B. be an HDR image sequence. These image information values can come from a high range of values compared to conventional television images. In the case of HDR image sequences, each pixel is assigned, for example, a digital data word with a word width of 32 bits, of which 24 bits determine the color distribution and 8 bits the brightness. A digital data word for a pixel of an HDR image thus comprises: 8 bits for a red component (R); 8 bits for a green component (G); 8 bits for a blue component (G); 8 bits for a brightness-determining exponent.

Zu Zwecken einer Zwischenbildinterpolation ist es grundsätzlich bekannt, eine sogenannte Bewegungsschätzung zu einzelnen Bildblöcken des zu interpolierenden Zwischenbildes durchzuführen. Das Zwischenbild wird hierbei in einzelne Blöcke unterteilt, die matrixartig angeordnet sind und die beispielsweise 8×8 oder 16×16 Bildpunkte umfassen. Zu jedem dieser Bildblöcke wird eine Bewegungsinformation ermittelt, die für jeden zu interpolierenden Bildblock angibt, unter Verwendung der Bildinhalte welcher Bildblöcke in dem ersten und zweiten Bild F(i – 1), F(i) der Bildinhalt des zu interpolierenden Bildblocks zu interpolieren ist. Diese Bewegungsinformation liegt beispielsweise in Form eines sogenannten Bewegungsvektors vor. Die Ermittlung dieser Bewegungsinformation kann beispielsweise mittels eines rekursiven Bewegungsschätzverfahrens erfolgen. Ein solches Verfahren ist grundsätzlich bekannt, so dass auf weitere Ausführungen hierzu verzichtet werden kann.For purposes of interframe interpolation, it is generally known to perform a so-called motion estimation for individual image blocks of the intermediate image to be interpolated. In this case, the intermediate image is subdivided into individual blocks, which are arranged in a matrix-like manner and which comprise, for example, 8 × 8 or 16 × 16 pixels. For each of these image blocks, motion information indicating each image block to be interpolated is obtained by using the image contents of which image blocks in the first and second images F (i-1), F (i) the image content of the image block to be interpolated is to be interpolated. This movement information is present, for example, in the form of a so-called motion vector. The determination of this motion information can take place, for example, by means of a recursive motion estimation method. Such a method is basically known, so that it is possible to dispense with further explanations.

Die Ermittlung einer Bewegungsinformation zu einem zu interpolierenden Bildblock erfordert abhängig vom verwendeten Schätzverfahren mehrere Vergleiche zwischen den Bildinhalten von Bildblöcken in dem ersten Bild F(i – 1) einerseits und dem zweiten Bild F(i) andererseits. Ein solcher ”Blockvergleich” ist dabei umso rechenaufwendiger, je größer die Wertebereiche sind, denen die einzelnen Pixelwerte entstammen. Eine Vorrichtung und ein mit dieser Vorrichtung durchführbares Verfahren zur Zwischenbildinterpolation mit der bzw. mit dem sich dieser Rechenaufwand reduzieren lässt, wird nachfolgend anhand von 2 veranschaulicht.The determination of motion information for an image block to be interpolated requires, depending on the estimation method used, several comparisons between the image contents of image blocks in the first image F (i-1) on the one hand and the second image F (i) on the other hand. Such a "block comparison" is all the more computationally intensive, the larger the value ranges to which the individual pixel values originate. A device and a method for inter-frame interpolation that can be carried out with this device and with which this computational complexity can be reduced will be described below with reference to FIG 2 illustrated.

2 zeigt schematisch eine Vorrichtung zur Zwischenbildinterpolation. Diese Vorrichtung besitzt einen Eingang zur Zuführung eines Eingangsbildsignals F, das eine Eingangsbildfolge, wie beispielsweise die anhand von 1 veranschaulichte Bildfolge mit den Bildern F(i – 1), F(i) repräsentiert. Dieses Eingangsbildsignal F enthält also eine Abfolge der Pixelwerte, die den Pixeln in den einzelnen Bildern zugeordnet sind. Dieses Eingangsbildsignal F ist zum Einen einer Kompandereinheit 1 und zum Anderen einer Interpolationseinheit 4 zugeführt. Optional ist zwischen den Eingang und die Interpolationseinheit 4 ein Verzögerungsglied 2 geschaltet, das dazu dient, eine Signalverzögerung, die durch die noch zu erläuternde Verarbeitung des Eingangsbildsignals F in der Kompandereinheit 1 resultiert, zu ”kompensieren”. Die Kompandereinheit 1 ist dazu ausgebildet, aus dem Eingangsbildsignal F ein kompandiertes Bildsignal F1 zu erzeugen, indem sie die in dem Eingangsbildsignal F enthaltenen Pixelwerte kompandiert. Die Eingangsbildfolge F umfasst beispielsweise eine Abfolge von Datenworten einer Wortbreite von jeweils n Bit, und das kompandierte Bildsignal F1 umfasst beispielsweise eine Abfolge von Datenworten mit einer Wortbreite von m Bit, wobei m kleiner als n ist. 2 schematically shows an apparatus for inter-frame interpolation. This device has an input for supplying an input image signal F, which is an input image sequence, such as those based on 1 illustrated image sequence with the images F (i-1), F (i) represents. This input image signal F thus contains a sequence of the pixel values which are assigned to the pixels in the individual images. This input image signal F is on the one hand a compander unit 1 and on the other hand, an interpolation unit 4 fed. Optional is between the input and the interpolation unit 4 a delay element 2 , which serves to provide a signal delay, by the processing of the input image signal F in the compander unit to be explained later 1 results in "compensating". The compander unit 1 is adapted to generate from the input image signal F a companded image signal F1 by companding the pixel values contained in the input image signal F. The input image sequence F comprises, for example, a sequence of data words of a word width of n bits each, and the companded image signal F1 comprises, for example, a sequence of data words with a word width of m bits, where m is smaller than n.

Das kompandierte Bildsignal F1 repräsentiert eine Bildfolge, die dieselbe Bildfrequenz besitzt, wie die durch die Eingangsbildfolge F repräsentierte Bildfolge, und deren Bilder die gleiche Anzahl von Bildpunkten besitzen wie die Bilder der Eingangbildfolge. Mit anderen Worten: Die durch die kompandierte Bildfolge F1 repräsentierte Bildfolge resultiert aus der Eingangsbildfolge durch Reduzieren der Darstellungsgenauigkeit der Pixelwerte und somit der hierfür benötigten Datenmenge. Bei einem Beispiel ist vorgesehen, dass die Pixelwerte der Eingangsbildfolge Datenworte der Breite n = 32 Bit sind, während die Pixelwerte der ”kompandierten Bildfolge” Datenworte der Breite m = 8 Bit sind. In diesem Fall liegt eine Reduktion der Datenmenge um einen Faktor 4 vor. Diese Reduktion der Datenmenge kann auf beliebige Weise sowohl unter Verwendung einer linearen als auch unter Verwendung einer nicht-linearen Kompanderkennlinie erfolgen. Kompander zur Kompandierung eines HDR-Bilds, beispielsweise auf ein 8-Bit-Bild sind grundsätzlich bekannt, so dass auf weitere Ausführungen hierzu verzichtet werden kann.The companded image signal F1 represents an image sequence which has the same frame rate as the image sequence represented by the input image sequence F and whose images have the same number of pixels as the images of the input image sequence. In other words, the image sequence represented by the companded image sequence F1 results from the input image sequence by reducing the representation accuracy of the pixel values and thus the amount of data required for this purpose. In one example, it is provided that the pixel values of the input image sequence are data words of width n = 32 bits, while the pixel values of the "companded image sequence" are data words of width m = 8 bits. In this case, there is a factor of 4 reduction in the amount of data. This reduction in the amount of data can be done in any manner using both a linear and a nonlinear compander characteristic. Compander for companding an HDR image, for example, to an 8-bit image are basically known, so that it can be dispensed with further explanations.

Lediglich zum besseren Verständnis veranschaulicht 3 die Funktionsweise eines Beispiels eines Kompanders, der ein HDR-Bild mit 32 Bit je Pixel auf ein Bild mit 8 Bit je Pixel kompandiert. Mit D ist in 3 ein Datenwort eines Pixels eines HDR-Bilds bezeichnet. Von den 32 Bit dieses Datenworts repräsentieren 8 Bit einen Rotanteil R des Bildpunkts, 8 Bit einen Grünanteil G, 8 Bit einen Blauanteil B und 8 Bit einen die Helligkeit bestimmenden Exponenten E. In einem kompandierten Datenwort D' mit 8 Bit repräsentieren beispielsweise nur noch 2 Bit einen Rotanteil R, 2 Bit einen Grünanteil G, 2 Bit einen Blauanteil B und 2 Bit einen die Helligkeit bestimmenden Exponenten E. Die Umsetzung der die Farbanteile repräsentierenden Teildatenworte von je 8 Bit in dem ursprünglichen Datenwort auf die Farbanteile repräsentierenden Teildatenworte von je 2 Bit in dem kompandierten Datenwort kann unter Verwendung einer beliebigen linearen oder nicht-linearen Kompanderkennlinie erfolgen. Bei einem Beispiel ist vorgesehen, von den 8 Bit breiten Teildatenworten jeweils die 6 am wenigstens signifikanten Bits (LSBs, Least Significant Bits) zu streichen, um die 2 Bit breiten Teildatenworte zu erhalten. In entsprechender Weise kann der Exponent kompandiert werden. In diesem Zusammenhang sei noch angemerkt, dass die Farbanteile und der Exponent auf unterschiedliche Weise, d. h. unter Verwendung unterschiedlicher Kompanderkennlinien, kompandiert werden können.Only illustrated for a better understanding 3 how an example of a compander compandes a 32-bit per pixel HDR image to an 8-bit per pixel image. With D is in 3 denotes a data word of a pixel of an HDR image. Of the 32 bits of this data word, 8 bits represent a red component R of the pixel, 8 bits a green component G, 8 bits a blue component B and 8 bits a brightness determining exponent E. For example, in a compiled data word D 'with 8 bits only 2 represent Bit a red component R, 2 bits a green component G, 2 bits a blue component B and 2 bits a brightness-determining exponent E. The conversion of the color components representing partial data words of 8 bits in the original data word to the color components representing partial data words of 2 bits in the companded data word can be done using any linear or non-linear compander characteristic. In one example, it is intended to delete from the 8-bit-wide partial data words in each case the 6 least significant bits (LSBs, Least Significant Bits) in order to obtain the 2-bit-wide partial data words. In a similar way, the exponent can be companded. In this context, it should be noted that the color components and the exponent can be companded in different ways, ie using different compander characteristics.

Bei einem weiteren Beispiel (nicht dargestellt) ist vorgesehen, das Datenwort D durch Streichen des Exponenten E zu kompandieren. Das hieraus resultierende Datenwort besitzt in diesem Fall eine Wortlänge von 24 Bit. Zusätzlich zum Streichen des Exponenten, der die Helligkeitsinformation repräsentiert, besteht die Möglichkeit, die Farbinformationen für Rot, Grün und Blau zu kompandieren, um die Datenwortbreite weiter zu reduzieren. Der Kompandierungsfaktor ist dabei abhängig von der im Ergebnis gewünschten Wortbreite des Datenworts D'. Die Wortbreite der die Farben repräsentierenden Teildatenworte im kompandierten Datenwort D' ist beispielsweise zwischen 3 Bit und 6 Bit, wobei die einzelnen Farben sowohl bezüglich des Kompandierungsfaktors als auch bezüglich der Kompanderkennlinie unterschiedlich kompandiert werden können.In another example (not shown) it is provided to compander the data word D by deleting the exponent E. The resulting data word in this case has a word length of 24 bits. In addition to deleting the exponent representing the brightness information, it is possible to compand the red, green and blue color information to further reduce the data word width. The companding factor is dependent on the word width of the data word D 'desired in the result. The word width of the partial data words representing the colors in the companded data word D 'is, for example, between 3 bits and 6 bits, wherein the individual colors can be companded differently both with regard to the companding factor and with respect to the compander characteristic.

Bei einem weiteren Beispiel ist vorgesehen, das Datenwort D durch Streichen der Farbanteile zu kompandieren. Das kompandierte Datenwort entspricht in diesem Fall dem Exponenten E. Eine Bewegungsschätzung wird in diesem Fall ausschließlich unter Verwendung der durch den Exponenten repräsentierten Helligkeitsinformation durchgeführt.In another example, it is provided to compander the data word D by deleting the color components. The companded data word in this case corresponds to the exponent E. A motion estimation in this case is performed exclusively using the brightness information represented by the exponent.

Das kompandierte Bildsignal F1 ist einer Bewegungsschätzeinheit 3 zugeführt, die dazu ausgebildet ist, eine Bewegungsinformation zu dem Eingangsbildsignal F basierend auf dem kompandierten Bildsignal F1 zu ermitteln. Diese Bewegungsschätzeinheit 3 kann eine herkömmliche Bewegungsschätzeinheit sein, beispielsweise eine Bewegungsschätzeinheit, die zu jedem zu interpolierenden Bildblock eines gewünschten Zwischenbildes eine Bewegungsinformation durch Vergleich einzelner Bildblöcke aufeinanderfolgender Bilder der durch das kompandierte Bildsignal F1 repräsentierten ”kompandierten Bildfolge” ermittelt. Ein solcher Blockvergleich umfasst einen Vergleich der einzelnen Bildpunkte (Pixel) dieser Blöcke. Bei diesem Vergleich können alle Bildinformationen verglichen werden, die durch die kompandierten Datenworte einzelnen Bildpunkten zugeordnet sind. Es können allerdings auch nur Teile der kompandierten Datenworte miteinander verglichen werden, wie z. B. nur eine oder mehrere der Farbinformationen oder nur die Helligkeitsinformation.The companded image signal F1 is a motion estimation unit 3 supplied, which is adapted to determine a movement information to the input image signal F based on the companded image signal F1. This movement estimation unit 3 may be a conventional motion estimation unit, for example a motion estimation unit which determines motion information for each image block of a desired intermediate image to be interpolated by comparing individual image blocks of successive images of the "companded image sequence" represented by the companded image signal F1. Such a block comparison comprises a comparison of the individual pixels of these blocks. In this comparison, all image information can be compared by the Companded data words are assigned to individual pixels. However, only parts of the companded data words can be compared with each other, such. B. only one or more of the color information or only the brightness information.

Die Bewegungsinformation wird beispielsweise in Form von Bewegungsvektoren ermittelt, wobei beispielsweise jedem Bildblock eines zu interpolierenden Bildes ein solcher Bewegungsvektor zugeordnet ist. Diese Bewegungsinformation M ist der Interpolationseinheit 4 zugeführt, die dazu ausgebildet ist, basierend auf dem Eingangsbildsignal F und dieser Bewegungsinformation M ein interpoliertes Bildsignal F2 zu erzeugen, das eine Bildfolge mit interpolierten Bildern repräsentiert. Diese Bildfolge mit interpolierten Bildern kann bezugnehmend auf 1 eine Bildfolge sein, die die Eingangsbilder und die interpolierten Zwischenbilder umfasst, die also eine höhere Bildfrequenz als die Eingangsbildfolge besitzt. Diese Bildfolge mit interpolierten Bilder kann jedoch auch eine Bildfolge sein, die die Eingangsbilder nicht mehr enthält und die lediglich Bilder mit anderen Bewegungsphasen als die Eingangsbilder umfasst.The motion information is determined, for example, in the form of motion vectors, wherein, for example, each image block of an image to be interpolated is assigned such a motion vector. This motion information M is the interpolation unit 4 supplied, which is adapted to generate based on the input image signal F and this motion information M an interpolated image signal F2, which represents an image sequence with interpolated images. This image sequence with interpolated images can refer to 1 an image sequence comprising the input images and the interpolated intermediate images, which thus has a higher frame rate than the input image sequence. However, this image sequence with interpolated images can also be an image sequence that no longer contains the input images and that only includes images with different motion phases than the input images.

Bei dem erfindungsgemäßen Verfahren bzw. der erfindungsgemäßen Vorrichtung ist der Rechenaufwand für die Bewegungsschätzung reduziert, da die Bewegungsschätzung nicht auf die Eingangsbildfolge F sondern auf die eine verringerte Datenmenge umfassende kompandierte Bildfolge F1 angewendet wird. Die Bewegungsschätzeinheit 3 und die Interpolationseinheit 4 können dabei herkömmliche Bewegungsschätzeinheiten und Interpolationseinheiten 4 sein.In the method according to the invention or the device according to the invention, the computational outlay for the motion estimation is reduced since the motion estimation is not applied to the input image sequence F but to the companded image sequence F1 comprising a reduced data quantity. The movement estimation unit 3 and the interpolation unit 4 can use conventional motion estimation units and interpolation units 4 be.

Ein Beispiel einer Bewegungsschätzeinheit 3 ist schematisch in 4 dargestellt. Diese Bewegungsschätzeinheit 3 umfasst zwei Speicher 31, 32, die dazu ausgebildet sind, je ein kompandiertes Bild der durch das kompandierte Bildsignal F1 repräsentierten Bildfolge zu speichern. Das kompandierte Bildsignal F1 ist hierbei einem ersten Speicher 31 unmittelbar und einem zweiten Speicher 32 über ein Verzögerungsglied 33 zeitverzögert zugeführt. Eine Verzögerungsdauer des Verzögerungsglieds 33 entspricht hierbei der Bilddauer eines Bildes, so dass zu einem Zeitpunkt in den beiden Speichern 31, 32 zwei Bilder abgespeichert sind, die in der kompandierten Bildfolge zeitlich aufeinanderfolgen. Die Bewegungsschätzeinheit 3 umfasst außerdem einen Bewegungsschätzer 34, der auf die beiden Speicher 31, 32 zugreift, um einzelne Bildblöcke der abgespeicherten Bilder miteinander zu vergleichen. Die Bewegungsschätzeinheit 3 kann außerdem einen Bewegungsvektorspeicher 35 umfassen, in dem Bewegungsvektoren abgespeichert sind, die der Bewegungsschätzer 34 zur Bewegungsschätzung verwendet. Die Bewegungsinformation M steht am Ausgang des Bewegungsschätzers 34 zur Verfügung. Diese Bewegungsinformation M liegt beispielsweise in Form von Bewegungsvektoren vor, wobei der Bewegungsschätzer 34 zu jedem Bildblock eines zu interpolierenden Zwischenbildes einen Bewegungsvektor erzeugt. Bei einem Beispiel ist dabei vorgesehen, dass für Bewegungsphasen α = 0 und α = 1 keine Bewegungsschätzung durchgeführt wird, sondern dass für diese Bewegungsphasen unmittelbar die Bilder der Eingangsbildfolge in die interpolierte Bildfolge übernommen werden.An example of a motion estimator 3 is schematic in 4 shown. This movement estimation unit 3 includes two memories 31 . 32 , which are each designed to store a companded image of the image sequence represented by the companded image signal F1. The companded image signal F1 is in this case a first memory 31 immediately and a second memory 32 via a delay element 33 supplied delayed. A delay time of the delay element 33 This corresponds to the image duration of an image, so that at one time in the two memories 31 . 32 two images are stored, which follow one another temporally in the companded image sequence. The movement estimation unit 3 also includes a motion estimator 34 that is on the two memories 31 . 32 accesses to compare individual image blocks of the stored images with each other. The movement estimation unit 3 also has a motion vector memory 35 in which motion vectors are stored, that of the motion estimator 34 used for motion estimation. The motion information M is at the output of the motion estimator 34 to disposal. This motion information M is present, for example, in the form of motion vectors, wherein the motion estimator 34 generates a motion vector for each image block of an intermediate image to be interpolated. In one example, it is provided that no motion estimation is performed for motion phases α = 0 and α = 1, but that the images of the input image sequence are directly taken over into the interpolated image sequence for these motion phases.

Ein Beispiel einer Interpolationseinheit 4, die dazu ausgebildet ist, unter Verwendung der Bewegungsinformation M aus dem Eingangsbildsignal F das interpolierte Bildsignal F2 zu erzeugen, ist in 5 dargestellt. Diese Interpolationseinheit 4 umfasst zwei Speicher 41, 42, die jeweils in der Lage sind, ein Bild der Eingangsbildfolge zu speichern. Das Eingangsbildsignal F ist hierbei einem der Speicher 41 unmittelbar und einem zweiten 42 der Speicher über ein Verzögerungsglied 43, das eine Verzögerungsdauer von 1 Bit besitzt, zugeführt. Die Interpolationseinheit 4 umfasst außerdem einen Interpolator 44, der auf die beiden Speicher 41, 42 zugreift und der dazu ausgebildet ist, jeden Bildblock eines zu interpolierenden Zwischenbildes dadurch zu interpolieren, dass unter Verwendung des dem Bildblock zugeordneten Bewegungsvektors die Bildinhalte je eines in dem ersten Speicher 41 abgespeicherten Bildblock und eines in dem zweiten Speicher 42 abgespeicherten Bildblocks gemischt werden.An example of an interpolation unit 4 , which is adapted to generate the interpolated image signal F2 from the input image signal F using the motion information M, is shown in FIG 5 shown. This interpolation unit 4 includes two memories 41 . 42 each capable of storing an image of the input image sequence. The input image signal F is one of the memories 41 immediately and a second 42 the memory via a delay element 43 which has a delay time of 1 bit supplied. The interpolation unit 4 also includes an interpolator 44 that is on the two memories 41 . 42 which is adapted to interpolate each image block of an intermediate image to be interpolated by using the motion vector associated with the image block, the image contents of each one in the first memory 41 stored image block and one in the second memory 42 stored image blocks are mixed.

6 veranschaulicht anhand eines Blockschaltbilds eine weitere Vorrichtung zur Zwischenbildinterpolation und ein durch diese Vorrichtung durchführbares Verfahren. Bei dieser Vorrichtung ist das Eingangsbildsignal F unmittelbar der Bewegungsschätzeinheit 3 zugeführt, die in diesem Fall dazu ausgebildet ist, eine Bewegungsschätzung zu dem unkompandierten Eingangssignal F durchzuführen und eine Bewegungsinformation M zu dem Eingangsbildsignal F zu erzeugen. Diese Bewegungsinformation M wird in der Interpolationseinheit 4 dazu verwendet, das interpolierte Bildsignal F2 zu erzeugen. Dieses interpolierte Bildsignal F2 kann beispielsweise eine Bildfolge mit Eingangsbildern und interpolierten Zwischenbildern repräsentieren, wie es in 1 dargestellt ist. Dieses interpolierten Bildsignal ist einer Kompandereinheit 1 zugeführt, die dazu ausgebildet ist, aus diesem interpolierten Zwischenbildsignal F2 ein kompandiertes interpoliertes Bildsignal F3 zu erzeugen. Das kompandierte Bildsignal F3 besitzt die gleiche Bildfrequenz wie das interpolierte Bildsignal F2, jedoch einen reduzierten Dynamikbereich hinsichtlich der Pixelwerte der einzelnen Pixel. Der Umfang der Kompandierung ist beispielsweise an die Darstellungsmöglichkeiten eines Anzeigegerätes angepasst, auf dem das kompandierte interpolierte Bildsignal F3 dargestellt werden soll. Diese Vorrichtung ermöglicht es, beispielsweise eine Eingangsbildfolge, die eine HDR-Bildfolge ist, zu interpolieren und auf einem herkömmlichen Fernsehgerät darzustellen. Die Anwendung der Bewegungsschätzung auf die Eingangsbildfolge ist zwar rechenaufwendig, bietet jedoch den Vorteil einer genaueren Bewegungsschätzung. 6 illustrates a block diagram of another device for inter-frame interpolation and a feasible method by this device. In this device, the input image signal F is immediately the motion estimation unit 3 which, in this case, is adapted to perform a motion estimation on the uncompensated input signal F and to generate a motion information M to the input image signal F. This motion information M is stored in the interpolation unit 4 used to generate the interpolated image signal F2. This interpolated image signal F2 can represent, for example, an image sequence with input images and interpolated intermediate images, as shown in FIG 1 is shown. This interpolated image signal is a compander unit 1 supplied, which is adapted to generate from this interpolated intermediate image signal F2 a companded interpolated image signal F3. The companded image signal F3 has the same frame rate as the interpolated image signal F2 but has a reduced dynamic range with respect to the pixel values of the individual pixels. The scope of the companding is adapted, for example, to the display options of a display device on which the companded interpolated image signal F3 is to be displayed. This device makes it possible, for example, to interpolate an input image sequence which is an HDR image sequence and to display it on a conventional television set. Although the application of the motion estimation to the input image sequence is computation-intensive, it offers the advantage of a more accurate motion estimation.

Claims (15)

Vorrichtung zur Zwischenbildinterpolation, die Folgendes aufweist: – einen Eingang zur Zuführung eines Eingangsbildsignals (F), das eine Folge von Bildern (F(i – 1), F(i)) repräsentiert, die jeweils eine Anzahl von Bildpunkten aufweist, denen jeweils eine Mehrzahl von Bildinformationswerten zugeordnet ist; – eine Kompandereinheit (1), der das Eingangsbildsignal (F) zugeführt ist und die dazu ausgebildet ist, aus dem Eingangsbildsignal (F) durch Kompandieren der Bildinformationswerte ein kompandiertes Bildsignal (F1) zu erzeugen, dessen Bilder die gleiche Anzahl von Bildpunkten besitzen wie die Bilder des Eingangsbildsignals (F), wobei die Kompandereinheit (1) dazu ausgebildet ist, einen Wertebereich der Bildinformationswerte der Bilder zu reduzieren, wobei die Bildinformationswerte Farbinformationen und Helligkeitsinformationen umfassen; – eine Bewegungsschätzeinheit (3), der das kompandierte Bildsignal (F1) zugeführt ist und die dazu ausgebildet ist, basierend auf dem kompandierten Bildsignal (F1) eine Bewegungsinformation (M) zu dem Eingangsbildsignal (F) zu ermitteln; – eine Interpolationseinheit (4), der das Eingangsbildsignal (F) und die Bewegungsinformation (M) zugeführt sind und die dazu ausgebildet ist, ein interpoliertes Bildsignal (F2) zu erzeugen, das eine Bildfolge repräsentiert, die im Vergleich zu der durch das Eingangsbildsignal (F) repräsentierten Bildfolge eine höhere Bildfrequenz und/oder Bilder mit anderen Bewegungsphasen aufweist, wobei die Kompandereinheit (1) dazu ausgebildet ist, den Wertebereich der Bildinformationswerte zu reduzieren, indem sowohl die Farbinformationen als auch die Helligkeitsinformationen der Bilder kompandiert werden, und wobei das auf diese Weise kompandierte Bildsignal (F1) der Bewegungsschätzeinheit (3) zugeführt wird.An inter-frame interpolation apparatus comprising: an input for supplying an input image signal (F) representing a sequence of images (F (i-1), F (i)) each having a number of pixels, one each Associated with a plurality of image information values; - a compander unit ( 1 to which the input image signal (F) is applied and which is adapted to generate from the input image signal (F) by companding the image information values a companded image signal (F1) whose images have the same number of pixels as the images of the input image signal (F ), the compander unit ( 1 ) is adapted to reduce a range of values of the image information values of the images, the image information values comprising color information and brightness information; - a movement estimation unit ( 3 ) to which the companded image signal (F1) is supplied and which is adapted to determine, based on the companded image signal (F1), a movement information (M) to the input image signal (F); An interpolation unit ( 4 ) to which the input image signal (F) and the motion information (M) are applied and which is adapted to generate an interpolated image signal (F2) representing an image sequence which is one compared to the image sequence represented by the input image signal (F) higher frame rate and / or images with other motion phases, the compander unit ( 1 ) is adapted to reduce the value range of the image information values by companding both the color information and the brightness information of the images, and the image signal (F1) computed in this way is computed by the motion estimation unit (1). 3 ) is supplied. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Kompandereinheit (1) dazu ausgebildet ist, die Helligkeitsinformationen des Eingangsbildsignals (F) auf andere Weise zu kompandieren als die Farbinformationen des Eingangsbildsignals (F).Device according to claim 1, characterized in that the compander unit ( 1 ) is adapted to compand the brightness information of the input image signal (F) in a different manner than the color information of the input image signal (F). Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Kompandereinheit (1) dazu ausgebildet ist, die Helligkeitsinformationen und die Farbinformationen unter Verwendung unterschiedlicher Kompanderkennlinien zu kompandieren.Device according to claim 1 or 2, characterized in that the compander unit ( 1 ) is configured to compander the brightness information and the color information using different compander characteristics. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Kompandereinheit (1) dazu ausgebildet ist, die Farbinformationen einzelner Farben unter Verwendung unterschiedlicher Kompanderkennlinien und/oder mit unterschiedlichen Kompandierungsfaktoren zu kompandieren.Device according to one of claims 1 to 3, characterized in that the compander unit ( 1 ) is configured to compander the color information of individual colors using different compander characteristics and / or with different companding factors. Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Kompandereinheit (1) dazu ausgebildet ist, ein Eingangsbildsignal (F) zu kompandieren, das aus Datenworten einer ersten Datenwortbreite (n) zusammengesetzt ist, um ein kompandiertes Bildsignal (F) einer reduzierten Datenwortbreite (m) zu erzeugen.Device according to one of claims 1 to 4, characterized in that the compander unit ( 1 ) is adapted to compand an input image signal (F) composed of data words of a first data word width (n) to produce a companded image signal (F) of a reduced data word width (m). Vorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Kompandereinheit (1) dazu ausgebildet ist, die Helligkeitsinformationen und die Farbinformationen zu kompandieren, indem für die Helligkeit (E) und für jeden Farbanteil (R, G, B) des Eingangsbildsignals (F) die Breite eines zugehörigen Teildatenworts auf eine bestimmte Anzahl von Bits reduziert wird.Device according to one of claims 1 to 5, characterized in that the compander unit ( 1 ) is configured to compander the brightness information and the color information by reducing the width of an associated partial data word to a certain number of bits for the brightness (E) and for each color component (R, G, B) of the input image signal (F). Vorrichtung nach Anspruch einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Kompandereinheit (1) dazu ausgebildet ist, ein aus Datenworten mit einer Datenwortbreite von 32 Bit bestehendes Eingangsbildsignal (F) in ein kompandiertes Bildsignal (F) mit einer Datenwortbreite von 8 Bit zu kompandieren.Device according to one of Claims 1 to 6, characterized in that the compander unit ( 1 ) is adapted to compand an input image signal (F) consisting of data words having a data word width of 32 bits into a companded image signal (F) having a data word width of 8 bits. Vorrichtung nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Kompandereinheit (1) dazu ausgebildet ist, die Helligkeitsinformationen und die Farbinformationen zu kompandieren, indem für die Helligkeit (E) und für jeden Farbanteil (R, G, B) des Eingangsbildsignals (F) die Breite des zugehörigen Teildatenworts von acht Bit auf zwei Bit reduziert wird.Apparatus according to claim 6 or 7, characterized in that the compander unit ( 1 ) is configured to compand the brightness information and the color information by reducing the width of the associated sub-data word from eight bits to two bits for the brightness (E) and for each color component (R, G, B) of the input image signal (F). Vorrichtung nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass die Kompandereinheit (1) dazu ausgebildet ist, die Helligkeitsinformationen und die Farbinformationen zu kompandieren, indem für die Helligkeit (E) und für jeden Farbanteil (R, G, B) des Eingangsbildsignals (F) sechs am wenigsten signifikante Bits gestrichen werden.Device according to one of claims 6 to 8, characterized in that the compander unit ( 1 ) is configured to compander the brightness information and the color information by stripping six least significant bits for the brightness (E) and for each color component (R, G, B) of the input image signal (F). Vorrichtung nach Anspruch einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Kompandereinheit (1) dazu ausgebildet ist, ein Eingangsbildsignal (F) aus Datenworten, die sich aus Werten für die Luminanz (Y) und für die Chrominanz (U, V) gemäß der YUV-Darstellung zusammensetzen, zu empfangen und zu kompandieren.Device according to one of Claims 1 to 5, characterized in that the compander unit ( 1 ) is adapted to receive and compand an input image signal (F) from data words composed of values for the luminance (Y) and for the chrominance (U, V) according to the YUV representation. Vorrichtung nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die Vorrichtung dazu ausgebildet ist, das Eingangsbildsignal (F) sowohl der Kompandereinheit (1) als auch der Interpolationseinheit (4) zuzuführen.Device according to one of claims 1 to 10, characterized in that the device is adapted to the input image signal (F) both the compander unit ( 1 ) as well as the interpolation unit ( 4 ). Vorrichtung nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die Vorrichtung und/oder die Interpolationseinheit (4) dazu ausgebildet ist, ein interpoliertes Bildsignal (F2) zu erzeugen, das keine Bilder des Eingangsbildsignals (F) mehr enthält und das lediglich Bilder umfassst, die andere Bewegungsphasen besitzen als die Bilder des Eingangsbildsignals (F).Device according to one of claims 1 to 11, characterized in that the device and / or the interpolation unit ( 4 ) is adapted to generate an interpolated image signal (F2) which no longer contains images of the input image signal (F) and which only comprises images having different phases of motion than the images of the input image signal (F). Verfahren zur Zwischenbildinterpolation, das Folgendes umfasst: – Bereitstellen eines Eingangsbildsignals (F), das eine Folge von Bildern (F(i – 1), F(i)) repräsentiert, die jeweils eine Anzahl von Bildpunkten aufweist, denen jeweils eine Mehrzahl von Bildinformationswerten zugeordnet ist; – Erzeugen eines kompandierten Bildsignals (F1), dessen Bilder die gleiche Anzahl von Bildpunkten besitzen wie die Bilder des Eingangsbildsignals (F), aus dem Eingangsbildsignal (F) durch Kompandieren von Bildern des Eingangsbildsignals (F) deren Bildinformationswerte Farbinformationen und Helligkeitsinformationen umfassen, wodurch ein Wertebereich der Bildinformationswerte reduziert wird; – Ermitteln einer Bewegungsinformation (M) zu dem Eingangsbildsignal (F) anhand des kompandierten Bildsignals (F1); – Erzeugen eines interpolierten Bildsignals (F2), das eine Bildfolge repräsentiert, die im Vergleich zu der durch das Eingangsbildsignal (F) repräsentierten Bildfolge eine höhere Bildfrequenz und/oder Bilder mit anderen Bewegungsphasen aufweist, aus dem Eingangsbildsignal (F) unter Verwendung der Bewegungsinformation, wobei der Wertebereich der Bildinformationswerte reduziert wird, indem sowohl die Farbinformationen als auch die Helligkeitsinformationen der Bilder kompandiert werden, und wobei das auf diese Weise kompandierte Bildsignal (F1) beim Ermitteln der Bewegungsinformation verwendet wird.An inter-frame interpolation method comprising: - providing an input image signal (F) representing a sequence of images (F (i-1), F (i)) each having a number of pixels each associated with a plurality of image information values; Generating a companded image signal (F1) whose images have the same number of pixels as the images of the input image signal (F) from the input image signal (F) by companding images of the input image signal (F) whose image information values comprise color information and brightness information, thereby Value range of the image information values is reduced; - Determining a movement information (M) to the input image signal (F) based on the companded image signal (F1); Generating an interpolated image signal (F2) representing an image sequence which has a higher image frequency and / or images with different motion phases compared to the image sequence represented by the input image signal (F), from the input image signal (F) using the motion information, wherein the range of values of the image information values is reduced by companding both the color information and the brightness information of the images, and the thus companded image signal (F1) is used in obtaining the motion information. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass die Helligkeitsinformationen des Eingangsbildsignals (F) auf andere Weise kompandiert werden als die Farbinformationen des Eingangsbildsignals (F).A method according to claim 13, characterized in that the brightness information of the input image signal (F) are companded in a different way than the color information of the input image signal (F). Verfahren nach Anspruch 13 oder 14, dadurch gekennzeichnet, dass Datenworte des Eingangsbildsignals (F) kompandiert werden, indem sowohl für die Helligkeitsinformationen als auch für die Farbinformationen jedes Farbanteils (R, G, B) des Eingangsbildsignals (F) die Breite von zugehörigen Teildatenworten auf eine bestimmte Anzahl von Bits reduziert wird.The method of claim 13 or 14, characterized in that data words of the input image signal (F) are companded by on both the luminance information and for the color information of each color component (R, G, B) of the input image signal (F) the width of the associated partial data words, a certain number of bits is reduced.
DE102009001520.5A 2009-03-12 2009-03-12 Apparatus and method for interframe interpolation Expired - Fee Related DE102009001520B4 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102009001520.5A DE102009001520B4 (en) 2009-03-12 2009-03-12 Apparatus and method for interframe interpolation
PCT/EP2010/053196 WO2010103106A1 (en) 2009-03-12 2010-03-12 Device and method for intermediate image interpolation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102009001520.5A DE102009001520B4 (en) 2009-03-12 2009-03-12 Apparatus and method for interframe interpolation

Publications (2)

Publication Number Publication Date
DE102009001520A1 DE102009001520A1 (en) 2010-09-23
DE102009001520B4 true DE102009001520B4 (en) 2016-02-25

Family

ID=42174436

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009001520.5A Expired - Fee Related DE102009001520B4 (en) 2009-03-12 2009-03-12 Apparatus and method for interframe interpolation

Country Status (2)

Country Link
DE (1) DE102009001520B4 (en)
WO (1) WO2010103106A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737023A (en) * 1996-02-05 1998-04-07 International Business Machines Corporation Hierarchical motion estimation for interlaced video
EP0883298A2 (en) * 1997-06-04 1998-12-09 Hitachi, Ltd. Conversion apparatus for image signals and TV receiver
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
US20020036705A1 (en) * 2000-06-13 2002-03-28 Samsung Electronics Co., Ltd. Format converter using bi-directional motion vector and method thereof
WO2008081611A1 (en) * 2006-12-27 2008-07-10 Sharp Kabushiki Kaisha Image display device and method, and image processing device and method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8085852B2 (en) * 2007-06-26 2011-12-27 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737023A (en) * 1996-02-05 1998-04-07 International Business Machines Corporation Hierarchical motion estimation for interlaced video
EP0883298A2 (en) * 1997-06-04 1998-12-09 Hitachi, Ltd. Conversion apparatus for image signals and TV receiver
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
US20020036705A1 (en) * 2000-06-13 2002-03-28 Samsung Electronics Co., Ltd. Format converter using bi-directional motion vector and method thereof
WO2008081611A1 (en) * 2006-12-27 2008-07-10 Sharp Kabushiki Kaisha Image display device and method, and image processing device and method

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BEUCHER, N. (et al.): Motion compensated frame rate conversion using a specialized instruction set processor. In: IEEE Workshop on Signal Processing Design and Implementation SIPS '06, 2.-4. Oktober 2006, S. 130-135.-ISSN 1520-6130 *
CHAN, YIN, KUNG, S.Y.: Multi-level pixel difference classification methods. In: International conference on image processing, IEEE, 23.-26. Oktober 1995, Vol. 3, S. 252-255 *
SEONGSOO, LEE (et al.): New motion estimation algorithm using adaptively quantized lowbitresolution image and its architecture for MPEG2 video encoding. In: IEEE transactions on circuits and systems for video technology. Oktober 1998, Vol. 8, Ausgabe 6, S. 734-744. ISSN 1051-8215 *

Also Published As

Publication number Publication date
DE102009001520A1 (en) 2010-09-23
WO2010103106A1 (en) 2010-09-16

Similar Documents

Publication Publication Date Title
DE69831886T2 (en) Method and apparatus for image signal conversion
DE3814627C2 (en)
DE60100645T2 (en) Display device for generating intermediate gray levels and method for processing image signals
DE69908562T2 (en) MOTION VECTOR EXTRAPOLATION FOR TRANSCODING VIDEO SEQUENCES
DE60307942T2 (en) Digital noise reduction techniques
DE3222648A1 (en) ADAPTABLE INTER-FRAME PREDICTION DEVICE FOR TELEVISION SIGNALS
DE102009044406A1 (en) Method and apparatus for processing video data of a liquid crystal display device
EP0468279A2 (en) Method for determining motion vectors for the blocks of a source image sequence
DE69626475T2 (en) Method for correcting motion estimation in images with periodic structures
DE60221711T2 (en) UNIT AND METHOD FOR ESTIMATING A CURRENT MOTION VECTOR
DE102007027642A1 (en) Method for processing a sequence of images with successive video images to improve the spatial resolution
DE102008006928A1 (en) Frame interpolation device and method
DE10315442A1 (en) Process and circuit for scaling raster images
EP2105883A1 (en) Method for testing a movement vector
DE3444836A1 (en) Method for converting a video signal
DE60200579T2 (en) METHOD AND DEVICE FOR NOISE REDUCTION IN PICTURES
DE102009001520B4 (en) Apparatus and method for interframe interpolation
EP0363677A2 (en) Circuit for the estimation of movement in a detected picture
DE602004001225T2 (en) PROCESSING SIGNALS FOR A COLOR EQUENTIAL DISPLAY
DE60126642T2 (en) MOTION COMPENSATED ABSTRACT ENHANCEMENT FOR VIDEO SIGNALS
DE4206622A1 (en) METHOD FOR IMPROVING THE MOTION ESTIMATION IN MOVING IMAGE SEQUENCES IN SEMI-PUMP ACCURACY
EP1397002B1 (en) A gradient based method for the interpolation of picture elements
EP0579651A1 (en) Coding process.
DE102009001518B4 (en) Method for generating an HDR video image sequence
EP0639922B1 (en) Motion detection circuit for picture signal

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8181 Inventor (new situation)

Inventor name: JACOB, KILIAN, 81825 MUENCHEN, DE

Inventor name: SCHU, MARKUS, 85435 ERDING, DE

Inventor name: RIEDER, PETER, 81737 MUENCHEN, DE

R016 Response to examination communication
R084 Declaration of willingness to licence
R084 Declaration of willingness to licence

Effective date: 20111122

Effective date: 20110426

R016 Response to examination communication
R082 Change of representative

Representative=s name: EPPING HERMANN FISCHER, PATENTANWALTSGESELLSCH, DE

R081 Change of applicant/patentee

Owner name: ENTROPIC COMMUNICATIONS, INC., US

Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD., GRAND CAYMAN, KY

Effective date: 20121022

Owner name: ENTROPIC COMMUNICATIONS, INC., SAN DIEGO, US

Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD., GRAND CAYMAN, KY

Effective date: 20121022

R082 Change of representative

Representative=s name: EPPING HERMANN FISCHER, PATENTANWALTSGESELLSCH, DE

Effective date: 20121022

Representative=s name: EPPING HERMANN FISCHER PATENTANWALTSGESELLSCHA, DE

Effective date: 20121022

R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee