DE10323189B4 - MPEG-2 data stream processing device, decodes individual elementary streams of dismantled data stream, alters stream e.g. for time stretching - Google Patents
MPEG-2 data stream processing device, decodes individual elementary streams of dismantled data stream, alters stream e.g. for time stretching Download PDFInfo
- Publication number
- DE10323189B4 DE10323189B4 DE2003123189 DE10323189A DE10323189B4 DE 10323189 B4 DE10323189 B4 DE 10323189B4 DE 2003123189 DE2003123189 DE 2003123189 DE 10323189 A DE10323189 A DE 10323189A DE 10323189 B4 DE10323189 B4 DE 10323189B4
- Authority
- DE
- Germany
- Prior art keywords
- mpeg
- data stream
- data
- video
- stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
- H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
Die Erfindung betrifft eine Anordnung zur Verarbeitung einesSchritt MPEG-2 Datenstroms mit einer Einrichtung zum Zerlegen des MPEG-2 Datenstroms in einzelne Elementarströme und einer Einrichtung zur Dekodierung der einzelnen Elementarströme.The The invention relates to an arrangement for processing a step MPEG-2 data stream with a device for decomposing the MPEG-2 Data stream into individual elementary streams and a device for Decoding of the individual elementary streams.
Die Erfindung betrifft ferner ein Verfahren zur Veränderung eines MPEG-2 Datenstroms, wobei der MPEG-2 Datenstrom Video-, Audiodaten sowie Zeitstempel zur Synchronisation aufweist und bei der die Veränderung des MPEG-2 Datenstroms einer Zeitlupe, einem schnellen Bildvorlauf oder einem schnellen Bildrücklauf bezüglich der Videodaten des MPEG-2 Datenstroms entspricht.The The invention further relates to a method for modifying an MPEG-2 data stream, where the MPEG-2 data stream video, audio data and timestamp for synchronization and in which the change of the MPEG-2 data stream a slow motion, a fast forward or fast rewind with respect to the Video data of the MPEG-2 data stream corresponds.
Der MPEG-2 Standard, auch bekannt als ISO 13818-Standard, dient vornehmlich zur Kodierung von Video- bzw. Audiodaten. Der Standard ist in insgesamt vier Bereiche unterteilt, die unter anderem die Kodierungs- bzw. Dekodierungsalgorithmen für einen Videodatenstrom beschreiben. Der MPEG-2 Standard kombiniert verschiedene Audio- bzw. Videodatenströme durch ein Multiplex-Verfahren und fügt zusätzlich zeitliche Informationen ein, die für die synchrone Wiedergabe von Video- und dazugehöriger Audiodaten erforderlich sind. Alle hier vorkommenden Begriffe, sowie ihre zugehörigen Funktionen sind, soweit nicht eigens definiert der oben genannten Spezifikation entnehmbar.Of the MPEG-2 Standard, also known as ISO 13818 standard, is primarily used for encoding video or audio data. The standard is in total subdivided four areas, which among other things the coding or Decoding algorithms for one Describe video data stream. The MPEG-2 standard combines different Audio or video data streams through a multiplexing process and adds additional temporal information one for Synchronous playback of video and related audio data is required are. All terms used here, as well as their associated functions, are Unless specifically defined, the above specification is removable.
Um einen MPEG-2 Datenstrom zu dekodieren, wird er zuerst in einer Demultiplexer-Einheit in seine einzelnen Teildatenströ me zerlegt und ausgewählte Ströme einem MPEG-2 Dekoder zugeführt. Dieser dekodiert aus den Videodaten die Bildinformation und gibt diese als Videosignal aus, die Audiodatenströme werden als Audiosignale ausgegeben, wobei das Audiosignal analog oder digital sein kann.Around To decode an MPEG-2 data stream, it first becomes a demultiplexer unit into his individual partial data streams disassembled and selected streams fed to an MPEG-2 decoder. This decodes the image information from the video data and outputs it as a video signal, the audio data streams are as audio signals output, wherein the audio signal can be analog or digital.
Solche Einrichtungen sind unter anderem bei DVD-Spielern bekannt. Eine DVD (Digital Versatile Disk) verwendet zur Speicherung der Bild bzw. Tondaten den MPEG-2 Standard. Dadurch ist es möglich, auf einer DVD einen Film inklusive mehrerer Tonspuren in beispielsweise verschiedenen Sprachen abzulegen. Die Verarbeitung eines so gelesenen MPEG-2 Datenstroms erfolgt mittels Hard- oder Software.Such Facilities are known among DVD players. A DVD (Digital Versatile Disk) uses to save the image or sound data the MPEG-2 standard. This makes it possible on a DVD including a movie including several soundtracks in for example different languages. The processing of such a read MPEG-2 data stream is done by hardware or software.
Bei üblichen DVD-Spielern wünscht ein Benutzer neben der normalen Spiel/Stopp-Funktion ebenso weitere tricktechnische Bearbeitungen, wie beispielsweise einen schnellen Vorlauf bzw. Rücklauf oder auch die Zeitlupenfunktion.At usual DVD players wishes a user in addition to the normal play / stop function as well Tricktechnische edits, such as a fast Flow or return or also the slow motion function.
Ein
Verfahren zur tricktechnischen Darstellung eines komprimierten Videodatenstroms,
also z.B. MPEG-2, wird in der Druckschrift
Weitere
Verfahren für
eine tricktechnische Wiedergabe eines Datenstroms werden in den
Dokumenten
Dieses führt bislang dazu, daß eine zusätzliche Datei erzeugt und auf dem Datenträger, z.B. der DVD, abgelegt wurde, in der der zusätzliche Hilfsdatenstrom gespeichert ist. Dadurch wird jedoch zusätzlicher Speicherplatz verbraucht.This leads so far to that one additional File created and stored on the disk, e.g. the DVD, filed was in which the extra Auxiliary data is stored. This will however additional Consumption of storage space.
Die
Druckschrift
Eine weitere Methode, um einen schnellen Vorlauf bzw. die Zeitlupenfunktion zu ermöglichen ist, die Taktfrequenz des Dekoders zu verändern. Bei einer erhöhten Taktfrequenz dekodiert der Dekoder den Videodatenstrom schneller und gibt diesen mit höherer Geschwindigkeit aus. Die Zeitlupenfunktion wird durch eine geringere Taktrate des Dekoders erreicht. Bei beiden Funktionen muß der Dekoder die notwendige Dekodierarbeit leisten, der im Normalfall nur für eine Dekodierung bis zu einer bestimmten Bitrate ausgelegt ist. Daher kommt es insbesondere bei Vorläufen mit hoher Geschwindigkeit zu Aus setzern oder Dekodierfehlern. Diese können sich für den Benutzer störend auswirken. Zudem werden Dekoder mit variabler Taktrate benötigt, was insgesamt die Produktionskosten steigert.Another method to enable fast forward or slow-motion is to change the clock frequency of the decoder. At an increased clock frequency, the decoder decodes the video data stream faster and outputs it at higher speeds. The slow motion function is achieved by a lower clock rate of the decoder. For both functions, the decoder must perform the necessary decoding work, which is normally designed only for decoding up to a certain bit rate. Therefore, it comes in particular at high-speed pre-outs or translators from decoding errors. These can have a disruptive effect on the user. In addition, decoders are required with variable clock rate, which in total the Production costs increases.
Es ist Aufgabe der Erfindung, eine Anordnung sowie Verfahren vorzusehen, die eine tricktechnische Bearbeitung eines MPEG-2 Datenstroms auch bei nicht steigender Taktrate des Dekoders und ohne Zuhilfenahme eines zusätzlich abgespeicherten Hilfsdatenstroms ermöglicht.It The object of the invention is to provide an arrangement and method the a tricktchnische processing of an MPEG-2 data stream also at non-increasing clock rate of the decoder and without assistance one additional stored auxiliary data stream allows.
Diese Aufgabe wird bezüglich der Anordnung durch den kennzeichnenden Teil des Patentanspruchs 1 gelöst.These Task is relative the arrangement by the characterizing part of the claim 1 solved.
Darin weist eine Anordnung zur Verarbeitung eines MPEG-2 Datenstroms mit einer Einrichtung zum Zerlegen des MPEG-2 Datenstroms in einzelne Elementarströme und mit einer Einrichtung zur Dekodierung der einzelnen Elementarströme eine Einheit zur Veränderung des MPEG-2 Datenstroms auf. Der Ausgang der Einheit zur Veränderung des MPEG-2 Datenstroms ist mit dem Eingang der Einrichtung zum Zerlegen des MPEG-2 Datenstroms verbunden.In this has an arrangement for processing an MPEG-2 data stream a means for decomposing the MPEG-2 data stream into individual elementary streams and with a device for decoding the individual elementary streams one Unity for change of the MPEG-2 data stream. The output of the unit to change the MPEG-2 data stream is connected to the input of the disassembly device connected to the MPEG-2 data stream.
Dadurch wird der MPEG-2 Datenstrom vor dem Zerlegen in einzelne Elementarströme veränderbar. Insbesondere sind damit verschiedene tricktechnische Bearbeitungen wie schneller Vorlauf, schneller Rücklauf und eine Zeitlupenfunktion möglich. Es findet somit eine Vorverarbeitung des MPEG-2 Datenstroms statt, ohne daß die Einrichtung zur Dekodierung der einzelnen Elementarströme eine Mehrarbeit leisten muß. Insbesondere kann die Taktrate dieser Einrichtung gleich bleiben.Thereby the MPEG-2 data stream is changed before decomposing into individual elementary streams. In particular, so are various tricktechnische processing such as fast forward, fast reverse and a slow motion function possible. There is thus a preprocessing of the MPEG-2 data stream, without that Device for decoding the individual elementary streams Has to do extra work. In particular, the clock rate of this device can remain the same.
In einer vorteilhaften Ausgestaltung der Erfindung ist die Ausbildung des MPEG-2 Datenstrom als Datenstrom im MPEG-2 Programmstromformat.In An advantageous embodiment of the invention is the training the MPEG-2 data stream as a data stream in MPEG-2 program stream format.
Es ist zweckmäßig, wenn die Einheit zur Veränderung des MPEG-2 Datenstroms zumindest eine der folgenden Veränderungsarten aufweist:
- – Zeitlupe eines Videoanteils des MPEG-2 Datenstroms mit einstellbaren verschiedenen Geschwindigkeiten;
- – Bildvorlauf eines Videoanteils des Datenstroms mit einstellbaren verschiedenen Vorlaufgeschwindigkeiten;
- – Bildrücklauf eines Videoanteils des Datenstroms mit einstellbaren verschiedenen Rücklaufgeschwindigkeiten.
- Slow motion of a video portion of the MPEG-2 data stream at adjustable different speeds;
- - Image advance of a video portion of the data stream with adjustable different forward speeds;
- - Image return of a video portion of the data stream with adjustable different retrace speeds.
Somit werden die verschiedenen tricktechnischen Bearbeitungen bereits in der Einheit zur Veränderung des MPEG-2 Datenstroms durchgeführt, ohne daß eine Dekodiereinrichtung zusätzliche Arbeit verrichten muß. Die Dekodiereinrichtung kann somit besonders einfach und kostengünstig ausgebildet sein.Consequently The various tricktechnischen edits are already in the unity of change of the MPEG-2 data stream, without that one Decoder additional Work has to do. The decoding device can thus be designed in a particularly simple and cost-effective manner be.
In einer Weiterbildung der Erfindung weist die Einheit zur Veränderung des MPEG-2 Datenstroms eine Anordnung mit einer Speichereinrichtung zur Zwischenspeicherung des MPEG-2 Datenstroms auf und verändert diesen zwischengespeicherten Datenstrom. Das ist besonders dann von Vorteil, wenn der MPEG-2 Datenstrom nur mit einer konstanten Datenrate empfangen wird. Somit können in einfacher Weise Veränderungen am zwischengespeicherten Datenstrom vorgenommen werden.In a development of the invention, the unit for change of the MPEG-2 data stream, an arrangement with a memory device for Caching of the MPEG-2 data stream and changes it cached data stream. This is especially beneficial if the MPEG-2 data stream is received only at a constant data rate becomes. Thus, you can in a simple way changes be made on the cached data stream.
Bezüglich des Verfahrens wird diese Aufgabe durch den kennzeichnenden Teil der nebengeordneten Ansprüche 3 bis 5 gelöst.Regarding the This object is achieved by the characterizing part of the method sibling claims 3 to 5 solved.
In allen Verfahren weist der MPEG-2 Datenstrom Video- und Audioanteile sowie Zeitstempel zur Synchronisation auf.In In all procedures, the MPEG-2 data stream has video and audio components and timestamps for synchronization.
In einem ersten Verfahren zur Veränderung eines MPEG-2 Datenstroms entspricht die Veränderung einer Zeitlupenfunktion bezüglich des Videoanteils des MPEG-2 Datenstroms. Das Verfahren ist gekennzeichnet durch eine Entfernung aller Audioanteile des Datenstroms und einer Multiplikation aller Zeitstempel der Videoanteile mit einem Faktor größer 1 oder einer Division aller Zeitstempel mit einem Faktor kleiner 1. Durch die Veränderung der Zeitstempel wird die Ausgabegeschwindigkeit des Videoanteils durch den Dekoder verlangsamt.In a first method for changing a MPEG-2 data stream corresponds to the change of a slow motion function in terms of the video portion of the MPEG-2 data stream. The procedure is marked by removing all audio portions of the data stream and one Multiplication of all timestamps of the video components with a factor greater than 1 or a division of all timestamps with a factor less than 1. By the change the time stamp will change the output speed of the video portion slows down the decoder.
In einem zweiten Verfahren zur Veränderung eines MPEG-2 Datenstroms, wobei die Veränderung einem schnellen Bildvorlauf bezüglich des Videoanteils des Datenstroms entspricht, werden alle Audioanteile des MPEG-2 Datenstroms entfernt. Sodann werden die im MPEG-2 Datenstrom vorhandenen Zeitstempel der Videoanteile mit einem Faktor größer 1 dividiert oder mit einem Faktor kleiner 1 multipliziert. In einem weiteren Schritt werden alle codierten Videoanteile aus den Videodaten entfernt, die bidirektional vorhergesagte Bildinformationen enthalten.In a second method for changing a MPEG-2 data stream, with the change a fast frame in terms of of the video portion of the stream, all audio portions become of the MPEG-2 data stream. Then the in MPEG-2 data stream existing time stamp of video shares divided by a factor greater than 1 or multiplied by a factor less than 1. In another Step, all encoded video portions are removed from the video data, contain bidirectionally predicted image information.
In einer Weiterentwicklung dieses Verfahrens werden periodisch codierte Videoanteile aus den Videodaten entfernt, die vorausgesagte Bildinformationen enthalten. Alternativ kann zusätzlich eine periodische Entfernung von Videoanteilen aus den Videodaten erfolgen, die reine Bildinformationen enthalten. Dies kann so lange durchgeführt werden, bis eine definierte Datenrate des veränderten MPEG-2 Datenstroms erreicht ist. Dadurch dekodiert die Dekodiereinrichtung den veränderten MPEG-2 Datenstrom weiterhin mit konstanter Datenrate.In A further development of this method is periodically coded Video portions removed from the video data, the predicted picture information contain. Alternatively, an additional Periodic removal of video content from the video data, which contain pure image information. This can be done until a defined data rate of the modified MPEG-2 data stream is reached. As a result, the decoder decodes the changed MPEG-2 data stream continues at a constant data rate.
Das Verfahren zur Veränderung des MPEG-2 Datenstroms, das einem schnellen Bildrücklauf bezüglich des Videoanteils des MPEG-2 Datenstroms entspricht, ist gekennzeichnet durch eine Entfernung aller Audiodaten des Datenstroms und weiterhin der Entfernung aller Videoanteile aus den Videodaten, die bidirektional vorausgesagte oder vorausgesagte Bildinformationen enthalten. Dann erfolgt eine Vertauschung der Reihenfolge der Videoanteile aus den Videodaten, die reine Bildinformationen enthalten in einem Paket der Videodaten. Dies wird dadurch erreicht, daß in einem ersten Schritt ein Zeitstempel ermittelt wird, der als Startwert dient. Anschließend wird die zeitliche Differenz zwischen dem Startwert und einem dem Startwert vorangegangenen Zeitstempel in den Videodaten ermittelt wird und diese Differenz in einem zweiten Schritt durch einen Faktor größer 1 dividiert oder mit einem Faktor kleiner 1 multipliziert wird. Das Ergebnis der Rechenoperati on wird zum Startwert addiert und ersetzt den Wert des dem Startwert vorangegangenen Zeitstempels.The method of changing the MPEG-2 data stream, which corresponds to a fast picture return with respect to the video portion of the MPEG-2 data stream, is characterized by a removal of all the audio data of the data stream and further removing all video portions from the video data containing bidirectionally predicted or predicted picture information. Then, an interchange of the order of the video portions from the video data containing pure picture information is made in a packet of the video data. This is achieved by determining a timestamp in a first step, which serves as the starting value. Subsequently, the time difference between the starting value and a time stamp preceding the starting value in the video data is determined and this difference is divided by a factor greater than 1 or multiplied by a factor less than 1 in a second step. The result of the arithmetic operation is added to the starting value and replaces the value of the time stamp preceding the starting value.
Dadurch werden die Bildinformationen im MPEG-2 Datenstrom in umgekehrter Folge ausgegeben. Auch hier kann zusätzlich zum Erreichen einer definierten Datenrate des veränderten MPEG-2 Datenstroms eine periodische Entfernung der Videoanteile aus den Videodaten erfolgen, wobei die entfernten Videoanteile nur noch reine Bildinformationen enthalten.Thereby the image information in the MPEG-2 data stream is reversed Episode issued. Again, in addition to achieving a defined Data rate of the changed MPEG-2 data stream a periodic removal of the video components from the video data, with the removed video portions only still contain pure image information.
Weitere vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Further advantageous embodiments of the invention are the subject of the dependent claims.
Im Folgenden wird die Erfindung unter Zuhilfenahme der Zeichnung im Detail erläutert. Es zeigen:in the The invention will be described below with the aid of the drawing Detail explained. Show it:
Der Ausgang der Einrichtung M, an der der eventuell veränderte Programmstrom MPS abgreifbar ist, ist mit dem Demultiplexer DM1 verbunden. Der Demultiplexer DM1 extrahiert aus dem MPEG-2 Programmstrom die Video- bzw. Audiodaten und gibt diese als Videodatenstrom VS1 bzw. Audiodatenstrom AS1 an die Dekodiereinrichtung DEK weiter. Der Videodatenstrom VS1 wird von der Dekodiereinrichtung DEK dekodiert und als Videosignal einer Ausgabeeinrichtung TV zugeführt. Gleiches geschieht mit dem Audiodatenstrom AS1, wobei im Normalbetrieb die Ausgabe des Videosignals und des dazugehörigen Audiosignals synchron erfolgt. Dazu benötigt die Dekodiereinrichtung DEK Zeitinformationen oder sogenannte Zeitstempel, die besagen, wann die Ausgabe des Video- bzw. Audiosignals erfolgen soll. Diese werden der Dekodiereinrichtung DEK ebenfalls von dem Demultiplexer DM1 mitgeteilt.Of the Output of the device M, at which the possibly changed program flow MPS is connected to the demultiplexer DM1. Of the Demultiplexer DM1 extracts from the MPEG-2 program stream the video or audio data and outputs them as video data stream VS1 or audio data stream AS1 to the decoder DEK on. The video data stream VS1 is decoded by the decoder DEK and as a video signal an output device TV supplied. The same happens with the audio data stream AS1, whereby in normal operation the output of the Video signal and the associated Audio signal is synchronous. This requires the decoder DEK time information or so-called timestamps that say when the output of the video or audio signal should be made. These will the decoder DEK also from the demultiplexer DM1 communicated.
Neben den Informationen zur Ausgabe werden die Zeitstempel auch zur zeitlichen Synchronisation des Video- bzw. Audiosignals verwendet. Diese ergeben sich aus der Art des verwendeten Kodierverfahrens für den Videoanteil. Im allgemeinen gibt es drei Arten von Zeitstempel, die Bestandteil des MPEG-2 Datenstroms sind, wobei jede Art wiederum gesondert in dem Video- bzw. Audiosignal vorkommen kann.Next The time stamps are also used for the information on the output Synchronization of the video or audio signal used. These result depending on the type of coding used for the video component. In general, there are three types of timestamps that are part of it of the MPEG-2 data stream, each type in turn separately in the video or audio signal can occur.
Die "P-Pictures" P werden in Bezug auf die vorangegangenen "I-" oder "P-Pictures" codiert. Somit werden nur die Veränderungen gegenüber dem vorangegangenen Bild abgespeichert. Für die Kodierung der "B-Pictures" werden die Informationen des vorausgegangenen wie auch nachfolgenden "I-" oder "P-Picture" benötigt. Dadurch läßt sich der Speicherbedarf bei "B-" bzw. "P-Picture" gegenüber einem "I-Picture" reduzieren. Bei bewegten Bildern bleiben flüssige Übergänge dennoch erhalten. Jedoch muß ein Dekoder beim Dekodieren eines bidirektional abgespeicherten "B-" Bildes deutlich höhere Dekodierarbeit leisten.The "P-Pictures" P are related coded to the preceding "I" or "P-Pictures". Thus be only the changes across from stored in the previous picture. For the coding of the "B-Pictures" the information becomes the previous as well as subsequent "I" or "P-Picture" required. Thereby let yourself reduce the storage requirements for "B" or "P-Picture" compared to an "I-Picture". at moving images remain fluid transitions nonetheless receive. However, one must Decoder when decoding a bidirectionally stored "B" image clearly higher Perform decoding work.
Die Zeitstempel im Videodatenstrom werden nun benötigt, um dem Videodekoder die Reihenfolge der Dekodierung und die Reihenfolge der Ausgabe anzuzeigen. Es gibt zwei Arten solcher Zeitstempel, den DTS-Zeitstempel (Decode Time Stamp), der anzeigt, wann das Bild zu dekodieren ist. Der zweite Zeitstempel ist der PTS-Zeitstempel (Presentation Time Stamp), der die Ausgabe des Bildes regelt. Dies ist notwendig, da beispielsweise ein "P-Picture" vor einem "B-Picture" dekodiert werden muß, aber erst danach ausgegeben wird.The Timestamps in the video stream are now required to enable the video decoder Order of decoding and display the order of the output. There are two types of such timestamps, the DTS timestamp (Decode Time Stamp), which indicates when the image is to be decoded. The second timestamp is the PTS Timestamp (Presentation Time Stamp), which is the output of the picture. This is necessary because, for example, a "P-picture" is decoded before a "B-picture" it has to only after that is spent.
Dazu sind innerhalb des Programmstroms die Zeitstempel für die einzelnen Bilder abgelegt. Die Daten in einem Programmstrom liegen in Paketform variabler Größe, aber maximal 64 kByte vor. Jedem dieser Pakete ist ein sogenannter "PES-Header" (Packetized Elementary Stream) vorgestellt. Die einzelnen "I-", "B-" und "P-Pictures" eines Videostroms sind in solchen Paketen zusammengefaßt, derart daß ein PES-Paket nie mehr als eines dieser "Picture" enthalten kann. Ist das kodierte "Picture" größer als die erwähnten 64 kByte, so wird es auf zwei PES-Pakete aufgeteilt, von denen nur der "PES-Header" des ersten PES-Paketes Zeitstempel für die Dekodierung und die Anzeige dieses Bildes enthält. Ist ein kodiertes "Picture" kleiner als die maximale Größe eines PES-Paketes, so enthält der dazu gehörige PES-Header die notwendigen DTS- und PTS-Zeitstempel zur Dekodierung.To within the program stream are the timestamps for the individual Pictures taken. The data in a program stream is variable in packet form Size, but maximum 64 kByte before. Each of these packets is a so-called "PES header" (Packetized Elementary Stream). The individual "I", "B" and "P-Pictures" of a video stream are summarized in such packets, such that a PES packet never contain more than one of these "pictures". Is the encoded "Picture" larger than the mentioned 64 kbytes, it is split into two PES packages, of which only the "PES header" of the first PES packet Timestamp for contains the decoding and display of this image. is an encoded "picture" smaller than that maximum size of a PES packet, so contains the associated PES header the necessary DTS and PTS timestamp for decoding.
Zusätzlich sind innerhalb des Programmstroms sogenannte "Pack-Header" vorhanden, die unter anderem den SCR-Zeitstempel enthalten. Dieser ist der gemeinsame Takt aller Audio- und Videodaten im Programmstrom, dient somit zur Synchronisation und kann auch als Taktreferenzwert herangezogen werden, wenn kein eigener Takt vorhanden ist.In addition are within the program stream so-called "pack headers" are present, which contain, inter alia, the SCR timestamp. This is the common clock of all audio and video data in the program stream, thus serves for synchronization and can also be used as a clock reference value be used if no own clock is available.
Die Zeitstempel PTS und DTS entsprechen einem 33-bit Zählwert, der auf 90 kHz basiert. Somit wiederholen sich die Zählwerte ca. alle 26 Stunden. Der SCR-Zeitstempel ist ein auf 27 MHz basierender 33-bit Zählwert. Ist das Ende eines Zählwerte erreicht, so startet der Zähler wieder bei 0.The Timestamps PTS and DTS correspond to a 33-bit count, which is based on 90 kHz. Thus, the counts repeat about every 26 hours. The SCR timestamp is a 33-bit based on 27 MHz Count. Is the end of a count reached, then the counter starts again at 0.
Durch die Veränderung der Zeitstempel der Videodaten ist es daher möglich, eine veränderte Ausgabegeschwindigkeit des Videosignals zu erhalten. Jedoch verändert sich dadurch auch die Datenrate, mit der der Dekoder die Videodaten dekodieren und ausgeben muß. Gegebenenfalls kann diese jedoch durch Weglassen einzelner Bilder wieder angepaßt werden.By the change the time stamp of the video data, it is therefore possible, a changed output speed of the video signal. However, this also changes the Data rate at which the decoder decodes and outputs the video data got to. Possibly However, this can be adapted again by omitting individual images.
In einem normalen Betriebsmodus liest die Leseeinheit LE den MPEG-2 Programmstrom PS aus der Speichereinheit SP, führt diese der Manipulationseinrichtung ME zu, die ihn unverändert an den Demultiplexer DM1 weiterleitet. Der Demultiplexer DM1 zerlegt den Programmstrom in seine einzelnen Teildatenströme und gibt ihn weiter an die Dekodiereinrichtung DEK.In In a normal operating mode, the reading unit LE reads the MPEG-2 Program current PS from the memory unit SP, this leads to the manipulation device ME to him unchanged to the demultiplexer DM1. The demultiplexer DM1 decomposes the program stream into its individual partial data streams and outputs Continue to the decoder DEK.
Wird eine tricktechnische Bearbeitung aktiviert, so entfernt die Manipulationseinrichtung aus dem MPEG-2 Programmstrom PS alle Audiodaten, inklusive der dazugehörigen Informationsanteile im Programmstrom. Somit werden auch die PES-Header der Rudiopakete entfernt. Eine Synchronisation zwischen Audio- und Videoanteil entfällt daher. Alternativ kann die Manipulationseinrichtung ME der Demultiplexer DM1 auch mitteilen, die Audioanteile im MPEG-2 Programmstrom zu verwerfen. Daher muß sie dann nur die Zeitstempel der Videoanteile bearbeiten.Becomes activates a tricktechnische processing, so removes the manipulation device from the MPEG-2 program stream PS all audio data, including the associated information shares in the program stream. Thus also the PES headers of the Rudiopakete become away. A synchronization between audio and video component is therefore eliminated. Alternatively, the manipulation device ME of the demultiplexer DM1 also announce the audio portions in the MPEG-2 program stream too discard. That's why she has to then edit only the timestamps of the video shares.
Je nach tricktechnischer Bearbeitung verändert die Manipulationseinrichtung ME den übriggebliebenen Videodatenstrom und die dazugehörigen DTS- und PTS-Zeitstempel, sowie den SCR-Zeitstempel. Diese Pakete werden als manipulierter Programmstrom MPS an den Demultiplexer DM1 weitergeleitet.ever after tricktechnischer processing changed the manipulation device ME the leftover Video stream and the associated DTS and PTS timestamp, as well as the SCR timestamp. These packages are called manipulated program stream MPS forwarded to the demultiplexer DM1.
Soll eine Zeitlupenfunktion des Videoanteils dargestellt werden, so muß die Dekodiereinrichtung DEK den Videoanteil mit einer geringeren Geschwindigkeit als der Normalgeschwindigkeit ausgeben. Erfindungsgemäß verändert die Manipulationseinrichtung ME dazu die SCR-, PTS- und DTS-Zeitstempel, indem sie diese mit einem Faktor größer 1 multipliziert oder einem Faktor kleiner 1 dividiert. Somit wird auch die zeitliche Differenz zwischen zwei aufeinanderfolgenden Zeitstempeln um diesen Faktor vergrößert. Der so veränderte Programmstrom wird wieder dem Demultiplexer zugeführt. Da aus dem Programmstrom alle Audioanteile entfernt wurden, wird nur der Videostrom mit den veränderten Zeitstempeln an die Dekodiereinrichtung weitergeleitet. Die Bildinformationen werden in der neuen, geringeren Geschwindigkeit ausgegeben.Should a slow motion function of the video component are shown, the decoder DEK the video portion at a slower speed than the normal speed output. According to the invention changes Manipulator ME to the SCR, PTS and DTS timestamps by multiply this by a factor greater than 1 or a factor less than 1 divided. Thus, the temporal Difference between two consecutive timestamps around this Factor increased. Of the so changed Program stream is returned to the demultiplexer. There from the program stream all audio portions have been removed, only becomes the video stream with the changed Timestamp forwarded to the decoder. The picture information are spent at the new, slower speed.
Ein schneller Vorlauf bezüglich des Videoanteils des Programmstroms wird dadurch erreicht, daß nach einer Entfernung aller Audiodaten die SCR-, PTS- und DTS-Zeitstempel der Videodaten mit einem Faktor größer 1 dividiert oder mit einem Faktor kleiner 1 multipliziert werden. Dadurch wird die Differenz zwischen zwei Zeitstempeln geringer, und der Videodekoder gibt die Bildinformationen mit größerer Geschwindigkeit aus. Eine größere Ausgabegeschwindigkeit macht jedoch ein schnelleres Dekodieren notwendig. Das bedeutet in einer Softwarelösung im allgemeinen eine schnellere CPU, bei einer Hardwarelösung eine höhere Taktrate oder schnellere CPU.One fast forward regarding of the video portion of the program stream is achieved in that after a Remove all audio data from the SCR, PTS, and DTS timestamps Video data divided by a factor greater than 1 or multiplied by a factor less than 1. This will the difference between two timestamps is lower, and the video decoder outputs the image information at a faster speed. A greater output speed however, it requires faster decoding. That means in a software solution generally a faster CPU, with a hardware solution one higher Clock rate or faster CPU.
Um weiterhin eine Dekodierung mit nahezu konstanter Rate zu gewährleisten, entfernt die Manipulationseinrichtung ME alle codierten Videoanteile aus dem Videodatenstrom, die "B-Pictures" enthalten. Dadurch wird der Aufwand der Dekodierung deutlich reduziert, ohne daß die Bildausgabequalität merklich abnimmt. Da bei sehr hohen Vorlaufgeschwindigkeiten die Dekodierrate innerhalb des Dekoders weiter merklich ansteigt, entfernt die Manipulationseinrichtung neben den "B-Pictures" auch "P-" und gegebenenfalls "I-Pictures". Damit wird die Da tenrate zum Dekoder hin auch weiterhin nahezu konstant gehalten.Around continue to ensure decoding at a nearly constant rate the manipulation device ME removes all encoded video components the video stream that contains "B-Pictures". Thereby the cost of decoding is significantly reduced, without the image output quality noticeable decreases. Since at very high forward velocities, the decoding rate continues to increase noticeably within the decoder removes the manipulation device in addition to the "B-Pictures" also "P-" and possibly "I-Pictures". This will be the Since tenrate to the decoder down also kept almost constant.
Die tricktechnische Bearbeitung, die einem schnellen Rücklauf eines Videoanteils entspricht, erfordert ebenfalls die Entfernung aller Audiodaten sowie die Entfernung der "B-" bzw. "P-Pictures" aus dem Videoanteil des MPEG-2 Programmstroms.The tricktechnische processing, the fast return of a Video portion, also requires the removal of all Audio data and the removal of the "B" or "P-Pictures" from the video portion of the MPEG-2 program stream.
Der
Ablauf eines solchen Verfahrens, den die Manipulationseinrichtung
ME durchführt
ist schematisch in
In
einem Schritt
Anschließend wird der MPEG-2 Programmstrom weiter rückwärts bis zum Erreichen eines weiteren "I-Picture" Paketes I5, das in seinen Kopfinformationen die Zeitstempel aufweist. Dann wird die zeitliche Differenz zwischen beiden Zeitstempeln I5 und I6 als Startwert gebildet und mit dem Faktor multipli ziert oder dividiert, der der Geschwindigkeit des Rücklaufs entspricht. Das Ergebnis der Differenz ist 100, multipliziert mit 0.5 für die 2-fache Rücklaufgeschwindigkeit ergibt sich der Wert 50, der zu dem Startwert hier also zu dem Zeitstempel des "I-Pictures" I6 addiert und dann dem Zeitstempel von I5 zugewiesen wird.Subsequently, the MPEG-2 program stream continues backward until reaching another "I-picture" packet I 5 , which has the timestamps in its header information. Then, the time difference between the two timestamps I 5 and I 6 is formed as a start value and multiplied or divided by the factor corresponding to the speed of the return. The result of the difference is 100, multiplied by 0.5 for the 2-fold return speed results in the value 50, which is added to the starting value here so the timestamp of the "I-Pictures" I 6 and then assigned to the timestamp of I 5 .
Damit
ergibt sich für
den Zeitstempel von I6 der Wert 600, für I5 der Wert 650. Das Bild I5 wird
nun später
als das Bild I6 dargestellt. In Schritt
Insgesamt werden trotz umgekehrter Reihenfolge der "I-Pictures" Zeitstempel mit aufsteigenden Werten erzeugt. Der Faktor der Multiplikation entspricht der Geschwindigkeit des Rücklaufes. Im Fall einer hohen Bildrücklaufgeschwindigkeit werden von der Manipulationseinrichtung wie beim schnellen Bildvorlauf periodisch "I-Pictures" entfernt, um die Datenrate des Dekoder konstant zu halten.All in all despite the reverse order of the "I-Pictures" timestamp with generated ascending values. The factor of the multiplication corresponds the speed of the return. In the case of a high picture retrace speed be from the manipulation device as in the fast frame Periodically "I-Pictures" removes the data rate to keep the decoder constant.
Es
ist in diesem Zusammenhang denkbar, einen anderen Algorithmus zu
implementieren. So könnte
die Differenz zwischen einem ersten und einem dem ersten vorangegangenen
Zeitstempel des ursprünglichen
MPEG-2 Datenstroms ermittelt werden. Diese wird mit dem Faktor multipliziert,
bzw. dividiert und dann mit dem Zeitstempel addiert, der dem vorangegangenen
Zeitstempel des manipulierten Datenstroms zugeordnet ist. Auf das
in
Im allgemeinen wird der MPEG-2 Programmstrom so lange rückwärts gelesen, bis ein "PES-Header" eines "I-Pictures" gefunden wird, der PTS und DTS-Zeitstempel enthält. Es wird somit nicht bei Erreichen eines "Pack-Headers" gestoppt.in the in general, the MPEG-2 program stream is read backward as long as until a "PES header" of an "I-Pictures" is found, the PTS and DTS timestamps. It is thus not stopped when a "Pack header" is reached.
Bei diesen beschriebenen Verfahren wird der "Pack-Header" mit dem manipulierten SCR-Zeitstempel ebenfalls in den manipulierten Datenstrom geschrieben. Ferner muß berücksichtigt werden, daß alle Zeitstempel nur einen maximalen 33-Bit aufweisen. Wird dieser überschritten, so beginnt der Zähler von vorne. Daher muß bei einer Multiplikation oder Division ein möglicher Überlauf des Zählers berücksichtigt werden. Dies kann dadurch erfolgen, daß der neue Zeitwert erst mit einer "Modulo"-Operation verknüpft wird und das Ergebnis dieser Operation als neuer Zeitstempel verwendet wird.at This described method becomes the "Pack Header" with the manipulated SCR timestamp also written in the manipulated data stream. It must also be taken into account be that all Timestamps have only a maximum of 33 bits. If this is exceeded, so the counter starts from front. Therefore, at a multiplication or division considered a possible overflow of the counter become. This can be done by the new time value only with a "modulo" operation is linked and used the result of this operation as a new timestamp becomes.
Durch die Manipulationseinrichtung kann bei den dargestellten tricktechnischen Verfahren die Datenrate der Dekodiereinrichtung konstant gehalten werden. Dabei ist die Manipulationseinrichtung ME nicht auf die hier dargestellten Ausführungsbeispiele einer Zeitlupe, eines schnellen Bildvor- bzw. -rücklaufs beschränkt. Prinzipiell lassen sich alle tricktechnischen Bearbeitungen durchführen, die ein Dekodieren des eigentlichen Video- bzw. Audioanteils nicht benötigen.By the manipulation device can in the illustrated tricktechnischen Method, the data rate of the decoder to be kept constant. In this case, the manipulation device ME is not on the one shown here Embodiments of a Slow motion, fast forward or backward. in principle can be done all tricktechnischen processing, the do not need a decoding of the actual video or audio portion.
Daneben kann zusätzlich ein Zwischenspeicher vorgesehen sein, der die manipulierten Daten nochmals zwischenspeichert, um flüssigere Übergänge zu schaffen.Besides can additionally a buffer is provided, which re-writes the manipulated data cached to create smoother transitions.
Claims (5)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE2003123189 DE10323189B4 (en) | 2003-05-22 | 2003-05-22 | MPEG-2 data stream processing device, decodes individual elementary streams of dismantled data stream, alters stream e.g. for time stretching |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE2003123189 DE10323189B4 (en) | 2003-05-22 | 2003-05-22 | MPEG-2 data stream processing device, decodes individual elementary streams of dismantled data stream, alters stream e.g. for time stretching |
Publications (2)
Publication Number | Publication Date |
---|---|
DE10323189A1 DE10323189A1 (en) | 2004-12-16 |
DE10323189B4 true DE10323189B4 (en) | 2005-03-17 |
Family
ID=33441159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE2003123189 Expired - Fee Related DE10323189B4 (en) | 2003-05-22 | 2003-05-22 | MPEG-2 data stream processing device, decodes individual elementary streams of dismantled data stream, alters stream e.g. for time stretching |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE10323189B4 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7630388B2 (en) | 2005-05-04 | 2009-12-08 | Arm Limited | Software defined FIFO memory for storing a set of data from a stream of source data |
KR20080013993A (en) | 2005-05-04 | 2008-02-13 | 에이알엠 리미티드 | Use of a data engine within a data processing apparatus |
US7920584B2 (en) | 2005-05-04 | 2011-04-05 | Arm Limited | Data processing system |
GB2425862B (en) * | 2005-05-04 | 2009-07-29 | Advanced Risc Mach Ltd | A data stream processor for performing data processing tasks for a coprocessor |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5535008A (en) * | 1993-03-16 | 1996-07-09 | Victor Company Of Japan, Ltd. | Method for jump-reproducing video data of moving picture coded with high efficiency |
US5793927A (en) * | 1995-06-07 | 1998-08-11 | Hitachi America, Ltd. | Methods for monitoring and modifying a trick play data stream to insure MPEG compliance |
US6327421B1 (en) * | 1998-03-10 | 2001-12-04 | International Business Machines Corporation | Multiple speed fast forward/rewind compressed video delivery system |
US6363207B1 (en) * | 1998-10-22 | 2002-03-26 | Sony Corporation | Method and apparatus for a virtual system time clock for digital audio/video processor |
-
2003
- 2003-05-22 DE DE2003123189 patent/DE10323189B4/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5535008A (en) * | 1993-03-16 | 1996-07-09 | Victor Company Of Japan, Ltd. | Method for jump-reproducing video data of moving picture coded with high efficiency |
US5793927A (en) * | 1995-06-07 | 1998-08-11 | Hitachi America, Ltd. | Methods for monitoring and modifying a trick play data stream to insure MPEG compliance |
US6327421B1 (en) * | 1998-03-10 | 2001-12-04 | International Business Machines Corporation | Multiple speed fast forward/rewind compressed video delivery system |
US6363207B1 (en) * | 1998-10-22 | 2002-03-26 | Sony Corporation | Method and apparatus for a virtual system time clock for digital audio/video processor |
Also Published As
Publication number | Publication date |
---|---|
DE10323189A1 (en) | 2004-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE60310514T2 (en) | Method and apparatus for synchronizing the reproduction of audio and / or video frames | |
DE602004000879T2 (en) | Image display device | |
DE69814642T2 (en) | PROCESSING CODED VIDEO DATA | |
DE69633552T2 (en) | METHOD AND DEVICE FOR IMAGING ACCESS TO DIGITAL AUDIOVISUAL INFORMATION | |
DE69934085T2 (en) | RASTER-BASED EDITING OF CODED AUDIOVISUAL SEQUENCES | |
DE60210611T2 (en) | EFFICIENT TRANSMISSION AND PLAYING OF DIGITAL INFORMATION | |
DE69632664T2 (en) | Decoding of information pages comprising title information and page data | |
DE69535553T2 (en) | VIDEO COMPRESSION | |
DE69830752T2 (en) | Method and system for recording multi-protocol compressed audio and video data | |
DE60033485T2 (en) | Formatting and storage of video data | |
DE69829935T2 (en) | Encoder / decoder, coding / decoding system and multiplexed bitstream | |
DE69637052T2 (en) | Coding / decoding of subtitles | |
DE60104013T2 (en) | TRANSCODING PROGRESSIVE-ENCODED I-SLICE RECORDED MPEG DATA TRENDS FOR TRICK MODES | |
DE69629957T2 (en) | Device and method for encoding digital video data | |
DE69917971T2 (en) | Method and apparatus for processing compressed video data streams | |
DE69835211T2 (en) | SWITCHING BETWEEN COMPRESSED VIDEO BITSTRAMS | |
DE60223483T2 (en) | A method of recording a digital broadcast program and time based replay of a recorded broadcast program and associated apparatus | |
DE69929989T2 (en) | VIDEO COMPONENT BINDING METHOD FOR TWO DIGITAL PICTURE SOUND PROGRAMS WITH DUAL PICTURE DUPLICATION | |
DE60125083T2 (en) | Method and system for concealing disk data errors in recorded digital television signals | |
DE69932297T2 (en) | Information recording system and information recording method | |
DE19860507A1 (en) | Video coding method, video decoder and digital television system using such a method and such a decoder | |
DE60009131T2 (en) | DEVICE FOR RECORDING CONTROL INFORMATION IN A DATA RECORDING SYSTEM | |
DE20122421U1 (en) | Broadcast pause and resume for enhanced TV by playing key frames stored in a memory in order to replay both the video and enhanced content | |
DE60309914T2 (en) | ITV trick play via a digital interface | |
DE69833775T2 (en) | FORMATING CODED VIDEO SIGNALS |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
8364 | No opposition during term of opposition | ||
R084 | Declaration of willingness to licence | ||
R081 | Change of applicant/patentee |
Owner name: FUJITSU TECHNOLOGY SOLUTIONS INTELLECTUAL PROP, DE Free format text: FORMER OWNER: FUJITSU SIEMENS COMPUTERS GMBH, 80807 MUENCHEN, DE Effective date: 20111229 |
|
R082 | Change of representative |
Representative=s name: EPPING HERMANN FISCHER, PATENTANWALTSGESELLSCH, DE Effective date: 20111229 Representative=s name: EPPING HERMANN FISCHER PATENTANWALTSGESELLSCHA, DE Effective date: 20111229 |
|
R081 | Change of applicant/patentee |
Owner name: FUJITSU CLIENT COMPUTING LIMITED, KAWASAKI-SHI, JP Free format text: FORMER OWNER: FUJITSU TECHNOLOGY SOLUTIONS INTELLECTUAL PROPERTY GMBH, 80807 MUENCHEN, DE Owner name: FUJITSU CLIENT COMPUTING LIMITED, JP Free format text: FORMER OWNER: FUJITSU TECHNOLOGY SOLUTIONS INTELLECTUAL PROPERTY GMBH, 80807 MUENCHEN, DE |
|
R082 | Change of representative |
Representative=s name: EPPING HERMANN FISCHER PATENTANWALTSGESELLSCHA, DE |
|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |