DE102004029872B4 - Method and device for improving the quality of transmission of coded audio / video signals - Google Patents
Method and device for improving the quality of transmission of coded audio / video signals Download PDFInfo
- Publication number
- DE102004029872B4 DE102004029872B4 DE102004029872A DE102004029872A DE102004029872B4 DE 102004029872 B4 DE102004029872 B4 DE 102004029872B4 DE 102004029872 A DE102004029872 A DE 102004029872A DE 102004029872 A DE102004029872 A DE 102004029872A DE 102004029872 B4 DE102004029872 B4 DE 102004029872B4
- Authority
- DE
- Germany
- Prior art keywords
- quality
- audio
- video signals
- transmission
- description
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
- H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M7/00—Arrangements for interconnection between switching centres
- H04M7/006—Networks other than PSTN/ISDN providing telephone service, e.g. Voice over Internet Protocol (VoIP), including next generation networks with a packet-switched transport layer
- H04M7/0072—Speech codec negotiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/22—Arrangements for supervision, monitoring or testing
- H04M3/2227—Quality of service monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/22—Arrangements for supervision, monitoring or testing
- H04M3/2236—Quality of speech transmission monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Verfahren zur Verbesserung der Qualität bei der Übertragung von codierten Audio-/Video-Signalen, die in verschiedenen Übertragungsformaten mit unterschiedlichen Bitraten verfügbar sein müssen, um den Bedingungen für die Übertragung in heterogenen Netzwerken und zur Wiedergabe mit verschiedenen Endgeräten zu entsprechen, wobei den als Stream zu übertragenden Audio- und Videosignalen für jedes Codierformat und jede Bitrate eine Qualitätsbeschreibung hinzugefügt wird, welche der subjektiv empfundenen Qualität für die in einem skalierbaren Stream codierten Audio- und Videosignale entspricht und durch korrespondierende Messwerte abgebildet wird und wobei der skalierbare Stream mit den codierten Audio- und Videosignalen zu Beginn eines Streamingprozesses zur Übertragung an ein Terminal (7) eines den entsprechenden Content anfordernden Nutzers durch einen Signalkonditionierer (5) eines den Stream aussenden Servers (6) unter Berücksichtigung der Qualitätsbeschreibung als einer Randbedingungen adaptiert wird, dadurch gekennzeichnet, dass die subjektive Qualitätsbeschreibung in den Metadaten der Audio- und Videosignale mit zum Terminal (7) des Nutzers übertragen wird und dass terminalseitig, bei...A method for improving the quality of transmission of coded audio / video signals that must be available in different transmission formats at different bit rates in order to meet the conditions for transmission in heterogeneous networks and for playback with different terminals, as the stream to audio and video signals to be transmitted for each encoding format and bit rate, a quality description corresponding to the subjectively perceived quality for the audio and video signals encoded in a scalable stream and mapped by corresponding measurements, and wherein the scalable stream is encoded with the encoded audio and video signals. and video signals at the beginning of a streaming process for transmission to a terminal (7) of a user requesting the corresponding content by a signal conditioner (5) of a streaming server (6) taking into account the quality description as one Boundary conditions is adapted, characterized in that the subjective description of quality in the metadata of the audio and video signals is transmitted to the terminal (7) of the user and that terminal side, at ...
Description
Für die Übertragung von Audio- und Videosignalen werden digitale Codierverfahren mit Datenkompression angewendet, so dass die selben Audio-/Video-Programme in verschiedenen Codierformaten mit unterschiedlichen Bitraten zur Verfügung gestellt werden können. Damit wird den Erfordernissen entsprochen, die für die Übertragung in heterogenen Netzwerken, wie z. B. das Internet und das Rundfunknetz, sowie für eine Wiedergabe mit verschiedenen Endgeräten, wie Fernseh-Set-Top-Boxen, Computer, Handheld-Geräten u. a., für die Nutzer von Bedeutung sind.For the transmission of audio and video signals, digital encoding methods are used with data compression, so that the same audio / video programs can be provided in different coding formats with different bit rates. This meets the requirements for transmission in heterogeneous networks, such. As the Internet and the radio network, as well as for playback with various devices such as TV set-top boxes, computers, handheld devices u. a., for which users are important.
Neben den Standard-Übertragunsverfahren sind als weitere Verfahren Simultanverfahren und skalierbare Verfahren bekannt. Bei Simultanverfahren werden die Audio-/Video-Signale verschiedener Codierformate mit unterschiedlichen Bitraten in einem File gespeichert. Bei einem Zugriff kann je nach Bedarf zwischen den Codierformaten und Bitraten umgeschaltet werden, bei einigen Formaten auch während der Übertragung. Bekannte Übertragungsverfahren dieser Art sind Real-Media, Windows-Media und Quick-Time.In addition to the standard transmission methods, simultaneous methods and scalable methods are known as further methods. In simultaneous methods, the audio / video signals of different encoding formats with different bit rates are stored in a file. In the case of an access, it is possible to switch between the encoding formats and bit rates as required, and also during the transmission in the case of some formats. Well-known transmission methods of this type are Real-Media, Windows Media and Quick-Time.
Bei skalierbaren Codierverfahren für Audio-/Video-Signale können aus einem einzigen Format verschiedene Übertragungsbitraten ohne großen Aufwand generiert werden. Codierformate für diese Anwendung sind in MPEG-4 (Motion Pictures Experts Group) definiert.With scalable audio / video signal encoding, different transmission bit rates can be easily generated from a single format. Encoding formats for this application are defined in MPEG-4 (Motion Pictures Experts Group).
Mit jedem Codierformat und jeder Bitrate ist eine entsprechende Qualität der Audio- bzw. Video-Darbietung verbunden. Die bei der Codierung erzielte Qualität ist zusätzlich von dem Signal selbst abhängig. Da für die Codierung psychophysikalische Phänomene ausgenutzt werden, ist die Messung der Qualität nicht mit einfachen technischen Mitteln möglich. Die Qualitätsbeurteilung wird daher letztendlich auf subjektive Tests gegründet [ITU-R Rec. BS. 1116 Methods for the Subjective Assessment of small Impairments in Audio Systems including Multichannel Sound Systems] [ITU-R BS. 1534 Method for the subjective assessment of intermediate quality level of coding systems] [ITU-R Rec. BT. 500-7, Method for the Subjective Assessment of the Quality of Television Pictures].Each encoding format and each bit rate is associated with a corresponding quality of the audio or video presentation. The quality achieved in coding is additionally dependent on the signal itself. Since psychophysical phenomena are exploited for the coding, the measurement of the quality is not possible with simple technical means. The quality assessment is therefore ultimately based on subjective tests [ITU-R Rec. BS. 1116 Methods for the Subjective Assessment of Small Impairments in Audio Systems including Multichannel Sound Systems] [ITU-R BS. 1534 Method for the subjective assessment of intermediate quality level of coding systems] [ITU-R Rec. BT. 500-7, Method for the Subjective Assessment of the Quality of Television Pictures].
Für die instrumentelle Beurteilung der Qualität wurden Verfahren entwickelt, die die in subjektiven Tests ermittelte Qualitätsbewertung nachbilden
Die Notwendigkeit viele Übertragungsformate und Bitraten unterstützen zu müssen, macht es sowohl den Service-Anbietern als auch den Konsumenten schwer. Einerseits ist die Aufbereitung und Verwaltung des Contents aufwändig, andererseits muss der Konsument im Internet das Codierformat, das er empfangen will, auswählen. Bei der Auswahl hat der Konsument sowohl die Leistungsfähigkeit seines Endgerätes als auch die Übertragungskapazität der Verbindung in Betracht ziehen. Schließlich sind die mit der Übertragung verbundenen Kosten ein weiterer Faktor.The need to support many transmission formats and bit rates makes it difficult for both service providers and consumers. On the one hand, the preparation and management of the content is complex, on the other hand, the consumer on the Internet must select the encoding format that he wants to receive. In the selection, the consumer has considered both the performance of his terminal and the transmission capacity of the connection. Finally, the costs associated with transmission are another factor.
Erschwerend kommt hinzu, dass bei Anwesenheit von mehreren Einflussgrößen oder Medien die Bitrate zur Kontrolle der erzielbaren Qualität nicht ausreichend ist. Zum Beispiel kann für einen Film die Bitrate des Audiostromes und die Bitrate des Videostromes getrennt geregelt werden. Die jeweils erzielte Qualität ist dabei ungewiss. Eine automatisierte Auswahl eines geeigneten Formates ist nur unzulänglich realisierbar.To make matters worse, that in the presence of multiple factors or media, the bit rate to control the achievable quality is not sufficient. For example, for a movie, the bit rate of the audio stream and the bit rate of the video stream can be controlled separately. The quality achieved is uncertain. An automated selection of a suitable format is only insufficiently feasible.
Eines der wesentlichen Entscheidungskriterien ist die subjektiv empfundene Qualität. Daher ist es bekannt geworden, zur Übertragung vorgesehene Audio- und Videosignale mit unterschiedlichen Bitraten oder Codierformaten zu codieren oder, insbesondere hinsichtlich der Bitrate, skalierbare Streams zu erzeugen und zu den entsprechend codierten Signalen eine korrespondierende Qualitätsbeschreibung abzulegen, welche im Zusammenhang mit der Übertragung der Audio- und Videosignale zur Adaption des entsprechenden Streams, also zur Auswahl der günstigsten Codierung oder zur Anpassung eines skalierbaren Streams, oder zur Adaption des Decodiervorgangs, an die grundsätzlichen Übertragungsbedingungen und/oder an die technischen Eigenschaften eines die Signale anfordernden Terminals genutzt werden. Auch eine Adaption des Streams im Hinblick auf Kundenpräferenzen oder auf das gegebenenfalls in direkter Korrelation zu den Kosten stehende Datenvolumen ist auf diese Weise möglich. Eine solche Lösung wird durch die
Die zuvor beschriebene Vorgehensweise bietet die Möglichkeit, die subjektiv empfundene Übertragungsqualität im Hinblick auf unterschiedliche Gegebenheiten gewissermaßen zu optimieren. Allerdings bezieht sich diese Optimierung, wie sie auch durch die in der
Aufgabe der Erfindung ist es, eine Lösung anzugeben, durch welche eine weitere Verbesserung der Qualität bei der Übertragung von codierten Audio-/Videosignalen erreicht werden kann. Dabei sollen insbesondere die jeweils tatsächlich gegebenen Übertragungsverhältnisse besser berücksichtigt werden. Hierfür sind ein Verfahren und eine Anordnung anzugeben.The object of the invention is to provide a solution by which a further improvement in the quality of the transmission of coded audio / video signals can be achieved. In particular, the actually given transmission conditions should be better taken into account. For this purpose, a method and an arrangement must be specified.
Die Aufgabe wird durch ein Verfahren nach dem Patentanspruch 1 gelöst. Vorteilhafte Aus- beziehungsweise Weiterbildungen des Verfahrens sind durch die Unteransprüche gegeben. Eine die Aufgabe lösende, zur Durchführung des Verfahrens geeignete Anordnung ist durch den Sachanspruch charakterisiert.The object is achieved by a method according to
Nach dem zur Lösung der Aufgabe vorgeschlagenen Verfahren wird den codierten Audio- und Videosignalen für jedes Codierformat und für jede Bitrate eine Beschreibung hinzugefügt, die der jeweiligen subjektiv empfundenen Qualität entspricht. Diese Beschreibung kann mit verschiedenem Detaillierungsgrad angelegt werden.According to the method proposed for achieving the object, a description is added to the coded audio and video signals for each coding format and for each bit rate which corresponds to the respective subjectively perceived quality. This description can be created with different levels of detail.
Die resultierende, subjektiv empfundene Qualität der Übertragung ist von dem Codierformat, der Bitrate, den Signaleigenschaften und auftretenden Kanalfehlern abhängig.The resulting, subjectively perceived quality of the transmission depends on the encoding format, the bit rate, the signal characteristics and occurring channel errors.
Als Basis für eine zuverlässige Beurteilung der Qualität sind statistische, belastbare subjektive Tests erforderlich. Für ein in der Praxis nutzbares Verfahren zur Kontrolle und Steuerung der Qualität bei der Übertragung sind subjektive Tests allerdings zu aufwändig.As a basis for a reliable assessment of the quality, statistical, reliable subjective tests are required. However, subjective tests are too cumbersome for a practical method of controlling and controlling the quality of transmission.
Zur Berücksichtigung der subjektiv empfundenen Qualität bei der Übertragung von Audio- und Videosignalen werden deshalb instrumentelle Verfahren angewendet, die die subjektive Bewertung nachbilden.In order to take into account the perceived quality in the transmission of audio and video signals, instrumental methods are used which simulate the subjective evaluation.
Als Beispiel für derartige instrumentelle Verfahren werden hier das standardisierten Verfahren PEAQ (PErceived Audio Quality) für Audiosignale und der in der Videocodec-Standardisierung verwendete PSNR (Peak Signal to Noise Ratio). genannt. Mit diesen Verfahren kann eine zeitabhängige Messgröße abgeleitet werden, die mit der subjektiven Qualitätsempfindung korrespondiert.As an example of such instrumental methods here are the standardized method PEAQ (PErceived Audio Quality) for audio signals and the PSNR (Peak Signal to Noise Ratio) used in the video codec standardization. called. With these methods, a time-dependent measured variable can be derived, which corresponds to the subjective perception of quality.
Die Messgrößen für die Qualität sowie für die verfügbaren Codierformate und Bitraten werden so in das Auslieferungssystem integriert, dass eine automatische Kontrolle und Steuerung der Qualität möglich ist. Die Qualitätssteuerung kann sowohl für Simultanverfahren als auch bei skalierbaren Verfahren angewendet werden.Quality metrics, coding formats and bitrates are integrated into the delivery system to allow automatic control and quality control. Quality control can be used for both simultaneous and scalable methods.
Weiterhin soll die subjektive Qualitätsbeschreibung dazu genutzt werden, um die Übertragung bei fehlerbehafteten Übertragungskanälen zu optimieren. Dazu werden dem Signal zusätzliche, redundante Signalanteile hinzugefügt. Die dafür verwendete Bitrate reduziert aber die für die Codierung effektiv zur Verfügung stehende Bitrate.Furthermore, the subjective quality description should be used to optimize the transmission error-prone transmission channels. For this purpose, additional, redundant signal components are added to the signal. However, the bit rate used for this purpose reduces the effective bit rate available for coding.
Eine allgemeine Beschreibung kann die Qualität der Audio-/Videosignale für verschiedene spezifizierte Codierverfahren mit unterschiedlichen Bitraten abbilden. Diese Beschreibung kann in einer separaten Datenbank gespeichert und in den Metadaten des Audio- oder Videosignals referenziert werden. Die Beschreibung berücksichtigt nicht die Eigenschaften des Signals, sondern gibt eine über viele Beispielsignale gemittelte Qualität wieder.A general description may map the quality of the audio / video signals for different specified encoding methods with different bit rates. This description can be stored in a separate database and referenced in the metadata of the audio or video signal. The description does not take into account the characteristics of the signal, but gives averaged over many sample signals quality.
Eine bessere Adaptation kann erfolgen, wenn die Beschreibung der subjektiven Qualität auf das jeweilige Signal abgestimmt ist. Dann muss bei der Encodierung für jedes Codierformat und für jede Bitrate die korrespondierende subjektive Qualität gemessen werden. Das Ergebnis der Messung kann dann dem Audio- und dem Videosignal als Metadatenbeschreibung hinzugefügt werden. Hierfür gibt es zwei Möglichkeiten.A better adaptation can take place if the description of the subjective quality is adapted to the respective signal. Then, during encoding, the corresponding subjective quality must be measured for each encoding format and for each bit rate. The result of the measurement can then be added to the audio and video signal as a metadata description. There are two options for this.
Entweder wird dem Signal eine über die gesamte Dauer des Signals gemittelte Messung der korrespondierenden subjektiven Qualität hinzugefügt oder es wird die zeitveränderliche subjektive Qualität erfasst und gemeinsam mit dem Audio- und Videosignal gespeichert. Die Speicherung der zeitveränderlichen Qualitätsbewertung erlaubt die beste Steuerung, verursacht aber den meisten Aufwand.Either the signal is averaged over the entire duration of the signal averaged measurement of the corresponding subjective quality added or the time-varying subjective quality is detected and stored together with the audio and video signal. Storing the time-varying quality score allows the best control, but causes the most effort.
Wird das Verfahren auf skalierbare Codierverfahren angewendet, deren Bitrate in sehr feinen Schritten eingestellt werden kann, reicht es aus, die Qualität in weniger feinen Schritten zu messen. In der Anwendung kann dann die korrespondierende subjektive Qualität für eine bestimmte Bitrate durch Interpolation zwischen vorhandenen Stützwerten ermittelt werden.If the method is applied to scalable coding methods whose bit rate can be set in very fine steps, it is sufficient to measure the quality in less fine steps. In the application, the corresponding subjective quality for a specific bit rate can then be determined by interpolation between existing reference values.
Die Stützwerte sind Teil einer Qualitätsskala, mit der die korrespondierende subjektive Qualität in der Qualitätsbeschreibung abgebildet werden kann. Für Audiosignale ist eine 5-stufige Qualitätsskala aus den standardisierten Verfahren BS. 1116 und PEAQ bekannt. Auch die Qualitätsskala des standardisierten Verfahrens MUSHRA kann hier verwendet werden. Für Audiosignale könnte die Qualitätsskala auch auf Parameter, wie beispielsweise die Stereobasis, basieren. Für Videosignale kann eine Qualitätsskala auf der Basis von PSNR-Werten verwendet werden.The supporting values are part of a quality scale with which the corresponding subjective quality can be depicted in the quality description. For audio signals is a 5-level quality scale from the standardized procedures BS. 1116 and PEAQ known. The quality scale of the standardized procedure MUSHRA can also be used here. For audio signals, the quality scale could also be based on parameters such as the stereo base. For video signals, a quality scale based on PSNR values can be used.
Der Vorteil eines Übertragungssystems, bei dem den Audio- und Videosignalen eine subjektive Qualitätsbeschreibung hinzugefügt wird, liegt darin, dass die Übertragung an die Nebenbedingungen, die sich aus den Netzwerkbedingungen, den Endgeräteeigenschaften, den User-Präferenzen und den Eigenschaften der Quelle ergeben, optimal angepasst werden kann.The advantage of a transmission system in which a subjective quality description is added to the audio and video signals is that the transmission is optimally adapted to the constraints resulting from the network conditions, the terminal characteristics, the user preferences, and the characteristics of the source can be.
Erfindungsgemäß wird bei dem zur Lösung der Aufgabe vorgeschlagenen Verfahren gemeinsam mit dem eigentlichen Content, nämlich den codierten Audio- und Videosignalen, auch die für die Adaption des Streams verwendete Qualitätsbeschreibung an das den Content anfordernde Terminal übertragen. Anhand der mitübertragenen Qualitätsbeschreibung werden die durch die Übertragung verursachte Qualitätsverschlechterung analysiert und hieraus Qualitäts-Feedbackdaten abgeleitet. Letztere werden als Korrekturdaten an den, den Stream aussendenden Server mit dem zugehörigen Signalkonditionierer zurückgesendet, wo sie zur Anpassung der Qualitätsbeschreibung verwendet werden und somit bei der weiterhin erfolgenden Adaption des Streams an diese und andere Randbedingungen Berücksichtigung finden.According to the invention, in the proposed method for solving the problem, together with the actual content, namely the coded audio and video signals, the quality description used for the adaptation of the stream is also transmitted to the terminal requesting the content. On the basis of the transmitted quality description, the quality deterioration caused by the transmission is analyzed and from this quality feedback data is derived. The latter are sent back as correction data to the streaming server with the associated signal conditioner, where they are used to adjust the quality description and thus taken into account in the further adaptation of the stream to these and other boundary conditions.
Vorzugsweise läuft die zuletzt beschriebene Anpassung der Qualitätsbeschreibung unter Verwendung der vom Terminal des Nutzers zurückgesendeten Korrekturdaten während der gesamten Übertragung eines Streams mit Audio- und Videosignalen als Schleife ab.Preferably, the last described adaptation of the quality description using the correction data returned by the user's terminal will loop during the entire transmission of a stream of audio and video signals.
Im folgenden werden für ein Übertragungsverfahren mit der erfindungsgemäßen Verbesserung die einzelnen Verfahrensschritte dargestellt. Die Bezeichnungen beziehen sich dabei auf
- 1. Der Encoder (
1 ) erzeugt aus Rohdaten (8 ) einen skalierbaren Stream (9 ), der in einer Datenbank (4 ) gespeichert wird. Der skalierbare Stream kann mit einem skalierbaren Codec erzeugt werden oder auf der simultanen Speicherung mehrerer Bitraten beruhen. - 2. Der Qualitätsbeschreibungen-Generator (
2 ) generiert mit Hilfe von (8 ) und (9 ) eine Qualitätsbeschreibung für diesen Stream (10 ), die in einer DB (3 ) gespeichert wird. - 3. Das Terminal des Nutzers (
7 ) fordert über das IP-Netzwerk einen bestimmten A/V-Content an. - 4. Der angeforderte Content wird aus der „Skallierbare Streams Datenbank” (
4 ) selektiert und der selektierte skalierbare Stream (11 ) an den Signalkonditionierer (5 ) weitergegeben. - 5. Der Signalkonditionierer (
5 ) adaptiert den selektierten skalierbaren Stream (11 ) zu Beginn des Streaming-Prozesses gemäß der Qualitätsbeschreibung (12 ) und anderer Randbedingungen, z. B. Präferenzen des Nutzers, Terminaleigenschaften oder verwendetes Netzwerk. - 6. Der Server (
6 ) sendet den adaptierten Stream (13 ) über das Übertragungsmedium zum Terminal (7 ). - 7. Das Terminal (
7 ) decodiert den empfangenen Stream, generiert Qualitäts-Feedbackdaten (15 ) und sendet diese zurück an den Signalkonditionierer (5 ). Die Feedbackdaten können z. B. Bitfehler oder Paketverluste anzeigen. - 8. Der Signalkonditionierer (
5 ) wertet die Qualitäts-Feedbackdaten (15 ) aus. - Zusammen mit der Qualitätsbeschreibung des skalierbaren Streams (
12 ) und den Feedbackdaten (15 ) wird die Übertragung in Bezug auf die subjektive Qualität optimiert. Dies kann, wenn zeitlich veränderliche Qualitätsbeschreibungen zur Verfügung stehen, besonders akkurat erfolgen. - 9. Zusätzlich kann der Server (
6 ) zusammen mit dem adaptierten Stream (13 ) eine adaptierte Qualitätsbeschreibung (14 ) über das Übertragungsmedium zum Terminal (7 ) übertragen. - 10. Das Terminal (
7 ) decodiert den empfangenen Stream, und analysiert anhand der mitübertragenen Qualitätsbeschreibung die durch die Übertragung verursachte subjektive Qualitätsverschlechterung. Die Qualitätsbeschreibung wird entsprechend angepasst. Die subjektiven Qualitäts-Feedbackdaten (15 ) enthalten nun die Informationen über das Netzverhalten und die Verschlechterung der subjektiven Qualität. Diese werden an den Signalkonditionierer (5 ) zurückgesandt. - 11. Der Signalkonditionierer (
5 ) führt eine weitere Optimierung der Qualität anhand der Qualitätsbeschreibungen (12 ) und der adaptierten Qualitätsbeschreibung in den Qualitäts-Feedbackdaten (15 ) durch.Die Schritte 8–10 können während der gesamten Übertragung in einer Schleife durchlaufen werden.
- 1. The encoder (
1 ) generated from raw data (8th ) a scalable stream (9 ) stored in a database (4 ) is stored. The scalable stream can be generated with a scalable codec or based on the simultaneous storage of multiple bit rates. - 2. The quality description generator (
2 ) generated with the help of (8th ) and (9 ) a quality description for this stream (10 ) stored in a DB (3 ) is stored. - 3. The terminal of the user (
7 ) requests specific A / V content over the IP network. - 4. The requested content is taken from the "Skallable Streams Database" (
4 ) and the selected scalable stream (11 ) to the signal conditioner (5 ). - 5. The signal conditioner (
5 ) adapts the selected scalable stream (11 ) at the beginning of the streaming process according to the quality description (12 ) and other boundary conditions, eg. For example, user preferences, terminal properties or network used. - 6. The server (
6 ) sends the adapted stream (13 ) via the transmission medium to the terminal (7 ). - 7. The terminal (
7 ) decodes the received stream, generates quality feedback data (15 ) and sends them back to the signal conditioner (5 ). The feedback data can be z. B. Show bit errors or packet loss. - 8. The signal conditioner (
5 ) evaluates the quality feedback data (15 ) out. - Along with the quality description of the scalable stream (
12 ) and the feedback data (15 ) the transmission is optimized in terms of subjective quality. This can be particularly accurate when time-varying quality descriptions are available. - 9. In addition, the server (
6 ) together with the adapted stream (13 ) an adapted quality description (14 ) via the transmission medium to the terminal (7 ) transfer. - 10. The terminal (
7 ) decodes the received stream, and analyzes, based on the co-transmitted quality description, the subjective quality degradation caused by the transmission. The quality description will be adjusted accordingly. The subjective quality feedback data (15 ) now contain the information about the network behavior and the deterioration of the subjective quality. These are sent to the signal conditioner (5 ). - 11. The signal conditioner (
5 ) leads to a further optimization of quality based on the quality descriptions (12 ) and the adapted quality description in the quality feedback data (15 ) by. Steps 8-10 can be looped throughout the transmission.
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102004029872A DE102004029872B4 (en) | 2004-06-16 | 2004-06-16 | Method and device for improving the quality of transmission of coded audio / video signals |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102004029872A DE102004029872B4 (en) | 2004-06-16 | 2004-06-16 | Method and device for improving the quality of transmission of coded audio / video signals |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102004029872A1 DE102004029872A1 (en) | 2006-01-12 |
DE102004029872B4 true DE102004029872B4 (en) | 2011-05-05 |
Family
ID=34934060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102004029872A Active DE102004029872B4 (en) | 2004-06-16 | 2004-06-16 | Method and device for improving the quality of transmission of coded audio / video signals |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102004029872B4 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19647399C1 (en) * | 1996-11-15 | 1998-07-02 | Fraunhofer Ges Forschung | Hearing-appropriate quality assessment of audio test signals |
DE19821273A1 (en) * | 1998-05-13 | 1999-12-02 | Deutsche Telekom Ag | Measuring method for the aurally correct quality evaluation of audio signals |
WO2002032147A1 (en) * | 2000-10-11 | 2002-04-18 | Koninklijke Philips Electronics N.V. | Scalable coding of multi-media objects |
US20030185301A1 (en) * | 2002-04-02 | 2003-10-02 | Abrams Thomas Algie | Video appliance |
DE10315517A1 (en) * | 2002-07-17 | 2004-02-05 | Hewlett-Packard Co. (N.D.Ges.D.Staates Delaware), Palo Alto | Multimedia system and method |
DE10344017A1 (en) * | 2002-09-17 | 2004-03-25 | Samsung Electronics Co., Ltd., Suwon | Multi-media streaming server for data streaming and band-width measurement, includes message reception unit for receiving network-bandwidth information from client |
-
2004
- 2004-06-16 DE DE102004029872A patent/DE102004029872B4/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19647399C1 (en) * | 1996-11-15 | 1998-07-02 | Fraunhofer Ges Forschung | Hearing-appropriate quality assessment of audio test signals |
DE19821273A1 (en) * | 1998-05-13 | 1999-12-02 | Deutsche Telekom Ag | Measuring method for the aurally correct quality evaluation of audio signals |
WO2002032147A1 (en) * | 2000-10-11 | 2002-04-18 | Koninklijke Philips Electronics N.V. | Scalable coding of multi-media objects |
US20030185301A1 (en) * | 2002-04-02 | 2003-10-02 | Abrams Thomas Algie | Video appliance |
DE10315517A1 (en) * | 2002-07-17 | 2004-02-05 | Hewlett-Packard Co. (N.D.Ges.D.Staates Delaware), Palo Alto | Multimedia system and method |
DE10344017A1 (en) * | 2002-09-17 | 2004-03-25 | Samsung Electronics Co., Ltd., Suwon | Multi-media streaming server for data streaming and band-width measurement, includes message reception unit for receiving network-bandwidth information from client |
Also Published As
Publication number | Publication date |
---|---|
DE102004029872A1 (en) | 2006-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112013001313B4 (en) | Identify and move to an improved VOIP session | |
DE60023576T2 (en) | Method and apparatus for moving picture data transcoding | |
DE602004004436T2 (en) | Apparatus, method and processing program for receiving and reproducing data | |
EP0667063B1 (en) | Process for transmitting and/or storing digital signals from several channels | |
DE10350894B4 (en) | Method for transmitting data | |
EP3011752A1 (en) | Concept for determining the quality of a media data stream with varying quality-to-bit rate | |
DE10344017B4 (en) | Server, client, apparatus and method for streaming multimedia data and network bandwidth measurement techniques | |
DE19952684B4 (en) | Method for video coding and video decoding | |
DE60121592T2 (en) | CODING AND DECODING A DIGITAL SIGNAL | |
WO1996032717A1 (en) | Method and device for storing, searching for and playing back audiovisual data and data files | |
EP2245620B1 (en) | Method and means for encoding background noise information | |
DE102004029872B4 (en) | Method and device for improving the quality of transmission of coded audio / video signals | |
WO2018041680A1 (en) | Device and method for determining the quality of a media data stream | |
EP2245622B1 (en) | Method and means for decoding background noise information | |
EP1182841B1 (en) | Method for platform independent streaming of multimedia content for IP based networks | |
DE102016207785B4 (en) | Method and device for quality assessment of a video stream in the transmission of video telephony | |
EP2159932A2 (en) | Method and device for selecting satellite channels | |
WO2002084929A1 (en) | Method and device for the transmission of digital signals | |
CN108476345A (en) | The method and system that flow rate in content-control stream media network is adjusted | |
WO2023285535A1 (en) | Methods and devices for designing a bitrate ladder for video streaming | |
DE102018108784B4 (en) | Method for sending a digital video signal to a receiving device, processing unit and computer program product | |
DE102021115206A1 (en) | Method, coding device and motor vehicle for encoding a plurality of video streams into an overall video stream using a single encoder | |
DE10353793A1 (en) | Method for improving the reproduction quality in the case of packet-oriented transmission of audio / video data | |
EP2046063A1 (en) | Method for rate control of multimedia streams and apparatus for performing this method | |
EP1157495B1 (en) | Telecommunications network station for transmitting digitalised data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OR8 | Request for search as to paragraph 43 lit. 1 sentence 1 patent law | ||
8105 | Search report available | ||
8110 | Request for examination paragraph 44 | ||
R020 | Patent grant now final |
Effective date: 20110806 |