EP0608174A1 - System for predictive encoding/decoding of a digital speech signal by an adaptive transform with embedded codes - Google Patents
System for predictive encoding/decoding of a digital speech signal by an adaptive transform with embedded codes Download PDFInfo
- Publication number
- EP0608174A1 EP0608174A1 EP94400109A EP94400109A EP0608174A1 EP 0608174 A1 EP0608174 A1 EP 0608174A1 EP 94400109 A EP94400109 A EP 94400109A EP 94400109 A EP94400109 A EP 94400109A EP 0608174 A1 EP0608174 A1 EP 0608174A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- signal
- module
- speech signal
- perceptual
- transform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
- G10L2019/0002—Codebook adaptations
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
- G10L2019/0003—Backward prediction of gain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
- G10L2019/0004—Design or structure of the codebook
- G10L2019/0005—Multi-stage vector quantisation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
- G10L2019/0011—Long term prediction filters, i.e. pitch estimation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
La présente invention est relative à un système de codage-décodage prédictif d'un signal numérique de parole par transformée adaptative à codes imbriqués.The present invention relates to a predictive coding-decoding system for a digital speech signal by adaptive transform with nested codes.
Dans les codeurs prédictifs par transformée actuellement utilisés, ce type de codeur étant représenté en figure 1, on cherche à construire un signal synthétique Sn le plus ressemblant possible au signal numérique de parole à coder Sn, ressemblance au sens d'un critère perceptuel.In the predictive transform coders currently used, this type of coder being represented in FIG. 1, it is sought to construct a synthetic signal Sn as close as possible to the digital speech signal to be coded Sn, resemblance in the sense of a perceptual criterion.
Le signal numérique à coder Sn, issu d'un signal de parole source analogique, est soumis à un processus de prédiction à court terme, analyse LPC, les coefficients de prédiction étant obtenus par prédiction du signal de parole sur des fenêtres comportant M échantillons. Le signal numérique de parole à coder Sn est filtré au moyen d'un filtre de pondération perceptuelle W(z) déduit des coeffidents de prédiction précités, pour obtenir le signal perceptuel pnThe digital signal to be coded Sn, originating from an analog source speech signal, is subjected to a short-term prediction process, LPC analysis, the prediction coefficients being obtained by prediction of the speech signal on windows comprising M samples. The digital speech signal to be coded Sn is filtered by means of a perceptual weighting filter W (z) deduced from the aforementioned prediction coefficients, to obtain the perceptual signal pn
Un processus de prédiction à long terme permet ensuite de prendre en compte la périodicité du résidu pour les sons voisés, sur toutes les sous-fenêtres de N échantillons, N < M, sous forme d'une contribution Pn, laquelle est soustraite du signal perceptuel pn de façon à obtenir le signal p'n sous forme d'un vecteur P'eRN. A long-term prediction process then makes it possible to take into account the periodicity of the residue for the voiced sounds, on all the sub-windows of N samples, N <M, in the form of a contribution P n , which is subtracted from the signal perceptual pn so as to obtain the signal p'n in the form of a vector P'e RN.
Une transformation suivie d'une quantification sont ensuite réalisées sur le vecteur P' précité en vue d'effectuer une transmission numérique. Les opérations inverses permettent, après transmission, la modélisation du signal synthétique Sn.A transformation followed by a quantification are then carried out on the aforementioned vector P ′ in order to carry out a digital transmission. The reverse operations allow, after transmission, the modeling of the synthetic signal S n .
Afin d'obtenir un bon comportement perceptuel, selon les critères habituels établis par l'expérience, il est nécessaire d'établir un processus de transformation par transformée orthonormée F et de quantification du vecteur P', en présence de valeurs de gain G vérifiant des propriétés bien déterminées, G = FT.P' où FT désigne la matrice transposée de la matrice F.In order to obtain good perceptual behavior, according to the usual criteria established by experience, it is necessary to establish a transformation process by orthonormal transform F and quantization of the vector P ', in the presence of gain values G verifying well determined properties, G = F T .P 'where F T denotes the matrix transposed from the matrix F.
Une première solution, proposée par G.Davidson et A.Gersho, dans la publication "Multiple-Stage Vector Excitation Coding of Speech Wave forms", ICASSP 88, Vol.1, pp 163-166, consiste à utiliser une matrice de transformation non singulière V = HC où H est une matrice triangulaire inférieure et C un dictionnaire non singulier, construit par apprentissage, assurant l'inversablité de la matrice de transformation V pour toute sous- fenêtre.A first solution, proposed by G. Davidson and A. Gersho, in the publication "Multiple-Stage Vector Excitation Coding of Speech Wave forms", ICASSP 88, Vol. 1, pp 163-166, consists in using a transformation matrix not singular V = HC where H is a lower triangular matrix and C a non-singular dictionary, constructed by learning, ensuring the invertibility of the transformation matrix V for any sub-window.
Afin de pouvoir exploiter certaines propriétés de décorrélation et d'ordonnancement des composantes du vecteur de coefficients de la transformée G lors de l'étape de quantification, plusieurs solutions utilisant des transformées orthonormées ont été proposées.In order to be able to exploit certain decorrelation and ordering properties of the components of the vector of coefficients of the transform G during the quantification step, several solutions using orthonormal transforms have been proposed.
La transformée de Karhunen-Loeve, obtenue à partir des vecteurs propres de la matrice d'auto- corrélation
où est le nombre de vecteurs contenu dans le corpus d'apprentissage, permet de maximiser l'expression
où K est un entier, K Z N. On démontre que l'erreur quadratique moyenne de la transformée de Karhunen-Loeve est inférieure à celle de toute autre transformation pour un ordre de modélisation K donné, cette transformée étant, dans ce sens, optimale. Ce type de transformée a été introduit dans un codeur prédictif par transformée orthogonale par N.Moreau et P.Dymarski, confer publication "Successive Orthogonalisations in the Multistage CELP Coder", ICASSP 92 Vol.1, pp 1-61 - 1-64.The Karhunen-Loeve transform, obtained from the eigenvectors of the autocorrelation matrix
where is the number of vectors contained in the learning corpus, allows to maximize the expression
where K is an integer, KZ N. We show that the mean square error of the Karhunen-Loeve transform is lower than that of any other transformation for a given modeling order K, this transform being, in this sense, optimal. This type of transform was introduced into a predictive coder by orthogonal transform by N. Moreau and P. Dymarski, confer publication "Successive Orthogonalisations in the Multistage CELP Coder", ICASSP 92 Vol.1, pp 1-61 - 1-64.
Toutefois, afin de réduire la complexité de calcul du vecteur de gain G, il est possible d'utiliser des transformées sous-optimales, telles que la transformée de Fourier Rapide (FFT), la transformée en cosinus discrète (TCD) la transformée discrète de Hadamard (DHT) ou de Walsh Hadamard (DWHT) par exemple.However, in order to reduce the computation complexity of the gain vector G, it is possible to use sub-optimal transforms, such as the Fast Fourier transform (FFT), the discrete cosine transform (TCD) the discrete transform of Hadamard (DHT) or Walsh Hadamard (DWHT) for example.
Une autre méthode pour la construction d'une transformée orthonormée consiste à décomposer en valeurs singulières la matrice de Toeplitz triangulaire inférieure H définie par :
matrice dans laquelle h(n) est la réponse impulsionnelle du filtre de prédiction à court terme 1/A(z) de la fenêtre courante.Another method for the construction of an orthonormal transform consists in decomposing into singular values the lower triangular Toeplitz matrix H defined by:
matrix in which h (n) is the impulse response of the short-
La matrice H peut alors être décomposée en une somme de matrices de rang 1 :
La matrice U étant unitaire, celle-ci peut être util isée en tant que transformée orthonormée. Une telle construction a été proposée par B.S.Atal dans la publication "A Model of LPC Excitation in Terms of Eigenvectors of the Autocorrelation Matrix of the Impulse Response of the LPC Filter", ICASSP 89, Vol.1, pp 45-48 et par E.Ofer dans la publication "A Unified Framework for LPC Excitation Representation in Residual Speech Coders" ICASSP 89, Vol.1 pp 41-44.Since the matrix U is unitary, it can be used as an orthonormal transform. Such a construction was proposed by BSAtal in the publication "A Model of LPC Excitation in Terms of Eigenvectors of the Autocorrelation Matrix of the Impulse Response of the LPC Filter", ICASSP 89, Vol.1, pp 45-48 and by E .Ofer in the publication "A Unified Framework for LPC Excitation Representation in Residual Speech Coders" ICASSP 89, Vol.1 pp 41-44.
Les codeurs à codes imbriqués actuellement connus permettent de transmettre des données parvol d'éléments binaires normalement alloués à la parole sur le canal de transmission, et ce, d'une façon transparente pour le codeur, lequel code le signal de parole au débit maximum.Coders with nested codes currently known make it possible to transmit parvol data of binary elements normally allocated to speech on the transmission channel, and this, in a manner transparent to the coder, which codes the speech signal at the maximum bit rate.
Parmi ce type de codeurs, un codeur à 64 kbit/s à quantificateur scalaire à codes imbriqués a été normalisé en 1986 par la norme G 722 établie par le CCITT. Ce codeur opérant dans le domaine de la parole en bande élargie (signal audio de largeur de bande de 50 Hz à 7 kHz, échantillonné à 16 kHz), est basé sur un codage en deux sous-bandes contenant chacune un codeur à Modulation par Impulsion et Codage Différentiel Adaptatif (codage MICDA). Cette technique de codage permet de transmettre des signaux de parole en bande élargie et des données, si nécessaire, sur un canal à 64 kbit/s, à trois débits différents 64-56-48 kbit/s et 0-8-16 kbit/s pour les données.Among this type of encoder, a 64 kbit / s encoder with scaled quantizer with nested codes was standardized in 1986 by standard G 722 established by the CCITT. This coder operating in the field of wideband speech (audio signal with a bandwidth of 50 Hz to 7 kHz, sampled at 16 kHz), is based on a coding in two sub-bands each containing a Pulse Modulation coder and Adaptive Differential Coding (MICDA coding). This coding technique allows broadband speech signals and data, if necessary, to be transmitted on a 64 kbit / s channel, at three different bit rates 64-56-48 kbit / s and 0-8-16 kbit / s for data.
En outre, dans le cadre de la mise en oeuvre de codeurs excités par codes (ou codeurs CELP) M.Johnson et T.Tanigushi ont décrit un codeur CELP multi-étages à codes imbriqués. Confer la publication des auteurs précités intitulée "Pitch Orthogonal Code-Excited LPC", Globecom 90, Vol.1, pp 542-546.In addition, in the context of the implementation of coded excited coders (or CELP coders) M. Johnson and T. Tanigushi have described a multistage CELP coder with nested codes. See the publication by the aforementioned authors entitled "Pitch Orthogonal Code-Excited LPC", Globecom 90, Vol.1, pp 542-546.
Enfin, R.Drogo De lacovo et D.Sereno ont décrit un codeur de type CELP modifié permettant d'obtenir des codes imbriqués ou modélisant le signal d'excitation du filtre d'analyse LPC par une somme de différentes contributions et utilisant seulement la première d'entre elles pour la remise à jour de la mémoire du filtre de synthèse, confer la publication de ces auteurs "Embedded CELP Coding For Variable Bit-Rate Between 6.4 and 9.6 kbit/s" ICASSP 91 Vol.1, pp 681-684.Finally, R.Drogo De lacovo and D.Sereno described a modified CELP type coder allowing to obtain nested codes or modeling the excitation signal of the LPC analysis filter by a sum of different contributions and using only the first of them for updating the memory of the synthesis filter, confer the publication of these authors "Embedded CELP Coding For Variable Bit-Rate Between 6.4 and 9.6 kbit / s" ICASSP 91 Vol.1, pp 681-684 .
Les codeurs prédictifs par transformée de l'art antérieur précités ne permettent pas de transmettre des données et ne peuvent donc pas remplir la fonction de codeurs à codes-imbriqués. En outre, les codeurs à codes imbriqués de l'art antérieur n'utilisent pas la technique de la transformée orthonormée, ce qui ne permet pas de tendre vers ou d'atteindre un codage par transformée optimal.The aforementioned prior art transform predictive coders do not make it possible to transmit data and therefore cannot fulfill the function of nested code coders. In addition, the nested code coders of the prior art do not use the orthonormal transform technique, which does not make it possible to tend towards or to achieve optimal transform coding.
La présente invention a pour objet de remédier à l'inconvénient précité par la mise en oeuvre d'un système de codage-décodage prédictif d'un signal numérique de parole par transformée adaptative à codes imbriqués.The object of the present invention is to remedy the aforementioned drawback by implementing a predictive coding-decoding system for a digital speech signal by adaptive transform with nested codes.
Un autre objet de la présente invention est la mise en oeuvre d'un système de codage-décodage prédictif d'un signal numérique de parole et de données permettant une transmission à des débits réduits et flexibles.Another object of the present invention is the implementation of a predictive coding-decoding system for a digital speech and data signal allowing transmission at reduced and flexible rates.
Le système de codage prédictif d'un signal numérique en un signal numérique à codes imbriqués, dans lequel le signal numérique codé est constitué par un signal de parole codé et, le cas échéant, par un signal de données auxiliaires insérées au signal de parole codé après codage de ce dernier, objet de la présente invention, comprend un filtre de pondération perceptuelle piloté par une boucle de prédiction à court terme permettant d'engendrer un signal perceptuel et un circuit de prédiction à long terme délivrant un signal perceptuel estimé, ce circuit de prédiction à long terme formant une boucle de prédiction à long terme permettant de délivrer, à partir du signal perceptuel et du signal d'excitation passée estimé, un signal d'excitation perceptuelle modélisé et des circuits de transformée adaptative et de quantification permettant à partir du signal d'excitation perceptuelle d'engendrer le signal de parole codé.The system for predictive coding of a digital signal into a digital code nested code signal, in which the coded digital signal consists of a coded speech signal and, where appropriate, of an auxiliary data signal inserted into the coded speech signal after coding of the latter, object of the present invention, comprises a perceptual weighting filter controlled by a short-term prediction loop making it possible to generate a perceptual signal and a long-term prediction circuit delivering an estimated perceptual signal, this circuit long-term prediction signal forming a long-term prediction loop making it possible to deliver, from the perceptual signal and the estimated past excitation signal, a modeled perceptual excitation signal and adaptive transform and quantization circuits making it possible to of the perceptual excitation signal to generate the coded speech signal.
Il est remarquable en ce que le filtre de pondération perceptuelle consiste en un filtre de prédiction à court terme du signal de parole à coder, de façon à réaliser une répartition fréquentielle du bruit de quantification et en ce qu'il comporte un circuit de soustraction de la contribution du signal d'excitation passée du signal perceptuel pour délivrer un signal perceptuel réactualisé, le circuit de prédiction à long terme étant formé, en boucle fermée, à partir d'un dictionnaire réactualisé par l'excitation passée modélisée correspondant au débit le plus faible permettant de délivrer une forme d'onde optimale et un gain associé à celle-ci, constitutif du signal perceptuel estimé. Le circuit de transformée est formé par un module de transformée orthonormée comportant un module de transformation orthogonale adaptative et un module de modélisation progressive par vecteurs orthogonaux. Le module de modélisation progressive et le circuit de prédiction à long terme permettent de délivrer des index représentatifs du signal de parole codé. Un circuit d'insertion des données auxiliaires est couplé au canal de transmission.It is remarkable in that the perceptual weighting filter consists of a short-term prediction filter of the speech signal to be coded, so as to achieve a frequency distribution of the quantization noise and in that it comprises a circuit for subtracting the contribution of the past excitation signal from the perceptual signal to deliver an updated perceptual signal, the long-term prediction circuit being formed, in closed loop, from a dictionary updated by the past excitation modeled corresponding to the lowest bit rate allowing the delivery of an optimal waveform and a gain associated with it, constituting the estimated perceptual signal. The transform circuit is formed by an orthonormal transform module comprising an adaptive orthogonal transformation module and a progressive modeling module by orthogonal vectors. The progressive modeling module and the long-term prediction circuit make it possible to deliver indexes representative of the coded speech signal. An auxiliary data insertion circuit is coupled to the transmission channel.
Le système de décodage prédictif par transformée adaptative d'un signal numérique codé à codes imbriqués dans lequel le signal numérique codé est constitué par un signal numérique codé et, le cas échéant, par un signal de données auxiliaires insérées au signal de parole codé après codage de ce dernier, est remarquable en ce qu'il comporte un circuit d'extraction du signal de données permettant, d'une part, l'extraction des données en vue d'une utilisation auxiliaire et, d'autre part, la transmission d'index représentatifs du signal de parole codé. Il comprend en outre un circuit de modélisation du signal de parole au débit minimum et un circuit de modélisation du signal de parole à au moins un débit supérieur au débit minimum.The system for adaptive transform predictive decoding of a nested coded digital signal in which the coded digital signal consists of a coded digital signal and, where appropriate, of an auxiliary data signal inserted into the coded speech signal after coding of the latter, is remarkable in that it comprises a circuit for extracting the data signal allowing, on the one hand, the extraction of the data for an auxiliary use and, on the other hand, the transmission of 'indexes representative of the coded speech signal. It further comprises a circuit for modeling the speech signal at the minimum bit rate and a circuit for modeling the speech signal at at least one bit rate greater than the minimum bit rate.
Le système de codage-décodage prédictif d'un signal numérique de parole par transformée adaptative à codes imbriqués objet de la présente invention trouve application, de manière générale, à la transmission de la parole et de données à des débits flexibles, et, plus particulièrement, aux protocoles de conférences audiovisuelles, au visiophone, à la téléphonie sur haut-parleurs, au stockage et au transport de signaux audio-numériques sur des liaisons longues distances, à la transmission avec des mobiles et des systèmes à concentration de voies.The predictive coding-decoding system of a digital speech signal by adaptive transform with nested codes object of the present invention finds application, in general, to the transmission of speech and data at flexible rates, and, more particularly , audiovisual conference protocols, videophone, loudspeaker telephony, storage and transport of digital audio signals over long distance links, transmission with mobiles and channel concentrating systems.
Une description plus détaillée du système de codage-décodage objet de l'invention sera donnée ci-après en relation avec les dessins dans lesquels, outre la figure 1 relative à l'art antérieur concernant un codeur prédictif par transformée,
- - la figure 2 représente un schéma de principe du système de codage prédictif d'un signal de parole par transformée adaptative à codes imbriqués objet de la présente invention,
- - la figure 3 représente un détail de réalisation d'un module de prédiction à long terme en boucle fermée utilisé dans le système de codage représenté en figure 2,
- - les figures 4a et 4b représentent un schéma partiel d'un codeur prédictif par transformée et un schéma équivalent au schéma partiel de la figure 4a,
- - la figure 5a représente un organigramme d'un processus de transformée orthonormée construit par apprentissage,
- - la figure 5b représente deux diagrammes comparatifs de valeurs de gain normalisées obtenus par décomposition en valeurs singulières respectivement par apprentissage,
- - les figures 6a et 6b représentent schématiquement le processus de transformation de Householder appliqué au signal perceptuel,
- - la figure 7 représente un module de transformation adaptative mettant en oeuvre une transformation de Householder,
- - la figure 8a représente, pour la décomposition en valeurs singulières respectivement la construction pour apprentissage, un critère normalisé de gain en fonction du nombre de composantes du vecteur de gains,
- - la figure 8b représente un schéma de principe de quantification vectorielle multiétage dans lequel le vecteur de gains G est obtenu par combinaison linéaire de vecteurs issus de dictionnaires stochastiques,
- - la figure 9 est une représentation géométrique de la prospection du vecteur de gain G dans un sous-espace de vecteurs issus de dictionnaires stochastiques,
- - les figures 10a e 10b représentent le schéma de principe d'un processus de quantification vectorielle de gain par modélisations progressives orthogonales, correspondant à une projection optimale de ce vecteur de gain représentée en figure 9, dans le cas d'un seul respectivement de plusieurs dictionnaires stochastiques,
- - la figure 11 représente un mode de réalisation de la modélisation de l'excitation du filtre de synthèse correspondant au débit le plus faible,
- - la figure 12 représente un schéma de principe d'un système de décodage prédictif d'un signal de parole par transformée adaptative à codes imbriqués objet de la présente invention,
- - la figure 13a représente un schéma de principe d'un module de modélisation du signal de parole au débit minimum,
- - la figure 13b représente un mode de réalisation d'un module de transformation orthonormée inverse,
- - la figure 14a représente un schéma d'un module de modélisation du signal de parole aux débits autres que le débit minimum,
- - la figure 14b représente un schéma équivalent au module de modélisation représenté en figure 14a,
- - la figure 15 représente la mise en oeuvre d'un filtre adaptatif de post-filtrage destiné à améliorerla qualité perceptuelle du signal de parole de synthèse Sn.
- FIG. 2 represents a block diagram of the predictive coding system of a speech signal by adaptive transform with nested codes which is the subject of the present invention,
- FIG. 3 represents a detail of an embodiment of a long-term closed-loop prediction module used in the coding system represented in FIG. 2,
- FIGS. 4a and 4b represent a partial diagram of a predictive coder by transform and a diagram equivalent to the partial diagram of FIG. 4a,
- FIG. 5a represents a flow diagram of an orthonormal transform process constructed by learning,
- FIG. 5b represents two comparative diagrams of normalized gain values obtained by decomposition into singular values respectively by learning,
- FIGS. 6a and 6b schematically represent the Householder transformation process applied to the perceptual signal,
- FIG. 7 represents an adaptive transformation module implementing a Householder transformation,
- FIG. 8a represents, for the decomposition into singular values respectively the construction for learning, a normalized gain criterion as a function of the number of components of the gain vector,
- FIG. 8b represents a principle diagram of multi-stage vector quantization in which the gain vector G is obtained by linear combination of vectors from stochastic dictionaries,
- FIG. 9 is a geometric representation of the prospecting of the gain vector G in a subspace of vectors from stochastic dictionaries,
- - Figures 10a and 10b represent the schematic diagram of a vector quantization process of gain by orthogonal progressive modeling, corresponding to an optimal projection of this gain vector represented in Figure 9, in the case of a single respectively of several stochastic dictionaries,
- FIG. 11 represents an embodiment of the modeling of the excitation of the synthesis filter corresponding to the lowest bit rate,
- FIG. 12 represents a block diagram of a system for predictive decoding of a speech signal by adaptive transform with nested codes which is the subject of the present invention,
- FIG. 13a represents a block diagram of a module for modeling the speech signal at the minimum rate,
- FIG. 13b represents an embodiment of a reverse orthonormal transformation module,
- FIG. 14a represents a diagram of a module for modeling the speech signal at bit rates other than the minimum bit rate,
- FIG. 14b represents a diagram equivalent to the modeling module represented in FIG. 14a,
- FIG. 15 represents the implementation of an adaptive post-filtering filter intended to improve the perceptual quality of the synthetic speech signal Sn.
Une description plus détaillée d'un système de codage prédictif d'un signal numérique de parole partrans- formée adaptative en un signal numérique à codes imbriqués sera maintenant donnée en liaison avec la figure 2 et les figures suivantes.A more detailed description of a system for predictive coding of a digital speech of adaptive partransformed speech into a digital signal with nested codes will now be given in connection with FIG. 2 and the following figures.
D'une manière générale on considère que le signal numérique codé par la mise en oeuvre du système de codage objet de la présente invention est constitué par un signal de parole codé et le cas échéant par un signal de données auxiliaires insérées au signal de parole codé, après codage de ce signal numérique de parole.In general, it is considered that the digital signal coded by the implementation of the coding system which is the subject of the present invention consists of a coded speech signal and, where appropriate, by an auxiliary data signal inserted into the coded speech signal. , after coding of this digital speech signal.
Bien entendu, le système de codage objet de la présente invention peut comprendre, à partir d'un transducteur délivrant le signal de parole analogique, un convertisseur analogique-numérique et un circuit de mémorisation d'entrée ou buffer d'entrée permettant de délivrer le signal numérique à coder Sn.Of course, the coding system which is the subject of the present invention may comprise, from a transducer delivering the analog speech signal, an analog-digital converter and an input storage circuit or input buffer making it possible to deliver the digital signal to code Sn.
Le système de codage objet de la présente invention comprend également un filtre de pondération perceptuelle 11 piloté par une boucle de prédiction à court terme permettant d'engendrer un signal perceptuel, noté P .The coding system which is the subject of the present invention also comprises a
Il comprend également un circuit de prédiction à long terme, noté 13, délivrant un signal perceptuel estimé, lequel est noté P'..It also includes a long-term prediction circuit, denoted 13, delivering an estimated perceptual signal, which is denoted P ′.
Le circuit de prédiction à long terme 13 forme une boucle de prédiction à long terme permettant de délivrer, à partir du signal perceptuel et du signal d'excitation passée estimée, noté p n o, un signal d'excitation perceptuelle modélisée.The long-
Le système de codage objet de l'invention tel que représenté en figure 2 comporte en outre un circuit de transformée adaptative et de quantification permettant à partir du signal d'excitation perceptuel Pn d'engendrer le signal de parole codé ainsi qu'il sera décrit ci-après dans la description.The coding system which is the subject of the invention as shown in FIG. 2 further comprises an adaptive transform and quantization circuit making it possible, from the perceptual excitation signal P n, to generate the coded speech signal as it will be described below in the description.
Selon un premier aspect particulièrement avantageux du système de codage objet de la présente invention, le filtre de pondération perceptuelle 11 consiste en un filtre de prédiction à court terme du signal de parole à coder, de façon à réaliser une répartition fréquentielle du bruit de quantification. Le filtre de pondération perceptuelle 11 délivrant le signal perceptuel ,le dispositif de codage selon l'invention comprend ainsi que représenté sur la même figure 2 un circuit 120 de soustraction de la contribution du signal d'excitation passée P̂0 n du signal perceptuel pour délivrer un signal perceptuel réactualisé, ce signal perceptuel réactualisé étant noté Pn.According to a first particularly advantageous aspect of the coding system which is the subject of the present invention, the
Selon une autre caractéristique particulièrement avantageuse du dispositif de codage objet de la présente invention, le circuit de prédiction à long terme 13 est formé en boucle fermée à partir d'un dictionnaire réactualisé par l'excitation passée modélisée correspondant au débit le plus faible, ce dictionnaire permettant de délivrer une forme d'onde optimale et un gain estimé associé à celle-ci. Sur la figure 2, l'excitation passée modélisée correspondant au débit le plus faible est notée r̂1 n. On indique en outre que la forme d'onde optimale et le gain estimé associé à celle-ci sont constitutifs du signal perceptuel estimé Pn délivré par le circuit 13 de prédiction à long terme.According to another particularly advantageous characteristic of the coding device which is the subject of the present invention, the long-
Selon une autre caractéristique du système de codage objet de la présente invention, ainsi que représenté en figure 2, le circuit module de transformée, noté MT, est formé par un module de transformée orthonormé 14, comportant un module de transformation orthogonale adaptative proprement dit et un module de modélisation progressive par vecteurs orthogonaux, noté 16.According to another characteristic of the coding system which is the subject of the present invention, as shown in FIG. 2, the transform module circuit, denoted MT, is formed by an
Conformément à un aspect particulièrement avantageux du système de codage objet de la présente invention, le module de modélisation progressive 16 et le circuit de prédiction à long terme 13 permettent de délivrer des index représentatifs du signal de parole codé, ces index étant notés i(0), j(0) respectivement i(1), j(1) avec 1 e [1,L] sur la figure 2.In accordance with a particularly advantageous aspect of the coding system which is the subject of the present invention, the
Enfin, le système de codage selon l'invention comprend en outre un circuit 19 d'insertion des données auxiliaires couplé au canal de transmission, noté 18.Finally, the coding system according to the invention further comprises a
Le fonctionnement du dispositif de codage objet de la présente invention peut être illustré de la façon ci-après.The operation of the coding device which is the subject of the present invention can be illustrated in the following manner.
Ainsi qu'on l'a indiqué précédemment, on cherche à reconstituer un signal synthétique Sn le plus ressemblant possible perceptuellement au signal numérique à coder Sn.As indicated above, it is sought to reconstruct a synthetic signal S n as closely as possible perceptually resembling the digital signal to be coded Sn.
Le signal synthétique Sn est bien entendu le signal reconstitué à la réception, c'est à dire au niveau décodage après transmission ainsi qu'il sera décrit ultérieurement dans la description.The synthetic signal S n is of course the signal reconstituted on reception, that is to say at the decoding level after transmission as will be described later in the description.
Une analyse de prédiction à court terme formée par le circuit d'analyse 10 de type LPC pour "Linear Predictive Coding" et par le filtre de pondération perceptuelle 11 est réalisée pour le signal numérique à coder par une technique classique de prédiction sur des fenêtres comportant par exemple M échantillons. Le circuit d'analyse 10 délivre alors les coefficients ai, où les coefficients a précités sont les coefficients de prédiction linéaire.A short-term prediction analysis formed by the
Le signal de parole à coder Sn est alors filtré par le filtre de pondération perceptuelle 11 de fonction de transfert W(z), lequel permet de délivrer le signal perceptuel proprement dit, noté .The speech signal to be coded Sn is then filtered by the
Les coefficients du filtre de pondération perceptuelle sont obtenus à partir d'une analyse de prédiction à court terme sur les premiers coefficients de corrélation de la séquence des coefficients a du filtre d'analyse A(z) du circuit 10 pour la fenêtre courante. Cette opération permet de réaliser une bonne répartition fréquentielle du bruit de quantification. En effet, le signal perceptuel délivré tolère des bruits de codage plus importants dans les zones de fortes énergies où le bruit est moins audible, car masqué fréquentiellement par le signal. On indique que l'opération de filtrage perceptuel se décompose en deux étapes, le signal numérique à coder Sn étant filtré une première fois par le filtre constitué par le circuit d'analyse 10, afin d'obtenir le résidu à modéliser, puis une seconde fois par le filtre de pondération perceptuelle 11 pour délivrer le signal perceptuel n.The coefficients of the perceptual weighting filter are obtained from a short-term prediction analysis on the first correlation coefficients of the sequence of the coefficients a of the analysis filter A (z) of
Dans le processus de fonctionnement du dispositif de codage objet de la présente invention, la seconde opération consiste à retirer alors la contribution de l'excitation passée, ou signal d'excitation passée estimée, noté P̂n 0 du signal perceptuel précité.In the operating process of the coding device which is the subject of the present invention, the second operation consists in removing the contribution of the past excitation, or estimated past excitation signal, noted P̂ n 0 from the aforementioned perceptual signal.
En effet, on montre que :
Dans cette relation, hn est la réponse impulsionnelle du double filtrage réalisé par le circuit 10 et le filtre de pondération perceptuelle 11 dans la fenêtre courante et r̂1 n est l'excitation passée modélisée correspondant au débit le plus faible, ainsi qu'il sera décrit ultérieurement dans la description.In this relation, h n is the impulse response of the double filtering performed by the
Le mode opératoire du circuit de prédiction à long terme 13 en boucle fermée est alors le suivant. Ce circuit permet de prendre en compte la périodicité du résidu pour les sons voisés, cette prédiction à long terme étant réalisée toutes les sous-fenêtres de N échantillons, ainsi qu'il sera décrit en liaison avec la figure 3.The operating mode of the long-
Le circuit 13 de prédiction à long terme en boucle fermée comprend un premier étage constitué par un dictionnaire adaptatif 130, lequel est remis à jour toutes les sous-fenêtres précitées par l'excitation modélisée notée 1 n, délivrée par le module 17, lequel sera décrit ultérieurement dans la description. Le dictionnaire adaptatif 130 permet de minimiser l'erreur, notée
par rapport aux deux paramètres go et q.The closed-loop long-
with respect to the two parameters g o and q.
Une telle opération correspond, dans le domaine fréquentiel, à un filtrage par le filtre de fonction de transfert :
Cette opération est équivalente a la recherche de la forme d'onde optimale, notée fj(0) et de son gain associé go dans un dictionnaire judicieusement construit. Confer l'article publié par R.Rose, etT.Barnwell, intitulé "Design and Performance of an Analysis by Synthesis Class of Predictive Speech Coders", IEEE Trans. on Acoustic Speech Signal Proceessing, Septembre 1990.This operation is equivalent to the search for the optimal waveform, noted f j (0) and its associated gain g o in a judiciously constructed dictionary. See the article published by R. Rose, and T. Barnwell, entitled "Design and Performance of an Analysis by Synthesis Class of Predictive Speech Coders", IEEE Trans. on Acoustic Speech Signal Proceessing, September 1990.
La forme d'onde d'indice i. notée
issue du dictionnaire adaptatif, est filtrée par un filtre 131 et correspond à l'excitation modélisée au débit le plus faible r retardé de q échantillons par le filtre précité. La forme d'onde optimale fo est délivrée par le dictionnaire adaptatif filtré 133.The waveform of index i. noted
from the adaptive dictionary, is filtered by a
Un module 132 de calcul et de quantification du gain de prédiction permet à partir du signal perceptuel Pn et de l'ensemble des formes d'ondes fj(0) n d'effectuer un calcul de quantification du gain de prédiction, et de délivrer un index i(0) représentatif du numéro de la plage de quantification, ainsi que son gain associé quantifié g(0).A
Un circuit multiplicateur 134 délivre à partir du dictionnaire adaptatif filtré 133, c'est-à-dire du résultat de filtrage de la forme d'onde d'indice j C;,, soit fn, et du gain associé quantifié g(0), l'excitation de prédiction à A long terme modélisée et filtrée perceptuellement notée Pn 1.A
Un circuit soustracteur 135 permet alors d'effectuer une minimisation portant sur en = Pn - n 1|, cette expression représentant le signal d'erreur. Un module 136 permet de calculer la norme euclidienne 1 en 12.A
Un module 137 permet de rechecher la forme d'onde optimale correspondant a la valeur minimale de la norme euclidienne précitée et de délivrer l'index j(0). Les paramètres transmis par le système de codage objet de l'invention pour la modélisation du signal de prédiction à long terme sont alors l'indice j(0) de la forme d'onde optimale f(0) ainsi que le numéro i(0) de la plage de quantification de son gain associé g(0) quantifié.A
Une description plus détaillée du module de transformation orthogonale adaptative MT de la figure 2 sera donnée en liaison avec les figures 4a et 4b.A more detailed description of the adaptive orthogonal transformation module MT of FIG. 2 will be given in conjunction with FIGS. 4a and 4b.
Dans le cadre de la mise en oeuvre du système de codage prédictif par transformée orthonormée objet de la présente invention, la méthode utilisée pour la construction de cette transformée correspond à celle proposée par B.S.Atal et E.Ofer, ainsi que mentionné précédemment dans la description.In the context of the implementation of the predictive coding system by orthonormal transform object of the present invention, the method used for the construction of this transform corresponds to that proposed by BSAtal and E.Ofer, as mentioned previously in the description .
Conformément au mode de réalisation du système de codage selon la présente invention, celui-ci consiste à décomposer, non la matrice de filtrage de prédiction à court terme, mais la matrice de pondération perceptuelle W formée par une matrice de Toeplitz triangulaire inférieure définie par la relation (4) :
Dans cette relation, w(n) désigne la réponse impulsionnelle du filtre de pondération perceptuelle W(z) de la fenêtre courante précédemment mentionnée.In this relation, w (n) denotes the impulse response of the perceptual weighting filter W (z) of the current window previously mentioned.
Sur la figure 4a, on a représenté le schéma partiel d'un codeur prédictif par transformée et sur la figure 4b, le schéma équivalent correspondant dans lequel la matrice ou filtre de pondération perceptuelle W, désigné par 140, a été mise en évidence, un filtre de pondération perceptuelle inverse 121 ayant par contre été inséré entre le module de prédiction à long terme 13 et le circuit soustracteur 120. On indique que le filtre 140 réalise une combinaison linéaire des vecteurs de base obtenus à partir d'une décomposition en valeurs singulières de la matrice représentative du filtre de pondération perceptuelle W.In FIG. 4a, there is shown the partial diagram of a predictive coder by transform and in FIG. 4b, the corresponding equivalent diagram in which the matrix or filter of perceptual weighting W, designated by 140, has been highlighted, a inverse
Ainsi que représenté sur la figure 4b, le signal S', correspondant au signal de parole à coder Sn auquel il a été soustrait la contribution de l'excitation passée délivrée par le module 12, ainsi que celle de la prédiction à long terme P̂1 n filtrée par un module de pondération perceptuelle inverse de fonction de transfert (W(z))-1, est filtré par le filtre de pondération perceptuelle de fonction de transfert W(z), de façon à obtenir le vecteur P'.As shown in FIG. 4b, the signal S ', corresponding to the speech signal to be coded S n from which it has been subtracted the contribution of the past excitation delivered by the
Cette opération de filtrage s'écrit :
et peut être exprimée sous forme d'une combinaison linéaire de vecteurs de base en utilisant la décomposition en valeurs singulières de la matrice W.This filtering operation is written:
and can be expressed as a linear combination of basic vectors using the decomposition into singular values of the matrix W.
En ce qui concerne le mode de réalisation du filtre de pondération perceptuelle 140, on indique que celui-ci comprend pour toute matrice W représentative du filtre de pondération perceptuelle un premier module matriciel U = (U1,...,UN) et un deuxième module matriciel V = (V1,...,VN).As far as the embodiment of the
Le premier et le deuxième modules matriciels vérifient la relation :
relation dans laquelle :
- - UT désigne le module matrice transposée du module U,
- - D est un module matrice diagonale dont le coefficients constituent les valeurs singulières précitées,
- - U et Vj désignent respectivement le ième vecteur singulier gauche et le jème vecteur singulier droit, les vecteurs singuliers droit {Vj} formant une base orthonormée.
relationship in which:
- - U T designates the matrix module transposed from the module U,
- - D is a diagonal matrix module whose coefficients constitute the aforementioned singular values,
- - U and V j respectively denote the ith left singular vector and the jth right singular vector, the right singular vectors {Vj} forming an orthonormal base.
Une telle décomposition permet de remplacer l'opération de filtrage par produit de convolution par une opération de filtrage par une combinaison linéaire.Such a decomposition makes it possible to replace the filtering operation by convolution product by a filtering operation by a linear combination.
On indique que la décomposition en valeurs singulières de la matrice de filtrage perceptuelle W permet d'obtenir les deux matrices unitaires U et V vérifiant la relation précitée oùWe indicate that the decomposition into singular values of the perceptual filtering matrix W makes it possible to obtain the two unit matrices U and V verifying the above-mentioned relation where
avec la propriété d'ordonnancement telle que di ≧ di+1 > 0. Les éléments di sont appelés valeurs singulières, et les vecteurs U et Vj, ième vecteur singulier gauche, respectivement jème vecteur singulier droit.
with the scheduling property such that d i ≧ d i + 1 > 0. The elements d i are called singular values, and the vectors U and V j , ith left singular vector, respectively jth right singular vector.
La matrice W se décompose alors en une somme de matrices de rang 1, et vérifie la relation :
La matrice V étant unitaire, les vecteurs singuliers droits {Vi} forment une base orthonormée et le signal S', exprimé sous la forme :
permet d'obtenir le vecteur P' vérifiant la relation :
avec g(k) = 9 (k)dk.The matrix V being unitary, the right singular vectors {V i } form an orthonormal base and the signal S ', expressed in the form:
allows to obtain the vector P 'verifying the relation:
with g (k) = 9 (k) d k .
Par le processus de décomposition en valeurs singulières, on indique qu'un changement sur une composante de l'excitation S'associée à une petite valeur singulière produit un changement petit à la sortie du filtre 140 et vice-versa pour l'opération de filtrage perceptuel inverse effectuée par le module 121.By the process of decomposition into singular values, we indicate that a change on a component of the excitation Associated with a small singular value produces a small change at the output of the
Afin d'utiliser ces propriétés, la matrice unitaire U peut être utilisée en tant que transformée orthonormée, vérifiant la relation :
fi orth Ui pour i = 1 à N.In order to use these properties, the unitary matrix U can be used as an orthonormal transform, checking the relation:
f i orth U i for i = 1 to N.
Le signal perceptuel pondéré P' se décompose alors de la façon ci-après :
Après quantification vectorielle des gains G, le signal perceptuel pondéré modélisé P est calculé de la manière ci-après :
On indique que les vecteurs singuliers gauches associés aux plus grandes valeurs singulières jouent un role prépondérant dans la modélisation du signal perceptuel pondéré P'. Ainsi, afin de modéliser ce dernier, il est possible de ne conserver que les composantes associées aux K valeurs singulières les plus grandes, K < N, c'est-à-dire les K premières composantes du vecteur de gain G vérifiant la relation :
Le circuit de filtrage d'analyse à court terme 10 étant réactualisé sur des fenêtres de M échantillons, la décomposition en valeurs singulières de la matrice de pondération perceptuelle W est effectuée à la même fréquence.The short-term
Des processus de décomposition en valeurs singulières d'une matrice quelconque permettant un traitement rapide ont été développés, mais les calculs restent relativement complexes.Decomposition processes into singular values of any matrix allowing rapid processing have been developed, but the calculations remain relatively complex.
Conformément à un objet de la présente invention, il est, afin de simplifier les opérations de traitement précitées, proposé de construire une transformée orthonormée fixe sous optimale possédant cependant de bonnes propriétés perceptuelles, quelle que soit la fenêtre courante.In accordance with an object of the present invention, it is, in order to simplify the abovementioned processing operations, proposed to construct a fixed orthonormal transform under suboptimal however possessing good perceptual properties, whatever the current window.
Dans un premier mode de réalisation, tel que représenté en figure 5, le processus de transformée orthonormée est construit par apprentissage. Dans un tel cas, le module de transformée orthonormée peut être formé par un sous-module de transformée stochastique construite par tirage d'une variable aléatoire gaussienne pour l'initialisation, ce sous-module comportant sur la figure 5 les étapes de processus 1000, 1001, 1002 et 1003 et étant noté SMTS. L'étape 1002 peut consister à appliquer l'algorithme de la K-moyenne sur le corpus de vecteur précité.In a first embodiment, as shown in FIG. 5, the orthonormal transform process is constructed by learning. In such a case, the orthonormal transform module can be formed by a stochastic transform sub-module constructed by drawing a Gaussian random variable for initialization, this sub-module comprising in FIG. 5 the process steps 1000, 1001, 1002 and 1003 and being noted SMTS.
Le sous-module SMTS est suivi successivement d'un module 1004 de construction des centres, d'un module 1005 de construction des classes et, afin d'obtenir un vecteur G dont les composantes soient relativement ordonnées, d'un module 1006 de réordonnancement de la transformée selon le cardinal de chaque classe.The SMTS sub-module is successively followed by a
Le module 1006 précité est suivi d'un module de calcul de Gram-Schmidt, noté 1007a, de façon à obtenir une transformée orthonormée. Au module 1007a précité est associé un module 1007b de calcul de l'erreur dans les conditions classiques de mise en oeuvre du processus de traitement de Gram-Schmidt.The
Le module 1007a est lui-même suivi d'un module 1008 de test sur le nombre d'itération, ceci afin de permettre d'obtenir une transformée orthonormée effectuée hors ligne par apprentissage. Enfin, la mémoire 1009 de type mémoire morte permet de mémoriser la transformée orthonormée sous forme de vecteur de transformée. On indique que l'ordonnancement relatif des composantes du vecteur de gain G est accentué par le processus d'orthogonalisation. Lorsque le processus de construction par apprentissage a convergé, on obtient une transformée orthonormée dont les formes d'ondes sont graduellement corrélées avec le corpus d'apprentissage des vecteurs délivrés par l'étape 1001 de transformée initiale.The
La figure 5b représente l'ordonnancement des composantes du vecteur de gain G, c'est-à-dire de la valeur G moyenne normalisée pour une transformée obtenue d'une part par décomposition en valeurs singulières de la matrice de pondération perceptuelle W, et d'autre part, par apprentissage. La transformée F obtenue par cette dernière méthode pour celles des formes d'ondes orthonormées dont les spectres en fréquence sont passe-bandes et relativement ordonnés en fonction de k, ce qui permet d'attribuer à cette transformée des propriétés pseudo-fréquentielles. Une évaluation de la qualité de transformation en termes de concentration d'énergie a permis de montrer que, à titre indicatif, sur un corpus de 38 000 vecteurs perceptuels P', le gain de transformation est de 10.35 décibels pour la transformée optimale de Karhunen-Loeve, et de 10.29 décibels pour une transformée construite par apprentissage, cette dernière tendant donc vers la transformée optimale en termes de concentration d'énergie.FIG. 5b represents the ordering of the components of the gain vector G, that is to say of the normalized mean value G for a transform obtained on the one hand by decomposition into singular values of the perceptual weighting matrix W, and on the other hand, by learning. The transform F obtained by this last method for those of the orthonormal waveforms whose frequency spectra are bandpass and relatively ordered as a function of k, which makes it possible to attribute to this transform pseudo-frequency properties. An evaluation of the quality of transformation in terms of energy concentration made it possible to show that, by way of indication, on a corpus of 38,000 perceptual vectors P ′, the transformation gain is 10.35 decibels for the optimal Karhunen- transform. Loeve, and 10.29 decibels for a transform constructed by learning, the latter therefore tending towards the optimal transform in terms of energy concentration.
Ainsi que précédemment mentionné dans la description, la transformée orthonormée F peut être obtenue selon deux méthodes différentes.As previously mentioned in the description, the orthonormal transform F can be obtained according to two different methods.
En observant que généralement la forme d'onde la plus corrélée avec le signal perceptuel P est celle issue du dictionnaire adaptatif, il est possible d'envisager de réaliser une transformée orthonormée adaptative F' dont f",,th est égal à la forme d'onde optimale issue du dictionnaire adaptatif f!(0) normalisé, la première composante du vecteur de gain G étant alors égale au gain de prédiction à long terme normalisé g(0), qu'il n'est pas nécessaire de recalculer, puisque celui-ci a été quantifié lors de cette prédiction.By observing that generally the waveform most correlated with the perceptual signal P is that resulting from the adaptive dictionary, it is possible to envisage carrying out an adaptive orthonormal transform F 'whose f ",, th is equal to the form d optimal wave from the normalized adaptive dictionary f! (0), the first component of the gain vector G then being equal to the normalized long-term prediction gain g (0), which it is not necessary to recalculate, since this was quantified during this prediction.
La nouvelle dimension du vecteur de gain G devient alors égale à N-1, ce qui permet d'augmenter le nombre d'éléments binaires par échantillon lors de la quantification vectorielle de celui-ci et donc la qualité de sa modélisation.The new dimension of the gain vector G then becomes equal to N-1, which makes it possible to increase the number of binary elements per sample during the vector quantization of the latter and therefore the quality of its modeling.
Une première solution pour calculer la transformée F' peut alors consister à faire une analyse de prédiction à long terme, à décaler la transformée obtenue par apprentissage d'un cran, de placer le prédicteur à long terme à la première position, puis d'appliquer l'algorithme de Gram-Schmidt, afin d'obtenir une nouvelle transformée F'.A first solution for calculating the transform F 'can then consist in making a long-term prediction analysis, shifting the transform obtained by learning a notch, placing the long-term predictor in the first position, then applying the Gram-Schmidt algorithm, in order to obtain a new transform F '.
Une seconde solution, plus avantageuse, consiste à utiliser une transformation permettant de faire pivoter la base orthonormée, afin que la première forme d'onde coincide avec le prédicteur à long terme, c'est-à-dire :
avec
with
Dans le but de conserver la propriété d'orthogonalité, la transformation utilisée doit conserver le produit scalaire. Une transformation particulièrement adaptée est la transformée de Householdervérifiant la relation :
avec B = fj(0) - |fj(0)| - f1 orth In order to keep the orthogonality property, the transformation used must keep the dot product. A particularly suitable transformation is the Household transformation, verifying the relationship:
with B = f j (0) - | f j (0) | - f 1 orth
Une représentation géométrique de la transformée précitée est donnée en figures 6a et 6b.A geometric representation of the aforementioned transform is given in FIGS. 6a and 6b.
Pour une définition plus détaillée de ce type de transformation, on pourra utilement se reporter à la publication de Alan O.Steinhardt intitulée "Householder Transforms in Signal Processing", IEEE ASSP Magazine, July 1988, pp 4-12.For a more detailed definition of this type of transformation, one can usefully refer to the publication by Alan O.Steinhardt entitled "Householder Transforms in Signal Processing", IEEE ASSP Magazine, July 1988, pp 4-12.
Par l'utilisation de cette transformation, il est possible de réduire la complexité des calculs et la projection du signal perceptuel P dans cette nouvelle base s'écrit:
avec P' = TP = (P-B[wBTP]).By using this transformation, it is possible to reduce the complexity of the calculations and the projection of the perceptual signal P in this new base is written:
with P '= TP = (PB [wB T P]).
Dans cette relation, w désigne un scalaire égal à w = 2/BTB.In this relation, w denotes a scalar equal to w = 2 / B T B.
On indique que dans ce mode de réalisation de la transformée orthonormée, la transformation n'est appliquée qu'au signal perceptuel P, et le signal perceptuel modélisé P peut être alors calculé par la transformation inverse.It is indicated that in this embodiment of the orthonormal transform, the transformation is applied only to the perceptual signal P, and the modeled perceptual signal P can then be calculated by the inverse transformation.
Un mode de réalisation particulièrement avantageux du module de transformée orthonormée proprement dit 14 dans le cas où une transformation de Householder est utilisée sera maintenant décrit en liaison avec la figure 7.A particularly advantageous embodiment of the orthonormal transform module proper 14 in the case where a Householder transformation is used will now be described in conjunction with FIG. 7.
Ainsi qu'on l'a représenté sur la figure 7 précitée, le module 14 de transformation adaptative peut comporter un module 140 de transformation de Householder recevant le signal perceptuel estimé constitué par la forme d'onde optimale et parle gain estimé et le signal perceptuel P pourengendrerun signal perceptuel transformé P". On indique que le module 140 de transformation de Householder comporte un module de calcul 1401 des paramètres B et wB tels que définis précédemment par la relation 13. Il comporte également un module 1402 comprenant un multiplicateur et un soustracteur permettant de réaliser la transformation proprement dite selon la relation 14. On indique que le signal perceptuel transformé P" est délivré sous forme de vecteur de signal perceptuel transformé de composante P"k, avec k e [0,N-1].As shown in FIG. 7 above, the
Le module de transformation adaptative 14 tel que rerpésenté en figure 7 comprend également une pluralité N de registres de mémorisation des formes d'ondes orthonormées, le registre courant étant noté r, avec r e [1,N]. On indique que les N registres de mémorisation précités forment la mémoire morte précédement décrite dans la description, chaque registre comportant N cellules de mémorisation, chaque composante de rang k de chaque vecteur, composante notée f1 orth(k) étant mémorisée dans une cellule de rang correspondant du registre courant r considéré.The
En outre, ainsi qu'on l'observera sur la figure 7, le module 14 comprend une pluralité de N circuits multiplicateurs associés à chaque registre de rang rformant la pluralité des registres de mémorisation précédemment mentionnés. En outre, chaque registre multiplicateur de rang k reçoit d'une part la composante de rang k du vecteur mémorisé et d'autre part la composante P"k du vecteur de signal perceptuel transformé de rang k correspondant. Le circuit multiplicateur Mrk délivre le produit P"k.f:'tt(k) des composantes de signal perceptuel transformé.In addition, as will be seen in FIG. 7, the
Enfin, une pluralité de N-1 circuits sommateurs est associée à chaque registre de rang r, chaque circuit sommateur de rang k, noté Srk, recevant le produit de rang antérieur k-1, et le produit de rang correspondant k délivré par le circuit multiplicateur Mrk de même rang k. Le circuit sommateur de rang le plus élevé, SrN-1, délivre alors une composante g(r) du gain estimé exprimé sous forme de vecteur de gain G.Finally, a plurality of N-1 summing circuits is associated with each register of rank r, each summing circuit of rank k, denoted Srk, receiving the product of prior rank k-1, and the product of corresponding rank k delivered by the circuit. multiplier Mrk of the same rank k. The summing circuit of highest rank, SrN-1, then delivers a component g (r) of the estimated gain expressed in the form of gain vector G.
On indique que le système de codage prédictif utilisant la transformée orthonormée adaptative construite par apprentissage est susceptible de donner de meilleurs résultats, alors que la transformation de Householder permet d'obtenir une complexité réduite.We indicate that the predictive coding system using the adaptive orthonormal transform constructed by learning is likely to give better results, while the Householder transformation makes it possible to obtain a reduced complexity.
Ainsi qu'on l'observera sur la figure 2, le module de modélisation progressive par vecteurs orthogonaux comporte en fait un module 15 de normalisation du vecteur de gain pour engendrer un vecteur de gain normalisé, noté Gk, par comparaison de la valeur normée du vecteur de gain G par rapport à une valeur de seuil. Ce module de normalisation 15 permet d'engendrer en outre un signal de longueur du vecteur de gain normalisé lié à l'ordre de modélisation k vers le système décodeur en fonction de cet ordre de modélisation.As will be observed in FIG. 2, the progressive modeling module by orthogonal vectors in fact comprises a
Le module de modélisation progressive par vecteurs orthogonaux comporte en outre, en cascade avec le module 15 de normalisation du vecteur de gain, un étage 16 de modélisation progressive par vecteurs orthogonaux. Cet étage de modélisation 16 reçoit du vecteur normalisé Gk et délivre les index représentatifs du signal de parole codée, ces index étant notés I(1), J(1), ces index étant représentatifs des vecteurs sélectionnés et de leur gain associé. La transmission des données auxiliaires formées par les index est effectuée en écrasant les parties de la trame allouée aux indices et numéros de plages pour former le signal de données auxiliaires.The progressive modeling module by orthogonal vectors further comprises, in cascade with the
Le fonctionnement du module de normalisation 15 est le suivant.The operation of the
L'énergie du signal perceptuel donnée par
est constante pour une sous fenêtre donnée. Dans ces conditions, maximiser cette énergie est équivalent à minimiser l'expression :
où Gk = (0,g2,93,...,9K,0,...0).The energy of the perceptual signal given by
is constant for a given sub window. Under these conditions, maximizing this energy is equivalent to minimizing the expression:
where G k = (0, g 2 , 9 3 , ..., 9 K , 0, ... 0).
On indique que lors d'une telle opération, une façon supplémentaire d'augmenter le nombre d'éléments binaires par échantillon lors de la quantification vectorielle du vecteur G est d'utiliser le critère normalisé suivant, consistant à choisir K tel que :
Le vecteur de gain ainsi obtenu GK est alors quantifié et sa longueur k est transmise par le système de codage objet de l'invention afin d'être prise en compte par le système de décodage correspondant, ainsi qu'il sera décrit ultérieurement dans la description.The gain vector thus obtained G K is then quantified and its length k is transmitted by the coding system object of the invention in order to be taken into account by the corresponding decoding system, as will be described later in the description.
Le critère normalisé moyen en fonction de l'ordre de modélisation K est donné en figure 8a pour une transformée orthonormée obtenue d'une part par décomposition en valeurs singulières de la matrice de pondération perceptuelle W et d'autre part par apprentissage.The average normalized criterion as a function of the modeling order K is given in FIG. 8a for an orthonormal transform obtained on the one hand by decomposition into singular values of the perceptual weighting matrix W and on the other hand by learning.
Un mode de réalisation particulièrement avantageux du module de modélisation progressive par vecteurs orthogonaux 16 sera maintenant donné en liaison avec la figure 8b. Le module précité permet de réaliser en fait une quantification vectorielle multiétage.A particularly advantageous embodiment of the progressive modeling module by
Le vecteur de gain G est obtenu par combinaison linéaire de vecteurs, notéeThe gain vector G is obtained by linear combination of vectors, noted
Ces vecteurs étant issus de dictionnaires stochastiques, notés 161, 162, 16 L, construits soit par tirage d'une variable aléatoire gaussienne, soit par apprentissage. Le vecteur de gain estimé G vérifie la relation :
Dans cette relation, 81 est le gain associé au vecteuroptimal Ψj(1) K issu du dictionnaire stochastique de rang 1, noté 16 1.In this relation, 8 1 is the gain associated with the optimal vector Ψ j (1) K from the stochastic dictionary of
Toutefois, les vecteurs sélectionnés itérativement ne sont généralement pas linéairement indépendants et ne forment donc pas une base. Dans un tel cas, le sous-espace engendré par les L vecteurs optimaux Ψj(L) K est de dimension inférieure à L.However, the vectors selected iteratively are generally not linearly independent and therefore do not form a basis. In such a case, the subspace generated by the L optimal vectors Ψ j (L) K is of dimension less than L.
Sur la figure 9 on a représenté la projection du vecteur G sur le sous-espace engendré par les vecteurs optimaux de rang I, respectivement 1-1, cette projection étant optimale lorsque les vecteurs précités sont orthogonaux.In FIG. 9, the projection of the vector G is represented on the subspace generated by the optimal vectors of rank I, respectively 1-1, this projection being optimal when the aforementioned vectors are orthogonal.
Il est donc particulièrement avantageux d'orthogonaliser le dictionnaire stochastique de rang 1 par rapport au vecteur optimal de l'étage de rang précédent Ψj(I-1) K.It is therefore particularly advantageous to orthogonalize the stochastic dictionary of
Ainsi, quel que soit le vecteur optimal de rang 1 issu du nouveau dictionnaire ou étage de rang correspondant I, celui-ci sera orthogonal au vecteur optimal Ψj(I-1) K de rang antérieur, et l'on obtient :
Dans cette relation, on indique que :
correspond à l'énergie de l'onde sélectionnée à l'étape I,
représente l'intercorrélation des vecteurs optimaux de rang j et de rang j(I) et
représente la matrice d'orthogonalisation.In this relation, we indicate that:
corresponds to the energy of the wave selected in step I,
represents the intercorrelation of the optimal vectors of rank j and of rank j (I) and
represents the orthogonalization matrix.
L'opération précédente permet de retirer du dictionnaire la contribution de l'onde précédemment sélectionnée et impose ainsi une indépendance linéaire pour tout vecteur optimal de rang i compris entre 1+1 et L par rapport aux vecteurs optimaux de rang inférieur.The previous operation makes it possible to remove from the dictionary the contribution of the previously selected wave and thus imposes linear independence for any optimal vector of rank i comprised between 1 + 1 and L with respect to the optimal vectors of lower rank.
Des schémas de principe de la quantification vectorielle par modélisation progressive orthogonale sont donnés aux figures 10a et 10b selon qu'il existe un ou plusieurs dictionnaires stochastiques.Diagrams of the principle of vector quantization by orthogonal progressive modeling are given in FIGS. 10a and 10b depending on whether there are one or more stochastic dictionaries.
Afin de réduire la complexité du processus de quantification vectorielle, on indique que l'algorithme de Gram-Schmidt modifié récursif peut être utilisé ainsi que proposé par N.Moreau, P.Dymarski, A.Vigier, dans la publication intitulée : "Optimal and Suboptimal Algorithms for Selecting the Excitation in Linear Predictive Products", Proc. ICASSP 90, pp 485-488.In order to reduce the complexity of the vector quantization process, it is indicated that the recursive modified Gram-Schmidt algorithm can be used as proposed by N. Moreau, P.Dymarski, A.Vigier, in the publication entitled: "Optimal and Suboptimal Algorithms for Selecting the Excitation in Linear Predictive Products ", Proc. ICASSP 90, pp 485-488.
Compte tenu des propriétés d'orthogonalisation, on montre que :
Compte tenu de cette expression, l'algorithme de Gram-Schmidt modifié récursif tel que proposé précédemment peut être utilisé.Given this expression, the modified recursive Gram-Schmidt algorithm as proposed above can be used.
Il n'est alors plus nécessaire de recalculer explicitement les dictionnaires à chaque étape de l'orthogona- lisation.It is then no longer necessary to explicitly recalculate the dictionaries at each stage of the orthogonalization.
Le processus de calcul précité peut être explicité sous forme matricielle à partir de la matriceThe above calculation process can be explained in matrix form from the matrix
On indique que Q est une matrice orthonormée, et R une matrice triangulaire supérieure dont les éléments de la diagonale principale sont tous positifs, ce qui assure l'unicité de la décomposition.We indicate that Q is an orthonormal matrix, and R is an upper triangular matrix whose elements of the main diagonal are all positive, which ensures the uniqueness of the decomposition.
Le vecteur de gain G vérifie la relation matricielle :
ce qui implique que Rθ = θ̃.The gain vector G verifies the matrix relation:
which implies that Rθ = θ̃.
La matrice R triangulaire supérieure permet ainsi de calculer récursivement les gains 0(k) relatifs à la base d'origine.The upper triangular matrix R thus makes it possible to recursively calculate the gains 0 (k) relative to the original base.
La contribution des vecteurs optimaux à la base orthonormée, notée : {Ψj(I) orth(L)} dans la modélistion du vecteur de gain GK a tendance à décroître, et les gains {θ̃1} sont ordonnés de façon décroissante. Le résidu peut être modélisé de façon graduelle de la façon ci-après où θ̂cod k désigne le gains associé au vecteur optimal orthogonal Ψj(k) orth(k) quantifié, compte tenu des relations :The contribution of the optimal vectors to the orthonormal base, noted: {Ψ j (I) orth (L) } in the modeling of the gain vector G K tends to decrease, and the gains {θ̃ 1 } are ordered in decreasing order. The residue can be modeled gradually in the following way where θ̂ cod k denotes the gains associated with the optimal orthogonal vector Ψ j (k) orth (k) quantized, taking into account the relationships:
On obtient alors les vecteurs de gain Ĝ1, Ĝ2, Ĝ3 orthogonaux dont la contribution dans la modélisation du vecteur de gain G estdécroissante, ce qui permet la modélisation graduelle du résidu rn de manière efficace. Les paramètres transmis par le système de codage objet de l'invention pour la modélisation du vecteur de gain G sont alors les indices j(I) des vecteurs sélectionnés ainsi que les numéros i(l) des plages de quantifi- cation de leurs gains associés, θ⃝1. La transmission des données se fait alors en écrasant les parties de la trame allouées aux indices et numéros de plages j(I), i(I), pour 1 ∈ [L1, L2-1] et [L2,L] selon les besoins de la communication.We then obtain the gain vectors Ĝ 1 , Ĝ 2 , Ĝ 3 orthogonal whose contribution in the modeling of the gain vector G is decreasing, which allows the gradual modeling of the residue r n effectively. The parameters transmitted by the coding system object of the invention for the modeling of the gain vector G are then the indices j (I) of the selected vectors as well as the numbers i (l) of the ranges of quantification of their associated gains , θ⃝ 1 . The data transmission is then done by overwriting the parts of the frame allocated to the indices and track numbers j (I), i (I), for 1 ∈ [L1, L2-1] and [L2, L] as required. of communication.
Le processus de traitement précédemment mentionné utilise l'algorithme de Gram-Schmidt modifié récursif afin de coder le vecteur de gain G. Les paramètres transmis par le système de codage selon l'invention étant les indices précités, j(0) à j(L) des différents dictionnaires ainsi que les gains quantifiés g(0) et {θ⃝k }, il est nécessaire de coder les différents gains précités g(0) et {θ⃝k}. Une étude a montré que les gains relatifs à la base orthogonale {Ψj(I) orth(L)} étant décorrélés, ceux-ci possèdent de bonnes propriétés pour leur quantification. En outre, la contribution des vecteurs optimaux dans la modélisation du vecteurs de gain G ayant ten- dance à décroître, les gains {θ⃝1 } sont ordonnés de façon relativement décroissantes, et il est possible d'utiliser cette propriété en codant non pas les gains précités, mais leur rapport donné par
Plusieurs solutions peuvent être utilisées pour coder les rapports précités.The previously mentioned processing process uses the recursive modified Gram-Schmidt algorithm in order to code the gain vector G. The parameters transmitted by the coding system according to the invention being the aforementioned indices, j (0) to j (L ) of the different dictionaries as well as the quantified gains g (0) and {θ⃝ k }, it is necessary to code the various aforementioned gains g (0) and {θ⃝ k }. A study has shown that the gains relative to the orthogonal base {Ψ j (I) orth (L) } being decorrelated, these have good properties for their quantification. Furthermore, since the contribution of the optimal vectors in the modeling of the gain vectors G tends to decrease, the gains {θ⃝ 1 } are ordered in a relatively decreasing order, and it is possible to use this property by coding not the aforementioned gains but their ratio given by
Several solutions can be used to code the aforementioned reports.
Ainsi qu'on le remarquera sur la figure 2, le dispositif de codage objet de la présente invention comporte un module de modélisation de l'excitation du filtre de synthèse correspondant au débit le plus faible, ce module étant noté 17 sur la figure précitée.As will be seen in FIG. 2, the coding device which is the subject of the present invention comprises a module for modeling the excitation of the synthesis filter corresponding to the lowest bit rate, this module being noted 17 in the aforementioned figure.
Le schéma de principe de calcul du signal d'excitation du filtre de synthèse correspondant au débit le plus faible est donné en figure 11. Une transformation inverse est appliquée aux vecteurs de gain modélisés G1, cette transformation adaptative inverse pouvant par exemple correspondre à une transformation inverse de type Householder, laquelle sera décrite ultérieurement dans la decription, en liaison avec le dispositif de décodage objet de la présente invention. Le signal obtenu après transformation adaptative inverse est ajouté au signal de prédiction à long terme B'1 n au moyen d'un sommateur 171, le signal perceptuel estimé ou signal de prédiction à long terme étant délivré par le circuit 13 de prédiction à long terme en boucle fermée. Le signal résultant délivré par le sommateur 171 est filtré par un filtre 172, lequel correspond du point de vue de la fonction de transfert au filtre 131 de la figure 3. Le filtre 172 délivre le signal résiduel modélisé r̂1 n.The principle diagram for calculating the excitation signal of the synthesis filter corresponding to the lowest bit rate is given in FIG. 11. An inverse transformation is applied to the gain vectors modeled G 1 , this inverse adaptive transformation can for example correspond to a reverse transformation of the Householder type, which will be described later in the description, in conjunction with the decoding device which is the subject of the present invention. The signal obtained after inverse adaptive transformation is added to the long-term prediction signal B ' 1 n by means of a
Un système de décodage prédictif par transformée adaptative à codes imbriqués d'un signal numérique codé constitué par un signal de parole codée, et le cas échéant, par un signal de données auxiliaires inséré au signal de parole codé après codage de ce dernier sera maintenant décrit en liaison avec la figure 12.A system for adaptive transform predictive decoding with nested codes of a coded digital signal constituted by a coded speech signal, and if necessary, by an auxiliary data signal inserted into the coded speech signal after coding of the latter will now be described. in conjunction with Figure 12.
Selon la figure précitée, le système de décodage comprend un circuit 20 d'extraction du signal de données permettant d'une part l'extraction des données en vue d'une utilisation auxiliaire, par une sortie des données auxiliaires et, d'autre part, la transmission d'index représentatifs du signal de parole codé. On comprend bien sûr que les index précités sont les index i(l) et j(I), pour 1 compris entre 0 et L1-1 précédemment décrits dans la description et pour I compris entre I1 et L dans les conditions qui seront décrites ci-après. Ainsi qu'on l'a représenté en outre en figure 12, le système de décodage selon l'invention comprend un circuit 21 de modélisation du signal de parole au débit minimum, ainsi qu'un circuit 22 ou 23 de modélisation du signal de parole à au moins un débit supérieur au débit minimum précité.According to the aforementioned figure, the decoding system comprises a
Dans un mode de réalisation préférentiel, tel que représenté en figure 12, le système de décodage selon l'invention comporte, outre le système d'extraction des données 20, un premier module 21 de modélisation du signal de parole au débit minimum recevant directement le signal codé et délivrant un premier signal de parole estimé, noté S1 n et un deuxième module 22 de modélisation du signal de parole à un débit intermédiaire connecté au système d'extraction 20 des données par l'intermédiaire d'un circuit 27 de commutation conditionnelle sur critère du débit réel alloué au signal de parole et délivrant un deuxième signal de parole estimé, noté A Sn2. In a preferred embodiment, as shown in FIG. 12, the decoding system according to the invention comprises, in addition to the
Le système de décodage représenté en figure 12 comporte également un troisième module de modélisation 23 du signal de parole à un débit maximum, ce module étant connecté au système d'extraction des données 20 par l'intermédiaire d'un circuit 28 de commutation conditionnelle sur critère du débit réel alloué à la parole et délivrant un troisième signal de parole estimé Sn-En outre, un circuit sommateur 24 reçoit le premier, le deuxième et le troisième signal de parole estimé, et délivre à sa sortie un signal de parole estimé résultant, noté Sn. En sortie du circuit sommateur 24 sont connectés en cascade un circuit de filtrage adaptatif 25 recevant le signal de parole estimé résultant Sn et délivrant un signal de parole estimé reconstitué, noté S'n. Un convertisseur numérique-analogique 26 peut être prévu pour recevoir le signal de parole reconstitué et pour délivrer un signal de parole reconstitué audio-fréquence.The decoding system shown in FIG. 12 also includes a
Selon une caractéristique particulièrement avantageuse du dispositif de décodage objet de la présente invention, chacun des modules de modélisation du signal de parole à un débit minimum, intermédiaire et maximum, c'est-à-dire les modules 21,22 et 23 de la figure 12, comprend un sous-module de transformation adaptative inverse, suivi d'un filtre de pondération perceptuelle inverse.According to a particularly advantageous characteristic of the decoding device which is the subject of the present invention, each of the modules for modeling the speech signal at a minimum, intermediate and maximum bit rate, that is to say the
Le schéma de principe du module de modélisation du signal de parole au débit minimum est donné en figure 13a.The block diagram of the speech signal modeling module at minimum bit rate is given in FIG. 13a.
D'une manière générale, le système de décodage objet de la présente invention prend en compte les contraintes imposées par la transmission des données au niveau du système de codage et notamment au niveau du dictionnaire adaptatif, ainsi que la contribution de l'excitation passée.In general, the decoding system object of the present invention takes into account the constraints imposed by the transmission of data at the level of the coding system and in particular at the level of the adaptive dictionary, as well as the contribution of the past excitation.
Le circuit de modélisation du signal de parole au débit minimum 21 est identique à celui décrit relativement au circuit 17 du système de codage selon l'invention à partird'un module de transformation adaptative inverse semblable au module 170 décrit en relation avec la figure 11. On note simplement que sur la figure 13a, on a explicité l'obtention du signal perceptuel P partir des index {i(0),j(0)}, de l'ordre de modélisation K et des indices i(l),j(l) pour 1 = 1 à L1-1.The circuit for modeling the speech signal at
En ce qui concerne la transformation adaptative inverse, un mode de réalisation avantageux de celle-ci est représenté en figure 13b. On indique que le mode de réalisation représenté en figure 13b correspond à une transformée de type Householder inverse utilisant des éléments identiques à la transformée de Householder représentée en figure 7. On indique simplement que pour un signal perceptuel délivré par le circuit de prédiction à long terme 13, ce signal étant noté p1 entrant dans un module semblable 140, les signaux entrant dans le module 1402, respectivement au niveau des multiplicateurs associés à chaque registre, sont inversés. Le signal résultant délivré par le sommateur correspondant au sommateur 171 de la figure 11 est filtre par un filtre de fonction de transfert inverse de la fonction de transfert de la matrice de pondération perceptuelle et correspondant au filtre 172 de la même figure 11.As regards the inverse adaptive transformation, an advantageous embodiment of this is shown in FIG. 13b. It is indicated that the embodiment represented in FIG. 13b corresponds to a reverse Householder type transform using elements identical to the Householder transform represented in FIG. 7. It is simply indicated that for a perceptual signal delivered by the long-
Les modules de modélisation du signal de parole au débit intermédiaire ou au débit maximum, module 22 ou 23, sont représentés en figures 14a et 14b.The modules for modeling the speech signal at the intermediate rate or at the maximum rate,
Bien entendu, il est possible pour des raisons de complexité de regrouper les différentes modélisations du signal de parole correspondant aux autres débits en un seul bloc tel que représenté sur la figure 14a et 14b. Selon le débit réel alloué à la parole, les vecteurs de gain modélisés G2, G3 sont additionnés, ainsi que représenté en figure 14b, par un sommateur 220, soumis au processus de transformation adaptative inverse dans un module 221 identique au module 210 de la figure 13a, puis filtrés par le filtre de pondération inverse W-'(z) précédemment mentionné, ce filtre étant désigné par 222, le filtrage partant de conditions initiales nulles, ce qui permet d'effectuer une opération équivalente à la multiplication par la matrice inverse W-1, afin d'obtenir une modélisation progressive du signal de synthèse Sn. On note sur la figure 14b la présence de dispositifs de commutation, lesquels ne sont autres que les dispositifs de commutation 24 et 28 représentés en figure 12, lesquels sont commandés en fonction du débit réel des données transmises.Of course, it is possible for reasons of complexity to group the different models of the speech signal corresponding to the other bit rates in a single block as shown in FIG. 14a and 14b. According to the actual bit rate allocated to speech, the gain vectors modeled G 2 , G 3 are added, as represented in FIG. 14b, by a
Enfin, en ce qui concerne le filtre adaptatif 25, un mode de réalisation particulièrement avantageux est donné en figure 15. Ce filtre adaptatif permet d'améliorer la qualité perceptuelle du signal de synthèse Sn obtenu suite à la sommation par le sommateur 24. Un tel filtre comprend par exemple un module de post-filtrage à long terme noté 250, suivi d'un module de post-filtrage à court terme et d'un module 252 de contrôle de l'énergie, lequel est piloté par un module 253 de calcul du facteur d'échelle. Ainsi, le filtre adaptatif 25 délivre le signal ŜS'n filtré, ce signal correspondant au signal dans lequel le bruit de quantification introduit parle codeur sur le signal de parole synthétisé a été filtré dans les endroits du spectre où cela est possible. On indique que le schéma représenté en figure 15 correspond aux publications de J.H.Chen etA.Gersho, "Real Time Vector APC Speech Coding at 4800 Bps with Adaptative Postfiltering", ICASSP 87, Vol.3, pp 2185-2188.Finally, with regard to the
On a ainsi décrit un système de codage prédictif par transformée orthonormée à codes imbriqués permettant d'apporter des solutions inédites dans le domaine des codeurs à codes imbriqués. On indique que d'une manière générale, le système de codage objet de l'invention permet un codage en bande élargie à des débits parole/données de 32/0 kbit/s, 24/8 kbit/s et 16/16 kbit/s.We have thus described a predictive coding system by orthonormal transform with nested codes making it possible to provide new solutions in the field of coders with nested codes. It is indicated that, in general, the coding system which is the subject of the invention allows wideband coding at speech / data rates of 32/0 kbit / s, 24/8 kbit / s and 16/16 kbit / s.
Claims (10)
dans laquelle
in which
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9300601A FR2700632B1 (en) | 1993-01-21 | 1993-01-21 | Predictive coding-decoding system for a digital speech signal by adaptive transform with nested codes. |
FR9300601 | 1993-01-21 |
Publications (2)
Publication Number | Publication Date |
---|---|
EP0608174A1 true EP0608174A1 (en) | 1994-07-27 |
EP0608174B1 EP0608174B1 (en) | 1998-08-12 |
Family
ID=9443261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP94400109A Expired - Lifetime EP0608174B1 (en) | 1993-01-21 | 1994-01-18 | System for predictive encoding/decoding of a digital speech signal by an adaptive transform with embedded codes |
Country Status (4)
Country | Link |
---|---|
US (1) | US5583963A (en) |
EP (1) | EP0608174B1 (en) |
DE (1) | DE69412294T2 (en) |
FR (1) | FR2700632B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0751492A2 (en) * | 1995-06-28 | 1997-01-02 | ALCATEL ITALIA S.p.A. | Method and equipment for coding and decoding a sampled speech signal |
EP0792502A1 (en) * | 1995-09-14 | 1997-09-03 | Motorola, Inc. | Very low bit rate voice messaging system using asymmetric voice compression processing |
US6107430A (en) * | 1996-03-14 | 2000-08-22 | The Dow Chemical Company | Low application temperature hot melt adhesive comprising ethylene α-olefin |
Families Citing this family (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5822436A (en) * | 1996-04-25 | 1998-10-13 | Digimarc Corporation | Photographic products and methods employing embedded information |
FR2722631B1 (en) * | 1994-07-13 | 1996-09-20 | France Telecom Etablissement P | METHOD AND SYSTEM FOR ADAPTIVE FILTERING BY BLIND EQUALIZATION OF A DIGITAL TELEPHONE SIGNAL AND THEIR APPLICATIONS |
FR2729245B1 (en) * | 1995-01-06 | 1997-04-11 | Lamblin Claude | LINEAR PREDICTION SPEECH CODING AND EXCITATION BY ALGEBRIC CODES |
JP3046213B2 (en) * | 1995-02-02 | 2000-05-29 | 三菱電機株式会社 | Sub-band audio signal synthesizer |
EP0954851A1 (en) * | 1996-02-26 | 1999-11-10 | AT&T Corp. | Multi-stage speech coder with transform coding of prediction residual signals with quantization by auditory models |
JP3878254B2 (en) * | 1996-06-21 | 2007-02-07 | 株式会社リコー | Voice compression coding method and voice compression coding apparatus |
US6038528A (en) * | 1996-07-17 | 2000-03-14 | T-Netix, Inc. | Robust speech processing with affine transform replicated data |
JP3263347B2 (en) * | 1997-09-20 | 2002-03-04 | 松下電送システム株式会社 | Speech coding apparatus and pitch prediction method in speech coding |
JP2000197054A (en) * | 1998-12-24 | 2000-07-14 | Hudson Soft Co Ltd | Dynamic image encoding method, recording medium with program thereof recorded therein and apparatus |
EP1292900A4 (en) * | 2000-04-03 | 2012-09-05 | Flint Hills Scient Llc | Method, computer program, and system for automated real-time signal analysis for detection, quantification, and prediction of signal changes |
US6768969B1 (en) * | 2000-04-03 | 2004-07-27 | Flint Hills Scientific, L.L.C. | Method, computer program, and system for automated real-time signal analysis for detection, quantification, and prediction of signal changes |
SE522261C2 (en) * | 2000-05-10 | 2004-01-27 | Global Ip Sound Ab | Encoding and decoding of a digital signal |
US6993477B1 (en) * | 2000-06-08 | 2006-01-31 | Lucent Technologies Inc. | Methods and apparatus for adaptive signal processing involving a Karhunen-Loève basis |
US9001702B2 (en) | 2000-12-26 | 2015-04-07 | Polycom, Inc. | Speakerphone using a secure audio connection to initiate a second secure connection |
US8977683B2 (en) * | 2000-12-26 | 2015-03-10 | Polycom, Inc. | Speakerphone transmitting password information to a remote device |
US8948059B2 (en) | 2000-12-26 | 2015-02-03 | Polycom, Inc. | Conference endpoint controlling audio volume of a remote device |
US7864938B2 (en) | 2000-12-26 | 2011-01-04 | Polycom, Inc. | Speakerphone transmitting URL information to a remote device |
US7339605B2 (en) | 2004-04-16 | 2008-03-04 | Polycom, Inc. | Conference link between a speakerphone and a video conference unit |
US8964604B2 (en) | 2000-12-26 | 2015-02-24 | Polycom, Inc. | Conference endpoint instructing conference bridge to dial phone number |
US8934382B2 (en) | 2001-05-10 | 2015-01-13 | Polycom, Inc. | Conference endpoint controlling functions of a remote device |
CA2446707C (en) | 2001-05-10 | 2013-07-30 | Polycom Israel Ltd. | Control unit for multipoint multimedia/audio system |
US8976712B2 (en) | 2001-05-10 | 2015-03-10 | Polycom, Inc. | Speakerphone and conference bridge which request and perform polling operations |
US8223942B2 (en) * | 2001-12-31 | 2012-07-17 | Polycom, Inc. | Conference endpoint requesting and receiving billing information from a conference bridge |
US8934381B2 (en) * | 2001-12-31 | 2015-01-13 | Polycom, Inc. | Conference endpoint instructing a remote device to establish a new connection |
US8947487B2 (en) | 2001-12-31 | 2015-02-03 | Polycom, Inc. | Method and apparatus for combining speakerphone and video conference unit operations |
US7787605B2 (en) | 2001-12-31 | 2010-08-31 | Polycom, Inc. | Conference bridge which decodes and responds to control information embedded in audio information |
US7742588B2 (en) * | 2001-12-31 | 2010-06-22 | Polycom, Inc. | Speakerphone establishing and using a second connection of graphics information |
US8144854B2 (en) * | 2001-12-31 | 2012-03-27 | Polycom Inc. | Conference bridge which detects control information embedded in audio information to prioritize operations |
US8885523B2 (en) | 2001-12-31 | 2014-11-11 | Polycom, Inc. | Speakerphone transmitting control information embedded in audio information through a conference bridge |
US8705719B2 (en) | 2001-12-31 | 2014-04-22 | Polycom, Inc. | Speakerphone and conference bridge which receive and provide participant monitoring information |
US8102984B2 (en) * | 2001-12-31 | 2012-01-24 | Polycom Inc. | Speakerphone and conference bridge which receive and provide participant monitoring information |
US7978838B2 (en) | 2001-12-31 | 2011-07-12 | Polycom, Inc. | Conference endpoint instructing conference bridge to mute participants |
ATE527654T1 (en) * | 2004-03-01 | 2011-10-15 | Dolby Lab Licensing Corp | MULTI-CHANNEL AUDIO CODING |
US8126029B2 (en) * | 2005-06-08 | 2012-02-28 | Polycom, Inc. | Voice interference correction for mixed voice and spread spectrum data signaling |
US7796565B2 (en) * | 2005-06-08 | 2010-09-14 | Polycom, Inc. | Mixed voice and spread spectrum data signaling with multiplexing multiple users with CDMA |
US8199791B2 (en) * | 2005-06-08 | 2012-06-12 | Polycom, Inc. | Mixed voice and spread spectrum data signaling with enhanced concealment of data |
US8190251B2 (en) * | 2006-03-24 | 2012-05-29 | Medtronic, Inc. | Method and apparatus for the treatment of movement disorders |
US20070249956A1 (en) * | 2006-04-21 | 2007-10-25 | Medtronic, Inc. | Method and apparatus for detection of nervous system disorders |
US7761146B2 (en) * | 2006-04-21 | 2010-07-20 | Medtronic, Inc. | Method and apparatus for detection of nervous system disorders |
US7764989B2 (en) * | 2006-04-21 | 2010-07-27 | Medtronic, Inc. | Method and apparatus for detection of nervous system disorders |
US20070249953A1 (en) * | 2006-04-21 | 2007-10-25 | Medtronic, Inc. | Method and apparatus for detection of nervous system disorders |
US7761145B2 (en) * | 2006-04-21 | 2010-07-20 | Medtronic, Inc. | Method and apparatus for detection of nervous system disorders |
US8165683B2 (en) * | 2006-04-21 | 2012-04-24 | Medtronic, Inc. | Method and apparatus for detection of nervous system disorders |
US8108438B2 (en) * | 2008-02-11 | 2012-01-31 | Nir Asher Sochen | Finite harmonic oscillator |
GB2495469B (en) | 2011-09-02 | 2017-12-13 | Skype | Video coding |
GB2495468B (en) | 2011-09-02 | 2017-12-13 | Skype | Video coding |
GB2495467B (en) * | 2011-09-02 | 2017-12-13 | Skype | Video coding |
PT2904612T (en) * | 2012-10-05 | 2018-12-17 | Fraunhofer Ges Forschung | An apparatus for encoding a speech signal employing acelp in the autocorrelation domain |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0462559A2 (en) * | 1990-06-18 | 1991-12-27 | Fujitsu Limited | Speech coding and decoding system |
EP0492459A2 (en) * | 1990-12-20 | 1992-07-01 | SIP SOCIETA ITALIANA PER l'ESERCIZIO DELLE TELECOMUNICAZIONI P.A. | System for embedded coding of speech signals |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NL8802291A (en) * | 1988-09-16 | 1990-04-17 | Koninkl Philips Electronics Nv | DEVICE FOR TRANSMITTING DATA WORDS WHICH REPRESENT A DIGITIZED ANALOGUE SIGNAL AND A DEVICE FOR RECEIVING THE TRANSMITTED DATA WORDS. |
EP0443548B1 (en) * | 1990-02-22 | 2003-07-23 | Nec Corporation | Speech coder |
US5371853A (en) * | 1991-10-28 | 1994-12-06 | University Of Maryland At College Park | Method and system for CELP speech coding and codebook for use therewith |
-
1993
- 1993-01-21 FR FR9300601A patent/FR2700632B1/en not_active Expired - Fee Related
-
1994
- 1994-01-18 EP EP94400109A patent/EP0608174B1/en not_active Expired - Lifetime
- 1994-01-18 DE DE69412294T patent/DE69412294T2/en not_active Expired - Lifetime
- 1994-01-21 US US08/184,186 patent/US5583963A/en not_active Expired - Lifetime
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0462559A2 (en) * | 1990-06-18 | 1991-12-27 | Fujitsu Limited | Speech coding and decoding system |
EP0492459A2 (en) * | 1990-12-20 | 1992-07-01 | SIP SOCIETA ITALIANA PER l'ESERCIZIO DELLE TELECOMUNICAZIONI P.A. | System for embedded coding of speech signals |
Non-Patent Citations (13)
Title |
---|
"Embedded CELP Coding For Variable Bit-Rate Between 6.4 and 9.6 kbit/s", ICASSP 91, vol. L, pages 681 - 684 |
ALAN O.STEINHARDT: "Householder Transforms in Signal Processing", IEEE ASSP MAGAZINE, July 1988 (1988-07-01), pages 4 - 12, XP011437206, DOI: doi:10.1109/53.9259 |
B.S.: "A Model of LPC Excitation in Terms of Eigenvectors of the Autocorrelation Matrix of the Impulse Response of the LPC Filter", ICASSP 89, vol. L, pages 45 - 48 |
CHEN, GERSHO: "Real-time vector APC speech coding at 4800 BPS with adaptive postfiltering", INTERNATIONAL CONFERENCE ON ACOUSTICS SPEECH AND SIGNAL PROCESSING, vol. 4, 6 April 1987 (1987-04-06), DALLAS TEXAS, pages 2185 - 2188 * |
DYMARSKI ET AL.: "Optimal and sub-optimal algorithms for selecting the excitation in linear predictive coders", INTERNATIONAL CONFERENCE ON ACOUSTICS SPEECH AND SIGNAL PROCESSING, vol. 1, 3 April 1990 (1990-04-03), ALBUQUERQUE NEW MEXICO US, pages 485 - 488 * |
E.OFER: "A Unified Framework for LPC Excitation Repre- sentation in Residual Speech Coders", ICASSP 89, vol. L, pages 41 - 44 |
G.DAVIDSON; A.GERSHO: "Multiple-Stage Vector Excitation Coding of Speech Wave forms", ICASSP 88, vol. L, pages 163 - 166 |
J.H.CHEN; A.GERSHO: "Real Time Vector APC Speech Coding at 4800 Bps with Adaptative Postfiltering", ICASSP 87, vol. 3, pages 2185 - 2188 |
M.JOHNSON; T.TANIGUSHI: "Pitch Orthogonal Code-Excited LPC", GLOBECOM 90, vol. 1, pages 542 - 546 |
MOREAU, DYMARSKI: "Successive orthogonalizations in the multistage CELP coder", INTERNATIONAL CONFERENCE ON ACOUSTICS SPEECH AND SIGNAL PROCESSING, vol. 1, 23 March 1992 (1992-03-23), SAN FRANCISCO CALIFORNIA US, pages 61 - 64, XP010058716, DOI: doi:10.1109/ICASSP.1992.225972 * |
N.MOREAU; P.DYMARSKI: "Successive Orthogonalisations in the Multistage CELP Coder", ICASSP 92, vol. L, pages 1 - 61 |
N.MOREAU; P.DYMARSKI; A.VIGIER: "Optimal and Suboptimal Algorithms for Selecting the Excitation in Linear Predictive Products", PROC. ICASSP 90, pages 485 - 488 |
R.ROSE; T.BARNWELL: "Design and Performance of an Analysis by Synthesis Class of Predictive Speech Coders", IEEE TRANS. ON ACOUSTIC SPEECH SIGNAL PROCEESSING, September 1990 (1990-09-01) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0751492A2 (en) * | 1995-06-28 | 1997-01-02 | ALCATEL ITALIA S.p.A. | Method and equipment for coding and decoding a sampled speech signal |
EP0751492A3 (en) * | 1995-06-28 | 1998-03-04 | ALCATEL ITALIA S.p.A. | Method and equipment for coding and decoding a sampled speech signal |
US5809456A (en) * | 1995-06-28 | 1998-09-15 | Alcatel Italia S.P.A. | Voiced speech coding and decoding using phase-adapted single excitation |
EP0792502A1 (en) * | 1995-09-14 | 1997-09-03 | Motorola, Inc. | Very low bit rate voice messaging system using asymmetric voice compression processing |
EP0792502A4 (en) * | 1995-09-14 | 1998-12-23 | Motorola Inc | Very low bit rate voice messaging system using asymmetric voice compression processing |
US6107430A (en) * | 1996-03-14 | 2000-08-22 | The Dow Chemical Company | Low application temperature hot melt adhesive comprising ethylene α-olefin |
Also Published As
Publication number | Publication date |
---|---|
DE69412294D1 (en) | 1998-09-17 |
DE69412294T2 (en) | 1999-04-15 |
EP0608174B1 (en) | 1998-08-12 |
FR2700632A1 (en) | 1994-07-22 |
FR2700632B1 (en) | 1995-03-24 |
US5583963A (en) | 1996-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0608174B1 (en) | System for predictive encoding/decoding of a digital speech signal by an adaptive transform with embedded codes | |
EP0782128B1 (en) | Method of analysing by linear prediction an audio frequency signal, and its application to a method of coding and decoding an audio frequency signal | |
EP2366177B1 (en) | Encoding of an audio-digital signal with noise transformation in a scalable encoder | |
EP0749626B1 (en) | Speech coding method using linear prediction and algebraic code excitation | |
EP1692689B1 (en) | Optimized multiple coding method | |
EP1989706A2 (en) | Device for perceptual weighting in audio encoding/decoding | |
WO2004070705A1 (en) | Method for differentiated digital voice and music processing, noise filtering, creation of special effects and device for carrying out said method | |
EP0428445B1 (en) | Method and apparatus for coding of predictive filters in very low bitrate vocoders | |
FR2668288A1 (en) | METHOD OF TRANSMITTING, AT LOW RATE, BY CELP CODING OF A SPEECH SIGNAL AND CORRESPONDING SYSTEM. | |
EP0078581B1 (en) | Differential pcm transmission system with adaptive prediction | |
EP1039736B1 (en) | Method and device for adaptive identification and related adaptive echo canceller | |
EP2652735B1 (en) | Improved encoding of an improvement stage in a hierarchical encoder | |
WO2023165946A1 (en) | Optimised encoding and decoding of an audio signal using a neural network-based autoencoder | |
Brauer et al. | Learning to dequantize speech signals by primal-dual networks: an approach for acoustic sensor networks | |
EP1383109A1 (en) | Method and device for wide band speech coding | |
WO2011144863A1 (en) | Encoding with noise shaping in a hierarchical encoder | |
Cuperman et al. | Low-delay vector excitation coding of speech at 16 kb/s | |
EP1192618B1 (en) | Audio coding with adaptive liftering | |
FR2709366A1 (en) | Method of storing reflection coefficient vectors | |
Pavlov | Inter-frame interpolation of the spectral envelope of the speech signal in the space of linear spectral frequencies of the highest regression | |
FR2980620A1 (en) | Method for processing decoded audio frequency signal, e.g. coded voice signal including music, involves performing spectral attenuation of residue, and combining residue and attenuated signal from spectrum of tonal components | |
WO2002029786A1 (en) | Method and device for segmental coding of an audio signal | |
FR2709387A1 (en) | Vector sum excited linear predictive coding speech coder | |
FR2737360A1 (en) | Audio digital signal coding method of successive sample blocks - using spectral analysis to select vector dictionary for each sample block and allocating vector and scalar quantisation bits | |
EP1383111A2 (en) | Method and device for speechcoding with enlarged bandwidth |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): DE GB |
|
17P | Request for examination filed |
Effective date: 19940714 |
|
GRAG | Despatch of communication of intention to grant |
Free format text: ORIGINAL CODE: EPIDOS AGRA |
|
17Q | First examination report despatched |
Effective date: 19971024 |
|
GRAG | Despatch of communication of intention to grant |
Free format text: ORIGINAL CODE: EPIDOS AGRA |
|
GRAH | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOS IGRA |
|
GRAH | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOS IGRA |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): DE GB |
|
REF | Corresponds to: |
Ref document number: 69412294 Country of ref document: DE Date of ref document: 19980917 |
|
GBT | Gb: translation of ep patent filed (gb section 77(6)(a)/1977) |
Effective date: 19980902 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
26N | No opposition filed | ||
REG | Reference to a national code |
Ref country code: GB Ref legal event code: IF02 |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: 732E Free format text: REGISTERED BETWEEN 20090528 AND 20090603 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20101215 Year of fee payment: 18 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20110131 Year of fee payment: 18 |
|
GBPC | Gb: european patent ceased through non-payment of renewal fee |
Effective date: 20120118 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GB Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20120118 Ref country code: DE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20120801 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R119 Ref document number: 69412294 Country of ref document: DE Effective date: 20120801 |