EP1741039A1 - Informationssignalverarbeitung durch modifikation in der spektral-/modulationsspektralbereichsdarstellung - Google Patents

Informationssignalverarbeitung durch modifikation in der spektral-/modulationsspektralbereichsdarstellung

Info

Publication number
EP1741039A1
EP1741039A1 EP05735002A EP05735002A EP1741039A1 EP 1741039 A1 EP1741039 A1 EP 1741039A1 EP 05735002 A EP05735002 A EP 05735002A EP 05735002 A EP05735002 A EP 05735002A EP 1741039 A1 EP1741039 A1 EP 1741039A1
Authority
EP
European Patent Office
Prior art keywords
spectral
values
modulation
information signal
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP05735002A
Other languages
English (en)
French (fr)
Other versions
EP1741039B1 (de
Inventor
Sascha Disch
Karsten Linzmeier
Jürgen HERRE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of EP1741039A1 publication Critical patent/EP1741039A1/de
Application granted granted Critical
Publication of EP1741039B1 publication Critical patent/EP1741039B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02087—Noise filtering the noise being separate speech, e.g. cocktail party

Definitions

  • the present invention relates to the processing of information signals in general, e.g. of audio signals, video signals or other multimedia signals, and in particular on the processing of information signals in the spectral / modulation spectral range.
  • signals which consist of a carrier signal component and a modulation component.
  • modulated signals a representation in which the signals are broken down into carrier and modulation components is often required in order, for example, to be able to filter, code or otherwise modify them.
  • audio coding For the purposes of audio coding, it is known, for example, to subject the audio signal to a so-called modulation transformation.
  • the audio signal is broken down into frequency bands by a transformation.
  • the amount and phase are then broken down. While the phase is not being further processed, the amounts per sub-band are transformed again in a second transformation using a number of transformation blocks.
  • the result is a frequency decomposition of the temporal envelope of the sub-band in question into modulation coefficients. Audio encodings that insist on such a modulation transformation are described, for example, in M. Vinton and L.
  • a disadvantage of the above audio coding schemes using a modulation transform is the following fact. As long as no further processing steps are carried out on the modulation coefficients together with the phases, the modulation coefficients form a spectral / modulation spectral representation of the audio signal which is reversible and perfectly reconstructive, ie can be converted back into the original audio signal in the time domain without changes. In these methods, however, the modulation coefficients are filtered in order to reduce or quantize the modulation coefficients to the smallest possible values according to psychoacoustic criteria, so that the highest possible compression rate is achieved. However, this generally does not achieve the desired goal of removing the relevant modulation components from the resulting signal or of introducing specific quantization noise into this component.
  • the object of the present invention is therefore to provide a processing scheme for information signals which enables a more specific processing of information signals according to modulation and carrier components.
  • a device for processing an information signal comprises a device for converting the information signal into a time / spectral representation by transforming the information signal block by block and a device for converting the information signal from the time / spectral representation into a spectral / modulation spectral representation, the device is designed for transfer in such a way that the spectral / modulation spectral representation depends on both an amount component and a phase component of the time / spec tral representation of the information signal.
  • a device then manipulates or modifies the information signal in the spectral / modulation spectral representation in order to obtain a modified spectral / modulation spectral representation.
  • a further device forms a processed information signal, which represents a processed version of the information signal, based on the modified spectral / modulation spectral representation.
  • the main idea of the present invention is that a more strict processing of information signals according to modulation and carrier components can be achieved if the transfer of the information signal from the time / spectral representation or the time / frequency representation to the spectral / modulation spectral representation or the frequency / modulation frequency representation is carried out as a function of both an amount component and a phase component of the time / spectral representation of the information signal.
  • the transfer of the information signal from the time / spectral representation or the time / frequency representation to the spectral / modulation spectral representation or the frequency / modulation frequency representation is carried out as a function of both an amount component and a phase component of the time / spectral representation of the information signal.
  • the conversion of the information signal from the time / spectral representation into the spectral / modulation spectral representation taking into account both the amount and the phase brings with it the problem that the time / spectral representation of the information signal actually not only of the information signal but also of depends on the phase shift of the time blocks to the carrier spectral component of the information signal.
  • the block-wise transformation of the information signal from the time representation into the time / spectral representation has the effect that the sequences of spectral values obtained per spectral component in the time / spectral representation of the information signal result in a modulated complex Have carriers that depend only on the asynchrony of the block repetition frequency to the carrier frequency component of the information signal.
  • demodulation of the sequence of spectral values in the time / spectral representation of the information signal is therefore carried out per spectral component in order to obtain a demodulated sequence of spectral values per spectral component.
  • the subsequent conversion of the demodulated sequences of spectral values obtained in this way is carried out by block-wise transformations from the time / spectral representation into the spectral / modulation spectral representation or by block-wise spectral decomposition thereof, whereby blocks of modulation values are obtained.
  • These are manipulated or modified, such as weighted with a corresponding weighting function, for example for bandpass filtering to remove the modulation component from the original information signal.
  • the result is a modified demodulated sequence of spectral values or modified demodulated time / spectral representation.
  • the complex carrier is modulated again onto the modified demodulated sequences of spectral values thus obtained, as a result of which a modified sequence of spectral values is obtained which represents part of a time / spectral representation of the processed information signal.
  • a return of this representation to the time representation results in a processed information signal in the time representation or time range, which can be changed extremely precisely with respect to the modulation and carrier components with respect to the original information signal.
  • Fig. 1 is a block diagram of an apparatus for processing an information signal according to a Embodiment of the present invention.
  • FIG. 2 shows a schematic sketch to illustrate the functioning of the device according to FIG. 1.
  • the device of FIG. 1 shows a device for processing an information signal according to an exemplary embodiment of the present invention.
  • the device of FIG. 1, indicated generally at 10, comprises an input 12, at which it receives the information signal 14 to be processed.
  • the device of FIG. 1 is provided, by way of example, for processing the information signal 14 in such a way that the modulation component is removed from the information signal 14, and thus to obtain a processed information signal with only the carrier component.
  • the device 10 comprises an output 16 in order to output the carrier component as the processing result or the processed information signal 18.
  • the device 10 is essentially divided into a part 20 for converting the information signal 14 from a time representation into a time / frequency representation, and a device 22 for converting the information signal from the time / frequency representation into the frequency / Modulation frequency representation, a part 24 in which the actual processing takes place, namely the modification of the information signal, and a part 26 for converting the information signal processed in the frequency / modulation frequency representation from this representation into the time representation.
  • the four parts mentioned are connected in series in this order between the input 12 and the output 16, their more precise structure and their mode of operation being described in the following.
  • the part 20 of the device 10 comprises a windowing device 28 and a transformation device 30 which connect to input 12 in this order.
  • an input of the windowing device 28 is connected to the input 12 in order to receive the information signal 14 as a sequence of information values. If the information signal is still present as an analog signal, this can be converted, for example, by an A / D converter or a discrete sampling into a sequence of information or sampling values.
  • the windowing device 28 forms blocks of the same number of information values from the sequence of information values and also carries out a weighting with a weighting function on each block of information values, which, however, cannot, for example, exclusively correspond to a sine window or a KBD window. The blocks can overlap, such as by 50%, or not.
  • An output of the windowing device 28 is connected to an input of the transformation device 30.
  • the blocks of information values output by the windowing device 28 are received by the transformation device 30.
  • the transformation device 30 then subjects the same to a spectrally decomposing transformation in blocks, such as a DFT or another complex transformation.
  • the transformation device 30 thus achieves a block-by-block breakdown of the information signal 14 into spectral components and thus generates a block of spectral values, which comprises one spectral value per spectral component, in particular per time block, as obtained from the windowing device 28.
  • Several spectral values can be combined into subbands. In the following, however, the terms subband and Spectral component used synonymously.
  • the transformation device 30 For each spectral component or each subband there is one spectral value per time block, or several, if a subband summary is available, which is not assumed in the following.
  • the transformation device 30 outputs a sequence of spectral values per spectral component or sub-band, which represent the time profile of this spectral component or this sub-band.
  • the spectral values output by the transformation device 30 represent a time / frequency representation of the information signal 14.
  • the part 22 comprises a carrier frequency determination device 32, a mixer 34 serving as a demodulation device, a windowing device 36, and a second transformation device 38.
  • the windowing device 32 comprises an input which is connected to the output of the transformation device 30. There it receives the spectral value sequences for the individual sub-bands and divides the spectral value sequences per sub-band into blocks - similar to how the windowing device 28 does with respect to the information signal 14 - and weights the spectral values of each block with a suitable weighting function.
  • the weighting function can be one of the weighting functions already mentioned above as an example with regard to device 28.
  • the successive blocks in a subband may or may not overlap, with the following example again assuming mutual overlap by 50%. In the following it is assumed that the blocks of different subbands are aligned with one another, as will be explained in more detail below with reference to FIG. 1.
  • the windowing device outputs sequences of windowed spectral value blocks per subband.
  • the carrier frequency determination device 32 also has an input, which is connected to the output of the transformation device 30, in order to obtain the spectral values of the subbands or spectral components as a sequence of spectral values per subband. It is intended to find out in each subband that carrier component which results from the fact that the individual time blocks from which the individual spectral values of the subbands have been derived have a time-shifted phase offset to the carrier frequency component of the information signal 14.
  • the carrier component determined per subband outputs the carrier frequency determination device 32 at its output to an input of the mixer 34, which in turn has a further input which is connected to the output of the windowing device 36.
  • the mixer "34 is formed so as to each sub-band, the blocks of windowed spectral values as they are output from the transformation device, multiplied by the complex conjugates of the respective carrier component, as it has been determined by the carrier frequency determination means 30 for each sub-band, whereby the subbands or blocks of windowed spectral values are demodulated.
  • Demodulated sub-bands thus result at the output of mixer 34 or a sequence of demodulated blocks of windowed spectral values result per sub-band.
  • the output of the mixer 34 is connected to an input of the separation information device 38, so that the latter receives mutually overlapping blocks of windowed and demodulated spectral values for each sub-band, here 50% as an example, and transforms or blocks these into the spectral / modulation spectral representation spectrally decomposed so that, by processing all subbands or spectral components, a previously only modifiable with regard to demodulation of the subband spectral value sequences ornamental frequency / modulation frequency representation of the information signal 14 to generate.
  • the transformation on which the transformation device 38 per subband is based can be, for example, a DFT, an MDCT, MDST or the like, and in particular also the same transformation as that of the transformation device 30.
  • the transformations are both transformation devices 30, 38 is a DFT.
  • the transformation device 38 outputs at its output for each subband or each spectral component blocks of values, which are referred to below as modulation values and represent a spectral decomposition of the blocks of windowed and demodulated spectral values.
  • modulation values represent a spectral decomposition of the blocks of windowed and demodulated spectral values.
  • the blocks of spectral values per subband with respect to which the transformation device 38 carries out the transformations are aligned with one another in time, so that a matrix of modulation values composed of one modulation value block per subband always results in the same time period.
  • the modulation values are forwarded by the transformation device 38 to the part 24, which has only one signal processing device 40.
  • the signal processing device 40 is connected to the output of the transformation device 38 and thus receives the blocks of modulation values.
  • the signal processing device 40 since the device 10 serves to suppress the modulation component, the signal processing device 40 carries out an effective low-pass filtering in the frequency range on the incoming blocks of modulation values, namely a weighting of the modulation values with a function which, starting from the modulation frequency zero, increases or decreases lower modulation frequencies drop.
  • the signal processing device 40 forwards the blocks of modulation values modified in this way to the return part 26.
  • the modified blocks of modulation values outputted by the device 40 represent a modified frequency / modulation frequency representation of the information signal 14, or in other words a frequency / modulation frequency representation which deviates from the frequency / modulation frequency representation of the modified information signal 18 by the demodulation by the mixer 34.
  • the return transfer part 26 is in turn divided into two parts, namely a part for transferring the processed information signal 18 from the frequency / modulation frequency representation, as output by the signal processing device 40, into the time / frequency representation, and a part for returning the processed one Information signal from the time / frequency display to the time display.
  • the first of the two parts comprises a transformation device 42 for carrying out a block-wise transformation inverse to the transformation after the transformation device 38, a mixer 46 and an assembly device 44.
  • the second part of the feedback part 26 comprises a transformation device 48 for carrying out a transformation for the transformation of the Transformation device 30 inverse block-wise transformation and an assembly device 50.
  • the inverse transformation device 42 is connected with its input to the output of the signal processing device 40 and transforms the modified " blocks of modulation values from the spectral representation back to the time / frequency representation in partial bands and thus reverses the spectral decomposition in order to produce a sequence of modified ones per partial band
  • These modified spectral value blocks output by the inverse transformation device 42 differ from the spectral value blocks as output by the windowing device 36. but not only by the processing by the signal processing device 40 but also by the demodulation caused by the mixer 34.
  • the mixer 46 receives the sequences of modified spectral value blocks output by the inverse transformation device 42 per subband and mixes them with a complex carrier that corresponds to that which has been used at the appropriate place or for the corresponding block for demodulating the information signal at the mixer 34 is complex conjugate in order to modulate the spectral value blocks again with the carrier caused by the phase offsets of the time blocks.
  • the result that arises at the output of the mixer 46 is a sequence of modified non-demodulated spectral value blocks per subband.
  • the output of the mixer 46 is connected to an input of the combining device 44. For each subband, this combines the sequence of modified blocks of spectral values modulated again with the complex carrier to form a uniform current or a uniform sequence of spectral values, by matching spectral values of adjacent or successive blocks of spectral values for a subband, as they are are obtained from the mixer 46, suitably linked together.
  • the link consists in a simple addition of mutually assigned spectral values.
  • the result, which is thus output at the output of the OLA 44, is thus modified subbands or modified sequences of spectral values for all spectral components and represents a modified time / frequency representation of the information signal. nals 14 or a time / frequency representation of the modified information signal 18.
  • the transformation device 48 receives the spectral value sequences and thus in particular one after the other a spectral value for all subbands or spectral components or a spectral decomposition of a section of the modified information signal 18 one after the other. It generates a sequence from the sequence of spectral decompositions by reversing the spectral decomposition of modified time blocks. These modified time blocks are in turn received by the combining device 50.
  • the combining device 50 works in a similar manner to the combining device 44. It combines the modified time blocks, which by way of example overlap by 50%, by adding corresponding information values from adjacent or successive modified time blocks. The result at the output of the combining device 50 is thus a sequence of information values which represent the processed information signal 18.
  • the processing of the information signal by the device 10 begins with the reception of the audio signal 14 at the input 12.
  • the information signal 14 is in a sampled form.
  • the sampling has been carried out, for example, using an analog / digital converter.
  • the sampling was carried out with a certain sampling frequency ⁇ s .
  • Si s (2 ⁇ / ⁇ s * i)
  • the windowing device 28 weights each of these blocks with a window or weighting function, as was described above.
  • the windowing device 28 forwards a new windowed time block of 2N information values to the transformation device 30 after every N information values.
  • the repetition frequency of the time blocks is thus ⁇ s / N.
  • the transformation device 30 transforms the windowed time blocks into a spectral representation.
  • the transformation device 30 thereby performs a spectral decomposition of the time blocks of windowed information values into a plurality of predetermined subbands or spectral components.
  • the transformation is a DFT or discrete Fourier transformation.
  • the transformation device 30 For each time block of 2N information values, the transformation device 30 generates an exemplary one Case N complex valued spectral values for N spectral components if the information signal is real.
  • the complex spectral values output by the transformation device 30 represent the time / frequency representation 74 of the information signal.
  • the complex spectral values are illustrated in FIG. 2 by boxes 76.
  • the transformation device 30 Since the transformation device 30 generates at least one spectral value per successive time block of information values per subband or spectral component, the transformation device 30 thus outputs a sequence of spectral values 76 with the frequency ⁇ s / N per subband or spectral component.
  • the spectral values output for a time block are shown in FIG. 2 at 74 arranged horizontally along the frequency axis 78.
  • the spectral values output for a subsequent time block follow directly below in the vertical direction along the axis 80.
  • the axes 78 and 80 thus represent the frequency or time axis of the time / frequency representation of the information signal 14. Only four subbands are shown as an example in FIG.
  • the sequence of spectral values per subband run along the columns in the exemplary illustration in FIG. 2 and are shown at 82a, 82b, 82c and 82d.
  • the information signal 14 is exemplarily illustrated as a function that can be represented by sin (bt) • (1 + ⁇ -sin (at)), where ⁇ is, for example, the modulation frequency of the the dashed line 84 indicated envelope of the information signal 14, while ß represents the carrier frequency of the information signal 14, t is time and ⁇ is the depth of modulation. If the sampling frequency ⁇ s is sufficiently high, the transformation 72 results in a block of spectral values 76 per time block with this exemplary information signal, ie a line at 74, in which primarily the spectral component or the associated spectral value at the carrier frequency ⁇ has a pronounced maximum.
  • the spectral values for this spectral component f ß however, varies in time for successive time blocks due to the variation of the envelope 84. Accordingly, the magnitude of the spectral values of the spectral component ⁇ varies with the modulation frequency ⁇ .
  • the different time blocks can each have a different phase offset to the carrier frequency ⁇ due to a frequency mismatch between the time block repetition frequency ⁇ s / N and the carrier frequency of the information signal 14.
  • the spectral values of the spectral blocks which result from the time blocks in transformation 72, are modulated with a carrier e 3 ⁇ f , where j represents the imaginary unit, f the frequency and ⁇ the phase offset of the respective time block.
  • the phase offset ⁇ increases linearly. Therefore, the spectral values of a subband also experience a modulation with a carrier component due to a frequency mismatch between the time block repetition frequency and the carrier frequency, which modulation depends on the mismatch of the two frequencies.
  • the modulation carrier frequency ⁇ (m, f) determined in this way determines the carrier frequency determination device 32 for each subband ⁇ b or each frequency f block by block, m indicating a block index, as will be explained in more detail below.
  • the carrier frequency determination device 32 combines M consecutive spectral values 76 of a subband ⁇ b , such as the spectral values a ( ⁇ b , 0) to a ( ⁇ b , Ml). Among these M spectral values, it determines a phase curve through phase unwrapping. Then, using an algorithm of least squares, for example, it determines a line equation that comes closest to the phase curve.
  • the carrier frequency determination device 32 obtains the desired modulation carrier frequency ⁇ d for the subband b with respect to the time block m or a spectral value block phase offset ⁇ for the subband b with respect to the time block m from the slope and an intercept or a phase or initial offset of the straight line equation.
  • the carrier frequency determination device carries out this determination for all subbands over temporally identical spectral values, that is to say for all spectral value blocks a ( ⁇ b , o) to a ( ⁇ b , M- ⁇ ) ⁇ t co b for all subbands 0 ⁇ b ⁇ N.
  • the carrier frequency determination device 32 determines a modulation carrier frequency co d and the spectral value block phase offset ⁇ for each subband ⁇ , and this for block by block.
  • the block division on which the determination of the complex carriers for all subbands by means 32 is based is the same as that used by the windowing device for windowing.
  • the carrier frequency determination device 32 outputs the determined values for the complex carriers to the demodulation device or the mixer 34.
  • the mixer 34 now mixes the windowed blocks of spectral values of the individual subbands, as they are output by the windowing device 36, with the complex conjugate of the respective modulation carrier frequencies ⁇ d , taking into account the spectral value block phase offsets ⁇ by multiplying these subband spectral value blocks by e -3- ( ⁇ _ d - n + ⁇ )) ⁇ o where, as mentioned above, a different pair of ⁇ d and ⁇ is used for each subband and within each subband for the successive blocks. In this way, the mixer 34 outputs demodulated subband spectral value block out, ie two-dimensional blocks of N spectral value blocks each with M demodulated spectral values.
  • the phase profile of the spectral values in the subbands within the blocks is on average flatter and essentially runs around phase 0. In this way it is achieved that during the subsequent transformation by the transformation device 38, the demodulated and windowed blocks of spectral values lead to a spectral decomposition in which the frequency 0 or the constant component is very well centered.
  • the transformation 86 following the demodulation 84 by the mixer 34 by the transformation device 38 is carried out block by block on each subband or each sequence of demodulated blocks of spectral values.
  • the demodulated spectral value blocks of the N subbands in particular are subjected to a spectral decomposition in blocks.
  • the result of the spectral decomposition of the blocks of spectral values can also be referred to as a modulation frequency representation.
  • the transformation 86 consequently results in a matrix of M x N modulation values, which represents the frequency / modulation frequency representation of the information signal 14 over the period of the M time blocks that contributed to this matrix.
  • the frequency / modulation frequency representation 88 has two dimensions, namely the frequency 90 and the modulation frequency 92.
  • the individual modulation values are symbolized at 88 with box 93.
  • the transformation device 38 passes the modulation matrix on to the processing device 40.
  • the processing Processing device 40 is in accordance with the present. Embodiment provided to filter out the modulation component from the information signal 14. In the present exemplary case, the processing device 40 therefore performs low-pass filtering on the modulation frequency components in the frequency / modulation frequency matrix.
  • 1 shows a diagram at 94, in which the modulation frequency is plotted along the x-axis and the amount of the modulation values is plotted along the y-axis.
  • Diagram 94 shows a section of the modulation matrix 88 for the exemplary case of the information signal 14 from FIG. 1, namely the sine-modulated sine.
  • the course of the amounts of the modulation values along the modulation frequency for the subband with the frequency ⁇ , that is to say the carrier frequency, is shown in the diagram 94.
  • Demodulation 84 by means of mixer 34 means that the modulation frequency spectrum is essentially perfectly centered - at least in the case of FFT as transformation 86 - or correctly aligned.
  • the modulation frequency spectrum at the carrier frequency ⁇ has two sidebands 96 and 98, which are arranged at the modulation frequency, that is to say the modulation frequency of the envelope 84 of the information signal 14.
  • the modulation values of the modulation matrix 88 have a constant component 100 at the frequency ⁇ .
  • the signal processing device 40 is now designed as a low-pass filter with a filter characteristic 102, which is shown with a broken line, in order to remove the two side bands 96 and 98 from the frequency / modulation frequency representation 88. In this way, the information signal 14 is freed from its modulation component, after which only the carrier component remains.
  • the modulation matrix changed in this way is passed on by the processing device 40 to the inverse transformation device 42.
  • the inverse transformation device 42 processes the modified modulation matrix for each subband in such a way that the block of modulation values for the respective subband, ie one Column in the modulation matrix 88 is subjected to a transformation inverse to the transformation of the transformation device 38, so that these modulation value blocks are converted from the frequency / modulation frequency representation back to the time / frequency representation. In this way, the inverse transformation device 42 generates a block of spectral values for this subband from each such block of modulation values for each subband.
  • the preceding description related primarily to the processing of the first M spectral values or M consecutive spectral values for each subband.
  • the processing by devices 32, 34, 36, 38, 40 and 42 is also repeated for subsequent blocks of M spectral values for each of the N subbands, with an overlap of the blocks of M spectral values of exemplary in the present case 50%, ie with an overlap per subband by M / 2 spectral values.
  • the transformation device 38 For each of these blocks m, the transformation device 38 finally generates a modulation matrix with M x N modulation values each, which are filtered or weighted by the signal processing device 40 in the manner described above.
  • the inverse transformation device 42 in turn generates a block of spectral values for each subband from these modified modulation matrices 88, i.e. one with the matrix of modified but still demodulated blocks of spectral values.
  • the blocks of spectral values per subband output by the inverse transformation device 42 differ from those as obtained from the information signal 14 at the output of the windowing device 36 not only by the processing by the processing device 40, but also by the change caused by the demodulation.
  • the spectral value blocks are therefore modulated again in the modulation device 46 with the modulation carrier component with which they were previously demodulated.
  • sequences of blocks of spectral values per subband that result after the modulation stage 46 are now combined for each subband by the combining device 44 to form a uniform stream 82a-82d of spectral values per subband by correspondingly matching the blocks of spectral values, in the present example by 50%, overlaps with one another and combines corresponding spectral values depending on the weighting function used in the windowing device 36, namely by adding in the case of the sine or KBD windows exemplarily given above.
  • the streams of spectral values per subband resulting at the output of the combining device 44 represent the time / frequency representation of the processed information signal 18.
  • the currents are received by the inverse transformation device 48.
  • each time step n it uses the spectral values for all subbands ⁇ b , i.e. all spectral values a ( ⁇ b , n) with 0 ⁇ b ⁇ N, in order to carry out a transformation from the frequency to the time representation, for each n, ie with a repetition period of 2 ⁇ N / ⁇ s , to obtain a time block.
  • These time blocks are combined by the merging device 50 by exemplary 50% overlap and combining mutually corresponding information values in these time blocks combined into a uniform stream of information values, which finally represents the processed information signal in the time range 18, which is output at the output 16.
  • the processed information signal is shown in FIG. 1 at 18 in a diagram in which the x-axis is the time and the y-axis is the amplitude of the information signal 18. As can be seen, only the carrier component of the input-side information signal 14 remains. The modulation component or the envelope component 84 has been removed.
  • the exemplary embodiment of FIGS. 1 and 2 represented a processing device that used a signal-adaptive filter bank to split signals into carriers and modulation components, and used the resulting representation of the modulated signals to generate them filter.
  • demodulation with respect to a carrier component is carried out for each subband in this exemplary embodiment. According to the estimation of this subband carrier component in the carrier frequency determination device 32, the demodulation per subband is achieved by multiplication with the complex conjugate of this component.
  • the subband signals demodulated in this way are then transformed into the modulation range by a further frequency decomposition using the window device 36 and the transformation device 38.
  • a DFT with 50% overlap and windowing was used as an example as the first transformation 72, although deviations and variations from this are also conceivable.
  • the frequency of this modulator was obtained in the carrier frequency determination device from the phases of the corresponding blocks of the subband to be demodulated, namely by approximately laying a straight line through the unwrapped phase profile of the spectral values of the corresponding blocks.
  • the carrier frequency determination device 32 can, for example, approximately lay a plane in the phase portion of all subbands in this section for each spectral block section n to n + M-1.
  • the carrier frequency determination device 32 could, for example, first unwrap the phases of the sequence of spectral values of a respective subband, low-pass filter and then use the local increase in the filtered phase curve to adapt the complex modulator.
  • the modulation part in the mixer 46 would also be changed accordingly.
  • the carrier frequency determination device tries to influence the phase curve by either increasing or reducing the phase of the complex spectral values of a subband with an amount increasing or decreasing over the sequence, such that an average slope of the phase of the sequence of spectral values is reduced, or the unwrapped phase curve is essentially one fixed phase value, preferably the phase 0, ' varies around.
  • the complex demodulated subband signal can also be transformed or spectrally broken down into the frequency / modulation frequency representation, each with a real-valued transformation separated by the real and imaginary part.
  • the real part then represented the amplitude modulation of the subband signal with respect to the carrier used for demodulation.
  • the imaginary part then represented the frequency modulation of this carrier.
  • the amplitude modulation component of the subband signal is reflected in the symmetrical component of the DFT spectrum along the modulation frequency axis, while the frequency modulation component of the carrier reflects the asymmetrical component of the DFT spectrum along the Corresponds to the modulation frequency axis.
  • the exemplary embodiment described above was illustrated using a simple sine-modulated sine signal.
  • the exemplary embodiment of FIGS. 1 and 2 is also suitable for filtering the course of the envelope of a mixture of amplitude-modulated signals of any frequency, such as, for example, amplitude-modulated tonal signals.
  • the individual frequency components of the envelope are directly represented for consistent processing in the modulation matrix 88, quite in contrast to the already known amount-phase representation according to the modulation transformation analysis methods for audio coding described in the introduction to the description.
  • the filtering of frequency-modulated signals of low modulation depth, ie with a frequency swing that is essential is smaller than the partial bandwidth of the first DFT is possible with the embodiment of FIGS. 1 and 2.
  • FIGS. 1 and 2 thus concerned an arrangement for modulation filtering, which, in other words, was based again on a signal-adaptive transformation, filtering in the modulation range and a corresponding inverse transformation.
  • the arrangement from FIG. 1 is perfectly reconstructive.
  • the modulation components to be removed can be attenuated as desired by introducing a suitable spectral range filter, such as filter 102, ie a weakening of the modulation values with increasing distance from a center modulation frequency of zero.
  • a suitable spectral range filter such as filter 102
  • filter 102 ie a weakening of the modulation values with increasing distance from a center modulation frequency of zero.
  • filters 102 ie a weakening of the modulation values with increasing distance from a center modulation frequency of zero.
  • filters 102 ie a weakening of the modulation values with increasing distance from a center modulation frequency of zero.
  • filters 102 ie a weakening of the modulation values with increasing distance
  • the filtering would consist of high-pass filtering, ie a weighting with a weighting function with a modulation frequency edge at a specific modulation frequency, which weakens the modulation values at lower modulation frequencies more than those at higher modulation frequencies.
  • the signal processing in the signal processing device 40 could in turn consist of a bandpass filtering, that is to say a weighting with a weighting function that drops away from a specific center modulation frequency, in order to separate portions of the information signal that come from different sources , ie to achieve a source separation.
  • Other applications in which the previous embodiment can be used include audio coding for coding audio signals, reconstruction of disturbed signals and error concealment.
  • the device 10 could also be used as a music effects device in order to produce special acoustic effects. to implement in the incoming audio signal.
  • the processing in the signal processing device 40 can accordingly take a wide variety of forms, such as, for example, the quantization of the modulation values, the zeroing of some modulation values, the weighting of individual sections of the or all modulation values or the like.
  • a further area of application would be the use of the device 10 from FIG. 1 as a watermark embedder.
  • the watermark embedder would receive an audio signal 14, wherein the processing device 40 could introduce a received watermark into the audio signal by modifying individual segments or modulation values according to the watermark.
  • the selection of the segments or modulation values could be different or time-variant for successive modulation matrices and would be made in such a way that, due to psychoacoustic masking effects, the modifications due to the watermarking are inaudible for a human hearing in the resulting watermarked audio signal 18.
  • these can of course also be designed as filter banks, which generate a spectral representation by means of many individual bandpass filters.
  • the resulting information signal 18 does not have to be output in the time domain representation after processing. It would also be conceivable to output the information signal, for example, in a time / spectral representation or even in the spectral / modulation spectral representation. In the latter case, it would then of course have to be ensured that the necessary modulation 46 can again be carried out on the receiver side with the suitable carrier, for example by supplying the complex carriers which vary per subband and spectral value block and which were used for demodulation 84.
  • the scheme according to the invention can also be implemented in software.
  • the implementation can take place on a digital storage medium, in particular a floppy disk or a CD with electronically readable control signals, which can interact with a programmable computer system in such a way that the corresponding method is carried out.
  • the invention thus also consists in a computer program product with program code stored on a machine-readable carrier for carrying out the method according to the invention when the computer program product runs on a computer.
  • the invention can thus be implemented as a computer program with a program code for carrying out the method if the computer program runs on a computer.

Abstract

Eine gezielter nach Modulations- und Trägeranteilen getrennte Verarbeitung von Informationssignalen wird durch eine Vorrichtung zum Verarbeiten eines Informationssignals (14) ermöglicht, die eine Einrichtung (20) zum Überführen des Informationssignals (14) in eine Zeit-/Spektraldarstellung durch blockweises Transformieren des Informationssignals sowie eine Einrichtung (22) zum Überführen des Informationssignals von der Zeit-/Spektraldarstellung in eine Spektral-/Modulationsspektraldarstellung umfasst, wobei die Einrichtung (22) zum Überführen derart ausgebildet ist, dass die Spektral-/Modulationsspektraldarstellung abhängig von sowohl einem Betragsanteil als auch einem Phasenanteil der Zeit-/Spektraldarstellung des Informationssignals (14) ist. Eine Einrichtung (24, 40) nimmt dann eine Manipulation bzw. Modifikation des Informationssignals (14) in der Spektral-/Modulationsspektraldarstellung vor, um eine modifizierte Spektral-/Modulationsspektraldarstellung zu erhalten. Eine weitere Einrichtung (26) bildet schließlich ein verarbeitetes Informationssignal (18), das eine verarbeitete Version des Informationssignals (14) darstellt, basierend auf der modifizierten Spektral-/Modulationsspektraldarstellung.

Description

Informationssignalverarbeitung durch Modifikation in der Spektral-/Modulationsspektralbereichsdarstellung
Beschreibung
Die vorliegende Erfindung bezieht sich auf die Verarbeitung von Informationssignalen im allgemeinen, wie z.B. von Audiosignalen, Videosignalen oder anderen Multimediasignalen, und insbesondere auf die Verarbeitung von Informationssignalen im Spektral-/Modulationsspektralbereich.
Im Bereich der Signalverarbeitung, beispielsweise bei der Verarbeitung digitaler Audiosignale, existieren häufig Signale, die aus einem Trägersignalanteil und einem Modulationsanteil bestehen. In dem Fall modulierter Signale wird eine Repräsentation, in der die Signale in Träger- und Modulationskomponenten zerlegt sind, häufig benötigt, um diese beispielsweise filtern, codieren oder anderweitig modifizieren zu können.
Zu Zwecken der Audiocodierung ist es beispielsweise bekannt, das Audiosignal einer sogenannten Modulationstransformation zu unterziehen. Dabei wird das Äudiosignal durch eine Transformation in Frequenzbänder zerlegt. Anschließend wird eine Zerlegung in Betrag und Phase vorgenommen. Während die Phase nicht weiterverarbeitet, werden die Beträge je Teilband über eine Anzahl von Transformationsblöcken in einer zweiten Transformation erneut transformiert. Das Er- gebnis ist eine Frequenzzerlegung der zeitlichen Hüllkurve des betreffenden Teilbandes in Modulationskoeffizienten. Audiocodierungen, die auf einer solchen Modulationstransformation bestehen, sind beispielsweise in M. Vinton und L. Atlas, „A Scalable and Progressive Audio Codec", in Procee- dings of the 2001 IEEE ICASSP, 7.-11. Mai 2001, Salt Lake City, United States Patent Application US 2002/0176353A1: Atlas et al., "Scalable And Perceptually Ranked Signal Cod- ing And Decoding", 11/28/2002', und J. Thompson und L.Atlas, "A Non-uniform Modulation Transform for Audio Coding with Increased Time Resolution", in Proceedings of 'the 2003 IEEE ICASSP, 6.-10. April, Hong Kong, 2003, beschrieben.
Ein Überblick über weitere verschiedene Demodulationstech- niken über die volle Bandbreite des zu demodulierenden Signals, einschließlich asynchroner und synchroner Demodulati- onstechniken etc., gibt beispielsweise der Artikel L. Atlas, „Joint Acoustic And Modulation Frequency", Journal on Applied Signal Processing 7 EURASIP, S. 668-675, 2003, be- schrieben.
Ein Nachteil der oben genannten Schemata zur Audiocodierung unter Verwendung einer Modulationstransformation besteht in der folgenden Tatsache. Solange an den Modulationskoeffi- zienten zusammen mit den Phasen keine weitere Bearbeitungsschritte vorgenommen werden, bilden die Modulationskoeffizienten eine Spektral-/Modulationsspektraldarstellung des Audiosignals, die reversibel und perfekt rekonstruierend ist, d.h. ohne Veränderungen wieder ins ursprüngliche Au- diosignal im Zeitbereich rückkonvertierbar ist. Bei diesen Verfahren werden jedoch die Modulationskoeffizienten gefiltert, um nach psychoakustischen Kriterien die Modulationskoeffizienten auf möglichst kleine Werte zu verringern bzw. quantisieren, so dass eine möglichst hohe Kompressionsrate erzielt wird. Hierdurch erreicht man jedoch im allgemeinen nicht das gewünschte Ziel, die betreffenden Modulationskomponenten aus dem resultierenden Signal zu entfernen oder bei dieser Komponente gezielt Quantisierungsrauschen einzubringen. Der Grund dafür besteht darin, dass die Phasen der Teilbänder nach der Rücktransformation der veränderten Modulationskoeffizienten nicht mehr konsistent mit den veränderten Beträgen dieser Teilbänder sind und auch weiterhin starke Komponenten des Modulationsanteiles des Originalsignals enthalten. Werden nun die Phasen der Teilbänder mit den veränderten Beträgen rekombiniert, werden diese Modulationsanteile bzw. -komponenten durch die Phase wieder in das gefilterte oder quantisierte Signal eingebracht. Mit anderen Worten ausgedrückt, liefert eine Modulationstrans- formation gefolgt von einer Modifikation der Modulationskoeffizienten auf die oben dargestellte Weise, also durch Filterung der Modulationskoeffizienten, zusammen mit einer anschließenden Synthese des -Phasen- und Betragsanteils ein Signal, das bei einer erneuten Analyse bzw. Modulationstransformation immer noch erhebliche Modulationskomponenten an denjenigen Stellen in der Spektral- /Modulationsspektralbereichsdarstellung enthält, die ausgefiltert werden sollten. Eine wirksame Filterung ist also basierend auf den eingehend genannten Modulationstransfor- mations-basierten Signalverarbeitungsschemata nicht möglich.
Es besteht deshalb ein Bedarf nach einem Informationssig- nalverarbeitungsschema, das es ermöglicht, modulierte Signale mit einem Trägeranteil und einem Modulationsanteil gezielter nach Modulations- und Trägeranteil getrennt verarbeiten zu können.
Die Aufgabe der vorliegenden Erfindung besteht folglich darin, ein Verarbeitungsschema für Informationssignale zu schaffen, das eine gezielter nach Modulations- und Trägeranteilen getrennte Verarbeitung von Informationssignalen ermöglicht .
Diese Aufgabe wird durch eine Vorrichtung gemäß Anspruch 1 und ein Verfahren gemäß Anspruch 17 gelöst.
Eine erfindungsgemäße Vorrichtung zum Verarbeiten eines In- formationssignals umfasst eine Einrichtung zum Überführen des Informationssignals in eine Zeit-/Spektraldarstellung durch blockweises Transformieren des Informationssignals sowie eine Einrichtung zum Überführen des Informationssignals von der Zeit-/Spektraldarstellung in eine Spektral- /Modulationsspektraldarstellung, wobei die Einrichtung zum Überführen derart ausgebildet ist, dass die Spektral- /Modulationsspektraldarstellung abhängig von sowohl einem Betragsanteil als auch einem Phasenanteil der Zeit-/Spek- traldarstellung des Informationssignals ist. Εine Einrichtung nimmt dann eine Manipulation bzw. Modifikation des Informationssignals in der Spektral-/Modulationsspektral- darstellung vor, um eine modifizierte Spektral- /Modulationsspektraldarstellung zu erhalten. Eine weitere Einrichtung bildet schließlich ein verarbeitetes Informationssignal, das eine verarbeitete Version des Informationssignals darstellt, basierend auf der modifizierten Spektral-/Modulationsspektraldarsteilung.
Der Kerngedanke der vorliegenden Erfindung besteht darin, dass sich eine strikter nach Modulations- und Trägeranteilen getrennte Verarbeitung von Informationssignalen erzielen lässt, wenn die Überführung des Informationssignals von der Zeit-/Spektraldarstellung bzw. der Zeit-/Frequenzdar- stellung in die Spektral-/Modulationsspektraldarstellung bzw. die Frequenz-/Modulationsfrequenzdarstellung abhängig von sowohl einem Betragsanteil als auch einem Phasenanteil der Zeit-/Spektraldarstellung des Informationssignals durchgeführt wird. Hierdurch entfällt eine Rekombination zwischen Phase und Betrag, und damit die Wiedereinführung von unerwünschten Modulationskomponenten in die Zeitdarstellung des verarbeiteten Informationssignals auf der Syntheseseite.
Die Überführung des Informationssignals von der Zeit- /Spektraldarstellung in die Spektral-/Modulationsspektral- darstellung unter Berücksichtigung sowohl des Betrags als auch der Phase bringt das Problem mit sich, dass die Zeit- /Spektraldarstellung des Informationssignals tatsächlich nicht nur von dem Informationssignal sondern auch von dem Phasenversatz der Zeitblöcke zu der Trägerspektralkomponente des Informationssignals abhängt. Anders ausgedrückt bewirkt die blockweise Transformation des Informationssignals von der Zeitdarstellung in die Zeit/Spektraldarstellung, dass die pro Spektralkomponente in der Zeit- /Spektraldarstellung des Informationssignals erhaltenen Folgen von Spektralwerten einen aufmodulierten komplexen Träger aufweisen, der lediglich von der Asynchronität der Blockwiederholfrequenz zu der Trägerfrequenzkomponente des Informationssignals abhängt. Gemäß den Ausführungsbeispielen der vorliegenden Erfindung wird deshalb pro Spektral- komponente eine Demodulation der Folge von Spektralwerten in der Zeit-/Spektraldarstellung des Informationssignals vorgenommen, um pro Spektralkomponente eine demodulierte Folge von Spektralwerten zu erhalten. Die anschließende Ü- berführung der so erhaltenen demodulierten Folgen von Spektralwerten wird durch blockweise Transformationen von der Zeit/Spektraldarstellung in die Spektral/Modulationsspektraldarstellung bzw. durch blockweises spektrales Zerlegen derselben durchgeführt, wodurch Blöcke von Modulationswerten erhalten werden. Diese werden manipu- liert bzw. modifiziert, wie z.B. zur Bandpassfilterung zur Entfernung des Modulationsanteils aus dem ursprünglichen Informationssignal mit einer entsprechenden Gewichtungsfunktion gewichtet. Das Ergebnis ist eine modifizierte demodulierte Folge von Spektralwerten bzw. modifizierte demo- dulierte Zeit/Spektraldarstellung. Auf die so erhaltenen modifizierten demodulierten Folgen von Spektralwerten wird der komplexe Träger wieder aufmoduliert, wodurch eine modifizierte Folge von Spektralwerten erhalten wird, die einen Teil einer Zeit-/Spektraldarstellung des verarbeiteten In- formationssignals darstellt. Eine Rücküberführung dieser Darstellung in die Zeitdarstellung ergibt ein verarbeitetes Informationssignal in der Zeitdarstellung bzw. Zeitbereich, das im Hinblick auf Modulations- und Trägeranteile äußerst genau bezüglich des ursprünglichen Informationssignals ver- ändert sein kann.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:
Fig. 1 ein Blockschaltbild einer Vorrichtung zur Verarbeitung eines Informationssignals gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
Fig. 2 eine schematische- Skizze zur Veranschaulichung der Funktionsweise der Vorrichtung nach Fig. 1.
Fig. 1 zeigt eine Vorrichtung zur Verarbeitung eines Informationssignals gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Vorrichtung von Fig. 1, die allgemein mit 10 angezeigt ist, umfasst einen Eingang 12, an welchem dieselbe das zu verarbeitende Informationssignal 14 erhält. Die Vorrichtung von Fig. 1 ist exemplarisch dazu vorgesehen, das Informationssignal 14 derart zu verarbeiten, dass der Modulationsanteil aus dem Informationssignal 14 ent- fernt wird, und um somit ein verarbeitetes Informationssignal mit lediglich dem Trägeranteil zu erhalten. Ferner umfasst die Vorrichtung 10 einen Ausgang 16, um den Trägeranteil als das Verarbeitungsergebnis bzw. das verarbeitete Informationssignal 18 auszugeben.
Intern gliedert sich die Vorrichtung 10 im wesentlichen in einen Teil 20 zur Überführung des Informationssignals 14 von einer Zeitdarstellung in eine Zeit-/Frequenzdar- stellung, eine Einrichtung 22 zur Überführung des Informa- tionssignals von der Zeit-/Frequenzdarstellung in die Fre- quenz-/Modulationsfrequenzdarstellung, einen Teil 24, in welchem die eigentliche Verarbeitung stattfindet, nämlich die Modifikation des Informationssignals, und einen Teil 26 zur Rücküberführung des in der Frequenz-/Modulations- frequenzdarstellung verarbeiteten Informationssignals von dieser Darstellung in die Zeitdarstellung. Die genannten vier Teile sind in dieser Reihenfolge zwischen den Eingang 12 und den Ausgang 16 in Reihe geschaltet, wobei deren genauerer Aufbau und deren genauere Funktionsweise im folgen- den beschrieben wird.
Der Teil 20 der Vorrichtung 10 umfasst eine Fensterungseinrichtung 28 und eine Transformationseinrichtung 30, die sich in dieser Reihenfolge an den Eingang 12 anschließen. Insbesondere ist ein Eingang der Fensterungseinrichtung 28 mit dem Eingang 12 verbunden, um das Informationssignal 14 als eine Folge von Informat-ionswerten zu erhalten. Sollte das Informationssignal noch als analoges Signal vorliegen, kann dies beispielsweise durch einen A/D-Wandler bzw. eine diskrete Abtastung in eine Folge von Informations- bzw. Abtastwerten überführt werden. Die Fensterungseinrichtung 28 bildet aus der Folge von Informationswerten Blöcke zu je gleicher Anzahl an Informationswerten und führt an jedem Block von Informationswerten zudem eine Gewichtung mit einer Gewichtungsfunktion durch, die beispielsweise aber nicht ausschließlich einem Sinusfenster oder einem KBD- Fenster entsprechen kann. Die Blöcke können sich überlap- pen, wie z.B. um 50%, oder nicht. Im folgenden wird lediglich exemplarisch von einer 50%-Überlappung ausgegangen. Bevorzugt werden Fensterfunktionen mit der Eigenschaft, dass sie eine gute Teilbandtrennung in der Zeit/Spektraldarstellung ermöglichen und sich die Quadrate ihrer einander korrespondierenden, da auf ein und denselben Informationswert angewendeten, Gewichtungswerte im Überlappungsbereich zu Eins addieren.
Ein Ausgang der Fensterungseinrichtung 28 ist mit einem Eingang der Transformationseinrichtung 30 verbunden. Die von der Fensterungseinrichtung 28 ausgegeben Blöcke von Informationswerten werden von der Transformationseinrichtung 30 empfangen. Dieselben unterzieht die Transformationseinrichtung 30 dann blockweise einer spektral zerlegenden Transformation, wie z.B. einer DFT oder einer anderen komplexen Transformation. Die Transformationseinrichtung 30 erzielt somit blockweise eine Zerlegung des Informationssignals 14 in Spektralkomponenten und erzeugt somit insbesondere pro Zeitblock, wie er von der Fensterungseinrich- tung 28 erhalten wird, einen Block von Spektralwerten, der einen Spektralwert pro Spektralkomponente umfasst. Mehrere Spektralwerte können zu Teilbändern zusammengefasst sein. Im folgenden werden allerdings die Begriffe Teilband und Spektralkomponente synonym verwendet. Für jede Spektralkomponente bzw. jedes Teilband ergibt sich somit pro Zeitblock ein Spektralwert, oder mehrere, falls eine Teilbandzusammenfassung vorliegt, was im -folgenden jedoch nicht angenom- men wird. Dementsprechend gibt die Transformationseinrichtung 30 pro Spektralkomponente bzw. Teilband eine Folge von Spektralwerten aus, die den zeitlichen Verlauf dieser Spektralkomponente bzw. dieses Teilbandes darstellen. Die von der Transformationseinrichtung 30 ausgegebenen Spek- tralwerte stellen eine Zeit-/Frequenzdarstellung des Informationssignals 14 dar.
Der Teil 22 umfasst eine Trägerfrequenzbestimmungseinrichtung 32, einen als Demodulationseinrichtung dienenden Mi- scher 34, eine Fensterungseinrichtung 36, und eine zweite Transformationseinrichtung 38.
Die Fensterungseinrichtung 32 umfasst einen Eingang, der mit dem Ausgang der Transformationseinrichtung 30 verbunden ist. Sie empfängt dort die Spektralwertfolgen für die einzelnen Teilbänder und teilt die Spektralwertfolgen pro Teilband - ähnlich, wie es die Fensterungseinrichtung 28 bezüglich des Informationssignals 14 tut - in Blöcke ein und gewichtet die Spektralwerte jedes Blocks mit einer ge- eigneten Gewichtungsfunktion. Die Gewichtungsfunktion kann eine der bereits im vorhergehenden bezüglich Einrichtung 28 exemplarisch erwähnten Gewichtungsfunktionen sein. Die aufeinanderfolgenden Blöcke in einem Teilband können sich ü- berlappen oder nicht, wobei im folgenden wieder exempla- risch von einer gegenseitigen Überlappung um 50% ausgegangen wird. Im folgenden wird davon ausgegangen, dass die Blöcke verschiedener Teilbänder zueinander ausgerichtet sind, wie es im folgenden bezugnehmend auf Fig. 1 noch näher erläutert werden wird. Eine andere Vorgehensweise mit zwischen den Teilbändern versetzten Blockfolgen wäre aber ebenfalls denkbar. Am Ausgang gibt die Fensterungseinrichtung pro Teilband Folgen von gefensterten Spektralwertblöcken aus. Auch die Trägerfrequenzbestimmungseinrichtung 32 umfasst einen Eingang, der mit dem Ausgang der Transformationseinrichtung 30 verbunden ist, -um die Spektralwerte der Teil- bänder bzw. Spektralkomponenten als Folgen von Spektralwerten pro Teilband zu erhalten. Sie ist dazu vorgesehen, in jedem Teilband diejenige Trägerkomponente herauszufinden, die dadurch herrührt, dass die einzelnen Zeitblöcke, aus denen die einzelnen Spektralwerte der Teilbänder abgeleitet worden sind, einen zeitlich variierenden Phasenversatz zu der Trägerfrequenzkomponente des Informationssignals 14 aufweisen. Die pro Teilband bestimmte Trägerkomponente gibt die Trägerfrequenzbestimmungseinrichtung 32 an ihrem Ausgang an einen Eingang des Mischers 34 aus, der wiederum ei- nen weiteren Eingang aufweist, der mit dem Ausgang der Fensterungseinrichtung 36 verbunden ist.
Der Mischer' 34 ist derart ausgebildet, dass er je Teilband die Blöcke von gefensterten Spektralwerten, wie sie von der Transformationseinrichtung ausgegeben werden, mit dem komplex Konjugierten der jeweiligen Trägerkomponente multipliziert, wie sie durch die Trägerfrequenzbestimmungseinrichtung 30 für das jeweilige Teilband bestimmt worden ist, wodurch die Teilbänder bzw. Blöcke von gefensterten Spekt- ralwerten demoduliert werden.
Am Ausgang des Mischers 34 ergeben sich somit demodulierte Teilbänder bzw. ergibt sich pro Teilband eine Folge von demodulierten Blöcken von gefensterten Spektralwerten. Der Ausgang des Mischers 34 ist mit einem Eingang der Tr nsfor- mationseinrichtung 38 verbunden, so dass letztere pro Teilband sich gegenseitig - hier exemplarisch 50% - überlappende Blöcke von gefensterten und demodulierten Spektralwerten erhält und diese blockweise in die Spekt- ral/Modulationsspektraldarstellung transformiert bzw. spektral zerlegt, um durch Verarbeitung aller Teilbänder bzw. Spektralkomponenten eine bisher lediglich in Hinblick auf die Demodulation der Teilbandspektralwertfolgen modifi- zierte Frequenz-/Modulationsfrequenzdarstellung des Informationssignals 14 zu erzeugen. Die der Transformationseinrichtung 38 pro Teilband zugrundeliegende Transformation kann beispielsweise eine DFT-, eine MDCT, MDST oder dergleichen sein, und insbesondere auch die gleiche Transformation wie diejenige der Transformationseinrichtung 30. In Fig. 1 ist exemplarisch davon ausgegangen worden, dass es sich bei den Transformationen beider Transformationseinrichtungen 30, 38 um eine DFT handelt.
Dementsprechend gibt die Transformationseinrichtung 38 an ihrem Ausgang für jedes Teilband bzw. jede Spektralkomponente nacheinander Blöcke von Werten aus, die im folgenden als Modulationswerte bezeichnet werden und eine spektral Zerlegung der Blöcke von gefensterten und demodulierten Spektralwerten darstellen. Die Blöcke von Spektralwerten pro Teilband, bezüglich derer die Transformationseinrichtung 38 die Transformationen durchführt, sind zeitlich zueinander ausgerichtet, so dass sich pro Zeitabschnitt immer gleich eine sich aus einem Modulationswertblock pro Teilband zusammensetzende Matrix von Modulationswerten ergibt. Die Modulationswerte gibt die Transformationseinrichtung 38 an den Teil 24 weiter, der lediglich eine Signalverarbeitungseinrichtung 40 aufweist.
Die Signalverarbeitungseinrichtung 40 ist mit dem Ausgang der Transformationseinrichtung 38 verbunden und erhält somit die Blöcke von Modulationswerten. In dem vorliegenden exemplarischen Fall, da die Vorrichtung 10 der Modulations- anteilunterdrückung dient, vollzieht die Signalverarbeitungseinrichtung 40 eine effektive Tiefpassfilterung im Frequenzbereich an den eingehenden Blöcken von Modulationswerten, nämlich eine Gewichtung der Modulationswerte mit einer Funktion, die ausgehend von der Modulationsfrequenz Null zu höheren bzw. niedrigeren Modulationsfrequenzen abfällt. Die derart modifizierten Blöcke von Modulationswerten gibt die Signalverarbeitungseinrichtung 40 an den Rück- überführungsteil 26 weiter. Die von der Signalverarbei- tungseinrichtung 40 ausgegebenen modifizierten Blöcke von Modulationswerten stellen eine modifizierte Frequenz- /Modulationsfrequenzdarstellung des Informationssignals 14 dar, oder anders ausgedrückt eine noch um die Demodulation durch den Mischer 34 von der Frequenz- /Modulationsfrequenzdarstellung des modifizierten Informationssignals 18 abweichende Frequenz-/Modulationsfrequenz- darstellung.
Der Rücküberführungsteil 26 gliedert sich seinerseits wiederum in zwei Teile, nämlich einen Teil zur Überführung des verarbeiteten Informationssignals 18 aus der Frequenz- /Modulationsfrequenzdarstellung, wie sie von der Signalverarbeitungseinrichtung 40 ausgegeben wird, in die Zeit- /Frequenzdarstellung, und einen Teil zur Rücküberführung des verarbeiteten Informationssignals von der Zeit- /Frequenzdarstellung in die Zeitdarstellung. Der erstgenannte der beiden Teile umfasst eine Transformationseinrichtung 42 zur Durchführung einer zu der Transformation nach der Transformationseinrichtung 38 inversen blockweisen Transformation, einen Mischer 46 und eine Zusammenfügungs- einrichtung 44. Der zweitgenannte Teil des Rückführungsteils 26 umfasst eine Transformationseinrichtung 48 zur Durchführung einer zu der Transformation der Transformati- onseinrichtung 30 inversen blockweisen Transformation und eine Zusammenfügungseinrichtung 50.
Die inverse Transformationseinrichtung 42 ist mit ihrem Eingang an den Ausgang der Signalverarbeitungseinrichtung 40 angeschlossen und transformiert die modifizierten-" Blöcke von Modulationswerten teilbandweise von der Spektraldarstellung zurück in die Zeit/Frequenzdarstellung und macht damit die spektrale Zerlegung wieder rückgängig, um pro Teilband eine Folge von modifizierten Blöcken von Spektral- werten zu erhalten. Diese von der inversen Transformationseinrichtung 42 ausgegebenen modifizierten Spektralwertblöcke unterscheiden sich von den Spektralwertblöcken, wie sie von der Fensterungseinrichtung 36 ausgegeben worden sind, aber nicht nur durch die Verarbeitung durch die Signalverarbeitungseinrichtung 40 sondern auch durch die durch den Mischer 34 bewirkte Demodulation. Deshalb empfängt der Mischer 46 die von der inversen Transformationseinrichtung 42 pro Teilband ausgegebenen Folgen von modifizierten Spektralwertblöcken und mischt dieselben mit einem komplexen Träger, der zu demjenigen, der an entsprechender Stelle bzw. für den entsprechenden Block zur Demodulation des Informationssignals an dem Mischer 34 verwendet worden ist, komplex konjugiert ist, um die Spektralwertblöcke wieder mit dem durch die Phasenversätze der Zeitblöcke bewirkten Träger zu modulieren. Das Ergebnis, das sich am Ausgang des Mischers 46 einstellt, ist pro Teilband eine Folge von modifizierten nicht-demodulierten Spektralwertblöcken.
Der Ausgang des Mischer 46 ist mit einem Eingang der Zu- sammenfügungseinrichtung 44 verbunden. Diese führt pro Teilband die Folge von wieder mit dem komplexen Träger aufmodulierten modifizierten Blöcken von Spektralwerten zu ei- nem einheitlichen Strom bzw. einer einheitlichen Folge von Spektralwerten zusammen, indem sie einander entsprechende Spektralwerte benachbarter bzw. aufeinanderfolgender Blöcke von Spektralwerten für ein Teilband, wie sie von dem Mischer 46 erhalten werden, geeignet miteinander verknüpft. In dem Fall der Verwendung oben exemplarisch genannter Gewichtungsfunktionen mit der positiven Eigenschaft, dass sich bei Überlappung die Quadrate einander korrespondierender Gewichtungswerte zu Eins summieren, besteht die Verknüpfung in einer einfachen Addition einander zugeordneter Spektralwerte. Das am Ausgang der Zusammenfügungseinrich- tung 44 (OLA = overlap-add = Überlappaddierung) ausgegebene Ergebnis setzt sich aus einer modifizierten Folge von Spektralwerten pro Teilband zusammen. Das Ergebnis, das somit am Ausgang des der OLA 44 ausgegeben wird, sind somit modifizierte Teilbänder bzw. modifizierte Folgen von Spektralwerten für alle Spektralkomponenten und stellt eine modifizierte Zeit-/Frequenzdarstellung des Informationssig- nals 14 bzw. eine Zeit-/Frequenzdarstellung des modifizierten Informationssignals 18 dar.
Die Transformationseinrichtung 48 empfängt die Spektral- wertfolgen und somit insbesondere nacheinander jeweils einen Spektralwert für alle Teilbänder bzw. Spektralkomponenten bzw. nacheinander eine spektrale Zerlegung eines Abschnitts des modifizierten Informationssignals 18. Sie erzeugt aus der Folge von spektralen Zerlegungen durch Rück- gängigmachung der Spektralzerlegung eine Folge von modifizierten Zeitblöcken. Diese modifizierten Zeitblöcke empfängt wiederum die Zusammenfügungseinrichtung 50. Die Zu- sammenfügungseinrichtung 50 arbeitet ähnlich der Zusammenfügungseinrichtung 44. Sie fügt die sich exemplarisch um 50% überlappenden modifizierten Zeitblöcke dadurch zusammen, dass sie aus benachbarten bzw. aufeinanderfolgenden modifizierten Zeitblöcken einander entsprechende Informationswerte addiert. Das Ergebnis am Ausgang der Zusammenfügungseinrichtung 50 ist somit eine Folge von Infor ations- werten, die das verarbeitete Informationssignal 18 darstellen.
Nachdem nun im vorhergehenden der Aufbau der Vorrichtung 10 sowie die Funktionsweise der Einzelkomponenten beschrieben worden ist, wird im folgenden die Funktionsweise derselben Bezug nehmend auf Fig. 1 und 2 näher erörtert.
Die Verarbeitung des Informationssignals durch die Vorrichtung 10 beginnt mit dem Empfang des Audiosignals 14 am Ein- gang 12. Das Informationssignal 14 liegt dabei in einer abgetasteten Form vor. Die Abtastung ist beispielsweise mittels eines Analog/Digital-Wandlers vorgenommen worden. Die Abtastung erfolgte mit einer gewissen Abtastfrequenz ωs. Das Informationssignal 14 erreicht den Eingang 12 folglich als eine Folge von Abtast- bzw. Informationswerten Si = s(2π/ωs*i), wobei s das analoge Informationssignal, si die Informationswerte und der Index i ein Index für die Informationswerte sein sollen. Unter den eingehenden Abtastwer- ten si fasst die Fensterungseinrichtung 28 je' 2N aufeinanderfolgende Abtastwerte zu Zeitblöcken zusammen, vorliegend exemplarisch mit einer 50%-igen Überlappung. Beispielsweise fasst sie die Abtastwerte s0 bis s2N_ι zu einem Zeitblock mit dem Index n = 0 zusammen, die Abtastwerte sN bis s3N_ι zu einem zweiten Zeitblock mit dem Index n = 1, die Abtastwerte S2 bis s4N.-ι zu einem dritten Zeitblock von Informationswerten mit dem Index n = 2 usw. zusammen. Jeden dieser Blöcke gewichtet die Fensterungseinrichtung 28 mit einer Fenster- bzw. Gewichtungsfunktion, wie es im Vorhergehenden beschrieben wurde. Seien sn 0 bis sn 2N-ι beispielsweise die 2N Informationswerte des Zeitblocks n, dann ergibt sich der durch die Einrichtung 28 ausgegebene Block schließlich zu sno ~> sn 0-g0 bis sn 2N-ι • g2N-ι,■ wobei g mit i = 0 bis 2N-1 die Gewichtungsfunktion sei.
In Fig. 2 sind die auf die Informationswerte Si angewendeten Fensterungsfunktionen exemplarisch für vier aufeinanderfolgende Zeitblöcke n = 0, 1, 2, 3 in einem Diagramm 70 veranschaulicht, bei dem entlang der x-Achse die Zeit t in willkürlichen Einheiten und entlang der y-Achse die Amplitude der Fensterungsfunktionen in willkürlichen Einheiten aufgetragen ist. Auf diese Weise gibt die Fensterungseinrichtung 28 nach jeweils N Informationswerten einen neuen gefensterten Zeitblock zu je 2N Informationswerten an die Transformationseinrichtung 30 weiter. Die Wiederholfrequenz der Zeitblöcke beträgt somit ωs/N.
Die Transformationseinrichtung 30 transformiert die ge- fensterten Zeitblöcke in eine Spektraldarstellung. Die Transformationseinrichtung 30 führt dabei eine spektrale Zerlegung der Zeitblöcke von gefensterten Informationswerten in eine Mehrzahl von vorbestimmten Teilbändern bzw. Spektralkomponenten durch. Im vorliegenden Fall wird exe - plarisch davon ausgegangen, dass es sich bei der Transformation um eine DFT bzw. diskrete Fouriertransformation handelt. Für jeden Zeitblock zu 2N Informationswerten erzeugt die Transformationseinrichtung 30 in diesem exemplarischen Fall N komplexwertige Spektralwerte für N Spektralkomponenten, wenn das Informationssignal reell ist. Die von der Transformationseinrichtung 30 ausgegebenen komplexen Spektralwerte stellen die Zeit-/-Frequenzdarstellung 74 des In- formationssignals dar. Die komplexen Spektralwerte sind hierbei in Fig. 2 durch Kästchen 76 veranschaulicht. Da die Transformationseinrichtung 30 pro aufeinanderfolgendem Zeitblock von Informationswerten pro Teilband bzw. Spektralkomponente zumindest einen Spektralwert erzeugt, gibt die Transformationseinrichtung 30 somit mit der Frequenz ωs/N pro Teilband bzw. Spektralkomponente eine Folge von Spektralwerten 76 aus. Die zu einem Zeitblock ausgegebenen Spektralwerte sind in Fig. 2 bei 74 horizontal entlang der Frequenzachse 78 angeordnet dargestellt. Die zu einem dar- auffolgenden Zeitblock ausgegebenen Spektralwerte schließen sich direkt darunter in vertikaler Richtung entlang der Achse 80 an. Die Achsen 78 und 80 stellen somit die Frequenz- bzw. Zeitachse der Zeit-/Frequenzdarstellung des Informationssignals 14 dar. Exemplarisch sind in Fig. 3 le- diglich vier Teilbänder dargestellt. Die Folge von Spektralwerten pro Teilband verlaufen in der exemplarischen Darstellung von Fig. 2 entlang der Spalten und sind mit 82a, 82b, 82c und 82d dargestellt.
Es wird wieder kurz auf Fig. 1 Bezug genommen, in der das Informationssignal 14 exemplarisch als eine Funktion veranschaulicht ist, die mit sin (bt) • (1+μ- sin (at) ) darstellbar ist, wobei α beispielsweise die Modulationsfrequenz der mit der gestrichelten Linie 84 angedeuteten Hüllkurve des Informationssignals 14 sei, während ß die Trägerfrequenz des Informationssignals 14 darstelle, t die Zeit sei und μ die Modulationstiefe sei. Bei ausreichend hoher Abtastfrequenz ωs ergibt mit diesem exemplarischen Informationssignal durch die Transformation 72 pro Zeitblock ein Block von Spektralwerten 76, d.h. eine Zeile bei 74, bei dem vornehmlich die Spektralkomponente bzw. der dazugehörige Spektralwert an der Trägerfrequenz ß ein ausgeprägtes Maximum aufweist. Die Spektralwerte für diese Spektralkomponente f = ß variiert jedoch in der Zeit für aufeinanderfolgende Zeitblöcke aufgrund der Variation der Hüllkurve 84. Dementsprechend variiert der Betrag der Spektralwerte der Spektralkomponente ß mit der Modulationsfrequenz α.
Die bisherige Betrachtung ließ aber außer acht, dass die verschiedenen Zeitblöcke aufgrund einer Frequenzfehlanpassung zwischen der Zeitblockwiederholfrequenz ωs/N und der Trägerfrequenz des Informationssignals 14 jeweils einen un- terschiedlichen Phasenversatz zur Trägerfrequenz ß aufweisen können. Je nach dem Phasenversatz sind die Spektralwerte der Spektralblöcke, die sich bei Transformation 72 aus den Zeitblöcken ergeben, mit einem Träger e3 φf moduliert, wobei j die imaginäre Einheit, f die Frequenz und Δφ den Phasenversatz des jeweiligen Zeitblocks darstelle. Bei im wesentlichen gleicher Trägerfrequenz, wie es in dem vorliegenden exemplarischen Fall der Fall ist, nimmt der Phasenversatz Δφ linear zu. Deshalb erfahren auch die Spektralwerte eines Teilbandes aufgrund einer Frequenzfehlanpassung zwischen der Zeitblockwiederholfrequenz und der Trägerfrequenz eine Modulation mit einer Trägerkomponente, die von der Fehlanpassung der beiden Frequenzen abhängt.
Dies in Betracht ziehend leitet nun die Trägerfrequenzbe- Stimmungseinrichtung 32 aus den Spektralwerten a(ωb,n) die durch den Phasenversatz der Zeitblöcke resultierende bzw. durch den Zeitblockphasenversatz bewirkte Trägerkomponente in den Teilbändern ab, wobei Ob die Kreisfrequenz ω bzw. Frequenz f (ω=2πf) des jeweiligen Teilbandes 0<b<N unter allen N Teilbändern und n der Zeitblock- bzw. Spektralblockindex sei, der gemäß n = ωs*t mit der Zeit t zusammenhängt. Die so ermittelte Modulationsträgerfrequenz ω(m, f) bestimmt die Trägerfrequenzbestimmungseinrichtung 32 für jedes Teilband ωb bzw. jede Frequenz f blockweise, wobei m einen Blockindex anzeige, wie er im folgenden noch näher erläutert wird. Dazu fasst die Trägerfrequenzbestimmungseinrichtung 32 je M aufeinanderfolgende Spektralwerte 76 eines Teilbandes ωb zusammen, wie z.B. die Spektralwerte a(ωb,0) bis a(ωb,M-l). Unter diesen M Spektralwerten bestimmt sie einen Phasenverlauf durch ein Phasenunwrapping. Anschließend bestimmt sie beispielsweise mittels eines Algorithmus der kleinsten Fehlerquadrate eine Geradenglei- chung, die dem Phasenverlauf am nächsten kommt. Aus der Steigung und einem Achsenabschnitt bzw. einem Phasen- oder Anfangsoffset der Geradengleichung erhält die Trägerfrequenzbestimmungseinrichtung 32 die gewünschte Modulationsträgerfrequenz ωd für das Teilband b bezüglich des Zeitblo- ckes m bzw. einen Spektralwertblockphasenversatz φ für das Teilband b bezüglich des Zeitblockes m. Diese Bestimmung führt die Trägerfrequenzbestimmungseinrichtung für alle Teilbänder über zeitlich gleiche Spektralwerte durch, also für alle Spektralwertblöcke a(ωb,o) bis a(ωb,M-ι) πύt cob für alle Teilbänder 0<b<N. Auf diese Weise bestimmt die Trägerfrequenzbestimmungseinrichtung 32 für jedes Teilband ω eine Modulationsträgerfrequenz cod und den Spektralwertblockphasenversatz φ, und das für Block für Block. Die Blockeinteilung, die der Bestimmung der komplexen Träger für alle Teilbänder durch die Einrichtung 32 zugrunde liegt, ist diejenige, wie sie auch von der Fensterungseinrichtung zur Fensterung verwendet wird. Die Trägerfrequenzbestimmungseinrichtung 32 gibt die bestimmten Werte für die komplexen Träger an die Demodulationseinrichtung bzw. den Mischer 34 aus.
Der Mischer 34 mischt nun die gefensterten Blöcke von Spektralwerten der einzelnen Teilbänder, wie sie von der Fensterungseinrichtung 36 ausgeben werden, mit dem komplex konjugierten der jeweiligen Modulationsträgerfrequehzen ωd unter Berücksichtigung der Spektralwertblockphasenversätze φ durch Multiplikation dieser Teilbandspektralwertblöcke mit e-3-(ω_d-n + φ) ) ^ obei, wie oben erwähnt, jeweils ein unterschiedliches Paar von ωd und φ für jedes Teilband und innerhalb jedes Teilbands für die aufeinanderfolgenden Blöcke verwendet wird. Auf diese Weise gibt der Mischer 34 zueinander ausgerichtete demodulierte Teilbandspektralwert- blocke aus, d.h. zweidimensionale Blöcke aus N Spektralwertblöcken zu je M demodulierten Spektralwerten.
Da die durch die Zeitblockversätze verursachten Modulatio- nen in den Teilbändern durch die Demodulation mittels des Mischers 34 entfernt worden sind, ist der Phasenverlauf der Spektralwerte in den Teilbändern innerhalb der Blöcke im Mittel flacher und verläuft im wesentlichen um die Phase 0 herum. Auf diese Weise wird erzielt, dass bei der anschlie- ßenden Transformation durch die Transformationseinrichtung 38 die demodulierten und gefensterten Blöcke von Spektralwerten zu einer spektralen Zerlegung führen, bei der die Frequenz 0 bzw. der Gleichanteil sehr gut zentriert ist.
Die sich an die Demodulation 84 durch den Mischer 34 anschließende Transformation 86 durch die Transformationseinrichtung 38 wird blockweise an jedem Teilband bzw. jeder Folge von demodulierten Blöcken von Spektralwerten durchgeführt. Durch die Transformation 86 werden insbesondere die demodulierten Spektralwertblöcke der N Teilbänder blockweise einer spektralen Zerlegung unterzogen. Das Ergebnis der spektralen Zerlegung der Blöcke von Spektralwerten kann auch als Modulationsfrequenzdarstellung bezeichnet werden. Für N zueinander ausgerichtete Blöcke von gefensterten und demodulierten Spektralwerten ergibt die Transformation 86 folglich eine Matrix von M x N Modulationswerten, die die Frequenz-/Modulationsfrequenzdarstellung des Informationssignals 14 über die Zeitdauer der M Zeitblöcke repräsentiert, die zu dieser Matrix beigetragen haben. Die Modula- tionsmatrix ist in Fig. 2 exemplarisch bei 88 für den Fall N=M=4 gezeigt. Wie es zu sehen ist, hat die Frequenz- /Modulationsfrequenzdarstellung 88 zwei Dimensionen, nämlich die Frequenz 90 und die Modulationsfrequenz 92. Die einzelnen Modulationswerte sind bei 88 mit Kästchen 93 ver- sinnbildlicht.
Die Transformationseinrichtung 38 gibt die Modulationsmatrix an die Verarbeitungseinrichtung 40 weiter. Die Verar- beitungseinrichtung 40 ist gemäß dem vorliegenden. Ausführungsbeispiel dazu vorgesehen, aus dem Informationssignal 14 den Modulationsanteil herauszufiltern. In dem vorliegenden exemplarischen Fall führt die Verarbeitungseinrichtung 40 deshalb eine Tiefpassfilterung an den Modulationsfrequenzanteilen in der Frequenz-/Modulationsfrequenzmatrix durch. In Fig. 1 ist zur Veranschaulichung bei 94 ein Diagramm dargestellt, bei der entlang der x-Achse die Modulationsfrequenz abgetragen und entlang der y-Achse der Betrag der Modulationswerte abgetragen ist. Das Diagramm 94 stellt einen Schnitt der Modulationsmatrix 88 für den exemplarischen Fall des Informationssignals 14 von Fig. 1 dar, nämlich dem sinusmodulierten Sinus. Insbesondere ist in dem Diagramm 94 der Verlauf der Beträge der Modulationswerte entlang der Modulationsfrequenz für das Teilband mit der Frequenz ß, also der Trägerfrequenz, dargestellt. Durch die Demodulation 84 mittels des Mischers 34 ist das Modulationsfrequenzspektrum im wesentlichen perfekt zentriert - zumindest im Falle der FFT als der Transformation 86 - bzw. korrekt ausgerichtet. Insbesondere weist das Modulationsfrequenzspektrum an der Trägerfrequenz ß zwei Seitenbänder 96 und 98 auf, die an der Modulationsfrequenz , also der Modulationsfrequenz der Hüllkurve 84 des Informationssignals 14 angeordnet sind. Ferner weisen die Modulationswerte der Modulationsmatrix 88 an der Frequenz ß einen Gleichanteil 100 auf. Die Signalverarbeitungseinrichtung 40 ist nun als Tiefpassfilter mit einer Filtercharakteristik 102, die mit gestrichelter Linie dargestellt ist, ausgestaltet, um die beiden Seitenbänder 96 und 98 aus der Frequenz- /Modulationsfrequenzdarstellung 88 zu entfernen. Auf diese Weise wird das Informationssignal 14 von seiner Modulationskomponente befreit, wonach lediglich noch die Trägerkomponente übrig bleibt. Die derart veränderte Modulationsmatrix gibt die Verarbeitungseinrichtung 40 an die inverse Transformationseinrichtung 42 weiter. Die inverse Transformationseinrichtung 42 verarbeitet die modifizierte Modulationsmatrix für jedes Teilband derart, dass der Block von Modulationswerten für das jeweilige Teilband, also eine Spalte in der Modulationsmatrix 88, einer zu der Transformation der Transformationseinrichtung 38 inversen Transformation unterzogen wird, so dass diese Modulationswertblöcke von der Frequenz/Modulation-sfrequenzdarstellung zurück in die Zeit/Frequenzdarstellung überführt werden. Auf diese Weise erzeugt die inverse Transformationseinrichtung 42 aus jedem solchen Block von Modulationswerten für jedes Teilband einen Block von Spektralwerten für dieses Teilband.
Ab der Ausgabe der Spektralwerte durch die Transformationseinrichtung 30 bezog sich die vorhergehende Beschreibung vornehmlich auf die Verarbeitung der ersten M Spektralwerte bzw. von M aufeinanderfolgenden Spektralwerten für jedes Teilband. Die Verarbeitungen durch die Einrichtungen 32, 34, 36, 38, 40 und 42 werden aber auch für nachfolgende Blöcke zu je M Spektralwerten für jedes der N Teilbänder wiederholt, und zwar mit einer Überlappung der Blöcke zu je M Spektralwerten von in dem vorliegenden Fall exemplarisch 50%, also mit einer Überlappung pro Teilband um M/2 Spekt- ralwerte. Die Blöcke sind in Fig. 2 exemplarisch mit m = 0, m = 1 und m = 2 in der Zeit-/Frequenzdarstellung 74 durch exemplarische bogenförmige Fensterungs- bzw. Gewichtungsfunktionen veranschaulicht, die sich exemplarisch über M=4 Spektralwerte in jedem Teilband erstrecken. Für jeden die- ser Blöcke m erzeugt die Transformationseinrichtung 38 schließlich eine Modulationsmatrix zu je M x N Modulationswerten, die durch die Signalverarbeitungseinrichtung 40 auf die oben beschriebene Weise gefiltert bzw. gewichtet werden. Die inverse Transformationseinrichtung 42 erzeugt aus diesen modifizierten Modulationsmatrizen 88 wiederum für jedes Teilband einen Block von Spektralwerten, d.h. eine mit der Matrix aus modifizierten aber noch demodulierten Blöcken von Spektralwerten.
Die von der inversen Transformationseinrichtung 42 ausgegebenen Blöcke von Spektralwerten pro Teilband weichen von denjenigen, wie sie aus dem Informationssignal 14 am Ausgang der Fensterungseinrichtung 36 erhalten wurden, jedoch nicht nur durch die Verarbeitung durch die Verarbeitungseinrichtung 40 ab, sondern auch durch die durch die Demodulation bewirkte Veränderung. Die Spektralwertblöcke werden deshalb in der Modulationsei-nrichtung 46 wieder mit der Mo- dulationsträgerkomponente moduliert, mit der sie vorher demoduliert wurden. Insbesondere werden also die entsprechenden Blöcke von Spektralwerten, die zuvor mit e-i-(ω_d-n + Φ) ) multipliziert worden sind, nun mit e +i-<ω_d-n + <P>> multipliziert, wobei n den Index der Spektralwertefolge des jewei- ligen Teilbandes anzeige und ω_d bzw. ωd die Kreisfrequenz des komplexen durch die Einrichtung 32 für den jeweiligen Spektralwertblock bestimmten Modulationsträgers sei.
Die sich nach der Modulationsstufe 46 ergebenden Folgen von Blöcken von Spektralwerten pro Teilband werden nun für jedes Teilband durch die Zusammenfügungseinrichtung 44 zu einem einheitlichen Strom 82a-82d von Spektralwerten pro Teilband zusammengefügt, indem dieselbe die Blöcke von Spektralwerten entsprechend, vorliegend exemplarisch um 50%, miteinander überlappt und einander entsprechende Spektralwerte je nach in der Fensterungseinrichtung 36 verwendeter Gewichtungsfunktion kombiniert, nämlich durch Addieren in dem Fall der oben exemplarisch angegebenen Sinusoder KBD-Fenster.
Die sich am Ausgang der Zusammenfügungseinrichtung 44 ergebenden Ströme von Spektralwerten pro Teilband stellen die Zeit-/Frequenzdarstellung des verarbeiteten Informationssignals 18 dar. Die Ströme werden von der inversen Trans- formationseinrichtung 48 empfangen. Sie verwendet in jedem Zeitschritt n die Spektralwerte für alle Teilbänder ωb, also alle Spektralwerte a(ωb,n) mit 0<b<N, um an denselben eine Transformation von der Frequenz- in die Zeit- Darstellung durchzuführen, um für jedes n, d.h. mit einer Wiederholzeitdauer von 2πN/ωs, einen Zeitblock zu erhalten. Diese Zeitblöcke werden durch die Zusammenfügungseinrichtung 50 durch vorliegend exemplarisch 50%-ige Überlappung und Kombinieren einander entsprechender Informationswerte in diesen Zeitblöcken zu einem einheitlichen Strom von Informationswerten zusammengeführt, der schließlich das verarbeitete Informationssignal im Zeitbereich 18 darstellt, das am Ausgang 16 ausgegeben- wird.
Das verarbeitete Informationssignal ist in Fig. 1 bei 18 in einem Diagramm dargestellt, bei dem die x-Achse die Zeit und die y-Achse die Amplitude des Informationssignals 18 ist. Wie es zu sehen ist, ist lediglich noch die Trägerkom- ponente des eingangsseitigen Informationssignals 14 übrig geblieben. Die Modulationsanteile bzw. der Hüllkurvenanteil 84 ist entfernt worden.
In anderen Worten ausgedrückt repräsentierte das Ausfüh- rungsbeispiel von Fig. 1 und 2 eine Verarbeitungsvorrichtung, die eine signaladaptive Filterbank dazu verwendete, eine Zerlegung von Signalen in Träger und Modulationsko po- nenten vorzunehmen, und die entstehende Repräsentation der modulierten Signale verwendete, um diese zu filtern. Ebenso wäre es jedoch möglich, anstatt der Filterverarbeitung in der Signalverarbeitungseinrichtung eine Codierung, Verschlüsselung oder Kompression durchzuführen, oder die Modulationsmatrizen anderweitig zu modifizieren. Im Vergleich zu den in der Beschreibungseinleitung beschriebenen zur Au- diocodierung verwendeten Modulationstransformationsverfah- ren, die eine Betragsbildung durchführen, wird bei diesem Ausführungsbeispiel je Teilband eine Demodulation bezüglich einer Trägerkomponente durchgeführt. Nach Schätzung dieser Teilbandträgerkomponente in der Trägerfrequenzbestimmungs- einrichtung 32 wird die Demodulation pro Teilband durch Multiplikation mit der komplex Konjugierten dieser Komponente erzielt. Die auf diese Weise demodulierten Teilbandsignale werden anschließend durch eine weitere Frequenzzerlegung mittels der Fenstereinrichtung 36 und der Transfor- mationseinrichtung 38 in den Modulationsbereich transformiert. Bei dem Ausführungsbeispiel von Fig. 1 wurde als die erste Transformation 72 exemplarisch eine DFT mit 50% Überlappung und Fensterung verwendet, wobei hiervon jedoch auch Abweichungen und Variationen denkbar sind. Mehrere Blöcke der ersten Transformation 72 wurden abermals - dort mit exemplarisch 50% Überlappung - durch die Fensterungseinrichtung 36 zusammengefasst und teilbandweise mit einem komplexen Modulator, der durch die Trägerfrequenzbestimmungseinrichtung 32 bestimmt worden ist, mittels des Mischers 34 demo- duliert und anschließend mit einer DFT transformiert. Bei dem vorhergehenden Ausführungsbeispiel wurde in der Trägerfrequenzbestimmungseinrichtung die Frequenz dieses Modulators aus den Phasen der entsprechenden Blöcke des zu demodulierenden Teilbandes gewonnen, nämlich durch näherungs- weises Legen einer Geraden durch den geunwrappten Phasenverlauf der Spektralwerte der entsprechenden Blöcke. Dies kann jedoch auch anders durchgeführt werden. Die Trägerfrequenzbestimmungseinrichtung 32 kann beispielsweise pro Spektralblockabschnitt n bis n+M-1 eine Ebene in den Pha- senanteil aller Teilbänder in diesem Abschnitt näherungsweise legen. Ferner wäre es möglich, dass die Trägerfrequenzbestimmungseinrichtung 32 die Bestimmung des komplexen Modulators nicht blockweise Vornimmt sondern kontinuierlich über den Strom von Spektralwerten pro Teilband. Dazu könnte beispielsweise die Trägerfrequenzbestimmungseinrichtung 32 beispielsweise die Phasen der Folge von Spektralwerten eines jeweiligen Teilbandes zunächst unwrappen, tiefpassfil- tern und dann die lokale Steigerung des gefilterten Phasenverlaufs zur Anpassung des komplexen Modulators heranzie- hen. Dementsprechend würde auch der Modulationsteil beim Mischer 46 geändert werden. Ganz allgemein versucht die Trägerfrequenzbestimmungseinrichtung den Phasenverlauf dadurch zu beeinflussen, dass die Phase der komplexen Spektralwerte eines Teilbandes mit einem über die Folge hinweg zunehmenden oder abnehmenden Betrag entweder erhöht oder reduziert wird, derart, dass eine mittleren Steigung der Phase der Folge von Spektralwerten verringert wird, bzw. sich der geunwrappte Phasenverlauf im wesentlichen um einen festen Phasenwert, vorzugsweise die Phase 0,' herum variiert.
Noch einmal explizit wird -auf die Tatsache hingewiesen, dass für die verwendeten Transformationen 72, 86 und die hierzu inversen Transformationseinrichtungen 42 und 48 auch andere Typen denkbar sind als die DFT bzw. IDFT. So kann beispielsweise das komplexe demodulierte Teilbandsignal auch mit je einer reellwertigen Transformation getrennt nach Real- und _ Imaginärteil in die Frequenz/Modulationsfrequenzdarstellung transformiert bzw. spektral zerlegt werden. Der Realteil repräsentierte dann nach der Demodulationsstufe die Amplitudenmodulation des Subbandsignals bezüglich des zur Demodulation verwendeten Trägers. Der Imaginärteil repräsentierte dann die Frequenzmodulation dieses Trägers. In dem Fall der DFT bzw. IDFT für die Einrichtungen 38 bzw. 42, spiegelt sich der Amplitudenmodulationsanteil des Subbandsignals im symmetrischen Anteil des DFT-Spektrums entlang der Modulationsfrequenz- achse wieder, während der Frequenzmodulationsanteil des Trägers dem asymmetrischen Anteil des DFT-Spektrums entlang der Modulationsfrequenzachse entspricht.
Das im vorhergehenden beschriebene Ausführungsbeispiel wur- de exemplarisch an einem einfachen sinusmodulierten Sinussignal veranschaulicht. Das Ausführungsbeispiel von Fig. 1 und 2 ist aber auch für eine Filterung des Verlaufs der Hüllkurve eines Gemisches amplitudenmodulierter Signale beliebiger Frequenz, wie z.B. amplitudenmodulierter tonaler Signale, geeignet. Die einzelnen Frequenzkomponenten der Hüllkurve sind zur konsistenten Bearbeitung in der Modulationsmatrix 88 direkt repräsentiert, ganz im Gegensatz zur bereits bekannten Betrags-Phasen-Darstellung nach den in der Beschreibungseinleitung beschriebenen Modulationstrans- formationsanalyseverfahren zur Audiocodierung. Auch die Filterung von frequenzmodulierten Signalen geringer Modulationstiefe, d.h. mit einem Frequenzhub, der wesentlich kleiner als die Teilbandbreite der ersten DFT ist, ist mit dem Ausführungsbeispiel von Fig. 1 und 2 möglich.
Das Ausführungsbeispiel von- Fig. 1 und 2 betraf also eine Anordnung zur Modulationsfilterung, die noch einmal in anderen Worten ausgedrückt auf einer signaladaptiven Transformation, einer Filterung im Modulationsbereich und einer entsprechenden Rücktransformation basierte. Ohne Signalmanipulation im Modulationsbereich, im vorliegenden Ausfüh- rungsbeispiel der Filterung, ist die Anordnung aus Fig. 1 perfekt rekonstruierend. Durch Einbringen eines geeigneten Spektralbereichsfilters, wie exemplarisch dem Filter 102, d.h. einer Schwächung der Modulationswerte mit zunehmender Entfernung von einer Mittenmodulationsfrequenz von Null, können die zu entfernenden Modulationsanteile wie gewünscht gedämpft werden. Es sind jedoch auch andere Arten der Verarbeitung von Informationssignalen in der Frequenz- /Modulationsfrequenzdarstellung denkbar. So könnte es auch wünschenswert sein, lediglich den Träger zu entfernen. In diesem Fall bestünde die Filterung in einer Hochpassfilterung, d.h. einer Gewichtung mit einer Gewichtungsfunktion mit einer Modulationsfrequenzkante an einer bestimmten Modulationsfrequenz, die Modulationswerte an geringeren Modulationsfrequenzen mehr schwächt als solche an darüber lie- genden Modulationsfrequenzen. In wiederum anderen Anwendungsbereichen bzw. Anwendungen könnte die Signalverarbeitung in der Signalverarbeitungseinrichtung 40 wiederum in einer Bandpassfilterung bestehen, also einer Gewichtung mit einer Gewichtungsfunktion, die von einer bestimmten Mitten- modulationsfrequenz weg abfällt, um Anteile des Informationssignals, die von unterschiedlichen Quellen stammen, zu separieren, d.h. eine Quellenseparation zu erzielen. Weitere Anwendungen, bei denen das vorhergehende Ausführungsbeispiel verwendet werden kann, können die Audiocodierung zur Codierung von Audiosignalen, die Rekonstruktion gestörter Signale und die Fehlerverschleierung betreffen. Ganz allgemein könnte aber auch die Vorrichtung 10 als Musikeffektgerät eingesetzt werden, um spezielle akustische Effek- te in dem eingehenden Audiosignal zu verwirklichen. Die Verarbeitungen in der Signalverarbeitungseinrichtung 40 können dementsprechend vielfältigste Formen annehmen, wie z.B. die Quantisierung der Modulationswerte, das Nullsetzen einiger Modulationswerte, die Gewichtung einzelner Abschnitte der oder aller Modulationswerte oder dergleichen. Ein weiteres Anwendungsgebiet wäre der Einsatz der Vorrichtung 10 von Fig. 1 als Wasserzeichen-Einbetter. Der Wasserzeichen-Einbetter würde ein Audiosignal 14 empfangen, wobei die Verarbeitungseinrichtung 40 ein empfangenes Wasserzeichen dadurch in das Audiosignal einbringen könnte, dass dieselbe einzelne Segmente bzw. Modulationswerte gemäß dem Wasserzeichen modifiziert. Die Auswahl der Segmente bzw. Modulationswerte könnte für aufeinanderfolgende Modulati- onsmatrizen verschieden bzw. zeitvariant erfolgen und würde derart getroffen werden, dass durch psychoakustische Verdeckungseffekte die Modifikationen durch die Wasserzeicheneinbringung für ein menschliches Gehör in dem sich ergebenden Wasserzeichen-behafteten Audiosignal 18 unhörbar sind.
Im Hinblick auf die Transformationseinrichtungen wird noch darauf hingewiesen, dass dieselben natürlich auch als Filterbanken ausgebildet sein können, die eine Spektraldarstellung durch viele einzelne Bandpassfilterungen erzeugen. Ferner wird darauf hingewiesen, dass das sich ergebende Informationssignal 18 nach der Verarbeitung nicht in der Zeitbereichsdarstellung ausgegeben werden muss. Es wäre ferner denkbar das Informationssignal beispielweise in einer Zeit/Spektraldarstellung oder sogar in der Spekt- ral/Modulationsspektraldarstellung auszugeben. Im letztgenannten Fall müsste dann natürlich sichergestellt werden, dass empfängerseitig die notwendige Modulation 46 wieder mit dem geeigneten Träger durchgeführt werden kann, beispielsweise durch Mitlieferung der pro Teilband und Spekt- ralwertblock variierenden komplexen Träger, die zur Demodulation 84 verwendet worden sind. Auf diese Weise ließe sich obiges Ausführungsbeispiel zur Verwirklichung eines Kompressionsverfahrens verwenden. Insbesondere wird darauf hingewiesen, dass abhängig von den Gegebenheiten das erfindungsgemäße Schema auch in Software implementiert sein kann. Die Implementation kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder einer CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das entsprechende Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computerprogrammprodukt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computerprogrammprodukt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computerprogramm auf einem Computer abläuft.

Claims

Patentansprüche
1. Vorrichtung zum Verarbeiten eines Informationssignals (14), mit einer Einrichtung (20) zum Überführen des Informationssignals (14) in eine Zeit-/Spektraldarstellung (74) durch blockweises Transformieren des Informationssig- nals; einer Einrichtung (22) zum Überführen des Informationssignals von der Zeit-/Spektraldarstellung (74) in eine Spektral-/Modulationsspektraldarstellung (88), wobei die Einrichtung (22) zum Überführen derart ausgebildet ist, dass die Spektral-/Modulationsspektral- darstellung (88) abhängig von sowohl einem Betragsanteil als auch einem _ Phasenanteil der Zeit-/Spek- traldarstellung (74) des Informationssignals (14) ist; einer Einrichtung (24, 40) zum Manipulieren des Informationssignals (14) in der Spektral-/Modulationsspek- traldarstellung (88), um eine modifizierte Spektral- /Modulationsspektraldarstellung zu erhalten; und einer Einrichtung (26) zum Bilden eines verarbeiteten Informationssignals (18), das eine verarbeitete Version des Informationssignals (14) darstellt, basierend auf der modifizierten Spektral-/Modulationsspektral- darstellung. ':
2. Vorrichtung gemäß Anspruch 1, bei der die Einrichtung (20) zum Überführen des Informationssignals (14) in die Zeit-/Spektraldarstellung (74) ausgebildet ist, um die Zeit-/Spektraldarstellung in eine Mehrzahl von Spektralkomponenten zu zerlegen, um pro Spektralkomponente eine Folge (82a, 82b, 82c, 82d) von komplexen Spektralwerten zu erhalten.
3. Vorrichtung gemäß Anspruch 2, bei der die Einrichtung (22) zum Überführen des Informationssignals (14) von der Zeit-/Spektraldarstellung (74) in die Spektral- /Modulationsspektraldarstellung (88) eine Einrichtung (36, 38) zum, für eine vorbestimmte Spektralkomponente, blockweisen spektralen Zerlegen der Folge (82a, 82b, 82c, 82d) von Spektralwerten aufweist, um einen Teil der Spektral-/Modulationsspektraldarstellung (88) zu erhalten.
4. Vorrichtung gemäß Anspruch 3, bei der die Einrichtung (22) zum, für eine vorbestimmte Spektralkomponente, blockweisen spektralen Zerlegen der Folge (82a, 82b, 82c, 82d) von Spektralwerten ausgebildet ist, um die Folge (82a, 82b, 82c, 82d) von Spektralwerten blockweise zunächst mit einem komplexen Träger zu multiplizieren (84), derart, dass sich blockweise ein Betrag einer mittleren Steigung eines Phasenverlaufs der Fol- ge (82a, 82b, 82c, 82d) von Spektralwerten verringert, um demodulierte Blöcke von Spektralwerten zu erhalten, und die demodulierten Blöcke von Spektralwerten dann blockweise spektral zu zerlegen, um den Teil der modifizierten Spektral-/ModulationsSpektraldarstellung (88) zu erhalten.
5. Vorrichtung gemäß Anspruch 4, bei der die Einrichtung (22) zum, für eine vorbestimmte Spektralkomponente, blockweisen spektralen Zerlegen der Folge (82a, 82b, 82c, 82d) von komplexen Spektralwerten eine Einrichtung (32) zum, abhängig von der Zeit-/Spektral- darstellung (74) des Informationssignals, blockweisen Variieren des komplexen Trägers aufweist, mit dem die Folge (82a, 82b, 82c, 82d) von komplexen Spektralwer- ten blockweise multipliziert wird.
6. Vorrichtung gemäß Anspruch 5, bei der die Einrichtung (32) zum Variieren ausgebildet ist, um zum blockweisen Variieren des komplexen Trägers blockweise Phasen der Spektralwerte in der Folge von Spektralwerten zu unw- rappen, um einen Phasenverlauf zu erhalten, eine mittlere Steigung des Phasenverlaufs zu bestimmen und ba- sierend auf der mittleren Steigung den komplexen Träger zu bestimmen.
7. Vorrichtung gemäß Anspruch 6, bei der die Einrichtung (32) zum Variieren ferner ausgebildet ist, um aus dem Phasenverlauf einen Achsenabschnitt des Phasenverlaufs zu bestimmen und den komplexen Träger ferner basierend auf dem Achsenabschnitt zu bestimmen.
8. Vorrichtung gemäß einem der Ansprüche 4 bis 7, bei der die Einrichtung (26) zum Bilden folgende Merkmale aufweist: eine Einrichtung (42) zum Rücküberführen des Informationssignals von der modifizierten Spektral- /Modulationsspektraldarstellung in eine modifizierte Zeit-/Spektraldarstellung, um modifizierte demodulierte Blöcke von Spektralwerten für die vorbestimmte Spektralkomponente zu erhalten; eine Einrichtung (46) zum blockweisen Multiplizieren der modifizierten demodulierten Blöcke von Spektralwerten mit einem zu dem komplexen Träger komplex konjugierten Träger, um modifizierte Blöcke von Spektralwerten zu erhalten; und :: eine Einrichtung (44) zum Zusammenfügen der modifizierten Blöcke von Spektralwerten zu einer modifizierten Folge von Spektralwerten, um einen Teil einer Zeit-/Spektraldarstellung des verarbeiteten Informati- onssignals (18) zu erhalten.
9. Vorrichtung gemäß Anspruch 8, bei der die Einrichtung zum Bilden ferner folgendes Merkmal aufweist: eine Einrichtung zum Rücküberführen des verarbeiteten Informationssignals (18) von der Zeit-/Spektral- darstellung in die Zeitdarstellung.
10. Vorrichtung gemäß einem der vorhergehenden Ansprüche, bei der die Einrichtung (40) zum Modifizieren ausgebildet ist, um eine Gewichtung der Modulationsanteile der Spektral-/Modulationsspektraldarstellung (88) zur Modulationsfilterung, Audiocodierung, Quellenseparation, Rekonstruktion des Informationssignals, zur Fehlerverschleierung oder zur Überlagerung des Informationssignals mit einem Wasserzeichen vorzunehmen.
11. Vorrichtung gemäß einem der vorhergehenden Ansprüche, bei der das Informationssignal (14) ein Audiosignal, ein Videosignal, ein Multimediasignal, ein Messsignal oder dergleichen ist.
12. Vorrichtung gemäß Anspruch 1, bei der die Einrichtung (20) zum Überführen des Informationssignals in die Zeit-/Spektraldarstellung (74) folgende Merkmale aufweist: eine Blockbildungseinrichtung (28) zum Bilden einer Folge von Blöcken von Informationswerten aus dem Informationssignal (14); und eine Einrichtung (30) zum spektralen Zerlegen jedes der Folge von Blöcken von Informationswerten, um eine Folge von Spektralwertblöcken zu erhalten, wobei jeder Spektralwertblock einen Spektralwert (76) für jede einer vόrbestimmten Mehrzahl von Spektralkomponenten aufweist, so dass die Folge von Spektralwertblöcken pro Spektralkomponente eine Folge (82a-82d) von Spektralwerten bildet.
13. Vorrichtung gemäß Anspruch 12, bei der die Einrichtung (22) zum Überführen des Informationssignals (14) in die Spektral-/Modulationsspektraldarstellung (88) folgende Merkmale aufweist: eine Einrichtung (32-38) zum spektralen Zerlegen einer vorbestimmten Folge der Folgen (82a-82d) von Spektralwerten, um einen Block von Modulationswerten zu erhalten, wobei die Einrichtung (24; 40) zum Modifizieren ausgebildet ist, um den Block (88) von Modulationswerten zu modifizieren, um einen modifizierten Block von Modulationswerten zu erhalten, der ein Teil der modifizier- ten Spektral/Modulationsspektraldarstellung (88) ist.
14. Vorrichtung gemäß Anspruch 13, bei der die Einrichtung (26) zum Bilden ausgebildet ist, um den modifizierten Block von Modulationswerten von der spektralen Zerle- gung rückzuüberführen (42, 44, 46), um eine modifizierte Folge von Spektralwerten zu erhalten, und eine Folge von modifizierten Spektralblöcken, die auf der modifizierten Folge von Spektralwerten basiert, rückzuüberführen (48), um eine Folge von modifizierten Blöcken von Informationswerten zu erhalten, und die modifizierten Blöcke von Informationswerten zusammenzufügen (50) , um das verarbeitete Informationssignal (18) zu erhalten.
15. Vorrichtung gemäß Anspruch 14, bei die Einrichtung (20) zum spektralen Zerlegen jedes der Folge von Blöcken von Informationswerten ausgebildet ist, um jeden Block der Folge von Blöcken von Informationswerten zunächst mit einer Fensterfunktion zu multiplizieren und dann spektral zu zerlegen, und die Einrichtung (26) zum Bilden ausgebildet ist, um beim Zusammenfügen (50) die modifizierten Blöcke von Informationswerten derart zu verarbeiten, dass sich die Multiplikation mit der Fensterfunktion nicht auf das verarbeitete Informationssignal (18) auswirkt.
16. Vorrichtung gemäß Anspruch 13, bei der die Einrichtung (20) zum spektralen Zerlegen jedes der Folge von Blöcken von Informationswerten derart ausgebildet ist, dass sie bei der spektralen Zerlegung pro Spektralkomponente eine Folge (82a-82d) von komplexen Spektralwerten liefert, und die Einrichtung (32, 34, 36, 38) zum spektralen Zerlegen der vorbestimmten Folge der Folgen (82a-82d) von Spektralwerten ausgebildet ist, um zunächst die vorbestimmte Folge (82a-82d) von Spektralwerten derart zu modifizieren (34), dass eine Phase der Spektralwerte der vorbestimmten Folge von Spektralwerten um einen mit der Folge stetig größer werdenden oder kleiner werdenden Betrag vergrößert o- der verkleinert wird, um eine phasenmodifizierte Folge von Spektralwerten zu erhalten, und dann die phasenmodifizierte Folge von Spektralwerten spektral zu zerle- gen (38), um den zumindest einen Block von Modulationswerten zu erhalten, und die Einrichtung zum Bilden ausgebildet ist, um den modifizierten Block von Modulationswerten von der spektralen Zerlegung rückzuüberführen (42), um eine modifizierte Folge von Spektral- werten zu erhalten, die modifizierte Folge von Spektralwerten umgekehrt zu der Einrichtung (34) zum spektralen Zerlegen der vorbestimmten Folge der Folgen von Spektralwerten derart zu modifizieren (46), dass eine Phase der Spektralwerte der zumindest einen Folge von Spektralwerten um einen mit der Folge stetig ' größer werdenden oder kleiner werdenden Betrag vergrößert o- der verkleinert wird, um eine modifizierte Folge von Spektralwerten zu erhalten, eine Folge von modifizierten Spektralblöcken, die auf der modifizierten Folge von Spektralwerten basiert, rückzuüberführen (48), um eine Folge von modifizierten Blöcken von Informationswerten zu erhalten, und die modifizierten Blöcke von Informationswerten zusammenzufügen (50) , um das verarbeitete Informationssignal (18) zu erhalten.
17. Verfahren zum Verarbeiten eines Informationssignals (14), mit
Überführen (20) des Informationssignals (14) in eine Zeit-/Spektraldarstellung (74) durch blockweises Transformieren des Informationssignals;
Überführen (22) des Informationssignals von der Zeit- /Spektraldarstellung (74) in eine Spektral- /Modulationsspektraldarstellung (88), wobei das Überführen derart durchgeführt wird, dass die Spektral- /Modulationsspektraldarstellung (88) abhängig von sowohl einem Betragsanteil als auch einem Phasenanteil der Zeit-/Spektraldarstellung (74) des Informationssignals (14) ist; Modifizieren (24) des Informationssignals (14) in der Spektral-/Modulationsspektraldarstellung (88), um eine modifizierte Spektral-/ModulationsspektraldarStellung zu erhalten; und Bilden (26) eines verarbeiteten Informationssignals (18), das eine verarbeitete Version des Informationssignals (14) darstellt, basierend auf der modifizierten Spektral-/ModulationsSpektraldarstellung.
18. Computer-Programm mit einem Programmcode zur Durchführung des Verfahrens nach Anspruch 17, wenn das Computer-Programm auf einem Computer abläuft.
EP05735002A 2004-04-30 2005-03-22 Informationssignalverarbeitung durch modifikation in der spektral-/modulationsspektralbereichsdarstellung Active EP1741039B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102004021403A DE102004021403A1 (de) 2004-04-30 2004-04-30 Informationssignalverarbeitung durch Modifikation in der Spektral-/Modulationsspektralbereichsdarstellung
PCT/EP2005/003064 WO2005109240A1 (de) 2004-04-30 2005-03-22 Informationssignalverarbeitung durch modifikation in der spektral-/modulationsspektralbereichsdarstellung

Publications (2)

Publication Number Publication Date
EP1741039A1 true EP1741039A1 (de) 2007-01-10
EP1741039B1 EP1741039B1 (de) 2010-02-17

Family

ID=34965409

Family Applications (1)

Application Number Title Priority Date Filing Date
EP05735002A Active EP1741039B1 (de) 2004-04-30 2005-03-22 Informationssignalverarbeitung durch modifikation in der spektral-/modulationsspektralbereichsdarstellung

Country Status (16)

Country Link
US (1) US7574313B2 (de)
EP (1) EP1741039B1 (de)
JP (1) JP4473913B2 (de)
KR (1) KR100851424B1 (de)
CN (1) CN100583085C (de)
AT (1) ATE458225T1 (de)
AU (1) AU2005241157B8 (de)
BR (1) BRPI0509818B1 (de)
CA (1) CA2564970C (de)
DE (2) DE102004021403A1 (de)
HK (1) HK1097326A1 (de)
IL (1) IL178671A (de)
MX (1) MXPA06012424A (de)
NO (1) NO337309B1 (de)
RU (1) RU2351006C2 (de)
WO (1) WO2005109240A1 (de)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19947877C2 (de) * 1999-10-05 2001-09-13 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Einbringen von Informationen in einen Datenstrom sowie Verfahren und Vorrichtung zum Codieren eines Audiosignals
DE102004023436B4 (de) * 2004-05-10 2006-06-14 M2Any Gmbh Vorrichtung und Verfahren zum Analysieren eines Informationssignals
DE102006047197B3 (de) 2006-07-31 2008-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Verarbeiten eines reellen Subband-Signals zur Reduktion von Aliasing-Effekten
DE102006051673A1 (de) 2006-11-02 2008-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Nachbearbeiten von Spektralwerten und Encodierer und Decodierer für Audiosignale
US8214200B2 (en) * 2007-03-14 2012-07-03 Xfrm, Inc. Fast MDCT (modified discrete cosine transform) approximation of a windowed sinusoid
EP2015293A1 (de) * 2007-06-14 2009-01-14 Deutsche Thomson OHG Verfahren und Vorrichtung zur Kodierung und Dekodierung von Audiosignalen über adaptiv geschaltete temporäre Auflösung in einer Spektraldomäne
US20090048828A1 (en) * 2007-08-15 2009-02-19 University Of Washington Gap interpolation in acoustic signals using coherent demodulation
US8126578B2 (en) * 2007-09-26 2012-02-28 University Of Washington Clipped-waveform repair in acoustic signals using generalized linear prediction
US9436759B2 (en) 2007-12-27 2016-09-06 Nant Holdings Ip, Llc Robust information extraction from utterances
ES2895268T3 (es) * 2008-03-20 2022-02-18 Fraunhofer Ges Forschung Aparato y método para modificar una representación parametrizada
EP2362375A1 (de) * 2010-02-26 2011-08-31 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Gerät und Verfahren zur Änderung eines Audiosignals durch Hüllkurvenenformung
EP2431970A1 (de) 2010-09-21 2012-03-21 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Wasserzeichengenerator, Wasserzeichendekodierer, Verfahren zur Bereitstellung eines mit einem Wasserzeichen markierten Signals basierend auf diskreten Datenwerten und Verfahren zur Bereitstellung von diskreten Datenwerten in Abhängigkeit eines mit einem Wasserzeichen markierten Signals
FR2977439A1 (fr) * 2011-06-28 2013-01-04 France Telecom Fenetres de ponderation en codage/decodage par transformee avec recouvrement, optimisees en retard.
US20130070811A1 (en) * 2011-09-20 2013-03-21 Electronics And Telecommunications Research Institute Transmission/reception apparatus and method for filtered multi-tone system
US8634502B2 (en) * 2011-09-30 2014-01-21 Silicon Laboratories Inc. Receiver with asynchronous and synchronous demodulator
RU2505868C2 (ru) * 2011-12-07 2014-01-27 Ооо "Цифрасофт" Способ встраивания цифровой информации в аудиосигнал
TWI575962B (zh) * 2012-02-24 2017-03-21 杜比國際公司 部份複數處理之重疊濾波器組中的低延遲實數至複數轉換
WO2014168777A1 (en) * 2013-04-10 2014-10-16 Dolby Laboratories Licensing Corporation Speech dereverberation methods, devices and systems
EP2830061A1 (de) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Codierung und Decodierung eines codierten Audiosignals unter Verwendung von zeitlicher Rausch-/Patch-Formung
WO2015025052A1 (en) 2013-08-23 2015-02-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing an audio signal using an aliasing error signal
EP2963646A1 (de) 2014-07-01 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decodierer und Verfahren zur Decodierung eines Audiosignals, Codierer und Verfahren zur Codierung eines Audiosignals
KR102356028B1 (ko) 2015-02-06 2022-01-26 삼성디스플레이 주식회사 표시 장치
CA2976864C (en) 2015-02-26 2020-07-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for processing an audio signal to obtain a processed audio signal using a target time-domain envelope
RU2746708C1 (ru) * 2020-07-29 2021-04-19 Закрытое акционерное общество "Перспективный мониторинг" Способ и устройство ввода водяного знака в аудиосигнал

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5173923A (en) * 1991-11-22 1992-12-22 Bell Communications Research, Inc. Spread-time code division multiple access technique with arbitrary spectral shaping
US5321497A (en) 1992-03-09 1994-06-14 Wyko Corporation Interferometric integration technique and apparatus to confine 2π discontinuity
US5671168A (en) * 1995-07-06 1997-09-23 Technion Research & Development Foundation Ltd. Digital frequency-domain implementation of arrays
DE19640825C2 (de) 1996-03-07 1998-07-23 Fraunhofer Ges Forschung Codierer zur Einbringung eines nicht hörbaren Datensignals in ein Audiosignal und Decodierer zum decodieren eines nicht hörbar in einem Audiosignal enthaltenen Datensignals
WO1997033391A1 (de) 1996-03-07 1997-09-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codierverfahren zur einbringung eines nicht hörbaren datensignals in ein audiosignal, decodierverfahren, codierer udn decodierer
US5724270A (en) * 1996-08-26 1998-03-03 He Holdings, Inc. Wave-number-frequency adaptive beamforming
US5915027A (en) 1996-11-05 1999-06-22 Nec Research Institute Digital watermarking
DE19947877C2 (de) * 1999-10-05 2001-09-13 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Einbringen von Informationen in einen Datenstrom sowie Verfahren und Vorrichtung zum Codieren eines Audiosignals
US6725372B1 (en) 1999-12-02 2004-04-20 Verizon Laboratories Inc. Digital watermarking
JP3507743B2 (ja) 1999-12-22 2004-03-15 インターナショナル・ビジネス・マシーンズ・コーポレーション 圧縮オーディオデータへの電子透かし方法およびそのシステム
AU2001231109A1 (en) 2000-01-24 2001-07-31 Businger, Peter A. Transform domain allocation for multimedia watermarking
FR2807897B1 (fr) * 2000-04-18 2003-07-18 France Telecom Methode et dispositif d'enrichissement spectral
AU8491001A (en) 2000-08-16 2002-02-25 Dolby Lab Licensing Corp Modulating one or more parameters of an audio or video perceptual coding system in response to supplemental information
US20020168082A1 (en) 2001-03-07 2002-11-14 Ravi Razdan Real-time, distributed, transactional, hybrid watermarking method to provide trace-ability and copyright protection of digital content in peer-to-peer networks
US7136418B2 (en) * 2001-05-03 2006-11-14 University Of Washington Scalable and perceptually ranked signal coding and decoding
US7006452B2 (en) 2001-05-22 2006-02-28 Intel Corporation Matching DSL data link layer protocol detection
DE10129239C1 (de) 2001-06-18 2002-10-31 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Einbetten eines Wasserzeichens in ein Audiosignal
US6963842B2 (en) * 2001-09-05 2005-11-08 Creative Technology Ltd. Efficient system and method for converting between different transform-domain signal representations
US20030187663A1 (en) * 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
US7243060B2 (en) * 2002-04-02 2007-07-10 University Of Washington Single channel sound separation
CN100353767C (zh) 2002-05-10 2007-12-05 皇家飞利浦电子股份有限公司 水印嵌入和恢复
US7254500B2 (en) * 2003-03-31 2007-08-07 The Salk Institute For Biological Studies Monitoring and representing complex signals
US7318035B2 (en) * 2003-05-08 2008-01-08 Dolby Laboratories Licensing Corporation Audio coding systems and methods using spectral component coupling and spectral component regeneration
JP4535278B2 (ja) * 2005-07-04 2010-09-01 株式会社デンソー イオン電流検出装置
JP2008001004A (ja) * 2006-06-23 2008-01-10 Canon Inc 液体収納容器の液体供給部の製造方法、液体収納容器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2005109240A1 *

Also Published As

Publication number Publication date
JP4473913B2 (ja) 2010-06-02
DE102004021403A1 (de) 2005-11-24
BRPI0509818A (pt) 2007-09-18
HK1097326A1 (en) 2007-06-22
NO20065423L (no) 2007-01-26
JP2007535849A (ja) 2007-12-06
AU2005241157B2 (en) 2008-05-22
AU2005241157A1 (en) 2005-11-17
IL178671A0 (en) 2007-02-11
ATE458225T1 (de) 2010-03-15
MXPA06012424A (es) 2007-01-17
EP1741039B1 (de) 2010-02-17
CN1950815A (zh) 2007-04-18
RU2351006C2 (ru) 2009-03-27
KR20070015174A (ko) 2007-02-01
AU2005241157B8 (en) 2008-11-06
BRPI0509818B1 (pt) 2022-06-07
CN100583085C (zh) 2010-01-20
CA2564970C (en) 2012-02-07
US20070100610A1 (en) 2007-05-03
WO2005109240A1 (de) 2005-11-17
RU2006142324A (ru) 2008-06-10
US7574313B2 (en) 2009-08-11
IL178671A (en) 2011-03-31
NO337309B1 (no) 2016-03-07
CA2564970A1 (en) 2005-11-17
DE502005009035D1 (de) 2010-04-01
KR100851424B1 (ko) 2008-08-11

Similar Documents

Publication Publication Date Title
EP1741039B1 (de) Informationssignalverarbeitung durch modifikation in der spektral-/modulationsspektralbereichsdarstellung
DE60317722T2 (de) Verfahren zur Reduzierung von Aliasing-Störungen, die durch die Anpassung der spektralen Hüllkurve in Realwertfilterbanken verursacht werden
DE102008015702B4 (de) Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals
EP1741215B1 (de) Wasserzeicheneinbettung
DE60202881T2 (de) Wiederherstellung von hochfrequenzkomponenten
DE69821089T2 (de) Verbesserung von quellenkodierung unter verwendung von spektralbandreplikation
DE60100813T2 (de) Verbesserte spektrale übersetzung/faltung im subband-bereich
DE4316297C1 (de) Frequenzanalyseverfahren
DE10200653B4 (de) Skalierbarer Codierer, Verfahren zum Codieren, Decodierer und Verfahren zum Decodieren für einen skalierten Datenstrom
DE60024501T2 (de) Verbesserung der perzeptuellen Qualität von SBR (Spektralbandreplikation) UND HFR (Hochfrequenzen-Rekonstruktion) Kodierverfahren mittels adaptivem Addieren von Grundrauschen und Begrenzung der Rauschsubstitution
EP1979901B1 (de) Verfahren und anordnungen zur audiosignalkodierung
DE60103086T2 (de) Verbesserung von quellcodierungssystemen durch adaptive transposition
DE19742655C2 (de) Verfahren und Vorrichtung zum Codieren eines zeitdiskreten Stereosignals
DE10234130B3 (de) Vorrichtung und Verfahren zum Erzeugen einer komplexen Spektraldarstellung eines zeitdiskreten Signals
EP1145227A1 (de) Verfahren und vorrichtung zum verschleiern eines fehlers in einem codierten audiosignal und verfahren und vorrichtung zum decodieren eines codierten audiosignals
EP1869671A1 (de) Verfahren und vorrichtung zur geräuschunterdrückung
DE60310449T2 (de) Audiosignalkodierung
EP1280138A1 (de) Verfahren zur Analyse von Audiosignalen
DE602004009926T2 (de) Vorrichtung und verfahren zum einbetten eines wasserzeichens unter verwendung von subbandfilterung
DE60105576T2 (de) Verfahren und vorrichtung zur spektralen anreicherung
EP1239455A2 (de) Verfahren und Anordnung zur Durchführung einer an die Übertragungsfunktion menschilcher Sinnesorgane angepassten Fourier Transformation sowie darauf basierende Vorrichtungen zur Geräuschreduktion und Spracherkennung
EP0464534A2 (de) Transformationskodierer mit adaptiver Fensterfunktion
DE69823557T2 (de) Schnelle frequenztransformationstechnik für transform audio koder
DE3732047C2 (de)
EP1130577B1 (de) Verfahren zur Rekonstruktion tieffrequenter Sprachanteile aus mittelhohen Frequenzanteilen

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20061016

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: FRAUNHOFER-GESELLSCHAFT ZUR FOERDERUNG DER ANGEWAN

REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1097326

Country of ref document: HK

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REF Corresponds to:

Ref document number: 502005009035

Country of ref document: DE

Date of ref document: 20100401

Kind code of ref document: P

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20100217

LTIE Lt: invalidation of european patent or patent extension

Effective date: 20100217

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100217

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100528

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100617

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100617

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100217

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100217

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100217

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

BERE Be: lapsed

Owner name: FRAUNHOFER-GESELLSCHAFT ZUR FORDERUNG DER ANGEWAN

Effective date: 20100331

REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1097326

Country of ref document: HK

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100217

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100518

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100217

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100331

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100217

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100217

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100217

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100217

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100217

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100517

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100217

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20101118

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100217

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100331

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100331

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100217

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100322

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100322

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100818

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100217

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 12

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 13

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230320

Year of fee payment: 19

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230323

Year of fee payment: 19

Ref country code: DE

Payment date: 20230320

Year of fee payment: 19

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230512