WO2005109702A1 - Wasserzeicheneinbettung - Google Patents

Wasserzeicheneinbettung Download PDF

Info

Publication number
WO2005109702A1
WO2005109702A1 PCT/EP2005/002636 EP2005002636W WO2005109702A1 WO 2005109702 A1 WO2005109702 A1 WO 2005109702A1 EP 2005002636 W EP2005002636 W EP 2005002636W WO 2005109702 A1 WO2005109702 A1 WO 2005109702A1
Authority
WO
WIPO (PCT)
Prior art keywords
spectral
values
sequence
modulation
representation
Prior art date
Application number
PCT/EP2005/002636
Other languages
English (en)
French (fr)
Inventor
Juergen Herre
Ralph Kulessa
Sascha Disch
Karsten Linzmeier
Christian Neubauer
Frank Siebenhaar
Original Assignee
Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to MXPA06012550A priority Critical patent/MXPA06012550A/es
Priority to CN2005800196764A priority patent/CN1969487B/zh
Priority to PL05715993T priority patent/PL1741215T3/pl
Priority to JP2007509900A priority patent/JP5048478B2/ja
Priority to BRPI0509819-0A priority patent/BRPI0509819B1/pt
Priority to AU2005241609A priority patent/AU2005241609B2/en
Priority to EP05715993.1A priority patent/EP1741215B1/de
Priority to CA2564981A priority patent/CA2564981C/en
Application filed by Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. filed Critical Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority to ES05715993.1T priority patent/ES2449043T3/es
Publication of WO2005109702A1 publication Critical patent/WO2005109702A1/de
Priority to IL178929A priority patent/IL178929A/en
Priority to US11/554,492 priority patent/US7676336B2/en
Priority to NO20065424A priority patent/NO338923B1/no
Priority to HK07107275.4A priority patent/HK1103320A1/xx

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information
    • H04H20/30—Arrangements for simultaneous broadcast of plural pieces of information by a single channel
    • H04H20/31—Arrangements for simultaneous broadcast of plural pieces of information by a single channel using in-band signals, e.g. subsonic or cue signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring

Definitions

  • the present invention relates to a scheme for incorporating a watermark into an information signal, such as e.g. an audio signal.
  • the provider usually generates a header or block of data attached to the piece of music, in which copyright information and, for example, a customer number are incorporated, the customer number being unique indicates the currently available buyer. It is also known to insert copy permission information into this header which signals the various kinds of copy rights, such as copying the current piece is completely prohibited, copying the current piece is allowed only once, copying the current piece is completely free, etc.
  • the customer has a decoder or management software, which reads the header and in compliance with the For example, allowed actions only allow a single copy and refuse further copies, or the like.
  • a coding method for introducing a non-audible data signal into an audio signal is known.
  • the audio signal into which the inaudible data signal, here called watermark, is to be introduced is converted into the frequency domain in order to determine the masking threshold of the audio signal by means of a psychoacoustic model.
  • the data signal to be input to the audio signal is modulated with a pseudo noise signal to provide a frequency spread data signal.
  • the frequency spread data signal is then weighted with the psychoacoustic masking threshold such that the energy of the frequency spread data signal is always below the masking threshold.
  • the weighted data signal is superimposed on the audio signal, thereby generating an audio signal into which the data signal is inaudible.
  • the data signal can be used on the one hand to add information to the audio signal originator and ternatively, the data signal can be used for labeling "are used of audio signals, for any pirate copies to be identified, since each sound carrier is provided, for example in the form of a compact disc with a factory individu- rush identifier.
  • audio signals are often already present as compressed audio data streams, for example subjected to processing according to one of the MPEG audio methods
  • Another improved way of incorporating a watermark into audio signals relates to those schemes that perform embedding during compression of a still uncompressed audio signal.
  • Embedding schemes of this type have, inter alia, the advantage of lower computational complexity, since the contraction of watermark embedding and encoding requires certain operations, such as the calculation of the masking model and the transfer of the audio signal into the spectral range, to be performed only once.
  • watermarks for coded and uncoded audio signals are known in various variants. With the help of watermarks, additional data can be transmitted robustly and inaudibly within an audio signal.
  • watermark embedding methods which are found in the domain of embedding, such as the embedding. the time domain, the frequency domain, etc., and the type of embedding, e.g. the quantization, the extinction of individual values, etc., differ. Summary descriptions of existing methods can be found in M. van der Veen, F.
  • the object of the present invention is therefore to provide a completely new and thus also safer scheme for introducing a watermark into an information signal.
  • the information signal is first converted from a time representation into a spectral / modulation spectral representation.
  • the information signal is then manipulated in the spectral / modulation spectral representation depending on the watermark to be introduced to obtain a modified spectral / modulation spectral representation and then a watermarked information signal is formed based on the modified spectral / modulation spectral representation.
  • the watermarked information signal is converted from a time representation to a spectral / modulation spectral representation, whereupon the watermark is derived based on the spectral / modulation spectral representation.
  • the embedding of the watermark according to the invention in the spectral / modulation spectral domain or in the 2-dimensional modulation spectral / spectral plane entails substantially more variations of the embedding parameters, such as e.g. at which "places" in this level the embedding is located, as was previously the case, the selection of the corresponding places can also be time-varying if necessary.
  • the watermark By embedding the watermark in the spectral / modulation spectral domain, it may also be possible in the case of an audio signal as the information signal, without the elaborate computation of conventional psychoacoustic parameters, e.g. the Mit Selfschwelle to make an inaudible embedding of a watermark, so as to ensure with less effort nevertheless the inaudibility of the watermark.
  • the modification of the modulation values can be carried out, for example, by exploiting masking effects in the modulation spectral range.
  • FIG. 1 is a block diagram of an apparatus for embedding a watermark in an audio signal according to an embodiment of the present invention
  • FIG. 2 shows a schematic drawing for illustrating the device according to FIG. 1 on which an audio signal is converted into a frequency / modulation frequency domain;
  • FIG. 3 is a block diagram of an apparatus for extracting a watermark from a watermarked audio signal embedded by the apparatus of FIG. 1;
  • FIG. 4 is a block diagram of an apparatus for embedding a watermark in an audio signal according to another embodiment of the present invention.
  • FIG. 5 is a block diagram of an apparatus for extracting a watermarked watermarked signal embedded by the apparatus of FIG.
  • FIGS. 1-3 a scheme for embedding a watermark into an audio signal will now be described, in which first an incoming audio signal or an audio input signal, which is present in a time domain or a time representation, is converted into a time / frequency representation and from FIG there is converted into a frequency / modulation frequency representation.
  • the watermark is then introduced into the audio signal by modifying modulation values of the frequency / modulation frequency range representation depending on the watermark. In this way, the audio signal is then changed back into the time / frequency domain and from there back to the time domain.
  • Watermark embedding according to the scheme of FIGS. 1-3 is carried out by the device according to FIG.
  • the embedder 10 comprises an input 12 for receiving the audio input signal into which the watermark to be introduced is to be introduced.
  • the watermark such as a customer number, is obtained by the embedder 10 at an input 14.
  • the embedder 10 comprises an output 16 for outputting the watermarked or watermarked output signal.
  • the embedder 10 comprises a fenestration device 18 and a first filter bank 20, which are connected in series behind the input 12 and are responsible for converting the audio signal at the input 12 by block-wise processing from the time domain 22 into the time / frequency domain 24.
  • the output of the filter bank 20 is adjoined by a charge / phase detection device 26 in order to divide the time / frequency domain representation of the audio signal in magnitude and phase.
  • a second filter bank 28 is connected to the detection means 26 to obtain the magnitude portion of the time / frequency domain representation, and converts the magnitude component into the frequency / modulation frequency domain domain 30 to thereby produce a frequency / modulation frequency representation of the audio signal 12.
  • the blocks 18, 20, 26, 28 thus constitute an analysis part of the embedder 10, which achieves the transfer of the audio signal into the frequency / modulation frequency representation.
  • a watermark embedding device 32 is connected to the second filter bank 28 for receiving therefrom the frequency / modulation frequency representation of the audio signal 12. Another input of the watermark embedding device 32 is connected to the input 14 of the embedding 10. The watermark embedding device 32 generates a modified frequency / modulation frequency representation.
  • An output of the watermark embedding device 32 is connected to an input of a filter bank 34 which is inverse to the second filter bank 28 and which is responsible for the return to the time / frequency range 24.
  • a phase processing device 36 is connected to the detection device 26 in order to obtain the phase component of the time / frequency domain representation 24 of the audio signal and forward it in manipulated form, as will be described below, to a recombination device 38, which also has an output Inverse filter bank 34 is connected to receive the modified amount portion of the time / frequency representation of the audio signal.
  • the recombiner 38 combines the phase component modified by the phase processing 36 with the amount of the time / frequency domain representation of the audio signal modified by the watermark and outputs the result, namely the time / frequency representation of the watermarked audio signal, to a filter bank 40 inverse to the first filter bank 20. Between the output of the inverse filter bank 40 and the output 16, a fenestration device 42 is connected.
  • the part of the components 34, 38, 40, 42 can be considered as a synthesis part of the embedder 10 since it is responsible for generating the watermarked audio signal in the time representation from the modified frequency / modulation frequency representation.
  • the embedding begins with the transfer of the audio signal at the input 12 from the time representation to the time / frequency representation by the means 18 and 20, assuming that the audio input signal at the input 12 in a manner sampled at a predetermined sampling frequency, namely as a sequence of sample and audio values, respectively. If the audio signal is not yet present in such a scanned form, then a corresponding A / D converter can be used as a scanning device for this purpose.
  • the windowing device 18 receives the audio signal and extracts therefrom a sequence of blocks of audio values. For this purpose, the windowing device 18 combines a predetermined number of successive audio values of the audio signal at the input 12 into time blocks, and multiplies these time blocks, which in fact represent a time segment from the audio signal 12, by a windowing or weighting function, e.g. a sine window, a KBD window or the like. This process is referred to as fenestration and is performed, for example, in such a way that the individual time blocks relate to time segments of the audio signal which overlap one another, such as e.g. by half so that each audio value is assigned to two time blocks.
  • a windowing or weighting function e.g. a sine window, a KBD window or the like.
  • Fig. 2 illustrates with an arrow 50 the sequence of audio values in their time sequence of their arrival at the input 12. They represent the audio signal 12 in the time domain 22.
  • the index n in FIG. 2 is intended to denote an index of the audio values increasing in the direction of the arrow.
  • 52 indicates the window functions which the windowing device 18 applies to the time blocks.
  • the first two window functions for the first two time blocks are overwritten in Fig. 2 with the index 2m or 2m + l.
  • the time block 2m and the subsequent time block overlap 2m + 1 by half and 50%, respectively, and thus each have half of their audio values together.
  • the blocks generated by the device 18 and forwarded to the filter bank 20 correspond to one Weighting of the audio block belonging to a time block with the window function 52 or a multiplication between them.
  • the filter bank 20 obtains the time blocks or blocks of audio-windowed values, as indicated by arrows 54 in FIG. 2, and converts them block by block into a spectral representation by a time / frequency transformation 56.
  • the filter bank undertakes a predetermined decomposition of the spectral range into predetermined frequency bands or spectral components.
  • the spectral representation includes, for example frequency adjacent spectral values from the frequency zero to the maximum audio frequency on which the audio signal is based, for example, 44.1 kHz.
  • FIG. 2 shows an example of the case of a spectral decomposition in ten subbands.
  • the block-by-block transfer is indicated in FIG. 2 by a plurality of arrows 58.
  • Each arrow corresponds to the transfer of a time block into the frequency domain.
  • the time block 2m is transferred to a block 60 of spectral values 62, as indicated by a column of boxes in FIG.
  • the spectral values relate in each case to a different frequency component or a different frequency band, wherein in FIG. 2 the axis 64 is intended to indicate the direction along which the frequency k runs.
  • the filter bank 20 Since the filter bank 20 generates a block 60 of spectral values 62 per time block, several sequences of spectral values 62, namely one per spectral component k .,. Subband k. In Fig. 2, these temporal sequences in the row direction, as they pass through the Arrow 66 is shown.
  • the arrow 66 thus represents the time axis of the time / frequency representation, while the arrow 64 represents the frequency axis of this representation.
  • the "sampling frequency" or the repetition interval of the spectral values within the individual subbands corresponds to the frequency or the repetition interval of the time blocks from the audio signal
  • the time block repetition frequency again corresponds to twice the sampling frequency of the audio signal divided by the number of audio values per time block thus a time dimension insofar as it embodies the temporal sequence of the time blocks.
  • a matrix 68 of spectral values 62 which represents a time / frequency domain representation 24 of the audio signal over the time duration of these time blocks, thus arises over a certain number, here by way of example by a number of 8 times.
  • the time / frequency transformation 56 performed block by block at the time blocks by the filter bank 20 is, for example, a DFT, DCT, MDCT or the like.
  • the individual spectral values within a block 60 are divided into specific subbands. For each subband, each block 60 may have more than one spectral value 62.
  • a sequence of spectral values is thus produced which reproduce the time profile of the respective subband and extend in the line direction 84 in FIG.
  • the filter bank 20 forwards the blocks 60 of spectral values 62 to the magnitude / phase detection device 26 in blocks.
  • the latter processes the complex spectral values and merely passes the amounts to the filter bank 28.
  • the phases of the spectral values 62 pass them on to the phase processing device 36.
  • the filterbank 28 processes the subsequences 70 of amounts of spectral values 62 similar to the filter bank 20, namely by blockwise transforming these sequences block by block into the spectral representation and the modulation frequency representation, respectively, using preferably windowed and mutually overlapping blocks , wherein the underlying blocks of all subbands are preferably aligned with respect to each other in time.
  • the filter bank 28 processes N spectral blocks 60 of spectral value amounts simultaneously or together.
  • the N spectral blocks 60 of spectral value sums form a matrix 68 of spectral value sums.
  • the filter bank 28 processes the spectral value sums in matrices of N * M spectral value amounts.
  • the forwarding of the absolute value portion of such a matrix 68 of spectral value amounts 62 to the filter bank 28 is indicated in FIG. 2 by the arrows 72.
  • the filter bank 28 After receiving the absolute value N of successive spectral blocks or the matrix 68, the filter bank 28 transforms the blocks of spectral value sums of the respective subbands, that is to say the rows in the matrix 68, from the time domain 66 into a frequency representation, separated as before for each subband mentions the spectral value amounts may be fenced to avoid aliasing effects.
  • the filter bank 28 converts each of these spectral value amount blocks from the sequences 70 representing the time characteristic of a respective subband into a spectral representation and thus generates one block of modulation values per subband, which are indicated at 74 in FIG.
  • Each block 74 contains a plurality of modulation values, which are no longer illustrated in FIG.
  • Each of these modulation values within a block 74 is associated with a different modulation frequency, that in FIG. 2 along the axis 76 shall run, thus representing the modulation frequency axis of the frequency / modulation frequency representation.
  • this results in a matrix 80 of modulation values which represents a frequency / modulation frequency domain representation of the audio signal at the input 12 in the time segment allocated to the matrix 68.
  • the filter bank 28 or the device 26 may have an internal window device (not shown) containing the transformation blocks, ie the lines of the matrix 68, of spectral values per subband before their respective time / modulation frequency transformation 80 through the filter bank 28 into the modulation frequency range 30 to obtain the blocks 74, windowing with a window function 82.
  • a sequence of matrices 80 are overlapped that overlap in the above-mentioned exemplary 50% overlap windowing - by 50% in time.
  • the filter bank 28 forms the matrix 80 for successive N time blocks in such a way that the matrices 80 each relate to N time blocks which overlap by half, as is to be indicated in FIG. 2 by way of example by a dashed window function 84 which represents the Display windowing for the next matrix.
  • the modulation values of the frequency / modulation frequency domain representation 30 as output from the filter bank 28 reach the watermark embedding means 32.
  • the watermark embedding means 32 now modifies the modulation matrix 80 or one or more of the modulation values of the modulation matrices 80 of the audio signal 12 32 made Modification can be accomplished, for example, by a multiplicative weighting of individual modulation frequency / frequency segments of the modulation subband spectrum or frequency / modulation frequency domain representation, ie by weighting the modulation values within a particular range of the frequency / modulation frequency space subtended by the axes 76 and 78.
  • the modification could include setting individual segments or modulation values to specific values.
  • the multiplicative weighting or values would depend in a predetermined manner on the watermark obtained at the input 14.
  • the setting of individual modulation values or segments of modulation values to specific values could be signal adaptive, i. additionally depending on the audio signal 12 per se.
  • the individual segments of the 2-dimensional modulation subband spectrum can be obtained by subdividing the acoustic frequency axis 78 into frequency groups; on the other hand, further segmentation can be carried out by subdividing the modulation frequency axis 76 into modulation frequency groups.
  • a segmentation of the frequency axis in 5 and of the modulation frequency axis in 4 groups is indicated by way of example, resulting in 20 segments.
  • the dark segments indicate, by way of example, the locations at which the device 32 modifies the modulation matrix 80, wherein, as mentioned above, the locations used for the modification may vary over time.
  • the positions are preferably selected such that the changes to the audio signal in the frequency / modulation frequency representation are not or hardly audible due to masking effects.
  • the device 32 modifies the modulation matrix 80, it sends the modified modulation values of the modulation matrix 80 to the inverse filter bank 34.
  • This transforms by means of a transformation, the to that of the filterbank 28, ie, an IDFT, IFFT, IDCT, IMDCT, or the like, the modulation matrix 80 returns block 74-wise, ie, separated by subband, along the modulation frequency axis 76 to the time / frequency domain representation 24, thereby modifying To obtain absolute value spectral values.
  • inverse filter bank 34 transforms each block of modified modulation values 74 associated with a particular subband with a transform inverse to transform 86 into a sequence of magnitude fractional spectral values per subband, resulting in a matrix of N x M magnitude fraction spectral values in the previous embodiment results.
  • the absolute value spectral values from the inverse filter bank 34 thus always refer to two-dimensional blocks or matrices from the stream of sequences of spectral values, of course in the form modified form the watermark. According to the exemplary embodiment, these blocks overlap by 50%.
  • a device (not shown) provided, for example, in the device 34 now compensates the windowing in this exemplary 50% overlap case by adding the overlapping recombined spectral values of successive matrices of spectral values obtained by inverse transformation of modulating matrices.
  • streams or sequences of modified spectral values, namely one per subband arise from the individual matrices of modified spectral values. These sequences correspond only to the amount portion of the unmodified sequences 70 of spectral values as output by the device 20.
  • the recombination device 38 combines the absolute value spectral values merged into subband streams from the inverse filter bank 34 with the phase components of the spectral values 62 as detected by the detection device 26 immediately after the transformation 56 by the first filter.
  • Bank 20 have been secreted, but in a modified by the phase processing 36 form.
  • phase processing means 36 modifies the phase portions in a manner separate from watermark embedding by means 32 but which may be dependent on this embedding such that the detectability of the watermark is more detectable in the detector or decoder system discussed later with reference to FIG and / or the acoustic masking of the watermark signal in the watermarked output signal to be output later on the output 16 and thus the inaudibility of the watermark is improved.
  • the recombination can carry out the recombination device 38 matrix-wise per matrix 68 or continuously via the sequences of modified content-share spectral values per subband.
  • the optional dependence of the manipulation of the phase component of the time / frequency representation of the audio signal at the input 12 on the manipulation of the frequency / modulation frequency representation by the manipulation device 32 is illustrated in FIG. 1 by a dashed arrow 88.
  • the recombination is performed, for example, by adding the phase of a spectral value to the phase portion of the corresponding modified spectral value as output from the filter bank 34.
  • the device 38 thus generates sequences of spectral values per subband, such as the one obtained after the filter bank 20 directly from the unmodified audio signal, namely the sequences 70, but in changed form around the watermark, so that the device 38 output recombined spectral values modified in terms of the magnitude proportion represent a time / frequency representation of the watermarked audio signal.
  • the inverse filter bank 40 thus again receives sequences of modified spectral values, namely one per subband.
  • the inverse filter bank receives 40 per Cycle a block of modified spectral values, so a frequency representation of the watermarked audio signal with respect to a period of time of the same.
  • the filter bank 40 performs inverse transformation to the transform 56 of the filter bank 20 on each such block of spectral values, ie, spectral values arranged along the frequency axis 70, to obtain as a result modified windowed time blocks of windowed modified audio values.
  • the subsequent fenestration device 42 compensates for the fenestration introduced by the fenestration device 18 by adding corresponding audio values within the overlapping regions, thereby yielding at the output 16 the watermarked output signal in the time domain representation 22.
  • the watermark decoder of Figure 3, indicated generally at 100, includes an audio signal input 112 for receiving the watermarked audio signal and an output 114 for outputting the watermark extracted from the watermarked audio signal.
  • Connected in series to input 112 are, in order, as listed below, a window device 118, a filter bank 120, a charge / phase detection device 126, and a second filter bank 128 functioning as and Operation of the blocks 18, 20, 26 and 28 correspond from the embedder 10.
  • This means that the watermarked audio signal at the input 112 is transferred by the window device 118 and the filter bank 120 from the time domain 122 into the time frequency domain 124, from where the detection means 126 and the second filter bank 128 transfer the audio signal at the input 112 takes place in the frequency / modulation frequency range 130.
  • the watermarked audio signal is thus subjected to the same processing by means 118, 120, 126 and 128 as described with respect to the original audio signal referring to FIG.
  • the resulting modulation matrices do not fully correspond to those output in the embedder 10 from the water embedder 32 because the phase recombinations of the recombiner 38 change some of the modulation components relative to the modified modulation matrices output from the device 32 and thus reflected in somewhat altered form in the watermarked output signal.
  • the windowing cancellation or OLA changes the modulation components until the new modulation spectral analysis in the decoder 100.
  • a watermark decoding means 132 which is connected to the filter bank 128, to obtain 'adhered to the frequency / modulation domain representation of the wasser Hilbe- input signal or the Modulationsmatrizen is provided to the originally introduced by the embedder 10 watermark from this representation lung to extract and output at output 114.
  • the extraction is performed at predetermined locations of the modulation matrices corresponding to those used by the embedder 10.
  • the conformity of the selection of jobs is ensured, for example, by appropriate standardization.
  • the embodiment described above may be used to embed a watermark in an audio signal to prove authorship of an audio signal.
  • the original audio signal arriving at input 12 is, for example, a piece of music.
  • the embedder 10 in the audio signal, whereby the watermarked audio signal is produced at the output 16.
  • a third party claims to be the author of the corresponding piece of music or music title can the proof of the actual authorship be guided by means of the watermark, which can be extracted from the watermarked audio signal by means of the detector 100 again and otherwise inaudible during normal play.
  • watermark embedding Another potential use of watermark embedding shown above is to use watermarks for logging the broadcast program of TV and radio stations. Broadcasting programs are usually divided into different sections, e.g. individual music titles, radio plays, commercials or the like. The originator of an audio signal or at least the one who is allowed and wants to earn a certain music title or commercial can now watermark his audio signal with the embedder 10 and send the watermarked audio signal to the broadcasting operator. Music titles or commercials can be charged in this way with a unique watermark.
  • a computer For logging the broadcast program can now be e.g. a computer is used, which examines the broadcast signal for a watermark and logs found watermarks. The list of detected watermarks can easily generate a transmission list for the corresponding radio station, which facilitates the billing or fee payment.
  • Another application is to use watermarks to detect illegal copies.
  • the use of watermarks is worthwhile.
  • a buyer buys a song, a unique customer number is embedded in the data with the help of a watermark during the transmission of the music data to the buyer.
  • the result is music titles in which the watermark is embedded inaudibly.
  • this piece may be serush by means of a decoder according to Fig. 3 investigated and identified on the basis of the watermark of the original buyer.
  • the latter application could also play an important role in the current DRM (Digital Rights Management) solutions.
  • the watermark in the watermarked audio signals could serve here as a kind of "second line of defense", which still allows conclusions to the original buyer, if the cryptographic protection of a watermarked audio signal has already been bypassed.
  • the embedder of FIG. 4, indicated generally at 210 includes, as does the embedder of FIG. 1, an audio signal input 12, a watermark input 14, and an output 16 for outputting the watermarked audio signal.
  • the fenestration device 18 and the first filter bank 20 close to the 2), whereby the sequence of blocks of spectral values thereby produced at the output of the filter bank 20 represents the time / frequency domain representation 24 of the audio signal.
  • the complex spectral values 62 are not divided into magnitude and phase, but the complex spectral values are completely processed further in order to convert the audio signal into the frequency / modulation frequency range.
  • each sequence 70 of successive spectral values of a subband are therefore converted into a spectral representation in blocks, taking account of magnitude and phase.
  • each subband spectral value sequence 70 is still subjected to demodulation. Namely, each sequence 70, that is to say the sequence of spectral values which result in successive time blocks for conversion into the spectral range for a specific subband, is multiplied by a mixer 212 with the complex conjugate of a modulation carrier component which is determined by a carrier frequency determining means 214 is determined from the spectral values and in particular the phase portion of these spectral values of the time / frequency domain representation of the audio signal.
  • the means 212 and 214 serve to compensate for the fact that the repetition distance of the time blocks is not necessarily matched to the period of the carrier frequency component of the audio signal, ie the audible frequency which represents on average the carrier frequency of the audio signal.
  • consecutive time blocks are shifted by a different phase offset from the carrier frequency of the audio signal.
  • each block 60 of spectral values as output from the filter bank 20 having a linear phase rise due to the time block individual phase offset, ie its slope and intercept, depending on the phase offset of the respective time block to the carrier frequency in the phase component depends on the phase offset. Since the phase At first, if the rate of successive phase blocks increases, the slope of the phase offset due to the phase offset increases for each block 60 of spectral values 62 until the phase offset returns to zero, and so forth.
  • the carrier frequency determiner 214 therefore fits and closes a plane into the unwrapped or phase-phased phases of the spectral values 62 of the matrix 68 by suitable methods, such as a least-squares algorithm this is due to the phase rise due to the phase offset of the time blocks which occurs in the sequences 70 of spectral values for the individual subbands within the matrix 68. Overall, this results in a derived phase increase per subband, which corresponds to the desired modulation carrier component.
  • the carrier frequency determiner 214 may also perform one-dimensional fits of a line into the phase traces of the individual sequences 70 of spectral values 62 within the matrices 68 to obtain the individual phase slope due to the phase offset of the time blocks.
  • the phase portion of the spectral values of matrix 68 is "flattened", and only varies on average by zero in phase due to the shape of the audio signal itself.
  • the thus modified spectral values 62 are forwarded to the mixer 212 by the mixer 212, which transfers the same matrix-wise (matrix 68 in FIG. 2) into the frequency / modulation frequency range. Similar to the embodiment of Figs. 1-3, a matrix of modulation values is thus obtained in which, however, this time both phase and magnitude of the time / frequency domain representation 24 have been taken into account. As in the example of FIG. 1, 50% overlap fenestration or the like may be provided.
  • the successive modulation matrices thus generated are forwarded to a watermark embedding device 216, which receives the watermark 14 at another input.
  • the watermark embedder 216 functions in a manner similar to the embedder 32 of the embedder 10 of FIG. 1.
  • the embedding locations within the frequency / modulation frequency domain representation 30 are optionally selected using rules that take into account other masking effects than those of the embedding device 32 the case is.
  • the locations of the embedding should be selected, as in the case of the device 32, such that the modulation values modified there are inaudible to the watermarked audio signal as it will later be output at the output of Bette 210.
  • modified modulation values or the changed or modified modulation matrices are forwarded to the inverse filter bank 34, resulting in the modified modulation matrices of modified spectral values.
  • modified spectral values the phase correction which has been brought about by the demodulation by means of the mixer 212 must be reversed.
  • the blocks of modified spectral values output by the inverse filter bank 34 per subband are mixed by means of a mixer 218 with a demodulation carrier component complexed to that prior to demodulation by the mixer 212 for transfer to the frequency / modulation frequency domain this subband has been used, that is to say a multiplication of these blocks by e j (w * m + ⁇ ) , where again w indicates the particular carrier for the respective subband, m is the index for the modified spectral values and ⁇ is a phase offset of the certain carrier to the considered time excerpt of the N time blocks for the respective sub-band.
  • the respective modulator for the respective subband which indeed refers to the content of a particular subband block or has been applied after the block division by the modulation 212, 214, is inverted again before the subsequent block merge.
  • the spectral values thus obtained are still in the form of blocks, namely in each case one block of modified spectral value blocks per subband, and are optionally also subjected to an OLA or combination for reversing the windowing, for example in the manner described with reference to FIG ,
  • the non-windowed spectral values obtained in this way are then available as streams of modified spectral values per subband and represent the time / frequency domain representation of the watermark.
  • the inverse filter bank 40 and the windowing 42 follow, which take over the transfer of the time / frequency domain representation of the watermarked audio signal in the time domain 22, resulting in the output 16, a sequence of audio values representing the watermarked audio signal.
  • An advantage of the procedure of Fig. 4 with respect to the procedure of Fig. 1 is that by using phase and magnitude together for transfer to the frequency / modulation frequency domain, there is no reintroduction of modulation components in the recombination of phase and modified magnitude contribution is caused.
  • a watermark decoder capable of processing the watermarked audio signal as output from the embedder 210 to extract the watermark therefrom is shown in FIG.
  • the decoder indicated generally at 310, includes an input 312 for receiving the watermarked audio signal and an output 314 for outputting the extracted watermark.
  • To the input 312 of the decoder 310 are connected in series and in the order mentioned below, a fenestration device 318, a filter bank 320, a mixer 412 and a filter bank 328, wherein another input of the mixer 412 is connected to a Output of a Supplementfrequenzbestim- mung device 414 is connected, having an input connected to the output of the filter bank 320.
  • the components 318, 320, 412, 328 and 414 serve the same purpose and operate in the same manner as the components 18, 20, 212, 28 and 214 of the embedder 210.
  • the watermarked input signal in the decoder 310 is output from the Time domain 322 is transferred via the time frequency range 324 in the frequency / modulation frequency range 330, where a watermark decoding device 332 receives and processes the frequency / modulation frequency domain representation of the watermarked audio signal to extract the watermark and output at the input 314 of the decoder 310.
  • the modulation matrices supplied to the decoder 332 in the decoder 310 differ less than those supplied to the decoder 132 from those supplied to the embedding means 216 in the embodiment of Figs. 1-3, since the recombination between phase portion and modified amount portion in Einbettersystem of Fig. 4 is omitted.
  • the previous embodiments thus related to a heretofore unprecedented connection of subband modulation spectral analysis and digital watermarking to an overall system for watermarking with a potting system on one side and a detector system on the other side.
  • the embedding system is used to introduce the watermark. It consists of a subband modulation spectral analysis, a . Embedder stage, which modifies the signal representation obtained by the analysis, and synthesizes the signal of the modified representation.
  • the detector system conversely serves to detect an existing watermark in a watermarked audio signal. It consists of a subband modulation spectral analysis and a detection stage that identifies and evaluates the watermark using the signal representation obtained through the analysis.
  • the preceding exemplary embodiments represent only exemplary possibilities for being able to provide audio recordings with inaudible and anti-manipulation-compliant additional information, and in doing so provide the watermark insertion in the so-called subband modulation spectral range. increase as well as perform the detection in the subband demodulation spectral range.
  • various variations can be made to these embodiments.
  • the fenestration devices mentioned above could only serve for blocking, ie the multiplication or weighting with the window functions could also be omitted.
  • one could also use other window functions than the above-mentioned amounts of trigonometric functions.
  • the 50% block overlap could be omitted or executed differently.
  • the block overlap on the side of the synthesis could also involve operations other than a mere addition of related audio values in successive time blocks.
  • the windowings in the second transformation stage could also be varied in a corresponding manner.
  • the audio signal input does not necessarily have to be attributed to the time domain in the frequency / modulation frequency domain representation and from there again - after the modification - to the time domain representation. It would also be possible to modify the two previous embodiments such that the values output by the recombiner 38 and the mixer 218, respectively, are merged into a watermarked audio signal in a bit stream to arrive at a time / Frequency range to be present.
  • the demodulation used in the second embodiment could also be performed differently, e.g. by changing the phase curves of the spectral value blocks within the matrices 68 by other means than by pure multiplication with a solid complex carrier.
  • the present watermark embedding scheme is also applicable to other information signals, such as e.g. to control signals, measurement signals, video signals or the like, for example, to check their authenticity.
  • the scheme proposed herein makes it possible to embedding information so as not to interfere with the usual use of the information signal in the watermarked form, e.g. the analysis of the measurement results or the visual impression of the video or the like, which is why even in these cases, the additional data to be embedded are referred to as watermarks.
  • the inventive scheme can also be implemented in software.
  • the implementation can take place on a digital storage medium, in particular a floppy disk or a CD with electronically readable control signals, which can interact with a programmable computer system in such a way that the corresponding method is carried out.
  • the invention thus also consists in a computer program product with program code stored on a machine-readable carrier for carrying out the method according to the invention when the computer program product runs on a computer.
  • the invention can thus be implemented as a computer program with a program code for carrying out the method. when the computer program runs on a computer.

Abstract

Nach einem erfindungsgemäßen Schema zum Einbringen eines Wasserzeichens in ein Informationssignal, wird zunächst das Informationssignal (12) von einer Zeitdarstellung (22) in eine Spektral/Modulationsspektraldarstellung (30) überführt. Das Informationssignal wird dann in der Spektral/Modulationsspektraldarstellung (30) abhängig von dem einzubringenden Wasserzeichen (14) manipuliert, um eine modifizierte Spektral/Modulationsspektraldarstellung zu erhalten, und anschließend wird ein wasserzeichenbehaftetes Informationssignal (16) basierend auf der modifizierten Spektral/Modulationsspektraldarstellung gebildet. Ein Vorteil besteht darin, dass dadurch, dass das Wasserzeichen (14) in der Spektral/Modulationsspektraldarstellung bzw. -Domäne eingebettet bzw. hergeleitet wird, traditionelle Korrelationsangriffe, wie sie bei den spreizbandmodulationsbasierten Wasserzeichenverfahren eingesetzt werden, nicht ohne weiteres zum Ziel führen.

Description

Wasserzeic eneinbettung
Beschreibung
Die vorliegende Erfindung bezieht sich auf ein Schema zur Einbringung eines Wasserzeichens in ein Informationssignal, wie z.B. ein Audiosignal.
Mit zunehmender Verbreitung des Internets hat auch die Musikpiraterie drastisch zugenommen. An vielen Stellen im Internet werden Musikstücke bzw. allgemeine Audiosignale angeboten, um dort heruntergeladen werden zu können. In den allerwenigsten Fällen werden hierbei Urheberrechte beach- tet . Insbesondere wird sehr selten die Erlaubnis des Urhebers eingeholt, sein Werk zur Verfügung zu stellen. Noch seltener werden Gebühren an den Urheber bezahlt, die der Preis für ein rechtmäßiges Kopieren sind. Darüber hinaus findet ein unkontrolliertes Kopieren von Werken statt, was in den allermeisten Fällen ebenfalls ohne Berücksichtigung von Urheberrechten geschieht.
Wenn Musikstücke über das Internet von einem Provider bzw. Anbieter für Musikstücke rechtmäßig erworben werden, er- zeugt der Provider üblicherweise einen Header bzw. einen dem Musikstück beigefügten Datenblock, in dem Copyright- Informationen sowie beispielsweise eine Kundennummer eingebracht sind, wobei die Kundennummer eindeutig auf den aktuell vorliegenden Käufer hinweist. Es ist ferner bekannt, Kopiererlaubnisinformationen in diesen Header einzufügen, welche die verschiedensten Arten von Kopierrechten signalisieren, wie z.B. dass das Kopieren des aktuellen Stücks vollständig untersagt ist, dass das Kopieren des aktuellen Stücks nur ein einziges Mal erlaubt ist, dass das Kopieren des aktuellen Stücks völlig frei ist, usw. Der Kunde verfügt über einen Decodierer oder eine Verwaltungssoftware, der bzw. die den Header einliest und unter Beachtung der erlaubten Handlungen beispielsweise nur eine einzige Kopie zulässt und weitere Kopien verweigert, oder dergleichen.
Dieses Konzept zur Beachtung der Urheberrechte funktioniert jedoch nur für Kunden, die sich legal verhalten. Illegale Kunden haben üblicherweise ein wesentliches Potential an Kreativität, die mit einem Header versehenen Musikstücke zu „knacken". Hier zeigt sich bereits der Nachteil der beschriebenen Vorgehensweise zum Schutz von Urheberrechten. Ein solcher Header kann einfach entfernt werden. Alternativ könnte ein illegaler Benutzer auch einzelne Einträge in dem Header modifizieren, um beispielsweise den Eintrag „Kopieren untersagt" in einen Eintrag „Kopieren völlig frei" umzuwandeln. Denkbar ist auch der Fall, dass ein illegaler Kunde seine eigene Kundennummer aus dem Header entfernt und dann das Musikstück auf seiner oder einer anderen Homepage im Internet anbietet. Ab diesem Moment ist es nicht mehr möglich, den illegalen Kunden zu ermitteln, da er seine Kundennummer entfernt hat.
Aus der WO 97/33391 ist ein Codierverfahren zur Einbringung eines nicht hörbaren Datensignals in ein Audiosignal bekannt. Dabei wird das Audiosignal, in das das nicht hörbare Datensignal, hier Wasserzeichen genannt, eingebracht werden soll, in den Frequenzbereich umgewandelt, um mittels eines psychoakustischen Modells die Maskierungsschwelle des Audiosignals zu bestimmen. Das Datensignal, das in das Audiosignal eingebracht werden soll, wird mit einem Pseudo- rauschsignal moduliert, um ein frequenzmäßig gespreiztes Datensignal zu schaffen. Das frequenzmäßig gespreizte Datensignal wird dann mit der psychoakustischen Maskierungsschwelle gewichtet, derart, dass die Energie des frequenzmäßig gespreizten Datensignals immer unterhalb der Maskierungsschwelle liegt. Schließlich wird das gewichtete Daten- signal dem Audiosignal überlagert, wodurch ein Audiosignal erzeugt wird, in das das Datensignal unhörbar eingebracht ist. Das Datensignal kann zum einen dazu verwendet werden, dem Audiosignal Urheber Informationen hinzuzufügen und al- ternativ kann das Datensignal zur Kennzeichnung ' von Audiosignalen verwendet werden, um eventuelle Raubkopien ohne weiteres zu identifizieren, da jeder Tonträger beispielsweise in Form einer CompactDisk ab Werk mit einer individu- eilen Kennung versehen wird.
Die Einbettung eines Wasserzeichens in ein unkomprimiertes Audiosignal, bei dem also das Audiosignal noch im Zeitbereich bzw. in der Zeitbereichsdarstellung vorliegt, sind auch noch in C. Neubauer, J. Herre: „Digital Watermarking and its Influence on Audio Quality", 105th AES Convention, San Francisco 1998, Preprint 4823 und in der DE 196 40 814 beschrieben. Audiosignale liegen jedoch häufig auch bereits als komprimierte Audiodatenströme vor, die beispielsweise einer Verarbeitung nach einem der MPEG-Audioverfahren unterzogen worden sind. Würde man nun eines der vorhergehenden Wasserzeicheneinbettungsverfahren verwenden wollen, um Musikstü- cke vor der Auslieferung an einen Kunden mit einem Wasserzeichen zu versehen, so müssten dieselben vor der Wasserzeicheneinbringung vollständig dekomprimiert werden, um wieder eine Folge von Zeitbereichs-Audiowerten zu erhalten. Dies bedeutete jedoch neben einem hohen Rechenaufwand auf- grund der zusätzlichen Decodierung vor der Wasserzeicheneinbettung auch, dass bei erneuter Codierung die Gefahr des Auftretens von Tandem-Codiereffekten besteht, wenn diese wasserzeichenbehafteten Audiosignale erneut codiert werden. Es sind deshalb auch Schemata zur Einbettung eines Wasserzeichens in bereits komprimierte Audiosignale bzw. komprimierte Audiobitströme entwickelt worden, die unter anderem den Vorteil besitzen, dass sie eine niedrigere Rechenkomplexität erfordern, da keine volle Decodierung des mit ei- nem Wasserzeichen zu versehenden Audiobitstroms erfolgen uss, d.h. also insbesondere die Anwendung von Analyse- und - Synthese-Filterbanken auf das Audiosignal entfallen. Weitere Vorteile dieser bereits auf komprimierte Audiosignale anwendbaren Verfahren sind die hohe Audioqualität, da das Quantisierungsgeräusch und das Wasserzeichengeräusch genau aufeinander abgestimmt werden können, ihre hohe Robustheit, da das Wasserzeichen nicht durch einen nachfolgenden Audio- codierer „geschwächt" wird, und die Ermöglichung einer geeigneten Wahl der Spreizbandparameter, so dass eine Kompatibilität zu PCM-Wasserzeichen-Verfahren (PCM = Pulse Code Modulation = Pulscodemodulation) bzw. den an unkomprimierten Audiosignalen arbeitenden Einbettungsschemata erzielt werden kann. Ein Überblick über Schemata zur Einbettung von Wasserzeichen in bereits komprimierte Audiosignale findet sich in C. Neubauer, J. Herre: „Audio Watermarking of MPEG- 2 AAC Bit Streams", 108th AES Convention, Paris 2000, Preprint 5101 und ferner in der DE 10129239 Cl.
Eine weitere verbesserte Weise der Einbringung eines Wasserzeichens in Audiosignale betreffen diejenigen Schemata, die die Einbettung während der Komprimierung eines noch unkomprimierten Audiosignals vornehmen. Einbettungsschemata dieser Art weisen unter anderem den Vorteil einer niedrigeren Rechenkomplexität auf, da durch die Zusammenziehung von Wasserzeicheneinbettung und Codierung bestimmte Operationen, wie z.B. die Berechnung des Maskierungsmodells und die Überführung des Audiosignals in den Spektralbereich, nur einmal durchgeführt werden müssen. Weitere Vorteile umfassen eine höhere Audioqualität, da das Quantisierungsgeräusch und das Wasserzeichengeräusch genau aufeinander abgestimmt werden können, eine hohe Robustheit, da das Wasserzeichen nicht durch einen nachfolgenden Audiocodierer „geschwächt" wird, und die Möglichkeit einer geeigneten Wahl der Spreizbandparameter, um eine Kompatibilität zu dem PCM-Wasserzeichenverfahren zu erzielen. Ein Überblick über die komprimierte Wasserzeicheneinbettung/Codierung findet sich beispielsweise in Siebenhaar, Frank; Neubauer, Christian; Herre, Jürgen: „Combined Compression/Watermarking for Audio Signals", In llOth AES Convention, Amsterdam, preprint 5344; C. Neubauer, R. Ku- lessa and J. Herre: „A Compatible Family of Bitstream Wa- termarking Systems for MPEG-Audio", llOth AES Convention, Amsterdam, May 2000, Preprint 5346, und der DE 199 47 877.
Zusammenfassend ausgedrückt sind Wasserzeichen für codierte und uncodierte Audiosignale in verschiedenen Varianten bekannt. Mit Hilfe von Wasserzeichen können Zusatzdaten robust und unhörbar innerhalb eines Audiosignals übertragen werden. Es existieren heutzutage wie oben gezeigt verschiedene Wasserzeicheneinbettungsverfahren, die sich in der Do- mäne der Einbettung, wie z.B. dem Zeitbereich, dem Frequenzbereich usw., und der Art der Einbettung, wie z.B. der Quantisierung, der Auslöschung einzelner Werte, usw., unterscheiden. Zusammenfassende Beschreibungen existierender Verfahren finden sich in M. van der Veen, F. Brukers et al.: „Robust, Multi-Functional and High-Quality Audio Watermarking Technology", llOth AES Convention, Amsterdam May 2002, Preprint 5345; Jaap Haitsma, Michiel van der Veen, Ton Kalker and Föns Bruekers: „Audio Watermarking for Monitoring and Copy Protection", ACM Workshop 2000, Los Ange- les, und der bereits zitierten DE 196 40 814.
Obwohl die im Vorhergehenden kurz skizzierten Arten von Schemata zur Einbettung eines Wasserzeichens in Audiosignalen bereits recht ausgefeilt sind, besteht ein Nachteil darin, dass sich existierende Wasserzeichenverfahren fast ausschließlich auf die Aufgabe konzentriert haben, ein Wasserzeichen unhörbar mit einer hohen Einbringungsrate und einer hohen Robustheit, d.h. mit der Eigenschaft, dass das Wasserzeichen auch nach Signalveränderungen verwertbar ist, in das ursprüngliche Audiosignal einzubetten. Dabei wurde für die meisten Anwendungsgebiete das Hauptaugenmerk auf die Robustheit gelegt. Das am weitesten verbreitete Verfahren zur Beaufschlagung von Audiosignalen mit einem Wasserzeichen, nämlich die Spreizbandmodulation, wie sie bei- spielsweise in der im Vorhergehenden genannten WO 97/33391 beschrieben ist, gilt als sehr robust und sicher. Aufgrund der Popularität und der Tatsache, dass die Prinzipien der spreizbandmodulationsbasierten Wasserzeichenverfahren allgemein bekannt sind, besteht die Gefahr, dass Verfahren bekannt werden, mit denen umgekehrt eine Zerstörung des Wasserzeichens aus den mit diesem Verfahren wasserzeichenbehafteten Audiosignalen erzielt werden kann. Aus diesem Grund ist es sehr wichtig, neue hochwertige Verfahren zu entwickeln, die als Alternative zur Spreizbandmodulation dienen können.
Die Aufgabe der vorliegenden 'Erfindung besteht folglich darin, ein völlig neuartiges und damit auch sichereres Schema zur Einbringung eines Wasserzeichens in ein Informationssignal zu schaffen.
Diese Aufgabe wird durch Vorrichtungen gemäß Anspruch 1 o- der 22 und Verfahren gemäß Anspruch 23 oder 24 gelöst.
Nach einem erfindungsgemäßen Schema zum Einbringen eines Wasserzeichens in ein Informationssignal wird zunächst das Informationssignal von einer Zeitdarstellung in eine Spektral/Modulationsspektraldarstellung überführt. Das Informationssignal wird dann in der Spektral/Modulationsspektraldarstellung abhängig von dem einzubringenden Wasserzeichen manipuliert, um eine modifizierte Spektral/Modulationsspektraldarstellung zu erhalten, und anschließend wird ein wasserzeichenbehaftetes Informationssignal basierend auf der modifizierten Spektral/Modulationsspektraldarstellung gebildet .
Nach einem erfindungsgemäßen Schema zum Extrahieren eines Wasserzeichens aus einem wasserzeichenbehafteten Informationssignal, wird dementsprechend das wasserzeichenbehaftete Informationssignal von einer Zeitdarstellung in eine Spekt- ral/Modulationsspektraldarstellung überführt, woraufhin das Wasserzeichen basierend auf der Spektral/Modulationsspektraldarstellung hergeleitet wird. Ein Vorteil der vorliegenden Erfindung besteht darin, dass dadurch, dass gemäß der vorliegenden Erfindung das Wasserzeichen in der Spektral/Modulationsspektraldarstellung bzw. -Domäne eingebettet bzw. hergeleitet wird, traditionelle Korrelationsangriffe, wie sie bei den spreizbandmodulationsbasierten Wasserzeichenverfahren eingesetzt werden, nicht ohne weiteres zum Ziel führen. Hier macht sich insbesondere positiv bemerkbar, dass die Analyse eines Signals in der Spektral/Modulationsspektral-Domäne für potentielle Angreifer noch Neuland ist.
Weiterhin birgt die erfindungsgemäße Einbettung des Wasserzeichens in der Spektral/Modulationsspektral-Do äne bzw. in der 2-dimensionalen Modulationsspektral/Spektral-Ebene we- sentlich mehr Variationen der Einbettungsparameter, wie z.B. an welchen „Stellen" in dieser Ebene die Einbettung lokalisiert ist, als dies bisher der Fall war. Die Auswahl der entsprechenden Stellen kann dabei gegebenenfalls auch zeitvariant erfolgen.
Durch Einbettung des Wasserzeichens in der Spekt- ral/Modulationsspektral-Domäne ist es in dem Fall eines Audiosignals als dem Informationssignal unter Umständen ferner möglich, ohne die aufwendige Berechnung herkömmlicher psychoakustischer Parameter, wie z.B. der Mithörschwelle, eine unhörbare Einbettung eines Wasserzeichens vorzunehmen, um somit mit geringerem Aufwand trotzdem die Unhörbarkeit des Wasserzeichens sicherzustellen. Die Modifikation der Modulationswerte kann hierbei beispielsweise unter Ausnut- zung von Verdeckungseffekten im Modulationsspektralbereich durchgeführt werden.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung sind nachfolgend bezugnehmend auf die beiliegenden Zeich- nungen näher erläutert. Es zeigen: Fig. 1 ein Blockdiagramm einer Vorrichtung zum Einbetten eines Wasserzeichens in ein Audiosignal gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 2 eine schematische Zeichnung zur Veranschaulichung der Vorrichtung nach Fig. 1 zugrunde liegenden Überführung eines Audiosignals in eine Frequenz/Modulationsfrequenz-Domäne;
Fig. 3 ein Blockdiagramm einer Vorrichtung zum Extrahieren eines durch die Vorrichtung nach Fig. 1 eingebetteten Wasserzeichens aus einem wasserzeichenbehafteten Audiosignal;
Fig. 4 ein Blockschaltbild einer Vorrichtung zum Einbetten eines Wasserzeichens in ein Audiosignal gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung; und
Fig. 5 ein Blockdiagramm einer Vorrichtung zum Extrahieren eines durch die Vorrichtung nach Fig. 4 eingebetteten Wasserzeichens aus einem wasserzeichenbehafteten Audiosignal.
Bezugnehmend auf die Figuren 1-3 wird im Folgenden ein Schema zur Einbettung eines Wasserzeichens in ein Audiosignal beschrieben, bei dem zunächst ein eingehendes Audiosignal bzw. ein Audioeingangssignal, das in einem Zeitbereich bzw. einer Zeitdarstellung vorliegt, blockweise in eine Zeit/Frequenzdarstellung und von dort aus in eine Frequenz/Modulationsfrequenzdarstellung überführt wird. In dieser Darstellung wird dann das Wasserzeichen in das Audiosignal eingebracht, indem abhängig vom Wasserzeichen Modulationswerte der Frequenz/Modulationsfrequenzbereichs- darstellung modifiziert werden. Derart modifiziert wird das Audiosignal dann wieder zurück in den Zeit/Frequenzbereich und von dort aus wieder in den Zeitbereich rücküberführt. Die Wasserzeicheneinbettung nach dem Schema von Fig. 1-3 wird durch die Vorrichtung nach Fig. 1 durchgeführt, die im Folgenden auch als Wasserzeichen-Einbetter bezeichnet wird und mit dem Bezugszeichen 10 angezeigt ist. Der Einbetter 10 umfasst einen Eingang 12 zum Empfangen des Audioeingangssignals, in welches das einzubringende Wasserzeichen eingebracht werden soll. Das Wasserzeichen, wie z.B. eine Kundennummer, erhält der Einbetter 10 an einem Eingang 14. Neben den Eingängen 12 und 14 umfasst der Einbetter 10 ei- nen Ausgang 16 zum Ausgeben des mit dem Wasserzeichen versehenen bzw. des wasserzeichenbehafteten Ausgangssignals.
Intern umfasst der Einbetter 10 eine Fensterungseinrichtung 18 und eine erste Filterbank 20, die in Reihe hinter den Eingang 12 geschaltet sind und dafür zuständig sind, das Audiosignal am Eingang 12 durch blockweise Verarbeitung von dem Zeitbereich 22 in den Zeit/Frequenzbereich 24 zu überführen. An den Ausgang der Filterbank 20 schließt eine Be- trag/Phase-Detektionseinrichtung 26 an, um eine Aufteilung der Zeit/Frequenzbereichsdarstellung des Audiosignals in Betrag und Phase vorzunehmen. Eine zweite Filterbank 28 ist mit der Detektionseinrichtung 26 verbunden, um den Betragsanteil der Zeit/Frequenzbereichsdarstellung zu erhalten, und überführt den Betragsanteil in die Frequenz/Modu- lationsfrequenzbereichsdomäne 30, um auf diese Weise eine Frequenz/Modulationsfrequenzdarstellung des Audiosignals 12 zu erzeugen. Die Blöcke 18, 20, 26, 28 stellen somit einen Analyseteil des Einbetters 10 dar, der die Überführung des Audiosignals in die Frequenz/Modulationsfrequenzdarstellung erzielt.
Eine Wasserzeicheneinbettungseinrichtung 32 ist mit der zweiten Filterbank 28 verbunden, um von derselben die Frequenz/Modulationsfrequenzdarstellung des Audiosignals 12 zu erhalten. Ein weiterer Eingang der Wasserzeicheneinbettungseinrichtung 32 ist mit dem Eingang 14 des Einbetters 10 verbunden. Die Wasserzeicheneinbettungseinrichtung 32 erzeugt eine modifizierte Frequenz/Modulationsfrequenzdarstellung.
Ein Ausgang der Wasserzeicheneinbettungseinrichtung 32 ist mit einem Eingang einer zu der zweiten Filterbank 28 inver- sen Filterbank 34 verbunden, die für die Rücküberführung in den Zeit/Frequenzbereich 24 zuständig ist. Eine Phasenverarbeitungseinrichtung 36 ist mit der Detektionseinrichtung 26 verbunden, um den Phasenanteil der Zeit/Fre- quenzbereichsdarstelLung 24 des Audiosignals zu erhalten und in manipulierter Form, wie es im Folgenden noch beschrieben wird, an eine Rekombinationseinrichtung 38 weiterzuleiten, die darüber hinaus mit einem Ausgang der in- versen Filterbank 34 verbunden ist, um den modifizierten Betragsanteil der Zeit/Frequenzdarstellung des Audiosignals zu erhalten. Die Rekombinationseinrichtung 38 vereint den durch die Phasenverarbeitung 36 modifizierten Phasenanteil mit dem um das Wasserzeichen modifizierten Betragsanteil der Zeit/Frequenzbereichsdarstellung des Audiosignals und gibt das Ergebnis, nämlich die Zeit/Frequenzdarstellung des wasserzeichenbehafteten Audiosignals, an eine zu der ersten Filterbank 20 inverse Filterbank 40 aus. Zwischen den Ausgang der inversen Filterbank 40 und den Ausgang 16 ist eine Fensterungseinrichtung 42 geschaltet. Der Teil aus den Kom- ponenten 34, 38, 40, 42 kann als Syntheseteil des Einbetters 10 betrachtet werden, da er dafür verantwortlich ist, aus der modifizierten Frequenz/Modulationsfrequenzdarstellung das wasserzeichenbehaftete Audiosignal in der Zeitdarstellung zu erzeugen.
Nachdem im Vorhergehenden der Aufbau des Einbetters 10 beschrieben worden ist, wird im Folgenden dessen Funktionsweise beschrieben.
Die Einbettung beginnt mit der Überführung des Audiosignals am Eingang 12 von der Zeitdarstellung in die Zeit/Frequenzdarstellung durch die Einrichtungen 18.und 20, wobei davon ausgegangen wird, dass das Audioeingangssignal am Eingang 12 in einer mit einer vorbestimmten Abtastfrequenz abgetasteten Weise vorliegt, nämlich als eine Folge von Abtast- bzw. Audiowerten. Liegt das Audiosignal noch nicht in einer solchen abgetasteten Form vor, so kann hier- zu ein entsprechender A/D-Wandler als eine Abtasteinrichtung verwendet werden.
Die Fensterungseinrichtung 18 empfängt das Audiosignal und extrahiert aus demselben eine Folge von Blöcken von Audio- werten. Hierzu fasst die Fensterungseinrichtung 18 jeweils eine vorbestimmte Anzahl von aufeinander folgenden Audiowerten des Audiosignals am Eingang 12 zu Zeitblöcken zusammen und multipliziert bzw. fenstert diese Zeitblöcke, die ja einen Zeitausschnitt aus dem Audiosignal 12 darstellen, mit einer Fenster- bzw. Gewichtungsfunktion, wie z.B. einem Sinusfenster, einem KBD-Fenster oder dergleichen. Dieser Vorgang wird als Fensterung bezeichnet und dabei beispielsweise derart durchgeführt, dass die einzelnen Zeitblöcke Zeitabschnitte des Audiosignals betreffen, die sich gegen- seitig überlappen, wie z.B. um die Hälfte, sodass jeder Audiowert zwei Zeitblöcken zugeteilt ist.
Der Vorgang der Fensterung durch die Einrichtung 18 ist in Fig. 2 exemplarisch für den Fall des 50%-Überlapps näher veranschaulicht. Fig. 2 veranschaulicht mit einem Pfeil 50 die Folge von Audiowerten in ihrer zeitlichen Abfolge ihres Eintreffens am Eingang 12. Sie stellen das Audiosignal 12 im Zeitbereich 22 dar. Der Index n in Fig. 2 soll einen in Pfeilrichtung zunehmenden Index der Audiowerte bezeichnen. Mit 52 sind die Fensterfunktionen angedeutet, die die Fensterungseinrichtung 18 auf die Zeitblöcke anwendet. Die ersten beiden Fensterfunktionen für die ersten beiden Zeitblöcke sind in Fig. 2 mit dem Index 2m bzw. 2m+l überschrieben. Wie es zu erkennen ist, überlappen der Zeitblock 2m und der darauf folgende Zeitblock 2m+l um die Hälfte bzw. 50% und weisen somit jeweils die Hälfte ihrer Audiowerte gemeinsam auf. Die von der Einrichtung 18 erzeugten und an die Filterbank 20 weitergeleiteten Blöcke entsprechen einer Gewichtung der zu einem Zeitblock gehörenden Audiowerte mit der Fensterfunktion 52 bzw. einer Multiplikation zwischen denselben.
Die Filterbank 20 erhält die Zeitblöcke bzw. Blöcke von ge- fensterten Audiowerten, wie es in Fig. 2 mit Pfeilen 54 angedeutet ist, und überführt dieselben durch eine Zeit/Frequenz-Transformation 56 blockweise in eine Spektraldarstellung. Dabei nimmt die Filterbank je nach Ausfüh- rung eine vorbestimmte Zerlegung des Spektralbereiches in vorbestimmte Frequenzbänder bzw. Spektralkomponenten vor. Die spektrale Darstellung umfasst beispielsweise frequenzmäßig nebeneinander liegende Spektralwerte von der Frequenz Null bis zur maximalen Audiofrequenz, die dem Audiosignal zugrunde liegt und beispielsweise 44,1 kHz beträgt. In Fig. 2 ist exemplarisch der Fall einer Spektralzerlegung in zehn Teilbänder dargestellt.
Die blockweise Überführung ist in Fig. 2 durch eine Mehr- zahl von Pfeilen 58 angedeutet. Jeder Pfeil entspricht der Überführung eines Zeitblockes in den Frequenzbereich. Beispielsweise wird der Zeitblock 2m in einen Block 60 von Spektralwerten 62 überführt, wie er in Fig. 2 durch eine Spalte von Kästchen angedeutet ist. Die Spektralwerte betreffen jeweils eine unterschiedliche Frequenzkomponente oder ein unterschiedliches Frequenzband, wobei in Fig. 2 durch die Achse 64 die Richtung angedeutet sein soll, entlang der die Frequenz k verläuft. Wie bereits erwähnt wird vorliegend davon ausgegangen, dass lediglich zehn Spektral- komponenten vorliegen, wobei jedoch die Anzahl lediglich veranschaulichender Natur ist und in Wirklichkeit vermutlich höher liegen wird.
Da die Filterbank 20 pro Zeitblock einen Block 60 von Spektralwerten 62 erzeugt, ergeben sich mit der Zeit mehrere Folgen von Spektralwerten 62, nämlich eine pro Spektralkomponente k .bzw. Teilband k. In Fig. 2 verlaufen diese zeitlichen Folgen in Zeilenrichtung, wie sie durch den Pfeil 66 dargestellt ist. Der Pfeil 66 stellt somit die Zeitachse der Zeit/Frequenzdarstellung dar, während der Pfeil 64 die Frequenzachse dieser Darstellung repräsentiert. Die „Abtastfrequenz" bzw. der Wiederholabstand der Spektralwerte innerhalb der einzelnen Teilbänder entspricht der Frequenz bzw. dem Wiederholabstand der Zeitblöcke aus dem Audiosignal. Die Zeitblockwiederholfrequenz entspricht wiederum zwei mal der Abtastfrequenz des Audiosignals dividiert durch die Anzahl an Audiowerten pro Zeitblock. Der Pfeil 66 entspricht somit einer Zeitdimension insofern als er die zeitliche Abfolge der Zeitblöcke verkörpert.
Wie es zu erkennen ist, entsteht somit über eine gewisse Anzahl, hier exemplarisch einer Anzahl von 8, von aufeinan- der folgenden Zeitblöcken hinweg eine Matrix 68 von Spektralwerten 62, die eine Zeit/Frequenzbereichsdarstellung 24 des Audiosignals über die Zeitdauer dieser Zeitblöcke hinweg darstellt.
Die blockweise an den Zeitblöcken durch die Filterbank 20 durchgeführte Zeit/Frequenz-Transformation 56 ist beispielsweise eine DFT, DCT, MDCT oder dergleichen. Je nach Transformation sind die einzelnen Spektralwerte innerhalb eines Blockes 60 in bestimmte Teilbänder eingeteilt. Für jedes Teilband kann jeder Block 60 mehr als einen Spektralwert 62 aufweisen. Insgesamt entsteht somit über die Folge von Zeitblöcken hinweg pro Teilband bzw. Spektralkomponente eine Folge von Spektralwerten, die den zeitlichen Verlauf des jeweiligen Teilbandes wiedergeben und in Fig. 2 in Zei- lenrichtung 84 verlaufen.
Die Filterbank 20 gibt blockweise die Blöcke 60 von Spektralwerten 62 an die Betrags/Phasen-Detektionseinrichtung 26 weiter. Letztere verarbeitet die komplexen Spektralwerte und gibt lediglich die Beträge derselben an die Filterbank 28 weiter. Die Phasen der Spektralwerte 62 gibt sie hingegen an die Phasenverarbeitungseinrichtung 36 weiter. Die Filterbank 28 verarbeitet die pro Teilband vorliegenden Folgen 70 von Beträgen von Spektralwerten 62 ähnlich der Filterbank 20, nämlich durch blockweises Transformieren dieser Folgen Block für Block in die Spektraldarstellung bzw. die Modulationsfrequenzdarstellung, und zwar unter Verwendung von vorzugsweise wiederum gefensterten und sich gegenseitig überlappenden Blöcken, wobei die zugrundeliegenden Blöcke aller Teilbänder vorzugsweise zeitlich zueinander gleich ausgerichtet sind. Anders ausgedrückt verar- beitet die Filterbank 28 jeweils N Spektralblöcke 60 von Spektralwertbeträgen gleichzeitig bzw. gemeinsam. Die N Spektralblöcke 60 von Spektralwertbeträgen bilden eine Matrix 68 von Spektralwertbeträgen. Existieren beispielsweise M Teilbänder, verarbeitet die Filterbank 28 die Spektral- wertbeträge in Matrizen zu je N*M Spektralwertbeträgen. In Fig. 3 ist exemplarisch der Fall angenommen, dass M=N gilt, während in Fig. 2 exemplarisch angenommen wurde, dass N=10 und M=8 gilt. Die Weiterleitung des Betragsanteils einer solchen Matrix 68 von Spektralwertbeträgen 62 an die Fil- terbank 28 ist in Fig. 2 durch die Pfeile 72 angedeutet.
Nach Erhalt des Betragsanteils N aufeinanderfolgender Spektralblöcke bzw. der Matrix 68 transformiert also die Filterbank 28 - getrennt für jedes Teilband - die Blöcke von Spektralwertbeträgen der jeweiligen Teilbänder, also der Zeilen in der Matrix 68, von der Zeitdomäne 66 in eine Frequenzdarstellung, wobei wie bereits erwähnt die Spektralwertbeträge zur Vermeidung von Aliasingeffekten ge- fenstert sein können. Anders ausgedrückt überführt die Fil- terbank 28 jeden dieser Spektralwertbetragsblöcke aus den den zeitlichen Verlauf eines jeweiligen Teilbandes darstellenden Folgen 70 in eine Spektraldarstellung und erzeugt somit pro Teilband einen Block von Modulationswerten, die in Fig. 2 mit 74 angezeigt sind. Jeder Block 74 enthält mehrere Modulationswerte, die in Fig. 2 nicht mehr veranschaulicht sind. Jeder dieser Modulationswerte innerhalb eines Blockes 74 ist einer unterschiedlichen Modulationsfrequenz zugeordnet, die in Fig. 2 entlang der Achse 76 verlaufen soll, die somit die Modulationsfrequenzachse der Frequenz/Modulationsfrequenzdarstellung repräsentiert . Durch Anordnung der Blöcke 74 je nach Teilbandfrequenz entlang einer Achse 78 entsteht hierdurch eine Matrix 80 von Modulationswerten, die eine Frequenz/Modulationsfrequenzbereichsdarstellung des Audiosignals am Eingang 12 in dem der Matrix 68 zugeordneten Zeitabschnitt darstellt.
Wie bereits erwähnt kann zur Vermeidung von Artefakten die Filterbank 28 oder die Einrichtung 26 eine interne Fenstereinrichtung (nicht gezeigt) aufweisen, die die Transformationsblöcke, also die Zeilen der Matrix 68, von Spektralwerten pro Teilband vor ihrer jeweiligen Zeit/Modulations- frequenz-Transformation 80 durch die Filterbank 28 in den Modulationsfrequenzbereich 30, um die Blöcke 74 zu erhalten, einer Fensterung mit einer Fensterfunktion 82 unterzieht .
Es wird noch einmal explizit darauf hingewiesen, dass auf die im Vorhergehenden beschriebene Weise eine Folge von Matrizen 80 verarbeitet werden, die sich in dem im Vorhergehenden erwähnten exemplarisch 50%-Überlapp-Fensterung - um 50% in der Zeit überlappen. Anders ausgedrückt bildet die Filterbank 28 die Matrix 80 für aufeinander folgende N Zeitblöcke derart, dass die Matrizen 80 jeweils N Zeitblöcke betreffen, die sich um die Hälfte überschneiden, wie es in Fig. 2 exemplarisch durch eine gestrichelte Fensterfunktion 84 angedeutet werden soll, die die Fensterung für die nächste Matrix darstellen.
Die Modulationswerte der Frequenz/Modulationsfrequenzbereichsdarstellung 30, wie sie von der Filterbank 28 ausgegeben werden, erreichen die Wasserzeicheneinbettungsein- richtung 32. Die Wasserzeicheneinbettungseinrichtung 32 modifiziert nun die Modulationsmatrix 80 bzw. einzelne oder mehrere der Modulationswerte der Modulationsmatrizen 80 des Audiosignals 12. Die von der Einrichtung 32 vorgenommene Modifikation kann beispielsweise durch eine multiplikative Gewichtung einzelner Modulationsfrequenz/Frequenz-Segmente des Modulationsteilbandspektrums bzw. der Frequenz/Modulationsfrequenzbereichsdarstellung erfolgen, d.h. durch eine Gewichtung der Modulationswerte innerhalb eines bestimmten Bereichs des durch die Achsen 76 und 78 aufgespannten Frequenz/Modulationsfrequenz-Raumes. Ebenso könnte die Modifikation das Setzen einzelner Segmente bzw. Modulationswerte auf bestimmte Werte aufweisen.
Die multiplikative Gewichtung bzw. die bestimmten Werte würden in vorgegebener Weise von dem Wasserzeichen abhängen, das am Eingang 14 erhalten wird. Dabei könnte das Setzen einzelner Modulationswerte bzw. Segmente von Modulati- onswerten auf bestimmte Werte signaladaptiv erfolgen, d.h. zusätzlich abhängig von dem Audiosignal 12 an sich.
Die einzelnen Segmente des 2-dimensionalen Modulationsteilbandspektrums können einerseits durch Unterteilung der a- kustischen Frequenzachse 78 in Frequenzgruppen gewonnen werden, andererseits kann eine weitere Segmentierung durch Unterteilung der Modulationsfrequenzachse 76 in Modulationsfrequenzgruppen durchgeführt werden. In Fig. 1 ist exemplarisch eine Segmentierung der Frequenzachse in 5 und der Modulationsfrequenzachse in 4 Gruppen angedeutet, wodurch sich 20 Segmente ergeben. Die dunklen Segmente zeigen exemplarisch die Stellen an, an denen die Einrichtung 32 die Modulationsmatrix 80 modifiziert, wobei, wie im Vorhergehenden erwähnt, die zur Modifikation herangezogen Stellen zeitlich variieren können. Die Stellen werden vorzusgweise derart ausgewählt, dass durch Verdeckungseffekte die Änderungen an dem Audiosignal in der Frequenz/Modulationsfrequenzdarstellung nicht oder kaum hörbar sind.
Nachdem die Einrichtung 32 die Modulationsmatrix 80 modifiziert hat, sendet dieselbe die modifizierten Modulationswerte der Modulationsmatrix 80 an die inverse Filterbank 34 weiter. Diese überführt mittels einer Transformation, die zu derjenigen der Filterbank 28 invers ist, also z.B. einer IDFT, IFFT, IDCT, IMDCT oder dergleichen, die Modulationsmatrix 80 Block-74-weise, d.h. getrennt nach Teilband, entlang der Modulationsfrequenzachse 76 in die Zeit/Frequenzbereichsdarstellung 24 zurück, um dadurch modifizierte Betragsanteil-Spektralwerte zu erhalten. Anders ausgedrückt transformiert die inverse Filterbank 34 jeden einem bestimmten Teilband zugehörigen Block von modifizierten Modulationswerten 74 mit einer zu der Transformation 86 inversen Transformation in eine Folge von Betragsanteil- Spektralwerten pro Teilband, wodurch sich nach dem vorhergehenden Ausführungsbeispiel eine Matrix von N x M Betragsanteil-Spektralwerten ergibt.
Die Betragsanteil-Spektralwerte von der inversen Filterbank 34 beziehen sich also immer auf zweidimensionale Blöcke bzw. Matrizen aus dem Strom von Folgen von Spektralwerten, in natürlich um das Wasserzeichen modifizierter Form. Nach dem exemplarischen Ausführungsbeispiel überlappen sich die- se Blöcke um 50%. Eine beispielsweise in der Einrichtung 34 vorgesehene Einrichtung (nicht gezeigt) kompensiert nun in diesem exemplarischen 50%-Überlappungsfall die Fensterung, indem sie die sich überlappenden rekombinierten Spektralwerte aufeinanderfolgender, durch Rücktransformation auf- einanderfolgender Modulationsmatrizen erhaltener Matrizen von Spektralwerten addiert. Hierdurch entstehen aus den einzelnen Matrizen von modifizierten Spektralwerten wieder Ströme bzw. Folgen von modifizierten Spektralwerten, nämlich eine pro Teilband. Diese Folgen korrespondieren ledig- lieh mit dem Betragsanteil der unmodifizierten Folgen 70 von Spektralwerten, wie sie von der Einrichtung 20 ausgegeben wurden.
Die Rekombinationseinrichtung 38 verknüpft die zu Teilband- strömen zusammengeführten Betragsanteil-Spektralwerte von der inversen Filterbank 34 mit den Phasenanteilen der Spektralwerte 62, wie sie von der Detektionseinrichtung 26 unmittelbar nach der Transformation 56 durch die erste Fil- terbank 20 abgesondert worden sind, jedoch in einer durch die Phasenverarbeitung 36 modifizierten Form. Und zwar modifiziert die Phasenverarbeitungseinrichtung 36 die Phasenanteile in einer von der Wasserzeicheneinbettung durch die Einrichtung 32 getrennten aber unter Umständen von dieser Einbettung abhängigen Weise derart, dass die Detektierbar- keit des Wasserzeichens im später bezugnehmend auf Fig. 3 erläuterten Detektor bzw. Decodersystem besser detektierbar ist oder/und die akustische Verdeckung des Wasserzeichen- signals im später am Ausgang 16 auszugebenden wasserzeichenbehafteten Ausgangssignal und damit die Unhörbarkeit des Wasserzeichens verbessert ist. Die Rekombination kann die Rekombinationseinrichtung 38 matrixweise pro Matrix 68 oder kontinuierlich über die Folgen von modifizierten Be- tragsanteil-Spektralwerten pro Teilband vornehmen. Die optionale Abhängigkeit der Manipulation des Phasenanteils der Zeit/Frequenzdarstellung des Audiosignals am Eingang 12 von der Manipulation der Frequenz/Modulationsfrequenzdarstellung durch die Manipulationseinrichtung 32 ist in Fig. 1 durch einen gestrichelten Pfeil 88 veranschaulicht. Die Rekombination wird beispielsweise durch Addieren der Phase eines Spektralwertes auf den Phasenanteil des entsprechenden modifizierten Spektralwerts durchgeführt, wie er von der Filterbank 34 ausgegeben wird.
Auf diese Weise erzeugt die Einrichtung 38 also Folgen von Spektralwerten pro Teilband wie diejenige, die nach der Filterbank 20 direkt aus dem unveränderten Audiosignal erhalten worden ist, nämlich die Folgen 70, jedoch in um das Wasserzeichen veränderter Form, so dass die von der Einrichtung 38 ausgegebenen rekombinierten und bezüglich des Betragsanteils modifizierten Spektralwerte eine Zeit/Frequenzdarstellung des wasserzeichenbehafteten Audiosignals repräsentieren.
Die inverse Filterbank 40 erhält somit wieder Folgen von modifizierten Spektralwerten, nämlich eine pro Teilband. Anders ausgedrückt, erhält die inverse Filterbank 40 pro Zyklus eine Block von modifizierten Spektralwerten, also eine Frequenzdarstellung des wasserzeichenbehafteten Audiosignals bezüglich eines Zeitabschnittes desselben. Dementsprechend führt die Filterbank 40 eine zu der Transformati- on 56 der Filterbank 20 inverse Transformation an jedem solchen Block von Spektralwerten, d.h. entlang der Frequenzachse 70 angeordneten Spektralwerten, durch, um als Ergebnis modifizierte gefensterte Zeitblöcke bzw. Zeitblöcke von gefensterten modifizierten Audiowerten zu erhalten. Die anschließende Fensterungseinrichtung 42 kompensiert die Fensterung, wie sie durch die Fensterungseinrichtung 18 eingeführt worden ist, indem sie innerhalb der überlappenden Bereiche einander entsprechende Audiowerte addiert, wodurch sich am Ausgang 16 das wasserzeichenbehaftete Aus- gangssignal in der Zeitbereichsdarstellung 22 ergibt.
Nachdem im Vorhergehenden die Einbettung eines Wasserzeichens gemäß dem Ausführungsbeispiel von Fig. 1-2 beschrieben worden ist, wird im Folgenden bezugnehmend auf Fig. 3 eine Vorrichtung beschrieben, die dazu geeignet ist, ein durch den Einbetter 10 erzeugtes wasserzeichenbehaftetes Ausgangssignal erfolgreich zu analysieren, um wieder das Wasserzeichen aus demselben zu rekonstruieren bzw. detek- tieren, das ja in dem wasserzeichenbehafteten Ausgangssig- nal zusammen mit den Nutzaudioinformationen für das menschliche Gehör vorzugsweise unhörbar enthalten ist.
Der Wasserzeichendecoder von Fig. 3, der allgemein mit 100 angezeigt ist, umfasst einen Audiosignaleingang 112 zum Empfangen des wasserzeichenbehafteten Audiosignals und einen Ausgang 114 zum Ausgeben des aus dem wasserzeichenbehafteten Audiosignal extrahierten Wasserzeichens. An den Eingang 112 schließen sich in Reihe geschaltet und in der Reihenfolge, wie sie im Folgenden aufgelistet sind, eine Fenstereinrichtung 118, eine Filterbank 120, eine Be- trags/Phasen-Detektionseinrichtung 126 und eine zweite Filterbank 128 an, die in ihrer Funktion und Arbeitsweise den Blöcken 18, 20, 26 und 28 aus dem Einbetter 10 entsprechen. Dies bedeutet, dass das wasserzeichenbehaftete Audiosignal am Eingang 112 durch die Fenstereinrichtung 118 und die Filterbank 120 von dem Zeitbereich 122 in den Zeitfrequenzbereich 124 überführt wird, von wo aus durch die Detekti- onseinrichtung 126 und die zweite Filterbank 128 eine Überführung des Audiosignals am Eingang 112 in den Frequenz/Modulationsfrequenzbereich 130 stattfindet. Das wasserzeichenbehaftete Audiosignal wird durch die Einrichtungen 118, 120, 126 und 128 folglich denselben Verarbeitungen unterzogen, wie sie bezüglich des ursprünglichen Audiosignals bezugnehmend auf Fig. 2 beschrieben worden sind. Die sich ergebenden Modulationsmatrizen entsprechen jedoch nicht vollständig denjenigen, wie sie in dem Einbetter 10 von der Wassereinbettungseinrichtung 32 ausgegeben wurden, da durch die Phasenrekombinationen der Rekombinationseinrichtung 38 einige der Modulationsanteile bezüglich der modifizierten Modulationsmatrizen, wie sie von der Einrichtung 32 ausgegeben werden, verändert werden und sich somit in etwas veränderter Form im wasserzeichenbehafteten Aus- gangssignal widerspiegeln. Auch die Fensterungsrückgängigmachung bzw. OLA verändert die Modulationsanteile bis zur erneuten Modulationsspektralanalyse im Dekodierer 100.
Eine Wasserzeichen-Decodierungseinrichtung 132, die mit der Filterbank 128 verbunden ist, um die Frequenz/Modulationsbereichsdarstellung des wasserzeichenbe- ' hafteten Eingangssignals bzw. die Modulationsmatrizen zu erhalten, ist vorgesehen, um das ursprünglich durch den Einbetter 10 eingebrachte Wasserzeichen aus dieser Darstel- lung zu extrahieren und am Ausgang 114 auszugeben. Die Extraktion wird an vorbestimmten Stellen der Modulationsmatrizen vorgenommen, die mit denjenigen korrespondieren, die von dem Einbetter 10 zur Einbettung verwendet worden sind. Die Übereinstimmung der Auswahl der Stellen wird beispiels- weise durch entsprechende Standardisierung sichergestellt.
Gegenüber den Modulationsmatrizen, wie sie im Einbetter 10 in der Einrichtung 32 erzeugt wurden, bewirkte Veränderun- gen der Modulationsmatrizen, wie sie der Wasserzeichen- Decodierungseinrichtung 132 zugehen, können auch daher rühren, dass das wasserzeichenbehaftete Eingangssignal zwischen seiner Erzeugung bzw. Ausgabe am Ausgang 16 und der Detektion durch den Detektierer 100 bzw. dem Empfang am Eingang 112 auf irgendeine Weise verschlechtert worden ist, wie z.B. durch eine gröbere Quantisierung der Audiowerte oder dergleichen.
Bevor im Folgenden bezugnehmend auf die Figuren 4 und 5 ein weiteres Ausführungsbeispiel für ein Schema einer Einbettung eines Wasserzeichens in ein Audiosignal beschrieben wird, das sich im Hinblick auf das bezugnehmend auf Fig. 1- 3 beschriebene Schema lediglich im Hinblick auf die Art und Weise der Überführung des Audiosignals vom Zeitbereich in den Frequenz/Modulationsfrequenzbereich unterscheidet, werden im Folgenden exemplarische Anwendungsbereiche bzw. Möglichkeiten beschrieben, auf welche das im Vorhergehenden beschriebene Einbettungsschema sinnvoll eingesetzt werden kann. Die folgenden Beispiele beziehen sich dabei exemplarisch auf Einsatzgebiete in der Rundfunküberwachung (broad- cast monitoring) und bei DRM-Systemen, wie herkömmliche WM- Systemen (WM = watermark = Wasserzeichen) . Die im Folgenden beschriebenen Anwendungsmöglichkeiten treffen aber natür- lieh auch auf das im Folgenden noch zu beschreibende Ausführungsbeispiel von Fig. 4 und 5 zu.
Einerseits kann das im Vorhergehenden beschriebene Ausführungsbeispiel zur Einbettung eines Wasserzeichens in ein Audiosignal zum Nachweis der Urheberschaft eines Audiosignals verwendet werden. Bei dem ursprünglichen Audiosignal, das am Eingang 12 eintrifft, handelt es sich beispielsweise um ein Musikstück. Während der Produktion von Musikstücken können durch den Einbetter 10 Urheberinformationen in Form eines Wasserzeichens in das Audiosignal eingebracht werden, wodurch das wasserzeichenbehaftete Audiosignal am Ausgang 16 entsteht. Wenn nun ein Dritter behauptet, Urheber des entsprechenden Musikstückes bzw. Musiktitels zu sein, kann der Nachweis der tatsächlichen Urheberschaft mit Hilfe des Wasserzeichens geführt werden, das aus dem wasserzeichenbehafteten Audiosignal mittels des Detektors 100 wieder extrahiert werden kann und ansonsten bei normalem Abspielen unhörbar ist.
Ein weiterer möglicher Einsatz oben dargestellter Wasserzeicheneinbettung besteht darin, Wasserzeichen für die Protokollierung des Sendeprogramms von TV- und Radiosendern zu verwenden. Rundfunkprogramme untergliedern sich zumeist in unterschiedliche Abschnitte, wie z.B. einzelne Musiktitel, Hörspiele, Werbespots oder dergleichen. Der Urheber eines Audiosignals oder zumindest derjenige, der an einem bestimmten Musiktitel oder Werbespot verdienen darf und möch- te, kann nun sein Audiosignal mit dem Einbetter 10 mit einem Wasserzeichen versehen, und das wasserzeichenbehaftete Audiosignal dem Rundfunkbetreiber zukommen lassen. Musiktitel oder auch Werbespots können auf diese Weise mit einem jeweils eindeutigen Wasserzeichen beaufschlagt werden. Zur Protokollierung des Sendeprogramms kann nun z.B. ein Computer herangezogen werden, der das Rundfunksignal auf ein Wasserzeichen hin untersucht und gefundene Wasserzeichen protokolliert. Anhand der Liste des entdeckten Wasserzeichens lässt sich ohne weiteres eine Sendeliste für den ent- sprechenden Rundfunksender generieren, was die Abrechnung bzw. Gebührenbezahlung erleichtert.
Ein weiteres Einsatzgebiet besteht darin, Wasserzeichen zur Ermittelung illegaler Kopien zu verwenden. In dieser Hin- sieht lohnt sich der Einsatz von Wasserzeichen insbesondere für den Musikvertrieb über das Internet. Erwirbt ein Käufer einen Musiktitel, wird während der Übermittlung der Musikdaten an den Käufer eine eindeutige Kundennummer mit Hilfe eines Wasserzeichens in die Daten eingebettet. Das Ergebnis sind Musiktitel, in denen das Wasserzeichen unhörbar eingebettet ist. Wird zu einem späteren Zeitpunkt ein Musiktitel an einer nicht genehmigten Stelle im Internet, wie z.B. einer Tauschbörse, gefunden, kann dieses Stück auf das Was- serzeichen hin mittels eines Decodierers nach Fig. 3 untersucht und anhand des Wasserzeichens der ursprüngliche Käufer identifiziert werden. Der letztgenannte Einsatz könnte auch für die aktuellen DRM-(DRM = Digital Rights Management = Digitale-Rechte-Verwaltung) Lösungen eine wichtige Rolle spielen. Das Wasserzeichen in den wasserzeichenbehafteten Audiosignalen könnte hier als eine Art „zweite Verteidigungslinie" dienen, die auch dann noch Rückschlüsse auf den ursprünglichen Käufer zulässt, wenn der kryptographische Schutz eines wasserzeichenbehafteten Audiosignals bereits umgangen worden ist.
Weitere Anwendungen für Wasserzeichen sind beispielsweise in der Druckschrift Chr. Neubauer, J. Herre, „Advanced Wa- termarking and its Applications", 109th Audio Engineering Society Convention, Los Angeles, Sept. 2000, Preprint 5176, beschrieben.
Im folgenden werden ein Einbetter und ein Wasserzeichen- Decoder bezüglich eines Ausführungsbeispiels für ein Einbettungsschema beschrieben, bei dem eine verglichen zu dem Ausführungsbeispiel in Fig. 1-3 unterschiedliche Überführung des Audiosignals vom Zeitbereich in den Frequenz/Modulationsfrequenzbereich verwendet wird. In der nachfolgenden Beschreibung werden Elemente in den Figuren, die zu denjenigen von Fig. 1 und 3 identisch oder gleichbedeutend sind, mit gleichen Bezugszeichen versehen, wie sie in Fig. 1 und 3 versehen worden sind, wobei für eine detailliertere Erörterung der Funktionsweise oder Bedeutung dieser Elemente zur Vermeidung von Wiederholungen ergänzend auf die Beschreibung der Figuren 1-3 verwiesen wird.
Der Einbetter von Fig. 4, der allgemein mit 210 angezeigt ist, umfasst ebenso wie der Einbetter von Fig. 1 einen Au- diosignaleingang 12, einen Wasserzeicheneingang 14 und einen Ausgang 16 zur Ausgabe des wasserzeichenbehafteten Audiosignals. An den Eingang 12 schließen sich die Fensterungseinrichtung 18 und die erste Filterbank 20 an, um das Audiosignal blockweise in Blöcke 60 von Spektralwerten 62 (Fig. 2) zu überführen, wobei die Folge von Blöcken von Spektralwerten, die hierdurch am Ausgang der Filterbank 20 entsteht, die Zeit/Frequenzbereichsdarstellung 24 des Au- diosignals darstellt. Im Unterschied zu dem Einbetter 10 von Fig. 1 werden jedoch die komplexen Spektralwerte 62 nicht in Betrag und Phase unterteilt, sondern die komplexen Spektralwerte werden vollständig weiterverarbeitet, um das Audiosignal in den Frequenz/Modulationsfrequenzbereich zu überführen. Die Folgen 70 von aufeinander folgenden Spektralwerten eines Teilbandes werden deshalb unter Berücksichtigung von Betrag und Phase blockweise in eine spektrale Darstellung überführt. Zuvor wird jedoch jede Teilband- spektralwertfolge 70 noch einer Demodulation unterzogen. Jede Folge 70, also die Abfolge von Spektralwerten, die sich bei aufeinander folgenden Zeitblöcken durch Überführung in den Spektralbereich für ein bestimmtes Teilband ergeben, wird nämlich durch einen Mischer 212 mit dem komplex Konjugierten einer Modulationsträgerkomponente multipli- ziert bzw. gemischt, welche durch eine Trägerfrequenzbestimmungseinrichtung 214 aus den Spektralwerten und insbesondere dem Phasenanteil dieser Spektralwerte der Zeit/Frequenzbereichsdarstellung des Audiosignals ermittelt wird. Die Einrichtungen 212 und 214 dienen dazu, eine Kom- pensation dazu zu liefern, dass der Wiederholabstand der Zeitblöcke nicht unbedingt zu der Periodendauer der Trägerfrequenzkomponente des Audiosignals abgestimmt ist, d.h. derjenigen hörbaren Frequenz, die im Mittel die Trägerfrequenz des Audiosignals darstellt. In dem Fall der Fehlab- Stimmung sind aufeinander folgende Zeitblöcke um einen unterschiedlichen Phasenversatz zu der Trägerfrequenz des Audiosignals verschoben. Dies führt dazu, dass jeder Block 60 von Spektralwerten, wie er von der Filterbank 20 ausgegeben wird, je nach Phasenversatz des jeweiligen Zeitblockes zu der Trägerfrequenz im Phasenanteil einen linearen Phasenanstieg aufweist, der auf den zeitblockindividuellen Phasenversatz zurückzuführen ist, d.h. deren Steigung und Achsenabschnitt von dem Phasenversatz abhängt. Da der Phasenver- satz zwischen aufeinander folgenden Zeitblöcken zunächst immer zunimmt, wird auch die Steigung des auf den Phasenversatz zurückzuführenden Phasenanstieg für jeden Block 60 von Spektralwerten 62 größer, so lange, bis der Phasenver- satz wieder Null wird usw.
Die vorhergehende Betrachtung bezog sich lediglich auf einzelne Blöcke 60 von Spektralwerten. Aus der vorhergehenden Erörterung wird jedoch auch deutlich, dass ein linearer Phasenanstieg auch bei Spektralwerten feststellbar ist, die sich bei aufeinander folgenden Zeitblöcken für ein und dasselbe Teilband ergeben, also ein Phasenanstieg entlang der Zeilen in Fig. 2 in der Matrix 68. Auch dieser Phasenanstieg ist auf den Phasenversatz der aufeinander folgenden Zeitblöcke rückzuführen und von demselben abhängig. Insgesamt erfahren die Spektralwerte 62 in der Matrix 68 aufgrund des Zeitversatzes der aufeinander folgenden Zeitblöcke eine kumulative Phasenänderung, die sich als Ebene indem durch die Achsen 66 und 64 aufgespannten Raum dar- stellt.
Die Trägerfrequenzbestimmungseinrichtung 214 fittet bzw. passt deshalb durch geeignete Verfahren, beispielsweise mit einem kleinste-Fehlerquadrate-Algorithmus, eine Ebene in die geunwrappten bzw. einem Phasenunwrapping bzw. einer Phasenentwicklung bzw. Phasenabschnittsaneinanderreichung unterzogenen Phasen der Spektralwerte 62 der Matrix 68 ein, und schließt aufgrund dessen auf den auf den Phasenversatz der Zeitblöcke rückzuführenden Phasenanstieg zurück, der bei den Folgen 70 von Spektralwerten für die einzelnen Teilbänder innerhalb der Matrix 68 auftritt. Insgesamt ergeben sich somit pro Teilband ein hergeleiteter Phasenanstieg, der der gesuchten Modulationsträgerkomponente entspricht. Diese gibt die Einrichtung 214 an den Mischer 212 weiter, damit die jeweilige Folge 70 von Spektralwerten durch den Mischer 212 mit der komplex Konjugierten derselben gemischt wird, bzw. mit e-D ( *m+φ) multipliziert wird, wobei m den bestimmten Träger angibt, m der Index für die Spektralwerte ist und φ einen Phasenversatz des bestimmten Trägers zum betrachteten Zeitausschnitt der N Zeitblöcke ist. Natürlich kann die Trägerfrequenzbestimmungseinrichtung 214 auch eindimensionale Einpassungen einer Geraden in die Phasenverläufe der einzelnen Folgen 70 von Spektralwerten 62 innerhalb der Matrizen 68 durchführen, um die einzelnen auf den Phasenversatz der Zeitblöcke rückzuführenden Phasenanstieg zu erhalten. Nach der Demodulation durch den Mischer 212 ist deshalb der Phasenanteil der Spektralwerte der Matrix 68 „eingeebnet", und variiert lediglich noch im Mittel um die Phase Null aufgrund der Gestalt des Audiosignals selbst herum.
Die so modifizierten Spektralwerte 62 gibt der Mischer 212 an die Filterbank 28 weiter, die dieselben matrixweise (Matrix 68 in Fig. 2) in den Frequenz/Modulationsfrequenzbereich überführt. Ähnlich wie bei dem Ausführungsbeispiel von Fig. 1-3 wird folglich eine Matrix von Modulationswerten erhalten, in der diesmal jedoch sowohl Phase als auch Betrag der Zeit/Frequenbereichsdarstellung 24 berücksichtigt worden sind. Wie bei dem Beispiel von Fig. 1 kann eine Fensterung mit 50%-Überlappung oder dergleichen vorgesehen sein.
Die so erzeugten aufeinander folgenden Modulationsmatrizen werden einer Wasserzeichen-Einbettungseinrichtung 216 weitergeleitet, die an einem weiteren Eingang das Wasserzeichen 14 erhält. Die Wasserzeicheneinbettungseinrichtung 216 funktioniert beispielsweise auf ähnliche Weise wie die Ein- bettungseinrichtung 32 des Einbetters 10 von Fig. 1. Die Einbettungsstellen innerhalb der Frequenz/Modulationsfrequenzbereichsdarstellung 30 werden jedoch gegebenenfalls unter Verwendung von andere Verdeckungseffekte berücksichtigenden Regeln ausgewählt, als dies bei der Einbettungs- einrichtung 32 der Fall ist. Die Stellen der Einbettung sollten wie auch bei der Einrichtung 32 derart ausgewählt sein, dass die dort modifizierten Modulationswerte sich nicht hörbar auf das wasserzeichenbehaftete Audiosignal auswirken, wie es später am Ausgang des Einbettefs 210 ausgegeben wird.
Die veränderten Modulationswerte bzw. die veränderten bzw. modifizierten Modulationsmatrizen werden an die inverse Filterbank 34 weitergeleitet, wodurch sich aus den modifizierten Modulationsmatrizen Matrizen von modifizierten Spektralwerten ergeben. Bei diesen modifizierten Spektralwerten ist noch die Phasenkorrektur rückgängig zu machen, die durch die Demodulation mittels des Mischers 212 herbeigeführt worden ist. Deshalb werden die von der inversen Filterbank 34 pro Teilband ausgegebenen Blöcke von modifizierten Spektralwerten mittels eines Mischers 218 mit einer Demodulationsträgerkomponente gemischt bzw. multipliziert, die zu derjenigen komplex konjugiert ist, die vor der Überführung in den Frequenz/Modulationsfrequenzbereich zur Demodulation durch den Mischer 212 für dieses Teilband verwendet worden ist, indem also eine Multiplikation dieser Blöcke mit ej (w*m+φ) durchgeführt wird, wobei wiederum w den bestimmten Träger für das jeweilige Teilband angibt, m der Index für die modifizierten Spektralwerte ist und φ einen Phasenversatz des bestimmten Trägers zum betrachteten Zeitausschnitt der N Zeitblöcke für das jeweilige Teilband ist. Hierdurch wird der jeweilige Modulator für das jeweilige Teilband, der sich ja auf den Inhalt eines bestimmten Sub- bandblockes bezieht bzw. nach der Blockeinteilung durch die Modulation 212, 214 angewendet worden ist, vor der anschließenden Blockzusammenführung wieder invertiert.
Die so erhaltenen Spektralwerte liegen noch in Form von Blöcken, nämlich zu je einem Block von modifizierten Spektralwertblöcken pro Teilband vor und werden gegebenenfalls noch einer OLA bzw. Zusammenfügung zur Rückgängigmachung der Fensterung unterzogen, wie z.B. auf die bezugnehmend auf 34 von Fig. 1 beschriebene Weise. Die so erhaltenen un- gefensterten Spektralwerte stehen dann als Ströme von modifizierten Spektralwerten pro Teilband zur Verfügung und stellen die Zeit/Frequenzbereichsdarstellung des wasserzei- chenbehafteten Audiosignals dar. An den Ausgang des Mischers 218 schließen sich die inverse Filterbank 40 und die Fensterungseinrichtung 42 an, die die Überführung der Zeit/Frequenzbereichsdarstellung des wasserzeichenbehafte- ten Audiosignals in den Zeitbereich 22 übernehmen, wodurch sich am Ausgang 16 eine Folge von Audiowerten ergeben, die das wasserzeichenbehaftete Audiosignal darstellen.
Ein Vorteil der Vorgehensweise nach Fig. 4 bezüglich der Vorgehensweise nach Fig. 1 besteht darin, dass dadurch, dass Phase und Betrag zusammen zur Überführung in den Frequenz/Modulationsfrequenzbereich verwendet werden, keine Wiedereinführung von Modulationsanteilen bei der Rekombination von Phase und modifiziertem Betrags-Anteil hervorgeru- fen wird.
Ein Wasserzeichen-Decodierer, der geeignet ist, um das wasserzeichenbehaftete Audiosignal, wie es von dem Einbetter 210 ausgegeben wird, zu verarbeiten, um daraus das Wasser- zeichen zu extrahieren, ist in Fig. 5 gezeigt. Der Decodie- rer, der allgemein mit 310 angezeigt ist, umfasst einen Eingang 312 zum Empfangen des wasserzeichenbehafteten Audiosignals und einen Ausgang 314 zum Ausgeben des extrahierten Wasserzeichens. An den Eingang 312 des Decodierers 310 schließen sich in Reihe geschaltet und in der Reihenfolge, wie sie im Folgenden genannt sind, eine Fensterungseinrichtung 318, eine Filterbank 320, ein Mischer 412 und eine Filterbank 328 an, wobei ein weiterer Eingang des Mischers 412 mit einem Ausgang einer Trägerfrequenzbestim- mungseinrichtung 414 verbunden ist, die einen mit dem Ausgang der Filterbank 320 verbundenen Eingang aufweist. Die Komponenten 318, 320, 412, 328 und 414 erfüllen den selben Zweck und arbeiten auf die gleiche Weise wie die Komponenten 18, 20, 212, 28 und 214 des Einbetters 210. Auf diese Weise wird das wasserzeichenbehaftete Eingangssignal im De- codierer 310 vom Zeitbereich 322 über den Zeitfrequenzbereich 324 in den Frequenz/Modulationsfrequenzbereich 330 überführt, wo eine Wasserzeichen-Decodierungseinrichtung 332 die Frequenz/Modulationsfrequenzbereichsdarstellung des wasserzeichenbehafteten Audiosignals empfängt und verarbeitet, um das Wasserzeichen zu extrahieren und am Eingang 314 des Decodierers 310 auszugeben. Wie im Vorhergehenden er- wähnt, unterscheiden sich die der Decodierungseinrichtung 332 im Decodierer 310 zugeführten Modulationsmatrizen um weniger als die der Dekodierungseinrichtung 132 zugeführten von denen der Einbettungseinrichtung 216 zugeführten in dem Ausführungsbeispiel von Fig. 1-3, da die Rekombination zwi- sehen Phasenanteil und modifiziertem Betragsanteil im Einbettersystem von Fig. 4 wegfällt.
Die vorhergehenden Ausführungsbeispiele betrafen folglich eine bisher nicht da gewesene Verbindung der Themenbereiche „Teilbandmodulationsspektralanalyse" und „digitales Wasserzeichen" zu einem Gesamtsystem zur Einbringung von Wasserzeichen mit einem Einbettersystem auf der einen und einem Detektorsystem auf der anderen Seite. Das Einbettersystem dient zum Einbringen des Wasserzeichens. Es besteht aus ei- ner Teilbandmodulationsspektralanalyse, einer. Einbetterstufe, die eine Modifikation der durch die Analyse gewonnenen Signalrepräsentation vornimmt, und einer Synthese des Signals der modifizierten Repräsentation. Das Detektorsystem dient umgekehrt zur Erkennung eines vorhandenen Wasserzei- chens in einem wasserzeichenbehafteten Audiosignal. Es besteht aus einer Teilbandmodulationsspektralanalyse und einer Detektionsstufe, die unter Verwendung der durch die A- nalyse gewonnenen Signalrepräsentation das Wasserzeichen erkennt und auswertet .
Im Hinblick auf die Auswahl derjenigen Stellen im Frequenz/Modulationsfrequenzbereich bzw. derjeniger Modulationswerte im Frequenz/Modulationsfrequenzbereich, die zur Wasserzeicheneinbettung bzw. Wasserzeichenextraktion heran- gezogen werden, wird darauf hingewiesen, dass diese Auswahl nach psychoakustischen Gesichtspunkten getroffen werden sollte, um zu gewährleisten, dass das Wasserzeichen bei Abspielen des wasserzeichenbehafteten Audiosginais unhörbar ist. Zur geeigneten Auswahl können Verdeckungs'effekte im Modulationsspektralbereich ausgenutzt werden. Hierzu sei beispielsweise auf T. Houtgast: „Frequency Selectivity in Amplitude Modulation Detection", J. Acoust. Soc. Am. vol. 85, No. 4, April 1989 verwiesen, welche hiermit bezüglich der Auswahl unhörbar modifizierbarer Modulationswerte im Frequenz/Modulationsfrequenzbereich unter Bezugnahme aufgenommen wird.
Für ein näheres Verständnis der Modulationsspektralanalyse im allgemeinen sei noch auf folgende Veröffentlichungen verwiesen, die sich auf die Audiocodierung unter Verwendung einer Modulationstransformation beziehen, und bei denen das Signal durch eine Transformation in Frequenzbänder zerlegt wird, anschließend eine Zerlegung nach Betrag und Phase vorgenommen wird, und dann, während die Phase nicht weiterverarbeitet wird, die Beträge je Teilband über eine Anzahl von Transformationsblöcken in einer zweiten Transformation erneut transformiert werden. Ergebnis ist eine Frequenzzer- legung der zeitlichen Hüllkurve des betreffenden Teilbandes in „Modulationskoeffizienten". Diese weiterführenden Druckschriften umfassen den Artikel M. Vinton and L. Atlas, „A Scalable and Progressive Audio Codec," in Proceedings of the 2001 IEEE ICASSP, May 7-11, 2001, Salt Lake City, die US 2002/0176353A1 von Atlas et al mit dem Titel "Scalable And Perceptually Ranked Signal Coding And Decoding", den Artikel J. Thompson and L. Atlas, "A Non-uniform Modulation Transform for Audio Coding with Increased Time Resolution, " in Proceedings of the 2003 IEEE ICASSP, April 6-10, Hong Kong, 2003, und den Artikel L. Atlas, "Joint Acoustic And Modulation Frequency", Journal on Applied Signal Processing 7 EURASIP, S. 668-675, 2003.
Die vorhergehenden Ausführungsbeispiele stellen lediglich exemplarische Möglichkeiten dar, um Audioaufnahmen mit unhörbaren und gegen Manipulation robusten Zusatzinformationen versehen zu können, und dabei die Wasserzeicheneinbringung im sogenannten Teilbandmodulationsspektralbereich vor- zunehmen sowie die Detektierung im Teilbandmόdulations- spektralbereich vorzunehmen. Jedoch können verschiedene Variationen an diesen Ausführungsbeispielen vorgenommen werden. Die im Vorhergehenden erwähnten Fensterungseinrichtun- gen könnten lediglich der Blockbildung dienen, d.h. die Multiplikation bzw. Gewichtung mit den Fensterfunktionen könnte auch entfallen. Ferner könnte man auch andere Fensterfunktionen als die im Vorhergehenden erwähnten Beträge von trigonometrischen Funktionen verwenden. Auch die 50%- Blocküberlappung könnte entfallen oder anders ausgeführt sein. Dementsprechend könnte auch die Blocküberlappung auf Seiten der Sythese andere Operationen als eine reine Addition zusammengehörender Audiowerte in aufeinander folgenden Zeitblöcken umfassen. Auch die Fensterungen bei der zweiten Transformationsstufe könnten auf entsprechende Weise variiert werden.
Es wird ferner darauf hingewiesen, dass die Audiosignaleinbringung nicht unbedingt vom Zeitbereich in die Fre- quenz/Modulationsfrequenzbereichsdarstellung und von dort wieder - nach der Modifikation - in die Zeitbereichsdarstellung zurückführen muss. Es wäre ferner möglich, dass die beiden vorhergehenden Ausführungsbeispiele dahin gehend modifiziert werden, dass die Werte, wie sie von der Rekom- binationseinrichtung 38 bzw. dem Mischer 218 ausgegeben werden, zu einem wasserzeichenbehafteten Audiosignal in einem Bitstrom vereinigt werden, um in einem Zeit/Frequenzbereich vorzuliegen.
Ferner könnte die im zweiten Ausführungsbeispiel verwendete Demodulation auch anders ausgeführt sein, z.B. durch Veränderung der Phasenverläufe der Spektralwertblöcke innerhalb der Matrizen 68 durch andere Maßnahmen als durch reine Multiplikation mit einem festen komplexen Träger.
In Bezug auf die vorhergehenden Ausführungsbeispiele für mögliche Decodierer, die bezugnehmend auf Figuren 3 und 5 erläutert worden sind, wird darauf hingewiesen, dass auf- grund der Übereinstimmung der zwischen der Wasserzeichen- Decodierungseinrichtung und dem Eingang angeordneten Blöcke mit den entsprechenden aus dem zugehörigen Einbetter alle Variationsmöglichkeiten, die im Hinblick auf den Einbetter in Bezug auf diese Einrichtungen beschrieben wurden, auf dieselbe Weise auf die Wasserzeichen-Decodierer von Fig. 3 und 5 zutreffen.
Es wird noch darauf hingewiesen, dass sich vorhergehenden Ausführungsbeispiele zwar ausschließlich auf die Wasserzeicheneinbettung in Hinblick auf Audiosignale bezog, dass das vorliegende Wasserzeicheneinbettungsschema aber auch auf andere Informationssignale anwendbar ist, wie z.B. auf Steuersignale, Messsignale, Videosignale oder dergleichen, um dieselben beispielsweise auf ihre Authentizität zu überprüfen. In all diesen Fällen ist es durch das vorliegend vorgeschlagene Schema möglich, die Einbettung von Informationen derart vorzunehmen, dass sie die üblichen Nutzung des Informationssignals in der wasserzeichenbehafteten Form nicht beeinträchtigt, wie z.B. die Analyse des Messergebnisse oder den optischen Eindruck des Videos oder dergleichen, weshalb auch in diesen Fällen die einzubettenden Zusatzdaten als Wasserzeichen bezeichnet werden.
Insbesondere wird darauf hingewiesen, dass abhängig von den Gegebenheiten das erfindungsgemäße Schema auch in Software implementiert sein kann. Die Implementation kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder einer CD mit elektronisch auslesbaren Steuersignalen erfol- gen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das entsprechende Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computerprogrammprodukt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computerprogrammprodukt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens rea- lisiert werden, wenn das Computerprogramm auf einem Computer abläuft.

Claims

Patentansprüche
Vorrichtung zum Einbringen eines Wasserzeichens in ein Informationssignal, mit einer Einrichtung (18, 20, 26, 28; 18, 20, 212, 214, 28) zum Überführen des Informationssignals von einer Zeitdarstellung (22) in eine Spektral/Modulationsspektraldarstellung (30); einer Einrichtung (32; 216) zum Modifizieren des Informationssignals in der Spektral/Modulationsspektraldarstellung abhängig von dem einzubringenden Wasserzeichen, um eine modifizierte Spektral/Modulations- spektraldarstellung zu erhalten; und einer Einrichtung (34, 38, 40, 42; 34, 218, 40, 42) zum Bilden eines wasserzeichenbehafteten Informationssignals basierend auf der modifizierten Spektral/Mo- dulationsspektraldarstellung.
2. Vorrichtung gemäß Anspruch 1, bei der die Einrichtung zum Überführen in die Spektral/Modulationsspektraldarstellung folgende Merkmale aufweist: eine Einrichtung (18, 20) zum Überführen des Informationssignals in eine Zeit/Spektraldarstellung durch blockweises Transformieren des Informationssignals; und eine Einrichtung (26, 28; 212, 214, 28) zum Überführen des Informationssignals von der Zeit/Spektraldarstellung in die Spektral/Modulationsspektraldar- Stellung.
3. Vorrichtung gemäß Anspruch 2, bei der die Einrichtung (18, 20) zum Überführen des Informationssignals in ei- ne Zeit/Spektraldarstellung ausgebildet ist, um die Zeit/Spektraldarstellung in eine Mehrzahl von Spektralkomponenten zu zerlegen, um pro Spektralkomponente eine Folge von Spektralwerten zu erhalten, und die Einrichtung (26, 28; 212, 214, 28) zum Überführen des Informationssignals von der Zeit/Spektraldarstellung in die Spektral/Modulationsspektraldarstellung eine Einrichtung (26, 28; 212, 214, 28) zum, für eine vorbestimmte Spektralkomponente, blockweisen spektralen Zerlegen der Folge von Spektralwerten aufeist, um einen Teil der Spektral/Modulationsspektraldarstellung zu erhalten.
4. Vorrichtung gemäß Anspruch 3, bei der die Einrichtung (212, 214, 28) zum, für eine vorbestimmte Spektralkomponente, blockweisen spektralen Zerlegen der Folge von Spektralwerten ausgebildet ist, um die Folge von Spektralwerten blockweise zunächst mit einem komplexen Träger zu multiplizieren (212), derart, dass sich ein Betrag einer mittleren Steigung eines Phasenverlaufs der Folge von Spektralwerten verringert, um demodulierte Blöcke von Spektralwerten zu erhalten, und die demodulierten Blöcke von Spektralwerten dann blockweise spektral zu zerlegen (28), um den Teil der modifi- zierten Spektral/Modulationsspektraldarstellung zu erhalten.
5. Vorrichtung gemäß Anspruch 4, bei der die Einrichtung (212, 214, 28) zum, für eine vorbestimmte Spektralkom- ponente, blockweisen spektralen Zerlegen der Folge von Spektralwerten eine Einrichtung (214) zum, abhängig von der Zeit/Spektraldarstellung des Informationssignals, blockweise Variieren des komplexen Trägers aufweist, mit dem die Folge von Spektralwerten multipli- ziert wird.
6. Vorrichtung gemäß Anspruch 5, bei der die Einrichtung (214) zum Variieren ausgebildet ist, um zum blockwei- sen Variieren des komplexen Trägers blockweise Phasen der Spektralwerte in der Folge von Spektralwerten zu unwrappen, um einen Phasenverlauf zu erhalten, eine mittlere Steigung des Phasenverlaufs zu bestimmen und basierend auf der mittleren Steigung den komplexen Träger zu bestimmen.
7. Vorrichtung gemäß Anspruch 6, bei der die Einrichtung (214) zum Variieren ferner ausgebildet ist, um aus dem Phasenverlauf einen Achsenabschnitt des Phasenverlaufs zu bestimmen und den komplexen Träger ferner basierend auf dem Achsenabschnitt zu bestimmen.
8. Vorrichtung gemäß einem der Ansprüche 4 bis 7, bei der die Einrichtung (34, 218, 40, 42) zum Bilden des wasserzeichenbehafteten Informationssignals folgende Einrichtungen aufweist: eine Einrichtung (34) zum Rücküberführen des Informa- tionssignals von der modifizierten Spektral/Modulationsspektraldarstellung in eine modifizierte Zeit/Spektraldarstellung, um modifizierte demodulierte Blöcke von Spektralwerten für die vorbestimmte Spektralkomponente zu erhalten; und eine Einrichtung (218) zum blockweisen Multiplizieren der modifizierten demodulierten Blöcke von Spektralwerten mit einem zu dem komplexen Träger komplex konjugierten Träger, um modifizierte Blöcke von Spektral- werten zu erhalten; und eine Einrichtung zum Zusammenfügen der modifizierten demodulierte Blöcke von Spektralwerten zu einer modifizierten Folge von Spektralwerten, um einen Teil ei- ner Zeit/Spektraldarstellung des wasserzeichenbehafteten Informationssignals zu erhalten.
9. Vorrichtung gemäß Anspruch 8, bei der die Einrichtung zum Bilden ferner folgendes Merkmal aufweist: eine Einrichtung zum Rücküberführen des wasserzeichen- behafteten Informationssignals von der Zeit-/Spektral- darstellung in die Zeitdarstellung.
10. Vorrichtung gemäß Anspruch 3, bei der die Einrichtung (26, 28) zum, für eine vorbestimmte Spektralkomponen- te, blockweisen spektralen Zerlegen der Folge von Spektralwerten ausgebildet ist, um die Folge von Spektralwerten zunächst einer Betragsbildung (26) zu unterziehen, um eine Folge von Beträgen von Spektralwerten zu erhalten, und die Folge von Beträgen von Spektralwerten dann blockweise in die Modulationsspektraldarstellung zu transformieren (28), um den Teil der Spektral/Modulationsspektraldarstellung zu erhalten.
11. Vorrichtung gemäß Anspruch 10, bei der die Einrichtung (34, 218, 40, 42) zum Bilden des wasserzeichenbehafteten Informationssignals folgende Einrichtungen aufweist: eine Einrichtung (34) zum Rücküberführen des Informationssignals von der modifizierten Spektral/Modulationsspektraldarstellung in eine modifizierte Zeit/Spektraldarstellung, um eine modifizierte Folge von Spektralwerten für die vorbestimmte Spektralkompo- nente zu erhalten; und eine Einrichtung (38) zum Rekombinieren der modifizierten Folge von Spektralwerten mit auf Phasen der Folge von Spektralwerten basierenden Phasen, um einen Teil einer Zeit/Spektraldarstellung des wasserzeichenbehafteten Informationssignals zu erhalten.
12. Vorrichtung gemäß Anspruch 1, bei der die Einrichtung (18, 20) zum Überführen des Informationssignals von der Zeitdarstellung in die Spektral/Modulationsspektraldarstellung folgende Merkmale aufweist: eine Blockbildungseinrichtung (18) zur Bildung einer Folge von Blöcken von Informationswerten aus dem Informationssignal; und eine Einrichtung (20) zum spektralen Zerlegen jedes der Folge von Blöcken von Informationswerten, um eine Folge von Spektralwertblöcken zu erhalten, wobei jeder Spektralwertblock einen Spektralwert für jede einer vorbestimmten Mehrzahl von Spektralkomponenten auf- weist, so dass die Folge von Spektralwertblöcken pro Spektralkomponente eine Folge von Spektralwerten bildet; und eine Einrichtung (26, 28; 212, 214, 28) zum spektralen Zerlegen einer vorbestimmten Folge der Folgen, um einen Block von Modulationswerten zu erhalten, wobei die Einrichtung (32, 216) zum Modifizieren ausgebildet ist, um den Block von Modulationswerten ab- hängig von dem einzubringenden Wasserzeichen zu modifizieren, um einen modifizierten Block von Modulationswerten zu erhalten, und die Einrichtung (34, 38, 40, 42; 34, 218, 40, 42) zum Bilden ausgebildet ist, um das wasserzeichenbehaftete Informationssignal ba- sierend auf dem modifizierten Block von Modulationswerten zu bilden.
13. Vorrichtung gemäß Anspruch 12, bei der die Einrichtung (34, 38, 40, 42; 34, 218, 40, 42) zum Bilden ausgebil- det ist, um den modifizierten Block von Modulationswerten von der spektralen Zerlegung rückzuüberführen (34, 38; 34, 218), um eine modifizierte Folge von Spektralwerten zu erhalten, und eine Folge von modifi- zierten Spektralblöcken, die auf der modifizierten Folge von Spektralwerten basiert, rückzuüberführen (40), um eine Folge von modifizierten Blöcken von Informationswerten zu erhalten, und die modifizierten Blöcke von Informationswerten zusammenzufügen (42), um das wasserzeichenbehaftete Informationssignal zu erhalten.
14. Vorrichtung gemäß einem der Ansprüche 12 bis 13, bei der die Blockbildungseinrichtung (18) ausgebildet ist, um die Blöcke von Informationswerten derart aus dem Informationssignal zu extrahieren, dass die Blöcke von Informationswerten sich gegenseitig um die Hälfte ü- berlappenden aufeinanderfolgenden Zeitabschnitten des Informationssignals zugeordnet sind, und die Einrichtung (42) zum Bilden ausgebildet ist, um beim Zusammenfügen die modifizierten Zeitblöcke gegenseitig um die Hälfte zu überlappen und zueinander ausgerichtete Informationswerte benachbarter Informationsblöcke zu kombinieren.
15. Vorrichtung gemäß einem der Ansprüche 12 bis 14, bei der die Einrichtung (20) zum spektralen Zerlegen jedes der Folge von Blöcken von Informationswerten derart ausgebildet ist, dass sie bei der spektralen Zerlegung pro Spektralkomponente eine Folge von komplexen Spektralwerten liefert, und die Einrichtung (26, 28) zum spektralen Zerlegen der vorbestimmten Folge der Folgen von Spektralwerten ausgebildet ist, um lediglich die Beträge der komplexen Spektralwerte spektral zu zerlegen (28), um den Block von Modulationswerten zu erhalten.
16. Vorrichtung gemäß Anspruch 15, bei der die Einrichtung zum Bilden ausgebildet ist, um den modifizierten Block von Modulationswerten von der spektralen Zerlegung rückzuüberführen (34) , um eine modifizierte Folge von Spektralwerten zu erhalten, Phasen der Folge von komplexen Spektralwerten abhängig von der Modifikation durch die Einrichtung zum Modifizieren anzupassen (36) , um eine Folge von angepassten Phasenwerten zu erhalten, die Folge von angepassten Phasenwerten mit der modifizierten Folge von Spektralwerten zu rekombinieren (38), um eine rekombinierte modifizierte Folge von Spektralwerten zu erhalten, und eine Folge von modifizierten Spektralwertblöcken rückzuüberführen (40), die auf der rekombinierten modifizierten Folge von Spektralwerten basiert, um die modifizierten Blöcke von Informationswerten zu erhalten.
17. Vorrichtung gemäß Anspruch 12, bei der die Einrichtung (20) zum spektralen Zerlegen jedes der Folge von Blö- cken von Informationswerten derart ausgebildet ist, dass sie bei der spektralen Zerlegung pro Spektralkomponente eine Folge von komplexen Spektralwerten liefert, und die Einrichtung (212, 214, 28) zum Überführen der vorbestimmten der Folgen von Spektralwerten in die Spektral/Modulationsspektraldarstellung ausgebildet ist, um zunächst die Folge von Spektralwerten derart zu manipulieren (212) , dass eine Phase der Spektralwerte der zumindest einen Folge von Spektralwerten um einen mit der Folge stetig größer werdenden oder kleiner werdenden Betrag vergrößert oder verkleinert wird, um eine phasenmanipulierte Folge von Spektralwerten zu erhalten, und dann die phasenmanipulierte Folge von Spektralwerten spektral zu zerlegen (28), um den zumindest einen Block von Modulationswerten zu er- halten, und die Einrichtung zum Bilden (34, 218, 40, 42) ausgebildet ist, um den modifizierten Block von Modulationswerten von der spektralen Zerlegung rückzuüberführen, um eine modifizierte Folge von Spektralwerten zu erhalten, die modifizierte Folge von Spekt- ralwerten umgekehrt zu der Einrichtung (212) zum spektralen Zerlegen der vorbestimmten der Folgen von Spektralwerten derart zu manipulieren (218), dass eine Phase der Spektralwerte der zumindest einen Folge von Spektralwerten um einen mit der Folge stetig größer werdenden oder kleiner werdenden Betrag vergrößert o- der verkleinert wird, um eine manipulierte Folge von Spektralwerten zu erhalten, eine Folge von modifizier- ten Spektralblöcken, die auf der modifizierten Folge von Spektralwerten basiert, rückzuüberführen (40) , um eine Folge von modifizierten Blöcken von Informationswerten zu erhalten, und die modifizierten Blöcke von Informationswerten zusammenzufügen (42) , um das was- serzeichenbehaftete Informationssignal zu erhalten.
18. Vorrichtung gemäß einem der vorhergehenden Ansprüche, bei der die Einrichtung (32; 216) zum Modifizieren an- gepasst ist, um die Modifikation an Stellen der Spekt- ral/Modulationsspektraldarstellung vorzunehmen, die zeitlich variieren.
19. Vorrichtung gemäß einem der vorhergehenden Ansprüche, bei der die Einrichtung (32; 216) zum Modifizieren an- gepasst ist, um die Modifikation abhängig von dem Informationssignal vorzunehmen.
20. Vorrichtung gemäß einem der vorhergehenden Ansprüche, bei der die Einrichtung (32; 216) zum Modifizieren angepasst ist, um die Modifikation derart vorzunehmen, dass aufgrund von psychoakustischen Verdeckungseffekten die Modifikation nicht zu einer hörbaren Veränderung des wasserzeichenbehafteten Informationssignals führt .
21. Vorrichtung gemäß einem der vorhergehenden Ansprüche, bei der das Wasserzeichen eine Urheberinformation, eine das Informationssignal kennzeichnende Kennnummer oder eine Kundennummer anzeigt.
22. Vorrichtung zum Extrahieren eines Wasserzeichens aus einem wasserzeichenbehafteten Informationssignal, mit einer Einrichtung (118, 120, 126, 128; 318, 320, 414, 412, 328) zum Überführen des wasserzeichenbehafteten Informationssignals von einer Zeitdarstellung in eine Spektral/ModulationsspektraldarStellung; einer Einrichtung (132; 332) zum Herleiten des Wasserzeichens basierend auf der Spektral/Modulationsspektraldarstellung.
23. Verfahren zum Einbringen eines Wasserzeichens in ein Informationssignal, mit
Überführen (18, 20, 26, 28; 18, 20, 212, 214, 28) des Informationssignals von einer Zeitdarstellung (22) in eine Spektral/Modulationsspektraldarstellung (30) ;
Modifizieren (32; 216) des Informationssignals in der Spektral/Modulationsspektraldarstellung abhängig von dem einzubringenden Wasserzeichen, um eine modifizier- te Spektral/Modulationsspektraldarstellung zu erhalten; und
Bilden (34, 38, 40, 42; 34, 218, 40, 42) eines wasserzeichenbehafteten Informationssignals basierend auf der modifizierten Spektral/Modulationsspektraldarstellung.
24. Verfahren zum Extrahieren eines Wasserzeichens aus einem wasserzeichenbehafteten Informationssignal, mit
Überführen (118, 120, 126, 128; 318, 320, 414, 412, 328) des wasserzeichenbehafteten Informationssignals von einer Zeitdarstellung in eine Spektral/Modulationsspe traldarstellung;
Herleiten (132; 332) des Wasserzeichens basierend auf der Spektral/Modulationsspektraldarsteilung.
5. Computer-Programm mit einem Programmcode zur Durchführung des Verfahrens nach Anspruch 23 oder 24, wenn das Computer-Programm auf einem Computer abläuft.
PCT/EP2005/002636 2004-04-30 2005-03-11 Wasserzeicheneinbettung WO2005109702A1 (de)

Priority Applications (13)

Application Number Priority Date Filing Date Title
EP05715993.1A EP1741215B1 (de) 2004-04-30 2005-03-11 Wasserzeicheneinbettung
PL05715993T PL1741215T3 (pl) 2004-04-30 2005-03-11 Osadzanie znaku wodnego
JP2007509900A JP5048478B2 (ja) 2004-04-30 2005-03-11 透かし埋め込み
BRPI0509819-0A BRPI0509819B1 (pt) 2004-04-30 2005-03-11 Integração de marca d' água
AU2005241609A AU2005241609B2 (en) 2004-04-30 2005-03-11 Watermark incorporation
MXPA06012550A MXPA06012550A (es) 2004-04-30 2005-03-11 Incrustacion de filigrana digital.
CA2564981A CA2564981C (en) 2004-04-30 2005-03-11 Watermark incorporation
CN2005800196764A CN1969487B (zh) 2004-04-30 2005-03-11 水印嵌入
ES05715993.1T ES2449043T3 (es) 2004-04-30 2005-03-11 Incrustación de filigrana digital
IL178929A IL178929A (en) 2004-04-30 2006-10-29 Watermark embedding
US11/554,492 US7676336B2 (en) 2004-04-30 2006-10-30 Watermark embedding
NO20065424A NO338923B1 (no) 2004-04-30 2006-11-24 Innlemming av vannmerke
HK07107275.4A HK1103320A1 (en) 2004-04-30 2007-07-06 Watermark incorporation

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102004021404.2 2004-04-30
DE102004021404A DE102004021404B4 (de) 2004-04-30 2004-04-30 Wasserzeicheneinbettung

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/554,492 Continuation US7676336B2 (en) 2004-04-30 2006-10-30 Watermark embedding

Publications (1)

Publication Number Publication Date
WO2005109702A1 true WO2005109702A1 (de) 2005-11-17

Family

ID=34961950

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2005/002636 WO2005109702A1 (de) 2004-04-30 2005-03-11 Wasserzeicheneinbettung

Country Status (17)

Country Link
US (1) US7676336B2 (de)
EP (1) EP1741215B1 (de)
JP (1) JP5048478B2 (de)
KR (3) KR20070015182A (de)
CN (1) CN1969487B (de)
AU (1) AU2005241609B2 (de)
BR (1) BRPI0509819B1 (de)
CA (1) CA2564981C (de)
DE (1) DE102004021404B4 (de)
ES (1) ES2449043T3 (de)
HK (1) HK1103320A1 (de)
IL (1) IL178929A (de)
MX (1) MXPA06012550A (de)
NO (1) NO338923B1 (de)
PL (1) PL1741215T3 (de)
RU (1) RU2376708C2 (de)
WO (1) WO2005109702A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11176952B2 (en) 2011-08-31 2021-11-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Direction of arrival estimation using watermarked audio signals and microphone arrays

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8306811B2 (en) * 1996-08-30 2012-11-06 Digimarc Corporation Embedding data in audio and detecting embedded data in audio
DE19947877C2 (de) * 1999-10-05 2001-09-13 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Einbringen von Informationen in einen Datenstrom sowie Verfahren und Vorrichtung zum Codieren eines Audiosignals
DE102004023436B4 (de) * 2004-05-10 2006-06-14 M2Any Gmbh Vorrichtung und Verfahren zum Analysieren eines Informationssignals
WO2006129293A1 (en) * 2005-06-03 2006-12-07 Koninklijke Philips Electronics N.V. Homomorphic encryption for secure watermarking
EP1764780A1 (de) * 2005-09-16 2007-03-21 Deutsche Thomson-Brandt Gmbh Blindes Wasserzeichen für Audio-Signale mittels Phasen-Änderungen
US20090271318A1 (en) * 2006-08-29 2009-10-29 Benjamin Filmalter Grobler Digital data licensing system
EP2015293A1 (de) * 2007-06-14 2009-01-14 Deutsche Thomson OHG Verfahren und Vorrichtung zur Kodierung und Dekodierung von Audiosignalen über adaptiv geschaltete temporäre Auflösung in einer Spektraldomäne
US8099285B2 (en) * 2007-12-13 2012-01-17 Dts, Inc. Temporally accurate watermarking system and method of operation
US20090265366A1 (en) * 2008-04-22 2009-10-22 Qualcomm Incorporated Opportunistic opinion score collection on a mobile device
CN101271690B (zh) * 2008-05-09 2010-12-22 中国人民解放军重庆通信学院 保护音频数据的音频扩频水印处理方法
JP5338170B2 (ja) * 2008-07-18 2013-11-13 ヤマハ株式会社 電子透かし情報の埋め込みおよび抽出を行う装置、方法およびプログラム
US9002487B2 (en) * 2008-08-14 2015-04-07 Sk Telecom Co., Ltd. System and method for data reception and transmission in audible frequency band
JP2011145541A (ja) 2010-01-15 2011-07-28 Yamaha Corp 再生装置、楽音信号出力装置、再生システム及びプログラム
EP2362387A1 (de) * 2010-02-26 2011-08-31 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Wasserzeichenerzeuger, Wasserzeichendecodierer, Verfahren zur Bereitstellung eines Wasserzeichensignals in Abhängigkeit binärer Benachrichtigungsdaten, Verfahren zur Bereitstellung binärer Benachrichtigungsdaten in Abhängigkeit eines Wasserzeichensignals und Computerprogramm mit differentieller Codierung
EP2362386A1 (de) * 2010-02-26 2011-08-31 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Wasserzeichenerzeuger, Wasserzeichendecodierer, Verfahren zur Bereitstellung eines Wasserzeichensignals in Abhängigkeit binärer Benachrichtigungsdaten, Verfahren zur Bereitstellung binärer Benachrichtigungsdaten in Abhängigkeit eines Wasserzeichensignals und Computerprogramm mit zweidimensionaler Bit-Verbreiterung
EP2362382A1 (de) * 2010-02-26 2011-08-31 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Wasserzeichensignalversorger und Verfahren zur Bereitstellung eines Wasserzeichensignals
JP5459069B2 (ja) * 2010-05-24 2014-04-02 ヤマハ株式会社 音声信号に埋め込まれた電子透かし情報を除去する装置、および音声信号に電子透かし情報を埋め込む装置
EP2431970A1 (de) * 2010-09-21 2012-03-21 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Wasserzeichengenerator, Wasserzeichendekodierer, Verfahren zur Bereitstellung eines mit einem Wasserzeichen markierten Signals basierend auf diskreten Datenwerten und Verfahren zur Bereitstellung von diskreten Datenwerten in Abhängigkeit eines mit einem Wasserzeichen markierten Signals
TWI457852B (zh) * 2011-11-22 2014-10-21 Univ Nat Taiwan Normal 文件複印後呈現內容意義改變之浮水印製作方法
US9305559B2 (en) 2012-10-15 2016-04-05 Digimarc Corporation Audio watermark encoding with reversing polarity and pairwise embedding
US9401153B2 (en) 2012-10-15 2016-07-26 Digimarc Corporation Multi-mode audio recognition and auxiliary data encoding and decoding
US9380383B2 (en) * 2013-09-06 2016-06-28 Gracenote, Inc. Modifying playback of content using pre-processed profile information
US9990928B2 (en) * 2014-05-01 2018-06-05 Digital Voice Systems, Inc. Audio watermarking via phase modification
EP2963645A1 (de) * 2014-07-01 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Rechner und Verfahren zur Bestimmung der Phasenkorrekturdaten für ein Audiosignal
US10262118B2 (en) * 2015-01-06 2019-04-16 Robert Antonius Adrianus Van Overbruggen Systems and methods for authenticating digital content
WO2016115483A2 (en) * 2015-01-15 2016-07-21 Hardwick John C Audio watermarking via phase modification
CN109983781B (zh) * 2016-10-27 2022-03-22 日商艾菲克泽股份有限公司 内容播放装置以及计算机可读存储介质
CN107375810A (zh) * 2017-08-03 2017-11-24 广河县盛和中医医院 一种专治男科阳痿早泄的组合物
CN109166570B (zh) * 2018-07-24 2019-11-26 百度在线网络技术（北京）有限公司 一种语音切分的方法、装置、设备和计算机存储介质
US11244692B2 (en) 2018-10-04 2022-02-08 Digital Voice Systems, Inc. Audio watermarking via correlation modification using an amplitude and a magnitude modification based on watermark data and to reduce distortion
CN111341329B (zh) * 2020-02-04 2022-01-21 北京达佳互联信息技术有限公司 水印信息添加方法、提取方法、装置、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020176353A1 (en) * 2001-05-03 2002-11-28 University Of Washington Scalable and perceptually ranked signal coding and decoding

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0519782A (ja) * 1991-05-02 1993-01-29 Ricoh Co Ltd 音声特徴抽出装置
US5173923A (en) * 1991-11-22 1992-12-22 Bell Communications Research, Inc. Spread-time code division multiple access technique with arbitrary spectral shaping
US5321497A (en) * 1992-03-09 1994-06-14 Wyko Corporation Interferometric integration technique and apparatus to confine 2π discontinuity
US5671168A (en) 1995-07-06 1997-09-23 Technion Research & Development Foundation Ltd. Digital frequency-domain implementation of arrays
EP0766468B1 (de) 1995-09-28 2006-05-03 Nec Corporation Verfahren und Vorrichtung zum Einfügen eines Spreizspektrumwasserzeichens in Multimediadaten
US6584138B1 (en) 1996-03-07 2003-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Coding process for inserting an inaudible data signal into an audio signal, decoding process, coder and decoder
DE19640814C2 (de) * 1996-03-07 1998-07-23 Fraunhofer Ges Forschung Codierverfahren zur Einbringung eines nicht hörbaren Datensignals in ein Audiosignal und Verfahren zum Decodieren eines nicht hörbar in einem Audiosignal enthaltenen Datensignals
US5724270A (en) 1996-08-26 1998-03-03 He Holdings, Inc. Wave-number-frequency adaptive beamforming
US5915027A (en) * 1996-11-05 1999-06-22 Nec Research Institute Digital watermarking
BR9812908B1 (pt) 1997-10-08 2009-08-11 método para proteger contra cópia um sinal de vìdeo digital; método de reproduzir um sinal de vìdeo protegido; gravador de vìdeo digital adaptado para um protocolo de copiar uma vez para um sinal de vìdeo; aparelho de codificação para proteger um sinal de vìdeo; método para habilitar a cópia de um sinal de vìdeo protegido; aparelho para habilitar a cópia de um sinal de vìdeo protegido e método de processar um sinal de vìdeo original para limitar a sua cópia.
US6330672B1 (en) * 1997-12-03 2001-12-11 At&T Corp. Method and apparatus for watermarking digital bitstreams
TW440819B (en) * 1998-03-18 2001-06-16 Koninkl Philips Electronics Nv Copy protection schemes for copy protected digital material
US6064764A (en) 1998-03-30 2000-05-16 Seiko Epson Corporation Fragile watermarks for detecting tampering in images
BR9910620A (pt) 1998-05-20 2001-01-30 Macrovision Corp Processo e aparelho para a detecção de marca d'água para escalas especìficas e deslocamentos arbitrários
US6073153A (en) * 1998-06-03 2000-06-06 Microsoft Corporation Fast system and method for computing modulated lapped transforms
US6725371B1 (en) * 1999-06-30 2004-04-20 Intel Corporation Secure packet processor
CN1327585A (zh) * 1999-07-02 2001-12-19 皇家菲利浦电子有限公司 根据灵活格式附加水印密钥
DE19947877C2 (de) 1999-10-05 2001-09-13 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Einbringen von Informationen in einen Datenstrom sowie Verfahren und Vorrichtung zum Codieren eines Audiosignals
US6725372B1 (en) 1999-12-02 2004-04-20 Verizon Laboratories Inc. Digital watermarking
JP3507743B2 (ja) * 1999-12-22 2004-03-15 インターナショナル・ビジネス・マシーンズ・コーポレーション 圧縮オーディオデータへの電子透かし方法およびそのシステム
AU2001231109A1 (en) 2000-01-24 2001-07-31 Businger, Peter A. Transform domain allocation for multimedia watermarking
JP3659321B2 (ja) * 2000-06-29 2005-06-15 インターナショナル・ビジネス・マシーンズ・コーポレーション 電子透かし方法およびそのシステム
DE60110086T2 (de) * 2000-07-27 2006-04-06 Activated Content Corp., Inc., Burlingame Stegotextkodierer und -dekodierer
CN100431355C (zh) * 2000-08-16 2008-11-05 多尔拜实验特许公司 响应补充信息修改音频或视频感知编码系统的一个或多个参数
US20020168082A1 (en) * 2001-03-07 2002-11-14 Ravi Razdan Real-time, distributed, transactional, hybrid watermarking method to provide trace-ability and copyright protection of digital content in peer-to-peer networks
US7006452B2 (en) 2001-05-22 2006-02-28 Intel Corporation Matching DSL data link layer protocol detection
DE10129239C1 (de) * 2001-06-18 2002-10-31 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Einbetten eines Wasserzeichens in ein Audiosignal
JP2003044067A (ja) * 2001-08-03 2003-02-14 Univ Tohoku 位相の周期偏移によるディジタルデータの埋めこみ・検出装置
US6963842B2 (en) * 2001-09-05 2005-11-08 Creative Technology Ltd. Efficient system and method for converting between different transform-domain signal representations
FR2834363B1 (fr) * 2001-12-27 2004-02-27 France Telecom Procede de caracterisation d'un signal sonore
US7243060B2 (en) 2002-04-02 2007-07-10 University Of Washington Single channel sound separation
WO2003096337A2 (en) 2002-05-10 2003-11-20 Koninklijke Philips Electronics N.V. Watermark embedding and retrieval
US7254500B2 (en) 2003-03-31 2007-08-07 The Salk Institute For Biological Studies Monitoring and representing complex signals

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020176353A1 (en) * 2001-05-03 2002-11-28 University Of Washington Scalable and perceptually ranked signal coding and decoding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
THOMPSON J K ET AL: "A non-uniform modulation transform for audio coding with increased time resolution", 2003 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING. PROCEEDINGS. (ICASSP). HONG KONG, APRIL 6 - 10, 2003, IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING (ICASSP), NEW YORK, NY : IEEE, US, vol. VOL. 1 OF 6, 6 April 2003 (2003-04-06), pages V397 - V400, XP010639292, ISBN: 0-7803-7663-3 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11176952B2 (en) 2011-08-31 2021-11-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Direction of arrival estimation using watermarked audio signals and microphone arrays

Also Published As

Publication number Publication date
KR20080094851A (ko) 2008-10-24
DE102004021404A1 (de) 2005-11-24
US7676336B2 (en) 2010-03-09
JP2007535699A (ja) 2007-12-06
AU2005241609A1 (en) 2005-11-17
NO20065424L (no) 2007-01-31
CN1969487B (zh) 2011-08-17
PL1741215T3 (pl) 2014-05-30
EP1741215A1 (de) 2007-01-10
RU2006142304A (ru) 2008-06-10
IL178929A (en) 2011-03-31
CN1969487A (zh) 2007-05-23
EP1741215B1 (de) 2013-12-25
RU2376708C2 (ru) 2009-12-20
KR20080081098A (ko) 2008-09-05
DE102004021404B4 (de) 2007-05-10
ES2449043T3 (es) 2014-03-18
KR20070015182A (ko) 2007-02-01
US20080027729A1 (en) 2008-01-31
AU2005241609B2 (en) 2008-01-10
BRPI0509819A (pt) 2007-09-18
HK1103320A1 (en) 2007-12-14
MXPA06012550A (es) 2006-12-15
CA2564981C (en) 2011-12-06
JP5048478B2 (ja) 2012-10-17
CA2564981A1 (en) 2005-11-17
IL178929A0 (en) 2007-03-08
BRPI0509819B1 (pt) 2023-10-03
NO338923B1 (no) 2016-10-31
KR100902910B1 (ko) 2009-06-15

Similar Documents

Publication Publication Date Title
EP1741215B1 (de) Wasserzeicheneinbettung
EP2240929B1 (de) Vorrichtung und verfahren zum synchronisieren von mehrkanalerweiterungsdaten mit einem audiosignal und zum verarbeiten des audiosignals
DE60114638T2 (de) Modulation eines oder mehrerer parameter in einem wahrnehmungsgebundenen audio- oder video-kodiersystem in antwort auf zusätzliche information
EP2240928B1 (de) Vorrichtung und verfahren zum berechnen eines fingerabdrucks eines audiosignals, vorrichtung und verfahren zum synchronisieren und vorrichtung und verfahren zum charakterisieren eines testaudiosignals
DE69434237T2 (de) Video mit versteckten in-Band digitalen Daten
DE69637340T2 (de) Steganographisches verfahren und steganografische vorrichtung
DE19947877C2 (de) Verfahren und Vorrichtung zum Einbringen von Informationen in einen Datenstrom sowie Verfahren und Vorrichtung zum Codieren eines Audiosignals
DE602004005197T2 (de) Vorrichtung und verfahren zum kodieren eines audiosignals und vorrichtung und verfahren zum dekodieren eines kodierten audiosignals
EP1495445B1 (de) Verfahren und vorrichtung zum einbetten und extrahieren von wasserzeicheninformationen
WO2005109240A1 (de) Informationssignalverarbeitung durch modifikation in der spektral-/modulationsspektralbereichsdarstellung
EP1016319A1 (de) Verfahren und vorrichtung zum codieren eines zeitdiskreten stereosignals
DE602004009926T2 (de) Vorrichtung und verfahren zum einbetten eines wasserzeichens unter verwendung von subbandfilterung
EP1604527B1 (de) Vorrichtung und verfahren zum einbetten einer binären nutzinformation in ein trägersignal
DE69931932T2 (de) Verfahren und Vorrichtung zum Dekodieren und Einfügen eines Wasserzeichens in einen Datenstrom
WO2008037727A2 (de) Verfahren und vorrichtung zum erstellen eines kodierschlüssels, sowie verwendung des verfahrens und verarbeitungsmittel zur verwendung des kodierschlüssels
WO2002080415A2 (de) Verfahren und vorrichtung zum ermitteln von in ein audiosignal eingebrachten informationen und verfahren und vorrichtung zum einbringen von informationen in ein audiosignal
DE102006021865A1 (de) Nummerngenerator

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DPEN Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2005715993

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 178929

Country of ref document: IL

WWE Wipo information: entry into national phase

Ref document number: PA/a/2006/012550

Country of ref document: MX

Ref document number: 2564981

Country of ref document: CA

Ref document number: 2007509900

Country of ref document: JP

Ref document number: 1020067022604

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 3163/KOLNP/2006

Country of ref document: IN

WWW Wipo information: withdrawn in national office

Ref document number: DE

WWE Wipo information: entry into national phase

Ref document number: 2005241609

Country of ref document: AU

ENP Entry into the national phase

Ref document number: 2005241609

Country of ref document: AU

Date of ref document: 20050311

Kind code of ref document: A

WWP Wipo information: published in national office

Ref document number: 2005241609

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 2006142304

Country of ref document: RU

WWE Wipo information: entry into national phase

Ref document number: 200580019676.4

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2005715993

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020067022604

Country of ref document: KR

ENP Entry into the national phase

Ref document number: PI0509819

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 2005241609

Country of ref document: AU

Date of ref document: 20050311

Kind code of ref document: B

WWP Wipo information: published in national office

Ref document number: 11554492

Country of ref document: US