-
Die
vorliegende Erfindung betrifft das Gebiet der Sprachsynthese, und
insbesondere das Verbessern des Ausdrucks von durch einen Sprachsynthesizer
erzeugten Sprachtönen.
-
In
den letzten paar Jahren gab es einen enormen Fortschritt in der
Entwicklung von Sprachsynthesizern, insbesondere im Zusammenhang
von Text-Sprache (TTS)-Synthesizern.
Es gibt zwei Hauptgrundansätze
für Sprachsynthese,
der Probenansatz (manchmal als der Verkettungs- oder Doppelphonbasis-Ansatz
bezeichnet) und der Quellenfilter- (oder „artikulierte") Ansatz. Diesbezüglich siehe „Computer
Sound Synthesis for the Electronic Musician" von E. R. Miranda, Focal Press, Oxford,
UK, 1998.
-
Der
Probenansatz macht Gebrauch von einer Indexdatenbank von digital
aufgezeichneten, kurzen gesprochenen Segmenten, wie zum Beispiel
Silben. Wenn es gewünscht
ist, eine Sprache zu erzeugen, setzt dann eine Wiedergabemaschine
die erforderlichen Worte durch fortlaufendes Kombinieren der geeigneten
aufgezeichneten kurzen Segmente zusammen. In bestimmten Systemen
wird eine Form von Analyse an den aufgezeichneten Tönen durchgeführt, um
sie effektiver in der Datenbasis darstellen zu können. In anderen Fällen werden
die kurzen gesprochenen Segmente in codierter Form aufgezeichnet:
zum Beispiel sind in den US-Patenten 3,982,070 und 3,995,116 die
gespeicherten Signale die durch einen Phasenvocoder erforderlichen
Koeffizienten, um die fraglichen Töne wieder zu erzeugen.
-
Der
Probenansatz zur Sprachsynthese ist der Ansatz, der im Allgemeinen
für aufbauende TTS-Systeme
bevorzugt ist, und tatsächlich
ist er die Kerntechnik, die von den meisten Computersprachsystemen
derzeit auf dem Markt benutzt wird.
-
Der
Quellenfilteransatz erzeugt Töne
ohne Vorgabe durch Nachahmen der Funktion des menschlichen Vokaltrakts – siehe 1.
Das Quellenfiltermodell basiert auf der Einsicht, dass die Erzeugung
von Sprachtönen
durch Erzeugen eines Rohquellsignals simuliert werden kann, das
anschließend
durch eine komplexe Filteranordnung geformt wird. In diesem Zusammenhang
siehe zum Beispiel „Software
for a Cascade/Parallel Formant Synthesiser" von D. Klatt aus dem Journal of the
Acoustical Society of America, 63(2), Seiten 971–995, 1980.
-
Beim
Menschen entspricht die Rohtonquelle dem Ergebnis von durch die
Stimmritze (Öffnung
zwischen den Stimmbändern)
erzeugten Schwingungen, und das komplexe Filter entspricht der Vokaltrakt"röhre". Das komplexe Filter kann auf verschiedene
Weisen verwirklicht sein. Allgemein wird der Vokaltrakt als ein
Rohr (mit einem Seitenzweig für
die Nase) angesehen, der in eine Anzahl Querschnitte unterteilt
ist, deren einzelne Resonanzen durch die Filter simuliert werden.
-
Um
die Bestimmung der Parameter dieser Filter zu vereinfachen, ist
das System normalerweise mit einer Schnittstelle eingerichtet, die
Artikulationsinformationen (z.B. die Position der Zunge, des Kiefers
und der Lippen während
einer Äußerung von
bestimmten Tönen)
in Filterparameter umsetzt; damit der Grund, warum das Quellenfiltermodell
manchmal als das Artikulationsmodell bezeichnet wird (siehe „Articulatory
Model for the Study of Speech Production" von P. Mermelstein aus dem Journal
of the Acoustical Society of America, 53(4), Seiten 1070–1082, 1973). Äußerungen
werden dann erzeugt, indem dem Programm gesagt wird, wie es sich von
einem Satz von Artikulationspositionen zum nächsten bewegen muss, ähnlich einer
optischen Schlüsselbildanimation.
Mit anderen Worten steuert eine Steuereinheit das Erzeugen einer
synthetisierten Aussprache durch Setzen der Parameter der Tonquelle(n)
und der Filter für
jede einer Abfolge von Zeitdauern in einer Art und Weise, die angibt,
wie sich das System von einem Satz von „Artikulationspositionen" und Tonquellen in
aufeinander folgenden Zeitdauern zum nächsten bewegt.
-
Es
gibt einen Bedarf für
einen verbesserten Sprachsynthesizer zur Verwendung bei der Forschung
nach Grundmechanismen von Sprachentwicklung. Eine solche Forschung
wird zum Beispiel durchgeführt,
um die sprachlichen Möglichkeiten
von Computer- und Robotersystemen zu verbessern. Einer dieser Grundmechanismen
enthält
das Aufkommen von phonetischen und prosodischen Repertoires. Das Studium
dieser Mechanismen erfordert einen Sprachsynthesizer, der in der
Lage ist, i) evolutionäre
Forschungsparadigmen, wie beispielsweise Selbstorganisation und
Modularität
zu unterstützen, ii)
eine einheitliche Form von Wissensdarstellung für sowohl Spracherzeugung als
auch -wahrnehmung zu unterstützen
(um so in der Lage zu sein, die Annahme zu unterstützen, dass
die Fähigkeiten,
zu sprechen und zuzuhören,
die gleichen sensomotorischen Mechanismen teilen), und iii) ausdrucksvoll
zu sprechen und zu singen (einschließlich emotionalen und paralinguistischen
Merkmalen).
-
Synthesizer
basierend auf dem Probenansatz erfüllen keine der drei oben angegebenen Grundbedürfnisse.
Der Quellenfilteransatz ist dagegen mit den obigen Anforderungen
i) und ii) kompatibel, aber die Systeme, die bisher vorgeschlagen
wurden, müssen
verbessert werden, um die Anforderung iii) bestens zu erfüllen.
-
Der
Erfinder hat herausgefunden, dass die in herkömmlichen Sprachsynthesizern
benutzte Artikulationssimulation basierend auf dem Quellenfilteransatz
für den
Filterteil des Synthesizers zufriedenstellend arbeitet, aber die
Verbesserung des Quellensignals wurde stark übersehen. Wesentliche Verbesserungen
in der Qualität
und Flexibilität
von Quellenfiltersynthese können
erzielt werden, indem man sich der Wichtigkeit der Stimmritze sorgfältiger zuwendet.
-
Die
Standardpraxis besteht darin, die zwei Generatoren benutzende Quellenkomponente
einzusetzen: einen Generator weißen Rauschens (um die Erzeugung
von Konsonanten zu simulieren) und einen Generator eines periodischen
harmonischen Impulses (um die Erzeugung von Vokalen zu simulieren).
Der allgemeine Aufbau eines Sprachsynthesizers dieses herkömmlichen
Typs ist in 2 veranschaulicht. Durch sorgfältiges Steuern
der Signalgröße, die
jeder Generator an die Filter sendet, kann man grob simulieren,
ob die Stimmbänder
gespannt sind (für
Vokale) oder nicht (für
Konsonanten). Die Hauptbeschränkungen
dieses Verfahrens sind:
- a) Das Mischen des
Rauschsignals mit dem Impulssignal klingt nicht realistisch: die
Rausch- und Impulssignale vermischen sich nicht gut, weil sie von
komplett unterschiedlicher Natur sind. Außerdem erzeugt das schnelle
Wechseln von Rauschen zu Impuls und umgekehrt (notwendig zum Bilden
von Wörtern
mit Konsonanten und Vokalen) häufig
eine „brummende" Stimme.
- b) Das Spektrum des Impulssignals besteht aus Oberwellen seiner
Grundfrequenz (d.h. FO, 2·FO, 2·(2·FO), 2·(2·(2·FO)),
usw.). Dies impliziert ein Wellensignal, dessen Komponenten vor
dem Eintritt in die Filter nicht variieren können, wodurch die Timbrequalität der Stimme
zurückgehalten wird.
- c) Das Spektrum des Impulssignals hat eine feste Hüllkurve,
wo die Energie jeder ihrer Oberwellen exponential um –6 dB bei
einer Verdopplung der Frequenz sinkt. Ein Quellensignal, das immer
die gleiche spektrale Form hat, schwächt die Flexibilität, Tonnuancen
in der Stimme zu erzeugen. Auch Hochfrequenzformanten werden beeinträchtigt,
falls sie einen höheren
Energiewert als die niedrigeren haben müssen.
- d) Zusätzlich
zu b) und c) oben fehlt dem Spektrum des Quellensignals eine dynamische
Trajektorie: beide Frequenzabstände
zwischen den spektralen Komponenten und ihre Amplituden sind vom
Ursprung zum Ende einer gegebenen Zeitdauer statisch. Dieses Fehlen
von zeitvariablen Attributen lässt
die Prosodie der synthetisierten Sprache verarmen.
-
Ein
spezieller Sprachsynthesizer basierend auf dem Quellfilteransatz
wurde in dem US-Patent 5,528,726 (Cook) vorgeschlagen, bei dem verschiedene
Stimmritzenquellsignale synthetisiert werden. Bei diesem Sprachsynthesizer
benutzt die Filteranordnung ein digitales Wellenleiternetz, und
es wird eine Parameterbibliothek eingesetzt, welche Sätze von
Wellenleiterverbindungssteuerparametern und zugehörigen Stimmritzenquellsignalparametern
zum Erzeugen von Sätzen
vordefinierter Sprachsignale speichert. In diesem System wird der
Basisstimmritzenimpuls, der die verschiedenen Stimmritzenquellsignale
bildet, durch eine Signalform angenähert, welche als eine erhöhte Kosinusform
beginnt, aber sich dann in einem gradlinigen Abschnitt (abschließende Kante)
fortsetzt, die zu Null herunterführt
und für
den Rest der Dauer bei Null bleibt. Die verschiedenen Stimmritzenquellsignale
werden durch Variieren der Anfangs- und Endpunkte der abschließenden Kante
mit einer festen Öffnungssteigung
und einer festen Zeit gebildet. Anstatt Darstellungen dieser verschiedenen
Stimmritzenquellsignale zu speichern, speichert das Cook-System
Parameter einer Fourier-Reihendarstellung der verschiedenen Quellsignale.
-
Obwohl
das Cook-System eine Synthese verschiedener Arten eines Stimmritzenquellsignals basierend
auf in eine Bibliothek gespeicherten Parametern beinhaltet, werden
im Hinblick auf ein nachfolgendes Filtern durch eine den Vokaltrakt
nachbildende Anordnung die verschiedenen Arten von Quellsignalen
basierend auf einem einzelnen Zyklus einer jeweiligen Basisimpulsform
erzeugt, die von einer erhöhten
Kosinusfunktion abgeleitet ist. Wichtiger gibt es keine Optimierung
der verschiedenen Arten des Quellsignals im Hinblick auf eine Verbesserung
der Ausdrucksweise des fertigen Tonsignalausgangs aus dem Synthesizer
des Stimmritzenquellfiltertyps.
-
Die
bevorzugten Ausführungsbeispiele
der vorliegenden Erfindung, wie sie in den Ansprüchen 1 und 7 beansprucht sind,
sehen ein Verfahren und eine Vorrichtung zur Sprachsynthese vor,
die geeignet sind, alle obigen Anforderungen i) bis iii) zu erfüllen und
die obigen Einschränkungen
a) bis d) zu vermeiden. Insbesondere verbessern die bevorzugten Ausführungsbeispiele
der Erfindung den Ausdruck der synthetisierten Sprache (obige Anforderung
iii)), indem von einer Parameterbibliothek von Quelltonkategorien,
die jeweils einer jeweiligen morphologischen Kategorie entsprechen,
Gebrauch gemacht wird.
-
Die
bevorzugten Ausführungsbeispiele
der vorliegenden Erfindung sehen ferner ein Verfahren und eine Vorrichtung
zur Sprachsynthese vor, bei denen die Quellsignale auf Signalformen
variabler Länge
basieren, insbesondere auf Signalformen entsprechend einem kurzen
Segment eines Tons, das mehr als einen Zyklus einer Wiederholungssignalform
im Wesentlichen irgendeiner Form enthalten kann.
-
Die
bevorzugten Ausführungsbeispiele
der vorliegenden Erfindung sehen noch weiter ein Verfahren und eine
Vorrichtung zur Sprachsynthese vor, bei denen die Quelltonkategorien
basierend auf einer Analyse einer realen Sprache abgeleitet werden.
-
In
den bevorzugten Ausführungsbeispielen der
vorliegenden Erfindung wird die Quellkomponente eines Synthesizers
basierend auf dem Quellfilteransatz durch Ersetzen des herkömmlichen
Impulsgenerators durch eine Bibliothek von Quelltonkategorien auf
morphologischer Basis, die wiederhergestellt werden können, um Äußerungen
zu erzeugen, verbessert. Die Bibliothek speichert Parameter betreffend
verschiedener Kategorien von Quellen, die für jeweilige spezielle Klassen
von Äußerungen
passend gemacht sind, entsprechend der allgemeinen Morphologie dieser Äußerungen.
Beispiele typischer Klassen sind „plosiver Konsonant zu offenem
Vokal", „vorderer
Vokal zu hinterem Vokal",
ein besonders emotionales Timbre, usw.. Der allgemeine Aufbau dieser
Art eines Sprachsynthesizers gemäß der Erfindung
ist in 3 angegeben.
-
Sprachsyntheseverfahren
und -vorrichtungen gemäß der vorliegenden
Erfindung ermöglichen eine
in der Gleichmäßigkeit
der synthetisierten Äußerungen
zu erzielende Verbesserung, weil Konsonanten und Vokale darstellende
Signale beide von dem gleichen Quelltyp abstammen (anstatt von einer Rausch-
und/oder Impulsquelle).
-
Gemäß der vorliegenden
Erfindung ist es bevorzugt, dass die Bibliothek „parametrisch" sein sollte, mit
anderen Worten sind die gespeicherten Parameter nicht die Töne selbst,
sondern Parameter für die
Tonsynthese. Die resynthetisierten Tonsignale werden dann als die
Rohtonsignale verwendet, welche der komplexen Filteranordnung eingegeben
werden, die den Vokaltrakt nachbildet. Die gespeicherten Parameter
werden aus einer Sprachanalyse abgeleitet und diese Parameter können vor
der Resynthese auf verschiedene Weise manipuliert werden, um eine bessere
Leistung und ausdrucksstärkere
Variationen zu erzielen.
-
Die
gespeicherten Parameter können
Phasenvocodermodulkoeffizienten (zum Beispiel Koeffizienten für einen
digitalen Nachführungsphasenvocoder
(TPV) oder einen „Oszillatorbank"-Vocoder) sein, die
aus der Analyse von realen Sprachdaten abgeleitet sind. Die Resynthese
der Rohtonsignale durch den Phasenvocoder ist eine Art einer additiven Resynthese,
die Tonsignale durch Umsetzen von STFT-Daten in Amplituden- und
Frequenztrajektorien (oder Hüllkurven)
erzeugt [siehe das oben zitierte Buch von E. R. Miranda]. Der Ausgang
von dem Phasenvocoder wird der Filteranordnung zugeführt, welche
den Vokaltrakt simuliert.
-
Der
Einsatz der Bibliothek als eine Parameterbibliothek ermöglicht eine
größere Flexibilität bei der
Sprachsynthese. Insbesondere können
die Quellsynthese koeffizienten manipuliert werden, um verschiedene
Stimmritzenqualitäten
zu simulieren. Außerdem
können
die Spektraltransformationen auf der Basis des Phasenvocoders an
den gespeicherten Koeffizienten vor einer Resynthese des Quelltons gemacht
werden, wodurch es möglich
gemacht wird, eine reichere Prosodie zu erzeugen.
-
Es
ist auch vorteilhaft, Transformationen auf Zeitbasis an dem resynthetisierten
Quellsignal zu realisieren, bevor es der Filteranordnung zugeleitet wird.
Insbesondere kann die Ausdrucksstärke des fertigen Sprachsignals
durch Modifizieren der Art, in welcher die Tonhöhe des Quellsignals über die
Zeit variiert (und somit Modifizieren der „Intonation" des fertigen Sprachsignals)
verbessert werden. Die bevorzugte Technik zum Erzielen dieser Tonhöhentransformation
ist die Technik einer synchronen Überlappung und Zugabe von Tonhöhen (PSOLA).
-
Weitere
Merkmale und Vorteile der vorliegenden Erfindung werden aus der
folgenden Beschreibung eines durch die beiliegenden Zeichnungen
veranschaulichten, beispielhaften bevorzugten Ausführungsbeispiels
davon klar. Dabei zeigen:
-
1 das
Prinzip hinter der Quellfilter-Sprachsynthese;
-
2 ein
Blockschaltbild des allgemeinen Aufbaus eines herkömmlichen
Sprachsynthesizers nach dem Quellfilteransatz;
-
3 ein
Blockschaltbild des allgemeinen Aufbaus eines Sprachsynthesizers
gemäß den bevorzugten
Ausführungsbeispielen
der vorliegenden Erfindung;
-
4 ein
Flussdiagramm der Hauptschritte in dem Prozess des Bildens der Quelltonkategoriebibliothek
gemäß den bevorzugten
Ausführungsbeispielen
der Erfindung;
-
5 schematisch,
wie ein Quelltonsignal (geschätztes
Stimmritzensignal) durch inverses Filtern erzeugt wird;
-
6 ein
Flussdiagramm der Hauptschritte in dem Prozess zum Erzeugen von
Quelltönen
gemäß bevorzugten
Ausführungsbeispielen
der Erfindung;
-
7 schematisch
eine Sinuszugabetechnik, die durch eine in bevorzugten Ausführungsbeispielen
der Erfindung benutzte Oszillatorbank realisiert wird; und
-
8 einige
verschiedene Arten von Transformationen, die auf die gemäß dem bevorzugten Ausführungsbeispiel
der vorliegenden Erfindung definierten Stimmritzenquellkategorien
angewendet werden können,
wobei
-
8a) eine spektrale Zeitdehnung zeigt,
-
8b) eine spektrale Verschiebung zeigt, und
-
8c) eine spektrale Streckung zeigt.
-
Wie
oben erwähnt,
ist bei dem Sprachsyntheseverfahren und der Sprachsynthesevorrichtung gemäß bevorzugten
Ausführungsbeispielen
der Erfindung die herkömmliche
Tonquelle eines Quellfilter-Synthesizers durch eine Parameterbibliothek
von Tonquellkategorien auf morphologischer Basis ersetzt.
-
Irgendeine
passende Filteranordnung, wie beispielsweise ein Wellenleiter- oder
ein Bandpassfilter, welche den Vokaltrakt nachbildet, kann benutzt werden,
um den Ausgang von dem Quellmodul gemäß der vorliegenden Erfindung
zu verarbeiten. Optional kann die Filteranordnung nicht nur die
Antwort des Vokaltrakts nachbilden, sondern kann auch die Art berücksichtigen,
in welcher der Ton vom Kopf abstrahlt. Die entsprechenden herkömmlichen
Techniken können
genutzt werden, um die Parameter der Filter in der Filteranordnung
zu steuern. Siehe zum Beispiel den oben zitierten Klatt.
-
Die
bevorzugten Ausführungsbeispiele
der Erfindung verwenden jedoch die Hohlleiterkettentechnik (siehe
zum Beispiel „Waveguide
Filter Tutorial" von
J. O. Smith aus den Proceedings of the international Computer Music
Conference, Seiten 9–16, Urbana
(IL):ICMA, 1987) wegen ihrer Fähigkeit, nicht-lineare
Vokaltraktverluste in das Modell zu integrieren (z.B. die Viskosität und die
Elastizität
der Traktwände).
Dies ist eine wohlbekannte Technik, die zum Simulieren des Körpers von
ver schiedenen Blasmusikinstrumenten, einschließlich dem Vokaltrakt (siehe „Towards
the Perfect Audo Morph? Singing Voice Synthesis and Processing" von P. R. Cook,
aus DAFX98 Proceedings, Seiten 223–230, 1998) erfolgreich eingesetzt
worden ist.
-
Beschreibungen
geeigneter Filteranordnungen und deren Steuerung sind in der Literatur
auf diesem Gebiet einfach erhältlich,
und so werden hier keine weiteren Details davon gegeben.
-
Das
Aufbauen der Parameterbibliothek der Quelltonkategorien und deren
Verwendung bei der Erzeugung von Quelltönen in den bevorzugten Ausführungsbeispielen
der Erfindung werden nachfolgend Bezug nehmend auf 4 bis 8 beschrieben.
-
4 zeigt
die beim Aufbauen der Parameterbibliothek von Quelltonkategorien
gemäß den bevorzugten
Ausführungsbeispielen
der vorliegenden Erfindung involvierten Schritte. In dieser Figur
sind Positionen in Rechtecken Prozesse, während in Ellipsen eingeschlossene
Positionen von jeweiligen Prozessen eingegebene/ausgegebene Signale
sind.
-
Wie 4 zeigt,
werden die gespeicherten Signale in den bevorzugten Ausführungsbeispielen wie
folgt abgeleitet: ein echter Stimmton wird erfasst (1)
und invers gefiltert (2), um die Artikulationseffekte abzuziehen,
welche der Vokaltrakt auf das Quellsignal gelegt haben würde [siehe „SPASM:
A Real-time Vocal Tract Physical Model Editor/Controller and Singer" von P. R. Cook in
Computer Music Journal, 17(1), Seiten 30–42, 1993]. Der Grund hinter
dem inversen Filtern ist, dass, falls eine Äußerung ωh das Ergebnis
eines durch ein Filter mit einem Frequenzgang ϕh gefalteten Quellstroms Sh ist
(siehe 1), es dann möglich
ist, eine Näherung
des Quellstroms durch Entfalten der Äußerung abzuschätzen: ωh = Shϕh → Sh = Erreur!
-
Die
Entfaltung kann mittels irgendeiner passenden Technik erzielt werden,
wie zum Beispiel Autoregressionsverfahren wie beispielsweise Cepstrum und
ein lineares prädiktives
Codieren (LPC):
wobei i der i-te Filterkoeffizient
ist, p die Anzahl von Filtern ist, und n
t ein
Rauschsignal ist. Siehe „The Computer
Music Tutorial" von
Curtis Roads, MIT Press, Cambridge, Massachusetts, USA, 1996.
-
5 zeigt,
wie der Prozess des inversen Filterns dem Erzeugen eines geschätzten Stimmritzensignals
dient (Position 3 in 4).
-
Das
geschätzte
Stimmritzensignal wird einer morphologischen Kategorie zugeordnet
(4), welche generische Äußerungsformen
beinhaltet: z.B. „plosiver
Konsonant zu hinterem Vokal", „vorderer
zu hinterer Vokal",
einen gewissen emotionalen Timbre, usw.. Für eine gegebene Form (zum Beispiel
einen bestimmten geflüsterten
Vokal) wird ein diese Form darstellendes Signal durch Mitteln der
geschätzten Stimmritzenvokalsignale,
die aus einem inversen Filtern verschiedener Äußerungen der jeweiligen Form resultieren,
berechnet (5). Das geschätzte Stimmritzensignal wird
ein kurzes Tonsegment einer variablen Länge sein, wobei die Länge jene
ist, die zum Charakterisieren der fraglichen glottalen morphologischen
Kategorie notwendig ist. Das eine gegebene Form darstellende Bemittelte
Signal wird hier als eine „Stimmritzensignalkategorie" bezeichnet (6).
-
Zum
Beispiel werden verschiedene Fälle
von der Silbe /pa/ wie in „park" und der Silbe /pe/
wie in „pedestrian", usw. dem System
eingegeben und das System bildet eine Kategoriedarstellung aus diesen Beispielen.
In diesem speziellen Beispiel könnte
die erzeugte Kategoriedarstellung „plosiver zu offener Vokal" gekennzeichnet werden.
Wenn ein spezielles Beispiel eines „plosiver zu offener Vokal" – Tons synthetisiert werden
soll, zum Beispiel der Ton /pa/, wird ein Quellsignal durch Zugreifen
auf die in der Bibliothek gespeicherte Kategoriedarstellung „plosiver
zu offener Vokal" erzeugt.
Die Parameter der Filter in der Filteranordnung sind in einer herkömmlichen
Weise gesetzt, um so auf dieses Quellsignal eine Transformationsfunktion
anzuwenden, welche in dem gewünschten
speziellen Ton /pa/ resultieren wird.
-
Die
Stimmritzensignalkategorien können
in der Bibliothek ohne weitere Verarbeitung gespeichert werden.
Es ist jedoch vorteilhaft, nicht die Kategorien (Quelltonsignale)
selbst, sondern codierte Versionen davon zu speichern. Insbesondere
wird gemäß bevorzugten
Ausführungsbeispielen
der Erfindung jede Stimmritzensignalkategorie mittels eines Short
Time Fourier Transformation (STFT) – Algorithmus analysiert (7 in 4),
um Koeffizienten zu erzeugen (8), die für eine Resynthese des ursprünglichen
Quelltonsignals verwendet werden können, bevorzugt mittels eines
Phasenvocoders. Diese Resynthesekoeffizienten werden dann in einer
Stimmritzenquellbibliothek (9) für ein nachfolgendes Wiederherstellen
während des
Syntheseprozesses, um das jeweilige Tonsignal zu erzeugen, gespeichert.
-
Die
STFT-Analyse bricht die Stimmritzensignalkategorie in überlappende
Segmente herunter und formt jedes Segment mit einer Hüllkurve:
wobei χ
m das
Eingangssignal ist, h
n-m das zeitverschobene
Fenster ist, n ein diskretes Zeitintervall ist, k der Index für das Frequenzfach
ist, N die Anzahl von Punkten im Spektrum (oder die Länge des
Analysefensters) ist und X
(m,k) die Fourier-Transformation des
gefensterten Eingangs in dem diskreten Zeitintervall n für das Frequenzfach
k ist (siehe das oben zitierte „Computer Music Tutorial").
-
Die
Analyse ergibt eine Darstellung des Spektrums in Termen von Amplituden
und Frequenzkategorien (mit anderen Worten die Art, in welcher die
Frequenzen der Teile (Frequenzkomponenten) des Tons sich mit der
Zeit ändern),
welche die Resynthesekoeffizienten bilden, die in der Bibliothek
gespeichert werden.
-
Wie
bei herkömmlichen
Synthesizern des Quellfiltertyps wird, wenn eine Äußerung in
den Verfahren und Vorrichtungen gemäß der vorliegenden Erfindung
synthetisiert werden soll, diese Äußerung in eine Folge von Komponententönen heruntergebrochen,
welche nacheinander ausgegeben werden müssen, um die fertige Äußerung in
ihrer Gesamtheit zu erzeugen. Um die erforderliche Folge von Tönen am Ausgang
der den Vokaltrakt nachbildenden Filteranordnung zu erzeugen, ist
es notwendig, dieser Filteranordnung einen geeigneten Quellstrom
einzugeben. 6 zeigt die Hauptschritte des
Prozesses zum Erzeugen eines Quellstroms gemäß den bevorzugten Ausführungsbeispielen
der Erfindung.
-
Wie
in 6 dargestellt, ist es zuerst notwendig, die in
der Äußerung enthaltenen
Töne zu identifizieren
und die zu den Tönen
der jeweiligen Klassen gehörenden
Codes aus der Bibliothek von Quelltonkategorien wiederherzustellen
(21). Diese Codes bilden die Koeffizienten einer Resynthesevorrichtung
(z.B. eines Phasenvocoders) und können theoretisch direkt dieser
Vorrichtung zugeleitet werden, um das fragliche Quelltonsignal wieder
zu erzeugen (27). Die in den bevorzugten Ausführungsbeispielen
der Erfindung verwendete Resynthesevorrichtung ist ein Phasenvocoder,
der eine Sinuszugabetechnik benutzt, um den Quellstrom zu synthetisieren.
Mit anderen Worten treiben die aus der Stimmritzenquellbibliothek
wiederhergestellten Amplituden und Frequenztrajektorien eine Bank
von Oszillatoren an, die jeweils eine jeweilige Sinuswelle ausgeben, wobei
diese Wellen aufsummiert werden, um das fertige Ausgangsquellsignal
zu erzeugen (siehe 7).
-
Beim
Synthetisieren einer Äußerung,
die aus einer Folge von Tönen
zusammengesetzt ist, wird eine Interpolation angewendet, um den Übergang von
einem Ton zum nächsten
zu glätten.
Die Interpolation wird auf die Synthesekoeffizienten vor der Synthese
(27) angewendet (24, 25). (Es muss noch
mal in Erinnerung gerufen werden, dass auch die Filteranordnung
wie bei Standardfilteranordnungen von Quellfilter-Synthesizern eine
Interpolation durchführt, aber
in diesem Fall ist es eine Interpolation zwischen den durch die
Steuereinrichtung bestimmten Artikulationspositionen).
-
Ein
Hauptvorteil des Speicherns der Stimmritzenquellkategorien in der
Form von Wiederherstellungskoeffizienten (z.B. Amplituden und Frequenztrajektorien
darstellenden Koeffizienten) ist, dass man eine Anzahl von Vorgängen an
den Spektralinformationen dieses Signals mit der Hilfe zum Beispiel einer
Feineinstellung oder eines Morphings (Konsonant-Vokal, Vokal-Konsonant)
durchführen
kann. Wie in 6 veranschaulicht, werden, falls
erwünscht, die
geeignete Transformationskoeffizienten (22) benutzt, um
auf die aus der Stimmritzenquellbibliothek wiederhergestellten Resynthesekoeffizienten
(24) Spektraltransformationen (25) anzuwenden.
Dann werden die transformierten Koeffizienten (26) der
Resynthese vorrichtung zur Erzeugung des Quellstroms zugeführt. Es
ist zum Beispiel möglich
graduelle Übergänge von
einem Spektrum zum anderen zu machen, die spektrale Hüllkurve
und die spektralen Inhalte der Quelle zu verändern, und zwei oder mehr Spektren
zu mischen.
-
Einige
Beispiele von Spektraltransformationen, die auf die aus der Stimmritzenquellbibliothek wiederhergestellten
Stimmritzenquellkategorien angewendet werden können, sind in 8 veranschaulicht.
Diese Transformationen enthalten eine Zeitstreckung (siehe 8a), eine spektrale Verschiebung (siehe 8b) und eine spektrale Streckung (siehe 8c). In dem in 8a gezeigten
Fall verändert sich
die Trajektorie der Amplituden der Teile mit der Zeit. In den in 8b und 8c gezeigten
Fällen
ist es die Frequenztrajektorie, die sich mit der Zeit verändert.
-
Das
spektrale Zeitstrecken (8a) arbeitet durch
Vergrößern des
Abstandes (Zeitintervall) zwischen den Analyseframes des Ausgangstons
(oberer Verlauf von 8a), um ein transformiertes
Signal zu erzeugen, welches das Spektrum des in der Zeit gestreckten
Tons ist (unterer Verlauf). Die spektrale Verschiebung (8b) arbeitet durch Verändern der Abstände (Frequenzintervalle)
zwischen den Teilen des Spektrums: während das Intervall zwischen
den Frequenzkomponenten im Ausgangsspektrum (oberer Verlauf) Δf sein kann,
wird es in dem transformierten Spektrum (unterer Verlauf von 8b) zu Δf', wobei Δf' ≠ Δf. Das spektrale Strecken (8c) ist ähnlich der spektralen Verschiebung,
außer
dass im Fall des spektralen Streckens die jeweiligen Abstände (Frequenzintervalle)
zwischen den Frequenzkomponenten nicht länger konstant sind – die Abstände zwischen
den Teilen des Spektrums werden so geändert, dass sie exponentiell
größer werden.
-
Es
ist auch möglich,
die Ausdrucksstärke (oder
die so genannte „Emotion") des fertigen Sprachsignals
durch Veränderung
der Weise, in welcher die Tonhöhe
des resynthetisierten Quellsignals sich mit der Zeit ändert, zu
verbessern. Eine solche Transformation auf Zeitbasis macht es zum
Beispiel möglich,
ein relativ flaches Sprachsignal zu nehmen und es melodischer zu
machen, oder einen Ausrufesatz in eine Frage umzuwandeln (durch
Anheben der Tonhöhe
am Ende), und dergleichen.
-
Im
Kontext der vorliegenden Erfindung ist das bevorzugte Verfahren
zum Realisieren solcher Transformationen auf Zeitbasis die oben
genannte PSOLA-Technik. Diese Technik ist zum Beispiel in „Voice
transformation using PSOLA technique" von H. Valbret, E. Moulines & J. P. Tulbach
in Speech Communication, 11, Nr. 2/3, Juni 1992, Seiten 175–187, beschrieben.
-
Die
PSOLA-Technik wird angewendet, um geeignete Modifikationen des Quellsignals
(nach dessen Resynthese) zu machen, bevor das transformierte Quellsignal
der den Vokaltrakt nachbildenden Filteranordnung zugeleitet wird.
Somit ist es vorteilhaft, ein die PSOLA-Technik realisierendes Modul hinzuzufügen und
am Ausgang von der Quellsyntheseeinheit 27 von 6 zu
arbeiten.
-
Wie
oben erwähnt,
wird, wenn es erwünscht ist,
einen speziellen Ton zu synthetisieren, ein Quellsignal basierend
auf der in der Bibliothek für
Töne dieser
Klasse gespeicherten Kategoriedarstellung oder einer morphologischen
Kategorie erzeugt, und die Filteranordnung ist angeordnet, um das
Quellsignal in bekannter Weise zu modifizieren, um so den gewünschten
speziellen Ton in dieser Klasse zu erzeugen. Die Ergebnisse der
Synthese werden verbessert, weil das Rohmaterial, an welchem die
Filteranordnung arbeitet, passendere Komponenten als jene in durch
herkömmliche
Einrichtungen erzeugten Quellsignalen hat.
-
Die
Sprachsynthesetechnik gemäß der vorliegenden
Erfindung verbessert die Beschränkung
a) (oben im Detail) des Standard-Stimmritzenmodells in dem Sinn,
dass das Morphing zwischen Vokalen und Konsonanten realistischer
ist, da beide Signale von der gleichen Art von Quelle abstammen
(anstatt von Rausch- und/oder Impulsquellen). So haben die synthetisierten Äußerungen
eine verbesserte Glattheit.
-
In
den bevorzugten Ausführungsbeispielen der
Erfindung haben sich auch die Einschränkungen b) und c) deutlich
verbessert, weil wir nun die Synthesekoeffizienten manipulieren
können,
um das Spektrum des Quellsignals zu verändern. Somit hat das System
eine größere Flexibilität. Verschiedene Stimmritzenqualitäten (z.B.
ausdrucksstarke Synthese, Zugabe von Emotion, Simulation der Idiosynkrasie
einer speziellen Stimme) können
durch Verändern
der Werte der Phasenvocoder-Koeffizienten
vor der Anwendung des Resyntheseprozesses simuliert werden. Dies impliziert
automatisch eine Verbesserung der Einschränkung d), da wir nun zeitvariable Funktionen
spezifizieren können,
die die Quelle während
der Stimmbildung verändern
können.
Eine reichere Prosodie kann deshalb erzielt werden.
-
Die
vorliegende Erfindung basiert auf der Erkenntnis, dass die Quellkomponente
des Quellfiltermodells so wichtig wie die Filterkomponente ist,
und sieht eine Technik vor, um die Qualität und die Flexibilität der früheren zu
verbessern. Das Potential dieser Technik könnte noch vorteilhafter genutzt
werden, indem eine Methodik zum Definieren spezieller Spektraloperationen
gefunden wird. Die reale Stimmritze verwaltet sehr feine Veränderungen
im Spektrum der Quelltöne,
aber die Bestimmung der Phasenvocoder-Koeffizienten zum Simulieren
dieser delikaten Operation ist keine triviale Aufgabe.
-
Es
ist selbstverständlich,
dass die vorliegende Erfindung nicht durch die Merkmale der oben
beschriebenen speziellen Ausführungsbeispiele
beschränkt
ist. Insbesondere können
verschiedene Modifikationen an den bevorzugten Ausführungsbeispielen
im Schutzumfang der anhängenden
Ansprüche
vorgenommen werden.
-
Es
ist auch selbstverständlich,
dass die Referenzen hierin auf den Vokaltrakt nicht die Erfindung auf
Systeme einschränken,
die menschliche Stimmen nachahmen. Die Erfindung deckt Systeme ab, welche
eine synthetisierte Sprache (z.B. Sprache für einen Roboter) erzeugen,
welche der menschliche Vokaltrakt typischerweise nicht erzeugt.
