Beschreibung:
Verfahren und Einrichtung zum Speichern, Suchen und Abspielen von Informationen eines ultimedia-Elektronischen-Poεtsystems
Das Speichern und das Abspielen von Multimedia Informationen (Video-, Audio-, Daten-, Steuerinformationen) auf digitalen Speichermedien ist eine der wichtigsten Funktionen in einem Multimedia-Elektronischen-Postsystem, das auch elektronisches Multimedia-Postsystem genannt wird. In einem Multimedia-Elek¬ tronischen-PostSystem verfügt jeder Teilnehmer über ein eigenes elektronisches Postfach - Mailbox genannt - , in dem von anderen Postteilnehmern gesendete Mitteilungen als multimediale Post- nachrichten abgelegt werden. Jeder Teilnehmer kann die eigene multimediale Post aus seinem Postfach zu einem beliebigen Zeit¬ punkt abrufen.
Die Elektronischen Postfächer werden auf großen digitalen Mas¬ senspeichern eingerichtet. Obwohl die Kapazität der speicherba¬ ren Informationen auf digitalen Speichermedien stetig wächst, stellt die große Datenmenge von Multimedia- Informationen immer noch ein massives Speicherpröblem dar.
Das erfindungsgemäße Verfahren führt gegenüber den bekannten Verfahren zu einer wesentlich höheren Kompression und zu einem effektiveren Multiplexen von multimedialen Datenströmen in ei¬ nem Multimedia-Elektronischen-Postsystem (s. Tabelle 1) .
Dagegen benötigt das als MPEG-1 (ISO/IEC 11172) bekannte Ver¬ fahren mit 1,5 Mbits/s für die Speicherung einer multimedialen Nachricht von einer Minute etwa 11 Mbyte Speicherplatz. Vom Speichervolumen gesehen sind die zur Zeit bekannten Verfahren für Multimedia-Elektronische-Post in der Praxis kaum geeignet.
Medium: Speicher Abspieldauer bei Abspieldauer bei 128 Abspieldauer bei 512
Volumen 32 kbit/s-Standard kb'rt/s nicht-standard kbit/s nicht-standard
(MByte): QCIF (180 x 144) CIF (360 x 288) Bildauf¬ ITU-R 601
Bildauflösung lösung von H.263; (720 x 576) Bildauflösung von H.263; G.723.1; G.728; G.729 von H.263;
G.723.1; 64kbit/s Audio G.728, G.729; G.722 Au¬
Audio dio; ISO IEC 11172-3
Festplatte - etwa 240 kByte/min etwa 1 MByte/min etwa 4 MByte/min
/ Minute
(Durchschnitt für eine Mul¬ timedia-Post-
Nachricht
Beispiel- 1.000 etwa 4.000 MM- etwa 1.000 MM- Etwa 250 MM-Nachrichten
Festplatte: Nachrichten Nachrichten
Tabelle 1 - Beispiele für die Speicherung von Multimedia-Post Nachrichten
Ein weiterer Vorteil erfindungsgemäßer Video- und Audio- Ver¬ fahren gegenüber bekannten Verfahren ist, daß es sich um "symmetrische Realzeit Kompression/Dekompressionsverfahren" handelt. Die Symmetrie gilt sowohl für die Komplexität des Kö¬ ders, bzw. des Dekoders, als auch für das Zeitverhalten der Ko¬ dierung und Dekodierung (d.h. die Komplexität des Köders und des Dekoders sind etwa gleich, bzw. der Zeitaufwand für die Ko¬ dierung und Dekodierung sind auch etwa gleich und zeitgleich) .
Die Qualität des MPEG-1 Videos und der MPEG-1 Audio ist zwar besser als die der in der Tabelle 1 aufgelisteten Verfahren, jedoch handelt es sich dabei um asymmetrische Verfahren, die eine langwierige und komplizierte Kodierung benötigen. Ein Vor¬ teil wäre nur in der einfacheren Dekodierung zu sehen. Es gibt jedoch zahlreiche Anwendungen, bei denen eine verminderte Vi¬ deo- und Audio-Qualität vollkommen ausreicht (z.B. Multimedia- Post, Video-Bilder mit Kopf und Schulter) , bei denen aber eine
Realzeit-Kodierung/Dekodierung bei etwa gleicher Kodierer-/De¬ kodierer-Komplexität benötigt wird.
Als Terminal für elektronische Multimedia-Post wird ein ITU-T H.324-Bildtelefon-Gerät vorgeschlagen (Figur 1) . Ein Vorteil des Bildtelefon-Terminals liegt darin, daß es bereits Elemente des Systems wie z.B. Audio-, Video-Codec, Multimedia-Multi- plexer, Multimedia-Steuerung beinhaltet, die dem elektronische Multimedia-Postsystem zugute kommen. Zwar ist das H.324-Bild¬ telefon auf ein GSTN, also ein analoges Telefonnetz zugeschnit¬ ten. Die Erfindung ist jedoch auch auf andere Netze, insbeson¬ dere Mobile Kommunikationsnetze und ISDN-Netze anwendbar. Für den Terminal-Zugang zum elektronischen Multimedia-Postsystem wird im H.324 Bildtelefon - neben dem Video-, Sprache- und H.245 Bildtelefon Steuerungskanal - ein zusätzlicher Datenkanal eröffnet. Dieser Datenkanal dient zur Ansteuerung und zur Kom¬ munikation zwischen dem Terminal des elektronischen Multimedia- Postsystems und dem Elektronischen Postsystem. In diesem Daten¬ kanal werden z.B. die X.400-bzw. X.500-Befehle mit Hilfe von X.400- und X.500-Protokollen ausgetauscht und das elektronische Multimedia-Postsystem bedient.
Nach dem Verbindungsaufbau zwischen einem Terminal und dem mul¬ timedialen elektronischen Postsystem müssen beide Endeinheiten gegenseitig Signalisieren (z.B. mit Hilfe von ITU-T H.245) , ob das eine Bildtelefon gleichzeitig auch ein Terminal für das Multimedia-Elektronische-Postsystem ist, und ob die andere Endeinheit das Multimedia-Elektronische-Postsystem ist. Falls ja, wird mit Hilfe von ITU-T H.245 entweder ein zusätzlicher Datenkanal für die Bedienung des Multimedia-Elektronischen- Postsystems eröffnet, oder im Audiokanal die Steuerung des Mul- timedia-Elektronischen-Postsystems mit Hilfe von hörbaren DTMF- Signalen gesteuert .
Über diesen Datenkanal wird vom Terminal die Anwahl (Login des Benutzers) an das Elektronische Postsystem und die Passwortein¬ gabe betätigt.
Wird der Benutzer der elektronischen Post vom System als Zu¬ griffsberechtigt akzeptiert, so kann er unterschiedliche Post¬ system-Funktionen ausführen, z.B. das eigene elektronische Postfach auf neue Multimedia-Informationen abfragen und diese Abrufen, sofern welche vorliegen.
Beim Abruf ist das elektronische Postsystem der Sender. Die be¬ nötigten Multimedia-Kanäle werden auch hierzu unter Verwendung eines Verfahrens gemäß H.245 ausgewählt und angesteuert. Das empfangende Multimedia Terminal (Bildtelefon) zeigt zeitgleich z.B. das Videobild an und gibt die zugehörige Sprachinformation aus .
Beim Absenden einer multimedialen Nachricht werden die benötig¬ ten Multimedia-Kanäle mit Hilfe einer Prozedur gemäß ITU-T H.245 im separaten Multimedia-Steuerkanal eröffnet. Danach wird im separaten Steuerkanal für das Multimedia-Elektronische-Post die Adresse des Adressaten eingegeben. Danach dient das Bildte¬ lefon-Terminal als Eingabemittel für die Multimedia-Elek¬ tronische-Post. In der Regel nimmt eine Kamera das Bild auf, ein Mikrofon den Ton bzw. die Stimme des Sprechers auf und der H.223-Multiplexer setzt die Video- und Audio-Informationen zu¬ sammen. Das Multimedia-Elektronische-Postsystem speichert die Multimediapost im gewünschten Postfach des Empfängers ab.
Die Erfindung macht sich vorzugsweise - abhängig von den ein¬ zelnen Realisierungsformen und Besonderheiten - die folgenden Informationstechnologie- und/oder Kommunikationstechnologie- Standards zunutze:
• Die in der ITU-T gegenwärtige Normierung von Sprachkodierern mit sehr niedriger Bitraten für das Bildfernsprechen (ITU-T
G.723) im öffentlichen Telefonwählnetz (GSTN) führt zu qua¬ litativ guten Sprachkodierern (annähernd der Qualität der CCITT G.726 Empfehlung) mit Übertragungsgeschwindigkeit von 5,3-6,3 kbit/s. Auch das ITU-T G.729 Sprachkoder ermöglicht eine digitale Sprachübertragung mit 8 kbit/s Geschwindig¬ keit. In der Zukunft wird auch ein 4 kbit/s Köder standardi¬ siert (ITU-T G.4kbit/s) .
• Die in der ITU-T gegenwärtige Normierung von Bewegtbildko- dierern mit sehr niedriger Bitraten z.B. für das Bildfern¬ sprechen im öffentlichen Telefonwählnetz (ITU-T H.263) führt zu qualitativ guten (QCIF Auflösung (180 x 144) und weniger) Bewegtbildkodierern mit der zweckmäßigen Übertra¬ gungsgeschwindigkeit von 8-24 kbit/s oder einer noch höheren Übertragungsgeschwindigkeit, die eine gesicherte Über¬ tragungsart (z.B. mit ITU-T H.223) erfordern. Eine Erhöhung der Bildauflösung über die im Standard definierten Werte, z.B. auf CIF (360 x 288) oder ITU-T 601 (720 x 576) , erlaubt die Übertragung von Bewegtbildern mit Fernseh- bzw. mit Di- gital-Studioqualität .
• Die gegenwärtige ITU-T-Normierung von Multiplexern (ITU-T H.223) der audiovisuellen Informationstypen mit sehr niedri¬ ger Bitraten, z.B. für das Bildfernsprechen im öffentlichen Telefonwählnetzen mit Übertragungsgeschwindigkeit von 9,6-32 kbit/s oder höher, ermöglicht eine gesicherte Übertra¬ gungsart (H.223) .
• Die gegenwärtige ITU-T-Normierung (ITU-T H.245) bezüglich dem Steuern von audiovisuellen Datenarten mit sehr niedriger Bitraten, beispielsweise für das Bildfernsprechen im öffent¬ lichen Telefonwählnetzen, die eine flexible Zuordnung von bis zu 15 unabhängigen Nutzkanälen, jeweils mit Audio-/Spra- che-, Video- oder Dateninformation ermöglicht. Jeder Kanal verfügt über eine flexible Bandbreite, die von Anwendung zu
Anwendung im Laufe der Multimedia-Elektronischen-Postanwen¬ dung beliebig variieren kann.
• Die abgeschlossene Standardisierung der ITU-T für elektroni¬ sche Post (Empfehlungen der ITU-T X.400-er und ITU-T X.500- er Serie) .
Das Blockdiagramm eines Ausführungsbeispiels eines erfindungs- gemäßen Multimedia-Elektronischen-Postsystems ist in Figur 1 dargestellt .
Ein multimediales elektronisches Postsystem besteht aus mehre¬ ren Funktionseinheiten. Die Video-I/O-Geräte (Input/Output) enthalten z.B. eine Kamera, einen Bildschirm und eine Bildauf¬ bereitungseinheit für das Einblenden von mehreren Bildern ( "split-screen" ) . In einer günstigen Ausgestaltung können alle Geräte tatsächlich angeschlossen werden. Die Audio/Sprach-1/0- Geräte schließen das Mikrofon (oder mehrere) , den Lautsprecher (oder mehrere) , und die Audio/Sprachaufbereitungs-einheit (z.B. für Echounterdrückung) ein. Auch hier können in einer günstigen Ausgestaltung alle Geräte tatsächlich angeschlossen sein. Die Systemsteuerung steuert das Gesamtsystem, d.h. , sie sorgt für die Multimedia-Steuerung für den Multimedia-Multiplexer und für die gesamte Multimedia-System-Steuerung. Der Video-Codec sorgt für die digitale Kompression und Dekompression des Videosignals beim Video-Enkoder bzw. Video-Dekoder. Der Audio/Sprach-Codec sorgt für die digitale Kompression/Dekompression des Au¬ dio/Sprachsignals. Eine wahlweise Verzögerung des Sprachsignals wird benutzt um die Lippen-Synchronisation zwischen Video und Sprache zu erreichen. Der Multiplexer/Demultiplexer legt beim multimedialen Abspeichern die Audio-, Video- und Datensignale zu einem gemeinsamen Datenstrom zusammen bzw. extrahiert beim Abruf aus dem multimedialen elektronischen Postfach aus dem ge¬ meinsamen multimedialen Datenstrom getrennte Audio-, Video- und Datensignale.
Die Systemsteuerung besteht aus der Steuerung der Multimedia- Multiplexing (nach ITU-T H.245) , und des gesamt Multimedia- Elektronischen-Postsystems.
Bei der Multimedia-Multiplexing nach ITU-T H.245 kann man bis zu 15 Nutzkanäle eröffnen und benutzen. Vor dem Abspeichern der Nutzkanäle erfolgt nach H.245 eine Aushandlung und Einstellung der Benutzerparameter. Dabei signalisiert der Datenspeicher der elektronischen Post die breiteste Möglichkeit der Speicherung von multimedialen Informationen, und es ist die speichernde An¬ wendung die letztendlich entscheidet und die Auswahl trifft, welche Multimediale Kanäle eröffnet werden sollen und wie die multimediale Speicherung im Datenspeicher erfolgen soll.
Bei der Speicherung einer typischen audiovisuellen Nachricht ("Multimedia Post") werden beispielsweise ein Kanal für Video, ein Kanal für Sprache, ein Datenkanal für die Multimedia-Post¬ Steuerung (Adressieren, Zeit des Multimedia-Post-Ablegens u.s.w.) und der obligatorische ITU-T H.245 Multimedia-Steuer¬ kanal eröffnet.
Auch vor dem Abspielen der Nutzkanäle aus dem elektronischen Postfach erfolgt eine Aushandlung und Einstellung der Benutzer¬ parameter nach ITU-T H.245. Dabei signalisiert das Multimedia- Elektronische-Postsystem die breiteste Möglichkeit der Speiche¬ rung von multimedialen Informationen, und es ist wiederum die abspielende Anwendung die letztendlich entscheidet und die Aus¬ wahl trifft, welche Multimediale Kanäle eröffnet werden sollen und wie das multimediale Abspiel aus dem Postsystem erfolgen soll.
Das Multimedia-Multiplexing ist in Figur 2 dargestellt. Die un¬ terste Schicht (PS) ist die physikalische Schicht. Diese stellt den Netzübergang, also das Interface zwischen dem Bildtelefon Multimedia-Multiplexing und dem Netz (GSTN, aber im Prinzip
auch andere Netze, wie ISDN und Mobile Netze) dar. Der Multi- plexer verfügt über zwei Schichten: Eine sog. Adaptations- Schicht ("Adaptation Layer" - AL) und eine Multiplex-Schicht ("Multiplex Layer" - ML) . Die Adaptations-Schicht ist zuständig für die Anpassung der diversen Informationsstrόme - die von den verschieden Media-Quellen (Video, Audio/Sprache, Daten) stammen - an die MUX Schicht. In Figur 2 sind vier Adaptations-Schich¬ ten spezifiziert: Daten-Adaptations-Schicht ("Data Adaptation Layer" - DAL) , Audio/Sprach-Adaptations-Schicht ("Audio Adapta¬ tion Layer" - AuAL) , Video-Adaptations-Schicht ("Video Adapta¬ tion Layer" - VAL) und Steuerungs-Adaptations-Schicht ("Control Adaptation Layer - CAL) zur Übertragung von Multimedia-Steuer- Daten.
Jede Adaptations-Schicht bedient sich Funktionen des Mux- Layers: Eine sog. Konvergenz-Unterschicht ( "Convergence Sublay- er" - CS) und eine sog. Segmentierung-/ Zusammensetzungs-Unter¬ schicht ("Segmentation and Reassembly Sublayer" - SARS) . Die Konvergenz-Unterschicht CS sorgt für Fehlererkennung, und (wo es erwünscht wird) für die Fehlerkorrektur. Der SARS sorgt für die Fregmentierung der Datenströme in sog. SAR-SDUs ("SDU - Service Data Unit") , zugeschnitten für die MUX Schicht.
Über der Video-Adaptionsschicht befindet sich der Video-Codec (Video) der die Videoinformationen codiert bzw. decodiert. Über der Audio-Adaptionsschicht befindet sich der Audio-Codec Audio der die Audio-Informationen codiert bzw. Decodiert. Über der Daten-Adaptionsschicht Daten befinden sich die für die Datenan¬ wendung „Elektronische Post" notwendige Datenprotokolle. Ein getrennter, spezieller Datenkanal den ITU-T H.245-Multimedia- Steuerungs-Protokollen zugeordnet .
Die Adaptionsschichten zeigen beim Speichern in das elektroni¬ sche Postsystem Übertragungsfehler an, es werden Fehlerkorrek¬ turen veranlaßt, ferner fragmentieren die Adaptionsschichten die Informationsströme in kleinere Einheiten. Die MUX-Schicht
sorgt für das Multiplexen der verschieden Informationstypen, die von den Adaptionsschichten vorbereitet werden. Ferner wird die Segmentierung/Reassemblierung der Daten durchgeführt .
Die MUX Schicht sorgt beim Zugreifen/Abspielen der Multimedia- Nachricht aus dem elektronischen Postsystem für das Demultiple- xen des angekommenen Datenstromeε in Datenfragmente der ver¬ schiedenen Informationstypen, die an die jeweils zuständigen Adaptionsschichten weitergeleitet werden. Die Adaptionsschich¬ ten setzen aus den Datenfragmenten die einzelnen Datenströme zusammen, die an die Anwendungen des elektronischen Postsystems (Sprache/Audio, Video, Daten, Steuer) weitergeleitet werden.