WO1987005180A1 - System for transmitting animation image signals - Google Patents

Description

明 細 書

動 画 像 信 号 伝 送 方 式 技 術 分 野

本発明は、 高能率符号化された可変長デ ィ ジタル動 画像信号を、 固定長伝送フ レーム に分割 して伝送する 動画像信号伝送方式に係 り 、 特には、 伝送誤 り 、 伝送 フ レームの消失、 同期はずれが発生した場合でも、 そ の影響を短時間の う ち に回復する こ とのでき る動画像 信号伝送方式に関する。 背 景 技 術

テ レビ会議やテ レ ビ電話等の動画像通信の発展に伴 い、 動画像をよ り 低いビ ッ ト 速度でディ ジタル伝送 し たいと い う 要求が高ま っ て き ている。 この要求を実現 する技術と しては、 画像信号の高能率符号化技術と、 符号化された信号を伝送する技術とが重要である。

画像信号の高能率符号化方式には、 大別 して、 フ レ —ム内符号化方式と フ レーム間符号化方式とがある。 動画像信号は、 毎秒 3 0枚ないし 2 5枚の画像フ レーム と 呼ばれる静止画像の連続と してみなせる。 フ レーム内 符号化方式は、 ある画像フ レームを符号化する場合、 その画像フ レーム内の情報だけを用いて符号化する方 式であ り 、 フ レーム間符号化方式は、 その画像フ レー ムの情報に加えてそれ以前に発生した画像フ レームの ·

情報をも用いて符号化を行う 方式である。

こ れ ら の方式を受信側からみる と、 符号化信号を受 信 して こ れを復号し、 画像フ レームを再現する場合、 フ レーム内符号化方式では、 符号化された画像フ レー ム情報だけから復号可能であるが、 フ レーム間符号化 方式では、 符号化された画像フ レーム情報に加えてす でに復号化が終了 した過去の画像フ レームの情報が必 要と なる。

ま た、 こ れ らの方式を伝送路誤 り が生じた場合で比 較する と、 フ レーム内符号化方式は、 伝送路誤 り の影 響をそのフ レームだけが受けるが、 フ レーム間符号化 方式は、 伝送路誤 り の影響が後続の フ レームへ伝搬 し、 正しい復号処理を続ける こ と ができ な く なる。 こ のフ レーム間符号化方式の欠点を補う ためには、 伝送 路誤 り が発生した ら フ レーム内符号化方式に切替え伝 送し、 その後フ レーム間符号化方式に戻す操作が必要 と なる。

テ レ ビ会議やテ レビ電話等の画像は、 フ レーム間の 動き量が比較的少ない。 この よ う な画像に対しては、 フ レーム間符号化方式を適用した方が符号化効率を高 める上で有利である。 こ の意味から、 伝送路誤 り が発 生した場合、 その影響が短時間で回復し、 すみやかに 正常に戻る こ と のでき る伝送技術が重要と なる。

伝送技術と しては、 従来、 固定長の伝送フ レームを 用い、 該フ レーム に付加されているヘ ッ ダに よ り 、 フ レームの内容を讒別する方式が多用されている。 しか し、 フ レーム内ノフ レーム間符号化された可変長の動 画像フ レーム信号を、 固定長伝送フ レーム に分割して 伝送する には、 不十分であ り 、 ①動画像信号の伝送効 率が十分に高いこ と 、 ②伝送フ レーム誤 り 、 伝送フ レ ームの消失、 同期はずれ等が発生 した場合でも、 その 影響が短時間で回復し、 すみやかに正常に戻る こ と 、 と いう特性を有する伝送方式が必要と される。 ま たテ レビ会議やテ レビ電話におレ ては、 他のディ ジタル信 号、 例えば、 音声、 静止画、 データ等を主たる動画像 信号 と 一緒に伝送で き る こ と が必要であ る 。 このた め、 提案されるべき伝送方式は、 信号の多重化を容易 に行う こ とができ る こ と も重要である。 発 明 の 開 示

本発明は、 上記従来技術の現状に鑑み、 高能率符号 化された可変長のデ ィ ジタル動画像フ レーム信号を、 固定長伝送フ レーム に分割 して伝送する伝送方式にお いて、 伝送路誤 り に よ り 、 伝送フ レーム誤 り 、 伝送フ レーム消失、 同期はずれが発生した場合でも、 その影 響が短時間で消滅し、 すみやかに正常に戻る と いう性 質を有し、 かつ伝送効率の良い動画像信号伝送方式を 提供する こ と を 目的とする。

本発明の特徴は、 送信側において 1 画像フ レームの 最初の伝送フ レーム、 途中の伝送フ レーム、 最後の伝 送フ レームを各々 識別するヘ ッ ダを付加し、 受信側で ほ、 こ の識別ヘ ッ ダに よ っ て伝送フ レームの合理性を 検査し、 誤 り が発生した場合には受信側から送信側へ 通知する こ と に よ り 、 伝送フ レーム誤 り 、 伝送フ レー ム消失、 同期はずれが発生した場合でも、 その影響が 短時間で回復する よ う な信頼性があ り 、 かつ効率の良 い動画像伝送方式を実現でき る こ と である。

以下図面について詳細に説明する。 図面の簡単な説明

第 1 図は本発明における画像フ レーム信号と伝送フ レームの構成及び相互関係を示す図、 第 2図は送信側 における信号処理の手穎を示す図、 第 3 図は受信側に おける信号処理の手順を示す図、 第 4 図は受信側にお ける受信伝送フ レームの合理性判定動作の状態遷移を 示す図、 第 5 図 （1 ) 及び （2 ) は本方式を実現するハー ド ゥェ ァの一例を示す図である。 発明を実施するための最良の形態

第 1 図に符号化されたデ ィ ジタル動画像信号 （ 1 画 像フ レーム分） と、 伝送フ レームの構成との関係を示 す。 1 画像フ レームは、 フ レーム内符号化信号である かフ レーム間符号化信号であるかを示す符号化情報を 先頭と して、 こ れに符号化画像フ レーム/信号が後続す る形に構成されている可変長フ レームである。 これが 固定長フ レームである伝送フ レ ' -ム長を単位と して分 割され、 各伝送フ レ ー ム に は、 それぞれ次表の識別 へ ッ ダが付加される。

なお、 第 1 図の F は 、 画像フ レーム信号が可変長で ある こ と から'、 最後の伝送フ レーム において、 ビ ヅ ト 長の整合をと る ための フ ィ ル ビ ヅ 卜 である。

第 2 図は、 送信側の処理の流れを示す図である。 動 画像信号は、 画像フ レ—ム每に固定長に分割され、 さ ら に識別へ ッ ダが付加されて伝送フ レーム と して回線 へ送出され 。

第 3 図は、 受信側の処理の流れを示す図である。 回 線から受信された伝送フ レーム は、 ま ずその識別へ ッ タ'が判定される 。 こ の判定結果から 、 識別へ ッ ダの種 別と識別へ ッ ダ A から判定される符号化情報を用いて 後に詳説する合理性判定が行われる。 その結果、 受信 フ レームが正常であれば、 ヘ ッ ダを取 り 除いた信号部 分を動画像信号と して取出 し、 受信 した伝送フ レーム が異常な ら ば、 誤 り 発生通知を送信側に送 り 動画像信 号の抽出を停止する。 こ こ で、 受信側の合理性判定について詳説する。 第 4図は、 合理性判定の動作を説明する ための状態 遷移図である。 図において、 〇印は状態を、 矢印は遷 移を示す。 遷移に付された X / Yの表示は、 X と いう 状態遷移要因が生起した時に、 Y と いう動作を行う こ と を示す。 状態遷移要因の う ち、 A は、 フ レーム内 符号化された画像フ レーム信号の最初の伝送フ レーム の受信、 A ₂ はフ レーム間符号化され'た画像フ レーム 信号の最初の伝送フ レームの受信、 B は画像フ レーム 信号の途中の伝送フ レームの受信、 C は同じ く 最後の 伝送フ レームの受信、 e r r は何らかの伝送路誤 り の検 出を意味する。 ま た S は受信伝送フ レームの信号部分 を動画像信号と して取出す動作、 E は誤 り 発生通知を 行う動作、 ø は何も動作を行わないこ と をそれぞれ意 味する。

初期状態は リ セ ッ ト 状態であるが、 こ こ で A , が受 信されれば、 フ レーム内符号化された信号を復号する 状態 （ フ レーム内状態） へ遷移し、 同時に伝送フ レー ムの信号部分を動画像信号と して取 り 出す。 と こ ろが A 2 が受信された場合には、 こ の状態では復号する こ とができ ないので、 誤 り 発生通知を行い、 送信側にフ レーム内符号化された動画像フ レーム信号の送信を要 求する。 ま た B , C を受信した場合には、 何の動作も 行わない。 フ レーム内状態では、 Bを受信する と動画 像信号の取出 しを行い、 状態は遷移しない。 また C を 受信する と、 動画像信号の取出 しを行い、 1 画像フ レ ーム信号の受信が完了 した と して次画像フ レームの受 信待状態に遷移する。 ま た A t ， A ₂ を受信した場合 には、 1 画像フ レーム信号の受信が完了する前に、 次 の画像フ レーム信号が到着したこ と に なる ので、 誤 り 発生通知を行い、 リ セ ッ ト 状態へ遷移する。 次フ レー ム待状態では、 A _t , A 2 が到着する と、 動画像信号 を取出した後、 それぞれフ レーム内、 フ レーム間状態 へ遷移する。 ま た、 B . C を受信 した場合には、 誤 り 発生通知を行い、 リ セ 、ソ 卜 状態へ遷移する。 フ レーム 間符号化された信号を復号する 状態 （ フ レーム間状 態） では、 フ レーム内状態と同一の遷移、 及び動作を 行う 。 さ ら に、 何らかの別の検査に よ り 伝送路誤 り が 検出された場合には、 どの状態からでも、 誤 り 発生通 知を行い、 リ セ 、 y 卜 状態へ戻る。

第 5 図は、 本方式を実現する ハ ー ド ウ ユ アの一例を 示す。 まず送信側の動作について説明する。 符号化さ れた動画像フ レーム信号は、 画像フ レーム.のタ イ ミ ン グを示す画像フ レーム同期信号を伴っ て、 それぞれ動 画像フ レーム信号バ ッ フ ァ （Buf 1) 1 、 画像フ レーム同 期信号バッ フ ァ （Buf 2) 2 に入る 。 こ の 2 つのノ サ フ ァ は書込み、 読出 し タ イ ミ ン グ共、 互いに同期してい る。 ク ロ ク発生器（CLK) 3 か ら のク ロ ッ ク信号 （e) は、 ク ロ ッ ク分配器 （DIS1) 4 を介して、 読出 しク ロ ッ ク （d) と して 1 の Buf 1および 2 の Buf 2へ加え られる。 2 つのバ ッ フ ァ は、 こ のク ロ ッ クで読出され、 読出さ れた動画像フ レーム信号 （a) は信号セ レク タ （SEL1) 5 を通して回線へ送出される。 ま た動画像フ レーム信号 (a) は、 カ ウ ンタ （CNT) 6 でカ ウ ン ト され、 規定の伝 送フ レーム長になる と、 伝送フ レーム同期信号 （c) が アクテ ィ ヴになる。 こ の信号 （c) に よ っ て、 ク ロ ッ ク 分配器 （DIS1) 4 、 及び信号セ レ ク タ （SEL1) 5 は切替 り 、 ク ロ ッ ク信号 （e) は、 読出 し専用メ モ リ （ROM) 7 へ読出しク ロ ッ ク （f) と して入力され、 ま た読出 し専 用メ モ リ （ROM) 7 から読出された信号 （g) は、 信号セ レクタ （SEL1) 5 を介して回線へ送出される。 読出し専 用メ モ リ （ROM) 7 には讒別ヘ ッ ダパターンが記億され てお り 、 伝送フ レーム同期信号 （c) によ っ て、 ひとつ の画像フ レーム信号の途中の伝送フ レームを示す識別 ヘ ッ ダが読出さ れる 。 識別ヘ ッ ダの読出 しが完了す る と 、 再び信号セ レク タ （SEL1) 5 と ク ロ ッ ク分配器 (DISi) 4 は元へ戻る。 以上の動作を伝送フ レーム周期 に繰 り 返す。

ひと つの画像フ レーム信号の終 り 近く になる とバ タ フ ァ 2 から読出された画像フ レーム同期信号 （b) がァ クテ イ ヴになる。 この信号 （b) に よ っ て、 信号セ レク タ （SEL1) 5 、 ク ロ ッ ク 配器 （DIS1) 4がそれぞれ読出 し専用メ モ リ （ROM) 7 側に切替わ り 、 ひとつの画像フ レーム信号の最終の伝送フ レームを示す識別ヘ ッ ダが 回線へ出される。 識別ヘ ッ ダ読出 し完了後、 信号セ レ ク タ （SEL1) 5 と ク ロ ツ ク分配器 （DIS1) 4 は元に戻 り 、 ひ と つの画像 フ レ ー ム信号の残 り の信号が読出され る。 こ の読出 しが完了する と、 画像フ レーム同期信号 (b) が ア ク テ ィ ヴ に な り 、 再び信号セ レ ク タ （SEL1) 5 、 と ク ロ ッ ク 分配器 （DIS1) 4 は読出 し専用メ モ リ (ROM) 側に切替わ り 、 こ こ に記億されている フ ィ ルビ ッ ト パターンが伝送フ レーム長と整合をと る ために読 出される。 こ の後、 読出 し専用メ モ リ （ROM) 7 から今 度は、 ひとつの画像フ レーム信号の最初の伝送フ レー ムを示す識別ヘ ッ ダが読出されて、 次の画像フ レーム 信号の伝送が開始される。

なお、 後述する よ う に、 受信側から誤 り 通知があ つ た場合には、 該通知に よ り 符号化手段 8 を 1 画像フ レ ーム分フ レーム内符号化し、 後続の画像フ レーム につ いては フ レーム間符号化する よ う に制御する。

次に受信側の動作について説明する。 回線から受信 される伝送フ レームは、 それに伴う 伝送フ レーム同期 信号に よ っ て信号分配器 （DIS2 ) 9 で動画像信号部分 (m) と、 識別ヘ ッ ダ部分 （i) に分け られ、 それぞれ受 信バ ッ フ ァ （Buf3) 11及びシ フ 卜 レ ジス タ （SR1 ) 12へ送 られる。 シ フ 卜 レ ジスタ （SR1) 12 へ入っ た識別へ ッ ダ は、 その内容 （j) を、 読出 し専用メ モ リ （ROM) 10 に記 億されているヘ ッ ダパターン （0) と ビ 卜 ノ、'ターン比 較器 （MGH) 13 において比較され、 識別される。 識別結 果 （ J2 ) は現在受信バ ッ フ ァ （Buf 3) 11に入 っ ている動 画像信号がひとつの画像フ レーム信号中の どの部分か を示す画像フ レーム同期信号と なる と同時に、 順序回 路 14へ入力される。 こ の順序回路は第 4 図に示した状 態遷移動作を行う 回路であ り 、 受信伝送フ レームの合 理性判定を行う 。 そ して誤 り があ っ た場合には誤 り 発 生通知を行い、 誤 り が無い場合には、 信号 （n) をァク テ イ ヴに して、 スイ チ （SW) 15を閉じ、 受信バ ッ フ ァ (Buf3) 3 の内容 （k) を動画像信号と して出力する。 誤 り があ っ た場合に は、 信号 （π) は ア ク テ ィ ヴに な ら ず、 スィ ッ チ （SW) 15は開いたま まである。 従っ て受信 バ フ ァ （Buf3) llの内容は捨て られる。 産業上の利用可能性

以上述べたごと く 、 本発明に よ っ て、 高能率符号化 されたデ ィ ジタル動画像信号を、 固定長伝送フ レーム に分割して伝送する伝送方式において、 伝送路誤 り 、 伝送フ レーム消失、 同期はずれが発生 した場合でも、 その影響が短時間で回復する よ う な、 信頼性があ り 、 かつ伝送効率の優れた動画像伝送方式を実現する こ と ができ る。

本発明はテ レ ビ会議やテ レビ電話に利用する こ とが でき る。

Claims

請 求 の 範 囲

送信側に圃像信号を符号化する ための フ レーム内符 号化手段と フ レーム間符号手段と を設え、 受信側から 誤 り 通知があ っ た場合には該通知の直後の画像フ レ一 ム を フ レーム内符号化し、 その後の フ レーム は フ レー ム間符号化する よ う に制御し、 該符号化手段で得られ たデ ィ ジタル動画像信号を固定長の伝送フ レーム に分 割する と と も に、 該伝送フ レームが 1 画像フ レームの 最初の伝送フ レームか途中の伝送フ レームか最後の伝 送フ レームかを識別するへ タ ダを付加して伝送し、 受 信側では受信 した識別へ ダに よ り 伝送フ レームの受 信順序の合理性を検査し、 該検查に よ っ て誤 り が発生 した場合には、 送信側へ前記誤 り 通知を行う こ と を特 徴とする動画像信号の伝送方式。