WO2001080567A1

WO2001080567A1 - Decoder and decoding method, recorded medium, and program

Info

Publication number: WO2001080567A1
Application number: PCT/JP2001/003204
Authority: WO
Inventors: Mamoru Ueda; Koki Kanesaka; Takumi Ohara; Takeshi Yamamoto; Kazuhiro Mizuno; Toshikazu Morita
Original assignee: Sony Corporation
Priority date: 2000-04-14
Filing date: 2001-04-13
Publication date: 2001-10-25
Also published as: US20020114388A1; CA2376871A1; DE60130180T2; EP1187489B1; DE60130180D1; CA2376871C; JP5041626B2; CN1366776A; EP1187489A1; JP2011172243A; CN1223196C; KR20020026184A; JP2001359107A; EP1187489A4; US20090010334A1; KR100796085B1

Description

明細書復号装置および復号方法、記録媒体、並びにプログラム技術分野本発明は、復号装置および復号方法、並びに記録媒体に関し、特に、実現可能な回路規模で実時間動作が可能な 4 ： 2 ： 2 P@HLに対応したビデオデコーダを実現することができる復号装置および復号方法、並びに記録媒体に関する。景技術

MPEG2 (Moving Picture Coding Experts Group / Moving Picture Experts Gr oup2) ビデオは、 ISO/IEC ( International Standards Organization / Internat ional Electrotechnical Commission) 13818— 2、および ITU- T (Internationa 1 Telecommunication Union— Telecommunication sector) 勧告 H.262に規定されているビデオ信号の高能率符号化方式である。

MPEG2の符号化ストリームは、符号化の手法によって決まるプロファイルと、取り扱う画素数によって決まるレベルによってクラス分けされ、広範囲なアプリケ —シヨンに対応できるようになされている。例えば、 MP@ML (メイン . プロフアイル · メイン ' レベル）は、そのクラスの 1つであり、 DVB (Digital Video Broad cast) や、 DVD (Digital Versatile Disk) に広く実用化されている。プロフアイルおよびレベルは、図 5を用いて後述する sequence— extensionに記述される。また、放送局におけるビデオ信号の制作には、ビデオの色差信号を、従来のベ —スバンドと同様の 4 ： 2 ： 2方式で取り扱い、ビヅトレートの上限を増加した 4 ： 2 ： 2 P ( 4 ： 2 ： 2プロファイル）が規定されている。更に、次世代の高解像度ビデオ信号に対応するために、 HL (ハイ · レベル）が規定されている。図 1に、 MPEG2の代表的なクラスと、それぞれのクラスにおける、各種パラメ一夕の上限値を示す。図 1には、 4 ： 2 ： 2 P@HL ( 4 ： 2 ： 2プロファイル ' ハイ • レベル）、 4 : 2 : 2 P§ML ( 4 ： 2 ： 2 ：プロファイル ' メイン ' レベル）、 MP@HL (メイン ' プロファイル ' ハイ ' レベル）、 MP@HL - 1440 (メイン · プロフアイル ' ハイ · レベル - 1 440 ) 、 MP@ML (メイン ' プロファイル ' メイン · レベル）、 MP@LL (メイン ' プロファイル ' 口一 ' レベル）、および、 SP@ML (シンブル . プロファイル ' メイン · レベル）について、ビットレート、 1ラインあたりのサンプル数、 1フレームあたりのライン数、フレ一ム周波数、およびサンブルの処理時間の上限値がそれそれ示されている。

図 1から、 4 : 2 : 2 P@HLのビヅトレ一トの上限値は、 300 (Mbit/sec) であり、処理する画素数の上限値は、 62,668,800 (samples/sec) である。一方、 M P@MPのビットレートの上限値は、 1 5 (Mbit/sec) であり、処理する画素数の上限値は、 10,368,000 (samples/sec) である。すなわち、 4 : 2 : 2 P@HLをデコ —ドするビデオデコーダは、 MP@MLをデコードするビデオデコーダと比較して、ビットレートで 2 0倍、処理する画素数で約 6倍の処理能力が必要であることがわかる。

図 2に、 MPEG2ビデオビヅトストリームのレベル構造を示す。

最上位層であるピクチャ層の最初には、 sequence— headerが記述されている。 s equence— headerは、 MPEGビヅトストリームのシーケンスのヘッダデ一夕を定義するのである。シ——ケンス最初の sequence— headerに、 sequence一 extensionが続力 ²¹ ない場合、このビットストリームには、 IS0/IEC11172— 2の規定が適応される。シ一ケンスの最初の sequence— headerにヽ sequence— extensionが続く場合ヽその後発生する全ての sequence一 headerの直後には、 sequence一 extensionが続く。すなわち、図 2 ίこ示す場合（こおレ、て（ま、全ての sequence— headerの直後【こ、 sequence— extens ion^ く

sequence_extensionは、 MPEGビットストリームのシーケンス層の拡張データを定義するものである。 sequence一 extensionは、 sequence—headerの直後にのみ発生し、かつ、復号後、およびフレームリオ一ダリング後にフレームの損失がないようにするために、ビットストリームの最後に位置する sequence— end_codeの直前にきてはならない。また、ビットストリーム中に、 sequence_extensionが発生した場合、それそれの picture— headerの直後に picture cording— extentionが続く。 GOP (group_of_picture) 内には、複数の画像（picture) が含まれる。 GOPJie aderは、 MPEGビットストリームの GOP層のヘッダデ一夕を定義するものであり、更 (こ、このビヅ卜ストリーム中【こ（ま、 picture— headerと picture— coding—extension によって定義されたデータエレメントが記述されている。 1枚の画像は、 pictur e_headerおよび picture— coding— extensionに続く picture—dataとして符号ィ匕される。また、 GOPJieaderに続く最初の符号化フレームは、符号化された Iフレームである（すなわち、 GOPJieaderの最初の画像は Iピクチャである）。 ITU- T勧告 H.2 62には、 sequence一 extensionおよび picture— cording— extentionの他、各種の拡張が定義されているが、ここでは図示、および説明は省略する。

picture—headerは、 MPEGビットストリームのピクチャ層のヘッダデ一夕を定義するものであり、 picture— coding— extensionは、 MPEGビットストリームのビクチャ層の拡張データを定義するものである。

picture— dataは、 MPEGビヅトストリームのスライス層およびマクロプロヅク層に関するデータエレメントを記述するものである。 picture_dataは、図 2に示されるように、複数の slice (スライス）に分割され、スライスは、複数の macroj) lock (マクロブロック）に分割される。

macro_blockは、 1 6 x 1 6の画素デ一夕で構成されている。スライスの最初のマクロブロックおよび最後のマクロブロックは、スキップマクロブロック（情報を含まないマクロブロック）ではない。マクロブロックは、 1 6 X 1 6の画素デ —夕で構成されている。また、各ブロックは、 8 X 8の画素データで構成されている。また、フレーム D C T (Discrete Cosine Transform：離散コサイン変換）符号化およびフィ一ルド D C T符号化の使用が可能なフレーム画像においては、フレーム符号化とフィールド符号化の場合で、マクロプロックの内部構成が相違する。

マクロブロックは、輝度成分および色差成分の 1区画を含む。マクロブロックという用語は、情報源および復号データまたは対応する符号化デ一夕成分のいずれかを示す。マクロブロックには、 4 : 2 : 0、 4 : 2 : 2および 4 ： 4 ： 4の 3 つの色差フォーマットがある。マクロブロヅクにおけるブロックの順序は、それそれの色差フォーマツ卜によって異なる。図 3 Aに、 4 : 2 : 0方式の場合におけるマクロブロックを示す。 4 : 2 : 0 方式の場合、マクロブロックは、 4個の輝度（Y) ブロックと、それそれ 1個の色差（Cb， Cr) ブロックで構成される。図 3 Bに、 4 : 2 : 2方式の場合におけるマクロプロヅクを示す。 4 : 2 : 2方式の場合、マクロブロックは、 4個の輝度 (Y) プロヅクと、それぞれ 2個の色差（Cb， Cr) ブロックで構成される。

各マクロブロックは、いくつかの方法により、予測符号化処理が可能である。予測モードは、フィールド予測とフレーム予測の 2種類に大別される。フィ一ルド予測においては、先に復号された、 1つ、もしくは複数のフィールドのデ一夕を使用し、各フィールドについて、独自に予測を行う。フレーム予測は、先に復号された、 1つ、もしくは複数のフレームを使用してフレームの予測を行う。フィ一ルド画像内では、予測は全てフィールド予測である。一方、フレーム画像においては、フィールド予測、またはフレーム予測のいずれかにより予測が可能であり、その予測方法は、マクロブロックごとに選択される。また、マクロブロヅクの予測符号化処理においては、フィールド予測およびフレーム予測以外に、 1 6 X 8動き補償およびデュアルプライムの 2種類の特別予測モードを使用することができる。

動きベクトル情報、および他の周辺情報は、各マクロブロックの予測誤差信号とともに符号化される。動きベクトルの符号化については、可変長符号を使用して符号化された最後の動きべクトルを予測ベクトルとして、予測べクトルとの差分ベクトルを符号化する。表示可能なベクトルの最大長は、画像毎にプログラムすることができる。また、適切な動きベクトルの計算は、符号器が行う。

そして、 picture— dataの次には、 sequence— headerと sequence— extens ionが配置されてレ、る。この sequence—headerと sequence— extens ioniこよつて言 3¾されたデ— 夕エレメントは、ビデオストリームのシーケンスの先頭に記述された sequence_h eaderと sequence— extens ionによつて記述されたデ一タエレメン卜と全く同じである。このように同じデ一夕をストリーム中に記述する理由は、ビヅトストリーム受信装置側でデ一タストリ一ムの途中（例えばピクチャ層に対応するビヅトストリーム部分）から受信が開始された場合に、シーケンス層のデ一夕を受信できなくなり、ストリームをデコード出来なくなることを防止するためである。最後の sequence—headerと sequence一 extensionとによって定義されたデ一夕エレメントの次、つまり、デ一タストリームの最後には、シーケンスの終わりを示す 32ビヅ卜の sequence_end— code; ^記述されてレヽる。

次に、図 4乃至図 1 2を用いて、それそれのデ一夕エレメントの詳細について説明する。

図 4【こ、 sequence— headerの —夕構成を示す。 sequence— header (こ含められるデータエレメン卜は、 sequence— header_code、 horizontal—size一 value、 vertica 1— size— value、 aspect— ratio— information、 frame— rate— code、 Dit— rate一 value、 marker一 bit、 vbv_buffer— size— value、 constrained— parameter— flag、 load— intr a— quantiser— mat rix、 intra— quantiser— matrix、 load— non— intra— quantiser—mat rl'X および non— intra— quantiser— matrix等から構成される。

sequencejieader— codeは、シーケンス層のスタ一ト同期コ一ドを表すデータである。 horizontaし size_valueは、画像の水平方向の画素数の下位 1 2ビヅトからなるデ一夕である。 verticaし size_valueは、画像の縦のライン数の下位 1 2ビヅトからなるデ一夕である。 aspect— ratio—informationは、画素のアスペクト比 (縦横比）または表示画面アスペクト比を表すデ一夕である。 frame_rate_codeは、画像の表示周期を表すデータである。 bit_rate_valueは、発生ビット量に対する制限のためのビヅトレ一卜の下位 1 8ビットのデータである。

そして、 marker— bitは、スタートコードエミユレ一シヨンを防止するために挿入されるビットデータである。 vbv— buffer— size_valueは、発生符号量制御用の仮想バッファ VBV (Video Buffering Verifier) の大きさを決める値の下位 1 0 ビットデ—夕である。 _COnstrained_parameter— flagは、各パラメ一夕が制限以内であることを示すデータである。 load-non— intra— quantiser— matrixは、非イントラ MB用量子化マトリックス · データの存在を示すデータである。

load_intra— quantiser— matrixは、ィントラ MB用量子化マトリックス · データの存在を示すデ一夕である。 intra— quantiser一 matrixは、イントラ MB用量子ィ匕マトリヅクスの値を示すデータである。 ποη一 intra— quantiser— matrixは、非イントラ MB用量子化マトリックスの値を表すデータである。

図 5に、 sequence— extensionのデ一夕構成示 3。 sequence extensionは、 e xtension—start—code、 extension— start— code— identifier、 profi le— and— level— indication^ progressive一 sequence、 chroma— format、 horizontal—size— extensi on、 vertical— size— extension、 bit— rate— extension、 marker— bit、 vbv— buffer— size一 extension、 low_delay、 frame— rate— extension— n 、および frame一 rate— ex tension— d等のデ一タエレメン卜から構成されている。

extension— start— codeは、ェクステンションデ一夕のスタート同期コ一ドを表すデ—夕である。 _extension_start_code_identifierは、どの拡張データが送られるかを示すデータである。 prof ile_and_leveし indicationは、ビデオデ一夕のプ口ファイルとレベルを指定するためのデータである。 progressive—sequenceは、ビデオデ一夕が順次走査（プログレヅシブ画像）であることを示すデータである。 chroma_formatは、ビデオデータの色差フォーマツトを指定するためのデ一夕である。 horizontal— size— extensi οηίま、シ―ケンスへヅ夕、'の horiznta丄— size— value【こ加える上位 2ビヅトのデータである。 vertical— size_extensionは、シーケンスへッダの vertical— size— valueにカロえる上位 2ビヅ卜のデータである。

そして、 bit— rate— extensionは、シーケンスへヅ夕"の bit— rate— valueにカロえる上位 1 2ビットのデ一夕である。 marker— bitは、スタートコ一ドエミュレーションを防止するために挿入されるビットデータである。 vbv_buffer_size_extensio nは、シーケンスヘッダの vbv— buffer_size_valueに加える上位 8ビットのデ一夕である。 low_delayは、 Bビクチャを含まないことを示すデータである。 frame_r ate— extension— nは、シーケンスへヅダの frame一 rate一 codeと組み合わせてフレ一ムレ一トを得るためのデータである。 frame_rate— extension— dは、シーケンスへヅダの frame_rate— codeと組み合わせてフレームレ一トを得るためのデ一夕である _c 図 6に、 GOPjieaderのデータ構成を示す。 GOP_headerを表わすデ一夕エレメン卜は、 group_start一 code、 time— code、 closed_gop、および broken— linkから構成される。

group— start_codeは、 GOP層の開始同期コードを示すデータである。 time_cod eは、 GOPの先頭ピクチャの時間を示すタイムコードである。 closed_gopは、 G0P内の画像が他の G0Pから独立再生可能なことを示すフラグデ一夕である。 broken— li nkは、編集などのために GOP内の先頭の Bビクチャが正確に再生できないことを示すフラグデータである。

図 7【こ、 picture一 headerのデ一夕構成を示す。 picture— header【こ関するデ一夕エレメン卜は、 picture— start— code、 temporal— reference、 picture— coding— typ e、 vbv— delay、 full— pel— forward_vector、 forward_f_code_N full— pel— backward _vector、および backward— f— code等から構成される。

picture— start一 codeは、ビクチャ層の開始同期コードを表すデータである。 te mporaし referenceは、ピクチャの表示順を示す番号で GOPの先頭でリセットされるデ一夕である。 picture— coding_typeは、ピクチャタイプを示すデータである。 v bv— delayは、ランダムアクセス時の仮想バヅファの初期状態を示すデータである。 ful l_pel— forward— vector、 forward— f_code、 ful 1— pel— backward— vector、および backward— codeは、 MPEG2では使用されない固定データである。

図 8に、 picture— coding— extensionのデータ構成を示す。 picture— coding— ext ensionは、 extension— start—code、 extension— start— code— identifier、 f— code [0][0]、 f— code[0][l]、 f— code[l][0]、 f— code[ 1] [1]、 intra— dc—precision、 pi cture— structure、 top— field— firs t、 frame— pred— frame— dct、 concealment— moti on— vectors、 q一 scale— type、 intra— vlc_format、 alternate— scan、 repeat— firt一 field、 chroma— 420— type、 progressive— frame、 composite— display— flag、 v_a i s、 f ield一 sequence、 sub— carrier、 burst— amp litude、および sub— carrier— phase 等から構成される。

extension— start_codeは、ピクチャ層のエクステンションデータのスタートを示す開始コードである。 extension— start— code_identifierは、どの拡張デ一夕が送られるかを示すコードである。： L code[0][0]は、フォワード方向の水平動きベクトル探索範囲を表すデ一夕である。 f_code[0][l]は、フォワード方向の垂直動きベクトル探索範囲を表すデ一夕である。 f— code[l][0]は、バックワード方向の水平動きベクトル探索範囲を表すデータである。 f_code[l][l]は、バヅクワード方向の垂直動きべクトル探索範囲を表すデータである。

intra— dc— precisionは、 DC係数の精度を表すデ一夕である。ブロック内の各画素の輝度および色差信号を表した行列 fに、 D C Tを施すと、 8 X 8の D C T係数行列 Fが得られる。この行列 Fの左上隅の係数を DC係数と呼ぶ。 DC係数はブロック内の平均輝度、平均色差を表わす信号である。 picture_structureは、フレームストラクチャかフィールドストラクチャかを示すデ一夕であり、フィールドストラクチャの場合は、上位フィ一ルドか下位フィ一ルドかもあわせて示すデータである。 top_field_firstは、フレームストラクチャの場合、最初のフィールドが上位か下位かを示すデータである。 f rame— predictive— frame— dctは、フレ一ムス卜ラクチャの場合、フレーム ' モード D C Tの予測がフレーム · モ一ドだけであることを示すデータである。 concealment— motion— vectorsは、イントラマクロブロックに伝送エラ一を隠蔽するための動きべクトルがついていることを示すデ一夕である。

q— scale— typeは、線形量子化スケールを利用するか、非線形量子化スケールを利用するかを示すデータである。 intra— vlcjormatは、イントラマクロブロックに、別の 2次元 VLC (Variable Length Cording) を使うか否かを示すデータである。 alternate— scanは、ジグザグスキャンを使うか、オルタネート · スキャンを使うかの選択を表すデ一タである。 repeat_firt— f ieldは、 2 ： 3プルダウンの際に使われるデ一夕である。 chroma_420_typeは、信号フォーマットが 4 ： 2 ： 0の場合、次の progressive— frame と同じ値であり、そうでない場合は 0を表すデ一夕である。 progressive_fraDieは、このピクチャが、順次走査かイン夕レ一スフィ —ルドかを示すデ一夕である。 composite— display— flagは、ソース信号がコンポジット信号であったかどつかを示すテ一タである。 V— axis、 field— sequence、 su b_carrier、 burst—amp 1 itude、および sub— carrier— pnaseは、ソース信号がコンポジット信号の場合に使われるデ一夕である。

図 9に、 picture_dataのデ一タ構成を示す。 picture_data () 関数によって定義されるデータエレメントは、 slice () 関数によって定義されるデ一夕エレメントである。この si ice () 関数によって定義されるデ一夕エレメントは、ビットストリ一ム中に少なくとも 1個記述されている。

slice () 関数は、図 1 0に示されるように、 slice_start— code、 quantiser— s cale— code、 intra— si ice—flag、 intra— slice、 reserved— bits、 extra— bit— si ice、および extra— information_slice等のデ一夕エレメントと、 macroblock () 関数によって定義される。 slice— start— codeは、 slice () 関数によって定義されるデータエレメントのス夕一トを示すス夕一トコ一ドである。 quantiser— scale— codeは、このスライス層に存在するマクロプロックに対して設定された量子化ステツプサイズを示すデ一夕であるが、マクロブロック毎に、 quantiser— scale—codeが設定されてレヽる場合には、各マク口ブロヅクに対して設定された macroblock— quantiser— scale— codeのデ一夕が優先して使用される。

intra— si ice— flagは、ビットストリーム中に intra— si iceおよび reserved— bits が存在するか否かを示すフラグである。 intra_sliceは、スライス層中にノンイントラマクロプロックが存在するか否かを示すデ一夕である。スライス層におけるマクロブロックのいずれかがノンイントラマクロブロヅクである場合には、 intr a— si iceは「0」となり、スライス層におけるマクロブロックの全てがノンイントラマクロブロックである場合には、 intra_sliceは「 1」となる。 reserved— bits は、 7ビットのデータであって「◦」の値を取る。 extra_bit— sliceは、追加の情報が存在することを示すフラグであって、次に extra_information_sliceが存在する場合には「 1」に設定され、追加の情報が存在しない場合には「0」に設定される。

これらのデ一夕エレメントの次には、 macroblock () 関数によって定義されたデ一夕エレメントが記述されている。 macroblock () 関数は、図 1 1に示すように、 macroblock— escape、 macroblock— address— increments および quantiser— sea le_codeヽおよび marker— bit等のデ一夕エレメントと、 macroblockjnodes () 関数、 motion_vectors (s) 関数、および coded— block_pattern () 関数によって定義されたデ一夕エレメントを記述するための関数である。

macroblock— escapeは、参照マク口ブロヅクと前のマク口ブロヅクとの水平方向の差が 34以上であるか否かを示す固定ビット列である。参照マクロブロックと前のマクロブロヅクとの水平方向の差が 34以上の場合には、 macroblock— addre ss— incrementの値に 33が加えられる。 macroblock— address— incrementは、参照マクロブロックと前のマクロブロックとの水平方向の差を示すデ一夕である。もし、 macroblock— address— incrementの目 ijに macroblock— escape力 ^s 1つ存在するのであれば、この macroblock address— incre腿 tの値に 3 3を加えた値が、実際の参照マクロブロックと前のマクロブロックとの水平方向の差分を示すデータとなる。 quanti ser— scale_codeは、各マク口ブロヅクに設定された量子化ステヅプサイズを示すデ一夕であり、 macrobl ock_quantが「 1」のときだけ存在する。各スラィス層には、スライス層の量子化ステヅプサイズを示す s l i ce_quanti ser— scale— codeが設定されているが、参照マクロブロックに対して scale_codeが設定されている場合には、この量子化ステツプサイズを選択する。

macroblock一 address— incrementの次（こ ίま、 mac rob lock一 modes ( ) 数（こよって定義されるデータエレメントが記述されている。 macrob lockjnodes ( ) 関数は、図 1 2 ίこ示すよう【こ、 macrobl ock— type、 frame— motion— type、 f i e l d_motion_typ e、 dct_type等のデ一夕エレメントを記述するための関数である。 niacroblock_ty peは、マクログブロックの符号化タイブを示すデ一夕である。

macroblock— moti on— forward又は macroblockjot ion— backward力「 1」であり、ピクチャ構造がフレームであり、更に frame— pred_frame_dctが「 0」である場合には、 macroblock— typeを表わ ?—タエレメントの次に frame— motion— typeを表わすデ一夕エレメントが記述されている。なお、この frame_pred_frame_dctは、 frame— mot ion_typeがビヅトストリーム中に存在するか否かを示すフラグである。 f rame—motion— typeは、フレームのマクロブロックの予測タイプを示す 2 ビットのコードである。予測ベクトルが 2個で、フィ一ルドベースの予測タイプであれば、 framejnot ion_typeは「 0 0」であり、予測ベクトルが 1個で、フィールドべ —スの予測夕ィプであれば、 frame_motion— typeは「 0 1」であり、予測べクトルが 1個で、フレームベースの予測夕イブであれば、 framejnotion_typeは「 1 0」であり、予測ベクトルが 1個で、デュアルブライムの予測タイプであれば、 fram e_inotion— typeは「 1 1」である。

f ie ld—mot ion— typeは、フィ一ルドのマク口ブロヅクの動き予測を示す 2 ビットのコ一ドである。予測べクトルカ 1個でフィ一ルドベースの予測タイプであれば「 0 1」であって、予測べクトルカ 2個で 1 8 X 8マクロブロヅクベースの予測タイプであれば「 1 0」であって、予測べクトルが 1個でデュアルブライムの予測タイプであれば「 1 1」である。

ピクチャ構造がフレームであり、 frame—pred—f raffle dctが、そのビットストリ ——ム中に: frame— mot ion— type力 s存在することを示し、 f rame一 pred— f rame— dct力 ^s、そのビットストリーム中に dct_typeが存在することを示している場合、 macroM ock —typeを表わすデータエレメン卜の次には dct_typeを表わすデータエレメン卜が記述されている。なお、 dct— typeは、 D C Tがフレーム D C Tモードか、フィ一ルド D C Tモードかを示すデータである。

MPEG2のストリームにおいて、以上説明したそれそれのデータエレメントは、 s tart codeと称される、特殊なビットパターンで開始される。これらのスタートコードは、別の状況では、ビデオストリーム中に現れない特定のビットパターンである。各スタートコードは、スタートコードプレフィクスと、それに続くスタ一トコ一ド値から構成される。スタートコードプレフィクスは、ビヅト列 "0000 0 000 0000 0000 0000 0001" である。スタートコ一ド値は、スタートコードのタイプを識別する 8ビッ卜の整数である。

図 1 3に、 MPEG2の各 start codeの値を示す。多くのス夕一トコ一ドは、 1個のスタートコード値より示される。しかし、 sl i ce— start— codeは、 0 1乃至 AFの複数のス夕一トコ一ド値により示され、このスタートコード値は、スライスに対する垂直位置を表わす。これらのス夕一トコ一ドは、全てバイト単位であるため、スタートコ一ドブレフィクスの最初のビットがバイトの最初のビヅ卜になるように、ス夕一トコ一ドブレフィタスの前に、複数のビット "0" が挿入され、ス夕一トコ一ドがバイト単位になるように調整される。

図 1 4は、従来の MP@MLに対応した MPEGビデオデコ一ダの回路構成を示すブロック図である。

MPEGビデオデコ一ダは、ストリーム入力回路 1 1、バッファ制御回路 1 2、クロック発生回路 1 3、スタ一トコ一ド検出回路 1 4、デコーダ 1 5、動き補償回路 1 6、および表示出力回路 1 7から構成される I C ( integrated c ircui t) 1 と、ストリームバッファ 2 1およびビデオバッファ 2 2で構成され、例えば、 DR AM (Dynami c Random Access Memory) 力らなるノヅファ 2により構成される。

I C 1のストリーム入力回路 1 1は、高能率符号化された符号化ストリームの入力を受け、バッファ制御回路 1 2に供給する。バッファ制御回路 1 2は、クロック発生回路 1 3から供給される基本クロックに従って、入力された符号化ストリームをノヅファ 2のストリームノヅファ 2 1 に入力する。ストリームバッファ 2 1は、 MP@MLのデコ一ドに要求される V B Vバッファサイズである 1， 8 3 5， 0 0 8 ビッ卜の容量を有する。ストリームバッファ 2 1 に保存されている符号化ストリ一ムは、バヅファ制御回路 1 2の制御に従って、先に書き込まれたデータから順に読み出され、スタートコード検出回路 1 4に供給される。スタートコード検出回路 1 4は、入力されたストリームから、図 1 3を用いて説明したスタートコードを検出し、検出したスタートコ一ドおよび入力されたストリ一ムをデコーダ 1 5に出力する。

デコーダ 1 5は、入力されたストリームを MPEGシンタックスに基づいて、デコ —ドする。デコーダ 1 5は、入力されたスタートコードに従って、まず、ビクチャ層のヘッダパラメータをデコードし、それを基に、スライス層をマクロブロックに分離してマクロブロックをデコードし、その結果得られる予測べクトルおよび画素を、動き補償回路 1 6に出力する。

MPEGでは、画像の時間的冗長性を利用して、近接した画像間で動き補償した差分を得ることにより、符号化効率を改善している。 MPEGビデオデコーダでは、動き補償を用いた画素に対しては、現在デコードしている画素にその動きベクトルが示す参照画像の画素デ一夕を加算することにより動き補償を行い、符号化前の画像デ一夕に復号する。

デコーダ 1 5から出力されるマクロプロックが動き補償を使用していない場合、動き補償回路 1 6は、その画素データを、バッファ制御回路 1 2を介して、バッファ 2のビデオバッファ 2 2に書き込み、表示出力に備えるとともに、この画素デ一夕が、他の画像の参照データとされる場合に備える。

デコーダ 1 5から出力されるマクロプロックが動き補償を使用している場合、動き補償回路 1 6は、デコーダ 1 5から出力される予測ベクトルに従って、バッファ制御回路 1 2を介して、バッファ 2のビデオバッファ 2 2から参照画素デー夕を読み出す。そして、読み出した参照画素データを、デコーダ 1 5から供給された画素データに加算し、動き補償を行う。動き補償回路 1 6は、動き補償を行つた画素データを、バッファ制御回路 1 2を介してバッファ 2のビデオバッファ 2 2に書き込み、表示出力に備えるとともに、この画素データが、他の画素の参照データとされる場合に備える。

表示出力回路 1 7は、デコードした画像デ一夕を出力するための同期タイミング信号を発生し、このタイミングを基に、バッファ制御回路 1 2を介して、ビデォバッファ 2 2から画素データを読み出し、復号ビデオ信号として出力する。

以上説明したように、 MPEG2ストリームは階層構造を有している。図 2を用いて説明したピクチャ層の sequence一 header乃至 pi cture— coding— extens ionのデ一夕は、図 1 を用いて説明したプロファイルおよびレベルが異なる場合においても、そのデータ量は、あまり変更されない。一方、スライス層以下のデータ量は、符号化する画素数に依存する。

図 1 より、 HLにおいて、 1枚のピクチャで処理しなければならないマクロプロヅクの数は、 MLに対して約 6倍になる。更に、図 3 Bより、 4 ： 2 ： 2 Pにおいて、 1個のマクロブロックで処理するブロックの数は、 MPの 4 / 3倍になる。

すなわち、図 1 4を用いて説明した MP@MLに対応したビデオデコーダで、 4 ： 2 ： 2 P @HLの符号化ストリームを復号しょうとした場合、 V B Vバッファサイズおよび画素数の増加に伴って、ストリ一ムバヅファ 2 1 のバヅフアサイズが不足する。また、ビヅトレ一卜の増加に伴い、入力ストリームのストリームバッファ 2 1へのアクセスが増加し、画素数の増加に伴って、動き補償回路 1 6のビデオバヅファ 2 2へのアクセスが増加するため、バッファ制御回路 1 2の制御が間に合わなくなる。更に、ビヅトレ一卜の増加、マクロプロヅクおよびブロック数の増加に伴って、デコーダ 1 5の処理が間に合わなくなる。

今日の半導体技術の進展により、信号処理回路、メモリ（バッファ）回路とも、その動作速度は著しく向上している。しかしながら、現在の ML@MPの復号技術では、 4 : 2 : 2 P @HLを復号するまでには至っていない。一般に、このような高速の信号処理を行おうとした場合、回路規模が大幅に増加し、部品点数の増加および消費電力の増加を招いてしまう。発明の開示本発明はこのような状況に鑑みてなされたものであり、今日の半導体技術を用いて、実現可能な回路規模で実時間動作が可能な 4 ： 2 ： 2 P @HLに対応したビデォデコーダを実現することができるようにするものである。

本発明の第 1の復号装置は、符号化ストリームを復号する複数の復号手段と、複数の復号手段を並行して動作させるように制御する復号制御手段とを備えることを特徴とする。

複数の復号手段には、復号処理の終了を示す信号を復号制御手段に出力させるようにすることができ、復号制御手段には、復号処理の終了を示す信号を出力した復号手段に、符号化ストリームを復号させるように制御させることができる。符号化ス卜リームをバッファリングする第 1のバッファ手段と、符号化ストリームから、符号化ストリームに含まれる所定の情報の単位の始まりを表わすスタートコードを読み出すとともに、第 1のバッファ手段に、スタートコードが保持されている位置に関する位置情報を読み出す読み出し手段と、読み出し手段により読み出された、スタートコ一ドおよび位置情報をバッファリングする第 2のバヅファ手段と、第 1のバッファ手段による符号化ストリームのバッファリング、および第 2のバッファ手段によるスタートコ一ドおよび位置情報のバッフアリングを制御するバッファリング制御手段とを更に備えさせるようにすることができる。

符号化ストリームは、 IS0/IEC 13818— 2および ITU— T勧告 H.262に規定された MP EG2の符号化ストリームとすることができる。

複数の復号手段により復号され、出力された複数の画像データのうちの所定のものを選択する選択手段と、選択手段により選択された画像データの入力を受け、必要に応じて動き補償を施す動き補償手段とを更に備えさせるようにすることができる。

復号手段には、復号処理が終了したことを示す終了信号を選択手段に出力させるようにすることができ、選択手段には、複数の復号手段のそれそれの処理状態に対応する値を記憶する記憶手段を有し、記憶手段の値が全て第 1の値になった場合、復号処理が終了したことを示す終了信号を出力している復号手段に対応する記憶手段に記憶されている値を、第 1の値から第 2の値に変更させ、対応する記憶手段に記憶されている値が第 2の値である復号手段により復号された画像デ —夕のうち、いずれかの画像データを選択させ、選択された画像データを復号した復号手段に対応する記憶手段に記憶されている値を第 1の値に変更させるようにすることができる。

選択手段により選択された画像データ、または動き補償手段により動き補償が施された画像データを保持する保持手段と、選択手段により選択された画像デ一夕、および動き補償手段により動き補償が施された画像デ一夕の保持手段による保持を制御する保持制御手段とを更に備えさせるようにすることができる。

保持手段には、画像データの輝度成分と色差成分をそれそれ分けて保持させるようにすることができる。

復号手段に供給される符号化ストリームのフレームの順番を変更する変更手段を更に備えさせるようにすることができ、保持手段には、画像シーケンス内のィントラ符号化フレームおよび前方向予測符号化フレームを合計したフレーム数より少なくとも 2つ多い数のフレームを保持させるようにすることができ、変更手段には、符号化ストリームを逆転再生させるための所定の順番になるように、符号化ストリ一ムのフレームの順番を変更させるようにすることができる。

保持手段により保持されている画像デ一夕を読み出して出力する出力手段を更に備えさせるようにすることができ、所定の順番とは、イントラ符号化フレーム、前方向予測符号化フレーム、双方向予測符号化フレームの順番であり、かつ、双方向予測符号化フレーム内での順番は、符号化の順番とは逆であるものとすることができ、出力手段には、復号手段により復号され、保持手段により保持されている双方向予測符号化フレームを順次読み出して出力するとともに、所定の夕ィミングで、保持手段により保持されているイントラ符号化フレーム、もしくは前方向予測符号化フレームを読み出して、双方向予測符号化フレームの間の所定の位置に挿入して出力させるようにすることができる。

所定の順番とは、出力手段によりイントラ符号化フレーム、もしくは前方向予測符号化フレームが出力されるタイミングで、復号手段により復号された、一つ前の画像シーケンスのイントラ符号化フレームもしくは前方向予測符号化フレームが、保持手段により保持されるような順番であるものとすることができる。符号化ストリームを復号するために必要な情報を記録する記録手段と、記録手段による情報の記録および情報の復号手段への供給を制御する制御手段とを更に備えさせるようにすることができ、符号化ストリームは、情報を含むものとすることができ、制御手段には、復号手段の復号処理に必要な情報を選択して、復号手段に供給させるようにすることができる。

制御手段が復号手段に供給する情報は、復号手段により復号されているフレームに対応する上位層符号化パラメ一夕であるものとすることができる。

保持手段により保持されている画像デ一夕を読み出して出力する出力手段を更に備えさせるようにすることができ、復号手段は、符号化ストリームを通常再生に必要な処理速度の N倍速で復号することが可能であるものとすることができ、出力手段は、保持手段により保持されている画像データのうち Nフレーム毎の画像デ一夕を出力することが可能であるものとすることができる。

符号化ストリームを保持する第 1の保持手段と、符号化ストリームから、符号化ストリームに含まれる所定の情報の単位の始まりを表わすスタートコードを読み出すとともに、第 1の保持手段に、スタートコードが保持されている位置に関する位置情報を読み出す読み出し手段と、読み出し手段により読み出された、スタートコードおよび位置情報を保持する第 2の保持手段と、第 1の保持手段による符号化ストリームの保持、および第 2の保持手段によるスタートコードおよび位置情報の保持を制御する第 1の保持制御手段と、複数の復号手段により復号され、出力された複数の画像データのうちの所定のものを選択する選択手段と、選択手段により選択された画像データの入力を受け、必要に応じて動き補償を施す動き補償手段と、選択手段により選択された画像データ、または動き補償手段により動き補償が施された画像データを保持する第 3の保持手段と、選択手段により選択された画像データ、および動き補償手段により動き補償が施された画像デ —夕の第 3の保持手段による保持を、第 1の保持制御手段とは独立して制御する第 2の保持制御手段とを更に備えさせることができる。

本発明の第 1の復号方法は、符号化ストリームを復号する複数の復号ステップと、複数の復号ステツプの処理を並行して動作させるように制御する復号制御ステツブとを含むことを特徴とする。

本発明の第 1の記録媒体に記録されているプログラムは、符号化ストリームを復号する複数の復号ステツプと、複数の復号ステツプの処理を並行して動作させるように制御する復号制御ステツプとを含むことを特徴とする。

本発明の第 1のプログラムは、符号化ストリームを復号する複数の復号ステツプと、複数の復号ステツプの処理を並行して動作させるように制御する復号制御ステップとを含むことを特徴とする。

本発明の第 2の復号装置は、符号化ストリームを復号する複数のスライスデコ —ダと、複数のスライスデコーダを並行して動作させるように制御するスライスデコーダ制御手段とを備えることを特徴とする。

本発明の第 2の復号方法は、符号化ストリームを復号する複数のスライスデコーダによる復号を制御する復号制御ステツプと、復号制御ステツプを並行して処理させるように制御するスライスデコーダ制御ステツブとを含むことを特徴とする。

本発明の第 2の記録媒体に記録されているプログラムは、符号化ストリ一ムを復号する複数のスライスデコーダによる復号を制御する復号制御ステツプと、復号制御ステッブを並行して処理させるように制御するスライスデコーダ制御ステップとを含むことを特徴とする。

本発明の第 2のプログラムは、符号化ストリームを復号する複数のスライスデコーダによる復号を制御する復号制御ステツブと、復号制御ステツブを並行して処理させるように制御するスライスデコーダ制御ステツプとを含むことを特徴とする。

本発明の第 3の復号装置は、ソース符号化ストリームのビクチャを構成するスライス毎に、ソース符号化ストリ一ムをデコ一ドする複数のスライスデコ一ダと、複数のスライスデコーダのデコ一ドステ一タスを監視するとともに、複数のスライスデコ一タを制御する制御手段とを備え、制御手段は、ピクチャに含まれるスライスの順番に関係なく、スライスデコーダによるピクチャのデコ一ド処理が最も早くなるように、スライスを複数のスライスデコーダに割り当てることを特徴とする。

本発明の第 3の復号方法は、複数のスライスデコーダによる、ソース符号化ストリームのピクチャを構成するスライス毎のソース符号化ストリ一ムのデコード処理を制御するデコード処理制御ステツプと、複数のスライスデコーダのデコ一ドステ一タスを監視するとともに、複数のスライスデコ一夕を制御する制御ステッブとを含み、制御ステップの処理では、ピクチャに含まれるスライスの順番に関係なく、スライスデコーダにおいて実行されるデコ一ド処理が最も早くなるように、スライスを複数のスライスデコーダに割り当てることを特徴とする。

本発明の第 3のプログラムは、複数のスライスデコーダによる、ソース符号化ストリームのピクチャを構成するスライス毎のソース符号化ストリームのデコ一ド処理を制御するデコ一ド処理制御ステヅプと、複数のスライスデコーダのデコ一ドステ一夕スを監視するとともに、複数のスライスデコ一夕を制御する制御ステヅプとを含み、制御ステップの処理では、ピクチャに含まれるスライスの順番に関係なく、スライスデコーダにおいて実行されるデコ一ド処理が最も早くなるように、スライスを複数のスライスデコーダに割り当てることを特徴とする。本発明の第 4の復号装置は、ソース符号化ストリームのビクチャを構成するスライス毎に、ソース符号化ストリ一ムをデコードする複数のスライスデコーダと、複数のスライスデコーダのデコードステ一タスを監視するとともに、複数のスライスデコ一夕を制御する制御手段とを備え、制御手段は、ビクチャに含まれるスライスの順番に関係なく、複数のスライスデコーダのうちデコードが終了したスライスデコーダに、デコードすべきスライスを割り当てることを特徴とする。本発明の第 4の復号方法は、複数のスライスデコーダによる、ソース符号化ストリームのピクチャを構成するスライス毎のソース符号化ストリ一ムのデコード処理を制御するデコ一ド処理制御ステツプと、複数のスライスデコーダのデコ一ドステ一タスを監視するとともに、複数のスライスデコ一夕を制御する制御ステヅブとを含み、制御ステップの処理では、ビクチャに含まれるスライスの順番に関係なく、複数のスライスデコーダのうち、デコード処理制御ステップの処理によりデコード処理が終了したスライスデコーダに、デコードすべきスライスを割り当てることを特徴とする。

本発明の第 4のプログラムは、複数のスライスデコーダによる、ソース符号化ストリームのピクチャを構成するスライス毎のソース符号化ストリ一ムのデコ一ド処理を制御するデコ一ド処理制御ステツプと、複数のスライスデコーダのデコ ―ドステ一タスを監視するとともに、複数のスライスデコ一夕を制御する制御ステヅブとを含み、制御ステップの処理では、ピクチャに含まれるスライスの順番に関係なく、複数のスライスデコーダのうち、デコード処理制御ステヅプの処理によりデコード処理が終了したスライスデコーダに、デコードすべきスライスを割り当てることを特徴とする。

本発明の第 1の復号装置、復号方法、およびプログラムにおいては、符号化ストリ一ムが復号され、復号処理を並行して動作させるように、復号処理が制御される。

本発明の第 2の復号装置、復号方法、およびプログラムにおいては、符号化ストリームが複数のスライスデコーダによって復号され、複数のスライスデコーダによる復号処理が並行して行われる。

本発明の第 3の復号装置、復号方法、およびプログラムにおいては、ソース符号化ストリームのピクチャを構成するスライス毎に、ソース符号化ストリームがデコードされ、複数のスライスデコーダのデコードステ一タスが監視されるとともに、複数のスライスデコ一夕が制御され、ビクチャに含まれるスライスの順番に関係なく、スライスデコーダにおいて実行されるデコ一ド処理が最も早くなるように、スライスが複数のスライスデコーダに割り当てられる。

本発明の第 4の復号装置、復号方法、およびプログラムにおいては、ソース符号化ストリームのピクチャを構成するスライス毎に、ソース符号化ストリームがデコードされ、複数のスライスデコーダのデコ一ドステ一タスが監視されるとともに、複数のスライスデコ一夕が制御され、ビクチャに含まれるスライスの順番に関係なく、複数のスライスデコーダのうちデコ一ドが終了したスライスデコ一ダに、デコードすべきスライスが割り当てられる。

図面の簡単な説明図 1は、 MPEG2の、プロファイルとレベルによる、各パラメ一夕の上限値を説明するための図である。図 2は、 MPEG2ビットストリームの階層構造を説明するための図である。

図 3 A， Bは、マクロブロック層を説明するための図である。

図 4は、 sequencejieaderのデータ構造を説明するための図である。

図 5は、 sequence— extensi onのデ一夕構造を説明するための図である。

図 6は、 GOPJieaderのデ一夕構造を説明するための図である。

図 7は、 pi cture_headerのデータ構造を説明するための図である。

図 8は、 pi cture_coding_extens ionのデ一夕構造を説明するための図である。図 9は、 pi cture— dataのデータ構造を説明するための図である。

図 1 0は、 s l i ceのデータ構造を説明するための図である。

図 1 1は、 macroblockのデータ構造を説明するための図である。

図 1 2は、 macroblock—modesのデ一夕構造を説明するための図である。

図 1 3は、スタートコードを説明するための図である。

図 1 4は、従来の MUMPの符号化ストリームをデコードするビデオデコーダの構成を示すプロヅク図である。

図 1 5は、本発明を適応したビデオデコーダの構成を示すブロック図である。図 1 6は、スライスデコーダ制御回路の処理について説明するためのフローチャ一トである。

図 1 7は、スライスデコーダ制御回路の処理の具体例を説明するための図である。

図 1 8は、動き補償回路によるスライスデコーダの調停処理を説明するためのフローチャートである。

図 1 9は、動き補償回路によるスライスデコーダの調停処理の具体例を説明するための図である。

図 2 0は、図 1 5の MPEGビデオデコーダを備えた再生装置の構成を示すブロック図である。

図 2 1は、エンコーダに入力されて符号化される MPEGビデオ信号のビクチャ構成を示す図である。

図 2 2は、フレーム間予測を用いた MPEGの画像符号化の例を示す図である。図 2 3は、 MPEG符号化ストリームが順方向に再生される場合の復号処理について説明するための図である。

図 2 4は、 MPEG符号化ストリームが逆転再生される場合の復号処理について説明するための図である。発明を実施するための最良の形態以下、図を参照して、本発明の実施の形態について説明する。

図 1 5は、本発明を適応した、 MPEGビデオデコーダの回路構成を示すブロック図である。

図 1 5の MPEGビデオデコーダは、ストリーム入力回路 4 1、スタートコ一ド検出回路 4 2、ストリームバッファ制御回路 4 3、クロヅク発生回路 4 4、ピクチャデコーダ 4 5、スライスデコーダ制御回路 4 6、スライスデコーダ 4 7乃至 4 9、動き補償回路 5 0、輝度バッファ制御回路 5 1、色差バッファ制御回路 5 2、および表示出力回路 5 3から構成される I C 3 1、ストリームバヅファ 6 1およびスタートコードバッファ 6 2で構成され、例えば、 DRAMからなるバッファ 3 2、輝度バッファ 7 1および色差バッファ 7 2で構成され、例えば、 DRAMからなるビデォバッファ 3 3、コントローラ 3 4、並びに、ドライブ 3 5で構成される。ストリーム入力回路 4 1は、高能率符号化された符号化ストリ一ムの入力を受け、ス夕一トコード検出回路 4 2に供給する。スタートコード検出回路 4 2は、入力された符号化ストリームをストリームバッファ制御回路 4 3に供給するとともに、図 1 3を用いて説明したスタートコードを検出して、それを基に、そのスタ一トコ一ドの種類と、ストリームバヅファ 6 1 にそのスタートコードが書き込まれる位置を示す書き込みポインタとを含む、スタートコード情報を生成し、ストリームバッファ制御回路 4 3に供給する。

クロック発生回路 4 4は、図 1 4を用いて説明したクロック発生回路 1 3の 2 倍の基本クロックを発生し、ストリームバッファ制御回路 4 3に供給する。ストリームバッファ制御回路 4 3は、クロック発生回路 4 4から供給される基本クロヅクに従って、入力された符号化ストリームを、ノソファ 3 2のストリ一ムバヅファ 6 1に書き込み、入力されたスタートコ一ド情報を、バッファ 3 2のスタ一トコ一ドノヅファ 6 2に書き込む。

MPEGビデオデコーダが、 4 : 2 : 2 P @HLの MPEG符号化ストリームを順方向に再生することができるようになされている場合、ストリ一ムバッファ 6 1は、少なくとも、 4 : 2 : 2 P @HLのデコードに要求される V B Vバッファサイズである 4 7, 185 , 920ビヅ卜の容量を有している。また、 MPEGビデオデコーダが、逆転再生を実行することができるようになされている場合、ストリームバッファ 6 1は、少なくとも、 2 G0P分のデータを記録することができる容量を有している。

ピクチャデコーダ 4 5は、ストリームバッファ制御回路 4 3を介して、スタ一トコ一ドバヅファ 6 2からス夕一トコ一ド情報を読み出す。例えば、デコード開始時は、図 2を用いて説明した sequencejieaderからデコ一ドが開始されるので、ビクチャデコーダ 4 5は、図 4を用いて説明したス夕一トコ一ドである sequence — header_codeに対応する書き込みポィン夕をスタートコ一ドバヅファ 6 2から読み出し、その書き込みポインタを基に、ストリームバッファ 6 1 から sequence— h eaderを読み出してデコードする。続いて、ピクチャデコーダ 4 5は、 sequence— headerの読み出しと同様に、 sequence—extens ion、 GOP— header、 p i cture— coding _extens i on等をストリ一ムバッファ 6 1から読み出してデコ一ドする。

ピクチャデコーダ 4 5が、スタートコードバッファ 6 2から、最初の sl i ce_st art— codeを読み出した時点で、そのビクチャのデコ一ドに必要な全てのパラメ一夕が揃ったことになる。ビクチャデコーダ 4 5は、デコードしたビクチャ層のパラメ一夕を、スライスデコーダ制御回路 4 6に出力する。

スライスデコーダ制御回路 4 6は、ピクチャ層のパラメータの入力を受け、ストリームバッファ制御回路 4 3を介して、スタートコードバッファ 6 2から、対応するスライスのスタートコード情報を読み出す。また、スライスデコーダ制御回路 4 6は、スライスデコーダ 4 7乃至 4 9のいずれかにデコ一ドさせるスライスが、符号化ストリームに含まれる何番目のスライスであるかを示すレジス夕を有し、そのレジスタを参照しながら、ピクチャ層のパラメータと、スタートコ一ド情報に含まれるスライスの書き込みボインタをスライスデコーダ 4 7乃至 4 9 のいずれかに供給する。スライスデコーダ制御回路 4 6が、スライスデコーダ 4 7乃至 4 9のうち、デコ一ドを実行させるスライスデコーダを選択する処理については、図 1 6および図 1 7を用いて後述する。

スライスデコーダ 4 7は、マクロブロック検出回路 8 1、べクトル復号回路 8 2、逆量子化回路 8 3、および逆 D C T回路 8 4で構成され、スライスデコーダ制御回路 4 6から入力されたスライスの書き込みポインタを基に、対応するスライスを、ストリームバッファ制御回路 4 3を介してストリームバッファ 6 1から読み出す。そして、スライスデコーダ制御回路 4 6から入力されたピクチャ層のパラメ一夕に従って、読み出したスライスをデコードして、動き補償回路 5 0に出力する。

マクロブロヅク検出回路 8 1は、スライス層のマクロブロックを分離し、各マク口プロヅクのパラメ一夕をデコ一ドし、可変長符号化された各マクロプロックの予測モ一ドおよび予測べクトルをべクトル復号回路 8 2に供給し、可変長符号化された係数データを逆量子化回路 8 3に供給する。ベタトル復号回路 8 2は、可変長符号化された、各マクロプロックの予測モードおよび予測べクトルをデコードして、予測ベクトルを復元する。逆量子化回路 8 3は、可変長符号化された係数デ一夕をデコ一ドして逆 D C T回路 8 4に供給する。逆 D C T回路 8 4は、デコ一ドされた係数データに逆 D C Tを施し、符号化前の画素データに復元する。スライスデコーダ 4 7は、動き補償回路 5 0に、デコードしたマクロブロックに対する動き補償の実行を要求し（すなわち、図中、 R E Qで示される信号を 1 にする）、動き補償回路 5 0から動き補償の実行要求に対する受付を示す信号 (図中 A C Kで示される信号）を受けて、デコードされた予測ベクトルおよびデコードされた画素を動き補償回路 5 0に供給する。スライスデコーダ 4 7は、 A C K信号の入力を受けて、デコ一ドされた予測べクトルおよびデコ一ドされた画素を動き補償回路 5 0に供給した後に、 R E Q信号を 1から 0に変更する。そして、次に入力されたマクロプロヅクのデコードが終了した時点で、 R E Q信号を、再び 0から 1に変更する。

また、スライスデコーダ 4 8のマクロプロヅク検出回路 8 5乃至逆 D C T回路 8 8およびスライスデコーダ 4 9のマクロブロック検出回路 8 9乃至逆 D C T回路 9 2においても、スライスデコーダ 4 7のマクロブロック検出回路 8 1乃至逆 D C T回路 8 4と同様の処理が行われるので、その説明は省略する。動き補償回路 5 0は、スライスデコーダ 4 7乃至 4 9から入力されたデ一夕の動き補償が終了したか否かを示す Reg_REQ_A、 Reg— REQ_Bおよび Reg— REQ—Cの 3つのレジスタを有し、これらのレジスタの値を参照しながら、適宜、スライスデコーダ 4 7乃至 4 9のうちの 1つを選んで、動き補償実行要求を受け付け（すなわち、 R E Q信号に対して、 A C K信号を出力して、予測ベクトルと画素の入力を受ける）、動き補償処理を実行する。このとき、動き補償回路 5 0は、スライスデコ —ダ 4 7乃至 4 9のうち、所定の夕ィミングにおいて R E Q信号が 1であるスライスデコーダ 4 7乃至 4 9に対する動き補償が、それそれ 1回ずつ終了した後に、次の動き補償要求を受け付ける。例えば、スライスデコーダ 4 7が連続して動き補償要求を出しても、スライスデコーダ 4 8およびスライスデコーダ 4 9の動き補償が終了するまで、スライスデコーダ 4 7の 2つ目の動き補償要求は受け付けられない。動き補償回路 5 0が、スライスデコーダ 4 7乃至 4 9のいずれのデコ —ダの出力に対して動き補償を実行するかを選択する処理については、図 1 8および図 1 9を用いて後述する。

スライスデコーダ 4 7乃至 4 9のいずれかから入力されるマクロブロックが動き補償を使用していない場合、動き補償回路 5 0は、その画素データが輝度デー夕であれば、輝度バッファ制御回路 5 1 を介して、ビデオバッファ 3 3の輝度バヅファ 7 1に書き込み、その画素データが色差データであれば、色差バッファ制御回路 5 2を介して、ビデオバヅファ 3 3の色差バヅファ 7 2に書き込み、表示出力に備えるとともに、この画素データが、他の画像の参照データとされる場合に備える。

また、スライスデコーダ 4 7乃至 4 9のいずれかから出力されるマクロブロヅクが動き補償を使用している場合、動き補償回路 5 0は、スライスデコーダ 4 7 乃至 4 9のうち対応するデコーダから入力される予測べクトルに従って、その画素データが輝度データであれば、輝度バッファ制御回路 5 1 を介して、輝度バッファ 7 1から参照画素を読み込み、その画素デ一夕が色差データであれば、色差バッファ制御回路 5 2を介して、色差バッファ 7 2から参照画素データを読み込む。そして、動き補償回路 5 0は、読み込んだ参照画素データを、スライスデコ —ダ 4 7乃至 4 9のいずれかから供給された画素デ一夕に加算し、動き補償を行 •5。

動き補償回路 5 0は、動き補償を行った画素デ一タを、その画素データが輝度データであれば、輝度バッファ制御回路 5 1 を介して、輝度バッファ Ί 1に書き込み、その画素データが色差データであれば、色差バッファ制御回路 5 2を介して、色差バッファ 7 2に書き込み、表示出力に備えるとともに、この画素データが、他の画素の参照デ一夕とされる場合に備える。

表示出力回路 5 3は、デコードした画像データを出力するための同期タイミング信号を発生し、このタイミングに従って、輝度バッファ制御回路 5 1 を介して、輝度バッファ 7 1から輝度データを読み出し、色差バッファ制御回路 5 2を介して、色差バッファ 7 2から色差デ一夕を読み出して、復号ビデオ信号として出力する。

ドライブ 3 5は、コントローラ 3 4に接続されており、必要に応じて装着される磁気ディスク 1 0 1、光ディスク 1 0 2、光磁気ディスク 1 0 3、および半導体メモリ 1 0 4などとデータの授受を行う。また、コン卜ローラ 3 4は、以上説明した I C 3 1、およびドライブ 3 5の動作を制御するものである。コント口一ラ 3 4は、例えば、ドライブに装着されている磁気ディスク 1 0 1、光ディスク 1 0 2、光磁気デイスク 1 0 3、および半導体メモリ 1 0 4などに記録されているプログラムに従って、 I C 3 1 に処理を実行させることができる。

次に、図 1 6のフローチヤ一トを参照して、スライスデコーダ制御回路 4 6の処理について説明する。

ステップ S 1 において、スライスデコーダ制御回路 4 6は、処理するスライスが、符号化ストリームの何番目のスライスであるかを表わすレジスタの値を N = 1 とする。ステップ S 2において、スライスデコーダ制御回路 4 6は、スライスデコーダ 4 7が処理中であるか否かを判断する。

ステヅプ S 2において、スライスデコーダ 4 7が処理中ではないと判断された場合、ステップ S 3において、スライスデコーダ制御回路 4 6は、ピクチャ層のパラメ一夕と、スタートコード情報に含まれるスライス Nの書き込みポインタをスライスデコーダ 4 7に供給し、スライスデコーダ 4 7にスライス Nをデコードさせ、処理はステップ S 8に進む。ステヅブ S 2において、スライスデコーダ 4 7が処理中であると判断された場合、ステップ S 4において、スライスデコーダ制御回路 4 6は、スライスデコーダ 4 8が処理中であるか否かを判断する。ステヅブ S 4において、スライスデコ —ダ 4 8が処理中ではないと判断された場合、ステヅプ S 5において、スライスデコーダ制御回路 4 6は、ピクチャ層のパラメ一夕と、スタートコード情報に含まれるスライス Nの書き込みポィンタをスライスデコーダ 4 8に供給し、スライスデコーダ 4 8にスライス Nをデコードさせ、処理はステツプ S 8に進む。

ステヅブ S 4において、スライスデコーダ 4 8が処理中であると判断された場合、ステップ S 6において、スライスデコーダ制御回路 4 6は、スライスデコーダ 4 9が処理中であるか否かを判断する。ステップ S 6において、スライスデコーダ 4 9が処理中であると判断された場合、処理は、ステップ S 2に戻り、それ以降の処理が繰り返される。

ステップ S 6において、スライスデコーダ 4 9が処理中ではないと判断された場合、ステップ S 7において、スライスデコーダ制御回路 4 6は、ピクチャ層のパラメ一夕と、ス夕一トコ一ド情報に含まれるスライス Nの書き込みポィン夕をスライスデコーダ 4 9 に供給し、スライスデコーダ 4 9にスライス Nをデコードさせ、処理はステップ S 8に進む。

ステップ S 8において、スライスデコーダ制御回路 4 6は、処理するスライスが符号化ストリ一ムの何番目のスライスであるかを示すレジス夕の値を N = N + 1 とする。ステップ S 9において、スライスデコーダ制御回路 4 6は、全スライスのデコードが終了したか否かを判断する。ステップ S 9において、全スライスのデコードが終了されていないと判断された場合、処理は、ステップ S 2に戻り、それ以降の処理が繰り返される。ステップ S 9において、全スライスのデコードが終了されたと判断された場合、処理が終了される。

図 1 7は、図 1 6を用いて説明したスライスデコーダ制御回路 4 6の処理の具体例を示す図である。上述したように、ビクチャデコーダ 4 5でピクチャ層のデ一夕がデコードされ、そのパラメ一夕がスライスデコーダ制御回路 4 6に供給される。ここで、図 1 6を用いて説明したステップ S 1 において、スライスデコ一ダ制御回路 4 6は、レジスタの値を N = 1 とする。ステップ S 2において、スライスデコーダ 4 7は処理中ではないと判断されるので、ステップ S 3において、スライスデコーダ制御回路 4 6は、ピクチャ層のパラメータと、スタートコード情報に含まれるスライス 1の書き込みポィンタをスライスデコーダ 4 7に供給し、スライスデコーダ 4 7にスライス N ( N = 1 ) をデコードさせ、ステップ S 8において、レジス夕の値を N = N + 1 とする。そして、ステップ S 9において、全スライスのデコ一ドが終了していないと判断されるため、処理はステップ S 2に戻る。

ステップ S 2において、スライスデコーダ 4 7は処理中であると判断される。そして、ステップ S 4において、スライスデコーダ 4 8は処理中でないと判断されるので、ステップ S 5において、スライスデコーダ制御回路 4 6は、ビクチャ層のパラメータと、スライス 2の書き込みポインタを、スライスデコーダ 4 8に供給し、スライスデコーダ 4 8にスライス N ( N = 2 ) をデコードさせ、ステツプ S 8において、 N = N + 1 とする。そして、ステップ S 9において、全スライスのデコ一ドが終了していないと判断されるため、処理はステップ S 2に戻る。ステップ S 2において、スライスデコーダ 4 7は処理中であると判断され、ステツプ S 4において、スライスデコーダ 4 8は処理中であると判断される。そして、ステップ S 6において、スライスデコーダ 4 9は処理中ではないと判断されるので、ステヅプ S 7において、スライスデコーダ処理回路は、ビクチャ層のパラメ一タと、スライス 3の書き込みポインタを、スライスデコーダ 4 9に供給し、スライスデコーダ 4 9にスライス N ( N = 3 ) をデコードさせ、ステップ S 8において、 N - N + 1 とする。そして、ステップ S 9において、全スライスのデコ一ドが終了していないと判断されるため、処理はステップ S 2に戻る。

スライスデコーダ 4 7乃至 4 9は、入力されたスライスのデコード処理を実施した後、デコード処理の完了を示す信号をスライスデコーダ制御回路 4 6に出力する。すなわち、スライスデコーダ 4 7乃至 4 9のいずれかからスライス 2のデコードの完了を示す信号が入力されるまで、スライスデコーダ 4 7乃至 4 9は全て処理中であるので、ステップ S 2、ステップ S 4、およびステップ S 6の処理が繰り返される。そして、図 1 7の図中 Aで示されるタイミングで、スライスデコーダ 4 8がデコード処理の完了を示す信号を、スライスデコーダ 4 6に出力した場合、ステップ S 4において、スライスデコーダ 4 8が処理中ではないと判断されるので、ステップ S 5において、スライスデコーダ制御回路 4 6は、スライス 4の書き込みポインタを、スライスデコーダ 4 8に供給し、スライスデコーダ 4 8に、スライス N ( N = 4 ) をデコードさせ、ステップ S 8において、 N = N + 1 とする。そして、ステップ S 9において、全スライスのデコードが終了していないと判断されるため、処理はステツプ S 2に戻る。

そして、次にスライスデコーダ 4 7乃至 4 9のいずれかからデコード処理の完了を示す信号の入力を受けるまで、スライスデコーダ制御回路 4 6は、ステップ S 2、ステップ S 4、およびステップ S 6の処理を繰り返す。図 1 7においては、スライスデコーダ制御回路 4 6は、図中 Bで示されるタイミングで、スライスデコーダ 4 9からスライス 3のデコ一ドの終了を示す信号の入力を受けるので、ステツプ S 6において、スライスデコーダ 4 9は処理中ではないと判断される。ステヅブ S 7において、スライスデコーダ制御回路 4 6は、スライス 5の書き込みポインタをスライスデコーダ 4 9に供給し、スライスデコーダ 4 9に、スライス N ( N = 5 ) をデコードさせ、ステップ S 8において、 N = N + 1 とする。そして、ステップ S 9において、全スライスのデコードが終了していないと判断されるため、処理はステップ S 2に戻る。以下、最後のスライスのデコードが終了されるまで、同様の処理が繰り返される。

このように、スライスデコーダ制御回路 4 6は、スライスデコーダ 4 7乃至 4 9の処理状況を参照しながら、スライスのデコード処理を割り当てるので、複数のデコーダを効率よく使用することができる。

次に、図 1 8のフローチヤ一トを参照して、動き補償回路 5 0による、スライスデコーダの調停処理について説明する。

ステップ S 2 1において、動き補償回路 5 0は、内部のレジス夕 Reg_REQ— A、 R eg一 REQ— Bおよび Reg_REQ_Cを初期化する。すなわち、 Reg_REQ—A= 0、 Reg_REQ_B = 0、 Reg_REQ_C = 0 とする。

ステップ S 2 2において、動き補償回路 5 0は、レジスタの値が全て 0であるか否かを判断する。ステヅプ S 2 2において、レジスタの値が全て 0ではない (すなわち、 1つでも 1がある）と判断された場合、処理は、ステップ S 2 4に進む。

ステップ S 2 2において、レジスタの値が全て 0であると判断された場合、ステツプ S 2 3において、動き補償回路 5 0は、スライスデコーダ 4 7乃至 4 9から入力される R E Q信号を基に、レジスタの値を更新する。すなわち、スライスデコーダ 4 7から R E Q信号が出力されている場合、 Reg_REQ— A = 1 とし、スライスデコーダ 4 8から R E Q信号が出力されている場合、 Reg_REQ_B = 1 とし、スライスデコーダ 4 9から R E Q信号が出力されている場合、 Reg_REQ— C = 1 とする。そして処理は、ステップ S 2 4に進む。

ステップ S 2 4において、動き補償回路 5 0は、 Reg_REQ—A= 1であるか否かを判断する。ステップ S 2 4において、 Reg_REQ— A = 1であると判断された場合、ステヅプ S 2 5において、動き補償回路 5 0は、スライスデコーダ 4 7に A C K信号を送信し、 Reg— REQ_A= 0とする。スライスデコーダ 4 7は、動き補償回路 5 0 に、ベクトル復号回路 8 2で復号された予測ベクトルと、逆0〇丁回路8 4で逆 D C Tされた画素を出力する。そして処理は、ステップ S 3 0に進む。

ステップ S 2 4において、 Reg_REQ— A= 1ではないと判断された場合、ステップ S 2 6において、動き補償回路 5 0は、 Reg_REQ_B == 1であるか否かを判断する。ステップ S 2 6において、 Reg— REQ_B = 1であると判断された場合、ステップ S 2 7において、動き補償回路 5 0は、スライスデコーダ 4 8に A C K信号を送信し、 Reg— REQ— B = 0 とする。スライスデコーダ 4 8は、動き補償回路 5 0に、ベクトル復号回路 8 6で復号された予測べクトルと、逆 D C T回路 8 8で逆 D C Tされた画素を出力する。そして処理は、ステップ S 3 0に進む。

ステップ S 2 6において、 Reg_REQ— B = 1ではないと判断された場合、ステップ S 2 8において、動き補償回路 5 0は、 Reg_REQ_C = 1であるか否かを判断する。ステップ S 2 8において、 Reg_REQ_C = 1ではないと判断された場合、処理は、ステヅプ S 2 2に戻り、それ以降の処理が繰り返される。

ステップ S 2 8において、 Reg_REQ_C = 1であると判断された場合、ステヅプ S 2 9において、動き補償回路 5 0は、スライスデコーダ 4 9に A C K信号を送信し、 Reg_REQ_C = 0 とする。スライスデコーダ 4 9は、動き補償回路 5 0に、ベタトル復号回路 9 0で復号された予測べクトルと、逆 D C T回路 9 2で逆 D C Tされた画素を出力する。そして処理は、ステップ S 3 0に進む。

ステップ S 3 0において、動き補償回路 5 0は、スライスデコーダ 4 7乃至 4 9のいずれかから入力されたマクロプロックは、動き補償を使用しているか否かを判断する。

ステップ S 3 0において、マクロプロックが動き補償を使用していると判断された場合、ステップ S 3 1において、動き補償回路 5 0は、入力されたマクロブロックに動き補償処理を行う。すなわち、動き補償回路 5 0は、スライスデコーダ 4 7乃至 4 9のうち対応するデコーダから出力される予測べクトルに従って、その画素データが輝度デ一夕であれば、輝度バッファ制御回路 5 1 を介して、輝度バッファ 7 1から参照画素を読み出し、その画素データが色差データであれば、色差バッファ制御回路 5 2を介して、色差バッファ 7 2から参照画素デ一夕を読み出す。そして、動き補償回路 5 0は、読み出した参照画素データを、スライスデコ一ダ 4 7乃至 4 9のいずれかから供給された画素データに加算し、動き補償を行う。

動き補償回路 5 0は、動き補償を行った画素デ一夕を、その画素データが輝度データであれば、輝度バッファ制御回路 5 1 を介して、輝度バッファ 7 1に書き込み、その画素データが色差デ一夕であれば、色差バッファ制御回路 5 2を介して、色差バッファ 7 2に書き込み、表示出力に備えるとともに、この画素データが、他の画素の参照デ一夕とされる場合に備える。そして、処理は、ステップ S 2 2に戻り、それ以降の処理が繰り返される。

ステップ S 3 0において、マクロプロヅクが動き補償を使用していないと判断された場合、ステップ S 3 2において、動き補償回路 5 0は、その画素デ一夕が輝度デ一夕であれば、輝度バッファ制御回路 5 1 を介して輝度バッファ 7 1に書き込み、その画素データが色差データであれば、色差バッファ制御回路 5 2を介して色差バッファ 7 2に書き込み、表示出力に備えるとともに、この画素データが、他の画像の参照デ一夕とされる場合に備える。そして、処理は、ステップ S 2 2に戻り、それ以降の処理が繰り返される。

図 1 9は、図 1 8を用いて説明した動き補償回路 5 0によるデコーダの調停処理の具体例を示す図である。図 1 9に示すタイミング Cにおいて、図 1 8のステップ S 2 2の処理により、動き補償回路 5 0のレジスタが全て 0であると判断された場合、スライスデコ一ダ 4 7乃至 4 9は、全て、 R E Q信号を出力しているため、ステップ S 2 3の処理により、それぞれのレジスタの値は、 Reg_REQ— A = 1、 Reg_REQ_B = 1 , Reg_RE Q— C = l に更新される。そして、ステップ S 2 4の処理により、 Reg— REQ_A= 1であると判断されるため、ステップ S 2 5において、動き補償回路 5 0は、スライスデコーダ 4 7に A C K信号を出力して、 Reg_REQ—A= 0 とし、スライスデコーダ

4 7から予測べクトルと画素の入力を受け、動き補償 1 を行う。

動き補償 1が終了した後、すなわち、図 1 9の Dで示されるタイミングにおいて、処理は、再びステップ S 2 2に戻る。図中 Dで示されるタイミングにおいては、スライスデコーダ 4 7から、 R E Q信号が出力されている。しかし、レジス夕の値は、 Reg_REQ_A= 0、 Reg_REQ_B = 1、 Reg_REQ_C = 1であり、ステップ S 2 2において、レジスタの値は、全て 0ではないと判断されるため、処理は、ステヅプ S 2 4に進み、レジス夕の値は更新されない。

ステップ S 2 4において、 Reg REQ_A= 0であると判断され、ステップ S 2 6において、 Reg_REQ_B = 1であると判断されるので、動き補償回路 5 0は、ステップ

5 2 7において、スライスデコーダ 4 8に A C K信号を出力して、 Reg_REQ— B = 0 とし、スライスデコーダ 4 8から予測ベクトルと画素の入力を受け、動き補償 2 を行う。

動き補償 2が終了した後、すなわち、図 1 9の Eで示されるタイミングにおいて、処理は、再びステップ S 2 2に戻る。図中 Eで示されるタイミングにおいても、スライスデコーダ 4 7から、 R E Q信号が出力されている。しかし、レジス夕の値は、 Reg— REQ_A= 0、 Reg— REQ_B = 0、 Reg— REQ—C = 1であるので、ステップ S 2 2において、レジスタの値は全て 0ではないと判断されるので、図中 Dで示される夕イミングのときと同様、レジス夕の値は更新されない。

そして、ステップ S 2 4において、 Reg_REQ—A = 0であると判断され、ステップ S 2 6において、 Reg_REQ_B =◦であると判断され、ステップ S 2 8において、 R eg— REQ_C = 1であると判断されるので、動き補償回路 5 0は、ステップ S 2 9において、スライスデコーダ 4 9に A C K信号を出力して、 Res REQ C = 0 とし、スライスデコーダ 4 9から予測べクトルと画素の入力を受け、動き補償 3を行う。動き補償 3が終了した後、すなわち、図 1 9の Fで示されるタイミングにおいて、処理は、再びステツプ S 2 2に戻る。 Fで示される夕ィミングにおいては、レジスタの値は、 Reg— REQ— A= 0、 Reg— REQ— B = 0、 Reg— REQ_C = 0であるので、ステツプ S 2 3において、レジス夕の値が更新され、 Reg— REQ_A = 1、 Reg_REQ_B = 1、 Reg_REQ_C = 0 となる。

そして、ステップ S 2 4において、 Reg— REQ_A= 1であると判断され、同様の処理により、動き補償 4が実行される。

このような処理を繰り返すことにより、動き補償回路 5 0は、スライスデコーダ 4 7乃至 4 9を調停しながら、動き補償を行う。

以上説明したように、図 1 5の MPEGビデオデコーダにおいては、ス夕一トコ一ドバッファ 6 2を設けたことにより、ピクチャデコーダ 4 5乃至スライスデコ一ダ 4 9を、お互いの動作の終了を待つことなしに、ストリームバッファ 6 1にァクセスさせることができる。また、スライスデコーダ 4 7乃至 4 9は、スライスデコーダ制御回路 4 6の処理により、同時に動作させることができる。更に、動き補償回路 3 0は、適宜、 1つのスライスデコーダを選択し、それそれ分離された輝度バッファ 7 1および色差バッファ 7 2にアクセスし、動き補償を行うことができる。したがって、図 1 5の MPEGビデオデコーダにおいては、デコード処理性能およびバッファへのアクセス性能が向上され、 2 : 4 : 4 P @HLに対するデコ一ド処理が可能となる。

次に、図 1 5の MPEGビデオデコーダに入力された MPEGストリームが復号されて再生される場合の、フレームのバッファリングについて説明する。

図 2 0は、図 1 5の MPEGビデオデコーダを備えた再生装置の構成を示すブロック図である。なお、図 1 5における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

ハードディスク 1 1 2には、 MPEG符号化ストリームが記録されている。サ一ボ回路 1 1 1は、コントローラ 3 4の制御に基づいて、ハードディスク 1 1 2を駆動し、図示しないデータ読み取り部により読み出された MPEGストリームが I C 3 1の再生回路 1 2 1に入力される。再生回路 1 2 1は、図 1 5を用いて説明したストリーム入力回路 4 1乃至クロック発生回路 4 4を含む回路であり、順方向の再生時には、入力された順番に MP EGストリ一ムを再生ストリームとして MPEGビデオデコーダ 1 2 2に出力する。そして、逆方向の再生（逆転再生）時には、ストリームバヅファ 6 1 を用いて、入力された MPEG符号化ストリームを、逆転再生に適した順番に並べ替えた後、再生ストリームとして MPEGビデオデコーダ 1 2 2に出力する。

MPEGビデオデコーダ 1 2 2は、図 1 5を用いて説明したピクチャデコーダ 4 5 乃至表示出力回路 5 3を含む回路であり、動き補償回路 5 0の処理により、必要に応じて、ビデオバッファ 3 3に蓄積された復号されたフレームを参照画像として読み出し、動き補償を実行して、入力された再生ストリームの各ピクチャ（フレーム）を、上述した方法で復号し、ビデオバッファ 3 3に蓄積するとともに、表示出力回路 5 3の処理により、ビデオバッファ 3 3に蓄積されたフレームを順次読み出して、図示しない表示部もしくは表示装置に出力し、表示させる。

ここでは、ハードディスク 1 1 2に蓄積された MPEG符号化ストリームを復号して出力し、表示させる場合を例にあげて説明したが、図 1 5の MPEGビデオデコーダを備えた再生装置、もしくは録画再生装置は、図 2 0で示す構成と異なる構成 (例えば、ストリームバッファ 6 1 と同様に、符号化ストリームを保持する機能、および再生回路 1 2 1 と同様に、フレームを並べ替える機能を MPEGビデオデコ一ダ 1 2 2に備えさせているような構成）であっても、基本的に同様の処理により、入力された MPEG符号化ストリームが復号されて、出力される。

また、符号化ストリ一ムを蓄積する蓄積媒体は、ハードディスク 1 1 2以外にも、光ディスク、磁気ディスク、光磁気ディスク、半導体メモリ、磁気テープなど、様々な記録媒体を用いることが可能であることは言うまでもない。

図 2 1および図 2 2を用いて、 MPEG予測符号化画像のビクチャ構成について説明する。

図 2 1は、図示しないエンコーダ（符号化装置）に入力されて符号化される MP EGビデオ信号のビクチャ構成を示す図である。

フレーム 1 2は、イントラ符号化フレーム（ I ピクチャ）であり、他の画像を参照することなく、符号化（エンコード）が行われる。このようなフレ一ムは、復号の開始点である符号化シーケンスのアクセスポィントを提供するが、その圧縮率は、余り高くない。

フレーム P 5、フレーム P 8、フレーム P b、およびフレーム P eは、前方向予測符号化フレーム（Pピクチャ）であり、過去の I ピクチャまたは Pビクチャからの動き補償予測により、 I ピクチャより効率的な符号化が行われる。 Pピクチヤ自身も、予測の参照として使用される。フレーム B 3 ，フレーム Β 4 · · · フレーム B dは、双方向予測符号化フレームであり、 I ピクチャ、 Pビクチャと比較して、より効率的に圧縮が行われるが、動き補償のためには、過去および将来の双方の参照画像を必要とする。 Bピクチャが、予測の参照として使用されることはない。

図 2 2に、図 2 1 を用いて説明した MPEG符号化画像を生成するために、図示しないエンコーダで実行される、フレーム間予測を用いた MPEGビデオ信号の符号化の例（MPEG符号化ストリームの例）を示す。

入力されたビデオ信号は、例えば 1 5 フレーム毎に GOP ( Group of P i ctures) に分割され、各 GOPのはじめから 3番目が I ビクチャとされ、以下、 3フレーム毎に出現するフレームが Pビクチャとされ、それ以外のフレームが Bピクチャとされる（M = 1 5 ， N = 3 ) 。そして、符号化に後方予測を必要とする Bピクチャであるフレーム B 1 0およびフレーム B 1 1がバッファに一時保存され、 I ピクチヤであるフレーム I 1 2が最初に符号化される。

フレーム I 1 2の符号化の終了後、ノヅファに一時保存されたフレーム B 1 0 およびフレーム B 1 1が、フレーム I 1 2を参照画像として符号化される。 Bピクチャは、本来、過去と将来の両方の参照画像を参照して符号化されるべきであるが、フレーム B 1 0およびフレーム B 1 1のように、前方向に参照可能な画像がない場合、 C losed GOPフラグを立てて、前方向予測をせずに後方向の予測のみで符号化が行われる。

フレーム B 1 0およびフレーム B l 1の符号化が行われている間に入力されたフレーム B 1 3およびフレーム B 1 4は、ビデオバッファに蓄えられ、次に入力されたフレーム P 1 5が、フレーム I 1 2を前方向予測画像として参照して、符号化される。そして、ビデオバッファから読み出されたフレーム B 1 3およびフレーム B 1 4は、フレーム I 1 2を前方向予測画像として参照し、フレーム P 1 5を後方向予測画像として参照して符号化される。

続いて、フレーム B 1 6およびフレーム B 1 7がビデオバヅファに蓄えられ、以下、順次同様にして、 Pビクチャは、前回符号化された I ピクチャ、もしくは Pピクチャを前方向予測画像として参照して符号化され、 Bピクチャは、一旦ビデォバッファに蓄えられた後、以前に符号化された I ビクチャ、もしくは Pビクチヤを、前方向予測画像もしくは後方向予測画像として参照して符号化される。このようにして、複数の G0Pに渡って、画像デ一夕が符号化され、符号化ストリ —ムが生成される。図 2 0のハ一ドディスク 1 1 2には、上述した方法で符号化された MPEG符号化ストリームが記録される。

符号化時に、 D C T変換により得られた D C T係数行列は、通常の画像を D C T変換した場合、低周波成分において大きく、高周波成分では小さいという特徴がある。この特徴を利用し情報の圧縮を図るのが量子化（各 D C T係数に対してある量子化単位で割り、小数点以下を丸める）である。量子化単位は 8 x 8の量子化テーブルとして設定され、低周波成分に対しては小さい値、高周波成分に対しては大きい値が設定される。量子化の結果、行列の左上以外の成分はほとんど 0になる。そして、量子化マトリクスに対応する量子化 I Dが、圧縮デ一夕に付加されて復号側に渡される。すなわち、図 2 0の MPEGビデオデコーダ 1 2 2は、量子化 I Dから量子化マトリクスを参照して、 MPEG符号化ストリームを復号する。次に、図 2 3を用いて、ハードディスク 1 1 2から、順方向にビデオデ一夕を再生する場合に、 GOP 1乃至 G0P 3の符号化ストリームが再生回路 1 2 1 に入力され、 MPEGビデオデコーダ 1 2 2の処理により復号される処理について説明する。この図 2 3は、フレーム間予測を使用した MPEG復号例を示している。

順方向再生のためにハードディスク 1 1 2から再生回路 1 2 1 に入力される MP EGビデオストリームは、再生回路 1 2 1の処理により、入力された順番と同一のビクチャ配列の再生ストリ一ムとして、 MPEGビデオデコーダ 1 2 2に出力される。 MPEGビデオデコーダ 1 2 2において、再生ストリームは、図 1 5乃至図 1 9を用いて説明した手順に従って復号され、ビデオバッファ 3 3に蓄積される。

最初に入力されたフレーム I 1 2は、 I ビクチャであるので、復号に参照画像を必要としない。 MPEGビデオデコーダ 1 2 2において復号されたフレーム I 1 2 が蓄積されるビデオバッファ 3 3内のバヅファ領域をバッファ 1 とする。

次に MPEGビデオデコーダ 1 2 2に入力されるフレーム B 1 0およびフレーム B 1 1は、 Bピクチャであるが、 C losed G0Pフラグが立っているので、ビデオバヅファ 3 3のバヅファ 1 に蓄積されているフレーム I 1 2を後方向参照画像として参照して復号され、ビデオバッファ 3 3に蓄積される。復号されたフレーム B 1 0が蓄積されるバッファ領域をバッファ 3 とする。

そして、表示出力回路 5 3の処理により、ビデオバッファ 3 3のバッファ 3からフレーム B 1 0が読み出されて、図示しない表示部に出力されて表示される。そして、次に復号されたフレーム B 1 1が、ビデオバッファ 3 3のバッファ 3に蓄積（すなわち、バッファ 3に上書き）されたのち、読み出されて、図示しない表示部に出力されて、表示される。

その次に、バヅファ 1からフレーム I 1 2が読み出されて、図示しない表示部に出力されて、表示され、そのタイミングで、次のフレーム P 1 5が、ビデオバヅファ 3 3のバッファ 1 に蓄積されているフレーム I 1 2を参照画像として復号され、ビデオバッファ 3 3のバッファ 2に蓄積される。

フレーム B 1 0およびフレーム B 1 1に C losed GOPフラグが立っていない場合、前方向に参照できる画像がないため、フレーム B 1 0およびフレーム B 1 1は、復号されない。そのような場合、フレーム I 1 2が一番初めに表示出力回路 5 3 から出力され、表示される。

次に入力されるフレーム B 1 3は、ビデオバヅファ 3 3のバッファ 1 に蓄積されているフレーム I 1 2を前方向参照画像とし、バッファ 2に蓄積されているフレーム P 1 5を後方向参照画像として参照して復号され、バッファ 3に蓄積される。そして、表示出力回路 5 3の処理により、ビデオバヅファ 3 3のバヅファ 3 からフレーム B 1 3が読み出されて、出力表示処理が実行されている間に、次に入力されるフレーム B 1 4が、ビデオバッファ 3 3のバッファ 1 に蓄積されているフレーム I 1 2を前方向参照画像とし、バッファ 2に蓄積されているフレーム P 1 5を後方向参照画像として参照して復号され、バッファ 3に蓄積される。そして、表示出力回路 5 3の処理により、ビデオバッファ 3 3のバヅファ 3からフレーム B 1 4が読み出されて、出力され、表示される。

次に入力されるフレーム P 1 8は、バッファ 2に蓄積されているフレーム P 1 5を前方向参照画像として復号される。フレーム B 1 4の復号が終われば、バッファ 1に蓄積されているフレーム I 1 2は、その後、参照されることがないので, 復号されたフレーム P 1 8は、ビデオバッファ 33のバッファ 1に蓄積される。そして、バッファ 1にフレーム P 1 8が蓄積されるタイミングで、バッファ 2からフレーム P 1 5が読み出されて、出力され、表示される。

以下、同様にして、 GOP 1のフレームが、順次復号され、バヅファ 1乃至 3 に蓄積され、順次、読み出されて表示される。

G 0 P 2の先頭のフレーム I 2 2が入力されたとき、 Iピクチャであるフレーム 1 2 2は、復号時に参照画像を必要としないので、そのまま復号され、バヅファ 2に蓄積される。そのタイミングで、 GOP 1のフレーム P i eが読み出されて、出力され、表示される。

続いて入力される G〇P 2のフレーム B 20およびフレーム B 2 1は、バッファ 1のフレーム P i eを前方向参照画像、ノッファ 2のフレーム I 2 2を後方向参照画像として復号され、バッファ 3に順次蓄積され、読み出されて、表示される。このように、 G0Pの先頭にある Bピクチャは、前の G0Pの Pピクチヤを前方向参照画像として復号される。

以下、同様にして、 GOP 2のフレームが、順次復号され、バッファ 1乃至 3 に蓄積され、順次、読み出されて表示される。そして、同様にして、 GOP 3以下のそれぞれのフレームが順次復号され、バッファ 1乃至 3に蓄積され、順次、読み出されて表示される。

以上の処理において、 MPEGビデオデコーダ 1 2 2は、量子化 I Dを参照して復号処理を実行する。

次に、図 20を用いて説明した再生装置において、逆転再生を実施する場合について説明する。

従来の逆転再生においては、 Iピクチャのみを取り出して復号を実行していたので、 1 5フレーム中の 1 フレームしか表示されない、不自然な再生画像しか得ることができなかった。それに対して、図 2 0の再生回路 1 2 1 には、スタートコ一ドバッファ 6 2に記録されたスタートコ一ドに基づいて、ストリームバッファ 6 1 に入力された GO Pのフレームの順番を変更して再生ストリームを生成させることができ、 MPEGビデォデコーダ 1 2 2には、 1 5フレーム全てを復号させることができる。

しかしながら、再生回路 1 2 1は、逆転再生を行うために、スタートコ一ドバッファ 6 2に記録されたスタートコ一ドに基づいて、ストリームバッファ 6 1 に入力された G0Pのフレームの順番を単純に逆転させて再生ストリームを生成すればいいのではない。

例えば、図 2 2を用いて説明した MPEG符号化ストリームの G0P 2および GOP 1 を逆転再生させる場合、最初に出力されて表示されるフレームは、フレーム P 2 e でなければならないが、フレーム P 2 eを復号するためには、前方向参照画像として、フレーム P 2 bを参照する必要があり、更にフレーム P 2 bを復号するためには、前方向参照画像としてフレーム P 2 8が必要である。フレーム P 2 8を復号するためにも前方向参照画像が必要であるので、結局、フレーム P 2 eを復号し、出力して表示させるためには、 G0P 2の I ビクチャおよび Pビクチャが全て復号されていなければならない。

逆転再生時に最初に表示されるフレーム P 2 eを復号するために、 G0P 2を全て復号させてビデオバヅファ 3 3に蓄積させ、後のフレームから順に読み出す方法も考えられるが、その場合、ビデオバヅファ 3 3には、 1 GOP ( 1 5フレーム）分のバッファ領域が必要となる。

また、この方法では、フレーム P 2 eから、フレーム I 2 2までは復号して再生することが可能であるが、 G0P 2のはじめの 2 フレーム、すなわち、逆転再生時に最後に表示されるべきフレームであるフレーム B 2 1およびフレーム B 2 0を復号するためには、前方向参照画像として GOP 1のフレーム P 1 eが必要である。 GOP 1のフレーム P 1 eを復号するためには、 GOP 1の全ての I ピクチャおよび P ビクチャが必要である。

すなわち、この方法では、ビデオバッファ 3 3に 1 5フレーム分のバヅファ領域を必要としながら、 1 G0P分の全てのフレームの逆転再生ができない。

図 2 2を用いて説明したように、 M == 1 5、 N = 3で符号化を行った場合、 1 GOP内には、合計 5フレームの I ビクチャもしくは Pピクチヤが含まれる。

そこで、ストリームバッファ 6 1 に、少なくとも 2 G0P分のフレームを蓄積することが可能なようにし、再生回路 1 2 1 において生成される再生ストリ一ムのフレームの順番を、 MPEGビデオデコーダ 1 2 2の逆転再生のためのデコードの順番に基づいて決定し、ビデオバッファ 3 3に、少なくとも、「 1 G0Pに含まれる I ピクチャおよび Pビクチャの合計数 + 2」で表わされる数のフレーム（例えば、 M = 1 5、 N = 3の MPEG符号化ストリームを逆転再生する場合、 7 フレーム）を蓄積することが可能なようにすることにより、 G0Pをまたいだ部分も連続して、全てのフレームを逆転再生することができる。

図 2 4を用いて、ハードディスク 1 1 2から、 GOP 1乃至 G0P 3の画像データが逆転再生される場合の復号処理について説明する。この図 2 4は、 MPEG逆転再生デコーダの動作例を示している。

コントローラ 3 4は、サ一ボ回路 1 1 1 を制御して、ハードディスク 1 1 2から、まず G0P 3、次いで G0P 2の MPEG符号化ストリームを再生回路 1 2 1に出力させる。再生回路 1 2 1は、ストリ一ムバヅファ 6 1 に、 G0P 3、次いで G0P 2の MP EG符号化ストリームを蓄積させる。

再生回路 1 2 1は、ストリームバヅファ 6 1から G0P 3の先頭フレーム I 3 2を読み出し、再生ストリームの最初のフレームとして、 MPEGビデオデコーダ 1 2 2 に出力する。フレーム 1 3 2は I ビクチャであるから、復号のために参照画像を必要としないので、 MPEGビデオデコーダ 1 2 2において復号され、ビデオバヅファ 3 3に蓄積される。ビデオバヅファ 3 3において、復号されたフレーム I 3 2 が蓄積される領域を、バッファ 1 とする。

ここで、それそれのフレームのデータは、図 2を用いて説明したヘッダ一および拡張データに記載されたパラメ一夕を基に復号される。上述したように、 MPEG ビデオデコーダ 1 2 2のビクチャデコーダ 4 5において、それそれのパラメータがデコードされ、スライスデコーダ制御回路 4 6に供給されて、復号処理に用いられる。 GOP 1力復号される場合、 GOP 1の sequence— header、 sequence— extensi o n、および GOPJieaderに記載されている上位層のパラメ一夕（例えば、上述した量子化マトリクス）を用いて復号が実施され、 G0P 2が復号される場合、 G0P 2の se quence— header、 sequence— extens i on、および GOP— header【こ言 3載されてレヽる上位層のパラメータを用いて復号が実施され、 G0P 3が復号される場合、 G0P 3の sequen ce— header、 sequence— extens i on、および GOP— header iこ言己載されてレヽる上位層のノ s ラメ一夕を用いて復号が実施される。

しかしながら、逆転再生時においては、 G0P毎に復号が実施されないので、 MPE Gビデオデコーダ 1 2 2は、それぞれの G0Pにおいて、最初に I ピクチャがデコ一ドされた時に、上位層パラメ一夕をコントローラ 3 4に供給する。コントローラ 3 4は、内部に有する図示しないメモリに、供給された上位層パラメ一タを保持する。

コントローラ 3 4は、 MPEGビデオデコーダ 1 2 2において実行される復号処理を監視し、復号処理中のフレームに対応する上位層パラメ一夕を内部のメモリから読み出して MPEGビデオデコーダ 1 2 2に供給し、適切な復号処理がなされるようにする。

図 2 4中、再生ストリームのフレーム番号の上部に示される数字は、量子化 I Dであり、再生ストリームの各フレームは、図 2 3を用いて説明した順方向の復号と同様に、量子化 I Dを基に復号される。

なお、本実施の形態においては、コントローラ 3 4がその内部にメモリを有し、上位層符号化パラメ一夕を保持するものとして説明しているが、コントローラ 3 4に接続されたメモリを設けるようにし、コントローラ 3 4が内部にメモリを保有せずに、外部のメモリに上位層符号化パラメ一夕を保持し、必要に応じて読み出して、 MPEGビデオデコーダ 1 2 2に供給することができるようにしても良い。また、 MPEGビデオデコーダ 1 2 2に、 G0Pの上位層符号化パラメータを保持するためのメモリを備えさせるようにしてもよい。更に、上位層符号化パラメータなどの符号化条件が既知である場合、 MPEGビデオデコーダ 1 2 2に、符号化条件を予め設定しても良いし、上位層符号化パラメ一夕が G0Pによって変化しないことが既知である場合、コントローラ 3 4によって、 G0P毎に上位層符号化パラメ一夕を読み出して、フレーム毎に MPEGビデオデコーダ 1 2 2に設定するのではなく、動作開始時に一度だけ、 MPEGビデオデコーダ 1 2 2に符号化パラメータを設定するようにしても良い。再生回路 1 2 1は、ストリ一ムバッファ 6 1からフレーム P 3 5を読み出し、再生ストリームの次のフレームとして、 MPEGビデオデコーダ 1 2 2に出力する。 MPEGビデオデコーダ 1 2 2において、フレーム P 3 5は、バッファ 1 に記録されているフレーム I 3 2を前方向参照画像として復号され、ビデオバヅファ 3 3に蓄積される。ビデオバッファ 3 3において、復号されたフレーム P 3 5が蓄積される領域を、ノヅファ 2とする。

再生回路 1 2 1は、ストリームノッファ 6 1からフレーム P 3 8、フレーム P 3 b、およびフレーム P 3 eを順次読み出し、再生ストリームとして出力する。これらの Pビクチャは、 MPEGビデオデコーダ 1 2 2において、一つ前に復号された Pピクチヤを前方向参照画像として復号され、ビデオバッファ 3 3に蓄積される。ビデオバッファ 3 3において、復号されたこれらの Pピクチャのフレームが蓄積される領域を、バッファ 3乃至バッファ 5 とする。

このとき、 G0P 3の I ピクチャおよび Pピクチャは、全て復号され、ビデオバッファ 3 3に蓄積されている状態である。

続いて、再生回路 1 2 1は、ストリームバッファ 6 1から G0P 2のフレーム I 2 2を読み出し、再生ストリームとして出力する。 MPEGデコーダ 1 2 2において、 I ビクチャであるフレーム I 2 2は、参照画像を必要とせずに復号され、ビデオノソファ 3 3に蓄積される。復号されたフレーム I 2 2が蓄積される領域をバヅファ 6 とする。また、バッファ 6にフレーム 1 2 2が蓄積される夕ィミングで、バッファ 5から、 G 0 P 3のフレーム P 3 eか読み出されて、出力され、逆転再生の最初の画像として表示される。

再生回路 1 2 1は、ストリームバヅファ 6 1から、 G0P 3のフレ一ム B 3 d、すなわち、 G0P 3の Bピクチヤの中で、初めに逆転再生されるべきフレームを読み出し、再生ストリームとして出力する。 MPEGデコーダ 1 2 2において、フレーム B 3 dは、ノッファ 4のフレーム P 3 bを前方向参照画像、ノソファ 5のフレーム P 3 eを後方向参照画像として復号され、ビデオバッファ 3 3に蓄積される。復号されたフレーム B 3 dが蓄積される領域をバッファ 7 とする。

バッファ 7に蓄積されたフレーム B 3 は、フレーム/フィ一ルド変換および出力ビデオ同期タイミングへのタイミング合わせが行われたあと、出力され、表示される。フレーム B 3 dの表示と同一のタイミングで、再生回路 1 2 1は、ストリ一ムバッファ 6 1から、 GOP 3のフレーム B 3 cを読み出して、 MPEGビデォデコーダ 1 2 2に出力する。 MPEGビデオデコーダ 1 2 2において、フレーム B 3 cは、フレーム B 3 dと同様に、バッファ 4のフレーム P 3 bを前方向参照画像、ノソファ 5のフレーム P 3 eを後方向参照画像として復号される。

先に復号され、出力されたフレーム B 3 は、 Bビクチャであるので、他のフレームの復号のために参照されることはない。したがって、復号されたフレーム P 3 cは、フレーム B 3 dに代わって、ノソファ 7に蓄積（すなわち、ノヅファ 7に上書き）され、フレーム /フィールド変換および出力ビデオ同期タイミングへのタイミング合わせが行われたあと、出力され、表示される。

再生回路 1 2 1は、ストリ一ムバッファ 6 1から、 G0P2のフレーム P 2 5を読み出して、 MPEGビデオデコーダ 1 2 2に出力する。 MPEGビデオデコーダ 1 2 2において、 G0P2のフレーム P 2 5は、ノソファ 6のフレーム I 2 2を前方向参照画像として復号される。バッファ 5に蓄積されているフレーム P 3 eは、これ以降、参照画像として利用されることはないので、復号されたフレーム P 2 5は、フレ —ム P 3 eに代わって、ノヅファ 5に蓄積される。そして、ノッファ 5にフレーム P 2 5が蓄積されるのと同一の夕ィミングで、バッファ 4のフレーム P 3 bが読み出され、表示される。

再生回路 1 2 1は、ストリームノヅファ 6 1から、 G0P3のフレーム B 3 aを読み出し、再生ストリームとして出力する。 MPEGデコーダ 1 22において、フレーム B 3 aは、ノヅファ 3のフレーム P 3 8を前方向参照画像、ノソファ 4のフレ —ム P 3 bを後方向参照画像として復号され、ビデオバッファ 3 3のバッファ 7 に蓄積される。

バヅファ 7に蓄積されたフレーム： B 3 aは、フレーム/フィールド変換および出力ビデオ同期タイミングへのタイミング合わせが行われたあと、出力され、表示される。フレーム B 3 aの表示と同一の夕ィミングで、再生回路 1 2 1は、ストリ一ムバッファ 6 1から、 GOP 3のフレーム B 3 9を読み出して、 MPEGビデォデコーダ 1 2 2に出力する。 MPEGビデオデコーダ 1 2 2において、フレーム B 39は、フレーム B 3 aと同様に、バッファ 3のフレーム P 3 8を前方向参照画像、バッファ 4のフレーム P 3 bを後方向参照画像として復号され、フレーム B 3 aに代わって、バッファ 7に蓄積され、フレーム/フィールド変換および出力ビデオ同期タイミングへのタイミング合わせが行われたあと、出力され、表示される。

再生回路 1 2 1は、ストリームバッファ 6 1から、 G0P 2のフレーム P 2 8を読み出して、 MPEGビデオデコーダ 1 2 2に出力する。 MPEGビデオデコーダ 1 2 2において、 G0P 2のフレーム P 2 8は、ノソファ 5のフレーム P 2 5を前方向参照画像として復号される。バッファ 4に蓄積されているフレーム P 3 bは、これ以降、参照画像として利用されることはないので、復号されたフレーム P 2 8は、フレーム P 3 bに代わって、ノッファ 4に蓄積される。そして、ノソファ 4にフレーム P 2 8が蓄積されるのと同一のタイミングで、ノッファ 3のフレーム P 3 8が読み出され、表示される。

このように、 G0P 2の I ピクチャもしくは Pピクチャが復号され、バッファ 3 3 に蓄積される夕イミングで、 G0P 3の I ビクチャもしくは Pピクチャが、バッファ 3 3から読み出されて、表示される。

以下、同様にして、図 2 4に示されるように、 G0P 3の残りの Bピクチャ、および G 0 P 2の残りの Pピクチャが、 B 3 7 ， B 3 6 , P 2 b , B 3 4 , B 3 3 , P 2 eの順に復号される。復号された Bビクチャは、バッファ 7に蓄積され、順次読み出されて表示される。復号された G0P 2の Pビクチャは、順次、参照が終了したフレームが蓄積されていたバッファ 1乃至 6のいずれかに蓄積され、バッファ 1乃至 6のいずれかに既に蓄積されている G0P 3の Pピクチヤが、その夕ィミングで、逆転再生の順番にかなうように、 Bピクチャの間に読み出されて出力される。

再生回路 1 2 1は、ストリームバヅファ 6 1から、 G0P 3のフレーム B 3 1、次いで、フレーム B 3 0を読み出して、 MPEGビデオデコーダ 1 2 2に出力する。 MP EGビデオデコーダ 1 2 2において、フレーム B 3 1およびフレーム B 3 0の復号に必要な前方向参照画像であるフレーム P 2 eはバッファ 2に、後方向参照画像である I 3 2は、バッファ 1にそれそれ蓄積されているので、 G0P 3のはじめの 2 フレーム、すなわち、逆転再生時に最後に表示されるべきフレームも、復号することが可能となる。

復号されたフレーム B 3 1およびフレーム B 3 0は、順次、バヅファ 7に蓄積され、フレーム/フィ一ルド変換および出力ビデオ同期タイミングへの夕ィミング合わせが行われたあと、出力され、表示される。

G0P 3の全てのフレームがストリームバッファ 6 1から読み出された後、コントローラ 3 4は、サ一ボ回路 1 1 1 を制御して、ハ一ドディスク 1 1 2から GOP 1 を読み出させ、再生回路 1 2 1に供給させる。再生回路 1 2 1は、所定の処理を実行し、 GOP 1のスタートコードを抽出して、スタートコードバッファ 6 2に記録させるとともに、 GOP 1の符号化ストリームをストリームバッファ 6 1に供給して蓄積させる。

次に、再生回路 1 2 1は、ストリームバッファ 6 1から、 GOP 1のフレーム I 1 2を読み出し、再生ストリ一ムとして、 MPEGビデオデコーダ 1 2 2に出力する。フレーム I 1 2は、 I ピクチャであるから、 MPEGビデオデコーダ 1 2 2において、他の画像を参照せずに復号され、この後の処理で参照されることのないバッファ 1のフレーム 1 3 2に代わって、ノソファ 1に出力され、蓄積される。このとき、バッファ 2から、フレーム P 2 eが読み出されて、出力され、 G0P 2の逆転再生表示が開始される。

次に、再生回路 1 2 1は、ストリームバッファ 6 1から、 G0P 2のフレーム B 2 d、すなわち、 G0P 2の Bビクチヤの中で、初めに逆転再生されるべきフレ一ムを読み出し、再生ストリ一ムとして出力する。 MPEGデコーダ 1 2 2において、フレ —ム B 2 dは、バッファ 3のフレーム P 2 bを前方向参照画像、バヅファ 2のフレーム P 2 eを後方向参照画像として復号され、ビデオバヅファ 3 3に蓄積される。復号されたフレ一ム B 2 dは、バヅファ 7に蓄積され、フレーム/フィ一ルド変換および出力ビデオ同期夕ィミングへのタイミング合わせが行われたあと、出力され、表示される。

以下、同様にして、 G0P 2の、残りの Bピクチャ、および G〇 P 1の残りの Pピクチャが、 B 2 c， P 1 5 , B 2 a , B 2 9 , P 1 8 , Β 2 7 , Β 2 6 , Ρ 1 b , Β 2 4 , Β 2 3 , P i e , Ρ 2 1、 Ρ 2 0の順に復号され、順次、参照が終了したフレームが蓄積されていたバッファ 1乃至 7のいずれかに蓄積され、逆転再生の順番で読み出されて出力される。そして、図示はされていないが、最後に、 GO P 1の残りの Bビクチャが復号され、順次、バッファ 7に蓄積され、逆転再生の順番で読み出されて出力される。

図 2 4を用いて説明した処理においては、通常再生と同一速度の逆転再生を実行したが、再生回路 1 2 1が、再生ストリームを通常再生時の 3分の 1の速度で MPEGビデオデコーダ 1 2 2に出力し、 MPEGビデオデコーダ 1 2 2が、通常の 3フレームの処理時間で 1 フレームのみの復号処理を実行して、図示しない表示部、もしくは表示装置に、通常の 3フレームの表示時間に、同一のフレームを表示させるようにすることにより、 3分の 1倍速の順方向再生、および逆転再生が、同様の処理によって可能となる。

また、表示出力回路 5 3が、同一のフレームを繰り返して出力することにより、いわゆるスチル再生も可能となる。なお、再生装置 1 2 1から MPEGビデオデコ一ダ 1 2 2へのデ一夕出力速度、および MPEGビデオデコーダ 1 2 2の処理速度を変更することにより、任意の nで、 n分の 1倍速の順方向再生、および逆転再生が、同様の処理によって可能となる。

すなわち、本発明を用いた再生装置においては、等倍速の逆転再生、 n分の 1 倍速の逆転再生、スチル再生、 n分の 1倍速の順方向再生、等倍速の順方向再生の間での任意の速度において、滑らかなトリヅク再生が可能となる。

また、 MPEGビデオデコーダ 1 2 2は、 MPEG 2 4 : 2 : 2 P @HL対応のデコーダであるので、 MPEG 2 MP@MLの符号化ストリームを 6倍速で復号する能力を有する。したがって、再生回路 1 2 1力 MPEG 2 MP@MLの符号化ストリームから生成した再生ストリームを、通常再生時の 6倍の速度で MPEGビデオデコーダ 1 2 2に出力すれば、 MPEGビデオデコーダ 1 2 2は、 MPEG 2 MP@MLの符号化ストリームを 6倍速で復号する能力を有するので、図示しない表示部、もしくは表示装置に、 6フレーム毎に抽出されたフレームを表示させるようにすることにより、 6倍速の順方向再生、および逆転再生が、同様の処理によって可能となる。

すなわち、本発明を用いた再生装置においては、 MPEG 2 MP@MLの符号化ストリ —ムを、 6倍速の逆転再生、等倍速の逆転再生、 n分の 1倍速の逆転再生、スチル再生、 n分の 1倍速の順方向再生、等倍速の順方向再生、 6倍速の順方向再生の間での任意の速度において、滑らかなトリック再生が可能となる。

なお、 MPEGビデオデコーダ 1 2 2力 N倍速の復号能力を備えている場合、本発明の再生装置は、同様の処理により、 N倍速の順方向再生、および逆転再生が可能であり、 N倍速の逆転再生、等倍速の逆転再生、 n分の 1倍速の逆転再生、スチル再生、 n分の 1倍速の順方向再生、等倍速の順方向再生、 N倍速の順方向再生の間での任意の速度において、滑らかなトリック再生が可能となる。

これにより、例えば、映像信号の検証時において、映像素材の内容を容易に検証することができ、映像素材検証作業の効率を改善したり、映像信号の編集作業において、編集点を快適に検索することができ、編集作業の効率を改善することができる。

上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウエアは、そのソフトウェアを構成するプログラムが、専用のハ一ドウエアに組み込まれているコンビュ一夕、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンビュ —タなどに、記録媒体からインストールされる。

この記録媒体は、図 1 5もしくは図 2 0に示すように、コンビュ一夕とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク 1 0 1 (フロッピーディスクを含む）、光ディスク 1 0 2 (CD - R0 M (Compact Di sk Read Only Memory) 、 DVD (D igi tal Versat i l e D isk) を含む） . 光磁気ディスク 1 0 3 ( M D (Mini D i sk )を含む）、もしくは半導体メモリ 1 0 4 などよりなるパッケージメディアなどにより構成される。

また、本明細書において、記録媒体に記録されるプログラムを記述するステツプは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明の第 1の復号装置、復号方法、およびプログラムによれば、符号化ストリームを復号し、復号処理を並行して動作するようにしたので、実現可能な回路規模で実時間動作が可能な 4 ： 2 ： 2 P @HLに対応したビデオデコーダを実現することができる。本発明の第 2の復号装置、復号方法、およびプログラムによれば、符号化ストリームを複数のスライスデコーダで復号し、複数のスライスデコーダにより復号処理を並行して動作するようにしたので、実現可能な回路規模で実時間動作が可能な 4 ： 2 ： 2 P @HLに対応したビデオデコーダを実現することができる。

本発明の第 3の復号装置、復号方法、およびプログラムによれば、ソース符号化ストリームのピクチャを構成するスライス毎に、ソ一ス符号化ストリームをデコードし、複数のスライスデコーダのデコードステータスを監視するとともに、複数のスライスデコ一夕を制御し、ピクチャに含まれるスライスの順番に関係なく、スライスデコーダにおいて実行されるデコード処理が最も早くなるように、スライスを複数のスライスデコーダに割り当てるようにしたので、実現可能な回路規模で実時間動作が可能な 4 ： 2 ： 2 P @HLに対応したビデオデコーダを実現することができる。

本発明の第 4の復号装置、復号方法、およびプログラムによれば、ソース符号化ストリームのピクチャを構成するスライス毎に、ソース符号化ストリ一ムをデコードし、複数のスライスデコーダのデコ一ドステ一タスを監視するとともに、複数のスライスデコ一タを制御し、ピクチャに含まれるスライスの順番に関係なく、複数のスライスデコーダのうちデコードが終了したスライスデコーダに、デコードすべきスライスを割り当て割り当てるようにしたので、実現可能な回路規模で実時間動作が可能な 4 ： 2 ： 2 P冊 Lに対応したビデオデコーダを実現することができる。

Claims

請求の範囲

1 . 符号化ストリームを復号する復号装置において、

前記符号化ストリームを復号する複数の復号手段と、

複数の前記復号手段を並行して動作させるように制御する復号制御手段とを備えることを特徴とする復号装置。

2 . 複数の前記復号手段は、復号処理の終了を示す信号を前記復号制御手段に出力し、

前記復号制御手段は、復号処理の終了を示す前記信号を出力した前記復号手段に、新たな前記符号化ストリームを復号させるように制御する

ことを特徴とする請求の範囲第 1項記載の復号装置。

3 . 前記符号化ストリームをバッファリングする第 1のバヅファ手段と、前記符号化ストリームから、前記符号化ストリームに含まれる所定の情報の単位の始まりを表わすスタ一トコ一ドを読み出すとともに、前記第 1のバッファ手段に、前記スタートコードが保持されている位置に関する位置情報を読み出す読み出し手段と、

前記読み出し手段により読み出された、前記スタートコードおよび前記位置情報をバッファリングする第 2のバッファ手段と、

前記第 1のバッファ手段による前記符号化ストリームのバッファリング、および前記第 2のバッファ手段による前記スタ一トコ一ドおよび前記位置情報のバッファリングを制御するバヅファリング制御手段と

を更に備えることを特徴とする請求の範囲第 1項記載の復号装置。

4 . 前記符号化ストリームは、 I S0/IEC13818— 2および ITU— T勧告 H.262に規定された MPEG2の符号化ストリ一ムである

ことを特徴とする請求の範囲第 1項記載の復号装置。

5 . 複数の前記復号手段により復号され、出力された複数の画像デ一夕のうちの所定のものを選択する選択手段と、

前記選択手段により選択された前記画像データの入力を受け、必要に応じて動き補償を施す動き補償手段と

6 . 前記復号手段は、復号処理が終了したことを示す終了信号を前記選択手段に出力し、

前記選択手段は、

複数の前記復号手段のそれそれの処理状態に対応する値を記憶する記憶手段を有し、

前記記憶手段の値が全て第 1の値になった場合、復号処理が終了したことを示す前記終了信号を出力している前記復号手段に対応する前記記憶手段に記憶されている値を、前記第 1の値から第 2の値に変更し、

対応する前記記憶手段に記憶されている値が前記第 2の値である前記第 1の復号手段により復号された前記画像デ一夕のうち、いずれかの前記画像デ一夕を選択し、

選択された前記画像データを復号した前記復号手段に対応する前記記憶手段に記憶されている値を前記第 1の値に変更する

ことを特徴とする請求の範囲第 5項記載の復号装置。

7 . 前記復号手段により復号された前記画像データ、前記選択手段により選択された前記画像データ、または前記動き補償手段により動き補償が施された前記画像データを保持する保持手段と、

前記選択手段により選択された前記画像データ、または前記動き補償手段により動き補償が施された前記画像データの前記保持手段による保持を制御する保持制御手段と

を更に備えることを特徴とする請求の範囲第 5項記載の復号装置。

8 . 前記保持手段は、前記画像データの輝度成分と色差成分をそれそれ分けて保持する

ことを特徴とする請求の範囲第 7項記載の復号装置。

9 . 前記復号手段に供給される前記符号化ストリームのフレームの順番を変更する変更手段を更に備え、

前記保持手段は、画像シーケンス内のィントラ符号化フレームおよび前方向予測符号化フレームを合計したフレーム数より少なくとも 2つ多い数のフレームを保持することができ、

前記変更手段は、前記符号化ストリームを逆転再生させるための所定の順番になるように、前記符号化ストリ一ムのフレームの順番を変更する

ことを特徴とする請求の範囲第 7項記載の復号装置。

1 0 . 前記保持手段により保持されている前記画像データを読み出して出力する出力手段を更に備え、

前記所定の順番とは、前記イントラ符号化フレーム、前記前方向予測符号化フレーム、双方向予測符号化フレームの順番であり、かつ、前記双方向予測符号化フレーム内での順番は、符号化の順番とは逆であり、

前記出力手段は、前記復号手段により復号され、前記保持手段により保持されている前記双方向予測符号化フレームを順次読み出して出力するとともに、所定のタイミングで、前記保持手段により保持されている前記ィントラ符号化フレーム、もしくは前記前方向予測符号化フレームを読み出して、前記双方向予測符号化フレームの間の所定の位置に挿入して出力する

ことを特徴とする請求の範囲第 9項記載の復号装置。

1 1 . 前記所定の順番とは、前記出力手段により前記イントラ符号化フレーム、もしくは前記前方向予測符号化フレームが出力されるタイミングで、前記復号手段により復号された、一つ前の前記画像シーケンスの前記ィントラ符号化フレームもしくは前記前方向予測符号化フレームが、前記保持手段により保持されるような順番である

ことを特徴とする請求の範囲第 1 0項記載の復号装置。

1 2 . 前記符号化ストリームを復号するために必要な情報を記録する記録手段と、前記記録手段による前記情報の記録および前記情報の前記復号手段への供給を制御する制御手段と

を更に備え、

前記符号化ストリームは、前記情報を含み、

前記制御手段は、前記復号手段の復号処理に必要な前記情報を選択して、前記復号手段に供給することを特徴とする請求の範囲第 9項記載の復号装置。

1 3 . 前記制御手段が前記復号手段に供給する前記情報は、前記復号手段により復号されているフレームに対応する上位層符号化パラメ一夕である

ことを特徴とする請求の範囲第 1 2項記載の復号装置。

1 4 . 前記保持手段により保持されている前記画像データを読み出して出力する出力手段を更に備え、

前記復号手段は、前記符号化ストリームを通常再生に必要な処理速度の N倍速で復号することが可能であり、

前記出力手段は、前記保持手段により保持されている前記画像データのうち N フレーム毎の前記画像データを出力することが可能である

ことを特徴とする請求の範囲第 7項記載の復号装置。

1 5 . 前記符号化ストリームを保持する第 1の保持手段と、

前記符号化ストリ一ムから、前記符号化ストリームに含まれる所定の情報の単位の始まりを表わすスタートコードを読み出すとともに、前記第 1の保持手段に前記スタートコ一ドが保持されている位置に関する位置情報を読み出す読み出し手段と、

前記読み出し手段により読み出された、前記スタートコ一ドおよび前記位置情報を保持する第 2の保持手段と、

前記第 1の保持手段による前記画像データの保持、および前記第 2の保持手段による前記スタートコ一ドおよび前記位置情報の保持を制御する第 1の保持制御手段と、

複数の前記復号手段により復号され、出力された複数の画像データのうちの所定のものを選択する選択手段と、

前記選択手段により選択された前記画像データの入力を受け、必要に応じて動き補償を施す動き補償手段と、

前記選択手段により選択された前記画像データ、または前記動き補償手段により動き補償が施された前記画像データを保持する第 3の保持手段と、

前記選択手段により選択された前記画像データ、または前記動き補償手段により動き補償が施された前記画像デ一夕の前記第 3の保持手段による保持を、前記第 1の保持制御手段とは独立して制御する第 2の保持制御手段とを更に備えることを特徴とする請求の範囲第 1項記載の復号装置。

1 6 . 符号化ストリームを復号する復号装置の復号方法において、

前記符号化ストリームを復号する複数の復号ステップと、

複数の前記復号ステツプの処理を並行して動作させるように制御する復号制御ステップと

を含むことを特徴とする復号方法。

1 7 . 符号化ストリームを復号する復号装置用のプログラムであって、

前記符号化ストリームを復号する複数の復号ステツブと、

複数の前記復号ステップの処理を並行して動作させるように制御する復号制御ステップと

を含むことを特徴とするコンピュー夕が読み取り可能なプログラムが記録されている記録媒体。

1 8 . 符号化ストリームを復号する復号装置を制御するコンピュータが実行可能なプログラムであって、

前記符号化ストリームを復号する複数の復号ステップと、

を含むことを特徴とするプログラム。

1 9 . 符号化ストリームを復号する復号装置において、

前記符号化ス卜リームを復号する複数のスライスデコーダと、

複数の前記スライスデコーダを並行して動作させるように制御するスライスデコーダ制御手段と

を備えることを特徴とする復号装置。

2 0 . 符号化ストリームを復号する復号装置の復号方法において、

前記符号化ストリームを復号する複数のスライスデコーダによる復号を制御する復号制御ステップと、

前記復号制御ステツプを並行して処理させるように制御するスライスデコーダ制御ステップとを含むことを特徴とする復号方法。

2 1 . 符号化ストリームを復号する復号装置用のプログラムであって、

前記符号化ストリームを復号する複数のスライスデコーダによる復号を制御する復号制御ステツブと、

前記復号制御ステヅブを並行して処理させるように制御するスライスデコーダ制御ステツプと

2 2 . 符号化ストリームを復号する復号装置を制御するコンビユー夕が実行可能なプログラムであって、

前記復号制御ステツブを並行して処理させるように制御するスライスデコーダ制御ステップと

を含むことを特徴とするプログラム。

2 3 . ソ一ス符号化ストリームを復号する復号装置において、

前記ソース符号化ストリームのビクチャを構成するスライス毎に、前記ソース符号化ストリームをデコードする複数のスライスデコーダと、

前記複数のスライスデコーダのデコードステータスを監視するとともに、前記複数のスライスデコ一夕を制御する制御手段と

を備え、

前記制御手段は、前記ピクチャに含まれる前記スライスの順番に関係なく、前記スライスデコーダによる前記ピクチャのデコ一ド処理が最も早くなるように、前記スライスを前記複数のスライスデコーダに割り当てる

ことを特徴とする符号化装置。

2 4 . ソース符号化ストリ一ムを復号する復号装置の復号方法において、複数のスライスデコーダによる、前記ソ一ス符号化ストリームのピクチャを構成するスライス毎の前記ソース符号化ストリームのデコ一ド処理を制御するデコ ―ド処理制御ステップと、前記複数のスライスデコーダのデコ一ドステ一タスを監視するとともに、前記複数のスライスデコ一夕を制御する制御ステツプと

を含み、

前記制御ステツプの処理では、前記ピクチャに含まれる前記スライスの順番に関係なく、前記スライスデコーダにおいて実行される前記デコード処理が最も早くなるように、前記スライスを前記複数のスライスデコーダに割り当てることを特徴とする符号化方法。

2 5 . ソース符号化ストリームを復号する復号装置を制御するコンピュータが実行可能なプログラムであって、

複数のスライスデコーダによる、前記ソース符号化ストリ一ムのピクチャを構成するスライス毎の前記ソース符号化ストリームのデコ一ド処理を制御するデコ一ド処理制御ステップと、

前記複数のスライスデコーダのデコ一ドステ一タスを監視するとともに、前記複数のスライスデコ一タを制御する制御ステップと

を含み、

前記制御ステツプの処理では、前記ビクチャに含まれる前記スライスの順番に関係なく、前記スライスデコーダにおいて実行される前記デコード処理が最も早くなるように、前記スライスを前記複数のスライスデコーダに割り当てることを特徴とするプログラム。

2 6 . ソース符号化ストリームを復号する復号装置において、

前記ソース符号化ストリ一ムのピクチャを構成するスライス毎に、前記ソース符号化ストリームをデコ一ドする複数のスライスデコーダと、

前記複数のスライスデコーダのデコ一ドステ一タスを監視するとともに、前記複数のスライスデコ一夕を制御する制御手段と

を備え、

前記制御手段は、前記ビクチャに含まれる前記スライスの順番に関係なく、前記複数のスライスデコーダのうちデコ一ドが終了した前記スライスデコーダに、デコ一ドすべき前記スライスを割り当てる

ことを特徴とする符号化装置。

2 7 . ソース符号化ストリームを復号する復号装置の復号方法において、複数のスライスデコーダによる、前記ソース符号化ストリームのピクチャを構成するスライス毎の前記ソース符号化ストリ一ムのデコード処理を制御するデコ

―ド処理制御ステツブと、

前記複数のスライスデコーダのデコ一ドステ一タスを監視するとともに、前記複数のスライスデコ一タを制御する制御ステツプと

を含み、

前記制御ステツブの処理では、前記ピクチヤに含まれる前記スライスの順番に関係なく、前記複数のスライスデコーダのうち、前記デコード処理制御ステップの処理によりデコード処理が終了した前記スライスデコーダに、デコ一ドすべき前記スライスを割り当てる

ことを特徴とする符号化方法。

2 8 . ソース符号化ストリームを復号する復号装置を制御するコンピュータが実行可能なプログラムであって、

複数のスライスデコーダによる、前記ソース符号化ストリ一ムのピクチャを構成するスライス毎の前記ソース符号化ストリ一ムのデコード処理を制御するデコ ―ド処理制御ステツブと、

前記複数のスライスデコーダのデコ一ドステ一タスを監視するとともに、前記複数のスライスデコ一夕を制御する制御ステツブと

を含み、

前記制御ステツプの処理では、前記ピクチャに含まれる前記スライスの順番に関係なく、前記複数のスライスデコーダのうち、前記デコード処理制御ステップの処理によりデコ一ド処理が終了した前記スライスデコーダに、デコ一ドすべき前記スライスを割り当てる

ことを特徴とするプログラム。