WO2001059751A1 - Image processing device and method, and recording medium - Google Patents

Description

明細 ^: 画像処理装置及び方法、 並びに記録媒体

技術分野 本発明は、 画像処理装置及び方法、 並びに記録媒体に関し、 特に、 画像を処理 又は変換する画像処理装置及び方法、 並びに記録媒体に関する。

冃景技俯 画像信号を高解像度化等高質化するための技術として、 例えば、 特鬨平 9一 7 4 5 4 3号公報及び対応する米国特許 5 9 4 6 0 4 4号明細書等に閧示されたク ラス分類適応処理がある。

クラス分類適応処理では、 入力画像信号の各注目画素に対して、 入力画像信号 からクラス夕ヅプ及び予測夕ヅプを取得し、 クラスタヅプに基づいて注目画素を 予め設定したクラスのいずれかに分類し、 分類されたクラスに対応して選択され る予め各クラス毎に学習により生成された予測係数セッ トと予測タッブとを用い た演算を行うことで、 入力画像信号より高質な出力画像信号が生成される。 クラス分類適応処理では、 クラスタップゃ予測夕ップが画像の有効範囲の外に 位置する画素となることがある。 ここで、 有効範囲の外の画素の画素値は正常な 値を有していない可能性が高い。 従って、 従来のクラス分類適応処理では、 クラ ス夕ップゃ予測夕ッブが画像の有効範囲の外に位置する場合には、 図 1 に示すよ うにマスクをして使用しないようにしていた。

このクラス分類適応処理の一例として、 誤り訂正符号などによって訂正するこ とができなかったり、 パケッ トロス等により欠落した画素を周辺の欠落していな い画素をクラスタップ及び予測夕ッブとして用いてクラス分類適応処理を行うこ とで欠落した画素を生成するものがある。

この場合にも図 1に示すように、 対象となる画素の周辺に位置する画素の画素 値を利用したクラス分類適応処理により、 その画素値を設定することができる。 従来は、 画面全体において、 欠落した画素との位置関係が相対的に同様の位置 にある画素が利用される、 いわゆるタップ構造が同じ処理が実行される。

欠落した画素の周辺に位置する画素が画像の有効範囲の外に位置する場合、 設 定された画素値は、 正常な値を有しない。 このため、 生成された画像において、 このような画像の端部に位置する画素は、 図 1に示すように、 マスクされ、 利用 されない。

また、 従来は、 画面上の画素の物理的位置にかかわらず同様の処理が実行され るだけであった。

しかしながら、 画像がマスクされると、 画像のサイズが小さくなり、 実質的に、 生成される画像の解像度が低下することとなる。 また、 画素の画面上の位置に対 応して処理内容が変化することはなく、 画素の画面上の物理的位置にかかわらず 同様の処理が実行されるので、 高質化があまり図られないことがある。

発明の開示 本発明はこのような状況に鑑みてなされたものであり、 画素の画面上の位置に かかわらず、 常に、 より高質な画像を生成することができるようにすることを目 的とする。

本発明に係る画像処理装置は、 複数の画素からなる入力画像信号の注目画素の フレーム内における位置を示す位置情報を検出する位置検出手段と、 前記位置情 報に応じて、 複数のクラスから前記注目画素のクラスを決定するクラス決定手段 と、 前記入力画像信号から複数の画素を予測タッブとして選択する予測タップ選 択手段と、 前記クラス毎に予め学習により得られた変換データ、 及び、 前記予測 タッブに基づく演算処理を行うことにより、 前記入力画像より高質な出力画像信 号を出力する演算手段とを備えることを特徴とする。 また、 本発明に係る画像処理方法は、 複数の画素からなる入力画像信号の注目 画素のフレーム内における位置を示す位置情報を検出する位置検出ステツプと、 前記位置情報に応じて、 複数のクラスから前記注目画素のクラスを決定するクラ ス決定ステツプと、 前記入力画像信号から複数の画素を予測夕ッブとして選択す る予測夕ップ選択ステップと、 前記クラス毎に予め学習により得られた変換デ一 タ、 及び、 前記予測タップに基づく演算処理を行うことにより、 前記入力画像よ り高質な出力画像信号を出力する演算ステツプとを含むことを特徴とする。

また、 本発明に係る画像処理方法は、 複数の画素からなる入力画像信号の注目 画素のフレーム内における位置を示す位置情報を検出する位置検出ステップと、 前記位置情報に応じて、 複数のクラスから前記注目画素のクラスを決定するクラ ス決定ステツプと、 前記入力画像信号から複数の画素を予測夕ップとして選択す る予測夕ッブ選択ステップと、 前記クラス毎に予め学習により得られた変換デ一 タ、 及び、 前記予測タップに基づく演算処理を行うことにより、 前記入力画像よ り高質な出力画像信号を出力する演算ステツプとを含むことを特徴とする画像処 理をコンピュータに実行させるプログラムが記録されている。

本発明に係る画像処理装置は、 複数の画素からなる入力画像信号の注目画素の フレーム内における位置を示す位置情報を検出する位置検出手段と、 前記注目画 素との位置関係が、 前記位置情報に応じて可変される複数の画素を、 前記入力画 像信号からクラス夕ヅブとして選択するクラスタヅブ選択手段と、 前記クラス夕 ップに基づいて、 複数のクラスから前記注目画素のクラスを決定するクラス決定 手段と、 前記入力画像信号から複数の画素を予測タッブとして選択する予測夕ツ プ選択手段と、 前記クラス毎に予め学習により得られた変換データ、 及び、 前記 予測夕ッブに基づく演算処理を行うことにより、 前記入力画像より高質な出力画 像信号を出力する演算手段とを備えることを特徴とする。

また、 本発明に係る画像処理方法は、 複数の画素からなる入力画像信号の注目 画素のフレーム内における位置を示す位置情報を検出する位置検出ステツプと、 前記注目画素との位置関係が、 前記位置情報に応じて可変される複数の画素を、 前記入力画像信号からクラス夕ヅブとして選択するクラス夕ヅプ選択ステップと、 前記クラス夕ップに基づいて、 複数のクラスから前記注目画素のクラスを決定す るクラス決定ステップと、 前記入力画像信号から複数の画素を予測タッブとして 選択する予測タップ選択ステツプと、 前記クラス毎に予め学習により得られた変 換デ一タ、 及び、 前記予測タップに基づく演算処理を行うことにより、 前記入力 画像より高質な出力画像信号を出力する演算ステ、ソブとを含むことを特徴とする < さらに、 本発明に係る記録媒体は、 複数の画素からなる入力画像信号の注目 画素のフレーム内における位置を示す位置情報を検出する位置検出ステツブと、 前記注目画素との位置関係が、 前記位置情報に応じて可変される複数の画素を、 前記入力画像信号からクラス夕ップとして選択するクラスタッブ選択ステップと、 前記クラスタッブに基づいて、 複数のクラスから前記注目画素のクラスを決定す るクラス決定ステップと、 前記入力画像信号から複数の画素を予測タップとして 選択する予測夕ップ選択ステツプと、 前記クラス毎に予め学習により得られた変 換データ、 及び、 前記予測タップに基づく演算処理を行うことにより、 前記入力 画像より高質な出力画像信号を出力する演算ステップとを含むことを特徴とする 画像処理をコンビユー夕に実行させるプログラムが記録されている。

本発明に係る画像処理装置は、 複数の画素からなる入力画像信号の注目画素の フレーム内における位置を示す位置情報を検出する位置検出手段と、 前記入力画 像信号から複数の画素をクラスタップとして選択するクラスタ、ソプ選択手段と、 前記クラス夕ップに基づいて、 複数のクラスから前記注目画素のクラスを決定す るクラス決定手段と、 前記注目画素との位置関係が.、 前記位置情報に応じて可変 される複数の画素を、 前記入力画像信号から予測夕ッブとして選択する予測夕ッ プ選択手段と、 前記クラス毎に予め学習により得られた変換データ、 及び、 前記 予測夕ップに基づく演算処理を行うことにより、 前記入力画像より高質な出力画 像信号を出力する演算手段とを備えることを特徴とする。

また、 本発明に係る画像処理方法は、 複数の画素からなる入力画像信号の注目 画素のフレーム内における位置を示す位置情報を検出する位置検出ステップと、 前記入力画像信号から複数の画素をクラスタッブとして選択するクラスタップ選 択ステップと、 前記クラスタップに基づいて、 複数のクラスから前記注目画素の クラスを決定するクラス決定ステップと、 前記注目画素との位置関係が、 前記位 置情報に応じて可変される複数の画素を、 前記入力画像信号から予測タッブとし て選択する予測タップ選択ステツプと、 前記クラス毎に予め学習により得られた 変換データ、 及び、 前記予測タップに基づく演算処理を行うことにより、 前記入 力画像より高質な出力画像信号を出力する演算ステツプとを含むことを特徴とす る。

さらに、 本発明に係る記録媒体は、 複数の画素からなる入力画像信号の注目画 素のフ レーム内における位置を示す位置情報を検出する位置検出ステツプと、 前 記入力画像信号から複数の画素をクラスタップとして選択するクラスタップ選択 ステップと、 前記クラスタヅブに基づいて、 複数のクラスから前記注目画素のク ラスを決定するクラス決定ステップと、 前記注目画素との位置関係が、 前記位置 情報に応じて可変される複数の画素を、 前記入力画像信号から予測夕ッブとして 選択する予測タップ選択ステツプと、 前記クラス毎に予め学習により得られた 変換デ一夕、 及び、 前記予測タップに基づく演算処理を行うことにより、 前記入 力画像より高質な出力画像信号を出力する演算ステツプとを含むことを特徴とす る画像処理をコンピュー夕に実行させるプログラムが記録されている。

本発明に係る画像処理装置は、 複数の画素からなる入力画像信号の各注目画素 に対して、 前記入力画像信号から複数の画素を仮クラスタップとして選択する仮 クラス夕ヅブ選択手段と、 前記仮クラスタヅブのフレーム内における位置に応じ て前記注目画素との位置関係が可変される複数の画素を、 前記入力画像信号から 真クラスタップとして選択する真クラスタップ選択手段と、 前記真クラス夕ヅ プ に基づいて、 複数のクラスから前記注目画素のクラスを決定するクラス決定手段 と、 前記入力画像信号から複数の画素を予測夕ッブとして選択する予測夕ップ選 択手段と、 前記クラス毎に予め学習により得られた変換データ、 及び、 前記予測 夕ップに基づく演算処理を行うことにより、 前記入力画像より高質な出力画像信 号を出力する演算手段とを備えることを特徴とする。

また、 本発明に係る画像処理方法は、 複数の画素からなる入力画像信号の各注 目画素に対して、 前記入力画像信号から複数の画素を仮クラスタップとして選択 する仮クラスタヅプ選択ステッブと、 前記仮クラスタヅブのフレーム内における 位置に応じて前記注目画素との位置関係が可変される複数の画素を、 前記入力画 像信号から真クラスタッブとして選択する真クラス夕ップ選択ステップと、 前記 真クラス夕ップに基づいて、 複数のクラスから前記注目画素のクラスを決定する クラス決定ステップと、 前記入力画像信号から複数の画素を予測タッブとして選 択する予測夕ップ選択ステツプと、 前記クラス毎に予め学習により得られた変換 データ、 及び、 前記予測タップに基づく演算処理を行うことにより、 前記入力画 像より高質な出力画像信号を出力する演算ステツプとを含むことを特徴とする。 さらに、 本発明に係る記録媒体は、 複数の画素からなる入力画像信号の各注目 画素に対して、 前記入力画像信号から複数の画素を仮クラスタッブとして選択す る仮クラスタツプ選択ステツプと、 前記仮クラスタップのフレーム内における位 置に応じて前記注目画素との位置関係が可変される複数の画素を、 前記入力画像 信号から真クラスタップとして選択する真クラスタヅプ選択ステツブと、 前記真 クラスタヅプに基づいて、 複数のクラスから前記注目画素のクラスを決定するク ラス決定ステップと、 前記入力画像信号から複数の画素を予測夕ップとして選択 する予測タップ選択ステップと、 前記クラス毎に予め学習により得られた変換デ —夕、 及び、 前記予測タップに基づく演算処理を行うことにより、 前記入力画像 より高質な出力画像信号を出力する演算ステツプとを含むことを特徴とする画像 処理をコンピュータに実行させるプログラムが記録されている。

本発明に係る画像処理装置は、 複数の画素からなる入力画像信号の各注目画素 に対して、 前記入力画像信号から複数の画素をクラスタップとして選択するクラ スタップ選択手段と、 前記クラスタップに基づいて、 複数のクラスから前記注目 画素のクラスを決定するクラス決定手段と、 前記各注目画素に対して、 前記入力 画像信号から複数の画素を仮予測夕ッブとして選択する仮予測夕ップ選択手段と、 前記仮予測タップのフレーム内における位置に応じて前記注目画素との位置関係 が可変される複数の画素を、 前記入力画像信号から真予測夕ッブとして選択する 真予測夕ッブ選択手段と、 前記クラス毎に予め学習により得られた変換データ、 及び、 前記真予測タップに基づく演算処理を行うことにより、 前記入力画像より 高質な出力画像信号を出力する演算手段とを備えることを特徴とする。

また、 本発明に係る画像処理方法は、 複数の画素からなる入力画像信号の各注 目画素に対して、 前記入力画像信号から複数の画素をクラスタップとして選択す るクラスタヅブ選択ステップと、 前記クラスタヅブに基づいて、 複数のクラスか ら前記注目画素のクラスを決定するクラス決定ステップと、 前記各注目画素に対 して、 前記入力画像信号から複数の画素を仮予測タッブとして選択する仮予測タ ヅプ選択ステップと、 前記仮予測タップのフレーム内における位置に応じて前記 注目画素との位置関係が可変される複数の画素を、 前記入力画像信号から真予測 夕ップとして選択する真予測夕ップ選択ステップと、 前記クラス毎に予め学習に より得られた変換データ、 及び、 前記真予測タップに基づく演算処理を行うこと により、 前記入力画像より高質な出力画像信号を出力する演算ステップとを含む ことを特徴とする。

さらに、 本発明に係る記録媒体は、 複数の画素からなる入力画像信号の各注目 画素に対して、 前記入力画像信号から複数の画素をクラスタップとして選択する クラスタップ選択ステップと、 前記クラスタヅブに基づいて、 複数のクラスから 前記注目画素のクラスを決定するクラス决定ステツプと、 前記各注目画素に対し て、 前記入力画像信号から複数の画素を仮予測タッブとして選択する仮予測タッ ブ選択ステツプと、 前記仮予測夕ップのフレーム内における位置に応じて前記注 目画素との位置関係が可変される複数の画素を、 前記入力画像信号から真予測夕 ップとして選択する真予測夕ップ選択ステップと、 前記クラス毎に予め学習によ り得られた変換デ一夕、 及び、 前記真予測タップに基づく演算処理を行うことに より、 前記入力画像より高質な出力画像信号を出力する演算ステップとを含むこ とを特徴とする画像処理をコンピュ一夕に実行させるプログラムが記録されてい る。

図面の簡単な説明 図 1は、 画素のマスクを説明する図である。

図 2は、 本発明に係る画像処理装置の一実施の形態の構成を示す図である。 図 3は、 有効画素領域算出回路の構成例を示す図である。

図 4は、 有効画素領域垂直フラグ V F及び有効画素領域水平フラグ H Fを説明 する図である。 図 5は、 創造の対象となる周辺の画素を説明する図である。

図 6は、 画像の端部におけるタップの構築例を示す図である。

図 7は、 画像の端部におけるタップの構築例を示す図である。

図 8は、 欠落画素創造回路の構成を示すプロック図である。

図 9は、 前処理回路の処理を説明するフローチャートである。

図 1 0は、 動きクラス生成回路の構成を示す図である。

図 1 1は、 動き検出回路の構成を示す図である。

図 1 2は、 時間ァクティビティの算出に使用されるタップを示す図である。 図 1 3は、 空間アクティ ビティの算出に使用されるタップを示す図である。 図 1 4は、 動き判定の閾値を説明する図である。

図 1 5は、 動き判定回路の動きクラスコード M C Cを設定する処理を説明する フローチャートである。

図 1 6は、 動きクラスコード M C Cの多数決判定に利用される画素を説明する 図である。

図 1 7は、 動き検出回路の動きクラスコード M C Cを設定する処理を説明する フローチャートである。

図 1 8は、 画像の端部における夕ップの構築例を示す図である。

図 1 9は、 画像の端部におけるタップの構築例を示す図である。

図 2 0は、 補間の処理に利用される画素を説明する図である。

図 2 1は、 画素値が置換される画素を説明する図である。

図 2 2は、 欠落画素創造回路の他の構成を示すプロック図である。

図 2 3は、 欠落画素創造を行う画像処理モード、 色収差を考慮した画像処理モ 一ド、 テロッブ位置を考慮した画像処理モードの何れか 1つ又は複数を選択的に 行う画像処理装置に利用される係数セッ トを生成する画像処理装置の一実施の形 態の構成を示す図である。

図 2 4は、 色収差を説明する図である。

図 2 5は、 色収差を説明する図である。

図 2 6は、 タップの切換を説明する図である。

図 2 7は、 欠落画素創造を行う画像処理モード、 色収差を考慮した画像処理モ —ド、 テロップ位置を考慮した画像処理モードの何れか 1つ又は複数を選択的に 行う画像処理装置の一実施の形態の構成を示す図である。

図 2 8は、 色収差に対応した夕ップの切換の処理を説明するフローチヤ一卜で ある。

図 2 9は、 テロッブ等が表示されている画面例を示す図である。

図 3 0は、 テロヅブの位置に対応した夕ップの切換の処理を説明するフローチ ヤートである。

図 3 1は、 記録媒体を説明する図である。

発明を実施するための最良の形態 以下、 本発明の実施の形態について図面を参照して詳細に説明する。

図 2は、 本発明に係る画像処理装置の一実施の形態の構成を示す図である。 有 効画素領域算出回路 1 1は、 欠落画素創造回路 1 2に入力される画像に同期した 垂直同期信号、 及び水平同期信号を基に、 欠落画素創造回路 1 2に入力される画 像の画素が有効画素領域に位置するか否かを示す、 有効画素領域垂直フラグ V F 及び有効画素領域水平フラグ H Fを生成して、 欠落画素創造回路 1 2に出力する ( 以下において、 画素は、 タップとも称し、 画素値は、 タップデータとも称する。 欠落画素創造回路 1 2は、 入力された画像及び画像の各画素に対応する欠落フ ラグ L F、 並びに有効画素領域算出回路 1 1から供給された有効画素領域垂直フ ラグ V F及び有効画素領域水平フラグ H Fを基に、 入力された画像に含まれる欠 落画素に対応する画素を創造して、 欠落画素を創造した画素に置き換えて出力す る。

図 3は、 有効画素領域算出回路 1 1の構成の例を示す図である。 垂直同期信号 検出回路 4 1は、 入力された垂直同期信号を基に、 画像の各画素が、 画面の垂直 方向に有効画素領域内であるか否かを示すデータ （以下、 垂直有効画素領域デー 夕と称する） を生成して、 有効領域算出回路 4 3に供給する。 水平同期信号検出 回路 4 2は、 入力された水平同期信号を基に、 画像の各画素が、 画面の水平方向 に有効画素領域内であるか否かを示すデ一夕 （以下、 水平有効画素領域デ一夕と 称する） を生成して、 有効領域算出回路 4 3に供給する。

有効領域算出回路 4 3は、 垂直同期信号検出回路 4 1から供給された垂直有効 画素領域データを補正して、 有効画素領域垂直フラグ V Fとして欠落画素創造回 路 1 2に出力する。

有効画素領域垂直フラグ V Fは、 例えば、 図 4に示すように、 ディスプレイの 有効範囲内において、 0の値が設定され、 ディスプレイの有効範囲外において、 1の値が設定される。

有効領域算出回路 4 3は、 水平同期信号検出回路 4 2から供給された水平有効 画素領域データを補正して、 有効画素領域水平フラグ H Fとして欠落画素創造回 路 1 2に出力する。

有効画素領域水平フラグ H Fは、 例えば、 図 4に示すように、 ディスプレイの 有効範囲内において、 ◦の値が設定され、 ディスプレイの有効範囲外において、 1の値が設定される。

欠落画素創造回路 1 2は、 有効画素領域算出回路 1 1から供給された、 有効画 素領域垂直フラグ V F及び有効画素領域水平フラグ H Fを基に、 入力された画像 の各画素が有効画素領域内に位置するか否かを知ることができる。

次に、 欠落画素創造回路 1 2について説明する。 欠落画素創造回路 1 2に入力 される画像がィンターレ一スであるとき、 注目しているフィ一ルドの画素の位置 は、 注目しているフィ一ルドの 1つ前又は 1つ後のフィ一ルドの画素の位置に対 して、 垂直方向に 1 / 2ずれた位置にある。

欠落画素創造回路 1 2は、 クラス分類適応処理により、 図 5に示すように、 創 造の対象となる画素と同一のフィールド （図中のフィールド k ) にある周辺の画 素の画素値、 1つ前のフィールド （図中のフィールド k一 1 ) に存在する画素の 画素値、 並びに 2つ前のフィールド （図中のフィールド k一 2 ) に存在する画素 の画素値を基に、 欠落画素の画素値を創造する。

創造の対象となる欠落画素が、 画像の端部に位置する場合、 図 6に示すように、 欠落画素創造回路 1 2は、 有効画素領域算出回路 1 1から供給された有効画素領 域垂直フラグ V F及び有効画素領域水平フラグ H Fを基に、 画像の有効範囲に位 置する画素のみ （画像の有効範囲外に位置する画素は切り捨てられる） を選択し て、 選択した画素を基に欠落画素の画素値を創造する。

創造の対象となる欠落画素が、 画像の端部に位置する場合、 図 7に示すように、 欠落画素創造回路 1 2は、 有効画素領域算出回路 1 1から供給された有効画素領 域垂直フラグ V F及び有効画素領域水平フラグ H Fを基に、 画像の有効範囲に位 置する画素を対象とした夕ップ構造に適応的に切り替えることで、 有効な画素を タップとして選択して、 欠落画素の画素値を創造するようにしてもよい。

図 8は、 欠落画素創造回路 1 2の構成の例を示すブロック図である。 欠落画素 創造回路 1 2に入力された画素値及び画素の欠落を示す欠落フラグ L Fは、 前処 理回路 1 0 1及び夕ッブ構築回路 1 0 2— 1 に供給される。

有効画素領域算出回路 1 1から入力された有効画素領域垂直フラグ V F及び有 効画素領域水平フラグ H Fは、 前処理回路 1 0 1、 タツプ構築回路 1 0 2— 1乃 至 1 0 2— 5、 クラス合成回路 1 0 7、 及び係数保持クラスコ一ド選択回路 1 0 9に供給される。

前処理回路 1 0 1は、 有効画素領域垂直フラグ V F及び有効画素領域水平フラ グ H Fを基に、 有効画素領域外に位置する画素の欠落フラグ L Fを設定する。 例 えば、 " 1 " である欠落フラグ L Fは、 その画素値が欠落していることを示 し、 " 0 " である欠落フラグ L Fは、 その画素値が欠落していないことを示す。 前処理回路 1 0 1は、 画素値及び画素に対応する欠落フラグ L Fを基に、 有効画 素領域内の欠落している画素の値を線形補間フィル夕で生成し、 欠落画素にその 値を設定し、 夕 ヅプ構築回路 1 0 2— 2乃至 1 0 2— 5に供給する。 すなわち、 前処理回路 1 0 1は、 画素が欠落しているとき、 欠落している画素の数だけ予測 夕ヅプの数を増やす。

ただし、 後述するように、 クラスタップは、 欠落している画素を含まず、 クラ ス分類の処理は、 前処理回路 1 0 1により生成された画素値を使用しない。

前処理回路 1 0 1の処理を図 9のフローチャートを参照して説明する。 ステヅ プ S 1 1において、 前処理回路 1 0 1は、 欠落フラグ L Fを基に、 対象画素が欠 落しているか否かを判定し、 対象画素が欠落していないと判定された場合、 ステ ッブ S 1 2に進み、 対象画素の画素値を、 対象画素に設定し、 処理は終了する。 ステップ S I 1において、 対象画素が欠落していると判定された場合、 ステツ プ S 1 3に進み、 前処理回路 1 0 1は、 欠落フラグ L Fを基に、 対象画素の水平 方向において隣接している 2つの画素のいずれかが欠落しているか否かを判定す る。 ステップ S 1 3において、 対象画素の水平方向において隣接している 2つの 画素のいずれも欠落していないと判定された場合、 ステップ S 1 4に進み、 前処 理回路 1 0 1は、 対象画素の水平方向において隣接している 2つの画素の画素値 の平均値を対象画素の画素値に設定し、 処理は終了する。

ステップ S 1 3において、 対象画素の水平方向において隣接している 2つの画 素のいずれかが欠落していると判定された場合、 ステップ S 1 5に進み、 前処理 回路 1 0 1は、 対象画素の水平方向において隣接している 2つの画素のいずれも 欠落しているか否かを判定する。 ステップ S 1 5において、 対象画素の水平方向 において隣接している 2つの画素のいずれかが欠落していないと判定された場合、 ステップ S 1 6に進み、 前処理回路 1 0 1は、 対象画素の水平に隣接している、 欠落していない画素の画素値を対象画素の画素値に設定し、 処理は終了する。 ステップ S 1 5において、 対象画素の水平に隣接している画素のいずれも欠落 していると判定された場合、 ステップ S 1 7に進み、 前処理回路 1 0 1は、 欠落 フラグ L Fを基に、 対象画素の垂直方向において隣接している 2つの画素のいず れかが欠落しているか否かを判定する。 ステップ S 1 7において、 対象画素の垂 直方向において隣接している 2つの画素のいずれも欠落していないと判定された 場合、 ステップ S 1 8に進み、 前処理回路 1 0 1は、 対象画素の垂直に隣接して いる 2つの画素の画素値の平均値を対象画素の画素値に設定し、 処理は終了する _c ステヅプ S 1 7において、 対象画素の垂直方向において隣接している 2つの画 素のいずれかが欠落していると判定された場合、 ステップ S 1 9に進み、 前処理 回路 1 0 1は、 欠落フラグ L Fを基に、 対象画素に隣接している全ての画素が欠 落しているか否かを判定する。 ステップ S 1 9において、 対象画素に隣接してい るいずれかの画素が欠落していないと判定された場合、 ステツプ S 2 0に進み、 前処理回路 1 0 1は、 対象画素に隣接している、 欠落していない画素の画素値を 対象画素の画素値に設定し、 処理は終了する。

ステップ S 1 9において、 対象画素に隣接している全ての画素が欠落している と判定された場合、 ステップ S 2 1に進み、 前処理回路 1 0 1は、 対象画素と同 じ位置の過去のフレームの画素の画素値を、 対象画素の画素値に設定し、 処理は 終了する。

以上のように、 前処理回路 1 0 1は、 有効画素領域内の処理の対象画素の画素 値を周辺の画素の画素値から線形に補間する。 前処理回路 1 0 1による補間処理 により、 これに続く処理で使用できるタッブの範囲を広げることができる。 タップ構築回路 1 0 2— 1は、 有効画素領域垂直フラグ VF及び有効画素領域 水平フラグ HFを基に、 有効画素領域外に位置する画素の欠落フラグ L Fをセッ ト し、 有効画素領域外に位置する画素の欠落フラグ L Fをリセッ ト して、 欠落フ ラグ L Fを欠落フラグタップ S L F T 1として動きクラス生成回路 1 0 3に供給 する。 タップ構築回路 1 0 2— 1は、 有効画素領域内の欠落していない画素から なる、 動きクラスタヅブ TD 1を選択して、 選択した動きクラス夕ヅブ TD 1を 動きクラス生成回路 1 03に供給する。

動きクラス生成回路 1 03は、 イニシャライズ回路 1 1 1から供給されたパラ メータ、 並びにタヅプ構築回路 1 02— 1から供給された欠落フラグ夕ップ S L FT 1及び選択された動きクラス夕ッブ TD 1を基に、 動きクラスコード MC C 及び静動フラグ SMFを生成し、 夕ッブ構築回路 1 02— 2乃至 1 02— 5及び クラス合成回路 1 0 7に出力する。 動きクラスコード MC Cは、 動きの量を示す 2ビッ 卜の情報を有し、 静動フラグ SMFは、 動きの有り無しを 1 ビッ トで示す 図 1 0は、 動きクラス生成回路 1 03の構成を示す図である。 夕ッブ構築回路 1 0 2 - 1から供給された、 欠落フラグ夕ヅプ S L F T 1及び動きクラスタヅプ TD 1は、 動き検出回路 1 5 1に供給される。 動き検出回路 1 5 1は、 欠落フラ グ夕ッブ S L F T 1及び動きクラスタッブ T D 1を基に、 動きクラスコード MC Cを生成して、 出力するとともに、 生成した動きクラスコード MC Cを静動判定 回路 1 5 2に供給する。

次に、 動き検出回路 1 5 1の構成について、 図 1 1のブロック図を参照して説 明する。 時間ァクティ ビティ算出回路 1 8 1は、 タ ヅプ構築回路 1 0 2— 1から 供給された欠落フラグタップ S L F T 1及び動きクラスタップ TD 1を基に、 例 えば、 欠落していない有効領域内の画素であって、 創造の対象画素を中心とした 3 x 3の画素 （動きクラス夕ヅプ T D 1に含まれる） と、 1つ前のフレームの、 欠落していない有効領域内の画素であって、 対応する位置の 3 X 3の画素 （動き クラスタップ T D 1に含まれる） との、 それそれの画素値の差の絶対値を加算し た時間ァクティビティを算出し、 動き判定回路 1 84に供給する。 時間ァクティ ビティ算出回路 1 8 1は、 欠落している画素を使用せず、 欠落していない画素の みを使用して、 時間アクティビティを算出する。

図 1 2 (A) は、 時間ァクティビティの算出に使用される、 創造の対象画素を 中心とした 3 X 3の画素の例を示す図である。 図 1 2 ( A) において、 " エラ ―" は、 欠落画素を示す。 図 1 2 (B) は、 図 1 2 (A) に示された画素に対応 する、 1つ前のフレームの 3 X 3の画素の例を示す図である。 図 1 2 (A) 及び 図 1 2 (B) に示される L 1乃至 L 3は、 それそれラインを示し、 ラインの同一 の番号は、 垂直方向に同一の位置であることを示す。 図 1 2 (A) 及び図 1 2

(B) に示される H 1乃至 H 3は、 それそれ画素の水平方向の位置を示し、 その 同一の番号は、 水平方向に同一の位置であることを示す。

欠落している画素は使用されないので、 図 1 2 (A) 及び図 1 2 (B) に示さ れる場合において、 時間アクティビティは、 次の式 （ 1 ) で算出される。 時間アクティビティ = { | (q 2) - (p 2) | + | (q 3) - (p 3) |

+ I (q 4) - (p 4) | + | (q 6) - （p 6) | + I (Q 7) - (p 7 ) | + | (q 9 ) - (p 9) | } /v

( 1 ) 式 （ 1 ) において、 （） は、 画素の画素値を表し、 I Iは、 絶対値を求める関数 を表し、 Vは、 創造の対象画素が存在するフレームの画素の数から、 欠落してい る画素の数を減じた数を表す。

空間ァクティビティ算出回路 1 8 2は、 タヅプ構築回路 1 02— 1から供給さ れた欠落フラグ夕ヅプ S L F T 1及び動きクラスタップ TD 1を基に、 例えば、 創造の対象画素を中心とした 3 X 3の画素の最大値と最小値との差に 1を加算し た空間ァクティビティを算出し、 閾値設定回路 1 8 3に供給する。 図 1 3は、 空間アクティ ビティの算出に使用される、 創造の対象となる欠落画 素を中心とした 3 X 3の画素の例を示す図である。 空間アクティ ビティは、 式 ( 2 ) で算出される。 空間アクティビティ = M a x ( q i ) - M i n ( q i ) + 1 ( 2 ) 式 （ 2 ) において、 M a x ( q i ) は、 q 1乃至 q 9の画素値の最大値を示す。 M i n ( q i ) は、 q l乃至 q 9の画素値の最小値を示す。

闞値設定回路 1 8 3は、 空間ァクティビティ算出回路 1 8 2から供給された空 間ァクティビティを基に、 閾値設定回路 1 8 3に予め記憶されている動き判定の 閾値を選択し、 選択した閾値を動き判定回路 1 8 4に供給する。 動き判定回路 1 8 4に供給される動き判定の閾値は、 空間アクティビティの値によって、 それそ れ異なる値を有する閾値が選択される。

動き判定回路 1 8 4は、 閾値設定回路 1 8 3から供給された動き判定の閾値、 及び時間アクティビティ算出回路 1 8 1から供給された時間ァクティビティから、 動きクラスコード M C Cを設定し、 多数決判定回路 1 8 5、 遅延回路 1 8 6、 及 びセレクタ 1 8 7に供給する。

図 1 4は、 動き判定の閾値を説明する図である。 動き判定の閾値は、 空間ァク テイビティの値によって、 異なる値が使用される。 空間アクティビティが大きく なれば、 大きな値の閾値が使用される。 これは、 空間アクティビティが大きな画 素が、 少ない動きを伴う場合、 時間アクティ ビティは、 大きな値となることを考 慮したものである。

次に、 動き判定回路 1 8 4の動きクラスコード M C Cを設定する処理を、 図 1 5のフローチヤ一トを参照して説明する。 ステヅプ S 3 1において、 動き判定回 路 1 8 4は、 時間アクティ ビティが、 閾値 1以下であるか否かを判定し、 時間ァ クテイビティが閾値 1以下であると判定された場合、 ステップ S 3 2に進み、 動 きクラスコード M C Cに 0を設定し、 処理は終了する。

ステップ S 3 1において、 時間ァクティビティが閾値 1を越えると判定された 場合、 ステップ S 3 3に進み、 動き判定回路 1 8 4は、 時間ァクティビティが、 閾値 2以下であるか否かを判定し、 時間ァクティ ビティが閾値 2以下であると判 定された場合、 ステップ S 34に進み、 動きクラスコード MC Cに 1を設定し、 処理は終了する。

ステップ S 3 3において、 時間ァクティ ビティが閾値 2を越えると判定された 場合、 ステップ S 3 5に進み、 動き判定回路 1 84は、 時間ァクティ ビティが閾 値 3以下であるか否かを判定し、 時間ァクティ ビティが閾値 3以下であると判定 された場合、 ステップ S 3 6に進み、 動きクラスコード MC Cに 2を設定し、 処 理は終了する。

ステップ S 3 5において、 時間ァクティ ビティが閾値 3を越えると判定された 場合、 ステップ S 3 7に進み、 動き判定回路 1 84は、 動きクラスコード MC C に 3を設定し、 処理は終了する。

以上のように、 動き判定回路 1 84は、 閾値及び時間アクティ ビティを基に、 動きクラスコード MC Cを設定する。

多数決判定回路 1 8 5は、 複数の画素の動きクラスコード MC Cを基に、 最終 的な、 動きクラスコード MC Cを設定する。 例えば、 図 1 6に示すように、 創造 の対象画素の周辺の 1 4個の画素の動きクラスコード MC Cを基に、 多数決判定 回路 1 8 5は、 対象画素の動きクラスコ一ド MC Cを設定する。

動き検出回路 1 5 1の動きクラスコード MC Cを設定する処理を図 1 7のフロ —チャートを参照して説明する。 ステヅブ S 5 1において、 動き検出回路 1 5 1 は、 イニシャライズ回路 1 1 1からのパラメ一夕の設定に対応して、 多数決判定 を実行するか否かを判定し、 多数決判定を実行しないと判定された場合、 ステツ プ S 5 2に進み、 セレクタ 1 8 7は、 動き判定回路 1 84が出力する注目画素の 動きクラスコード MC Cを選択して、 注目画素の動きクラスコード MC Cを最終 的な動きクラスコード MC Cとして設定し、 処理は終了する。

ステップ S 5 1において、 多数決判定を実行すると判定された場合、 ステップ S 53に進み、 多数決判定回路 1 8 5は、 14個の画素のうち、 3の動きクラス コード MC Cが設定されている画素の数が、 閾値 3より大きいか否かを判定し、 3の動きクラスコード MC Cが設定されている画素の数が、 閾値 3より大きいと 判定された場合、 ステップ S 54に進み、 動きクラスコード MC Cに 3を設定す る。 セレクタ 1 8 7は、 多数決判定回路 1 8 5の出力を最終的な動きクラスコ一 ド MC Cとして出力し、 処理は終了する。

ステップ S 5 3において、 3の動きクラスコード MC Cが設定されている画素 の数が、 閾値 3以下であると判定された場合、 ステップ S 5 5に進み、 多数決判 定回路 1 8 5は、 1 4個の画素のうち、 3の動きクラスコード MC Cが設定され ている画素の数と 2の動きクラスコード MC Cが設定されている画素の数を加え た値が、 閾値 2より大きいか否かを判定し、 3の動きクラスコード MC Cが設定 されている画素の数と 2の動きクラスコード MC Cが設定されている画素の数を 加えた値が、 閾値 2より大きいと判定された場合、 ステップ S 5 6に進み、 動き クラスコード MC Cに 2を設定する。 セレクタ 1 8 7は、 多数決判定回路 1 8 5 の出力を最終的な動きクラスコ一ド MC Cとして出力し、 処理は終了する。 ステップ S 5 5において、 3の動きクラスコード MC Cが設定されている画素 の数と 2の動きクラスコード MC Cが設定されている画素の数を加えた値が、 閾 値 2以下であると判定された場合、 ステップ S 57に進み、 多数決判定回路 1 8 5は、 1 4個の画素のうち、 3の動きクラスコード MC Cが設定されている画素 の数、 2の動きクラスコード MC Cが設定されている画素の数、 及び 1の動きク ラスコード MC Cが設定されている画素の数を加えた値が、 閾値 1より大きいか 否かを判定し、 3の動きクラスコード MC Cが設定されている画素の数、 2の動 きクラスコード MC Cが設定されている画素の数、 及び 1の動きクラスコード M C Cが設定されている画素の数を加えた値が、 閾値 1より大きいと判定された場 合、 ステップ S 5 8に進み、 動きクラスコード MC Cに 1を設定し、 セレクタ 1 8 7は、 多数決判定回路 1 8 5の出力を最終的な動きクラスコード MC Cとして 出力し、 処理は終了する。

ステップ S 57において、 3の動きクラスコード MC Cが設定されている画素 の数、 2の動きクラスコード MC Cが設定されている画素の数、 及び 1の動きク ラスコード MC Cが設定されている画素の数を加えた値が、 閾値 1以下であると 判定された場合、 ステップ S 59に進み、 多数決判定回路 1 8 5は、 動きクラス コード MC Cに 0を設定し、 セレクタ 1 8 7は、 多数決判定回路 1 8 5の出力を 最終的な動きクラスコ一ド MC Cとして出力し、 処理は終了する。 このように、 動き検出回路 1 5 1は、 複数の画素の動きクラスコード MC C、 並びに予め記憶している閾値を基に、 最終的な、 動きクラスコード MC Cを設定 する。

以上のように、 動きクラス生成回路 1 0 3は、 複数の画素の画素値から動きク ラスコード MC Cを設定し、 動きクラスコード MC Cを静動判定回路 1 52及び 欠落画素創造回路 1 2に出力する。

図 1 0に戻り、 静動判定回路 1 5 2は、 動きクラスコード MC Cを基に、 静動 フラグ S M Fを設定し、 出力する。 例えば、 動きクラスコード M C Cが 0又は 1 のとき、 静動フラグ SMFは、 0に設定され、 動きクラスコード MC Cが 2又は 3のとき、 静動フラグ SMFは、 1に設定される。

夕ッブ構築回路 1 0 2— 2は、 動きクラス生成回路 1 0 3から供給された動き クラスコード MC C及び静動フラグ SMF、 並びに欠落フラグ L Fを基に、 全て のクラス構造を網羅した全クラス予測夕ッブ VE T (有効画素領域外の画素を含 まない） を選択して、 可変タップ選択回路 1 0 8に供給する。

タップ構築回路 1 0 2— 3は、 有効画素領域垂直フラグ VF及び有効画素領域 水平フラグ HFを基に、 有効画素領域外に位置する画素の欠落フラグ L Fをセッ ト し、 有効画素領域外に位置する画素の欠落フラグ L Fをリセッ ト して、 欠落フ ラグ L Fを欠落フラグタップ S L F T 2として D Rクラス生成回路 1 04に供給 する。 タ ヅプ構築回路 1 0 2— 3は、 動きクラス生成回路 1 0 3から供給された 動きクラスコード MC C及び静動フラグ SMF、 並びに欠落フラグ L Fを基に、 有効画素領域内の欠落していない DRクラス夕ップ TD 2を選択して、 選択した DRクラスタップ TD 2を DRクラス生成回路 1 04に供給する。 DRクラス生 成回路 1 04は、 夕ヅブ構築回路 1 02— 3から供給された欠落フラグ夕ヅプ S L F T 2、 及び DRクラスタップ TD 2を基に、 D Rクラスタップ T D 2に含ま れる画素であって、 欠落していない画素の最大の画素値と最小の画素値との差で あるダイナミヅクレンジに応じて決定される DRクラスコード DR C Cを生成し て、 クラス合成回路 1 07に出力する。

夕ップ構築回路 1 0 2— 4は、 有効画素領域算出回路 1 1から供給された、 有 効画素領域垂直フラグ V F及び有効画素領域水平フラグ H Fを基に、 有効画素領 域外に位置する画素の欠落フラグ L Fをセッ ト し、 有効画素領域外に位置する画 素の欠落フラグ L Fをリセッ ト して、 欠落フラグ L Fを欠落フラグ夕ップ S L F T 3として空間クラス生成回路 1 0 5に供給する。 夕ヅブ構築回路 1 0 2— 4は、 動きクラス生成回路 1 03から供給された動きクラスコ一ド MC C及び静動フラ グ SMF、 並びに欠落フラグ L Fを基に、 有効画素領域内の欠落していない空間 クラスタップ TD 3を選択して、 選択した空間クラス夕ヅプ TD 3を空間クラス 生成回路 1 05に供給する。 空間クラス生成回路 1 0 5は、 タツプ構築回路 1 0 2— 4から供給された欠落フラグ夕ップ S LF T 3、 及び空間クラスタヅプ TD 3を基に、 画素値パターンに対応する空間クラスコード S C Cを生成して、 クラ ス合成回路 1 0 7に出力する。

タップ構築回路 1 02— 5は、 有効画素領域算出回路 1 1から供給された、 有 効画素領域垂直フラグ V F及び有効画素領域水平フラグ H Fを基に、 欠落フラグ L Fを選択して、 選択された欠落フラグ L Fを欠落フラグ夕ップ S L F T4とし て欠落クラス生成回路 1 0 6に供給する。 欠落クラス生成回路 1 0 6は、 タッブ 構築回路 1 02— 5から供給された欠落フラグタヅプ S L F T 4を基に、 欠落ク ラスコード L C Cを生成して、 クラス合成回路 1 07に出力する。

クラス合成回路 1 07は、 有効画素領域算出回路 1 1から供給された、 有効画 素領域垂直フラグ V F及び有効画素領域水平フラグ H Fを基に、 動きクラスコ一 ド MC C、 静動フラグ SMF、 DRクラスコ一ド DR C C、 空間クラスコード S C C、 及び欠落クラスコード L C Cを、 最終的な 1つのクラスコード C Cに統合 して、 クラスコ一ド C Cを係数保持クラスコ一ド選択回路 1 09に出力する。 係数保持クラスコード選択回路 1 09は、 有効画素領域算出回路 1 1から供給 された、 有効画素領域垂直フラグ VF及び有効画素領域水平フラグ HF、 ィニシ ャライズ回路 1 1 1から供給された係数セッ ト及び予測構造、 並びにクラス合成 回路 1 0 7から供給されたクラスコード C Cを基に、 予測タップ選択信号 VTを 生成して、 生成した予測夕ップ選択信号 VTを可変タップ選択回路 1 0 8に供給 するとともに、 クラスコ一ド C Cを基に係数セッ トから選択された予測係数 Wを 推定予測演算回路 1 1 0に出力する。 イニシャライズ回路 1 1 1から供給される 係数セッ トは、 クラスコード C Cにより分類されるクラスに対応して、 予め生成 され、 イニシャライズ回路 1 1 1に記憶されている。

可変夕ッブ選択回路 1 0 8は、 タツプ構築回路 1 0 2— 2から供給された全ク ラス予測夕ッブ V E T、 及び係数保持クラスコード選択回路 1 0 9から供給され た予測タップ選択信号 V Τを基に、 予測タップ Ε Τを選択して、 選択した予測夕 ップ Ε Τを推定予測演算回路 1 1 0に供給する。 例えば、 可変タップ選択回路 1 0 8は、 全クラス予測タヅブ V E Τに含まれるタヅプから、 予測タップ選択信号 V Tにより指定される夕ッブを選択して、 選択されたタップを予測タップ Ε丁と する。

推定予測演算回路 1 1 0の積和器 1 2 1は、 可変夕ップ選択回路 1 0 8から供 給された予測夕ッブ Ε Τ、 及び係数保持クラスコ一ド選択回路 1 0 9から供給さ れた予測係数 Wを基に、 線形推定式を用いて、 欠落画素の画素値を算出する。 なお、 推定予測演算回路 1 1 0の積和器 1 2 1は、 予測係数 Wを基に、 非線形 推定式を用いて、 欠落画素の画素値を算出するようにしてもよい。

推定予測演算回路 1 1 0のフィルタ 1 2 2は、 可変夕ップ選択回路 1 0 8から 供給された予測夕ップ Ε から、 欠落画素の画素値を算出する。

推定予測演算回路 1 1 0は、 イニシャライズ回路 1 1 1から設定された出力モ —ドを基に、 フィル夕 1 2 2の出力又は積和器 1 2 1の出力を選択して出力し、 出力モードに応じた結果を求める。

このように、 欠落画素創造回路 1 2は、 有効画素領域垂直フラグ V F及び有効 画素領域水平フラグ H Fを基に、 有効画素領域内の画素から、 ダイナミ ックレン ジ、 動き、 欠落、 及び画素値パターンなどによるクラス分類をし、 欠落画素の周 辺の画素値 （有効画素領域外の画素の画素値を含まない） を基に、 欠落画素値を 算出する。

また、 欠落画素創造回路 1 2は、 例えば、 推定予測演算回路 1 1 0の出力モ一 ドを切り換えて、 全ての画素に上記の処理を実行して、 入力された画像の画質を アップさせる （例えば、 階調の増加 （Υデータ、 Uデータ、 及び Vデータのビッ ト数の増加） 、 ノイズの除去、 量子化歪みの除去 （時間方向の歪みの除去を含 む） 、 4倍密度の解像度の創造など） ことができる。

更に、 創造の対象となる欠落画素が、 画像の端部に位置し、 予め決められた数 以上のタップが欠落していると判定された場合、 図 2 0に示すように、 欠落画素 創造回路 1 2は、 クラス分類適応処理に代えて、 隣接する画素の画素値を基に、 線形補間処理を行って、 欠落画素の画素値を補間するようにしてもよい。

また、 図 2 1に示すように、 欠落画素創造回路 1 2は、 創造の対象となる欠落 画素が画像の端部に位置し、 隣接する画素の全てが欠落しているときなどに、 予 め定めた目立ちにくい色に相当する値 （例えば、 灰色などに相当する） を欠落画 素の画素値として設定するようにしてもよいし、 過去のフレームの同じ位置の画 素値を設定してもよい。

図 2 2は、 図 2 0又は図 2 1に示す処理を実行する、 欠落画素創造回路 1 2の 他の構成を示すブロック図である。 欠落画素創造回路 1 2に入力されたデ一夕で ある画素値及び画素の欠落を示す欠落フラグ L Fは、 前処理回路 20 1及びタツ ブ構築回路 2 0 2— 1に供給される。

前処理回路 2 0 1は、 前処理回路 1 0 1と同様の処理を実行し、 入力された画 素値及び画素の欠落を示す欠落フラグ L Fを基に、 欠落している画素の値を線形 補間フィル夕で生成し、 欠落している画素にその値を設定し、 タップ構築回路 2 02— 2乃至 2 02— 5に供給する。

タヅプ構築回路 2 02— 1は、 選択した画素の欠落フラグ L Fを欠落フラグ夕 ヅブ S L F T 1 として、 動きクラス生成回路 2 0 3に供給する。 タップ構築回路 2 02— 1は、 有効画素領域内の欠落していない画素からなる、 動きクラス夕ッ ブ TD 1を選択して、 選択した動きクラスタップ T D 1を動きクラス生成回路 2 03に供給する。

動きクラス生成回路 2 03は、 イニシャライズ回路 2 1 1から供給されたパラ メータ、 並びに夕ヅプ構築回路 2 0 2 - 1から供給された欠落フラグ L F及び選 択された動きクラス夕ップ TD 1を基に、 動きクラスコード MC C及び静動フラ グ SMFを生成し、 夕ッブ構築回路 2 0 2— 2乃至 2 0 2— 5及びクラス合成回 路 2 07に出力する。 動きクラスコード MCCは、 動きの量を示す 2ビッ トの情 報を有し、 静動フラグ SMFは、 動きの有り無しを 1 ビッ トで示す。 例えば、 動 きクラスコード MC Cが 0又は 1のとき、 静動フラグ SMFは、 0に設定され、 動きクラスコード MC Cが 2又は 3のとき、 静動フラグ SMFは、 1に設定され る。

タップ構築回路 2 0 2— 2は、 動きクラス生成回路 1 0 3から供給された動き クラスコード MC C及び静動フラグ SMF、 並びに欠落フラグ L Fを基に、 全て のクラス構造を網羅した全クラス予測夕ップ VE T (有効画素領域外の画素を含 まない） を選択して、 可変タップ選択回路 2 08に供給する。

タップ構築回路 2 0 2— 3は、 選択した欠落フラグ L Fを欠落フラグタップ S L F T 2として DRクラス生成回路 2 04に供給する。 タヅプ構築回路 202 - 3は、 動きクラス生成回路 2 03から供給された動きクラスコード MC C及び静 動フラグ SMF、 並びに欠落フラグ L Fを基に、 有効画素領域内の欠落していな い DRクラス夕ヅブ TD 2を選択して、 選択した DRクラスタヅブ TD 2を DR クラス生成回路 2 04に供給する。 D Rクラス生成回路 2 04は、 タップ構築回 路 2 02— 3から供給された欠落フラグタップ S L F T 2、 及び D Rクラスタ ヅ プ T D 2を基に、 欠落していない画素の最大の画素値と最小の画素値との差であ るダイナミ ヅクレンジに応じて決定される DRクラスコード DR C Cを生成して、 クラス合成回路 2 07に出力する。

タップ構築回路 2 02— 4は、 選択した欠落フラグ L Fを欠落フラグタヅプ S LF T 3として空間クラス生成回路 2 0 5に供給する。 夕ッブ構築回路 202 - 4は、 動きクラス生成回路 203から供給された動きクラスコ一 MC C及び静 動フラグ SMF、 並びに欠落フラグ L Fを基に、 有効画素領域内の欠落していな い空間クラス夕 ヅブ T D 3を選択して、 選択した空間クラスタ ヅブ T D 3を空間 クラス生成回路 2 0 5に供給する。 空間クラス生成回路 2 0 5は、 夕ップ構築回 路 2 02— 4から供給された欠落フラグタッブ S L F T 3、 及び空間クラス夕ヅ プ TD 3を基に、 画素値パターンに対応する空間クラスコード S C Cを生成して、 クラス合成回路 2 07に出力する。

タップ構築回路 2 02— 5は、 欠落フラグ L Fを選択して、 選択された欠落フ ラグ L Fを欠落フラグ夕ヅブ S LF T 4として欠落クラス生成回路 2 0 6に供給 する。 欠落クラス生成回路 20 6は、 夕ップ構築回路 2 02 - 5から供給された 欠落フラグタヅブ S L F T 4を基に、 欠落クラスコード L C Cを生成して、 クラ ス合成回路 20 7に出力する。 クラス合成回路 2 0 7は、 動きクラスコード M C C、 静動フラグ S M F、 D R クラスコード D R C C、 空間クラスコード S C C、 及び欠落クラスコード L C C を、 最終的な 1つのクラスコード C Cに統合して、 クラスコード C Cを係数保持 クラスコ一ド選択回路 2 0 9に出力する。

係数保持クラスコ一ド選択回路 2 0 9は、 イニシャライズ回路 2 1 1から供給 された、 予め学習した係数セッ ト及び予測構造、 並びにクラス合成回路 2 0 7か ら供給されたクラスコード C Cを基に、 予測タップ選択信号 V Tを生成して、 生 成した予測タッブ選択信号 V Tを可変夕ップ選択回路 2 0 8に供給するとともに、 係数セッ トからクラスコード C Cを基に選択された予測係数 Wを推定予測演算回 路 2 1 0に出力する。

可変タッブ選択回路 2 0 8は、 タップ構築回路 2 0 2 - 2から供給された全ク ラス予測タッブ V E T、 及び係数保持クラスコ一ド選択回路 2 0 9から供給され た予測タップ選択信号 V Tを基に、 予測タップ Ε Τを選択して、 選択した予測夕 ップ Ε Τを推定予測演算回路 2 1 0に供給する。

推定予測演算回路 2 1 0は、 イニシャライズ回路 2 1 1から設定された出力モ —ドを基に、 可変タヅブ選択回路 2 0 8から供給された予測夕ヅプ Ε Τ、 及び係 数保持クラスコード選択回路 2 0 9から供給された予測係数 Wを基に、 線形推定 式を用いて、 欠落画素の画素値を算出して、 選択回路 2 1 4に出力する。

推定予測演算回路 2 1 0は、 図 8の積和器 1 2 1に相当する。

置換回路 2 1 2は、 画素の欠落を示す欠落フラグ L Fを基に、 予め定めた目立 ちにくい色に相当する値 （例えば、 灰色などに相当する） を欠落画素の画素値と して設定し、 選択回路 2 1 4に供給する。

線形補間回路 2 1 3は、 前処理回路 2 0 1 と同様の処理を実行し、 入力された 画素値及び画素の欠落を示す欠落フラグ L Fを基に、 欠落している画素の値を線 形補間フィルタで生成し、 欠落している画素にその値を設定し、 選択回路 2 1 4 に供給する。

置換回路 2 1 2及び線形補間回路 2 1 3は、 図 8のフィルタ 1 2 2に相当する。 選択回路 2 1 4は、 有効画素領域算出回路 1 1から供給された、 有効画素領域 垂直フラグ V F及び有効画素領域水平フラグ H Fを基に、 推定予測演算回路 2 1 ◦、 置換回路 2 1 2、 又は線形補間回路 2 1 3のいずれかの出力を選択して、 欠 落画素創造回路 1 2の出力として出力する。

このように、 欠落画素創造回路 1 2は、 ダイナミックレンジ、 動き、 欠落、 及 び画素値の変化などによるクラス分類適応処理により、 欠落画素の周辺の画素の 画素値を基に、 欠落画素値を算出するとともに、 有効画素領域の端部に位置する 欠落画素を補間又は置換して出力することができる。

なお、 創造の対象となる欠落画素の画像の端部に対する位置により、 欠落画素 創造回路 1 2は、 図 6及び図 7並びに図 1 8乃至図 2 1を参照して説明した処理 を適宜切り換えるようにしてもよい。

また、 クラスタップは、 欠落している画素を含まないとして説明したが、 クラ スタヅブに、 前処理回路 1 0 1により生成された画素値を含めて、 クラス分類の 処理は、 前処理回路 1 0 1により生成された画素値を使用するようにしてもよい _c 以上のように、 本発明に係る画像処理装置は、 画素の画面上の位置にかかわら ず、 常に、 より高質な画像を生成することができるようになり、 例えば、 欠落画 素の画面上の位置にかかわらず、 欠落画素をより誤差が少なく創造できるように なる。

次に、 図 2の例で示される例の欠落画素創造を行う画像処理モード、 色収差を 考慮した画像処理モード、 テロッブ位置を考慮した画像処理モードの何れか 1つ 又は複数を選択的に行う画像処理装置に利用される係数セッ トを予め生成するた めの画像処理装置について説明する。

図 2 3は、 係数セッ トを予め生成するための画像処理装置の一実施の形態の構 成を示す図である。

画像処理装置に入力された画像は、 ダウンフィル夕 3 0 3及び正規方程式演算 回路 3 1 0に供給される。

表示位置算出回路 3 0 1は、 画像の各画素の画面中央からの距離を算出して、 画像の各画素の画面中央からの距離を示す位置情報をタップ構築回路 3 0 4— 1 乃至 3 0 4— Nに供給する。

なお、 表示位置算出回路 3 0 1は、 画像の各画素の画面中央からの距離を示す 位置情報を構造切換制御回路 3 0 2に供給するようにしてもよい。 イニシャライズ回路 3 1 2は、 構造切換制御回路 30 2に、 画像端情報、 収差 情報、 処理モード及びテロップ位置情報を供給する。

構造切換制御回路 3 0 2は、 処理モードが欠落画素創造を示す時に、 画像端情 報に応じたタツブ選択信号 T S 1、 タツプ選択信号 T S 2、 及びタツプ選択信号 T S 3— 1乃至 T S 3 - (N- 2 ) のそれそれを、 タップ構築回路 3 04— 1乃 至 304— Nのそれそれに供給し、 処理モードが収差モードを示す時に、 収差情 報に応じた夕ップ選択信号 T S 1、 タツプ選択信号 T S 2、 及びタツプ選択信号 T S 3— 1乃至 T S 3— (N- 2 ) のそれそれを、 夕ヅブ構築回路 3 04— 1乃 至 304— Nのそれそれに供給し、 処理モードがテロップモードを示す時に、 テ ロ ヅ プ位置情報に応じたタップ選択信号 T S 1、 タップ選択信号 T S 2、 及び夕 ヅ プ選択信号 T S 3— 1乃至 T S 3— (N- 2 ) のそれそれを、 タップ構築回路 304— 1乃至 3 04— Nのそれぞれに供給する。

また、 構造切換制御回路 30 2は、 上記 3つの処理モードのうちの複数の処理 モ一ドを選択するようにしてもよい。

以下、 収差モードを例に説明する。

例えば、 タップ選択信号 T S 1、 タップ選択信号 T S 2、 及びタップ選択信号 丁 33— 1乃至丁 33— (N— 2 ) のそれぞれは、 赤色に対応する信号、 緑色に 対応する信号、 及び青色に対応する信号、 すなわち、 RGBに対応する信号から 構成されている。

また、 構造切換制御回路 302は、 表示位置算出回路 30 1から供給された各 画素の画面上の物理アドレスから、 各画素の画面中央からの距離を算出し、 算出 された画面中央からの距離、 及びイニシャライズ回路 3 1 2から入力された収差 情報を基に、 赤色に対応するクラスコード、 緑色に対応するクラスコード、 及び 青色に対応するクラスコードから成る収差クラスコード C C Aを生成する。 構造 切換制御回路 302は、 生成した収差クラスコ一ド C C Aをクラス合成回路 30 7に供給する。

構造切換制御回路 3 0 2は、 各画素の画面上の物理ァドレスと画面中央からの 距離との関係を予め記憶し、 予め記憶している関係、 及び表示位置算出回路 30 1から供給された各画素の画面上の物理ァドレスを基に、 各画素の画面中央から の距離を求めるようにしてもよい。

又は、 構造切換制御回路 3 0 2は、 イニシャライズ回路 3 1 2から入力された 収差情報、 及び表示位置算出回路 3 0 1から供給された画面中央からの距離を基 に、 赤色に対応するクラスコード、 緑色に対応するクラスコード、 及び青色に対 応するクラスコ一ドから成る収差クラスコ一ド C C Aを生成して、 生成した収差 クラスコード C C Aをクラス合成回路 3 0 7に供給するようにしてもよい。

例えば、 構造切換制御回路 3 0 2は、 収差量を量子化して収差クラスコード C C Aを生成する。

ここで、 色収差について説明する。

例えば、 図 2 4に示すように、 レンズの光軸に対して、 斜めに白色光が入力さ れたとき、 白色光に含まれる青色光の像は、 黄色光の像に対して光軸に近い位置 に結像し、 白色光に含まれる黄色光の像は、 青色光の像より光軸から遠い位置で あって、 赤色光の像より光軸から近い位置に結像し、 白色光に含まれる赤色光の 像は、 黄色光の像より光軸に遠い位置に結像する。 このような、 青色光の像、 黄 色光の像、 及び赤色光の像の結像位置のずれを色収差と称する。 色収差が大きい とは、 青色光の像、 黄色光の像、 及び赤色光の像の結像位置の距離が長いことを いう。

色収差の大きさは、 画像の位置と画面の中央との距離に対応して増加するので、 図 2 5 ( A ) に示すように、 画面の中央を中心とする円の円周上の画素に含まれ る色収差の大きさは同一となる。

これを、 画面の中央からの距離と色収差の大きさとの関係をグラフで表すと、 図 2 5 ( B ) のようになる。 すなわち、 色収差は、 画面の中央からの距離に対し て、 非線形に増加する。

ダウンフィル夕 3 0 3は、 入力された画像に収差に対応する処理、 又はジッタ 付加若しくはノィズ付加などの処理を適用して、 収差に対応する画素値を有する か、 又はジッ夕が付加されたか、 若しくはノイズが付加された画像を、 タップ構 築回路 3 0 4— 1乃至 3 0 4— Nに供給する。

タップ構築回路 3 0 4— 1は、 表示位置算出回路 3 0 1から供給された位置情 報、 及び構造切換制御回路 3 0 2から供給されたタップ選択信号 T S 1に基づい て、 赤色、 緑色、 及び青色毎にタップ構造を切り換えて、 ダウンフィル夕 3 0 3 から供給された画像に含まれる画素を、 赤色、 緑色、 及び青色のそれそれに対応 する動きクラス夕ヅプ T D 1 として選択し、 選択した動きクラスタヅプ T D 1 を 動きクラス生成回路 3 0 5に供給する。 夕ッブ構築回路 3 0 4— 1が出力する動 きクラスタップ T D 1は、 赤色に対応するタップ、 緑色に対応するタップ、 及び 青色に対応するタッブから構成される。

図 2 6は、 タップ構築回路 3 0 4— 1 における、 赤色、 緑色、 又は青色毎の夕 、ソプ構造を説明する図である。 例えば、 緑色に対応するタップは、 図 2 6 ( A ) に示すように、 注目画素を中心とするタップにより構成される。

構造切換制御回路 3 0 2は、 イニシャライズ回路 3 1 2から入力された収差情 報を基に、 例えば、 図 2 6 ( B ) に示すように、 緑色を基準とした、 赤色及び青 色についての補正べク トルを生成し、 生成した補正べク トルを含む夕ッブ選択信 号 T S 1 をタツプ構築回路 3 0 4 - 1 に供給する。

例えば、 夕ッブ構築回路 3 0 4— 1は、 表示位置算出回路 3 0 1から供給され た各画素の画面中央からの距離を示す位置情報、 及び夕ッブ選択信号 T S 1に含 まれる赤色についての補正ベク トルを基に、 注目画素を基準として、 赤色につい ての補正注目画素を選択し、 図 2 6 ( C ) に示すように、 補正注目画素を中心と した赤色に対応するタップを構成する。 同様に、 夕ッブ構築回路 3 0 4— 1は、 表示位置算出回路 3 0 1から供給された各画素の画面中央からの距離を示す位置 情報、 及び夕ップ選択信号 T S 1 に含まれる青色についての補正べク トルを基に、 注目画素を基準として、 青色についての補正注目画素を選択し、 補正注目画素を 中心とした青色に対応するタップを構成する。

なお、 注目画素を基準とした、 赤色についての補正ベク トル、 緑色についての 補正べク トル、 及び青色についての補正べク トルを含むように夕ップ選択信号 T S 1 を構成し、 夕ップ構築回路 3 0 4— 1は、 表示位置算出回路 3 0 1から供給 された各画素の画面中央からの距離を示す位置情報、 及びタップ選択信号 T S 1 に含まれる赤色についての補正べク トルを基に、 赤色に対応する補正注目画素を 中心とした赤色に対応するタップを構成し、 表示位置算出回路 3 0 1から供給さ れた各画素の画面中央からの距離を示す位置情報、 及びタップ選択信号 T S 1 に 含まれる緑色についての補正べク トルを基に、 緑色に対応する補正注目画素を中 心とした緑色に対応するタップを構成し、 表示位置算出回路 3 0 1 から供給され た各画素の画面中央からの距離を示す位置情報、 及び夕ッブ選択信号 T S 1 に含 まれる青色についての補正べク トルを基に、 青色に対応する補正注目画素を中心 とした青色に対応するタッブを構成するようにしてもよい。

動きクラス生成回路 3 0 5は、 パラメータ設定回路 3 1 2から供給されたパラ メータ、 並びに夕ッブ構築回路 3 0 4 - 1から供給された動きクラスタヅブ T D 1 を基に、 赤色に対応する動きクラスコード、 緑色に対応する動きクラスコード、 及び青色に対応する動きクラスコードから成る動きクラスコード M C C、 及び赤 色に対応する静動フラグ、 緑色に対応する静動フラグ、 及び青色に対応する静動 フラグから成る静動フラグ S M Fを生成し、 夕ヅプ構築回路 3 0 4— 2乃至 3 0 4一 N及びクラス合成回路 3 0 7に出力する。

タッブ構築回路 3 0 4— 2は、 動きクラス生成回路 3 0 5から供給された赤色、 緑色、 及び青色ごとの動きクラスコード M C C並びに静動フラグ S M F、 表示位 置算出回路 3 0 1から供給された各画素の画面中央からの距離を示す位置情報、 並びに構造切換制御回路 3 0 2から供給されたタップ選択信号 T S 2に基づいて、 赤色、 緑色、 及び青色毎にタップ構造を切り換えて、 赤色に対応するタップ、 緑 色に対応するタ、リブ、 及び青色に対応する夕ッブから成る全クラス予測タップ V E Tを選択して、 可変タップ選択回路 3 0 8に供給する。

夕ップ構築回路 3 0 4一 3は、 動きクラス生成回路 3 0 5から供給された赤色、 緑色、 及び青色ごとの動きクラスコード M C C並びに赤色、 緑色、 及び青色ごと の静動フラグ S M F、 表示位置算出回路 3 0 1から供給された各画素の画面中央 からの距離を示す位置情報、 並びに構造切換制御回路 3 0 2から供給された赤色、 緑色、 及び青色ごとのタップ選択信号 T S 3— 1に基づいて、 赤色、 緑色、 及び 青色毎にタップ構造を切り換えて、 赤色に対応するタップ、 緑色に対応するタツ プ、 及び青色に対応するタップから成るクラスタヅブ T D 2— 1 を選択して、 選 択したクラスタップ T D 2— 1 をクラス生成回路 3 0 6 - 1に供給する。

クラス生成回路 3 0 6— 1は、 夕ッブ構築回路 3 0 4 - 3から供給されたクラ スタップ T D 2— 1 を基に、 赤色に対応するクラスコード、 緑色に対応するクラ スコード、 及び青色に対応するクラスコードから成るクラスコード C C 1を生成 して、 生成したクラスコード C C 1をクラス合成回路 3 07に出力する。 クラス コード C C 1は、 例えば、 クラスタップ T D 2— 1に含まれる画素の最大の画素 値と最小の画素値との差に対応するクラスコ一ドとすることができる。

タップ構築回路 304— 4乃至 3 04— Nは、 動きクラス生成回路 3 0 5から 供給された動きクラスコード MC C及び静動フラグ SMF、 表示位置算出回路 3 0 1から供給された各画素の画面中央からの距離を示す位置情報、 並びに構造切 換制御回路 30 2から供給された夕ヅプ選択信号 T S 3— 2乃至 T S 3— （N— 2 ) に基づいて、 それそれ、 赤色に対応するタップ、 緑色に対応するタップ、 及 び青色に対応するタップから成るクラス夕ヅプ T D 2— 2乃至 TD 2— （N— 2 ) を選択して、 選択したクラスタップ TD 2— 2乃至 TD 2— (N— 2) をク ラス生成回路 30 6— 2乃至 30 6— (N- 2 ) のそれそれに供給する。

クラス生成回路 30 6— 2乃至 3 0 6— (N— 2 ) は、 タツプ構築回路 304 一 4乃至 304— Nから供給されたクラスタヅプ T D 2— 2乃至 T D 2— （N— 2) のいずれかを基に、 赤色に対応するクラスコード、 緑色に対応するクラスコ ―ド、 及び青色に対応するクラスコ一ドから成るクラスコード C C 2乃至 C C (N— 2) のいずれか一つを生成して、 生成したクラスコード C C 2乃至 C C (N- 2 ) をクラス合成回路 307に出力する。 クラスコード C C 2乃至 C C (N— 2 ) のいずれかは、 例えば、 画素値パターンに対応するクラスコードとす ることができる。

クラス合成回路 307は、 動きクラスコード MC Cに含まれる赤色に対応する クラスコ一ド及び静動フラグ S MFに含まれる赤色に対応する静動フラグを基に、 収差クラスコ一ド C C Aに含まれる赤色に対応するクラスコード及びクラスコ一 ド C C 1乃至 C C (N- 2 ) に含まれる赤色に対応するクラスコードを、 最終的 な 1つのクラスコード T C Cの赤色に対応するクラスコ一ドに統合する。

クラス合成回路 30 7は、 動きクラスコード MC Cに含まれる緑色に対応する クラスコード及び静動フラグ SMFに含まれる緑色に対応する静動フラグを基に、 収差クラスコード C C Aに含まれる緑色に対応するクラスコ一ド及びクラスコ一 ド C C 1乃至 C C (N- 2 ) に含まれる緑色に対応するクラスコードを、 最終的 な 1つのクラスコード T C Cの緑色に対応するクラスコードに統合する。

クラス合成回路 3 0 7は、 動きクラスコード M C Cに含まれる青色に対応する クラスコ一ド及び静動フラグ S M Fに含まれる青色に対応する静動フラグを基に、 収差クラスコード C C Aに含まれる青色に対応するクラスコ一ド及びクラスコ一 ド C C 1乃至 C C ( N - 2 ) に含まれる青色に対応するクラスコードを、 最終的 な 1つのクラスコード T C Cの青色に対応するクラスコ一ドに統合する。

クラス合成回路 3 0 7は、 赤色に対応するクラスコード、 緑色に対応するクラ スコード、 及び青色に対応するクラスコ一ドから成るクラスコード T C Cをクラ スコ一ド選択回路 3 0 9に出力する。

クラスコード選択回路 3 0 9は、 クラス合成回路 3 0 7から供給されたクラス コード T C Cを基に、 赤色に対応するタップ、 緑色に対応するタップ、 及び青色 に対応する夕ヅプから成る予測夕ップ選択信号 V Tを生成して、 生成した予測夕 ップ選択信号 V Tを可変タップ選択回路 3 0 8に供給するとともに、 クラスコ一 F T C Cを正規方程式演算回路 3 1 0に出力する。

可変タップ選択回路 3 0 8は、 夕ップ構築回路 3 0 4 - 2から供給された全ク ラス予測夕ヅブ V E T、 及びクラスコ一ド選択回路 3 0 9から供給された予測夕 ッブ選択信号 V Tを基に、 赤色に対応するタップ、 緑色に対応するタ ブ、 及び 青色に対応する夕ップから成る予測タップ Ε Τを選択して、 選択した予測夕ップ Ε Τを正規方程式演算回路 3 1 0に供給する。

正規方程式演算回路 3 1 0は、 可変夕ッブ選択回路 3 0 8から供給された学習 データである予測夕ップ Ε Τ、 及びダウンフィルタ 3 0 3から供給された教師デ 一夕である入力画像を受信すると、 それらを用いて、 最小自乗法により、 誤差を 最小する予測係数 Wを算出する。 予測係数 Wは、 赤色に対応する予測係数、 緑色 に対応する予測係数、 及び青色に対応する予測係数から成る。

ここで、 正規方程式演算回路 3 1 0が算出する予測係数 Wについて簡単に説明 する。

例えば、 いま、 元の画像 （入力された画像に相当する （以下、 適宜、 教師デ一 夕と称する） ） の画素値 yの予測値 E [ y ] を、 ダウンフィル夕 3 0 3を通過す ることによって、 ノイズが付加されるか、 収差に対応する画素値を有する画像の 画素値 （以下、 適宜、 学習データと称する） X !， X 2 , · · · と、 所定の予測係 数 W i , W 2 , · · · の線形結合により規定される線形 1次結合モデルにより求め ることを考える。 この場合、 予測値 E [y] は、 次の式 （3) で表すことができ る。

E [y] ^; W 1 X 1 + W 2 X 2 + ( 3) そこで、 一般化するために、 予測係数 wの集合でなる行列 W、 学習データの集 合でなる行列 X、 及び予測値 E [y ] の集合でなる行列 Y， を、

ノ

で定義すると、 次のような観測方程式が成立する

XW= Υ' (4) そして、 この観測方程式に最小自乗法を適用して、 元の画像の画素値 yに近い 予測値 E [y] を求めることを考える。 この場合、 元の画像の画素値 yの集合で なる行列 Y、 及び元の画像の画素値 yに対する予測値 E [y] の残差 eの集合で なる行列 Eを、

で定義すると、 式 （4 ) から、 次のような残差方程式が成立する。

XW=Y+E ( 5 ) この場合、 元の画像の画素値 yに近い予測値 E [y ] を求めるための予測係数 W iは、 自乗誤差

∑ e

を最小にすることで求めることができる。

従って、 上述の自乗誤差を予測係数 W i で微分したものが 0になる場合、 すな わち、 次式を満たす予測係数 W i が、 元の画像の画素値 yに近い予測値 E [y] を求めるため最適値ということになる。 d e d e d e

e + e + + e = 0 ( 1 ， 2 ， n) ( 6 ) d w d w： d w そこで、 まず、 式 （ 5 ) を、 予測係数 W i で微分することにより、 次式が成立 する。 d e i d e i d e i

= X i l , = X i ， n) ( 7 ) d w d w； 9 W n 式 （ 6 ) 及び （7) より、 式 （ 8) が得られる

∑ e i X i 0 , ∑ e ix ₁₂= 0 ∑ e i x i n = 0 (8) さらに、 式 （ 5) の残差方程式における学習データ x、 予測係数 w、 教師デ一 タ 、 及び残差 eの関係を考慮すると、 式 （8) から、 次のような正規方程式を 得ることができる。

(

(9)

式 （9 ) の正規方程式を解く ことで、 最適な予測係数 wを求めることができる。 なお、 式 （9) を解くに当たっては、 例えば、 掃き出し法 （G au s s _J o r d anの消去法） などを適用することが可能である。

すなわち、 例えば、 いま、 学習データに含まれる予測タップ E Tの画素値を、

X 1 , X 2 , X 3 , ··· とし、 求めるべき予測係数 Wを W W ₂ , W 3 , "，とすると き、 これらの線形 1次結合により、 教師データの、 ある画素の画素値 yを求める には、 予測係数 W _{l 5} W 2 , W 3 , ···は、 次式を満たす必要がある。 y = W l X l + W 2 X 2 + W 3 X 3 + そこで、 正規方程式演算回路 3 1 0では、 同一クラスの予測タップと、 対応す る教師データの画素とから、 真値 yに対する、 予測値 w!x ₁+w₂x₂ + w₃x₃ + ··· の自乗誤差を最小とする予測係数 w_l5 W 2 , W 3 , ··· が、 上述した式 （9 ) に示す正規方程式をたてて解く ことにより求められる。

より具体的には、 正規方程式演算回路 3 1 0は、 赤色に対応する同一クラスの 予測タップと、 対応する教師データの赤色の成分とから、 赤色に対応する真値 y に対する、 予測値 W i X i + W z X z + W s X s + の自乗誤差を最小とする、 赤色 に対応する予測係数 W W 2 , W 3 , ···を、 正規方程式をたてて解くことにより 算出する。

正規方程式演算回路 3 1 0は、 緑色に対応する同一クラスの予測タップと、 対 応する教師データの緑色の成分とから、 緑色に対応する真値 yに対する、 予測値

W l X 1 + W 2 X 2 + W 3 X 3 + "- の自乗誤差を最小とする、 緑色に対応する予測係 数 W i， W ₂， W 3 , ··· を、 正規方程式をたてて解くことにより算出する。

正規方程式演算回路 3 1 0は、 青色に対応する同一クラスの予測タップと、 対 応する教師データの青色の成分とから、 青色に対応する真値 yに対する、 予測値

W ₁ X l + W 2 X 2 + W ₃ X 3 + " - の自乗誤差を最小とする、 青色に対応する予測係 数 W _{l 5} W ₂， W 3 , ··· を、 正規方程式をたてて解くことにより算出する。

従って、 この処理をクラスごとに行うことにより、 各クラスごとに、 赤色に対 応する予測係数、 緑色に対応する予測係数、 及び青色に対応する予測係数から成 る予測係数 wが生成される。

正規方程式演算回路 3 1 0において求められた、 赤色に対応する予測係数、 緑 色に対応する予測係数、 及び青色に対応する予測係数から成る、 クラスごとの予 測係数 Wは、 クラスコード T C Cとともに、 係数メモリ 3 1 1に供給される。 こ れにより、 係数メモリ 3 1 1においては、 正規方程式演算回路 3 1 0からの予測 係数 Wが、 クラスコード T C Cが示すクラスに対応するァドレスに記憶される。 このように、 図 2 3に構成を示す画像処理装置は、 欠落画素創造を行う画像処 理モード、 色収差を考慮した画像処理モード、 テロップ位置を考慮した画像処理 モードの何れか 1つ又は複数を選択的に行う画像処理装置に利用される係数セッ トを生成することができる。 なお、 図 2 3に構成を示す画像処理装置は、 収差のあるレンズを介して、 撮像 された画像、 及び収差のほとんどないレンズを介して、 撮像された同じ画像を取 得し、 収差のあるレンズを介して、 撮像された画像を学習データとし、 収差のほ とんどないレンズを介して、 撮像された同じ画像を教師データとして、 色収差を 考慮した画像処理モ一ドで画像処理を実行する画像処理装置に利用される係数セ ッ トを生成するようにしてもよい。

図 2 7は、 図 2 3に構成を示す画像処理装置が生成した係数セッ トを利用する、 欠落画素創造を行う画像処理モード、 色収差を考慮した画像処理モード、 テロッ ブ位置を考慮した画像処理モ一ドの何れか 1つ又は複数を選択的に行う、 本発明 に係る画像処理装置の一実施の形態の構成を示す図である。

表示位置算出回路 4 0 1は、 入力された画像の各画素の画面中央からの距離を 算出して、 各画素の画面中央からの距離を示す位置情報をタッブ構築回路 4 0 3 一 1乃至 4 0 3—Nに供給する。

なお、 表示位置算出回路 4 0 1は、 画像の各画素の画面中央からの距離を示す 位置情報を構造切換制御回路 4 0 2に供給するようにしてもよい。

イニシャライズ回路 4 1 0は、 構造切換制御回路 4 0 2に、 画像端情報、 収差 情報、 処理モード及びテロップ位置情報を供給する。

構造切換制御回路 4 0 2は、 処理モードが欠落画素創造を示す時に、 画像端情 報に応じたタップ選択信号 T S 1、 タップ選択信号 T S 2、 及びタップ選択信号 T S 3— 1乃至 T S 3— ( N - 2 ) のそれそれを、 夕ヅプ構築回路 4 0 3 _ 1乃 至 4 0 3— Nのそれぞれに供給し、 処理モードが収差モードを示す時に、 収差情 報に応じたタップ選択信号 T S 1、 夕ッブ選択信号 T S 2、 及びタップ選択信号 T S 3— 1乃至 T S 3— （N— 2 ) のそれそれを、 夕ヅプ構築回路 4 0 3— 1乃 至 4 0 3— Nのそれそれに供給し、 処理モードがテロップモードを示す時に、 テ ロップ位置情報に応じたタップ選択信号 T S 1、 タップ選択信号 T S 2、 及びタ ップ選択信号 T S 3— 1乃至 T S 3— ( N - 2 ) のそれそれを、 タップ構築回路 4 0 3— 1乃至 4 0 3— Nのそれそれに供給する。

また、 構造切換制御回路 4 0 2は、 上記 3つの処理モードのうちの複数の処理 モードを選択するようにしてもよい。 以下、 収差モードを例に説明する。

例えば、 収差モー ドのとき、 タップ選択信号 T S 1、 タップ選択信号 T S 2、 及びタップ選択信号 T S 3— 1乃至 T S 3— (N- 2 ) のそれそれは、 赤色に対 応する信号、 緑色に対応する信号、 及び青色に対応する信号、 すなわち、 RGB に対応する信号から構成されている。

また、 構造切換制御回路 40 2は、 イニシャライズ回路 4 1 0から入力された 収差情報を基に、 赤色に対応するクラスコード、 緑色に対応するクラスコード、 及び青色に対応するクラスコ一ドから成る収差クラスコード C C Aを生成して、 生成した収差クラスコード C CAをクラス合成回路 40 7に供給する。

夕ップ構築回路 403— 1は、 表示位置算出回路 40 1から供給された位置情 報、 及び構造切換制御回路 402から供給された夕ップ選択信号 T S 1に基づい て、 赤色、 緑色、 及び青色毎にタップ構造を切り換えて、 前処理回路 403から 供給された画像に含まれる画素を、 赤色、 緑色、 及び青色のそれそれに対応する 動きクラスタップ TD 1として選択し、 選択した動きクラスタップ TD 1を動き クラス生成回路 40 に供給する。 夕ップ構築回路 403— 1が出力する動きク ラス夕ヅブ TD 1は、 赤色に対応するタップ、 緑色に対応するタップ、 及び青色 に対応する夕ッブから構成される。

動きクラス生成回路 404は、 イニシャライズ回路 4 1 1から供給されたパラ メ一夕、 並びに夕ヅブ構築回路 403 - 1から供給された動きクラスタヅブ TD 1を基に、 赤色に対応する動きクラスコード、 緑色に対応する動きクラスコード、 及び青色に対応する動きクラスコ一ドから成る動きクラスコード MC C、 並びに 赤色に対応する静動フラグ、 緑色に対応する静動フラグ、 及び青色に対応する静 動フラグから成る静動フラグ SMFを生成し、 動きクラスコード MC C及び静動 フラグ SMFをタヅブ構築回路 403— 2乃至 4 0 3— N及びクラス合成回路 4 07に出力する。

タップ構築回路 4◦ 3— 2は、 動きクラス生成回路 404から供給された赤色、 緑色、 及び青色ごとの動きクラスコード MC C及び静動フラグ SMF、 構造切換 制御回路 402から供給されたタップ選択信号 T S 2に基づいて、 赤色、 緑色、 及び青色毎にタップ構造を切り換えて、 赤色に対応するタップ、 緑色に対応する 夕ップ、 及び青色に対応する夕ヅ プから成る全クラス予測夕ップ VE Tを選択し て、 全クラス予測タップ VE Tを可変タッブ選択回路 407に供給する。

夕ップ構築回路 403— 3は、 動きクラス生成回路 404から供給された赤色、 緑色、 及び青色ごとの動きクラスコード MC C、 赤色、 緑色、 及び青色ごとの静 動フラグ SMF、 並びに構造切換制御回路 40 2から供給された赤色、 緑色、 及 び青色ごとのタップ選択信号 T S 3— 1に基づいて、 赤色、 緑色、 及び青色毎に タップ構造を切り換えて、 赤色に対応するタップ、 緑色に対応するタップ、 及び 青色に対応する夕ヅプから成るクラスタップ TD 2— 1を選択して、 選択したク ラスタップ TD 2— 1をクラス生成回路 405 - 1に供給する。

クラス生成回路 40 5— 1は、 夕ヅ ブ構築回路 403 - 3から供給されたクラ スタップ T D 2— 1を基に、 赤色に対応するクラスコード、 緑色に対応するクラ スコード、 及び青色に対応するクラスコ一ドから成るクラスコード C C 1を生成 して、 生成したクラスコード C C 1をクラス合成回路 40 6に出力する。 クラス コード C C 1は、 クラス夕ッブ T D 2— 1に含まれる画素の最大の画素値と最小 の画素値との差に対応するコ一ドとすることができる。

タヅプ構築回路 403— 4乃至 40 3— Nのそれそれは、 動きクラス生成回路 404から供給された動きクラスコ一ド MC C及び静動フラグ SMF、 構造切換 制御回路 402から供給された夕ップ選択信号 T S 3— 2乃至 T S 3— (N- 2 ) のいずれかに基づいて、 それそれ、 赤色に対応するタップ、 緑色に対応する 夕ヅブ、 及び青色に対応する夕ヅ プから成るクラス夕ヅプ TD 2— 2乃至 TD 2 - (N— 2) のいずれか 1つを選択して、 選択したクラス夕ヅブ T D 2— 2乃至 T D 2 - (N- 2 ) のいずれかをクラス生成回路 405— 2乃至 40 5— (N— 2 ) のそれそれに供給する。

クラス生成回路 40 5— 2乃至 40 5— (N- 2 ) のそれそれは、 夕ヅブ構築 回路 403— 4乃至 40 3一 Nのいずれかから供給されたクラスタッブ TD 2— 2乃至 TD 2— （N— 2 ) のいずれかを基に、 赤色に対応するクラスコード、 緑 色に対応するクラスコ一ド、 及び青色に対応するクラスコ一ドから成るクラスコ —ド C C 2乃至 C C (N— 2) のいずれか一つを生成して、 生成したクラスコ一 ド C C 2乃至 C C (N- 2 ) をクラス合成回路 40 6に出力する。 クラスコード C C 2は、 例えば、 画素値パターンに対応するクラスコードとすることができる, クラス合成回路 40 6は、 動きクラスコード MC Cに含まれる赤色に対応する クラスコード及び静動フラグ S M Fに含まれる赤色に対応する静動フラグを基に、 収差クラスコード C C Aに含まれる赤色に対応するクラスコ一ド及びクラスコー ド C C 1乃至 C C (N— 2) に含まれる赤色に対応するクラスコードを、 最終的 な 1つのクラスコ一ド T C Cの赤色に対応するクラスコ一ドに統合する。

クラス合成回路 40 6は、 動きクラスコード MC Cに含まれる緑色に対応する クラスコ一ド及び静動フラグ S M Fに含まれる緑色に対応する静動フラグを基に、 収差クラスコード C C Aに含まれる緑色に対応するクラスコ一ド及びクラスコ一 ド C C 1乃至 C C (N— 2 ) に含まれる緑色に対応するクラスコ一ドを、 最終的 な 1つのクラスコード T C Cの緑色に対応するクラスコ一ドに統合する。

クラス合成回路 40 6は、 動きクラスコード MC Cに含まれる青色に対応する クラスコ一ド及び静動フラグ S M Fに含まれる青色に対応する静動フラグを基に、 収差クラスコード C C Aに含まれる青色に対応するクラスコ一ド及びクラスコ一 ド C C 1乃至 C C (N- 2 ) に含まれる青色に対応するクラスコードを、 最終的 な 1つのクラスコ一ド T C Cの青色に対応するクラスコ一ドに統合する。

クラス合成回路 40 6は、 赤色に対応するクラスコード、 緑色に対応するクラ スコード、 及び青色に対応するクラスコ一ドから成るクラスコード T C Cを係数 保持クラスコード選択回路 408に出力する。

係数保持クラスコ一ド選択回路 408は、 イニシャライズ回路 4 1 0から供給 されたクラスコード T C Cに対応する予測タップ選択信号 VT及び係数セッ トを 予め記憶している。

係数保持クラスコ一ド選択回路 408は、 クラス合成回路 40 6から供給され たクラスコード T C Cを基に、 赤色に対応するタヅブ、 緑色に対応するタヅプ、 及び青色に対応する夕ッブから成る予測タップ選択信号 VTを生成して、 生成し た予測タップ選択信号 V Tを可変タッブ選択回路 40 7に供給するとともに、 ク ラスコード T C Cに含まれる赤色のクラスコ一ドに対応する予測係数、 クラスコ 一ド T C Cに含まれる緑色のクラスコードに対応する予測係数、 及びクラスコ一 ド T C Cに含まれる青色のクラスコードに対応する予測係数から成る予測係数 W を推定予測演算回路 4 0 9に出力する。

可変タッブ選択回路 4◦ 7は、 タップ構築回路 4 0 3 - 2から供給された全ク ラス予測タップ V E T、 及び係数保持クラスコ一ド選択回路 4 0 8から供給され た予測タップ選択信号 V Τを基に、 赤色に対応するタップ、 緑色に対応するタツ ブ、 及び青色に対応するタップから成る予測タップ Ε Τを選択して、 選択した予 測タツプ Ε Τを推定予測演算回路 4 0 9に供給する。

推定予測演算回路 4 0 9の積和器 4 2 1は、 可変夕ッブ選択回路 4 0 7から供 給された予測夕ッブ Ε Τに含まれる赤色に対応する夕ップ、 及び係数保持クラス コ一ド選択回路 4 0 8から供給された予測係数 Wに含まれる赤色に対応する予測 係数を基に、 線形推定式を用いて、 画素値の赤色の成分を算出する。

推定予測演算回路 4 0 9の積和器 4 2 1は、 可変タップ選択回路 4 0 7から供 給された予測夕ップ Ε Τに含まれる緑色に対応する夕ップ、 及び係数保持クラス コード選択回路 4 0 8から供給された予測係数 Wに含まれる緑色に対応する予測 係数を基に、 線形推定式を用いて、 画素値の緑色の成分を算出する。

推定予測演算回路 4 0 9の積和器 4 2 1は、 可変夕ップ選択回路 4 0 7から供 給された予測夕ッブ Ε Τに含まれる青色に対応する夕ップ、 及び係数保持クラス コ一ド選択回路 4 0 8から供給された予測係数 Wに含まれる青色に対応する予測 係数を基に、 線形推定式を用いて、 画素値の青色の成分を算出する。

なお、 推定予測演算回路 4 0 9の積和器 4 2 1は、 予測係数 Wを基に、 非線形 推定式を用いて、 欠落画素の画素値を算出するようにしてもよい。

このように、 図 2 7に構成を示す画像処理装置は、 欠落画素創造を行う画像処 理モード、 色収差を考慮した画像処理モード、 テロップ位置を考慮した画像処理 モ一ドの何れか 1つ又は複数を選択的に実行することができ、 従来に比較して、 より鮮明な画像を得ることができるようになる。

図 2 8に示すフローチヤ一トを参照して、 図 2 3に構成を示す画像処理装置に おける、 収差モードにおける、 色収差に対応したタップの切換の処理を説明する ステップ S 1 0 1 において、 構造切換制御回路 3 0 2は、 イニシャライズ回路 3 1 2から供給された収差情報を取得する。

ステップ S 1 0 2において、 構造切換制御回路 3 0 2は、 注目画素を選択する _c ステップ S 1 0 3において、 表示位置算出回路 3 0 1は、 注目画素と画面中央と の相対距離を求める。 ステップ S 1 0 4において、 構造切換制御回路 3 0 2は、 赤色についての補正ベク トル、 緑色についての補正ベク トル、 及び青色について の補正べク トルを生成して、 補正べク トルを含む夕ップ選択信号 T S 1 をタップ 構築回路 3 0 4 - 1 に供給し、 補正べク トルを含む夕ップ選択信号 T S 2をタツ プ構築回路 3 0 4 - 2に供給し、 補正べク トルを含む夕ップ選択信号 T S 3 - 1 乃至 T S 3— ( N - 2 ) のそれそれをタツプ構築回路 3 0 4— 3乃至 3 0 4—N のそれそれに供給する。

ステップ S 1 0 5において、 夕ヅプ構築回路 3 0 4— 1は、 注目画素と画面中 央との相対距離を示す位置情報、 並びに赤色についての補正ベク トル、 緑色につ いての補正ベク トル、 及び青色についての補正ベク トルを基に、 タップを切り換 えて、 赤色、 緑色、 及び青色のそれそれに対応する動きクラスタップ T D 1 を選 択する。 タップ構築回路 3 0 4— 2は、 注目画素と画面中央との相対距離を示す 位置情報、 並びに赤色についての補正ベク トル、 緑色についての補正ベク トル、 及び青色についての補正ベク トルを基に、 タップを切り換えて、 赤色、 緑色、 及 び青色のそれそれに対応する全クラス予測夕ッブ V E Tを選択する。 タップ構築 回路 3 0 4— 3乃至 3 0 4— Nのそれそれは、 注目画素と画面中央との相対距離 を示す位置情報、 並びに赤色についての補正ベク トル、 緑色についての補正べク トル、 及び青色についての補正ベク トルを基に、 タップを切り換えて、 赤色、 緑 色、 及び青色のそれそれに対応する D Rクラス夕ヅプ T D 2— 1乃至 T D 2— ( N - 2 ) を選択する。

ステップ S 1 0 6において、 画像処理装置は、 全ての画素について処理を終了 したか否かを判定し、 全ての画素について処理を終了していないと判定された場 合、 ステップ S 1 0 2に戻り、 タヅブの切換の処理を繰り返す。

ステップ S 1 0 6において、 全ての画素について処理を終了したと判定された 場合、 処理は終了する。

このように、 図 2 3に構成を示す画像処理装置は、 収差モードにおいて、 収差 を考慮し、 画面位置に対応してタッブを切り換えることができる。

図 2 7に構成を示す画像処理装置は、 収差モードにおいて、 図 2 8に示すフロ —チャー トを参照して説明した処理と同様の処理で画面位置に対応してタップを 切り換えるので、 その説明は省略する。

次に、 図 2 3に構成を示す画像処理装置、 及び図 2 7に構成を示す画像処理装 置が実行する他の処理について説明する。

図 2 3の画像処理装置の構造切換制御回路 3 0 2は、 イニシャライズ回路 3 1 2からテロップモ一ドが指定されたとき、 テロ 'ソプを表示するテロップ表示領域 を示すテロップ位置情報を取得する。 テロップ位置情報は、 例えば、 上の 3 0ラ イン、 下の 5 0ライン、 又は右側 1 0 0画素などテロッブ表示領域の位置と広さ とを示す。

構造切換制御回路 3 0 2は、 入力された画像からテロッブ表示領域を示すデー 夕を取得するようにしてもよい。

図 2 9は、 テロヅプ等が表示されている画面の例を示す図である。 図 2 9 ( A ) に示す例において、 画像表示領域の上及び下のテロップ表示領域には、 例 えば、 画像とともに、 対応する文字が表示される。 テロップ表示領域の画像の信 号特性は、 平坦部とエッジ部とを大量に含んでいるため、 自然画等の画像の信号 特性と異なる。

図 2 9 ( B ) に示す例において、 画像表示領域の下のテロップ表示領域に表示 される文字は、 画像上を、 画面の右側から左側に向かって流れるように表示され る。

図 2 9 ( C ) に示す例において、 画面の右半分のテロップ表示領域に表示され る文字は、 画像上を、 画面の上側から下側に向かって流れるように表示される。 図 2 9 ( D ) に示す例において、 画像表示領域の 4方を囲む、 枠画像表示領域 には、 例えば、 コンピュータグラフィクスにより生成された画像が表示される。 以下、 テロップモードにおける、 図 2 3の画像処理装置の動作の例を説明する。 表示位置算出回路 3 0 1は、 入力された画像の各画素の画面上の物理ァドレス を算出して、 タヅプ構築回路 3 0 4— 1乃至 3 0 4— Nに供給する。

構造切換制御回路 3 0 2は、 テロップ位置情報を基に、 タップ選択信号 T S 1、 タ ヅブ選択信号 T S 2、 及びタップ選択信号 T S 3— 1乃至 T S 3— ( N— 2 ) を生成し、 タップ選択信号 T S 1を夕ッブ構築回路 3 0 4— 1に供給し、 タップ 選択信号 T S 2をタツブ構築回路 3 0 4— 2に供給し、 タップ選択信号 T S 3— 1乃至 T S 3— ( N - 2 ) のそれそれをタップ構築回路 3 0 4— 3乃至 3 0 4— Nのそれそれに供給する。

夕ップ構築回路 3 0 4— 1は、 各画素の画面上の物理ァドレス及びタッブ選択 信号 T S 1 を基に、 注目画素が画像表示領域に属するとき、 例えば、 より広い範 囲の画素を利用するタップを選択し、 注目画素がテロップ表示領域に属するとき、 例えば、 より狭い範囲の画素を利用するタップを選択し、 動きクラスタップ T D 1 を選択する。 例えば、 画像表示領域に自然画像が表示されるとき、 より広い範 囲のタップを選択することで、 画像処理装置は、 多数の画素に渡って緩やかに変 化する画像の成分を利用した画像処理を実行することができる。

これに対して、 文字が表示されるテロップ表示領域において、 文字に対応する 画素の画素値は、 ほぼ同一の値であり、 背景に対応する画素の画素値は、 ほぼ同 一の値である。 例えば、 白色で表示される文字に対応する画素の画素値と、 黒色 で表示される背景に対応する画素の画素値とは、 大きく異なる。

すなわち、 テロップ表示領域において、 文字と背景とに跨るタップの値は、 急 激に変化する。 文字のみ、 又は背景のみから成る夕ヅブの値は、 ほとんど変化し ない。 従って、 テロップ表示領域について、 より狭い範囲のタップを選択するこ とで、 画像処理装置は、 急激に画素値が変化する画像に適切に対応するクラス分 類又は適応処理を実行することができる。

また、 例えば、 図 2 9 ( B ) に示すようにテロップ表示領域において画面に対 して横方向に流れるように文字が表示されるとき、 画像処理装置は、 テロップ表 示領域について、 横長の夕ヅプを選択することにより、 少ないクラスに分類して もノイズ除去効果の高い、 より効果的な画像処理を実行することができる。 図 2 9 ( C ) に示すようにテロップ表示領域において画面に対して縦方向に流れるよ うに文字が表示されるとき、 画像処理装置は、 テロップ表示領域について、 縦長 の夕ッブを選択することにより、 より効果的な画像処理を実行することができる _c このように、 画像処理装置は、 テロップ表示領域と画像表示領域とで、 異なる 夕ップ構造及び予測係数 Wを使用することで、 最適な信号処理を実行する。

次に、 図 2 3に構成を示す画像処理装置による、 テロヅブモードにおける、 テ 口ヅプの位置に対応した夕ップの切換の処理を図 3 0のフローチヤ一トを参照し て説明する。

ステップ S 2 0 1 において、 構造切換制御回路 3 0 2は、 イニシャライズ回路 3 1 2から供給されたテロップ位置情報を取得する。 構造切換制御回路 3 0 2は、 テロップの位置に対応するタップ選択信号 T S 1、 タップ選択信号 T S 2、 及び タ ヅプ選択信号 T S 3— 1乃至 T S 3— ( N - 2 ) を生成し、 タップ選択信号 T S 1 を夕ップ構築回路 3 0 4 - 1 に供給し、 タッブ選択信号 T S 2を夕ップ構築 回路 3 0 4— 2に供給し、 タップ選択信号 T S 3— 1乃至 T S 3— ( N— 2 ) のそれそれをタヅプ構築回路 3 0 4— 3乃至 3 0 4—Nのそれそれに供給する。 ステツプ S 2 0 2において、 夕ップ構築回路 3 0 4— 1は、 注目画素を選択す る。 タップ構築回路 3 0 4— 2は、 注目画素を選択する。 タップ構築回路 3 0 4 一 3乃至 3 0 4— Nのそれそれは、 注目画素を選択する。

ステップ S 2 0 3において、 夕ッブ構築回路 3 0 4— 1は、 各画素の画面上の 物理ァドレス及びタップ選択信号 T S 1 を基に、 注目画素がテロッブ内の画素で あるか否かを判定し、 注目画素がテロップ内の画素であると判定された場合、 ス テツプ S 2 0 4に進み、 タップを切り換えて、 テロップに対応する、 動きクラス 夕ヅブ T D 1を選択し、 手続は、 ステップ S 2 0 6に進む。

ステツプ S 2 0 3において、 注目画素がテロヅプ内の画素でないと判定された 場合、 ステップ S 2 0 5に進み、 タップ構築回路 3 0 4— 1は、 タップを切り換 えて、 自然画像に対応する、 動きクラスタップ T D 1 を選択し、 手続は、 ステツ ブ S 2 0 6に進む。

ステヅプ S 2 0 3乃至ステップ S 2 0 5において、 夕ヅプ構築回路 3 0 4— 2 乃至 3 0 4— Nは、 タップ構築回路 3 0 4— 1 と同様の処理を実行するので、 そ の説明は省略する。

ステップ S 2 0 6において、 夕ヅブ構築回路 3 0 4— 1乃至 3 0 4— Nは、 全 ての画素について処理を終了したか否かを判定し、 全ての画素について処理を終 了していないと判定された場合、 ステップ S 2 0 2に戻り、 タップの切換の処理 を繰り返す。

ステップ S 2 0 6において、 全ての画素について処理を終了したと判定された 場合、 処理は終了する。

このように、 図 2 3に構成を示す画像処理装置は、 テロップモードにおいて、 注目画素がテロップ表示領域に属するか否かに対応してタップを切り換えること ができる。

図 2 7に構成を示す画像処理装置は、 テロップモードにおいて、 図 3 0に示す フローチヤ—トを参照して説明した処理と同様の処理で、 注目画素がテロップ表 示領域に属するか否かに対応して夕ップを切り換えるので、 その説明は省略する - 図 2 3又は図 2 7に構成を示す画像処理装置は、 図 2 9 (D) に示す画像につ いても、 枠画像表示領域の夕ップ及び画像表示領域の夕ップを切り換えて処理を 実行する。

上述した一連の処理は、 ハ一ドウエアにより実行させることもできるが、 ソフ トウヱァにより実行させることもできる。 一連の処理をソフ トウエアにより実行 させる場合には、 そのソフ トウェアを構成するプログラムが、 専用のハ一ドゥエ ァに組み込まれているコンビュ一夕、 又は、 各種のプログラムをインス トールす ることで、 各種の機能を実行することが可能な、 例えば汎用のパーソナルコンビ ユータなどに、 記録媒体からインス トールされる。

図 3 1は、 記録媒体及びコンピュータの例を説明する図である。 CPU(Centr al Processing Unit) 50 1は、 各種アプリケーションプログラムや、 0 S (Oper ating System) を実際に実行する。 R 0 M (Read- only Memory) 502は、 一般的 には、 CPU 50 1が使用するプログラムや演算用のパラメ一夕のうちの基本的 に固定のデータを格納する。 R AM(Randoffi- Access Memory) 503は、 CPU 5 0 1の実行において使用するプログラムや、 その実行において適宜変化するパラ メータを格納する。 これらは CPUバスなどから構成されるホス トバス 504に より相互に接続されている。

ホス トバス 5 04は、 ブリッジ 5 0 5を介して、 P C I (Peripheral Componen t Interconnect/Interface) バスなどの外部バス 5 0 6に接続されている。

キーボード 5 08は、 CPU 5 0 1に各種の指令を入力するとき、 使用者によ り操作される。 マウス 50 9は、 ディスプレイ 5 1 0の画面上のボイン 卜の指示 や選択を行うとき、 使用者により操作される。 ディスプレイ 5 1 0は、 液晶表示 装置又は C R T (Cathode Ray Tube)などから成り、 各種情報をテキス トゃィメ一 ジで表示する。 H D D (Hard Disk Drive) 5 1 1は、 ハードディスクを駆動し、 それらに CPU 5 0 1によって実行するプログラムや情報を記録又は再生させる, ドライブ 5 1 2は、 装着されている磁気ディスク 5 5 1、 光ディスク 5 52、 光磁気ディスク 5 53、 又は半導体メモリ 5 54に記録されているデータ又はプ ログラムを読み出して、 そのデータ又はプログラムを、 インタ一フェース 50 7、 外部バス 506、 ブリ ッジ 50 5、 及びホス トバス 5 04を介して接続されてい る R AM 503に供給する。

これらのキ一ボ一ド 508乃至ドライブ 5 1 2は、 インタ一フェース 507に 接続されており、 インタ一フェース 5 07は、 外部バス 5 06、 ブリ ッジ 50 5、 及びホス トバス 504を介して CPU 50 1に接続されている。

記録媒体は、 図 2 3に示すように、 コンピュータとは別に、 ュ一ザにブロック 図に対応する処理を実行するプログラムを提供するために配布される、 プログラ ムが記録されている磁気ディスク 5 5 1 (フロッピディスクを含む） 、 光デイス ク 5 52 ( C D - R 0 M (Compact Disc-Read Only Memory), DVD (Digital Ve rsatile Disc)を含む） 、 光磁気ディスク 5 53 (MD (Mini-Disc)を含む） 、 若 しくは半導体メモリ 5 54などよりなるリム一バブルメディアにより構成される だけでなく、 コンピュータに予め組み込まれた状態でユーザに提供される、 プロ グラムが記録されている ROM 5 0 2や、 HDD 5 1 1などで構成される。

なお、 ユーザにブロック図に対応する処理を実行するプログラムは、 有線又は 無線の通信媒体を介して、 コンピュータに供給されるようにしてもよい。

また、 本明細書において、 記録媒体に格納されるプログラムを記述するステツ プは、 記載された順序に沿って時系列的に行われる処理はもちろん、 必ずしも時 系列的に処理されなく とも、 並列的あるいは個別に実行される処理をも含むもの である。

以上のように、 本発明に係る画像処理装置及び方法、 並びに記録媒体によれば、 複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位 置情報が検出され、 位置情報に応じて、 複数のクラスから注目画素のクラスが決 定され、 入力画像信号から複数の画素が予測タップとして選択され、 クラス毎に 予め学習により得られた変換データ、 及び、 予測タップに基づく演算処理を行う ことにより、 入力画像より高質な出力画像信号が出力されるようにしたので、 画 素の画面上の位置にかかわらず、 常に、 より高質な画像を生成することができる ようになる。

また、 本発明に係る画像処理装置及び方法、 並びに記録媒体によれば、 複数の 画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報 が検出され、 注目画素との位置関係が、 位置情報に応じて可変される複数の画素 が、 入力画像信号からクラスタヅブとして選択され、 クラスタップに基づいて、 複数のクラスから注目画素のクラスが決定され、 入力画像信号から複数の画素が 予測タップとして選択され、 クラス毎に予め学習により得られた変換データ、 及 び、 予測タップに基づく演算処理を行うことにより、 入力画像より高質な出力画 像信号が出力されるようにしたので、 画素の画面上の位置にかかわらず、 常に、 より高質な画像を生成することができるようになる。

また、 本発明に係る画像処理装置及び方法、 並びに記録媒体によれば、 複数の 画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報 が検出され、 入力画像信号から複数の画素がクラスタップとして選択され、 クラ スタップに基づいて、 複数のクラスから注目画素のクラスが決定され、 注目画素 との位置関係が、 位置情報に応じて可変される複数の画素が、 入力画像信号から 予測タップとして選択され、 クラス毎に予め学習により得られた変換データ、 及 び、 予測タップに基づく演算処理を行うことにより、 入力画像より高質な出力画 像信号が出力されるようにしたので、 画素の画面上の位置にかかわらず、 常に、 より高質な画像を生成することができるようになる。

また、 本発明に係る画像処理装置及び方法、 並びに記録媒体によれば、 複数の 画素からなる入力画像信号の各注目画素に対して、 入力画像信号から複数の画素 が仮クラスタップとして選択され、 仮クラスタヅブのフレーム内における位置に 応じて注目画素との位置関係が可変される複数の画素が、 入力画像信号から真ク ラスタップとして選択され、 真クラスタップに基づいて、 複数のクラスから注目 画素のクラスが決定され、 入力画像信号から複数の画素が予測夕ップとして選択 され、 クラス毎に予め学習により得られた変換デ一夕、 及び、 予測タップに基づ く演算処理を行うことにより、 入力画像より高質な出力画像信号が出力されるよ うにしたので、 画素の画面上の位置にかかわらず、 常に、 より高質な画像を生成 することができるようになる。

さらに、 本発明に係る画像処理装置及び方法、 並びに記録媒体によれば、 複数 の画素からなる入力画像信号の各注目画素に対して、 入力画像信号から複数の画 素がクラスタップとして選択され、 クラスタヅプに基づいて、 複数のクラスから 注目画素のクラスが決定され、 各注目画素に対して、 入力画像信号から複数の画 素が仮予測夕ップとして選択され、 仮予測タップのフレーム内における位置に応 じて注目画素との位置関係が可変される複数の画素が、 入力画像信号から真予測 タップとして選択され、 クラス毎に予め学習により得られた変換データ、 及び、 真予測夕ッブに基づく演算処理を行うことにより、 入力画像より高質な出力画像 信号が出力されるようにしたので、 画素の画面上の位置にかかわらず、 常に、 よ り高質な画像を生成することができるようになる。

Claims

請求の範囲

1 . 複数の画素からなる入力画像信号の注目画素のフレーム内における位置を 示す位置情報を検出する位置検出手段と、

前記位置情報に応じて、 複数のクラスから前記注目画素のクラスを決定するク ラス決定手段と、

前記入力画像信号から複数の画素を予測夕ッブとして選択する予測夕ッブ選択 手段と、

前記クラス毎に予め学習により得られた変換データ、 及び、 前記予測タップに 基づく演算処理を行うことにより、 前記入力画像より高質な出力画像信号を出力 する演算手段と

を備えることを特徴とする画像処理装置。

2 . 前記クラス決定手段は、 前記位置情報が前記フレーム中の有効領域と無効 領域のどちらを示すかにより、 クラスを決定することを特徴とする請求の範囲第 1項に記載の画像処理装置。

3 . 前記クラス決定手段は、 前記位置情報で示される前記フレームの中心から の距離に基づいて、 前記クラスを決定することを特徴とする請求の範囲第 1項に 記載の画像処理装置。

4 . 前記クラス決定手段は、 前記位置情報が、 前記フレーム内でテロップが挿 入される位置と一致することを示すか否かに基づいて、 前記クラスを決定するこ とを特徴とする請求の範囲第 1項に記載の画像処理装置。

5 . 前記入力画像信号の仮注目画素の動きに応じて、 前記注目画素を決定する 注目画素決定手段をさらに備えることを特徴とする請求の範囲第 1項に記載の画 像処理装置。

6 . 前記仮注目画素の動きを検出する動き検出手段をさらに備えることを特徴 とする請求の範囲第 5項に記載の画像処理装置。

7 . 前記演算手段は、 前記出力画像信号として、 前記入力画像信号に含まれる 欠落画素の情報も含む画像信号を出力することを特徴とする請求の範囲第 1項に 記載の画像処理装置。

8 . 前記演算手段は、 前記出力画像信号として、 前記入力画像信号よりノイズ の低減された画像信号を出力することを特徴とする請求の範囲第 1項に記載の画 像処理装置。

9 . 前記演算手段は、 前記出力画像信号として、 前記入力画像信号より高解像 度の画像信号を出力することを特徴とする請求の範囲第 1項に記載の画像処理装 置。

1 0 . 前記演算手段は、 前記出力画像信号として、 前記入力画像信号より レン ズの収差による歪みが低減された画像信号を出力することを特徴とする請求の範 囲第 1項に記載の画像処理装置。

1 1 . 複数の画素からなる入力画像信号の注目画素のフレーム内における位置 を示す位置情報を検出する位置検出ステツプと、

前記位置情報に応じて、 複数のクラスから前記注目画素のクラスを決定するク ラス決定ステツプと、

前記入力画像信号から複数の画素を予測夕ップとして選択する予測夕ップ選択 ステップと、

前記クラス毎に予め学習により得られた変換データ、 及び、 前記予測タップに 基づく演算処理を行うことにより、 前記入力画像より高質な出力画像信号を出力 する演算ステップと

を含むことを特徴とする画像処理方法。

1 2 . 複数の画素からなる入力画像信号の注目画素のフレーム内における位置 を示す位置情報を検出する位置検出ステツプと、

前記位置情報に応じて、 複数のクラスから前記注目画素のクラスを決定するク ラス決定ステップと、

前記入力画像信号から複数の画素を予測タツプとして選択する予測タップ選択 ステヅプと、

前記クラス毎に予め学習により得られた変換データ、 及び、 前記予測タップに 基づく演算処理を行うことにより、 前記入力画像より高質な出力画像信号を出力 する演算ステップと を含むことを特徴とする画像処理をコンピュータに実行させるプログラムが記 録されている記録媒体。

1 3 . 複数の画素からなる入力画像信号の注目画素のフレーム内における位置 を示す位置情報を検出する位置検出手段と、

前記注目画素との位置関係が、 前記位置情報に応じて可変される複数の画素を、 前記入力画像信号からクラス夕ップとして選択するクラスタップ選択手段と、 前記クラスタツプに基づいて、 複数のクラスから前記注目画素のクラスを決定 するクラス決定手段と、

前記入力画像信号から複数の画素を予測タップとして選択する予測タップ選択 手段と、

前記クラス毎に予め学習により得られた変換データ、 及び、 前記予測タップに 基づく演算処理を行うことにより、 前記入力画像より高質な出力画像信号を出力 する演算手段と

を備えることを特徴とする画像処理装置。

1 4 . 前記クラスタップ選択手段は、 前記位置情報が前記フレーム中の有効領 域と無効領域のどちらを示すかに応じて可変される複数の画素を前記クラス夕ッ プとして選択することを特徴とする請求の範囲第 1 3項に記載の画像処理装置。

1 5 . 前記クラスタップ選択手段は、 前記位置情報で示される前記フレームの 中心からの距離に基づいて可変される複数の画素を前記クラスタッブとして選択 することを特徴とする請求の範囲第 1 3項に記載の画像処理装置。

1 6 . 前記クラスタップ選択手段は、 前記位置情報が、 前記フレーム内でテロ ッブが挿入される位置と一致することを示すか否かに基づいて可変される複数の 画素を前記クラス夕ッブとして選択することを特徴とする請求の範囲第 1 3項に 記載の画像処理装置。

1 7 . 前記入力画像信号の仮注目画素の動きに応じて、 前記注目画素を決定す る注目画素決定手段をさらに備えることを特徴とする請求の範囲第 1 3項に記載 の画像処理装置。

1 8 . 前記仮注目画素の動きを検出する動き検出手段をさらに備えることを特 徴とする請求の範囲第 1 7項に記載の画像処理装置。

1 9 . 前記演算手段は、 前記出力画像信号として、 前記入力画像信号に含まれ る欠落画素の情報も含む画像信号を出力することを特徴とする請求の範囲第 1 3 項に記載の画像処理装置。

2 0 . 前記演算手段は、 前記出力画像信号として、 前記入力画像信号よりノィ ズの低減された画像信号を出力することを特徴とする請求の範囲第 1 3項に記載 の画像処理装置。

2 1 . 前記演算手段は、 前記出力画像信号として、 前記入力画像信号より高解 像度の画像信号を出力することを特徴とする請求の範囲第 1 3項に記載の画像処 理装置。

2 2 . 前記演算手段は、 前記出力画像信号として、 前記入力画像信号より レン ズの収差による歪みが低減された画像信号を出力することを特徴とする請求の範 囲第 1 3項に記載の画像処理装置。

2 3 . 複数の画素からなる入力画像信号の注目画素のフレーム内における位置 を示す位置情報を検出する位置検出ステップと、

前記注目画素との位置関係が、 前記位置情報に応じて可変される複数の画素を、 前記入力画像信号からクラス夕ッブとして選択するクラスタッブ選択ステップと、 前記クラスタッブに基づいて、 複数のクラスから前記注目画素のクラスを決定 するクラス決定ステップと、

前記入力画像信号から複数の画素を予測夕ップとして選択する予測タッブ選択 ステップと、

前記クラス毎に予め学習により得られた変換データ、 及び、 前記予測タップに 基づく演算処理を行うことにより、 前記入力画像より高質な出力画像信号を出力 する演算ステヅプと

を含むことを特徴とする画像処理方法。

2 4 . 複数の画素からなる入力画像信号の注目画素のフレーム内における位置 を示す位置情報を検出する位置検出ステツプと、

前記注目画素との位置関係が、 前記位置情報に応じて可変される複数の画素を、 前記入力画像信号からクラスタヅプとして選択するクラスタップ選択ステップと、 前記クラスタップに基づいて、 複数のクラスから前記注目画素のクラスを決定 するクラス決定ステップと、

前記入力画像信号から複数の画素を予測タップとして選択する予測夕ップ選択 ステップと、

前記クラス毎に予め学習により得られた変換データ、 及び、 前記予測タップに 基づく演算処理を行うことにより、 前記入力画像より高質な出力画像信号を出力 する演算ステツブと

を含むことを特徴とする画像処理をコンピュータに実行させるプログラムが記 録されている記録媒体。

2 5 . 複数の画素からなる入力画像信号の注目画素のフレーム内における位置 を示す位置情報を検出する位置検出手段と、

前記入力画像信号から複数の画素をクラスタッブとして選択するクラスタッブ 選択手段と、

前記クラスタツブに基づいて、 複数のクラスから前記注目画素のクラスを決定 するクラス決定手段と、

前記注目画素との位置関係が、 前記位置情報に応じて可変される複数の画素を、 前記入力画像信号から予測夕ップとして選択する予測夕ップ選択手段と、

前記クラス毎に予め学習により得られた変換データ、 及び、 前記予測タップに 基づく演算処理を行うことにより、 前記入力画像より高質な出力画像信号を出力 する演算手段と

を備えることを特徴とする画像処理装置。

2 6 . 前記予測タップ選択手段は、 前記位置情報が前記フレーム中の有効領域 と無効領域のどちらを示すかに応じて前記位置関係が可変される複数の画素を前 記予測夕ップとして選択することを特徴とする請求の範囲第 2 5項に記載の画像 処理装置。

2 7 . 前記予測タップ選択手段は、 前記位置情報で示される前記フレームの中 心からの距離に基づいて前記位置関係が可変される複数の画素を前記予測タップ として選択することを特徴とする請求の範囲第 2 5項に記載の画像処理装置。

2 8 . 前記予測タップ選択手段は、 前記位置情報が、 前記フレーム内でテロ、ソ ブが挿入される位置と一致することを示すか否かに基づいて前記位置関係が可変 される複数の画素を前記予測タップとして選択することを特徴とする請求の範囲 第 2 5項に記載の画像処理装置。

2 9 . 前記入力画像信号の仮注目画素動きに応じて、 前記注目画素を決定する 注目画素決定手段をさらに備えることを特徴とする請求の範囲第 2 5項に記載の 画像処理装置。

3 0 . 前記仮注目画素の動きを検出する動き検出手段をさらに備えることを特 徴とする請求の範囲第 2 9項に記載の画像処理装置。

3 1 . 前記演算手段は、 前記出力画像信号として、 前記入力画像信号に含まれ る欠落画素の情報も含む画像信号を出力することを特徴とする請求の範囲第 2 5 項に記載の画像処理装置。

3 2 . 前記演算手段は、 前記出力画像信号として、 前記入力画像信号よりノィ ズの低減された画像信号を出力することを特徴とする請求の範囲第 2 5項に記載 の画像処理装置。

3 3 . 前記演算手段は、 前記出力画像信号として、 前記入力画像信号より高解 像度の画像信号を出力することを特徴とする請求の範囲第 2 5項に記載の画像処 理装置。

3 4 . 前記演算手段は、 前記出力画像信号として、 前記入力画像信号よりレン ズの収差による歪みが低減された画像信号を出力することを特徴とする請求の範 囲第 2 5項に記載の画像処理装置。

3 5 . 複数の画素からなる入力画像信号の注目画素のフレ一ム内における位置 を示す位置情報を検出する位置検出ステツブと、

前記入力画像信号から複数の画素をクラス夕ップとして選択するクラスタップ 選択ステツプと、

前記クラス夕ップに基づいて、 複数のクラスから前記注目画素のクラスを決定 するクラス決定ステヅブと、

前記注目画素との位置関係が、 前記位置情報に応じて可変される複数の画素を、 前記入力画像信号から予測夕ッブとして選択する予測タッブ選択ステップと、 前記クラス毎に予め学習により得られた変換データ、 及び、 前記予測タップに基 づく演算処理を行うことにより、 前記入力画像より高質な出力画像信号を出力す る演算ステップと

を含むことを特徴とする画像処理方法。

3 6 . 複数の画素からなる入力画像信号の注目画素のフレーム内における位置 を示す位置情報を検出する位置検出ステップと、

前記入力画像信号から複数の画素をクラスタップとして選択するクラスタッブ 選択ステヅプと、

前記クラスタップに基づいて、 複数のクラスから前記注目画素のクラスを決定 するクラス決定ステップと、

前記注目画素との位置関係が、 前記位置情報に応じて可変される複数の画素を、 前記入力画像信号から予測夕ップとして選択する予測夕ップ選択ステツプと、 前記クラス毎に予め学習により得られた変換データ、 及び、 前記予測タップに基 づく演算処理を行うことにより、 前記入力画像より高質な出力画像信号を出力す る演算ステップと

を含むことを特徴とする画像処理をコンピュータに実行させるプログラムが記 録されている記録媒体。

3 7 . 複数の画素からなる入力画像信号の各注目画素に対して、 前記入力画像 信号から複数の画素を仮クラスタッブとして選択する仮クラスタップ選択手段と、 前記仮クラス夕ップのフレーム内における位置に応じて前記注目画素との位置 関係が可変される複数の画素を、 前記入力画像信号から真クラスタップとして選 択する真クラス夕ッブ選択手段と、

前記真クラスタッブに基づいて、 複数のクラスから前記注目画素のクラスを決 定するクラス決定手段と、

前記入力画像信号から複数の画素を予測夕ップとして選択する予測夕ップ選択 手段と、

前記クラス毎に予め学習により得られた変換データ、 及び、 前記予測タップに 基づく演算処理を行うことにより、 前記入力画像より高質な出力画像信号を出力 する演算手段と

を備えることを特徴とする画像処理装置。

3 8 . 前記真クラスタップ選択手段は、 前記仮クラスタップの複数の画素それ それが、 前記フレーム中の無効画像領域に位置する際に、 前記無効画像領域に位 置する画素に代えて、 前記フレーム中の有効画像領域の画素を前記真クラス夕ッ ブとして選択することを特徴とする請求の範囲第 3 7項に記載の画像処理装置。

3 9 . 前記真クラスタヅプ選択手段は、 前記仮クラスタップの前記フレームの 中心からの距離に基づいて、 前記真クラスタツブを選択することを特徴とする請 求の範囲第 3 7項に記載の画像処理装置。

4 0 . 前記真クラスタップ選択手段は、 前記仮クラスタ ヅプと、 前記フレーム 内でテロップが挿入される位置を示す位置情報に基づいて、 前記真クラス夕ップ を選択することを特徴とする請求の範囲第 3 7項に記載の画像処理装置。

4 1 . 前記入力画像信号の仮注目画素の動きに応じて、 前記注目画素を決定す る注目画素決定手段をさらに備えることを特徴とする請求の範囲第 3 7項に記載 の画像処理装置。

4 2 . 前記仮注目画素の動きを検出する動き検出手段をさらに備えることを特 徴とする請求の範囲第 4 1項に記載の画像処理装置。

4 3 . 前記演算手段は、 前記出力画像信号として、 前記入力画像信号に含まれ る欠落画素の情報も含む画像信号を出力することを特徴とする請求の範囲第 3 7 項に記載の画像処理装置。

4 4 . 前記演算手段は、 前記出力画像信号として、 前記入力画像信号よりノィ ズの低減された画像信号を出力することを特徴とする請求の範囲第 3 7項に記載 の画像処理装置。

4 5 . 前記演算手段は、 前記出力画像信号として、 前記入力画像信号より高解 像度の画像信号を出力することを特徴とする請求の範囲第 3 7項に記載の画像処 理装置。

4 6 . 前記演算手段は、 前記出力画像信号として、 前記入力画像信号よりレン ズの収差による歪みが低減された画像信号を出力することを特徴とする請求の範 囲第 3 7項に記載の画像処理装置。

4 7 . 複数の画素からなる入力画像信号の各注目画素に対して、 前記入力画像 信号から複数の画素を仮クラスタッブとして選択する仮クラスタッブ選択ステツ プと、 前記仮クラスタップのフレーム内における位置に応じて前記注目画素との位置 関係が可変される複数の画素を、 前記入力画像信号から真クラスタップとして選 択する真クラスタツプ選択ステヅプと、

前記真クラスタップに基づいて、 複数のクラスから前記注目画素のクラスを決 定するクラス决定ステツプと、

前記入力画像信号から複数の画素を予測夕ッブとして選択する予測夕ップ選択 ステップと、

前記クラス毎に予め学習により得られた変換データ、 及び、 前記予測タップに 基づく演算処理を行うことにより、 前記入力画像より高質な出力画像信号を出力 する演算ステツプと

を含むことを特徴とする画像処理方法。

4 8 . 複数の画素からなる入力画像信号の各注目画素に対して、 前記入力画像 信号から複数の画素を仮クラスタッブとして選択する仮クラスタップ選択ステツ ブと、

前記仮クラスタップのフレーム内における位置に応じて前記注目画素との位置 関係が可変される複数の画素を、 前記入力画像信号から真クラスタップとして選 択する真クラスタヅブ選択ステヅプと、

前記真クラスタップに基づいて、 複数のクラスから前記注目画素のクラスを決 定するクラス決定ステツプと、

前記入力画像信号から複数の画素を予測タップとして選択する予測タップ選択 ステップと、

前記クラス毎に予め学習により得られた変換データ、 及び、 前記予測タップに 基づく演算処理を行うことにより、 前記入力画像より高質な出力画像信号を出力 する演算ステップと

を含むことを特徴とする画像処理をコンビュー夕に実行させるプログラムが記 録されている記録媒体。

4 9 . 複数の画素からなる入力画像信号の各注目画素に対して、 前記入力画像 信号から複数の画素をクラスタッブとして選択するクラスタップ選択手段と、 前記クラスタツプに基づいて、 複数のクラスから前記注目画素のクラスを決定 するクラス決定手段と、

前記各注目画素に対して、 前記入力画像信号から複数の画素を仮予測タッブと して選択する仮予測夕ップ選択手段と、

前記仮予測タッブのフレーム内における位置に応じて前記注目画素との位置関 係が可変される複数の画素を、 前記入力画像信号から真予測夕ッブとして選択す る真予測タツプ選択手段と、

前記クラス毎に予め学習により得られた変換データ、 及び、 前記真予測タップ に基づく演算処理を行うことにより、 前記入力画像より高質な出力画像信号を出 力する演算手段とを備えることを特徴とする画像処理装置。

5 0 . 前記真予測夕ップ選択手段は、 前記仮予測夕ップの複数の画素それぞれ が、 前記フレーム中の無効画像領域に位置する際に、 前記無効画像領域に位置す る画素に代えて、 前記フレーム中の有効画像領域の画素を前記真予測夕ップとし て選択することを特徴とする請求の範囲第 4 9項に記載の画像処理装置。

5 1 . 前記真予測タップ選択手段は、 前記仮予測タップの前記フレームの中心 からの距離に基づいて、 前記真予測タッブを選択することを特徴とする請求の範 囲第 4 9項に記載の画像処理装置。

5 2 . 前記真予測タップ選択手段は、 前記仮予測タップと、 前記フレーム内で テロップが挿入される位置を示す位置情報に基づいて、 前記真予測タッブを選択 することを特徴とする請求の範囲第 4 9項に記載の画像処理装置。

5 3 . 前記入力画像信号の仮注目画素の動きに応じて、 前記注目画素を決定す る注目画素決定手段をさらに備えることを特徴とする請求の範囲第 4 9項に記載 の画像処理装置。

5 4 . 前記仮注目画素の動きを検出する動き検出手段をさらに備えることを特 徴とする請求の範囲第 5 3項に記載の画像処理装置。

5 5 . 前記演算手段は、 前記出力画像信号として、 前記入力画像信号に含まれ る欠落画素の情報も含む画像信号を出力することを特徴とする請求の範囲第 4 9 項に記載の画像処理装置。

5 6 . 前記演算手段は、 前記出力画像信号として、 前記入力画像信号よりノィ ズの低減された画像信号を出力することを特徴とする請求の範囲第 4 9項に記載 の画像処理装置。

5 7 . 前記演算手段は、 前記出力画像信号として、 前記入力画像信号より高解 像度の画像信号を出力することを特徴とする請求の範囲第 4 9項に記載の画像処

5 8 . 前記演算手段は、 前記出力画像信号として、 前記入力画像信号より レン ズの収差による歪みが低減された画像信号を出力することを特徴とする請求の範 囲第 4 9項に記載の画像処理装置。

5 9 . 複数の画素からなる入力画像信号の各注目画素に対して、 前記入力画像 信号から複数の画素をクラスタヅプとして選択するクラスタヅブ選択ステップと、 前記クラスタッブに基づいて、 複数のクラスから前記注目画素のクラスを決定 するクラス決定ステヅプと、

前記各注目画素に対して、 前記入力画像信号から複数の画素を仮予測夕ッブと して選択する仮予測夕ップ選択ステップと、

前記仮予測夕ップのフレーム内における位置に応じて前記注目画素との位置関 係が可変される複数の画素を、 前記入力画像信号から真予測タップとして選択す る真予測タップ選択ステップと、

前記クラス毎に予め学習により得られた変換データ、 及び、 前記真予測タップ に基づく演算処理を行うことにより、 前記入力画像より高質な出力画像信号を出 力する演算ステツプと

を含むことを特徴とする画像処理方法。

6 0 . 複数の画素からなる入力画像信号の各注目画素に対して、 前記入力画像 信号から複数の画素をクラス夕ヅブとして選択するクラス夕ヅプ選択ステップと、 前記クラスタツプに基づいて、 複数のクラスから前記注目画素のクラスを決定 するクラス決定ステップと、

前記各注目画素に対して、 前記入力画像信号から複数の画素を仮予測夕ップと して選択する仮予測夕ップ選択ステップと、

前記仮予測タップのフレーム内における位置に応じて前記注目画素との位置関 係が可変される複数の画素を、 前記入力画像信号から真予測夕ップとして選択す る真予測夕ッブ選択ステツプと、 前記クラス毎に予め学習により得られた変換デ一夕、 及び、 前記真予測タップ に基づく演算処理を行うことにより、 前記入力画像より高質な出力画像信号を出 力する演算ステツプと

を含むことを特徴とする画像処理をコンピュ一夕に実行させるプログラムが記 録されている記録媒体。