WO2008038442A1

WO2008038442A1 - Procédé de conversion ip de signal de différence de couleur

Info

Publication number: WO2008038442A1
Application number: PCT/JP2007/062697
Authority: WO
Inventors: Yoichiro Miki
Original assignee: Panasonic Corporation
Priority date: 2006-09-26
Filing date: 2007-06-25
Publication date: 2008-04-03
Also published as: US20120169927A1; US8164687B2; JPWO2008038442A1; US20090002552A1; JP4801678B2

Description

明細書

色差信号 IP変換方法

技術分野

[0001] 本発明は、映像インタレース信号をプログレシブ信号に変換 (IP変換)する方法に関するものであり、動き適応型 IP変換における色差信号の静止画信号生成に関するものである。

背景技術

[0002] NTSC, PAL, SECAM,ハイビジョン（1080i等）に代表される映像信号は、走査線を 1ラインおきに間引いて伝送し、 2フィールドで 1フレームの映像を形成するインタレース方式であり、これらの映像信号を液晶、 PDP等のプログレシブスキャンの表示デバイスに表示する際には、必ず IP変換を行わなければならない。

[0003] 一般的な IP変換は、映像信号力画素ごとの動き量を検出し、その結果により静止画処理と動画処理とを切り替え、又は動き量に応じて混合して出力し、良好な結果を得ている。この IP変換を、動き適応型 IP変換と呼ぶ。

[0004] 従来の例として、図 21に動き適応型 IP変換のうち、色差信号の IP変換に係る部分のブロック図を示す。図 21において、色差信号 IP変換部 1は、フィールドはめ込みにより静止画信号を生成する色差静止画処理部 6と、フィールド内の画素から補間画素を生成する色差動画処理部 7と、色差静止画処理部 6及び色差動画処理部 7の各々の出力を動き検出情報に応じて混合する静動混合部 8とを有する。色差信号フィールド遅延が色差静止画処理部 6に、色差信号現フィールドが色差静止画処理部 6及び色差動画処理部 7にそれぞれ与えられ、静動混合部 8から IP変換結果が出力される。

[0005] 止まっている映像（静止画）の場合は、連続する 2フィールドの映像をはめ込む（フィ一ルド間はめ込み）と、もとの 1フレームの映像が生成できる。色差静止画処理部 6によりこのはめこみによるプログレシブ化を実現する。また、動きのある映像 (動画）の場合は単純にはめ込むと 1ラインおきにずれた映像が生成されてしまうために、フィールド内の画素より補間（フィールド内補間）を行う必要がある。色差動画処理部 7によりこの処理を実現する。映像信号は 1画面内でも止まっている部分と動いている部分とが存在することが多いため、画素ごとの動き量を検出した結果にもとづいて、静動混合部 8により最終的な色差信号の IP変換結果を混合して出力する。

[0006] 近年、映像信号のデジタル化が進み、特に MPEGを中心とした映像圧縮技術を用いたデジタル放送、 DVD等の普及が著しい。この MPEGを用いた映像信号の圧縮では、人間の視覚特性が、輝度信号に対してよりも色差信号に対しての方が鈍いことを利用して、色差信号のライン数を輝度信号のライン数に対して半分に間引く処理を行っている。この動作を、図 22 (a)〜図 22 (c)を用いて説明する。

[0007] 図 22 (a)〜図 22 (c)は、 MPEG2時における、プログレシブ信号をインタレース信号に変換する動作を示したもので、 Yは輝度信号、 Cは色差信号を示している。色差信号は、実際には R—Y信号と B—Y信号との 2種類があるが、処理的には同様のため以降の説明では共通に色差信号 Cとして説明する。図 22 (a)〜図 22 (c)は、プログレシブ信号がインタレース MPEG2になる際の画素の関係を示したもので、縦方向が映像の画面縦方向である。

[0008] 図 22 (a)はプログレシブ状態での画素の並びを示したもので、例えば NTSC方式では有効なライン数は 480本であり、図 22 (a)の縦方向に画素が 480個存在することになる。図 22 (a)に示すようにプログレシブ状態では Yも Cも同じライン数の画素が存在する。図中の数字は画素のレベルを示したもので、 Y、 C共に上から下に 100から 0にレベルが変化した状態を示している。この状態をプログレシブ 4 : 2 : 2と呼ぶ。実際には 4 : 2 : 2とは水平方向にも R—Y, Β— Υを半分に間引く処理が行われるものであるが、ここではライン方向のみの説明とする。

[0009] 図 22 (b)は、図 22 (a)のプログレシブ 4： 2： 2力色差信号を 2本に 1本間引いたもので、この状態をプログレシブ 4 : 2 : 0と呼ぶ。間引きに起因した折り返しを防ぐため垂直の LPFをかけ、画素の重心位置が Yの間になるようにしている。図 22 (b)では一番簡単な 2タップの平均値をとる LPFをかけた図とした。

[0010] 図 22 (c)は、図 22 (b)をインタレースに変換したものである。インタレースはプログレシブ信号を 1ラインおきに間引いて 2フィールドに分解したものと考えられ、上のライン力、ら始まるフィールドをトップ (TOP)フィーノレド、下のラインから始まるフィールドをボトム（BOTTOM)フィールドと呼ぶ。インタレースする際も帯域制限を行うが、図 22 (c )では動作が分力りやすいように Yも Cも単純に半分に間引いている。

[0011] 映像信号の形態として、色差信号のライン数が輝度信号のライン数と同じ状態を 4 :

2： 2、色差信号のライン数が輝度信号のライン数の半分の状態を 4： 2： 0と呼んでレ、る。

[0012] MPEG圧縮であるデジタル放送や DVD、 HDレコーダ等の記録媒体の中では、色差信号は 4： 2： 0状態になってレ、る。

[0013] 一方、デジタル映像機器の出力では輝度信号と色差信号とのライン数は同じと規定されているために、デジタル放送デコーダ、 DVD、 STB、 HDレコーダ等の中の M PEGデコーダでは MPEGのデコードの後に 4： 2： 0力ら 4： 2： 2に変換する処理が行われる。またデジタル映像機器の内部、デジタルデコーダ集積回路の内部であってもデジタルデコーダからの出力を 4： 2： 2で扱っている場合も想定される。

[0014] 次に、 4 : 2 : 0力ら 4： 2： 2への変換の例と、 IP変換における静止画処理の例とを示す。

[0015] 図 23 (a)〜図 23 (c)は、 4 : 2 : 0から 4 : 2 : 2へ変換する方法として、同じラインを 2度出力するラインダプラ処理を示したものである。実現が簡単なため実際の商品としてもこの形式でデコード出力する DVDプレーヤ等が存在する。図 23 (a)はインタレース 4 : 2 : 0のMPEG2格納状態、図 23 (b)は色差信号に関してのラインダブラで同じ画素をリピートすることによりライン数をもとに戻し、 4 : 2 : 2形式を実現している。図 23 (c)は、図 23 (b)の 4： 2： 2インタレース信号をフィールドはめ込みの静止画処理で IP 変換を行ったものである。ラインを半分に間引かなかった輝度信号 Yは完全に復元される力色差信号 Cはレベルの変化点でレベルの行き戻りが発生していることがわかる。映像ではこれはジャギーとなり、垂直方向にギザギザ等の違和感のある映像が生成されてしまう。

[0016] 図 24 (a)〜図 24 (c)は、 4： 2： 0力、ら 4： 2： 2へ変換する別の方法として、フィールド内の上下ラインの画素から、間引いたラインを補間生成する処理を示したものである。図 24 (a)はインタレース 4 : 2 : 0の MPEG2格納状態で画素重心位置を考慮して記載したもの、図 24 (b)は最も単純な例として上下 1個ずつの画素の重心により 4 : 2 : 0 で間引かれた画素を補間生成し、 4 : 2 : 2にしたものである。図 24 (c)は、図 24 (b)の 4： 2： 2インタレース信号をフィールドはめ込みの静止画処理で IP変換を行ったものである。ここでも色差信号は、ラインダプラよりは程度は低レ、が、レベルの変化点でレベルの行き戻りが発生してレ、る。

[0017] 上記したいずれの例にしても、インタレース 4 : 2 : 0状態からフィールド内で間引きラインを復元して 4 : 2 : 2を生成したことで、インタレースのフィールド間の関係を無視した補間が施されるために、その後にフィールド間補間を行うと破綻が生じているわけである。

[0018] 従来の他の IP変換として、フィールド間はめこみを 4 : 2 : 2ではなぐ 4 : 2 : 2のラインを再度間引レ、て 4： 2： 0にした状態で行う構成のものもある（例えば、特許文献 1参照

[0019] また別の例として、色差信号力 Sラインダプラの 4： 2： 0の場合にはラインダプラで補間された画素を上下から補間しなおして新たな 4： 2： 2を生成してフィールド間はめこみを行うものもある（例えば、特許文献 2参照）。

特許文献 1：国際公開第 02/052849号パンフレット

特許文献 2：特開 2006— 121568号公報

発明の開示

発明が解決しょうとする課題

[0020] し力しながら従来の構成によれば、特許文献 1に示される 4： 2： 0状態でのフィールド間はめ込みでは、もともとが MPEG圧縮等の 4： 2： 0色差を 4： 2： 2色差にデコードしたものである場合は良好な結果となるが、アナログ放送信号を A/D変換した場合等の正しい 4： 2： 2信号に対しては色差信号の垂直周波数特性は半分となってしまう。また、特許文献 2に示されるようにラインダプラをフィールド内補間に作り直すものは、ラインダプラよりは良好な結果を得られるが、図 24 (a)〜図 24 (c)で説明したようにジャギーが完全にはなくならなレ、。

[0021] 本発明はこれらの点に鑑み、入力される色差信号の素性に応じ、ジャギーを低減しつつ、正しい 4 : 2 : 2信号に対しては本来の周波数特性の劣化も抑えた色差信号 IP 変換方法を提供することを目的とする。課題を解決するための手段

[0022] 上記課題を解決するために、第 1の発明は、動き適応型の IP変換において、連続する 2フィールドの画素をはめ込むことでプログレシブ信号を生成する第 1の静止画処理の結果と、連続する 2フィールドのデータをライン単位で間引いたもの同士の画素をはめ込むことでプログレシブ信号を生成し、更に生成されたプログレシブの状態で間引いた分だけライン補間を行う第 2の静止画処理の結果とを、出力色差信号のジャギーが少なくなるように適宜選択又は混合することにより、色差信号の静止画用画素補間を行うことを特徴とする色差信号 IP変換方法である。

[0023] また第 2の発明は、動き適応型の IP変換において、連続する 2フィールドの画素をはめ込むことでプログレシブ信号を生成し、前記プログレシブ信号に対して垂直方向の後処理フィルタを施したものを静止画用補間信号とすることにより、色差信号の静止画用画素補間を行うことを特徴とする色差信号 IP変換方法である。

[0024] また第 3の発明は、動き適応型の IP変換において、連続する 2フィールドの画素をはめ込むことでプログレシブ信号を生成する第 1の静止画処理の結果と、前記プログレシブ信号に対して垂直方向の後処理フィルタを施した第 2の静止画処理の結果とを、出力色差信号のジャギーが少なくなるように適宜選択又は混合することにより、色差信号の静止画用画素補間を行うことを特徴とする色差信号 IP変換方法である。

[0025] 上記第 2又は第 3の発明において、前記後処理フィルタは、注目画素及び上下の画素から中央値を出力するフィルタであることが望ましい。

発明の効果

[0026] 上記第 1の発明によれば、色差信号の静止画生成方法を適宜切り替えることにより、ジャギーの低減と、垂直方向の帯域の劣化を抑える色差信号 IP変換方法を実現すること力 Sできる。

[0027] 上記第 2の発明によれば、ジャギーが発生してレ、る場合は後処理の中央値出カフィルタでジャギーを低減させ、ジャギーが発生していない場合は中央値フィルタで垂直方向の周波数特性を劣化させない色差信号 IP変換方法を実現することができる。

[0028] 上記第 3の発明によれば、従来の静止画処理 IP変換と、その出力に後処理中央値フィルタを適用させた出力を適宜切り替えることにより、ジャギーの低減と、垂直方向の劣化を抑える色差信号 IP変換方法を実現することができる。

図面の簡単な説明

[図 1]図 1は、本発明における色差信号 IP変換静止画処理部のブロック図である。

[図 2]図 2 (a)、図 2 (b)及び図 2 (c)は、本発明におけるジャギー低減色差信号 IP変換静止画処理の動作図である。

[図 3]図 3は、図 1における検出部の例を示すブロック図である。

[図 4]図 4は、図 3中の比較部によるラインダプラ検出結果を示す図である。

[図 5]図 5は、図 1における検出部の別の例を示すブロック図である。

[図 6]図 6は、図 1における検出部の更に別の例を示すブロック図である。

[図 7]図 7は、図 1における検出部の更に別の例を示すブロック図である。

[図 8]図 8は、図 1における検出部の更に別の例を示すブロック図である。

[図 9]図 9は、図 1における検出部の更に別の例を示すブロック図である。

[図 10]図 10は、本発明における色差信号 IP変換静止画処理部の別の例を示すプロック図である。

[図 11]図 11は、図 10における検出部の例を示すブロック図である。

[図 12]図 12は、図 10における検出部の別の例を示すブロック図である。

[図 13]図 13は、図 10における検出部の更に別の例を示すブロック図である。

[図 14]図 14は、本発明における色差信号 IP変換静止画処理部の更に別の例を示すブロック図である。

[図 15]図 15は、本発明の色差信号 IP変換部を搭載したデジタル映像機器セットのブロック図である。

[図 16]図 16は、本発明における色差信号 IP変換静止画処理部の更に別の例を示すブロック図である。

[図 17]図 17 (a)及び図 17 (b)は、図 16中の垂直 3タップ中央値フィルタの入力と出力との関係を示す図である。

[図 18]図 18 (a)及び図 18 (b)は、図 16中の垂直 3タップ中央値フィルタの他の入力と出力との関係を示す図である。

[図 19]図 19は、本発明における色差信号 IP変換静止画処理部の更に別の例を示すブロック図である。

[図 20]図 20は、本発明を適用した動き適応型色差信号 IP変換部のブロック図である

[図 21]図 21は、従来の一般的な動き適応型色差信号 IP変換部のブロック図である。

[図 22]図 22 (a)、図 22 (b)及び図 22 (c)は、プログレシブ信号からインタレース 4： 2： 0信号への従来の色差信号 IP変換を示す原理図である。

[図 23]図 23 (a)、図 23 (b)及び図 23 (c)は、従来の色差信号 IP変換におけるジャギ一発生原理図である。

[図 24]図 24 (a)、図 24 (b)及び図 24 (c)は、従来の色差信号 IP変換における他のジャギ一発生原理図である。

符号の説明

1 動き適応型色差信号 IP変換部

6 色差信号 IP変換静止画処理部

7 色差信号 IP変換動画処理部

8 静動混合部

10 従来の色差フィールド間補間部

11 色差 4： 2： 0フィールド間補間部

12 色差フィールド内ライン補間部

13 検出部

14 色差静止画処理方法選択混合部

15 1ライン遅延部

16 差分絶対値計算部

17 比較部

18 パターン解析部

20 垂直ハイパスフィルタ

21 累積部

22 ID1検出部

23 デジタル映像機器セット 24 アナログデジタル変換部

25 デジタルビデオデコーダ

26 制御マイコン

27 フォーマット変換部

28 垂直 3タップ中央値フィルタ

31 , 32 レベル比較部

33 情報デコード部

34 選択部

発明を実施するための最良の形態

[0031] 以下、本発明を実施するための最良の形態を図面を用いて説明する。色差信号には R—Y信号と B—Y信号との 2種類がある力処理的には同様のため、以降の説明では共通に色差信号 Cとして説明する。

[0032] 図 1は、本発明の色差信号 IP変換静止画処理部を示したものである。図 1において、 6は色差信号 IP変換静止画処理部であり、従来例の図 21の 6で示した部分である。 10は従来の色差信号の静止画処理部であるフィールド間補間部、 11は色差 4 : 2 : 0フィールド間補間部、 12は色差フィールド内ライン補間部、 13は映像信号から特徴を検出する検出部、 14は両補間部 10, 12の各々の出力を検出部 13の結果に応じて選択混合する色差静止画処理方法選択混合部である。 1 IX及び 11 Yは色差 4： 2 : 0フィールド間補間部 11の入力及び出力であり、 12Yは色差フィールド内ライン補間部 12の出力である。

[0033] 色差信号 IP変換静止画処理部 6に入力されるインタレース信号は 4 : 2 : 2色差信号である。 4 : 2 : 2色差信号には、

(A)アナログ放送を AZD変換したような、もともと 4： 2： 2色差信号であるもの、

(B)デジタル放送、 MPEGデータのような、 4 : 2 : 0を 4 : 2 : 2色差信号に補間したものの 2種類が考えられる。

[0034] 従来のフィールド間補間部 10は、連続する 2フィールドのインタレース色差信号を入力し、互いに 1ラインにフィールド間ではめこみを行うことで、もとのプログレシブ信号を生成する。入力されるインタレース信号が (A)の場合は完全にもとのプログレシブ信号が再現できるが、（B)の信号が入力された場合は、背景技術で説明した図 23 (c)、図 24(c)のようなジャギーが発生する。

[0035] 次に色差 4： 2： 0フィールド間補間部 11につレ、て図 2 (a)〜図 2 (c)を用いて説明する。図 2 (a)は、色差 4: 2:0フィールド間補間部 11に入力されるインタレース信号 11 Xを示したものである。ここでは（B)の場合のラインダブラで 4： 2： 0を 4： 2： 2色差信号に補間した場合を説明する。図 2 (a)は図 23(b)と同じ状態のものである。図 2 (a)の入力は 4： 2： 2色差信号であるが、色差 4： 2： 0フィールド間補間部 11ではこれを 4： 2 :0色差信号とみなして処理を行う。すなわち、図 2(a)の X印をつけた画素に関しては無いものとみなして、ライン数が半分の状態でフィールド間のはめ込みを行い 4: 2: 0プログレシブ信号を得る。この状態が図 2(b)の 11 Yである。図 2 (a)の色差信号の画素の右上に記載した数字が図 2 (b)の色差信号の右上に記載した数字に対応する。もともとのライン数の半分でフィールド間はめ込みを行うため、図 2(b)の色差信号のライン数は輝度信号の半分となる。更に図 2 (b)ではもともとの色差信号の画素重心位置（図 22(b)参照）を考慮して、輝度信号の間に色差信号を記載している。次に輝度信号とライン数を合わせるために、色差フィールド内ライン補間部 12で、間引いたラインを 4: 2:0プログレシブ状態で垂直補間を行い、図 2(c)の結果 12Yを得る。ここではライン数を補間すると同時に輝度信号と重心位置を合わせた 2タップの線形補間の例を示している。図 2(c)で分かるように、色差 4: 2:0フィールド間補間部 11により、 4： 2： 2信号力誤った補間情報を破棄して 4： 2： 0色差信号でフィールド間はめ込みを行うことで、ジャギーのない色差信号 IP変換静止画を得ることができる。ただし、色差 4: 2:0フィールド間補間部 11でライン数を半分にするために、（A)のような正しい 4： 2： 2色差信号に対しては垂直の帯域を劣化させるという副作用が生じてしまう

[0036] すなわち、（A)のような正しい 4: 2: 2色差信号に対しては従来のフィールド間補間部 10の出力を、（B)のような誤って補間された 4: 2 :2色差信号に対しては 2つの補間部 11, 12の信号処理出力をそれぞれ選択することで、副作用なくかつジャギーのない色差信号 IP変換静止画処理を実現することができる。この選択を行うのが図 1に示した色差静止画処理方法選択混合部 14と、この選択混合部 14の論理を生成する検出部 13である。以下に、検出部 13の例を示す。

[0037] 図 3は、図 1における検出部 13の 1つの例である。図 3において、 15は色差信号を

1ライン分遅延させる 1ライン遅延部、 16は入力信号の差分の絶対値を求める差分絶対値部、 17は設定値に対する大小を出力する比較部、 18はパターン解析部である。図 3の検出部 13には色差信号の現フィールドが入力され、色差信号がラインダブラで補間された 4 : 2 : 2色差信号か否かを検出するものである。 1ライン遅延部 15により遅延した色差信号ともともとの色差信号との差分の絶対値を差分絶対値部 16で計算する。すなわち、連続するラインの色差レベルの差を求めていることになる。求めた差分は比較部 17で設定値との比較を行レ、、差分が大きい場合は「1」、小さい場合は「0」をそれぞれ出力する。

[0038] 色差信号がラインダプラであれば、比較部 17の結果は、図 4に示すように、 1ラインおきに差分が 0となることが考えられる。よってパターン解析部 18で 1ラインおきに差分が 0であると解析された場合は入力信号はラインダプラによる 4： 2： 2色差信号と判断し、検出結果に「1」を出力する。その結果、図 1に示した色差信号 IP変換静止画処理部 6からはジャギーのない IP変換静止画処理結果が出力されることになる。なお完全なラインダプラであれば差分は 0となる力アナログ誤差や途中の演算の誤差で必ずしも 0とならない場合があることを考慮して、設定値によりラインダプラの検出に尤度をもたせている。このように図 3の例によれば、インタレース状態の色差信号が 4 : 2 : 0をラインダプラで 4 : 2 : 2に補間したものである場合に、確実にジャギーを低減する色差信号 IP変換方法を実現することができる。

[0039] 図 5は、図 1における検出部 13の別の例である。図 5において 15は色差信号を 1ライン分遅延させる 1ライン遅延部、 31はレベル比較部である。図 5の検出部 13には色差信号の現フィールドが入力され、色差信号の注目画素のレベルが注目画素の上下の画素のレベルの間にあるか否かを検出するものである。直列接続された 1ライン遅延部 15により連続する 3ライン分の色差信号を得ることができる。注目ラインを連続する 3ラインの真中として、レベル比較部 31によりそれぞれ、注目画素とその上とのレベル関係、注目画素とその下とのレベル関係をそれぞれ求める。図 5の例では注目画素が（上下画素レベルの小さレ、方）（設定値）から（上下画素レベルの大きレ、方)

+ (設定値）までの間に注目画素のレベルが入っていれば「1」を出力することになる

。すなわち、注目画素が上下ラインのレベルの間にある場合が検出できる。ここでも設定値は誤差を考慮した尤度の意味合レ、で設定することができる。正しレ、4 : 2 : 2信号の場合は色差信号の帯域が広い場合があり、注目画素が上下ラインのレベル内にあるとは限らなレ、。一方、 4 : 2 : 0色差信号をインタレースのフィールド内で 4： 2： 2に補間した場合は、ラインダプラ検出では検出できなレ、が、注目画素のレベルは上下の画素のレベル内に収まっていると考えられるために、図 5の構成で検出することができる。その結果、図 1に示した色差信号 IP変換静止画処理部 6からはジャギーのない IP変換静止画処理結果が出力されることになる。なお、輝度、色差のレベル比較部 31に対する設定値は共通とした力別々でも構わなレ、。このように図 5の例によれば、インタレース状態の色差信号力 4 : 2 : 0をラインダプラ又はインタレース状態のフィールド内で補間したものである場合に、確実にジャギーを低減する色差信号 IP変換方法を実現することができる。

[0040] 図 6は、図 1における検出部 13の別の例である。図 6において 20は垂直ハイパスフィルタ、 17は比較部である。図 6に入力される現フィールドの垂直高域成分をハイパスフィルタ 20で検出し、比較部 17で設定値と比較して、垂直高域成分が小さい場合に「1」を出力する構成である。入力されるインタレースの色差信号の垂直高域成分が小さレ、場合はもともと帯域のなレ、4 : 2 : 0色差信号を 4： 2： 2に補間したものであると考えられ、また大きい場合はもともと帯域のある 4 : 2 : 2信号であると考えられるために、図 6の構成にて (A)と（B)を識別することができる。その結果、図 1に示した色差信号 IP変換静止画処理部 6からは、 (B)の場合はジャギーのない IP変換静止画処理結果カ (A)の場合は従来のフィールド間はめ込みで帯域劣化のない IP変換静止画結果がそれぞれ出力されることになる。

[0041] 図 7は、図 6に示した検出部 13の他の例であり、累積部 21と比較部 17とが追加されている。累積部 21は、例えば 1フィールド期間の垂直高域成分の小さい画素の累積を求める手段であり、この結果を比較部 17で設定値との大小を出力する。すなわち、 1画面中での垂直高域成分のトータル量を知ることができ、フィールド単位で（A) 、（B)の判断を行うことができる構成である。（A)、（B)の判断と図 1に示した色差信号 IP変換静止画処理部 6の切り替えは、図 6に示した例と同様である。ただし、フィールドで判断を行うと結果の反映が次のフィールドにずれ込んでしまうために、図 7における色差信号入力は現フィールドより 1フィールド前の色差信号を入力することが好ましい。このように図 6の例によれば、インタレース状態の色差信号の垂直高域成分が小さレ、場合のみジャギー低減の色差信号 IP変換方法を選択することで、垂直高域成分が大きい場合に不用意にジャギー低減の色差信号 IP変換方法を選択することによる垂直帯域劣化を防ぐことができる。

[0042] 図 8は、図 1における検出部 13の別の例である。図 8において 22は ID1検出部である。 ID1信号とは、映像信号のアスペクト比情報等を輝度信号の垂直ブランキング期間に重畳したもので、例えば受信機側でこの情報を検出し、受信機の画面比に適切な表示をさせることができる。この ID1信号はデジタル映像信号に重畳されているがアナログ放送等には重畳されなレ、。すなわち ID1信号が重畳されているということは、色差信号が 4： 2： 0から 4： 2： 2色差信号に補間されてレ、るものである可能性が高ぐまた重畳されてレ、なレ、とレ、うことは正しレ、4 : 2 : 2色差信号である可能性が高レ、。よつて輝度信号を入力とし、 ID1信号が検出されれば、検出部 13は「1」を出力し、その結果図 1に示した色差信号 IP変換静止画処理部 6からはジャギーのなレ、IP変換静止画処理結果が出力されることになる。このように図 8の例によれば、 ID1信号の有無でもともとの信号がアナログかデジタルデコードしたものかを判断することができ、デジタルデコード時は色差信号は 4 : 2 : 0を 4 : 2 : 2に補間したものであるために、デジタルデコード時の場合に、確実にジャギーを低減する色差信号 IP変換方法を実現すること力 Sできる。

[0043] 図 9は、図 1における検出部 13の別の例である。図 9において 17は比較部、 19は論理 AND部である。色のジャギーは色差信号のレベルが大きく輝度信号のレベルが低いところで顕著に目立つ。図 9の例では色差信号のレベルが大きく輝度信号のレベルが低い画素を検出することを目的としている。輝度信号、色差信号はそれぞれ別々の比較部 17にてそれぞれの設定値との大小関係を求める。輝度信号に対しては設定値よりもレベルが低い画素で「1」を、色差信号に対しては設定値よりもレベルが高い画素で「1」をそれぞれ出力し、共に「1」が検出された画素に対して論理 AND 部 19が「1」を出力する構成である。色差信号のレベルが大きく輝度信号のレベルが低いと判断された画素のみ、すなわちジャギーが目立つ可能性のある画素のみ図 1 に示した色差信号 IP変換静止画処理部 6からはジャギーのない IP変換静止画処理結果が出力されることになる。このように図 9の例によれば、ジャギーの目立ちやすい輝度が小さく色差が大きい画素に対してのみジャギー低減色差信号 IP変換方法を選択することで、ジャギーが目立たない画素に対しては従来の IP変換方法が選択でき、副作用を抑えることができる。また図 9の例において色差静止画処理方法選択混合部 14の動作は、検出部 13からの 2値化の制御信号に基づき切り替えを行う説明としたが、比較器 17の設定値を複数個準備し、輝度信号、色差信号のレベルを多段階で検出し、更に論理 AND部 19の代わりに比較部 17の検出結果から輝度レベルが低く色差レベルが高い状態から輝度レベルが高く色差レベルが低い状態までを複数段階で出力する論理とすることで、図 1における色差静止画処理方法選択混合部 14の切り替えを検出部 13から出力されるレベルに応じた割合で静止画処理部を混合する構成にしてもよい。

図 10は、本発明の色差信号 IP変換静止画処理部 6の別の例を示したものである。図 10において、 6は色差信号 IP変換静止画処理部であり、従来例の図 21の 6で示した部分である。 10は従来の色差信号の静止画処理部であるフィールド間補間部、 1 1は色差 4 : 2 : 0フィールド間補間部、 12は色差フィールド内ライン補間部、 13は映像信号から特徴を検出する検出部、 14は両補間部 10， 12の出力を検出部 13の結果に応じて選択混合する色差静止画処理方法選択混合部である。ここで、各部 10， 11 , 12, 14の動作は図 1で説明した例と全く同様のため説明を省略する。図 1との唯一の違いは検出部 13の入力を、従来の色差フィールド間補間部 10の出力としたことである。すなわち、従来のフィールド間はめ込みの IP変換の結果にジャギーが検出されない場合は従来の色差フィールド間補間部 10の出力を色差信号 IP変換静止画処理出力とし、ジャギーが検出された場合は両補間部 11 , 12のジャギー低減対策を施した色差信号 IP変換静止画処理を出力とすることで、ジャギーのない色差信号静止画処理出力を得ることができる。以下に、ジャギーの有無を検出する検出部 13の例を示す。

[0045] 図 11は、図 10における検出部 13の例である。図 11において、 15は 1ライン遅延部、 32はレベル比較部である。図 11の検出部 13には従来の色差フィールド間補間部 10の結果を入力し、色差信号の注目画素のレベルが注目画素の上下の画素のレべルの範囲外にあるか否かを検出するものである。直列接続された 1ライン遅延部 15により連続する 3ライン分の色差信号を得ることができる。注目ラインを連続する 3ラインの真中として、レベル比較部 32により、注目画素とその上とのレベル関係と、注目画素とその下とのレベル関係とをそれぞれ求める。図 11の例では注目画素が（上下画素レベルの小さい方）—（設定値)よりも小さい場合、又は（上下画素レベルの大きい方） + (設定値)よりも大きい場合に「1」を出力することになる。一般の映像信号の場合、色差信号がライン方向に急激に変化する可能性は低ぐ図 11の検出部 13で検出するような、注目画素のレベルが上下の画素レベルよりも設定値以上離れてレ、る場合は、ジャギーが発生している可能性が高いと考えられる。よってこの場合には検出部 13から「1」を出力することで、図 10に示した色差信号 IP変換静止画処理部 6からジャギーのない IP変換静止画処理結果が出力されることになる。このように図 11の例によれば、従来のフィールドはめ込み色差信号 IP変換の結果力上下の色差信号の値の範囲外、又は（上下の画素の値の範囲） + (所定値）の範囲外である場合はジャギーが発生していると考えられるために、その場合にジャギーを低減する色差信号 IP変換方法を選択することで、確実にジャギーを低減することができる。

[0046] 図 12及び図 13は、図 10における検出部 13の別の例である。図 12及び図 13において、 20は垂直ハイパスフィルタ、 17は比較部である。図 13において、 21は累積部、 17は比較部である。図 12及び図 13の動作は既に説明した図 6及び図 7と同じである力比較部 17の論理が逆である。すなわち図 12においては、従来の色差フィールド間補間部 10の結果の垂直高域成分が設定値よりも大きい場合に「1」を、図 13においては、従来の色差フィールド間補間部 10の結果の垂直高域成分の 1画面中でのトータル量が設定値よりも大きい場合に「1」をそれぞれ出力する。一般の映像信号の場合、色差信号の垂直方向の高域成分はさほど多くないと考えられるため、垂直高域成分が多いということはジャギーを含んでいる可能性があると判断し、検出部 13 から「1」を出力することで、図 10に示した色差信号 IP変換静止画処理部 6からジャギ一のない IP変換静止画処理結果が出力されることになる。このように図 12及び図 13 の例によれば、従来のフィールドはめ込み色差信号 IP変換の結果の直高域成分が所定値より大きい場合はジャギーが発生していると考えられるために、その場合にジャギーを低減する色差信号 IP変換方法を選択することで、確実にジャギーを低減すること力 Sできる。

[0047] 図 14は、本発明の色差信号 IP変換静止画処理部の別の例を示したものである。図

14において、 6は色差信号 IP変換静止画処理部であり、従来例の図 21の 6で示した部分である。 10は従来の色差信号の静止画処理部であるフィールド間補間部、 11 は色差 4 : 2 : 0フィールド間補間部、 12は色差フィールド内ライン補間部、 13は映像信号から特徴を検出する検出部、 14は両補間部 10， 12の出力を検出部 13の結果に応じて選択混合する色差静止画処理方法選択混合部である。ここで、各部 10， 11 , 12, 14の動作は図 1で説明した例と全く同様のため説明を省略する。図 14の例では検出部 13の検出の元になる信号は、映像 (輝度 ·色差)信号、従来のフィールド間補間部 10の出力としている。これまでに説明した例では検出部 13は個々の検出結果により従来のフィールド間補間とジャギーを低減する色差信号 IP変換方法とのいずれかを選択する構成としていた力図 14の例における検出部 13ではこれまでに説明した検出部 13の複数の論理を組み合わせ、静止画処理を切り替える制御を行うものである。このように図 14の例によれば、静止画処理の選択を、複数の論理の組み合わせで行うことで、単体論理より高レ、精度でジャギー低減色差信号 IP変換方法を選択すること力できる。

[0048] 図 15は、本発明の色差信号 IP変換部を搭載したデジタル映像機器セットの映像関連部分を抜き出したブロック図である。図 15において、 23はデジタル映像機器セット、 24は A/D変換器、 25は MPEGデコード等を行うデジタルビデオデコーダ、 27は本発明の IP変換方法を含むフォーマット変換部、 26はセットの制御を行う制御マイコン、 33は HDMI等のデジタル IFのユーザデータをデコードする情報デコード部、 34 は選択部である。 IP変換部を搭載したデジタル映像機器セット 23の例としては、テレビ受信機、デジタル STB (セットトップボックス）、 DVDプレーヤ、 DVDレコーダ、 HD レコーダ等の様々な映像機器が考えられる。

[0049] デジタル映像機器セット 23には多種類の信号ソースが入力されることが考えられる。例えばアナログ IFの入力にはアナログ放送、 DVDからのアナログ接続等が考えられる。デジタル IFは、有線又は無線の HDMI接続、 DV接続等が考えられる。またデジタルビデオデコーダ 25への接続としては、 MPEG状態のデジタル放送、デジタルメディア、 DVDセットであれば DVDから読み出したデータ等が考えられる。表示パネルを持つテレビ受信機では、入力されるいかなる信号もセットの表示パネルの画素数に応じてフォーマット変換部 27で変換する必要がある。表示パネルがプログレシブ表示の場合はインタレース入力に対してはフォーマット変換部 27にて IP変換が行われる。また表示パネルを持たないデジタル STB、 DVDプレーヤ、 DVDレコーダ、 HD レコーダ等の場合は、外部に接続されるテレビ受信機やモニタの種類を特定できないために、映像規格で定められた複数種類の映像フォーマットでセットより映像信号を出力させることが一般的である。この場合にもインタレース入力をプログレシブで出力する場合はフォーマット変換部 27で IP変換を行うことになる。

[0050] フォーマット変換部 27で行う IP変換では、これまでの例にて色差信号のジャギーを映像信号の特徴より検出し、ジャギーの抑制と解像度の維持との両立を実現したが、セットレベルの制御においてもこれまでに説明した検出部 13の出力により制御することで、より高い精度でジャギーを低減することができる。例えばこれまでの例で誤検出によりかえって色差信号の劣化が目立つ場合も考えられるため、実際に映像を見るユーザがリモコンにより色差信号 IP変換静止画処理を、従来のフィールド間はめ込みかジャギー低減型か、自動検出かを任意に選択できるような構成を考えることができる。このように図 15の例によれば、静止画処理の選択を自動選択以外に、手動で切り替えることができ、人間の目の判断 '好みにより最適なジャギー低減を実現することができる

また、近年デジタル IFにおいて例えば HDMI接続の場合は単なる映像信号の伝送以外にも、セット機器間において互いのセット情報を予め定められたユーザデータ領域に重畳して伝送することができる。このユーザデータ領域に 4： 2： 0を 4： 2： 2色差信号に補間したものか否かの情報を持たせることで、情報デコード部 33にて情報を抜き出し、 4 : 2 : 0を 4 : 2 : 2色差信号に補間したものである場合には、制御マイコン 26 経由でフォーマット変換部 27中の IP変換の色差信号 IP変換静止画処理部を、ジャギーを低減する色差信号 IP変換方法を選択するようにする。このように図 15の例によれば、デジタル IFの機器接続情報により、 4 : 2 : 0を 4 : 2 : 2色差信号に補間したデジタル機器が接続されてレ、ることが検出された場合に、確実にジャギーを低減する色差信号 IP変換方法を実現することができる。

[0051] また、図 15のデジタル映像機器セット 23では、フォーマット変換部 27に複数の映像信号ソースが選択部 34で選択され入力される。特にデジタルビデオデコーダ 25の出力は MPEGデコードであるため必ず 4： 2： 0を 4： 2： 2色差に補間したものとなっている。いずれの映像信号を選択するかは制御マイコン 26で制御を行うため、映像信号がデジタルビデオデコーダ 25からのものを選択する場合は、同時に色差信号 IP 変換静止画処理出力をジャギー低減する色差信号 IP変換方法を選択するようにする。

[0052] なお、デジタル映像機器セット 23は、集積回路で実現されることが普通である。集積回路の 1チップの範囲は様々な構成が考えられる力図 15の点線で含む範囲、すなわちデジタルビデオデコーダ 25とフォーマット変換部 27とが集積される場合は、制御マイコン 26がデジタルビデオデコーダ 25の出力を選択するときに、同時に色差信号 IP変換静止画処理出力をジャギー低減する色差信号 IP変換方法を選択するようにする。

[0053] このように図 15の例によれば、少なくともデジタルビデオデコーダ 25を含む多入力の映像信号が接続される前記 IP変換方法による IP変換部を有するシステム又は集積回路において、デジタルビデオデコーダ 25では 4 : 2 : 0色差信号であるため、デジタルデコーダ出力を IP変換する場合はジャギー低減静止画処理を選択することで、確実にジャギーを低減する色差信号 IP変換方法を実現することができる。

[0054] 図 16は、別の方法でジャギーを低減する例である。図 16において、 6は色差信号 I P変換静止画処理部であり、従来例の図 21の 6で示した部分である。 10は従来のフィールド間補間部、 28は垂直 3タップ中央値フィルタである。垂直フィルタ 28の入力及び出力をそれぞれ 28X、 28Yとする。従来のフィールド間補間部 10の出力は、背景技術で説明したものであり、ここでの説明は省く。

[0055] 図 17 (a)は、ラインダプラで補完した 4： 2： 2信号を従来のフィールド間補間部 10でフィールド間はめ込みを行ったプログレシブ結果であって、図 23 (c)と同じものである。図 16の例では、図 17 (a)のジャギーを含むプログレシブ信号に対して垂直フィルタ 28を適用することを特徴としている。垂直フィルタ 28は、垂直方向の連続する 3タツプの中央値を出力するフィルタ構成である。図 17 (a)にこのフィルタ処理を適用すると、図 17 (b)になり、ジャギーが除去できる。

[0056] 図 18 (a)及び図 18 (b)は、ジャギーを含まないプログレシブ信号に本発明の垂直フィルタ 28を適用したものである。図 18 (a)はジャギーを含まないプログレシブ信号、図 18 (b)は垂直フィルタ 28の適用後である。中央値を出力するフィルタによりエッジは保存されたままであることが分かる。

[0057] このように図 16の例によれば、ジャギーが発生している場合は中央値フィルタ 28でジャギーを低減させ、ジャギーが発生していない場合は中央値フィルタ 28で垂直方向の周波数特性を劣化させない色差信号 IP変換方法を実現することができる。

[0058] 図 19は、図 18で説明した垂直フィルタ 28を用いた他の例である。図 19において、

6は色差信号 IP変換静止画処理部であり、従来例の図 21の 6で示した部分である。

10は従来のフィールド間補間部、 28は垂直 3タップ中央値フィルタ、 13は検出部、 1 4は従来のフィールド間補間部 10及び垂直フィルタ 28の出力を検出部 13の結果に応じて選択混合する色差静止画処理方法選択混合部である。図 18の例では垂直ェッジを保持したままジャギーを低減することができる力絵柄によってはジャギーでなレ、ものも中央値フィルタ 28によりフィルタされ、映像が劣化する場合が生じる。図 19 の例は、検出部 13を設けることで、従来のフィールド間補間部 10の出力と垂直フィルタ 28の出力とを適宜切り替えることにより、副作用を最小限に抑えることができる。検出部 13及び選択混合部 14の動作はこれまでに説明した、図 3、図 5、図 6、図 7、図 8、図 9、図 11、図 12、図 13と全く同様であるために説明は省略する。また図 15に示したフォーマット変換部 27内の IP変換方法にも図 19に示した IP変換部を適用できる。

[0059] なお、全ての例において静止画処理切り替えの論理（0， 1)は上記の例に限ったものではなぐ本発明の意図する制御であればよい。また全てハードウェアイメージのブロック図で説明した力意図する結果が同じであればソフトウェアの制御でもよいことは言うまでもない。またフィールド間の処理は現フィールドと 1フィールド過去のフィ一ルドの例を記載した力現フィールドと 1フィールド未来でも構わなレ、。また垂直フィルタのタップ数は上記の例に示したものに限られるものではなレ、。また図 1、図 10、図 14に示した色差信号 IP変換静止画処理部 6において、従来のフィールド間補間部 10と 4 : 2 : 0状態でのフィールド補間部 11とを別のブロックで記載している力両者の結果が得られればよく、重複する処理は共通化してもかまわなレ、。

[0060] 更に、全ての例は図 21に示す従来の動き適応型 IP変換部 1の中で、特に色差静止画処理部 6の置き換えとして説明を行った力 S、図 20に示すように IP変換全体として従来のフィールド間補間 41、ジャギー低減補間 42、動画用フィールド内補間 43の 3 つを、動き検出情報を用レ、、かっこれまでの例で説明した検出部 13の論理で切り替える構成で実現しても、同様の効果を発揮できることは言うまでもない。

産業上の利用の可能性

[0061] 以上説明してきたとおり、本発明に係る色差信号 IP変換方法は、入力される色差信号の素性に応じ、ジャギーを低減しつつ、正しい 4 : 2 : 2信号に対しては本来の周波数特性の劣化も抑えた色差信号 IP変換を提供でき、動き適応型 IP変換における色差信号の静止画信号生成等に有用である。

Claims

請求の範囲

[1] 動き適応型のインタレース ·プログレシブ（IP)変換にぉレ、て、

連続する 2フィールドの画素をはめ込むことでプログレシブ信号を生成する第 1の静止画処理の結果と、連続する 2フィールドのデータをライン単位で間引いたもの同士の画素をはめ込むことでプログレシブ信号を生成し、更に生成されたプログレシブの状態で間引いた分だけライン補間を行う第 2の静止画処理の結果とを、出力色差信号のジャギーが少なくなるように適宜選択又は混合することにより、色差信号の静止画用画素補間を行うことを特徴とする色差信号 IP変換方法。

[2] 動き適応型のインタレース ·プログレシブ（IP)変換にぉレヽて、

連続する 2フィールドの画素をはめ込むことでプログレシブ信号を生成し、前記プログレシブ信号に対して垂直方向の後処理フィルタを施したものを静止画用補間信号とすることにより、色差信号の静止画用画素補間を行うことを特徴とする色差信号 IP 変換方法。

[3] 動き適応型のインタレース ·プログレシブ（IP)変換にぉレヽて、

連続する 2フィールドの画素をはめ込むことでプログレシブ信号を生成する第 1の静止画処理の結果と、前記プログレシブ信号に対して垂直方向の後処理フィルタを施した第 2の静止画処理の結果とを、出力色差信号のジャギーが少なくなるように適宜選択又は混合することにより、色差信号の静止画用画素補間を行うことを特徴とする色差信号 IP変換方法。

[4] 請求項 2又は 3に記載の色差信号 IP変換方法において、

前記後処理フィルタは、注目画素及び上下の画素から中央値を出力することを特徴とする色差信号 IP変換方法。

[5] 請求項 1又は 3に記載の色差信号 IP変換方法において、

IP変換前のインタレース状態の色差信号力連続 2ラインずつ同じ値、又は連続 2 ラインの差分が所定値より小さいデータであると判断される場合に、前記第 2の静止画処理の結果を選択することを特徴とする色差信号 IP変換方法。

[6] 請求項 1又は 3に記載の色差信号 IP変換方法において、

IP変換前のインタレース状態の色差信号の値力 S、上下の画素の値の範囲内、又は上下の画素の値から所定の幅の範囲内であると判断される場合に、前記第 2の静止画処理の結果を選択することを特徴とする色差信号 IP変換方法。

[7] 請求項 1又は 3に記載の色差信号 IP変換方法において、

IP変換前のインタレース状態の色差信号の垂直高域成分が所定値より小さい場合に、前記第 2の静止画処理の結果を選択することを特徴とする色差信号 IP変換方法

[8] 請求項 1又は 3に記載の色差信号 IP変換方法において、

IP変換前のインタレース状態の映像信号の垂直ブランキング期間に重畳されている ID1信号を検出し、 ID1信号が重畳されている場合は、前記第 2の静止画処理の結果を選択することを特徴とする色差信号 IP変換方法。

[9] 請求項 1又は 3に記載の色差信号 IP変換方法において、

IP変換前のインタレース状態の、輝度信号の値が輝度信号所定値よりも小さぐ色差信号の値が色差信号所定値よりも大きい画素に対して、前記第 2の静止画処理の結果を選択することを特徴とする色差信号 IP変換方法。

[10] 請求項 1又は 3に記載の色差信号 IP変換方法において、

IP変換前のインタレース状態の、輝度信号の値が輝度信号所定値よりも小さぐ色差信号の値が色差信号所定値よりも大きい画素については、前記第 1の静止画処理の結果に対する前記第 2の静止画処理の結果の混合割合を大きくすることを特徴とする色差信号 IP変換方法。

[11] 請求項 1又は 3に記載の色差信号 IP変換方法において、

前記第 1の静止画処理結果のプログレシブ状態の色差信号の値が、上下の色差信号の値の範囲外、又は上下の画素の値の範囲から所定の幅の範囲外であると判断される場合に、前記第 2の静止画処理の結果を選択することを特徴とする色差信号 I P変換方法。

[12] 請求項 1又は 3に記載の色差信号 IP変換方法において、

前記第 1の静止画処理結果のプログレシブ状態の垂直高域成分が所定値より大きい場合に、前記第 2の静止画処理の結果を選択することを特徴とする色差信号 IP変換方法。

[13] 請求項 1又は 3に記載の色差信号 IP変換方法において、

前記第 1及び第 2の静止画処理の結果の選択混合を、請求項 5から請求項 12までの 2つ以上の論理の組み合わせで行うことを特徴とする色差信号 IP変換方法。

[14] 請求項 1又は 3に記載の色差信号 IP変換方法において、

前記 IP変換方法の搭載されているセットに対して、ユーザが、前記第 1の静止画処理の選択と、前記第 2の静止画処理の選択と、請求項 13の選択とを切り替えることを特徴とする色差信号 IP変換方法。

[15] 請求項 1又は 3に記載の色差信号 IP変換方法において、

前記 IP変換方法の搭載されているセットマイコンで検出されるデジタル IFの機器接続情報により、デジタル機器が接続されていることが検出された場合は、前記第 2の静止画処理の結果を選択することとし、

前記デジタル機器接続検出は、色差信号が 4： 2： 0信号から 4： 2： 2信号に復調されて前記 IP変換方法に接続される信号であることを検出することを特徴とする色差信号 IP変換方法。

[16] 請求項 1又は 3に記載の色差信号 IP変換方法において、

少なくともデジタル映像信号デコーダを含む多入力の映像信号が接続される前記 I P変換方法による IP変換部を有するシステム又は集積回路にて、前記 IP変換の入力として前記デジタル映像信号デコーダの出力が選択される場合に、前記第 2の静止画処理の結果を選択することを特徴とする色差信号 IP変換方法。