JPH11298861A - 画像信号のフレーム数変換方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 高画質でしかも回路規模の小さい画像信号の
フレーム数変換方法および装置を提供する。 【解決手段】 ＩＰ変換部１は、飛び越し走査信号Ｓ１
を順次走査の信号Ｓ２に変換する。動きベクトル探索部
３は、動き検出部４で信号Ｓ２と前フレームの信号Ｓ３
で動き検出信号ＭＤ１，ＭＤ２を検出する。ブロック単
位動きベクトル探索部５は、信号ＭＤ１に従って動きベ
クトルＢＶを検出する。画素単位動きベクトル生成部６
は、動きベクトルＢＶ及び信号ＭＤ２に基づいて画素単
位の動きベクトルＰＶを生成する。動き補正信号処理部
７は、動き補正内挿フレーム生成部８で画素単位動きベ
クトルＰＶを用いた動き補正信号処理で内挿フレーム信
号ＳＭＣを生成する。メモリ部９は信号Ｓ２と信号ＳＭ
Ｃを用いてフレーム数を変換処理した順次走査の信号Ｓ
４を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像信号のフレーム
数変換方法および装置に係り、特に動き補正信号処理に
よりフレーム数を変換するに好適なフレーム数変換方法
および装置に関する。

【０００２】

【従来の技術】近年、マルチメディア化の進展に伴い、
テレビジョン受像機においても、各種方式のテレビジョ
ン信号やＰＣ画像信号等の画像フォーマットの異なる信
号を表示する機能が必要となる。また、高画質化や平面
ディスプレイ対応の機能として、順次走査による画像表
示機能が必要になる。これらの機能を実現するには、各
種入力信号を画像表示部のフォーマットに変換するた
め、フレーム数変換や順次走査化の信号処理が必要とな
る。この信号処理をコマ繰り返しやコマ落としなどの単
純な方法で行うと、動き画像で滑らかさが損なわれるモ
ーションジャダーなどの画質劣化が発生する。

【０００３】動き補正フレーム数変換処理は、この種の
画質劣化を回避する技術であり、動きベクトルを用いて
前後のフレームの画像位置を移動させて内挿フレームの
信号を生成するものである。この動き補正フレーム数変
換処理に関しては、例えば特開平７−１７０４９６号公
報において、動きベクトルを効率よく探索する技術が開
示されている。また特開平７−３３６６５０号公報にお
いては、動き補正に固有な動画エッジ周縁部における解
像度低下などの劣化を回避する技術が開示されている。

【０００４】

【発明が解決しようとする課題】しかしながら、これら
の従来技術においては、前者については動き検出の精度
に課題を有し、また後者については信号処理の複雑さに
課題を有している。すなわち従来の技術では、画質を高
めようとすると信号処理の回路規模が大きくなり、逆に
信号処理の回路規模を小さくすると画質劣化を十分排除
できなくなるというのが実情である。

【０００５】従って本発明の目的は、高画質でしかも回
路規模の小さい画像信号のフレーム数変換方法および装
置を提供することにある。

【０００６】

【課題を解決するための手段】上記目的は、画像信号よ
り検出した動画ブロックに対してブロックマッチング処
理でブロック単位の動きベクトルを検出し、この検出し
たブロック単位動きベクトルの動き補正誤差の大小に応
じて現ブロックと隣接ブロックの動きベクトルより画素
単位の動きベクトルを生成し、この画素単位の動きベク
トルの動き補正誤差の大小に応じて画像信号の内挿フレ
ームを生成し、この内挿フレームを用いて画像信号のフ
レーム数を変換する画像信号のフレーム数変換方法によ
り、達成される。

【０００７】また本発明に係るフレーム数変換装置で
は、画像信号に基づいて静止ブロック又は動画ブロック
を検出する動き検出部と、動画ブロックに対してブロッ
クマッチング処理でブロック単位の動きベクトルを検出
するブロック単位動きベクトル探索部と、検出したブロ
ック単位動きベクトルの動き補正誤差の大小に応じて現
ブロックと隣接ブロックの動きベクトルから画素単位の
動きベクトルを生成する画素単位動きベクトル生成部
と、画素単位の動きベクトルの動き補正誤差の大小に応
じて上記画像信号の内挿フレームを生成する動き補正内
挿フレーム生成部とを備える。ここで画像信号として
は、飛び越し走査の画像信号を用いる場合と順次走査の
画像信号を用いる場合があるが、基本的には両者の装置
構成は同じである。しかし具体的構成には違いがあるの
で、これらについては後述する。

【０００８】本発明は、具体的には、次のような技術的
手段を用いる。すなわち、動きベクトル探索処理に要す
る演算量の大幅な削減を図るため、以下のブロック単位
動きベクトル探索処理と、画素単位動きベクトル生成処
理の２段階の信号処理を採用する。

【０００９】まず、ブロック単位動きベクトル探索処理
では、ブロックマッチング処理で動きベクトルを探索す
るが、フレーム差分信号で動きを検出しないブロック
（以降静止ブロックと略称）と、動きを検出したブロッ
ク（以降動画ブロックと略称）とに分別する前処理を行
い、動画ブロックのみ以下に示す３種類のいずれかで探
索処理を行う。 （１）２重代表点ツリー探索処理：原点近傍は密、周縁
部は粗に予め設定した代表動きベクトルのうち、動き補
正誤差が最少なものを参照動きベクトルとし、この近傍
の動きベクトルのうちの動き補正誤差が最少なものを再
探索してブロック単位の動きベクトルを検出する。 （２）動きベクトル分布適応探索処理：前フレームの動
きベクトルの発生頻度の形態に応じて、探索領域や代表
動きベクトルの配列が異なる複数種類の探索モードのい
ずれかを選択し、この選択したモードに従ってブロック
単位の動きベクトルを検出する。 （３）変換ベクトル探索処理：画像符号化で使用する動
きベクトル情報よりベクトル変換処理で生成した１フレ
ームの動きベクトルを参照動きベクトルとし、この近傍
の動きベクトルのうちの動き補正誤差が最少なものを再
探索してブロック単位の動きベクトルを検出する。

【００１０】次に、画素単位動きベクトル生成処理で
は、ブロックを水平、垂直に細分化したミニブロックに
対して、以下に示す３種類のいずれかのミニブロック分
割探索処理を行う。 （１）ブロック予測誤差適応探索処理：ブロック単位の
動きベクトルによる動き補正誤差が閾値以上のブロック
に対し、ミニブロック毎に、現ブロックおよび隣接ブロ
ックの動きベクトルのうちでミニブロックを内包する算
出領域での動き補正誤差が最少なものをミニブロック内
の画素の動きベクトルとして検出する。 （２）ブロックミニブロック予測誤差適応探索処理：ブ
ロック単位の動きベクトルによる動き補正誤差の大小に
応じて閾値を変化させ、ブロック単位の動きベクトルに
よるミニブロックの動き補正誤差が閾値以上のミニブロ
ックでは、現ブロックおよび隣接ブロックの動きベクト
ルのうちでミニブロックを内包する算出領域での動き補
正誤差が最少なものをミニブロック内の画素の動きベク
トルとして検出する。 （３）Ｖエッジ適応探索処理：画像信号のＶエッジ領域
を含むミニブロックでは、現ブロック及び隣接ブロック
の動きベクトルのうちでミニブロックを内包する横長な
算出領域で動き補正誤差が最少なものをミニブロック内
の画素の動きベクトルとして検出する。 以上に述べた本発明の動きベクトル探索処理によれば、
高精度な動きベクトルの検出が、全探索に較べて２桁〜
３桁程度削減した演算量で可能となる。

【００１１】動き補正信号処理では、動き補正内挿フレ
ームの信号を、以下に示す２種類のいずれかの処理で生
成する。 （１）予測誤差適応動き補正処理：動きベクトル探索処
理で検出した動きベクトルによるブロック動き補正誤差
とミニブロック動き補正誤差の大小に応じて閾値を変化
させ、前フレームの画像の位置を動き補正ベクトルで移
動させて生成する動き補正前フレーム信号と、現フレー
ムの画像の位置を動き補正ベクトルで移動させて生成す
る動き補正現フレーム信号との差分信号成分が閾値以上
の時は、前、現フレームのうち内挿フレームとの距離が
近いフレームの信号で置換する。 （２）動き速度適応動き補正処理：動きベクトル探索処
理で検出した動きベクトルの発生頻度の形態でモーショ
ンジャダー妨害が目立ちやすい速度の画像を含むフレー
ムを検出し、この検出したフレームに限定して動き補正
内挿フレームの信号を生成する。

【００１２】以上に述べた本発明の動き補正信号処理に
よれば、動き補正処理に固有な画質劣化、例えば、画像
の一部が不適切な画像に置き換えられる孤立点的な劣化
や動画のエッジ部がフリッカしたり動きが不自然に見え
たりする劣化の大幅な抑圧が可能となる。また本発明で
は、シーンチェンジの領域においては、動きベクトル探
索処理と動き補正内挿フレーム信号生成の処理を中止す
る。この結果、シーンチェンジ領域で発生する動きベク
トル探索処理での膨大な演算量の発生を抑圧することが
できる。以上に述べた本発明の技術的手段によれば、高
画質・低コストな画像信号のフレーム数変換方法および
装置の実現が可能となる。

【００１３】さらに本発明に係るテレビジョン受像機
は、画像信号を入力する入力部と、画像信号に基づいて
ブロック単位の動きベクトルを検出し、ブロック単位動
きベクトルの動き補正誤差の大小に応じて現ブロックと
隣接ブロックの動きベクトルより画素単位の動きベクト
ルを生成し、画素単位の動きベクトルの動き補正誤差の
大小に応じて画像信号の内挿フレームを生成することに
より画像信号のフレーム数を変換処理する画像信号のフ
レーム数変換部と、画像信号のフレーム数変換部の出力
を表示する表示部とを備えて構成される。本発明によれ
ば、マルチソース対応の高画質なテレビジョン受像機を
簡単な回路で且つ低コストで作製することができる。

【００１４】

【発明の実施の形態】本発明に係るフレーム数変換装置
の第１の実施例について、図１〜図２０を用いて説明す
る。

【００１５】図１は、本実施例のブロック構成図であ
る。図において、ＩＰ変換部１は、飛び越し走査の入力
画像信号Ｓ１（輝度信号成分と色差信号成分）を入力
し、飛び越し−順次の走査変換を行う。例えば、入力画
像信号Ｓ１の輝度信号成分は動き適応型の補間処理、色
差信号はライン間の補間処理で補間走査線の信号を生成
し、出力に順次走査の信号系列Ｓ２（輝度信号成分と色
差信号成分）を得る。なお、入力画像信号がテレシネ画
像信号（映画などのフィルム画像を２−３プルダウン処
理でテレビ信号のフォーマットに変換した信号）の場合
は、フィルムモードの補間処理（同一フィルムフレーム
に属す飛び越し走査の信号で補間走査線の信号を生成）
で順次走査の信号系列に変換してもよい。

【００１６】１フレーム遅延部２は、順次走査の現フレ
ームの信号系列Ｓ２を１フレーム期間遅延させた前フレ
ームの信号系列Ｓ３を生成する。この信号系列Ｓ２及び
Ｓ３は、それぞれ動きベクトル探索部３と動き補正信号
処理部７に供給される。動きベクトル探索部３は、動き
検出部４と、ブロック単位動きベクトル探索部５と、画
素単位動きベクトル生成部６とから構成される。動き検
出部４は、現フレームの信号系列Ｓ２と前フレームの信
号系列Ｓ３の両輝度信号成分の減算処理で１フレーム間
の差分信号を抽出し、これを２値量子化して動き検出信
号ＭＤ１、ＭＤ２を出力する。この構成の詳細について
は後述する。

【００１７】ブロック単位動きベクトル探索部５は、ブ
ロック単位（例えば１６画素ｘ１６ラインあるいは８画
素ｘ８ライン）で動きベクトルを検出する。すなわち、
動き検出信号ＭＤ１が０のブロックは静止ブロックと判
定し、ブロック単位動きベクトルＢＶに０を出力する。
一方、動き検出信号ＭＤ１が１のブロックは動画ブロッ
クと判定し、信号系列Ｓ２及びＳ３の輝度信号成分に対
して、前述した２重代表点ツリー探索処理あるいは動き
ベクトル分布適応探索処理を行い、ブロック単位動きベ
クトルＢＶを検出する。この構成の詳細については後述
する。

【００１８】画素単位動きベクトル生成部６は、ミニブ
ロック分割探索処理で画素単位動きベクトルＰＶを生成
する。すなわち、前述したブロック予測誤差適応探索処
理、ブロックミニブロック予測誤差適応探索処理あるい
はＶエッジ適応探索処理でミニブロック単位（例えば２
画素ｘ２ライン）で画素単位動きベクトルＰＶを検出す
る。また、動き検出信号ＭＤ２が０の画素は静止画素と
判定してＰＶに０を割り当てる。この具体的な構成につ
いても後述する。

【００１９】動き補正信号処理部７は、動き補正内挿フ
レーム生成部８と、メモリ部９とから構成される。動き
補正内挿フレーム生成部８は、画素単位動きベクトルＰ
Ｖをもとに動き補正ベクトルを作り、現フレームの信号
Ｓ２と前フレームの信号Ｓ３の画像の位置をこの動き補
正ベクトルで移動させた信号で内挿フレームの信号系列
ＳＭＣを生成する。この具体的な構成についても後述す
る。メモリ部９は、現フレームの信号系列Ｓ２の特定の
フレーム順の信号と内挿フレームの信号系列ＳＭＣの書
き込み動作と読み出し動作を行い、この出力に動き補正
フレーム数変換処理でフレーム周波数をアップした順次
走査の画像信号系列Ｓ４（輝度信号成分と色差信号成
分）を得る。

【００２０】以下、本実施例における主要ブロック部に
ついて説明する。図２は、動き検出部４の一構成例を示
す図である。図において減算部１０は、現フレームの信
号Ｓ２と前フレームの信号Ｓ３の輝度信号成分の減算を
行い、１フレーム間の差分信号成分ＦＤを抽出する。２
値量子化部１１−１は、差分信号成分ＦＤの信号レベル
が設定値±Ｔｈａ未満の場合は静止と判定して０、±Ｔ
ｈａ以上の場合は動きと判定して１の２値信号を出力す
る。静動ブロック判定部１２は、ブロック単位で２値信
号の１の有無を検出し、全て０の時は静止ブロックと判
定して動き検出信号ＭＤ１に０、それ以外の時は動画ブ
ロックと判定して１を出力する。２値量子化部１１−２
は、差分信号成分ＦＤの信号レベルが０の場合は静止と
判定して０、それ以外は動画と判定して１の動き検出信
号ＭＤ２を出力する。

【００２１】次に、ブロック単位動きベクトル探索部の
構成例について説明する。図３はブロック単位動きベク
トル探索部５の第１構成例を示す図、図４はこの第１構
成例におけるブロック単位動きベクトル探索のフローチ
ャート、図５はブロックマッチング処理における代表点
の配列例を示す図である。この第１構成例は、２重代表
点ツリー探索処理を行うに好適なものである。

【００２２】図３において、制御部１５は、図４に示す
ステップ１として、動き検出信号ＭＤ１に従って、ブロ
ックマッチング第１処理部１３とブロックマッチング第
２処理部１４の動作を制御する。すなわち、動き検出信
号ＭＤ１が０の静止ブロックでは、ステップ２の一形態
として、動きベクトル探索の動作は行わず、ブロック単
位動きベクトルＢＶに０を出力する。一方、動き検出信
号ＭＤ１が１の動画ブロックでは、以下に述べる動きベ
クトル探索の動作を行う。

【００２３】ブロックマッチング第１処理部１３は、図
４に示す第２ステップの探索処理を行う。すなわち、現
フレームの信号Ｓ２と前フレームの信号Ｓ３の輝度信号
成分を用いて、予め設定した複数個数の代表動きベクト
ル（図５に示すように原点近傍領域は密（例えば、代表
点間隔が水平方向２画素、垂直方向２ライン）に、周縁
部領域では粗（例えば、代表点間隔が水平方向４画素、
垂直方向４ライン）となるような２重代表点配列）につ
いてブロックマッチング処理で動き補正誤差を算出し、
これが最少となるものを代表動きベクトルＢＶＴに出力
する。なお、この探索処理では、既探索の直前のブロッ
クの動きベクトルも代表動きベクトルとして併用するこ
ともできる。

【００２４】なお、探索領域に関しては、モーションジ
ャダー妨害が検知される範囲、すなわち、動きの速度が
１秒／画面幅、１秒／画面高程度までの範囲をカバーす
るように、図５に示す水平方向±ＭＸ画素、垂直方向±
ＭＹラインの領域に限定してもよい。また、テレビ画像
はアスペクト比が４：３あるいは１６：９の横長画像で
あるため、水平方向の探索領域を垂直領域の探索領域よ
りも広く設定することが適している。

【００２５】ブロックマッチング第２処理部１４は、図
４に示す第３ステップの探索処理を行う。すなわち、現
フレームの信号Ｓ２と前フレームの信号Ｓ３の輝度信号
成分を用いて、代表動きベクトルＢＶＴを起点として、
ｘ成分が±ＤＸの範囲、ｙ成分が±ＤＹの範囲で定まる
動きベクトルについてブロックマッチング処理で動き補
正誤差を算出し、これが最少となるものをブロック単位
動きベクトルＢＶに出力する。

【００２６】この結果、ブロック単位動きベクトルの探
索は、動画ブロックに限定でき、かつ、代表動きベクト
ルによる部分探索が可能なため、探索に要する信号処理
の演算量を全探索に較べて１桁〜２桁程度低減できる。

【００２７】図６はブロック単位動きベクトル探索部５
の第２構成例を示す図、図７はこの第２構成例における
ブロック単位動きベクトル探索のフローチャート、図８
は動きベクトル発生頻度の計測と探索モード設定の一例
を示す図である。この第２構成例は、動きベクトル分布
適応探索処理を行うに好適なものである。

【００２８】図６に示すように第２構成例は、上述の第
１構成例にベクトル分布計測部１６を追加した構成で実
現する。このベクトル分布計測部１６は、動きベクトル
の発生頻度を１フレーム期間で計測し、発生頻度の分布
形態に応じて探索モード信号ＭＯＤの設定を行う。これ
を図７のフローチャートを用いて説明する。すなわち、
動き検出信号ＭＤ１が０の静止ブロックでは、動きベク
トル探索の動作は行わず、ブロック単位動きベクトルＢ
Ｖに０を出力する。一方、動き検出信号ＭＤ１が１の動
画ブロックでは、以下に述べる探索モード信号ＭＯＤで
定まる探索処理に従い、動きベクトル探索の動作を行
う。

【００２９】この探索モード信号ＭＯＤの設定例を図８
に示す。同図（ａ）は動きベクトル発生頻度を計測する
領域を示し、図の横軸は動きベクトルのｘ方向成分の絶
対値ａｂｓ（ｖｘ）、縦軸はｙ方向成分の絶対値ａｂｓ
（ｖｙ）である。そして、領域Ａでは、０＜ａｂｓ（ｖ
ｘ）＜＝４で０＜ａｂｓ（ｖｙ）＜＝２の範囲、領域Ｂ
では０＜ａｂｓ（ｖｘ）＜＝８で０＜ａｂｓ（ｖｙ）＜
＝４のうち領域Ａを除く範囲、領域Ｃでは０＜ａｂｓ
（ｖｘ）＜＝１２で０＜ａｂｓ（ｖｙ）＜＝６のうち領
域ＡとＢを除く範囲、領域Ｄでは０＜ａｂｓ（ｖｘ）＜
＝１６で０＜ａｂｓ（ｖｙ）＜＝８のうち領域ＡとＢと
Ｃを除く範囲、領域Ｅではａｂｓ（ｖｘ）＞１６又はａ
ｂｓ（ｖｙ）＞８の範囲での動きベクトルの発生個数を
それぞれ１フレーム期間にわたり計測し、これをもとに
その発生頻度を算出する。

【００３０】同図（ｂ）は、探索モードの設定条件およ
び探索処理の特性例を示す。ＭＯＤ１の探索モードは、
領域Ａの発生頻度が９５％以上の場合で、ブロックマッ
チング第２処理部１４で水平±４画素、垂直±２ライン
の範囲を全探索してブロック単位の動きベクトルＢＶを
検出する。ＭＯＤ２の探索モードは、領域ＡとＢの発生
頻度の合計が９５％以上の場合で、ブロックマッチング
第２処理部１４で水平±８画素、垂直±４ラインの範囲
を全探索してブロック単位の動きベクトルＢＶを検出す
る。ＭＯＤ３の探索モードは、領域ＡとＢとＣの発生頻
度の合計が９５％以上の場合で、ブロックマッチング第
１処理部１３では密領域からなる代表点動きベクトルで
水平±１２画素、垂直±６ラインの探索領域をブロック
マッチング処理して参照動きベクトルＢＶＴを検出す
る。ブロックマッチング第２処理部１４ではＢＶＴを起
点に再探索処理を行い、ブロック単位の動きベクトルＢ
Ｖを検出する。

【００３１】ＭＯＤ４の探索モードは、領域ＡとＢとＣ
とＤの発生頻度の合計が９５％以上の場合で、ブロック
マッチング第１処理部１３では密領域からなる代表点動
きベクトルで水平±１６画素、垂直±８ラインの探索領
域をブロックマッチング処理して参照動きベクトルＢＶ
Ｔを検出する。ブロックマッチング第２処理部１４では
ＢＶＴを起点に再探索処理を行い、ブロック単位の動き
ベクトルＢＶを検出する。ＭＯＤ５の探索モードは、領
域Ｅの発生頻度が５％以上の場合で、図３の第１の構成
例と同様に、水平±２４画素、垂直±１２ラインの探索
領域で２重代表点ツリー探索処理を行い、ブロック単位
の動きベクトルＢＶを検出する。なお、以上に述べたブ
ロック単位動きベクトル探索部では、動き補正誤差の算
出を画像信号の輝度信号成分で行うが、輝度信号成分と
色信号成分の両者で行うことも可能である。

【００３２】次に、画素単位動きベクトル生成部６の構
成例について説明する。図９は画素単位動きベクトル生
成部６の第１構成例を示す図、図１０は第１構成例にお
ける画素単位動きベクトル生成処理のフローチャート、
図１１は画素単位動きベクトル生成の動作概略図を示す
図である。この第１の構成例は、ブロック予測誤差適応
探索処理を行うに好適なものである。

【００３３】図９において、補正誤差算出部１７は、図
１０に示す信号処理フローチャートの第１ステップの処
理を行う。すなわち、現フレームの信号Ｓ２と前フレー
ムの信号Ｓ３の輝度信号成分に対し、ブロック単位動き
ベクトルＢＶによる動き補正誤差を算出する。そして、
この誤差の値が閾値ＴＨ未満のブロックは信号ＰＭＢに
０、閾値ＴＨ以上のブロックは１を出力する。制御部１
８は、信号ＰＭＢと動き検出信号ＭＤ２をもとに、図１
０の第２、第３ステップの信号処理に必要な制御信号Ｐ
Ｃ１、ＰＣ２を生成する。

【００３４】参照動きベクトル生成部１９、補正誤差算
出部２０−１、…、２０−Ｎは、図１０の第２ステップ
の閾値以上の時に、ブロックを水平、垂直方向に細分化
したミニブロック毎にミニブロック分割探索処理でミニ
ブロック内の画素の動きベクトルを生成する信号処理を
行う。すなわち、制御信号ＰＣ１が閾値以上を示すブロ
ックでは、参照動きベクトル生成部１９で生成する現ブ
ロックの動きベクトルＢＶと、図１１に示す隣接ブロッ
クに対応する動きベクトルＢＶｕｌ、…、ＢＶｄｒで、
ミニブロック（例えば水平ＭＢＸ＝２、垂直ＭＢＹ＝２
の２画素ｘ２ライン）毎に、これを内包する水平４（Ｍ
ＢＸ＋２）画素、垂直４（ＭＢＹ＋２）ラインの算出領
域での動き補正誤差ＥＲ０、ＥＲ１、…、ＥＲＮを算出
する。なお、この動き補正誤差の算出では、現フレーム
の信号Ｓ２と前フレームの信号Ｓ３の輝度信号成分、も
しくは輝度信号成分及び色差信号成分のいずれかに対し
て、次の（数１）に示す演算を行う。

【００３５】

【数１】 ＥＲ０＝Σａｂｓ｛Ｓ２（ｘ，ｙ）−Ｓ３（ＢＶ）｝ ＝Σａｂｓ｛Ｓ２（ｘ，ｙ）−Ｓ３（ｘ＋ＢＶｘ，ｙ＋ＢＶｙ）｝ ＥＲ１＝Σａｂｓ｛Ｓ２（ｘ，ｙ）−Ｓ３（ＢＶｕｌ）｝ ＝Σａｂｓ｛Ｓ２（ｘ，ｙ）−Ｓ３（ｘ＋ＢＶｕｌｘ，ｙ＋ＢＶｕｌｙ） ｝ ＥＲ２＝Σａｂｓ｛Ｓ２（ｘ，ｙ）−Ｓ３（ＢＶｕ）｝ ＝Σａｂｓ｛Ｓ２（ｘ，ｙ）−Ｓ３（ｘ＋ＢＶｕｘ，ｙ＋ＢＶｕｙ）｝ ……………………………………………………………………………………… ＥＲＮ＝Σａｂｓ｛Ｓ２（ｘ，ｙ）−Ｓ３（ＢＶｄｒ）｝ ＝Σａｂｓ｛Ｓ２（ｘ，ｙ）−Ｓ３（ｘ＋ＢＶｄｒｘ，ｙ＋ＢＶｄｒｙ） ｝ ・・・・・・・・（数１）

【００３６】（数１）で、Ｓ２（ｘ，ｙ）は算出領域内
の現フレームの画素の信号、Ｓ３（ＢＶ）は動きベクト
ルＢＶで位置を移動させた前フレームの画素の信号、ａ
ｂｓ｛ ｝は絶対値、Σは算出領域内の画素の総和、Ｂ
Ｖｘは動きベクトルＢＶのｘ成分、ＢＶｙはｙ成分であ
る。

【００３７】画素動きベクトル設定部２１は、図１０の
第２ステップの閾値未満および第３ステップの信号処理
を行う。すなわち、制御信号ＰＣ２が閾値未満を示すブ
ロックは、ブロック内の画素に対して現ブロックの動き
ベクトルＢＶを画素単位動きベクトルＰＶに出力する。
一方、閾値以上のブロックは、各ミニブロック内の画素
に対して動き補正誤差ＥＲ０、ＥＲ１、…、ＥＲＮの内
で最少値をとる動きベクトルを画素単位動きベクトルＰ
Ｖに出力する。また、制御信号ＰＣ２で動き検出信号Ｍ
Ｄ２が０の画素に対しては、画素単位動きベクトルＰＶ
に０を出力する。この結果、画素単位の動きベクトルを
高精度、かつ、全探索に較べて必要な演算量を１桁〜２
桁程度低減できる。

【００３８】図１２は画素単位動きベクトル生成部６の
第２構成例を示す図、図１３は第２構成例における画素
単位動きベクトル生成処理のフローチャートである。こ
の第２の構成例は、ブロックミニブロック予測誤差適応
探索処理を行うに好適なものである。

【００３９】図１２に示す第２構成例においては、補正
誤差算出部２２及び制御部１８における動作が第１の構
成例と異なる。同図において、補正誤差算出部２２は、
図１３に示す信号処理フローチャートの第１ステップの
処理を行う。すなわち、現フレームの信号Ｓ２と前フレ
ームの信号Ｓ３の輝度信号成分に対し、ブロック単位動
きベクトルＢＶによるブロック動き補正誤差ＰＭ（画素
換算相当）とミニブロック動き補正誤差ＭＢＥ（画素換
算相当）を出力する。制御部１８は、信号ＰＭ、ＭＢＥ
と動き検出信号ＭＤ２をもとに、図１３の第２、第３ス
テップの信号処理に必要な制御信号ＰＣ１、ＰＣ２を生
成する。まず、ブロック動き補正誤差ＰＭの値に応じて
閾値ＴＨの値をブロック毎に設定する。例えば、ＰＭ＜
＝８ではＴＨ＝１６、８＜ＰＭ＜＝１２ではＴＨ＝１
２、１２＜ＰＭ＜＝１６ではＴＨ＝８、ＰＭ＞１６では
ＴＨ＝４に設定する。そして、ミニブロック動き補正誤
差ＭＢＥと閾値ＴＨを比較し、閾値を越えるミニブロッ
クに対しては、第２ステップの閾値以上のミニブロック
分割探索の信号処理、閾値未満のミニブロックに対して
は第２ステップの閾値未満の信号処理を行うように制御
信号を生成する。さらに、動き検出信号ＭＤ２が０か１
かに応じて第３ステップの信号処理に必要な制御信号を
生成する。なお、参照動きベクトル生成部１９、補正誤
差算出部２０、画素動きベクトル設定部２１は、第１の
構成例と同様の動作を行うもので、説明は省略する。

【００４０】図１４は画素単位動きベクトル生成部６の
第３構成例を示す図、図１５は第３構成例における画素
単位動きベクトル生成処理のフローチャートである。こ
の第３の構成例は、Ｖエッジ適応探索処理を行うに好適
なものである。

【００４１】図１４はＶエッジ適応探索処理を第１構成
例（図９）に適用した場合のブロック構成で、Ｖエッジ
検出部２３と制御部２６の動作が第１構成例と異なる。
同図においてＶエッジ検出部２３は、水平周波数の低域
成分を通過域とするローパス特性のフィルタＨＬＰＦ２
４と垂直周波数の高域成分を通過域とするハイパス特性
のフィルタＶＨＰＦ２５との組み合わせで構成し、現フ
レームの信号Ｓ２の輝度信号成分より水平低域・垂直高
域のＶエッジ信号ＶＥＧを抽出する。制御部２６は、ブ
ロック単位動きベクトルＢＶによる動き補正誤差の値が
閾値ＴＨ未満か以上かを示す信号ＰＭＢとＶエッジ信号
ＶＥＧと動き検出信号ＭＤ２をもとに、図１５の第２、
第３ステップの信号処理に必要な制御信号ＰＣ１、ＰＣ
２を生成する。

【００４２】そして、図１５に示すように、第２ステッ
プの閾値以上の時のミニブロック分割探索の信号処理を
異にする。すなわち、Ｖエッジ領域を含むミニブロック
では、ミニブロック（水平ＭＢＸ、垂直ＭＢＹ）に対し
て、これを内包する水平ＭＢＸ＋４、垂直ＭＢＹでの算
出領域で動き補正誤差を算出し、この値が最小な参照ベ
クトルで画素単位の動きベクトルＰＶを生成する。ま
た、同一のＶエッジ領域に含まれる画素に対しては、動
きベクトルの修正処理を行う。すなわち、これら画素の
動きベクトルを平滑化処理（例えば平均化）で修正し、
この修正した動きベクトルをＶエッジ領域の画素に割り
当てる。

【００４３】一方、Ｖエッジ領域以外のノ−マル領域で
は、第１の構成例と同一の動作を行う。なお、ここに述
べたＶエッジ適応探索処理は、第２の構成例（図１２）
に適用することもできる。以上に述べた如く、動きベク
トル探索部は、上述のブロック単位動きベクトル探索部
と、画素単位動きベクトル生成部との組み合わせで種々
の構成が可能である。

【００４４】さて、後述する動き補正信号処理部でフレ
ーム単位の動き補正処理を行う場合に好適な動きベクト
ル探索部の構成例について、次に説明する。図１６は動
きベクトル探索部の第２構成例を示す図、図１７はこの
第２構成例における動きベクトル探索のフローチャート
である。

【００４５】図１６において、ブロックマッチング第１
処理部１３、ブロックマッチング第２処理部１４、ベク
トル分布計測部１６は前述のブロック単位動きベクトル
探索部の第２の構成例（図６）と同一の機能、動作を行
う。すなわち、図１７に示すように、動画ブロックに対
しては探索モード信号ＭＯＤ１〜ＭＯＤ５による探索処
理（図８参照）でブロック単位の動きベクトルＢＶの検
出を行う。また、静止ブロックに対しては動きベクトル
ＢＶに０を設定する。なお、ベクトル分布計測部１６
は、図８に示す領域Ｅの発生頻度が設定値（例えば１０
％）を越える時はミニブロック分割探索モード信号ＭＢ
ＦＧに０、設定値未満の時は１を出力する。

【００４６】また、補正誤差算出部１７、ミニブロック
分割探索部２７は、前述の画素単位動きベクトル生成部
の第１〜第３の構成例と同様に構成する。そして、モー
ド信号ＭＢＦＧが１の時は、前述した第１〜第３の構成
例と同様なミニブロック分割探索の信号処理を行い、画
素単位の動きベクトルＰＶを生成する。一方、モード信
号ＭＢＦＧが０の時は、後段の動き補正信号処理部では
動き補正フレーム内挿処理を行わないため、画素単位の
動きベクトルは不要であり、ミニブロック分割探索の信
号処理を中止する。なお、モーションジャダー妨害が目
立ちやすい画像（動き補正フレーム内挿処理が必須な画
像）は番組全体の１割程度であるため、ミニブロック分
割探索処理に要する演算量は、前述の第１〜第３の構成
例に較べ、更に１桁程度低減することができる。また、
制御部２８１は、上述の信号処理の動作に必要な制御信
号類を生成するものである。

【００４７】以上で、動きベクトル探索部の説明を終
え、次に、動き補正信号処理部７の動き補正内挿フレー
ム生成部８の構成について説明する。図１８は動き補正
内挿フレーム生成部８の第１構成例を示す図、図１９は
ＭＣベクトル生成部２８及び動き補正信号生成部３０、
３１の動作を説明するための図である。この第１構成例
は、予測誤差適応動き補正処理を行うに好適なものであ
る。

【００４８】ＭＣベクトル生成部２８は、画素単位動き
ベクトルＰＶより動き補正処理に必要な動き補正ベクト
ルＶｃｔとＶｐｒを生成する。フレーム周波数が５０Ｈ
ｚの信号をフレーム周波数が６０Ｈｚの信号にフレーム
数変換する場合を例に、この動作概略を図１９（ａ）〜
（ｃ）に示す。フレーム周波数５０Ｈｚの順次走査のフ
レーム順の１から５の信号に対し、同図（ａ）に示すよ
うに、動き補正の信号処理で内挿フレームの信号を生成
し、フレーム順１から６のフレーム周波数が６０Ｈｚの
順次走査の信号に変換する。この際、動き補正ベクトル
は、内挿するフレーム位置と合致させる必要がある。そ
こで、同図（ｂ）に示す様に、画素単位の動きベクトル
ＰＶに係数加重する係数値ｋａ，ｋｂをフレーム順に逐
次変化させ、（数２）に示す演算で動き補正ベクトルＶ
ｐｒとＶｃｔを生成する。

【００４９】

【数２】 Ｖｐｒ＝ＰＶ＊ｋａ／（ｋａ＋ｋｂ） Ｖｃｔ＝−ＰＶ＊ｋｂ／（ｋａ＋ｋｂ）・・・・・・・・（数２）

【００５０】従って、フレーム順２の内挿フレームは、
Ｖｐｒ＝ＰＶ＊５／６，Ｖｃｔ＝−ＰＶ＊１／６（ｋａ
＝５，ｋｂ＝１）、３のものは、Ｖｐｒ＝ＰＶ＊４／
６，Ｖｃｔ＝−ＰＶ＊２／６（ｋａ＝４，ｋｂ＝２）…
の如く、時間方向での位置ずれがない動き補正ベクトル
を生成する。

【００５１】動き補正信号生成部３０では、現フレーム
の信号Ｓ２と動き補正ベクトルＶｃｔで動き補正信号Ｓ
ｃｔを生成する。また、動き補正信号生成部３１は、前
フレームの信号Ｓ３と動き補正ベクトルＶｐｒで動き補
正信号Ｓｐｒを生成する。この動作概略を図１９（ｃ）
に示す。内挿フレームの点Ａ（ｘ，ｙ）の信号は、前フ
レームの信号Ｓ３では、点Ａ（ｘ，ｙ）を動き補正ベク
トルＶｐｒ（水平方向成分Ｖｐｒｘ，垂直方向成分Ｖｐ
ｒｙ）で移動させた点Ａ’（ｘ１，ｙ１）＝（ｘ＋Ｖｐ
ｒｘ，ｙ＋Ｖｐｒｙ）の位置の信号、現フレームの信号
Ｓ２では点Ａ（ｘ，ｙ）を動き補正ベクトルＶｃｔ（水
平方向成分Ｖｃｔｘ，垂直方向成分Ｖｃｔｙ）で移動さ
せた点Ａ”（ｘ２，ｙ２）＝（ｘ−Ｖｃｔｘ，ｙ−Ｖｃ
ｔｙ）の位置の信号に対応する。従って、動き補正信号
ＳｐｒとＳｃｔは、以下に示す（数３）で生成する。

【００５２】

【数３】 Ｓｐｒ＝Ｓ３（ｘ＋Ｖｐｒｘ，ｙ＋Ｖｐｒｙ） Ｓｃｔ＝Ｓ２（ｘ−Ｖｃｔｘ，ｙ−Ｖｃｔｙ）・・・・・・（数３）

【００５３】この信号処理は、動き補正信号生成部に内
蔵のメモリ回路の読み出し動作を制御することで実現す
る。すなわち、メモリ読み出しのアドレスを補正補間動
きベクトルＶｐｒ，Ｖｃｔに相当する位置だけずらした
アドレスを生成し、このアドレスで点Ａ’，Ａ”に対応
した画素の信号を読み出す。

【００５４】加算部３２は、両者の動き補正信号Ｓｐｒ
とＳｃｔとの加算平均を行い、その出力に図１９（ｂ）
に示したフレーム順２，３，…，６の動き補正内挿フレ
ームの信号Ｓｍを得る。減算部３３は、動き補正信号Ｓ
ｃｔとＳｐｒとの減算を行い、差分信号成分ＭＣＥを検
出する。動き補正ベクトルが正確な場合は、動き補正信
号ＳｃｔとＳｐｒは同じ値をとるので信号ＭＣＥは０に
なる。しかしながら、動き補正ベクトルが不正確な場合
は、動き補正信号ＳｃｔとＳｐｒとで異なる値になり、
信号ＭＣＥは零以外の値を持つ。補正誤差算出部２９
は、ミニブロック単位の動き補正誤差（画素換算相当）
を算出し、この値を信号ＭＢＥに出力する。

【００５５】判定部３４は、信号ＭＢＥの値の大小に応
じて閾値ＴＨの値を適応的に設定する。例えば、ＭＢＥ
＜＝８ではＴＨ＝４０、８＜ＭＢＥ＜＝１６ではＴＨ＝
３２、１６＜ＭＢＥ＜＝２４ではＴＨ＝２４、２４＜Ｍ
ＢＥではＴＨ＝１６に設定する。そして、信号ＭＣＥが
閾値未満の時は０、閾値以上の時は１を制御信号ＣＴに
出力する。

【００５６】選択部３５は、制御信号ＣＴが０の時は動
き補正内挿フレームの信号Ｓｍ、制御信号ＣＴが１の時
は現フレームの信号Ｓ２と前フレームの信号Ｓ３のうち
で動き補正内挿フレームと時間的な距離の近い信号を選
択し、内挿フレームの信号ＳＭＣを出力する。この操作
で、動きベクトルの不正確さに起因する孤立点的な劣化
や動画エッジ周縁部の劣化などの動き補正に固有な画質
劣化を大幅に抑圧することができ、高画質化が達成でき
る。

【００５７】図２０は動き補正内挿フレーム生成部８の
第２構成例を示す図で、動き速度適応動き補正処理を行
うに好適なものである。この第２構成例は、第１の構成
例（図１８）にベクトル分布計測部３６を追加した構成
で実現する。ベクトル分布計測部３６では、画素単位の
動きベクトルＰＶのうち図８（ａ）に示した領域Ｅに相
当する動きベクトルの１フレーム期間での発生頻度を計
測し、これが設定値（例えば１０％以上）を越える場合
は動き補正モード信号ＭＣＦＧに０、設定値未満の場合
は１を出力する。判定部３４は、動き補正モード信号Ｍ
ＣＦＧが０の時は、選択部３５で該当する１フレーム期
間は現フレームの信号Ｓ２を選択制御する制御信号ＣＴ
を出力する。一方、動き補正モード信号ＭＣＦＧが１の
時は、第１の構成例と同様の動作を行い、信号ＭＣＥが
信号ＭＢＥで定まる閾値以上では１、未満では０の制御
信号ＣＴを出力する。

【００５８】なお、本構成では、ベクトル分布計測部３
６を省略し、代わりに、前述した図１６の動きベクトル
探索部におけるミニブロック分割探索モード信号ＭＢＦ
Ｇを動き補正モード信号として使用する構成で実現する
ことも可能である。以上に述べた如く、本発明の第１の
実施例によれば、動きベクトル探索、生成の信号処理に
要する演算量が少なく、かつ、動き補正処理に起因する
画質劣化の少ない画像信号の動き補正フレーム数変換装
置が実現できる。そして、高画質化、低コスト化に顕著
な効果を得ることができる。

【００５９】次に、本発明の第２の実施例について、図
２１〜図２２を用いて説明する。図２１は本実施例のブ
ロック構成図で、先の第１の実施例（図１）の動き補正
信号処理部のメモリ部９を省略し、代わりにフレームレ
ートアップ部３７をＩＰ変換部１と１フレーム遅延部２
との間に配置して構成する。ＩＰ変換部１で飛び越し〜
順次の走査変換した順次走査の信号系列Ｓ２は、フレー
ムレートアップ部３７でコマ繰り返し処理でフレーム数
変換を行い、例えば、フレーム周波数５０Ｈｚの信号系
列Ｓ２をフレーム周波数６０Ｈｚの信号系列Ｓ５に変換
する。

【００６０】この動作概略を図２２に示す。Ｓ２（５０
Ｈｚ）フレーム順１，２，３，４，５，１，２，…の信
号系列に対し、このフレーム順１のフレームを２度繰り
返して、Ｓ５（６０Ｈｚ）のフレーム順１，１，２，
３，４，５，１，１，２，…の信号系列に変換する。そ
して、このＳ５を現フレームの信号系列、これを１フレ
ーム遅延部２で１フレーム期間遅延させた信号Ｓ６を前
フレームの信号系列として、動きベクトル探索部３と動
き補正信号処理部７で第１の実施例と同様の信号処理を
行う。従って、現フレームと前フレームの信号系列が同
一フレーム順１の場合は静止画像となり、フレームの全
ての動きベクトルが０の処理が行われ、出力の信号系列
Ｓ４（６０Ｈｚ）はフレーム順１の信号を得る。一方、
現フレームと前フレームの信号系列が異なるフレーム順
の時は、出力の信号系列Ｓ４は動き補正処理で生成した
信号系列（図中にＭＣで表示）を得る。

【００６１】本発明の第２の実施例によれば、第１の実
施例と同様、動きベクトル探索、生成の信号処理に要す
る演算量が少なく、かつ、動き補正処理に起因する画質
劣化の少ない画像信号の動き補正フレーム数変換装置が
実現できる。そして、高画質化、低コスト化に顕著な効
果を得ることができる。

【００６２】次に、本発明の第３の実施例について、図
２３〜２５を用いて説明する。なお、本実施例は、動き
ベクトル探索において変換ベクトル探索処理を行うに好
適なものである。図２３は本実施例のブロック構成図で
あり、ブロック単位動きベクトル探索部３８の構成、動
作のみが先の第１の実施例（図１）と異なる。図２４
は、この構成を示す図である。図２４において、Ｐベク
トル変換部３９、Ｂベクトル変換部４０は、画像符号化
で使用する動きベクトル情報ＭＶのベクトル変換処理を
行い、それぞれ１フレーム当たりの変換ベクトルＭＶｐ
とＭＶｂを生成する。

【００６３】図２５はこの動作概略を示す図である。画
像符号化、特に、国際標準のＭＰＥＧビデオ符号化で
は、同図（ａ）に示すように、画像信号シ−ケンスをＩ
ピクチャ、Ｐピクチャ、Ｂピクチャに分け、Ｉピクチャ
ではフレーム内ＤＣＴ（離散コサイン変換）符号化、Ｐ
ピクチャでは一方向ＭＣ符号化＋ＤＣＴ符号化、Ｂピク
チャでは双方向ＭＣ符号化＋ＤＣＴ符号化を行う。同図
（ｂ）は、Ｐピクチャの符号化に使用する動きベクトル
ＰＶ１，ＰＶ２，…を示す。この動きベクトルは画像信
号シ−ケンスのＰピクチャ間のｎフレーム（図ではｎ＝
３）での動きベクトルに相当する。従って、Ｐベクトル
変換部３９では、この動きベクトルを１／ｎ（図では１
／３）に変換したＰＶ１／３，ＰＶ２／３，…で変換ベ
クトルＭＶｐを生成する。同図（ｃ）はＢピクチャの符
号化に使用する動きベクトルＢＶ１１，ＢＶ１２、ＢＶ
２１，ＢＶ２２…を示す。このうち、ＢＶ１１，ＢＶ２
１，ＢＶ３１，…は１フレーム間の動きベクトルに相当
している。従って、Ｂベクトル変換部４０では、これら
の動きベクトルで変換動きベクトルＭＶｂを生成する。

【００６４】図２４に戻り、判定部４１では、動き検出
信号ＭＤ１が１の動画ブロックに対し、変換ベクトルＭ
Ｖｐ，ＭＶｂによるブロック単位の動き補正誤差を算出
し、値の小さいものを代表動きベクトルＢＶＴに出力す
る。ブロックマッチング第２処理部１４は、代表動きベ
クトルＢＶＴを起点とする再探索処理を行い、ブロック
単位の動きベクトルＢＶを検出する。なお、静止ブロッ
クに対しては、ＢＶに０を出力する。制御部４２は、こ
れらの動作に必要な制御信号類を生成する。本発明の第
３の実施例によれば、第１、第２の実施例に較べて、動
きベクトル探索、生成の信号処理に要する演算量が更に
少ない画像信号の動き補正フレーム数変換装置が実現で
きる。そして、高画質化、低コスト化に顕著な効果を得
ることができる。

【００６５】次に、本発明の第４の実施例を図２６のブ
ロック構成図に示す。本実施例は、先の第３の実施例
（図２３）の動き補正信号処理部のメモリ部９を省略
し、代わりに第２の実施例（図２１）に示したフレーム
レートアップ部３７をＩＰ変換部１と１フレーム遅延部
２との間に配置して構成する。なお、この動作は前述の
第１〜第３の実施例から容易に理解できるため説明は省
略する。本発明の第４の実施例によれば、第３の実施例
と同様、動きベクトル探索、生成の信号処理に要する演
算量が更に少ない画像信号の動き補正フレーム数変換装
置が実現できる。そして、高画質化、低コスト化に顕著
な効果を得ることができる。

【００６６】次に、本発明の第５の実施例を図２７〜図
２８を用いて説明する。本実施例は、シーンチェンジの
領域で動きベクトル探索や動き補正フレーム内挿の信号
処理を中止する動作を行うに好適なものである。図２７
はこのブロック構成図であり、第１の実施例（図１）の
構成にシーンチェンジ検出部３９１を追加して実現す
る。

【００６７】シーンチェンジ検出部３９１は、１フレー
ム期間でのフレーム間差分信号成分の発生形態をもとに
シーンチェンジの発生したフレームを検出する動作を行
う。この一構成例を図２８に示す。減算部４０１は、現
フレームの信号Ｓ２と前フレームの信号Ｓ３の輝度信号
成分の減算演算を行い、１フレーム間の差分成分ＦＤを
抽出する。一般に、シーンチェンジの領域では、画像の
内容が切り替わるため、差分成分ＦＤの信号レベルは比
較的大きな値を持つ。そこで、２値量子化部４１１は比
較的高いレベルの閾値±Ｔｈｂで信号ＦＤを画素毎に２
値量子化する。そして、閾値±Ｔｈｂ未満の画素は０、
閾値を越える画素は１を信号ＱＳに出力する。１フレー
ム累積部４２１は、信号ＱＳが１のものの画素の数を１
フレーム期間で計測し、１フレーム期間の累積値ＡＱを
出力する。判定部４３１は、累積値ＡＱの値が全画面の
半分以上の画素数で、かつ、その発生が１フレーム期間
に限られる場合をシーンチェンジの発生したフレームと
判定する。この理由は、画面全体が一様な速度で動く水
平パンや上下パンの動きを誤ってシーンチェンジと検出
する誤動作を避けるためである。そして、信号ＳＣＦＧ
にシーンチェンジの発生したフレームでは１、それ以外
のフレームでは０を出力する。

【００６８】図２７に戻り、動きベクトル探索部３と動
き補正信号処理部７は、信号ＳＣＦＧが１のシーンチェ
ンジが発生したフレームでは、動きベクトル探索や動き
補正フレーム内挿の信号処理を中止する。そして、この
フレームでは現フレームの信号Ｓ２を信号系列Ｓ４に出
力する。一方、信号ＳＣＦＧが０のフレームでは、動き
ベクトル探索部３と動き補正信号処理部７は、第１の実
施例と同一の信号処理の動作を行い、信号系列Ｓ４では
動き補正フレーム内挿処理でフレーム数を変換した信号
系列を得る。本発明の第５の実施例によれば、シーンチ
ェンジ領域における動きベクトル探索や生成のための膨
大な演算量の発生が回避でき、第１の実施例に較べて、
動きベクトル探索、生成の信号処理に要する演算量が更
に少ない画像信号の動き補正フレーム数変換装置が実現
できる。そして、高画質化、低コスト化に顕著な効果を
得ることができる。

【００６９】次に、本発明の第６〜第８の実施例を図２
９〜図３１の図面で説明する。これらは、いずれもシー
ンチェンジの領域では動きベクトル探索や動き補正フレ
ーム内挿の信号処理を中止する動作を行うに好適なもの
である。図２９は第６の実施例のブロック構成例図で、
第２の実施例（図２１）の構成にシーンチェンジ検出部
３９１を追加して実現したものである。図３０は第７の
実施例のブロック構成例図で、これは第３の実施例（図
２３）の構成にシーンチェンジ検出部３９１を追加して
実現したものである。また、図３１は第８の実施例のブ
ロック構成例図で、これは第４の実施例（図２６）の構
成にシーンチェンジ検出部３９１を追加して実現したも
のである。なお、これら実施例における動作はこれまで
の説明で容易に理解できるため、説明は省略する。本発
明の第６〜第８の実施例によれば、第５の実施例と同
様、動きベクトル探索、生成の信号処理に要する演算量
が更に少ない画像信号の動き補正フレーム数変換装置が
実現できる。そして、高画質化、低コスト化に顕著な効
果を得ることができる。

【００７０】本発明の第９の実施例について、図３２〜
図３７を用いて説明する。図３２は、本実施例のブロッ
ク構成図である。同図に示すように、先の第１の実施例
（図１）では、ＩＰ変換部を、動きベクトル探索部の前
段に配置して構成するのに対して、本実施例では、その
後段に配置して構成する。１フレーム遅延部２は、飛び
越し走査の入力画像信号Ｓ１（輝度信号成分と色差信号
成分）から、これを１フレーム期間遅延させた信号Ｓ２
０を生成する。この信号Ｓ１及びＳ２０は、動きベクト
ル探索部３と動き補正信号処理部７に供給される。

【００７１】動きベクトル探索部３は、動き検出部４、
ブロック単位動きベクトル探索部５、画素単位動きベク
トル生成部６で構成する。動き検出部４は、現フレーム
の信号系列Ｓ１と、前フレームの信号系列Ｓ２０の輝度
信号成分との減算処理で１フレーム間の差分信号を抽出
し、これを２値量子化して動き検出信号ＭＤ１、ＭＤ２
を出力する。この構成及び動作は、先に説明した第１の
実施例の動き検出部（図２）と同様である。但し同図及
びその説明において、Ｓ２をＳ１、Ｓ３をＳ２０と読み
替えるものとする。

【００７２】ブロック単位動きベクトル探索部５は、ブ
ロック単位（例えば１６画素ｘ１６ラインあるいは８画
素ｘ８ライン）で動きベクトルを検出する。すなわち、
動き検出信号ＭＤ１が０のブロックは静止ブロックと判
定し、ブロック単位動きベクトルＢＶに０を出力する。
一方、ＭＤ１が１のブロックは動画ブロックと判定し、
信号Ｓ１とＳ２０の輝度信号成分に対して、前述した２
重代表点ツリー探索処理あるいは動きベクトル分布適応
探索処理を行い、ブロック単位動きベクトルＢＶを検出
する。この構成及び動作は、先に説明した第１の実施例
のブロック単位動きベクトル探索部（図３〜図８）と同
様である。但し同図及びその説明において、Ｓ２をＳ
１、Ｓ３をＳ２０とそれぞれ読み替えるものとする。

【００７３】画素単位動きベクトル生成部６は、ミニブ
ロック分割探索処理で画素単位動きベクトルＰＶを生成
する。すなわち、前述したブロック予測誤差適応探索処
理、ブロックミニブロック予測誤差適応探索処理あるい
はＶエッジ適応探索処理でミニブロック単位（例えば２
画素ｘ２ライン）で画素単位動きベクトルＰＶを検出す
る。また、動き検出信号ＭＤ２が０の画素は静止画素と
判定してＰＶに０を割り当てる。この構成及び動作は、
先に説明した第１の実施例の画素単位動きベクトル生成
部（図９〜図１５）と同様である。但し同図及びその説
明において、Ｓ２をＳ１、Ｓ３をＳ２０とそれぞれ読み
替えるものとする。

【００７４】また、後述する動き補正信号処理部でフレ
ーム単位の動き補正処理を行う場合に好適な動きベクト
ル探索部の構成及び動作についても、先に説明した第１
の実施例の動きベクトル探索部（図１６〜図１７）と同
様である。但し同図及びその説明において、Ｓ２をＳ
１、Ｓ３をＳ２０とそれぞれ読み替えるものとする。

【００７５】動き補正信号処理部７は、ＩＰ変換部７１
とＭＣフレーム数変換部７２で構成する。ＩＰ変換部７
１は、動きベクトルＰＶと１フレーム間差分信号成分の
大小に応じて動き適応処理の飛び越し−順次の走査変換
を行い、順次走査の信号系列Ｓ３０を生成する。この具
体的な構成については後述する。ＭＣフレーム数変換部
７２は、画素単位動きベクトルＰＶをもとに動き補正ベ
クトルを作り、順次走査の信号系列Ｓ３０の画像の位置
をこの動き補正ベクトルで移動させた信号で内挿フレー
ムの信号系列を生成し、この出力に動き補正フレーム数
変換処理でフレーム周波数をアップした順次走査の画像
信号系列Ｓ４（輝度信号成分と色差信号成分）を得る。
この具体的な構成についても後述する。以上で全体ブロ
ック構成図の説明を終え、以下、本実施例における動き
補正信号処理部７の構成について詳述する。

【００７６】図３３は、ＩＰ変換部７１の一構成例で、
動きベクトルを利用した動き適応処理の飛び越し−順次
の走査変換を行うに好適なものである。この構成を同図
（ａ）に示す。ＭＡ補間部７８は走査変換に必要な補間
走査線の信号を生成する。このうち、動画補間信号生成
部７９は、フィ−ルド内処理（例えば、上下の走査線の
信号の平均値）を行い、動画に適した補間走査線信号Ｓ
Ｍを生成する。また、静止補間信号生成部８０は、フィ
−ルド間処理（例えば、前フレームの走査線の信号）を
行い、静止画に適した補間走査線信号ＳＳを生成する。
係数加重部８１−１は動き係数ｋ、８１−２は１−ｋを
加重し、加算部８２で両者の信号を加算して、補間走査
線の信号を生成する。

【００７７】動き係数生成部８３は、同図（ｂ）に示す
ように、１フレーム間の輝度信号差分成分の絶対値｜Ｓ
１−Ｓ２０｜と、動きベクトルＰＶのスカラ−量｜ＰＶ
｜の値の大小に応じて、動き係数の係数値ｋを設定す
る。すなわち、スカラ−量｜ＰＶ｜が小から大となるに
従い、傾斜が漸次きつくなる特性の直線で係数値ｋを設
定する。従って、｜Ｓ１−Ｓ２０｜が同一の値でも、動
きの速度に比例してｋの値も大きく設定でき、従来技術
に較べて、画像の動きにより整合した動き適応信号処理
が可能になる。倍速変換部８４は、生成した補間走査線
信号とＳ１との時間軸の１／２圧縮と時系列多重の信号
処理を行い、順次走査の信号系列Ｓ３０を出力する。

【００７８】次に、このＭＣフレーム数変換部７２につ
いて、図３４〜図３７を用いて説明する。図３４は、第
１の構成例で、予測誤差適応動き補正処理を行うに好適
なものである。図３４の構成例において、１フレームメ
モリ部８５は、順次走査の現フレームの信号系列Ｓ３０
を１フレーム期間遅延させた前フレームの信号系列Ｓ３
Ｐを生成する。ＭＣベクトル生成部８６は、飛び越し走
査系列で検出した画素単位動きベクトルＰＶより動き補
正処理に必要な動き補正ベクトルＶｃｔとＶｐｒを生成
する。そして、動き補正信号生成部８７では、現フレー
ムの信号Ｓ３０と動き補正ベクトルＶｃｔで動き補正信
号Ｓｃｔを生成する。また、動き補正信号生成部８８
は、前フレームの信号Ｓ３Ｐと動き補正ベクトルＶｐｒ
で動き補正信号Ｓｐｒを生成する。

【００７９】これらの動作概略は、先の図１９（ａ）〜
（ｃ）で説明したとおりである。但し、同図及びその説
明において、ＰＶをＰＶ’と読み替えるものとする。こ
こでＰＶ’は、順次走査系列での画素単位の動きベクト
ルで、飛び越し走査系列で検出した動きベクトルＰＶと
はＰＶ’＝ＰＶ／２の関係が成立する。従って、フレー
ム順２の内挿フレームは、Ｖｐｒ＝ＰＶ’＊５／６（Ｐ
Ｖ＊５／１２），Ｖｃｔ＝−ＰＶ’＊１／６（−ＰＶ＊
１／１２）（ｋａ＝５，ｋｂ＝１）、フレーム順３のも
のは、Ｖｐｒ＝ＰＶ’＊４／６（ＰＶ＊４／１２），Ｖ
ｃｔ＝−ＰＶ’＊２／６（−ＰＶ＊２／１２）（ｋａ＝
４，ｋｂ＝２）…の如く、時間方向での位置ずれがない
動き補正ベクトルを生成する。

【００８０】加算部８９は、両者の動き補正信号Ｓｐｒ
とＳｃｔとの加算平均を行い、フレーム順２，３，…，
６の動き補正内挿フレームの信号Ｓｍｃを得る。減算部
９０は、動き補正信号ＳｃｔとＳｐｒとの減算を行い、
差分信号成分ＭＣＥを検出する。動き補正ベクトルが正
確な場合は、動き補正信号ＳｃｔとＳｐｒは同じ値をと
るので信号ＭＣＥは０になる。しかしながら、動き補正
ベクトルが不正確な場合は、動き補正信号ＳｃｔとＳｐ
ｒとで異なる値になり、信号ＭＣＥは零以外の値を持
つ。補正誤差算出部９１は、ミニブロック単位の動き補
正誤差（画素換算相当）を算出し、この値を信号ＭＢＥ
に出力する。

【００８１】判定部９２は、信号ＭＢＥの値の大小に応
じて閾値ＴＨの値を適応的に設定する。例えば、ＭＢＥ
＜＝８ではＴＨ＝４０、８＜ＭＢＥ＜＝１６ではＴＨ＝
３２、１６＜ＭＢＥ＜＝２４ではＴＨ＝２４、２４＜Ｍ
ＢＥではＴＨ＝１６に設定する。そして、信号ＭＣＥが
閾値未満の時は０、閾値以上の時は１を制御信号ＳＬに
出力する。

【００８２】選択部９３は、制御信号ＳＬが０の時は動
き補正内挿フレームの信号Ｓｍｃ、制御信号ＳＬが１の
時は現フレームの信号Ｓ３０と前フレームの信号Ｓ３Ｐ
のうちで動き補正内挿フレームと時間的な距離の近い信
号を選択し、内挿フレームの信号Ｓ５０を出力する。こ
の操作で、動きベクトルの不正確さに起因する孤立点的
な劣化や動画エッジ周縁部の劣化などの動き補正に固有
な画質劣化を大幅に抑圧することができ、高画質化が達
成できる。メモリ部９４は、以下の書き込み、読み出し
動作を行い、フレーム数変換した信号系列Ｓ４を得る。
書き込み動作では、現フレームの信号Ｓ３０のフレーム
順１の信号と、信号Ｓ５０のフレーム順２〜６の信号を
書き込む。一方、読み出し動作ではフレーム順１から６
の信号を順次読み出す。

【００８３】図３５は、この第２の構成例のブロック構
成図で、動き速度適応動き補正処理を行うに好適なもの
である。これは第１の構成例（図３４）にベクトル分布
計測部９５を追加した構成で実現する。ベクトル分布計
測部９５では、画素単位の動きベクトルＰＶのうち、先
の図８（ａ）に示した領域Ｅに相当する動きベクトルの
１フレーム期間での発生頻度を計測し、これが設定値
（例えば１０％以上）を越える場合は動き補正モード信
号ＭＣＦＧに０、設定値未満の場合は１を出力する。

【００８４】判定部９２は、動き補正モード信号ＭＣＦ
Ｇが０の時は、選択部９３で該当する１フレーム期間で
は現フレームの信号Ｓ３０を選択制御する制御信号ＳＬ
を出力する。一方、動き補正モード信号ＭＣＦＧが１の
時は、第１の構成例と同様の動作を行い、信号ＭＣＥが
信号ＭＢＥで定まる閾値以上では１、未満では０の制御
信号ＳＬを出力する。なお、本構成では、ベクトル分布
計測部９５を省略し、代わりに、前述した図１６の動き
ベクトル探索部におけるミニブロック分割探索モード信
号ＭＢＦＧを動き補正モード信号として使用する構成で
実現することも可能である。

【００８５】図３６は、この第３の構成例で、図３４の
第１の構成例の最終段のメモリ部９４を省略し、代わり
にフレームレートアップ部９７を先頭に配置した形態で
実現する。フレームレートアップ部９７は、コマ繰り返
し処理でフレーム数変換を行い、例えば、フレーム周波
数５０Ｈｚの順次走査の信号系列Ｓ３０をフレーム周波
数６０Ｈｚの信号系列Ｓ１０に変換する。このＳ１０を
現フレームの信号系列、これを１フレーム遅延部３５で
１フレーム期間遅延させた信号Ｓ１０Ｐを前フレームの
信号系列として、以降、第１の構成例と同様の信号処理
を行う。

【００８６】この動作概略は、先の図２２で説明したと
おりである。但し、同図及びその説明において、Ｓ２を
Ｓ３０、Ｓ５をＳ１０、Ｓ６をＳ１０Ｐとそれぞれ読み
替えるものとする。従って、現フレームと前フレームの
信号系列が同一フレーム順１の場合は静止画像となり、
フレームの全ての動きベクトルが０の処理が行われ、出
力の信号系列Ｓ４（６０Ｈｚ）はフレーム順１の信号を
得る。一方、現フレームと前フレームの信号系列が異な
るフレーム順の時は、出力の信号系列Ｓ４は動き補正処
理で生成した信号系列（図２２中にＭＣで表示）を得
る。

【００８７】図３７は、この第４の構成例で、図３５の
第２の構成例の最終段のメモリ部９４を省略し、代わり
にフレームレートアップ部９７を先頭に配置した形態で
実現する。この動作に関しては、上述の構成例と同様な
ため、説明は省略する。本発明の第９の実施例によれ
ば、動きベクトル探索、生成の信号処理に要する演算量
が少なく、かつ、動き補正処理に起因する画質劣化の少
ない画像信号のフレーム数変換装置が実現できる。そし
て、高画質化、低コスト化に顕著な効果を得ることがで
きる。

【００８８】本発明の第１０の実施例について、図３８
を用いて説明する。本実施例は、動きベクトル探索にお
いて変換ベクトル探索処理を行うに好適なものである。
同図はこのブロック構成例を示す図であり、ブロック単
位動きベクトル探索部９８の構成、動作のみが先の第９
の実施例（図３２）と異なる。このブロック単位動きベ
クトル探索部９８の構成と動作は、先の図２４〜図２５
で説明したとおりである。但し同図及びその説明におい
て、Ｓ２をＳ１、Ｓ３をＳ２０とそれぞれ読み替えるも
のとする。本発明の第１０の実施例によれば、動きベク
トル探索、生成の信号処理に要する演算量が更に少ない
画像信号のフレーム数変換装置が実現できる。そして、
高画質化、低コスト化に顕著な効果を得ることができ
る。

【００８９】本発明の第１１の実施例を図３９を用いて
説明する。これは、シーンチェンジの領域では動きベク
トル探索や動き補正フレーム内挿の信号処理を中止する
動作を行うに好適なものである。同図はこのブロック構
成例を示す図で、第９の実施例（図３２）の構成にシー
ンチェンジ検出部９９を追加して実現する。シーンチェ
ンジ検出部９９では、１フレーム期間でのフレーム間差
分信号成分の発生形態をもとにシーンチェンジの発生し
たフレームを検出する動作を行う。この構成と動作は、
先の図２８で説明したとおりである。但し同図及びその
説明において、Ｓ２をＳ１、Ｓ３をＳ２０とそれぞれ読
み替えるものとする。

【００９０】図３９に戻り、動きベクトル探索部３と動
き補正信号処理部７は、信号ＳＣＦＧが１のシーンチェ
ンジが発生したフレームでは、動きベクトル探索や動き
補正フレーム内挿の信号処理を中止する。一方、信号Ｓ
ＣＦＧが０のフレームでは、動きベクトル探索部３と動
き補正信号処理部７は、第１の実施例と同一の信号処理
の動作を行い、信号系列Ｓ４に動き補正フレーム内挿処
理でフレーム数を変換した信号系列を得る。本発明の第
１１の実施例によれば、シーンチェンジ領域における動
きベクトル探索や生成のための膨大な演算量の発生が回
避でき、第９の実施例に較べて、動きベクトル探索、生
成の信号処理に要する演算量が更に少ない画像信号のフ
レーム数変換装置が実現できる。そして、高画質化、低
コスト化に顕著な効果を得ることができる。

【００９１】本発明の第１２の実施例を図４０を用いて
説明する。これは、第１０の実施例（図３８）の構成に
シーンチェンジ検出部９９を追加して実現したものであ
る。この動作は、上述の実施例の説明で容易に理解でき
るので説明は省略する。そして、第１１の実施例と同
様、動きベクトル探索、生成の信号処理に要する演算量
が更に少ない画像信号のフレーム数変換装置が実現でき
る。そして、高画質化、低コスト化に顕著な効果を得る
ことができる。

【００９２】次に、本発明のフレーム数変換装置をテレ
ビジョン受像機に適用した実施例について、図４１〜図
４４の図面を用いて説明する。

【００９３】図４１は、この第１の実施例のブロック構
成例で、画像を順次走査の形態で表示するに好適なもの
である。図において、チューナー部４４は、地上放送信
号ＴＶをベースバンド帯域のテレビジョン信号に復調す
る。 ＢＳチューナー部４５は、衛星放送信号ＢＳをベ
ースバンド帯域のテレビジョン信号に復調する。デコー
ダ部４６は、アナログ方式のテレビジョン信号の所定の
復調処理を行い、輝度信号と色差信号を復調する。ＩＲ
Ｄ部４７は、デジタル方式のテレビジョン信号の所定の
復号化処理を行い、輝度信号と色差信号を復調する。外
部入力信号Ｅｘには、ＶＣＲ等のパッケージメディアや
ＰＣ画像などの輝度信号と色差信号を入力する。スイッ
チ部４８は、制御部５４の制御信号で指定する信号系列
の選択を行う。

【００９４】ＩＰ変換部４９は、飛び越し走査の信号系
列に対しては、例えば動き適応の走査変換の信号処理を
行い、順次走査の信号系列に変換する。ＭＣフレーム数
変換部５０は、本発明のフレーム数変換装置に相当し、
動き補正フレーム内挿処理でフレーム周波数をアップし
た信号系列を生成する。例えば、ＰＡＬ方式のフレーム
周波数５０Ｈｚの信号の５０Ｈｚ→６０Ｈｚ変換では、
前述の実施例と同様にフレーム順１〜５の入力信号系列
からフレーム順１〜６（２〜６は動き補正フレーム内挿
処理で生成）の信号系列を生成する。また、５０Ｈｚ→
７５Ｈｚ変換では、フレーム順１〜２の入力信号系列か
らフレーム順１〜３（２〜３は動き補正フレーム内挿処
理で生成）の信号系列を生成する。あるいは、５０Ｈｚ
→１００Ｈｚ変換では、フレーム順１の入力信号系列か
らフレーム順１〜２（２は動き補正フレーム内挿処理で
生成）の信号系列を生成する。

【００９５】スケーリング処理部５１は、画像サイズの
拡大／縮小、アスペクト比の変換、走査線数の変換など
の信号処理を行う。画質改善部５２は、鮮鋭度改善や輝
度階調補正などの画質改善信号処理と色空間変換による
３原色信号への変換を行う。順次表示部５３は、フレー
ム周波数が６０Ｈｚ、又は７５Ｈｚか１００Ｈｚの順次
走査の形態で画像表示を行う。

【００９６】リモコン受信部５５は、ユーザがリモコン
端子で操作する各種ユーザ情報（チャネル選択、表示モ
ードなど）を受信する。制御部５４は、この受信した各
種ユーザ情報に応じて、各部の動作に必要な制御信号類
（図面には明示せず）を生成し、被制御部５８に出力す
る。

【００９７】図４２は、この第２の実施例のブロック構
成例で、画像を飛び越し走査の形態で表示するに好適な
ものである。これは、上述した図４１の構成にＰＩ変換
部５６を追加し、インターレース表示部５７で飛び越し
走査の形態の画像を表示する。ＰＩ変換部５６は、順次
走査の信号系列の走査線の２：１の間引き処理を行い、
飛び越し走査の信号系列に変換する信号処理を行う。ま
た、インターレース表示部５７は、フィールド周波数が
６０Ｈｚ、又は７５Ｈｚか１００Ｈｚの飛び越し走査の
形態で画像表示を行う。なお、この他のブロックは図４
１のものと同一の動作を行うので、説明は省略する。

【００９８】図４３は、この第３の実施例のブロック構
成例で、画像を順次走査の形態で表示するに好適なもの
である。これは、上述した図４１のＩＰ変換部４１及び
ＭＣフレーム数変換部５０に代えて、動き補正フレーム
数変換部６３を設けたものである。この動き補正フレー
ム数変換部６３は、本発明のフレーム数変換装置に相当
し、動き補正フレーム内挿処理でフレーム周波数をアッ
プした順次走査の信号系列を生成する。例えば、ＰＡＬ
方式のフレーム周波数５０Ｈｚの信号の５０Ｈｚ→６０
Ｈｚ変換では、前述の実施例と同様にフレーム順１〜５
の入力信号系列からフレーム順１〜６（２〜６は動き補
正フレーム内挿処理で生成）の信号系列を生成する。ま
た、５０Ｈｚ→７５Ｈｚ変換では、フレーム順１〜２の
入力信号系列からフレーム順１〜３（２〜３は動き補正
フレーム内挿処理で生成）の信号系列を生成する。ある
いは、５０Ｈｚ→１００Ｈｚ変換では、フレーム順１の
入力信号系列からフレーム順１〜２（２は動き補正フレ
ーム内挿処理で生成）の信号系列を生成する。なお、こ
の他のブロックは図４１のものと同一の動作を行うの
で、説明は省略する。

【００９９】図４４は、この第４の実施例のブロック構
成例で、画像を飛び越し走査の形態で表示するに好適な
ものである。これは、上述した図４３の構成にＰＩ変換
部５６を追加し、インターレース表示部５７で飛び越し
走査の形態の画像を表示する。このＰＩ変換部５６及び
インターレース表示部５７は、図４２の第２の実施例で
説明したものと同じものである。この他のブロックは図
４３のものと同一の動作を行うので、説明は省略する。
これらのテレビジョン受像機の実施例によれば、マルチ
ソース対応の高画質な装置を低コストで実現することが
できる。

【０１００】以上で実施の形態の説明を終了するが、本
発明は、ＰＡＬ−ＮＴＳＣテレビジョン信号の方式変
換、ＰＡＬ５０Ｈｚ−６０Ｈｚ／７５Ｈｚ／１００Ｈｚ
変換、フィルム画像（フレーム周波数２４Ｈｚ／３０Ｈ
ｚ）−６０Ｈｚ変換、テレビジョン信号−パソコン画像
信号変換など、各種のフレーム数変換装置に適用し、高
画質化・低コスト化に顕著な効果を有する。

【０１０１】このように本発明では、動き補正に必要な
動きベクトル探索に要する信号処理の演算量や回路規模
が小さく、また、動き補正に固有な画質劣化を抑圧した
動き補正フレーム変換装置が実現できる。このため、各
種のフレーム数変換装置の高画質化・低コスト化に顕著
な効果が得られる。また、本発明をテレビジョン受像機
に適用して、マルチソース対応の高画質で低コストの受
像機を実現することができる。また、受像機の多機能化
にも顕著な効果がある。

【０１０２】

【発明の効果】本発明によれば、高画質でしかも回路規
模の小さい画像信号のフレーム数変換方法および装置を
得ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例のブロック構成図であ
る。

【図２】動き検出部の一構成例を示す図である。

【図３】ブロック単位動きベクトル探索部の第１構成例
を示す図である。

【図４】第１構成例のブロック単位動きベクトル探索の
フローチャートである。

【図５】ブロックマッチング第１処理における代表点の
配列図である。

【図６】ブロック単位動きベクトル探索部の第２構成例
を示す図である。

【図７】第２構成例のブロック単位動きベクトル探索の
フローチャートである。

【図８】（ａ）は動きベクトル発生頻度の計測の一例
を、（ｂ）は探索モード設定の一例をそれぞれ示す図で
ある。

【図９】画素単位動きベクトル生成部の第１構成例を示
す図である。

【図１０】第１構成例の画素単位動きベクトル生成処理
のフローチャートである。

【図１１】画素単位動きベクトル生成の動作概略を示す
図である。

【図１２】画素単位動きベクトル生成部の第２構成例を
示す図である。

【図１３】第２構成例の画素単位動きベクトル生成処理
のフローチャートである。

【図１４】画素単位動きベクトル生成部の第３構成例を
示す図である。

【図１５】第３構成例の画素単位動きベクトル生成処理
のフローチャートである。

【図１６】動きベクトル探索部の他の構成例を示す図で
ある。

【図１７】動きベクトル探索の信号処理フローチャート
である。

【図１８】動き補正内挿フレーム生成部の第１構成例を
示す図である。

【図１９】（ａ）、（ｂ）はそれぞれＭＣベクトル生成
部の動作概略を、（ｃ）は動き補正信号生成部の動作概
略を示す図である。

【図２０】動き補正内挿フレーム生成部の第２構成例を
示す図である。

【図２１】本発明の第２の実施例のブロック構成図であ
る。

【図２２】（ａ）〜（ｄ）はそれぞれフレームレートア
ップ部の動作概略を説明するための図である。

【図２３】本発明の第３の実施例のブロック構成図であ
る。

【図２４】ブロック単位動きベクトル探索部の一構成例
を示す図である。

【図２５】（ａ）〜（ｃ）はそれぞれベクトル変換部の
動作概略を示す図である。

【図２６】本発明の第４の実施例のブロック構成図であ
る。

【図２７】本発明の第５の実施例のブロック構成図であ
る。

【図２８】シーンチェンジ検出部の一構成例を示す図で
ある。

【図２９】本発明の第６の実施例のブロック構成図であ
る。

【図３０】本発明の第７の実施例のブロック構成図であ
る。

【図３１】本発明の第８の実施例のブロック構成図であ
る。

【図３２】本発明の第９の実施例のブロック構成図であ
る。

【図３３】（ａ）、（ｂ）はそれぞれＩＰ変換部の一構
成例を示す図である。

【図３４】ＭＣフレーム数変換部の第１構成例を示す図
である。

【図３５】ＭＣフレーム数変換部の第２構成例を示す図
である。

【図３６】ＭＣフレーム数変換部の第３構成例を示す図
である。

【図３７】ＭＣフレーム数変換部の第４構成例を示す図
である。

【図３８】本発明の第１０の実施例のブロック構成図で
ある。

【図３９】本発明の第１１の実施例のブロック構成図で
ある。

【図４０】本発明の第１２の実施例のブロック構成図で
ある。

【図４１】本発明に係るテレビジョン受像機の第１の実
施例を示す図である。

【図４２】本発明に係るテレビジョン受像機の第２の実
施例を示す図である。

【図４３】本発明に係るテレビジョン受像機の第３の実
施例を示す図である。

【図４４】本発明に係るテレビジョン受像機の第４の実
施例を示す図である。

【符号の説明】

１ ＩＰ変換部 ２ １フレーム遅延部 ３ 動きベクトル探索部 ４ 動き検出部 ５ ブロック単位動きベクトル探索部 ６ 画素単位動きベクトル生成部 ７ 動き補正信号処理部 ８ 動き補正内挿フレーム生成部 ９ メモリ部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 杉山 雅人 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 (72)発明者 中嶋 満雄 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 (72)発明者 都留 康隆 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 (72)発明者 的野 孝明 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像情報メディア事業部 内 (72)発明者 高田 春樹 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像情報メディア事業部 内 (72)発明者 兼八 孝至 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像情報メディア事業部 内

Claims (37)

【特許請求の範囲】
1. 【請求項１】 画像信号より検出した動画ブロックに対
   してブロックマッチング処理でブロック単位の動きベク
   トルを検出し、上記検出したブロック単位動きベクトル
   の動き補正誤差の大小に応じて現ブロックと隣接ブロッ
   クの動きベクトルより画素単位の動きベクトルを生成
   し、上記画素単位の動きベクトルの動き補正誤差の大小
   に応じて画像信号の内挿フレームを生成し、上記内挿フ
   レームを用いて画像信号のフレーム数を変換することを
   特徴とする画像信号のフレーム数変換方法。
2. 【請求項２】 上記画像信号は、飛び越し−順次の走査
   変換処理により得られた順次走査の画像信号であること
   を特徴とする請求項１記載の画像信号のフレーム数変換
   方法。
3. 【請求項３】 上記順次走査の画像信号は、フレーム繰
   り返し処理を行うことにより得られた画像信号であるこ
   とを特徴とする請求項２記載の画像信号のフレーム数変
   換方法。
4. 【請求項４】 上記画像信号は、飛び越し走査の画像信
   号であることを特徴とする請求項１記載の画像信号のフ
   レーム数変換方法。
5. 【請求項５】 上記画像信号のシーンチェンジを検出し
   たときは、上記動き補正誤差の大小に応じて生成した画
   像信号の内挿フレームに代えて、現フレーム又は前フレ
   ームの信号による内挿フレームを用いて画像信号のフレ
   ーム数を変換することを特徴とする請求項１乃至４のい
   ずれかに記載の画像信号のフレーム数変換方法。
6. 【請求項６】 飛び越し走査の画像信号から順次走査の
   画像信号を生成する走査変換部と、上記順次走査の画像
   信号に基づいて静止ブロック又は動画ブロックを検出す
   る動き検出部と、上記動画ブロックに対してブロックマ
   ッチング処理でブロック単位の動きベクトルを検出する
   ブロック単位動きベクトル探索部と、上記検出したブロ
   ック単位動きベクトルの動き補正誤差の大小に応じて現
   ブロックと隣接ブロックの動きベクトルから画素単位の
   動きベクトルを生成する画素単位動きベクトル生成部
   と、上記画素単位の動きベクトルの動き補正誤差の大小
   に応じて上記画像信号の内挿フレームを生成する動き補
   正内挿フレーム生成部とを備えたことを特徴とする画像
   信号のフレーム数変換装置。
7. 【請求項７】 上記順次走査の画像信号のフレーム数変
   換を行うフレームレートアップ部を上記走査変換部と上
   記動き検出部の間に設けたことを特徴とする請求項６記
   載の画像信号のフレーム数変換装置。
8. 【請求項８】 飛び越し走査の画像信号に基づいて静止
   ブロック又は動画ブロックを検出する動き検出部と、上
   記動画ブロックに対してブロックマッチング処理でブロ
   ック単位の動きベクトルを検出するブロック単位動きベ
   クトル探索部と、上記検出したブロック単位動きベクト
   ルの動き補正誤差の大小に応じて現ブロックと隣接ブロ
   ックの動きベクトルから画素単位の動きベクトルを生成
   する画素単位動きベクトル生成部と、上記画素単位の動
   きベクトルに基づいて上記飛び越し走査の画像信号から
   順次走査の画像信号を生成する走査変換部と、上記画素
   単位の動きベクトルの動き補正誤差の大小に応じて上記
   順次走査の画像信号の内挿フレームを生成する動き補正
   内挿フレーム生成部とを備えたことを特徴とする画像信
   号のフレーム数変換装置。
9. 【請求項９】 上記ブロック単位動きベクトル探索部
   は、動画ブロックに対しては、予め設定する原点近傍領
   域は密、周縁部領域は粗の複数個数の代表動きベクトル
   によるブロックマッチング処理で参照動きベクトルを算
   出し、算出した参照動きベクトル近傍の動きベクトルに
   対してブロックマッチング処理による再探索で動きベク
   トルを検出することを特徴とする請求項６乃至８のいず
   れかに記載の画像信号のフレーム数変換装置。
10. 【請求項１０】 上記ブロック単位動きベクトル探索部
    は、検出した動きベクトルの発生頻度の形態に応じて、
    探索領域又は代表動きベクトルの異なる複数種類の探索
    モードのうちいずれかのモードに従ったブロックマッチ
    ング処理により動きベクトルを検出することを特徴とす
    る請求項６乃至８のいずれかに記載の画像信号のフレー
    ム数変換装置。
11. 【請求項１１】 上記ブロック単位動きベクトル探索部
    は、ブロックマッチング処理による動きベクトルの探索
    において、水平方向の探索領域を垂直方向の探索領域よ
    り広く設定することを特徴とする請求項９又は１０に記
    載の画像信号のフレーム数変換装置。
12. 【請求項１２】 上記ブロック単位動きベクトル探索部
    は、画像信号の動きベクトル情報より算出する変換動き
    ベクトルを用いて上記ブロックマッチング処理を行うこ
    とを特徴とする請求項６乃至８のいずれかに記載の画像
    信号のフレーム数変換装置。
13. 【請求項１３】 上記ブロック単位動きベクトル探索部
    は、画像信号の動きベクトル情報のＰピクチャおよびＢ
    ピクチャの動きベクトルを１フレーム間の動きベクトル
    に変換するベクトル変換部を有し、動画ブロックに対し
    ては、上記ベクトル変換部出力の動きベクトルによるブ
    ロックマッチング処理で参照動きベクトルを算出し、算
    出した参照動きベクトル近傍の動きベクトルに対してブ
    ロックマッチング処理による再探索で動きベクトルを検
    出することを特徴とする請求項１２記載の画像信号のフ
    レーム数変換装置。
14. 【請求項１４】 上記ブロック単位動きベクトル探索部
    においては、ブロックマッチング処理を画像信号の輝度
    信号成分で行うことを特徴とする請求項６乃至１３のい
    ずれかに記載の画像信号のフレーム数変換装置。
15. 【請求項１５】 上記ブロック単位動きベクトル探索部
    においては、ブロックマッチング処理を画像信号の輝度
    信号成分及び色信号成分の両者を用いて行うことを特徴
    とする請求項６乃至１３のいずれかに記載の画像信号の
    フレーム数変換装置。
16. 【請求項１６】 上記画素単位動きベクトル生成部は、
    ブロック単位の動きベクトルによる動き補正誤差が閾値
    未満の時はブロック内の全ての画素にブロック単位の動
    きベクトルを割り当て、上記動き補正誤差が閾値以上の
    時はブロックを水平方向及び垂直方向に細分化したミニ
    ブロックに対して、現ブロック及び隣接ブロックの動き
    ベクトルのうちでミニブロックを内包する領域での動き
    補正誤差が最少なものをミニブロック内の画素の動きベ
    クトルに割り当てることを特徴とする請求項６乃至１５
    のいずれかに記載の画像信号のフレーム数変換装置。
17. 【請求項１７】 上記画素単位動きベクトル生成部は、
    ブロック単位の動きベクトルでブロック動き補正誤差と
    ミニブロック動き補正誤差とを算出し、上記ブロック動
    き補正誤差の大小に応じて閾値を変化させ、ミニブロッ
    ク動き補正誤差が上記閾値未満のミニブロックではブロ
    ック単位の動きベクトルを割り当て、ミニブロック動き
    補正誤差が上記閾値以上のミニブロックでは現ブロック
    及び隣接ブロックの動きベクトルのうちでミニブロック
    を内包する領域での動き補正誤差が最少なものをミニブ
    ロック内の画素の動きベクトルに割り当てることを特徴
    とする請求項６乃至１５のいずれかに記載の画像信号の
    フレーム数変換装置。
18. 【請求項１８】 上記画素単位動きベクトル生成部は、
    画像信号のエッジ領域を検出し、上記エッジ領域を含む
    ミニブロックでは、ミニブロックを内包する横長の領域
    で動き補正誤差を算出することを特徴とする請求項１６
    又は１７記載の画像信号のフレーム数変換装置。
19. 【請求項１９】 上記画素単位動きベクトル生成部にお
    いては、ミニブロックにおける動き補正誤差の算出を画
    像信号の輝度信号成分で行うことを特徴とする請求項１
    ６乃至１８のいずれかに記載の画像信号のフレーム数変
    換装置。
20. 【請求項２０】 上記画素単位動きベクトル生成部にお
    いては、ミニブロックにおける動き補正誤差の算出を画
    像信号の輝度信号成分及び色信号成分の両者を用いて行
    うことを特徴とする請求項１６乃至１８のいずれかに記
    載の画像信号のフレーム数変換装置。
21. 【請求項２１】 検出した動きベクトルの発生頻度の形
    態に応じて上記ブロック単位動きベクトル探索部の探索
    モードと画素単位動きベクトル生成部の動作モードを設
    定するベクトル分布計測部を備え、上記ブロック単位動
    きベクトル探索部では上記探索モードに従ったブロック
    マッチング処理で動きベクトルを検出し、上記画素単位
    動きベクトル生成部では上記動作モードに従ったミニブ
    ロック分割探索処理を行うことを特徴とする請求項６又
    は７記載の画像信号のフレーム数変換装置。
22. 【請求項２２】 上記動き補正内挿フレーム生成部は、
    上記画素単位の動きベクトルの動き補正誤差の大小に応
    じて閾値を設定する補正誤差算出部と、上記画素単位の
    動きベクトルで動き補正ベクトルを生成する動き補正ベ
    クトル生成部と、上記動き補正ベクトル生成部の出力信
    号で現フレームの画像の位置を移動させた第１の動き補
    正信号と前フレームの画像の位置を移動させた第２の動
    き補正信号とを生成する動き補正信号生成部とを備え、
    上記第１の動き補正信号と第２の動き補正信号の差分成
    分が閾値未満の時は上記第１及び第２の動き補正信号を
    用いて内挿フレームを生成し、閾値以上の時は現フレー
    ム又は前フレームの信号により内挿フレームを生成する
    ことを特徴とする請求項６乃至２１のいずれかに記載の
    画像信号のフレーム数変換装置。
23. 【請求項２３】 上記動き補正内挿フレーム生成部は、
    上記画素単位動きベクトル生成部出力の動きベクトルの
    発生頻度に応じて上記内挿入フレームを生成することを
    特徴とする請求項２２に記載の画像信号のフレーム数変
    換装置。
24. 【請求項２４】 上記第１の動き補正信号と第２の動き
    補正信号の差分成分の算出は画像信号の輝度信号成分で
    行うことを特徴とする請求項２２又は２３記載の画像信
    号のフレーム数変換装置。
25. 【請求項２５】 動き補正の現フレーム信号と前フレー
    ム信号との差分成分の算出は画像信号の輝度信号成分及
    び色信号成分の両者を用いて行うことを特徴とする請求
    項２２又は２３記載の画像信号のフレーム数変換装置。
26. 【請求項２６】 上記画像信号のシーンチェンジを検出
    したときは、上記動き補正誤差の大小に応じて生成した
    画像信号の内挿フレームに代えて、現フレーム又は前フ
    レームの信号による内挿フレームを用いて画像信号のフ
    レーム数を変換することを特徴とする請求項６乃至２５
    のいずれかに記載の画像信号のフレーム数変換装置。
27. 【請求項２７】 飛び越し走査の画像信号を飛び越し−
    順次の走査変換処理により順次走査の画像信号を生成
    し、上記順次走査の画像信号より検出した動画ブロック
    に対してブロックマッチング処理でブロック単位の動き
    ベクトルを検出し、上記検出したブロック単位動きベク
    トルの動き補正誤差の大小に応じて現ブロックと隣接ブ
    ロックの動きベクトルより画素単位の動きベクトルを生
    成し、上記画素単位の動きベクトルの動き補正誤差の大
    小に応じて画像信号の内挿フレームを生成し、上記内挿
    フレームを用いて画像信号のフレーム数を変換するよう
    構成されたことを特徴とする画像信号のフレーム数変換
    装置。
28. 【請求項２８】 上記順次走査の画像信号は、フレーム
    繰り返し処理によりフレーム数変換された画像信号であ
    ることを特徴とする請求項２７記載の画像信号のフレー
    ム数変換装置。
29. 【請求項２９】 飛び越し走査の画像信号より検出した
    動画ブロックに対してブロックマッチング処理でブロッ
    ク単位の動きベクトルを検出し、上記検出したブロック
    単位動きベクトルの動き補正誤差の大小に応じて現ブロ
    ックと隣接ブロックの動きベクトルより画素単位の動き
    ベクトルを生成し、上記画素単位の動きベクトルの動き
    補正誤差の大小に応じて画像信号の内挿フレームを生成
    し、上記内挿フレームを用いて画像信号のフレーム数を
    変換するよう構成されたことを特徴とする画像信号のフ
    レーム数変換装置。
30. 【請求項３０】 上記画像信号のシーンチェンジを検出
    したときは、上記動き補正誤差による内挿フレームの生
    成を中止し、現フレーム又は前フレームの信号による内
    挿フレームを用いて画像信号のフレーム数を変換するよ
    う構成されたことを特徴とする請求項２７乃至２９のい
    ずれかに記載の画像信号のフレーム数変換装置。
31. 【請求項３１】 画像信号を入力する入力部と、上記画
    像信号に基づいてブロック単位の動きベクトルを検出
    し、上記ブロック単位動きベクトルの動き補正誤差の大
    小に応じて現ブロックと隣接ブロックの動きベクトルよ
    り画素単位の動きベクトルを生成し、上記画素単位の動
    きベクトルの動き補正誤差の大小に応じて画像信号の内
    挿フレームを生成することにより画像信号のフレーム数
    を変換処理する画像信号のフレーム数変換部と、上記画
    像信号のフレーム数変換部の出力を表示する表示部とを
    備えたことを特徴とするテレビジョン受像機。
32. 【請求項３２】 上記入力部と上記画像信号のフレーム
    数変換部の間に上記画像信号を飛び越し−順次の走査変
    換処理により順次走査の画像信号に変換する走査変換部
    を備え、上記表示部に上記順次走査の画像信号を表示す
    るよう構成したことを特徴とする請求項３１記載のテレ
    ビジョン受像機。
33. 【請求項３３】 上記入力部と上記画像信号のフレーム
    数変換部の間に設けられた飛び越し走査の画像信号を順
    次走査の画像信号に変換する第１の走査変換部と、上記
    画像信号のフレーム数変換部と上記表示部の間に設けら
    れた上記順次走査の画像信号を飛び越し走査の画像信号
    に変換する第２の走査変換部とを備え、上記表示部に飛
    び越し走査の画像信号を表示するよう構成したことを特
    徴とする請求項３１記載のテレビジョン受像機。
34. 【請求項３４】 上記画像信号のフレーム数変換部にお
    いて上記画像信号を飛び越し−順次の走査変換処理によ
    り順次走査の画像信号に変換して上記画像信号の内挿フ
    レームを生成し、上記表示部に順次走査の画像信号を表
    示するよう構成したことを特徴とする請求項３１記載の
    テレビジョン受像機。
35. 【請求項３５】 上記画像信号のフレーム数変換部にお
    いて上記画像信号を飛び越し−順次の走査変換処理によ
    り順次走査の画像信号に変換して上記画像信号の内挿フ
    レームを生成し、上記画像信号のフレーム数変換部と上
    記表示部の間に設けられた走査変換部により上記順次走
    査の画像信号を飛び越し走査の画像信号に変換し、上記
    表示部に飛び越し走査の画像信号を表示するよう構成し
    たことを特徴とする請求項３１記載のテレビジョン受像
    機。
36. 【請求項３６】 ＰＡＬ方式のテレビジョン信号のフレ
    ーム数を上記画像信号のフレーム数変換部により変換
    し、上記表示部にフレーム周波数が６０Ｈｚ、７５Ｈｚ
    又は１００Ｈｚの順次走査の画像表示を行うよう構成し
    たことを特徴とする請求項３２又は３４記載のテレビジ
    ョン受像機。
37. 【請求項３７】 ＰＡＬ方式のテレビジョン信号のフレ
    ーム数を上記画像信号のフレーム数変換部により変換
    し、上記表示部にフィールド周波数が６０Ｈｚ、７５Ｈ
    ｚ又は１００Ｈｚの飛び越し走査の画像表示を行うよう
    構成したことを特徴とする請求項３３又は３５記載のテ
    レビジョン受像機。