JP4655213B2 - 画像処理装置および方法、プログラム並びに記録媒体 - Google Patents

Description

本発明は画像処理装置および方法、プログラム並びに記録媒体に関し、特に、画像を処理する画像処理装置および方法、プログラム並びに記録媒体に関する。

従来、テレビジョン信号を記憶するフレームメモリと、これらから読み出したテレビジョン信号の動きを検出する動きベクトル検出回路と、これらからの複数の動きベクトルデータの平均を得る動きベクトル平均回路と、これからの平均動きベクトルデータ、フレームメモリから読み出されたテレビジョン信号にフレーム内挿処理を施す位置補正回路、乗算回路、加算回路、補正信号発生回路とを備える画像変換装置が提案されている（例えば、特許文献１参照）。

また、動き部分・動き量検出回路では、ＭＵＳＥ信号と動きベクトルから動き部分および動き量が検出され、フレーム間内挿回路では、ＭＵＳＥ信号の静止画像に動きベクトルを考慮したフレームが補間され、ＬＰＦおよびサンプリング周波数変換回路を介してフィールド間内挿回路において、フィールド間にフィールドが補間され、クラス分類適応補間回路では、補間がなされる周辺画素のレベル分布のパターンとエッジデータからクラス分類がなされ、読み出された係数データを用いてフィールド内内挿および／またはフレーム内内挿の処理が行われ、サンプリング周波数変換回路を介して混合回路へ供給され、混合回路では、動き部分・動き量に応じて比率が決定され、静止画像と動き画像とが混合されるようにしているものもある（特許文献２参照）。

特開平６−１２１２９０号公報

特開平９−１７２６２１号公報

しかしながら、内挿に用いるベクトルが誤っている場合など、本来はないエッジなどが生成される画像に生じ、生成される画像が破綻することがある。このような破綻は画像の劣化として目立ち、画像の主観的な画質が落ちてしまう。

本発明は、このような状況に鑑みてなされたものであり、生成した画像の破綻を目立たないようにするものである。

本発明の一側面の画像処理装置は、入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２のフレーム上の画素の画素値を生成する画像処理装置であって、画素値が生成された前記第２のフレーム上の画素であって、注目している画素である注目画素に割り付けられている前記動きベクトルと、前記注目画素の周辺の予め定めた第１の範囲の画素である第１の周辺画素に割り付けられている前記動きベクトルとのばらつきを示す値を算出する第１の算出手段と、前記注目画素の画素値と、前記第２のフレーム上の画素であって、前記注目画素の周辺の予め定めた第２の範囲の画素である第２の周辺画素の画素値とから、空間方向の画素値の変化を示す値を算出する第２の算出手段と、前記動きベクトルのばらつきを示す値および空間方向の画素値の変化を示す値を基に、前記注目画素において前記第２のフレームの画像が破綻しているか否かを判定する判定手段と、前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素の画素値と、前記第３のフレーム上の画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、前記第２のフレーム上の画素に対応する補間値を生成する生成手段と、前記注目画素において前記第２のフレームの画像が破綻していると判定された場合、所定の比率に従って、前記注目画素の画素値に、前記注目画素に対応する前記補間値を混合すると共に、前記第２のフレーム上の画素であって、前記注目画素の周辺の予め定めた第３の範囲の画素である第３の周辺画素の画素値に、前記第３の周辺画素に対応する前記補間値を混合する混合手段とを備える。

前記第１の算出手段は、ばらつきを示す値として、前記注目画素に割り付けられている前記動きベクトルと一致する前記動きベクトルであって、前記第１の周辺画素に割り付けられている前記動きベクトルの数を算出するようにすることができる。

前記第１の算出手段は、ばらつきを示す値として、前記注目画素に割り付けられている前記動きベクトルの成分で定められる範囲に入る大きさの前記動きベクトルであって、前記第１の周辺画素に割り付けられている前記動きベクトルの数を算出するようにすることができる。

前記第２の算出手段は、空間方向の画素値の変化を示す値として、前記注目画素の画素値と前記第２の周辺画素の画素値との差の絶対値のうち、最大の絶対値を算出するようにすることができる。

前記判定手段には、前記動きベクトルのばらつきを示す値および予め定めた第１の閾値を基に、前記注目画素における前記第２のフレームの画像が、破綻している画像の候補であるか否かを判定する第１の破綻画像候補判定手段と、空間方向の画素値の変化を示す値と予め定めた第２の閾値を基に、前記注目画素における前記第２のフレームの画像が、破綻している画像の候補であるか否かを判定する第２の破綻画像候補判定手段と、前記第１の破綻画像候補判定手段における判定の結果と、前記第２の破綻画像候補判定手段における判定の結果とから、前記注目画素において前記第２のフレームの画像が破綻しているか否かを判定する破綻箇所判定手段とを設けることができる。

前記第２のフレーム上の画素のそれぞれを順に前記注目画素とした場合の、前記注目画素の画素値と前記第２の周辺画素の画素値との差の絶対値のうち、最大の絶対値の分布から、前記第２の閾値を算出する閾値算出手段をさらに設けることができる。

前記注目画素の画素値または前記第３の周辺画素の画素値に、前記注目画素または前記第３の周辺画素に対応する前記補間値を混合する前記比率を決定する決定手段をさらに設けることができる。

前記決定手段は、前記注目画素からの距離に対応して、予め記憶している比率のデータを基に、前記比率を決定するようにすることができる。

前記決定手段は、前記注目画素または前記第３の周辺画素の１つに対して２つ以上の前記比率が求められた場合、最終的な前記比率を、求められた前記比率のうちの大きいものに決定するようにすることができる。

本発明の一側面の画像処理方法は、入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２のフレーム上の画素の画素値を生成する画像処理方法であって、画素値が生成された前記第２のフレーム上の画素であって、注目している画素である注目画素に割り付けられている前記動きベクトルと、前記注目画素の周辺の予め定めた第１の範囲の画素である第１の周辺画素に割り付けられている前記動きベクトルとのばらつきを示す値を算出し、前記注目画素の画素値と、前記第２のフレーム上の画素であって、前記注目画素の周辺の予め定めた第２の範囲の画素である第２の周辺画素の画素値とから、空間方向の画素値の変化を示す値を算出し、前記動きベクトルのばらつきを示す値および空間方向の画素値の変化を示す値を基に、前記注目画素において前記第２のフレームの画像が破綻しているか否かを判定し、前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素の画素値と、前記第３のフレーム上の画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、前記第２のフレーム上の画素に対応する補間値を生成し、前記注目画素において前記第２のフレームの画像が破綻していると判定された場合、所定の比率に従って、前記注目画素の画素値に、前記注目画素に対応する前記補間値を混合すると共に、前記第２のフレーム上の画素であって、前記注目画素の周辺の予め定めた第３の範囲の画素である第３の周辺画素の画素値に、前記第３の周辺画素に対応する前記補間値を混合するステップを含む。

本発明の一側面のプログラムは、入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２のフレーム上の画素の画素値を生成する画像処理を、コンピュータに行わせるプログラムであって、画素値が生成された前記第２のフレーム上の画素であって、注目している画素である注目画素に割り付けられている前記動きベクトルと、前記注目画素の周辺の予め定めた第１の範囲の画素である第１の周辺画素に割り付けられている前記動きベクトルとのばらつきを示す値を算出し、前記注目画素の画素値と、前記第２のフレーム上の画素であって、前記注目画素の周辺の予め定めた第２の範囲の画素である第２の周辺画素の画素値とから、空間方向の画素値の変化を示す値を算出し、前記動きベクトルのばらつきを示す値および空間方向の画素値の変化を示す値を基に、前記注目画素において前記第２のフレームの画像が破綻しているか否かを判定し、前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素の画素値と、前記第３のフレーム上の画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、前記第２のフレーム上の画素に対応する補間値を生成し、前記注目画素において前記第２のフレームの画像が破綻していると判定された場合、所定の比率に従って、前記注目画素の画素値に、前記注目画素に対応する前記補間値を混合すると共に、前記第２のフレーム上の画素であって、前記注目画素の周辺の予め定めた第３の範囲の画素である第３の周辺画素の画素値に、前記第３の周辺画素に対応する前記補間値を混合するステップを含む。

本発明の一側面の記録媒体は、入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２のフレーム上の画素の画素値を生成する画像処理を、コンピュータに行わせるプログラムであって、画素値が生成された前記第２のフレーム上の画素であって、注目している画素である注目画素に割り付けられている前記動きベクトルと、前記注目画素の周辺の予め定めた第１の範囲の画素である第１の周辺画素に割り付けられている前記動きベクトルとのばらつきを示す値を算出し、前記注目画素の画素値と、前記第２のフレーム上の画素であって、前記注目画素の周辺の予め定めた第２の範囲の画素である第２の周辺画素の画素値とから、空間方向の画素値の変化を示す値を算出し、前記動きベクトルのばらつきを示す値および空間方向の画素値の変化を示す値を基に、前記注目画素において前記第２のフレームの画像が破綻しているか否かを判定し、前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素の画素値と、前記第３のフレーム上の画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、前記第２のフレーム上の画素に対応する補間値を生成し、前記注目画素において前記第２のフレームの画像が破綻していると判定された場合、所定の比率に従って、前記注目画素の画素値に、前記注目画素に対応する前記補間値を混合すると共に、前記第２のフレーム上の画素であって、前記注目画素の周辺の予め定めた第３の範囲の画素である第３の周辺画素の画素値に、前記第３の周辺画素に対応する前記補間値を混合するステップを含むプログラムを記録している。

本発明の一側面においては、画素値が生成された第２のフレーム上の画素であって、注目している画素である注目画素に割り付けられている前記動きベクトルと、前記注目画素の周辺の予め定めた第１の範囲の画素である第１の周辺画素に割り付けられている前記動きベクトルとのばらつきを示す値が算出され、前記注目画素の画素値と、前記第２のフレーム上の画素であって、前記注目画素の周辺の予め定めた第２の範囲の画素である第２の周辺画素の画素値とから、空間方向の画素値の変化を示す値が算出され、前記動きベクトルのばらつきを示す値および空間方向の画素値の変化を示す値を基に、前記注目画素において前記第２のフレームの画像が破綻しているか否かが判定され、前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素の画素値と、前記第３のフレーム上の画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、前記第２のフレーム上の画素に対応する補間値が生成され、前記注目画素において前記第２のフレームの画像が破綻していると判定された場合、所定の比率に従って、前記注目画素の画素値に、前記注目画素に対応する前記補間値を混合すると共に、前記第２のフレーム上の画素であって、前記注目画素の周辺の予め定めた第３の範囲の画素である第３の周辺画素の画素値に、前記第３の周辺画素に対応する前記補間値が混合される。

以上のように、本発明の一側面によれば、画像を生成することができる。

また、本発明の一側面によれば、生成した画像の破綻を目立たないようにすることができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の画像処理装置は、入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２のフレーム上の画素の画素値を生成する画像処理装置であって、画素値が生成された前記第２のフレーム上の画素であって、注目している画素である注目画素に割り付けられている前記動きベクトルと、前記注目画素の周辺の予め定めた第１の範囲の画素である第１の周辺画素に割り付けられている前記動きベクトルとのばらつきを示す値を算出する第１の算出手段（例えば、図９のベクトル一致数算出部１１１）と、前記注目画素の画素値と、前記第２のフレーム上の画素であって、前記注目画素の周辺の予め定めた第２の範囲の画素である第２の周辺画素の画素値とから、空間方向の画素値の変化を示す値を算出する第２の算出手段（例えば、図９の最大勾配算出部１１３）と、前記動きベクトルのばらつきを示す値および空間方向の画素値の変化を示す値を基に、前記注目画素において前記第２のフレームの画像が破綻しているか否かを判定する判定手段（例えば、図９の判定部１１２）と、前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素の画素値と、前記第３のフレーム上の画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、前記第２のフレーム上の画素に対応する補間値を生成する生成手段（例えば、図９の０ベクトル補間画像生成部１１６）と、前記注目画素において前記第２のフレームの画像が破綻していると判定された場合、所定の比率に従って、前記注目画素の画素値に、前記注目画素に対応する前記補間値を混合すると共に、前記第２のフレーム上の画素であって、前記注目画素の周辺の予め定めた第３の範囲の画素である第３の周辺画素の画素値に、前記第３の周辺画素に対応する前記補間値を混合する混合手段（例えば、図９の画像混合部１１８）とを備える。

前記判定手段には、前記動きベクトルのばらつきを示す値および予め定めた第１の閾値を基に、前記注目画素における前記第２のフレームの画像が、破綻している画像の候補であるか否かを判定する第１の破綻画像候補判定手段（例えば、図９の破綻箇所候補判定部１３１）と、空間方向の画素値の変化を示す値と予め定めた第２の閾値を基に、前記注目画素における前記第２のフレームの画像が、破綻している画像の候補であるか否かを判定する第２の破綻画像候補判定手段（例えば、図９の破綻箇所候補判定部１３２）と、前記第１の破綻画像候補判定手段における判定の結果と、前記第２の破綻画像候補判定手段における判定の結果とから、前記注目画素において前記第２のフレームの画像が破綻しているか否かを判定する破綻箇所判定手段（例えば、図９の破綻箇所判定部１３３）とを設けることができる。

本発明の一側面の画像処理装置は、前記第２のフレーム上の画素のそれぞれを順に前記注目画素とした場合の、前記注目画素の画素値と前記第２の周辺画素の画素値との差の絶対値のうち、最大の絶対値の分布から、前記第２の閾値を算出する閾値算出手段（例えば、図９の勾配閾値算出部１１５）をさらに設けることができる。

本発明の一側面の画像処理装置は、前記注目画素の画素値または前記第３の周辺画素の画素値に、前記注目画素または前記第３の周辺画素に対応する前記補間値を混合する前記比率を決定する決定手段（例えば、図９の混合比決定部１１７）をさらに設けることができる。

本発明の一側面の画像処理方法またはプログラムは、画素値が生成された前記第２のフレーム上の画素であって、注目している画素である注目画素に割り付けられている前記動きベクトルと、前記注目画素の周辺の予め定めた第１の範囲の画素である第１の周辺画素に割り付けられている前記動きベクトルとのばらつきを示す値を算出し（例えば、図２０のステップＳ１０２）、前記注目画素の画素値と、前記第２のフレーム上の画素であって、前記注目画素の周辺の予め定めた第２の範囲の画素である第２の周辺画素の画素値とから、空間方向の画素値の変化を示す値を算出し（例えば、図２０のステップＳ１０３）、前記動きベクトルのばらつきを示す値および空間方向の画素値の変化を示す値を基に、前記注目画素において前記第２のフレームの画像が破綻しているか否かを判定し（例えば、図２０のステップＳ１０４）、前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素の画素値と、前記第３のフレーム上の画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、前記第２のフレーム上の画素に対応する補間値を生成し（例えば、図２０のステップＳ１０１）、前記注目画素において前記第２のフレームの画像が破綻していると判定された場合、所定の比率に従って、前記注目画素の画素値に、前記注目画素に対応する前記補間値を混合すると共に、前記第２のフレーム上の画素であって、前記注目画素の周辺の予め定めた第３の範囲の画素である第３の周辺画素の画素値に、前記第３の周辺画素に対応する前記補間値を混合する（例えば、図２０のステップＳ１０６）ステップを含む。

以下、図を参照して本発明の実施の形態について説明する。

図１は、本発明を適用した画像処理装置１の構成例を表している。画像処理装置１は、例えば、パーソナルコンピュータなどで構成される。図１において、CPU（Central Processing Unit）１１は、ROM（Read Only Memory）１２、または記憶部１８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）１３には、CPU１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１１、ROM１２、およびRAM１３は、バス１４により相互に接続されている。

CPU１１にはまた、バス１４を介して入出力インタフェース１５が接続されている。入出力インタフェース１５には、キーボード、マウス、マイクロフォンなどよりなる入力部１６、ディスプレイ、スピーカなどよりなる出力部１７が接続されている。CPU１１は、入力部１６から入力される指令に対応して各種の処理を実行する。そして、CPU１１は、処理の結果、得られた画像や音声等を出力部１７に出力する。

入出力インタフェース１５に接続されている記憶部１８は、例えばハードディスクなどで構成され、CPU１１が実行するプログラムや各種のデータを記憶する。通信部１９は、インターネット、その他のネットワークを介して外部の装置と通信する。また、通信部１９を介してプログラムを取得し、記憶部１８に記憶してもよい。

入出力インタフェース１５に接続されているドライブ２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１８に転送され、記憶される。

なお、画像処理装置１は、例えば、テレビジョン受像機、ハードディスクプレーヤ、光ディスクプレーヤ、ポータブルプレーヤ（携帯電話機）など、または、それらの画像処理部とすることもできる。

図２は、画像処理装置１の機能の構成の例を示すブロック図である。画像処理装置１は、フレームメモリ５１、ベクトル検出部５２、検出ベクトルメモリ５３、ベクトル割付部５４、割付ベクトルメモリ５５、割付フラグメモリ５６、割付補償部５７、画像補間部５８、および画質改善処理部５９を備える。

なお、画像処理装置１の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えてもよい。

図２に構成を示す画像処理装置１においては、例えば、フレーム周波数２４Ｈｚのプログレッシブ画像信号（以下、２４Ｐ信号と称する）の画像が入力され、入力された画像（入力画像）が、フレーム周波数６０Ｈｚのプログレッシブ画像信号（以下、６０Ｐ信号と称する）の画像に変換されて、出力される。

画像処理装置１に入力された２４Ｐ信号の入力画像は、フレームメモリ５１、ベクトル検出部５２、ベクトル割付部５４、割付補償部５７、画像補間部５８、および画質改善処理部５９に供給される。フレームメモリ５１は、入力画像をフレーム単位で記憶する。フレームメモリ５１は、時刻ｔ＋１の入力画像の１つ前の時刻ｔのフレームを記憶する。フレームメモリ５１に記憶される時刻ｔのフレームは、ベクトル検出部５２、ベクトル割付部５４、割付補償部５７、画像補間部５８、および画質改善処理部５９に供給される。なお、以下、フレームメモリ５１上の時刻ｔのフレームをフレームｔと称し、時刻ｔ＋１の入力画像のフレームを、フレームｔ＋１と称する。

ベクトル検出部５２は、フレームメモリ５１上のフレームｔの着目ブロックと、入力画像のフレームｔ＋１の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ５３に記憶する。この２フレーム間の動きベクトルの検出方法には、勾配法またはブロックマッチング法などが用いられる。検出ベクトルメモリ５３は、フレームｔにおいて、ベクトル検出部５２により検出された動きベクトルを記憶する。

ベクトル割付部５４は、２４Ｐ信号のフレームｔ上において求められた動きベクトルを、割付ベクトルメモリ５５上の、補間する６０Ｐ信号のフレーム（以下、６０Ｐ信号のフレームは、２４Ｐ信号のフレームと区別するため、内挿フレームとも称する）上の画素に割り付け、動きベクトルが割り付けられた画素の割付フラグメモリ５６の割付フラグを１(True)に書き換える。

割付ベクトルメモリ５５は、ベクトル割付部５４により割り付けられた動きベクトルを、内挿フレームの各画素に対応させて記憶する。割付フラグメモリ５６は、内挿フレームの画素毎に、割り付けられる動きベクトルの有無を示す割付フラグを記憶している。例えば、True(1)である割付フラグは、対応する画素に動きベクトルが割り付けられていることを示し、False(0)である割付フラグは、対応する画素に動きベクトルが割り付けられていないことを示す。

割付補償部５７は、割付フラグメモリ５６の割付フラグを参照し、ベクトル割付部５４により動きベクトルが割り付けられなかった着目画素に対して、その着目画素の周辺画素の動きベクトルを補い、割付ベクトルメモリ５５の内挿フレーム上に割り付ける。このとき、割付補償部５７は、動きベクトルを割り付けた着目画素の割付フラグを１(True)に書き換える。

画像補間部５８は、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームｔおよび次のフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成する。そして、画像補間部５８は、生成された内挿フレームを画質改善処理部５９に出力し、その次に、必要に応じて、フレームｔ＋１を画質改善処理部５９に出力する。なお、以下において、画像補間部５８から出力される画像を補間画像とも称する。

画質改善処理部５９は、割付ベクトルメモリ５５に記憶されている内挿フレームに割り付けられた動きベクトルと、予め定めた閾値と、フレームｔおよび次のフレームｔ＋１の画素値とを用いて、内挿フレームに含まれる画像のうち、破綻した画像に画質を改善する処理を適用して、６０Ｐ信号の画像を図示せぬ後段に出力する。

内挿フレームの画素値を補間生成する場合に生じる画像の破綻は、経験的に、内挿フレームの画素に割り付けられている動きベクトルが暴れているとき、生成された内挿フレームにおいてアクティビティが高いとき、起こりえる。

画質改善処理部５９は、割り付けられている動きベクトルが暴れ、空間方向の画素値の変化が大きい部分に、画像の破綻（劣化）が生じていると見なす。画質改善処理部５９は、破綻が生じていると見なされた部分に、０ベクトル補間画像の画素を混合して、破綻した画像の画質を改善する。これにより、画像の破綻が目立たなくなる。

なお、０ベクトル補間画像は、フレームｔとフレームｔ＋１とを０ベクトルで補間してなる画像である。ここで、０ベクトルは、空間方向の成分が０である動きベクトルである。

また、閾値は、外部から供給するようにしてもよく、内部に記憶しておくようにしてもよい。予め定めたとは、それぞれの処理の実行の前に予め定めたという意味であり、少なくとも、処理を実行する時点で定まっているという意味である。従って、各ブロックにおける処理が実行される前に、閾値を変更して定めることは、予め定めたに該当する。

図３は、本発明に係る画像処理装置１におけるフレームを内挿する処理の原理を説明する図である。図３の例においては、点線が、画像処理装置１に入力される、時刻ｔ，ｔ＋１，およびｔ＋２における２４Ｐ信号のフレームを表しており、実線が、入力された２４Ｐ信号から画像処理装置１により、生成される時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，ｔ＋１．６，およびｔ＋２における６０Ｐ信号の内挿フレームを表している。

一般に、２４Ｐ信号を、６０Ｐ信号に変換するためには、５／２倍のフレームが必要になる。すなわち、２枚の２４Ｐ信号の画像から５枚の６０Ｐ信号の画像が生成されなければならない。このとき、生成される６０Ｐ信号の内挿フレームは、そのフレーム間隔を等しくするために、２４Ｐ信号上での時間位相が０．０，０．４，０．８，１．２，および１．６となる位置に配置される。この中で、時間位相が０．０である時刻ｔの１フレームを除く４フレーム（ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６のフレーム）は、２４Ｐ信号上には存在しない画像である。したがって、画像処理装置１は、２４Ｐ信号の画像が入力されると、２４Ｐ信号の時刻ｔおよび時刻ｔ＋１の２枚のフレームから、４つの内挿フレームを生成する。したがって、画像処理装置１からは、時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６の５枚のフレームからなる６０Ｐ信号の画像が出力される。

以上のようにして、画像処理装置１は、２４Ｐ信号の画像から６０Ｐ信号の画像に、フレーム周波数を変換する処理を実行する。

なお、原理的には、上述したように、２４Ｐ信号の時刻ｔおよび時刻ｔ＋１の２枚のフレームから、時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６の５枚の６０Ｐ信号のフレームが新しく生成されるが、実際には、図３の例の場合、２４Ｐ信号の時刻ｔおよび時刻ｔ＋１の２枚のフレームに基づいて、ｔ，ｔ＋０．４，ｔ＋０．８の６０Ｐ信号のフレームが生成され、２４Ｐ信号の時刻ｔ＋１およびｔ＋２の２枚のフレームに基づいて、ｔ＋１．２，ｔ＋１．６，およびｔ＋２の６０Ｐ信号のフレームが生成される。

また、以下、時刻ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６などの時刻ｔ＋ｋの内挿フレームを内挿フレームｔ＋ｋと称する。

図４は、フレームを内挿する処理をより具体的に説明する図である。図４の例においては、太線矢印は、各状態への遷移を表しており、矢印Ｔは、状態８１乃至８５における時間の経過方向を表している。また、状態８１乃至８５は、画像処理装置１を構成する各部への入出力時の、２４Ｐ信号の時刻ｔのフレームｔ、時刻ｔの次の時刻ｔ＋１のフレームｔ＋１、または、フレームｔおよびフレームｔ＋１の間に生成される６０Ｐ信号の内挿フレームＦの状態を概念的に表している。すなわち、実際には、例えば、状態８２に示されるような動きベクトルが検出されたフレームは入力されず、フレームと動きベクトルは、別々に入力される。

状態８１は、ベクトル検出部５２に入力される、２４Ｐ信号のフレームｔおよびフレームｔ＋１の状態を表している。状態８１のフレームｔ上の黒点は、フレームｔ上の画素を表している。ベクトル検出部５２は、状態８１のフレームｔ上の画素が、次の時刻のフレームｔ＋１において、どの位置に移動するかを検出し、その動きを、状態８２のフレームｔ上に示されるように、各画素に対応する動きベクトルとして出力する。この２フレーム間の動きベクトルの検出方法には、ブロックマッチング法または勾配法などが用いられる。なお、このとき、例えば、画素に複数の動きベクトルが検出された場合、ベクトル検出部５２は、各動きベクトルについて、評価値を求め、その評価値に基づいて動きベクトルを選択する。

状態８２は、ベクトル割付部５４に入力される、フレームｔおよびフレームｔ＋１の状態を表している。状態８２において、フレームｔの各画素の矢印は、ベクトル検出部５２により検出された動きベクトルを表している。

ベクトル割付部５４は、状態８２のフレームｔの各画素に対して検出された動きベクトルを、次のフレームｔ＋１まで延長させ、予め設定されている時間位相（例えば、図３のｔ＋０．４）にある内挿フレームＦ上のどの位置を通過するかを求める。これは、フレームｔおよびフレームｔ＋１の間が一定動きであると仮定すると、動きベクトルが内挿フレームＦを通過した点が、そのフレームでの画素位置となるためである。したがって、ベクトル割付部５４は、この通過する動きベクトルを、状態８３の内挿フレームＦ上の近傍４画素に割り付ける。また、このとき、内挿フレームの画素によっては、動きベクトルが存在しない場合、あるいは、複数の動きベクトルが、割付候補となりうる場合がある。後者のような場合には、例えば、ベクトル割付部５４は、ベクトル検出部５２と同様に、各動きベクトルについての評価値を求め、その評価値に基づいて割り付ける動きベクトルを選択する。

状態８３は、割付補償部５７に入力される、フレームｔおよびフレームｔ＋１、並びに動きベクトルが割り付けられた内挿フレームＦの状態を表している。状態８３の内挿フレームＦにおいては、ベクトル割付部５４により動きベクトルが割り付けられている画素と、動きベクトルが割り付けられなかった画素が示されている。

割付補償部５７は、状態８３の動きベクトルが割り付けられていない画素に対して、その画素の周辺画素に割り付けられている動きベクトルを用いて補う。これは、ある着目画素の近傍領域が同じ動きであるという仮定が成り立つならば、着目画素の周辺画素の動きベクトルと、その着目画素の動きベクトルは似たものであるからである。これにより、動きベクトルが割り付けられなかった画素にも、ある程度正確な動きベクトルが与えられ、状態８４の内挿フレームＦ上のすべての画素に動きベクトルが割り付けられる。なお、この場合にも、複数の周辺画素の動きベクトルが候補として存在するため、割付補償部５７は、例えば、ベクトル割付部５４と同様に、各動きベクトルについての評価値を求め、その評価値に基づいて割り付ける動きベクトルを選択する。

状態８４は、画像補間部５８に入力される、フレームｔおよびフレームｔ＋１、並びに、すべての画素に動きベクトルが割り付けられた内挿フレームＦの状態を表している。これらのすべての画素に割り付けられた動きベクトルにより、画像補間部５８は、内挿フレームＦ上の画素と、２枚のフレームｔおよびフレームｔ＋１の画素の位置関係を決定することができる。したがって、画像補間部５８は、内挿フレームＦ上に割り付けられた動きベクトルと、フレームｔおよびフレームｔ＋１の画素値を用いて、状態８５の内挿フレームＦの黒点に示されるように、内挿フレームＦ上の画素値を補間生成する。そして、画像補間部５８は、生成された内挿フレームを出力し、その次に、必要に応じて、フレームｔ＋１を出力することにより、６０Ｐ信号の補間画像を、後段に出力する。

次に、図５のフローチャートを参照して、画像処理装置１のフレーム周波数を変換する処理を説明する。

ステップＳ１において、ベクトル検出部５２は、時刻ｔ＋１の入力画像のフレームｔ＋１と、フレームメモリ５１の入力画像の１つ前の時刻ｔのフレームｔの画素値を入力し、ステップＳ２に進む。なお、このとき、ベクトル割付部５４、割付補償部５７、画像補間部５８、および画質改善処理部５９は、時刻ｔ＋１の入力画像のフレームｔ＋１と、フレームメモリ５１の入力画像の１つ前の時刻ｔのフレームｔの画素値を入力する。

ステップＳ２において、ベクトル検出部５２は、動きベクトルを検出し、ステップＳ３に進む。すなわち、ベクトル検出部５２は、フレームメモリ５１上のフレームｔの着目ブロックと、入力画像である次のフレームｔ＋１の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ５３に記憶し、ステップＳ３に進む。この２フレーム間の動きベクトルの検出方法には、勾配法またはブロックマッチング法などが用いられる。

ステップＳ３において、ベクトル割付部５４は、補間する内挿フレーム上の着目画素に動きベクトルを割り付け、ステップＳ４に進む。すなわち、ベクトル割付部５４は、ステップＳ３において、フレームｔ上において求められた動きベクトルを、割付ベクトルメモリ５５上の、補間する内挿フレーム上の着目画素に割り付け、動きベクトルが割り付けられた画素の割付フラグメモリ５６の割付フラグを１(True)に書き換える。例えば、Trueである割付フラグは、対応する画素に動きベクトルが割り付けられていることを示し、Falseである割付フラグは、対応する画素に動きベクトルが割り付けられていないことを示す。

ステップＳ４において、割付補償部５７は、割り付けを補償し、ステップＳ５に進む。すなわち、割付補償部５７は、ステップＳ４において、割付フラグメモリ５６の割付フラグを参照し、ベクトル割付部５４により動きベクトルが割り付けられなかった着目画素に対して、その着目画素の周辺画素の動きベクトルを補い、割付ベクトルメモリ５５の内挿フレーム上に割り付ける。このとき、割付補償部５７は、動きベクトルを補い、割付けた着目画素の割付フラグを１(True)に書き換える。

ステップＳ５において、画像補間部５８は、画像補間処理を実行する。すなわち、画像補間部５８は、ステップＳ５において、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームｔおよびフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成し、ステップＳ６に進む。ステップＳ５における、画像補間処理の詳細は後述する。画像補間部５８は、生成された内挿フレームを出力し、その次に、必要に応じて、フレームｔ＋１を出力することにより、６０Ｐ信号の補間画像を出力する。

ステップＳ６において、画質改善処理部５９は、内挿フレームについて、画質改善処理を実行して、ステップＳ７に進む。画質改善処理の詳細は後述する。

画質改善処理部５９は、ステップＳ７において、画質が改善された６０Ｐ信号の補間画像を出力する。

ステップＳ８において、ベクトル検出部５２は、すべてのフレームの処理が終了したか否かを判断し、すべてのフレームの処理が終了していないと判断した場合、ステップＳ１に戻り、それ以降の処理を繰り返す。一方、ベクトル検出部５２は、ステップＳ８において、すべてのフレームの処理が終了したと判断した場合、フレーム周波数を変換する処理を終了する。

以上のように、本発明に係る画像処理装置１は、２４Ｐ信号の入力画像のフレームから動きベクトルを検出し、検出した動きベクトルを、６０Ｐ信号のフレーム上の画素に割付け、割付けられた動きベクトルに基づいて、６０Ｐ信号のフレーム上の画素値を生成する。そして、画像処理装置１は、内挿フレームに画質改善処理を適用して、破綻のより目立ちにくい画像を出力する。

次に、画像補間部５８の構成の詳細について説明する。

図６は、画像補間部５８の構成を示すブロック図である。図６に構成を示す画像補間部５８は、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームｔおよびフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成し、６０Ｐ信号の補間画像を出力する処理を行う。

図６の例において、時刻ｔの画像のフレームｔは、空間フィルタ９２−１に入力され、時刻ｔ＋１の画像のフレームｔ＋１は、空間フィルタ９２−２およびバッファ９５に入力される。

補間制御部９１は、割付ベクトルメモリ５５の内挿フレームの画素を選択し、選択した画素に割り付けられている動きベクトルに基づいて、内挿フレーム上の画素と、２枚のフレームｔおよびフレームｔ＋１の画素との位置関係（空間シフト量）をそれぞれ求める。すなわち、補間制御部９１は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ上の位置と、内挿フレームの画素に対応するフレームｔ上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−１に供給する。同様に、補間制御部９１は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ＋１上の位置と、内挿フレームの画素に対応するフレームｔ＋１上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−２に供給する。

また、補間制御部９１は、予め設定されている内挿フレームの時間位相（時刻）に基づいて、フレームｔとフレームｔ＋１の間における補間重みを求め、求めた補間重みを、乗算器９３−１および９３−２に設定する。例えば、内挿フレームの時刻が、フレームｔ＋１の時刻ｔ＋１から「ｋ」離れた時刻で、かつ、フレームｔの時刻ｔから「１−ｋ」離れた時刻である場合（すなわち、内挿フレームが時刻ｔと時刻ｔ＋１を「１−ｋ」：「ｋ」に内分する時刻に生成される場合）、補間制御部９１は、乗算器９３−１に「１−ｋ」の補間重みを設定し、乗算器９３−２に「ｋ」の補間重みを設定する。

空間フィルタ９２−１および９２−２は、例えば、キュービックフィルタなどにより構成される。空間フィルタ９２−１は、入力されるフレームｔ上の画素の画素値と、補間制御部９１から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、フレームｔ上の画素値を求め、求めた画素値を乗算器９３−１に出力する。空間フィルタ９２−２は、入力されるフレームｔ＋１上の画素の画素値と、補間制御部９１から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、フレームｔ＋１上の画素値を求め、求めた画素値を乗算器９３−２に出力する。

なお、内挿フレームの画素の位置が、フレームｔまたはフレームｔ＋１上の画素の位置と一致しない場合（すなわち、内挿フレームの画素の位置が、フレームｔまたはフレームｔ＋１において画素以下成分である場合）、空間フィルタ９２−１および９２−２は、フレームｔまたはフレームｔ＋１における内挿フレームの画素の位置の周辺４画素の画素値を用いて、周辺４画素の距離の逆比の和を求めることにより、内挿フレームの画素に対応するフレーム上の画素値を求める。すなわち、画素以下位置の画素値は、周辺４画素との距離を基にした線形補間で値が求められる。

乗算器９３−１は、空間フィルタ９２−１から入力されるフレームｔ上の画素値に、補間制御部９１により設定された補間重み「１−ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。乗算器９３−２は、空間フィルタ９２−２から入力されるフレームｔ＋１上の画素値に、補間制御部９１により設定された補間重み「ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。

加算器９４は、乗算器９３−１から入力される画素値と、乗算器９３−２から入力される画素値を加算することにより、内挿フレームの画素の画素値を生成し、生成された内挿フレームの画素値を、バッファ９５に出力する。バッファ９５は、入力されたフレームｔ＋１をバッファしている。バッファ９５は、生成された内挿フレームを出力し、その次に、予め設定されている６０Ｐフレームの時間位相（時刻）に基づいて、必要に応じて、バッファしているフレームｔ＋１を出力することにより、６０Ｐ信号の補間画像を画質改善処理部５９に出力する。

以上のように構成される画像補間部５８の画像補間処理の詳細を、図７のフローチャートを参照して説明する。

補間制御部９１は、ステップＳ５１において、処理する内挿フレームの時間位相に基づいて、フレームｔとフレームｔ＋１の間における内挿フレームの補間重み（例えば、「ｋ」および「１−ｋ」）を求め、求められた補間重みを、乗算器９３−１および９３−２にそれぞれ設定し、ステップＳ５２に進む。

例えば、図８で示されるように、時刻ｔのフレームｔと時刻ｔ＋１のフレームｔ＋１の間の、時刻ｔ＋ｋの内挿フレームを生成する場合、補間制御部９１は、ｋおよび１−ｋの補間重みを求め、求められた補間重みを、乗算器９３−１および９３−２にそれぞれ設定する。なお、図８の例においては、点線が、画像処理装置１に入力される、時刻ｔおよびｔ＋１における２４Ｐ信号のフレームを表しており、実線が、入力された２４Ｐ信号から画像処理装置１により、生成される時刻ｔ＋ｋにおける６０Ｐ信号の内挿フレームを表している。

補間制御部９１は、ステップＳ５２において、割付ベクトルメモリ５５の内挿フレームの画素を選択し、ステップＳ５３に進む。なお、内挿フレーム上の画素は、フレームの左上の画素からラスタスキャン順に選択される。

補間制御部９１は、ステップＳ５３において、選択した画素に割り付けられている動きベクトルに基づいて、内挿フレーム上の画素と、２枚のフレームｔおよびフレームｔ＋１の画素との位置関係（空間シフト量）をそれぞれ求め、求められた空間シフト量を、それぞれ空間フィルタ９２−１および９２−２に供給し、ステップＳ５４に進む。

具体的には、補間制御部９１は、ステップＳ５３において、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ上の位置と、内挿フレームの画素に対応するフレームｔ上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−１に供給する。同様に、補間制御部９１は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ＋１上の位置と、内挿フレームの画素に対応するフレームｔ＋１上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−２に供給する。

時刻ｔの画像のフレームｔの画素値は、空間フィルタ９２−１に入力され、時刻ｔ＋１の画像のフレームｔ＋１の画素値は、空間フィルタ９２−２に入力されている。ステップＳ５４において、空間フィルタ９２−１および９２−２は、入力されるフレームｔおよびｔ＋１上の画素の画素値と、補間制御部９１から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、各フレーム上の画素値を求め、求めた画素値を乗算器９３−１および９３−２にそれぞれ出力し、ステップＳ５５に進む。

乗算器９３−１および９３−２は、ステップＳ５５において、空間フィルタ９２−１または９２−２から入力される各フレーム上の画素値に、補間制御部９１により設定された補間重みを重み付けし、重み付けされた画素値を、加算器９４に出力し、ステップＳ５６に進む。すなわち、乗算器９３−１は、空間フィルタ９２−１から入力されるフレームｔ上の画素値に、補間制御部９１により設定された補間重み「１−ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。乗算器９３−２は、空間フィルタ９２−２から入力されるフレームｔ＋１上の画素値に、補間制御部９１により設定された補間重み「ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。

加算器９４は、ステップＳ５６において、乗算器９３−１により重み付けされた画素値と、乗算器９３−２により重み付けされた画素値を加算することにより、内挿フレームの画素の画素値を生成し、生成された画素値を、バッファ９５に出力し、ステップＳ５７に進む。

例えば、ステップＳ５２乃至ステップＳ５６の処理により、図８で示されるように、内挿フレームにおける選択された画素ｐに割り付けられている動きベクトルｖで対応付けられるフレームｔ上の画素ｑの画素値およびフレームｔ＋１上の画素ｒの画素値から、フレームｔとフレームｔ＋１の間の新たな内挿フレームｔ＋ｋ上の画素ｐの画素値が生成される。

補間制御部９１は、ステップＳ５７において、内挿フレーム上のすべての画素についての処理が終了したか否かを判断し、内挿フレーム上のすべての画素についての処理が終了していないと判断した場合、ステップＳ５２に戻り、それ以降の処理を繰り返す。補間制御部９１は、ステップＳ５７において、内挿フレーム上のすべての画素についての処理が終了したと判断した場合、画像補間処理を終了する。

以上のように、内挿フレームに割り付けられた動きベクトルに基づいて、内挿フレームの画素値が生成され、上述した図５のステップＳ５において、バッファ９５により、内挿フレームが出力され、その次に、必要に応じて、フレームｔ＋１が出力されることにより、６０Ｐ信号の補間画像が画質改善処理部５９に出力される。

なお、図７のフローチャートを参照して説明した処理は、内挿フレーム生成の処理とも称する。

次に、画質改善処理部５９について説明する。

図９は、画質改善処理部５９の構成の例を示すブロック図である。画質改善処理部５９は、ベクトル一致数算出部１１１、判定部１１２、最大勾配算出部１１３、勾配ヒストグラム生成部１１４、勾配閾値算出部１１５、０ベクトル補間画像生成部１１６、混合比決定部１１７、および画像混合部１１８を備える。

ベクトル一致数算出部１１１は、動きベクトルのばらつきを求める。すなわち、ベクトル一致数算出部１１１は、画素値が生成された内挿フレーム上の画素であって、注目している画素である注目画素に割り付けられている動きベクトルと、注目画素の周辺の予め定めた範囲の画素である周辺画素に割り付けられている動きベクトルとのばらつきを示す値を算出する。

経験的に、内挿フレームの画素に割り付けられている動きベクトルが暴れているとき、内挿フレームに破綻が生じている可能性が高いので、ベクトル一致数算出部１１１において算出される動きベクトルとのばらつきを示す値は、破綻が生じている可能性を示していると言える。

例えば、ベクトル一致数算出部１１１は、ばらつきを示す値として、注目画素に割り付けられている動きベクトルと一致する動きベクトルであって、周辺画素に割り付けられている動きベクトルの数を算出する。

より具体的には、ベクトル一致数算出部１１１は、注目画像に割り当てられた動きベクトルおよび注目画素の周辺の画素に割り当てられた動きベクトルを割付ベクトルメモリ５５から読み出す。例えば、ベクトル一致数算出部１１１は、注目画素から、上下に２画素、左右に２画素離れた範囲の画素に割り付けられている動きベクトルまたは注目画素に割り付けられている動きベクトルを割付ベクトルメモリ５５から読み出す。

ベクトル一致数算出部１１１は、注目画像に割り当てられた動きベクトルと、周辺の画素に割り当てられた動きベクトルとが一致するか否かを判定する。

例えば、ベクトル一致数算出部１１１は、注目画像に割り当てられた動きベクトルＶのｘ成分であるＶｘおよびｙ成分であるＶｙのうち、絶対値の大きい成分から、一致判定に用いる範囲を定める。

注目画像に割り当てられた動きベクトルＶのｙ成分であるＶｙに比較して、ｘ成分であるＶｘが大きい場合、ベクトル一致数算出部１１１は、ｘ成分であるＶｘを選択する。そして、ベクトル一致数算出部１１１は、一致判定に用いる範囲の中心位置を、始点が原点に一致するように配置された動きベクトルＶの終点で示される位置として、一致判定に用いる範囲の幅および高さを、選択したＶｘの絶対値に所定の定数を乗じた値とする。

図１０の例で示されるように、始点が原点に一致するように配置された動きベクトルＶの終点で示される位置（Ｖｘ、Ｖｙ）を中心として、Ｖｙから上に０．２×｜Ｖｘ｜、Ｖｙから下に０．２×｜Ｖｘ｜、Ｖｘから右に０．２×｜Ｖｘ｜、およびＶｘから左に０．２×｜Ｖｘ｜の範囲が、動きベクトルの一致判定に用いられる範囲（以下、一致許容範囲と称する。）とされる。この場合、一致許容範囲は、０．４×｜Ｖｘ｜を一辺とする矩形となる。図１０において、斜線を付した部分が一致許容範囲を示す。

すなわち、一致許容範囲の幅および高さは、式（１）により求められる。
一致許容範囲＝±α×（注目画素の動きベクトルの最大成分の絶対値）
＝±α×max（｜Ｖｘ｜，｜Ｖｙ｜）
・・・（１）
定数αは、例えば、０．２とされる。なお、max（ａ，ｂ）は、ａまたはｂのうち、大きい方を選ぶ関数である。

すなわち、注目画素の周辺の画素に割り付けられた動きベクトルの始点を原点に一致するように配置した場合、その動きベクトルの終点で、一致許容範囲の中が示されるとき、その動きベクトルは、注目画像に割り当てられた動きベクトルと一致すると判定される。一方、その動きベクトルの終点で、一致許容範囲の外が示されるとき、その動きベクトルは、注目画像に割り当てられた動きベクトルと一致しないと判定される。

なお、図１１で示されるように、一致許容範囲を円形とするようにしてもよい。この場合、一致許容範囲の半径は、例えば、式（２）により求められる。
一致許容範囲＝±α×（注目画素の動きベクトルの大きさ）
＝±α×｜Ｖ｜
・・・（２）
この場合も、定数αは、例えば、０．２とされる。

ベクトル一致数算出部１１１は、注目画素の周辺の画素に割り付けられた動きベクトルのそれぞれが、注目画像に割り当てられた動きベクトルと一致するか否かを判定して、注目画素の周辺の画素に割り付けられた動きベクトルのうち、注目画像に割り当てられた動きベクトルと一致する動きベクトルの数を求める。

ベクトル一致数算出部１１１は、動きベクトルのばらつきを示す値を判定部１１２に供給する。

最大勾配算出部１１３は、内挿フレームのアクティビティを求める。すなわち、最大勾配算出部１１３は、注目画素の画素値と、内挿フレーム上の画素であって、注目画素の周辺の予め定めた範囲の画素である周辺画素の画素値とから、空間方向の画素値の変化を示す値を算出する。

経験的に、生成された内挿フレームにおいてアクティビティが高いとき、内挿フレームに破綻が生じている可能性が高いので、最大勾配算出部１１３において算出される空間方向の画素値の変化を示す値は、破綻が生じている可能性を示していると言える。

例えば、最大勾配算出部１１３は、空間方向の画素値の変化を示す値として、注目画素の画素値と周辺画素の画素値との差の絶対値のうち、最大の絶対値を算出する。

より詳細には、例えば、最大勾配算出部１１３は、図１２で示されるように、注目画素を中心する３×３画素の範囲の周辺画素について、注目画素の画素値と周辺画素の画素値との差分の絶対値を求める。すなわち、最大勾配算出部１１３は、注目画素の画素値と、注目画素に対して、上下左右、斜めに隣接している周辺画素の画素値との差分の絶対値を求める。

最大勾配算出部１１３は、注目画素の画素値と周辺画素の画素値との差分の絶対値のうち、最大の値を注目画素の最大勾配とする。

なお、最大勾配を求めるとき、注目画素に対して斜めの位置の画素についての勾配は考慮しないようにしてもよい。

最大勾配算出部１１３は、空間方向の画素値の変化を示す値の一例である最大勾配を勾配ヒストグラム生成部１１４および判定部１１２に供給する。

勾配ヒストグラム生成部１１４は、最大勾配算出部１１３から供給された最大勾配のヒストグラムを生成する。例えば、図１３で示されるように、画像の縦方向の画素の数が４８０である場合、勾配ヒストグラム生成部１１４は、最大勾配算出部１１３から供給された最大勾配のうち、画像の上端または下端の１００画素の最大勾配を除いた、最大勾配のヒストグラムを生成する。すなわち、勾配ヒストグラム生成部１１４は、画像の中心の縦方向に２８０画素、横方向に７２０画素の領域を対象領域として、対象領域の画素を注目画素とするときの最大勾配のヒストグラムを生成する。

画像の上端または下端を除いたのは、画像の上端または下端にはテロップやバナーが表示されることが多く、テロップやバナーが表示されると、勾配が大きくなってしまうので、この影響を避けるためである。

なお、対象領域を、画像の中心の縦方向に２８０画素とすると説明したが、２８０画素に限定されるものではない。また、対象領域の高さ（画素数）は、画像全体（フレーム全体）の縦方向の画素数に応じて、変えるようにしてもよい。

また、対象領域の画素を間引いて最大勾配のヒストグラムを生成するようにしてもよい。例えば、対象領域の画素のうち、１つおきの画素についての最大勾配のヒストグラムを生成するようにしてもよい。

勾配ヒストグラム生成部１１４は、生成したヒストグラムを示すデータを勾配閾値算出部１１５に供給する。

勾配閾値算出部１１５は、内挿フレーム上の画素のそれぞれを順に注目画素とした場合の、注目画素の画素値と注目画素の周辺の画素である周辺画素の画素値との差の絶対値のうち、最大の絶対値の分布から、閾値（勾配閾値）を算出する。例えば、勾配閾値算出部１１５は、勾配ヒストグラム生成部１１４から供給されたヒストグラムを示すデータを基に、ヒストグラムにおいて、最大勾配の小さい方からの度数の積算値が全体の数の９５％に達した部分の最大勾配を閾値とする。

なお、閾値は、９５％に達した部分の最大勾配に限られるものではない。本発明者による実験においては、９０％乃至９５％に達した部分の最大勾配を閾値とすると好ましい結果が得られた。

図１４は、勾配ヒストグラム生成部１１４から供給されたデータで示されるヒストグラムを表す図である。図１４において、横軸は、最大勾配を示し、縦軸は度数を示す。図１４で示されるヒストグラムの例において、８刻みの最大勾配の区間に対する度数が示されている。すなわち、図１４で示されるヒストグラムの例において、０乃至７の最大勾配の区間、８乃至１５の最大勾配の区間、１６乃至２３の最大勾配の区間、２４乃至３１の最大勾配の区間、３２乃至３９の最大勾配の区間、および４０乃至４７の最大勾配の区間・・・のそれぞれの区間の度数が示されている。

例えば、図１３で示されるように、画像の中心の縦方向に２８０画素で横方向に７２０画素を対象領域とする場合、対象領域の画素の数は、２０１６００である。２０１６００の９５％は、１９１５２０なので、度数の積算値が１９１５２０を超えた次の区間における最大勾配のうちの最小値が閾値とされる。

例えば、０乃至７の最大勾配の区間から３２乃至３９の最大勾配の区間までの度数の積算値が１９１５２０を超えた場合、勾配閾値算出部１１５は、３９の最大勾配の次の最大勾配である４０を閾値とする。

なお、ヒストグラムの１つの区間は、８刻みに限るものではなく、任意の数とすることができる。ヒストグラムの１つの区間を、２以上のｎ刻み（ｎは整数）とすることで、処理をより簡単にすることができる。１つの最大勾配を１つの区間とするようにしてもよいことは勿論である。

勾配閾値算出部１１５は、算出した閾値（勾配閾値）を判定部１１２に供給する。

判定部１１２は、動きベクトルのばらつきを示す値および空間方向の画素値の変化を示す値を基に、注目画素において内挿フレームの画像が破綻しているか否かを判定する。判定部１１２は、破綻箇所候補判定部１３１、破綻箇所候補判定部１３２、および破綻箇所判定部１３３を備える。

破綻箇所候補判定部１３１は、動きベクトルのばらつきを示す値および予め定めた閾値を基に、注目画素における内挿フレームの画像が、破綻している画像の候補であるか否かを判定する。

破綻箇所候補判定部１３２は、空間方向の画素値の変化を示す値と予め定めた閾値（勾配閾値）を基に、注目画素における内挿フレームの画像が、破綻している画像の候補であるか否かを判定する。

破綻箇所判定部１３３は、破綻箇所候補判定部１３１における判定の結果と、破綻箇所候補判定部１３２における判定の結果とから、注目画素において内挿フレームの画像が破綻しているか否かを判定する。

例えば、破綻箇所候補判定部１３１は、ベクトル一致数算出部１１１から供給された値で示される、注目画像に割り当てられた動きベクトルと一致する動きベクトルの数が、予め定めた閾値ＴＨ₁未満である場合、注目画素における内挿フレームの画像が、破綻している画像の候補であると判定し、注目画像に割り当てられた動きベクトルと一致する動きベクトルの数が、予め定めた閾値ＴＨ₁以上である場合、注目画素における内挿フレームの画像が、破綻している画像の候補でないと判定する。

すなわち、破綻箇所候補判定部１３１は、式（３）で示される条件が満たされる場合、注目画素における内挿フレームの画像が、破綻している画像の候補であると判定し、式（３）で示される条件が満たされない場合、注目画素における内挿フレームの画像が、破綻している画像の候補でないと判定する。
動きベクトルの一致数＜ＴＨ₁ ・・・（３）

経験的に、閾値ＴＨ₁は、ベクトル一致数算出部１１１において一致の判定の対象となる動きベクトルの数の半分とすることが好ましい。ベクトル一致数算出部１１１において、注目画素から、上下に２画素、左右に２画素離れた範囲の画素に割り付けられている動きベクトルが一致の判定の対象となる場合、一致の判定の対象となる動きベクトルの数が８なので（注目画素の割り付けられた動きベクトルを除く）、閾値ＴＨ₁は、４とすることが好ましい。従って、この場合、破綻箇所候補判定部１３１は、注目画素に割り付けられている動きベクトルと一致する動きベクトルの数が４未満であるとき、注目画素における内挿フレームの画像が、破綻している画像の候補であると判定する。

例えば、破綻箇所候補判定部１３２は、最大勾配算出部１１３から供給された最大勾配が勾配閾値である閾値ＴＨ₂以上である場合、注目画素における内挿フレームの画像が、破綻している画像の候補であると判定し、最大勾配算出部１１３から供給された最大勾配が閾値ＴＨ₂未満である場合、注目画素における内挿フレームの画像が、破綻している画像の候補でないと判定する。

すなわち、破綻箇所候補判定部１３２は、式（４）で示される条件が満たされる場合、注目画素における内挿フレームの画像が、破綻している画像の候補であると判定し、式（４）で示される条件が満たされない場合、注目画素における内挿フレームの画像が、破綻している画像の候補でないと判定する。
最大勾配＞＝ＴＨ₂ ・・・（４）

例えば、破綻箇所判定部１３３は、注目画素について、破綻箇所候補判定部１３１において、破綻している画像の候補であると判定されると共に、破綻箇所候補判定部１３２において、破綻している画像の候補であると判定された場合、注目画素における内挿フレームの画像が破綻していると判定する。破綻箇所判定部１３３は、注目画素について、破綻箇所候補判定部１３１において、破綻している画像の候補でないと判定されるか、または、破綻箇所候補判定部１３２において、破綻している画像の候補でないと判定された場合、注目画素における内挿フレームの画像が破綻していないと判定する。

すなわち、破綻箇所判定部１３３は、式（５）で示されるように、動きベクトルの一致数によって破綻している画像の候補であると判定された画像と、最大勾配によって破綻している画像の候補であると判定された画像との積集合を、破綻している画像であると判定する。
破綻箇所＝動きベクトルの一致数による破綻箇所候補∩最大勾配による破綻箇所候補
・・・（５）

なお、破綻箇所判定部１３３は、式（６）で示されるように、動きベクトルの一致数によって破綻している画像の候補であると判定された画像と、最大勾配によって破綻している画像の候補であると判定された画像との和集合を、破綻している画像であると判定するようにしてもよい。
破綻箇所＝動きベクトルの一致数による破綻箇所候補∪最大勾配による破綻箇所候補
・・・（６）

破綻箇所判定部１３３は、破綻していると判定された画像を示すデータ（例えば、位置を示すデータ）を混合比決定部１１７に供給する。

０ベクトル補間画像生成部１１６は、フレームｔとの間に内挿フレームｔ＋ｋが配置される、入力されたフレームｔ＋１上の画素の画素値と、フレームｔ＋１上の画素の位置と同じ位置のフレームｔ上の画素の画素値とから、フレームｔの時刻ｔから内挿フレームｔ＋ｋの時刻ｔ＋ｋまでの時間ｋと、内挿フレームｔ＋ｋの時刻ｔ＋ｋからフレームｔ＋１の時刻ｔ＋１までの時間１−ｋとの比率に応じて、内挿フレームｔ＋ｋ上の画素に対応する補間値を生成する。

図１５は、０ベクトル補間画像生成部１１６における０ベクトル補間画像の補間値の生成を説明する図である。なお、図１５の例においては、点線が、画像処理装置１に入力される、時刻ｔおよびｔ＋１における２４Ｐ信号のフレームを表しており、実線が、入力された２４Ｐ信号から画像処理装置１により、生成される時刻ｔ＋ｋにおける６０Ｐ信号の内挿フレームを表している。また、動きベクトルｖは、内挿フレームの画素ｐに割り付けられ、フレームｔ＋１上の画素ｒおよびフレームｔ上の画素ｑが、動きベクトルｖによって対応付けられている。

図中の空間方向の成分が０である０ベクトルは、内挿フレーム上の注目画素ｐの位置と同じ位置のフレームｔ上の画素ｐと、注目画素ｐの位置と同じ位置のフレームｔ＋１上の画素ｐとを対応付けている。

図１５で示されるように、０ベクトル補間画像生成部１１６は、内挿フレーム上の画素ｐに注目している場合、画素ｐの位置と同じ位置のフレームｔ上の画素ｐの画素値Ｆ_t（ｐ）と、画素ｐの位置と同じ位置のフレームｔ＋１上の画素ｐの画素値Ｆ_t+1（ｐ）とを取得する。そして、０ベクトル補間画像生成部１１６は、画素値Ｆ_t+1（ｐ）に、時刻ｔから時刻ｔ＋ｋまでの時間に応じた重みｋを乗算し、画素値Ｆ_t（ｐ）に、時刻ｔ＋ｋから時刻ｔ＋１までの時間に応じた重み１−ｋを乗算する。さらに、０ベクトル補間画像生成部１１６は、これらの乗算の結果を加算することで、補間値Ｇ_t+k（ｐ）を生成する。

すなわち、０ベクトル補間画像生成部１１６によって、式（７）で示される補間値Ｇ_t+k（ｐ）が求められる。
Ｇ_t+k（ｐ）＝（１−ｋ）Ｆ_t（ｐ）＋ｋＦ_t+1（ｐ） （７）

０ベクトル補間画像生成部１１６は、内挿フレームの全ての画素について、式（７）で示される演算で求められる補間値を生成する。０ベクトル補間画像生成部１１６は、生成した補間値からなる０ベクトル補間画像を画像混合部１１８に供給する。

混合比決定部１１７は、注目画素の画素値または周辺画素の画素値に、注目画素または周辺画素に対応する補間値を混合する比率を決定する。例えば、混合比決定部１１７は、注目画素からの距離に対応して、予め記憶している比率のデータを基に、比率を決定する。

以下、画素値と補間値を混合する比率を混合比とも称する。

混合比決定部１１７は、決定した混合比を画像混合部１１８に供給する。

画像混合部１１８は、注目画素が破綻箇所である場合、注目画素を中心としたある一定の範囲に、０ベクトル補間画像を混合する。すなわち、画像混合部１１８は、注目画素において内挿フレームの画像が破綻していると判定された場合、混合比決定部１１７からの比率（混合比）に従って、注目画素の画素値に、注目画素に対応する補間値を混合すると共に、内挿フレーム上の画素であって、注目画素の周辺の予め定めた範囲の画素である周辺画素の画素値に、周辺画素に対応する補間値を混合する。

例えば、画像混合部１１８は、混合比決定部１１７から画素ｐについて混合比γが入力された場合、０ベクトル補間画像生成部１１６から供給された０ベクトル補間画像に含まれる、画素ｐに対応する補間値Ｇ_t+k（ｐ）に混合比γを乗算し、内挿フレームｔ＋ｋの画素ｐの画素値Ｆ_t+k（ｐ）に（１−γ）を乗算する。そして、画像混合部１１８は、これらの乗算の結果を加算した値を内挿フレームｔ＋ｋの画素ｐの画素値Ｆ’_t+k（ｐ）とする。

すなわち、画像混合部１１８によって、画素ｐについての混合比γに従って、内挿フレームｔ＋ｋの画素ｐの画素値Ｆ_t+k（ｐ）に、０ベクトル補間画像生成部１１６において生成された補間値Ｇ_t+k（ｐ）が混合されることで、式（８）で示される、内挿フレームｔ＋ｋの画素ｐの画素値Ｆ’_t+k（ｐ）が求められる。
Ｆ’_t+k（ｐ）＝（１−γ）Ｆ_t+k（ｐ）＋γＧ_t+k（ｐ） （８）

画像混合部１１８は、混合の結果得られた画像を出力画像として出力する。

ここで、混合比の具体例について、説明する。

例えば、混合比決定部１１７は、注目画素について混合比を決め、また、注目画素を中心した所定の範囲の周辺の画素である周辺画素について混合比を決める。例えば、図１６で示されるように、混合比決定部１１７は、注目画素を中心とした１５×１５画素の範囲の画素に対する混合比を決める。

例えば、注目画素についての混合比は、最大の７５％とされ、最小の混合比は、４０％とされる。注目画素は破綻箇所なので、注目画素と補間値との混合比が最も大きくされ、注目画素の周辺に向かって徐々に混合比は小さくされる。すなわち、周辺画素の混合比は、周辺画素が注目画素から離れるに従って、小さい値とされる。

例えば、図１６で示されるように、混合比は、gaussian関数により決められる。この場合、例えば、混合比決定部１１７は、図１７で示されるルックアップテーブル（LUT：Look Up Table）を予め記憶している。

図１７に例示されているルックアップテーブルは、横２３行×縦２３列の配列からなる。ルックアップテーブルの各要素は、各画素に対応している。すなわち、横２３画素×縦２３画素の範囲で混合比を設定する場合の例を示している。なお、図１７の例は、簡単のため、小数点以下３bitの精度（１０進数の０．１２５に相当する）を保った場合の数値を示す。

例えば、ルックアップテーブルには、gaussian関数により決まる値が、混合比として配列の要素に配置されている。

gaussian関数は、σおよびλを定数として、式（９）で表される。
G^ex(x,y)=λ²exp[−(x²+y²)/2σ²] ・・・（９）
式（９）において、(x,y)は、画素位置を示す。

図１７に示す例においては、λ²=1/2πσ²とおいて、式（１０）によって、注目画素を中心とした場合の係数を混合比として求めた。
G^ex(x,y)=(1/2πσ²)exp[−(x²+y²)/2σ²] ・・・（１０）

図１７に例示されているルックアップテーブルの要素に混合比が配置されている場合、ルックアップテーブルの配列の中心の要素（左から１２行目であって上から１２列目の要素）は、注目画素の混合比とされる。この場合、注目画素の混合比は、１．０００とされる

また、左から１１行目乃至１３行目であって上から１１列目乃至１３列目の要素は、１．０００なので、注目画素に隣接する周辺画素の混合比も、１．０００とされる。

例えば、左から１０行目であって上から１０列目乃至１４列目の要素、左から１１行目であって上から１０列目の要素、左から１２行目であって上から１０列目の要素、左から１３行目であって上から１０列目の要素、左から１１行目であって上から１４列目の要素、左から１２行目であって上から１４列目の要素、左から１３行目であって上から１４列目の要素、および左から１４行目であって上から１０列目乃至１４列目の要素は、０．８７５なので、注目画素から２画素離れた周辺画素の混合比は、０．８７５とされる。

同様に、例えば、左から２行目であって上から１２列目の要素は、０．１２５なので、注目画素から左に１０画素離れた周辺画素の混合比は、０．１２５とされる。

また、混合比の最大値に乗算するための係数をルックアップテーブルに配置するようにしてもよい。

混合比の最大値を０．７５とし、図１７のルックアップテーブルが、混合比の最大値に乗算するための係数を要素として配置しているとした場合を例に説明する。

左から１２行目であって上から１２列目の要素は、１．０なので、注目画素の混合比は、０．７５（１．０×０．７５（混合比の最大値））とされる。左から１１行目乃至１３行目であって上から１１列目乃至１３列目の要素は、１．０なので、注目画素に隣接する周辺画素の混合比は、０．７５とされる。

例えば、左から１０行目であって上から１０列目乃至１４列目の要素、左から１１行目であって上から１０列目の要素、左から１２行目であって上から１０列目の要素、左から１３行目であって上から１０列目の要素、左から１１行目であって上から１４列目の要素、左から１２行目であって上から１４列目の要素、左から１３行目であって上から１４列目の要素、および左から１４行目であって上から１０列目乃至１４列目の要素は、０．８７５なので、０．８７５×０．７５から、注目画素から２画素離れた周辺画素の混合比は、０．６５６２５とされる。

同様に、例えば、左から２行目であって上から１２列目の要素は、０．１２５なので、０．１２５×０．７５から、注目画素から左に１０画素離れた周辺画素の混合比は、０．０９３７５とされる。

このように、混合比決定部１１７は、予め記憶しているルックアップテーブルを基に、注目画素および周辺画素についての混合比を決めることができる。

なお、混合比を決める関数は、gaussian関数に限らず、中心から離れる程、値が減少するものであれば他の関数であってもよい。例えば、図１８で示されるように、１次関数を基に、混合比を決めるようにしてもよい。

また、図１９で示されるように、近接している箇所で破綻が生じた場合には（破綻箇所Ａと破綻箇所Ｂとが近接している場合には）、補間値と混合される周辺画素からなる領域に重なりが生じて、１つの画素について複数の混合比が求められるときがある。この場合、混合比決定部１１７は、１つの画素について求められた複数の混合比のうち、大きいほうをその画素の混合比として採用する。すなわち、混合比決定部１１７は、注目画素または周辺画素の１つに対して２つ以上の比率が求められた場合、最終的な比率を、求められた比率のうちの大きいものに決定する。

次に、図２０のフローチャートを参照して、図５のステップＳ６の画質改善の処理の詳細を説明する。ステップＳ１０１において、０ベクトル補間画像生成部１１６は、フレームｔおよびフレームｔ＋１から、０ベクトル補間画像を生成する。すなわち、ステップＳ１０１において、０ベクトル補間画像生成部１１６は、フレームｔとの間に内挿フレームｔ＋ｋが配置される、入力されたフレームｔ＋１上の画素の画素値と、フレームｔ＋１上の画素の位置と同じ位置のフレームｔ上の画素の画素値とから、フレームｔの時刻ｔから内挿フレームｔ＋ｋの時刻ｔ＋ｋまでの時間と、内挿フレームｔ＋ｋの時刻ｔ＋ｋからフレームｔ＋１の時刻ｔ＋１までの時間との比率に応じて、内挿フレームｔ＋ｋ上の画素に対応する補間値を生成する。

ステップＳ１０２において、ベクトル一致数算出部１１１は、注目画像の周辺の画素に割り当てられた動きベクトルから、注目画像に割り当てられた動きベクトルと一致する動きベクトルの数を算出する。すなわち、ステップＳ１０２において、ベクトル一致数算出部１１１は、画素値が生成された内挿フレーム上の画素であって、注目している画素である注目画素に割り付けられている動きベクトルと、注目画素の周辺の予め定めた範囲の画素である周辺画素に割り付けられている動きベクトルとのばらつきを示す値を算出する。

ステップＳ１０３において、最大勾配算出部１１３は、注目画像の画素値と周辺の画素の画素値との最大勾配を算出する。すなわち、ステップＳ１０３において、最大勾配算出部１１３は、注目画素の画素値と、内挿フレーム上の画素であって、注目画素の周辺の予め定めた範囲の画素である周辺画素の画素値とから、空間方向の画素値の変化を示す値を算出する。例えば、ステップＳ１０３において、最大勾配算出部１１３は、空間方向の画素値の変化を示す値として、注目画素の画素値と周辺画素の画素値との差の絶対値のうち、最大の絶対値（最大勾配）を算出する。

ステップＳ１０４において、判定部１１２は、動きベクトルのばらつきを示す値および空間方向の画素値の変化を示す値を基に、判定箇所を判定する。すなわち、ステップＳ１０４において、判定部１１２は、注目画素についての動きベクトルのばらつきを示す値および空間方向の画素値の変化を示す値を基に、注目画素において内挿フレームの画像が破綻しているか否かを判定する。

例えば、ステップＳ１０４において、判定部１１２は、動きベクトルのばらつきを示す値が閾値ＴＨ₁より小さく、空間方向の画素値の変化を示す値が閾値ＴＨ₂以上である場合、注目画素において内挿フレームの画像が破綻していると判定する。

ステップＳ１０５において、混合比決定部１１７は、注目画素の画素値または周辺画素の画素値に、注目画素または周辺画素に対応する補間値を混合する比率である混合比を決定する。例えば、ステップＳ１０５において、混合比決定部１１７は、予め記憶しているルックアップテーブルを基に、混合比を決定する。

ステップＳ１０６において、画像混合部１１８は、補間画像と０ベクトル補間画像とを混合する。すなわち、ステップＳ１０６において、画像混合部１１８は、注目画素において内挿フレームの画像が破綻していると判定された場合、混合比決定部１１７からの比率（混合比）に従って、注目画素の画素値に、注目画素に対応する補間値を混合すると共に、内挿フレーム上の画素であって、注目画素の周辺の予め定めた範囲の画素である周辺画素の画素値に、周辺画素に対応する補間値を混合する。

ステップＳ１０７において、画質改善処理部５９は、内挿フレームの全ての画素について、処理を終了したか否かを判定し、処理を終了していないと判定された場合、ステップＳ１０２に戻り、内挿フレームの次の画素について、ステップＳ１０２乃至ステップＳ１０６の処理が繰り返される。なお、ステップＳ１０２乃至ステップＳ１０６の処理の対象となる画素（注目画素）は、例えば、ラスタスキャン順に選択される。

ステップＳ１０７において、内挿フレームの全ての画素について処理を終了したと判定された場合、ステップＳ１０８に進み、勾配閾値算出部１１５は、勾配判定の閾値を決定して、画質改善処理は終了する。

すなわち、例えば、ステップＳ１０８において、勾配ヒストグラム生成部１１４は、最大勾配算出部１１３から供給された最大勾配のヒストグラムを生成する。例えば、ステップＳ１０８において、勾配ヒストグラム生成部１１４は、内挿フレーム上の画素のそれぞれを順に注目画素とした場合の、注目画素の画素値と注目画素の周辺の画素である周辺画素の画素値との差の絶対値のうち、最大の絶対値の分布を示すヒストグラムを生成する。そして、勾配閾値算出部１１５は、最大の絶対値の分布を示すヒストグラムから、閾値を算出する。

なお、ステップＳ１０８で算出された閾値は、次に実行されるステップＳ１０４の判定の処理に用いられる。すなわち、ステップＳ１０４の判定の処理で用いる閾値は、１つ前のフレームで算出された値である。このようにすることで、閾値を算出するまで判定の処理をホールドさせる必要がなく、簡単に、かつ、迅速に処理を実行することができる。

このように、内挿フレームの破綻している部分に、０ベクトル補間画像を混合するようにしたので、画像の動きの滑らかさを損なうことなく、画像の破綻を目立たなくすることができる。画像の破綻が目立ちにくくなるので、画像を見ている使用者には、画像の画質が改善されたように感じられる。

動きベクトルのばらつきおよび画像の空間方向の変化を基に、より正確に、より精度良く破綻した画像を検出することができる。

このように、第１のフレーム上の動きベクトルを検出し、第２のフレーム上の画素に、検出された動きベクトルを割り付け、割り付けられた動きベクトルに基づいて、第１のフレームおよび第３のフレームから、画素値を算出することで、第２のフレーム上の画素を生成するようにした場合には、画像を生成することができる。また、画素値が生成された第２のフレーム上の画素であって、注目している画素である注目画素に割り付けられている動きベクトルと、注目画素の周辺の予め定めた第１の範囲の画素である第１の周辺画素に割り付けられている動きベクトルとのばらつきを示す値を算出し、注目画素の画素値と、第２のフレーム上の画素であって、注目画素の周辺の予め定めた第２の範囲の画素である第２の周辺画素の画素値とから、空間方向の画素値の変化を示す値を算出し、動きベクトルのばらつきを示す値および空間方向の画素値の変化を示す値を基に、注目画素において第２のフレームの画像が破綻しているか否かを判定し、第１のフレームとの間に第２のフレームが配置される、入力された第３のフレーム上の画素の画素値と、第３のフレーム上の画素の位置と同じ位置の第１のフレーム上の画素の画素値とから、第１のフレームの時刻から第２のフレームの時刻までの時間と、第２のフレームの時刻から第３のフレームの時刻までの時間との比率に応じて、第２のフレーム上の画素に対応する補間値を生成し、注目画素において第２のフレームの画像が破綻していると判定された場合、所定の比率に従って、注目画素の画素値に、注目画素に対応する補間値を混合すると共に、第２のフレーム上の画素であって、注目画素の周辺の予め定めた第３の範囲の画素である第３の周辺画素の画素値に、第３の周辺画素に対応する補間値を混合するようにした場合には、生成した画像の破綻を目立たないようにすることができる。

また、本実施の形態においては、各処理を行う領域を、例えば、３画素×３画素などにより構成するようにして説明したが、これらは、一例であり、各処理を行う領域を構成する画素は、この画素数に限定されない。

さらに、本実施の形態においては、２４Ｐ信号から６０Ｐ信号への信号変換を例に、説明したが、本発明は、例えば、動画像のフレーム周波数変換として、インターレース信号や、他のフレームレート変換にも適用することができる。

また、入力画像は、アナログ信号またはデジタル信号のどちらの信号を媒体とする画像でもよく、さらに、記録媒体から読み出した画像、放送または通信により送信されてきた画像、ネットワークを介して取得した画像などいずれの画像でもよく、本発明を限定するものではない。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１、または、プログラムが一時的もしくは永続的に格納されるROM１２や、記憶部１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した画像処理装置の構成例を表すブロック図である。 画像処理装置の機能の構成の例を示すブロック図である。 フレームを内挿する処理の原理を説明する図である。 フレームを内挿する処理をより具体的に説明する図である。 フレーム周波数を変換する処理を説明するフローチャートである。 画像補間部の構成を示すブロック図である。 画像補間処理の詳細を説明するフローチャートである。 内挿フレームを説明する図である。 画質改善処理部の構成の例を示すブロック図である。 動きベクトルの一致の許容範囲の例を示す図である。 動きベクトルの一致の許容範囲の例を示す図である。 最大勾配を説明する図である。 最大勾配のヒストグラムの生成の対象となる領域を説明する図である。 ヒストグラムの例を示す図である。 補間値の生成を説明する図である。 混合比の例を説明する図である。 ルックアップテーブルの例を示す図である。 混合比の例を説明する図である。 混合比の決定を説明する図である。 画質改善の処理の詳細を説明するフローチャートである。

符号の説明

１１ CPU， １２ ROM， １３ RAM， １８ 記憶部， ２１ リムーバブルメディア， ５１ フレームメモリ， ５２ ベクトル検出部， ５３ 検出ベクトルメモリ， ５４ ベクトル割付部， ５５ 割付ベクトルメモリ， ５６ 割付フラグメモリ， ５７ 割付補償部， ５８ 画像補間部， ５９ 画質改善処理部， １１１ ベクトル一致数算出部， １１２ 判定部， １１３ 最大勾配算出部， １１４ 勾配ヒストグラム生成部， １１５ 勾配閾値算出部， １１６ ０ベクトル補間画像生成部， １１７ 混合比決定部， １１８ 画像混合部， １３１ 破綻箇所候補判定部， １３２ 破綻箇所候補判定部， １３３ 破綻箇所判定部

Claims (12)

1. 入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２のフレーム上の画素の画素値を生成する画像処理装置において、
   画素値が生成された前記第２のフレーム上の画素であって、注目している画素である注目画素に割り付けられている前記動きベクトルと、前記注目画素の周辺の予め定めた第１の範囲の画素である第１の周辺画素に割り付けられている前記動きベクトルとのばらつきを示す値を算出する第１の算出手段と、
   前記注目画素の画素値と、前記第２のフレーム上の画素であって、前記注目画素の周辺の予め定めた第２の範囲の画素である第２の周辺画素の画素値とから、空間方向の画素値の変化を示す値を算出する第２の算出手段と、
   前記動きベクトルのばらつきを示す値および空間方向の画素値の変化を示す値を基に、前記注目画素において前記第２のフレームの画像が破綻しているか否かを判定する判定手段と、
   前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素の画素値と、前記第３のフレーム上の画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、前記第２のフレーム上の画素に対応する補間値を生成する生成手段と、
   前記注目画素において前記第２のフレームの画像が破綻していると判定された場合、所定の比率に従って、前記注目画素の画素値に、前記注目画素に対応する前記補間値を混合すると共に、前記第２のフレーム上の画素であって、前記注目画素の周辺の予め定めた第３の範囲の画素である第３の周辺画素の画素値に、前記第３の周辺画素に対応する前記補間値を混合する混合手段と
   を備える画像処理装置。
2. 前記第１の算出手段は、ばらつきを示す値として、前記注目画素に割り付けられている前記動きベクトルと一致する前記動きベクトルであって、前記第１の周辺画素に割り付けられている前記動きベクトルの数を算出する
   請求項１に記載の画像処理装置。
3. 前記第１の算出手段は、ばらつきを示す値として、前記注目画素に割り付けられている前記動きベクトルの成分で定められる範囲に入る大きさの前記動きベクトルであって、前記第１の周辺画素に割り付けられている前記動きベクトルの数を算出する
   請求項２に記載の画像処理装置。
4. 前記第２の算出手段は、空間方向の画素値の変化を示す値として、前記注目画素の画素値と前記第２の周辺画素の画素値との差の絶対値のうち、最大の絶対値を算出する
   請求項１に記載の画像処理装置。
5. 前記判定手段は、
   前記動きベクトルのばらつきを示す値および予め定めた第１の閾値を基に、前記注目画素における前記第２のフレームの画像が、破綻している画像の候補であるか否かを判定する第１の破綻画像候補判定手段と、
   空間方向の画素値の変化を示す値と予め定めた第２の閾値を基に、前記注目画素における前記第２のフレームの画像が、破綻している画像の候補であるか否かを判定する第２の破綻画像候補判定手段と、
   前記第１の破綻画像候補判定手段における判定の結果と、前記第２の破綻画像候補判定手段における判定の結果とから、前記注目画素において前記第２のフレームの画像が破綻しているか否かを判定する破綻箇所判定手段と
   を備える
   請求項１に記載の画像処理装置。
6. 前記第２のフレーム上の画素のそれぞれを順に前記注目画素とした場合の、前記注目画素の画素値と前記第２の周辺画素の画素値との差の絶対値のうち、最大の絶対値の分布から、前記第２の閾値を算出する閾値算出手段をさらに備える
   請求項５に記載の画像処理装置。
7. 前記注目画素の画素値または前記第３の周辺画素の画素値に、前記注目画素または前記第３の周辺画素に対応する前記補間値を混合する前記比率を決定する決定手段をさらに備える
   請求項１に記載の画像処理装置。
8. 前記決定手段は、前記注目画素からの距離に対応して、予め記憶している比率のデータを基に、前記比率を決定する
   請求項７に記載の画像処理装置。
9. 前記決定手段は、前記注目画素または前記第３の周辺画素の１つに対して２つ以上の前記比率が求められた場合、最終的な前記比率を、求められた前記比率のうちの大きいものに決定する
   請求項８に記載の画像処理装置。
10. 入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２のフレーム上の画素の画素値を生成する画像処理方法において、
    画素値が生成された前記第２のフレーム上の画素であって、注目している画素である注目画素に割り付けられている前記動きベクトルと、前記注目画素の周辺の予め定めた第１の範囲の画素である第１の周辺画素に割り付けられている前記動きベクトルとのばらつきを示す値を算出し、
    前記注目画素の画素値と、前記第２のフレーム上の画素であって、前記注目画素の周辺の予め定めた第２の範囲の画素である第２の周辺画素の画素値とから、空間方向の画素値の変化を示す値を算出し、
    前記動きベクトルのばらつきを示す値および空間方向の画素値の変化を示す値を基に、前記注目画素において前記第２のフレームの画像が破綻しているか否かを判定し、
    前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素の画素値と、前記第３のフレーム上の画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、前記第２のフレーム上の画素に対応する補間値を生成し、
    前記注目画素において前記第２のフレームの画像が破綻していると判定された場合、所定の比率に従って、前記注目画素の画素値に、前記注目画素に対応する前記補間値を混合すると共に、前記第２のフレーム上の画素であって、前記注目画素の周辺の予め定めた第３の範囲の画素である第３の周辺画素の画素値に、前記第３の周辺画素に対応する前記補間値を混合する
    ステップを含む画像処理方法。
11. 入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルを第２のフレーム上の画素に割り付けて、割り付けられた前記動きベクトルに基づいて、前記第２のフレーム上の画素の画素値を生成する画像処理を、コンピュータに行わせるプログラムにおいて、
    画素値が生成された前記第２のフレーム上の画素であって、注目している画素である注目画素に割り付けられている前記動きベクトルと、前記注目画素の周辺の予め定めた第１の範囲の画素である第１の周辺画素に割り付けられている前記動きベクトルとのばらつきを示す値を算出し、
    前記注目画素の画素値と、前記第２のフレーム上の画素であって、前記注目画素の周辺の予め定めた第２の範囲の画素である第２の周辺画素の画素値とから、空間方向の画素値の変化を示す値を算出し、
    前記動きベクトルのばらつきを示す値および空間方向の画素値の変化を示す値を基に、前記注目画素において前記第２のフレームの画像が破綻しているか否かを判定し、
    前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素の画素値と、前記第３のフレーム上の画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、前記第２のフレーム上の画素に対応する補間値を生成し、
    前記注目画素において前記第２のフレームの画像が破綻していると判定された場合、所定の比率に従って、前記注目画素の画素値に、前記注目画素に対応する前記補間値を混合すると共に、前記第２のフレーム上の画素であって、前記注目画素の周辺の予め定めた第３の範囲の画素である第３の周辺画素の画素値に、前記第３の周辺画素に対応する前記補間値を混合する
    ステップを含むプログラム。
12. 請求項１１に記載のプログラムが記録されている記録媒体。

Images