JP3362463B2 - フレーム補間装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、例えば、動画像デー
タを異なるフォーマットの動画像データに変換するフレ
ーム補間装置にて適用して好適なフレーム補間装置に関
する。

【０００２】

【従来の技術】従来、テレビジョン方式としては、周知
のように、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のテレビジ
ョン方式の他に高精細度（ＨＤ）テレビジョン方式が提
案されている。

【０００３】これらのテレビジョン方式はフレーム周波
数、解像度等が異なるので、例えば、ＰＡＬ方式のテレ
ビジョン信号をＮＴＳＣ方式のＶＴＲで記録する等、あ
るテレビジョン方式のテレビジョン信号をこのテレビジ
ョン信号の方式と異なる他のテレビジョン方式の機器で
記録、伝送等の処理を行なう場合には、テレビジョン方
式変換を行なう必要が生じる。

【０００４】このテレビジョン方式変換等に代表される
画像変換の手法としては、多くのものが提案されてい
る。一般的にこの変換の方法として、テレビジョン動画
信号のフレーム補間処理がある。

【０００５】このフレーム補間処理は、８画素×８ライ
ン等の小ブロック毎に、時間的に隣合った２フレーム間
の動き情報を周知のブロック・マッチング法や勾配法等
により求めて、内挿比により前後のフレームの画像を位
置補正して補間フレームを得ることにより変換処理を行
なうものである。

【０００６】このフレーム補間処理により画像を変換す
るフレーム補間装置を図８を用いて説明する。この図８
において、４１は例えば、テレビジョン信号が供給され
る入力端子で、この入力端子４１を介してフレームメモ
リ４２にテレビジョン信号が供給される。

【０００７】このフレームメモリ４２は入力端子４１を
介して供給されるテレビジョン信号を記憶し、次のフレ
ームのテレビジョン信号が供給されたとき、記憶したテ
レビジョン信号を出力する。フレームメモリ４２から読
み出されたテレビジョン信号は動きベクトル検出回路４
３および位置補正回路４６に、また、入力端子４１を介
して供給された読み出されたテレビジョン信号の次のフ
レームのテレビジョン信号は動きベクトル検出回路４３
および位置補正回路４５に夫々供給される。ここで、フ
レームメモリ４２から読み出されたテレビジョン信号を
Ｆｒ（ｔ）、入力端子４１を介して供給されるテレビジ
ョン信号をＦｒ（ｔ＋１）とする。

【０００８】動きベクトル検出回路４３は、入力端子４
１を介して供給される現時点でのテレビジョン信号Ｆｒ
（ｔ＋１）と、フレームメモリ４２から読み出された現
時点より１つ前のフレームのテレビジョン信号とに基づ
いて動き検出を行ない、動きベクトルを発生する。この
動きベクトルデータが補正信号発生回路４４に供給され
る。

【０００９】ここで、動き検出について説明すると、テ
レビジョン方式変換等の動き画像信号処理で単位時間あ
たりのフレーム数の変換を要する場合、動きのある物体
を正確に変換するためには、動き情報に基づいたフレー
ム補間技術が必要となる。一般的には、時間的に隣合っ
た２フレーム間で周知のブロック・マッチング法や勾配
法等により、８画素×８ライン等の小ブロック単位で動
きベクトルを求めるものである。

【００１０】補正信号発生回路４４は動きベクトル検出
回路４３からの動きベクトルデータに基づいて補正信号
を得る。この補正信号としては、後述する位置補正回路
４５および４６において、例えば、上述の如き８画素×
８ラインのブロックの位置補正を行なうための読み取り
位置を補正してテレビジョン信号を読み取らせるための
位置補正データ、並びに位置補正の後のテレビジョン信
号に補間を行なうための内装比データ（時間データ）ｈ
１およびｈ２がある。ここで内挿比データｈ１を１−ｋ
とすると、内挿比データｈ２はｋに選定される。

【００１１】これら補正出力は位置補正回路４５および
４６に夫々供給され、更に内挿比データｈ１およびｈ２
は乗算回路４７および４８に夫々供給される。位置補正
回路４５は補正信号発生回路４４からの補正出力に基づ
いて、入力端子４１を介して供給されるフレームのテレ
ビジョン信号Ｆｒ（ｔ＋１）の読み取りを行ない、読み
取られたテレビジョン信号を乗算回路４７に供給する。

【００１２】一方、位置補正回路４６は補正信号発生回
路４４からの補正出力に基づいて、フレームメモリ４２
から読み出されたフレームのテレビジョン信号Ｆｒ（ｔ
＋１）の読み取りを行ない、読み取られたテレビジョン
信号を乗算回路４８に供給する。従って、乗算回路４７
においては、位置補正回路４５からの位置補正されたテ
レビジョン信号と補正信号発生回路４４からの内挿比デ
ータとが乗算され、乗算出力は更に加算回路４９に供給
される。乗算回路４８においては、位置補正回路４６か
らの位置補正されたテレビジョン信号と補正信号発生回
路４４からの内挿比データとが乗算され、乗算出力は更
に加算回路４９に供給される。そして、加算回路４９に
おいて、乗算回路４７からの乗算出力および乗算回路４
８からの乗算出力が加算され、この加算出力がフレーム
補間処理、すなわち、画像変換されたテレビジョン信号
として出力端子５０から出力される。

【００１３】次に、図９を参照して図８に示したフレー
ム補間装置の動作について説明する。この図９におい
て、Ｆｒ（ｔ） はｔフレームのテレビジョン信号、Ｆ
ｒ（ｔ＋１）は（ｔ＋１）フレームのテレビジョン信
号、Ｆｒ′は補間処理されて、得られたテレビジョン信
号、ｆ１（ｔ）およびｆ１（ｔ＋１）は矢印ｙ１で示す
動きベクトルによってｆ１′と対応づけられたブロッ
ク、ｆ２（ｔ）はｔフレームのテレビジョン信号のブロ
ック、ｆ２（ｔ＋１）は（ｔ＋１）フレームのテレビジ
ョン信号ブロックである。

【００１４】さて、図８に示したフレームメモリ４２か
ら図９に示す如きｔフレームのテレビジョン信号Ｆｒ
（ｔ）が読み出されて動きベクトル検出回路４３に供給
されると共に、入力端子４１を介して図９に示す如き
（ｔ＋１）フレームのテレビジョン信号Ｆｒ（ｔ＋１）
が動きベクトル検出回路４３に供給されると、動きベク
トル検出回路４３は例えば、図９に示すように、ｔフレ
ームのテレビジョン信号Ｆｒ（ｔ）のブロックｆ２
（ｔ）および（ｔ＋１）フレームのテレビジョン信号Ｆ
ｒ（ｔ＋１）のブロックｆ２（ｔ＋１）について、ブロ
ック・マッチング法や勾配法等により動きベクトル矢印
ｙ２を求め、求めた動きベクトルデータを補正信号発生
回路４４に供給する。

【００１５】補正信号発生回路４４は上述したように、
動きベクトル検出回路４３からの動きベクトルデータお
よび内挿比データに基づいて前後のフレームの読み出し
位置を制御する位置補正データを得、これを位置補正回
路４５および４６に供給すると共に、内挿比データを乗
算回路４７および４８に夫々供給する。従って、図９に
示す例においては、位置補正回路４５に供給されたｔフ
レームのテレビジョン信号Ｆｒ（ｔ）は読み出し位置が
制御され、例えば、ブロックｆ１（ｔ）として読み出さ
れ、乗算回路４７に供給され、この乗算回路４７におい
て、補正信号発生回路４４からの内挿比データｈ２と乗
算された後、加算回路４９に供給される。

【００１６】一方、位置補正回路４６に供給された（ｔ
＋１）フレームのテレビジョン信号Ｆｒ（ｔ＋１）は読
み出し位置が制御され、例えば、ブロックｆ１（ｔ＋
１）として読み出され、乗算回路４８に供給され、この
乗算回路４８において、補正信号発生回路４４からの内
挿比データｈ１と乗算された後、加算回路４９に供給さ
れる。この加算回路４９においては、乗算回路４５およ
び４８からの乗算出力が加算され、図９においてｆ１′
で示す補間フレームＦｒ′のブロックが得られる。この
処理の関係は下式で示される。 補間フレームＦｒ′のブロックｆ１′＝ｔフレームのブ
ロックｆ１（ｔ）×ｋ＋（ｔ＋１）フレームのブロック
ｆ１（ｔ＋１）×（１−ｋ）

【００１７】すなわち、ｔフレームのテレビジョン信号
Ｆｒ（ｔ）において補間ブロックｆ１′と空間的に同位
置にあるブロックｆ２（ｔ）と（ｔ＋１）フレームのテ
レビジョン信号Ｆｒ（ｔ＋１）のブロックｆ２（ｔ＋
１）とで求めた矢印ｙ２で示す動きベクトルによって補
間フレームのブロックＦｒ′に対応させる前後のフレー
ムのブロックｆ１（ｔ）およびｆ１（ｔ＋１）を求め、
これらのブロックｆ１（ｔ）およびｆ１（ｔ＋１）のデ
ータの内挿比１−ｋ：ｋに応じた和を求め、これを補間
フレームのブロックｆ１′とする。そして、このように
して補間フレームＦｒ′を生成し、動き画像のテレビジ
ョン信号として出力することで、様々な方式のテレビジ
ョン信号を異なる方式の機器において記録したり、伝送
したりすることができるようにしている。

【００１８】

【発明が解決しようとする課題】従来の画像変換装置に
おいて、得られる動き情報が正確であることを前提とし
ているが、良く知られているブロック・マッチング法や
勾配法といった手法では、動き情報は動きベクトルとい
う形で得られるが、動きベクトルには誤差が発生する。
誤差のある動きベクトルを用いてしまうことにより誤っ
た補間フレームが作られてしまい、得られた動画像の動
きが滑らかでなかったり不自然になったりしてしまう問
題があった。

【００１９】従って、この発明の目的は、動き検出を
し、動きベクトルを用いて補間フレームを作るのではな
く、時間方向情報を利用する空間処理による変換を行な
うため、既知の複数フィールドから学習を行なうことに
よって、動きが存在する時でも、精度の高い変換を可能
とするフレーム補間装置を提供することにある。

【００２０】

【課題を解決するための手段】請求項１の発明は、補間
フレームを作成することで、入力画像信号内のｎ枚のフ
レームからｍ枚のフレームを作成するフレーム補間装置
において、補間フレーム内の補間画素の位置に基づい
て、入力画像信号を１乃至複数の画素からなるブロック
へ分割するブロック化手段と、ブロック化手段により分
割されたブロック毎に、特徴を検出し、この検出された
特徴に基づいて、ブロック内画像信号が属するクラスを
決定してクラス情報を出力するクラス検出手段と、注目
された補間画素の周囲に位置する入力画像信号の画素か
ら補間フレームを作成するための予測式の予測係数がク
ラス毎に記憶されており、クラス検出手段からのクラス
情報に応じて予測係数を出力する予測係数記憶手段と、
予測係数記憶手段から供給された予測係数と入力画像信
号とを用いて、予測式に基づいた演算を行ない補間画素
の値を出力する画像情報補間手段を有することを特徴と
するフレーム補間装置である。

【００２１】

【作用】補間画素を推定するための予測式の予測係数を
予測係数記憶手段に記憶しておき、入力画像信号データ
を補間画素の周辺にブロック化してそのブロック毎にレ
ベル分布のパターンを検出し、この画像情報のパターン
に応じた予測係数を予測係数記憶手段から読み出して予
測式に基づいた演算を行ない補間画像を補間して出力す
ることにより、動き検出をしなくても、より正確な画像
情報の補間を行なうことができる。

【００２２】

【実施例】以下、この発明の一実施例を図面を用いて説
明する。図１はこの発明の一実施例の学習時の構成を示
すブロック図である。１は入力端子で、標準的な画像信
号を多数枚入力され、フレーム数変換回路２と学習部３
へ供給する。

【００２３】例えば、ＮＴＳＣのように１秒間に３０フ
レームが入力端子１から供給されたフレーム数変換回路
２はフレーム数をＰＡＬ、ＳＥＣＡＭ等のように１秒間
２５フレームにフレーム数変換をして学習部３へ供給す
る。また、ＰＡＬ、ＳＥＣＡＭ等のように１秒間に２５
フレームが入力端子１から供給されたフレーム数変換回
路２はフレーム数をＮＴＳＣのように１秒間３０フレー
ムにフレーム数変換をして学習部３へ供給する。予測係
数メモリ４は、学習部３で作成されたクラスｃと、係数
ｗ₁ 〜ｗ_n を記憶する。

【００２４】図２は入力画像データｘ₁ 〜ｘ₁₈および注
目画素（または補間画素）ｙを示している。画像データ
ｘ₁ 〜ｘ₉ は、フレームＦｒ（ｔ）に含まれ、画像デー
タｘ₁₀〜ｘ₁₈は、次のフレームＦｒ（ｔ＋１）に含まれ
る。これらの時間的に連続する２フレームのデータを用
いて補間画素ｙが含まれる、補間フレームが構成され
る。学習時には、入力画像データｘ₁ 〜ｘ₁₈および注目
画素ｙとして本来の値を一組の学習データとする。変換
時には、入力画像データｘ₁ 〜ｘ₁₈を用いて、補間画素
ｙを補間データとする。

【００２５】図３は、学習部３をソフトウェア処理の構
成とした時のその動作を示す、フローチャートを示す。
ステップ１１から学習部の制御が開始され、ステップ１
２の対応データブロック化では、テレビジョンのラスタ
ー走査の順序の入力データを図２に示すようなブロック
の順序のデータに変換する。ステップ１３のデータ終了
では、入力された全データ例えば１フレームのデータの
学習が終了していれば、ステップ１６の予測係数決定
へ、終了していなければ、ステップ１４のクラス決定へ
制御が移る。

【００２６】ステップ１４のクラス決定では、入力信号
データの信号パターンからクラスを決める。この制御で
は、ビット数削減のため後述のような適応型ダイナッミ
クレンジ符号化（以下、ＡＤＲＣと称する）を用いるこ
とができる。ステップ１５の正規方程式加算では、後述
する式（８）、式（９）および式（１０）の方程式を作
成する。

【００２７】ステップ１３のデータ終了から全データの
学習が終了後、制御がステップ１６に移り、ステップ１
６の予測係数決定では、後述する式（１０）を行列解法
を用いて解いて、予測係数を決める。ステップ１７の予
測係数ストアで、予測係数をメモリにストアし、ステッ
プ１８で学習部の制御が終了する。

【００２８】ここで、ステップ１２の対応データブロッ
ク化では、上述の図２のように入力画像データｘ₁ 〜ｘ
₁₈および注目画素ｙを一組のデータとして、複数組の学
習を行なうことにより、より高い学習効果を得ることが
できる。

【００２９】次に、上述のクラス決定のために使用され
たＡＤＲＣの説明を図を用いて説明する。１ブロック内
の画像レベルの最大値と最小値を求めて、ブロック内ダ
イナミックレンジを定義する。図４に示すように、８ビ
ットの原データの持つ０〜２５５のダイナミックレンジ
の中で、各ブロック毎に再量子化するのに必要なブロッ
ク内ダイナミックレンジは、図４Ａまたは図４Ｂに示す
ように、大幅に小さくなることが分かる。このため、再
量子化に必要なビット数は大幅に低減することができ
る。

【００３０】上述の予測係数を算出するために用いられ
るＡＤＲＣは例えば、８ビットの入力信号データを３ビ
ットのデータに圧縮するようになっている。すなわち、
ＡＤＲＣはまず、ブロック内ダイナミックレンジをＤ
Ｒ、ビット割当をｐ、ブロック内画素のデータレベルを
ｘ、再量子化コードをＱ、として以下の式（１）によ
り、図４Ａに示すようにブロック内の最大値Ｍａｘと最
小値Ｍｉｎとの間を指定されたビット長で均等に分割し
て再量子化を行なう。

【００３１】

【数１】

【００３２】次に、図５Ａに示すようにｐビット再量子
化（この場合３ビット再量子化）で最上位の階調レベル
（２^p −１）に相当するデータレベル内に存在するブロ
ック内画素の平均値をとり、これを図５Ｂに示すように
最大値Ｍａｘ´とする。また、図５Ａに示すようにこの
再量子化による最下位の階調レベル０に相当するデータ
レベル内に存在するブロック内画素の平均値をとり、こ
れを図５Ｂに示すように最小値Ｍｉｎ´とする。

【００３３】次に、上述の新しく求められた最大値Ｍａ
ｘ´および最小値Ｍｉｎ´からブロック内ダイナミック
レンジＤＲ´を新たに定義し直して、再量子化コードを
ｑとして、上述の新しく求められたブロック内の最大値
Ｍａｘ´および最小値Ｍｉｎ´に基づいて以下の式
（２）により図５Ｂに示すように再量子化を行なう。

【００３４】 ＤＲ´＝Ｍａｘ´−Ｍｉｎ´ ｑ＝〔（ｘ−Ｍｉｎ´）×（２^p −１）／ＤＲ´＋０．５〕 （２） （但し、〔ｚ〕はｚ以下の最大値の整数を表す。）

【００３５】このようにＡＤＲＣにおいて、二重の再量
子化を行なうことにより、ノイズの悪影響を受けること
がなく、効率の良い情報量圧縮が行なわれる。次に、上
述ＡＤＲＣにより圧縮処理の行なわれた学習データは、
学習データ毎にクラス分割される。

【００３６】すなわち、上述図２に示す注目画素ｙに注
目した場合、入力信号データａ〜ｌのレベルを夫々ｘ₁
〜ｘ₁₈、このレベルがｘ₁ 〜ｘ₁₈の入力信号データを上
述ＡＤＲＣによりｐビットにデータ圧縮した結果の再量
子化データをｑ₁ 〜ｑ₁₈として、以下の式（３）を用い
てその学習データのクラスｃを算出する。

【００３７】

【数２】

【００３８】次に、このようにクラス分けの演算が行な
われた学習データは、以下に示す計算式によりその予測
係数が算出される。

【００３９】以下、一般化のために、ｎ画素による予測
を行なう場合を用いて説明を続ける。入力信号の画素レ
ベルをｘ₁ ，‥‥ｘ_n と注目画素ｙの本来のレベルのｙ
の関係を、クラスｃ毎に予測係数ｗ₁ ，‥‥ｗ_n による
ｎタップの線形一次予測式である式（４）により表現す
る。

【００４０】 ｙ＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋‥‥＋ｗ_n ｘ_n （４）

【００４１】ここで、この線形一次予測における係数ｗ
₁ ，‥‥ｗ_n については、実際の補間対象画素と補間処
理の誤差が最小になるものを求めれば良い。学習はクラ
ス毎に複数の学習信号データに対して行なうので、デー
タ数がｍとすると一般的なｍ＞ｎである場合には予測係
数ｗ₁ ，‥‥ｗ_n は一意に決定できない。そこで、誤差
ベクトルＥの要素を、夫々の学習データｘ_j1，‥‥
ｘ_jn，ｙ_j における予測誤差をｅ_j として式（５）のご
とく定義する。

【００４２】 ｅ_j ＝ｙ_j −（ｗ₁ ｘ_j1＋ｗ₂ ｘ_j2＋‥‥＋ｗ_n ｘ_jn） （５） （ｊ＝１，２，‥‥，ｎ）

【００４３】次に、式（６）を最小にする係数を求め、
最小自乗法における最適な予測係数ｗ₁ ，‥‥ｗ_n を決
定する。

【００４４】

【数３】

【００４５】すなわち、式（６）のｗ_i による偏微分係
数を求めると式（７）のごとくなる。

【００４６】

【数４】

【００４７】式（７）が０になるよう各ｗ_i を決めれば
よいので、

【００４８】

【数５】

【００４９】とすると、次に示す式（１０）の正規方程
式が得られる。上述の正規方程式の生成が図３のステッ
プ１５で行なわれる。

【００５０】

【数６】

【００５１】式（１０）の正規方程式は、丁度、未知数
がｎ個だけある連立方程式である。これにより、最確値
たる各未定係数ｗ₁ ，‥‥，ｗ_n を求めることができ
る。つまり、図３のステップ１６において学習データの
終了が判定された後に、ステップ１６により予測係数を
決定する。具体的には、一般に式（１０）の左辺の行列
は正定値対称なので、コレスキー法といった手法により
式（１０）の連立方程式を解くことができて、未定係数
であるとことの予測係数ｗ₁ ，‥‥ｗ_n を求めることが
できる。

【００５２】ここで、上述ブロック内ダイナミックレン
ジＤＲが所定のしきい値よりも小さい学習データに対し
ては、このような学習は行なわない。これにより、ノイ
ズによる誤学習を防止することができ、より正確な学習
を行なうことができる。

【００５３】次に、この実施例に係る画像変換装置の一
例を図６に示し、詳細に動作を説明する。入力画像信号
が入力端子２１を介してフレームメモリ２２とブロック
化回路２３に供給される。フレームメモリ２２は、入力
された画像信号を保持すると共に、ブロック化回路２３
に供給する。ブロック化回路２３では例えば、図２に示
したように入力画像データｘ₁ 〜ｘ₁₈の合計１８画素か
らなるブロックに分割し、この分割毎の入力信号データ
をＡＤＲＣ回路２４および予測演算回路２６に供給す
る。

【００５４】ＡＤＲＣ回路２４はブロック毎に供給され
る入力信号データのレベル分布のパターンを検出すると
ともに、上述のように各ブロック毎に例えば、８ビット
の入力信号データを３ビットの入力信号データに圧縮す
るような演算を行なうことによりパターン圧縮データを
形成し、このパターン圧縮データをクラスコード発生回
路２５に供給する。

【００５５】クラスコード発生回路２５は、ＡＤＲＣ回
路２４から供給されるパターン圧縮データに基づいて式
（３）の演算を行なうことにより、そのブロックが属す
るクラスを検出し、そのクラスを示すクラスコードを予
測係数メモリ４に供給する。このクラスコードは、予測
係数メモリ４からの読み出しアドレスを示すものとなっ
ている。

【００５６】上述のように、予測係数メモリ４には、入
力信号データのパターンを学習することにより、入力信
号データに対応する補間画素を予測するための予測係数
が予め記憶されている。このため、予測係数メモリ４か
らは、クラスコードで示されるアドレスから、そのクラ
スｃに適応されるべき予測係数ｗ_i （ｃ）（ｃ＝１，
２，‥‥１８）が読み出される。この予測係数は予測演
算回路２６に供給される。

【００５７】予測演算回路２６は、ブロック化回路２３
から供給される入力信号データ、および予測係数メモリ
４から供給される予測係数ｗ_i （ｃ）（ｃ＝１，２，‥
‥１８）に基づいて以下の式（１１）に示す演算を行な
うことにより、入力信号データに対応する補間画素デー
タｙ´を算出し、これを出力端子２７を介して出力す
る。この出力端子２７を介して出力される補間画素デー
タは、例えば、テレビジョン受像器やビデオテープレコ
ーダ装置等に供給される。

【００５８】 ｙ´＝ｗ₁ （ｃ）ｘ₁ ＋ｗ₂ （ｃ）ｘ₂ ＋‥‥＋ｗ₁₈（ｃ）ｘ₁₈ （１１）

【００５９】なお、この実施例の説明では、ブロック化
回路２３によりブロック化された入力信号データを、Ａ
ＤＲＣ回路２４によりパターン検出して圧縮処理し、こ
のパターン圧縮データに基づいて予測係数メモリ４から
予測値を読み出すこととしたが、ＡＤＲＣ回路２４でデ
ータ圧縮を行なうことなく、そのままのデータ長で以後
の処理を行なうようにしてもよい。

【００６０】さらに、ブロック化回路２３によりブロッ
ク化された入力信号データを、ＡＤＲＣ回路２４により
パターン検出して圧縮処理する際に、均一のビット割当
（この例では、３ビット）を行なったが、補間画素付近
の重要なデータに対してはより多くのビット数（例え
ば、４ビット）、補間画素から比較的遠いデータに対し
ては少なめのビット数（例えば、２ビット）等のように
不均一なビット割当を行なってもよい。

【００６１】このパターン圧縮データに基づいて予測係
数メモリ４から予測値を読み出すこととしたが、ＡＤＲ
Ｃ回路２４でデータ圧縮を行なうことなく、そのままの
データ長で以降の処理を行なうようにしてもよい。

【００６２】また、情報圧縮手段としてＡＤＲＣ回路２
４を設けることとしたが、これは単なる一例であり、Ａ
ＤＲＣ回路２４の代わりに例えば、所謂ＤＣＴ（ディス
クリート・コサイン・変換）回路、ＶＱ（ベクトル量子
化）回路、あるいは、ＤＰＣＭ（予測符号化）回路等の
ように、データ圧縮を行なえることができる手段であれ
ば何を設けるかは適宜選択できる。

【００６３】また、この実施例では、クラス分類すなわ
ち、パターン検出に用いる入力信号データの画素数と予
測演算に用いる画素数（予測のタップ数）は同一であっ
たが、これらが異なっていても全く問題はない。

【００６４】ここで、図７は、上述のフレーム補間の処
理のフローチャートである。ステップ３１からフレーム
補間の制御が開始され、ステップ３２のデータブロック
化では、入力画像信号が供給され、上述の図２に示すよ
うに入力信号データｘ₁ 〜ｘ₁₈の合計１８画素からなる
ブロックに分割する。ステップ３３のデータ終了では、
入力された全データの補間が終了していれば、ステップ
３７の終了へ、終了していなければ、ステップ３４のク
ラス決定へ制御が移る。

【００６５】ステップ３４のクラス決定では、入力画像
信号からクラスを決定する。この制御では、学習時と同
様にビット数削減のためにＡＤＲＣを用いることが好ま
しい。ステップ３５の予測係数リストアでは、クラスコ
ードに対応する予測係数をメモリからリストアする。ス
テップ３６の予測演算では、式（１０）の予測式演算を
行ない、補間フレームの画素データを出力する。この一
連の制御が全データが終了すればステップ３５のデータ
終了からステップ３７の終了に制御が移り、フレーム補
間の処理が終了する。

【００６６】

【発明の効果】この発明に係る画像変換装置は、補間画
素を推定するための予測式の予測係数を予測係数記憶手
段に記憶しておき、入力画像信号データを補間画素の周
辺にブロック化してそのブロック毎にレベル分布のパタ
ーンを検出し、この画像情報のパターンに応じた予測係
数を予測係数記憶手段から読み出して予測式に基づいた
演算によって補間画像を形成しているので、正確な補間
が可能である。

【００６７】また、この発明は、予測係数を予め学習を
行なって記憶することにより、動き検出をしなくても、
より正確な画像情報の補間を行なうことができる。

【００６８】さらに、この発明は、情報圧縮手段を設
け、画像情報分割手段からの画像情報をブロック毎に圧
縮処理することにより、予測係数記憶手段に記憶する予
測係数の記憶容量を削減することができる。

【図面の簡単な説明】

【図１】この発明に係る学習のブロック図の一実施例で
ある。

【図２】この発明に係る画像変換装置における画素の説
明に用いる略線図の一例である。

【図３】この発明に係る学習の予測係数を獲得するため
の一例のフローチャートである。

【図４】ＡＤＲＣ回路の説明に用いる略線図である。

【図５】ＡＤＲＣ回路の説明に用いる略線図である。

【図６】この発明に係る画像変換装置におけるブロック
図の一実施例である。

【図７】この発明に係る画像変換装置における一例のフ
ローチャートである。

【図８】従来のフレーム補間装置におけるブロック図の
一例である。

【図９】従来のフレーム補間の説明に用いる略線図であ
る。

【符号の説明】

４ 予測係数メモリ ２１ 入力端子 ２２ フレームメモリ ２３ ブロック化回路 ２４ ＡＤＲＣ回路 ２５ クラスコード発生回路 ２６ 予測演算回路 ２７ 出力端子

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−167991（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/01

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 補間フレームを作成することで、入力画
   像信号内のｎ枚のフレームからｍ枚のフレームを作成す
   るフレーム補間装置において、 上記補間フレーム内の補間画素の位置に基づいて、上記
   入力画像信号を１乃至複数の画素からなるブロックへ分
   割するブロック化手段と、 上記ブロック化手段により分割されたブロック毎に、特
   徴を検出し、この検出された特徴に基づいて、上記ブロ
   ック内画像信号が属するクラスを決定してクラス情報を
   出力するクラス検出手段と、 注目された上記補間画素の周囲に位置する上記入力画像
   信号の画素から補間フレームを作成するための予測式の
   予測係数が上記クラス毎に記憶されており、上記クラス
   検出手段からのクラス情報に応じて上記予測係数を出力
   する予測係数記憶手段と、 上記予測係数記憶手段から供給された予測係数と上記入
   力画像信号とを用いて、予測式に基づいた演算を行ない
   上記補間画素の値を出力する画像情報補間手段を有する
   ことを特徴とするフレーム補間装置。
2. 【請求項２】 上記クラス検出手段は、 上記ブロック化手段により分割されたブロック毎に、画
   像信号のパターン分布を検出し、この検出された上記パ
   ターン分布に基づいて、上記ブロック内の画像信号が属
   するクラスを決定してクラス情報を出力することを特徴
   とする請求項１記載のフレーム補間装置。
3. 【請求項３】 上記クラス検出手段は、 上記ブロック化手段により分割されたブロック毎に、画
   像信号のパターン分布を検出するパターン検出手段と、 上記パターンを示す情報を圧縮処理してパターン圧縮情
   報を出力する情報圧縮手段とを有し、 上記パターン圧縮情報に基づいて上記クラス情報を出力
   することを特徴とする請求項２記載のフレーム補間装
   置。
4. 【請求項４】 上記画像情報補間手段が、上記補間画素
   の周囲に位置する上記入力画像信号の画素から、上記予
   測係数記憶手段に記憶された予測係数と上記 入力画像信
   号とを用いた線形一次結合式に基づいた演算により、補
   間画素の値を求めることを特徴とする請求項１記載のフ
   レーム補間装置。