JP2825482B2 - ディジタル画像信号の補間装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、ディジタル画像信号の伝送システム又は
記録／再生システムの受信側又は再生側に設けられる補
間装置に関する。 〔従来の技術〕 ビデオ信号を符号化して得られるディジタルビデオ信
号を伝送する場合、伝送帯域を狭くするためにサブサン
プリングが用いられる。サブサンプリングによって例え
ば1/2の画素の画像データが間引かれる。受信側には、
この間引き画素を補間する補間回路が設けられている。
従来では、この補間回路として、周波数領域で設計され
たディジタルローパスフィルタが使用されていた。 〔発明が解決しようとする問題点〕 周波数領域で補間フィルタを設計する場合、入出力信
号の周波数特性から経験に基づく繰り返し操作が必要と
され、また、ディジタルビデオ信号のサンプリング周波
数が違う時には、各サンプリング周波数に応じて補間フ
ィルタを設計することが必要であった。従って、補間フ
ィルタの設計が面倒であり、また、汎用性が乏しい欠点
があった。また、輝度信号に搬送色信号が重畳されたコ
ンポジットカラービデオ信号の場合、搬送色信号の位相
を考慮する必要があるため、従来の補間フィルタは、適
用が困難であった。 この発明の目的は、最適な構成を容易に設計すること
ができ、また、汎用性に富み、更に、コンポジットカラ
ービデオ信号に適用できる補間装置を提供することにあ
る。 〔問題点を解決するための手段〕 この発明は、実在する入力画像データと対応する画素
間の所定の画素の画像データを実在する入力画像データ
によって補間生成するためのディジタル画像信号の補間
装置において、 実在する入力画像データを受け取り、所定の画素の周
辺位置に存在する所定数の実在する画素データを抽出す
る手段と、 係数を求めるための画素データを用いて、補間値と真
値との誤差の自乗和が最小となるように最小自乗法によ
り予め定められた所定数の係数と、抽出された上記所定
数の実在する画素データとの線形１次結合により、所定
の画素の画素データを補間生成する手段と からなることを特徴とするディジタル画像信号の補間
装置である。 〔作用〕 同一のフィールド（又はフレーム）内で間引き画素を
取り囲む所定数の実在する画素データと所定数の重み係
数との線形１次結合で間引き画素の画像データが予測さ
れる。この予測された補間値と真値との誤差の自乗和を
最小にするように予め重み係数が定められる。この重み
係数の同定は、ビデオカメラにより複数枚の画像を撮影
し、この撮像信号をディジタル化して画像データを得、
電子計算機を用いてこの画像データを処理することで行
われる。重み係数を同定するために使用する周辺に実在
する画像データの個数（次数）は、ハードウェアの規模
に応じて設定される。この次数を設定して誤差の自乗和
を最小にする重み係数が同定される。この発明による補
間回路は、データのサンプリング周波数と無関係に最適
な構成とでき、また、周波数領域で設計するのと比べて
設計方法が簡単とできる。 〔実施例〕 以下、この発明の一実施例について図面を参照して説
明する。この説明は、下記の項目の順序でなされる。 a.送信側の構成 b.受信側の構成 c.ブロック化回路 d.ダイナミックレンジ検出回路 e.量子化回路 f.補間回路 g.変形例 a.送信側の構成 第１図は、送信側（記録側）の構成を全体として示す
ものである。１で示す入力端子に例えばNTSC方式のカラ
ービデオ信号が供給される。このカラービデオ信号がA/
D変換器２に供給され、例えば4fsc（fsc:カラーサブキ
ャリア周波数）のサンプリング周波数で１サンプルが８
ビットに量子化されたディジタルカラービデオ信号がA/
D変換器２から得られる。このディジタルカラービデオ
信号がサブサンプリング回路３に供給され、サブサンプ
リング回路３の出力信号がブロック化回路４に供給され
る。サブサンプリング回路３の前段には、帯域制限用の
プリフィルタが設けられず、入力カラービデオ信号の高
域成分が失われない。 サブサンプリング回路３において、ディジタルカラー
ビデオ信号が2fscのサンプリング周波数でサンプリング
される。また、ブロック化回路４により、入力ディジタ
ルテレビジョン信号が符号化の単位である２次元ブロッ
ク毎に連続する信号に変換される。この実施例では、１
フィールドの画面が分割されてなる１ブロックが（４ラ
イン×８画素＝32画素）の大きさとされている。第３図
は、この１ブロックを示すものであり、第３図におい
て、実線は、奇数フィールドのラインを示し、破線は、
偶数フィールドのラインを示す。この例と異なり、例え
ば４フレームの各フレームに属する４個の２次元領域か
ら構成された３次元ブロックに対してもこの発明が適用
できる。ブロック化回路４の前段に設けられたサブサン
プリング回路３によって、ブロック内の画素が第４図に
示すように間引かれ、１ブロックの画素数が16画素とさ
れる。第４図において○がサブサンプリングされた画素
を示し、×が間引かれた画素を示す。 ブロック化回路４の出力信号がダイナミックレンジ検
出回路５及び遅延回路６に供給される。ダイナミックレ
ンジ検出回路５は、ブロック毎にダイナミックレンジDR
及び最小値MINを検出する。遅延回路６からの画素デー
タPDが減算回路７に供給され、減算回路７において、最
小値MINが除去された画素データPDIが形成される。 量子化回路８には、サブサンプリングされ、減算回路
７を介された最小値除去後の画素データPDI及びダイナ
ミックレンジDRが供給される。量子化回路８では、ダイ
ナミックレンジDRに適応して画素データPDIの量子化が
行われる。量子化回路８からは、１画素データが４ビッ
トに変換されたコード信号DTが得られる。 この量子化回路８からのコード信号DTがフレーム化回
路９に供給される。フレーム化回路９には、ブロック毎
の付加コードとして、ダイナミックレンジDR（８ビッ
ト）及び最小値MIN（８ビット）が供給される。フレー
ム化回路９は、コード信号DT及び上述の付加コードに誤
り訂正符号化の処理を施し、また同期信号を付加する。
フレーム化回路９の出力端子10に送信データが得られ、
この送信データがディジタル回線等の伝送路に送出され
る。ディジタルVTRの場合には、出力信号が記録アン
プ，回転トランス等を介して回転ヘッドに供給される。 b.受信側の構成 第２図は、受信（又は再生）側の構成を示す。入力端
子11からの受信データは、フレーム分解回路12に供給さ
れる。フレーム分解回路12により、コード信号DTと付加
コードDR,MINとが分離されると共に、エラー訂正処理が
なされる。コード信号DTが復号化回路13に供給され、ダ
イナミックレンジDRが復号化回路13に供給される。 復号化回路13は、送信側の量子化回路８の処理と逆の
処理を行う。即ち、８ビットの最小レベル除去後のデー
タが代表レベルに復号され、このデータと８ビットの最
小値MINとが加算回路14により加算され、元の画素デー
タが復号される。加算回路14の出力データがブロック分
解回路15に供給される。ブロック分解回路15は、送信側
のブロック化回路４と逆に、ブロックの順番の復号デー
タをテレビジョン信号の走査と同様の順番に変換するた
めの回路である。ブロック分解回路15の出力信号がこの
発明が適用された補間回路16に供給される。補間回路16
では、間引かれた画素のデータが周囲のサブサンプルデ
ータにより補間される。補間回路16からのサンプリング
周波数4fscのディジタルカラービデオ信号がD/A変換器1
7に供給される。D/A変換器17の出力端子18にアナログカ
ラービデオ信号が得られる。送信側でプリフィルタが設
けられていない場合、折り返し歪が例えば輝度レベルの
急峻な変化の点で発生するおそれがある。この歪を除去
する回路を補間回路16の出力側に接続しても良い。 c.ブロック化回路 ブロック化回路４について第５図，第６図及び第７図
を参照して説明する。説明の簡単のため、１フィールド
の画面が第６図に示すように、（４ライン×８画素）の
構成と仮定し、この画面が破線で示すように、垂直方向
に２分割され、水平方向に４分割され、（２ライン×２
画素）の８個のブロックが形成される場合について説明
する。 第５図において、21で示す入力端子に第７図Ａに示す
ように、（Th₀〜Th₃）の４ラインからなる入力データＡ
が供給され、22で示す入力端子に入力データＡと同期し
ているサンプリングクロックＢ（第７図Ｂ）が供給され
る。数字の（１〜８）がラインTh₀のサンプルデータを
夫々示し、数字の（11〜18）がラインTh₁のサンプルデ
ータを夫々示し、数字の（21〜28）がラインTh₂のサン
プルデータを夫々示し、数字の（31〜38）がラインTh₃
のサンプルデータを夫々示す。入力データＡがThの遅延
量の遅延回路23及び2Ts（Ts:サンプリング周期）の遅延
量の遅延回路24に供給される。また、サンプリングクロ
ックＢが1/2分周回路27に供給される。 遅延回路24の出力信号Ｃ（第７図Ｃ）がスイッチ回路
25及び26の一方の入力端子に夫々供給され、遅延回路23
の出力信号Ｄ（第７図Ｄ）がスイッチ回路25及び26の他
方の入力端子に夫々供給される。スイッチ回路25は、1/
2分周回路27の出力信号Ｅ（第７図Ｅ）により制御さ
れ、また、スイッチ回路26はパルス信号Ｅがインバータ
28により反転されたパルス信号により制御される。スイ
ッチ回路25及び26は、2Ts毎に交互に入力信号（Ｃ又は
Ｄ）を選択する。スイッチ回路25からの出力信号Ｆが第
７図Ｆに示され、スイッチ回路26からの出力信号Ｇが第
７図Ｇに示される。 スイッチ回路25の出力信号Ｆがスイッチ回路29の第１
の入力端子及び4Tsの遅延量を有する遅延回路30に供給
される。スイッチ回路26の出力信号Ｇが2Tsの遅延量を
有する遅延回路31に供給される。遅延回路30の出力信号
Ｈ（第７図Ｈ）がスイッチ回路29の第３の入力端子に供
給される。遅延回路31の出力信号Ｉ（第７図Ｉ）がスイ
ッチ回路29の第２の入力端子及び4Tsの遅延量を有する
遅延回路32に供給される。遅延回路32の出力信号Ｊ（第
７図Ｊ）がスイッチ回路29の第４の入力端子に供給され
る。 1/2分周回路33には、1/2分周回路27の出力信号が供給
され、出力信号Ｋ（第７図Ｋ）が形成される。この信号
Ｋによってスイッチ回路29が制御され、4Ts毎に第1,第
2,第３及び第４の入力端子が順次選択される。従って、
スイッチ回路29から出力端子34に取り出される信号Ｌ
は、第７図Ｌに示すものとなる。つまり、データのフィ
ールド毎の順序がブロック毎の順序（例えば１→２→11
→12）に変換される。勿論、１フィールドの実際の画素
数は、第６図に示される例と異なってはるかに多いが、
上述と同様の走査変換によって、第３図に示すブロック
毎の順序に変換される。 d.ダイナミックレンジ検出回路 第８図は、ダイナミックレンジ検出回路３の一例を構
成を示す。41で示される入力端子には、ブロック化回路
４から前述のように、１ブロック毎に符号化が必要な領
域の画像データが順次供給される。この入力端子41から
の画素データは、選択回路42及び選択回路43に供給され
る。一方の選択回路42は、ディジタルカラービデオ信号
の画素データとラッチ44の出力データとの間で、よりレ
ベルの大きい方を選択して出力する。他方の選択回路43
は、入力ディジタルカラービデオ信号の画素データとラ
ッチ45の出力データとの間で、よりレベルの小さい方を
選択して出力する。 選択回路42の出力データが減算回路46に供給されると
共に、ラッチ44に取り込まれる。選択回路43の出力デー
タが減算回路46及びラッチ48に供給されると共に、ラッ
チ45に取り込まれる。ラッチ44及び45には、ラッチパル
スが制御部49から供給される。制御部49には、ディジタ
ルカラービデオ信号と同期するサンプリングクロック，
同期信号等のタイミング信号が端子50から供給される。
制御部49は、ラッチ44,45及びラッチ47,48にラッチパル
スを所定のタイミングで供給する。 各ブロックの最初で、ラッチ44及び45の内容が初期設
定される。ラッチ44には、全て‘0'のデータが初期設定
され、ラッチ45には、全て‘1'のデータが初期設定され
る。順次供給される同一のブロックの画素データの中
で、最大レベルがラッチ44に貯えられる。また、順次供
給される同一のブロックの画素データの中で、最小レベ
ルがラッチ45に貯えられる。 最大レベル及び最小レベルの検出が１ブロックに関し
て終了すると、選択回路42の出力に当該ブロックの最大
レベルが生じる。一方、選択回路43の出力に当該ブロッ
クの最小レベルが生じる。１ブロックに関しての検出が
終了すると、ラッチ44及び45が再び初期設定される。 減算回路46の出力には、選択回路42からの最大レベル
MAX及び選択回路43からの最小レベルMINを減算してなる
各ブロックのダイナミックレンジDRが得られる。これら
のダイナミックレンジDR及び最小レベルMINが制御ブロ
ック49からのラッチパルスにより、ラッチ47及び48に夫
々ラッチされる。ラッチ47の出力端子51に各ブロックの
ダイナミックレンジDRが得られ、ラッチ48の出力端子52
に各ブロックの最小値MINが得られる。 e.量子化回路 量子化回路８は、ダイナミックレンジDRに適応した符
号化を行う。第９図は、量子化回路８の一例を示す。第
９図において、55で示すROMには、最小値除去後の画素
データPDI（８ビット）を圧縮されたビット数例えば４
ビットに変換するためのデータ変換テーブルが格納され
ている。ROM55に対して、入力端子56からのダイナミッ
クレンジDRと入力端子57からの画素データPDIとがアド
レス信号として供給される。ROM55では、ダイナミック
レンジDRの大きさによりデータ変換テーブルが選択さ
れ、出力端子58に４ビットのコード信号DTが取り出され
る。 量子化回路８においては、コード信号DTが２ビット
（実施例では、４ビット）の場合、第10図に示すよう
に、ブロックのダイナミックレンジDRが４個の領域に分
割される。この４個の領域が（00）（01）（10）（11）
の２ビットのコード信号DTにより区別され、中央のレベ
ルL0,L1,L2,L3が夫々各領域の代表レベルとされる。最
小値除去後のデータPDIが含まれる領域に応じて２ビッ
トのコード信号DTが発生する。ディジタルカラービデオ
信号のレベルは、ディジタル搬送色信号が重畳されてい
ても、ブロック内で相関を有しており、各ブロックのダ
イナミックレンジDRは、過渡部でない定常部では、狭い
範囲に集中している。従って、４ビットのように、1/2
に圧縮されたビット数で量子化しても画質の劣化が殆ど
生じない。また、各画素が他の画素と独立して符号化さ
れるので、ディジタルカラービデオ信号の急激なレベル
変化を再現することができ、DPCMと比較して周波数特性
を良好とできる。 なお、最小レベルMIN及び最大レベルMAXの夫々のレベ
ルを有する画素データが１ブロック内に必ず存在してい
る。従って、誤差が０のコード信号を多くするには、第
11図に示すように、ダイナミックレンジDRを（2^m−１）
（但し、ｍは、量子化ビット数）に分割し、最小レベル
MINを代表最小レベルL0とし、最大レベルMAXを代表最大
レベルL3としても良い。 また、量子化回路８は、ROM以外にダイナミックレン
ジDRを分割する割算器及び最小値除去後のデータPDIが
属するレベル領域を判定するための比較回路からなる構
成等を使用しても良い。 f.補間回路 受信側に設けられている補間回路16の一例について説
明する。この補間回路16は、時間領域で設計された２次
元フィルタである。つまり、補間回路16では、補間しよ
うとする間引き画素の周辺に存在する複数個の受信デー
タ（サブサンプルデータ）の１次結合として、間引き画
素が予測される。この場合、真値と補間回路16の出力信
号の差信号を誤差と考えれば、自乗誤差を最小にするこ
とによって、１次結合の重み係数が一意に求められる。
この重み係数の同定について以下に説明する。 注目画素におけるディジタルカラービデオ信号は、
注目画素の周辺のｎ個の画素のデータZ1〜Znの１次結合
で近似できる。 （i,j）＝a₁・Z1（i,j）＋a₂・Z2（i,j）＋ ……＋a_n・Zn（i,j） 但し、は、ｉライン,jサンプルに位置する推定カラ
ービデオ信号を示し、a₁〜a_nは、重み係数を示し、Zm
（i,j）は、（i,j）の位置の近傍のカラービデオ信号
（以下、単にNTSC信号と称する）である（ｍ＝１〜
ｎ）。 ビデオカメラによって、異なる複数の画素を撮影し、
撮像信号をディジタル信号に変換する。このように得ら
れたデータを使用し、電子計算機により、最小自乗法に
よって重み係数a₁〜a_nを同定する。つまり、ビデオカメ
ラにより撮像されるある絵柄の実際のデータを適用し
て、周辺近傍画素データに重み係数を乗算し、上述の式
に示す通り合成された推定NTSC信号と、真値ｘとを比
較し、その誤差（−ｘ）^２が最小となる重み係数a₁〜
a_nを、コンピュータを用いて計算する。１枚分のデータ
となる絵柄においては、誤差をｅとすると、のデータが得られ、これらデータを用いて誤差分散が最
も小さくなる時の重み係数a₁,a₂,a₃・・・a_nが、コンピ
ュータで計算される。 上式は、ベクトルで表現すると、 この誤差ベクトル の自乗和を最小にする重み係数が求められる。誤差分散 を最小にするように、 を求めると、 但し、Z^Tは、転置行列を示す。このままでは、１フィ
ールドの全画素の場合、非常に大きな行列を扱うことに
なり、実際的でない。従って、上式を小さい次数の行列
及びベクトルに直して処理する。即ち、 は、データ数に関係なく、夫々（n,n）の行列及びｎ次
のベクトルであることを利用して逐次処理に改める。 ここで、 は、ｋ番目の（i,j）に於ける周辺データのベクトル
で、 次数ｎは、IC基板の大きさや、処理速度等のハードウ
ェアの規模に見合って予め定められる。一例として、こ
の一実施例では、第12図に示すように、補間しようとす
る間引き画素（□で示す）の周辺の同一フィールド内の
30個のNTSC信号（サプサンプルデータ）Z1〜Z30に夫々
重み係数a₁〜a₃₀を乗じることにより、間引き画素が補
間される。前述の電子計算機を用いた手法で同定された
重み係数の一例を以下に示す。 a₁ ＝ 0.047 a₂ ＝−0.064 a₃ ＝ 0.045 a₄ ＝−0.007 a₅ ＝ 0.002 a₆ ＝−0.001 a₇ ＝−0.003 a₈ ＝−0.050 a₉ ＝ 0.059 a₁₀＝−0.050 a₁₁＝ 0.064 a₁₂＝−0.057 a₁₃＝ 0.036 a₁₄＝−0.109 a₁₅＝ 0.588 a₁₆＝ 0.588 a₁₇＝−0.109 a₁₈＝ 0.036 a₁₉＝−0.056 a₂₀＝ 0.064 a₂₁＝−0.050 a₂₂＝ 0.058 a₂₃＝−0.050 a₂₄＝−0.003 a₂₅＝−0.001 a₂₆＝ 0.002 a₂₇＝−0.007 a₂₈＝ 0.044 a₂₉＝−0.063 a₃₀＝ 0.047 上述の重み係数は一例であって、２のべき乗を分母と
する分数で表現された係数を使用してハードウェアの簡
略化を図るようにしても良い。補間回路16のハードウェ
アは、ブロック分解回路15からの復号データから第12図
に示すように、補間される間引き画素の周囲の30個のデ
ータZ1〜Z30を取り出すための複数のライン遅延回路及
び複数のサンプン遅延回路と取り出されたデータZ1〜Z3
0の夫々に上述のような重み係数a₁〜a₃₀を乗じるための
乗算器とから構成されている。また、補間に使用する周
辺画素は、同一フィールド内に限らず同一フレーム内の
データを使用することができ、また、30個以外の個数を
使用することができる。 g.変形例 この発明は、ダイナミックレンジに適応した符号化方
式として、固定長の符号化方式に限らず、可変長の符号
化方式に対しても運用できる。可変長の符号化方式で
は、ブロック毎のダイナミックレンジDRが所定の量子化
歪と対応する量子化ステップでもって分割され、即ち、
ダイナミックレンジDRがダイナミックレンジDRに適応し
た個数のレベル範囲に分割され、最小値除去後のデータ
が属するレベル範囲と対応するコード信号が形成され
る。 以上の説明では、コード信号DTとダイナミックレンジ
DRと最小値MINとを送信している。しかし、付加コード
としてダイナミックレンジDRの代わりに最大値MAX,量子
化ステップ又は最大歪を伝送しても良い。 また、入力信号のブロック化の処理を行ってからサブ
サンプリングを行っても良い。更に、１ブロックのデー
タをフレームメモリ，ライン遅延回路，サンプル遅延回
路を組み合わせた回路により、同時に取り出すようにし
ても良く、輝度信号のみの処理に対しても、この発明は
適用できる。 〔発明の効果〕 この発明は、時間領域で設計されているので、周波数
領域で補間フィルタを設計するのと比べて経験に基づく
繰り返し操作が必要とされず、また、サンプリング周波
数が異なる場合にも適用することができる汎用性に富む
構成とできる。特に、この発明は、従来の補間フィルタ
では困難であった輝度信号に搬送色信号が重畳されたコ
ンポジットカラービデオ信号を補間することができる利
点がある。 また、この発明は、予め種々の画像データを使用した
学習によって、最も誤差が小さくなるような係数を求め
ているので、間引かれた画素のデータをその周辺に実在
する画素データの平均値により補間する場合と比較して
解像度の劣化が少ない利点がある。すなわち、この発明
は、平均値補間によっては不可能な解像度の創造が可能
な利点がある。

【図面の簡単な説明】 第１図はこの発明を適用できるカラービデオ信号の伝送
システムの送信側のブロック図、第２図は受信側の構成
を示すブロック図、第３図は符号化の処理の単位である
ブロックの説明に用いる略線図、第４図はサブサンプリ
ングの説明に用いる略線図、第５図，第６図及び第７図
はブロック化回路の一例のブロック図，その説明に用い
る略線図及びその動作説明のためのタイミングチャー
ト、第８図はダイナミックレンジ検出回路の一例のブロ
ック図、第９図は量子化回路の一例のブロック図、第10
図及び第11図は量子化の一例及び他の例の説明に用いる
略線図、第12図はこの発明が適用された補間回路の説明
に用いる略線図である。 図面における主要な符号の説明 1:カラービデオ信号の入力端子、4:ブロック化回路、5:
ダイナミックレンジ検出回路、7:減算回路、8:量子化回
路、13:復号化回路、15:ブロック分解回路、16:補間回
路。

Claims (1)

1. (57)【特許請求の範囲】 １．実在する入力画像データと対応する画素間の所定の
   画素の画像データを上記実在する入力画像データによっ
   て補間生成するためのディジタル画像信号の補間装置に
   おいて、 上記実在する入力画像データを受け取り、上記所定の画
   素の周辺位置に存在する所定数の実在する画素データを
   抽出する手段と、 係数を求めるための画素データを用いて、補間値と真値
   との誤差の自乗和が最小となるように最小自乗法により
   予め定められた所定数の係数と、上記抽出された上記所
   定数の実在する画素データとの線形１次結合により、上
   記所定の画素の画素データを補間生成する手段と からなることを特徴とするディジタル画像信号の補間装
   置。