[go: up one dir, main page]

JP3400055B2 - 画像情報変換装置及び画像情報変換方法並びに画像処理装置及び画像処理方法 - Google Patents

画像情報変換装置及び画像情報変換方法並びに画像処理装置及び画像処理方法

Info

Publication number
JP3400055B2
JP3400055B2 JP34760793A JP34760793A JP3400055B2 JP 3400055 B2 JP3400055 B2 JP 3400055B2 JP 34760793 A JP34760793 A JP 34760793A JP 34760793 A JP34760793 A JP 34760793A JP 3400055 B2 JP3400055 B2 JP 3400055B2
Authority
JP
Japan
Prior art keywords
image information
frequency
image
class
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP34760793A
Other languages
English (en)
Other versions
JPH07193789A (ja
Inventor
真史 内田
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP34760793A priority Critical patent/JP3400055B2/ja
Publication of JPH07193789A publication Critical patent/JPH07193789A/ja
Application granted granted Critical
Publication of JP3400055B2 publication Critical patent/JP3400055B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【発明の詳細な説明】
【0001】
【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術(図4及び図5) 発明が解決しようとする課題(図4及び図5) 課題を解決するための手段(図1) 作用(図1) 実施例(図1〜図3) (1)実施例の画像情報変換装置(図1及び図2) (2)ROMテーブルの作成方法(図1〜図3) (3)他の実施例 発明の効果
【0002】
【産業上の利用分野】本発明は画像情報変換装置及び画
像情報変換方法並びに画像情報処理装置及び画像情報処
理方法に関し、特に通常の解像度の画像情報を高解像度
の画像情報に変換して出力するものに適用して好適なも
のである。
【0003】
【従来の技術】従来、オーデイオビジユアル指向の高ま
りから、より高解像度の画像を得ることができるような
テレビジヨン受像器が望まれ、これに応えて、いわゆる
ハイビジヨン方式のテレビジヨン受像器が開発された。
このハイビジヨン方式では走査線数が、いわゆるNTS
C方式の映像信号で規定される走査線数が 525本なのに
対して、2倍以上の1125本となつているうえ、表示画面
の縦横比もNTSC方式が3:4に対して9:16と広角
画面になつている。これにより高解像度で劇場のような
臨場感のある画面を得ることができる。
【0004】ここでこのような優れた特性を有するハイ
ビジヨン方式ではあるが、NTSC方式の映像信号をそ
のまま供給しても画像表示を行うことはできない。これ
は上述したようにNTSC方式とハイビジヨン方式とで
は規格が異なるためである。このため、NTSC方式の
映像信号に応じた画像をハンビジヨン方式で表示しよう
とする場合には、従来画像情報変換装置を用いて映像信
号のレートを変換していた。
【0005】すなわちこの画像情報変換装置は、図4に
示すように、入力端子100を介して供給されるNTS
C方式の映像信号の水平方向の補間処理を行う水平補間
フイルタ101と、水平方向の補間処理の行われた映像
信号の垂直方向の補間処理を行う垂直補間フイルタ10
2とから構成されている。実際上水平補間フイルタ10
1は、図5に示すようなデイジタルフイルタで構成され
ており、NTSC方式の映像信号が入力端子110を介
して、第1〜第mの乗算器111〜111mにそれぞれ
供給される。各乗算器111はそれぞれ入力される映像
信号に係数α0〜αmを乗算して出力する。
【0006】この結果係数α0〜αmが乗算された映像
信号は、それぞれ第1〜第mの加算器112〜112m
−1に供給される。各加算器112〜112m−1の間
には、それぞれ時間Tの遅延レジスタ113〜113m
が設けられている。そして第mの乗算器111mから出
力された映像信号は、第mの遅延レジスタ113mで時
間Tだけ遅延され、第m−1の加算器112m−1に供
給される。第m−1の加算器112m−1は、第mの遅
延レジスタ113mで時間Tだけ遅延された映像信号
と、第m−1の乗算器111m−1からの映像信号とを
加算して出力する。
【0007】このように加算された映像信号は、第m−
1の遅延レジスタ113m−1で再度時間Tだけ遅延さ
れ、第m−2の加算器112m−2(図示せず)におい
て第m−2の乗算器112m−2(図示せず)からの映
像信号と加算される。水平補間フイルタ101は、この
ようにしてNTSC方式の映像信号の水平方向について
補間して、出力端子120を介して垂直補間フイルタ1
02に供給する。
【0008】垂直補間フイルタ102は、水平補間フイ
ルタ101と同様にデイジタルフイルタで構成されてお
り、水平補間された映像信号に対して、垂直方向の画素
の補間を行う。このようにしてNTSC方式の映像信号
よりハイビジヨン方式の映像信号に応じたレートの映像
信号を得るようになされ、この映像信号がハイビジヨン
方式の受像器に供給される。これによりNTSC方式の
映像信号に応じた画像をハイビジヨン方式の受像器で表
示し得るようになされている。
【0009】
【発明が解決しようとする課題】ところが上述した画像
情報変換装置においては、NTSC方式の映像信号を基
にして、単に水平方向及び垂直方向を補間しているに過
ぎないため、解像度は基となるNTSC方式の映像信号
と何ら変わらなかつた。特に通常の動画を変換対象とし
た場合、垂直方向の補間をフイールド内処理で行うのが
一般的であるが、この場合には、画像のフイールド間相
関を使用していないため、画像静止部においてはNTS
C方式の映像信号よりも解像度が劣化する欠点があつ
た。
【0010】これに対して、画像情報変換装置として、
入力信号である画像信号レベルをその画像信号の分布に
応じてクラス分割し、クラス毎に予め学習によつて獲得
された予測係数値を格納した記憶手段を持ち、予測式に
基づいた演算により最適な推定値を出力する方法を用い
たものがある(特願平4-330592号、特願平5-172617
号)。この方法では、ハイビジヨン方式(以下、高解像
度を示すHD(high difinition )と呼ぶ)の画素を創
造する場合、その周辺に存在する複数のNTSC方式
(以下、標準解像度を示すSD(standerd difinition
)と呼ぶ)の画素データをクラス分割し、それぞれの
クラス毎に予測係数値を学習により獲得することで、高
解像度を図つたうえで画像情報の変換を行う。
【0011】このようにクラス毎に予測係数値を獲得
し、HD画素を創造する方法において特に効果的なの
は、画像の相関が弱いパターンすなわち画像の定常性が
崩れているようなパターンにおいてである。上述したク
ラス分類法は画素のレベルデータについて、例えばAD
RC(adaptive dyanamic range coding)処理を行うこ
とによりクラス数を削減している。
【0012】ところでこのようにADRC処理する場
合、各画素当たりの量子化ビツト数が大きいときは、信
号波形をそのまま表現できるので問題はない。ところが
ハードウエア的な制約で、量子化ビツト数を小さくした
時には、オリジナルの信号波形には、高周波が発生して
いる場合にも、量子化した後の信号波形に於ては、その
高周波成分を表現しきれていない場合が多かつた。この
ように、上述した画像変換装置におけるクラス分類は、
画素のレベルデータを直接ADRC処理等を施すことに
よつて行つているので、オリジナルの信号波形の持つ周
波数成分、特に解像度の向上を図つたHD画素の創造に
おいて重要である高周波成分の情報がクラス分類によつ
て失われてしまうことが多く、結局変換画像の画質が劣
化する問題があつた。
【0013】本発明は以上の点を考慮してなされたもの
で、通常の解像度の画像情報を高解像度の画像情報に変
換する際に簡易な構成で変換画像の画質の劣化を未然に
防止し得る画像情報変換装置及び画像情報変換方法並び
に画像処理装置及び画像処理方法を提案しようとするも
のである。
【0014】
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、デイジタル画像信号でなる第1の
画像情報を、より画素数の多いデイジタル画像信号でな
る第2の画像情報に変換する画像情報変換装置におい
て、第1の画像情報を複数の画素からなる複数のブロツ
クに分割する画像情報分割手段2と、その画像情報分割
手段2により分割されたブロツク毎に周波数変換し、画
像レベルデータから周波数データに変換する周波数変換
手段3と、その周波数変換手段3により得られた周波数
別の周波数係数データの一部又は全部を用いて周波数係
数データの分布パターンを検出し、その検出した分布パ
ターンに基づいて、ブロツクの第1の画像情報が属する
クラスを決定してクラス検出情報を出力するクラス検出
手段4、5と、第1の画像情報を、その第1の画像情報
より解像度の高い第2の画像情報に変換するための情報
である係数データがクラス毎に記憶され、クラス検出手
段4、5からのクラス検出情報に応じて係数データを出
力する係数データ記憶手段6と、その係数データ記憶手
段6から供給された係数データと第1の画像情報の複数
の画素とで構成される推定式に基づいて、第1の画像情
報を第2の画像情報に変換して出力する画像変換手段8
とを設けるようにした。また本発明においては、デイジ
タル画像信号でなる第1の画像情報を、より画素数の多
いデイジタル画像信号でなる第2の画像情報に変換する
画像情報変換方法において、第1の画像情報を複数の画
素からなる複数のブロツクに分割する第1のステツプ
と、当該分割されたブロツク毎に周波数変換し、画像レ
ベルデータから周波数データに変換する第2のステツプ
と、当該周波数別の周波数係数データの一部又は全部を
用いて周波数係数データの分布パターンを検出し、当該
検出した分布パターンに基づいて、ブロツクの第1の画
像情報が属するクラスを決定してクラス検出情報を出力
する第3のステツプと、第1の画像情報を、当該第1の
画像情報より解像度の高い第2の画像情報に変換するた
めの情報である係数データがクラス毎に記憶され、クラ
ス検出情報に応じて係数データを出力する第4のステツ
プと、当該出力された係数データと第1の画像情報の複
数の画素とで構成される推定式に基づいて、第1の画像
情報を第2の画像情報に変換して出力する第5のステツ
プとを設けるようにした。
【0015】さらに本発明においては、デイジタル画像
信号でなる第1の画像情報を、より画素数の多いデイジ
タル画像信号でなる第2の画像情報に変換する画像情報
変換装置において、第1の画像情報を複数の画素からな
る複数のブロツクに分割する画像情報分割手段と、その
画像情報分割手段により分割されたブロツク毎に周波数
変換し、画像レベルデータから周波数データに変換する
周波数変換手段と、その周波数変換手段により得られた
周波数別の周波数係数データの一部又は全部を用いて周
波数係数データの分布パターンを検出するパターン検出
手段と、そのパターン検出手段により検出した分布パタ
ーンに基づいて、ブロツクの第1の画像情報が属するク
ラスを決定してクラス検出情報を出力するクラス検出手
段と、第1の画像情報を、その第1の画像情報より解像
度の高い第2の画像情報に変換するための情報である代
表値がクラス毎に記憶され、クラス検出手段からのクラ
ス検出情報に応じて代表値を出力する代表値記憶手段
と、その代表値記憶手段から供給された代表値に応じ
て、第1の画像情報を第2の画像情報に変換して出力す
る画像変換手段とを設けるようにした。さらに本発明に
おいては、デイジタル画像信号でなる第1の画像情報
を、より画素数の多いデイジタル画像信号でなる第2の
画像情報に変換する画像情報変換方法において、第1の
画像情報を複数の画素からなる複数のブロツクに分割す
る第1のステツプと、当該分割されたブロツク毎に周波
数変換し、画像レベルデータから周波数データに変換す
る第2のステツプと、当該周波数別の周波数係数データ
の一部又は全部を用いて周波数係数データの分布パター
ンを検出する第3のステツプと、当該検出した分布パタ
ーンに基づいて、ブロツクの第1の画像情報が属するク
ラスを決定してクラス検出情報を出力する第4のステツ
プと、第1の画像情報を、当該第1の画像情報より解像
度の高い第2の画像情報に変換するための情報である代
表値がクラス毎に記憶され、クラス検出情報に応じて代
表値を出力する第5のステツプと、当該出力された代表
値に応じて、第1の画像情報を第2の画像情報に変換し
て出力する第6のステツプとを設けるようにした。さら
に本発明においては、デイジタル画像信号でなる第1の
画像情報を複数の画素からなる複数のブロツクに分割す
る画像情報分割手段と、当該画像情報分割手段により分
割されたブロツク毎に周波数変換し、画像レベルデータ
から周波数データに変換する周波数変換手段と、当該周
波数変換手段により得られた周波数別の周波数係数デー
タの一部又は全部を用いて周波数係数データの分布パタ
ーンを検出し、当該検出した分布パターンに基づいて、
ブロツクの第1の画像情報が属するクラスを決定してク
ラス検出情報を出力するクラス検出手段と、クラス検出
手段からのクラス検出情報と、第1の画像情報と、当該
第1の画像情報より解像度の高い第2の画像情報の画素
レベルとに基づいて、第1の画像情報を当該第1の画像
情報に対応する第2の画像情報に変換するための情報で
ある係数データを生成する係数データ生成手段とを設け
るようにした。さらに本発明においては、デイジタル画
像信号でなる第1の画像情報を複数の画素からなる複数
のブロツクに分割する第1のステツプと、当該分割され
たブロツク毎に周波数変換し、画像レベルデータから周
波数データに変換する第2のステツプと、当該周波数別
の周波数係数データの一部又は全部を用いて周波数係数
データの分布パターンを検出し、当該検出した分布パタ
ーンに基づいて、ブロツクの第1の画像情報が属するク
ラスを決定してクラス検出情報を出力する第3のステツ
プと、クラス検出情報と、第1の画像情報と、当該第1
の画像情報より解像度の高い第2の画像情報の画素レベ
ルとに基づいて、第1の画像情報を当該第1の画像情報
に対応する第2の画像情報に変換するための情報である
係数データを生成する第4のステツプとを設けるように
した。
【0016】
【作用】入力される第1の画像情報が複数の領域に分割
された後、それぞれの領域毎の画像情報が周波数変換さ
れて、その周波数成分データがパターン分類され、この
検出されパターンに基づいて、その領域の画像情報が属
するクラスを決定されてクラス検出情報を出力される。
このクラス検出情報に応じて、第1の画像情報をより高
い解像度の第2の画像情報に変換するための情報である
線形推定式の係数データ又は代表値がクラス毎に記憶さ
れた記憶手段6を読み出し、この結果得られる係数デー
タ又は代表値に応じて第1の画像情報がより解像度の高
い第2の画像情報に変換される。かくして画像情報を周
波数変換した、周波数成分データに基づいて高周波成分
を保存するようにクラス分類したことにより、変換画像
の画質の劣化を未然に防止し得る。
【0017】
【実施例】以下図面について、本発明の一実施例を詳述
する。
【0018】(1)実施例の画像情報変換装置 図1においては全体として、本発明による画像情報変換
装置を示し、入力端子1を通じて外部から供給される画
像情報として、NTSC方式の映像信号がデイジタル化
されSDデータとして入力される。この画像情報変換装
置におけるSD画素と創造すべきHD画素の位置関係
を、図2にSD画素を大きい「○」で示し、HD画素を
小さい「○」で示す。すなわち創造すべきHD画素に
は、同一フイールド(k+1)内で見たとき、SD画素
x4 、x5 から近い位置に存在するHD画素y1 と、S
D画素x4 、x5 から遠い位置に存在するHD画素y2
の2種類がある。この実施例ではSD画素x4 、x5 か
ら近い位置に存在するHD画素y1 を推定するモードを
モード1とし、SD画素x4 、x5 から遠い位置に存在
するHD画素y2 を推定するモードをモード2とする。
【0019】領域分割化回路2では、入力端子1より供
給されたSDデータを複数の領域に分割する。この実施
例では創造すべきHD画素の例えば上下各4画素ずつの
SD画素を、1画素×8ラインの計8画素からなる領域
に分割する。例えばHD画素y1 及びy2 に対するSD
画素は、図2でSD画素x1 、……x8 となる。この領
域分割化回路2よりブロツク化されたSDデータは、離
散コサイン変換(DCT)回路3及び遅延回路(DL)
7に供給される。遅延回路7は、DCT回路3、ADR
C回路4、クラスコード発生回路5、ROMテーブル6
の処理に必要な時間だけSDデータを遅延させて推定演
算回路8に出力する。
【0020】DCT回路3では、領域毎に供給されるS
DデータについてDCT処理を行う。この実施例ではS
Dデータが8画素毎に領域分割されているので、DCT
回路3では、8つのデータについて1次元DCTを行
う。8つの画素レベルデータは、8つのDCT係数デー
タすなわちDC、AC1 、AC2 、……AC7 に変換さ
れ、ADRC回路4に供給される。
【0021】ADRC回路4は、領域毎に供給されるD
CT係数データDC、AC1 、AC2 、……AC7 のレ
ベル分布のパターンを検出すると共に、各領域のDCT
係数データを、上述のように各領域のデータを例えば各
係数当たり数レベルのデータに圧縮するように演算し
て、パターン圧縮データを形成し、このパターン圧縮デ
ータをクラスコード発生回路5に供給する。ここでAD
RCは、本来ビデオテープレコーダ(VTR)向けの高
能率符号化用に開発された適応的再量子化法だが、信号
レベルの局所的なパターンを短い語長で効率的に表現で
きるため、この実施例ではADRCの手法を用いて信号
パターンをクラス分類するためのコードを発生してい
る。
【0022】ただし、ここでは画像レベルデータそのも
のでなく、DCT係数データを対象としているので、通
常のADRCとは多少異なり、係数の絶対値の最大値を
MAXとし、係数値をLとし、係数の符号をsignL
とし、さらに再量子化コード数を(2・n+1)とし
て、次式
【数1】 によつて再量子化コードQを得る。なお(1)式におい
て[]は切り捨て処理を意味する。また係数の再量子化
コードQが、再量子化コード最大値のnを超えた場合又
は再量子化コード最小値の−nを下回つた場合は、それ
ぞれn、−nでクリツピングする。
【0023】この実施例ではDCT回路3により供給さ
れた7つのAC係数のうち、例えばAC1 、AC2 、A
C6 、AC7 の4つを選択し、それらに上述したADR
C処理を行うことにより、各11レベル(−5〜+5)に
圧縮するものとする。この場合MAXは、AC1 、AC
2 、AC6 、AC7 の中の絶対値の最大値ということに
なる。圧縮された4つのAC係数データをそれぞれq1
、q2 、q3 、q4 とする。
【0024】クラスコード発生回路5は、ADRC回路
4から供給されるパターン圧縮データに基づいて、次式
【数2】 の演算を行うことにより、そのブロツクが属するクラス
を検出し、そのクラスを示すクラスコードclass をRO
Mテーブル6に供給する。このクラスコードclass は、
ROMテーブル6から読み出しアドレスを示すものとな
つている。この実施例の場合、(2)式においてmは4
であり、nは5である。
【0025】実際上ROMテーブル6には、SDデータ
のパターンとHDデータの関係を学習することにより、
線形推定式を用いてそのSDデータに対応するHDデー
タを算出するための係数データが、各クラス毎に記憶さ
れている。これは線形推定式によりSDデータを、この
画像情報よりも高い解像度の画像情報である、いわゆる
ハイビジヨン方式の規格に合致したHDデータに変換す
るための情報である。この実施例において係数データ
は、モード1とモード2で独立に用意されている。なお
ROMテーブル6に記憶されている係数データの作成方
法については後述する。
【0026】ROMテーブル6からは、クラスコードcl
ass で示されるアドレスから、そのクラスの係数データ
であるwi(class)が読み出される。この係数データは推
定演算回路8に供給される。推定演算回路8は、遅延回
路7を介して領域分割化回路2から供給されるSDデー
タ及びROMテーブル6から供給される係数データであ
るwi(class)に基づいて、次式
【数3】 に示す演算を行うことにより、入力されたSDデータx
1 、……x8 に対応するHDデータyを算出する。算出
されたHDデータyは、水平補間フイルタ9に出力され
る。
【0027】水平補間フイルタ9は、従来について上述
した図4の水平補間フイルタ102と同様に構成されて
おり、補間処理により水平方向の画素数を2倍にするも
のである。水平補間フイルタ9の出力は、出力端子10
を介して出力される。この出力端子10を介して出力さ
れるHDデータは、例えばHDテレビジヨン受像器やH
Dビデオテープレコーダ装置等に供給される。
【0028】以上の構成によれば、SDデータに対応す
るHDデータを推定するための係数データを、各クラス
毎に予め学習により求めた上でROMテーブル6に記憶
し、入力されるSDデータ及びROMテーブル6から読
み出した係数データに基づいて演算を行い、入力された
SDデータに対応するHDデータを形成して出力するこ
とにより、入力されるSDデータを単に補間処理した場
合に比較して、実際のデータにより近いHDデータを出
力することができる。
【0029】さらに上述の構成によれば、クラス分割の
前処理として周波数変換を導入し、画像変換に有為な周
波数成分を重視してクラス分割をするようにしたことに
より、入力されるSDデータの信号波形に高周波が発生
しているような場合でも、変換後のHDデータに反映す
ることができ、かくして変換性能を向上して、変換画像
の画質を向上し得る。
【0030】(3)ROMテーブルの作成方法 ここでROMテーブル6に格納される係数データの作成
方法について、図3を用いて説明する。この係数データ
を学習によつて得るためには、まず既に知られているH
D画像に対応して、このHD画像の1/4の画素数のS
D画像を形成する。実際上、図3に示す理想フイルタ回
路により、入力端子21を介して供給されるHDデータ
の垂直方向の画素を垂直間引きフイルタ22によりフイ
ールド内の垂直方向の周波数が1/2になるように間引
きし、さらに水平間引きフイルタ23により、HDデー
タの水平方向の画素を間引きしてSDデータを得る。
【0031】この結果得られるSDデータは、領域分割
化回路24に供給され、複数の領域に分割される。この
領域分割化回路24は、図1の画像情報変換装置の領域
分割化回路2と同じ構成のものであり、SDデータを各
8画素からなる領域に分割する。この領域毎のSDデー
タをDCT回路25及び正規方程式加算回路28に供給
する。
【0032】DCT回路25は、領域毎に供給されるS
Dデータを周波数的に分解することにより、低周波から
高周波までの周波数成分の係数データを独立に取り出す
ためのものである。この実施例では1次元DCTを行う
ことにより、領域分割化回路24から供給された8画素
データを、DC、AC1 、AC2 ……AC7 の8つの周
波数成分に変換し、ADRC回路26に供給する。なお
このDCT回路25も、図1のDCT回路3と同じ構成
のものである。
【0033】ADRC回路26は、領域毎に供給される
SDデータの周波数パターンを各領域の全ての成分の係
数データ又は一部の係数データを、11レベルの係数デー
タに圧縮するような演算を行うことによりパターン圧縮
データを形成し、このパターン圧縮データをクラスコー
ド発生回路27に供給する。このADRC回路26も、
図1のADRC回路4と同じ構成のものである。この実
施例では、DCT回路25より供給された8つの成分の
うち、4つの成分(AC1 、AC2 、AC6 、AC7 )
を、変形ADRCにより各11レベルに圧縮する。
【0034】クラスコード発生回路27も、図1のクラ
スコード発生回路5と同じ構成のものであり、ADRC
回路26から供給されるパターン圧縮データに基づいて
(2)式の演算を行うことにより、そのブロツクが属す
るクラスを検出し、そのクラスclass を示すクラスコー
ドを出力する。クラスコード発生回路27は、クラスコ
ードを正規方程式加算回路28に出力する。
【0035】ここで正規方程式加算回路28の説明とし
て、複数個のSD画素からHD画素への変換式の学習と
その予測式を用いた信号変換について述べる。以下では
説明のために画素をより一般化してn画素による予測を
行う場合について述べる。SD画素レベルをそれぞれx
1 、……xn とし、HD画素レベルをyとしたとき、ク
ラス毎に係数w1 、……wn によるnタツプの線形推定
式を設定する。これを次式
【数4】 に示す。学習前はwi が未定係数であり、学習はクラス
毎に複数の信号データに対して行う。データ数がmの場
合(4)式にしたがつて、次式
【数5】 が設定される。なおm>nの場合は、w1 、……wn は
一意に決まらないので、誤差ベクトルeの要素を次式
【数6】 で定義して、次式
【数7】 を最小にする係数を求める。いわゆる最小二乗法による
解法である。
【0036】ここで(7)式のwi による偏微分係数を
求める。それは次式
【数8】 を0にするように、各wi を求めれば良い。以下次式
【数9】 及び次式
【数10】 のように、Xji及びYi を定義すると、上述した(8)
式は行列を用いて、次式
【数11】 に書き換えられる。
【0037】この方程式は一般に正規方程式と呼ばれて
いる。正規方程式加算回路28は、クラスコード発生回
路27から供給されたクラスコード、領域分割化回路2
4より供給されたSDデータx1 、……xn 、入力端子
21より供給されたSDデータに対応するHD画素レベ
ルyを用いて、この正規方程式の加算を行う。
【0038】すべてのトレーニングデータの入力が終了
した後、正規方程式加算回路28は、予測係数決定回路
29に正規方程式データを出力する。予測係数決定回路
29は、正規方程式を掃き出し法などの一般的な行列解
法を用いて、wi について解き予測係数を算出する。予
測係数決定回路29は、算出された予測係数をメモリ3
0に書き込む。
【0039】以上のようにトレーニングを行つた結果、
メモリ30には、再量子化係数データq1 、……q4 で
規定されるパターン毎に、注目HDデータyを推定する
ための、統計的にもつとも真値に近い推定ができる予測
係数が格納される。このメモリ30に格納されたテーブ
ルが、図1について上述した画像情報変換装置において
使用されるROMテーブル6である。以上の処理によつ
て、線形推定式によりSDデータからHDデータを作成
するための係数データの学習が終了する。
【0040】(3)他の実施例 なお上述の実施例では、入力された画像データを領域分
割した後、この画像データを周波数分解する方法として
DCTを用いたが、周波数分解の方法はこれに限らず、
例えばより演算量の少ないアダマール変換、サブバンド
変換、ウエーブレツト変換、フーリエ変換等種々の周波
数変換方法を用いるようにしても、上述の実施例と同様
の効果を実現できる。
【0041】なお上述の実施例においては、クラス分類
に用いる周波数成分として、周波数変換した係数データ
のうちAC1 、AC2 、AC6 、AC7 を用いた場合に
ついて述べたが、この組合せに限らず、種々の組み合わ
せにしたり、全ての係数データを用いるようにしても良
い。
【0042】また上述の実施例においては、クラス分類
に使用するSD画素と、線形推定式で用いるSD画素を
同一のものとしたが、これらは必ずしも同一なものであ
る必要はない。因に、異なる画素を使用する場合、クラ
ス分類に使用するSD画素を線形推定式で用いるSD画
素が包含するような形にするのが望ましく、また追加し
て使用する線形推定式で用いるSD画素は、推定するH
D画素と同一フイールドに属するもののみとすることが
望ましい。
【0043】なお上述の実施例においては、ADRCに
よる圧縮符号化の方法を用いて画像データの情報を圧縮
してクラス分けした場合について述べたが、圧縮の方法
はこれに限らず、画像データの情報を信号波形のパター
ンの少ないクラスで表現できるような圧縮符号化であれ
ばどのような方法を用いるようにしたも良く、例えば差
分量子化(DPCM)、ベクトル量子化(VQ)や離散
コサイン変換(DCT)等の種々の方法が考えられる。
【0044】また上述の実施例においては、説明の簡略
化のため、水平方向についての画像情報の変換を水平補
間フイルタを用いるようにしたが、これに代え、水平方
向の画像情報の変換用のROMテーブルを用意し、水平
方向についても推定式を用いて画像情報を変換するよう
にしても良い。
【0045】また上述の実施例においては、領域分割化
回路により、信号波形のパターンをフイールド内におけ
る1次元的に分割して表現したが、これに代え信号波形
のパターンを1フレーム内について2次元的に分割して
表現するようにしても上述の実施例と同様の効果を実現
できる。
【0046】また上述の実施例においては、画像情報を
変換する際に、ROMテーブルに記憶されている係数デ
ータを用いた場合について述べたが、これに代え、RO
Mテーブルにクラス分類に応じた重心法による代表値を
記憶することにより、推定演算を施すことなくHDデー
タを補間するようにしても良い。
【0047】また上述の実施例においては、本発明をN
TSC方式の映像信号をハイビジヨン方式の映像信号に
変換する場合について述べたが、本発明はこれに限ら
ず、第1の画像情報の解像度を、この第1の画像情報の
解像度より高解像度の第2の画像情報に変換する場合に
広く適用し得る。
【0048】また上述の実施例においては、本発明を画
像情報変換装置として単独で機能するものとして説明し
たが、本発明による画像情報変換装置はこれに限らず、
例えばテレビジヨン受像器、ビデオテープレコーダ装
置、コンピユータ装置等に内蔵されたり周辺装置として
付加されるようにしても良い。
【0049】
【発明の効果】上述のように本発明によれば、入力され
る第1の画像情報が複数の領域に分割された後、それぞ
れの領域毎の画像情報が周波数変換されて、その周波数
成分データがパターン分類され、この検出されたパター
ンに基づいて、その領域の画像情報が属するクラスを決
定されてクラス検出情報を出力される。このクラス検出
情報に応じて、第1の画像情報をより高い解像度の第2
の画像情報に変換するための情報である線形推定式の係
数データ又は代表値がクラス毎に記憶された記憶手段を
読み出し、この結果得られる係数データ又は代表値に応
じて第1の画像情報がより解像度の高い第2の画像情報
に変換される。かくして画像情報を周波数変換した、周
波数成分データに基づいて高周波成分を保存するように
クラス分類したことにより、変換画像の画質の劣化を未
然に防止し得る画像情報変換装置及び画像情報変換方法
を実現できる。
【図面の簡単な説明】
【図1】本発明による画像情報変換装置の一実施例の構
成を示すブロツク図である。
【図2】本発明による画像情報変換としてSDデータと
HDデータの位置関係の説明に供する略線図である。
【図3】ROMテーブルの作成方法の説明に供するブロ
ツク図である。
【図4】従来の画像情報変換装置のブロツク図である。
【図5】図4の画像情報変換装置の水平補間フイルタの
構成を示す接続図である。
【符号の説明】
1、21、100、110……入力端子、2、24……
領域分割化回路、3、25……DCT回路、4、26…
…ADRC回路、5、27……クラスコード発生回路、
6……ROMテーブル、7……遅延回路、8……推定演
算回路、9、101……水平補間フイルタ、10、10
3、120……出力端子、22……垂直間引きフイル
タ、23……水平間引きフイルタ、28……正規方程式
加算回路、29……予測係数決定回路、30……メモ
リ、102……垂直補間フイルタ、111……乗算器、
112……加算器、113……遅延レジスタ。
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 7/00 - 7/088 H04N 7/24 - 7/68

Claims (18)

    (57)【特許請求の範囲】
  1. 【請求項1】デイジタル画像信号でなる第1の画像情報
    を、より画素数の多いデイジタル画像信号でなる第2の
    画像情報に変換する画像情報変換装置において、 上記第1の画像情報を複数の画素からなる複数のブロツ
    クに分割する画像情報分割手段と、 当該画像情報分割手段により分割された上記ブロツク毎
    に周波数変換し、画像レベルデータから周波数データに
    変換する周波数変換手段と、 当該周波数変換手段により得られた周波数別の周波数係
    数データの一部又は全部を用いて上記周波数係数データ
    の分布パターンを検出し、当該検出した上記分布パター
    ンに基づいて、上記ブロツクの上記第1の画像情報が属
    するクラスを決定してクラス検出情報を出力するクラス
    検出手段と、 上記第1の画像情報を、当該第1の画像情報より解像度
    の高い上記第2の画像情報に変換するための情報である
    係数データが上記クラス毎に記憶され、上記クラス検出
    手段からの上記クラス検出情報に応じて上記係数データ
    を出力する係数データ記憶手段と、 当該係数データ記憶手段から供給された上記係数データ
    と上記第1の画像情報の複数の画素とで構成される推定
    式に基づいて、上記第1の画像情報を上記第2の画像情
    報に変換して出力する画像変換手段とを具えることを特
    徴とする画像情報変換装置。
  2. 【請求項2】上記画像情報分割手段は、上記第1の画像
    情報を同一フイールド内又は同一フレーム内の複数の画
    素からなる複数のブロツクに分割するようにしたことを
    特徴とする請求項1に記載の画像情報変換装置。
  3. 【請求項3】上記クラス検出手段は、上記周波数変換手
    段により周波数変換された上記周波数別の上記周波数係
    数データをレベル方向に圧縮し、上記レベル方向に圧縮
    された周波数係数データの分布パターンを検出して上記
    クラスを決定するようにしたことを特徴とする請求項
    記載の画像情報変換装置。
  4. 【請求項4】デイジタル画像信号でなる第1の画像情報
    を、より画素数の多いデイジタル画像信号でなる第2の
    画像情報に変換する画像情報変換装置において、 上記第1の画像情報を複数の画素からなる複数のブロツ
    クに分割する画像情報分割手段と、 当該画像情報分割手段により分割された上記ブロツク毎
    に周波数変換し、画像レベルデータから周波数データに
    変換する周波数変換手段と、 当該周波数変換手段により得られた周波数別の周波数
    数データの一部又は全部を用いて上記周波数係数データ
    の分布パターンを検出するパターン検出手段と、 当該パターン検出手段により検出した上記分布パターン
    に基づいて、上記ブロツクの上記第1の画像情報が属す
    るクラスを決定してクラス検出情報を出力するクラス検
    出手段と、 上記第1の画像情報を、当該第1の画像情報より解像度
    の高い上記第2の画像情報に変換するための情報である
    代表値が上記クラス毎に記憶され、上記クラス検出手段
    からの上記クラス検出情報に応じて上記代表値を出力す
    る代表値記憶手段と、 当該代表値記憶手段から供給された上記代表値に応じ
    て、上記第1の画像情報を上記第2の画像情報に変換し
    て出力する画像変換手段とを具えることを特徴とする画
    像情報変換装置。
  5. 【請求項5】上記画像情報分割手段は、上記第1の画像
    情報を同一フイールド内又は同一フレーム内の複数の画
    素からなる複数のブロツクに分割するようにしたことを
    特徴とする請求項4に記載の画像情報変換装置。
  6. 【請求項6】上記パターン検出手段は、上記周波数変換
    手段により周波数変換された上記周波数別の上記周波数
    係数データをレベル方向に圧縮し、上記レベル方向に圧
    縮された周波数係数データの分布パターンを検出するこ
    とを特徴とする請求項4に記載の画像情報変換装置。
  7. 【請求項7】デイジタル画像信号でなる第1の画像情報
    を、より画素数の多いデイジタル画像信号でなる第2の
    画像情報に変換する画像情報変換方法において、 上記第1の画像情報を複数の画素からなる複数のブロツ
    クに分割する第1のステツプと、 当該分割された上記ブロツク毎に周波数変換し、画像レ
    ベルデータから周波数データに変換する第2のステツプ
    と、 当該周波数別の周波数係数データの一部又は全部を用い
    て上記周波数係数データの分布パターンを検出し、当該
    検出した上記分布パターンに基づいて、上記ブロツクの
    上記第1の画像情報が属するクラスを決定してクラス検
    出情報を出力する第3のステツプと、 上記第1の画像情報を、当該第1の画像情報より解像度
    の高い上記第2の画像情報に変換するための情報である
    係数データが上記クラス毎に記憶され、上記クラス検出
    情報に応じて上記係数データを出力する第4のステツプ
    と、 当該出力された上記係数データと上記第1の画像情報の
    複数の画素とで構成される推定式に基づいて、上記第1
    の画像情報を上記第2の画像情報に変換して出力する第
    5のステツプとを具えることを特徴とする画像情報変換
    方法。
  8. 【請求項8】上記第1のステツプでは、上記第1の画像
    情報を同一フイールド内又は同一フレーム内の複数の画
    素からなる複数のブロツクに分割するようにしたことを
    特徴とする請求項に記載の画像情報変換方法。
  9. 【請求項9】上記第3のステツプでは、上記第2のステ
    ツプにおいて周波数変換された上記周波数別の上記周波
    数係数データをレベル方向に圧縮し、上記レベル方向に
    圧縮された周波数係数データの分布パターンを検出して
    上記クラスを決定するようにしたことを特徴とする請求
    7に記載の画像情報変換方法。
  10. 【請求項10】デイジタル画像信号でなる第1の画像情
    報を、より画素数の多いデイジタル画像信号でなる第2
    の画像情報に変換する画像情報変換方法において、 上記第1の画像情報を複数の画素からなる複数のブロツ
    クに分割する第1のステツプと、 当該分割された上記ブロツク毎に周波数変換し、画像レ
    ベルデータから周波数データに変換する第2のステツプ
    と、 当該周波数別の周波数係数データの一部又は全部を用い
    て上記周波数係数データの分布パターンを検出する第3
    のステツプと、 当該検出した上記分布パターンに基づいて、上記ブロツ
    クの上記第1の画像情報が属するクラスを決定してクラ
    ス検出情報を出力する第のステツプと、 上記第1の画像情報を、当該第1の画像情報より解像度
    の高い上記第2の画像情報に変換するための情報である
    代表値が上記クラス毎に記憶され、上記クラス検出情報
    に応じて上記代表値を出力する第のステツプと、 当該出力された上記代表値に応じて、上記第1の画像情
    報を上記第2の画像情報に変換して出力する第のステ
    ツプとを具えることを特徴とする画像情報変換方法。
  11. 【請求項11】上記第1のステツプでは、上記第1の画
    像情報を同一フイールド内又は同一フレーム内の複数の
    画素からなる複数のブロツクに分割するようにしたこと
    を特徴とする請求項10に記載の画像情報変換方法。
  12. 【請求項12】上記第3のステツプでは、上記第2のス
    テツプにおいて周波数変換された上記周波数別の上記周
    波数係数データをレベル方向に圧縮し、上記レベル方向
    に圧縮された周波数係数データの分布パターンを検出
    ことを特徴とする請求項10に記載の画像情報変換方
    法。
  13. 【請求項13】デイジタル画像信号でなる第1の画像情
    報を複数の画素からなる複数のブロツクに分割する画像
    情報分割手段と、 当該画像情報分割手段により分割された上記ブロツク毎
    に周波数変換し、画像レベルデータから周波数データに
    変換する周波数変換手段と、 当該周波数変換手段により得られた周波数別の周波数
    数データの一部又は全部を用いて上記周波数係数データ
    の分布パターンを検出し、当該検出した上記分布パター
    ンに基づいて、上記ブロツクの上記第1の画像情報が属
    するクラスを決定してクラス検出情報を出力するクラス
    検出手段と、 上記クラス検出手段からの上記クラス検出情報と、上記
    第1の画像情報と、当該第1の画像情報より解像度の高
    い第2の画像情報の画素レベルとに基づいて、上記第1
    の画像情報を当該第1の画像情報に対応する上記第2の
    画像情報に変換するための情報である係数データを生成
    する係数データ生成手段とを具えることを特徴とする画
    像処理装置。
  14. 【請求項14】上記画像情報分割手段は、上記第1の画
    像情報を同一フイールド内又は同一フレーム内の複数の
    画素からなる複数のブロツクに分割するようにしたこと
    を特徴とする請求項13に記載の画像処理装置。
  15. 【請求項15】上記クラス検出手段は、上記周波数変換
    手段により周波数変換された上記周波数別の上記周波数
    係数データをレベル方向に圧縮し、上記レベル方向に圧
    縮された周波数係数データの分布パターンを検出して上
    記クラスを決定するようにしたことを特徴とする請求項
    3に記載の画像処理装置。
  16. 【請求項16】デイジタル画像信号でなる第1の画像情
    報を複数の画素からなる複数のブロツクに分割する第1
    のステツプと、 当該分割された上記ブロツク毎に周波数変換し、画像レ
    ベルデータから周波数データに変換する第2のステツプ
    と、 当該周波数別の周波数係数データの一部又は全部を用い
    て上記周波数係数データの分布パターンを検出し、当該
    検出した上記分布パターンに基づいて、上記ブロツクの
    上記第1の画像情報が属するクラスを決定してクラス検
    出情報を出力する第3のステツプと、 上記クラス検出情報と、上記第1の画像情報と、当該第
    1の画像情報より解像度の高い第2の画像情報の画素レ
    ベルとに基づいて、上記第1の画像情報を当該第1の画
    像情報に対応する上記第2の画像情報に変換するための
    情報である係数データを生成する第4のステツプとを具
    えることを特徴とする画像処理方法。
  17. 【請求項17】上記第1のステツプでは、上記第1の画
    像情報を同一フイールド内又は同一フレーム内の複数の
    画素からなる複数のブロツクに分割するようにしたこと
    を特徴とする請求項16に記載の画像処理方法。
  18. 【請求項18】上記第3のステツプでは、上記第2のス
    テツプにおいて周波数変換された上記周波数別の上記周
    波数係数データをレベル方向に圧縮し、上記レベル方向
    に圧縮された周波数係数データの分布パターンを検出し
    て上記クラスを決定するようにしたことを特徴とする請
    求項16に記載の画像処理方法。
JP34760793A 1993-12-25 1993-12-25 画像情報変換装置及び画像情報変換方法並びに画像処理装置及び画像処理方法 Expired - Lifetime JP3400055B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP34760793A JP3400055B2 (ja) 1993-12-25 1993-12-25 画像情報変換装置及び画像情報変換方法並びに画像処理装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34760793A JP3400055B2 (ja) 1993-12-25 1993-12-25 画像情報変換装置及び画像情報変換方法並びに画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JPH07193789A JPH07193789A (ja) 1995-07-28
JP3400055B2 true JP3400055B2 (ja) 2003-04-28

Family

ID=18391368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34760793A Expired - Lifetime JP3400055B2 (ja) 1993-12-25 1993-12-25 画像情報変換装置及び画像情報変換方法並びに画像処理装置及び画像処理方法

Country Status (1)

Country Link
JP (1) JP3400055B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4517448B2 (ja) * 2000-05-09 2010-08-04 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
JP4596197B2 (ja) 2000-08-02 2010-12-08 ソニー株式会社 ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
JP4645866B2 (ja) * 2000-08-02 2011-03-09 ソニー株式会社 ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
JP4596196B2 (ja) 2000-08-02 2010-12-08 ソニー株式会社 ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
JP4538705B2 (ja) 2000-08-02 2010-09-08 ソニー株式会社 ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
JP4207009B2 (ja) 2005-03-09 2009-01-14 ソニー株式会社 画像処理装置及び方法
JP5335713B2 (ja) * 2010-02-16 2013-11-06 富士フイルム株式会社 画像処理方法及び装置並びにプログラム

Also Published As

Publication number Publication date
JPH07193789A (ja) 1995-07-28

Similar Documents

Publication Publication Date Title
JP3438233B2 (ja) 画像変換装置および方法
WO1994014278A1 (en) Image signal converter
EP1420585B1 (en) Picture information converting apparatus and method thereof
US7679676B2 (en) Spatial signal conversion
KR100643427B1 (ko) 영상신호의 변환장치 및 변환방법과 그것을 사용한 화상표시장치 및 텔레비전 수신기
JP3400055B2 (ja) 画像情報変換装置及び画像情報変換方法並びに画像処理装置及び画像処理方法
JP3271101B2 (ja) ディジタル画像信号処理装置および処理方法
JP3946781B2 (ja) 画像情報変換装置及び方法
JP3723995B2 (ja) 画像情報変換装置および方法
JP3243861B2 (ja) 画像情報変換装置
JP4140091B2 (ja) 画像情報変換装置および画像情報変換方法
JP3653287B2 (ja) 画像情報変換装置及び画像情報変換方法
US6360018B1 (en) Image processing apparatus and method
JPH1093929A (ja) 画像情報変換装置および方法
JP3480011B2 (ja) 画像情報変換装置
JPH0888849A (ja) 画像信号処理方法及び画像信号伝送装置
JPH08130744A (ja) テレビジヨン受像装置
JP3480015B2 (ja) 画像データの生成装置および生成方法
JP3800638B2 (ja) 画像情報変換装置および方法
JPH08317347A (ja) 画像情報変換装置
JP4042121B2 (ja) 画像情報処理装置及び画像情報処理方法
JP4062326B2 (ja) 係数生成装置および方法
JP3826434B2 (ja) 信号変換装置および方法
JP4038881B2 (ja) 画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法
JPH07193791A (ja) 画像情報変換装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080221

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090221

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100221

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100221

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110221

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120221

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130221

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130221

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140221

Year of fee payment: 11

EXPY Cancellation because of completion of term