JP3826495B2 - 画像信号処理装置及び方法 - Google Patents
画像信号処理装置及び方法 Download PDFInfo
- Publication number
- JP3826495B2 JP3826495B2 JP16156997A JP16156997A JP3826495B2 JP 3826495 B2 JP3826495 B2 JP 3826495B2 JP 16156997 A JP16156997 A JP 16156997A JP 16156997 A JP16156997 A JP 16156997A JP 3826495 B2 JP3826495 B2 JP 3826495B2
- Authority
- JP
- Japan
- Prior art keywords
- polynomial
- signal
- parameter
- image signal
- order
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、画像信号の解像度を向上させる処理を行う画像信号処理装置及び方法に関する。
【０００２】
【従来の技術】
従来、画像信号としては、例えば５２５本の走査線を有する標準解像度（standard definition; SD）のテレビジョン受像器に対応するＳＤ信号と共に、例えば１１２５本の走査線を有する高解像度（high definition; HD）のテレビジョン受像器（以下、ＨＤＴＶと称する。）に対応するＨＤ信号が提供されている。
【０００３】
ところで、上記ＨＤＴＶに対してＳＤ信号が与えられる場合がある。このような場合には、ＳＤ信号をＨＤ信号に変換する信号変換、いわゆるアップコンバートが施される。
【０００４】
【発明が解決しようとする課題】
このアップコンバートの際には、線形補間によって画素を増やす処理を行っていた。しかし、この線形補間によるアップコンバートによっては、解像度を向上させることは不可能であった。
【０００５】
この発明は、上述の課題に鑑みてなされるものであって、アップコンバートの際に、解像度を向上させる画像信号処理装置及び方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る画像処理装置は、第１の画像信号を時間軸方向にブロック化するブロック化手段と、このブロック化された第１の画像信号に対して第１の多項式であるｎ次多項式についてｎ次曲面フィッティングにより信号当てはめを行い、この第１の多項式であるｎ次多項式を特定する第１のパラメータを導出する信号解析手段と、上記第１の画像信号に上記第１の多項式を当てはめることにより取得した上記第１のパラメータと、上記第１の画像信号と同一の対象についての上記第１の画像信号より解像度の高い第２の画像信号に第２の多項式であるｎ＋ｍ次多項式を（ｎ＋ｍ）次曲面フィッティングにより当てはめることにより取得した上記ｎ＋ｍ次多項式を特定する第２のパラメータとについて統計的な処理を行い対応関係を抽出することにより設定され、上記第１のパラメータに対応した上記第２のパラメータが読み出されるパラメータテーブルと、上記第２のパラメータにて特定される、上記第２の多項式である上記ｎ＋ｍ次多項式にて信号を生成する信号生成手段と、上記第１の画像信号と、上記信号生成手段にて生成された信号とを合成して画像信号とする信号合成手段とを有することを特徴としている。
【０００７】
また、本発明に係る画像処理方法は、第１の画像信号を時間軸方向にブロック化するブロック化工程と、このブロック化された第１の画像信号に対して第１の多項式であるｎ次多項式についてｎ次曲面フィッティングにより信号当てはめを行い、この第１の多項式であるｎ次多項式を特定する第１のパラメータを導出する信号解析工程と、上記第１の画像信号に上記第１の多項式を当てはめることにより取得した上記第１のパラメータと、上記第１の画像信号と同一の対象についての上記第１の画像信号より解像度の高い第２の画像信号に第２の多項式であるｎ＋ｍ次多項式を（ｎ＋ｍ）次曲面フィッティングにより当てはめることにより取得した上記ｎ＋ｍ次多項式を特定する第２のパラメータとについて統計的な処理を行い対応関係を抽出することにより設定されたパラメータテーブルから、上記第１のパラメータに対応した第２のパラメータを読み出す読み出し工程と、上記第２のパラメータにて特定される、上記第２の多項式である上記ｎ＋ｍ次多項式にて信号を生成する信号生成工程と、上記第１の画像信号と、上記信号生成工程にて生成された信号とを合成して画像信号とする信号合成工程とを有することを特徴としている。
【００１０】
【発明の実施の形態】
以下、この発明に係る画像信号処理装置及び方法を、図面を参照しながら詳細に説明する。
【００１１】
画像信号処理装置の一例は、図１に示すように、画像信号を時間軸方向にブロック化するブロック化部１を有している。このブロック化部１は、例えば５２５本の走査線を有する標準テレビジョン受像機相当の画素数及び画質を有する標準解像度のＳＤ信号を、ブロックに分割するものである。このブロック化部１は、例えば、入力するＳＤ信号の２次元画素を分割してブロックとする。
【００１２】
また、上記画像信号処理装置は、ブロック化された画像信号に対して信号当てはめを行う信号解析手段である信号当てはめ部２と、この信号当てはめ部２の結果に応じてパラメータが読み出されるパラメータテーブル３と、このパラメータテーブル３から取得したパラメータにて特定される多項式にて信号を生成する信号生成部４とを有している。
【００１３】
上記信号当てはめ部２は、上記ブロック化部１からブロック化された信号を与えられ、このブロック化された信号に対して信号当てはめを行う。ここでは、第１の多項式であるｎ次多項式についていわゆるｎ次曲面フィッティングにより当てはめを行い、このｎ次多項式を特定するパラメータを第１のパラメータとする。この第１のパラメータとしては、例えば上記ｎ次多項式の係数を用いることができる。ここで、上記ｎとは１以上の整数である。
【００１４】
上記パラメータテーブル３は、第１の多項式であるｎ次多項式を特定する第１のパラメータと、第２の多項式であるｎ＋ｍ次多項式を特定する第２のパラメータとの対応関係を保持するテーブルである。ここで、上記ｍは１以上の整数であるので、上記第２の多項式は第１の多項式よりも次数が高い。なお、この第２のパラメータとしては、例えば上記ｎ＋ｍ次多項式の係数を用いることができる。なお、上記パラメータテーブル３としては、ＲＯＭテーブルをアドレッシングすることにより実現できる。
【００１５】
このパラメータテーブル３は、例えば、図２に示すように、第１の多項式であるｎ次多項式を特定する第１パラメータＡ１、Ａ２、Ａ３、・・・と、第２の多項式であるｎ＋ｍ次多項式を特定する第２のパラメータＢ１、Ｂ２、Ｂ３、・・・との対応関係を保持している。図中では、第１のパラメータの内のＡ４と、第２のパラメータの内のＢ４とがリンクする対応関係が示されている。
【００１６】
上記パラメータテーブルは、後述するように、同一の対象を撮像した、ＳＤ信号に当てはめた上記第１のパラメータと、例えば１１２５本の走査線を有する高解像度のテレビジョン受像器等に対応する画素数及び画質を有する高解像度のＨＤ信号に当てはめた上記第２のパラメータとの対応関係を解析することにより予め設定される。
【００１７】
上記図１に示す信号生成部４は、第２の多項式であるｎ＋ｍ次多項式を特定する第２のパラメータを受け取り、このｎ＋ｍ多項式に基づいて信号を生成する。即ち、この信号生成部４は、上記信号解析部２にて導出した上記第１のパラメータに対応して上記パラメータテーブル３から読み出され第２のパラメータにより特定されるｎ＋ｍ次多項式に基づいて画像信号を生成する。
【００１８】
さらに、上記画像信号処理装置は、画像信号を合成する信号合成部５を有している。この信号合成部５は、上記ブロック化部１から得られる画像信号と、上記信号生成部４にて生成された信号とを合成し、この合成により得られた画像信号をＨＤ信号として出力する。
【００１９】
ここで、信号の合成とは、上記ブロック化部１から与えられる画像信号と、上記信号生成部４から得られた信号とを、例えば重み付け乗算したり、貼り付けたりすることが挙げられる。なお、上記貼り付けとは、上記画像信号に上記信号を貼り付ける、いわゆるマッピングの意味である。また、信号の合成の際のタイミング調整のために信号が遅延される場合がある。
【００２０】
続いて、画像信号処理方法の一例について説明する。この画像信号処理方法に係る一連の手順は、図３のフローチャートに示される。
【００２１】
最初のステップＳ１においては、入力するＳＤ信号をブロック化する。例えば、ＳＤ信号を所定期間毎に１ブロックとする。そして、これに続くステップＳ２に進む。
【００２２】
ステップＳ２においては、ステップＳ１にてブロック化された画像信号に対して信号当てはめを行う。即ち、ブロック化された信号に対して第１の多項式であるｎ次多項式を当てはめ、例えば上記ｎ次多項式の係数を、第１のパラメータとして決定する。但し、上記ｎとは１以上の整数である。そして、次のステップＳ３に進む。
【００２３】
ステップＳ３においては、パラメータテーブルを参照する。即ち、ステップＳ２にて得られた第１のパラメータに対応する第２のパラメータをパラメータテーブルから読み出す。
【００２４】
ここで、上記パラメータテーブルとは、第１の多項式である上記ｎ次多項式を特定する第１のパラメータと、第２の多項式であるｎ＋ｍ次多項式を特定する第２のパラメータとの対応関係を保持するテーブルである。但し、上記ｍは１以上の整数であるので、上記第２の多項式は上記第１の多項式より次数が高い。なお、この第２のパラメータとしては、例えば上記ｎ＋ｍ次多項式の係数を用いることができる。上記パラメータテーブルから第２のパラメータの読み出しを終えると、次のステップＳ４に進む。
【００２５】
ステップＳ４においては、ステップＳ３において得られた第２のパラメータにて特定される第２の多項式であるｎ＋ｍ次多項式に基づいて信号を生成する。そして、これに続くステップＳ５に進む。
【００２６】
ステップＳ５においては、ステップＳ１にてブロック化された画像信号と、ステップＳ４にて生成された信号とを合成し、この合成により得られた画像信号をＨＤ信号として出力する。ここで、信号の合成とは、上記信号生成部４から得られた信号と、上記ブロック化部１から与えられる信号とを、例えば重み付け乗算したり、貼り付けたりすることが挙げられる。
【００２７】
以上において説明したように、上記画像信号処理装置及び方法は、ＳＤ信号に対して当てはめた第１の多項式であるｎ次多項式よりも次数の高い第２の多項式であるｎ＋ｍ次多項式から信号を生成し、この画像信号と、元のＳＤ信号を合成した画像信号をＨＤ信号として出力している。画像信号に対応する多項式の次数は、第１の多項式のｎ次から第２の多項式のｎ＋ｍ次までｍ次向上しているので、解像度を向上させた画像信号が得られる。この画像信号の処理により、ＳＤ信号より高解像度でより細かい表現をすることができるＨＤ信号を、ＳＤ信号から生成することが可能になる。
【００２８】
続いて、上記パラメータテーブル３を学習により作成する方法について説明する。このパラメータテーブル３は、上述したように、第１の多項式であるｎ次多項式を特定する第１のパラメータと、第２の多項式であるｎ＋ｍ次多項式を特定する第２のパラメータとの対応関係を保持するものである。
【００２９】
このパラメータテーブル３を作成するための一連の手順は、図４に示すように、同一の対象をＳＤ信号を出力するＳＤカメラ１１と、ＨＤ信号を出力するＨＤカメラ１４でそれぞれ撮像して得られたＳＤ信号及びＨＤ信号に対し、それぞれ第１の信号当てはめ部１３及び第２の信号当てはめ部１５にて第１のパラメータ及び第２のパラメータを導出し、これら第１のパラメータ及び第２のパラメータを度数テーブル１７に記録して、これら第１のパラメータと第２のパラメータとの対応関係を判断部１８にて解析することにより、その結果の対応表をメモリ１９に記録するものである。
【００３０】
即ち、ＳＤカメラ１１にて得られた画像信号であるＳＤ信号は、第１のブロック化部１２にて時間軸方向にブロック化される。この第１のブロック化部１２におけるブロック化としては、例えば、入力する画像信号の２次元画素を分割してブロック化することが挙げられる。このブロック化されたＳＤ信号は、第１の信号当てはめ部１３にて第１の多項式であるｎ次多項式にフィッティグにより当てはめられ、このｎ次多項式を特定する第１のパラメータが導出される。この第１のパラメータとしては、例えば上記ｎ次多項式の係数を用いることができる。
【００３１】
一方、上記ＳＤカメラ１１と同一の対象を撮像するＨＤカメラ１４にて得られたＨＤ信号は、第２のブロック化部１５にてブロック化される。この第２のブロック化部１５におけるブロック化としては、例えば、上記第１のブロック化部１２に同期してブロック化することができる。
【００３２】
このブロック化されたＨＤ信号は第２の信号当てはめ部１４にていわゆる（ｎ＋ｍ）次曲面フィッティングにより第２の多項式であるｎ＋ｍ次多項式に当てはめられ、このｎ＋ｍ次多項式を特定する第２のパラメータが導出される。この第２のパラメータとしては、例えば上記ｎ＋ｍ次多項式の係数を利用することができる。
【００３３】
なお、ここではＳＤカメラ１１及びＨＤカメラ１４で同一の対象を撮像してそれぞれＳＤ信号及びＨＤ信号を得ているが、ＨＤカメラ１４にて撮像したＨＤ信号に対してローパスフィルタ又はサブサンプリングの処理を施すことにより、このＨＤ信号から同一対象物を撮像したＳＤ信号と同等な信号が得られる。
【００３４】
これら第１の信号当てはめ部１３及び第２の信号当てはめ部１６にて得られた第１のパラメータと第２のパラメータとの対は、度数テーブル１７に記録される。この度数テーブル１７には、例えば、上記第１のパラメータと第２のパラメータの対が所定量蓄積されるまで記録が続けられる。
【００３５】
上記判断部１８は、上記度数テーブル１７に蓄積された第１のパラメータと第２のパラメータの対に基づいて判断を行う。例えば、統計的な処理を行い有効な対応関係を抽出する。そして、第１のパラメータと第２のパラメータとの対応関係を決定する。
【００３６】
上記メモリ１９は、上記判断部１８にて決定された上記第１のパラメータと第２のパラメータの対応関係を記憶する。このメモリ１９に記憶された上記第１のパラメータと上記第２のパラメータとの対応関係は、必要な場合に読み出されて上記パラメータテーブル３に設定される。また、このメモリ１９に記憶された上記第１のパラメータと第２のパラメータの対応関係は、上記画像信号処理方法においても利用される。
【００３７】
以上説明したように、第１のパラメータと第２のパラメータとの対応関係は、ＳＤ信号から導出した第１の多項式であるｎ次多項式を特定する第１のパラメータと、上記ＳＤ信号と同一の対象を撮像したＨＤ信号から導出した第２の多項式であるｎ＋ｍ次多項式を特定する第２のパラメータとの対を度数テーブル１７に記録して、この度数テーブル１７の記録を判断部１８にて解析するという、学習に係る一連の手順によって得ることができる。
【００３８】
このような学習により、ＳＤ信号に対応する第１のパラメータと、ＨＤ信号に対応する第２のパラメータの対応関係が得られ、この対応関係を利用することにより、ＳＤ信号からＨＤ信号を生成することが可能になる。
【００３９】
次に、画像信号処理装置の他の例について説明する。
この画像信号処理装置は、図５に示すように、画像信号を時間軸方向にブロック化するブロック化部１を有している。このブロック化部１は、上述した画像信号処理装置の備えるブロック化部１と同じく、入力されるＳＤ信号を時間軸方向にブロック化する。例えば、このブロック化部１は、入力する画像信号を所定時間毎にブロック化することがある。
【００４０】
また、上記画像信号処理装置は、ブロック化された画像信号を波形パターンによりクラス分類する信号解析手段であるクラス分類部６と、このクラス分類部２における結果に応じてパラメータを読み出されるパラメータテーブル３と、このパラメータテーブル３にて得たパラメータに対応して画像信号を生成する信号生成部４とを有している。
【００４１】
上記クラス分類部６は、上記ブロック化部１からブロック化された信号を与えられ、このブロック化された信号２を波形パターンによりクラス分類する。
【００４２】
ここで、クラス分類としては、例えば、ベクトル量子化、圧縮符号化、及び適応型ダイナミックレンジ符号化（adaptive dynamic range coding; ADRC）による波形分類を挙げることができる。
【００４３】
このＡＤＲＣによるクラス分類は、本来ＶＴＲ向け高能率符号化用に開発された適応的再量子化法であり、信号レベルの局所的なパターンを短い語長で効率的に表現することができる。
【００４４】
ここで、１ビットＡＲＤＣを例に取って、ＡＲＤＣを説明する。ＡＲＤＣ回路の一例を図６に示す。このＡＤＲＣ回路は、図７に示すように、第１行に図中左から右に画素Ｐ１〜Ｐ３、第２行に同じく画素Ｐ４〜Ｐ６、第３行に同じく画素Ｐ７〜Ｐ９の（３×３）の計９個の画素が配置されたブロックＢに対しＡＤＲＣを施すものである。
【００４５】
即ち、上記ＡＤＲＣ回路は、入力端子１０１からのブロックの順序に変換されたデータに関して、検出回路１０２がブロック毎に最大値ＭＡＸ、最小値ＭＩＮを検出する。減算回路１０３に対してＭＡＸ及びＭＩＮが供給され、その出力にダイナミックレンジＤＲが発生する。入力データ及びＭＩＮが減算回路１０４に供給され、減算回路１０４から最小値が除去されることで、正規化された画素データが発生する。
【００４６】
ダイナミックレンジＤＲが減算回路１０５に供給され、正規化された画素データがダイナミックレンジＤＲで割算され、割算回路１０５の出力データが比較回路１０６に供給される。比較回路１０６では、中央画素Ｐ５以外の８個の画素の割算出力が０．５を基準として、より大きいか、より小さいかが判断される。この結果に応じて、“０”又は“１”のデータＤＴが発生する。この比較出力ＤＴが出力端子１０７に取り出される。この１ビットＡＤＲＣを用いてクラス分割を行えば（３×３）のブロックＢが９ビットのクラスコードで表現される。
【００４７】
上記パラメータテーブル３は、上記クラス分類部６の与えるクラスと、ｋ次多項式を特定するパラメータとの対応関係を保持するテーブルである。ここで、上記ｋは１以上の整数である。なお、上記パラメータとしては、例えば上記ｋ次多項式の係数を用いることができる。ここで、このパラメータテーブル３は、例えばＲＯＭテーブルをアドレッシングすることにより実現できる。
【００４８】
このパラメータテーブル３は、例えば、上記図２を用いて説明すると、上記クラス分類部６から与えられるクラスＡ１、Ａ２、Ａ３、・・・と、上記ｋ次多項を特定するパラメータＢ１、Ｂ２、Ｂ３、・・・との対応関係を保持している。図中では、クラスＡ４と、パラメータＢ４とがリンクする対応関係が示されている。
【００４９】
この図５中のパラメータテーブル３は、後述するように、ＳＤ信号をクラス分類することにより導出したクラスと、上記ＳＤ信号を同一の対象を撮像したＨＤ信号に当てはめたｋ次多項式を特定するパラメータとの対応関係を解析することにより予め設定される。
【００５０】
上記信号生成部４は、上記パラメータテーブル３から与えられるパラメータにより特定されるｋ多項式から信号を生成するものである。即ち、この信号生成部４は、上記クラス分類部２にて導出されたクラスに対応して上記パラメータテーブル３から読み出されたパラメータにより特定されるｋ次多項式に基づいて信号を生成する。
【００５１】
さらに、上記画像信号処理装置は、画像信号を合成する信号合成部５を有している。この信号合成部５は、上記ブロック化部１から得られる画像信号と、上記信号生成部４にて生成された信号とを合成し、この合成により得られた画像信号をＨＤ信号として出力する。
【００５２】
ここで、信号の合成とは、例えば、上記ブロック化部１から与えられる信号と、上記信号生成部４から得られた信号とを重み付け乗算したり、貼り付けたりすることが挙げられる。なお、上記貼り付けとは、マッピングの意味である。また、信号の合成の際のタイミング調整のために、信号が遅延される場合がある。
【００５３】
続いて、画像信号処理方法の他の例について説明する。この画像信号処理方法に係る一連の手順は、図８のフローチャートに示される。
【００５４】
最初のステップＳ１１においては、入力するＳＤ信号をブロック化する。このブロック化としては、例えば、ＳＤ信号を所定時間毎に１ブロックとすることが挙げられる。そして、これに続くステップＳ１２に進む。
【００５５】
ステップＳ１２においては、ステップＳ１１にてブロック化された画像信号を波形パターンに基づいてクラス分類する。このクラス分類としては、例えばＡＤＲＣを利用することができる。クラス分類については上で詳述したので、ここでの説明を省略する。そして、次のステップＳ１３に進む。
【００５６】
ステップＳ１３においては、パラメータテーブルを参照する。即ち、ステップＳ１２にて得られたクラスに対応するパラメータを、パラメータテーブルから読み出す。
【００５７】
ここで、上記パラメータテーブルは、ブロック化された画像信号の波形パターンに基づいたクラス分類により得られたクラスと、ｋ次多項式を特定するパラメータとの対応関係を保持するテーブルである。なお、上記パラメータとしては、例えば上記ｋ次多項式の係数を用いることができる。上記パラメータテーブルからパラメータの読み出しを終えると、次のステップＳ１４に進む。
【００５８】
ステップＳ１４においては、ステップＳ１３において得られたパラメータにて特定されるｋ次多項式に基づいて信号を生成する。そして、これに続くステップＳ１５に進む。
【００５９】
ステップＳ１５においては、ステップＳ１１にてブロック化された画像信号と、ステップＳ１４にて生成された信号とを合成し、この合成により得られた画像信号をＨＤ信号として出力する。ここで、信号の合成とは、上記信号生成部から得られた信号と、上記ブロック化部から与えられる信号とを、例えば重み付け乗算することが挙げられる。
【００６０】
以上説明したように、上記画像信号処理装置及び方法は、ＳＤ信号の波形パターンによるクラス分類により導出したクラスに対応するｋ次多項式に基づいて信号を生成し、この信号と、ブロック化されたＳＤ信号を合成した画像信号をＨＤ信号として出力している。従って、この画像信号処理装置及び方法においては、上記ｋ次多項式の次数ｋを適当に選択することにより、入力されたＳＤ信号からＨＤ信号を得ることができる。即ち、この画像信号の処理装置及び方法は、ＳＤ信号より高解像度であり、より細かい表現ができるＨＤ信号を、ＳＤ信号から生成することができる。
【００６１】
続いて、上記パラメータテーブル３を学習により作成する学習方法の他の例について説明する。このパラメータテーブル３は、上述したように、入力されるＳＤ信号のクラス分類によるクラスと、上記ｋ次多項式を特定するパラメータとの対応関係を保持するものである。
【００６２】
このパラメータテーブル３を作成するための一連の手順は、図９に示すように、同一の対象をＳＤカメラ１１及びＨＤカメラ１４でそれぞれ撮像して得られたＳＤ信号及びＨＤ信号を第１のブロック化部１２及び第２のブロック化部１５にてそれぞれブロック化した後に、クラス分類部２１及び信号当てはめ部２２にてクラス及びパラメータをそれぞれ導出し、これらクラス及びパラメータを度数テーブル１７に記録して、この度数テーブル１７に記録された対応関係を判断部１８にて解析することにより、その解析の結果の対応表をメモリ１９に記録するものである。
【００６３】
即ち、ＳＤカメラ１１にて得られた画像信号であるＳＤ信号は、第１のブロック化部１２にて時間軸方向にブロック化される。このブロック化としては、入力する画像信号を例えば所定時間毎にブロック化することが挙げられる。この第１のブロック化部１２にてブロック化された画像信号は、クラス分類部２１にて波形パターンによりクラス分類される。このクラス分類については、上で詳述したので、ここでの説明を省略する。
【００６４】
一方、上記ＳＤカメラ１１と同一の対象を撮像するＨＤカメラ１４にて得られた画像信号であるＨＤ信号は、第２のブロック化部１５にてブロック化される。このブロック化としては、例えば、上記第１のブロック化部１２に同期してブロック化することが挙げられる。このブロック化された画像信号には、信号当てはめ部２２にていわゆるｋ次曲面フィッティングによりｋ次多項式が当てはめられ、このｋ次多項式を特定するパラメータが導出される。このパラメータとしては、例えば、上記ｋ次多項式の係数を利用することができる。
【００６５】
なお、ここではＳＤカメラ１１及びＨＤカメラ１４で同一の対象を撮像してそれぞれＳＤ信号及びＨＤ信号を得ているが、ＨＤカメラ１４にて撮像したＨＤ信号に対してローパスフィルタ又はサブサンプリングの処理を施すことにより、このＨＤ信号から同一対象物を撮像したＳＤ信号と同等の信号が得られる。
【００６６】
これらクラス分類部２１及び信号当てはめ部２２にて得られた、クラスとパラメータとの対は、度数テーブル１７に記録される。この度数テーブル１７には、例えば、上記クラスとパラメータの対が所定量蓄積されるまで記録が続けられる。
【００６７】
上記判断部１８は、上記度数テーブル１７に蓄積されたクラスとパラメータの対について解析し、この解析に基づいて判断する。例えば、上記判断部１８は、上記度数テーブル１７に記録されたクラスとパラメータとの対について統計的な処理を施し、有効な対応関係を抽出する。そして、上記クラスとパラメータとの対応関係を決定する。
【００６８】
上記メモリ１９は、上記判断部１８にて決定された上記クラスとパラメータの対応関係を記憶する。このメモリ１９に記憶された上記クラスとパラメータとの対応関係は、必要な場合に読み出されて上記パラメータテーブル３に設定される。また、このメモリ１９に記憶された上記クラスとパラメータの対応関係は、上記画像信号処理方法においても利用される。
【００６９】
以上説明したように、上記クラスとパラメータとの対応関係は、ＳＤ信号の波形パターンから導出したクラスと、上記ＳＤ信号と同一の対象を撮像したＨＤ信号から導出したｋ次多項式を特定するパラメータとから度数テーブル１７を作成することにより、学習によって得ることができる。
【００７０】
このような学習により、ＳＤ信号に対応するクラスと、ＨＤ信号に対応するパラメータの対応関係が得られ、この対応関係を利用することにより、ＳＤ信号からＨＤ信号を生成することが可能になる。
【００７１】
なお、この具体例においてはＳＤ信号からＨＤ信号への変換について説明したが、この発明はこれに限定されず、画像信号の解像度を高めて画質を向上させる用途に広く利用することができる。
【００７２】
【発明の効果】
上述したように、画像信号処理装置の一例は、入力されたＳＤ信号に当てはめたｎ次多項式を特定する第１のパラメータから、この第１のパラメータの対応する第２のパラメータの特定するｎ＋ｍ次多項式に基づいて信号を生成し、この信号と入力されたＳＤ信号とを合成することによりＨＤ信号を得ている。従って、この画像信号処理装置は、入力されたＳＤ信号から解像度の高いＨＤ信号を与えることができる。
【００７３】
また、画像信号処理方法の一例は、上記画像信号処理装置の一例と同じく入力されたＳＤ信号に当てはめたｎ次多項式を特定する第１のパラメータから、この第１のパラメータの対応する第２のパラメータの特定するｎ＋ｍ次多項式に基づいて信号を作成し、この信号と入力されたＳＤ信号とを合成することによりＨＤ信号を得ている。従って、この画像信号処理方法は、入力されたＳＤ信号から解像度の高いＨＤ信号を与えることができる。
【００７４】
さらに、画像信号処理装置の他の一例は、入力されたＳＤ信号の波形パターンのクラス分類により得たクラスと、このクラスに対応するパラメータの特定するｋ次多項式に基づいて信号を生成し、この信号と入力されたＳＤ信号とを合成することによりＨＤ信号を得ている。従って、この画像信号処理装置は、入力されたＳＤ信号から解像度の高いＨＤ信号を与えることができる。
【００７５】
そして、画像信号処理方法の他の一例は、上記画像信号処理装置の他の一例と同じく、入力されたＳＤ信号の波形パターンのクラス分類により得たクラスと、このクラスに対応するパラメータの特定するｋ次多項式に基づいて信号を生成し、この信号と入力されたＳＤ信号とを合成することによりＨＤ信号を得ている。従って、この画像信号処理方法は、入力されたＳＤ信号から解像度の高いＨＤ信号を与えることができる。
【図面の簡単な説明】
【図１】画像信号処理装置の一例の概略的な構成を示すブロック図である。
【図２】上記画像信号処理装置のパラメータテーブルを説明する図である。
【図３】画像信号処理方法の一例の一連の工程を示すブロック図である。
【図４】上記パラメータテーブルの学習方法の一例を概略的に示すブロック図である。
【図５】画像信号処理装置の他の例の概略的な構造を示すブロック図である。
【図６】適応型ダイナミックレンジ符号化（ADRA）回路の回路図である。
【図７】画像信号の画素をブロックに分割した１ブロックを示す図である。
【図８】画像信号処理方法の他の例の一連の手順を示すフローチャートである。
【図９】上記画像信号処理装置のパラメータテーブルの学習方法の他の例を概略的に示すブロック図である。
【符号の説明】
１ ブロック化部、２ 信号当てはめ部、３ パラメータテーブル、４ 信号生成部、５ 信号合成部、１７ 度数テーブル
【発明の属する技術分野】
この発明は、画像信号の解像度を向上させる処理を行う画像信号処理装置及び方法に関する。
【０００２】
【従来の技術】
従来、画像信号としては、例えば５２５本の走査線を有する標準解像度（standard definition; SD）のテレビジョン受像器に対応するＳＤ信号と共に、例えば１１２５本の走査線を有する高解像度（high definition; HD）のテレビジョン受像器（以下、ＨＤＴＶと称する。）に対応するＨＤ信号が提供されている。
【０００３】
ところで、上記ＨＤＴＶに対してＳＤ信号が与えられる場合がある。このような場合には、ＳＤ信号をＨＤ信号に変換する信号変換、いわゆるアップコンバートが施される。
【０００４】
【発明が解決しようとする課題】
このアップコンバートの際には、線形補間によって画素を増やす処理を行っていた。しかし、この線形補間によるアップコンバートによっては、解像度を向上させることは不可能であった。
【０００５】
この発明は、上述の課題に鑑みてなされるものであって、アップコンバートの際に、解像度を向上させる画像信号処理装置及び方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る画像処理装置は、第１の画像信号を時間軸方向にブロック化するブロック化手段と、このブロック化された第１の画像信号に対して第１の多項式であるｎ次多項式についてｎ次曲面フィッティングにより信号当てはめを行い、この第１の多項式であるｎ次多項式を特定する第１のパラメータを導出する信号解析手段と、上記第１の画像信号に上記第１の多項式を当てはめることにより取得した上記第１のパラメータと、上記第１の画像信号と同一の対象についての上記第１の画像信号より解像度の高い第２の画像信号に第２の多項式であるｎ＋ｍ次多項式を（ｎ＋ｍ）次曲面フィッティングにより当てはめることにより取得した上記ｎ＋ｍ次多項式を特定する第２のパラメータとについて統計的な処理を行い対応関係を抽出することにより設定され、上記第１のパラメータに対応した上記第２のパラメータが読み出されるパラメータテーブルと、上記第２のパラメータにて特定される、上記第２の多項式である上記ｎ＋ｍ次多項式にて信号を生成する信号生成手段と、上記第１の画像信号と、上記信号生成手段にて生成された信号とを合成して画像信号とする信号合成手段とを有することを特徴としている。
【０００７】
また、本発明に係る画像処理方法は、第１の画像信号を時間軸方向にブロック化するブロック化工程と、このブロック化された第１の画像信号に対して第１の多項式であるｎ次多項式についてｎ次曲面フィッティングにより信号当てはめを行い、この第１の多項式であるｎ次多項式を特定する第１のパラメータを導出する信号解析工程と、上記第１の画像信号に上記第１の多項式を当てはめることにより取得した上記第１のパラメータと、上記第１の画像信号と同一の対象についての上記第１の画像信号より解像度の高い第２の画像信号に第２の多項式であるｎ＋ｍ次多項式を（ｎ＋ｍ）次曲面フィッティングにより当てはめることにより取得した上記ｎ＋ｍ次多項式を特定する第２のパラメータとについて統計的な処理を行い対応関係を抽出することにより設定されたパラメータテーブルから、上記第１のパラメータに対応した第２のパラメータを読み出す読み出し工程と、上記第２のパラメータにて特定される、上記第２の多項式である上記ｎ＋ｍ次多項式にて信号を生成する信号生成工程と、上記第１の画像信号と、上記信号生成工程にて生成された信号とを合成して画像信号とする信号合成工程とを有することを特徴としている。
【００１０】
【発明の実施の形態】
以下、この発明に係る画像信号処理装置及び方法を、図面を参照しながら詳細に説明する。
【００１１】
画像信号処理装置の一例は、図１に示すように、画像信号を時間軸方向にブロック化するブロック化部１を有している。このブロック化部１は、例えば５２５本の走査線を有する標準テレビジョン受像機相当の画素数及び画質を有する標準解像度のＳＤ信号を、ブロックに分割するものである。このブロック化部１は、例えば、入力するＳＤ信号の２次元画素を分割してブロックとする。
【００１２】
また、上記画像信号処理装置は、ブロック化された画像信号に対して信号当てはめを行う信号解析手段である信号当てはめ部２と、この信号当てはめ部２の結果に応じてパラメータが読み出されるパラメータテーブル３と、このパラメータテーブル３から取得したパラメータにて特定される多項式にて信号を生成する信号生成部４とを有している。
【００１３】
上記信号当てはめ部２は、上記ブロック化部１からブロック化された信号を与えられ、このブロック化された信号に対して信号当てはめを行う。ここでは、第１の多項式であるｎ次多項式についていわゆるｎ次曲面フィッティングにより当てはめを行い、このｎ次多項式を特定するパラメータを第１のパラメータとする。この第１のパラメータとしては、例えば上記ｎ次多項式の係数を用いることができる。ここで、上記ｎとは１以上の整数である。
【００１４】
上記パラメータテーブル３は、第１の多項式であるｎ次多項式を特定する第１のパラメータと、第２の多項式であるｎ＋ｍ次多項式を特定する第２のパラメータとの対応関係を保持するテーブルである。ここで、上記ｍは１以上の整数であるので、上記第２の多項式は第１の多項式よりも次数が高い。なお、この第２のパラメータとしては、例えば上記ｎ＋ｍ次多項式の係数を用いることができる。なお、上記パラメータテーブル３としては、ＲＯＭテーブルをアドレッシングすることにより実現できる。
【００１５】
このパラメータテーブル３は、例えば、図２に示すように、第１の多項式であるｎ次多項式を特定する第１パラメータＡ１、Ａ２、Ａ３、・・・と、第２の多項式であるｎ＋ｍ次多項式を特定する第２のパラメータＢ１、Ｂ２、Ｂ３、・・・との対応関係を保持している。図中では、第１のパラメータの内のＡ４と、第２のパラメータの内のＢ４とがリンクする対応関係が示されている。
【００１６】
上記パラメータテーブルは、後述するように、同一の対象を撮像した、ＳＤ信号に当てはめた上記第１のパラメータと、例えば１１２５本の走査線を有する高解像度のテレビジョン受像器等に対応する画素数及び画質を有する高解像度のＨＤ信号に当てはめた上記第２のパラメータとの対応関係を解析することにより予め設定される。
【００１７】
上記図１に示す信号生成部４は、第２の多項式であるｎ＋ｍ次多項式を特定する第２のパラメータを受け取り、このｎ＋ｍ多項式に基づいて信号を生成する。即ち、この信号生成部４は、上記信号解析部２にて導出した上記第１のパラメータに対応して上記パラメータテーブル３から読み出され第２のパラメータにより特定されるｎ＋ｍ次多項式に基づいて画像信号を生成する。
【００１８】
さらに、上記画像信号処理装置は、画像信号を合成する信号合成部５を有している。この信号合成部５は、上記ブロック化部１から得られる画像信号と、上記信号生成部４にて生成された信号とを合成し、この合成により得られた画像信号をＨＤ信号として出力する。
【００１９】
ここで、信号の合成とは、上記ブロック化部１から与えられる画像信号と、上記信号生成部４から得られた信号とを、例えば重み付け乗算したり、貼り付けたりすることが挙げられる。なお、上記貼り付けとは、上記画像信号に上記信号を貼り付ける、いわゆるマッピングの意味である。また、信号の合成の際のタイミング調整のために信号が遅延される場合がある。
【００２０】
続いて、画像信号処理方法の一例について説明する。この画像信号処理方法に係る一連の手順は、図３のフローチャートに示される。
【００２１】
最初のステップＳ１においては、入力するＳＤ信号をブロック化する。例えば、ＳＤ信号を所定期間毎に１ブロックとする。そして、これに続くステップＳ２に進む。
【００２２】
ステップＳ２においては、ステップＳ１にてブロック化された画像信号に対して信号当てはめを行う。即ち、ブロック化された信号に対して第１の多項式であるｎ次多項式を当てはめ、例えば上記ｎ次多項式の係数を、第１のパラメータとして決定する。但し、上記ｎとは１以上の整数である。そして、次のステップＳ３に進む。
【００２３】
ステップＳ３においては、パラメータテーブルを参照する。即ち、ステップＳ２にて得られた第１のパラメータに対応する第２のパラメータをパラメータテーブルから読み出す。
【００２４】
ここで、上記パラメータテーブルとは、第１の多項式である上記ｎ次多項式を特定する第１のパラメータと、第２の多項式であるｎ＋ｍ次多項式を特定する第２のパラメータとの対応関係を保持するテーブルである。但し、上記ｍは１以上の整数であるので、上記第２の多項式は上記第１の多項式より次数が高い。なお、この第２のパラメータとしては、例えば上記ｎ＋ｍ次多項式の係数を用いることができる。上記パラメータテーブルから第２のパラメータの読み出しを終えると、次のステップＳ４に進む。
【００２５】
ステップＳ４においては、ステップＳ３において得られた第２のパラメータにて特定される第２の多項式であるｎ＋ｍ次多項式に基づいて信号を生成する。そして、これに続くステップＳ５に進む。
【００２６】
ステップＳ５においては、ステップＳ１にてブロック化された画像信号と、ステップＳ４にて生成された信号とを合成し、この合成により得られた画像信号をＨＤ信号として出力する。ここで、信号の合成とは、上記信号生成部４から得られた信号と、上記ブロック化部１から与えられる信号とを、例えば重み付け乗算したり、貼り付けたりすることが挙げられる。
【００２７】
以上において説明したように、上記画像信号処理装置及び方法は、ＳＤ信号に対して当てはめた第１の多項式であるｎ次多項式よりも次数の高い第２の多項式であるｎ＋ｍ次多項式から信号を生成し、この画像信号と、元のＳＤ信号を合成した画像信号をＨＤ信号として出力している。画像信号に対応する多項式の次数は、第１の多項式のｎ次から第２の多項式のｎ＋ｍ次までｍ次向上しているので、解像度を向上させた画像信号が得られる。この画像信号の処理により、ＳＤ信号より高解像度でより細かい表現をすることができるＨＤ信号を、ＳＤ信号から生成することが可能になる。
【００２８】
続いて、上記パラメータテーブル３を学習により作成する方法について説明する。このパラメータテーブル３は、上述したように、第１の多項式であるｎ次多項式を特定する第１のパラメータと、第２の多項式であるｎ＋ｍ次多項式を特定する第２のパラメータとの対応関係を保持するものである。
【００２９】
このパラメータテーブル３を作成するための一連の手順は、図４に示すように、同一の対象をＳＤ信号を出力するＳＤカメラ１１と、ＨＤ信号を出力するＨＤカメラ１４でそれぞれ撮像して得られたＳＤ信号及びＨＤ信号に対し、それぞれ第１の信号当てはめ部１３及び第２の信号当てはめ部１５にて第１のパラメータ及び第２のパラメータを導出し、これら第１のパラメータ及び第２のパラメータを度数テーブル１７に記録して、これら第１のパラメータと第２のパラメータとの対応関係を判断部１８にて解析することにより、その結果の対応表をメモリ１９に記録するものである。
【００３０】
即ち、ＳＤカメラ１１にて得られた画像信号であるＳＤ信号は、第１のブロック化部１２にて時間軸方向にブロック化される。この第１のブロック化部１２におけるブロック化としては、例えば、入力する画像信号の２次元画素を分割してブロック化することが挙げられる。このブロック化されたＳＤ信号は、第１の信号当てはめ部１３にて第１の多項式であるｎ次多項式にフィッティグにより当てはめられ、このｎ次多項式を特定する第１のパラメータが導出される。この第１のパラメータとしては、例えば上記ｎ次多項式の係数を用いることができる。
【００３１】
一方、上記ＳＤカメラ１１と同一の対象を撮像するＨＤカメラ１４にて得られたＨＤ信号は、第２のブロック化部１５にてブロック化される。この第２のブロック化部１５におけるブロック化としては、例えば、上記第１のブロック化部１２に同期してブロック化することができる。
【００３２】
このブロック化されたＨＤ信号は第２の信号当てはめ部１４にていわゆる（ｎ＋ｍ）次曲面フィッティングにより第２の多項式であるｎ＋ｍ次多項式に当てはめられ、このｎ＋ｍ次多項式を特定する第２のパラメータが導出される。この第２のパラメータとしては、例えば上記ｎ＋ｍ次多項式の係数を利用することができる。
【００３３】
なお、ここではＳＤカメラ１１及びＨＤカメラ１４で同一の対象を撮像してそれぞれＳＤ信号及びＨＤ信号を得ているが、ＨＤカメラ１４にて撮像したＨＤ信号に対してローパスフィルタ又はサブサンプリングの処理を施すことにより、このＨＤ信号から同一対象物を撮像したＳＤ信号と同等な信号が得られる。
【００３４】
これら第１の信号当てはめ部１３及び第２の信号当てはめ部１６にて得られた第１のパラメータと第２のパラメータとの対は、度数テーブル１７に記録される。この度数テーブル１７には、例えば、上記第１のパラメータと第２のパラメータの対が所定量蓄積されるまで記録が続けられる。
【００３５】
上記判断部１８は、上記度数テーブル１７に蓄積された第１のパラメータと第２のパラメータの対に基づいて判断を行う。例えば、統計的な処理を行い有効な対応関係を抽出する。そして、第１のパラメータと第２のパラメータとの対応関係を決定する。
【００３６】
上記メモリ１９は、上記判断部１８にて決定された上記第１のパラメータと第２のパラメータの対応関係を記憶する。このメモリ１９に記憶された上記第１のパラメータと上記第２のパラメータとの対応関係は、必要な場合に読み出されて上記パラメータテーブル３に設定される。また、このメモリ１９に記憶された上記第１のパラメータと第２のパラメータの対応関係は、上記画像信号処理方法においても利用される。
【００３７】
以上説明したように、第１のパラメータと第２のパラメータとの対応関係は、ＳＤ信号から導出した第１の多項式であるｎ次多項式を特定する第１のパラメータと、上記ＳＤ信号と同一の対象を撮像したＨＤ信号から導出した第２の多項式であるｎ＋ｍ次多項式を特定する第２のパラメータとの対を度数テーブル１７に記録して、この度数テーブル１７の記録を判断部１８にて解析するという、学習に係る一連の手順によって得ることができる。
【００３８】
このような学習により、ＳＤ信号に対応する第１のパラメータと、ＨＤ信号に対応する第２のパラメータの対応関係が得られ、この対応関係を利用することにより、ＳＤ信号からＨＤ信号を生成することが可能になる。
【００３９】
次に、画像信号処理装置の他の例について説明する。
この画像信号処理装置は、図５に示すように、画像信号を時間軸方向にブロック化するブロック化部１を有している。このブロック化部１は、上述した画像信号処理装置の備えるブロック化部１と同じく、入力されるＳＤ信号を時間軸方向にブロック化する。例えば、このブロック化部１は、入力する画像信号を所定時間毎にブロック化することがある。
【００４０】
また、上記画像信号処理装置は、ブロック化された画像信号を波形パターンによりクラス分類する信号解析手段であるクラス分類部６と、このクラス分類部２における結果に応じてパラメータを読み出されるパラメータテーブル３と、このパラメータテーブル３にて得たパラメータに対応して画像信号を生成する信号生成部４とを有している。
【００４１】
上記クラス分類部６は、上記ブロック化部１からブロック化された信号を与えられ、このブロック化された信号２を波形パターンによりクラス分類する。
【００４２】
ここで、クラス分類としては、例えば、ベクトル量子化、圧縮符号化、及び適応型ダイナミックレンジ符号化（adaptive dynamic range coding; ADRC）による波形分類を挙げることができる。
【００４３】
このＡＤＲＣによるクラス分類は、本来ＶＴＲ向け高能率符号化用に開発された適応的再量子化法であり、信号レベルの局所的なパターンを短い語長で効率的に表現することができる。
【００４４】
ここで、１ビットＡＲＤＣを例に取って、ＡＲＤＣを説明する。ＡＲＤＣ回路の一例を図６に示す。このＡＤＲＣ回路は、図７に示すように、第１行に図中左から右に画素Ｐ１〜Ｐ３、第２行に同じく画素Ｐ４〜Ｐ６、第３行に同じく画素Ｐ７〜Ｐ９の（３×３）の計９個の画素が配置されたブロックＢに対しＡＤＲＣを施すものである。
【００４５】
即ち、上記ＡＤＲＣ回路は、入力端子１０１からのブロックの順序に変換されたデータに関して、検出回路１０２がブロック毎に最大値ＭＡＸ、最小値ＭＩＮを検出する。減算回路１０３に対してＭＡＸ及びＭＩＮが供給され、その出力にダイナミックレンジＤＲが発生する。入力データ及びＭＩＮが減算回路１０４に供給され、減算回路１０４から最小値が除去されることで、正規化された画素データが発生する。
【００４６】
ダイナミックレンジＤＲが減算回路１０５に供給され、正規化された画素データがダイナミックレンジＤＲで割算され、割算回路１０５の出力データが比較回路１０６に供給される。比較回路１０６では、中央画素Ｐ５以外の８個の画素の割算出力が０．５を基準として、より大きいか、より小さいかが判断される。この結果に応じて、“０”又は“１”のデータＤＴが発生する。この比較出力ＤＴが出力端子１０７に取り出される。この１ビットＡＤＲＣを用いてクラス分割を行えば（３×３）のブロックＢが９ビットのクラスコードで表現される。
【００４７】
上記パラメータテーブル３は、上記クラス分類部６の与えるクラスと、ｋ次多項式を特定するパラメータとの対応関係を保持するテーブルである。ここで、上記ｋは１以上の整数である。なお、上記パラメータとしては、例えば上記ｋ次多項式の係数を用いることができる。ここで、このパラメータテーブル３は、例えばＲＯＭテーブルをアドレッシングすることにより実現できる。
【００４８】
このパラメータテーブル３は、例えば、上記図２を用いて説明すると、上記クラス分類部６から与えられるクラスＡ１、Ａ２、Ａ３、・・・と、上記ｋ次多項を特定するパラメータＢ１、Ｂ２、Ｂ３、・・・との対応関係を保持している。図中では、クラスＡ４と、パラメータＢ４とがリンクする対応関係が示されている。
【００４９】
この図５中のパラメータテーブル３は、後述するように、ＳＤ信号をクラス分類することにより導出したクラスと、上記ＳＤ信号を同一の対象を撮像したＨＤ信号に当てはめたｋ次多項式を特定するパラメータとの対応関係を解析することにより予め設定される。
【００５０】
上記信号生成部４は、上記パラメータテーブル３から与えられるパラメータにより特定されるｋ多項式から信号を生成するものである。即ち、この信号生成部４は、上記クラス分類部２にて導出されたクラスに対応して上記パラメータテーブル３から読み出されたパラメータにより特定されるｋ次多項式に基づいて信号を生成する。
【００５１】
さらに、上記画像信号処理装置は、画像信号を合成する信号合成部５を有している。この信号合成部５は、上記ブロック化部１から得られる画像信号と、上記信号生成部４にて生成された信号とを合成し、この合成により得られた画像信号をＨＤ信号として出力する。
【００５２】
ここで、信号の合成とは、例えば、上記ブロック化部１から与えられる信号と、上記信号生成部４から得られた信号とを重み付け乗算したり、貼り付けたりすることが挙げられる。なお、上記貼り付けとは、マッピングの意味である。また、信号の合成の際のタイミング調整のために、信号が遅延される場合がある。
【００５３】
続いて、画像信号処理方法の他の例について説明する。この画像信号処理方法に係る一連の手順は、図８のフローチャートに示される。
【００５４】
最初のステップＳ１１においては、入力するＳＤ信号をブロック化する。このブロック化としては、例えば、ＳＤ信号を所定時間毎に１ブロックとすることが挙げられる。そして、これに続くステップＳ１２に進む。
【００５５】
ステップＳ１２においては、ステップＳ１１にてブロック化された画像信号を波形パターンに基づいてクラス分類する。このクラス分類としては、例えばＡＤＲＣを利用することができる。クラス分類については上で詳述したので、ここでの説明を省略する。そして、次のステップＳ１３に進む。
【００５６】
ステップＳ１３においては、パラメータテーブルを参照する。即ち、ステップＳ１２にて得られたクラスに対応するパラメータを、パラメータテーブルから読み出す。
【００５７】
ここで、上記パラメータテーブルは、ブロック化された画像信号の波形パターンに基づいたクラス分類により得られたクラスと、ｋ次多項式を特定するパラメータとの対応関係を保持するテーブルである。なお、上記パラメータとしては、例えば上記ｋ次多項式の係数を用いることができる。上記パラメータテーブルからパラメータの読み出しを終えると、次のステップＳ１４に進む。
【００５８】
ステップＳ１４においては、ステップＳ１３において得られたパラメータにて特定されるｋ次多項式に基づいて信号を生成する。そして、これに続くステップＳ１５に進む。
【００５９】
ステップＳ１５においては、ステップＳ１１にてブロック化された画像信号と、ステップＳ１４にて生成された信号とを合成し、この合成により得られた画像信号をＨＤ信号として出力する。ここで、信号の合成とは、上記信号生成部から得られた信号と、上記ブロック化部から与えられる信号とを、例えば重み付け乗算することが挙げられる。
【００６０】
以上説明したように、上記画像信号処理装置及び方法は、ＳＤ信号の波形パターンによるクラス分類により導出したクラスに対応するｋ次多項式に基づいて信号を生成し、この信号と、ブロック化されたＳＤ信号を合成した画像信号をＨＤ信号として出力している。従って、この画像信号処理装置及び方法においては、上記ｋ次多項式の次数ｋを適当に選択することにより、入力されたＳＤ信号からＨＤ信号を得ることができる。即ち、この画像信号の処理装置及び方法は、ＳＤ信号より高解像度であり、より細かい表現ができるＨＤ信号を、ＳＤ信号から生成することができる。
【００６１】
続いて、上記パラメータテーブル３を学習により作成する学習方法の他の例について説明する。このパラメータテーブル３は、上述したように、入力されるＳＤ信号のクラス分類によるクラスと、上記ｋ次多項式を特定するパラメータとの対応関係を保持するものである。
【００６２】
このパラメータテーブル３を作成するための一連の手順は、図９に示すように、同一の対象をＳＤカメラ１１及びＨＤカメラ１４でそれぞれ撮像して得られたＳＤ信号及びＨＤ信号を第１のブロック化部１２及び第２のブロック化部１５にてそれぞれブロック化した後に、クラス分類部２１及び信号当てはめ部２２にてクラス及びパラメータをそれぞれ導出し、これらクラス及びパラメータを度数テーブル１７に記録して、この度数テーブル１７に記録された対応関係を判断部１８にて解析することにより、その解析の結果の対応表をメモリ１９に記録するものである。
【００６３】
即ち、ＳＤカメラ１１にて得られた画像信号であるＳＤ信号は、第１のブロック化部１２にて時間軸方向にブロック化される。このブロック化としては、入力する画像信号を例えば所定時間毎にブロック化することが挙げられる。この第１のブロック化部１２にてブロック化された画像信号は、クラス分類部２１にて波形パターンによりクラス分類される。このクラス分類については、上で詳述したので、ここでの説明を省略する。
【００６４】
一方、上記ＳＤカメラ１１と同一の対象を撮像するＨＤカメラ１４にて得られた画像信号であるＨＤ信号は、第２のブロック化部１５にてブロック化される。このブロック化としては、例えば、上記第１のブロック化部１２に同期してブロック化することが挙げられる。このブロック化された画像信号には、信号当てはめ部２２にていわゆるｋ次曲面フィッティングによりｋ次多項式が当てはめられ、このｋ次多項式を特定するパラメータが導出される。このパラメータとしては、例えば、上記ｋ次多項式の係数を利用することができる。
【００６５】
なお、ここではＳＤカメラ１１及びＨＤカメラ１４で同一の対象を撮像してそれぞれＳＤ信号及びＨＤ信号を得ているが、ＨＤカメラ１４にて撮像したＨＤ信号に対してローパスフィルタ又はサブサンプリングの処理を施すことにより、このＨＤ信号から同一対象物を撮像したＳＤ信号と同等の信号が得られる。
【００６６】
これらクラス分類部２１及び信号当てはめ部２２にて得られた、クラスとパラメータとの対は、度数テーブル１７に記録される。この度数テーブル１７には、例えば、上記クラスとパラメータの対が所定量蓄積されるまで記録が続けられる。
【００６７】
上記判断部１８は、上記度数テーブル１７に蓄積されたクラスとパラメータの対について解析し、この解析に基づいて判断する。例えば、上記判断部１８は、上記度数テーブル１７に記録されたクラスとパラメータとの対について統計的な処理を施し、有効な対応関係を抽出する。そして、上記クラスとパラメータとの対応関係を決定する。
【００６８】
上記メモリ１９は、上記判断部１８にて決定された上記クラスとパラメータの対応関係を記憶する。このメモリ１９に記憶された上記クラスとパラメータとの対応関係は、必要な場合に読み出されて上記パラメータテーブル３に設定される。また、このメモリ１９に記憶された上記クラスとパラメータの対応関係は、上記画像信号処理方法においても利用される。
【００６９】
以上説明したように、上記クラスとパラメータとの対応関係は、ＳＤ信号の波形パターンから導出したクラスと、上記ＳＤ信号と同一の対象を撮像したＨＤ信号から導出したｋ次多項式を特定するパラメータとから度数テーブル１７を作成することにより、学習によって得ることができる。
【００７０】
このような学習により、ＳＤ信号に対応するクラスと、ＨＤ信号に対応するパラメータの対応関係が得られ、この対応関係を利用することにより、ＳＤ信号からＨＤ信号を生成することが可能になる。
【００７１】
なお、この具体例においてはＳＤ信号からＨＤ信号への変換について説明したが、この発明はこれに限定されず、画像信号の解像度を高めて画質を向上させる用途に広く利用することができる。
【００７２】
【発明の効果】
上述したように、画像信号処理装置の一例は、入力されたＳＤ信号に当てはめたｎ次多項式を特定する第１のパラメータから、この第１のパラメータの対応する第２のパラメータの特定するｎ＋ｍ次多項式に基づいて信号を生成し、この信号と入力されたＳＤ信号とを合成することによりＨＤ信号を得ている。従って、この画像信号処理装置は、入力されたＳＤ信号から解像度の高いＨＤ信号を与えることができる。
【００７３】
また、画像信号処理方法の一例は、上記画像信号処理装置の一例と同じく入力されたＳＤ信号に当てはめたｎ次多項式を特定する第１のパラメータから、この第１のパラメータの対応する第２のパラメータの特定するｎ＋ｍ次多項式に基づいて信号を作成し、この信号と入力されたＳＤ信号とを合成することによりＨＤ信号を得ている。従って、この画像信号処理方法は、入力されたＳＤ信号から解像度の高いＨＤ信号を与えることができる。
【００７４】
さらに、画像信号処理装置の他の一例は、入力されたＳＤ信号の波形パターンのクラス分類により得たクラスと、このクラスに対応するパラメータの特定するｋ次多項式に基づいて信号を生成し、この信号と入力されたＳＤ信号とを合成することによりＨＤ信号を得ている。従って、この画像信号処理装置は、入力されたＳＤ信号から解像度の高いＨＤ信号を与えることができる。
【００７５】
そして、画像信号処理方法の他の一例は、上記画像信号処理装置の他の一例と同じく、入力されたＳＤ信号の波形パターンのクラス分類により得たクラスと、このクラスに対応するパラメータの特定するｋ次多項式に基づいて信号を生成し、この信号と入力されたＳＤ信号とを合成することによりＨＤ信号を得ている。従って、この画像信号処理方法は、入力されたＳＤ信号から解像度の高いＨＤ信号を与えることができる。
【図面の簡単な説明】
【図１】画像信号処理装置の一例の概略的な構成を示すブロック図である。
【図２】上記画像信号処理装置のパラメータテーブルを説明する図である。
【図３】画像信号処理方法の一例の一連の工程を示すブロック図である。
【図４】上記パラメータテーブルの学習方法の一例を概略的に示すブロック図である。
【図５】画像信号処理装置の他の例の概略的な構造を示すブロック図である。
【図６】適応型ダイナミックレンジ符号化（ADRA）回路の回路図である。
【図７】画像信号の画素をブロックに分割した１ブロックを示す図である。
【図８】画像信号処理方法の他の例の一連の手順を示すフローチャートである。
【図９】上記画像信号処理装置のパラメータテーブルの学習方法の他の例を概略的に示すブロック図である。
【符号の説明】
１ ブロック化部、２ 信号当てはめ部、３ パラメータテーブル、４ 信号生成部、５ 信号合成部、１７ 度数テーブル
Claims (6)
- 第１の画像信号を時間軸方向にブロック化するブロック化手段と、
このブロック化された第１の画像信号に対して第１の多項式であるｎ次多項式についてｎ次曲面フィッティングにより信号当てはめを行い、この第１の多項式であるｎ次多項式を特定する第１のパラメータを導出する信号解析手段と、
上記第１の画像信号に上記第１の多項式を当てはめることにより取得した上記第１のパラメータと、上記第１の画像信号と同一の対象についての上記第１の画像信号より解像度の高い第２の画像信号に第２の多項式であるｎ＋ｍ次多項式を（ｎ＋ｍ）次曲面フィッティングにより当てはめることにより取得した上記ｎ＋ｍ次多項式を特定する第２のパラメータとについて統計的な処理を行い対応関係を抽出することにより設定され、上記第１のパラメータに対応した上記第２のパラメータが読み出されるパラメータテーブルと、
上記第２のパラメータにて特定される、上記第２の多項式である上記ｎ＋ｍ次多項式にて信号を生成する信号生成手段と、
上記第１の画像信号と、上記信号生成手段にて生成された信号とを合成して画像信号とする信号合成手段とを有すること
を特徴とする画像信号処理装置。 - 上記第１のパラメータは、上記第１の多項式であるｎ次多項式の係数であり、上記第２のパラメータは、上記第２の多項式であるｎ＋ｍ次多項式の係数であることを特徴とする請求項１記載の画像信号処理装置。
- 上記統計処理は、上記第１の多項式であるｎ次多項式を特定する第１のパラメータと、上記第２の多項式であるｎ＋ｍ次多項式を特定する第２のパラメータとの対を度数テーブルに記録して、この度数テーブルの記録を解析することを特徴とする請求項１記載の画像信号処理装置。
- 第１の画像信号を時間軸方向にブロック化するブロック化工程と、
このブロック化された第１の画像信号に対して第１の多項式であるｎ次多項式についてｎ次曲面フィッティングにより信号当てはめを行い、この第１の多項式であるｎ次多項式を特定する第１のパラメータを導出する信号解析工程と、
上記第１の画像信号に上記第１の多項式を当てはめることにより取得した上記第１のパラメータと、上記第１の画像信号と同一の対象についての上記第１の画像信号より解像度の高い第２の画像信号に第２の多項式であるｎ＋ｍ次多項式を（ｎ＋ｍ）次曲面フィッティングにより当てはめることにより取得した上記ｎ＋ｍ次多項式を特定する第２のパラメータとについて統計的な処理を行い対応関係を抽出することにより設定されたパラメータテーブルから、上記第１のパラメータに対応した第２のパラメータを読み出す読み出し工程と、
上記第２のパラメータにて特定される、上記第２の多項式である上記ｎ＋ｍ次多項式にて信号を生成する信号生成工程と、
上記第１の画像信号と、上記信号生成工程にて生成された信号とを合成して画像信号とする信号合成工程とを有すること
を特徴とする画像信号処理方法。 - 上記第１のパラメータは、上記第１の多項式であるｎ次多項式の係数であり、上記第２のパラメータは、上記第２の多項式であるｎ＋ｍ次多項式の係数であることを特徴とする請求項４記載の画像信号処理方法。
- 上記統計処理は、上記第１の多項式であるｎ次多項式を特定する第１のパラメータと、上記第２の多項式であるｎ＋ｍ次多項式を特定する第２のパラメータとの対を度数テーブルに記録して、この度数テーブルの記録を解析することを特徴とする請求項４記載の画像信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16156997A JP3826495B2 (ja) | 1997-06-18 | 1997-06-18 | 画像信号処理装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16156997A JP3826495B2 (ja) | 1997-06-18 | 1997-06-18 | 画像信号処理装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH118837A JPH118837A (ja) | 1999-01-12 |
| JP3826495B2 true JP3826495B2 (ja) | 2006-09-27 |
Family
ID=15737615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16156997A Expired - Fee Related JP3826495B2 (ja) | 1997-06-18 | 1997-06-18 | 画像信号処理装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3826495B2 (ja) |
-
1997
- 1997-06-18 JP JP16156997A patent/JP3826495B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH118837A (ja) | 1999-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100282504B1 (ko) | 입력 화상 신호로부터 잡음 감소 화상 신호를 발생시키기 위한 장치 | |
| US6515698B1 (en) | Image recording apparatus | |
| US6614473B1 (en) | Image sensor having a margin area, located between effective pixel and optical black areas, which does not contribute to final image | |
| WO2008150017A1 (ja) | 信号処理方法および信号処理装置 | |
| US5161015A (en) | System for peaking a video signal with a control signal representative of the perceptual nature of blocks of video pixels | |
| JPH0767028A (ja) | 画像復元装置及び方法 | |
| JPH0497681A (ja) | 映像符号化復号化装置 | |
| JPH0795475A (ja) | 信号変換装置 | |
| JP5691374B2 (ja) | データ圧縮装置 | |
| US5627916A (en) | Image processing method and apparatus | |
| JPH1175181A (ja) | ディジタル画像信号の変換装置及び変換方法 | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| JP3826495B2 (ja) | 画像信号処理装置及び方法 | |
| JPH0846934A (ja) | ディジタル画像信号の処理装置 | |
| JPH08317346A (ja) | ディジタルビデオ信号変換装置及び変換方法 | |
| JP3302091B2 (ja) | 符号化装置及び符号化方法 | |
| JP2003348429A (ja) | 電子カメラ、および画像処理プログラム | |
| JPS61170876A (ja) | 映像処理装置及びそれを少なくとも２個具える映像処理システム | |
| JPH07143333A (ja) | 画像信号のａ／ｄ変換回路 | |
| US20090231345A1 (en) | Electronic image processing method and device with linked random generators | |
| JPH02141880A (ja) | 被写体分離抽出装置 | |
| US20240251172A1 (en) | Method for processing pixel data, corresponding device and program | |
| KR20060023150A (ko) | 공간 신호 변환 | |
| JP4691762B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JPH08317347A (ja) | 画像情報変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051122 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060613 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060626 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100714 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100714 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110714 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120714 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130714 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |