JP4713794B2 - Signal processing device - Google Patents
Signal processing device Download PDFInfo
- Publication number
- JP4713794B2 JP4713794B2 JP2001284034A JP2001284034A JP4713794B2 JP 4713794 B2 JP4713794 B2 JP 4713794B2 JP 2001284034 A JP2001284034 A JP 2001284034A JP 2001284034 A JP2001284034 A JP 2001284034A JP 4713794 B2 JP4713794 B2 JP 4713794B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- frequency component
- spectral sensitivity
- frequency
- component signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 101
- 230000035945 sensitivity Effects 0.000 claims description 159
- 230000003595 spectral effect Effects 0.000 claims description 159
- 238000000034 method Methods 0.000 claims description 53
- 238000000354 decomposition reaction Methods 0.000 claims description 38
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 24
- 230000002194 synthesizing effect Effects 0.000 claims description 24
- 230000015572 biosynthetic process Effects 0.000 claims description 23
- 238000003786 synthesis reaction Methods 0.000 claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000007906 compression Methods 0.000 description 35
- 230000006835 compression Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 33
- 230000000694 effects Effects 0.000 description 25
- 239000006185 dispersion Substances 0.000 description 16
- 230000006837 decompression Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 230000015556 catabolic process Effects 0.000 description 7
- 230000007423 decrease Effects 0.000 description 7
- 238000006731 degradation reaction Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000005484 gravity Effects 0.000 description 5
- 230000001629 suppression Effects 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Color Television Systems (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は信号処理装置に関し、特に、複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置に関する。
【０００２】
【従来の技術】
特開平９−２８４７９８号公報は、入力された信号を分光感度特性により周波数分解し、情報量が多い分光感度特性の高周波成分を、情報量が少ない他の分光感度特性の高周波成分の推定に用いることで高精細な信号を得る信号処理装置を開示している。
【０００３】
また、特願平１１−３１８７２９号明細書は、上記した特開平９−２８４７９８号公報に記載の技術を用いて、画像入力手段の配列がベイヤー配列をなしている入力手段により、周波数分解による高周波成分の推定を行う信号処理装置を開示している。
【０００４】
また、特願平１１−３１８７３０号明細書は、上記した特開平９−２８４７９８号公報に記載の技術を用いて、周波数分解による高周波成分の推定を行ない、更に、ＤＣＴ係数を用いて圧縮又は伸長を行う信号処理装置を開示している。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記した特開平９−２８４７９８号公報において、より高精細な信号を得る手法は単独で行われており、周波数分解による圧縮伸長と組み合わせた場合の利点については明確な開示をしていない。
【０００６】
本発明はこのような課題に着目してなされたものであり、周波数分解による圧縮伸長を行なって高周波成分が抑圧される事により画質が低下した場合であっても、周波数分解による高周波成分の推定を行うことにより、画質低下を軽減すると共に、回路の簡素化をも実現可能な信号処理装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明は、複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、信号を、その周波数成分に応じて複数に分解する第１の周波数分解手段と、情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号との間で、相関係数を演算する相関係数演算手段と、この相関係数演算手段から得られた相関係数と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号に基づいて、情報量が少ない第２番目以降の分光感度特性に関する信号の高周波成分信号を生成する高周波成分信号生成手段と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の低周波成分信号と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記第１の周波数分解手段から得られた情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、前記高周波成分信号生成手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号とを合成する第１の周波数合成手段と、前記第１の周波数合成手段から得られた信号を、その周波数成分に応じて複数に分解する第２の周波数分解手段と、前記第２の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記第２の周波数分解手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号について、高周波数域側の信号を削除する量を制御する事により高周波成分の信号量を可変する高周波成分信号量可変手段と、前記第２の周波数分解手段から得られた第１番目の分光感度特性に関する信号の低周波成分信号と、前記第２の周波数分解手段から得られた情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、前記高周波成分信号量可変手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記高周波成分信号量可変手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号を記録又は送信する信号記録／送信手段とを具備する。
【０００９】
また、第２の発明は、複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、送信又は記録された、情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、当該第１番目の分光感度特性に関する信号の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、高周波成分信号生成手段から生成された、当該第２番目以降の分光感度特性に関する信号の高周波成分信号を、再生又は受信して合成する第１の周波数合成手段と、信号を、その周波数成分に応じて複数に分解する第１の周波数分解手段と、情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号との間で、相関係数を演算する相関係数演算手段と、この相関係数演算手段から得られた相関係数と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性に関する信号の高周波成分信号を生成する高周波成分信号生成手段と、
この高周波成分信号生成手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号と、情報量の少ない第２番目以降の分光感度特性に関する信号の低周波成分信号とを合成して、第２番目以降の分光感度特性に関する信号の出力信号を生成する第２の周波数合成手段と、を具備する。
【００１１】
また、第３の発明は、第１の発明において、さらに上記複数の分光感度特性のうち、第１番目の分光感度特性に関する信号を発生する光電変換単位領域の数が、第２番目以降に関する分光感度特性に関する信号を発生する光電変換単位領域の数の複数倍存在する画像入力手段を有する。
【００１２】
また、第４の発明は、第１から第３のいずれか１つの発明において、さらに上記第１及び第２の周波数分解手段は、分布が局所的な関数を基底関数として周波数分解を行う。
【００１３】
また、第５の発明は、第１から第３のいずれか１つの発明において、さらに上記第１及び第２の周波数合成手段は、分布が局所的な関数を基底関数として周波数合成を行う。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。本実施形態の信号処理装置は、複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置である。ここでは情報量が多い第１番目の分光感度特性に関する信号としてＧ（Ｇｒｅｅｎ）信号を、情報量が少ない第２番目の分光感度特性に関する信号としてＲ（Ｒｅｄ）信号を、情報量が少ない第３番目の分光感度特性に関する信号としてＢ（Ｂｌｕｅ）信号を想定する。
【００１５】
図１は、本発明の実施形態に係る、記録又は送信系の信号処理装置の構成を示す図である。図１において、画像入力部１は、処理すべき画像信号を入力する部分である。Ｒ用バッファ３−１は入力された画像信号のうちＲ信号を記憶する。また、Ｇ用バッファ３−２は入力された画像信号のうちＧ信号を記憶する。また、Ｂ用バッファ３−３は入力された画像信号のうちＢ信号を記憶する。
【００１６】
Ｒ用周波数分解部４−１は、Ｒ信号を、その周波数成分に応じて複数（ここでは高周波成分と低周波成分）に分解する。Ｒ高域用バッファ５−１は分解したＲ信号の高周波成分信号を記憶する部分であり、Ｒ低域用バッファ５−２は分解したＲ信号の低周波成分信号を記憶する部分である。
【００１７】
また、Ｇ用周波数分解部４−２は、Ｇ信号を、その周波数成分に応じて複数（ここでは高周波成分と低周波成分）に分解する。Ｇ高域用バッファ５−３は分解したＧ信号の高周波成分信号を記憶する部分であり、Ｇ低域用バッファ５−４は分解したＧ信号の低周波成分信号を記憶する部分である。
【００１８】
また、Ｂ用周波数分解部４−３は、Ｂ信号を、その周波数成分に応じて複数（ここでは高周波成分と低周波成分）に分解する。Ｂ高域用バッファ５−５は分解したＢ信号の高周波成分信号を記憶する部分であり、Ｂ低域用バッファ５−６は分解したＢ信号の低周波成分信号を記憶する部分である。
【００１９】
Ｇ、Ｒ用相関係数演算部６−１は、Ｒ低域用バッファ５−２からのＲ信号の低周波成分信号と、Ｇ低域用バッファ５−４からのＧ信号の低周波成分信号との間で、相関係数を演算する。
【００２０】
同様に、Ｇ、Ｂ用相関係数演算部６−２は、Ｇ低域用バッファ５−４からのＧ信号の低周波成分信号と、Ｂ低域用バッファ５−６からのＢ信号の低周波成分信号との間で、相関係数を演算する。
【００２１】
Ｒ用高周波成分信号生成部７−１は、Ｇ、Ｒ用相関係数演算部６−１からの相関係数と、Ｇ高域用バッファ５−３からのＧ信号の高周波成分信号とに基いて、Ｒ用高周波成分信号を生成する。
【００２２】
同様にして、Ｂ用高周波成分信号生成部７−４は、Ｇ、Ｂ用相関係数演算部６−２からの相関係数と、Ｇ高域用バッファ５−３からのＧ信号の高周波成分信号とに基いて、Ｂ用高周波成分信号を生成する。
【００２３】
また、Ｇ、Ｒ用高周波信号比較部７−２は、Ｒ高域用バッファ５−１からのＲ信号の高周波成分信号と、Ｇ高域用バッファ５−３からのＧ信号の高周波成分信号とを比較する。
【００２４】
同様に、Ｇ、Ｂ用高周波信号比較部７−３は、Ｂ高域用バッファ５−５からのＢ信号の高周波成分信号と、Ｇ高域用バッファ５−３からのＧ信号の高周波成分信号とを比較する。
【００２５】
Ｒ用高周波成分信号切り替え部８−１は、Ｇ、Ｒ用高周波信号比較部７−２での比較結果に基いて、Ｒ高域用バッファ５−１からのＲ信号の高周波成分信号と、Ｒ用高周波成分信号生成部７−１からのＲ用高周波成分信号とを切り替えて出力する。
【００２６】
同様にして、Ｂ用高周波成分信号切り替え部８−２は、Ｇ、Ｂ用高周波信号比較部７−３での比較結果に基いて、Ｂ高域用バッファ５−５からのＢ信号の高周波成分信号と、Ｂ用高周波成分信号生成部７−４からのＢ用高周波成分信号とを切り替えて出力する。
【００２７】
信号圧縮部９は、Ｒ低域用バッファ５−２からのＲ信号の低周波成分信号と、Ｒ用高周波成分信号切り替え部８−１からの高周波成分信号と、Ｇ高域用バッファ５−３からのＧ信号の高周波成分信号と、Ｇ低域用バッファ５−４からのＧ信号の低周波成分信号と、Ｂ用高周波成分信号切り替え部８−２からの高周波成分信号と、Ｂ低域用バッファ５−６からのＢ信号の低周波成分信号に対して圧縮処理を施す。
【００２８】
記録又は送信部９は、圧縮された、Ｒ低域用バッファ５−２からのＲ信号の低周波成分信号と、Ｒ用高周波成分信号切り替え部８−１からの高周波成分信号と、Ｇ高域用バッファ５−３からのＧ信号の高周波成分信号と、Ｇ低域用バッファ５−４からのＧ信号の低周波成分信号と、Ｂ用高周波成分信号切り替え部８−２からの高周波成分信号と、Ｂ低域用バッファ５−６からのＢ信号の低周波成分信号とを記録あるいは送信する。
【００２９】
制御部２は上記した各部の動作を制御する部分であり、後述する補間、ブロック分割、ブロック制御を行なう。
【００３０】
なお、上記した画像入力部１は、Ｇ信号を発生する光電変換単位領域の数が、ＲまたはＢ信号を発生する光電変換単位領域の数の複数倍存在するものとする。さらに、画像入力部１の色フィルターの配列は図７に示すようなベイヤー配列をなしている。図７において、Ｒ（Ｒｅｄ）信号は輝度成分より色度成分を多く含み、所定領域の画素数が２番目に多い。Ｇ（Ｇｒｅｅｎ）信号は輝度成分を最も多く含み、所定領域の画素数が１番多い。Ｂ（Ｂｌｕｅ）信号は輝度成分より色度成分を多く含み、所定領域の画素数が２番目に多い。
【００３１】
図２は、本発明の実施形態に係る、再生又は受信系の信号処理装置の構成を示す図である。再生又は受信部１１は、Ｇ信号の低周波成分信号と、Ｇ信号の高周波成分信号と、ＢあるいはＲ信号の低周波成分信号と、Ｒ又はＢ用高周波成分信号切り替え部８−１，８−２からの高周波成分信号を再生又は受信する。
【００３２】
Ｒ高域用バッファ１３−１は、再生又は受信された信号のうち、Ｒ信号の高周波成分信号を記憶する部分である。Ｒ低域用バッファ１３−２は再生又は受信された信号のうち、Ｒ信号の低周波成分信号を記憶する部分である。
【００３３】
Ｇ高域用バッファ１３−３は、再生又は受信された信号のうち、Ｇ信号の高周波成分信号を記憶する部分である。Ｇ低域用バッファ１３−４は再生又は受信された信号のうち、Ｇ信号の低周波成分信号を記憶する部分である。
【００３４】
Ｂ高域用バッファ１３−５は、再生又は受信された信号のうち、Ｂ信号の高周波成分信号を記憶する部分である。Ｂ低域用バッファ１３−６は再生又は受信された信号のうち、Ｂ信号の低周波成分信号を記憶する部分である。
【００３５】
Ｇ、Ｒ用相関係数演算部１４−１は、Ｒ低域用バッファ１３−２からのＲ信号の低周波成分信号と、Ｇ低域用バッファ１３−４からのＧ信号の低周波成分信号との間で、相関係数を演算する。
【００３６】
同様にして、Ｇ、Ｂ用相関係数演算部１４−２は、Ｂ低域用バッファ１３−６からのＢ信号の低周波成分信号と、Ｇ低域用バッファ１３−４からのＧ信号の低周波成分信号との間で、相関係数を演算する。
【００３７】
Ｒ用高周波成分信号生成部１７−１は、Ｇ、Ｒ用相関係数演算部１４−１からの相関係数と、Ｇ高域用バッファ１３−３からのＧ信号の高周波成分信号に基いて、Ｒ用高周波成分信号を生成する。
【００３８】
Ｂ用高周波成分信号生成部１７−４は、Ｇ、Ｂ用相関係数演算部１４−２からの相関係数と、Ｇ高域用バッファ１３−３からのＧ信号の高周波成分信号に基いて、Ｂ用高周波成分信号を生成する。
【００３９】
Ｇ、Ｒ用高周波信号比較部１７−２は、Ｒ高域用バッファ１３−１からのＲ信号の高周波成分信号と、Ｇ高域用バッファ１３−３からのＧ信号の高周波成分信号とを比較する。
【００４０】
同様にして、Ｇ、Ｂ用高周波信号比較部１７−３は、Ｂ高域用バッファ１３−５からのＢ信号の高周波成分信号と、Ｇ高域用バッファ１３−３からのＧ信号の高周波成分信号とを比較する。
【００４１】
Ｒ用高周波成分信号切り替え部１８−１は、Ｇ、Ｒ用高周波信号比較部１７−２からの比較結果に基いて、Ｒ高域用バッファ１３−１からのＲ信号の高周波成分信号と、Ｒ用高周波成分信号生成部１７−１からのＲ信号高周波成分信号とを切り替えて出力する。
【００４２】
同様にして、Ｂ用高周波成分信号切り替え部１８−２は、Ｇ、Ｂ用高周波信号比較部１７−３からの比較結果に基いて、Ｂ高域用バッファ１３−５からのＢ信号の高周波成分信号と、Ｂ用高周波成分信号生成部１７−４からのＢ信号高周波成分信号とを切り替えて出力する。
【００４３】
Ｒ用周波数合成部１９−１は、Ｒ低域用バッファ１３−２からのＲ信号の低周波成分信号と、Ｒ用高周波成分信号切り替え部１８−１からの高周波信号とを合成して、Ｒ信号の出力信号を生成する。
【００４４】
同様にして、Ｇ用周波数合成部１９−２は、Ｇ高域用バッファ１３−３からのＧ信号の高周波成分信号と、Ｇ低域用バッファ１３−４からのＧ信号の低周波成分信号とを合成して、Ｇ信号の出力信号を生成する。
【００４５】
同様にして、Ｂ用周波数合成部１９−３は、Ｂ低域用バッファ１３−６からのＢ信号の低周波成分信号と、Ｂ用高周波成分信号切り替え部１８−２からの高周波信号とを合成して、Ｂ信号の出力信号を生成する。
【００４６】
画像出力部２０は、Ｒ、Ｇ、Ｂの出力信号を画像信号として出力する。
【００４７】
制御部１２は上記した各部の動作を制御する部分であり、ブロック制御を行なう。
【００４８】
図３は、信号記録時に、周波数分解による圧縮記録と、周波数分解による高周波信号成分生成とを個別に行なう場合の動作フローの詳細を説明するための図であり、ステップＳ１〜Ｓ８−２では周波数分解による高周波成分信号生成に関する処理を行ない、ステップＳ９−１〜Ｓ１３では周波数分解による圧縮記録に関する処理を行なう。（）内の信号の種類（Ｒ、Ｇ、Ｂ）は、理解を容易にするために代表例を示しており、それ以外には、「Ｃｒ、Ｙ、Ｃｂ」や「Ｐｒ、Ｙ、Ｐｂ」等の組合わせが考えられる。
【００４９】
ステップＳ１で入力された画像に対してＲ、Ｇ、Ｂ信号ごとの補間処理を行なう（ステップＳ２−１、Ｓ２−２、Ｓ２−３）。
【００５０】
図８はこの補間処理について説明するための図である。図８の（Ａ）は、Ｒ、Ｇ、Ｂ全画素についてのベイヤー配列を示している。図８の（Ｂ）は、補間前のＧ画素についてのベイヤー配列を示している。この場合、Ｇ信号の重心は２×２画素の中心（黒丸で示す部分）となる。また、図８の（Ｃ）は、補間前のＲ画素についてのベイヤー配列を示している。この場合、Ｒ信号の重心は各画素の中心（黒丸で示す部分）となる。図８の（Ｄ）は、補間前のＢ画素についてのベイヤー配列を示している。この場合、Ｂ信号の重心は、Ｒ信号の場合と同様に各画素の中心（黒丸で示す部分）となる。
【００５１】
このため、Ｇ信号の重心と、Ｒ又はＢ信号の重心との間で水平及び垂直方向に０．５画素のずれが生じ、これが原因となって方向性のある偽色が発生する。
【００５２】
そこで本実施形態では、Ｒ、Ｇ、Ｂの各信号について画素補間を行ない、補間後の２×２画素の重心は、Ｒ、Ｇ、Ｂ信号のどれもが２×２画素の中心になるようにしている（図８の（Ｂ’）、（Ｃ’）、（Ｄ’）。このような補間処理によれば、Ｒ、Ｇ、Ｂそれぞれの間で重心が異なることによる偽色は発生しない。
【００５３】
図３に戻って、次にステップＳ３−１、Ｓ３−２、Ｓ３−３ではＲ、Ｇ、Ｂそれぞれについて第１のブロック分割処理を行なう。以下に説明する第１のブロック分割処理の方法は、後述する第２以降のブロック分割処理にも適用される。
【００５４】
図９はこの第１のブロック分割処理について説明するための図である。このブロック分割処理では、図９の（Ａ）に示すような１画像をｍ×ｎ個の複数のブロックに分割して、分割した各ブロック毎に各色の高域情報の推定を行なう。以下、これについて詳細に説明する。図９の（Ｂ）は処理される１つの原画像を示している。この画像は、図９の（Ｃ）に示すような、高輝度画素だけからなる２×２画素のブロック（低周波成分）と、図９の（Ｄ）に示すような、低輝度画素だけからなる２×２画素のブロック（低周波成分）と、図９の（Ｅ）に示すような、高輝度画素と低輝度画素からなる２×２画素のブロック（高周波成分）とで構成されている。図９の（Ｂ）の画像では、最も右下のブロックが高周波成分であり、ここでは、（高輝度値−低輝度値）の絶対値＝Ｖpreであるとする。
【００５５】
このように、画像の一部にしか高周波成分が含まれていない場合において、複数ブロックに分割しないで処理を行なった場合には、画像全体における相関係数（高周波成分／低周波成分）が低いために、高周波成分は処理後に減少する。図９の（Ｆ）はこの処理後の画像を示しており、その最も右下のブロック部分に、図９の（Ｇ）に示すような、輝度値が低下した高輝度画素と輝度値が上昇した低輝度画素からなるブロックが発生する。このブロックでは（高輝度値−低輝度値）の絶対値＜Ｖpreとなるので、画像が不明瞭になってしまう。
【００５６】
そこで本実施形態では、図９の（Ｂ）に示す原画像を複数のブロック（１ブロック＝２×２画素）に分割した上で処理を行なうようにする。図９の（Ｈ）は処理後の画像を示している。複数のブロックに分割すると、最も右下のブロックでの相関係数（高周波成分／低周波成分）は高いため、高周波成分は処理後でも減少しない。すなわち、（高輝度値−低輝度値）の絶対値＝Ｖpreが成り立つ。
【００５７】
図１０は上記したブロック分割処理の変形例を説明するための図である。この変形例では上記したブロック分割処理において、図１０の（Ａ）で示されるような全画面の範囲にわたって、高周波成分信号生成部で処理されるブロック単位と、信号記録または送信処理あるいは信号再生または受信処理で処理されるブロック単位を同一単位とすることを特徴としている。
【００５８】
図３に戻って、ステップＳ４−１、Ｓ４−２、Ｓ４−３ではＲ、Ｇ、Ｂ信号それぞれについて第１の周波数分解処理により、低周波成分信号と高周波成分信号とに分解する。以下に説明する第１の周波数分解処理の方法は、後述する第２以降の周波数分解処理にも適用される。
【００５９】
図１１は、この第１の周波数分解処理の一例を説明するための図である。図１１の（Ａ）に示すようなグリーン画素を補間した画素配列のブロックにおいて、局所的関数を基底関数（ここではＨａｒｒ関数）としたウェーブレット変換による周波数域分解を行なう。Ｈａｒｒ関数を用いているので垂直方向の局所的関数は図１１の（Ｂ）に示すようなＬＰＦ（ローパスフィルタ）とＨＰＦ（ハイパスフィルタ）とが適用され、水平方向の局所的関数は図１１の（Ｃ）に示すようなＬＰＦ（ローパスフィルタ）とＨＰＦ（ハイパスフィルタ）とが適用される。また、このときのウェーブレット変換においては、例えば以下の演算式が用いられる。
【００６０】
ＧLL＝｛（ＧUL＋ＧUR）＋（ＧDL＋ＧDR）｝／４
ＧHL＝｛（ＧUL−ＧUR）＋（ＧDL−ＧDR）｝／４
ＧLH＝｛（ＧUL＋ＧUR）−（ＧDL＋ＧDR）｝／４
ＧHH＝｛（ＧUL−ＧUR）−（ＧDL−ＧDR）｝／４
上記ウェーブレット変換により、周波数分解されたＧ画素の４つの成分、ＧLL、ＧHL、ＧLH、ＧHHが得られる（図１１の（Ｄ））。
【００６１】
図３に戻って、次に、ステップＳ４−１で得られたＲ信号の低周波成分信号と、ステップＳ４−２で得られたＧ信号の低周波成分信号との間で相関係数を演算する（ステップＳ５−１）。同様にして、ステップＳ４−３で得られたＢ信号の低周波成分信号と、ステップＳ４−２で得られたＧ信号の低周波成分信号との間で相関係数を演算する（ステップＳ５−２）。
【００６２】
次に、ステップＳ４−１で得られたＲ信号の高周波成分信号と、ステップＳ４−２で得られたＧ信号の高周波成分信号とを比較する（ステップＳ６−１）。同様にして、ステップＳ４−３で得られたＢ信号の高周波成分信号と、ステップＳ４−２で得られたＧ信号の高周波成分信号とを比較する（ステップＳ６−２）。
【００６３】
次に、ステップＳ５−１で得られた相関係数と、ステップＳ４−２で得られたＧ信号の高周波成分信号とに基いて、Ｒ信号の高周波成分信号を生成する（ステップＳ７−１）。同様にして、ステップＳ５−２で得られた相関係数と、ステップＳ４−２で得られたＧ信号の高周波成分信号とに基いて、Ｂ信号の高周波成分信号を生成する（ステップＳ７−２）。
【００６４】
次に、ステップＳ６−１での比較結果に基いて、ステップＳ７−１で得られたＲ信号の高周波成分信号と、ステップＳ４−１で得られたＲ信号の高周波成分信号とを切り替えて出力する（ステップＳ８−１）。同様にして、ステップＳ６−２での比較結果に基いて、ステップＳ７−２で得られたＢ信号の高周波成分信号と、ステップＳ４−３で得られたＢ信号の高周波成分信号とを切り替えて出力する（ステップＳ８−２）。
【００６５】
図１２は上記した高周波成分信号の切替え処理の第１の実施形態を説明するための図である。この実施形態では、Ｇ信号の高周波成分信号とＲ信号またはＢ信号の高周波成分信号とを比較し、その差がしきい値よりも小さい場合には周波数分解処理の出力を選択し、大きい場合には高周波成分信号生成処理の出力を選択する。
【００６６】
図１３は上記した高周波成分信号の切替え処理の第２の実施形態を説明するための図である。この実施形態では、Ｇ信号の高周波成分信号の振幅の分散値とＲ信号またはＢ信号の高周波成分信号の振幅の分散値とを比較し、その差がしきい値よりも小さい場合には周波数分解処理の出力を選択し、大きい場合には高周波成分信号生成処理の出力を選択する。
【００６７】
図１４は上記した振幅の分散の演算方法の一例を説明するための図である。図１４に示すような画素がベイヤー配列をなしている場合、分光感度特性に関する信号ごとに分散を求めることを考えると、Ｒ、Ｇ、Ｂ各色の信号振幅の分散は（ｐΣ（ｘ2）−（Σｘ）2）／（ｐ2）により求めることができる。但し、ｐ＝対象色の総画素数、ｘ＝対象画素値、である。
【００６８】
図１５は上記した高周波成分信号の切替え処理の第３の実施形態を説明するための図である。この実施形態では、Ｇ信号の高周波成分信号の振幅の（最大値−最小値）の絶対値と、Ｒ信号またはＢ信号の高周波成分信号の振幅の（最大値−最小値）の絶対値とを比較し、その差がしきい値よりも小さい場合には周波数分解処理の出力を選択し、大きい場合には高周波成分信号生成処理の出力を選択する。
【００６９】
図１６は上記した高周波成分信号の切替え処理の第４の実施形態を説明するための図である。この実施形態では、Ｇ信号の高周波成分信号の振幅の分散値としきい値とを比較し、分散値がしきい値よりも小さい場合には周波数分解処理の出力を選択し、大きい場合には高周波成分信号生成処理の出力を選択する。
【００７０】
図１７は上記した高周波成分信号の切替え処理の第５の実施形態を説明するための図である。この実施形態では、Ｇ信号の高周波成分信号の振幅の（最大値−最小値）の絶対値としきい値とを比較し、（最大値ー最小値）の絶対値がしきい値よりも小さい場合には周波数分解処理の出力を選択し、大きい場合には高周波成分信号生成処理の出力を選択する。
【００７１】
図３に戻って、次に、ステップＳ４−１で得られたＲ信号の低周波成分信号と、ステップＳ８−１で選択されたＲ信号の高周波成分信号に対して第１の周波数合成処理を行なう（ステップＳ９−１）。また、ステップＳ４−２で得られたＧ信号の低周波成分信号とＧ信号の高周波成分信号に対して第１の周波数合成を行なう（ステップＳ９−２）。さらに、ステップＳ４−３で得られたＢ信号の低周波成分信号と、ステップＳ８−２で選択されたＢ信号の高周波成分信号に対して第１の周波数合成を行なう（ステップＳ９−３）。
【００７２】
ここでの周波数合成処理では、上記周波数分解処理と同様に、分布が局所的な関数を基底関数として周波数合成を行なう（例えばウェーブレット変換）。この周波数合成処理は後述する第２以降の周波数合成処理にも適用される。
【００７３】
図３に戻って、次に、ステップＳ９−１で周波数合成されたＲ信号、ステップＳ９−２で周波数合成されたＧ信号、ステップＳ９−３で周波数合成されたＢ信号各々に対して第２のブロック分割処理を行なう（ステップＳ１０−１、Ｓ１０−２、Ｓ１０−３）。
【００７４】
次に、ステップＳ１０−１でブロック分割されたＲ信号に対して第２の周波数分解処理を行なうことにより、低周波成分信号と高周波成分信号に周波数分解する（ステップＳ１１−１）。同様にして、ステップＳ１０−２でブロック分割されたＧ信号に対して第２の周波数分解処理を行なうことにより、低周波成分信号と高周波成分信号に周波数分解する（ステップＳ１１−２）。同様にして、ステップＳ１０−３でブロック分割されたＢ信号に対して第２の周波数分解処理を行なうことにより、低周波成分信号と高周波成分信号に周波数分解する（ステップＳ１１−３）。
【００７５】
次に、ステップＳ１１−１、Ｓ１１−２、Ｓ１１−３での第２の周波数分解処理により得られたＲ、Ｇ、Ｂの各信号の高周波成分信号の量を、高周波数域側の信号を削除する量を制御することにより、可変する処理を行なう（ステップＳ１２−１、Ｓ１２−２、Ｓ１２−３）。
【００７６】
次に、ステップＳ１１−１で得られたＲ信号の低周波成分信号と、ステップＳ１２−１で可変されたＲ信号の高周波成分信号と、ステップＳ１１−２で得られたＧ信号の低周波成分信号と、ステップＳ１２−２で可変されたＧ信号の高周波成分信号と、ステップＳ１１−３で得られたＢ信号の低周波成分信号と、ステップＳ１２−３で可変されたＢ信号の高周波成分信号とを記録又は送信する（ステップＳ１３）。
【００７７】
図４は、図３に示す動作フローの変形例を示す図である。この変形例では図４における周波数合成処理（ステップＳ９−１、Ｓ９−２、Ｓ９−３）、第２のブロック分割処理（ステップＳ１０−１、Ｓ１０−２、Ｓ１０−３）、第２の周波数分解処理（ステップＳ１１−１、Ｓ１１−２、Ｓ１１−３）が省略されている。したがって、ステップＳ４−１で得られたＲ信号の低周波成分信号と、ステップＳ４−２で得られたＧ信号の低周波成分信号と、ステップＳ４−３で得られたＢ信号の低周波成分信号とはそのまま記録又は送信（ステップＳ１３）される。
【００７８】
また、ステップＳ８−１で選択されたＲ信号の高周波信号と、ステップＳ４−２で得られたＧ信号の高周波成分信号と、ステップＳ８−２で選択されたＢ信号の高周波信号に対して高周波成分信号量可変処理（ステップＳ１２−１、Ｓ１２−２、Ｓ１２−３）がなされる。
【００７９】
図５は、信号再生時に、周波数分解による再生と、周波数分解による高周波信号成分生成とを個別に行なう場合の動作フローの詳細を説明するための図であり、ステップＳ２１〜Ｓ２３−３では周波数合成による伸長再生に関する処理を行ない、ステップＳ２４−１〜Ｓ３１では周波数分解による高周波成分信号生成に関する処理を行なう。
【００８０】
まず、記録又は送信された、Ｇ信号の低周波成分信号及び高周波成分信号と、Ｒ又はＢ信号の低周波成分信号と、高周波成分信号生成部で生成された、Ｒ又はＢ信号の高周波成分信号を再生又は受信し（ステップＳ２１）、Ｒ、Ｇ、Ｂ信号の各々の高周波成分信号と低周波成分信号とに対して第３のブロック分割を行なう（ステップＳ２２−１、Ｓ２２−２、Ｓ２２−３）。
【００８１】
次に、Ｒ、Ｇ、Ｂ信号の各々の高周波成分信号と低周波成分信号とに対して第２の周波数合成処理を行なう（ステップＳ２３−１、Ｓ２３−２、Ｓ２３−３）。次に、Ｒ、Ｇ、Ｂ信号の各々に対して第４のブロック分割処理を行なう（ステップＳ２４−１、Ｓ２４−２、Ｓ２４−３）。ブロック分割処理が施されたＲ、Ｇ、Ｂ信号の各々に対して第３の周波数分解処理が行なわれてＲ、Ｇ、Ｂ信号の各々について高周波成分信号と低周波成分信号とを取得する（ステップＳ２５−１、Ｓ２５−２、Ｓ２５−３）。
【００８２】
次に、ステップＳ２５−１で得られたＲ信号の低周波成分信号と、ステップＳ２５−２で得られたＧ信号の低周波成分信号との間で相関係数を演算する（ステップＳ２６−１）。同様にして、ステップＳ２５−３で得られたＢ信号の低周波成分信号と、ステップＳ２５−２で得られたＧ信号の低周波成分信号との間で相関係数を演算する（ステップＳ２６−２）。
【００８３】
次に、ステップＳ２５−１で得られたＲ信号の高周波成分信号と、ステップＳ２５−２で得られたＧ信号の高周波成分信号とを比較する（ステップＳ２７−１）。同様にして、ステップＳ２５−３で得られたＢ信号の高周波成分信号と、ステップＳ２５−２で得られたＧ信号の高周波成分信号とを比較する（ステップＳ２７−２）。
【００８４】
次に、ステップＳ２６−１で得られた相関係数と、ステップＳ２５−２で得られたＧ信号の高周波成分信号とに基いて、Ｒ信号の高周波成分信号を生成する（ステップＳ２８−１）。同様にして、ステップＳ２６−２で得られた相関係数と、ステップＳ２５−２で得られたＧ信号の高周波成分信号とに基いて、Ｂ信号の高周波成分信号を生成する（ステップＳ２８−２）。
【００８５】
次に、ステップＳ２７−１での比較結果に基いて、ステップＳ２８−１で得られたＲ信号の高周波成分信号と、ステップＳ２５−１で得られたＲ信号の高周波成分信号とを切り替えて出力する（ステップＳ２９−１）。同様にして、ステップＳ２７−２での比較結果に基いて、ステップＳ２８−２で得られたＢ信号の高周波成分信号と、ステップＳ２５−３で得られたＢ信号の高周波成分信号とを切り替えて出力する（ステップＳ２９−２）。
【００８６】
次にステップＳ２５−１で得られたＲ信号の低周波成分信号と、ステップＳ２９−１で選択されたＲ信号の高周波信号に対して第３の周波数合成を行なう（ステップＳ３０−１）。また、ステップＳ２５−２で得られたＧ信号の低周波成分信号と高周波成分信号に対して第３の周波数合成を行なう（ステップＳ３０−２）。さらに、ステップＳ２５−３で得られたＢ信号の低周波成分信号と、ステップＳ２９−２で選択されたＢ信号の高周波信号とに対して第３の周波数合成を行なう（ステップＳ３０−３）。
【００８７】
最後に周波数合成されたＲ、Ｇ、Ｂの信号を画像として出力する（ステップＳ３１）。
【００８８】
図６は、図５に示す動作フローの変形例を示す図である。この変形例では図５における第２の周波数合成処理（ステップＳ２３−１、Ｓ２３−２、Ｓ２３−３）、第４のブロック分割処理（ステップＳ２４−１、Ｓ２４−２、Ｓ２４−３）、第３の周波数分解処理（ステップＳ２５−１、Ｓ２５−２、Ｓ２５−３）が省略されている。したがって、ステップＳ２２−１、Ｓ２２−２、Ｓ２２−３で得られたＲ、Ｇ、Ｂの各色信号に対するブロック分割出力はステップＳ２６−１以降の処理にそのまま使用される。
【００８９】
なお、図３に示す信号記録時における動作フローと、図５に示す信号再生時における動作フローを組み合わせて用いることが可能である。
【００９０】
また、図４に示す信号記録時における動作フローと、図６に示す信号再生時における動作フローを組み合わせて用いることが可能である。
【００９１】
さらには、図３に示す信号記録時における動作フローと、図６に示す信号再生時における動作フローの組み合わせ、図４に示す信号記録時における動作フローと、図５に示す信号再生時における動作フローの組み合わせも可能である。
【００９２】
（付記）
上記した具体的な実施形態から以下のような構成の発明を抽出することが可能である。
【００９３】
（１）複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
信号を、その周波数成分に応じて複数に分解する第１の周波数分解手段と、
情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号との間で、相関係数を演算する相関係数演算手段と、
この相関係数演算手段から得られた相関係数と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号に基づいて、情報量が少ない第２番目以降の分光感度特性に関する信号の高周波成分信号を生成する高周波成分信号生成手段と、
前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の低周波成分信号と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記第１の周波数分解手段から得られた情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、前記高周波成分信号生成手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号とを合成する第１の周波数合成手段と、
前記第１の周波数合成手段から得られた信号を、その周波数成分に応じて複数に分解する第２の周波数分解手段と、
前記第２の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記第２の周波数分解手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号について、高周波数域側の信号を削除する量を制御する事により高周波成分の信号量を可変する高周波成分信号量可変手段と、
前記第２の周波数分解手段から得られた第１番目の分光感度特性に関する信号の低周波成分信号と、前記第２の周波数分解手段から得られた情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、前記高周波成分信号量可変手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記高周波成分信号量可変手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号を記録又は送信する信号記録／送信手段と、
を具備することを特徴とする信号処理装置。
【００９４】
（従来の問題点）
信号記録又は送信時に「周波数分解手段を用いた信号圧縮」だけを行った場合、高周波成分が抑圧されている事により、画質が低下する（信号圧縮により、圧縮画像の細かい箇所が不鮮明になる）。
【００９５】
（効果）
信号記録又は送信時に「周波数分解手段を用いて高周波成分を抑圧する信号圧縮」と共に、「周波数分解手段を用いた高周波成分信号生成」を行うことにより、信号圧縮時に発生する、高周波成分の量の低下による画質低下を低減することが可能になる（信号圧縮前の操作により、圧縮後画像の細かい箇所が不鮮明になる度合いを軽減することができる）。
【００９６】
（１．１）複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
信号を、その周波数成分に応じて複数に分解する第１の周波数分解手段と、
情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号との間で、相関係数を演算する相関係数演算手段と、
この相関係数演算手段から得られた相関係数と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性に関する信号の高周波成分信号を生成する高周波成分信号生成手段と、
前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記第１の周波数分解手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号について、高周波数域側の信号を削除する量を制御する事により高周波成分の信号量を可変する高周波成分信号量可変手段と、
前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の低周波成分信号と、前記第１の周波数分解手段から得られた情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、前記高周波成分信号量可変手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記高周波成分信号量可変手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号を記録又は送信する信号記録／送信手段と、
を具備することを特徴とする信号処理装置。
【００９７】
（従来の問題点）
（１）と同様。
【００９８】
（効果）
（１）の構成と比較して、回路規模が削減可能か、又は短いシーケンスで、同一の処理内容が実現可能である（装置の小型化、又は処理の高速化が可能となる）。
【００９９】
（２）複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
送信又は記録された、情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、当該第１番目の分光感度特性に関する信号の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、高周波成分信号生成手段から生成された、当該第２番目以降の分光感度特性に関する信号の高周波成分信号を、再生又は受信して合成する第１の周波数合成手段と、
信号を、その周波数成分に応じて複数に分解する第１の周波数分解手段と、
情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号との間で、相関係数を演算する相関係数演算手段と、
この相関係数演算手段から得られた相関係数と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性に関する信号の高周波成分信号を生成する高周波成分信号生成手段と、
この高周波成分信号生成手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号と、情報量の少ない第２番目以降の分光感度特性に関する信号の低周波成分信号とを合成して、第２番目以降の分光感度特性に関する信号の出力信号を生成する第２の周波数合成手段と、
を具備することを特徴とする信号処理装置。
【０１００】
（従来の問題点）
記録時に「周波数分解手段を用いて高周波成分を抑圧する信号圧縮」を行い、高周波成分信号が抑圧されている記録信号に対して、信号再生又は受信時に「周波数合成手段を用いた信号伸長」だけを行った場合、高周波成分が抑圧されている事により、画質が低下する（事前に信号圧縮が行われていた場合、伸長画像の細かい箇所が不鮮明になる）。
【０１０１】
（効果）
信号再生又は受信時に「周波数合成手段を用いた信号伸長」と共に、「周波数分解手段を用いた高周波成分信号生成」を行うことにより、信号圧縮記録時に発生した高周波成分の量の低下による画質低下を、信号伸長時に低減することが可能になる（事前に信号圧縮が行われていた場合、信号伸長後の操作により、伸長後画像の細かい箇所が不鮮明になる度合いを軽減することができる）。
【０１０２】
（２．１）複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
記録又は再生された、情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、第１番目の分光感度特性に関する信号の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、高周波成分信号生成手段から得られた、第２番目以降の分光感度特性に関する信号の高周波成分信号を再生または受信する信号再生／受信手段と、
前記信号再生／受信手段から出力される信号のうち、情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号との間で、相関係数を演算する相関係数演算手段と、
この相関係数演算手段から得られた相関係数と、前記信号再生／受信手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性に関する信号の高周波成分信号を生成する高周波成分信号生成手段と、
この高周波成分信号生成手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号と、第２番目以降の分光感度特性に関する信号の低周波成分信号とを合成して、第２番目以降の分光感度特性に関する信号の出力信号を生成する第１の周波数合成手段と、
を具備することを特徴とする信号処理装置。
【０１０３】
（従来の問題点）
２．と同様
（効果）
（２）の構成と比較して、回路規模が削減可能か、又は短いシーケンスで、同一の処理内容が実現可能である（装置の小型化、又は処理の高速化が可能になる）。
【０１０４】
（３）上記した（１）の構成と（２）の構成とを組合わせたことを特徴とする信号処理装置。
【０１０５】
（従来の問題点）
「周波数分解手段を用いて高周波成分を抑圧する信号圧縮伸長」を行なった場合、高周波成分が抑圧されていることにより、画質が低下する（圧縮画像と伸長画像の細かい箇所が不鮮明になる）。
【０１０６】
（効果）
「周波数分解手段を用いて高周波成分を抑圧する信号圧縮伸長」と共に、「周波数分解手段を用いた高周波成分信号生成」を行なうことにより、伸長後の信号において高周波成分の量の低下が軽減され、画質低下を軽減することが可能である（信号圧縮前又は伸長後の操作により、圧縮後画像の細かい箇所が不鮮明になる度合いが軽減される）。
【０１０７】
（３．１）上記した（１．１）の構成と（２．１）の構成とを組合わせたことを特徴とする信号処理装置。
【０１０８】
（従来の問題点）
（１）、（２）と同様。
【０１０９】
（効果）
（３）の構成と比較して、回路規模が削減可能か、又は短いシーケンスで、同一の処理内容が実現可能である（装置の小型化、又は処理の高速化が可能になる）。
【０１１０】
（４）さらに上記複数の分光感度特性のうち、第１番目の分光感度特性に関する信号を発生する光電変換単位領域の数が、第２番目以降に関する分光感度特性に関する信号を発生する光電変換単位領域の数の複数倍存在する画像入力手段を有することを特徴とする（１）、（１．１）、（３）、（３．１）のいずれか１つに記載の信号処理装置。
【０１１１】
（従来の問題点）
「画像入力手段」を持った撮影装置において、「周波数分解手段を用いて高周波成分を抑圧する信号圧縮伸長」を行った場合、高周波成分が抑圧されている事により、画質が低下する（圧縮画像と伸長画像の細かい箇所が不鮮明になる）。
【０１１２】
（効果）
「画像入力手段」を持った撮影装置において、「周波数分解手段を用いて高周波成分を抑圧する信号圧縮伸長」を行った場合にでも、高周波成分の抑圧を低減する事により、画質の低下を低減可能である。従って圧縮画像において、より高画素な画像入力手段を用いることにより撮影した画像に近い画質を得ることが可能である（圧縮画像と伸長画像の細かい箇所が不鮮明になる度合いが低減される）。
【０１１３】
（５）さらに上記画像入力手段の色フィルターの配列が、ベイヤー配列をなしていることを特徴とする（４）に記載の信号処理装置。
【０１１４】
（従来の問題点）
「ベイヤー配列の色フィルターを持つ画像入力手段」を持った撮影装置において、「周波数分解手段を用いて高周波成分を抑圧する信号圧縮伸長」を行った場合、高周波成分が抑圧されている事により、画質が低下する（圧縮画像と伸長画像の細かい箇所が不鮮明になる）。
【０１１５】
（効果）
「ベイヤー配列の色フィルターを持つ画像入力手段」を持った撮影装置において、「周波数分解手段を用いて高周波成分を抑圧する信号圧縮伸長」を行った場合にでも、高周波成分の抑圧を低減する事により、画質の低下を低減可能である。
【０１１６】
従って、単板の画像入力手段を持つ装置の場合にでも、圧縮画像において、より高画素な画像入力手段を用いることにより撮影した画像に近い画質を得ることが可能となる（圧縮画像と伸長画像の細かい箇所が不鮮明になる度合いが低減）。
【０１１７】
（６）さらに上記相関係数演算手段の２つの入力信号の所定領域における各分光感度特性に関する信号の重心を等しくするための補間手段を具備することを特徴とする（５）に記載の信号処理装置。
【０１１８】
（従来の問題点）
「画像入力手段」の各分光感度毎（色）毎の重心の違いにより、擬色が発生した。
【０１１９】
（効果）
擬色の発生を押さえ、画質を向上させることが可能となる。
【０１２０】
（７）さらに、１つの信号を複数のブロックに分割するブロック分割手段を具備し、前記高周波成分信号生成手段は、前記ブロック分割手段により分割されたブロック毎に高周波成分を生成することを特徴とする（１）〜（６）のいずれか１つに記載の信号処理装置。
【０１２１】
（従来の問題点）
画像全体について相関係数と高周波成分信号生成を行った場合において、高周波成分の存在する範囲が少ない場合には、高周波成分の生成量が少ない（原画像の一部だけに高精細情報が存在する画像を圧縮伸長し、ブロック分割を行わずに高周波成分生成を行うと、高精細な箇所が不鮮明になる）。
【０１２２】
（効果）
高周波成分の推定が必要であるにもかかわらず、生成が行われない場合が少なくなる（原画像の一部だけに微細な情報が存在する場合にも、圧縮伸長後に高精細箇所が不鮮明になる度合いを低減することができる）。
【０１２３】
（７．１）さらに、前記信号記録／送信手段、及び前記信号再生／受信手段は、前記ブロック分割手段により分割されたブロック毎に信号処理を行うことを特徴とする（７）に記載の信号処理装置。
【０１２４】
（従来の問題点）
画像全体で、信号記録送信、及び信号記録受信を行った場合は、符号誤りや外来ノイズに対する耐性が低い（符号誤りが一カ所でも発生すれば、全信号が再生不可能となる）。
【０１２５】
（効果）
符号誤りや外来ノイズに対する耐性が上がる（誤り訂正等の技術を用いない場合には、符号誤りが一カ所発生しても、信号の１ブロックが再生不可能となるだけで、他のブロックは再生できる）。
【０１２６】
（７．２）さらに、前記高周波成分信号生成手段で処理されるブロック単位と、前記信号記録／送信手段、及び前記信号再生／受信手段で処理されるブロック単位は、同一単位であることを特徴とする（７）に記載の信号処理装置。
【０１２７】
（従来の問題点）
処理ブロックの範囲が異なると、システム構成が複雑になり、且つ回路規模が大きくなる場合がある。
【０１２８】
（効果）
処理ブロックの範囲が同一であれば、システム構成が簡易になり、且つ回路規模が縮小可能である。
【０１２９】
（８）さらに上記周波数分解手段から得られた、第１番目の分光感度特性に関する信号の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の高周波成分信号とを比較する高周波信号比較手段と、上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段から得られた高周波成分信号と、周波数分解手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号とを、適応的に切り替える高周波成分信号切り替え手段とを特徴とする（１）〜（７．２）のいずれか１つに記載の信号処理装置。
【０１３０】
（従来の問題点）
例えば「Ｇｒｅｅｎを情報量が多い第１番目の分光感度特性に関する信号」とし、「Ｒｅｄ又はＢｌｕｅを第２番目以降の分光感度特性に関する信号」と仮定する。この時、Ｒｅｄ又はＢｌｕｅの高域情報よりも、Ｇｒｅｅｎの高域情報が少ない場合に、高周波成分生成を行うと、高域情報が減少し、画像の精細度が低下する（色依存性のある信号の場合に、精細度が低下する場合がある）。
【０１３１】
（効果）
（従来の問題点）の仮定条件で、Ｒｅｄ又はＢｌｕｅの高域情報よりも、Ｇｒｅｅｎの高域情報が少ない場合にも、Ｒｅｄ又はＢｌｕｅの元から持つ画像の高域情報が減少せず精細度が劣化しない。
【０１３２】
（９）さらに前記高周波信号比較手段及び前記高周波成分信号切り替え手段は、情報量が少ない第２番目以降の分光感度特性に関する信号毎に用意されることを特徴とする（８）に記載の信号処理装置。
【０１３３】
（従来の問題点）
例えば「Ｇｒｅｅｎを情報量が多い第１番目の分光感度特性に関する信号」とし、「Ｒｅｄ又はＢｌｕｅを第２番目以降の分光感度特性に関する信号」と仮定する。更に、Ｒｅｄの高域情報よりもＧｒｅｅｎの高域情報が少なく、且つＢｌｕｅの高域情報よりも、Ｇｒｅｅｎの高域情報が多いと仮定する。
【０１３４】
この場合に、高域情報生成を用いた画素補間処理を行うと、Ｒｅｄの高域情報が減少し、画像の精細度が悪くなる。即ち、特定色の高域情報が減少する（色依存性のある信号の場合に色によって精細度が低下する場合がある）。
【０１３５】
（効果）
「従来例とその問題点」の仮定条件下でも、特定色の高域情報が減少することがない（色依存性のある信号の場合に、色によって精細度が低下する場合を回避可能である）。
【０１３６】
（１０）さらに上記高周波信号比較手段は、第１番目と第２番目以降の分光感度特性に関する信号の高周波成分信号の振幅の分散値を演算する分散演算手段と、得られたそれぞれの分散値を比較する比較手段とを具備することを特徴とする(８)に記載の信号処理装置。
【０１３７】
（従来の問題点）
高周波信号比較を正確に行うと、演算量が多く実処理時間が長くなってしまう。
【０１３８】
（効果）
高周波信号の比較を全信号について行なう場合と比べてほぼ同等の判断が可能で、演算量が少なく、少ない処理時間で実現可能になる。
【０１３９】
（１１）さらに上記高周波信号比較手段は、第１番目と第２番目以降の分光感度特性に関する信号の高周波成分信号の振幅の最大値と最小値の差を演算する演算手段と、得られたそれぞれの最大値と最小値の差を比較する比較手段とを具備することを特徴とする（８）に記載の信号処理装置。
【０１４０】
（従来の問題点）
「第１番目と第２番目以降の分光感度特性に関する高周波成分信号の振幅の分散値」を用いた場合でも、演算量が多く、実処理時間が長い。
【０１４１】
（効果）
「第１番目と第２番目以降の分光感度特性に関する信号の高周波成分信号の振幅の分散値」を用いた場合と比較して、ほぼ同等の判断が可能で、演算量が少なく、少ない処理時間で実現可能になる。
【０１４２】
（１２）さらに上記高周波信号比較手段は、第１番目の分光感度特性に関する信号の高周波成分信号の振幅の分散値を演算する分散演算手段と、得られた分散値としきい値とを比較する比較手段とを具備することを特徴とする（８）に記載の信号処理装置。
【０１４３】
（従来の問題点）
「第１番目と第２番目以降の分光感度特性に関する信号の高周波成分信号の振幅の分散値」の比較を用いた場合でも、演算量が多く、実処理時間が長い。
【０１４４】
（効果）
少ない演算量で同等の効果が得られる。
【０１４５】
（１３）さらに上記高周波信号比較手段は、第１番目の分光感度特性に関する信号の高周波成分信号の振幅の最大値と最小値の差を演算する演算手段と、得られた最大値と最小値の差としきい値とを比較する比較手段とを具備することを特徴とする（８）に記載の信号処理装置。
【０１４６】
（従来の問題点）
「高周波信号比較手段」において、「第１番目の分光感度特性に関する信号の高周波成分信号の振幅の最大値と最小値の差」と「しきい値」との比較を用いた場合でも、演算量が多く、実処理時間が長い。
【０１４７】
（効果）
少ない演算利用で、同等の効果が得られる。
【０１４８】
（１４）さらに上記周波数分解手段は、分布が局所的な関数を基底関数として周波数分解を行うことを特徴とする（２．１）を除く（１）〜（１３）のいずれか１つに記載の信号処理装置。
【０１４９】
（従来の問題点）
分布が局所的でない例えばＤＣＴ係数を用いた周波数分解手段による圧縮を行った場合、画質劣化が多かった。
【０１５０】
（効果）
ＤＣＴ係数を用いた周波数分解手段による圧縮を行った場合よりも、精細度の優れた画質が得られる。
【０１５１】
（１５）さらに上記周波数合成手段は、分布が局所的な関数を基底関数として周波数合成を行うことを特徴とする（１．１）を除く（１）〜（１３）のいずれか１つに記載の信号処理装置。
【０１５２】
（従来の問題点）
分布が局所的でない例えばＤＣＴ係数を用いた周波数合成手段による伸長を行った場合、画質劣化が多かった。
【０１５３】
（効果）
ＤＣＴ係数を用いた周波数分解手段による伸長を行った場合よりも、精細度の優れた画質が得られる。
【０１５４】
（１６）さらに上記分布が局所的な関数を基底関数として周波数分解を行う周波数分解手段は、ウェーブレット変換により周波数分解を行うことを特徴とする（１４）に記載の信号処理装置。
【０１５５】
（従来の問題点）
分布が局所的でない例えばＤＣＴ係数を用いた周波数分解手段による圧縮を行った場合、画質劣化が多かった。
【０１５６】
（効果）
ＤＣＴ係数を用いた周波数分解手段による圧縮を行った場合よりも、精細度の優れた画質が得られ、実現が容易である。
【０１５７】
（１７）さらに上記、分布が局所的な関数を基底関数として周波数合成を行う周波数合成手段は、逆ウェーブレット変換により周波数合成を行うことを特徴とする（１５）に記載の信号処理装置。
【０１５８】
（従来の問題点）
分布が局所的でない例えばＤＣＴ係数を用いた周波数合成手段による伸長を行った場合、画質劣化が多かった。
【０１５９】
（効果）
ＤＣＴ係数を用いた周波数合成手段による伸長を行った場合よりも、精細度の優れた画質が得られ、実現が容易である。
【０１６０】
【発明の効果】
請求項１に記載の発明によれば、信号圧縮時に発生する、高周波成分の量の低下による画質低下を低減することが可能である（信号圧縮前の操作により、圧縮後画像の細かい箇所が不鮮明になる度合いを軽減することができる）。
【０１６１】
請求項２に記載の発明によれば、請求項１の構成と比較して、回路規模が削減可能か、又は短いシーケンスで、同一の処理内容が実現可能である（装置の小型化、又は処理の高速化が可能となる）。
【０１６２】
請求項３に記載の発明によれば、信号圧縮記録時に発生した高周波成分の量の低下による画質低下を、信号伸長時に低減することが可能になる（事前に信号圧縮が行われていた場合、信号伸長後の操作により、伸長後画像の細かい箇所が不鮮明になる度合いを軽減可能である）。
【０１６３】
請求項４に記載の発明によれば、請求項２の構成と比較して、回路規模が削減可能か、又は短いシーケンスで、同一の処理内容が実現可能である（装置の小型化、又は処理の高速化が可能になる）。
【０１６４】
請求項５に記載の発明によれば、「画像入力手段」を持った撮影装置において、「周波数分解手段を用いて高周波成分を抑圧する信号圧縮伸長」を行った場合にでも、高周波成分の抑圧を低減する事により、画質の低下を低減可能である。従って圧縮画像において、より高画素な画像入力手段を用いて撮影した画像に近い画質を得ることが可能である（圧縮画像と伸長画像の細かい箇所が不鮮明になる度合いが低減される）。
【０１６５】
請求項６に記載の発明によれば、ＤＣＴ係数を用いた周波数分解手段による圧縮を行った場合よりも、精細度の優れた画質が得られる。
【０１６６】
請求項７に記載の発明によれば、ＤＣＴ係数を用いた周波数合成手段による伸長を行った場合よりも、精細度の優れた画質が得られる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る、記録又は送信系の信号処理装置の構成を示す図である。
【図２】本発明の実施形態に係る、再生又は受信系の信号処理装置の構成を示す図である。
【図３】信号記録時に、周波数分解による記録と、周波数分解による高周波信号成分生成とを個別に行なう場合の動作フローの詳細を説明するための図である。
【図４】図３に示す動作フローの変形例を示す図である。
【図５】信号再生時に、周波数分解による再生と、周波数分解による高周波信号成分生成とを個別に行なう場合の動作フローの詳細を説明するための図である。
【図６】図５に示す動作フローの変形例を示す図である。
【図７】画像入力部１の色フィルターの配列の一例としてのベイヤー配列を示す図である。
【図８】本実施形態の補間処理について説明するための図である。
【図９】本実施形態のブロック分割処理について説明するための図である。
【図１０】本実施形態のブロック分割処理の変形例を説明するための図である。
【図１１】本実施形態の周波数分解処理の一例を説明するための図である。
【図１２】高周波成分信号の切替え処理の第１の実施形態を説明するための図である。
【図１３】高周波成分信号の切替え処理の第２の実施形態を説明するための図である。
【図１４】ｍ画素×ｎ画素からなる画像を示す図である。
【図１５】高周波成分信号の切替え処理の第３の実施形態を説明するための図である。
【図１６】高周波成分信号の切替え処理の第４の実施形態を説明するための図である。
【図１７】高周波成分信号の切替え処理の第５の実施形態を説明するための図である。
【符号の説明】
１ 画像入力部
２ 制御部
３−１ Ｒ用バッファ
３−２ Ｇ用バッファ
３−３ Ｂ用バッファ
４−１ Ｒ用周波数分解部
４−２ Ｇ用周波数分解部
４−３ Ｂ用周波数分解部
５−１ Ｒ高域用バッファ
５−２ Ｒ低域用バッファ
５−３ Ｇ高域用バッファ
５−４ Ｇ低域用バッファ
５−５ Ｂ高域用バッファ
５−６ Ｂ低域用バッファ
６−１ Ｇ、Ｒ用相関係数演算部
６−２ Ｇ、Ｂ用相関係数演算部
７−１ Ｒ用高周波成分信号生成部
７−２ Ｇ、Ｒ用高周波信号比較部
７−３ Ｇ、Ｂ用高周波信号比較部
７−４ Ｂ用高周波成分信号生成部
８−１ Ｒ用高周波成分信号切り替え部
８−２ Ｂ用高周波成分信号切り替え部
９ 信号圧縮部
１０ 記録又は送信部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a signal processing apparatus, and in particular, a signal processing apparatus that processes a signal in which a signal information amount related to at least one spectral sensitivity characteristic is larger than a signal information amount related to another spectral sensitivity characteristic among a plurality of spectral sensitivity characteristics. About.
[0002]
[Prior art]
Japanese Patent Laid-Open No. 9-284798 uses an input signal to frequency-resolve the spectral sensitivity characteristic, and uses a high-frequency component of the spectral sensitivity characteristic having a large amount of information to estimate a high-frequency component of another spectral sensitivity characteristic having a small amount of information. Thus, a signal processing apparatus that obtains a high-definition signal is disclosed.
[0003]
In addition, Japanese Patent Application No. 11-318729 uses a technique described in Japanese Patent Application Laid-Open No. 9-284798, and uses an input means in which the array of image input means is a Bayer array, A signal processing apparatus for estimating a component is disclosed.
[0004]
Japanese Patent Application No. 11-318730 uses the technique described in the above-mentioned Japanese Patent Application Laid-Open No. 9-284798 to estimate high-frequency components by frequency decomposition, and further compresses or decompresses them using DCT coefficients. Discloses a signal processing apparatus.
[0005]
[Problems to be solved by the invention]
However, in the above-mentioned Japanese Patent Application Laid-Open No. 9-284798, a technique for obtaining a higher definition signal is performed independently, and no clear disclosure is made about the advantages when combined with compression / expansion by frequency decomposition.
[0006]
The present invention has been made paying attention to such a problem. Even when image quality is deteriorated by performing compression / decompression by frequency decomposition to suppress high frequency components, high frequency components are estimated by frequency decomposition. It is an object of the present invention to provide a signal processing device that can reduce image quality degradation and simplify a circuit.
[0007]
[Means for Solving the Problems]
To achieve the above object, according to a first aspect of the present invention, there is provided a signal in which an information amount of a signal related to at least one spectral sensitivity characteristic is larger than an information amount of a signal related to another spectral sensitivity characteristic among a plurality of spectral sensitivity characteristics. In the signal processing device to be processed, a first frequency decomposing means for decomposing the signal into a plurality according to the frequency component, a low frequency component signal of the signal relating to the first spectral sensitivity characteristic having a large amount of information, and an information amount A correlation coefficient calculating means for calculating a correlation coefficient with the low frequency component signal of the second and subsequent spectral sensitivity characteristics with a small number of correlations, a correlation coefficient obtained from the correlation coefficient calculating means, Based on the high-frequency component signal of the first spectral sensitivity characteristic obtained from the first frequency resolving means, the high-frequency component signal of the second and subsequent spectral sensitivity characteristics with a small amount of information is generated. High-frequency component signal generating means, a low-frequency component signal of a signal relating to the first spectral sensitivity characteristic obtained from the first frequency resolving means, and a first frequency obtained from the first frequency resolving means. From the high frequency component signal of the signal related to the spectral sensitivity characteristic, the low frequency component signal of the signal related to the second and subsequent spectral sensitivity characteristics with a small amount of information obtained from the first frequency resolving means, and the high frequency component signal generating means A first frequency synthesizing unit that synthesizes the high frequency component signals of the signals relating to the second and subsequent spectral sensitivity characteristics obtained, and a plurality of signals obtained from the first frequency synthesizing unit according to the frequency components. A second frequency resolving means for decomposing the signal, a high frequency component signal of a signal relating to the first spectral sensitivity characteristic obtained from the second frequency resolving means, and the second frequency resolving means High frequency component signal amount varying means for varying the signal amount of the high frequency component by controlling the amount of high frequency component side signal deletion for the high frequency component signal of the second and subsequent spectral sensitivity characteristics obtained, The low frequency component signal of the signal related to the first spectral sensitivity characteristic obtained from the second frequency resolving means, and the second and subsequent spectral sensitivity characteristics with a small amount of information obtained from the second frequency resolving means. A low-frequency component signal of the signal, a high-frequency component signal of the signal relating to the first spectral sensitivity characteristic obtained from the high-frequency component signal amount varying means, and a second and later obtained from the high-frequency component signal amount varying means Signal recording / transmitting means for recording or transmitting a high-frequency component signal of a signal related to the spectral sensitivity characteristic of
[0009]
The second 2 The signal processing apparatus according to the present invention transmits or records in a signal processing apparatus that processes a signal in which the amount of information related to at least one spectral sensitivity characteristic is larger than the information amount of signals related to other spectral sensitivity characteristics. Further, the low frequency component signal of the signal related to the first spectral sensitivity characteristic having a large amount of information, the high frequency component signal of the signal related to the first spectral sensitivity characteristic, and the second and subsequent spectral sensitivity characteristics having a small amount of information. First frequency synthesizing means for reproducing or receiving and synthesizing a low-frequency component signal of the signal relating to the signal and a high-frequency component signal of the signal relating to the second and subsequent spectral sensitivity characteristics generated from the high-frequency component signal producing means; , A first frequency decomposing means for decomposing the signal into a plurality according to the frequency component, a low frequency component signal of a signal relating to the first spectral sensitivity characteristic having a large amount of information, Correlation coefficient calculating means for calculating a correlation coefficient with the low frequency component signal of the second and subsequent spectral sensitivity characteristics with a small amount of report, and a correlation coefficient obtained from the correlation coefficient calculating means And generating a high frequency component signal of a signal relating to the second and subsequent spectral sensitivity characteristics with a small amount of information based on the high frequency component signal of the signal relating to the first spectral sensitivity characteristic obtained from the first frequency resolving means. High-frequency component signal generating means for performing,
By combining the high frequency component signal of the second and subsequent spectral sensitivity characteristics obtained from the high frequency component signal generating means and the low frequency component signal of the second and subsequent spectral sensitivity characteristics having a small amount of information. Second frequency synthesizing means for generating an output signal of a signal relating to the second and subsequent spectral sensitivity characteristics.
[0011]
The second 3 The invention of the 1 In the invention, the number of photoelectric conversion unit regions that generate a signal related to the first spectral sensitivity characteristic among the plurality of spectral sensitivity characteristics is a photoelectric conversion unit that generates a signal related to the second and subsequent spectral sensitivity characteristics. It has image input means that exists multiple times the number of regions.
[0012]
The second 4 The invention of the Any one of 1 to 3 In the present invention, the first and second frequency resolving means further perform frequency resolving using a function having a local distribution as a basis function.
[0013]
The second 5 The invention of the Any one of 1 to 3 In the invention, the first and second frequency synthesizing means perform frequency synthesis using a function having a local distribution as a basis function.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The signal processing apparatus according to the present embodiment is a signal processing apparatus that processes a signal in which a signal information amount related to at least one spectral sensitivity characteristic is larger than a signal information amount related to another spectral sensitivity characteristic among a plurality of spectral sensitivity characteristics. is there. Here, a G (Green) signal is used as a signal related to the first spectral sensitivity characteristic with a large amount of information, an R (Red) signal is used as a signal related to the second spectral sensitivity characteristic with a small amount of information, and a third signal with a small amount of information. A B (Blue) signal is assumed as a signal related to the second spectral sensitivity characteristic.
[0015]
FIG. 1 is a diagram showing a configuration of a recording or transmission signal processing apparatus according to an embodiment of the present invention. In FIG. 1, an
[0016]
The R frequency decomposing unit 4-1 decomposes the R signal into a plurality (here, a high frequency component and a low frequency component) according to the frequency component. The R high-frequency buffer 5-1 is a portion that stores the high-frequency component signal of the decomposed R signal, and the R low-frequency buffer 5-2 is a portion that stores the low-frequency component signal of the decomposed R signal.
[0017]
Further, the G frequency decomposing unit 4-2 decomposes the G signal into a plurality (here, a high frequency component and a low frequency component) according to the frequency component. The G high band buffer 5-3 is a part that stores the high frequency component signal of the decomposed G signal, and the G low band buffer 5-4 is a part that stores the low frequency component signal of the decomposed G signal.
[0018]
Further, the B frequency decomposing unit 4-3 decomposes the B signal into a plurality (here, a high frequency component and a low frequency component) according to the frequency component. The B high frequency buffer 5-5 is a portion for storing the decomposed high frequency component signal of the B signal, and the B low frequency buffer 5-6 is a portion for storing the low frequency component signal of the decomposed B signal.
[0019]
The G and R correlation coefficient calculation unit 6-1 includes a low frequency component signal of the R signal from the R low band buffer 5-2 and a low frequency component signal of the G signal from the G low band buffer 5-4. And the correlation coefficient is calculated.
[0020]
Similarly, the G and B correlation coefficient calculation unit 6-2 lowers the low frequency component signal of the G signal from the G low frequency buffer 5-4 and the low frequency of the B signal from the B low frequency buffer 5-6. A correlation coefficient is calculated between the frequency component signals.
[0021]
The R high frequency component signal generation unit 7-1 is based on the correlation coefficient from the G and R correlation coefficient calculation unit 6-1 and the high frequency component signal of the G signal from the G high band buffer 5-3. Thus, a high frequency component signal for R is generated.
[0022]
Similarly, the B high frequency component signal generation unit 7-4 generates the correlation coefficient from the G and B correlation coefficient calculation unit 6-2 and the high frequency component of the G signal from the G high frequency buffer 5-3. Based on the signal, a high-frequency component signal for B is generated.
[0023]
Further, the G and R high-frequency signal comparison unit 7-2 includes a high-frequency component signal of the R signal from the R high-frequency buffer 5-1 and a high-frequency component signal of the G signal from the G high-frequency buffer 5-3. Compare
[0024]
Similarly, the high frequency signal comparison unit 7-3 for G and B uses the high frequency component signal of the B signal from the B high frequency buffer 5-5 and the high frequency component signal of the G signal from the G high frequency buffer 5-3. And compare.
[0025]
The R high-frequency component signal switching unit 8-1 includes the high-frequency component signal of the R signal from the R high-frequency buffer 5-1 based on the comparison result in the G and R high-frequency signal comparison unit 7-2, and R The R high frequency component signal from the high frequency component signal generation unit 7-1 is switched and output.
[0026]
Similarly, the high frequency component signal switching unit 8-2 for B uses the high frequency component of the B signal from the B high frequency buffer 5-5 based on the comparison result in the high frequency signal comparison unit 7-3 for G and B. The signal and the B high frequency component signal from the B high frequency component signal generation unit 7-4 are switched and output.
[0027]
The
[0028]
The recording or transmitting
[0029]
The
[0030]
In the
[0031]
FIG. 2 is a diagram showing a configuration of a reproduction or reception system signal processing apparatus according to the embodiment of the present invention. The reproduction or reception unit 11 includes a G signal low frequency component signal, a G signal high frequency component signal, a B or R signal low frequency component signal, and an R or B high frequency component signal switching unit 8-1, 8-. The high frequency component signal from 2 is reproduced or received.
[0032]
The R high-frequency buffer 13-1 is a part that stores the high-frequency component signal of the R signal among the reproduced or received signals. The R low-frequency buffer 13-2 is a part that stores the low-frequency component signal of the R signal in the reproduced or received signal.
[0033]
The G high frequency buffer 13-3 is a portion that stores the high frequency component signal of the G signal among the reproduced or received signals. The G low frequency buffer 13-4 is a portion for storing the low frequency component signal of the G signal among the reproduced or received signals.
[0034]
The B high frequency buffer 13-5 is a part that stores the high frequency component signal of the B signal among the reproduced or received signals. The B low frequency buffer 13-6 is a portion for storing the low frequency component signal of the B signal among the reproduced or received signals.
[0035]
The correlation coefficient calculation unit 14-1 for G and R includes a low frequency component signal of the R signal from the R low band buffer 13-2 and a low frequency component signal of the G signal from the G low band buffer 13-4. And the correlation coefficient is calculated.
[0036]
Similarly, the G and B correlation coefficient calculation unit 14-2 performs the processing of the low frequency component signal of the B signal from the B low frequency buffer 13-6 and the G signal from the G low frequency buffer 13-4. A correlation coefficient is calculated with the low frequency component signal.
[0037]
The R high frequency component signal generation unit 17-1 is based on the correlation coefficient from the G and R correlation coefficient calculation unit 14-1 and the high frequency component signal of the G signal from the G high frequency buffer 13-3. , R high-frequency component signals are generated.
[0038]
The B high frequency component signal generation unit 17-4 is based on the correlation coefficient from the G and B correlation coefficient calculation unit 14-2 and the high frequency component signal of the G signal from the G high frequency buffer 13-3. , B high-frequency component signals are generated.
[0039]
The high frequency signal comparison unit 17-2 for G and R compares the high frequency component signal of the R signal from the R high frequency buffer 13-1 with the high frequency component signal of the G signal from the G high frequency buffer 13-3. To do.
[0040]
Similarly, the high frequency signal comparison unit 17-3 for G and B uses the high frequency component signal of the B signal from the B high frequency buffer 13-5 and the high frequency component of the G signal from the G high frequency buffer 13-3. Compare the signal.
[0041]
The R high-frequency component signal switching unit 18-1 is configured such that, based on the comparison result from the G and R high-frequency signal comparison unit 17-2, the R high-frequency component signal from the R high-frequency buffer 13-1 and R The R signal high frequency component signal from the high frequency component signal generation unit 17-1 is switched and output.
[0042]
Similarly, the high frequency component signal switching unit 18-2 for B uses the high frequency component of the B signal from the B high frequency buffer 13-5 based on the comparison result from the high frequency signal comparison unit 17-3 for G and B. The signal and the B signal high frequency component signal from the B high frequency component signal generation unit 17-4 are switched and output.
[0043]
The R frequency synthesizing unit 19-1 synthesizes the low frequency component signal of the R signal from the R low frequency buffer 13-2 and the high frequency signal from the R high frequency component signal switching unit 18-1, and R Generate an output signal of the signal.
[0044]
Similarly, the G frequency synthesizer 19-2 receives the high frequency component signal of the G signal from the G high frequency buffer 13-3 and the low frequency component signal of the G signal from the G low frequency buffer 13-4. To generate an output signal of the G signal.
[0045]
Similarly, the B frequency synthesizer 19-3 synthesizes the low frequency component signal of the B signal from the B low band buffer 13-6 and the high frequency signal from the B high frequency component signal switching unit 18-2. Then, an output signal of the B signal is generated.
[0046]
The
[0047]
The
[0048]
FIG. 3 is a diagram for explaining the details of the operation flow in the case of individually performing compression recording by frequency decomposition and high-frequency signal component generation by frequency decomposition during signal recording. In steps S1 to S8-2, the frequency is shown. Processing relating to high frequency component signal generation by decomposition is performed, and processing relating to compression recording by frequency decomposition is performed in steps S9-1 to S13. The types of signals (R, G, B) in parentheses are representative examples for ease of understanding. Other than that, “Cr, Y, Cb” and “Pr, Y, Pb” are shown. Etc. are considered.
[0049]
Interpolation processing for each of the R, G, and B signals is performed on the image input in step S1 (steps S2-1, S2-2, and S2-3).
[0050]
FIG. 8 is a diagram for explaining this interpolation processing. FIG. 8A shows a Bayer array for all R, G, and B pixels. FIG. 8B shows a Bayer array for G pixels before interpolation. In this case, the center of gravity of the G signal is the center of 2 × 2 pixels (portion indicated by a black circle). FIG. 8C shows the Bayer array for the R pixel before interpolation. In this case, the center of gravity of the R signal is the center of each pixel (the part indicated by a black circle). FIG. 8D shows a Bayer array for B pixels before interpolation. In this case, the center of gravity of the B signal is the center of each pixel (the portion indicated by a black circle) as in the case of the R signal.
[0051]
For this reason, a shift of 0.5 pixels occurs in the horizontal and vertical directions between the centroid of the G signal and the centroid of the R or B signal, which causes a directional false color.
[0052]
Therefore, in this embodiment, pixel interpolation is performed for each of the R, G, and B signals, and the center of gravity of the 2 × 2 pixels after the interpolation is such that all of the R, G, and B signals are the center of the 2 × 2 pixels. ((B ′), (C ′), (D ′) in FIG. 8. According to such interpolation processing, false colors due to different centroids between R, G, and B do not occur. .
[0053]
Returning to FIG. 3, next, in steps S3-1, S3-2, and S3-3, the first block division processing is performed for each of R, G, and B. The first block division processing method described below is also applied to second and subsequent block division processing described later.
[0054]
FIG. 9 is a diagram for explaining the first block division processing. In this block division processing, one image as shown in FIG. 9A is divided into a plurality of m × n blocks, and high frequency information of each color is estimated for each divided block. This will be described in detail below. FIG. 9B shows one original image to be processed. This image consists of a 2 × 2 pixel block (low frequency component) consisting only of high luminance pixels as shown in FIG. 9C and only low luminance pixels as shown in FIG. 9D. 2 × 2 pixel block (low frequency component) and a 2 × 2 pixel block (high frequency component) composed of high luminance pixels and low luminance pixels as shown in FIG. 9E. . In the image of FIG. 9B, the lower right block is a high frequency component, and here, it is assumed that the absolute value of (high luminance value−low luminance value) = Vpre.
[0055]
As described above, when the high frequency component is included only in a part of the image, when the processing is performed without dividing the image into a plurality of blocks, the correlation coefficient (high frequency component / low frequency component) in the entire image is low. Therefore, the high frequency component decreases after processing. FIG. 9 (F) shows the image after this processing. In the lower right block part, a high luminance pixel having a lowered luminance value and a luminance value rising as shown in FIG. 9 (G). A block composed of low luminance pixels is generated. In this block, since the absolute value of (high luminance value−low luminance value) <Vpre, the image becomes unclear.
[0056]
Therefore, in the present embodiment, the processing is performed after the original image shown in FIG. 9B is divided into a plurality of blocks (1 block = 2 × 2 pixels). FIG. 9H shows an image after processing. When divided into a plurality of blocks, since the correlation coefficient (high frequency component / low frequency component) in the lower right block is high, the high frequency component does not decrease even after processing. That is, the absolute value of (high luminance value−low luminance value) = Vpre holds.
[0057]
FIG. 10 is a diagram for explaining a modification of the above-described block division process. In this modified example, in the block division process described above, the block unit processed by the high frequency component signal generation unit and the signal recording or transmission process or the signal reproduction or signal over the entire screen range as shown in FIG. The block unit processed in the reception process is the same unit.
[0058]
Returning to FIG. 3, in steps S4-1, S4-2, and S4-3, each of the R, G, and B signals is decomposed into a low-frequency component signal and a high-frequency component signal by the first frequency decomposition process. The first frequency resolution processing method described below is also applied to second and subsequent frequency resolution processing described later.
[0059]
FIG. 11 is a diagram for explaining an example of the first frequency decomposition processing. In a block of a pixel array in which green pixels are interpolated as shown in FIG. 11A, frequency domain decomposition is performed by wavelet transform using a local function as a basis function (here, Harr function). Since the Harr function is used, LPF (low pass filter) and HPF (high pass filter) as shown in FIG. 11B are applied as the local function in the vertical direction, and the local function in the horizontal direction is shown in FIG. LPF (low-pass filter) and HPF (high-pass filter) as shown in (C) are applied. In the wavelet transform at this time, for example, the following arithmetic expression is used.
[0060]
GLL = {(GUL + GUR) + (GDL + GDR)} / 4
GHL = {(GUL-GUR) + (GDL-GDR)} / 4
GLH = {(GUL + GUR)-(GDL + GDR)} / 4
GHH = {(GUL-GUR)-(GDL-GDR)} / 4
By the wavelet transform, four components, GLL, GHL, GLH, and GHH, of frequency-resolved G pixels are obtained ((D) in FIG. 11).
[0061]
Returning to FIG. 3, next, a correlation coefficient is calculated between the low frequency component signal of the R signal obtained in step S4-1 and the low frequency component signal of the G signal obtained in step S4-2. (Step S5-1). Similarly, a correlation coefficient is calculated between the low frequency component signal of the B signal obtained in step S4-3 and the low frequency component signal of the G signal obtained in step S4-2 (step S5- 2).
[0062]
Next, the high-frequency component signal of the R signal obtained in step S4-1 is compared with the high-frequency component signal of the G signal obtained in step S4-2 (step S6-1). Similarly, the high-frequency component signal of the B signal obtained in step S4-3 is compared with the high-frequency component signal of the G signal obtained in step S4-2 (step S6-2).
[0063]
Next, based on the correlation coefficient obtained in step S5-1 and the high frequency component signal of the G signal obtained in step S4-2, a high frequency component signal of the R signal is generated (step S7-1). . Similarly, a high-frequency component signal for the B signal is generated based on the correlation coefficient obtained in step S5-2 and the high-frequency component signal for the G signal obtained in step S4-2 (step S7-2). ).
[0064]
Next, based on the comparison result in step S6-1, the high-frequency component signal of the R signal obtained in step S7-1 and the high-frequency component signal of the R signal obtained in step S4-1 are switched and output. (Step S8-1). Similarly, based on the comparison result in step S6-2, the high-frequency component signal of the B signal obtained in step S7-2 and the high-frequency component signal of the B signal obtained in step S4-3 are switched. Output (step S8-2).
[0065]
FIG. 12 is a diagram for explaining the first embodiment of the switching process of the high-frequency component signal described above. In this embodiment, the high-frequency component signal of the G signal is compared with the high-frequency component signal of the R signal or the B signal, and if the difference is smaller than the threshold value, the output of the frequency resolution processing is selected. Selects the output of the high-frequency component signal generation process.
[0066]
FIG. 13 is a diagram for explaining a second embodiment of the above-described high-frequency component signal switching process. In this embodiment, the dispersion value of the amplitude of the high-frequency component signal of the G signal is compared with the dispersion value of the amplitude of the high-frequency component signal of the R signal or B signal, and if the difference is smaller than the threshold value, the frequency decomposition The output of the process is selected. If the output is large, the output of the high-frequency component signal generation process is selected.
[0067]
FIG. 14 is a diagram for explaining an example of the calculation method of the amplitude dispersion described above. When the pixels as shown in FIG. 14 are arranged in a Bayer array, the dispersion of the signal amplitude of each color of R, G, B is (pΣ (x 2 )-(Σx) 2 ) / (P 2 ). However, p = total number of pixels of the target color and x = target pixel value.
[0068]
FIG. 15 is a diagram for explaining a third embodiment of the switching process of the high-frequency component signal described above. In this embodiment, the absolute value of (maximum value−minimum value) of the amplitude of the high frequency component signal of the G signal and the absolute value of (maximum value−minimum value) of the amplitude of the high frequency component signal of the R signal or B signal are obtained. When the difference is smaller than the threshold value, the output of the frequency decomposition process is selected, and when the difference is larger, the output of the high frequency component signal generation process is selected.
[0069]
FIG. 16 is a diagram for explaining a fourth embodiment of the above-described high-frequency component signal switching process. In this embodiment, the dispersion value of the amplitude of the high frequency component signal of the G signal is compared with a threshold value, and when the dispersion value is smaller than the threshold value, the output of the frequency resolution processing is selected, and when the dispersion value is larger, the high frequency component signal is selected. Select the output of the component signal generation process.
[0070]
FIG. 17 is a diagram for explaining a fifth embodiment of the switching process of the high-frequency component signal described above. In this embodiment, the absolute value of (maximum value−minimum value) of the amplitude of the high frequency component signal of the G signal is compared with a threshold value, and the absolute value of (maximum value−minimum value) is smaller than the threshold value. Is selected from the output of the frequency resolving process, and the output of the high frequency component signal generating process is selected when the output is large.
[0071]
Returning to FIG. 3, the first frequency synthesis process is performed on the low-frequency component signal of the R signal obtained in step S4-1 and the high-frequency component signal of the R signal selected in step S8-1. This is performed (step S9-1). Further, first frequency synthesis is performed on the low frequency component signal of the G signal and the high frequency component signal of the G signal obtained in step S4-2 (step S9-2). Further, first frequency synthesis is performed on the low-frequency component signal of the B signal obtained in step S4-3 and the high-frequency component signal of the B signal selected in step S8-2 (step S9-3).
[0072]
In the frequency synthesizing process, frequency synthesis is performed using a function having a local distribution as a basis function (for example, wavelet transform), as in the frequency decomposition process. This frequency synthesis process is also applied to the second and subsequent frequency synthesis processes described later.
[0073]
Returning to FIG. 3, next, the second is applied to each of the R signal frequency-synthesized in step S9-1, the G signal frequency-synthesized in step S9-2, and the B signal frequency-synthesized in step S9-3. Block division processing is performed (steps S10-1, S10-2, S10-3).
[0074]
Next, the second frequency decomposition process is performed on the R signal block-divided in step S10-1, thereby performing frequency decomposition into a low frequency component signal and a high frequency component signal (step S11-1). Similarly, the second frequency decomposition process is performed on the G signal block-divided in step S10-2 to perform frequency decomposition into a low frequency component signal and a high frequency component signal (step S11-2). Similarly, the second frequency decomposition process is performed on the B signal divided into blocks in step S10-3 to perform frequency decomposition into a low-frequency component signal and a high-frequency component signal (step S11-3).
[0075]
Next, the amount of the high-frequency component signal of each of the R, G, and B signals obtained by the second frequency decomposition process in steps S11-1, S11-2, and S11-3 is determined as the high frequency signal. A variable process is performed by controlling the amount to be deleted (steps S12-1, S12-2, S12-3).
[0076]
Next, the low frequency component signal of the R signal obtained in step S11-1, the high frequency component signal of the R signal varied in step S12-1, and the low frequency component of the G signal obtained in step S11-2. Signal, the high frequency component signal of the G signal varied in step S12-2, the low frequency component signal of the B signal obtained in step S11-3, and the high frequency component signal of the B signal varied in step S12-3 Are recorded or transmitted (step S13).
[0077]
FIG. 4 is a diagram showing a modification of the operation flow shown in FIG. In this modification, the frequency synthesis process (steps S9-1, S9-2, S9-3), the second block division process (steps S10-1, S10-2, S10-3), and the second frequency in FIG. Disassembly processing (steps S11-1, S11-2, S11-3) is omitted. Therefore, the low frequency component signal of the R signal obtained in step S4-1, the low frequency component signal of the G signal obtained in step S4-2, and the low frequency component of the B signal obtained in step S4-3. The signal is recorded or transmitted as it is (step S13).
[0078]
Further, the high frequency signal of the R signal selected in step S8-1, the high frequency component signal of the G signal obtained in step S4-2, and the high frequency signal of the B signal selected in step S8-2 are high frequency. Component signal amount variable processing (steps S12-1, S12-2, S12-3) is performed.
[0079]
FIG. 5 is a diagram for explaining the details of the operation flow in the case where the reproduction by frequency decomposition and the generation of the high-frequency signal component by frequency decomposition are individually performed during signal reproduction. In steps S21 to S23-3, frequency synthesis is performed. A process related to decompression reproduction is performed, and in steps S24-1 to S31, a process related to generation of a high-frequency component signal by frequency decomposition is performed.
[0080]
First, the low frequency component signal and the high frequency component signal of the G signal, the low frequency component signal of the R or B signal, and the high frequency component signal of the R or B signal generated by the high frequency component signal generation unit are recorded or transmitted. Is reproduced or received (step S21), and third block division is performed on the high-frequency component signal and low-frequency component signal of each of the R, G, and B signals (steps S22-1, S22-2, S22-). 3).
[0081]
Next, a second frequency synthesis process is performed on the high-frequency component signal and the low-frequency component signal of each of the R, G, and B signals (steps S23-1, S23-2, S23-3). Next, a fourth block division process is performed on each of the R, G, and B signals (steps S24-1, S24-2, and S24-3). A third frequency decomposition process is performed on each of the R, G, and B signals that have been subjected to the block division process to obtain a high-frequency component signal and a low-frequency component signal for each of the R, G, and B signals ( Steps S25-1, S25-2, S25-3).
[0082]
Next, a correlation coefficient is calculated between the low frequency component signal of the R signal obtained in step S25-1 and the low frequency component signal of the G signal obtained in step S25-2 (step S26-1). ). Similarly, a correlation coefficient is calculated between the low frequency component signal of the B signal obtained in step S25-3 and the low frequency component signal of the G signal obtained in step S25-2 (step S26-). 2).
[0083]
Next, the high-frequency component signal of the R signal obtained in step S25-1 is compared with the high-frequency component signal of the G signal obtained in step S25-2 (step S27-1). Similarly, the high-frequency component signal of the B signal obtained in step S25-3 is compared with the high-frequency component signal of the G signal obtained in step S25-2 (step S27-2).
[0084]
Next, based on the correlation coefficient obtained in step S26-1 and the high frequency component signal of the G signal obtained in step S25-2, a high frequency component signal of the R signal is generated (step S28-1). . Similarly, a high-frequency component signal of the B signal is generated based on the correlation coefficient obtained in step S26-2 and the high-frequency component signal of the G signal obtained in step S25-2 (step S28-2). ).
[0085]
Next, based on the comparison result in step S27-1, the high-frequency component signal of the R signal obtained in step S28-1 and the high-frequency component signal of the R signal obtained in step S25-1 are switched and output. (Step S29-1). Similarly, based on the comparison result in step S27-2, the high-frequency component signal of the B signal obtained in step S28-2 and the high-frequency component signal of the B signal obtained in step S25-3 are switched. Output (step S29-2).
[0086]
Next, third frequency synthesis is performed on the low-frequency component signal of the R signal obtained in step S25-1 and the high-frequency signal of the R signal selected in step S29-1 (step S30-1). The third frequency synthesis is performed on the low frequency component signal and the high frequency component signal of the G signal obtained in step S25-2 (step S30-2). Further, third frequency synthesis is performed on the low-frequency component signal of the B signal obtained in step S25-3 and the high-frequency signal of the B signal selected in step S29-2 (step S30-3).
[0087]
Finally, the R, G, and B signals subjected to frequency synthesis are output as an image (step S31).
[0088]
FIG. 6 is a diagram showing a modification of the operation flow shown in FIG. In this modified example, the second frequency synthesis process (steps S23-1, S23-2, S23-3), the fourth block division process (steps S24-1, S24-2, S24-3) in FIG. 3 frequency resolution processing (steps S25-1, S25-2, S25-3) is omitted. Accordingly, the block division output for the R, G, and B color signals obtained in steps S22-1, S22-2, and S22-3 is used as it is in the processing after step S26-1.
[0089]
Note that the operation flow at the time of signal recording shown in FIG. 3 and the operation flow at the time of signal reproduction shown in FIG. 5 can be used in combination.
[0090]
Further, the operation flow at the time of signal recording shown in FIG. 4 and the operation flow at the time of signal reproduction shown in FIG. 6 can be used in combination.
[0091]
3 is combined with the operation flow at the time of signal reproduction shown in FIG. 6, the operation flow at the time of signal recording shown in FIG. 4, and the operation flow at the time of signal reproduction shown in FIG. Combinations of these are also possible.
[0092]
(Appendix)
The invention having the following configuration can be extracted from the specific embodiment described above.
[0093]
(1) In a signal processing apparatus that processes a signal in which a signal information amount related to at least one spectral sensitivity characteristic is larger than a signal information amount related to another spectral sensitivity characteristic among a plurality of spectral sensitivity characteristics.
First frequency resolving means for decomposing the signal into a plurality according to the frequency component;
A correlation coefficient is calculated between the low frequency component signal of the first spectral sensitivity characteristic with a large amount of information and the low frequency component signal of the second and subsequent spectral sensitivity characteristics with a small amount of information. Correlation coefficient calculation means;
Based on the correlation coefficient obtained from the correlation coefficient computing means and the high frequency component signal of the signal relating to the first spectral sensitivity characteristic obtained from the first frequency resolving means, the second information amount is small. A high-frequency component signal generating means for generating a high-frequency component signal of a signal relating to the spectral sensitivity characteristics thereafter;
The low frequency component signal of the signal related to the first spectral sensitivity characteristic obtained from the first frequency resolution means and the high frequency component of the signal related to the first spectral sensitivity characteristic obtained from the first frequency resolution means A signal, a low frequency component signal of the second and subsequent spectral sensitivity characteristics with a small amount of information obtained from the first frequency resolving means, and a second and subsequent frequency signals obtained from the high frequency component signal generating means. First frequency synthesizing means for synthesizing a high frequency component signal of a signal related to spectral sensitivity characteristics;
Second frequency decomposing means for decomposing the signal obtained from the first frequency synthesizing means into a plurality of signals according to the frequency components;
The high frequency component signal of the signal related to the first spectral sensitivity characteristic obtained from the second frequency resolution means and the high frequency component of the signal related to the second and subsequent spectral sensitivity characteristics obtained from the second frequency resolution means. About the signal, the high frequency component signal amount variable means for varying the signal amount of the high frequency component by controlling the amount of deleting the signal on the high frequency side,
The low frequency component signal of the signal related to the first spectral sensitivity characteristic obtained from the second frequency resolving means, and the second and subsequent spectral sensitivity characteristics with a small amount of information obtained from the second frequency resolving means. A low-frequency component signal of the signal, a high-frequency component signal of the signal relating to the first spectral sensitivity characteristic obtained from the high-frequency component signal amount varying means, and a second and later obtained from the high-frequency component signal amount varying means A signal recording / transmitting means for recording or transmitting a high-frequency component signal of a signal related to the spectral sensitivity characteristics of
A signal processing apparatus comprising:
[0094]
(Conventional problem)
When only “signal compression using frequency resolving means” is performed at the time of signal recording or transmission, image quality deteriorates due to suppression of high frequency components (signal compression makes fine portions of the compressed image unclear). .
[0095]
(effect)
The amount of high frequency components generated during signal compression can be reduced by performing “high frequency component signal generation using frequency resolution means” together with “signal compression that suppresses high frequency components using frequency resolution means” during signal recording or transmission. It is possible to reduce image quality degradation due to degradation (the degree of blurring of fine portions of a post-compression image can be reduced by an operation before signal compression).
[0096]
(1.1) In a signal processing apparatus that processes a signal in which a signal information amount related to at least one spectral sensitivity characteristic is larger than a signal information amount related to another spectral sensitivity characteristic among a plurality of spectral sensitivity characteristics.
First frequency resolving means for decomposing the signal into a plurality according to the frequency component;
A correlation coefficient is calculated between the low frequency component signal of the first spectral sensitivity characteristic with a large amount of information and the low frequency component signal of the second and subsequent spectral sensitivity characteristics with a small amount of information. Correlation coefficient calculation means;
Based on the correlation coefficient obtained from the correlation coefficient calculating means and the high frequency component signal of the signal relating to the first spectral sensitivity characteristic obtained from the first frequency resolving means, the second information amount is small. A high-frequency component signal generating means for generating a high-frequency component signal of a signal relating to the spectral sensitivity characteristics thereafter;
The high frequency component signal of the signal related to the first spectral sensitivity characteristic obtained from the first frequency resolution means and the high frequency component of the signal related to the second and subsequent spectral sensitivity characteristics obtained from the first frequency resolution means. About the signal, the high frequency component signal amount variable means for changing the signal amount of the high frequency component by controlling the amount of deleting the signal on the high frequency side,
The low frequency component signal of the signal related to the first spectral sensitivity characteristic obtained from the first frequency resolving means, and the second and subsequent spectral sensitivity characteristics with a small amount of information obtained from the first frequency resolving means. A low-frequency component signal of the signal, a high-frequency component signal of the signal relating to the first spectral sensitivity characteristic obtained from the high-frequency component signal amount varying means, and a second and later obtained from the high-frequency component signal amount varying means A signal recording / transmitting means for recording or transmitting a high-frequency component signal of a signal related to the spectral sensitivity characteristics of
A signal processing apparatus comprising:
[0097]
(Conventional problem)
Same as (1).
[0098]
(effect)
Compared with the configuration of (1), the circuit scale can be reduced, or the same processing content can be realized in a short sequence (the device can be downsized or the processing speed can be increased).
[0099]
(2) In a signal processing apparatus that processes a signal in which a signal information amount related to at least one spectral sensitivity characteristic is larger than a signal information amount related to another spectral sensitivity characteristic among a plurality of spectral sensitivity characteristics.
The low frequency component signal of the signal related to the first spectral sensitivity characteristic with a large amount of information transmitted or recorded, the high frequency component signal of the signal related to the first spectral sensitivity characteristic, and the second and subsequent ones with a small amount of information A first low-frequency component signal of the signal related to the spectral sensitivity characteristic and a high-frequency component signal of the signal related to the second and subsequent spectral sensitivity characteristics generated from the high-frequency component signal generation means are reproduced or received and synthesized. Frequency synthesis means;
First frequency resolving means for decomposing the signal into a plurality according to the frequency component;
A correlation coefficient is calculated between the low frequency component signal of the first spectral sensitivity characteristic with a large amount of information and the low frequency component signal of the second and subsequent spectral sensitivity characteristics with a small amount of information. Correlation coefficient calculation means;
Based on the correlation coefficient obtained from the correlation coefficient calculating means and the high frequency component signal of the signal relating to the first spectral sensitivity characteristic obtained from the first frequency resolving means, the second information amount is small. A high-frequency component signal generating means for generating a high-frequency component signal of a signal relating to the spectral sensitivity characteristics thereafter;
By combining the high frequency component signal of the second and subsequent spectral sensitivity characteristics obtained from the high frequency component signal generating means and the low frequency component signal of the second and subsequent spectral sensitivity characteristics having a small amount of information. Second frequency synthesizing means for generating an output signal of a signal relating to the second and subsequent spectral sensitivity characteristics;
A signal processing apparatus comprising:
[0100]
(Conventional problem)
Performs “signal compression that suppresses high-frequency components using frequency resolving means” at the time of recording, and only “signal expansion using frequency synthesizing means” at the time of signal playback or reception for recorded signals in which high-frequency component signals are suppressed Is performed, the high-frequency component is suppressed, so that the image quality is deteriorated (if signal compression has been performed in advance, a fine portion of the decompressed image becomes unclear).
[0101]
(effect)
By performing “High-frequency component signal generation using frequency decomposition means” along with “Signal expansion using frequency synthesis means” at the time of signal reproduction or reception, image quality deterioration due to a reduction in the amount of high-frequency components generated during signal compression recording is achieved. It is possible to reduce at the time of signal decompression (when signal compression has been performed in advance, the degree after which the fine portions of the decompressed image become unclear can be reduced by the operation after signal decompression).
[0102]
(2.1) In a signal processing apparatus that processes a signal in which a signal information amount related to at least one spectral sensitivity characteristic is larger than a signal information amount related to another spectral sensitivity characteristic among a plurality of spectral sensitivity characteristics.
The low frequency component signal of the signal related to the first spectral sensitivity characteristic with a large amount of information recorded or reproduced, the high frequency component signal of the signal related to the first spectral sensitivity characteristic, and the second and subsequent signals with a small amount of information A signal reproduction / reception means for reproducing or receiving a low frequency component signal of a signal relating to spectral sensitivity characteristics and a high frequency component signal of a signal relating to the second and subsequent spectral sensitivity characteristics obtained from the high frequency component signal generation means;
Among the signals output from the signal reproduction / reception means, the low frequency component signal of the signal related to the first spectral sensitivity characteristic with a large amount of information and the low signal of the signal related to the second and subsequent spectral sensitivity characteristics with a small amount of information. A correlation coefficient calculating means for calculating a correlation coefficient with the frequency component signal;
Based on the correlation coefficient obtained from the correlation coefficient calculating means and the high frequency component signal of the signal relating to the first spectral sensitivity characteristic obtained from the signal reproducing / receiving means, the second and subsequent information items having a small amount of information High-frequency component signal generation means for generating a high-frequency component signal of a signal related to the spectral sensitivity characteristics of
The second and subsequent spectral sensitivity characteristics signals obtained from the high frequency component signal generation means are combined with the second and subsequent spectral sensitivity characteristics signals, and the second and subsequent spectral sensitivity characteristics are combined to obtain the second First frequency synthesizing means for generating an output signal of a signal relating to the subsequent spectral sensitivity characteristics;
A signal processing apparatus comprising:
[0103]
(Conventional problem)
2. the same as
(effect)
Compared with the configuration (2), the circuit scale can be reduced, or the same processing content can be realized in a short sequence (the device can be downsized or the processing speed can be increased).
[0104]
(3) A signal processing apparatus characterized by combining the configuration of (1) and the configuration of (2).
[0105]
(Conventional problem)
When “signal compression / expansion that suppresses high-frequency components using frequency resolving means” is performed, the image quality deteriorates because the high-frequency components are suppressed (the fine portions of the compressed image and the expanded image become unclear).
[0106]
(effect)
By performing "Signal compression and expansion that suppresses high frequency components using frequency resolving means" and "Generating high frequency component signals using frequency resolving means", a decrease in the amount of high frequency components in the expanded signal is reduced. It is possible to reduce image quality degradation (the degree of blurring of fine portions of the image after compression is reduced by an operation before or after signal compression).
[0107]
(3.1) A signal processing device characterized by combining the configuration of (1.1) and the configuration of (2.1).
[0108]
(Conventional problem)
Same as (1) and (2).
[0109]
(effect)
Compared with the configuration (3), the circuit scale can be reduced, or the same processing content can be realized in a short sequence (the device can be downsized or the processing speed can be increased).
[0110]
(4) Further, among the plurality of spectral sensitivity characteristics, the number of photoelectric conversion unit areas that generate signals related to the first spectral sensitivity characteristic is the photoelectric conversion unit area that generates signals related to the second and subsequent spectral sensitivity characteristics. The signal processing apparatus according to any one of (1), (1.1), (3), and (3.1), comprising image input means that is present in a plurality of times the number of.
[0111]
(Conventional problem)
In a photographing apparatus having “image input means”, when “signal compression / decompression using frequency resolution means to suppress high-frequency components” is performed, the image quality deteriorates because the high-frequency components are suppressed (compressed image). And the detailed part of the decompressed image becomes unclear).
[0112]
(effect)
Reduces image quality degradation by reducing suppression of high-frequency components, even when “signal compression / expansion using frequency resolution means to suppress high-frequency components” is performed in an imaging device with “image input means” Is possible. Therefore, in the compressed image, it is possible to obtain an image quality close to that of the photographed image by using a higher pixel image input means (the degree to which the fine portions of the compressed image and the decompressed image become unclear is reduced).
[0113]
(5) The signal processing apparatus according to (4), wherein the color filter array of the image input means is a Bayer array.
[0114]
(Conventional problem)
In a photographing apparatus having “image input means having a Bayer color filter”, when “signal compression / decompression to suppress high frequency components using frequency resolution means” is performed, the high frequency components are suppressed, The image quality deteriorates (the fine parts of the compressed image and the decompressed image become unclear).
[0115]
(effect)
In a photographing apparatus having a “image input means having a Bayer color filter”, suppression of high frequency components can be reduced even when “signal compression / decompression using frequency resolution means to suppress high frequency components” is performed. Therefore, it is possible to reduce the deterioration of image quality.
[0116]
Therefore, even in the case of an apparatus having a single-panel image input unit, it is possible to obtain an image quality close to that of a captured image by using a higher-pixel image input unit (compressed image and decompressed image). Reduced the degree of blurring of small details).
[0117]
(6) The signal processing according to (5), further comprising interpolation means for equalizing the centroids of the signals related to the spectral sensitivity characteristics in a predetermined region of the two input signals of the correlation coefficient calculating means. apparatus.
[0118]
(Conventional problem)
A pseudo color was generated due to the difference in the center of gravity for each spectral sensitivity (color) of the “image input means”.
[0119]
(effect)
It is possible to improve the image quality by suppressing the generation of false colors.
[0120]
(7) Further, it comprises block dividing means for dividing one signal into a plurality of blocks, and the high frequency component signal generating means generates a high frequency component for each block divided by the block dividing means. The signal processing device according to any one of (1) to (6).
[0121]
(Conventional problem)
When the correlation coefficient and high-frequency component signal generation are performed for the entire image, the amount of high-frequency components generated is small when the range in which high-frequency components exist is small (high-definition information exists only in part of the original image) If the image is compressed and expanded and high-frequency components are generated without performing block division, the high-definition portion becomes unclear.
[0122]
(effect)
Despite the need to estimate high-frequency components, there are fewer cases where generation is not performed (even if there is fine information in only a part of the original image, the high-definition portion is blurred after compression / decompression) Degree can be reduced).
[0123]
(7.1) The signal according to (7), wherein the signal recording / transmission unit and the signal reproduction / reception unit perform signal processing for each block divided by the block division unit. Processing equipment.
[0124]
(Conventional problem)
When signal recording / transmission and signal recording / reception are performed on the entire image, the tolerance to code errors and external noise is low (all signals cannot be reproduced if a single code error occurs).
[0125]
(effect)
Improves resistance to code errors and external noise (If a technique such as error correction is not used, even if a code error occurs in one place, only one block of the signal cannot be reproduced, and other blocks are reproduced. it can).
[0126]
(7.2) Further, the block unit processed by the high-frequency component signal generation unit and the block unit processed by the signal recording / transmission unit and the signal reproduction / reception unit are the same unit. The signal processing apparatus according to (7).
[0127]
(Conventional problem)
If the range of processing blocks is different, the system configuration may be complicated and the circuit scale may be increased.
[0128]
(effect)
If the processing block ranges are the same, the system configuration can be simplified and the circuit scale can be reduced.
[0129]
(8) Further, the high-frequency component signal of the signal related to the first spectral sensitivity characteristic obtained from the frequency resolution means is compared with the high-frequency component signal of the signal related to the second and subsequent spectral sensitivity characteristics with a small amount of information. A high frequency component signal obtained from the high frequency component signal generating means and a signal relating to the second and subsequent spectral sensitivity characteristics obtained from the frequency resolving means according to the comparison result in the high frequency signal comparing means and the high frequency signal comparing means. The signal processing device according to any one of (1) to (7.2), characterized in that high-frequency component signal switching means for adaptively switching the high-frequency component signal of (1) to (7.2).
[0130]
(Conventional problem)
For example, it is assumed that “Green is a signal related to the first spectral sensitivity characteristic having a large amount of information” and “Red or Blue is a signal related to the second and subsequent spectral sensitivity characteristics”. At this time, when the high-frequency component is generated when the high-frequency information of Green is less than the high-frequency information of Red or Blue, the high-frequency component is reduced, and the definition of the image is deteriorated (there is color dependency) In the case of a signal, the definition may be reduced).
[0131]
(effect)
Even if the high frequency information of Green is less than the high frequency information of Red or Blue under the assumption condition (conventional problem), the high frequency information of the image originally possessed by Red or Blue does not decrease and the definition is high. Does not deteriorate.
[0132]
(9) The signal processing according to (8), wherein the high-frequency signal comparison unit and the high-frequency component signal switching unit are prepared for each signal related to the second and subsequent spectral sensitivity characteristics with a small amount of information. apparatus.
[0133]
(Conventional problem)
For example, it is assumed that “Green is a signal related to the first spectral sensitivity characteristic having a large amount of information” and “Red or Blue is a signal related to the second and subsequent spectral sensitivity characteristics”. Further, it is assumed that there is less Green high-frequency information than Red high-frequency information, and there is more Green high-frequency information than Blue high-frequency information.
[0134]
In this case, if pixel interpolation processing using high frequency information generation is performed, the high frequency information of Red is reduced, and the definition of the image is deteriorated. That is, the high-frequency information of a specific color is reduced (in the case of a color-dependent signal, the definition may be reduced depending on the color).
[0135]
(effect)
Even under the assumptions of the “conventional example and its problems”, the high-frequency information of a specific color does not decrease (in the case of a color-dependent signal, it is possible to avoid a case where the definition is degraded by color). ).
[0136]
(10) Further, the high frequency signal comparison means includes a dispersion calculation means for calculating a dispersion value of the amplitude of the high frequency component signal of the first and second and subsequent spectral sensitivity characteristics, and the obtained dispersion values. The signal processing apparatus according to (8), further comprising comparison means for comparing.
[0137]
(Conventional problem)
If the high-frequency signal comparison is accurately performed, the amount of calculation is large and the actual processing time becomes long.
[0138]
(effect)
Compared to a case where high-frequency signals are compared for all signals, almost the same determination can be made, and the amount of calculation is small, which can be realized with a short processing time.
[0139]
(11) Further, the high-frequency signal comparison means includes calculation means for calculating a difference between the maximum value and the minimum value of the high-frequency component signal of the signal relating to the first and second and subsequent spectral sensitivity characteristics, and each obtained (8) The signal processing apparatus according to (8), further comprising a comparison unit that compares a difference between a maximum value and a minimum value.
[0140]
(Conventional problem)
Even when “the dispersion value of the amplitude of the high-frequency component signal relating to the first and second and subsequent spectral sensitivity characteristics” is used, the amount of calculation is large and the actual processing time is long.
[0141]
(effect)
Compared with the case where “the dispersion value of the amplitude of the high-frequency component signal of the signal relating to the first and second and subsequent spectral sensitivity characteristics” is used, almost the same judgment can be made, the amount of calculation is small, and the processing time is short. It becomes feasible.
[0142]
(12) Further, the high-frequency signal comparison means compares the dispersion calculation means for calculating the amplitude dispersion value of the high-frequency component signal of the signal relating to the first spectral sensitivity characteristic, and compares the obtained dispersion value with the threshold value. The signal processing apparatus according to (8), further comprising: means.
[0143]
(Conventional problem)
Even when the comparison of “the dispersion value of the amplitude of the high-frequency component signal of the signal relating to the first and second and subsequent spectral sensitivity characteristics” is used, the calculation amount is large and the actual processing time is long.
[0144]
(effect)
The same effect can be obtained with a small amount of calculation.
[0145]
(13) Further, the high-frequency signal comparison means includes calculation means for calculating a difference between the maximum value and the minimum value of the high-frequency component signal of the signal relating to the first spectral sensitivity characteristic, and the obtained maximum value and minimum value. The signal processing apparatus according to (8), further comprising a comparison unit that compares the difference with a threshold value.
[0146]
(Conventional problem)
Even when the “high-frequency signal comparison means” uses a comparison between “the difference between the maximum value and the minimum value of the high-frequency component signal of the signal relating to the first spectral sensitivity characteristic” and “threshold value”, the amount of calculation The actual processing time is long.
[0147]
(effect)
The same effect can be obtained with less computation.
[0148]
(14) Further, the frequency resolving means performs frequency decomposition using a function whose distribution is a local function as a basis function, as described in any one of (1) to (13) except (2.1) Signal processing equipment.
[0149]
(Conventional problem)
For example, when compression is performed by a frequency resolving means using a DCT coefficient whose distribution is not local, image quality is often deteriorated.
[0150]
(effect)
Compared with the case where the compression by the frequency resolving means using the DCT coefficient is performed, an image quality with a finer resolution can be obtained.
[0151]
(15) Further, the frequency synthesizing unit performs frequency synthesis using a function whose distribution is a local function as a basis function, according to any one of (1) to (13) except for (1.1) Signal processing equipment.
[0152]
(Conventional problem)
When the distribution is not localized, for example, when the expansion is performed by the frequency synthesizing means using the DCT coefficient, the image quality is often deteriorated.
[0153]
(effect)
Compared with the case where the expansion is performed by the frequency resolving means using the DCT coefficient, an image quality with a finer resolution can be obtained.
[0154]
(16) The signal processing apparatus according to (14), wherein the frequency decomposition means that performs frequency decomposition using a local function of the distribution as a basis function performs frequency decomposition by wavelet transform.
[0155]
(Conventional problem)
For example, when compression is performed by a frequency resolving means using a DCT coefficient whose distribution is not local, image quality is often deteriorated.
[0156]
(effect)
Compared with the case where the compression by the frequency resolving means using the DCT coefficient is performed, an image quality with excellent definition can be obtained, and the realization is easy.
[0157]
(17) The signal processing apparatus according to (15), wherein the frequency synthesis unit that performs frequency synthesis using a local distribution function as a basis function performs frequency synthesis by inverse wavelet transform.
[0158]
(Conventional problem)
When the distribution is not localized, for example, when the expansion is performed by the frequency synthesizing means using the DCT coefficient, the image quality is often deteriorated.
[0159]
(effect)
Compared with the case where expansion is performed by the frequency synthesizing means using the DCT coefficient, it is possible to obtain an image quality with excellent definition and to realize it easily.
[0160]
【The invention's effect】
According to the first aspect of the present invention, it is possible to reduce image quality degradation caused by a decrease in the amount of high-frequency components that occurs during signal compression. Can be reduced).
[0161]
According to the second aspect of the present invention, compared with the configuration of the first aspect, the circuit scale can be reduced, or the same processing content can be realized in a short sequence (miniaturization of the apparatus or processing). Speeding up is possible).
[0162]
According to the third aspect of the present invention, it is possible to reduce image quality degradation due to a decrease in the amount of high-frequency components generated at the time of signal compression recording (when signal compression has been performed in advance, The operation after the signal decompression can reduce the degree of blurring of fine portions of the decompressed image).
[0163]
According to the invention described in claim 4, compared with the configuration of
[0164]
According to the fifth aspect of the present invention, even in the case of performing “signal compression / decompression that suppresses high frequency components using the frequency resolving means” in the photographing apparatus having “image input means”, suppression of high frequency components is performed. By reducing the image quality, it is possible to reduce the deterioration of image quality. Therefore, in the compressed image, it is possible to obtain an image quality close to that of an image captured using a higher-pixel image input means (the degree of blurring of the fine portions of the compressed image and the expanded image is reduced).
[0165]
According to the sixth aspect of the present invention, it is possible to obtain an image quality with a finer definition than when compression is performed by frequency resolving means using DCT coefficients.
[0166]
According to the seventh aspect of the present invention, it is possible to obtain an image quality with excellent definition as compared with the case where the expansion by the frequency synthesizing means using the DCT coefficient is performed.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a recording or transmission signal processing apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a configuration of a reproduction or reception signal processing apparatus according to an embodiment of the present invention.
FIG. 3 is a diagram for explaining the details of an operation flow when recording by frequency decomposition and high-frequency signal component generation by frequency decomposition are separately performed at the time of signal recording.
4 is a diagram showing a modification of the operation flow shown in FIG. 3. FIG.
FIG. 5 is a diagram for explaining the details of an operation flow when performing reproduction by frequency decomposition and generation of a high-frequency signal component by frequency decomposition at the time of signal reproduction;
6 is a diagram showing a modification of the operation flow shown in FIG.
FIG. 7 is a diagram illustrating a Bayer array as an example of a color filter array of the
FIG. 8 is a diagram for explaining an interpolation process according to the present embodiment.
FIG. 9 is a diagram for explaining block division processing according to the present embodiment;
FIG. 10 is a diagram for explaining a modification of the block division processing according to the present embodiment.
FIG. 11 is a diagram for explaining an example of frequency decomposition processing according to the present embodiment;
FIG. 12 is a diagram for explaining a first embodiment of switching processing of a high-frequency component signal.
FIG. 13 is a diagram for explaining a second embodiment of switching processing of a high-frequency component signal.
FIG. 14 is a diagram illustrating an image composed of m pixels × n pixels.
FIG. 15 is a diagram for explaining a third embodiment of the switching process of the high-frequency component signal.
FIG. 16 is a diagram for explaining a fourth embodiment of the switching process of the high-frequency component signal.
FIG. 17 is a diagram for explaining a fifth embodiment of switching processing of high-frequency component signals;
[Explanation of symbols]
1 Image input section
2 Control unit
3-1 R buffer
3-2 G buffer
3-3 B buffer
4-1 Frequency decomposition unit for R
4-2 Frequency decomposition part for G
4-3 Frequency resolution section for B
5-1 R high frequency buffer
5-2 R low frequency buffer
5-3 G high frequency buffer
5-4 G low frequency buffer
5-5 B high frequency buffer
5-6 B low frequency buffer
6-1 G and R correlation coefficient calculator
6-2 G and B correlation coefficient calculator
7-1 R high-frequency component signal generator
7-2 G / R high-frequency signal comparator
7-3 G and B high-frequency signal comparator
7-4 High frequency component signal generator for B
8-1 High-frequency component signal switching unit for R
8-2 High-frequency component signal switching unit for B
9 Signal compression section
10 Recording or transmitting unit
Claims (5)
信号を、その周波数成分に応じて複数に分解する第１の周波数分解手段と、
情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号との間で、相関係数を演算する相関係数演算手段と、
この相関係数演算手段から得られた相関係数と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号に基づいて、情報量が少ない第２番目以降の分光感度特性に関する信号の高周波成分信号を生成する高周波成分信号生成手段と、
前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の低周波成分信号と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記第１の周波数分解手段から得られた情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、前記高周波成分信号生成手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号とを合成する第１の周波数合成手段と、
前記第１の周波数合成手段から得られた信号を、その周波数成分に応じて複数に分解する第２の周波数分解手段と、
前記第２の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記第２の周波数分解手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号について、高周波数域側の信号を削除する量を制御する事により高周波成分の信号量を可変する高周波成分信号量可変手段と、
前記第２の周波数分解手段から得られた第１番目の分光感度特性に関する信号の低周波成分信号と、前記第２の周波数分解手段から得られた情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、前記高周波成分信号量可変手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記高周波成分信号量可変手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号を記録又は送信する信号記録／送信手段と、
を具備することを特徴とする信号処理装置。In a signal processing apparatus that processes a signal in which a signal information amount related to at least one spectral sensitivity characteristic is larger than a signal information amount related to another spectral sensitivity characteristic among a plurality of spectral sensitivity characteristics.
First frequency resolving means for decomposing the signal into a plurality according to the frequency component;
A correlation coefficient is calculated between the low frequency component signal of the first spectral sensitivity characteristic with a large amount of information and the low frequency component signal of the second and subsequent spectral sensitivity characteristics with a small amount of information. Correlation coefficient calculation means;
Based on the correlation coefficient obtained from the correlation coefficient computing means and the high frequency component signal of the signal relating to the first spectral sensitivity characteristic obtained from the first frequency resolving means, the second information amount is small. A high-frequency component signal generating means for generating a high-frequency component signal of a signal relating to the spectral sensitivity characteristics thereafter;
The low frequency component signal of the signal related to the first spectral sensitivity characteristic obtained from the first frequency resolution means and the high frequency component of the signal related to the first spectral sensitivity characteristic obtained from the first frequency resolution means A signal, a low frequency component signal of the second and subsequent spectral sensitivity characteristics with a small amount of information obtained from the first frequency resolving means, and a second and subsequent frequency signals obtained from the high frequency component signal generating means. First frequency synthesizing means for synthesizing a high frequency component signal of a signal related to spectral sensitivity characteristics;
Second frequency decomposing means for decomposing the signal obtained from the first frequency synthesizing means into a plurality of signals according to the frequency components;
The high frequency component signal of the signal related to the first spectral sensitivity characteristic obtained from the second frequency resolution means and the high frequency component of the signal related to the second and subsequent spectral sensitivity characteristics obtained from the second frequency resolution means. About the signal, the high frequency component signal amount variable means for varying the signal amount of the high frequency component by controlling the amount of deleting the signal on the high frequency side,
The low frequency component signal of the signal related to the first spectral sensitivity characteristic obtained from the second frequency resolving means, and the second and subsequent spectral sensitivity characteristics with a small amount of information obtained from the second frequency resolving means. A low-frequency component signal of the signal, a high-frequency component signal of the signal relating to the first spectral sensitivity characteristic obtained from the high-frequency component signal amount varying means, and a second and later obtained from the high-frequency component signal amount varying means A signal recording / transmitting means for recording or transmitting a high-frequency component signal of a signal related to the spectral sensitivity characteristics of
A signal processing apparatus comprising:
送信又は記録された、情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、当該第１番目の分光感度特性に関する信号の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、高周波成分信号生成手段から生成された、当該第２番目以降の分光感度特性に関する信号の高周波成分信号を、再生又は受信して合成する第１の周波数合成手段と、
信号を、その周波数成分に応じて複数に分解する第１の周波数分解手段と、
情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号との間で、相関係数を演算する相関係数演算手段と、
この相関係数演算手段から得られた相関係数と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性に関する信号の高周波成分信号を生成する高周波成分信号生成手段と、
この高周波成分信号生成手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号と、情報量の少ない第２番目以降の分光感度特性に関する信号の低周波成分信号とを合成して、第２番目以降の分光感度特性に関する信号の出力信号を生成する第２の周波数合成手段と、
を具備することを特徴とする信号処理装置。In a signal processing apparatus that processes a signal in which a signal information amount related to at least one spectral sensitivity characteristic is larger than a signal information amount related to another spectral sensitivity characteristic among a plurality of spectral sensitivity characteristics.
The low frequency component signal of the signal related to the first spectral sensitivity characteristic with a large amount of information transmitted or recorded, the high frequency component signal of the signal related to the first spectral sensitivity characteristic, and the second and subsequent ones with a small amount of information A first low-frequency component signal of the signal related to the spectral sensitivity characteristic and a high-frequency component signal of the signal related to the second and subsequent spectral sensitivity characteristics generated from the high-frequency component signal generation means are reproduced or received and synthesized. Frequency synthesis means;
First frequency resolving means for decomposing the signal into a plurality according to the frequency component;
A correlation coefficient is calculated between the low frequency component signal of the first spectral sensitivity characteristic with a large amount of information and the low frequency component signal of the second and subsequent spectral sensitivity characteristics with a small amount of information. Correlation coefficient calculation means;
Based on the correlation coefficient obtained from the correlation coefficient calculating means and the high frequency component signal of the signal relating to the first spectral sensitivity characteristic obtained from the first frequency resolving means, the second information amount is small. A high-frequency component signal generating means for generating a high-frequency component signal of a signal relating to the spectral sensitivity characteristics thereafter;
By combining the high frequency component signal of the second and subsequent spectral sensitivity characteristics obtained from the high frequency component signal generating means and the low frequency component signal of the second and subsequent spectral sensitivity characteristics having a small amount of information. Second frequency synthesizing means for generating an output signal of a signal relating to the second and subsequent spectral sensitivity characteristics;
A signal processing apparatus comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001284034A JP4713794B2 (en) | 2001-09-18 | 2001-09-18 | Signal processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001284034A JP4713794B2 (en) | 2001-09-18 | 2001-09-18 | Signal processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003092765A JP2003092765A (en) | 2003-03-28 |
| JP4713794B2 true JP4713794B2 (en) | 2011-06-29 |
Family
ID=19107432
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001284034A Expired - Fee Related JP4713794B2 (en) | 2001-09-18 | 2001-09-18 | Signal processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4713794B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3926363B2 (en) * | 2004-11-04 | 2007-06-06 | 三菱電機株式会社 | Pixel signal processing apparatus and pixel signal processing method |
| JP4894594B2 (en) * | 2007-04-05 | 2012-03-14 | ソニー株式会社 | Image processing device |
| WO2012101708A1 (en) * | 2011-01-28 | 2012-08-02 | 日本電気株式会社 | 2d signal encoding device |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001136542A (en) * | 1999-11-09 | 2001-05-18 | Olympus Optical Co Ltd | Signal processor |
-
2001
- 2001-09-18 JP JP2001284034A patent/JP4713794B2/en not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001136542A (en) * | 1999-11-09 | 2001-05-18 | Olympus Optical Co Ltd | Signal processor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003092765A (en) | 2003-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lukac et al. | Demosaicked image postprocessing using local color ratios | |
| US8750390B2 (en) | Filtering and dithering as pre-processing before encoding | |
| JP4508279B2 (en) | Image processing apparatus, image processing method, and program | |
| US8488026B2 (en) | Image capturing system and computer readable recording medium for recording image processing program | |
| US7719618B2 (en) | Method and apparatus for masking of video artifacts and/or insertion of film grain in a video decoder | |
| KR101051604B1 (en) | Image processing apparatus and method | |
| US8391598B2 (en) | Methods for performing local tone mapping | |
| JP2012104968A (en) | Image processing system and control method for the same | |
| US20100290762A1 (en) | Method and apparatus for decimation mode determination utilizing block motion | |
| GB2247377A (en) | Motion signal processor. | |
| JP4713794B2 (en) | Signal processing device | |
| JP5691374B2 (en) | Data compression device | |
| JP2002539657A (en) | Process, apparatus and use for evaluating an encoded image | |
| US20070133680A1 (en) | Method of and apparatus for coding moving picture, and method of and apparatus for decoding moving picture | |
| JP5249111B2 (en) | Image processing apparatus, method, program, and imaging system | |
| JP4143322B2 (en) | Image reproducing apparatus and image reproducing method | |
| JP4224996B2 (en) | Imaging device | |
| JPH0846934A (en) | Processor for digital picture signal | |
| JP5066041B2 (en) | Image signal processing apparatus and image signal processing method | |
| JP2006523409A (en) | Spatial image conversion apparatus and method | |
| CN117830096A (en) | A super-resolution reconstruction method for face images under low light conditions | |
| JP4216973B2 (en) | Signal processing device | |
| JP4832411B2 (en) | Noise reduction processing apparatus and noise reduction processing method | |
| RU2154917C2 (en) | Improved final processing method and device for image signal decoding system | |
| JP2006345446A (en) | Moving picture conversion apparatus and moving picture conversion method, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080520 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100615 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100813 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110322 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110325 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4713794 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140401 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |