[go: up one dir, main page]

JP4501855B2 - 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム - Google Patents

画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP4501855B2
JP4501855B2 JP2005369378A JP2005369378A JP4501855B2 JP 4501855 B2 JP4501855 B2 JP 4501855B2 JP 2005369378 A JP2005369378 A JP 2005369378A JP 2005369378 A JP2005369378 A JP 2005369378A JP 4501855 B2 JP4501855 B2 JP 4501855B2
Authority
JP
Japan
Prior art keywords
image
demosaic
rgb
signal
noise reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005369378A
Other languages
English (en)
Other versions
JP2007174276A (ja
Inventor
肇 保坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005369378A priority Critical patent/JP4501855B2/ja
Priority to US11/640,244 priority patent/US8467088B2/en
Publication of JP2007174276A publication Critical patent/JP2007174276A/ja
Application granted granted Critical
Publication of JP4501855B2 publication Critical patent/JP4501855B2/ja
Priority to US13/894,958 priority patent/US9191593B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムに関する。特に、単板カラー方式の固体撮像素子による撮像データの信号処理を行なう画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムに関する。
一般的な単板カラー方式の固体撮像素子は、撮像素子の表面に、各画素において特定の波長成分のみを透過するようなカラーフィルタを貼り付け、複数個の画素の組によって必要な色成分を復元するものである。このとき、カラーフィルタで用いられる色配列は、例えば、図１に示すように、４画素の組によって赤（Ｒ）、緑（Ｇ）、青（Ｂ）を表現するベイヤー配列などが使用される。単板カラー方式の固体撮像素子では、このように各画素は単一の色成分の情報しかもたないため、周囲の画素の色情報を用いて補間処理を行うことによって、各画素において必要な色成分を復元するデモザイク処理が行われる。
単板カラー方式の固体撮像素子を具備する撮像装置の構成を図２に示す。単板カラー方式の固体撮像素子１３は、光学レンズ１１を通して入射される光のうち、カラーフィルタ１２を透過する光を受光する。固体撮像素子１３で光電変換されて電気信号として出力される画像信号は、図示しないＡ／Ｄ変換器によりデジタル信号に変換された後、カメラ信号処理部１４において、クリッピング処理、ガンマ補正、ホワイトバランス補正、デモザイク処理などが施されて、画像圧縮部１５に送られる。画像圧縮部１５は、画像信号のデータ量を削減し、所定の記録用画像フォーマットに変換して出力する。記録部１６は、変換された画像データを記録媒体に記録する。ここで、必ずしも画像圧縮処理が施されなくても良いが、近年では撮像素子の画素数が増加し、かつ装置自体の小型化が要求されているために画像圧縮が行われるのが通常である。
図３を参照して、単板カラー方式の固体撮像素子により取得された画像のデモザイク処理について説明する。単板カラー方式の固体撮像素子は、原色系のベイヤー配列（図１参照）などの色配列を持つカラーフィルタを介した撮像を行なう構成であり、各画素に対して特定の波長の信号、すなわち特定波長の色成分データだけを取得するようになっている。ベイヤー配列の単板カラー方式の固体撮像素子を用いた場合、固体撮像素子の出力画像２０は、各画素にＲ，Ｇ，Ｂいずれかの情報のみを持つ色モザイク画像となる。
デモザイク処理部２１は、画素ごとに色補間処理を行うことにより各色成分データ、すなわち、Ｒ，Ｇ，Ｂの全ての情報を復元する処理を実行する。
まずデモザイク処理部２１の実行するＧ信号の復元について説明する。ベイヤー配列では、Ｇ信号は市松状に取得されている。固体撮像素子の出力画像２０においてＧ信号が存在しない画素（Ｇ１１を例にとる）では、周囲にあるＧ信号に基づく補間処理によって、Ｇ信号が生成される。具体的には、以下の式によってＧ信号（Ｇ１１）が復元される。
Ｇ１１＝（１／４）（Ｇ０１＋Ｇ２１＋Ｇ１０＋Ｇ１２）
次にＲ信号、およびＢ信号の復元について説明する。ベイヤー配列では、Ｒ，Ｂともに、１画素ラインおきにデータが存在する。例えば、図３に示す固体撮像素子の出力画像２０の最上段の画素ラインには、Ｒ信号は存在するがＢ信号は存在しない。また、２番目の画素ラインには、Ｂ信号は存在するがＲ信号は存在しない。
それぞれデータＲまたはＢが存在する画素ラインにおいては１画素おきにデータが取得されている。固体撮像素子の出力画像２０においてＲ信号（Ｂ信号）が存在しない画素で、同ラインにＲ信号（Ｂ信号）が存在する場合（Ｒ０１，Ｂ１２を例にとる）、その画素ライン上のＲ，Ｂ信号のない画素における補間画素値は、以下の式によって算出され、各画素のＲ信号（Ｂ信号）が復元される。
Ｒ０１＝（１／２）（Ｒ００＋Ｒ０２）
Ｂ１２＝（１／２）（Ｂ１１＋Ｂ１３）
同様にして、同カラムにＲ信号（Ｂ信号）が存在する場合（Ｒ１０，Ｂ２１を例にとる）、Ｒ，Ｂ信号のない画素における補間画素値は、以下の式によって算出され、各画素のＲ信号（Ｂ信号）が復元される。
Ｒ１０＝（１／２）（Ｒ００＋Ｒ２０）
Ｂ２１＝（１／２）（Ｂ１１＋Ｂ３１）
さらに、同ラインにも同カラムにもＲ信号（Ｂ信号）が存在しない場合（Ｒ１１，Ｂ２２を例にとる）、Ｒ，Ｂ信号のない画素における補間画素値は、以下の式によって算出され、各画素のＲ信号（Ｂ信号）が復元される。
Ｒ１１＝（１／４）（Ｒ００＋Ｒ０２＋Ｒ２０＋Ｒ２２）
Ｂ２２＝（１／４）（Ｂ１１＋Ｂ１３＋Ｂ３１＋Ｂ３３）
デモザイク処理部２１は、上述のような色補間処理を行い、全画素に対するＲ信号２２ｒ、Ｇ信号２２ｇ、Ｂ信号２２ｂを出力する。なお、補間処理は一例であり、他の色信号との相関を利用したような色補間処理を行っても良い。
単板カラー方式の固体撮像素子を具備する撮像装置において、ノイズを低減し、画像品質を向上させるための画像処理手法が様々提案されている。例えば、非特許文献１には、複数の異なる分光特性の画像を逐次撮影し、これらの複数の異なる分光特性画像を利用して、ノイズを低減した画像を得る手法を示している。すなわち、この手法は、
（ａ）目的に近い分光特性で撮影したノイズが多い画像、
（ｂ）不可視光を含んだり色味が異なったりする目的に近くない分光特性で撮影したノイズの少ない画像、
これらの２つの画像を逐次撮影し、これらの複数の異なる分光特性画像を利用して、色味が正しくてノイズの少ない画像を得ようとするものである。
この従来技術に示されたアルゴリズムを用いて、単板カラー方式の固体撮像素子を用いたノイズ低減処理構成について、図４を参照して説明する。撮像素子３０は、先に図１を参照して説明した一般的なＲＧＢ配列のベイヤー配列の撮像素子である。
この撮像素子３０を使用し、光源を変えて、複数の画像Ａ，Ｂを撮影する。すなわち、
（画像Ａ）目的に近い分光特性で撮影したノイズが多い画像、
（画像Ｂ）不可視光を含んだり色味が異なったりする目的に近くない分光特性で撮影したノイズの少ない画像、
これらの画像である。
この撮影処理により、２枚のモザイク画像Ａ，Ｂを得る。
モザイク画像Ａは暗いがノイズが多く色味が正確な画像であり、
モザイク画像Ｂは、明るくてノイズが少なく、色味が不正確な画像である。
これらに対し、ホワイトバランス処理部３１ａ，ｂにおいて、分光ごとに画素値を補正するホワイトバランスを適用し、それぞれに対して、デモザイク処理部３２ａ，ｂにおいて、図３を参照して説明したデモザイク処理を実行して、２枚の画像、高ノイズ画像Ａと低ノイズ画像Ｂを得る。
さらに、２枚の画像、高ノイズ画像Ａと低ノイズ画像Ｂは、ノイズ低減処理部３３に入力され、これらの２枚の画像に基づくノイズ低減処理が実行されて、出力ＲＧＢ画像を得る。
ノイズ低減処理部３３の構成および処理について、図５を参照して説明する。ノイズ低減処理部３３は、高ノイズ画像Ａと低ノイズ画像Ｂの２枚の画像を用い、これらの画像の合成によって高ノイズ画像Ａと同等の色味で、ノイズを低減した画像、出力ＲＧＢ画像を作成する。
ＲＧＢローパスフィルタ４２は、エッジ保存フィルタの一種であるクロスバイラテラルフィルタであり、入力画像としての低ノイズ画像ＢのＲ，Ｇ，Ｂそれぞれの成分から検出したエッジに基づきノイズの多い入力画像である高ノイズ画像Ａに含まれるエッジを保存したままノイズを低減する。
ＲＧＢローパスフィルタ４１は、特にエッジ保存性能を備えない、一般的なＦＩＲローパスフィルタをＲＧＢ各チャネルに適用する。ＲＧＢハイパスフィルタ４５は、ノイズの少ない入力画像である低ノイズ画像ＢのＲ，Ｇ，Ｂの各画素値についてそれぞれ高周波成分を取得する。高周波成分の取得は、入力画像にバイラテラルフィルタを適用した結果の画素値をフィルタ適用前の画像の画素値で除算することによって行う。
ブレンド実行部４４は、予め設定されたブレンド関数を適用して、ＲＧＢローパスフィルタ４２の出力画像の画素値に、ＲＧＢハイパスフィルタ４５の出力画像の画素値を乗じた画素値を持つ画像データを生成して出力する。
スペキュラ検出部４３は、高ノイズ画像Ａと低ノイズ画像Ｂの各画素について、ハイライトや影などの２枚の画像の照明変更による違いを抽出し、照明変更による画素値差の発生可能性の高さを評価する。ブレンド実行部４６は、スペキュラ検出部４３の評価結果に基づいて、ＲＧＢローパスフィルタ４１の出力とブレンド実行部４４の出力の重み付け加算を行い、出力ＲＧＢ画像を生成する。
ブレンド実行部４６は、スペキュラ検出部４３において、照明変更による影やハイライトが生じている可能性が高いと判定された画素部分は、ＲＧＢローパスフィルタ４１から出力された画素値の重みを高くして、可能性が低い場合は、照明の違いによって被写体の詳細部が現れたものとみなして、ブレンド実行部４４の出力画素値重みを高くする設定を行い、ＲＧＢローパスフィルタ４１の出力とブレンド実行部４４の出力の重み付け加算を行い、出力ＲＧＢ画像を生成する。
しかし、このアルゴリズムは、画像を異なる分光で複数枚撮影することを前提に実現されており、同じ瞬間に画像を１回しか撮影できない、一般的なデジタルカメラやムービーカメラに適用することができないという問題点を有する。
Ｇｅｏｒｇ Ｐｅｔｓｃｈｎｉｇｇ Ｅｔ ａｌ， Ｄｉｇｉｔａｌ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ Ｆｌａｓｈ ａｎｄ Ｎｏ−Ｆｌａｓｈ Ｉｍａｇｅ ｐａｉｒｓ， ａｃｍ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｇｒａｐｈｉｃｓ， Ｖｏｌ． ２３， Ｎｕｍｂｅｒ ３， ｐｐ． ６６４−６７２， Ａｕｇｕｓｔ ２００４
本発明は、単板カラー方式の固体撮像素子を具備する撮像装置において、ノイズを低減し、画像品質を向上させるための画像処理手法を提案するものであり、上述した複数毎の画像を入力する必要を排除し、一枚の撮影画像に基づいてノイズを低減し、画像品質を向上させた出力画像を得ることを可能とする画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
さらに、本発明は、単板カラー方式の固体撮像素子の一部に、不可視光に分光がある設定とした撮像素子（イメージャ）を用いることで、１回の撮影画像のみに基づくノイズ低減処理を実現可能とし、一般的なディジタルスチルカメラやビデオカメラなどにおいても適用可能な画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第１の側面は、
画像信号処理装置であり、
可視光信号を取得する可視光取得素子と、不可視光成分を含む信号を取得する不可視光取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号各々のモザイク画像データを入力し、取得信号各々のデモザイク画像を生成するデモザイク処理部と、
前記デモザイク画像を入力し、前記不可視光取得素子によって取得された信号のデモザイク画像から抽出したエッジ情報に基づいて、可視光取得素子によって取得されたデモザイク画像の画素値補正を実行するノイズ低減処理部と、
を有することを特徴とする画像信号処理装置にある。
さらに、本発明の画像信号処理装置の一実施態様において、前記可視光取得素子は、ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、前記不可視光取得素子は、ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であり、前記デモザイク処理部は、ＲＧＢ色信号を個別に取得するＲＧＢ素子とＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子によって構成される色配列を持つ単板式撮像素子によって取得されるＲＧＢおよびＡ信号各々のモザイク画像データを入力し、ＲＧＢおよびＡ信号各々のデモザイク画像を生成する構成であり、前記ノイズ低減処理部は、前記ＲＧＢおよびＡ信号のデモザイク画像を入力し、Ａ信号のデモザイク画像から抽出したエッジ情報に基づいて、ＲＧＢデモザイク画像の画素値補正を実行する構成を有することを特徴とする。
さらに、本発明の画像信号処理装置の一実施態様において、前記ノイズ低減処理部は、Ａ信号のデモザイク画像から検出したエッジ情報に基づいて、ＲＧＢデモザイク画像を構成する画素の画素値を、画素近傍のエッジ分布に応じて周囲画素の画素値に基づいて補正する処理を実行する構成であることを特徴とする。
さらに、本発明の画像信号処理装置の一実施態様において、前記画像信号処理装置は、前記Ａ信号に基づくデモザイク画像としてのエッジ評価画像を生成するデモザイク処理部と、前記ＲＧＢ信号各々のモザイク画像のデモザイク処理を、前記Ａ信号のデモザイク画像としてのエッジ評価画像に基づいてエッジ位置を考慮したデモザイク処理を実行してノイズ低減およびデモザイク処理を併せて実行するデモザイク兼用ノイズ低減処理部と、を有する構成であることを特徴とする。
さらに、本発明の画像信号処理装置の一実施態様において、前記デモザイク兼用ノイズ低減処理部は、前記ＲＧＢ信号各々のモザイク画像のデモザイク処理に際して、補正対象画素と参照画素の距離に依存する距離依存重み［Ｗｓ］と、前記Ａ信号のデモザイク画像としてのエッジ評価画像に従って算出した画像のエッジの強さに依存するエッジ依存重み［Ｗｒ］の積によって算出される重み［Ｗ］を適用して、ＲＧＢデモザイク画像における各画素位置（ｘ，ｙ）の出力画素値［Ｏｕｔ（ｘ，ｙ）］を、周囲画素の画素値に基づいて算出する処理を実行する構成を有することを特徴とする。
さらに、本発明の画像信号処理装置の一実施態様において、前記画像信号処理装置は、さらに、前記Ａ信号のデモザイク画像から抽出したエッジ情報に基づいて、前記Ａ信号に対応するノイズ低減Ａデモザイク画像を生成するＡノイズ低減処理部と、前記ノイズ低減処理部において生成したノイズ低減ＲＧＢデモザイク画像と、前記ノイズ低減Ａデモザイク画像とを入力し、入力したＲＧＢＡ４つのデモザイク画像の対応画素の画素値をマトリックス演算により変換して、ＲＧＢ信号から赤外光成分を除去したＲＧＢ画像を生成するマトリックス演算実行部とを有することを特徴とする。
さらに、本発明の画像信号処理装置の一実施態様において、前記マトリックス演算実行部は、前記ノイズ低減処理部において生成したノイズ低減ＲＧＢデモザイク画像と、前記ノイズ低減Ａデモザイク画像とに基づいて、赤外光成分からなる予測赤外画像を生成して出力する構成であることを特徴とする。
さらに、本発明の第２の側面は、
撮像装置であり、
ＲＧＢ色信号を個別に取得するＲＧＢ素子とＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子によって構成される色配列を持つ撮像素子と、
前記単板式撮像素子によって取得されるＲＧＢおよびＡ信号各々のモザイク画像データを入力し、ＲＧＢおよびＡ信号各々のデモザイク画像を生成するデモザイク処理部と、
前記ＲＧＢおよびＡ信号のデモザイク画像を入力し、Ａ信号のデモザイク画像から抽出したエッジ情報に基づいて、ＲＧＢデモザイク画像の画素値補正を実行するノイズ低減処理部と、
を有することを特徴とする撮像装置にある。
さらに、本発明の撮像装置の一実施態様において、前記撮像素子は、Ａ信号を取得するＡ素子が市松状に配置されている構成であることを特徴とする。
さらに、本発明の第３の側面は、
画像信号処理方法であり、
可視光信号を取得する可視光取得素子と、不可視光成分を含む信号を取得する不可視光取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号各々のモザイク画像データを入力し、取得信号各々のデモザイク画像を生成するデモザイク処理ステップと、
前記デモザイク画像を入力し、前記不可視光取得素子によって取得された信号のデモザイク画像から抽出したエッジ情報に基づいて、可視光取得素子によって取得されたデモザイク画像の画素値補正を実行するノイズ低減処理ステップと、
を有することを特徴とする画像信号処理方法にある。
さらに、本発明の画像信号処理方法の一実施態様において、前記可視光取得素子は、ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、前記不可視光取得素子は、ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であり、前記デモザイク処理ステップは、ＲＧＢ色信号を個別に取得するＲＧＢ素子とＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子によって構成される色配列を持つ単板式撮像素子によって取得されるＲＧＢおよびＡ信号各々のモザイク画像データを入力し、ＲＧＢおよびＡ信号各々のデモザイク画像を生成するステップであり、前記ノイズ低減処理ステップは、前記ＲＧＢおよびＡ信号のデモザイク画像を入力し、Ａ信号のデモザイク画像から抽出したエッジ情報に基づいて、ＲＧＢデモザイク画像の画素値補正を実行するステップであることを特徴とする。
さらに、本発明の画像信号処理方法の一実施態様において、前記ノイズ低減処理ステップは、Ａ信号のデモザイク画像から検出したエッジ情報に基づいて、ＲＧＢデモザイク画像を構成する画素の画素値を、画素近傍のエッジ分布に応じて周囲画素の画素値に基づいて補正する処理を実行するステップであることを特徴とする。
さらに、本発明の画像信号処理方法の一実施態様において、前記画像信号処理方法は、前記Ａ信号に基づくデモザイク画像としてのエッジ評価画像を生成するデモザイク処理ステップと、前記ＲＧＢ信号各々のモザイク画像のデモザイク処理を、前記Ａ信号のデモザイク画像としてのエッジ評価画像に基づいてエッジ位置を考慮したデモザイク処理を実行してノイズ低減およびデモザイク処理を併せて実行するデモザイク兼ノイズ低減処理ステップとを有することを特徴とする。
さらに、本発明の画像信号処理方法の一実施態様において、前記デモザイク兼ノイズ低減処理ステップは、前記ＲＧＢ信号各々のモザイク画像のデモザイク処理に際して、補正対象画素と参照画素の距離に依存する距離依存重み［Ｗｓ］と、前記Ａ信号のデモザイク画像としてのエッジ評価画像に従って算出した画像のエッジの強さに依存するエッジ依存重み［Ｗｒ］の積によって算出される重み［Ｗ］を適用して、ＲＧＢデモザイク画像における各画素位置（ｘ，ｙ）の出力画素値［Ｏｕｔ（ｘ，ｙ）］を、周囲画素の画素値に基づいて算出する処理を実行するステップであることを特徴とする。
さらに、本発明の画像信号処理方法の一実施態様において、前記画像信号処理方法は、さらに、前記Ａ信号のデモザイク画像から抽出したエッジ情報に基づいて、前記Ａ信号に対応するノイズ低減Ａデモザイク画像を生成するＡノイズ低減処理ステップと、前記ノイズ低減処理ステップにおいて生成したノイズ低減ＲＧＢデモザイク画像と、前記ノイズ低減Ａデモザイク画像とを入力し、入力したＲＧＢＡ４つのデモザイク画像の対応画素の画素値をマトリックス演算により変換して、ＲＧＢ信号から赤外光成分を除去したＲＧＢ画像を生成するマトリックス演算実行ステップとを有することを特徴とする。
さらに、本発明の画像信号処理方法の一実施態様において、前記マトリックス演算実行ステップは、前記ノイズ低減処理ステップにおいて生成したノイズ低減ＲＧＢデモザイク画像と、前記ノイズ低減Ａデモザイク画像とに基づいて、赤外光成分からなる予測赤外画像を生成して出力するステップであることを特徴とする。
さらに、本発明の第４の側面は、
画像処理装置において画像信号処理を実行させるコンピュータ・プログラムであり、
可視光信号を取得する可視光取得素子と、不可視光成分を含む信号を取得する不可視光取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号各々のモザイク画像データを入力し、取得信号各々のデモザイク画像を生成するデモザイク処理ステップと、
前記デモザイク画像を入力し、前記不可視光取得素子によって取得された信号のデモザイク画像から抽出したエッジ情報に基づいて、可視光取得素子によって取得されたデモザイク画像の画素値補正を実行するノイズ低減処理ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の構成によれば、ＲＧＢ信号等の可視光信号を取得する可視光取得素子と、赤外光などの不可視光成分を含む信号を取得する不可視光取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号各々のモザイク画像データに基づいて、取得信号各々のデモザイク画像を生成し、不可視光取得素子によって取得された信号のデモザイク画像から抽出したエッジ情報に基づいて、可視光取得素子によって取得されたデモザイク画像の画素値補正を実行することで、１回の撮影処理によって得られた１枚の画像に基づいてノイズを低減した高品質な画像データを取得することができる。
以下、図面を参照しながら、本発明の画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムについて説明する。説明は、以下の順番で行なう。
１、撮像素子構成
２．画像信号処理例１
３．画像信号処理例２
４．画像信号処理例３
５．画像信号処理例４
［１．撮像素子構成］
まず、本発明の撮像装置において適用する撮像素子（イメージャ）の構成について説明する。本発明の撮像装置は、基本的には、先に図２を参照して説明したと同様の高を有するが、撮像装置において適用する撮像素子（イメージャ）が、図１を参照して説明したベイヤー配列とは異なる構成を持つ。本発明の撮像装置において適用する撮像素子（イメージャ）の構成について、図６を参照して説明する。先に図１を参照して、一般的な単板カラー方式の固体撮像素子について説明したが、一般的な単板カラー方式の固体撮像素子は、撮像素子の表面に、各画素において特定の波長成分のみを透過するようなカラーフィルタを貼り付け、複数個の画素の組によって必要な色成分を復元するものである。このとき、カラーフィルタで用いられる色配列は、例えば、図１に示すように、４画素の組によって赤（Ｒ）、緑（Ｇ）、青（Ｂ）を表現するベイヤー配列などが使用される。
本発明の撮像装置において適用する撮像素子は、図６に示す色配列を有する。すなわち、
赤色近傍の波長を透過する赤（Ｒ）、
緑色近傍の波長を透過する緑（Ｇ）、
青色近傍の波長を透過する青（Ｂ）、
これらに加え、
赤外線（ＩＲ）とＲＧＢのすべてを透過するＡ、
これら４種類の分光特性を持つフィルタによって構成される。４種類の分光は、Ｒチャネル、Ｇチャネル、Ｂチャネル，そして赤外線（ＩＲ）とＲＧＢをすべて透過するＡチャネルからなり、この撮像素子によって４種類の分光から成るモザイク画像が得られる。
本発明の撮像装置において適用する撮像素子は、図６に示すように、ＲＧＢ色信号を個別に取得するＲＧＢ素子とＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子によって構成される色配列を持つ単板式撮像素子であり、Ａ信号の取得素子は、市松状に配置されている。本発明の撮像装置では、図６に示す撮像素子（イメージャ）を適用して撮影した１枚の画像データに基づいてノイズ低減処理や赤外光除去処理などの信号処理を実行し、高品質な画像を得る。
［２．画像信号処理例１］
次に、図６に示す撮像素子（イメージャ）を適用して撮影した１枚の画像データに基づくノイズ低減処理の第１の具体例について、図７以下を参照して説明する。本処理例は、例えば低照度の下で撮影された画像など、ノイズを多く含む画像についてのノイズ低減処理を図６に示す撮像素子（イメージャ）を適用して撮影した１枚の画像データに基づいて実行する処理例である。
図７に、本発明の実施例１に係る撮像装置の画像信号処理構成を示す。撮像素子１０１は、図６を参照して説明したＲＧＢＡ撮像素子であり、ＲＧＢＡ４種類の分光特性を持つフィルタによって構成される。４種類の分光は、Ｒチャネル、Ｇチャネル、Ｂチャネル，そして赤外線（ＩＲ）とＲＧＢをすべて透過するＡチャネルからなる。
撮像素子１０１によって撮影される画像は、４種類の分光から成るモザイク画像となる。このモザイク画像は、図８（１）に示すようにＲＧＢＡ各チャネルからなる４種類のモザイク画像である。これらのモザイク画像は、ホワイトバランス処理部１０２に入力される。
ホワイトバランス処理部１０２では、４種類の異なる分光特性のモザイク画像に含まれる画素値範囲を概略同じにするためのホワイトバランス補正処理を実行する。それぞれ異なる分光特性のモザイク画像の構成画素値にホワイトバランスの調整処理によって、各モザイク画像に含まれる画素値範囲を概略同じにする補正が施され、補正済みモザイク画像を得る。
４つのモザイク画像の画素の配列は、図８（１）に示す通りである。なお、図６を参照して説明したように、Ｒ，Ｇ，Ｂの標記はそれぞれ赤、緑、青に主な分光があり、Ａの画素は青、緑、赤に加えて赤外光（ＩＲ）成分も含む画素である。
これらの４つのモザイク画像は、次にデモザイク処理部１０３においてデモザイク処理が実行され、ＲＧＢデモザイク画像１１１、およびＡデモザイク画像１１２を得る、デモザイク処理は、先に図３を参照して説明したように、画素値を持たない画素について、周囲の画素値に基づく補間を実行して、すべての画素の画素値を設定する処理によって行なわれる。例えば、公知のＶａｒｇｒａのアルゴリズムと同様な方法を適用することができる。Ｖａｒｇｒａのアルゴリズムは、画素値の８方向勾配を求め、勾配の近い画素値を平均することによりデモザイクを行うアルゴリズムである。
デモザイク処理部１０３におけるデモザイク処理によって、図８（２）に示す４つのデモザイク画像が得られる。上の３つが、ＲＧＢデモザイク画像１１１に相当する。図８（２）に示す４つのデモザイク画像中のＲＧＢはモザイク画像によって得られる画素値であり、ｒｇｂはデモザイク処理によって得られる補間画素値を示している。図８（２）の最下段が、赤外線（ＩＲ）とＲＧＢをすべて透過するＡチャネルのモザイク画像から得られるＡデモザイク画像を示している。Ａはモザイク画像によって得られる画素値であり、ａはデモザイク処理によって得られる補間画素値を示している。
このようにして得られたＲＧＢデモザイク画像１１１と、Ａデモザイク画像１１２は、ノイズ低減処理部１０４に入力され、ノイズ低減処理が実行されて、出力ＲＧＢ画像を得る。
ノイズ低減処理部１０４の構成および処理について、図９を参照して説明する。ノイズ低減処理部１０４は、１つの撮影画像に基づいて生成した２つのデモザイク画像、すなわち、ＲＧＢデモザイク画像１１１と、Ａデモザイク画像１１２を入力し、これらの画像の合成によってノイズを低減した画像、出力ＲＧＢ画像を作成する。
図９に示すノイズ低減処理部１０４の構成は、先に図５を参照して説明したノイズ低減処理部３３と同様の構成である。先の構成例では、
（ａ）目的に近い分光特性で撮影した高ノイズ画像、
（ｂ）不可視光を含んだり色味が異なったりする目的に近くない分光特性で撮影した低ノイズ画像、
これら、異なるタイミングで撮影した２つの画像に基づいてノイズ低減処理を実行した。しかし、本例では、１回の撮影処理によって取得した画像、すなわち、
（ａ）ＲＧＢデモザイク画像１１１と、
（ｂ）Ａデモザイク画像１１２
これらの画像に基づいてノイズを低減した画像、出力ＲＧＢ画像を作成する。
本実施例のノイズ低減処理部１０４は、ＲＧＢデモザイク画像１１１に含まれるノイズを、低ノイズ画像としてのＡデモザイク画像１１２に基づいて効率的に低減する処理を行なう。ＲＧＢローパスフィルタ１２２は、エッジ保存フィルタの一種であるクロスバイラテラルフィルタであり、入力画像としてのＡデモザイク画像１１２のＡ成分から検出したエッジに基づきノイズの多い入力画像であるＲＧＢデモザイク画像１１１に含まれるエッジを保存したままノイズを低減する。
ＲＧＢローパスフィルタ１２２においては、Ａデモザイク画像１１２のＡ成分から検出したエッジ部に基づいて、ＲＧＢデモザイク画像の画素値の補正を実行する。このフィルタ処理は、具体的には、画素値を補正する補正対象画素の近傍にエッジが存在するか否かを、Ａデモザイク画像１１２のＡ成分から検出したエッジ情報に基づいて判別し、エッジ部が存在しない方向の画素の画素値の重みを高くし、エッジ部が存在する方向の画素の画素値の重みを低く設定して、補正対象画素の画素値を、周囲画素に基づいて補正する処理であり、この処理によってＲＧＢデモザイク画像のノイズ低減が図られる。
ＲＧＢデモザイク画像１１１は、図８（２）に示すように３つあり、これら３つのＲＧＢでモザイク画像のすべてについて、Ａデモザイク画像１１２のＡ成分から検出したエッジに基づきＲＧＢデモザイク画像１１１に含まれるエッジを保存したままノイズを低減する。
ＲＧＢローパスフィルタ１２１は、特にエッジ保存性能を備えない一般的なＦＩＲローパスフィルタをＲＧＢ各チャネルに適用する。Ａハイパスフィルタ１２５は、ノイズの少ない入力画像であるＡデモザイク画像１１２のＡ画素値についてそれぞれ高周波成分を取得する。高周波成分の取得は、入力画像にバイラテラルフィルタを適用した結果の画素値をフィルタ適用前の画像の画素値で除算することによって行う。
ブレンド実行部１２４は、予め設定されたブレンド関数を適用して、ＲＧＢローパスフィルタ１２２の出力画像の画素値に、Ａハイパスフィルタ１２５の出力画像の画素値を乗じた画素値を持つ画像データを生成して出力する。
スペキュラ検出部１２３は、高ノイズ画像としてのＲＧＢデモザイク画像１１１と、低ノイズ画像としてのＡデモザイク画像１１２の各画素について、ハイライトや影などの２枚の画像の差分を抽出し、ハイライトや影などの影響による画素値差の発生可能性の高さを評価する。ブレンド実行部１２６は、スペキュラ検出部１２３の評価結果に基づいて、ＲＧＢローパスフィルタ１２１の出力とブレンド実行部１２４の出力の重み付け加算を行い、出力ＲＧＢ画像を生成する。
ブレンド実行部１２６は、スペキュラ検出部１２３において、ハイライトや影が生じている可能性が高いと判定された画素部分は、ＲＧＢローパスフィルタ１２１から出力された画素値の重みを高くして、可能性が低い場合は、ハイライトや影によって被写体の詳細部が現れたものとみなして、ブレンド実行部１２４の出力画素値重みを高くする設定を行い、ＲＧＢローパスフィルタ１２１の出力とブレンド実行部１２４の出力の重み付け加算を行い、出力ＲＧＢ画像を生成する。
本処理例に従えば、１回の撮影処理によって、
（ａ）ＲＧＢデモザイク画像１１１と、
（ｂ）Ａデモザイク画像１１２
の２つの画像を取得し、これらの取得画像に基づいてノイズ低減が可能であり、例えば、同じ瞬間に画像を１回しか撮影できない一般的なデジタルカメラやムービーカメラに適用化のであり、このような一般的なカメラにおいてもノイズを低減した高品質な画像の生成、取得が可能となる。すなわち、色味が正確でノイズの多い画像の入力としてＲＧＢデモザイク画像を用い、また色味は正しくないが明るくノイズの少ない入力画像として、Ａデモザイク画像を入力して、Ａデモザイク画像から取得したエッジデータ等に基づいて、ＲＧＢデモザイク画像の調整を行うことで、色味が正確でノイズの少ないＲＧＢ出力画像を得ることができる。
［３．画像信号処理例２］
次に、本発明の第２の画像信号処理例について、図１０以下を参照して説明する。図１０に示す処理構成において、ＲＧＢＡの４つのモザイク画像２１１を取得するまでの処理は、先に図７を参照して説明した第１の処理例と同様である。すなわち、撮像素子２０１は、図６を参照して説明したＲＧＢＡ撮像素子であり、ＲＧＢＡ４種類の分光特性を持つフィルタによって構成される。４種類の分光は、Ｒチャネル、Ｇチャネル、Ｂチャネル，そして赤外線（ＩＲ）とＲＧＢをすべて透過するＡチャネルからなる。
撮像素子２０１によって撮影される画像は、４種類の分光から成るモザイク画像となる。このモザイク画像は、図８（１）に示すようにＲＧＢＡ各チャネルからなる４種類のモザイク画像である。これらのモザイク画像は、ホワイトバランス処理部２０２に入力される。
ホワイトバランス処理部２０２では、４種類の異なる分光特性のモザイク画像に含まれる画素値範囲を概略同じにするためのホワイトバランス補正処理を実行する。それぞれ異なる分光特性のモザイク画像の構成画素値にホワイトバランスの調整処理によって、各モザイク画像に含まれる画素値範囲を概略同じにする補正が施され、補正済みモザイク画像を得る。４つのモザイク画像の画素の配列は、図８（１）に示す通りである。
本処理例２では、モザイク画像（ＲＧＢＡ）２１１をデモザイク＆ノイズ低減処理部２０４に入力し、デモザイク＆ノイズ低減処理部２０４において、デモザイク処理とノイズ低減処理を実行して、出力ＲＧＢ画像を取得する。
デモザイク＆ノイズ低減処理部２０４の構成および処理について、図１１を参照して説明する。線形デモザイクフィルタ２２５は、モザイク画像（ＲＧＢＡ）２１１中のＲＧＢおよび赤外光（ＩＲ）成分を持つモザイク画像Ａを入力して、線形補間処理によるデモザイクを行い、Ａチャネルのデモザイク画像を得る。このＡチャネルデモザイク画像を白黒のエッジ評価画像２１２とする。
デモザイク兼用ノイズ低減フィルタ２２１，２２２，２２３の各々は、補正済みモザイク画像であるモザイク画像（ＲＧＢＡ）２１１中のＲＧＢ各々のモザイク画像に対して、エッジ評価画像２１２に現れるエッジと同じ場所にある元画像のエッジを保存したままノイズを低減するエッジ保存フィルタによる画像処理を施し、かつデモザイク処理を実行する。デモザイク処理は、先に図３を参照して説明したように、画素値を持たない画素について、周囲の画素値に基づく補間を実行して、すべての画素の画素値を設定する処理によって行なわれる。例えば、公知のＶａｒｇｒａのアルゴリズムと同様な方法を適用することができる。Ｖａｒｇｒａのアルゴリズムは、画素値の８方向勾配を求め、勾配の近い画素値を平均することによりデモザイクを行うアルゴリズムである。
デモザイク兼用ノイズ低減フィルタ２２１，２２２，２２３における画素値算出処理について説明する。デモザイク兼用ノイズ低減フィルタ２２１，２２２，２２３では、入力するモザイク画像にＲまたはＧまたはＢのモザイク画像に基づいて、ＲＧＢそれぞれのノイズ低減を施したデモザイク画像を生成する。この処理は、基本的には、先に、図８を参照して説明したモザイク画像からデモザイク画像を算出する処理である。本処理例では、この処理に際して、図１１に示すＡチャネル画像に基づくエッジ評価画像２１２を適用してノイズ低減を併せて実行する。
図１２を参照してデモザイク兼用ノイズ低減フィルタ２２１，２２２，２２３における基本的処理について説明する。たとえば、画素位置（ｘ，ｙ）の画素値を算出する場合、その周囲の画素に基づいて算出する処理が実行される。ただし、この画像は、モザイク画像であり、画素値が存在する部分と存在しない部分がある。
周囲の画素の画素位置を（ｐｘ，ｐｙ）として、画素位置（ｘ，ｙ）の画素値は、複数の周囲画素（ｐｘ，ｐｙ）の画素値に基づいて算出される。例えば、画素位置（ｘ，ｙ）の周囲７×７画素に基づいて、画素位置（ｘ，ｙ）の画素値が決定される。この画素値決定処理に際しては、周囲の画素値に対して所定の重み付けを実行する。
すなわち、画素位置（ｘ，ｙ）の周囲７×７画素に所定の重み付けを行なって、その重み［Ｗ］を考慮して、周囲７×７画素の画素値に重みを乗算した結果を積算することによって画素位置（ｘ，ｙ）の出力画素値［Ｏｕｔ（ｘ，ｙ）］を決定する。一般的なデモザイク処理では、周囲画素の重み［Ｗ］は、画素位置（ｘ，ｙ）に近い画素に対して大きく設定され、遠い画素については小さく設定され、いわゆる距離依存重み［Ｗｓ］が設定される。
本発明の本処理例では、距離依存の重み［Ｗｓ］に加え、さらに、画素位置（ｘ，ｙ）の画素値と、周囲画素位置（ｐｘ，ｐｙ）の画素値差分を考慮したエッジの強さに依存する重み、すなわちエッジ依存重み［Ｗｒ］も併せて適用する。画素値差分重み［Ｗｒ］は、図１１に示すＡチャネル画像に基づくエッジ評価画像２１２によって算出され、この処理によって、デモザイクとノイズ低減を併せて実行することができる。
距離依存重み［Ｗｓ］とエッジ依存重み［Ｗｒ］を考慮した重み［Ｗ］の算出と、画素位置（ｘ，ｙ）の出力画素値［Ｏｕｔ（ｘ，ｙ）］の算出処理は、以下の式に従って実行される。
Figure 0004501855
上記式（式１）において、
ｘ、ｙは、デモザイク兼用ノイズ低減フィルタ２２１，２２２，２２３からの出力画像のピクセル位置を示す座標（ｘ，ｙ）、
ｐｘ、ｐｙは入力画像のピクセル位置を示す座標（ｐｘ，ｐｙ）、
Ｗはフィルタの重みを表す重み係数である。
フィルタの重み［Ｗ］は、上記式（式１）に示すように、ピクセル座標に依存する距離依存重み［Ｗｓ］と画像のエッジの強さに依存するエッジ依存重み［Ｗｒ］の積によって算出される。
距離依存重み［Ｗｓ］は、上記式（式２）によって示される。
エッジ依存重み［Ｗｒ］は、上記式（式３ａ），（式３ｂ）によって示される。
σｓはＲＧＢいずれかの処理対象の入力モザイク画像に含まれる画素値の存在する画素の画素値の標準偏差、
σｒはＡモザイク画像の線形補間処理によって得られたＡチャネルデモザイク画像であるエッジ評価画像２１２の画素値の標準偏差、
Ｉｎ（ｐｘ，ｐｙ）は、画素位置（ｐｘ，ｐｙ）の画素値である。
距離依存重み［Ｗｓ］は、上記式（式２）によって、画素位置（ｘ，ｙ）と、周囲画素位置（ｐｘ，ｐｙ）の距離と、標準偏差σｓを適用して算出される。
一方、エッジ依存重み［Ｗｒ］は、上記式（式３ａ），（式３ｂ）によって、エッジ評価画像２１２における画素位置（ｘ，ｙ）の画素値Ｅｄｇｅ（ｘ，ｙ）と、周囲画素位置（ｐｘ，ｐｙ）の画素値Ｅｄｇｅ（ｐｘ，ｐｙ）と、標準偏差σｒを適用して算出される。なお、処理対象画像はＲＧＢモザイク画像であるので、画素値の存在する周囲画素［Ｉｎ（ｐｘ，ｐｙ）ｅｘｉｓｔｓ］と、画素値の存在しない周囲画素［Ｉｎ（ｐｘ，ｐｙ）ｄｏｅｓｎ'ｔ ｅｘｉｓｔｓ］が存在する。
画素値の存在する周囲画素位置（ｐｘ，ｐｙ）についてのエッジ依存重み［Ｗｒ］は、上記式（式３ａ）によって算出し、画素値の存在しない周囲画素位置（ｐｘ，ｐｙ）についてのエッジ依存重み［Ｗｒ］は、上記式（式３ｂ）によって算出、Ｅｄｇｅ（ｐｘ、ｐｙ）の値のいかんにかかわらず、Ｗｒを０とする。
エッジの強さに依存するエッジ依存重み［Ｗｒ］は、エッジ評価画像２１２の画素値を適用して算出する重みであり、画素位置（ｘ，ｙ）の画素値Ｅｄｇｅ（ｘ，ｙ）と、周囲画素位置（ｐｘ，ｐｙ）の画素値Ｅｄｇｅ（ｐｘ，ｐｙ）との差が小さい場合は、エッジ依存重み［Ｗｒ］は大きく設定され、差が大きいと、エッジ依存重み［Ｗｒ］は小さく設定される。このように、差分の大きい画素の重みを小さく設定することで、ノイズの発生を抑える効果がある。
上記式（式２），（式３ａ），（式３ｂ）に基づいて、画素位置（ｘ，ｙ）の周囲画素位置（ｐｘ，ｐｙ）の各々についての距離依存重み［Ｗｓ］とエッジ依存重み［Ｗｒ］が算出され、これらを適用して、総合的な重みＷが、上記式（式１）によって算出される。なお、フィルタリング処理において利用する周囲画素としては、先に図１２を参照して説明したように、例えば７×７の周囲画素が適用される。
周囲画素の重み［Ｗ＝Ｗｓ・Ｗｒ］を決定した後、画素位置（ｘ，ｙ）の出力画素値［Ｏｕｔ（ｘ，ｙ）］の算出が、上述の式（式４）に従って実行される。画素位置（ｘ，ｙ）の出力画素値［Ｏｕｔ（ｘ，ｙ）］は、重み［Ｗ］と入力画像の周囲画素の画素値［ｉｎ（ｐｘ，ｐｙ）］のコンボリューションを重みの合計で正規化した値である。Ｉｎ（ｐｘ，ｐｙ）が存在しない画素では、Ｗは０になるので、本フィルタを適用するチャネルに存在する画素に対してのみ係数を計算し、これを乗じて結果の画素値を計算する。
このように、デモザイク兼用ノイズ低減フィルタ２２１，２２２，２２３は、ピクセル座標に依存する距離依存重み［Ｗｓ］と、Ａチャネル画像に基づいて生成したエッジ評価画像２１２に従って算出した画像のエッジの強さに依存するエッジ依存重み［Ｗｒ］の積によって算出される重み［Ｗ］を適用して画素位置（ｘ，ｙ）の出力画素値［Ｏｕｔ（ｘ，ｙ）］を算出する構成としたので、デモザイクとノイズ低減を同時に行うことができる。
図１１に示すように、補正モザイク画像２１１に含まれるＡチャネルモザイク画像に対しても、エッジ保存フィルタ２２４において、ＲＧＢモザイク画像と同様、Ａチャネルデモザイク画像であるエッジ評価画像２１２に現れるエッジに基づいて、Ａモザイク画像のエッジ保存処理が行なわれる。この処理は、上記した式（１）〜（４）を適用して、Ａモザイク画像に基づくノイズ低減デモザイク画像を生成する処理として実行される。
エッジ保存フィルタ２２４において生成されたＡチャネルノイズ低減デモザイク画像は、ＦＩＴハイパスフィルタ２２６に入力され、高域成分の抽出処理が実行されＨＰＦ結果画像２１４が生成される。ＦＩＴハイパスフィルタ２２６は、高域成分を抽出するＦＩＴフィルタである。ＦＩＴハイパスフィルタ２２６の係数の一例を図１３に示す。
ＨＰＦ結果画像２１４は、さらに、ゲイン制御処理部２２７に入力され、ゲインが調整（増幅）され、さらに、マトリクス演算実行部２２８において、マトリクス演算が実行されて、Ａチャネル画像中のエッジ部分データに含まれるＲ、Ｇ、Ｂデータを抽出して、合成処理実行部２２９において、ノイズ低減ＲＧＢデモザイク画像２１３との加算処理により、出力ＲＧＢ画像２１５を生成して出力する。
なお、エッジ保存フィルタ２２４において生成されたＡチャネルノイズ低減デモザイク画像からの高域成分抽出によって生成されたＨＰＦ結果画像２１４のゲイン制御およびマトリックス演算によって生成されるデータは、エッジ部の強調処理のために適用される画像データであり、合成処理実行部２２９において、ノイズ低減ＲＧＢデモザイク画像２１３と加算することで、エッジ部が強調された出力ＲＧＢ画像２１５を得ることができる。
［４．画像信号処理例３］
次に、本発明の第３の画像信号処理例について、図１４以下を参照して説明する。図１４に示す処理構成は、色空間変換処理を実行する構成を有する。撮像素子３０１からデモザイク処理部３０３までの処理によってＲＧＢデモザイク画像３１１とＡデモザイク画像３１２を得るまでの処理は、先に図７を参照して説明した処理例１と同様の処理である。本処理例３では、これらのＲＧＢデモザイク画像３１１とＡデモザイク画像３１２のノイズ低減処理後のデータに対して、マトリックス演算実行部３０６において色空間の変換行列を乗じ、出力ＲＧＢ画像３１５ならびに予測赤外（Ｅｓｔｉｍａｔｅｄ ＩＲ）画像３１６を得る。
本処理例について説明する。撮像素子３０１は、図６を参照して説明したＲＧＢＡ撮像素子であり、ＲＧＢＡ４種類の分光特性を持つフィルタによって構成される。４種類の分光は、Ｒチャネル、Ｇチャネル、Ｂチャネル，そして赤外線（ＩＲ）とＲＧＢをすべて透過するＡチャネルからなる。
撮像素子３０１によって撮影される画像は、４種類の分光から成るモザイク画像となる。このモザイク画像は、図８（１）に示すようにＲＧＢＡ各チャネルからなる４種類のモザイク画像である。これらのモザイク画像は、ホワイトバランス処理部３０２に入力される。
ホワイトバランス処理部３０２では、４種類の異なる分光特性のモザイク画像に含まれる画素値範囲を概略同じにするためのホワイトバランス補正処理を実行する。それぞれ異なる分光特性のモザイク画像の構成画素値にホワイトバランスの調整処理によって、各モザイク画像に含まれる画素値範囲を概略同じにする補正が施され、補正済みモザイク画像を得る。４つのモザイク画像の画素の配列は、図８（１）に示す通りである。
これらの４つのモザイク画像は、次にデモザイク処理部３０３においてデモザイク処理が実行され、ＲＧＢデモザイク画像３１１、およびＡデモザイク画像３１２を得る、デモザイク処理は、先に図３を参照して説明したように、画素値を持たない画素について、周囲の画素値に基づく補間を実行して、すべての画素の画素値を設定する処理によって行なわれる。例えば、公知のＶａｒｇｒａのアルゴリズムと同様な方法を適用することができる。Ｖａｒｇｒａのアルゴリズムは、画素値の８方向勾配を求め、勾配の近い画素値を平均することによりデモザイクを行うアルゴリズムである。デモザイク処理部３０３におけるデモザイク処理によって、図８（２）に示す４つのデモザイク画像が得られる。
このようにして得られたＲＧＢデモザイク画像３１１と、Ａデモザイク画像３１２は、それぞれノイズ低減処理部３０４，３０５に入力され、ノイズ低減処理が実行される。ノイズ低減処理部３０４は、先の処理例１において、図９を参照して説明した構成を持つノイズ低減処理部であり、ノイズ低減処理部３０５は、一般的なバイラテラルフィルタなどによって構成されるノイズ低減処理部である。
ＲＧＢデモザイク画像３１１と、Ａデモザイク画像３１２は、それぞれノイズ低減処理部３０４，３０５に入力され、ノイズ低減処理結果としてのノイズ低減ＲＧＢデモザイク画像３１３と、ノイズ低減Ａデモザイク画像３１４を出力する。
マトリックス演算実行部３０６は、これらのノイズ低減画像３１３，３１４から得られる、１画素当たり４つの画素値（Ｒ，Ｇ，Ｂ，Ａ）をベクトルとみなして、色空間の変換行列を乗じて、結果として出力ＲＧＢ画像３１５ならびに予測赤外画像３１６を得る。
マトリックス演算実行部３０６において適用する変換行列は、ＲＧＢチャネルに赤外光（ＩＲ）漏れがあることを前提に、変換結果としての出力ＲＧＢ画像３１５の色再現性をカラーパッチの色差や、グレーパッチのＲＧＢＩＲの画素値の差分等により評価し、再現性を最良にする行列を数値的に求めた４次元の色空間変換行列である。具体的な変換行列の例を以下に示す。
Figure 0004501855
上記式（式５）は、本処理例で適用する撮像素子、すなわち、図６に示したＲＧＢＡチャネルを持つ各チャネルの分光特性を示す行列式であり、Ｒチャネルによって取得される光成分は、理想的なＲ成分１００に対して、Ｇ，Ｂが０、赤外成分（ＩＲ）が２７となることを示している。Ｇチャネルは、理想的なＧ成分１００に対して、Ｒ，Ｂが０、赤外成分（ＩＲ）が１３となる。Ｂチャネルは、理想的なＢ成分１００に対して、Ｒ，Ｇが０、赤外成分（ＩＲ）が９となる。さらに、Ａチャネルは、Ｒ成分２９．９、Ｇ成分５９．７、Ｇ成分１１．４、赤外成分（ＩＲ）が５０となる。
上記式（式６）は、このような撮像素子に対応する色空間変換行列である。Ｒｉｎ，Ｇｉｎ，Ｂｉｎ，Ａｉｎは、ノイズ低減画像３１３，３１４から得られる、１画素当たり４つの画素値（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ，Ａｉｎ）に相当する。この画素値（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ，Ａｉｎ）に対して、上記式（式６）に示すマトリックス演算を実行して、出力値（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ，Ａｏｕｔ）を得る。
この出力値（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ，Ａｏｕｔ）中、（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）は、ノイズ低減ＲＧＢデモザイク画像３１３と、ノイズ低減Ａデモザイク画像３１４から、赤外成分を除去しＲＧＢ成分のみからなる画像に相当し、この（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）を出力ＲＧＢ画像３１５とする。また、（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ，Ａｏｕｔ）中、（Ａｏｕｔ）は、ノイズ低減ＲＧＢデモザイク画像３１３と、ノイズ低減Ａデモザイク画像３１４から抽出したＲＧＢ成分を含まない赤外成分のみからなる画像に相当し、この（Ａｏｕｔ）を予測赤外画像３１６として出力する。
この処理例によれば、撮像素子のＲＧＢ素子を通過した赤外成分を除去した高品質な画像を取得することが可能となる。すなわち、図６を参照して説明したＲＧＢＡ撮像素子において、ＲＧＢ素子を通過する光成分には赤外成分（ＩＲ）が含まれるが、これをＡチャネルの通過成分を解析し、上述したマトリックス演算を適用することで、ＲＧＢ素子を通過した光成分から赤外成分（ＩＲ）を取り除き、高品質なＲＧＢ画像を取得することが可能となる。
［５．画像信号処理例４］
次に、本発明の第４の画像信号処理例について、図１５以下を参照して説明する。図１５に示す処理構成は、ＲＧＢＡの４つの補正モザイク画像４１１を取得するまでの処理は、先に図１４を参照して説明した第４の処理例と同様である。すなわち、撮像素子４０１は、図６を参照して説明したＲＧＢＡ撮像素子であり、ＲＧＢＡ４種類の分光特性を持つフィルタによって構成される。４種類の分光は、Ｒチャネル、Ｇチャネル、Ｂチャネル，そして赤外線（ＩＲ）とＲＧＢをすべて透過するＡチャネルからなる。
本処理例４では、ＲＧＢＡの４つの補正モザイク画像４１１に基づいてデモザイク処理とノイズ低減処理と赤外（ＩＲ）算出処理を統合したフィルタアルゴリズムとして実行して、出力ＲＧＢ画像４１２ならびに予測赤外（Ｅｓｔｉｍａｔｅｄ ＩＲ）画像４１３を得る。
本処理例について説明する。撮像素子４０１は、図６を参照して説明したＲＧＢＡ撮像素子であり、ＲＧＢＡ４種類の分光特性を持つフィルタによって構成される。４種類の分光は、Ｒチャネル、Ｇチャネル、Ｂチャネル，そして赤外線（ＩＲ）とＲＧＢをすべて透過するＡチャネルからなる。
撮像素子４０１によって撮影される画像は、４種類の分光から成るモザイク画像となる。このモザイク画像は、図８（１）に示すようにＲＧＢＡ各チャネルからなる４種類のモザイク画像である。これらのモザイク画像は、ホワイトバランス処理部４０２に入力される。
ホワイトバランス処理部４０２では、４種類の異なる分光特性のモザイク画像に含まれる画素値範囲を概略同じにするためのホワイトバランス補正処理を実行する。それぞれ異なる分光特性のモザイク画像の構成画素値にホワイトバランスの調整処理によって、各モザイク画像に含まれる画素値範囲を概略同じにする補正が施され、補正済みモザイク画像を得る。４つのモザイク画像の画素の配列は、図８（１）に示す通りである。
これらの４つのモザイク画像は、次にデモザイク＆ノイズ低減＆赤外（ＩＲ）算出処理部４０４において、ＲＧＢＡの４つの補正モザイク画像４１１に基づいてデモザイク処理とノイズ低減処理と赤外（ＩＲ）算出処理を統合したフィルタアルゴリズムとして実行して、出力ＲＧＢ画像４１２ならびに予測赤外（Ｅｓｔｉｍａｔｅｄ ＩＲ）画像４１３を出力する。
デモザイク＆ノイズ低減＆赤外（ＩＲ）算出処理部４０４の構成および処理について図１６を参照して説明する。図１６に示す構成は、先に処理例２において図１１を参照して説明したデモザイク＆ノイズ低減処理部２０４とほぼ同様の構成を有する。異なる点は、マトリックス演算実行部４２９を付加している点であり、このマトリックス演算実行部４２９におけるマトリックス演算によって、出力ＲＧＢ画像４１２ならびに予測赤外（Ｅｓｔｉｍａｔｅｄ ＩＲ）画像４１３を分離して出力する構成としている。
デモザイク兼用ノイズ低減フィルタ４２１，４２２，４２３は、先に図１１を参照して説明した処理例２と同様、補正済みモザイク画像であるモザイク画像（ＲＧＢＡ）４１１中のＲＧＢ各々のモザイク画像に対して、エッジを保存したままノイズを低減するエッジ保存フィルタによる画像処理を施し、かつデモザイク処理を実行してノイズ低減ＲＧＢデモザイク画像４５１を得る。
ノイズ低減処理のために、モザイク画像Ａに対して線形デモザイクフィルタ４２５での処理によって生成したエッジ評価画像４５０を適用し、エッジ評価画像４５０に現れるエッジと同じ場所にある元画像のエッジを保存したままノイズを低減するエッジ保存フィルタによる画像処理を施す。この処理は、先に、図１２を参照して説明した処理であり、前述の式（式１）〜（式４）を適用した処理、すなわち、ピクセル座標に依存する距離依存重み［Ｗｓ］と、Ａチャネル画像に基づいて生成したエッジ評価画像４５０に従って算出した画像のエッジの強さに依存するエッジ依存重み［Ｗｒ］の積によって算出される重み［Ｗ］を適用して画素位置（ｘ，ｙ）の出力画素値［Ｏｕｔ（ｘ，ｙ）］を算出する処理である。この処理によって、デモザイクとノイズ低減を同時に行うことができる。
処理例２と同様、補正モザイク画像４１１に含まれるＡチャネルモザイク画像に対しても、エッジ保存フィルタ４２４において、ＲＧＢモザイク画像と同様、Ａチャネルデモザイク画像であるエッジ評価画像４５０に現れるエッジに基づいて、Ａモザイク画像のエッジ保存処理が行なわれる。この処理も、上記した式（１）〜（４）を適用して、Ａモザイク画像に基づくノイズ低減Ａデモザイク画像４５２を生成する処理として実行される。
エッジ保存フィルタ４２４において生成されたノイズ低減Ａデモザイク画像４５２は、ＦＩＴハイパスフィルタ４２６に入力され高域成分の抽出処理が実行されＨＰＦ結果画像４１４が生成される。ＦＩＴハイパスフィルタ４２６は、高域成分を抽出するＦＩＲフィルタであり、例えば先に図１３を参照して説明した係数を持つ。
ＨＰＦ結果画像４１４は、さらに、ゲイン制御処理部４２７に入力され、ゲインが調整（増幅）され、さらに、マトリクス演算実行部４２８において、マトリクス演算が実行されて、Ａチャネル画像中のエッジ部分データに含まれるＲ、Ｇ、Ｂデータを抽出して、合成処理実行部４３０に出力する。
さらに、本処理例４においては、エッジ保存フィルタ４２４において生成されたＡチャネルに対応するノイズ低減Ａデモザイク画像４５２と、デモザイク兼用ノイズ低減フィルタ４２１，４２２，４２３の処理によって生成されたノイズ低減ＲＧＢデモザイク画像４５１をマトリックス演算実行部４２９に入力して、これらの入力情報に基づくマトリックス演算を実行する。
マトリックス演算実行部４２９におけるマトリックス演算は、処理例３において、図１４を参照して説明したマトリックス演算実行部３０６における処理と同様の処理である。マトリックス演算実行部４２９は、エッジ保存フィルタ４２４において生成されたノイズ低減Ａデモザイク画像４５２と、ノイズ低減ＲＧＢデモザイク画像４５１から得られる１画素当たり４つの画素値（Ｒ，Ｇ，Ｂ，Ａ）をベクトルとみなして、色空間の変換行列を乗じて、結果として、合成処理実行部４３０に入力するためのＲＧＢ画像ならびに予測赤外画像４１３を取得して出力する。
マトリックス演算実行部４２９において適用する変換行列は、ＲＧＢチャネルに赤外光（ＩＲ）漏れがあることを前提に、変換結果としてのＲＧＢ画像の色再現性をカラーパッチの色差や、グレーパッチのＲＧＢＩＲの画素値の差分等により評価し、再現性を最良にする行列を数値的に求めた４次元の色空間変換行列であり、具体的な変換行列としては、例えば先に処理例３において説明した式（式６）が適用される。
マトリックス演算実行部４２９は、先に説明した式（式６）に示すマトリックス演算を実行して、出力値（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ，Ａｏｕｔ）を得る。この出力値（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ，Ａｏｕｔ）中、（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）は、ノイズ低減ＲＧＢデモザイク画像４５１とノイズ低減Ａデモザイク画像４５２から赤外成分を除去して生成したＲＧＢ成分のみからなる画像に相当し、この（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）を合成処理実行部４３０に入力するためのＲＧＢ画像とする。
また、（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ，Ａｏｕｔ）中、（Ａｏｕｔ）は、ノイズ低減ＲＧＢデモザイク画像４５１とノイズ低減Ａデモザイク画像４５２から生成したＲＧＢ成分を含まない赤外成分のみからなる画像に相当し、この（Ａｏｕｔ）を予測赤外画像４１３として出力する。
合成処理部４３０では、マトリックス演算実行部４２９のマトリックス演算によって生成した赤外成分を除去して生成したＲＧＢ成分のみからなる画像と、マトリックス演算実行部４２８において、Ａチャネル画像に基づいて生成されたエッジ部分データに含まれるＲ、Ｇ、Ｂデータの抽出データとの加算処理を実行し、出力ＲＧＢ画像４１２を生成して出力する。合成処理実行部４３０において、エッジ部が強調された出力ＲＧＢ画像４１２を得ることができる。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の構成によれば、ＲＧＢ信号等の可視光信号を取得する可視光取得素子と、赤外光などの不可視光成分を含む信号を取得する不可視光取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号各々のモザイク画像データに基づいて、取得信号各々のデモザイク画像を生成し、不可視光取得素子によって取得された信号のデモザイク画像から抽出したエッジ情報に基づいて、可視光取得素子によって取得されたデモザイク画像の画素値補正を実行することで、１回の撮影処理によって得られた１枚の画像に基づいてノイズを低減した高品質な画像データを取得することができる。
一般的なカラーフィルタで用いられる色配列としてのベイヤー配列の例について説明する図である。 単板カラー方式の固体撮像素子を具備する撮像装置の構成を示す図である。 デモザイク処理について説明する図である。 従来の撮影画像の信号処理例について説明する図である。 従来の撮影画像の信号処理例について説明する図である。 本発明において適用する撮像素子の色配列について説明する図である。 本発明の一実施例に係る画像信号処理構成（処理例１）を説明する図である。 本発明の処理において生成されるモザイク画像とデモザイク画像について説明する図である。 本発明の一実施例に係る画像信号処理構成（処理例１）中のノイズ低減処理部の構成を説明する図である。 本発明の一実施例に係る画像信号処理構成（処理例２）を説明する図である。 本発明の一実施例に係る画像信号処理構成（処理例２）中のデモザイク＆ノイズ低減処理部の構成を説明する図である。 本発明の一実施例に係る画像信号処理構成（処理例２）中のデモザイク兼用ノイズ低減フィルタの処理を説明する図である。 本発明の一実施例に係る画像信号処理構成（処理例２）中のＦＩＴハイパスフィルタの係数について説明する図である。 本発明の一実施例に係る画像信号処理構成（処理例３）を説明する図である。 本発明の一実施例に係る画像信号処理構成（処理例４）を説明する図である。 本発明の一実施例に係る画像信号処理構成（処理例４）中のデモザイク＆ノイズ低減＆赤外（ＩＲ）算出処理部の構成を説明する図である。
符号の説明
１１ 光学レンズ
１２ カラーフィルタ
１３ 固体撮像素子
１４ カメラ信号処理部
１５ 動画像圧縮部
１６ 記録部
２０ 固体撮像素子の出力画像
２１ デモザイク処理部
２２ デモザイク処理部の出力するＲ，Ｇ，Ｂ信号
３０ 撮像素子
３１ ホワイトバランス処理部
３２ デモザイク処理部
３３ ノイズ低減処理部
４１，４２ ローパスフィルタ
４３ スベキュラ検出部
４４ ブレンド実行部
４５ ハイパスフィルタ
４６ ブレンド実行部
１０１ 撮像素子
１０２ ホワイトバランス処理部
１０３ デモザイク処理部
１０４ ノイズ低減処理部
１１１ ＲＧＢデモザイク画像
１１２ Ａデモザイク画像
１２１，１２２ ローパスフィルタ
１２３ スベキュラ検出部
１２４ ブレンド実行部
１２５ ハイパスフィルタ
１２６ ブレンド実行部
２０１ 撮像素子
２０２ ホワイトバランス処理部
２０４ デモザイク＆ノイズ低減処理部
２１１ 補正モザイク画像
２１２ エッジ評価画像
２１３ ノイズ低減ＲＧＢデモザイク画像
２１４ ＨＰＦ結果画像
２１５ 出力ＲＧＢ画像
２２１〜２２３ デモザイク兼用ノイズ低減フィルタ
２２４ エッジ保存フィルタ
２２５ 線形デモザイクフィルタ
２２６ ＦＩＴハイパスフィルタ
２２７ ゲイン制御部
２２８ マトリックス演算実行部
２２９ 合成処理部
３０１ 撮像素子
３０２ ホワイトバランス処理部
３０３ デモザイク処理部
３０４，３０５ ノイズ低減処理部
３０６ マトリックス演算実行部
３１１ ＲＧＢデモザイク画像
３１２ Ａデモザイク画像
３１３ ノイズ低減ＲＧＢデモザイク画像
３１４ ノイズ低減Ａデモザイク画像
３１５ 出力ＲＧＢ画像
３１６ 予測赤外画像
４０１ 撮像素子
４０２ ホワイトバランス処理部
４０４ デモザイク＆ノイズ低減＆赤外（ＩＲ）算出処理部
４１１ 補正モザイク画像
４１２ 出力ＲＧＢ画像
４１３ 予測赤外画像
４２１〜４２３ デモザイク兼用ノイズ低減フィルタ
４２４ エッジ保存フィルタ
４２５ 線形デモザイクフィルタ
４２６ ＦＩＴハイパスフィルタ
４２７ ゲイン制御部
４２８ マトリックス演算実行部
４２９ マトリックス演算実行部
４３０ 合成処理部
４５０ エッジ評価画像
４５１ ノイズ低減ＲＧＢデモザイク画像
４５２ ノイズ低減Ａデモザイク画像

Claims (17)

  1. 画像信号処理装置であり、
    可視光信号を取得する可視光取得素子と、不可視光成分を含む信号を取得する不可視光取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号各々のモザイク画像データを入力し、取得信号各々のデモザイク画像を生成するデモザイク処理部と、
    前記デモザイク画像を入力し、前記不可視光取得素子によって取得された信号のデモザイク画像から抽出したエッジ情報に基づいて、可視光取得素子によって取得されたデモザイク画像の画素値補正を実行するノイズ低減処理部と、
    を有することを特徴とする画像信号処理装置。
  2. 前記可視光取得素子は、ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、
    前記不可視光取得素子は、ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であり、
    前記デモザイク処理部は、
    ＲＧＢ色信号を個別に取得するＲＧＢ素子とＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子によって構成される色配列を持つ単板式撮像素子によって取得されるＲＧＢおよびＡ信号各々のモザイク画像データを入力し、ＲＧＢおよびＡ信号各々のデモザイク画像を生成する構成であり、
    前記ノイズ低減処理部は、
    前記ＲＧＢおよびＡ信号のデモザイク画像を入力し、Ａ信号のデモザイク画像から抽出したエッジ情報に基づいて、ＲＧＢデモザイク画像の画素値補正を実行する構成を有することを特徴とする請求項１に記載の画像信号処理装置。
  3. 前記ノイズ低減処理部は、
    Ａ信号のデモザイク画像から検出したエッジ情報に基づいて、ＲＧＢデモザイク画像を構成する画素の画素値を、画素近傍のエッジ分布に応じて周囲画素の画素値に基づいて補正する処理を実行する構成であることを特徴とする請求項２に記載の画像信号処理装置。
  4. 前記画像信号処理装置は、
    前記Ａ信号に基づくデモザイク画像としてのエッジ評価画像を生成するデモザイク処理部と、
    前記ＲＧＢ信号各々のモザイク画像のデモザイク処理を、前記Ａ信号のデモザイク画像としてのエッジ評価画像に基づいてエッジ位置を考慮したデモザイク処理を実行してノイズ低減およびデモザイク処理を併せて実行するデモザイク兼用ノイズ低減処理部と、
    を有する構成であることを特徴とする請求項２に記載の画像信号処理装置。
  5. 前記デモザイク兼用ノイズ低減処理部は、
    前記ＲＧＢ信号各々のモザイク画像のデモザイク処理に際して、補正対象画素と参照画素の距離に依存する距離依存重み［Ｗｓ］と、前記Ａ信号のデモザイク画像としてのエッジ評価画像に従って算出した画像のエッジの強さに依存するエッジ依存重み［Ｗｒ］の積によって算出される重み［Ｗ］を適用して、ＲＧＢデモザイク画像における各画素位置（ｘ，ｙ）の出力画素値［Ｏｕｔ（ｘ，ｙ）］を、周囲画素の画素値に基づいて算出する処理を実行する構成を有することを特徴とする請求項４に記載の画像信号処理装置。
  6. 前記画像信号処理装置は、さらに、
    前記Ａ信号のデモザイク画像から抽出したエッジ情報に基づいて、前記Ａ信号に対応するノイズ低減Ａデモザイク画像を生成するＡノイズ低減処理部と、
    前記ノイズ低減処理部において生成したノイズ低減ＲＧＢデモザイク画像と、前記ノイズ低減Ａデモザイク画像とを入力し、入力したＲＧＢＡ４つのデモザイク画像の対応画素の画素値をマトリックス演算により変換して、ＲＧＢ信号から赤外光成分を除去したＲＧＢ画像を生成するマトリックス演算実行部と、
    を有することを特徴とする請求項２に記載の画像信号処理装置。
  7. 前記マトリックス演算実行部は、
    前記ノイズ低減処理部において生成したノイズ低減ＲＧＢデモザイク画像と、前記ノイズ低減Ａデモザイク画像とに基づいて、赤外光成分からなる予測赤外画像を生成して出力する構成であることを特徴とする請求項６に記載の画像信号処理装置。
  8. 撮像装置であり、
    ＲＧＢ色信号を個別に取得するＲＧＢ素子とＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子によって構成される色配列を持つ撮像素子と、
    前記単板式撮像素子によって取得されるＲＧＢおよびＡ信号各々のモザイク画像データを入力し、ＲＧＢおよびＡ信号各々のデモザイク画像を生成するデモザイク処理部と、
    前記ＲＧＢおよびＡ信号のデモザイク画像を入力し、Ａ信号のデモザイク画像から抽出したエッジ情報に基づいて、ＲＧＢデモザイク画像の画素値補正を実行するノイズ低減処理部と、
    を有することを特徴とする撮像装置。
  9. 前記撮像素子は、
    Ａ信号を取得するＡ素子が市松状に配置されている構成であることを特徴とする請求項８に記載の撮像装置。
  10. 画像信号処理方法であり、
    可視光信号を取得する可視光取得素子と、不可視光成分を含む信号を取得する不可視光取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号各々のモザイク画像データを入力し、取得信号各々のデモザイク画像を生成するデモザイク処理ステップと、
    前記デモザイク画像を入力し、前記不可視光取得素子によって取得された信号のデモザイク画像から抽出したエッジ情報に基づいて、可視光取得素子によって取得されたデモザイク画像の画素値補正を実行するノイズ低減処理ステップと、
    を有することを特徴とする画像信号処理方法。
  11. 前記可視光取得素子は、ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、
    前記不可視光取得素子は、ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であり、
    前記デモザイク処理ステップは、
    ＲＧＢ色信号を個別に取得するＲＧＢ素子とＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子によって構成される色配列を持つ単板式撮像素子によって取得されるＲＧＢおよびＡ信号各々のモザイク画像データを入力し、ＲＧＢおよびＡ信号各々のデモザイク画像を生成するステップであり、
    前記ノイズ低減処理ステップは、
    前記ＲＧＢおよびＡ信号のデモザイク画像を入力し、Ａ信号のデモザイク画像から抽出したエッジ情報に基づいて、ＲＧＢデモザイク画像の画素値補正を実行するステップであることを特徴とする請求項１０に記載の画像信号処理方法。
  12. 前記ノイズ低減処理ステップは、
    Ａ信号のデモザイク画像から検出したエッジ情報に基づいて、ＲＧＢデモザイク画像を構成する画素の画素値を、画素近傍のエッジ分布に応じて周囲画素の画素値に基づいて補正する処理を実行するステップであることを特徴とする請求項１１に記載の画像信号処理方法。
  13. 前記画像信号処理方法は、
    前記Ａ信号に基づくデモザイク画像としてのエッジ評価画像を生成するデモザイク処理ステップと、
    前記ＲＧＢ信号各々のモザイク画像のデモザイク処理を、前記Ａ信号のデモザイク画像としてのエッジ評価画像に基づいてエッジ位置を考慮したデモザイク処理を実行してノイズ低減およびデモザイク処理を併せて実行するデモザイク兼ノイズ低減処理ステップと、
    を有することを特徴とする請求項１１に記載の画像信号処理方法。
  14. 前記デモザイク兼ノイズ低減処理ステップは、
    前記ＲＧＢ信号各々のモザイク画像のデモザイク処理に際して、補正対象画素と参照画素の距離に依存する距離依存重み［Ｗｓ］と、前記Ａ信号のデモザイク画像としてのエッジ評価画像に従って算出した画像のエッジの強さに依存するエッジ依存重み［Ｗｒ］の積によって算出される重み［Ｗ］を適用して、ＲＧＢデモザイク画像における各画素位置（ｘ，ｙ）の出力画素値［Ｏｕｔ（ｘ，ｙ）］を、周囲画素の画素値に基づいて算出する処理を実行するステップであることを特徴とする請求項１１に記載の画像信号処理方法。
  15. 前記画像信号処理方法は、さらに、
    前記Ａ信号のデモザイク画像から抽出したエッジ情報に基づいて、前記Ａ信号に対応するノイズ低減Ａデモザイク画像を生成するＡノイズ低減処理ステップと、
    前記ノイズ低減処理ステップにおいて生成したノイズ低減ＲＧＢデモザイク画像と、前記ノイズ低減Ａデモザイク画像とを入力し、入力したＲＧＢＡ４つのデモザイク画像の対応画素の画素値をマトリックス演算により変換して、ＲＧＢ信号から赤外光成分を除去したＲＧＢ画像を生成するマトリックス演算実行ステップと、
    を有することを特徴とする請求項１１に記載の画像信号処理方法。
  16. 前記マトリックス演算実行ステップは、
    前記ノイズ低減処理ステップにおいて生成したノイズ低減ＲＧＢデモザイク画像と、前記ノイズ低減Ａデモザイク画像とに基づいて、赤外光成分からなる予測赤外画像を生成して出力するステップであることを特徴とする請求項１５に記載の画像信号処理方法。
  17. 画像処理装置において画像信号処理を実行させるコンピュータ・プログラムであり、
    可視光信号を取得する可視光取得素子と、不可視光成分を含む信号を取得する不可視光取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号各々のモザイク画像データを入力し、取得信号各々のデモザイク画像を生成するデモザイク処理ステップと、
    前記デモザイク画像を入力し、前記不可視光取得素子によって取得された信号のデモザイク画像から抽出したエッジ情報に基づいて、可視光取得素子によって取得されたデモザイク画像の画素値補正を実行するノイズ低減処理ステップと、
    を実行させることを特徴とするコンピュータ・プログラム。
JP2005369378A 2005-12-22 2005-12-22 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム Expired - Fee Related JP4501855B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005369378A JP4501855B2 (ja) 2005-12-22 2005-12-22 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
US11/640,244 US8467088B2 (en) 2005-12-22 2006-12-18 Image signal processing apparatus, imaging apparatus, image signal processing method and computer program
US13/894,958 US9191593B2 (en) 2005-12-22 2013-05-15 Image signal processing apparatus, imaging apparatus, image signal processing method and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005369378A JP4501855B2 (ja) 2005-12-22 2005-12-22 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
JP2007174276A JP2007174276A (ja) 2007-07-05
JP4501855B2 true JP4501855B2 (ja) 2010-07-14

Family

ID=38224045

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005369378A Expired - Fee Related JP4501855B2 (ja) 2005-12-22 2005-12-22 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム

Country Status (2)

Country Link
US (2) US8467088B2 (ja)
JP (1) JP4501855B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10812765B2 (en) 2018-10-29 2020-10-20 Samsung Electronics Co., Ltd. Image processing apparatus, imaging apparatus, image processing method, and image processing program

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7457477B2 (en) * 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension
JP4730082B2 (ja) * 2005-12-22 2011-07-20 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP4864511B2 (ja) * 2006-03-31 2012-02-01 富士フイルム株式会社 電子内視鏡装置およびプログラム
JP4284628B2 (ja) * 2006-12-15 2009-06-24 ソニー株式会社 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
US20090092338A1 (en) * 2007-10-05 2009-04-09 Jeffrey Matthew Achong Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array
US8135237B2 (en) * 2008-02-25 2012-03-13 Aptina Imaging Corporation Apparatuses and methods for noise reduction
JP5033702B2 (ja) * 2008-04-04 2012-09-26 富士フイルム株式会社 撮像装置
US8254718B2 (en) * 2008-05-15 2012-08-28 Microsoft Corporation Multi-channel edge-aware chrominance noise reduction
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
JP5272581B2 (ja) * 2008-08-25 2013-08-28 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
KR101563348B1 (ko) * 2008-10-07 2015-10-27 삼성전자 주식회사 영상의 노이즈를 저감하는 영상 처리 장치 및 방법
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011143501A1 (en) 2010-05-12 2011-11-17 Pelican Imaging Corporation Architectures for imager arrays and array cameras
JP5669513B2 (ja) * 2010-10-13 2015-02-12 オリンパス株式会社 画像処理装置、画像処理プログラム、及び、画像処理方法
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP2014519741A (ja) 2011-05-11 2014-08-14 ペリカン イメージング コーポレイション アレイカメラ画像データを伝送および受信するためのシステムおよび方法
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
KR20130008304A (ko) * 2011-07-12 2013-01-22 삼성전자주식회사 색 왜곡 보정 방법 및 장치
JP5824297B2 (ja) * 2011-08-30 2015-11-25 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US8542933B2 (en) 2011-09-28 2013-09-24 Pelican Imaging Corporation Systems and methods for decoding light field image files
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
KR101695252B1 (ko) * 2012-06-07 2017-01-13 한화테크윈 주식회사 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법
EP2873028A4 (en) 2012-06-28 2016-05-25 Pelican Imaging Corp SYSTEMS AND METHOD FOR DETECTING DEFECTIVE CAMERA ARRAYS, OPTICAL ARRAYS AND SENSORS
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
CN104685513B (zh) 2012-08-23 2018-04-27 派力肯影像公司 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
CN104685860A (zh) 2012-09-28 2015-06-03 派力肯影像公司 利用虚拟视点从光场生成图像
US9398272B2 (en) * 2012-11-07 2016-07-19 Google Inc. Low-profile lens array camera
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
KR102086509B1 (ko) * 2012-11-23 2020-03-09 엘지전자 주식회사 3차원 영상 획득 방법 및 장치
JP6029954B2 (ja) * 2012-11-30 2016-11-24 クラリオン株式会社 撮像装置
DE112013006596B4 (de) * 2013-02-05 2019-10-02 Fujifilm Corporation Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Bildverarbeitungsverfahren und Programm
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
WO2014133974A1 (en) 2013-02-24 2014-09-04 Pelican Imaging Corporation Thin form computational and modular array cameras
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) * 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
EP2973476B1 (en) 2013-03-15 2025-02-26 Adeia Imaging LLC Systems and methods for stereo imaging with camera arrays
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
EP3066690A4 (en) 2013-11-07 2017-04-05 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US9456134B2 (en) 2013-11-26 2016-09-27 Pelican Imaging Corporation Array camera configurations incorporating constituent array cameras and constituent cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9392262B2 (en) * 2014-03-07 2016-07-12 Aquifi, Inc. System and method for 3D reconstruction using multiple multi-channel cameras
JP6354838B2 (ja) * 2014-04-04 2018-07-11 株式会社ニコン 撮像素子、撮像装置および画像処理装置
DE102014008686B4 (de) 2014-06-13 2017-04-06 Basler Aktiengesellschaft Verfahren und Vorrichtung zur Farbinterpolation
JP6568719B2 (ja) * 2014-08-29 2019-08-28 株式会社 日立産業制御ソリューションズ 撮像方法及び撮像装置
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
CN107005683A (zh) * 2014-11-28 2017-08-01 奥林巴斯株式会社 内窥镜装置
KR102224851B1 (ko) * 2014-12-11 2021-03-08 삼성전자주식회사 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템
US20160255323A1 (en) 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
KR102287944B1 (ko) * 2015-12-22 2021-08-09 삼성전자주식회사 영상 출력 장치 및 영상 출력 방법
CN105631600A (zh) * 2016-01-07 2016-06-01 平安科技（深圳）有限公司 车险查勘任务的发布方法及系统
CN108702494B (zh) * 2016-03-09 2020-12-04 索尼公司 图像处理装置、成像装置、图像处理方法和存储介质
US10638060B2 (en) * 2016-06-28 2020-04-28 Intel Corporation Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels
JP6818585B2 (ja) * 2017-02-21 2021-01-20 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
US10848730B2 (en) * 2017-06-15 2020-11-24 Blackmagic Design Pty Ltd Raw image processing system and method
CN107370918B (zh) * 2017-06-30 2020-09-25 联想(北京)有限公司 图像采集装置、电子设备及其使用方法
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
JP2019080245A (ja) * 2017-10-26 2019-05-23 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び撮像装置
US10789684B2 (en) * 2018-06-12 2020-09-29 Carl Zeiss Ag Method, apparatus, and system for multilevel bilateral noise filtering
US10692177B2 (en) 2018-08-10 2020-06-23 Apple Inc. Image pipeline with dual demosaicing circuit for efficient image processing
CN110809881B (zh) * 2018-08-31 2021-08-24 深圳市大疆创新科技有限公司 图像处理系统和方法
US20210185285A1 (en) * 2018-09-18 2021-06-17 Zhejiang Uniview Technologies Co., Ltd. Image processing method and apparatus, electronic device, and readable storage medium
CN110490811B (zh) * 2019-05-31 2022-09-09 杭州海康威视数字技术股份有限公司 图像降噪装置及图像降噪方法
GB201908517D0 (en) * 2019-06-13 2019-07-31 Spectral Edge Ltd 3D digital imagenoise reduction system and method
JP7351124B2 (ja) * 2019-07-16 2023-09-27 株式会社リコー 画像処理装置、画像処理方法およびプログラム
EP3821267A4 (en) 2019-09-17 2022-04-13 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR SURFACE MODELING USING POLARIZATION TRIGGERS
EP4042101A4 (en) 2019-10-07 2023-11-22 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
CN113115010B (zh) * 2020-01-11 2023-04-18 晋城三赢精密电子有限公司 基于rgb-ir图像传感器的图像格式转换方法及装置
CN115552486A (zh) 2020-01-29 2022-12-30 因思创新有限责任公司 用于表征物体姿态检测和测量系统的系统和方法
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US12175741B2 (en) 2021-06-22 2024-12-24 Intrinsic Innovation Llc Systems and methods for a vision guided end effector
US12172310B2 (en) 2021-06-29 2024-12-24 Intrinsic Innovation Llc Systems and methods for picking objects using 3-D geometry and segmentation
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US11412164B1 (en) * 2021-07-11 2022-08-09 Carl Zeiss Ag Method, apparatus, and system for residual row noise removal
US12244937B2 (en) * 2022-07-29 2025-03-04 Texas Instruments Incorporated RGB-IR pixel pattern conversion via conversion engine
CN116225972B (zh) * 2023-05-09 2023-07-18 成都赛力斯科技有限公司 图片差异对比方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191442A (ja) * 1995-01-06 1996-07-23 Mitsubishi Heavy Ind Ltd 監視用画像表示装置
JP2000019259A (ja) * 1998-06-30 2000-01-21 Mazda Motor Corp 環境認識装置
JP2002521975A (ja) * 1998-07-30 2002-07-16 インテル コーポレイション 赤外線補正システム
JP2004536518A (ja) * 2001-03-21 2004-12-02 ヒューレット・パッカード・カンパニー デモザイク処理プロセスにおけるバイラテラルフィルタリング
JP2005006066A (ja) * 2003-06-12 2005-01-06 Acutelogic Corp 固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置
JP2005303704A (ja) * 2004-04-13 2005-10-27 Mitsubishi Electric Corp 撮像装置、カメラ、及び信号処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6819801B2 (en) * 2001-06-19 2004-11-16 Agilent Technologies, Inc. System and method for processing demosaiced images to reduce color aliasing artifacts
JP4477265B2 (ja) * 2001-09-20 2010-06-09 株式会社日立国際電気 カラーテレビジョンカメラ
US7356197B2 (en) * 2003-06-30 2008-04-08 Intel Corporation Variable tap filter architecture for image processing
US20060093234A1 (en) * 2004-11-04 2006-05-04 Silverstein D A Reduction of blur in multi-channel images
US7609291B2 (en) * 2005-12-07 2009-10-27 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Device and method for producing an enhanced color image using a flash of infrared light

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191442A (ja) * 1995-01-06 1996-07-23 Mitsubishi Heavy Ind Ltd 監視用画像表示装置
JP2000019259A (ja) * 1998-06-30 2000-01-21 Mazda Motor Corp 環境認識装置
JP2002521975A (ja) * 1998-07-30 2002-07-16 インテル コーポレイション 赤外線補正システム
JP2004536518A (ja) * 2001-03-21 2004-12-02 ヒューレット・パッカード・カンパニー デモザイク処理プロセスにおけるバイラテラルフィルタリング
JP2005006066A (ja) * 2003-06-12 2005-01-06 Acutelogic Corp 固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置
JP2005303704A (ja) * 2004-04-13 2005-10-27 Mitsubishi Electric Corp 撮像装置、カメラ、及び信号処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10812765B2 (en) 2018-10-29 2020-10-20 Samsung Electronics Co., Ltd. Image processing apparatus, imaging apparatus, image processing method, and image processing program
US11381795B2 (en) 2018-10-29 2022-07-05 Samsung Electronics Co., Ltd. Image processing apparatus configured to correct a luminance value of a target pixel, imaging apparatus, image processing method, and image processing program

Also Published As

Publication number Publication date
US20140098265A1 (en) 2014-04-10
US9191593B2 (en) 2015-11-17
US20070153335A1 (en) 2007-07-05
US8467088B2 (en) 2013-06-18
JP2007174276A (ja) 2007-07-05

Similar Documents

Publication Publication Date Title
JP4501855B2 (ja) 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP5011814B2 (ja) 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP4534756B2 (ja) 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
US9179113B2 (en) Image processing device, and image processing method, and program
US8890983B2 (en) Tone mapping for low-light video frame enhancement
JP5016255B2 (ja) ノイズ低減装置ならびにその制御方法およびその制御プログラムならびに撮像装置およびディジタル・カメラ
US9025871B2 (en) Image processing apparatus and method of providing high sensitive color images
JP2012239103A (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN107534761B (zh) 成像装置、成像方法、图像处理装置
US20110169980A1 (en) Apparatus and method for obtaining high dynamic range image
JP4730082B2 (ja) 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP2008153836A (ja) 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
WO2017098897A1 (ja) 撮像装置、撮像制御方法、および、プログラム
WO2013190896A1 (ja) 画像処理装置、内視鏡装置、孤立点ノイズ補正方法及び画像処理プログラム
CN110741632A (zh) 拍摄装置、拍摄元件以及图像处理方法
JP2006310999A (ja) 画像処理装置および方法、並びにプログラム
US20150206280A1 (en) Image processing apparatus, image processing method, and program
WO2015098243A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP5948167B2 (ja) 撮像装置
JP5814610B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP5034665B2 (ja) 画像入力処理装置、画素信号処理回路、および、エッジ検出方法
JP2010178226A (ja) 撮像装置、色収差抑制方法、色収差抑制回路及びプログラム
JP4877402B2 (ja) 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
JP4389671B2 (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2008236693A (ja) 画像処理装置，画像処理方法及び撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070329

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100330

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100412

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130430

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140430

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees