[go: up one dir, main page]

JP2016076807A - 画像処理装置、撮像装置および撮像方法 - Google Patents

画像処理装置、撮像装置および撮像方法 Download PDF

Info

Publication number
JP2016076807A
JP2016076807A JP2014205509A JP2014205509A JP2016076807A JP 2016076807 A JP2016076807 A JP 2016076807A JP 2014205509 A JP2014205509 A JP 2014205509A JP 2014205509 A JP2014205509 A JP 2014205509A JP 2016076807 A JP2016076807 A JP 2016076807A
Authority
JP
Japan
Prior art keywords
image signal
infrared light
frame
image
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014205509A
Other languages
English (en)
Inventor
碧輝 江山
Aoki Eyama
碧輝 江山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014205509A priority Critical patent/JP2016076807A/ja
Priority to PCT/JP2015/069376 priority patent/WO2016056279A1/ja
Priority to US15/512,610 priority patent/US10951838B2/en
Publication of JP2016076807A publication Critical patent/JP2016076807A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】赤外光を照射しながら撮影を行う場合であっても、赤外光信号を含んだ可視光に対応する画像信号から赤外光に対応する画像信号を分離する。
【解決手段】露光制御部は、露光時間を所定の第１の露光時間にする第１のフレームと第１の露光時間より長い第２の露光時間にする第２のフレームとを交互に繰り返す。赤外光照射制御部は、第１のフレームおよび第２のフレームの合計期間以下の所定の赤外光照射期間に赤外光を照射させる。画像信号取得部は、第１のフレームにおける画像信号である第１の画像信号と第２のフレームにおける画像信号である第２の画像信号とを取得する。抽出部は、第１の画像信号および第２の画像信号から単位時間当たりの可視光強度と単位時間当たりの赤外光強度とを抽出する。生成部は、単位時間当たりの可視光強度と単位時間当たりの赤外光強度とに基づいて可視光に対応する画像信号と赤外光に対応する画像信号とを生成する。
【選択図】図２

Description

本技術は、画像処理装置に関する。詳しくは、カラーナイトビュー機能を有するカメラに使用される画像処理装置、撮像装置およびこれらにおける撮像方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
従来、監視カメラなどの夜間に使用するカメラにおいて可視光および赤外光に対応する画素を備え、可視光および赤外光を含む画像信号を出力する撮像素子が使用されている。この撮像素子が出力する画像信号は、可視光信号に赤外光信号が加算されており、可視光信号のみを出力する撮像素子よりも信号レベルが高くなる。そのため、夜間等の低照度環境下においても、視認性に優れた画像を得ることができる。しかし、可視光信号に赤外光信号が加算されているため、得られた画像は色再現性に劣る画像となる。そこで、可視光および赤外光を含む画像信号から可視光信号と赤外光信号とを一旦分離し、所定の比率に基づいて、これら可視光信号および赤外光信号を混合して、視認性重視または色再現性重視等の用途に合わせた画像信号を得る撮像装置が提案されている。この可視光および赤外光を含む画像信号から可視光信号と赤外光信号とを分離する方法として、画像信号の演算により分離する方法が提案されている（例えば、特許文献１参照。）。
特開２００８−２８９０００号公報
上述の従来技術では、４種類の画素を備えた撮像素子を使用している。この画素は、赤色光および赤外光に対応する画素（Ｒ＋ＩＲ画素）と、緑色光および赤外光に対応する画素（Ｇ＋ＩＲ画素）と、青色光および赤外光に対応する画素（Ｂ＋ＩＲ画素）と、白色光および赤外光に対応する画素（Ｗ＋ＩＲ画素）の４つである。そして、この撮像素子から出力される可視光（赤色光、緑色光、青色光および白色光）および赤外光を含む画像信号から可視光信号と赤外光信号とを分離している。これは、次に示す演算により行われる。
（Ｒ＋ＩＲ＋Ｇ＋ＩＲ＋Ｂ＋ＩＲ−Ｗ＋ＩＲ）／２＝ＩＲ
Ｒ＋ＩＲ−ＩＲ＝Ｒ
Ｇ＋ＩＲ−ＩＲ＝Ｇ
Ｂ＋ＩＲ−ＩＲ＝Ｂ
但し、ＩＲ、Ｒ、Ｇ及びＢは、それぞれ赤外光信号（ＩＲ信号）、赤色光信号（Ｒ信号）、緑色光信号（Ｇ信号）および青色光信号（Ｂ信号）を表す。また、Ｒ＋ＩＲは、赤色光および赤外光からなる画像信号（Ｒ＋ＩＲ信号）を表す。Ｇ＋ＩＲは、緑色光および赤外光からなる画像信号（Ｇ＋ＩＲ信号）を表す。Ｂ＋ＩＲは、青色光および赤外光からなる画像信号（Ｂ＋ＩＲ信号）を表す。Ｗ＋ＩＲは、白色光および赤外光からなる画像信号（Ｗ＋ＩＲ信号）を表す。これらＲ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＷ＋ＩＲ信号は、それぞれ、Ｒ＋ＩＲ画素、Ｇ＋ＩＲ画素、Ｂ＋ＩＲ画素およびＷ＋ＩＲ画素の出力信号である。このように、従来技術は、Ｗ＋ＩＲ信号と他の画像信号（Ｒ＋ＩＲ信号、Ｇ＋ＩＲ信号およびＢ＋ＩＲ信号）との演算により赤外光信号（ＩＲ信号）と可視光信号（Ｒ信号、Ｇ信号およびＢ信号）とを分離している。
しかし、この従来技術による方式は、簡単な演算により分離が可能となる反面、Ｗ＋ＩＲ画素と他の画素との間の赤外光における分光特性の違いが考慮されていないため問題となる。具体的には、赤外光量が多い場合の撮影、例えば、赤外光を照射しながら撮影を行う場合において、この分光特性の違いに基づく誤差が大きくなる。このため、可視光および赤外光の分離を適正に行うことができないという問題があった。
本技術はこのような状況に鑑みて生み出されたものであり、赤外光を照射しながら撮影を行う場合であっても、可視光および赤外光からなる画像信号から可視光および赤外光を適正に分離することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、被写体の画像信号を出力する撮像素子の露光開始から露光停止までのタイミングを制御して露光時間を所定の第１の露光時間にする第１のフレームと上記第１の露光時間より長い第２の露光時間にする第２のフレームとを交互に繰り返す露光制御部と、上記第１のフレームおよび上記第２のフレームの合計期間より短いまたは等しい所定の赤外光照射期間に赤外光を上記被写体に照射させる赤外光照射制御部と、上記第１のフレームにおける上記画像信号である第１の画像信号と上記第２のフレームにおける上記画像信号である第２の画像信号とを取得する画像信号取得部と、上記第１の画像信号および上記第２の画像信号から単位時間当たりの可視光強度と単位時間当たりの赤外光強度とを抽出する抽出部と、抽出された上記単位時間当たりの可視光強度と上記単位時間当たりの赤外光強度とに基づいて可視光に対応する画像信号と赤外光に対応する画像信号とを生成する生成部とを備える画像処理装置である。これにより、第１の画像信号および第２の画像信号から単位時間当たりの可視光強度と単位時間当たりの赤外光強度とを抽出し、抽出された単位時間当たりの可視光強度と単位時間当たりの赤外光強度とに基づいて可視光に対応する画像信号と赤外光に対応する画像信号とを生成するという作用をもたらす。
また、この第１の側面において、上記第１のフレームにおける露光期間と上記赤外光照射期間とが重なる期間を第１の赤外光照射期間とし上記第２のフレームにおける露光期間と上記赤外光照射期間とが重なる期間を第２の赤外光照射期間とした際、上記第１の露光時間と上記第１の赤外光照射期間との比率と上記第２の露光時間と上記第２の赤外光照射期間との比率とが異なってもよい。これにより、第１の露光時間と第１の赤外光照射期間との比率と第２の露光時間と第２の赤外光照射期間との比率とが異なるという作用をもたらす。
また、この第１の側面において、上記可視光に対応する画像信号を輝度信号および色信号に変換する変換部と、上記赤外光に対応する画像信号により上記輝度信号と上記色信号とを補正する補正部とをさらに備えてもよい。これにより、赤外光に対応する画像信号により上記輝度信号と上記色信号とを補正する作用をもたらす。
また、この第１の側面において、上記被写体の画像信号は、赤色光および赤外光に対応する画像信号と緑色光および赤外光に対応する画像信号と青色光および赤外光に対応する画像信号とを備え、上記分離部は、赤外光に対応する画像信号と赤色光に対応する画像信号と緑色光に対応する画像信号と青色光に対応する画像信号とを分離してもよい。これにより、赤外光に対応する画像信号と赤色光に対応する画像信号と緑色光に対応する画像信号と青色光に対応する画像信号とが分離される作用をもたらす。
また、この第１の側面において、上記撮像素子は、白色光および赤外光に対応する画像信号をさらに備え、上記分離部は、赤外光に対応する画像信号と赤色光に対応する画像信号と緑色光に対応する画像信号と青色光に対応する画像信号と白色光に対応する画像信号とを分離してもよい。これにより、赤外光に対応する画像信号と赤色光に対応する画像信号と緑色光に対応する画像信号と青色光に対応する画像信号と白色光に対応する画像信号とが分離される作用をもたらす。
また、本技術の第２の側面は、被写体の画像信号を出力する撮像素子と、上記被写体に赤外光を照射する赤外光照射部と、上記撮像素子の露光開始から露光停止までのタイミングを制御して露光時間を所定の第１の露光時間にする第１のフレームと上記第１の露光時間より長い第２の露光時間にする第２のフレームとを交互に繰り返す露光制御部と、上記第１のフレームおよび上記第２のフレームの合計期間より短いまたは等しい所定の赤外光照射期間に上記赤外光照射部に赤外光を照射させる赤外光照射制御部と、上記第１のフレームにおける上記画像信号である第１の画像信号と上記第２のフレームにおける上記画像信号である第２の画像信号とを取得する画像信号取得部と、上記第１の画像信号および上記第２の画像信号から単位時間当たりの可視光強度と単位時間当たりの赤外光強度とを抽出する抽出部と、抽出された上記単位時間当たりの可視光強度と上記単位時間当たりの赤外光強度とに基づいて可視光に対応する画像信号と赤外光に対応する画像信号とを生成する生成部とを備える画像処理装置と、を具備する撮像装置である。これにより、第１の画像信号および第２の画像信号から単位時間当たりの可視光強度と単位時間当たりの赤外光強度とを抽出し、抽出された単位時間当たりの可視光強度と単位時間当たりの赤外光強度とに基づいて可視光に対応する画像信号と赤外光に対応する画像信号とを生成するという作用をもたらす。
また、本技術の第３の側面は、被写体の画像信号を出力する撮像素子の露光開始から露光停止までのタイミングを制御して露光時間を所定の第１の露光時間にする第１のフレームと上記第１の露光時間より長い第２の露光時間にする第２のフレームとを交互に繰り返す露光制御手順と、上記第１のフレームおよび上記第２のフレームの合計期間より短いまたは等しい所定の赤外光照射期間に赤外光を上記被写体に照射させる赤外光照射制御手順と、上記第１のフレームにおける上記画像信号である第１の画像信号と上記第２のフレームにおける上記画像信号である第２の画像信号とを取得する画像信号取得手順と、上記第１の画像信号および上記第２の画像信号から単位時間当たりの可視光強度と単位時間当たりの赤外光強度とを抽出する抽出手順と、抽出された上記単位時間当たりの可視光強度と上記単位時間当たりの赤外光強度とに基づいて可視光に対応する画像信号と赤外光に対応する画像信号とを生成する生成手順とを備える撮像方法である。これにより、第１の画像信号および第２の画像信号から単位時間当たりの可視光強度と単位時間当たりの赤外光強度とを抽出し、抽出された単位時間当たりの可視光強度と単位時間当たりの赤外光強度とに基づいて可視光に対応する画像信号と赤外光に対応する画像信号とを生成するという作用をもたらす。
本技術によれば、赤外光を照射しながら撮影を行う場合であっても、可視光および赤外光からなる画像信号から可視光および赤外光を適正に分離するという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における撮像装置１００の構成例を示す図である。 本技術の第１の実施の形態における画像処理装置１１０の構成例を示す図である。 本技術の第１の実施の形態における画像信号取得部１２０の処理を説明する図である。 本技術の第１の実施の形態におけるＩＲ分離除去部１３０の構成例を示す図である。 本技術の第１の実施の形態における撮像素子２００の動作を示す図である。 本技術の第１の実施の形態におけるフレームと露光時間の関係を示す図である。 本技術の第１の実施の形態における露光時間と赤外光照射期間の関係を示す図である。 本技術の第１の実施の形態における撮像処理手順の一例を示す図である。 本技術の第１の実施の形態における第１フレーム処理手順の一例を示す図である。 本技術の第１の実施の形態における分離処理手順の一例を示す図である。 本技術の第１の実施の形態における第２フレーム処理手順の一例を示す図である。 本技術の第２の実施の形態におけるフレームと露光時間の関係を示す図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（第１のフレームと第２のフレームの期間が同一の場合の例）
２．第２の実施の形態（第１のフレームと第２のフレームの期間が異なる場合の例）
３．変形例
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の構成例を示す図である。この撮像装置１００は、レンズ１０１と、画像出力部１０２と、赤外光照射部１０３と、画像処理装置１１０と、撮像素子２００とを備える。
レンズ１０１は、撮像素子２００に対して光学的に被写体を結像するものである。この撮像素子２００は、レンズ１０１によって結像された光学画像を画像信号に変換し、出力する。また、この撮像素子２００は、光学画像が結像される面に画像信号を生成する画素が２次元に配置されている。この画素には、前述したＲ＋ＩＲ画素、Ｇ＋ＩＲ画素、Ｂ＋ＩＲ画素およびＷ＋ＩＲ画素が含まれる。これらの画素の配置として、Ｗ＋ＩＲ画素を市松模様状に配置し、その間に他の画素を配置する方式を使用することができる。撮像素子２００は、Ａ／Ｄ変換器を内蔵しており、デジタル信号に変換した画像信号を出力する。この画像信号には、前述したＲ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＷ＋ＩＲ信号が含まれる。
撮像素子２００は、所定のフレーム周波数に従って１画面分の画像信号を出力する。本技術の第１の実施の形態では、露光時間の短いフレーム（第１のフレーム）と長いフレーム（第２のフレーム）とを交互に繰り返している。これらのフレームの説明については後述する。
画像処理装置１１０は、撮像素子２００から出力された画像信号を処理し、処理後の画像信号を出力するものである。また、画像処理装置１１０は、撮像装置１００の全体の動作を制御する。画像出力部１０２は、画像処理装置１１０から出力された画像信号を撮像装置１００の外部に出力するものである。赤外光照射部１０３は、被写体に赤外光を照射するものである。この赤外光照射部１０３は、画像処理装置１１０により制御される。
［画像処理装置の構成］
図２は、本技術の第１の実施の形態における画像処理装置１１０の構成例を示す図である。この画像処理装置１１０は、赤外光照射制御部１１１と、露光制御部１１２と、画像信号取得部１２０と、ＩＲ分離除去部１３０と、補間部１１４と、色信号補正部１１５と、ＹＣ変換部１１６と、補正部１１７とを備える。なお、画像信号取得部１２０については後述する。
赤外光照射制御部１１１は、赤外光照射部１０３における赤外光の照射を制御するものである。露光制御部１１２は、撮像素子２００における露光時間を制御するものである。これら赤外光照射制御部１１１と露光制御部１１２の動作の詳細については、後述する。
ＩＲ分離除去部１３０は、赤外光信号を含む画像信号（Ｒ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＷ＋ＩＲ信号）から赤外光に対応する画像信号（ＩＲ信号）を分離し除去するものである。このＩＲ分離除去部１３０は、画像信号取得部１２０が出力した同一画素に関する２フレーム分の画像信号を処理する。そして、分離したＩＲ信号とＲ信号、Ｇ信号、Ｂ信号およびＷ信号とを出力する。
補間部１１４は、ＩＲ分離除去部１３０により分離されたＲ信号、Ｇ信号、Ｂ信号およびＷ信号に対して、補間処理を行うものである。ここで、補間処理とは、画素位置において不足する画像信号のデータを補間し、全ての画素についてＲ信号、Ｇ信号、Ｂ信号およびＷ信号を生成する処理である。この補間処理には公知の処理方法を使用することができる。例えば、補間処理の対象となる画素において、Ｒ信号を生成する場合には、周囲にあるＲ画素の画像信号の平均値を当該画素のＲ信号とする方法を使用することができる。
色信号補正部１１５は、Ｒ信号、Ｇ信号およびＢ信号に対し、ホワイトバランス調整およびガンマ補正を行うものである。なお、ホワイトバランス調整は、白い被写体に対するＲ信号、Ｇ信号およびＢ信号が同じ信号レベルになるように調整する処理である。ガンマ補正は、Ｒ信号、Ｇ信号およびＢ信号をガンマ曲線に沿って補正するものである。
ＹＣ変換部１１６は、数値演算によりＲ信号、Ｇ信号、Ｂ信号およびＷ信号を輝度信号（Ｙ）と色差信号（ＣｂおよびＣｒ）に変換するものである。この数値演算には、公知の演算式を使用することができる。例えば、次式を使用することができる。
Ｙ ＝Ｗ
Ｃｂ＝−０．１６８７４×Ｒ−０．３３１２６×Ｇ＋０．５００００×Ｂ
Ｃｒ＝ ０．５００００×Ｒ−０．４１８６９×Ｇ−０．０８１３１×Ｂ
但し、Ｗは、Ｗ信号を表す。
補正部１１７は、ＩＲ信号により輝度信号と色差信号を補正するものである。この補正部１１７は、輝度信号と色差信号にＩＲ信号を加えて、色のバランスを維持しながら輝度信号および色差信号のレベルを高くする。これにより、視認性の高い画像を提供することができる。この補正には公知の補正方法を使用することができる。例えば、次の補正式を使用して補正することができる。
Ｙ' ＝Ｙ ＋ｋ１×ＩＲ
Ｃｂ'＝Ｃｂ＋ｋ２×ＩＲ
Ｃｒ'＝Ｃｒ＋ｋ３×ＩＲ
但し、Ｙ'、Ｃｂ'およびＣｒ'は、それぞれ補正後の輝度信号Ｙ、色差信号Ｃｂおよび色差信号Ｃｒを表す。ＩＲはＩＲ信号を表す。ｋ１、ｋ２およびｋ３は係数である。
図３は、本技術の第１の実施の形態における画像信号取得部１２０の処理を説明する図である。ここで、画像信号取得部１２０は、撮像素子２００が出力した画像信号を取得するものである。この画像信号取得部１２０は、１フレーム分の画像信号を保持するフレームメモリ１２１を備え、撮像素子２００が出力した現在のフレームの画像信号と同一画素における１フレーム前の画像信号とを出力する。なお、同図において、撮像素子２００におけるフレームのライン数をＮ本と想定する。また、第Ｐラインに着目し、撮像素子２００は、現在のフレームであるフレームＦにおいて第Ｐラインの画像信号を出力しているものと想定する。また、同図のフレームＦ−１は、フレームＦの１フレーム前のフレームを表している。すると、撮像素子２００から第Ｐラインの画像信号が入力されると、画像信号取得部１２０は、このフレームＦにおける第Ｐラインの画像信号とフレームＦ−１における第Ｐラインの画像信号とを同時に出力する。これを実現するため、画像信号取得部１２０は、フレームメモリ１２１から１フレーム前の画像信号を取り出して出力した後、現在のフレームにおける画像信号をフレームメモリ１２１に保持させる。なお、ＹＣ変換部１１６は、特許請求の範囲に記載の変換部の一例である。
図４は、本技術の第１の実施の形態におけるＩＲ分離除去部１３０の構成例を示す図である。このＩＲ分離除去部１３０は、分離部１３３と、ローパスフィルタ（ＬＰＦ）１３１とを備える。
分離部１３３は、赤外光信号を含む画像信号（Ｒ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＷ＋ＩＲ信号）から赤外光信号を含まない画像信号（Ｒ信号、Ｇ信号、Ｂ信号およびＷ信号）とＩＲ信号とを分離するものである。この分離部１３３は、抽出部１３４と、画像信号生成部１３５とを備える。抽出部１３４は、赤外光信号を含む画像信号から単位時間当たりの可視光強度と単位時間当たりの赤外光強度とを抽出するものである。また、画像信号生成部１３５は、単位時間当たりの可視光強度と単位時間当たりの赤外光強度とからＲ信号、Ｇ信号、Ｂ信号、Ｗ信号およびＩＲ信号を生成するものである。抽出部１３４と画像信号生成部１３５の詳細な説明については後述する。なお、画像信号生成部１３５は、特許請求の範囲に記載の生成部の一例である。
ＬＰＦ１３１は、ノイズ除去のため、画像信号に含まれる高周波信号を低減するローパスフィルタである。このＬＰＦ１３１として、例えば、２次元ノイズリダクション回路を使用することができる。
［撮像素子の制御］
図５は、本技術の第１の実施の形態における撮像素子２００の動作を示す図である。本技術の第１の実施の形態における撮像素子２００は、ＣＭＯＳ型の撮像素子であり、ローリングシャッター方式で動作させる。このローリングシャッター方式は、図５に表したように、リセット、露光および読出しの一連の動作をライン毎に順番に行う方式である。また、撮像素子２００は、１つのラインにおける読出しから次の読出しまでの期間が一定であり、露光開始から露光停止までのタイミングを制御することにより露光時間が設定される。これは、図５において、リセットから読出しまでのタイミングを制御することに相当し、この制御は露光制御部１１２が行う。具体的に説明すると、撮像素子２００は、リセットのタイミングを外部から設定可能である。設定されたタイミングによりライン毎に順次リセットされ、所定の露光時間を得ることができる。露光制御部１１２は、このリセットタイミングの設定を変更することにより、撮像素子２００の露光時間を制御する。図５は、読出しの直後にリセットが行われており、最大の露光時間が設定された場合の例を表している。なお、撮像素子２００は、この露光時間経過後に、各ラインの画像データの読出しを行い、画像処理装置１１０に出力する。
図６は、本技術の第１の実施の形態におけるフレームと露光時間の関係を示す図である。撮像素子２００は、Ｎ本のラインを有し、短い露光時間のフレームと長い露光時間のフレームを交互に繰り返している。ここで、短い露光時間を第１の露光時間、長い露光時間を第２の露光時間と称する。また、第１の露光時間が設定されたフレームを第１のフレーム、第２の露光時間が設定されたフレームを第２のフレームと称する。図６においては、フレームＦおよびフレームＦ＋２が第１のフレームに相当し、フレームＦ＋１が第２のフレームに相当する。なお、露光制御部１１２は、フレームが切り替わる際に、上述したリセットタイミングの設定を書き換えて、第１の露光時間と第２の露光時間とを切り替えている。
また、第１のフレームから第２のフレームに切り替わる期間にわたって赤外光が被写体に照射される。これは、赤外光照射制御部１１１が赤外光照射部１０３を制御することにより行われる。赤外光照射制御部１１１による制御方法としては、例えば、次の方法を使用することができる。まず、第１のフレームの開始からの経過時間をタイマーにより計時し、赤外光照射開始タイミングとなった場合に赤外光照射部１０３に赤外光の照射を開始させる。その後、第２のフレームの開始からの経過時間を同様に計時し、赤外光照射停止タイミングとなった場合に赤外光照射部１０３に赤外光の照射を停止させる。
図７は、本技術の第１の実施の形態における露光時間と赤外光照射期間の関係を示す図である。同図におけるａは、図６における第Ｐラインの露光時間と赤外光照射期間の関係を表している。ここで、赤外光照射期間のうち第１の露光時間と重なる期間を第１の赤外光照射期間、第２の露光時間と重なる期間を第２の赤外光照射期間と称する。これらの期間として、例えば、第１の露光時間（Ｔｓ）を１６ｍｓ、第２の露光時間（Ｔｌ）を３２ｍｓ、第１の赤外光照射期間（Ｔｉｓ）を８ｍｓ、第２の赤外光照射期間（Ｔｉｌ）を８ｍｓとすることができる。これらは、撮像素子２００からの画像信号が飽和せず、正常な画像信号が得られる範囲で露光制御部１１２および赤外光照射制御部１１１によって設定される。なお、第１のフレームにおける画像信号を第１の画像信号、第２のフレームにおける第１の画像信号と同一ラインの画像信号を第２の画像信号と称する。
［可視光に対応する画像信号と赤外光に対応する画像信号の生成］
図７におけるａにおいて、フレームＦのときの画像信号つまり第１の画像信号をＲｓ、フレームＦ＋１のときの画像信号つまり第２の画像信号をＲｌとすると。ＲｓおよびＲｌとＴｓ、Ｔｌ、ＴｉｓおよびＴｉｌとの間には次の関係がある。
Ｒｓ＝ｒ×Ｔｓ＋ｉｒ×Ｔｉｓ ・・・（式１）
Ｒｌ＝ｒ×Ｔｌ＋ｉｒ×Ｔｉｌ ・・・（式２）
但し、ｒは単位時間当たりの可視光強度である。ｉｒは単位時間当たりの赤外光強度である。また、フレームＦおよびＦ＋１において、ｒおよびｉｒがほとんど変化しないものと仮定する。ＴｓおよびＴｌは既知の値であり、ＴｉｓおよびＴｉｌもフレームＦの開始時間に対する赤外光照射開始時間および照射期間の長さ等から算出可能な値である。したがって、上記の式１および式２を連立させてｒおよびｉｒを算出することができる。このｒおよびｉｒの算出は抽出部１３４により行われる。
なお、ＴｓおよびＴｉｓの比率とＴｌおよびＴｉｌの比率とが異なる値になるように露光時間および赤外光照射期間を設定する必要がある。これらの比率が等しい場合には、式１および式２からｒおよびｉｒを算出することができないためである。例えば、図７におけるｂに示したように、Ｔｓを１６ｍｓ、Ｔｌを３２ｍｓ、Ｔｉｓを４ｍｓ、Ｔｉｌを８ｍｓとした場合が該当する。そこで、このような条件となったラインは、前後のラインにおけるｒおよびｉｒの平均値を当該ラインのｒおよびｉｒとする処理（補間処理）等を行う必要がある。
次に、ｒおよびｉｒから可視光に対応する画像信号と赤外光に対応する画像信号を生成する。ｒは単位時間当たりの可視光強度であるため、ｒにＴｓまたはＴｌを乗算することにより可視光に対応する画像信号を生成することができる。同様に、ｉｒは単位時間当たりの赤外光強度であるため、ｉｒにＴｉｓまたはＴｉｌを乗算することにより赤外光に対応する画像信号を生成することができる。これらは、画像信号生成部１３５により行われる。このように、赤外光信号を含む画像信号から可視光信号に対応する画像信号を生成することにより、赤外光信号の分離を実現している。
［撮像手順］
図８は、本技術の第１の実施の形態における撮像処理手順の一例を示す図である。本技術の第１の実施の形態における撮像処理は、現在の操作対象ライン番号を示す変数Ｐを使用する。まず、画像処理装置１１０は、変数Ｐに１を設定する（ステップＳ９０１）。次に、画像処理装置１１０は、撮像素子２００に第１の露光時間を設定し（ステップＳ９０２）、第１フレーム処理を実行する（ステップＳ９１０）。その結果、変数ＰがＮでない場合には（ステップＳ９０３：Ｎｏ）、画像処理装置１１０は、再度ステップＳ９１０の処理を実行する。変数ＰがＮになった場合には（ステップＳ９０３：Ｙｅｓ）、画像処理装置１１０は、ステップＳ９０５の処理に移行し、変数Ｐに１を設定する（ステップＳ９０５）。次に、画像処理装置１１０は、撮像素子２００に第２の露光時間を設定し（ステップＳ９０６）、第２のフレーム処理を実行する（ステップＳ９２０）。その結果、変数ＰがＮでない場合には（ステップＳ９０７：Ｎｏ）、画像処理装置１１０は、再度ステップＳ９２０の処理を実行する。変数ＰがＮになった場合には（ステップＳ９０７：Ｙｅｓ）、画像処理装置１１０は、再度ステップＳ９０１からの処理を実行する。
図９は、本技術の第１の実施の形態における第１フレーム処理手順の一例を示す図である。まず、画像処理装置１１０は、変数Ｐに対応するラインの画像信号が撮像素子２００から出力されるまで待機する（ステップＳ９１１）。画像信号が出力された場合（ステップＳ９１１：Ｙｅｓ）、画像信号取得部１２０がこれを取得し（ステップＳ９１２）、当該画像信号と１フレーム前のラインＰにおける画像信号とを出力する。さらに、当該画像信号は、フレームメモリ１２１に保持される。次に、画像処理装置１１０は、分離処理（ステップＳ９３０）を実行し、画像信号から赤外光信号を分離する。次に、画像処理装置１１０は、変数Ｐをインクリメントする（ステップＳ９１３）。次に、画像処理装置１１０は、赤外光照射制御部１１１が赤外光を照射しておらず（ステップＳ９１４：Ｎｏ）、赤外光照射開始タイミングとなっていた場合には（ステップＳ９１５：Ｙｅｓ）、赤外光照射部１０３に赤外光の照射を開始させる（ステップＳ９１６）。その後、画像処理装置１１０は、第１フレーム処理を終了する。一方、すでに赤外光照射中か（ステップＳ９１４：Ｙｅｓ）、赤外光照射開始タイミングとなっていない場合には（ステップＳ９１５：Ｎｏ）、画像処理装置１１０は、なにもせず第１フレーム処理を終了する。
図１０は、本技術の第１の実施の形態における分離処理手順の一例を示す図である。まず、画像処理装置１１０は、抽出部１３４に対して画像信号から単位時間当たりの可視光強度と単位時間当たりの赤外光強度とを抽出させる（ステップＳ９３１）。次に、画像処理装置１１０は、画像信号生成部１３５に対して抽出された単位時間当たりの可視光強度と単位時間当たりの赤外光強度とから可視光に対応する画像信号と赤外光に対応する画像信号とを生成させる（ステップＳ９３２）。その後、画像処理装置１１０は、処理を終了する。
図１１は、本技術の第１の実施の形態における第２フレーム処理手順の一例を示す図である。まず、画像処理装置１１０は、変数Ｐに対応するラインの画像信号が撮像素子２００から出力されるまで待機する（ステップＳ９２１）。画像信号が出力された場合（ステップＳ９２１：Ｙｅｓ）、画像信号取得部１２０がこれを取得する（ステップＳ９２２）。次に、画像処理装置１１０は、分離処理を実行し（ステップＳ９３０）、画像信号から赤外光信号を分離する。次に、画像処理装置１１０は、変数Ｐをインクリメントする（ステップＳ９２３）。次に、画像処理装置１１０は、赤外光照射制御部１１１が、赤外光を照射しており（ステップＳ９２４：Ｎｏ）、赤外光照射停止タイミングとなっていた場合には（ステップＳ９２５：Ｙｅｓ）、赤外光照射部１０３に赤外光の照射を停止させる（ステップＳ９２６）。その後、画像処理装置１１０は、第２フレーム処理を終了する。一方、すでに赤外光照射停止中か（ステップＳ９２４：Ｙｅｓ）、赤外光照射停止タイミングとなっていない場合には（ステップＳ９２５：Ｎｏ）、画像処理装置１１０は、なにもせず第２フレーム処理を終了する。
このように、本技術の第１の実施の形態によれば、露光時間および赤外光照射時間の異なる画像信号の演算により、赤外光を照射しながら撮影を行う場合であっても、可視光および赤外光からなる画像信号から可視光および赤外光を適正に分離することができる。
＜２．第２の実施の形態＞
上述した第１の実施の形態では、１ライン当たりの動作時間が一定の撮像素子を使用していた。これに対し本技術の第２の実施の形態では、１ライン当たりの動作時間を露光時間に合わせて変更することができる撮像素子を使用する。
［撮像素子の制御］
図１２は、本技術の第２の実施の形態におけるフレームと露光時間の関係を示す図である。本技術の第２の実施の形態における撮像素子２００は、本技術の第１の実施の形態と同様、ローリングシャッター方式の撮像素子である。しかし、リセットから読出しまでの期間、つまり露光時間に合わせてフレームにおける１ライン当りの動作時間を変更することができる。ここで、１つのラインにおける画像信号の読出しから次の読出しまでの期間を１ライン当りの動作時間と称する。第１の露光時間は第２の露光時間より短いため、第１のフレームにおける１ライン当りの動作時間も短くなる。そのため、図１２における第１のフレーム期間であるフレームＦおよびＦ＋２の期間は、第２のフレーム期間であるフレームＦ＋１およびＦ＋３の期間より短くなっている。なお、１ライン当りの動作時間は、撮像素子からのデータ読出し時間により制限されることとなるが、本技術の第２の実施の形態における撮像素子２００は、同時に２ライン分の画像信号の読出しを行うことにより、短い動作時間を実現している。これにより、本技術の第２の実施の形態では、第２のフレームにおいて、フレーム周波数を高めることができ、画質を高めることができる。
［画像処理装置等の構成］
本技術の第２の実施の形態における画像処理装置１１０は、図２において説明した画像処理装置１１０と同様の構成にすることができる。ただし、同時に２ライン分の画像信号の処理が必要となる。そのため、例えば、画像信号取得部１２０は、フレームメモリ１２１を第１のフレーム用および第２のフレーム用の２画面分備える構成とする。そして、２ライン分の画像信号をそれぞれのフレームメモリに分けて保存しながら、当該フレームメモリから画像信号を読出して出力する構成とする。これ以外の画像処理装置１１０および撮像装置１００の構成は、本技術の第１の実施の形態において説明した画像処理装置１１０および撮像装置１００と同様であるため、説明を省略する。
このように、本技術の第２の実施の形態によれば、１ライン当たりの動作時間を露光時間に合わせて変更することによりフレーム周波数を高め、画質を高めることができる。
＜３．変形例＞
［第１の変形例］
上述した第１の実施の形態では、撮像素子２００として、ローリングシャッター方式の撮像素子を使用していたが、グローバルシャッター方式の撮像素子であるＣＣＤ型の撮像素子を使用してもよい。この場合、露光時間の設定は、所定の露光時間となるよう、露光制御部１１２が撮像素子２００に対してリセット動作を実行させる信号を入力することにより行う。これ以外の画像処理装置１１０および撮像装置１００の構成は、本技術の第１の実施の形態において説明した画像処理装置１１０および撮像装置１００と同様であるため、説明を省略する。このように、本技術の第１の変形例によれば、ＣＣＤ型の撮像素子を使用した場合であっても、可視光および赤外光からなる画像信号から可視光および赤外光を適正に分離することができる。
［第２の変形例］
上述した第１の実施の形態では、撮像素子２００には、Ｒ＋ＩＲ画素、Ｇ＋ＩＲ画素、Ｂ＋ＩＲ画素およびＷ＋ＩＲ画素が配置されていた。これに対し、Ｒ＋ＩＲ画素、Ｇ＋ＩＲ画素およびＢ＋ＩＲ画素がベイヤー配列に配置された撮像素子を撮像素子２００に使用してもよい。この場合、ＹＣ変換部１１６における演算は、次式に基づいて行うことができる。
Ｙ ＝ ０．２９８９１×Ｒ＋０．５８６６１×Ｇ＋０．１１４４８×Ｂ
Ｃｂ＝−０．１６８７４×Ｒ−０．３３１２６×Ｇ＋０．５００００×Ｂ
Ｃｒ＝ ０．５００００×Ｒ−０．４１８６９×Ｇ−０．０８１３１×Ｂ
また、上述した第１の実施の形態では、可視光と赤外光の両方に感度を有する撮像素子２００を使用していたが、周波数の異なる電磁波の組合せ、例えば、可視光と紫外光または可視光とＸ線の組合せであってもよい。
これ以外の画像処理装置１１０および撮像装置１００の構成は、本技術の第１の実施の形態において説明した画像処理装置１１０および撮像装置１００と同様であるため、説明を省略する。
以上説明したように、本技術の実施の形態によれば、赤外光を照射しながら撮影を行う場合であっても、可視光および赤外光からなる画像信号から可視光および赤外光を適正に分離することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
（１）被写体の画像信号を出力する撮像素子の露光開始から露光停止までのタイミングを制御して露光時間を所定の第１の露光時間にする第１のフレームと前記第１の露光時間より長い第２の露光時間にする第２のフレームとを交互に繰り返す露光制御部と、
前記第１のフレームおよび前記第２のフレームの合計期間より短いまたは等しい所定の赤外光照射期間に赤外光を前記被写体に照射させる赤外光照射制御部と、
前記第１のフレームにおける前記画像信号である第１の画像信号と前記第２のフレームにおける前記画像信号である第２の画像信号とを取得する画像信号取得部と、
前記第１の画像信号および前記第２の画像信号から単位時間当たりの可視光強度と単位時間当たりの赤外光強度とを抽出する抽出部と、
抽出された前記単位時間当たりの可視光強度と前記単位時間当たりの赤外光強度とに基づいて可視光に対応する画像信号と赤外光に対応する画像信号とを生成する生成部と
を備える画像処理装置。
（２）前記第１のフレームにおける露光期間と前記赤外光照射期間とが重なる期間を第１の赤外光照射期間とし前記第２のフレームにおける露光期間と前記赤外光照射期間とが重なる期間を第２の赤外光照射期間とした際、前記第１の露光時間と前記第１の赤外光照射期間との比率と前記第２の露光時間と前記第２の赤外光照射期間との比率とが異なる前記（１）に記載の画像処理装置。
（３）前記可視光に対応する画像信号を輝度信号および色信号に変換する変換部と、
前記赤外光に対応する画像信号により前記輝度信号と前記色信号とを補正する補正部と
をさらに備える前記（１）または（２）に記載の画像処理装置。
（４）前記被写体の画像信号は、赤色光および赤外光に対応する画像信号と緑色光および赤外光に対応する画像信号と青色光および赤外光に対応する画像信号とを備え、
前記分離部は、赤外光に対応する画像信号と赤色光に対応する画像信号と緑色光に対応する画像信号と青色光に対応する画像信号とを分離する
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）前記撮像素子は、白色光および赤外光に対応する画像信号をさらに備え、
前記分離部は、赤外光に対応する画像信号と赤色光に対応する画像信号と緑色光に対応する画像信号と青色光に対応する画像信号と白色光に対応する画像信号とを分離する
前記（４）に記載の画像処理装置。
（６）被写体の画像信号を出力する撮像素子と、
前記被写体に赤外光を照射する赤外光照射部と、
前記撮像素子の露光開始から露光停止までのタイミングを制御して露光時間を所定の第１の露光時間にする第１のフレームと前記第１の露光時間より長い第２の露光時間にする第２のフレームとを交互に繰り返す露光制御部と、
前記第１のフレームおよび前記第２のフレームの合計期間より短いまたは等しい所定の赤外光照射期間に前記赤外光照射部に赤外光を照射させる赤外光照射制御部と、
前記第１のフレームにおける前記画像信号である第１の画像信号と前記第２のフレームにおける前記画像信号である第２の画像信号とを取得する画像信号取得部と、
前記第１の画像信号および前記第２の画像信号から単位時間当たりの可視光強度と単位時間当たりの赤外光強度とを抽出する抽出部と、
抽出された前記単位時間当たりの可視光強度と前記単位時間当たりの赤外光強度とに基づいて可視光に対応する画像信号と赤外光に対応する画像信号とを生成する生成部と
を備える画像処理装置と
を具備する撮像装置。
（７）被写体の画像信号を出力する撮像素子の露光開始から露光停止までのタイミングを制御して露光時間を所定の第１の露光時間にする第１のフレームと前記第１の露光時間より長い第２の露光時間にする第２のフレームとを交互に繰り返す露光制御手順と、
前記第１のフレームおよび前記第２のフレームの合計期間より短いまたは等しい所定の赤外光照射期間に赤外光を前記被写体に照射させる赤外光照射制御手順と、
前記第１のフレームにおける前記画像信号である第１の画像信号と前記第２のフレームにおける前記画像信号である第２の画像信号とを取得する画像信号取得手順と、
前記第１の画像信号および前記第２の画像信号から単位時間当たりの可視光強度と単位時間当たりの赤外光強度とを抽出する抽出手順と、
抽出された前記単位時間当たりの可視光強度と前記単位時間当たりの赤外光強度とに基づいて可視光に対応する画像信号と赤外光に対応する画像信号とを生成する生成手順と
を備える撮像方法。
１００ 撮像装置
１０１ レンズ
１０２ 画像出力部
１０３ 赤外光照射部
１１０ 画像処理装置
１１１ 赤外光照射制御部
１１２ 露光制御部
１１４ 補間部
１１５ 色信号補正部
１１６ ＹＣ変換部
１１７ 補正部
１２０ 画像信号取得部
１２１ フレームメモリ
１３０ ＩＲ分離除去部
１３１ ＬＰＦ
１３３ 分離部
１３４ 抽出部
１３５ 画像信号生成部
２００ 撮像素子

Claims (7)

  1. 被写体の画像信号を出力する撮像素子の露光開始から露光停止までのタイミングを制御して露光時間を所定の第１の露光時間にする第１のフレームと前記第１の露光時間より長い第２の露光時間にする第２のフレームとを交互に繰り返す露光制御部と、
    前記第１のフレームおよび前記第２のフレームの合計期間より短いまたは等しい所定の赤外光照射期間に赤外光を前記被写体に照射させる赤外光照射制御部と、
    前記第１のフレームにおける前記画像信号である第１の画像信号と前記第２のフレームにおける前記画像信号である第２の画像信号とを取得する画像信号取得部と、
    前記第１の画像信号および前記第２の画像信号から単位時間当たりの可視光強度と単位時間当たりの赤外光強度とを抽出する抽出部と、
    抽出された前記単位時間当たりの可視光強度と前記単位時間当たりの赤外光強度とに基づいて可視光に対応する画像信号と赤外光に対応する画像信号とを生成する生成部と
    を備える画像処理装置。
  2. 前記第１のフレームにおける露光期間と前記赤外光照射期間とが重なる期間を第１の赤外光照射期間とし前記第２のフレームにおける露光期間と前記赤外光照射期間とが重なる期間を第２の赤外光照射期間とした際、前記第１の露光時間と前記第１の赤外光照射期間との比率と前記第２の露光時間と前記第２の赤外光照射期間との比率とが異なる請求項１記載の画像処理装置。
  3. 前記可視光に対応する画像信号を輝度信号および色信号に変換する変換部と、
    前記赤外光に対応する画像信号により前記輝度信号と前記色信号とを補正する補正部と
    をさらに備える請求項１記載の画像処理装置。
  4. 前記被写体の画像信号は、赤色光および赤外光に対応する画像信号と緑色光および赤外光に対応する画像信号と青色光および赤外光に対応する画像信号とを備え、
    前記分離部は、赤外光に対応する画像信号と赤色光に対応する画像信号と緑色光に対応する画像信号と青色光に対応する画像信号とを分離する
    請求項１記載の画像処理装置。
  5. 前記撮像素子は、白色光および赤外光に対応する画像信号をさらに備え、
    前記分離部は、赤外光に対応する画像信号と赤色光に対応する画像信号と緑色光に対応する画像信号と青色光に対応する画像信号と白色光に対応する画像信号とを分離する
    請求項４記載の画像処理装置。
  6. 被写体の画像信号を出力する撮像素子と、
    前記被写体に赤外光を照射する赤外光照射部と、
    前記撮像素子の露光開始から露光停止までのタイミングを制御して露光時間を所定の第１の露光時間にする第１のフレームと前記第１の露光時間より長い第２の露光時間にする第２のフレームとを交互に繰り返す露光制御部と、
    前記第１のフレームおよび前記第２のフレームの合計期間より短いまたは等しい所定の赤外光照射期間に前記赤外光照射部に赤外光を照射させる赤外光照射制御部と、
    前記第１のフレームにおける前記画像信号である第１の画像信号と前記第２のフレームにおける前記画像信号である第２の画像信号とを取得する画像信号取得部と、
    前記第１の画像信号および前記第２の画像信号から単位時間当たりの可視光強度と単位時間当たりの赤外光強度とを抽出する抽出部と、
    抽出された前記単位時間当たりの可視光強度と前記単位時間当たりの赤外光強度とに基づいて可視光に対応する画像信号と赤外光に対応する画像信号とを生成する生成部と
    を備える画像処理装置と
    を具備する撮像装置。
  7. 被写体の画像信号を出力する撮像素子の露光開始から露光停止までのタイミングを制御して露光時間を所定の第１の露光時間にする第１のフレームと前記第１の露光時間より長い第２の露光時間にする第２のフレームとを交互に繰り返す露光制御手順と、
    前記第１のフレームおよび前記第２のフレームの合計期間より短いまたは等しい所定の赤外光照射期間に赤外光を前記被写体に照射させる赤外光照射制御手順と、
    前記第１のフレームにおける前記画像信号である第１の画像信号と前記第２のフレームにおける前記画像信号である第２の画像信号とを取得する画像信号取得手順と、
    前記第１の画像信号および前記第２の画像信号から単位時間当たりの可視光強度と単位時間当たりの赤外光強度とを抽出する抽出手順と、
    抽出された前記単位時間当たりの可視光強度と前記単位時間当たりの赤外光強度とに基づいて可視光に対応する画像信号と赤外光に対応する画像信号とを生成する生成手順と
    を備える撮像方法。
JP2014205509A 2014-10-06 2014-10-06 画像処理装置、撮像装置および撮像方法 Pending JP2016076807A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014205509A JP2016076807A (ja) 2014-10-06 2014-10-06 画像処理装置、撮像装置および撮像方法
PCT/JP2015/069376 WO2016056279A1 (ja) 2014-10-06 2015-07-06 画像処理装置、撮像装置および撮像方法
US15/512,610 US10951838B2 (en) 2014-10-06 2015-07-06 Image processing device, imaging device, and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014205509A JP2016076807A (ja) 2014-10-06 2014-10-06 画像処理装置、撮像装置および撮像方法

Publications (1)

Publication Number Publication Date
JP2016076807A true JP2016076807A (ja) 2016-05-12

Family

ID=55652904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014205509A Pending JP2016076807A (ja) 2014-10-06 2014-10-06 画像処理装置、撮像装置および撮像方法

Country Status (3)

Country Link
US (1) US10951838B2 (ja)
JP (1) JP2016076807A (ja)
WO (1) WO2016056279A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018125848A (ja) * 2017-02-03 2018-08-09 パナソニックＩｐマネジメント株式会社 撮像装置
US10880503B2 (en) 2016-10-03 2020-12-29 Sony Semiconductor Solutions Corporation Solid-state image pickup device and image pickup method, and electronic apparatus
JP2021502733A (ja) * 2017-11-08 2021-01-28 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドＡｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅｓ Ｉｎｃｏｒｐｏｒａｔｅｄ カメラ内で処理を行う方法及び装置
WO2021106370A1 (ja) * 2019-11-28 2021-06-03 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像システム、および、固体撮像素子の制御方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11019294B2 (en) * 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
CN111770281B (zh) * 2018-07-30 2025-01-17 华为技术有限公司 时分复用补光成像装置和方法
FR3094857B1 (fr) * 2019-04-03 2022-03-18 Fluoptics Procédé d’imagerie avec lumière pulsée
CN110493494B (zh) * 2019-05-31 2021-02-26 杭州海康威视数字技术股份有限公司 图像融合装置及图像融合方法
CN114026843B (zh) * 2019-06-17 2024-02-09 株式会社小糸制作所 车载红外线照明装置
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors
US12192644B2 (en) 2021-07-29 2025-01-07 Apple Inc. Pulse-width modulation pixel sensor
US12069384B2 (en) 2021-09-23 2024-08-20 Apple Inc. Image capture devices having phase detection auto-focus pixels

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008289000A (ja) 2007-05-18 2008-11-27 Sony Corp 画像入力処理装置、および、その方法
JP5143808B2 (ja) * 2009-10-08 2013-02-13 本田技研工業株式会社 撮像装置、撮像システム及び演算方法
JP2013115679A (ja) * 2011-11-30 2013-06-10 Fujitsu General Ltd 撮像装置
JP6029954B2 (ja) * 2012-11-30 2016-11-24 クラリオン株式会社 撮像装置
US9355599B2 (en) * 2014-03-06 2016-05-31 3M Innovative Properties Company Augmented information display
JP6568719B2 (ja) * 2014-08-29 2019-08-28 株式会社 日立産業制御ソリューションズ 撮像方法及び撮像装置
JP6149826B2 (ja) * 2014-09-01 2017-06-21 株式会社Ｊｖｃケンウッド 撮像装置及びシーン判定方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10880503B2 (en) 2016-10-03 2020-12-29 Sony Semiconductor Solutions Corporation Solid-state image pickup device and image pickup method, and electronic apparatus
JP2018125848A (ja) * 2017-02-03 2018-08-09 パナソニックＩｐマネジメント株式会社 撮像装置
US11233955B2 (en) 2017-02-03 2022-01-25 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus including unit pixel, counter electrode, photoelectric conversion layer, and computing circuit
JP7113219B2 (ja) 2017-02-03 2022-08-05 パナソニックＩｐマネジメント株式会社 撮像装置
JP2021502733A (ja) * 2017-11-08 2021-01-28 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドＡｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅｓ Ｉｎｃｏｒｐｏｒａｔｅｄ カメラ内で処理を行う方法及び装置
JP7359759B2 (ja) 2017-11-08 2023-10-11 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド カメラ内で処理を行う方法及び装置
WO2021106370A1 (ja) * 2019-11-28 2021-06-03 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像システム、および、固体撮像素子の制御方法

Also Published As

Publication number Publication date
US10951838B2 (en) 2021-03-16
WO2016056279A1 (ja) 2016-04-14
US20170295326A1 (en) 2017-10-12

Similar Documents

Publication Publication Date Title
JP2016076807A (ja) 画像処理装置、撮像装置および撮像方法
JP5701785B2 (ja) カメラモジュール
WO2016047240A1 (ja) 画像処理装置、撮像素子、撮像装置および画像処理方法
JP2011022386A5 (ja)
KR101889932B1 (ko) 촬영 장치 및 이에 적용되는 촬영 방법
WO2016143139A1 (ja) 画像処理装置、画像処理方法およびプログラム
US9088710B2 (en) Image processing apparatus, and method, and recording medium recording image processing program for processing output pixels utilized as phase difference detecting elements
JPWO2016143134A1 (ja) 画像処理装置、画像処理方法およびプログラム
KR101817655B1 (ko) 삼차원 영상 촬영 장치 및 방법
CN104919352B (zh) 摄像装置和图像校正方法以及图像处理装置和图像处理方法
JP2017157902A (ja) 信号処理装置、撮像装置および信号処理方法
JP6762767B2 (ja) 撮像素子、撮像装置、および撮像信号処理方法
JP6564368B2 (ja) 撮像制御装置、撮像装置および撮像制御方法
CN105191284B (zh) 摄像装置及其控制方法
US20130076869A1 (en) Imaging apparatus and method for controlling same
JP6536000B2 (ja) 撮影装置
JP2014207503A5 (ja)
US10341556B2 (en) Image capturing apparatus and control method therefor
US9648232B2 (en) Image processing apparatus, image capturing apparatus, control method and recording medium
JP2009253760A (ja) 画像処理装置、画像処理方法及び電子機器
JP6467455B2 (ja) 撮像装置、その制御方法、プログラム及び記録媒体
JP2016082390A (ja) 信号処理装置
JP2011077770A (ja) 固体電子撮像装置の制御装置およびその動作制御方法
JP6916416B2 (ja) 撮像装置
JP2006293196A (ja) 焦点検出装置