JP2014216734A - 撮像装置及び撮像システム - Google Patents

Abstract

【課題】可視光と非可視光成分に感度を持つ撮像装置において、より視認性のよい撮像装置を提供する。【解決手段】上記課題を解決すべく、被写体を撮像して可視光信号と非可視光信号を得る撮像部と、前記撮像部から出力される可視光信号を用いて可視光輝度信号を生成する第一輝度生成部と、前記撮像部から出力される非可視光信号を用いて非可視光輝度信号を生成する第二輝度生成部と、前記第一輝度生成部にて生成された可視光輝度信号と前記第二輝度生成部にて生成された非可視光輝度信号とを用いて補正処理を行う画像補正処理部と、少なくとも前記画像補正処理部を制御する制御部と、を備え、前記画像補正処理部は、前記非可視光輝度信号を用いて生成された補正信号を前記可視光信号に加算することで補正処理を行うことを特徴とする撮像装置を提供する。【選択図】 図１

Description

本発明は、撮像装置及び撮像システムに関する。

本技術分野の背景技術として、特許文献１がある。該公報には、「（課題） 目的対象物の視認性を向上可能な画像処理装置及び撮像装置を提供する。（解決手段） この画像処理装置は、可視画像を構成する画素のうち輝度の高い画素のアドレスを求め、求められたアドレスに対応するアドレスの赤外画像の画素の輝度を低下させる。また、赤外光源４を赤外画像の所得時に同期して間欠的に点灯させる。使用者は可視画像を目視することができるので、この部分に対応する赤外画像の画素の輝度を低下させることにより、目視できない物体の画像のみを選択的に得ることができ、目的対象物、すなわち見えにくい物体の視認性を向上させることができる。」と記載されている。

特開２００３−１８９２９７号公報

前記特許文献１では、「使用者は可視画像を目視することができるので、この部分に対応する赤外画像の画素の輝度を低下させることにより、目視できない物体の画像のみを選択的に得ることができ、目的対象物、すなわち見えにくい物体の視認性を向上させることができる。」と記載されているが、目視できない物体と目視できる物体を同時に見ることができないので改善の余地がある。

本発明は、より視認性を高めた撮像装置及び撮像システムを提供するものである。

本願において開示される発明のうち代表的なものの概要を簡単に説明すれば次の通りである。
（１）被写体を撮像して可視光信号と非可視光信号を得る撮像部と、前記撮像部から出力される可視光信号を用いて可視光輝度信号を生成する第一輝度生成部と、前記撮像部から出力される非可視光信号を用いて非可視光輝度信号を生成する第二輝度生成部と、前記第一輝度生成部にて生成された可視光輝度信号と前記第二輝度生成部にて生成された非可視光輝度信号とを用いて補正処理を行う画像補正処理部と、少なくとも前記画像補正処理部を制御する制御部と、を備え、前記画像補正処理部は、前記非可視光輝度信号を用いて生成された補正信号を前記可視光信号に加算することで補正処理を行うことを特徴とする撮像装置である。
（２）被写体を撮像して可視光信号と非可視光信号を得る撮像部と、前記撮像部から出力される可視光信号を用いて可視光輝度信号を生成する第一輝度生成部と、前記撮像部から出力される非可視光信号を用いて非可視光輝度信号を生成する第二輝度生成部と、前記第二輝度生成部により生成された非可視光輝度信号を用いて生成された補正信号を前記第一輝度生成部により生成された可視光輝度信号に加算することで補正処理を行う画像補正処理部と、少なくとも前記画像補正処理部を制御する制御部と、を有する撮像装置と、前記撮像装置から出力される補正処理後の補正画像を入力して表示する画像表示手段と、を備えることを特徴とする撮像システムである。

本発明によれば、より視認性を高めた撮像装置及び撮像システムを提供することができる。

本発明に係る撮像装置の一実施例を示す図である。 撮像部に用いられる撮像素子の画素構成例を示す図である。 各画素２０１〜画素２０４の光の波長に対する分光特性の一例を示す図である。 各画素２０１〜画素２０４の光の波長に対する分光特性の他の例を示す図である。 撮像部に用いられる撮像素子の他の画素構成例を示す図である。 各画素５０１〜画素５０４の光の波長に対する分光特性の一例を示す図である。 各画素５０１〜画素５０４の光の波長に対する分光特性の他の例を示す図である。 画像補正処理部の詳細構成の一例を示す図である。 画像補正処理部の詳細構成の他の例を示す図である。 撮像部１０１の他の詳細構成例を示す図である。 分離光源の点灯制御の一例を示す図である。 分離光源の点灯制御の他の例を示す図である。 本発明に係る撮像システムの一実施例を示す図である。

以下、本発明の実施形態について図面を用いて説明する。
図１は、本発明に係る撮像装置の一実施例を示す全体構成図である。ここで、これ以降、可視光とは緑(以下Ｇ)、青(以下Ｂ)、赤(Ｒ)のすべてもしくはいずれかの光の波長帯域、非可視光とは赤外または近赤外(以下ＩＲ) の光の波長帯域のことを言うこととする。
図１において撮像装置１００は、後述する可視光領域波長の光に感度を持つ画素と、非可視光領域の波長の光に感度を持つ画素を持つ撮像素子とレンズなどの光学系部品を適宜用いて構成される撮像部１０１と、撮像部１０１の出力より色信号を生成する色信号処理部１０２と、色信号処理部１０２から出力される色信号からガンマ特性カーブに変換するガンマ処理部１０３と、ガンマ処理部１０３の出力を色差信号に変換する色差生成部１０４と、撮像部１０１の可視光成分信号出力からデモザイキングその他の処理により可視光輝度信号を生成する可視光輝度信号処理部１０５と、撮像部１０１の非可視光信号出力からデモザイキングその他の処理により非可視光輝度信号を生成する非可視光輝度信号処理部１０６と、可視光輝度信号処理部１０５の可視光輝度出力と非可視光輝度信号処理部１０６の非可視光輝度出力とを後述する合成方法で合成処理する画像補正処理部１０７と、画像補正処理部１０７で補正処理した信号出力にガンマ特性カーブに変換して輝度信号を生成する輝度ガンマ処理部１０８と、色差生成部１０４の出力の色差信号と輝度ガンマ処理部１０７の出力の輝度信号とを所定の出力仕様（例えば非圧縮デジタル出力するものや、圧縮してネットワーク出力するものなど、内容は選ばない）にて出力する画像出力処理部１０９と、撮像部１０１や色信号処理部１０２や可視光輝度信号処理部１０５や非可視光輝度信号処理部１０６や画像補正処理部１０７を制御する制御部１１０と、を適宜用いて構成される。

撮像部１０１にて光電変換された可視光信号は、色信号処理部１０２にて色信号生成処理が施され、ガンマ処理部１０３にてガンマ補正処理、色差生成部１０４にて色差信号に変換処理が施されるとともに、可視光輝度信号処理部１０５にて可視光輝度信号に変換される。撮像部１０１にて光電変換された非可視光信号は、非可視光輝度信号処理部１０６にて非可視光輝度信号に変換処理される。これらの処理により得られた可視光輝度信号と非可視光輝度信号は、画像補正処理部１０７にて後述する制御部１１０の制御にしたがって後述する合成処理がなされることにより画像補正処理が行われる。画像補正処理部１０７の補正出力は輝度ガンマ処理部１０８にてガンマ補正処理が行われた輝度信号に変換される。色差生成部１０４にて生成された色差信号と輝度ガンマ処理部１０８にて生成された輝度信号とは、画像出力処理部１０９より画像信号として外部の表示装置などへ出力される。

本実施例によれば、とくに画像の位置に限らず、撮像部１０１から出力される可視光成分の信号を可視光輝度信号処理部１０５にて可視光輝度信号に、非可視光成分の信号を非可視光輝度信号処理部１０６にて非可視光輝度信号に処理し、その双方の信号を用いて画像補正処理部１０７で補正処理を行うので、画面内に可視光にて視認性の高い被写体部分だけでなく、可視光の少ない視認性の低い被写体部分を同時に、画面全体として視認性の高い撮像装置を提供できる。

図２は、本実施例に係る撮像装置の撮像部１０１に用いられる撮像素子の画素構成を示したものである。同一の撮像素子上にＲに主な感度を持つ画素２０１、Ｇに主な感度を持つ画素２０２、Ｂに主な感度を持つ画素２０３、非可視光（ＩＲと表す）に主な感度を持つ画素２０４ 、を格子状に並べた一例である。画素２０１〜画素２０４の配置で撮像素子上に繰り返し画素が構成されている。

図３は、図２で示した各画素２０１〜画素２０４の光の波長に対する感度特性、すなわち分光特性を示したものである。同図において３０１は画素２０１の分光特性であり、３０２は画素２０２の分光特性であり、 ３０３は画素２０３の分光特性であり、３０４は画素２０４の分光特性である。分光特性３０１、３０２、３０３は それぞれＲ、Ｇ、Ｂの可視光である波長域に加えて、ＩＲの波長域にも感度を持つものである。通常の可視光域のみのカメラはこれらの分光特性をもつ画素で構成されており、通常は可視光域のみを撮像するためにＩＲ部分の影響をなくすためにＩＲの波長域を遮断する光学的なフィルターを撮像素子とレンズの光軸上に挿入して使用されている。分光特性３０４はＩＲのみに感度を持つものであり、この画素を上記可視光域の感度を持つ画素と併せて備えることにより、可視光域（Ｒ、Ｇ、Ｂ）の色成分及び輝度成分と、ＩＲによる輝度成分を同時に撮像可能となる。

図４は、図２で示した各画素２０１〜画素２０４が図３とは異なる他の分光特性をもつ場合の例を示したものである。同図において４０１は画素２０１の他の分光特性であり、４０２は画素２０２の他の分光特性であり、４０３は画素２０３の他の分光特性であり、 ４０４は画素２０４の分光特性である。分光特性４０１、４０２、４０３は それぞれＲ、Ｇ、Ｂの可視光である波長域のみに感度を持つものである。分光特性４０４はＩＲのみに感度を持つものであり、この画素を上記可視光域の感度を持つ画素と併せて供えることにより、可視光域（Ｒ、Ｇ、Ｂ） の色成分及び輝度成分と、ＩＲによる輝度成分を同時に撮像可能となる。通常、可視光域のみを撮像するためには、ＩＲ成分の影響をなくすべく、ＩＲの波長域を遮断する光学的なフィルターを撮像素子とレンズの光軸上に挿入して使用し、可視光信号処理を行う必要があるが、本実施例によれば、もともとＲ、Ｇ、ＢがＩＲ成分を含んでいないため、このフィルターを用いることなく、簡易な構成で、従来と同様の可視光信号処理を用いることが出来る。これにより、従来からの信号処理を変更することなく色再現などの点で有利な撮像装置を提供することができる。

図５は、図２と異なる可視光＋非可視光センサの画素構成の一例を示したものである。同一の撮像素子上にＲに主な感度を持つ画素５０１、Ｇに主な感度を持つ画素５０２、Ｂに主な感度を持つ画素５０３、Ｒ、Ｇ、Ｂ、ＩＲのすべてに感度を持つ画素（Ｗとあらわす）５０４ を格子状に並べた一例である。画素５０１〜画素５０４の配置で撮像素子上に繰り返し画素が構成されている。

図６は、図５で示した各画素５０１〜画素５０４の光の波長に対する感度特性、すなわち分光特性を示したものである。同図において６０１は画素５０１の分光特性であり、６０２は画素５０２の分光特性であり、６０３は画素５０３の分光特性であり、６０４は画素５０４の分光特性である。分光特性６０１、６０２、６０３はそれぞれＲ、Ｇ、Ｂの可視光である波長域に加えて、ＩＲの波長域にも感度を持つものである。

図７は、図５で示した各画素５０１〜画素５０４が図６とは異なる他の分光特性をもつ場合の例を示したものである。同図において７０１は画素５０１の他の分光特性であり、７０２は画素５０２の他の分光特性であり、７０３は画素５０３の他の分光特性であり、７０４は画素５０４の分光特性である。分光特性７０１、７０２、７０３は それぞれＲ、Ｇ、Ｂの可視光である波長域のみに感度を持つものである。分光特性７０４はＲ、Ｇ、Ｂ、ＩＲのすべてに感度を持つものであり、この画素を上記可視光域の感度を持つ画素と併せて備えることにより、可視光域（Ｒ、Ｇ、Ｂ）の色成分及び輝度成分と、ＩＲによる輝度成分を同時に撮像可能となる。本画素構成の撮像素子では、画素５０１〜画素５０３のＲ，Ｇ，Ｂの各感度をもつ画素のほかに画素５０４にても可視光域のＲ，Ｇ，Ｂに感度を持っているため、可視光域にさらに感度の高い撮像装置を提供することができる。

図８は、図１に示した画像補正処理部１０７の具体的な構成の一例を示した図である。画像補正処理部１０７は、制御部１１０の設定により、非可視光輝度信号処理部１０６にて生成された非可視光輝度信号のレベルに応じて補正信号量を生成する補正信号生成部８０１と、可視光輝度信号処理部１０５で生成される可視光輝度信号に、補正信号生成部８０１で生成された補正信号を加算する加算部８０２とを適宜備える。補正信号生成部８０１は、たとえば非可視光輝度信号のレベルを入力とし、それに対する補正信号量を出力とする入出力特性を制御部１１０から設定する構成とする。

本構成によれば、非可視光輝度信号のレベルに応じて非可視光信号の一部を可視光信号に加算することで、非可視光輝度信号のレベルに応じて可視光信号に加算する非可視光信号がため、非可視光輝度信号レベルに応じた画像補正を行うことができ、可視光のみの感度を持つ撮像装置よりも視認性のよい輝度信号を生成できるとともに、制御部１１０から設定する非可視光輝度信号レベルに応じた補正信号の量を、制御部からの入出力特性を変更する事で任意に変更可能な撮像装置を提供できる。

図９は、図１に示した画像補正処理部１０７の変形例として、画像補正処理部１０７’の具体的な構成を示した図である。画像補正処理部１０７’は、可視光輝度信号処理部１０５で生成された可視光輝度信号と非可視光輝度信号処理部１０６にて生成された非可視光輝度信号との差分を生成する差分回路９０１を備えており、補正信号生成部８０１への入力が差分回路９０１になった点以外は図８に示した構成と同様、補正信号生成部８０１、加算部８０２を適宜備える。

本構成によれば、非可視光輝度信号のレベルと可視光輝度信号のレベルとの差に応じて非可視光信号の一部を可視光信号に加算することで、非可視光輝度信号と可視光輝度信号とのレベル差に応じた画像補正を行うことができ、可視光のみの感度を持つ撮像装置よりも視認性のよい輝度信号を生成できるとともに、制御部１１０から設定する非可視光輝度信号と可視光輝度信号とのレベル差に応じた補正信号の量を、制御部からの入出力特性を変更する事で任意に変更可能な撮像装置を提供できる。

図１０は、図１の撮像部１０１の変形例として、撮像部１０１’の具体的な構成を示したものである。撮像部１０１’は、レンズ１００１と、撮像素子１００２と、可視光光源１００３と、非可視光光源１００４と、を適宜用いて構成される。なお、可視光光源１００３と非可視光光源１００４は一つで可視光と非可視光が発光可能な光源（これを単一光源ということにする）であってもよいし、図１０のように分かれていてもよい（これを分離光源ということにする）。可視光光源１００３と非可視光光源１００４は制御部１１０から点灯時間やタイミングを制御可能である。このような構成にすれば、医療に使用される腹腔鏡などにおいて、可視光に反射する内臓表面と造影剤投与により非可視光に反射し易い血管やリンパ節など、所望の撮影対象に応じて光源を適宜選択出来るため、一の装置で、可視光で撮像できる内臓表面に加えて非可視光で撮像できるリンパ管を強調した画像をも見ることができる撮像装置を提供することができる。

図１１は、上記した分離光源の構成で、制御部１１０にてそれぞれの可視光光源１００３を時間Ａで、非可視光光源１００４を時間Ｂで点灯させ、時間Ｔごとに露光時間に同期させて切り替える点灯制御の一例を表している。このように構成すれば、可視光及び非可視光の光量を最適に制御でき、また双方の光源の影響を撮像時になくし、可視光輝度と非可視光輝度の最適な合成画像を得ることができる。なお、切り替えの時間Ｔは常に一定である必要はなく、状況に応じて、可視光撮像の時間と非可視光撮像の時間の長さを変えても構わない。

図１２は、上記した分離光源の構成で、制御部１１０にてそれぞれの可視光光源１００３を時間Ａで、非可視光光源１００４を時間Ｂで、時間Ｔごとに同時に点灯させる。このように点灯制御することにより、可視光及び非可視光の光量を最適に制御でき、可視光輝度と非可視光輝度の最適な合成画像の取得フレームレートを図１１の場合に比べて速くすることができる。

図１３は、図１の撮像装置１００と、撮像装置１００から出力される補正画像を表示する画像表示装置１３０１と、撮像装置１００から出力される補正画像を記録する記憶装置１３０２とを適宜用いて構成される撮像システム１３００を示したものである。画像表示装置１３０１は、撮像装置１００と接続可能なインターフェースを持つパーソナルコンピュータやモニタテレビなど画像表示機能を持つものであれば制限はない。また、撮像装置１００から画像表示装置１３０１への画像信号の送信は有線であっても無線であっても構わない。記憶装置１３０２は、たとえばパーソナルコンピュータに内蔵のハードディスクや可搬型の記憶媒体などであるがこれに限られるものではなく種々適用可能である。このように構築すれば医療などでの腹腔鏡の可視光及び非可視光の双方の合成画像を表示してリアルタイムで把握できる。さらに記憶装置１３０２を用いて本撮像システムを構成すれば、記録したい画像を記憶部に記憶できる。記憶部１３０２はパーソナルコンピュータに内蔵のハードディスクや可搬型の記憶媒体などであるが制限はない。本撮像システムによれば、本実施例に係る撮像装置の上記した各効果を享受することが可能であり、従来より視認性を高めた画像を取得・確認することが可能となる。なお、本実施例では、撮像装置１００内に全ての処理部を備える構成としたが、各処理機能部の構成がたとえば画像表示装置側で備えた形態にて撮像システムを構成してもよく、これらの形態は車載カメラシステムや医療用カメラシステム等、適用先に応じて種々変更可能である。

上記の通り、本実施例に係る撮像装置、撮像システムによれば、画面内に可視光にて視認性の高い被写体部分だけでなく、可視光の少ない視認性の低い被写体部分を同時に、画面全体として視認性の高い撮像装置、もしくは撮像システムの提供が可能となる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００・・・・撮像装置
１０１・・・・撮像部
１０２・・・・色信号処理部
１０３・・・・ガンマ処理部
１０４・・・・色差生成部
１０５・・・・可視光輝度信号処理部
１０６・・・・非可視光輝度信号処理部
１０７・・・・画像補正処理部
１０８・・・・輝度ガンマ処理部
１０９・・・・画像出力処理部
１１０・・・・制御部

Claims (11)

1. 被写体を撮像して可視光信号と非可視光信号を得る撮像部と、
   前記撮像部から出力される可視光信号を用いて可視光輝度信号を生成する第一輝度生成部と、
   前記撮像部から出力される非可視光信号を用いて非可視光輝度信号を生成する第二輝度生成部と、
   前記第一輝度生成部にて生成された可視光輝度信号と前記第二輝度生成部にて生成された非可視光輝度信号とを用いて補正処理を行う画像補正処理部と、
   少なくとも前記画像補正処理部を制御する制御部と、
   を備え、
   前記画像補正処理部は、前記非可視光輝度信号を用いて生成された補正信号を前記可視光信号に加算することで補正処理を行うことを特徴とする撮像装置。
2. 請求項１記載の撮像装置であって、
   前記補正信号は、前記制御部により設定された入出力特性を用いて、前記非可視光輝度信号のレベルに応じて生成されることを特徴とする撮像装置。
3. 請求項１記載の撮像装置であって、
   前記補正信号は、前記制御部により設定された入出力特性を用いて、前記非可視光輝度信号と前記可視光輝度信号との差分のレベルに応じて生成されることを特徴とする撮像装置。
4. 請求項１乃至３のいずれかに記載の撮像装置であって、
   前記撮像部はさらに可視光及び非可視光の光源を具備し、
   前記制御部は、前記光源を露光時間に同期して点灯制御することを特徴とする撮像装置。
5. 請求項１乃至３のいずれかに記載の撮像装置であって、
   前記撮像部はさらに可視光及び非可視光の光源を具備し、
   前記制御部は、前記光源の可視光と非可視光とを露光時間に同期して切り替えて点灯するように制御することを特徴とする撮像装置。
6. 請求項１乃至５のいずれかに記載の撮像装置であって、
   前記撮像部が備える撮像素子は、赤の光に主な感度をもつ画素と、青の光に主な感度をもつ画素と、緑の光に主な感度をもつ画素と、非可視光に主な感度をもつ画素と、を備えることを特徴とする撮像装置。
7. 請求項１乃至５のいずれかに記載の撮像装置であって、
   前記撮像部が備える撮像素子は、赤の光に主な感度をもつ画素と、青の光に主な感度をもつ画素と、緑の光に主な感度をもつ画素と、赤、青、緑、非可視光に感度をもつ画素と、を備えることを特徴とする撮像装置。
8. 被写体を撮像して可視光信号と非可視光信号を得る撮像部と、
   前記撮像部から出力される可視光信号を用いて可視光輝度信号を生成する第一輝度生成部と、
   前記撮像部から出力される非可視光信号を用いて非可視光輝度信号を生成する第二輝度生成部と、
   前記第二輝度生成部により生成された非可視光輝度信号を用いて生成された補正信号を前記第一輝度生成部により生成された可視光輝度信号に加算することで補正処理を行う画像補正処理部と、
   少なくとも前記画像補正処理部を制御する制御部と、
   を有する撮像装置と、
   前記撮像装置から出力される補正処理後の補正画像を入力して表示する画像表示手段と、
   を備えることを特徴とする撮像システム。
9. 請求項８記載の撮像システムであって、
   前記補正信号は、前記制御部により設定された入出力特性を用いて、前記非可視光輝度信号のレベルに応じて生成されることを特徴とする撮像システム。
10. 請求項８記載の撮像システムであって、
    前記補正信号は、前記制御部により設定された入出力特性を用いて、前記非可視光輝度信号と前記可視光輝度信号との差分のレベルに応じて生成されることを特徴とする撮像システム。
11. 請求項７乃至１０のいずれかに記載の撮像システムであって、
    さらに、前記補正画像を記録可能な記録装置と、
    を備えることを特徴とする撮像システム。

Images