JP7116580B2 - 撮像装置、撮像装置を制御するための方法及びプログラム - Google Patents

Description

本発明の実施形態は、撮像装置及び撮像装置の制御プログラムに関する。

撮像装置、例えば、内視鏡装置では、以前は、ＣＣＤ（Charge Coupled Device）イメージセンサが主流であったが、近年、低コスト化、単電源化、低消費電力化等の利点を有するＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが主流になっている。ＣＭＯＳイメージセンサでは、ローリングシャッタ方式が一般的に多く採用されている。

国際公開第２０１４／１２５７２４号 特許第６０１９１６７号公報

本発明が解決しようとする課題は、観察するのに十分なフレームレートを確保することができる撮像装置及び撮像装置の制御プログラムを提供することである。

実施形態の撮像装置は、行列状に配置された、受光により電気信号を発生する複数の画素を含み、前記複数の画素の最初の行から最後の行に向かって、少なくとも１行毎に順次露光を開始し、露光が終了した行から順に前記電気信号を出力する処理を、１フレーム毎に繰り返す、ローリングシャッタ方式のイメージセンサと、第１の光を光源装置から連続的に出射させるとともに、前記第１の光と種類が異なる第２の光を、前記最後の行からの前記電気信号の出力を終了してから、前記最初の行からの前記電気信号の出力を開始するまでの期間に対応するブランキング期間と同期した所定の期間に、前記光源装置から２フレームに１回の割合で非連続的に出射させ、前記所定の期間にのみ、前記複数の画素に前記第２の光を受光させる制御部と、前記最後の行と前記最初の行の期間の中間に位置する露光期間に、前記第２の光の反射光又は前記第２の光によって発生した蛍光を受光しないフレームにおいて出力される電気信号に基づいて第１の画像を生成し、前記露光期間に前記第２の光の反射光又は前記第２の光によって発生した蛍光を受光するフレームにおいて出力される電気信号に基づいて第２の画像を生成し、前記第１の画像と前記第２の画像を用いて、画像を生成する画像生成部とを備え、前記画像生成部は、前記複数の画素が、前記第２の光を、前記ブランキング期間より長い期間受光したときは、前記第１の画像のうち、前記ブランキング期間より長い期間に第２の光を受光した行の映像信号に基づく部分をマスクする撮像装置。

図１は、第１の実施形態に係る撮像装置を備える撮像システムの構成例を示す図である。 図２は、比較例に係る撮像装置の動作の一例を説明するための図である。 図３は、第１の実施形態に係る撮像装置の撮像動作の一例を説明するための図である。 図４Ａは、画像処理回路が実行する画像処理の一例を説明するための図である。 図４Ｂは、合成画像の一例を示す図である。 図５は、第１の実施形態に係る制御処理の流れを示すフローチャートである。 図６は、第３の実施形態に係る撮像装置の動作の一例を説明するための図である。 図７は、第４の実施形態に係る画像の一例を説明するための図である。 図８は、第５の実施形態に係る撮像装置が行うモード切替の一例を説明するための図である。 図９は、第６の実施形態に係る撮像装置の動作の一例を説明するための図である。

以下、図面を参照して、各実施形態に係る撮像装置及び撮像装置の制御プログラムを説明する。なお、実施形態は、以下の内容に限られるものではない。また、一つの実施形態や変形例に記載した内容は、原則として他の実施形態や変形例にも同様に適用される。

（第１の実施形態）
図１は、第１の実施形態に係る撮像装置１０を備える撮像システム１の構成例を示す図である。図１に示すように、第１の実施形態に係る撮像システム１は、撮像装置１０と、光源装置３０と、光ファイバ３１とを備える。

撮像装置１０は、例えば、医療用の硬性内視鏡として用いられ、被検体１００の体内を撮像する装置である。撮像装置１０は、スコープ１１と、カメラヘッド１２と、カメラケーブル１３と、ＣＣＵ（Camera Control Unit）１４とを備える。

スコープ１１は、撮像が行われる際に、被検体１００の体内に挿入される。スコープ１１の先端には、対物レンズ１１ａが設けられている。スコープ１１は、屈曲しない硬性を有する。

カメラヘッド１２は、励起光カットフィルタ１２ａと、分光プリズム１２ｂと、３つのイメージセンサ１２ｃ～１２ｅ（１２ｃ，１２ｄ，１２ｅ）と、イメージセンサ制御回路１２ｆとを備える。

励起光カットフィルタ１２ａは、複数の画素の撮像領域に対向するように配置され、光源装置３０から出射された励起光以外の光を複数の画素に受光させる光学素子である。励起光カットフィルタ１２ａは、スコープ１１と分光プリズム１２ｂの入射面１２ｂ＿１との間に配置され、対物レンズ１１ａから入射される光のうち、励起光をカットし、励起光以外の光を通過させるフィルタである。したがって、分光プリズム１２ｂの入射面１２ｂ＿１には、光源装置３０により被検体１００の体内組織に照射された光の反射光（戻り光）のうち、励起光以外の光が入射される。以下の説明では、分光プリズム１２ｂに入射されてイメージセンサ１２ｃに入射される白色光の反射光を、単に、白色光と表記する場合がある。

分光プリズム１２ｂは、入射された光を赤色（Ｒ）の光、緑色（Ｇ）の光及び青色（Ｂ）の光に分光する。そして、分光プリズム１２ｂは、青色の光をイメージセンサ１２ｃの撮像面に結像する。また、分光プリズム１２ｂは、緑色の光をイメージセンサ１２ｄの撮像面に結像する。また、分光プリズム１２ｂは、赤色の光をイメージセンサ１２ｅの撮像面に結像する。

イメージセンサ１２ｃ～１２ｅのそれぞれは、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。イメージセンサ１２ｃ～１２ｅのそれぞれの撮像面と、分光プリズム１２ｂの結像面とが略一致するように、イメージセンサ１２ｃ～１２ｅが配置される。３つ（複数）のイメージセンサ１２ｃ～１２ｅのそれぞれの複数の画素は、対応する種類の光を受光することにより映像信号を出力する。

イメージセンサ１２ｃ～１２ｅのそれぞれは、複数の画素（撮像要素）を備える。複数の画素は、撮像面において行列状に配置される。各画素は、イメージセンサ制御回路１２ｆによる駆動制御により、光を受光することにより映像信号（電気信号）を発生し、発生した映像信号を出力する。例えば、イメージセンサ１２ｃの各画素は、青色の光を受光することにより、Ｂ信号（Ｂの映像信号）を出力する。また、イメージセンサ１２ｄの各画素は、緑色の光を受光することにより、Ｇ信号（Ｇの映像信号）を出力する。また、イメージセンサ１２ｅの各画素は、赤色の光を受光することにより、Ｒ信号（Ｒの映像信号）を出力する。例えば、イメージセンサ１２ｃ～１２ｅを備えるカメラヘッド１２は、カメラケーブル１３を介して、ＣＣＵ１４にＲＧＢ信号を出力する。なお、イメージセンサ１２ｃ～１２ｅからは、アナログ形式の映像信号が出力される。

ここで、第１の実施形態に係る撮像装置１０は、例えば、被検体１００に対して、ＩＣＧ（インドシアニングリーン）蛍光造影法による外科手術を行う際に用いられる。第１の実施形態では、被検体１００に、ＩＣＧが投与される。ＩＣＧは、ＩＲレーザ３０ｄから出射される励起光により励起され、８００～８５０ｎｍ程度の近赤外蛍光（以下、蛍光と称する）を発する。この蛍光は、励起光カットフィルタ１２ａを通過して、分光プリズム１２ｂによりイメージセンサ１２ｅの撮像面に結像される。すなわち、イメージセンサ１２ｅは、励起光に基づく蛍光を受光することにより、Ｒ信号を出力する。以下、イメージセンサ１２ｅが蛍光を受光して、撮像装置１０が各種の処理を行う場合について説明するが、撮像装置１０は、励起光カットフィルタ１２ａを設けずに、励起光の反射光をイメージセンサ１２ｅに受光させて同様の処理を行っても良い。

イメージセンサ１２ｃ～１２ｅのそれぞれは、複数の画素の最初の行から最後の行に向かって、少なくとも１行毎に順次露光を開始し、露光が終了した行から順に映像信号を出力する処理を、１フレーム（画像）毎に繰り返すローリングシャッタ方式のイメージセンサである。ここで、露光とは、例えば、画素が電荷を蓄積することを意味する。

ここで、上述したようにカメラヘッド１２が複数のイメージセンサ１２ｃ～１２ｅを備える場合には、半画素ずらしという手法を用いて、画像の高解像度化を図ってもよい。

なお、カメラヘッド１２は、分光プリズム１２ｂ及び３つのイメージセンサ１２ｃ～１２ｅに代えて、ベイヤフィルタ及び１つのイメージセンサを備えても良い。この場合には、イメージセンサの撮像面側に、各画素に赤色フィルタ、緑色フィルタ及び青色フィルタのいずれかが対向するようにベイヤフィルタが配置される。このように、１つの画素に対して１つの色のフィルタが対応する。イメージセンサは、画素毎に、当該画素に対応するフィルタの色の映像信号を出力する。なお、後述の画像処理回路１４ｃにより、画素毎に、当該画素の周辺の画素から出力される映像信号に基づいて、直接得られない残りの２色の各映像信号を推定する推定処理が実行される。この結果、撮像装置１０は、画素毎に、映像信号としてＲＧＢ信号を得ることができる。

イメージセンサ制御回路１２ｆは、後述する制御回路１４ａから出力された制御信号、並びに、後述するタイミング信号発生回路１４ｆから出力された各種の同期信号に基づいてイメージセンサ１２ｃ～１２ｅを駆動制御する。例えば、イメージセンサ制御回路１２ｆは、制御信号及び各種の同期信号に基づいて、イメージセンサ１２ｃ～１２ｅから出力されるアナログ形式の映像信号に適宜ゲイン（アナログゲイン）をかけて（映像信号を増幅して）、ゲインがかけられた映像信号をＣＣＵ１４に出力するように、イメージセンサ１２ｃ～１２ｅを制御する。或いは、イメージセンサ１２ｃ～１２ｅが図示しないＡＤコンバータを内蔵する場合、イメージセンサ制御回路１２ｆは、イメージセンサ１２ｃ～１２ｅから出力されるデジタル形式の映像信号に適宜ゲイン（デジタルゲイン）をかけて、ゲインがかけられた映像信号をＣＣＵ１４に出力するように、イメージセンサ１２ｃ～１２ｅを制御する。

カメラケーブル１３は、カメラヘッド１２とＣＣＵ１４との間で映像信号、制御信号及び同期信号を送受信するための信号線を収容するケーブルである。

ＣＣＵ１４は、カメラヘッド１２から出力された映像信号に各種の画像処理を施すことにより、ディスプレイ１０１に表示させる画像を示す画像データを生成し、ＣＣＵ１４に接続されたディスプレイ１０１に画像データを出力する。なお、各種の画像処理が施された映像信号は、ディスプレイ１０１に表示させる画像を示す画像データである。

ＣＣＵ１４は、制御回路１４ａと、記憶制御回路１４ｂと、画像処理回路１４ｃと、画像合成回路１４ｄと、出力回路１４ｅと、タイミング信号発生回路１４ｆと、記憶回路１４ｇとを備える。なお、イメージセンサ１２ｃ～１２ｅがＡＤコンバータを内蔵しない場合、ＣＣＵ１４は、図示しないＡＤ（Analog to Digital）コンバータ等も備える。かかるＡＤコンバータは、例えば、カメラヘッド１２から出力されたアナログ形式の映像信号をデジタル形式の映像信号に変換する。

制御回路１４ａは、撮像装置１０の各種の構成要素を制御する。例えば、制御回路１４ａは、イメージセンサ制御回路１２ｆ、記憶制御回路１４ｂ、画像処理回路１４ｃ、画像合成回路１４ｄ、出力回路１４ｅ及びタイミング信号発生回路１４ｆの各回路に対して制御信号を出力して、各回路を制御する。制御回路１４ａは、記憶回路１４ｇに記憶された撮像装置１０の制御プログラムを読み込み、読み込んだ制御プログラムを実行することで、撮像装置１０の各種の構成要素を制御する制御処理を実行する。或いは、制御回路１４ａは、内部に図示しない記憶回路を有しており、当該記憶回路に記憶された制御プログラムを実行する。制御回路１４ａは、例えば、ＭＰＵ（Micro-Processing Unit）等のプロセッサにより実現される。

記憶制御回路１４ｂは、制御回路１４ａから出力された制御信号、並びに、タイミング信号発生回路１４ｆから出力された各種の同期信号に基づいて、カメラヘッド１２から出力された映像信号を記憶回路１４ｇに記憶させる制御を行う。また、記憶制御回路１４ｂは、制御信号及び同期信号に基づいて、記憶回路１４ｇに記憶された映像信号を１行毎に読み取る。そして、記憶制御回路１４ｂは、読み取った１行分の映像信号を画像処理回路１４ｃに出力する。

画像処理回路１４ｃは、制御回路１４ａから出力された制御信号、及び、タイミング信号発生回路１４ｆから出力された各種の同期信号に基づいて、記憶制御回路１４ｂから出力された映像信号に対して各種の画像処理を施す。これにより、画像処理回路１４ｃは、ディスプレイ１０１に表示させる画像を示す画像データを生成する。すなわち、画像処理回路１４ｃは、映像信号に基づいて、画像を生成する。例えば、画像処理回路１４ｃは、記憶制御回路１４ｂから出力された映像信号に対してゲイン（デジタルゲイン）をかけて、画像の明るさを調整する。また、画像処理回路１４ｃは、記憶制御回路１４ｂから出力された映像信号に対して、ノイズを低減させるノイズリダクション処理や輪郭を強調する輪郭強調処理等を行ってもよい。そして、画像処理回路１４ｃは、各種の画像処理が施された映像信号（ディスプレイ１０１に表示させる画像を示す画像データ）を画像合成回路１４ｄに出力する。

画像合成回路１４ｄは、制御回路１４ａから出力された制御信号、並びに、タイミング信号発生回路１４ｆから出力された各種の同期信号に基づいて、画像処理回路１４ｃから出力された映像信号を合成して合成画像データを生成する。そして、画像合成回路１４ｄは、合成画像データをディスプレイ１０１に出力する。

例えば、記憶制御回路１４ｂ、画像処理回路１４ｃ及び画像合成回路１４ｄは、ＤＳＰ（Digital Signal Processor）等の１つのプロセッサにより実現される。また、例えば記憶制御回路１４ｂ、画像処理回路１４ｃ及び画像合成回路１４ｄ、タイミング信号発生回路１４ｆは、１つのＦＰＧＡ（Field Programmable Gate Array）により実現される。なお、制御回路１４ａ、記憶制御回路１４ｂ、画像処理回路１４ｃ、画像合成回路１４ｄは、１つの処理回路により実現されてもよい。この処理回路は、例えば、プロセッサにより実現される。

出力回路１４ｅは、画像合成回路１４ｄから出力された合成画像データをディスプレイ１０１に出力する。これにより、ディスプレイ１０１は、合成画像データが示す合成画像を表示する。合成画像は、画像の一例である。出力回路１４ｅは、例えば、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ドライバＩＣ（Integrated Circuit）やＳＤＩ（Serial Digital Interface）ドライバＩＣなどにより実現される。

タイミング信号発生回路１４ｆは、光源装置３０からの光の出射タイミング、イメージセンサ１２ｃ～１２ｅの露光タイミング及び映像信号の出力タイミング、記憶制御回路１４ｂによる記憶回路１４ｇの制御タイミング等の各種のタイミングを一元管理する。制御回路１４ａ及びタイミング信号発生回路１４ｆは、制御部の一例である。

タイミング信号発生回路１４ｆは、図示しない発振回路により生成されたクロック信号を基に水平同期信号及び垂直同期信号や、撮像装置１０全体の同期をとるためのその他の同期信号等の各種の同期信号を生成する。そして、タイミング信号発生回路１４ｆは、生成した各種の同期信号をイメージセンサ制御回路１２ｆ、制御回路１４ａ、記憶制御回路１４ｂ、画像処理回路１４ｃ、画像合成回路１４ｄ及び出力回路１４ｅの各回路に出力する。

また、タイミング信号発生回路１４ｆは、クロック信号、及び、制御回路１４ａから出力された制御信号を基に、光源制御信号を生成する。光源制御信号は、光源装置３０から出射される光を制御するとともに撮像システム１全体の同期をとるための制御信号である。そして、タイミング信号発生回路１４ｆは、生成した光源制御信号を光源装置３０に出力する。

例えば、光源制御信号の波形は、矩形波であり、光源制御信号は、ハイ（ｈｉｇｈ）レベル及びロー（ｌｏｗ）レベルの２つのレベル（状態）を有する。例えば、光源制御信号は、ハイレベルの間、白色ＬＥＤ３０ｂから白色光を出射させたり、ＩＲレーザ３０ｄから励起光を出射させたりし、ローレベルの間、白色ＬＥＤ３０ｂを消灯させたり、ＩＲレーザ３０ｄからの励起光の出射を停止させたりする制御信号である。

記憶回路１４ｇは、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。記憶回路１４ｇは、各種のプログラムを記憶する。例えば、記憶回路１４ｇは、制御回路１４ａにより実行される制御プログラムを記憶する。また、記憶回路１４ｇには、記憶制御回路１４ｂにより映像信号が一時的に格納される。

光源装置３０は、光源制御信号に基づいて、白色光又は励起光を出射する。光源装置３０は、駆動回路３０ａと、白色ＬＥＤ（Light Emitting Diode）３０ｂと、駆動回路３０ｃと、ＩＲレーザ３０ｄとを備える。

駆動回路３０ａは、タイミング信号発生回路１４ｆから出力される光源制御信号に基づいて、白色ＬＥＤ３０ｂを駆動させて点灯させる駆動制御を行う。白色ＬＥＤ３０ｂは、駆動回路３０ａによる駆動制御により、白色光を出射する。白色光は、例えば、可視光である。また、白色光は、光の一例である。また、白色光は、第２の光の一例でもある。

駆動回路３０ｃは、タイミング信号発生回路１４ｆから出力される光源制御信号に基づいて、ＩＲレーザ３０ｄを駆動させて、ＩＲレーザ３０ｄから励起光を出射させる駆動制御を行う。ＩＲレーザ３０ｄは、駆動回路３０ｃによる駆動制御により、励起光を出射する。なお、上述したように、励起光は、励起光カットフィルタ１２ａによりカットされる。また、励起光によりＩＣＧが励起されてＩＣＧから出射された蛍光（励起光に基づく蛍光）は、励起光カットフィルタ１２ａを通過して、イメージセンサ１２ｅにより受光される。励起光は、光の一例である。また、励起光は、第１の光の一例である。

光ファイバ３１は、光源装置３０からの白色光及び励起光をスコープ１１の先端部に導いて、スコープ１１の先端部から出射させる。

以上、第１の実施形態に係る撮像システム１の撮像装置１０の構成例について説明した。ここで、比較例に係る撮像装置について説明する。比較例に係る撮像装置は、ローリングシャッタ方式のイメージセンサを備える。

図２は、比較例に係る撮像装置の動作の一例を説明するための図である。図２には、比較例に係る撮像装置のイメージセンサが備える複数の画素の各行の露光タイミングと、イメージセンサから出力される映像信号の出力タイミングとの関係の一例が示されている。図２に示すように、比較例に係る撮像装置では、１フレーム目の撮像において、複数の画素の最初の行から最後の行に向かって１行毎に順次露光が開始される。比較例に係る撮像装置では、露光期間は、１／６０［ｓ］である。ここで、露光期間とは、例えば、画素が電荷の蓄積を開始してから終了するまでの期間を意味する。

そして、図２に示すように、比較例に係る撮像装置では、露光が終了した行から順に映像信号が出力される。すなわち、最初の行から最後の行に向かって各行から映像信号が順々に出力される。ここで、比較例に係る撮像装置では、イメージセンサから１フレームの映像信号が出力される期間（読み出し期間）は、露光期間と同じ１／６０［ｓ］である。そして、図２に示すように、２フレーム目以降も同様の処理が行われる。

比較例に係る撮像装置では、イメージセンサは、複数の画素の全ての行において、光を受光する期間（受光期間）が露光期間と同じ期間である。そのため、最初の行から最後の行に向かって、各行の受光期間が順々に時間軸方向にずれている。このように、比較例に係る撮像装置では、行毎に受光期間が異なるため、画像に歪みが発生してしまう場合がある。この場合、画像を観察する医師等のユーザにとって、観察するのに画質が十分でないという問題がある。

そこで、第１の実施形態に係る撮像装置１０は、上述した構成のもと、ユーザが観察するのに十分な画質及びフレームレートを確保することができるように、以下の動作を行う。

本実施形態では、イメージセンサ１２ｃ～１２ｅの露光期間は、撮像装置１０からディスプレイ１０１に１フレームの映像信号が出力される期間の半分である。そして、制御回路１４ａは、ブランキング期間又はブランキング期間を中心とした期間にのみ、イメージセンサ１２ｃ～１２ｅそれぞれの複数の画素を受光させる制御を行う。例えば、制御回路１４ａは、このような制御をイメージセンサ制御回路１２ｆに行わせるための制御信号をイメージセンサ制御回路１２ｆに出力する。

ここで、制御回路１４ａは、読み出し期間以下の期間で、複数の画素を受光させる制御を行う。読み出し期間とは、例えば、イメージセンサ１２ｃ～１２ｅから１フレームの映像信号が出力される期間を指す。また、読み出し期間とは、例えば、１フレームにおける最初の行からの映像信号の出力を開始してから最後の行からの映像信号の出力を終了するまでの期間を指す。

なお、ブランキング期間とは、例えば、本実施形態では、ｎ（ｎは、正の整数）フレーム目の撮像において、イメージセンサ１２ｃ～１２ｅの最後の行からの映像信号の出力を終了してから、（ｎ＋１）フレーム目の撮像において、イメージセンサ１２ｃ～１２ｅの最初の行からの映像信号の出力を開始するまでの期間に対応する期間を指す。

本実施形態では、撮像装置１０からディスプレイ１０１に出力される映像信号（画像）のフレームレートを、Ａ［ｆｐｓ（frame per second）］とする。この場合、読み出し期間を、１／（Ｍ・Ａ）［ｓ］とすることが可能なイメージセンサを、撮像装置１０のイメージセンサ１２ｃ～１２ｅとして用いる。すなわち、１／(Ｍ・ｋ・Ａ)［ｓ］毎に、各行から映像信号を出力することが可能なイメージセンサをイメージセンサ１２ｃ～１２ｅとして用いる。ただし、「Ｍ」は、１よりも大きい数であり、「ｋ」は、イメージセンサ１２ｃ～１２ｅそれぞれの画素の行数である。以下、Ｍ＝２の場合を例に挙げて説明するが、Ｍは、２とは異なる数であって１よりも大きい数であってもよい。

そして、制御回路１４ａは、露光期間１／Ａ［ｓ］よりも短い読み出し期間１／（２Ａ）［ｓ］で１フレームの映像信号をイメージセンサ１２ｃ～１２ｅに出力させるための制御信号をイメージセンサ制御回路１２ｆに出力する。

以下、Ａ＝６０の場合を例に挙げて説明する。つまり、露光期間と、撮像装置１０からディスプレイ１０１に１フレームの映像信号が出力される期間とが同一の１／６０［ｓ］であり、読み出し期間が１／１２０［ｓ］である場合について、以下、説明する。

図３は、第１の実施形態に係る撮像装置１０の撮像動作の一例を説明するための図である。図３には、第１の実施形態に係る光源装置３０から出射される白色光及び励起光の出射タイミングと、撮像装置１０のイメージセンサ１２ｃ～１２ｅが備える複数の画素の各行の露光タイミングと、イメージセンサ１２ｃ～１２ｅから出力される映像信号の出力タイミングと、出力回路１４ｅから出力される映像信号の出力タイミングとの関係の一例が示されている。図３において、横軸は、時間を示す。

なお、図３において、図示を簡略化したため、ｎフレーム目の撮像においてイメージセンサ１２ｃ～１２ｅの最後の行からの映像信号の出力を終了した時間（タイミング）、及び、（ｎ＋１）フレーム目の撮像においてイメージセンサ１２ｃ～１２ｅの最初の行からの映像信号の出力を開始する時間の２つの異なる時間が、同一の「Ｔｐ（ｐ＝ｎ＋１）」で示されている。実際には、上述したように、ｎフレーム目の撮像において、イメージセンサ１２ｃ～１２ｅの最後の行からの映像信号の出力を終了してから、（ｎ＋１）フレーム目の撮像において、イメージセンサ１２ｃ～１２ｅの最初の行からの映像信号の出力を開始するまでの間の期間として、ブランキング期間が存在する。

図３において、（ｎ）は、ｎフレーム目の撮像における露光タイミングを示す。ただし、ｎは、上述したように正の整数である。第１の実施形態では、白色ＬＥＤ３０ｂから出射される白色光の反射の光量よりも、励起光の照射によって発生した蛍光の光量の方が小さい。例えば、白色光の反射の光量に比べて、蛍光の光量が無視できるくらい小さい。よって、白色光から得られるカラー画像に及ぼす励起光に基づく蛍光から得られる蛍光画像の影響は著しく小さいと考えられる。このため、第１の実施形態では、ＩＲレーザ３０ｄからは常時（連続的に）励起光が出射されている。したがって、イメージセンサ１２ｅにより受光される蛍光の光量は、常時励起光がＩＲレーザ３０ｄから出射されていない場合と比べて、大きくなる。このため、蛍光の受光感度を高くすることができ、光量不足による画像の明るさの低下を抑制することができる。

図３において、ｎが奇数の場合には、ＩＲｎは、ｎフレーム目の撮像において、イメージセンサ１２ｅから出力されるＲ信号を示す。すなわち、ｎが奇数の場合には、ＩＲｎは、励起光に基づく蛍光を受光したイメージセンサ１２ｅから出力されるＲ信号を示す。

図３において、ｎが偶数の場合には、Ｇｎは、ｎフレーム目の撮像において、イメージセンサ１２ｄから出力されるＧ信号を示す。また、ｎが偶数の場合には、Ｂｎは、ｎフレーム目の撮像において、イメージセンサ１２ｃから出力されるＢ信号を示す。また、ｎが偶数の場合には、「Ｒｎ＋ＩＲｎ」は、ｎフレーム目の撮像において、イメージセンサ１２ｅから出力されるＲ信号を示す。すなわち、「Ｒｎ＋ＩＲｎ」は、ｎフレーム目の撮像において、白色光、及び、励起光に基づく蛍光を同時に受光したイメージセンサ１２ｅから出力されるＲ信号を示す。また、「Ｗｎ＋ＩＲｎ」は、ｎフレーム目の撮像において、イメージセンサ１２ｃ～１２ｅから出力されるＲＧＢ信号を示す。すなわち、「Ｗｎ＋ＩＲｎ」は、ＧｎとＢｎとＲｎとの合成信号である。

図３の例において、１フレーム目の撮像を開始する前または１フレーム目の撮像の開始とともに、制御回路１４ａは、第１の光源制御信号を出力させるための制御信号をタイミング信号発生回路１４ｆに出力する。第１の光源制御信号は、ＩＲレーザ３０ｄから励起光を連続的に出射させるための制御信号である。

タイミング信号発生回路１４ｆは、制御回路１４ａから出力された上述の制御信号に基づき、励起光を連続的に出射させるための第１の光源制御信号を駆動回路３０ｃに出力する。駆動回路３０ｃは、タイミング信号発生回路１４ｆから出力された第１の光源制御信号に基づき、ＩＲレーザ３０ｄから励起光を連続的に出射させる。

図３に示すように、１フレーム目の撮像において、複数の画素の最初の行から最後の行に向かって１行毎に順次露光が開始される。１フレーム目の撮像では、励起光に基づく蛍光がイメージセンサ１２ｅにより受光され、イメージセンサ１２ｅは、時間Ｔ１から時間Ｔ２までの読み出し期間１／１２０［ｓ］で、Ｒ信号（ＩＲ１）を出力する。すなわち、イメージセンサ１２ｅは、１／(１２０ｋ)［ｓ］毎に、各行から映像信号を出力する。なお、時間Ｔ１は、１フレーム目において、最初の行からの映像信号の出力が開始する時間である。時間Ｔ２は、１フレーム目において、最後の行からの映像信号の出力が終了する時間である。

具体的な制御方法について説明すると、制御回路１４ａは、時間Ｔ１から読み出し期間１／１２０［ｓ］で１フレーム目の映像信号をイメージセンサ１２ｅに出力させるための制御信号をイメージセンサ制御回路１２ｆに出力する。すなわち、制御回路１４ａは、時間Ｔ１から、１／（１２０ｋ）［ｓ］毎に各行から順々に映像信号を出力することをイメージセンサ１２ｅに開始させるための制御信号をイメージセンサ制御回路１２ｆに出力する。

イメージセンサ制御回路１２ｆは、かかる制御信号に基づいて、イメージセンサ１２ｅを駆動制御する。この結果、イメージセンサ１２ｅは、時間Ｔ１から時間Ｔ２までの読み出し期間１／１２０［ｓ］で、全ての行（ｋ行）から映像信号を出力する。

そして、記憶制御回路１４ｂは、１フレーム目の撮像において、イメージセンサ１２ｅの各行から出力された映像信号が入力される度に、各行から出力された映像信号を一時的に記憶回路１４ｇに格納する。ここで、記憶制御回路１４ｂは、時間Ｔ１から時間Ｔ２にかけて、最初の行から順々に最後の行まで、各行から出力された映像信号を記憶回路１４ｇに記憶させる。このようにして１フレーム目の撮像において記憶された映像信号は、少なくとも、時間Ｔ５までは記憶回路１４ｇに記憶される。

次に、図３に示すように、２フレーム目の撮像において、イメージセンサ１２ｃ～１２ｅそれぞれの複数の画素の最初の行から最後の行に向かって１行毎に順次露光が開始される。

ここで、１フレーム目の撮像において、最後の行からの映像信号の出力が終了する時間Ｔ２から、２フレーム目の撮像において、最初の行からの映像信号の出力が開始する時間までの期間は、図３に示すように、ブランキング期間４０に対応する。なお、ブランキング期間４０は、露光期間等と比較して相対的に短い期間であるため、図３において一本の点線で示されているが、実際は、時間軸方向に一定の幅を有する期間である。

本実施形態では、図３に示すように、２フレーム目の撮像において、ブランキング期間４０又はブランキング期間４０を中心とした期間４１にのみ、白色ＬＥＤ３０ｂから白色光が出射される。例えば、ブランキング期間４０を中心とした期間４１にのみ白色光が出射される場合、２フレーム目の撮像において、イメージセンサ１２ｃ～１２ｅの複数の画素の全ての行のうち、最初の行側の少なくとも１つの行４２、及び、最後の行側の少なくとも１つの行４３には、期間４１よりも短い時間しか白色光が照射されない。

なお、ブランキング期間４０内で白色ＬＥＤ３０ｂから白色光が出射されてもよい。この場合には、ブランキング期間４０内なら、ブランキング期間４０の中心を中心とした期間に限られず、どのようなタイミングでも白色光が出射されてもよい。また、期間４１は、例えば、ブランキング期間４０よりも長い期間であり、ブランキング期間４０を含み、ブランキング期間４０よりも前の期間と後ろの期間とを含む。ブランキング期間、ブランキング期間内の期間、及び、ブランキング期間を中心とした期間は、ブランキング期間を基準とした期間の一例である。

一方、図３に示すように、全ての行のうち、行４２及び行４３を除いた１つ以上の行４４では、白色光を受光する受光期間が、略一致する。すなわち、行４４と、行４２及び行４３とでは、受光期間が異なる。このため、撮像装置１０は、行４２及び行４３から出力される映像信号に基づいて得られる画像をマスクし、行４４から出力される映像信号に基づいて得られる画像の範囲を有効画像範囲として設定する。これにより、ディスプレイ１０１には、明るさのムラが発生する可能性がある部分がマスクされた画像が表示される。したがって、画像の歪みの発生を抑制することができる。よって、第１の実施形態に係る撮像装置１０によれば、画像を観察する医師等のユーザにとって、観察するのに十分な画質を確保することができる。

また、図３に示すように、３フレーム目の撮像において、複数の画素の全ての行のうち、最初の行側の少なくとも１つの行は、露光期間中に、励起光に基づく蛍光のみを受光するのではなく、白色光も受光している。また、１フレーム目の撮像において、複数の画素の全ての行のうち、最後の行側の少なくとも１つの行は、露光期間中に、励起光に基づく蛍光のみを受光するのではなく、白色光も受光している。よって、蛍光に加えて白色光も受光しているこれらの行から出力される映像信号からは、白色光の成分も含まれているため、蛍光成分のみからなる画質が良好な蛍光画像を生成することが困難である。

したがって、第１の実施形態に係る撮像装置１０は、１フレーム目の撮像及び３フレーム目の撮像においても同様に、行４２及び行４３から出力される映像信号に基づいて得られる画像をマスクし、行４４から出力される映像信号に基づいて得られる画像の範囲を有効画像範囲として設定する。これにより、ディスプレイ１０１には、画質が良好でない可能性がある部分がマスクされた画像が表示される。したがって、第１の実施形態に係る撮像装置１０によれば、この点からも、画像を観察する医師等のユーザにとって、観察するのに十分な画質を確保することができる。

ここで、期間４１がブランキング期間を中心とした期間である理由の一例について説明する。仮に、期間４１がブランキング期間を中心としていない期間である場合には、両端がマスクされる画像において、一端側のマスクされている領域の大きさと、他端側のマスクされている領域との大きさとが異なり、画像を観察するユーザに違和感を覚えさせてしまう虞がある。

しかしながら、期間４１がブランキング期間を中心とした期間であることで、一端側のマスクされている領域と、他端側のマスクされている領域との大きさが略一致し、ユーザに違和感を与えることを抑制することができる。

そして、イメージセンサ１２ｃ～１２ｅは、時間Ｔ２から時間Ｔ３までの読み出し期間１／１２０［ｓ］で、全ての行（ｋ行）からの映像信号（ＲＧＢ信号）を出力する。

具体的な制御方法について説明する。制御回路１４ａは、時間Ｔ２から読み出し期間１／１２０［ｓ］で映像信号をイメージセンサ１２ｃ～１２ｅに出力させるための制御信号をイメージセンサ制御回路１２ｆに出力する。すなわち、制御回路１４ａは、時間Ｔ２から１／（１２０ｋ）［ｓ］毎に各行からの映像信号を出力することをイメージセンサ１２ｃ～１２ｅに開始させるための制御信号をイメージセンサ制御回路１２ｆに出力する。

イメージセンサ制御回路１２ｆは、かかる制御信号に基づいて、イメージセンサ１２ｃ～１２ｅを駆動制御する。この結果、イメージセンサ１２ｃは、時間Ｔ２から時間Ｔ３までの読み出し期間１／１２０［ｓ］で、全ての行（ｋ行）から映像信号（Ｂ信号）を出力する。また、イメージセンサ１２ｄは、時間Ｔ２から時間Ｔ３までの読み出し期間１／１２０［ｓ］で、全ての行（ｋ行）から映像信号（Ｇ信号）を出力する。また、イメージセンサ１２ｅは、時間Ｔ２から時間Ｔ３までの読み出し期間１／１２０［ｓ］で、２フレーム目の撮像において、全ての行（ｋ行）から映像信号（Ｒ信号（Ｒ２＋ＩＲ２））を出力する。

そして、記憶制御回路１４ｂは、時間Ｔ２から時間Ｔ３まで、イメージセンサ１２ｃの各行から出力された映像信号が入力される度に、各行から出力された映像信号を一時的に記憶回路１４ｇに格納する。また、記憶制御回路１４ｂは、時間Ｔ２から時間Ｔ３まで、イメージセンサ１２ｄの各行から出力された映像信号が入力される度に、各行から出力された映像信号を一時的に記憶回路１４ｇに格納する。また、記憶制御回路１４ｂは、時間Ｔ２から時間Ｔ３まで、イメージセンサ１２ｅの各行から出力された映像信号が入力される度に、各行から出力された映像信号を一時的に記憶回路１４ｇに格納する。ここで、２フレーム目の撮像において、時間Ｔ２から時間Ｔ３にかけて、最初の行から順々に、最後の行まで、各行から出力された映像信号が記憶回路１４ｇに記憶される。このようにして２フレーム目の撮像において記憶された映像信号は、少なくとも、時間Ｔ５までは記憶回路１４ｇに記憶される。

そして、図３に示すように、３フレーム目の撮像において、複数の画素の最初の行から最後の行に向かって１行毎に順次露光が開始される。３フレーム目の撮像では、励起光に基づく蛍光がイメージセンサ１２ｅにより受光され、イメージセンサ１２ｅは、時間Ｔ３から時間Ｔ４までの読み出し期間１／１２０［ｓ］で、Ｒ信号（ＩＲ３）を出力する。すなわち、イメージセンサ１２ｅの各行は、１／(１２０ｋ)［ｓ］毎に映像信号を出力する。なお、時間Ｔ３は、３フレーム目の撮像において、最初の行からの映像信号の出力が開始する時間である。時間Ｔ４は、３フレーム目の撮像において、最後の行からの映像信号の出力が終了する時間である。

具体的な制御方法について説明すると、制御回路１４ａは、時間Ｔ３から読み出し期間１／１２０［ｓ］で映像信号をイメージセンサ１２ｅに出力させるための制御信号をイメージセンサ制御回路１２ｆに出力する。すなわち、制御回路１４ａは、時間Ｔ３から１／（１２０ｋ）［ｓ］毎に各行から映像信号を出力することをイメージセンサ１２ｅに開始させるための制御信号をイメージセンサ制御回路１２ｆに出力する。

イメージセンサ制御回路１２ｆは、かかる制御信号に基づいて、イメージセンサ１２ｅを駆動制御する。この結果、イメージセンサ１２ｅは、時間Ｔ３から時間Ｔ４までの読み出し期間１／１２０［ｓ］で、全ての行（ｋ行）から映像信号を出力する。

そして、記憶制御回路１４ｂは、３フレーム目の撮像において、イメージセンサ１２ｅの各行から出力された映像信号が入力される度に、各行から出力された映像信号を一時的に記憶回路１４ｇに格納する。ここで、３フレーム目の撮像において、時間Ｔ３から時間Ｔ４にかけて、最初の行から順々に最後の行まで、各行から出力された映像信号が記憶回路１４ｇに記憶される。このようにして３フレーム目の撮像において記憶された映像信号は、少なくとも、時間Ｔ７までは記憶回路１４ｇに記憶される。

ここで、図３の「（Ｗ２＋ＩＲ２）＋（ＩＲ１＋ＩＲ３）／２」が示す処理について説明する。時間Ｔ３の段階では、記憶回路１４ｇには、１フレーム目の映像信号（ＩＲ１）と、２フレーム目の映像信号（Ｗ２＋ＩＲ２）とが記憶されている。そして、時間Ｔ３からは、上述したように、３フレーム目の映像信号（ＩＲ３）が記憶回路１４ｇに記憶されることが開始される。

そして、本実施形態では、撮像装置１０は、１フレーム目の映像信号（ＩＲ１）と、２フレーム目の映像信号（Ｗ２＋ＩＲ２）と、３フレーム目の映像信号（ＩＲ３）とを合成してディスプレイ１０１に出力する。

ここで、単純に、撮像装置１０が、３フレーム目の撮像において、イメージセンサ１２ｅの各行から映像信号（ＩＲ３）が出力される度に、各行から出力された映像信号（ＩＲ３）と、各行から出力された映像信号（ＩＲ１）と、イメージセンサ１２ｃ～１２ｅの各行から出力された映像信号（Ｗ２＋ＩＲ２）とを合成して、合成画像をディスプレイ１０１に出力する場合について説明する。この場合、ディスプレイ１０１には、１／１２０［ｓ］で、全ての行から出力された映像信号の合成画像が出力される。

すると、あるフレームの撮像において最後の行の映像信号がディスプレイ１０１に出力されてから、その次のフレームの撮像において最初の行の映像信号がディスプレイ１０１に出力されるまでの１／１２０［ｓ］の間、ディスプレイ１０１に対して映像信号が出力されない期間が存在することとなる。映像信号が出力されない期間は、ディスプレイ１０１に表示される画像が更新されない期間でもある。このため、画像が更新される１／１２０［ｓ］の期間と、画像が更新されない１／１２０［ｓ］の期間とが交互に並ぶ。このような場合、画像の更新頻度が一定でないため、ディスプレイ１０１は、このような入力に対応できないことがある。

そこで、本実施形態では、画像の更新頻度が一定となるように、出力回路１４ｅからディスプレイ１０１に出力される１フレームの映像信号のフレームレートを、６０［ｆｐｓ］に設定している。すなわち、あるフレームの撮像において最後の行の映像信号が出力されてから、その次のフレームの撮像において最初の行の映像信号が出力されるまでの期間を短縮している。

このため、記憶制御回路１４ｂは、時間Ｔ３から、１／（６０ｋ）［ｓ］毎に、１フレーム目の撮像において各行から出力された映像信号（ＩＲ１）、２フレーム目の撮像において各行から出力された映像信号（Ｗ２＋ＩＲ２）、及び、３フレーム目の撮像において各行から出力された映像信号（ＩＲ３）を順々に記憶回路１４ｇから読み出す。例えば、記憶制御回路１４ｂは、イメージセンサ１２ｅのｍ番目の行から出力された映像信号（ＩＲ１）と映像信号（ＩＲ３）と、イメージセンサ１２ｃ～１２ｅのｍ番目の行から出力された映像信号（Ｗ２＋ＩＲ２）とを読み出す。なお、ｍは、正の整数である。そして、記憶制御回路１４ｂは、イメージセンサ１２ｅのｍ番目の行から出力された映像信号（ＩＲ１）と映像信号（ＩＲ３）と、イメージセンサ１２ｃ～１２ｅのｍ番目の行から出力された映像信号（Ｗ２＋ＩＲ２）とを画像処理回路１４ｃに出力する。

そして、画像処理回路１４ｃは、イメージセンサ１２ｅのｍ番目の行から出力された映像信号（ＩＲ１）及び映像信号（ＩＲ３）、並びに、イメージセンサ１２ｃ～１２ｅのｍ番目の行から出力された映像信号（Ｗ２＋ＩＲ２）に対して各種の画像処理を施して、画像合成回路１４ｄに出力する。

以下、画像処理回路１４ｃにより施される各種の画像処理の一例について説明する。例えば、画像処理回路１４ｃは、１フレーム目の撮像において、イメージセンサ１２ｅのｍ番目の行から出力された映像信号（ＩＲ１）に対して、デジタルゲインをかける。画像処理回路１４ｃは、デジタルゲイン及び上述したアナログゲインによって、イメージセンサ１２ｅのｍ番目の行から出力された映像信号（ＩＲ１）を例えば３０倍まで増幅させる。

同様に、画像処理回路１４ｃは、３フレーム目の撮像において、イメージセンサ１２ｅのｍ番目の行から出力された映像信号（ＩＲ３）に対して、デジタルゲインをかける。画像処理回路１４ｃは、デジタルゲイン及び上述したアナログゲインと合わせて、イメージセンサ１２ｅのｍ番目の行から出力された映像信号（ＩＲ３）を例えば３０倍まで増幅させる。

なお、画像処理回路１４ｃは、２フレーム目の撮像において、イメージセンサ１２ｃ～１２ｅから出力されたｍ番目の映像信号（Ｗ２＋ＩＲ２）については、デジタルゲイン及びアナログゲインをかけない。

また、本実施形態に係る画像処理回路１４ｃは、上述した行４２及び行４３から出力される映像信号に基づいて得られる画像をマスクする。また、画像処理回路１４ｃは、上述した行４４から出力される映像信号に基づいて得られる画像の範囲を有効画像範囲として設定する。

図４Ａは、画像処理回路１４ｃが実行する画像処理の一例を説明するための図である。図４Ａの例に示すように、例えば、画像処理回路１４ｃは、上述した行４２及び行４３から出力される映像信号（Ｗ２＋ＩＲ２）に基づいて得られる画像を、黒色の画像５１に置換し、上述した行４４から出力される映像信号（Ｗ２＋ＩＲ２）に基づいて得られる画像の範囲を有効画像範囲５２として設定したカラー画像５０を生成する。

図４Ａの例に示すカラー画像５０は、ブランキング期間を中心とし、ブランキング期間に１／１２００［ｓ］を加えた期間にのみイメージセンサ１２ｃ～１２ｅの複数の画素を受光させた場合のカラー画像の一例を示す。カラー画像５０では、カラー画像５０の全体の１０％の領域がマスクされている。

同様に、画像処理回路１４ｃは、上述した行４２及び行４３から出力される映像信号（ＩＲ１）に基づいて得られる画像を、黒色の画像に置換し、上述した行４４から出力される映像信号（ＩＲ１）に基づいて得られる画像の範囲を有効画像範囲として設定した蛍光画像を生成する。また、画像処理回路１４ｃは、上述した行４２及び行４３から出力される映像信号（ＩＲ３）に基づいて得られる画像を、黒色の画像に置換し、上述した行４４から出力される映像信号（ＩＲ３）に基づいて得られる画像の範囲を有効画像範囲として設定した蛍光画像を生成する。

画像合成回路１４ｄは、１フレーム目の撮像においてイメージセンサ１２ｅの各行から出力された映像信号（ＩＲ１）と、３フレーム目の撮像においてイメージセンサ１２ｅの各行から出力された映像信号（ＩＲ３）とを合成して合成画像を生成する。例えば、画像合成回路１４ｄは、映像信号（ＩＲ１）と映像信号（ＩＲ３）とを合成して合成画像（（ＩＲ１＋ＩＲ３）／２）を生成する。

そして、画像合成回路１４ｄは、例えば、合成画像（（ＩＲ１＋ＩＲ３）／２）のうち輝度が閾値以上の部分を抽出する。そして、画像合成回路１４ｄは、抽出した部分と同一の位置及び範囲を有するマーカであって、所定の色（例えば、高彩度の緑色）が付与されたマーカを生成する。そして、画像合成回路１４ｄは、２フレーム目の撮像において、各行から出力された映像信号（Ｗ２＋ＩＲ２）に、生成したマーカを重畳して、合成画像（Ｗ２＋ＩＲ２＋（ＩＲ１＋ＩＲ３）／２）を生成する。そして、画像合成回路１４ｄは、生成した合成画像（Ｗ２＋ＩＲ２＋（ＩＲ１＋ＩＲ３）／２）を出力回路１４ｅに出力する。画像合成回路１４ｄは、カラー画像、及び、カラー画像の前後に生成された複数（２つ）の蛍光画像を用いて、合成画像を生成する。

例えば、被検体１００の体内を画像化したカラー画像の色合いは、全体的に赤みがかった色合いである。そのため、例えば、マーカに赤い色を付与しても、マーカが目立たない。そのため、赤色に対して補色である緑色をマーカに付与して、マーカを目立つようにする。

なお、画像合成回路１４ｄは、マーカではなく、蛍光により得られる蛍光画像から輪郭成分を抽出し、抽出した輪郭成分をカラー画像に重畳して合成画像を生成してもよい。

このような処理を、画像合成回路１４ｄは、全ての行から出力された映像信号に対して行う。すなわち、画像合成回路１４ｄは、時間Ｔ３から時間Ｔ５までの期間１／６０［ｓ］で、全ての行から出力された映像信号の合成画像を出力回路１４ｅに出力する。これにより、図３の「Ｗ２＋ＩＲ２＋（ＩＲ１＋ＩＲ３）／２」によって示されるように、出力回路１４ｅは、時間Ｔ３から時間Ｔ５までの期間１／６０［ｓ］で、全ての行の映像信号の合成画像をディスプレイ１０１に出力する。このため、ディスプレイ１０１に表示された合成画像は、１／６０［ｓ］毎に更新される。

４フレーム目以降についても、１フレーム目の撮像、２フレーム目の撮像及び３フレーム目の撮像において説明した撮像動作と同様の撮像動作が繰り返し行われる。したがって、制御回路１４ａは、励起光を光源装置３０から連続的に出射させるとともに、励起光と種類が異なる白色光を、ブランキング期間４０又は期間４１と同期するように、光源装置３０から２フレームに１回の割合で出射させる。画像処理回路１４ｃは、励起光に基づく蛍光の受光によりイメージセンサ１２ｅの複数の画素で発生した映像信号に基づいて蛍光画像を生成する。なお、蛍光の受光によりイメージセンサ１２ｅの複数の画素で発生した映像信号は、第１の電気信号の一例である。また、蛍光画像は、第１の画像の一例である。

また、画像処理回路１４ｃは、蛍光および白色光の同時受光によりイメージセンサ１２ｃ～１２ｅの複数の画素で発生した映像信号に基づいてカラー画像を生成する。なお、蛍光および白色光の同時受光によりイメージセンサ１２ｃ～１２ｅの複数の画素で発生した映像信号は、第２の電気信号の一例である。また、カラー画像は、第２の画像の一例である。

画像合成回路１４ｄは、蛍光画像とカラー画像を用いて、合成画像を生成する。例えば、画像処理回路１４ｃ及び画像合成回路１４ｄは、画像生成部の一例である。

図４Ｂは、合成画像の一例を示す図である。図４Ｂの例には、明るさのムラが生じる可能性がある部分がマスクされたカラー画像５０に、マーカ５３が重畳された合成画像の一例が示されている。したがって、ユーザは、例えば、注目すべき箇所であるマーカ５３を容易に観察することができる。また、ユーザは、人間が実際に認識できるような内容のカラー画像であるカラー画像５０を観察しつつ、マーカ５３の情報を得ることができる。

また、カラー画像５０において、露光タイミングは一致している。このため、第１の実施形態に係る撮像装置１０によれば、画像の歪みの発生を抑制することができる。したがって、第１の実施形態に係る撮像装置１０によれば、画像を観察する医師等のユーザにとって、観察するのに十分な画質を確保することができる。

図４Ｂに示すように、画像処理回路１４ｃは、最初の行と最後の行に対応する合成画像の端部を少なくとも除く有効画像範囲５２を合成画像に設定する。また、画像処理回路１４ｃ及び画像合成回路１４ｄは、有効画像範囲５２以外の範囲が黒色の画像（他の画像）５１に置き換えられた合成画像を生成する。

ここで、合成画像において、撮像対象が所定の方向に移動している場合について説明する。更に、カラー画像（Ｗ２＋ＩＲ２）に対して、蛍光画像（ＩＲ１）から得られるマーカを重畳させて、合成画像（Ｗ２＋ＩＲ２＋ＩＲ１）を生成した場合について説明する。この場合、撮像対象が移動しているため、カラー画像（Ｗ２＋ＩＲ２）に描出された撮像対象の重心位置に対して、マーカの重心位置が時間的に遅れた位置となる。

次に、カラー画像（Ｗ２＋ＩＲ２）に対して、蛍光画像（ＩＲ３）から得られるマーカを重畳させて、合成画像（Ｗ２＋ＩＲ２＋ＩＲ３）を生成した場合について説明する。この場合、撮像対象が移動しているため、カラー画像（Ｗ２＋ＩＲ２）に描出された撮像対象の重心位置に対して、マーカの重心位置が時間的に進んだ位置となる。

ここで、本実施形態では、カラー画像（Ｗ２＋ＩＲ２）に対して、蛍光画像（ＩＲ１）と蛍光画像（ＩＲ３）の合成画像（（ＩＲ１＋ＩＲ３）／２）から得られるマーカを重畳させて、合成画像（Ｗ２＋ＩＲ２＋（ＩＲ１＋ＩＲ３）／２）を生成している。本実施形態によれば、撮像対象が移動していても、カラー画像（Ｗ２＋ＩＲ２）の撮像タイミングから、略同一な時間だけ前後する撮像タイミングで撮像された蛍光画像（ＩＲ１）と蛍光画像（ＩＲ３）の合成画像（（ＩＲ１＋ＩＲ３）／２）から得られるマーカをカラー画像（Ｗ２＋ＩＲ２）に重畳している。このため、カラー画像（Ｗ２＋ＩＲ２）の重心位置と合成画像（（ＩＲ１＋ＩＲ３）／２）の重心位置との差は、比較的小さい。したがって、合成画像（Ｗ２＋ＩＲ２＋（ＩＲ１＋ＩＲ３）／２）に描出される撮像対象の重心位置に対するマーカの重心位置のずれを抑制することができる。よって、第１の実施形態によれば、動きに対して合成画像（Ｗ２＋ＩＲ２＋（ＩＲ１＋ＩＲ３）／２）からユーザに与える違和感を抑制することができる。

次に、第１の実施形態に係る制御回路１４ａにより実行される制御処理について説明する。図５は、第１の実施形態に係る制御処理の流れを示すフローチャートである。かかる制御処理は、図示しないマウスやキーボード等のユーザからの指示を受け付ける入力装置により、被検体１００の体内の撮像を開始する指示がＣＣＵ１４に入力された場合に、制御回路１４ａにより実行される。

図５に示すように、制御回路１４ａは、変数Ｎに「１」を設定する（ステップＳ１０１）。そして、制御回路１４ａは、ＩＲレーザ３０ｄから励起光を連続的に出射させるための光源制御信号を出力させるための制御信号をタイミング信号発生回路１４ｆに出力する（ステップＳ１０２）。そして、制御回路１４ａは、Ｎフレーム目の撮像を開始させるために、ローリングシャッタ方式によるＮフレーム目の露光を開始させるための制御信号を、イメージセンサ制御回路１２ｆに出力する（ステップＳ１０３）。

そして、制御回路１４ａは、Ｎフレーム目の撮像においてイメージセンサ１２ｅの複数の画素の最初の行の映像信号の出力が開始する時間から、読み出し期間１／１２０［ｓ］で映像信号をイメージセンサ１２ｅに出力させるための制御信号をイメージセンサ制御回路１２ｆに出力する（ステップＳ１０４）。なお、ステップＳ１０４において、記憶制御回路１４ｂは、イメージセンサ１２ｅの各行から出力された映像信号が入力される度に、各行から出力された映像信号を一時的に記憶回路１４ｇに格納する。

そして、制御回路１４ａは、変数Ｎの値を１つインクリメントする（ステップＳ１０５）。そして、制御回路１４ａは、Ｎフレーム目の撮像を開始させるために、ローリングシャッタ方式によるＮフレーム目の露光を開始させるための制御信号を、イメージセンサ制御回路１２ｆに出力する（ステップＳ１０６）。

制御回路１４ａは、現在の時間が、ブランキング期間又はブランキング期間を中心とした期間であるか否かを判定する（ステップＳ１０７）。現在の時間が、ブランキング期間又はブランキング期間を中心とした期間でない場合（ステップＳ１０７；Ｎｏ）には、制御回路１４ａは、再び、ステップＳ１０７の判定を行う。

一方、現在の時間が、ブランキング期間又はブランキング期間を中心とした期間である場合（ステップＳ１０７；Ｙｅｓ）には、制御回路１４ａは、次の処理を行う。すなわち、制御回路１４ａは、ブランキング期間又はブランキング期間を中心とした期間にのみ、白色ＬＥＤ３０ｂから白色光を出射させる光源制御信号を出力させるための制御信号をタイミング信号発生回路１４ｆに出力する（ステップＳ１０８）。

そして、制御回路１４ａは、最初の行からの映像信号の出力が開始する時間から、読み出し期間１／１２０［ｓ］で映像信号をイメージセンサ１２ｃ～１２ｅに出力させるための制御信号をイメージセンサ制御回路１２ｆに出力する（ステップＳ１０９）。なお、ステップＳ１０９において、記憶制御回路１４ｂは、イメージセンサ１２ｃ～１２ｅの各行から出力された映像信号が入力される度に、各行から出力された映像信号を一時的に記憶回路１４ｇに格納する。

そして、制御回路１４ａは、変数Ｎの値を１つインクリメントする（ステップＳ１１０）。そして、制御回路１４ａは、Ｎフレーム目の撮像を開始させるために、ローリングシャッタ方式によるＮフレーム目の露光を開始させるための制御信号を、イメージセンサ制御回路１２ｆに出力する（ステップＳ１１１）。なお、ステップＳ１１１において、記憶制御回路１４ｂは、イメージセンサ１２ｅの各行から出力された映像信号が入力される度に、各行から出力された映像信号を一時的に記憶回路１４ｇに格納する。

そして、ステップＳ１１２では、画像処理回路１４ｃは、１フレーム目の撮像において各行から出力された映像信号（ＩＲ１）、２フレーム目の撮像において各行から出力された映像信号（Ｗ２＋ＩＲ２）、及び、３フレーム目の撮像において各行から出力された映像信号（ＩＲ３）に対して各種の画像処理を施す。そして、ステップＳ１１２では、画像合成回路１４ｄは、映像信号（ＩＲ１）、映像信号（Ｗ２＋ＩＲ２）及び映像信号（ＩＲ３）の合成画像（Ｗ２＋ＩＲ２＋（ＩＲ１＋ＩＲ３）／２）を出力回路１４ｅに出力する。

そして、制御回路１４ａは、制御処理を終了する指示を、入力装置を介して受け付けたか否かを判定する（ステップＳ１１３）。制御処理を終了する指示を受け付けていない場合（ステップＳ１１３；Ｎｏ）には、制御回路１４ａは、変数Ｎの値を１つインクリメントして（ステップＳ１１４）、ステップＳ１０２に戻る。一方、制御処理を終了する指示を受け付けた場合（ステップＳ１１３；Ｙｅｓ）には、制御回路１４ａは、制御処理を終了する。

以上、第１の実施形態に係る撮像装置１０について説明した。第１の実施形態に係る撮像装置１０によれば、上述したように、ユーザが観察するのに十分な画質を確保することができる。

また、例えば、上記特許文献１に記載の技術において、波長の異なる２つの光（白色光、及び、ＩＲ励起光）を交互に出射し、撮像素子が１２０［ｆｐｓ］で映像信号を出力し、露光期間を１／６０［ｓ］とした場合について説明する。この場合には、白色光画像は、３０［ｆｐｓ］でモニタに出力される。

一方、第１の実施形態では、例えば、イメージセンサ１２ｃが１２０［ｆｐｓ］で映像信号を出力し、露光期間が１／６０［ｓ］である場合に、白色光に基づくカラー画像は、６０［ｆｐｓ］でディスプレイ１０１に出力される。したがって、第１の実施形態に係る撮像装置によれば、フレームレートの低下を抑制することができる。したがって、ユーザが観察するのに十分なフレームレートを確保することができる。

（第１の実施形態の変形例）
次に、第１の実施形態の変形例について説明する。第１の実施形態において、カラー画像（Ｗ２＋ＩＲ２）には、白色光及び蛍光の同時受光によりイメージセンサ１２ｃ～１２ｅから出力された映像信号に基づく画像である。このため、カラー画像（Ｗ２＋ＩＲ２）は、白色光に基づくカラー画像と、蛍光に基づく蛍光画像との合成画像である。このように、カラー画像（Ｗ２＋ＩＲ２）には、蛍光画像が含まれている。

第１の実施形態では、白色光の反射の光量に比べて、蛍光の光量が無視できるくらい小さいことが前提であるが、第１の実施形態の変形例では、白色光の反射の光量に比べて、蛍光の光量が無視できないくらいの大きさである場合について説明する。この場合には、蛍光画像が赤みがかかった色合いであるため、カラー画像（Ｗ２＋ＩＲ２）も赤みがかかったような色合いとなる。

そこで、第１の実施形態の変形例では、画像処理回路１４ｃは、カラー画像（Ｗ２＋ＩＲ２）から、蛍光画像（ＩＲ１）と蛍光画像（ＩＲ３）との合成画像（（ＩＲ１＋ＩＲ３）／２）を減算することで、略白色光のみに基づくカラー画像を生成する。すなわち、画像処理回路１４ｃは、カラー画像（Ｗ２＋ＩＲ２）の前後に生成された複数の蛍光画像（ＩＲ１）及び蛍光画像（ＩＲ３）を用いて、蛍光の成分が低減されるようにカラー画像（Ｗ２＋ＩＲ２）を補正する。したがって、第１の実施形態の変形例によれば、カラー画像（Ｗ２＋ＩＲ２）から蛍光成分を抑制する補正を行うことができる。なお、蛍光の成分は、第１の光による成分の一例である。

（第２の実施形態）
次に、第２の実施形態に係る撮像装置について説明する。第２の実施形態において、第１の実施形態と同様の構成については、同一の符号を付して説明を省略する場合がある。第２の実施形態に係る撮像装置は、画像の明るさが、目標の明るさとなるように、白色ＬＥＤ３０ｂが発する白色光を制御する点以外は、第１の実施形態に係る撮像装置１０の動作と同様の動作を行う。また、第２の実施形態に係る撮像装置及び撮像システムの構成は、第１の実施形態と同様である。

例えば、ローリングシャッタ方式のイメージセンサ１２ｃ～１２ｅでは、あるフレームの撮像中に、複数の画素の全ての行で、それまで蓄積していた電荷を全て排出し（リセットし）、電荷を排出後、露光を再び行って電荷を再蓄積するシャッタ機能がある。このようなシャッタ機能が動作すると、上述した行４４で受光期間が同一にならない場合がある。この場合には、画像に明るさのムラが発生することがある。

そこで、第２の実施形態に係る撮像装置は、シャッタ機能が動作しないように、画像の明るさが、閾値以下の目標の明るさとなるように、白色ＬＥＤ３０ｂが発する白色光を制御する。

ここで、画像の明るさの算出方法の一例について説明する。第２の実施形態では、制御回路１４ａは、フレームごとに、以下の処理を実行する。例えば、制御回路１４ａは、各種の画像処理が施された結果得られたカラー画像の画像データを画像処理回路１４ｃから取得する。そして、制御回路１４ａは、画像データが示すカラー画像を構成する各画素のＲの輝度、Ｇの輝度及びＢの輝度の中から最も高い輝度を画素毎に選択する。なお、例えば、画像を構成する各画素は、イメージセンサ１２ｃ～１２ｅの各画素に対応する。そして、制御回路１４ａは、画素毎に選択した輝度の合計を算出する。そして、制御回路１４ａは、算出した輝度の合計を、画像を構成する画素の数（画素数）で除して、１つの画素あたりの輝度の平均値を算出する。そして、制御回路１４ａは、算出した輝度の平均値を画像の明るさとして扱う。

そして、制御回路１４ａは、画像の明るさと、目標の明るさとを比較する。なお、目標の明るさは、例えば、ユーザにより指定される輝度の値である。また、目標の明るさは、所定の明るさの一例である。制御回路１４ａは、目標の明るさよりも、画像の明るさの方が大きければ、被検体１００に照射される白色光の光量を小さくするために、画像の明るさと目標の明るさとの差分に応じて、ハイレベルの期間の長さを短くした光源制御信号をタイミング信号発生回路１４ｆに出力させる。例えば、制御回路１４ａは、画像の明るさと目標の明るさとの差分が大きくなるほど、ハイレベルの期間の長さを短くした光源制御信号をタイミング信号発生回路１４ｆに出力させる。具体例を挙げて説明すると、制御回路１４ａは、画像の明るさと目標の明るさとの差分に応じて、ハイレベルの期間の長さを計算して、計算の結果得られたハイレベルの期間の長さをタイミング信号発生回路１４ｆに出力する。これにより、タイミング信号発生回路１４ｆは、ハイレベルの期間の長さを短くした光源制御信号を駆動回路３０ａに出力する。

また、画像の明るさよりも目標の明るさのほうが大きければ、制御回路１４ａは、画像の明るさと目標の明るさとの差分に応じて、読み出し期間以下の範囲で、ハイレベルの期間の長さを長くした光源制御信号をタイミング信号発生回路１４ｆに出力させる。

すなわち、制御回路１４ａ及びタイミング信号発生回路１４ｆは、画像の明るさが目標の明るさとなるように、ハイレベルの期間の長さを変更することにより、複数の画素により受光される白色光を制御する。具体的には、制御回路１４ａ及びタイミング信号発生回路１４ｆは、画像の明るさが目標の明るさとなるように、受光期間を制御する。制御回路１４ａ及びタイミング信号発生回路１４ｆは、受光期間を制御することにより、被検体１００に照射される白色光の光量を制御する。制御回路１４ａ及びタイミング信号発生回路１４ｆは、受光期間を制御することにより、カラー画像の明るさを制御する。

（第３の実施形態）
次に、第３の実施形態に係る撮像装置について説明する。第３の実施形態の説明において、上述した各実施形態、及び、上述した変形例と同様の構成については、同一の符号を付して説明を省略する場合がある。

第３の実施形態に係る撮像装置は、白色光及び励起光（蛍光）の光量が十分である場合や、白色光と励起光との混在を抑制する場合に用いられる。

図６は、第３の実施形態に係る撮像装置の動作の一例を説明するための図である。図６には、第３の実施形態に係る光源装置３０から出射される白色光及び励起光の出射タイミングと、撮像装置１０のイメージセンサ１２ｃ～１２ｅが備える複数の画素の各行の露光タイミングと、イメージセンサ１２ｃ～１２ｅから出力される映像信号の出力タイミングと、出力回路１４ｅから出力される映像信号の出力タイミングとの関係の一例が示されている。図６において、横軸は、時間を示す。

図６に示す第３の実施形態に係る撮像装置の動作が、図３に示す第１の実施形態に係る撮像装置１０の動作と異なる点について説明する。第１の実施形態では、制御回路１４ａが、連続的に励起光を出射させていた場合について説明した。しかしながら、第３の実施形態では、制御回路１４ａは、複数の画素が受光する光の種類を、１フレーム毎に切り替える。具体的には、制御回路１４ａは、１フレームごとに、交互に、光源装置３０から出射させる光を、白色光又は励起光に切り替える。これにより、制御回路１４ａは、複数の画素に受光させる光を、１フレームごとに、交互に、白色光又は蛍光に切り替える。

第３の実施形態では、制御回路１４ａは、種類が異なる励起光と白色光を、ブランキング期間又はブランキング期間を中心とした期間と同期するように、光源装置３０から交互に出射させる。画像処理回路１４ｃは、励起光に基づく蛍光の受光により複数の画素で発生した映像信号に基づいて蛍光画像を生成し、白色光の受光により複数の画素で発生した映像信号に基づいてカラー画像を生成する。画像合成回路１４ｄは、蛍光画像とカラー画像を用いて、合成画像を生成する。なお、励起光に基づく蛍光の受光によりイメージセンサ１２ｅの複数の画素で発生した映像信号は、第１の電気信号の一例である。白色光の受光によりイメージセンサ１２ｃ～１２ｅの複数の画素で発生した映像信号は、第２の電気信号の一例である。

第３の実施形態に係る撮像装置は、第１の実施形態と同様に、観察するのに十分な画質を確保することができる。

また、例えば、上記特許文献１に記載の技術において、波長の異なる２つの光（白色光、及び、ＩＲ励起光）を交互に出射し、撮像素子が１２０［ｆｐｓ］で映像信号を出力し、露光期間を１／６０［ｓ］とした場合について説明する。この場合には、白色光画像及び蛍光観察画像それぞれは、３０［ｆｐｓ］でモニタに出力される。

一方、第３の実施形態では、例えば、波長の異なる２つの光（白色光、及び、励起光）を交互に出射し、イメージセンサ１２ｃ～１２ｅが１２０［ｆｐｓ］で映像信号を出力し、露光期間が１／６０［ｓ］である場合に、白色光に基づくカラー画像、及び、蛍光に基づく蛍光画像の合成画像は、６０［ｆｐｓ］でディスプレイ１０１に出力される。したがって、第３の実施形態に係る撮像装置によれば、フレームレートの低下を抑制することができる。

（第４の実施形態）
次に、第４の実施形態に係る撮像装置について説明する。第４の実施形態の説明において、上述した各実施形態、及び、上述した変形例と同様の構成については、同一の符号を付して説明を省略する場合がある。

第１の実施形態では、例えば、ブランキング期間を中心とし、ブランキング期間に１／１２００［ｓ］を加えた期間にのみ、イメージセンサ１２ｃ～１２ｅの複数の画素に受光させる場合について説明した。この場合、マスクされる領域は、全画面の領域のおよそ１０％となる。

図７は、第４の実施形態に係る画像の一例を説明するための図である。しかしながら、光量を確保するために、イメージセンサ１２ｃ～１２ｅの複数の画素の受光期間を伸ばして、例えば、図７の例に示すように、全画面の領域のおよそ５０％をマスクされる領域としてもよい。この場合には、画像処理回路１４ｃは、有効画像範囲５２が拡大された画像（拡大画像）５０ａを生成してもよい。図７の例に示すように、拡大されたことで、ユーザは、マーカ５３ａを、より容易に観察することができる。

（第５の実施形態）
次に、第５の実施形態に係る撮像装置について説明する。第５の実施形態の説明において、上述した各実施形態、及び、上述した変形例と同様の構成については、同一の符号を付して説明を省略する場合がある。

第５の実施形態に係る撮像装置の制御回路１４ａは、第１の実施形態～第４の実施形態のうちの１つの実施形態に係る制御処理を実行するモード（第１のモード）と、白色ＬＥＤ３０ｂ又はＩＲレーザ３０ｄのみを駆動させて白色光に基づくカラー画像又は励起光に基づく蛍光画像の撮像を実行するモード（第２のモード）とを、ユーザの指示に応じて切り替える。

例えば、第２のモードでは、露光期間が、第１～第４の実施形態に係る露光期間１／１２０［ｓ］の２倍の期間である１／６０となる。そして、第２のモードでは、制御回路１４ａは、イメージセンサ１２ｃ～１２ｅの複数の画素に、蛍光又は白色光を受光させ、蛍光画像又はカラー画像を所定のフレームレート１／６０［ｓ］でディスプレイ１０１に出力させる。

図８は、第５の実施形態に係る撮像装置が行うモード切替の一例を説明するための図である。図８の例に示すように、例えば、医師等のユーザが、第２のモードでカラー画像６０を観察している最中に、精査したい箇所がある場合には、入力装置（図示せず）を介して第１のモードに切り替える指示を入力する。制御回路１４ａは、入力されたユーザの指示に応じて、第１のモードに切り替えて、カラー画像５０にマーカ５３が重畳された合成画像をディスプレイ１０１に表示させる。

第５の実施形態では、モードが切り替わった場合であっても、撮像装置からディスプレイ１０１に出力されるフレームレートは変わらない。したがって、第５の実施形態に係る撮像装置によれば、モードの切り替え時にユーザに与える違和感を抑制することができる。

（第６の実施形態）
次に、第６の実施形態に係る撮像装置について説明する。上述した第１の実施形態～第４の実施形態及び第１の実施形態の変形例では、制御回路１４ａが、ブランキング期間を基準とした期間として、ブランキング期間、ブランキング期間内の期間、又は、ブランキング期間を中心とした期間にのみ、複数の画素を受光させる場合について説明した。しかしながら、制御回路１４ａは、ブランキング期間を基準とした期間として、ブランキング期間を中心とした期間の一部の期間のみ、複数の画素を受光させてもよい。そこで、このような実施形態を第６の実施形態として説明する。

図９は、第６の実施形態に係る撮像装置の動作の一例を説明するための図である。図９において横軸は、時間を示す。例えば、まず、第１の実施形態と同様に、制御回路１４ａが、励起光を光源装置３０から連続的に出射させるとともに、白色光を、ブランキング期間４０を基準とした期間と同期するように、光源装置３０から２フレームに１回の割合で出射させる場合について説明する。

この場合、図９に示すように、制御回路１４ａは、白色光を、２フレームに１回の割合でブランキング期間４０を中心とした期間４１の一部の期間４１ａのみ、光源装置３０から出射させる。これにより、複数の画素は、期間４１の一部の期間４１ａのみ受光される。ここで、期間４１ａは、ブランキング期間４０よりも時系列において前の期間である。

次に、第３の実施形態と同様に、制御回路１４ａが、種類が異なる励起光と白色光を、ブランキング期間４０を基準とした期間と同期するように、光源装置３０から交互に出射させる場合について説明する。

この場合においても、図９に示すように、制御回路１４ａは、励起光と白色光を、期間４１ａのみ、光源装置３０から交互に出射させる。これによっても、複数の画素は、期間４１の一部の期間４１ａのみ受光される。

第６の実施形態によれば、ディスプレイ１０１に表示される合成画像の一端側のマスクされている領域の大きさと、他端側のマスクされている領域との大きさとが異なるものの、他の実施形態と同様に、画像を観察する医師等のユーザにとって、観察するのに十分なフレームレート及び画質を確保することができる。

以上、各実施形態について説明した。なお、各実施形態において、撮像装置１０が、白色光の反射光をイメージセンサ１２ｃ～１２ｅを受光させて、各種の処理を行う場合について説明した。しかしながら、撮像装置１０は、白色光によりＩＣＧが励起されてＩＣＧから出射された蛍光（白色光に基づく蛍光）をイメージセンサ１２ｅに受光させて、同様の処理を行ってもよい。

以上述べた少なくとも１つの実施形態又は変形例に係る撮像装置によれば、ユーザが観察するのに十分なフレームレートを確保することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 撮像システム
１０ 撮像装置
１２ｃ，１２ｄ，１２ｅ イメージセンサ
１４ａ 制御回路
１４ｃ 画像処理回路
１４ｄ 画像合成回路

Claims (17)

1. 行列状に配置された、受光により電気信号を発生する複数の画素を含み、前記複数の画素の最初の行から最後の行に向かって、少なくとも１行毎に順次露光を開始し、露光が終了した行から順に前記電気信号を出力する処理を、１フレーム毎に繰り返す、ローリングシャッタ方式のイメージセンサと、
   第１の光を光源装置から連続的に出射させるとともに、前記第１の光と種類が異なる第２の光を、前記最後の行からの前記電気信号の出力を終了してから、前記最初の行からの前記電気信号の出力を開始するまでの期間に対応するブランキング期間と同期した所定の期間に、前記光源装置から２フレームに１回の割合で非連続的に出射させ、前記所定の期間にのみ、前記複数の画素に前記第２の光を受光させる制御部と、
   前記最後の行と前記最初の行の期間の中間に位置する露光期間に、前記第２の光の反射光又は前記第２の光によって発生した蛍光を受光しないフレームにおいて出力される電気信号に基づいて第１の画像を生成し、前記露光期間に前記第２の光の反射光又は前記第２の光によって発生した蛍光を受光するフレームにおいて出力される電気信号に基づいて第２の画像を生成し、前記第１の画像と前記第２の画像を用いて、画像を生成する画像生成部とを備え、
   前記画像生成部は、前記複数の画素が、前記第２の光を、前記ブランキング期間より長い期間受光したときは、前記第１の画像のうち、前記ブランキング期間より長い期間に第２の光を受光した行の映像信号に基づく部分をマスクする撮像装置。
2. 前記ブランキング期間と同期した所定の期間は前記ブランキング期間を含むことを特徴とする請求項１に記載の撮像装置。
3. 行列状に配置された、受光により電気信号を発生する複数の画素を含み、前記複数の画素の最初の行から最後の行に向かって、少なくとも１行毎に順次露光を開始し、露光が終了した行から順に前記電気信号を出力する処理を、１フレーム毎に繰り返す、ローリングシャッタ方式のイメージセンサと、
   前記電気信号に基づいて、画像を生成する画像生成部と、
   第１の光を光源装置から連続的に出射させるとともに、前記第１の光と種類が異なる第２の光を、前記最後の行からの前記電気信号の出力を終了してから、前記最初の行からの前記電気信号の出力を開始するまでの期間に対応するブランキング期間の間、又は前記ブランキング期間と、前記ブランキング期間の前のフレームの最後の行と前記ブランキング期間の後のフレームの最初の行のそれぞれの露光期間とを含んだ期間の間、またはその部分期間にのみ、前記光源装置から２フレームに１回の割合で非連続的に出射させる制御部と、を有し、
   前記画像生成部は、前記第１の光の反射光又は前記第１の光によって発生した蛍光の受光により前記複数の画素で発生した第１の電気信号に基づいて第１の画像を生成し、前記第１の光の反射光又は前記蛍光と、前記第２の光の反射光又は前記第２の光によって発生した蛍光との同時受光により前記複数の画素で発生した第２の電気信号に基づいて第２の画像を生成し、前記第１の画像と前記第２の画像を用いて、前記画像を生成する撮像装置。
4. 前記画像生成部は、前記第２の画像と、前記第２の画像のフレームの直前のフレームの前記第１の画像と、前記第２の画像のフレームの直後のフレームの前記第１の画像とを用いて、前記画像を生成する請求項１乃至３のいずれか１項に記載の撮像装置。
5. 行列状に配置された、受光により電気信号を発生する複数の画素を含み、前記複数の画素の最初の行から最後の行に向かって、少なくとも１行毎に順次露光を開始し、露光が終了した行から順に前記電気信号を出力する処理を、１フレーム毎に繰り返す、ローリングシャッタ方式のイメージセンサと、
   前記最後の行からの前記電気信号の出力を終了してから、前記最初の行からの前記電気信号の出力を開始するまでの期間に対応するブランキング期間と同期した所定の期間にのみ、前記複数の画素を受光させる制御部と、
   前記電気信号に基づいて、画像を生成する画像生成部と、を有し、
   前記制御部は、種類が異なる第１の光と第２の光とを、前記ブランキング期間と同期した所定の期間に、光源装置から１フレーム毎に交互に出射させ、
   前記画像生成部は、前記最後の行と前記最初の行の期間の中間に位置する露光期間に、前記第２の光の反射光又は前記第２の光によって発生した蛍光を受光しないフレームにおいて出力される電気信号に基づいて第１の画像を生成し、前記露光期間に前記第２の光の反射光又は前記第２の光によって発生した蛍光を受光するフレームにおいて出力される電気信号に基づいて第２の画像を生成し、前記第２の画像と、前記第２の画像のフレームの直前のフレームの前記第１の画像と、前記第２の画像のフレームの直後のフレームの前記第１の画像とを用いて前記画像を生成し、前記第１の画像のうち露光期間に第２の光を受光した行の映像信号に基づく部分をマスクする撮像装置。
6. 行列状に配置された、受光により電気信号を発生する複数の画素を含み、前記複数の画素の最初の行から最後の行に向かって、少なくとも１行毎に順次露光を開始し、露光が終了した行から順に前記電気信号を出力する処理を、１フレーム毎に繰り返す、ローリングシャッタ方式のイメージセンサと、
   前記最後の行からの前記電気信号の出力を終了してから、前記最初の行からの前記電気信号の出力を開始するまでの期間に対応するブランキング期間の間、又は前記ブランキング期間とその前のフレームの最後の行とその後のフレームの最初の行のそれぞれの露光期間とを含んだ期間の間、又はその部分期間にのみ、前記複数の画素を受光させる制御部と、
   前記電気信号に基づいて、画像を生成する画像生成部と、を有し、
   前記制御部は、種類が異なる第１の光と第２の光とを、前記複数の画素が受光する期間と同期するように、光源装置から１フレーム毎に交互に出射させ、
   前記画像生成部は、前記第１の光の反射光又は前記第１の光によって発生した蛍光の受光により前記複数の画素で発生した第１の電気信号に基づいて第１の画像を生成し、前記第２の光の反射光又は前記第２の光によって発生した蛍光の受光により前記複数の画素で発生した第２の電気信号に基づいて第２の画像を生成し、前記第２の画像と、前記第２の画像のフレームの直前のフレームの前記第１の画像と、前記第２の画像のフレームの直後のフレームの前記第１の画像とを用いて前記画像を生成する撮像装置。
7. 前記画像生成部は、前記最初の行と前記最後の行に対応する前記画像の端部を少なくとも除く有効画像範囲を前記画像に設定する、請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記画像生成部は、前記有効画像範囲以外の範囲が他の画像に置き換えられた前記画像を生成する、請求項７に記載の撮像装置。
9. 前記画像生成部は、前記有効画像範囲が拡大された前記画像を生成する、請求項７又は８に記載の撮像装置。
10. 前記画像生成部は、前記第２の画像を生成したフレームの前後のフレームに生成された複数の前記第１の画像を用いて、前記第１の光による成分が低減されるように前記第２の画像を補正する、請求項１乃至８のいずれか１項に記載の撮像装置。
11. 前記複数の画素の撮像領域に対向するように配置され、前記光源装置から前記第１の光として出射された励起光以外の光を前記複数の画素に受光させる光学素子を更に備える、請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記制御部は、前記画素の受光期間を制御することにより、前記画像の明るさを制御する、請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 前記制御部は、指示に応じて、前記複数の画素の所定の露光期間中に、前記ブランキング期間に同期した所定の期間にのみ前記複数の画素を受光させて、前記画像を所定のフレームレートで出力させる第１のモードと、前記所定の露光期間の２倍の露光期間中に、前記複数の画素に、前記第１の光の反射光、前記第１の光によって発生した蛍光、前記第２の光の反射光及び前記第２の光によって発生した蛍光のうちの１つの光を受光させ、当該１つの光に基づく画像を前記所定のフレームレートで出力させる第２のモードとを切り替える、請求項１乃至１１のいずれか１項に記載の撮像装置。
14. 複数の前記イメージセンサを備え、
    前記複数のイメージセンサのそれぞれは、対応する種類の光を受光することにより電気信号を出力する、請求項１乃至１３のいずれか１項に記載の撮像装置。
15. 前記画像生成部は、前記第１の画像と前記第２の画像とを合成した前記画像を生成する、請求項１乃至１４のいずれか１項に記載の撮像装置。
16. 行列状に配置された、受光により電気信号を発生する複数の画素を含み、前記複数の画素の最初の行から最後の行に向かって、少なくとも１行毎に順次露光を開始し、露光が終了した行から順に前記電気信号を出力する処理を、１フレーム毎に繰り返す、ローリングシャッタ方式のイメージセンサを備えた撮像装置を制御する方法であって、
    第１の光を光源装置から連続的に出射させるとともに、前記第１の光と種類が異なる第２の光を、前記最後の行からの前記電気信号の出力を終了してから、前記最初の行からの前記電気信号の出力を開始するまでの期間に対応するブランキング期間と同期した所定の期間に、前記光源装置から２フレームに１回の割合で非連続的に出射させ、前記所定の期間にのみ、前記複数の画素に前記第２の光を受光させ、
    前記最後の行と前記最初の行の期間の中間に位置する露光期間に、前記第２の光の反射光又は前記第２の光によって発生した蛍光を受光しないフレームの電気信号に基づいて第１の画像を生成し、前記露光期間に前記第２の光の反射光又は前記第２の光によって発生した蛍光を受光するフレームの電気信号に基づいて第２の画像を生成し、
    前記第１の画像のうち前記露光期間に第２の光を受光した行の映像信号に基づく部分をマスクする
    撮像装置を制御するための方法。
17. 請求項１６に記載の撮像装置を制御するための方法をコンピュータに実行させるプログラム。

Images