JP2011254937A - 画像処理システム及び方法並びにプログラム - Google Patents

Abstract

【課題】蛍光画像の画質を十分に向上させる。
【解決手段】照射部１０５は、ＲＧＢの光を時分割した面順次光を被写体に照射するとともに、蛍光を発生させる励起光を被写体に照射する。撮像部１１２は、被写体で反射したＲＧＢの３色の光または励起光の反射光に基づいて反射光動画を生成する。撮像部１１２は、励起光の照射によって生じた蛍光に基づいて蛍光動画を生成する。この蛍光動画は、反射光動画と略同時に生成される。画像処理部１０２内の動き算出部は、反射光動画から、反射光動画における被写体の動きを算出する。画像処理部１０２内の画像補正部は、動き算出部が算出した動きから、蛍光画像の画質を補正する。
【選択図】図１

Description

本発明は、被写体に対する励起光の照射によって生じた蛍光を受光したときに得られる蛍光動画の画質を補正する画像処理システム及び方法並びにプログラムに関する。

近年の医療分野では、電子内視鏡を用いた診断や治療が数多く行なわれている。電子内視鏡は、被検者の体腔内に挿入される細長の挿入部を備えており、この挿入部の先端にはＣＣＤなどの撮像装置が内蔵されている。また、電子内視鏡は白色光などの広帯域光を発する光源装置に接続されており、光源装置から発せられる広帯域光は、挿入部の先端から体腔内部に対して照射される。このように体腔内部に光が照射された状態で、体腔内の被写体組織は、挿入部の先端部に設けられた撮像素子によって撮像される。撮像により得られた画像は、電子内視鏡に接続されたプロセッサ装置で各種処理が施された後、モニタに表示される。

光源装置には、波長が青色領域から赤色領域にわたる白色の広帯域光を発することができるキセノンランプなどの白色光源が用いられている。体腔内に白色の広帯域光を照射して得られた広帯域光画像からは、被写体組織全体を把握することができる。また、白色光源の光路上において、ＲＧＢのカラーフィルターを備えた回転フィルタを一定周期で回転させることによって、ＲＧＢの３色の光を面順次で照射することも行なわれている。このように、ＲＧＢの３色の光を面順次で照射して得られる広帯域光画像からも、被写体組織全体を把握することができる。

一方、患者の体腔内壁にできた腫瘍患部などは広帯域光画像から把握しにくい場合がある。このような場合に対処するため、近年では、ＰＤＤ（Photodynamic Diagnosis：光線力学的診断）と呼ばれる診断方法を用いることによって腫瘍患部から蛍光光を発生させ、この発生した蛍光光を撮像することによって、広帯域画像とは別の蛍光画像を生成することが行なわれている。この蛍光画像においては、腫瘍患部の部分が蛍光を発しているため、腫瘍患部の位置、大きさ、範囲を容易に把握することができる。

しかしながら、蛍光の光強度は弱いため、露光時間を通常よりも長くし、またフレームレートを低くすることによって、蛍光を確実に撮像することができるようにする必要がある。しかしながら、このように露光時間を長くしたり、フレームレートを低くすることによって、蛍光画像の画質は低下してしまう。画質低下の一例として、被写体の動きにブレが生じたりすることがある。このような問題に対して、特許文献１では、蛍光画像間で蛍光画像の動きベクトルを検出することによって、蛍光画像の動き補償を行なうことで、蛍光画像の画質低下を防止している。

特開平０７−２５０８０４号公報

しかしながら、特許文献１の方法は、もともと画質が良くない蛍光画像に基づいて動きベクトルを算出しているため、算出された動きベクトルは精度が良くないことが多い。このように精度の良くない動きベクトルを使って動き補償をした場合には、蛍光画像の画質を十分に向上させることができない。

本発明は、被写体の動きを使って蛍光画像の画質を補正する際に、被写体の動きを精度良く求めて、蛍光画像の画質を十分に向上させることができる画像処理システム及び方法並びにプログラムを提供することを目的とする。

本発明の画像処理プログラムは、ＲＧＢの３色の光を時分割した面順次光または蛍光を発生させる励起光を被写体に照射する照射部と、被写体で反射したＲＧＢの面順次光または励起光の反射光に基づいて生成される反射光動画と、この反射光動画と略同時に生成される動画であって、励起光の照射によって生じた蛍光に基づいて生成される蛍光動画を取得する画像取得部と、前記反射光動画から、前記反射光動画における被写体の動きを算出する動き算出部と、前記動き算出部が算出した動きから、前記蛍光画像の画質を補正する画像補正部とを備えることを特徴とする。

前記画像取得部は、前記蛍光動画より露光時間が短い前記反射光動画を取得し、前記画像補正部は、前記動き算出部が算出した動きから、前記蛍光動画に含まれる動画構成画像内のブレを補正することが好ましい。前記画像取得部は、前記蛍光動画よりフレームレートが高い前記反射光動画を取得し、前記画像補正部は、前記動き算出部が算出した動きから、前記蛍光動画に含まれる動画構成画像を補完することが好ましい。前記画像取得部は、前記蛍光動画より解像度が高い前記反射光動画を取得し、前記画像補正部は、前記動き算出部が算出した動きから、前記蛍光動画に含まれる動画構成画像を高解像度化することが好ましい。

前記照射部は、白色光を発する光源と、光源からの白色光のうち赤色帯域の光を透過させるＲ色カラーフィルター、前記白色光のうち緑色帯域の光を透過させるＧ色カラーフィルターと、前記白色光のうち青色帯域の光を透過させるＢ色カラーフィルターと、前記白色光のうち励起光の波長成分を透過させる励起光透過フィルタとを備える回転フィルタとを備えることが好ましい。前記回転フィルタは、Ｒ色カラーフィルター、Ｇ色カラーフィルター、及びＢ色カラーフィルタが連続して配列される第１フィルタと、励起光透過フィルタが配列される第２フィルタとを備えることが好ましい。前記回転フィルタは、Ｒ色カラーフィルター、Ｇ色カラーフィルター、及びＢ色カラーフィルタが、周方向に沿って、一定の間隔で離間して配置されており、前記励起光透過フィルタが、各色のカラーフィルターの間に設けられていることが好ましい。

本発明の画像処理方法は、コンピュータが画像を処理する画像処理方法であって、ＲＧＢの３色の光を時分割した面順次光と蛍光を発生させる励起光とを被写体に照射した状態で被写体の撮像を行なうことによって、被写体で反射したＲＧＢの面順次光または励起光の反射光に基づいて生成される反射光動画と、この反射光動画と略同時に生成される動画であって、励起光の照射によって生じる蛍光に基づいて生成される蛍光動画を取得し、前記反射光動画から、前記反射光動画における被写体の動きを算出し、前記被写体の動きから、前記蛍光画像の画質を補正することを特徴とする。

本発明の画像処理プログラムは、ＲＧＢの３色の光を時分割した面順次光と蛍光を発生させる励起光とを被写体に照射した状態で被写体の撮像を行なうことによって、被写体で反射したＲＧＢの３色の光または励起光の反射光に基づいて生成される反射光動画と、この反射光動画と略同時に生成される動画であって、励起光の照射によって生じた蛍光に基づいて生成される蛍光動画を取得する画像取得部と、前記反射光動画から、前記反射光動画における被写体の動きを算出する動き算出部と、前記被写体の動きから、前記蛍光画像の画質を補正する画像補正部として、コンピュータを機能させることを特徴とする。

本発明によれば、被写体で反射したＲＧＢの３色の光または励起光の反射光に基づいて生成される反射光動画から、前記反射光動画における被写体の動きを算出していることから、被写体の動きを精度良く求めることができる。このように精度良く求められた被写体の動きに基づいて蛍光動画の画質を補正しているため、蛍光画像の画質を十分に向上させることができる。

本発明の第１実施形態の画像処理システムを示す概略図である。 画像処理部の具体的構成を示す概略図である。 光源側回転フィルタの概略図である。 照射部の具体的構成を示す概略図である。 各フィルタの配列が図３の光源側回転フィルタと異なる光源側回転フィルタの概略図である。 撮像部の具体的構成を示す概略図である。 撮像部側回転フィルタの概略図である。 第１実施形態における撮像部の露光時間を示すタイムチャートである。 本発明の作用を示すフローチャートである。 本発明の第２実施形態における撮像部の具体的構成を示す概略図である。 第２実施形態における撮像部の露光時間を示すタイムチャートである。 通常動画取得モードと蛍光動画取得モードと２モードに対応する照射部の具体的構成の概略図である。 通常動画取得モードと蛍光動画取得モードと２モードに対応する光源側回転フィルタの概略図である。

図１に示すように、本発明の第１実施形態の画像処理システム１００は、内視鏡１０１、画像処理部１０２、画像記録部１０３、画像表示部１０４、照射部１０５、及び鉗子１０６を備えている。なお、図１のＡ部は、内視鏡１０１の先端部１０９を拡大したものである。

内視鏡１０１は、鉗子口１１１、撮像部１１２、及びライトガイド１１３を有する。内視鏡１０１の先端部１０９は、その先端面１３０に撮像部１１２の一部としてのレンズ１３１を有する。また、先端面１３０には、ライトガイド１１３の一部としての出射口１３２を有する。鉗子口１１１は、挿入された鉗子１０６を先端部１３０にまでガイドする。ノズル１３３は、水あるいは空気を送出する。

照射部１０５は、光源１０７と光源側回転フィルタ１０８とを備えている。光源はキセノンランプなどであり、青色帯域から赤色帯域にわたる広帯域の白色光を発する。光源側回転フィルタ１０８は、光源１０７から発せられた白色光のうちＲＧＢの３色の光が時分割されて透過させるとともに、光源１０７からの光のうち被写体で蛍光を励起させる励起光の波長成分のみを透過させる。以下、このようにＲＧＢの３色の光が時分割されて順次照射される光のことを、ＲＧＢの面順次光という。そして、光源側回転フィルタ１０８を透過したＲＧＢの面順次光や励起光は、ライトガイド１１３の入射端に入射する。

ライトガイド１１３は励起光やＲＧＢの面順次光を先端部１０９にまで導光する。導光された励起光やＲＧＢの面順次光は、先端面１３０の出射口１３２から出射されて、被写体に照射される。照射部１０５では、励起光およびＲＧＢの面順次光はそれぞれ交互に照射されるため、励起光およびＲＧＢの面順次光のいずれかが被写体内に照射される。

撮像部１１２は、被写体に照射されたＲＧＢの面順次光や励起光の反射光を撮像することによって、反射光動画を取得する。また、撮像部１１２は、励起光の照射により励起される蛍光を撮像することによって、蛍光動画を取得する。ここで、撮像部１１２は、蛍光は強度が弱いため、蛍光を撮像する場合は、反射光を撮像する場合に比べて、長い露光時間で撮像してもよい。また、撮像部１１２は、蛍光動画を撮像する場合には、反射光動画のフレームレートより低いフレームレートで撮像してもよい。また、撮像部１１２は、蛍光の画像を反射光の画像より高い感度で撮像してもよい。また、蛍光を撮像部１１２内の撮像素子１５３（図６参照）で受光する際には、撮像素子１５３の画素電荷を一定以上加算してもよい。

このように蛍光動画を撮像する際に、反射光動画よりも露光時間を長くすることによって、蛍光の動画は画像内における被写体のブレが大きくなる。また、蛍光動画を反射光動画のフレームレートより低くすると、蛍光動画は、画像内における被写体の動きを詳細に再現できない。

画像処理部１０２はＣＰＵ、電子回路、又は電気回路などによって構成され、撮像部１１２が撮像した反射光動画に基づいて、蛍光動画に対して画像処理を施す。この画像処理部の具体的構成については、後で詳細に述べる。画像記録部１０３はフラッシュメモリ等の記憶媒体で構成され、反射光動画を記録するとともに、画像処理部１０２で画像処理が施された蛍光動画を記録する。

画像表示部１０４は液晶、有機ＥＬ，プラズマなどのディスプレイなどから構成され、画像記録部が記録した動画を表示する。画像表示部１０４は、反射光動画を表示する反射光動画表示部１０４ａと、蛍光動画を表示する蛍光動画表示部１０４ｂとを備えている。

図２に示すように、画像処理部１０２は、画像取得部１２１、動き算出部１２４、及び画像補正部１２５を有する。画像取得部１２１は、撮像部１１２が撮像した反射光動画を取得する反射光動画取得部１２２と、撮像部１１２が撮像した蛍光動画を取得する蛍光動画取得部１２３とを備える。反射光動画取得部１２２は、取得した反射光動画を動き算出部１２４に出力するとともに、反射光動画を画像記録部１０３に出力する。蛍光動画取得部は、取得した蛍光動画を画像補正部１２５に出力する。

動き算出部１２４は、反射光動画における被写体の動きを算出する。ここで、動きの算出は、ブロックマッチング法などによって算出される。算出された被写体の動きは、画像補正部１２５に出力される。画像補正部１２５は、動き算出部１２４が算出した被写体の動きから、蛍光動画内の被写体の動きを補正する。画像補正部１２５は、補正した蛍光動画を画像記録部１０３に出力する。

反射光動画が蛍光動画より露光時間が短い場合は、画像補正部１２５は、算出した動きから、蛍光動画に含まれる動画構成画像内のブレを補正してもよい。つまり、露光時間が長いと像内にブレが生じやすくなるので、ブレを補正することで、ブレを無くす、又は、ブレを小さくする。ここで、動画構成画像とは、フレーム画像、フィールド画像等の動画を構成する画像のことをいう。

また、反射光動画が蛍光動画よりフレームレートが高い場合は、画像補正部１２５は、算出した動きから、蛍光動画に含まれる動画構成画像を補完する補完画像を生成してもよい。つまり、蛍光動画のフレーム間の動画構成画像を補完する補完画像を生成することで、蛍光動画のフレームレートを上げる。また、反射光動画が蛍光動画より高解像度の場合は、画像補正部１２５は、算出した動きから、蛍光動画に含まれる動画構成画像を高解像度化してもよい。つまり、蛍光動画の解像度を上げる。

図３に示すように、光源側回転フィルタ１０８は、同一円周上に第１フィルタ１４１と第２フィルタ１４２とが配設されており、その中心部には回転中心となる軸１４３が設けられている。第１フィルタ１４１には、光源１０７からの白色光のうち赤色帯域の光を透過させるＲ色カラーフィルター１４１ａと、光源１０７からの白色光のうち緑色帯域の光を透過させるＧ色カラーフィルター１４１ｂと、光源１０７からの白色光のうち青色帯域の光を透過させるＢ色カラーフィルター１４１ｃとが設けられている。第２フィルタ１４２には、光源１０７からの白色光のうち励起光のみを透過させる励起光透過フィルタ１４２ａが設けられている。

図４に示すように、光源側回転フィルタ１０８を、軸１４３を中心に回転させることにより、光源１０７が発光した光の光路上に、第１フィルタ１４１と第２フィルタ１４２とを交互に配置する。照射部１０５は、この光源側回転フィルタ１０８を回転することにより、Ｒ色の光、Ｇ色の光、Ｂ色の光がそれぞれ時分割された面順次光として被写体に照射されるとともに、この面順次光の後に、一定の時間の間で励起光が被写体に照射される。第１フィルタ１４１の円周方向の長さは、第２フィルタ１４２の円周方向の長さより短いので、照射部１０５は、ＲＧＢの面順次光の照射時間より長く励起光を照射する。なお、照射部１０５は、光源１０７と光源側回転フィルタ１０８とを制御する制御部を備える。この制御部は、ＣＰＵ等の情報処理装置によって実現してよい。

なお、図５に示すように、各フィルタの配列を図３に示す光源側回転フィルタ１０８の各フィルタの配列と異ならせた光源側回転フィルタ２０８を用いてもよい。光源側回転フィルタ２０８は、Ｒ色カラーフィルター１４１ａとＧ色カラーフィルター１４１ｂとの間、Ｇ色カラーフィルター１４１ｂとＢ色カラーフィルター１４１ｃとの間、Ｂ色カラーフィルター１４１ｃとＲ色カラーフィルター１４１ａとの間のそれぞれに励起光透過フィルタ１４２ａを設けられている。この光源側回転フィルタ２０８を用いた場合には、Ｒ色の光→励起光→Ｇ色の光→励起光→Ｂ色の光→励起光の順で切り替えながら、各光を被写体に照射することができる。

光源側回転フィルタ１０８を用いた場合には、ＲＧＢの３色の光が連続的に照射されるため、撮像部１１２で各色に対応する撮像信号を読み出すときに、読み出しレートを十分に確保できない場合がある。これに対して、光源側回転フィルタ２０８を用いた場合には、ＲＧＢの３色の光の照射は、励起光の照射が間に入ることによって、断続的に行なわれるため、撮像部で撮像信号を読み出す場合であっても、読み出しレートを十分に確保することができる。

図６に示すように、撮像部１１２は、レンズ１３１、撮像部側回転フィルタ１５１、及び撮像素子１５３を有する。撮像素子１５３は白黒のＣＣＤなどから構成され、レンズ１３１を透過した光のうち、撮像部側回転フィルタ１５１を透過した光を受光する。撮像部側回転フィルタ１５１は、開口部１６１と、励起光の波長帯域の光をカットし、それ以外の波長帯域の光を透過する励起光カットフィルタ１６２とを有する。撮像部１１２は、撮像部側回転フィルタ１５１を、軸１６３を中心に回転させることにより、レンズ１３１と撮像素子１５３との光路上に、励起光カットフィルタ１６２と開口部１６１とを交互に配置する。

撮像部１１２は、照射部１０５が励起光を照射している場合には、励起光カットフィルタ１６２を光路上に配置する。また、撮像部１１２は、照射部１０５がＲＧＢの面順次光を照射している場合には、開口部１６１を光路上に配置する。これにより、撮像素子１５３は、照射部１０５が励起光を照射しているときには、蛍光状態の被写体画像を撮像することができる。つまり、励起光を照射した場合は、撮像部１１２には被写体からの励起光の反射光と蛍光が入射するが、励起光カットフィルタ１６２が励起光をカットするので、撮像素子１５３は蛍光のみを撮像することができる。一方、照射部がＲＧＢの面順次光を照射している場合には、開口部１６１を介してＲＧＢの面順次光が撮像素子１５３に入射するため、被写体全体がカラーである被写体画像を撮像することができる。

なお、撮像素子１５３の露光時間、フレームレート等はＣＰＵ等の情報処理装置によって制御される。また、撮像部側回転フィルタ１５１の回転は情報処理装置によって制御される。なお、撮像部１１２は、撮像素子１５３を駆動する撮像素子駆動ドライバを有する。この撮像素子駆動ドライバは、ＣＰＵ等の情報処理装置によって制御される。情報処理装置は、撮像部１１２の中に設けられてもよく、画像処理システム１００の中に設けられてもよい。

図７に示すように、撮像部側回転フィルタ１５１は、同一円周上に開口部１６１と励起光カットフィルタ１６２とが設けられている。なお、撮像部側回転フィルタ１５１では、開口部１６１に代えて、入射した白色光をそのまま透過するフィルタを設けてもよい。また、開口部１６１の円周方向の長さは、励起光カットフィルタ１６２の円周方向の長さよりも短い。

また、光源側回転フィルタ１０８の第１フィルタ１４１が光源１０７の光路上に位置する期間は、撮像部側回転フィルタ１５１の開口部１６１がレンズ１３１と撮像素子１５３との間の光路上に位置する期間と一致する。また、光源側回転フィルタ１０８の第２フィルタ１４２が光源１０７の光路上にある期間は、撮像部側回転フィルタ１５１の励起光カットフィルタ１６２がレンズ１３１と撮像素子１５３との光路上にある期間と一致する。したがって、光源側回転フィルタ１０８のＲＧＢの面順次光の照射開始タイミングと、撮像部側回転フィルタ１５１のＲＧＢの面順次光の透過開始タイミングとは略同期している。また、光源側回転フィルタ１０８の励起光の照射開始タイミングと、撮像部側回転フィルタ１５１の励起光のカット開始タイミングとは略同期している。

図８における撮像部１１２露光時間のタイムチャートでは、短い双方向矢印はＲＧＢの面順次光を露光する撮像部１１２の露光時間を、長い双方向矢印は蛍光を露光する撮像部１１２の露光時間を表している。このタイムチャートが示すように、撮像部１１２では、ＲＧＢの面順次光が照射されると、撮像部１１２は、ＲＧＢの面順次光の反射光を露光してカラーの画像３０１を撮像する。次に、励起光が照射されると、撮像部１１２は、蛍光を露光して蛍光の画像３１１を撮像する。その後、ＲＧＢの３色の光が照射されると、撮像部１１２は、ＲＧＢの面順次光の反射光を露光してカラーの画像３０２を撮像する。なお、ＲＧＢの面順次光の反射光の露光時間は、蛍光の露光時間より短い。これに伴い、ＲＧＢの面順次光の照射時間は、励起光の照射時間より短い。蛍光の光は弱いので、反射光の露光時間より長く蛍光を露光する。

このような動作により、面順次光によるカラーの画像３０１→蛍光の画像３１１→面順次光によるカラーの画像３０２→蛍光の画像３１２→面順次光によるカラーの画像３０３→蛍光の画像３１３というように、面順次光によるカラーの画像と蛍光の画像とが交互に撮像される。したがって、これら面順次光によるカラーの画像が時系列的に並べられたものによって、カラーの反射光動画が構成される。また、これら蛍光の画像が時系列的に並べられたものによって、蛍光動画が構成される。

次に、画像処理システム１００の動作を図９のフローチャートに沿って説明する。照射部１０５は、光源側回転フィルタ１０８を回転させることにより、励起光とＲＧＢの面順次光とを照射する。これに合わせて、撮像部１１２は、撮像部側回転フィルタ１５１を回転させる。これにより、撮像部１１２は、蛍光動画と反射光動画とを平行して撮像することができる。ここで、蛍光は光が弱いので、撮像部１１２は、反射光を受光する露光時間より長い露光時間で蛍光を受光する。これに伴って、照射部１０５は、ＲＧＢの３色の光を照射する照射時間よりも長い照射時間で励起光を照射する。

反射光動画取得部１２２は、撮像部１１２が撮像した反射光動画を順次取得するとともに、蛍光動画取得部１２３は、撮像部１１２が撮像した蛍光動画を順次取得する。そして、動き算出部１２４は、反射光動画取得部で取得した反射光動画から、被写体の動きを算出する。そして、画像補正部１２５は、動き算出部１２４が算出した動きから、蛍光動画取得部１２３で取得した蛍光動画の画質を補正する。

また、画像補正部１２５は、蛍光の動画より反射光の動画のフレームレートが高い場合は、動き算出部１２４が算出した動きから、蛍光の動画に含まれる動画構成画像を補完する。つまり、フレームレートが高い動画の方が、詳細に被写体の動きを再現できているので、精度よく動きを求めることができ、蛍光動画の画質を向上させることができる。また、画像補正部１２５は、蛍光の動画より反射光の動画の解像度が高い場合は、動き算出部１２４が算出した動きから、蛍光の動画を高解像度化してもよい。つまり、解像度が高い画像の方が詳細に被写体を再現できているので、精度よく動きを求めることができ、蛍光動画の画質を向上させることができる。

画像記録部１０３は、画質が補正された蛍光動画を記録するとともに、反射光動画を記録する。画像表示部１０４は、画像記録部１０３に記録した反射光動画を反射光動画表示部１０４ａに表示するとともに、画像記録部１０３に記録した蛍光動画を蛍光動画表示部１０４ｂに表示する。なお、画像表示部１０４では、反射光動画または蛍光動画のいずれか一方を表示してもよい。また、ユーザの表示切替指示によって、反射光動画または蛍光動画を切り替えて表示してもよい。

本発明の第２実施形態では、撮像部に１つの撮像素子のみが設けられた第１実施形態と異なり、撮像部に、蛍光動画撮像用の第１撮像素子と反射光動画撮像用の第２撮像素子の２つの撮像素子を用いて撮像を行なうため、第１実施形態のような撮像部側回転フィルタを必要としない。なお、撮像部以外については、第１実施形態と同様であるため、説明を省略する。

図１０に示すように、第２実施形態の撮像部２１２は、レンズ２３１、第１撮像部２７１、第２撮像部２７２、及びハーフミラー２７３を有する。ハーフミラー２７３は、光の一部を透過して、残りを反射することでレンズ２３１を透過した光を２つの光に分割する。ハーフミラー２７３では、反射する光の光量と透過する光の光量は略同じとなっている。なお、ハーフミラー２７３に代えて、ビームスプリッターを用いてもよい。ビームスプリッターを用いた場合には、反射する光の光量と透過する光の光量との比を異ならせてもよい。

第１撮像部２７１は、励起光カットフィルタ１６２と、第１撮像素子２７５とを備えている。励起光カットフィルタ２６２は、ハーフミラー１７３を透過した光のうち、励起光の波長帯域の光をカットして、それ以外の波長帯域の光を透過させる。第１撮像素子２７５は、励起光カットフィルタを経た光を受光する。したがって、第１撮像素子２７５は、蛍光のみを受光することができる。

第２撮像部２７２は、第２撮像素子２７６を備えている。第２撮像素子２７６は、ハーフミラーで反射した光を受光する。したがって、第２撮像素子２７６は、照射部１０５がＲＧＢの面順次光を被写体に照射した場合には、被写体のカラー画像を撮像することができ、励起光を照射した場合には背景画像を撮像することができる。

ここで、第１撮像素子２７５は、光が弱い蛍光を受光するので、第１撮像素子２７５の画素は、第２撮像素子２７６の画素より画素面積が大きくてもよい。第１撮像素子２７５と第２撮像素子２７６との有効画素面積が同一の場合は、第１撮像素子２７５は、第２撮像素子２７６より解像度が低くなる。

なお、第１撮像部２７１は、第１撮像素子２７５を駆動させる第１撮像素子駆動ドライバを有する。また、第２撮像部２７２は、第２撮像素子２７６を駆動させる第２撮像素子駆動ドライバを有する。この第１撮像素子駆動ドライバ及び第２撮像素子駆動ドライバは、ＣＰＵ等の情報処理装置によって制御される。情報処理装置は、撮像部２１２の中に設けてもよく、画像処理システム１００の中に設けてもよい。

図１１（Ａ）は、励起光のみを照射したときの第１撮像部２７１および第２撮像部２７２の露光時間のタイムチャートを示している。このタイムチャートでは、短い双方向矢印は励起光の反射光を露光する第２撮像部２７２の露光時間を示しており、長い双方向矢印は、蛍光を露光する第１撮像部２７１の露光時間を示している。

このタイムチャートが示すように、ハーフミラー２７３により被写体からの光を２つの光に分割して、分割した光のそれぞれを、第１撮像部２７１と第２撮像部２７２とが撮像するので、同時に被写体を撮像することができる。なお、第２撮像部１７２は、励起光の反射光を露光するので、蛍光のみを露光する第１撮像部２７１の露光時間より短く露光する。また、第２撮像部１７２は、露光時間が短いので、第１撮像部２７１のフレームレートより高いフレームレートで撮像することもできる。

このタイムチャートに従って撮像を行なうことにより、第２撮像部２７２は、励起光の画像３２１→励起光の画像３２２→励起光の画像３２３→励起光の画像３２４→励起光の画像３２５→励起光の画像３２６というように励起光の動画が一定のフレームレートで撮像される。一方、第１撮像部２７１は、第２撮像部２７２の撮像と同時に、蛍光の画像を撮像する。つまり、第１撮像部１７１は、蛍光を露光して蛍光の画像３４１を撮像する。したがって、蛍光の画像３４１→蛍光の画像３４２→蛍光の画像３４３というように蛍光の動画が、励起光の動画の一定フレームレートより低いフレームレートで撮像される。これにより、励起光の画像を時系列的に並べられたものから、反射光動画の一つである背景動画が構成されるとともに、蛍光の動画が時系列的に並べられたものから、蛍光動画が構成される。

図１１（Ｂ）は、ＲＧＢの面順次光と励起光を照射したときの第１撮像部２７１及び第２撮像部２７２の露光時間のタイムチャートを示している。このタイムチャートでは、短い双方向矢印は、励起光の反射光を露光し、又ははＲＧＢの３色の光を露光する第２撮像部２７２の露光時間を示している。長い双方向矢印については、図１１（Ａ）と同様である。

まず、ＲＧＢの面順次光が照射されると、第２撮像部２７２は、ＲＧＢの面順次光を露光してカラーの画像３５１を撮像する。次に、励起光が照射されると、第２撮像部２７２は、励起光の反射光を露光して励起光の画像３６１を撮像する。このとき、第２撮像部２７２は、励起光の画像３６１を撮像する露光時間よりも長い露光時間で、蛍光を露光して蛍光画像３７１を撮像する。これと同様の動作を行なうことによって、カラーの画像３５１及び励起光の画像３６１の取得の一定時間後に、カラーの画像３５２及び励起光の画像３６２が得られる。また、蛍光画像３７１の取得の一定時間後に、蛍光画像３７２が得られる。そして、このような動作を繰り返し行なうことにより、ＲＧＢの面順次光によるカラーの反射光の動画、励起光の動画、蛍光の動画を得ることができる。

なお、ＲＧＢの面順次光を照射しているときは、第２撮像部２７２だけでなく、第１撮像部２７１もＲＧＢの面順次光の反射光を撮像してもよい。また、第１撮像部２７１及び第２撮像部２７２が同じタイミングで撮像したＲＧＢの面順次光の反射光の画像を合成して１枚の画像としてもよい。この合成された画像がＲＧＢの面順次光の反射光の動画を構成する。

なお、照射部１０５が励起光とＲＧＢの面順次光とを照射した場合は、被写体の動きを求める際、第２撮像部２７２が撮像したＲＧＢの面順次光の反射光の動画から動きを求めてもよく、第２撮像部２７２が撮像した励起光の反射光の動画から動きを求めてもよい。さらには、第２撮像部２７２が撮像したＲＧＢの面順次光の反射光の動画と、励起光の反射光の動画との２つの動画から、被写体の動きを求めてもよい。

なお、第１及び第２実施形態では、反射光動画と蛍光動画を同時取得する蛍光動画取得モードの１モードのみであったが、この蛍光動画取得モードに加えて、反射光動画のみを取得する通常動画取得モードの２モードで本発明を実施してもよい。この２モードで本発明を実施するためには、画像処理システム１００の照射部１０５を、図１２に示す照射部４０３に変更する必要がある。

照射部４０３では、第１実施形態の光源側回転フィルタ１０８に代えて、蛍光動画取得モードと通常動画取得モードとの２モードに対応する光源側回転フィルタ４０８を用いる。この光源側回転フィルタ４０８は、光源１０７からの白色光のうち通常動画取得モードで使用する光を透過させる第１フィルタ４０５と、白色光のうち蛍光動画取得モードで使用する光を透過させる第２フィルタ４０６とを備えており、第１フィルタ４０５は第２フィルタ４０６の外側にある。また、光源側回転フィルタ４０８は、軸４１０を中心として回転可能であり、また、この軸４１０に取り付けられたフィルタ切替部４１１によって、その径方向に２段階で移動自在となっている。したがって、モードや処理を切り替える際には、フィルタ切替部４１１で光源側回転フィルタ４０８を径方向に移動させ、切り替えようとするモードに対応するフィルタが光源１０７の光路上に位置するようにする。

図１３に示すように、光源側回転フィルタ４０８の第１フィルタ４０５には、光源１０７からの白色光のうち赤色帯域の光を透過させるＲ色カラーフィルター４０５ａと、白色光のうち緑色帯域の光を透過させるＧ色カラーフィルター４０５ｂと、白色光のうち青色帯域の光を透過させるＢ色カラーフィルター４０５ｃとが、この順で周方向に沿って、設けられている。一方、第２フィルタ４０６には、白色光をそのまま透過させる開口部４０６ａと、光源１０７からの白色光のうち励起光のみを透過させる励起光透過フィルタ４０６ｂとが、周方向に沿って設けられている。

なお、第２フィルタ４０６においては、開口部４０６ａの代わりに、第１実施形態と同様に、ＲＧＢの面順次光を照射できるように、ＲＧＢのカラーフィルターを設けてもよく、Ｇ色のカラーフィルターのみを設けてもよい。

なお、上記実施形態では、カラーの動画を取得する際に、ＲＧＢの面順次光を照射し、モノクロのＣＣＤで撮像することよってカラーの動画を取得したが、これに代えて、白色光をそのまま被写体に照射し、その被写体で反射した白色光の反射光を原色系または補色系のカラーＣＣＤで撮像することによってカラーの動画を取得してもよい（同時式によるカラー動画の取得）。

ここで、原色系のカラーＣＣＤは、Ｂ色のカラーフィルタが設けられたＢ画素、Ｇ色のカラーフィルタが設けられたＧ画素、Ｒ色のカラーフィルタが設けられたＲ画素を備えており、これら各色の画素で白色光を受光することで、Ｂ色、Ｇ色、Ｒ色に対応する撮像信号を取得する。そして、これら３色に対応する撮像信号から、カラーの動画を取得することができる。

また、補色系カラーＣＣＤは、光源１０７からの白色光のうちＣ（シアン）色を透過させるカラーフィルターが設けられたＣ画素、白色光のうちＭ（マゼンダ）色を透過させるカラーフィルターが設けられたＭ画素、白色光のうちＹ（イエロー）色を透過させるカラーフィルタが設けられたＹ画素を備えている。これら各色の画素で白色光を受光して得られる３色の撮像信号から、カラーの動画を取得することができる。なお、補色系カラーＣＣＤの画素には、Ｃ画素、Ｍ画素、Ｙ画素の他に、Ｇ色のカラーフィルターが設けられたＧ画素を加えてもよい。

１００ 画像処理システム
１０２ 画像処理部
１０５，４０３ 照射部
１０７ 光源
１０８，２０８，４０８ 光源側回転フィルタ
１１２，２１２ 撮像部
１２４ 動き算出部
１２５ 画像補正部
１４１ａ Ｒ色のカラーフィルター
１４１ｂ Ｇ色のカラーフィルター
１４１ｃ Ｂ色のカラーフィルター
１４２ａ 励起光透過フィルター
２７１ 第１撮像部
２７２ 第２撮像部

Claims (9)

1. ＲＧＢの３色の光を時分割した面順次光または蛍光を発生させる励起光を被写体に照射する照射部と、
   被写体で反射したＲＧＢの面順次光または励起光の反射光に基づいて生成される反射光動画と、この反射光動画と略同時に生成される動画であって、励起光の照射によって生じた蛍光に基づいて生成される蛍光動画を取得する画像取得部と、
   前記反射光動画から、前記反射光動画における被写体の動きを算出する動き算出部と、
   前記動き算出部が算出した動きから、前記蛍光画像の画質を補正する画像補正部とを備えることを特徴とする画像処理システム。
2. 前記画像取得部は、
   前記蛍光動画より露光時間が短い前記反射光動画を取得し、
   前記画像補正部は、
   前記動き算出部が算出した動きから、前記蛍光動画に含まれる動画構成画像内のブレを補正することを特徴とする請求項１記載の画像処理システム。
3. 前記画像取得部は、
   前記蛍光動画よりフレームレートが高い前記反射光動画を取得し、
   前記画像補正部は、
   前記動き算出部が算出した動きから、前記蛍光動画に含まれる動画構成画像を補完することを特徴とする補完画像を生成する請求項１または２記載の画像処理システム。
4. 前記画像取得部は、
   前記蛍光動画より解像度が高い前記反射光動画を取得し、
   前記画像補正部は、
   前記動き算出部が算出した動きから、前記蛍光動画に含まれる動画構成画像を高解像度化することを特徴とする請求項１ないし３いずれか１項記載の画像処理システム。
5. 前記照射部は、
   白色光を発する光源と、
   光源からの白色光のうち赤色帯域の光を透過させるＲ色カラーフィルター、前記白色光のうち緑色帯域の光を透過させるＧ色カラーフィルターと、前記白色光のうち青色帯域の光を透過させるＢ色カラーフィルターと、前記白色光のうち励起光の波長成分を透過させる励起光透過フィルタとを備える回転フィルタとを備えることを特徴とする請求項１ないし４いずれか１項記載の画像処理システム。
6. 前記回転フィルタは、
   Ｒ色カラーフィルター、Ｇ色カラーフィルター、及びＢ色カラーフィルタが連続して配列される第１フィルタと、励起光透過フィルタが配列される第２フィルタとを備えることを特徴とする請求項５記載の画像処理システム。
7. 前記回転フィルタは、
   Ｒ色カラーフィルター、Ｇ色カラーフィルター、及びＢ色カラーフィルタが、周方向に沿って、一定の間隔で離間して配置されており、
   前記励起光透過フィルタが、各色のカラーフィルターの間に設けられていることを特徴とする請求項５記載の画像処理システム。
8. コンピュータが画像を処理する画像処理方法であって、
   ＲＧＢの３色の光を時分割した面順次光と蛍光を発生させる励起光とを被写体に照射した状態で被写体の撮像を行なうことによって、被写体で反射したＲＧＢの面順次光または励起光の反射光に基づいて生成される反射光動画と、この反射光動画と略同時に生成される動画であって、励起光の照射によって生じる蛍光に基づいて生成される蛍光動画を取得し、
   前記反射光動画から、前記反射光動画における被写体の動きを算出し、
   前記被写体の動きから、前記蛍光画像の画質を補正することを特徴とする画像処理方法。
9. ＲＧＢの３色の光を時分割した面順次光と蛍光を発生させる励起光とを被写体に照射した状態で被写体の撮像を行なうことによって、被写体で反射したＲＧＢの３色の光または励起光の反射光に基づいて生成される反射光動画と、この反射光動画と略同時に生成される動画であって、励起光の照射によって生じた蛍光に基づいて生成される蛍光動画を取得する画像取得部と、
   前記反射光動画から、前記反射光動画における被写体の動きを算出する動き算出部と、
   前記被写体の動きから、前記蛍光画像の画質を補正する画像補正部として、コンピュータを機能させることを特徴とする画像処理プログラム。

Images