JP4502577B2

JP4502577B2 - 電子内視鏡装置

Info

Publication number: JP4502577B2
Application number: JP2002368402A
Authority: JP
Inventors: 弘幸小林
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2002-12-19
Filing date: 2002-12-19
Publication date: 2010-07-14
Anticipated expiration: 2022-12-19
Also published as: US7623150B2; DE10359996A1; US20040125203A1; JP2004194993A

Description

【０００１】
【発明の属する技術分野】
本発明は、電子内視鏡装置における観察対象の色再現処理に関する。
【０００２】
【従来の技術】
内視鏡には、カラーＣＣＤ（Charge Coupled Device）を用いて同時方式により被観察体を撮像するタイプの電子内視鏡（電子スコープ）がある。患者の体内に挿入される電子スコープの挿入部には、微細な光ファイバーからなるファイバーバンドル（ライトガイド）が挿通されている。光源装置から供給される白色の照明光は、このライトガイドにより挿入部先端に導かれ、先端から被観察体に向けて射出される。挿入部先端には、更に、撮像面の画素上に補色（マゼンタ、イエロー、シアン及び緑色）のカラーチップフィルタをモザイク上に貼り付けたカラーＣＣＤが設けられる。被観察体により反射された照明光は、対物光学系を介してカラーＣＣＤの撮像面に結像される。結像した光学像は、カラーＣＣＤにおいて光電変換され、画素信号として出力される。
【０００３】
カラーＣＣＤから出力される画素信号は、電子内視鏡が接続される画像処理装置（プロセッサ）において所定の画像処理が施された後、所定のマトリックス係数を掛け合わせる演算処理が行われ、赤色（Ｒ）成分、緑色（Ｇ）成分、青色（Ｂ）成分からなるＲＧＢ信号に変換される。画像処理装置にはＴＶモニタが接続されており、画像処理装置で変換されたＲＧＢ信号はＴＶモニタに出力される。その結果、ＴＶモニタのディスプレイ上に被観察体の映像が再現される。
【０００４】
上述の白色の照明光の光源として、キセノンランプ、ハロゲンランプ、メタルハライドランプ等が用いられる。これらの光源は、分光特性がそれぞれ異なっている。従って、画像処理装置における処理後、ＴＶモニタのディスプレイ上における映像の色の再現性は用いられる光源により異なる。そこで、ＲＧＢ信号に変換する演算処理で用いられるマトリックス係数を照明光の光源に応じて変更し、良好な色再現性を得ることが行われている（例えば、特許文献１）。
【０００５】
【特許文献１】
特開２０００−２２１４１７号公報
【０００６】
【発明が解決しようとする課題】
ＣＣＤ上の補色カラーフィルタの分光感度特性は各色が周波数ごとに重なり合う特性を示す。従って、被観察体の光学像内の明暗により、補色カラーフィルタの飽和度に不一致が発生することがある。その結果、再現される色が本来の色とは異なってしまう場合がある。すなわち、光源の種類によりマトリックス係数を変更しても、カラーＣＣＤ上に形成される光学像の輝度によっては、部分的に正しい色が再現されない領域が生じる場合がある。
【０００７】
本発明は以上の問題を解決するものであり、電子内視鏡装置において、常時、最良の色再現性を得ることを目的とする。
【０００８】
【課題を解決するための手段】
本発明に係る電子内視鏡装置は、被観察体像を光電変換し、画素信号を出力する撮像手段と、画素信号を映像信号に変換する変換手段と、映像信号に所定のマトリックス係数を掛け合わせることにより、映像信号の色調整を行う色調整手段と、色調整された映像信号から被観察体像の輝度情報を算出し、照明光の光量を調節するための制御信号を演算する調光制御手段と、調光制御手段により演算された制御信号に基づいて所定のマトリックス係数を変更する色調整制御手段とを備えたことを特徴とする。
【０００９】
以上のように本発明によれば、被観察体像の輝度情報から演算される調光制御用の制御信号に基づいて、映像信号の色調整に用いられるマトリックス係数が変更される。従って、被観察体の輝度に応じて常に良好な色再現性が得られる。
【００１０】
例えば、色調整制御手段は、制御信号を所定の閾値と比較し、その比較結果に基づいて、少なくとも１つの要素が異なる複数のマトリックス係数の中から１つのマトリックス係数を選択する。
【００１１】
例えば、色調整制御手段は、制御信号を用いた所定の演算式によって所定のマトリックス係数の少なくとも１つの要素を変更する。
【００１２】
例えば、調光制御手段は、被観察体像を構成する全画素の輝度情報の平均値と、被観察体像の中央領域を構成する各画素の輝度情報のうちのピーク値とに基づいて制御信号を演算する。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は本発明に係る第１実施形態が適用される電子内視鏡装置のブロック図である。電子スコープ１０は可撓性導管（可撓管）を有し、画像信号処理装置２０に着脱自在に接続される。電子スコープ１０の先端側には対物光学系とＣＣＤイメージセンサを備える撮像センサ１１が設けられている。ＣＣＤイメージセンサにはカラーＣＣＤが用いられる。電子スコープ１０内にはライトガイド１２が挿通されている。ライトガイド１２の出射端は、電子スコープ１０の先端まで延びている。また、電子スコープ１０の操作部１３には、動画を静止させるためのフリーズボタン、静止画コピーボタン、録画ボタン等の各種操作ボタンが設けられる。画像信号処理装置２０にビデオプリンタやＶＴＲ（不図示）が接続されたときに、これらのボタンを適宜操作することにより、画像信号処理装置２０において処理された画像信号に基づく静止画または動画の記録が行なわれる。
【００１４】
画像信号処理装置２０のシステムコントローラ２１は電子内視鏡を全体的に制御するマイクロコンピュータである。即ち、システムコントローラ２１は中央処理ユニット（ＣＰＵ）、種々のルーチンを実行するためのプログラム、常数等を格納する読出し専用メモリ（ＲＯＭ）、データ等を一時的に格納する書込み／読出し自在なメモリ（ＲＡＭ）から成る。
【００１５】
電子スコープ１０を画像信号処理装置２０に接続すると、ライトガイド１２の入射端は画像信号処理装置２０内に設けられたキセノンランプあるいはハロゲンランプ等の白色光源（図示せず）を備える光源部２２に光学的に接続される。ライトガイド１２の入射端と光源部２２の間には、光源部２２の白色光源から射出されライトガイド１２の入射端に入射する光束の光量を調節するための絞り（図示せず）、及び白色光源の射出光をライトガイド１２の入射端に集光させるための集光レンズ（図示せず）を有する調光部２３が介在させられている。また、電子スコープ１０を画像信号処理装置２０に接続すると、撮像センサ１１のＣＣＤイメージセンサはＣＣＤバッファ回路（図示せず）を介して画像信号処理装置２０の画像処理回路２４に接続される。
【００１６】
画像信号処理装置２０にはフロントパネル（図示せず）が設けられる。フロントパネルには種々の表示灯や、画像信号処理装置２０の主電源（図示せず）のＯＮ／ＯＦＦを切替えるための電源スイッチ（ＳＷ）、光源部２２の白色光源の点灯を制御するための点灯スイッチ（ＳＷ）等の種々のスイッチが設けられる。
【００１７】
点灯ＳＷからの信号に基づいてシステムコントローラ２１は光源部２２のランプ電源回路（図示せず）に制御信号を出力する。システムコントローラ２１からの制御信号に従い、ランプ電源回路により上述の白色光源への給電が適宜制御される。
【００１８】
白色光源への給電が開始されると、ライトガイド１２の出射端の端面から白色の照明光が射出し、被観察体は白色光により照明され、その光学的被観察体像が撮像センサ１１の対物光学系によってＣＣＤイメージセンサの受光面に結像する。撮像センサ１１は、そのＣＣＤイメージセンサの受光面に結像した光学的被観察体像を１フレーム分のアナログ画素信号に光電変換する。１フレーム分のアナログ画素信号は、電子スコープ１０内に設けられたＣＣＤドライバ１４によって撮像センサ１１から順次読み出される。
【００１９】
撮像センサ１１から読み出されたアナログ画素信号は、画像処理回路２４で所定の画像処理が施され、次いで出力制御部２５で出力用のビデオ信号に変換された後、出力端子２６を介してＴＶモニタ３０に送られる。
【００２０】
図２は、画像処理回路２４の構成を示すブロック図である。撮像センサ１１から読み出された１フレーム分のアナログ画素信号は、初段信号処理回路２４１に入力される。初段信号処理回路２４１にはプリアンプ、帯域制限用ビデオフィルタ等が設けられており、入力されるアナログ画素信号はサンプルホールドされ、増幅、γ補正等の所定の信号処理が行なわれる。
【００２１】
初段信号処理回路２４１において信号処理が施されたアナログ画素信号は、アナログ／デジタル（Ａ／Ｄ）変換器２４２によりデジタル画素信号に変換され、色分離回路２４３に入力される。色分離回路２４３において、補色のカラーチップフィルタの各色成分を有するデジタル画素信号に対して、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色成分からなるＲＧＢ信号への色分離処理が行われる。このＲＧＢ信号は、色分離回路２４３からカラーマトリックス回路２４４へ入力される。カラーマトリックス回路２４４において、色分離回路で分離されたＲＧＢ信号には所定のマトリックス係数を掛け合わせる演算処理が行われ、適切なカラーバランスを有するＲＧＢ信号に変換される。カラーマトリックス回路２４４による演算処理が施されたＲＧＢ信号は、画像メモリ２４５に格納される。
【００２２】
画像メモリ２４５に格納されたＲＧＢ信号は、適宜読み出されて後段信号処理回路２４６に入力される。後段信号処理回路２４６はカラーバランスアンプを有している。カラーバランスアンプにより、システムコントローラから入力されるホワイトバランスデータに基づいて、ＲＧＢ信号の色バランスが変更される。さらに、後段信号処理回路では、色バランスが変更されたＲＧＢ信号に、クランプ、γ補正、輪郭強調、キャラクタインポーズ等の画像処理が施される。後段信号処理回路２４６により画像処理が施されたＲＧＢ信号は、デジタル／アナログ（Ｄ／Ａ）変換器２４７においてアナログ信号に変換される。アナログ化されたＲＧＢ信号は、ケーブルドライバやエンコーダを有する出力制御部２５におけるビデオ信号化処理を経て、上述のように出力端子２６を介してＴＶモニタ３０に送られる。これにより、カラーＣＣＤにより撮像された被観察体の映像がＴＶモニタ３０のディスプレイ上に再現される。
【００２３】
また、画像メモリ２４５に格納されたＲＧＢ信号は調光コントロール部２４８にも出力される。調光コントロール部２４８において、ＲＧＢ信号から輝度信号が生成される。さらに、この輝度信号に基づいて、照明光の光量調節に用いられる調光制御信号Ｉが演算される。調光制御信号Ｉは、ＣＣＤイメージセンサの撮像面のうちＴＶモニタ３０のディスプレイ上に再現される有効領域を構成する全画素の輝度信号の平均値と、有効領域のうち中央領域を構成する画素の輝度信号のうちのピーク値を算出し、それぞれに重み付けすることにより求められる。
【００２４】
調光コントロール部２４８で算出された調光制御信号Ｉは調光部２３に出力される。調光部２３では、調光制御信号Ｉに基づいて上述の絞りを駆動して絞りを通過する光量を調整する。その結果、光源部２２から射出され、ライトガイド１２の入射端面に入射する白色光の光量が調節される。これにより、ＴＶモニタ３０のディスプレイ上に再現される被観察体の画像が最適な輝度となる。また、調光制御信号Ｉはシステムコントローラ２１に出力され、後述するカラーマトリクス係数の変更処理に用いられる。
【００２５】
ここで色分離回路２４３、カラーマトリックス回路２４４における演算処理について説明する。上述の色分離回路２４３における、ＣＣＤイメージセンサから出力された画素信号のＲＧＢ信号への色分離処理は以下に示す式（１）に基づいて行われる。尚、式（１）において、Ｒ’は色分離後の赤色、Ｇ’は色分離後の緑色、Ｂ’は色分離後の青色、ＭｇはＣＣＤイメージセンサから出力されるマゼンタ、ＹｅはＣＣＤイメージセンサから出力されるイエロー、ＣｙはＣＣＤイメージセンサから出力されるシアン、ＧはＣＣＤイメージセンサから出力される緑色の成分である。
【００２６】
【数１】

【００２７】
また、上述のカラーマトリックス回路２４４における、ＲＧＢ信号の変換処理は以下の式（２）に基づいて行われる。式（２）において、Ｒ’は色分離後の赤色、Ｇ’は色分離後の緑色、Ｂ’は色分離後の青色であり、Ｒは色変換後の赤色、Ｇは色変換後の緑色、Ｂは色変換後の青色である。また、αはカラーマトリックス係数であり、式（３）で表されるように、３行×３列の要素からなる行列である。
【００２８】
【数２】

【数３】

【００２９】
色変換の式（２）は、式（１）及び（３）に基づいて式（４）のように展開される。
【００３０】
【数４】

【００３１】
例えば、カラーマトリックス係数に式（５）に示されるものを用いると、色変換の式（２）から式（６）が得られる。
【００３２】
【数５】

【００３３】
第１実施形態では、このカラーマトリックス係数が被観察体像の輝度に応じて選択される。図３は、システムコントローラ２１による色変換調整の処理手順を示すフローチャートである。ステップＳ１００において、調光制御信号Ｉが取得される。本実施形態では、まずカラーマトリックス回路２４４でデフォルトのカラーマトリックス係数を用いて色変換が行われ、この変換後の映像信号に基づいて調光コントロール部２４８で調光制御信号Ｉが演算される。調光コントロール部２４８で演算された調光制御信号Ｉが入力されたら、ステップＳ１０２へ進み、調光制御信号Ｉを所定の閾値と比較する。閾値は、調光制御信号Ｉが閾値以上であれば被観察体像は通常より明るく、ＴＶモニタ３０のディスプレイに再現される画像が高輝度となると判断しても問題ないレベルに設定される。例えば、後述の理由により被観察体像がハレーションを起こさない限界の高輝度値を閾値と定める。
【００３４】
調光制御信号Ｉが閾値より小さいとき、すなわち被観察体像が高輝度ではないとき、ステップＳ１０４へ進む。ステップＳ１０４では、第１のカラーマトリックス係数が選択される。一方、調光制御信号Ｉが閾値より大きいとき、すなわち被観察体像が高輝度のとき、ステップＳ１０６へ進む。ステップＳ１０６では、第２のカラーマトリックス係数が選択される。第１及び第２のカラーマトリックス係数は、式（３）で示される行列の少なくとも１つの要素（例えば要素ａ２１）の値が互いに異なっている。即ち、第１のカラーマトリックス係数を標準の色合い（正常の色合い）に対応したものとし、閾値において変化した被観察体像の色合いを標準の色合いに是正するよう、第１のカラーマトリックス係数と少なくとも１つの要素の値が異なった第２のカラーマトリックス係数が定められる。具体的な第２のカラーマトリックス係数の定め方は後述する。
【００３５】
ステップＳ１０４若しくはＳ１０６でカラーマトリックス係数が選択されたらステップＳ１０８へ進み、選択されたカラーマトリックス係数を用いた上述の式（２）による演算処理実行を指示する制御命令がカラーマトリックス回路２４４に出力される。
【００３６】
尚、第１実施形態では、調光制御信号Ｉを画面全体の輝度信号の平均値と中央領域の輝度信号のピーク値とに基づいて算出しているがこれに限るものではない。中央領域の輝度信号のピーク値のみを調光制御信号Ｉとして用いてもよい。
【００３７】
また、第１実施形態では、デフォルトのカラーマトリックス係数として第１のカラーマトリックス係数が用いられる。さらに、調光制御信号Ｉと比較する閾値を複数設定し、各閾値に対する大小に対応した複数のカラーマトリックス係数を用意し、カラーマトリックス係数の切り換えが２段階以上で行われるように構成してもよい。
【００３８】
図４は、本発明に係る第２実施形態が適用される電子内視鏡装置において実行される色変換調整の処理手順を示すフローチャートである。尚、第２実施形態の電子内視鏡装置は、図１及び図２に示した第１実施形態の電子内視鏡装置と同様の装置構成を有する。ステップＳ２００において調光制御信号Ｉを取得したら、ステップＳ２０２へ進む。ステップＳ２０２において、調光制御信号Ｉを用いた所定の演算式（例えば、「Ｉ÷５００−０．７５」）に基づいて、上述の式（３）で示されるカラーマトリクス係数の所定の１要素（例えば、第１列・第２行の要素ａ２１）の値を算出する。即ち、輝度値の変化に伴って変化する被観察体像の色合いを標準の色合いに是正するように、ステップＳ２０２の演算式を定める。次いで、ステップＳ２０４において、要素ａ２１の値が決定されたカラーマトリックス係数を用いた、上述の式（２）による演算処理実行の制御命令がカラーマトリックス回路２４４に出力される。尚、調光制御信号Ｉを生成するための演算処理は第１実施形態と同様である。
【００３９】
ところで、ＣＣＤイメージセンサに用いられるカラーＣＣＤの補色フィルタの分光感度特性は図５の細線で示される。図５から明らかなように、補色フィルタの各色（シアン、マゼンタ、イエロー、グリーン）は周波数毎に重なり合う特性を示す。一方、人間の体内の色は、図５の太線で示されるように赤色成分が非常に多く、６００〜７００ｎｍ（ナノメータ）の波長成分が多い。従って、赤色成分の情報は、この波長に感度を有するイエローとマゼンタの補色フィルタを通してＣＣＤイメージセンサに取得される。
【００４０】
ハレーションを起こさない限界の高輝度領域の被観察体像では、イエローとマゼンタのフィルターに対応する画素は飽和するが、シアンとグリーンのフィルタに対応する画素は飽和しない。このような状態において、上述の式（４）に基づいてＲＧＢ信号が演算されると、体内の赤色は緑色に寄ったマゼンタ色の色合いで再現されてしまう。
【００４１】
第１実施形態では、被観察体が上述のようなハレーションを起こさない限界の高輝度以上の輝度の場合であっても正常な赤色が再現できるよう、第２のカラーマトリックス係数の各要素の値が設定される。また、第２実施形態における調光制御信号Ｉを用いた１要素（例えば要素ａ２１）の演算式は、上述のような高輝度の場合であっても正常な赤色が再現できるよう設定されている。
【００４２】
尚、第２実施形態においては、演算速度を考慮してカラーマトリックス係数の１要素、例えば第１列・第２行の要素ａ２１のみを調光制御信号Ｉの値に応じて変更しているが、これに限るものではない。緑色の成分に関与する他の要素、すなわち第２列・第２行の要素ａ２２、あるいは第３列・第２行の要素ａ２３を変更する構成としてもよい。また、複数の要素（例えば、これら緑色の成分に関与する３つの要素ａ２１〜ａ２３すべて）をそれぞれの演算式で変更する構成としてもよい。同様に、赤色の成分、青色の成分に関与する要素についても、輝度情報に基づいて適宜変更して色変換処理を行う構成としてもよい。
【００４３】
【発明の効果】
以上のように、本発明によれば、カラーＣＣＤを用いた電子内視鏡装置において、常に良好な色再現性を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る第１実施形態が適用される電子内視鏡装置のブロック図である。
【図２】画像処理回路の構成を示すブロック図である。
【図３】第１実施形態における色変換の処理手順を示すフローチャートである。
【図４】第２実施形態における色変換の処理手順を示すフローチャートである。
【図５】補色フィルタと被観察体の分光感度特性を示すグラフである。
【符号の説明】
１０電子スコープ
１１撮像センサ
１２ライトガイド
２０画像信号処理装置
２１システムコントローラ
２２光源部
２３調光部
２４画像処理回路
２５出力制御部
２４１初段信号処理回路
２４２Ａ／Ｄ変換器
２４３色分離回路
２４４カラーマトリックス回路
２４５画像メモリ
２４６後段信号処理回路
２４７Ｄ／Ａ変換器
２４８調光コントロール部

Claims

被観察体像を光電変換し、画素信号を出力する撮像手段と、
補色フィルタを用いて得られた前記画素信号を色分離して映像信号に変換する変換手段と、
前記映像信号に所定のマトリックス係数を掛け合わせることにより、前記映像信号の色調整を行う色調整手段と、
色調整された前記映像信号から前記被観察体像の輝度情報を算出し、照明光の光量を調節するための制御信号を前記輝度情報に基づいて演算する調光制御手段と、
前記調光制御手段により演算された前記制御信号に基づくとともに前記補色フィルタの分光特性に応じて、前記補色フィルタを通じて前記撮像手段により取得された被観察体の所定の色成分の情報が飽和した状態においても前記被観察体の色合いを標準の色合いに是正するように、前記所定のマトリックス係数を、前記制御信号を用いた新たなマトリクス係数に変更する色調整制御手段とを備えたことを特徴とする電子内視鏡装置。
前記色調整制御手段は、前記制御信号を所定の閾値と比較し、その比較結果に基づいて、少なくとも１つの要素が異なる複数のマトリックス係数の中から１つのマトリックス係数を選択することを特徴とする請求項１に記載の電子内視鏡装置。
前記色調整制御手段は、前記制御信号を用いた所定の演算式によって前記所定のマトリックス係数の少なくとも１つの要素を変更することを特徴とする請求項１に記載の電子内視鏡装置。
前記調光制御手段は、前記被観察体像を構成する全画素の輝度情報の平均値と、前記被観察体像の中央領域を構成する各画素の輝度情報のうちのピーク値とに基づいて前記制御信号を演算することを特徴とする請求項１に記載の電子内視鏡装置。