JP2004056721A - 画像入力装置 - Google Patents
画像入力装置 Download PDFInfo
- Publication number
- JP2004056721A JP2004056721A JP2002215102A JP2002215102A JP2004056721A JP 2004056721 A JP2004056721 A JP 2004056721A JP 2002215102 A JP2002215102 A JP 2002215102A JP 2002215102 A JP2002215102 A JP 2002215102A JP 2004056721 A JP2004056721 A JP 2004056721A
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- pixel
- color filter
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Facsimile Heads (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【課題】小型化が可能であり、かつ、制御が容易な画像入力装置を提供する。
【解決手段】この画像入力装置は、撮像光学系とカラーフィルタ3Aとイメージセンサ5とを備える。カラーフィルタ3Aおよびイメージセンサ5は、撮像光学系の結像面付近に配置される。カラーフィルタ3Aにおいては、ストライプ状の6種類(紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R))の色領域がこの順序で水平方向に周期的に繰り返して配置されている。イメージセンサ5は、カラーフィルタ3Aの各色領域を透過した物体像を撮像する。この画像入力装置は、カラーフィルタ3Aをイメージセンサ5に対して1画素ずつ水平方向に移動するごとに画像を撮像することによって、イメージセンサ5の各画素とカラーフィルタ3Aの各透過領域との対応関係が変更された6枚の画像を取得する。これにより、各画素について6種類の色成分値が取得される。
【選択図】 図10
【解決手段】この画像入力装置は、撮像光学系とカラーフィルタ3Aとイメージセンサ5とを備える。カラーフィルタ3Aおよびイメージセンサ5は、撮像光学系の結像面付近に配置される。カラーフィルタ3Aにおいては、ストライプ状の6種類(紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R))の色領域がこの順序で水平方向に周期的に繰り返して配置されている。イメージセンサ5は、カラーフィルタ3Aの各色領域を透過した物体像を撮像する。この画像入力装置は、カラーフィルタ3Aをイメージセンサ5に対して1画素ずつ水平方向に移動するごとに画像を撮像することによって、イメージセンサ5の各画素とカラーフィルタ3Aの各透過領域との対応関係が変更された6枚の画像を取得する。これにより、各画素について6種類の色成分値が取得される。
【選択図】 図10
Description
【0001】
【発明の属する技術分野】
本発明は、カラー画像を入力する画像入力装置に関する。
【0002】
【従来の技術】
カラー画像の入力技術において、物体の色情報をより忠実に入力したり、物体表面の分光反射率の2次元的な分布を測定したいといったニーズが存在する。このようなニーズに対して、通常のR(レッド),G(グリーン),B(ブルー)の3つのバンドからなる入力系ではなく、それ以上のバンド数をもつ入力系を用いるものが存在する。後者の入力系によって撮像された画像は、一般にマルチスペクトル画像または分光画像と呼ばれる。このようなマルチスペクトル画像によれば色再現性を向上させることができる。
【0003】
R,G,Bの3バンドの場合は、デジタルカメラ等で採用されているように、イメージセンサ上にR,G,Bの3色のフィルタを市松模様状に配置し、撮像後の信号処理で色復元をする方法がとられている。バンド数が増えた場合には、当該バンド数の色フィルタを適宜に配置すれば、原理的には色復元ができる。ただし、このような手法を用いた場合には、空間的な解像力が低下するという問題がある。
【0004】
このような問題を解決する技術として、次のような技術が存在する。
【0005】
(1)たとえば、特開平9−261498号公報に記載の技術(以下、第1の従来技術とも称する)が存在する。これは、各色のフィルタを順次に切り替えながら複数枚の画像を取得し、取得した画像に基づいて色再現を行うことによって、マルチスペクトル画像を入力するものである。この公報に記載される装置は、撮像光路断面サイズ以上の大きさの複数枚フィルタを回転ホイールの周方向に並べて配置し、各フィルタを順次に切り替えて光路に挿入する機構を有している。そのため、この技術は、「回転フィルタ切替方式」とも称される。
【0006】
(2)また、「光路分割方式」と称される方式の技術(以下、第2の従来技術とも称する)も存在する。この光路分割方式の技術は、たとえば、第61回応用物理学会学術講演会講演予稿集(北海道工業大学、2000年9月、p887)に記載されている。この光路分割方式の技術においては、ハーフミラーで光路を分割し、異なる透過周波数特性のフィルタを各光路に挿入し、別個の2台のRGBカメラでそれぞれの光を撮像する。これによれば、R,G,Bの各バンドに関してそれぞれ2種類の入力を得ることになるので、合計6バンドの入力を得ることができる。
【0007】
(3)さらには、「液晶チューナブルフィルタ切替方式」と称される方式の技術(以下、第3の従来技術とも称する)も存在する。この方式の技術は、たとえば、特開2001−228024号公報に記載されている。この技術は、具体的には、液晶チューナブルフィルタの透過波長帯のON時間を変調し、所定のスペクトル特性を有する複数の画像を撮像し、色再現を行うものである。
【0008】
【発明が解決しようとする課題】
しかしながら、上記の「回転フィルタ切替方式」においては、撮像光路断面サイズ以上の大きさの複数枚フィルタを周方向に貼り付けた回転ホイールを用いるため、装置の小型化が困難であるという問題がある。また、「光路分割方式」においては、2台のRGBカメラを用いるため、装置の小型化が困難であるという問題がある。さらに、「液晶チューナブルフィルタ切替方式」においては、液晶チューナブルフィルタの制御が容易でないという問題がある。
【0009】
そこで、本発明は前記問題点に鑑み、小型化が可能であり、かつ、制御が容易な画像入力装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
上記目的を達成するため、請求項1の発明は、画像入力装置であって、撮像光学系と、異なる透過周波数特性の複数の透過領域を含む単位領域が分散して配置されているカラーフィルタと、前記撮像光学系により結像され前記カラーフィルタを透過した物体像を撮像する撮像素子と、前記カラーフィルタを前記撮像素子に対して移動し、前記撮像素子の各画素と前記カラーフィルタの各透過領域との対応関係を変更する対応関係変更手段と、前記カラーフィルタの移動に伴い前記対応関係が変更された複数の画像を取得するように制御する制御手段と、を備えることを特徴とする。
【0011】
請求項2の発明は、請求項1の発明に係る画像入力装置において、前記複数の透過領域は、前記各単位領域内において同一の順序で配列されていることを特徴とする。
【0012】
請求項3の発明は、請求項1の発明に係る画像入力装置において、前記複数の透過領域は、前記単位領域内において所定の方向に配列されており、前記対応関係変更手段は、前記カラーフィルタを前記撮像素子に対して前記所定の方向に移動させることを特徴とする。
【0013】
請求項4の発明は、請求項1の発明に係る画像入力装置において、前記単位領域は、前記複数の透過領域の相互間に設けられる遮光領域をさらに含むことを特徴とする。
【0014】
請求項5の発明は、請求項1の発明に係る画像入力装置において、前記カラーフィルタと前記撮像素子との間にファイバーオプティックプレートが設けられ、前記撮像光学系による結像面に前記ファイバーオプティックプレートの入射面を設け、前記カラーフィルタを前記入射面近傍に設けることを特徴とする。
【0015】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【0016】
<A.第1実施形態>
<A1.構成>
<概要>
図1は、この第1実施形態に係る画像入力装置1Aの概略構成を示す図である。この画像入力装置1Aは、複数(ここでは6種類)の異なる透過波長帯域(マルチスペクトル)を有するカラーフィルタを微小駆動することによって、マルチスペクトル画像(または分光画像)を取得する装置である。
【0017】
図1に示すように、画像入力装置1Aは、撮像レンズ2、カラーフィルタ3、ファイバーオプティックプレート(FOP)4、イメージセンサ5を備える。
【0018】
撮像レンズ2は、物体像を所定の位置(ここではファイバーオプティックプレート4の入射面側の位置)に結像させる撮像光学系である。
【0019】
カラーフィルタ3は、複数の透過領域(色領域とも称する)を含む単位領域が分散して配置されたものである(図10参照)。複数の透過領域は、互いに異なる透過周波数特性を有している。カラーフィルタ3については、後に詳述する。
【0020】
ファイバーオプティックプレート4は、たとえば数ミクロン程度の細い光ファイバを束にした光学デバイスである。後述するリレー光学系(図8参照)をレンズで構成する場合に比べて光の進行方向における大きさ(厚み)を低減することができるので、装置サイズをコンパクトにすることができる。ここでは、ファイバーオプティックプレート4として、入射面側と同じ大きさの像を出射面側に結像するタイプのもの、すなわち等倍タイプのものを用いるものとする。なお、これに限定されず、像の変倍を行うタイプのファイバーオプティックプレートを用いても良い。
【0021】
イメージセンサ5は、複数の画素を有する撮像素子である。ここでは、イメージセンサ5として、複数の画素が2次元的に配列された複数の画素を有するCCD撮像素子を例示する。より詳細には、このイメージセンサ5においては、たとえば640画素(横方向)×480画素(縦方向)の画素がマトリックス状に配列されている。イメージセンサ5は、ファイバーオプティックプレート4の出射面側に直結され、イメージセンサ5の入射面に物体像が結像される。
【0022】
このイメージセンサ5の各画素は、多段階(たとえば256階調)の階調値を識別することが可能である。言い換えれば、イメージセンサ5単体のみでは、多段階のモノクロ画像を得ることが可能である。このイメージセンサ5の入射面側にはカラーフィルタ3が設けられているので、そのカラーフィルタ3内の各透過領域(色領域)を透過する光量に応じた値が、各画素について、各色成分の値(色成分値)として得られることになる。そして、各画素についての複数の色成分値を用いることによって、カラー画像を再構成することが可能になる。
【0023】
図2の撮像系の概略構成図に示すように、撮像レンズ2を透過した光は、さらにカラーフィルタ3およびファイバーオプティックプレート4を透過して、イメージセンサ5において結像する。より詳細には、撮像レンズ2の透過光は、撮像レンズ2によって結像面付近に設けられたカラーフィルタ3を透過した後、ファイバーオプティックプレート4の入射面に結像する。そして、ファイバーオプティックプレート4の入射面に結像した光は、ファイバーオプティックプレート4の各光ファイバーに導かれてイメージセンサ5に到達する。これにより、撮像レンズ2からの透過光はイメージセンサ5の表面において結像することになる。
【0024】
<駆動機構>
また、この画像入力装置1Aにおいては、カラーフィルタ3がファイバーオプティックプレート4およびイメージセンサ5に対して相対運動するように、駆動される。図3〜図5は、このカラーフィルタ3の駆動機構について説明する図である。図3は上面図であり、図4は正面図であり、図5は側面図である。また、図6は、このカラーフィルタ3およびその駆動機構とファイバーオプティックプレート4およびイメージセンサ5との関係を示す図であり、図2の概略構成図の一部をより詳細に示した構成図である。
【0025】
図3〜図6に示すように、画像入力装置1Aは、フィルタホルダ6、ホルダガイド7、ガイドロッド8、圧電アクチュエータ9、ベース部10、およびリニアエンコーダ11をさらに備えている。
【0026】
また、カラーフィルタ3は略薄板状のフィルタホルダ6に支持されている。フィルタホルダ6は、その中央部が中空の枠状部材である。カラーフィルタ3は、このフィルタホルダ6の4辺の枠部に固定されて支持されている。また、図6に示すように、矢印AR0の向きに撮像レンズ2からカラーフィルタ3へと向かう入射光は、中央の中空部6bを通過した後にカラーフィルタ3を通過して、ファイバーオプティックプレート4およびイメージセンサ5へと進む。
【0027】
さらに、ガイドロッド8は、フィルタホルダ6の穴部6cを貫通している。ただし、ガイドロッド8は、フィルタホルダ6に対して固定されてはおらず、フィルタホルダ6の穴部6cとの間に適宜の摩擦力が発生する状態でフィルタホルダ6と接触して支持されている。また、ガイドロッド8の一端は圧電アクチュエータ9に対して固定されており、圧電アクチュエータ9は、画像入力装置1Aの本体内部に固定されたベース部10に対して矢印AR1方向に微小振動する(言い換えれば伸縮運動を行う)。このとき、圧電アクチュエータ9は、伸長時の速度と縮小時の速度とが異なる伸縮運動を行う。そして、圧電アクチュエータ9の駆動によりガイドロッド8が図の左右方向に不均等な速度の微小振動を行うと、フィルタホルダ6は、ガイドロッド8からの摩擦力を介してその不均等な微小振動に応じて移動し、結果的に矢印AR1の方向において図の左側または右側のいずれかの向きに移動する。この結果、フィルタホルダ6に支持されているカラーフィルタ3も図の左側または右側のいずれかの方向に微小移動する。
【0028】
また、ホルダガイド7は、矢印AR1の方向にフィルタホルダ6を案内するガイド部であり、紙面の前後方向へのフィルタホルダ6の移動を規制する機能も有している。
【0029】
リニアエンコーダ11は、固定部11aと移動部11bとを有している。固定部11aは本体側に固定されており、移動部11bはフィルタホルダ6に固定されている。両者11a,11bの相対移動を検出することによって、フィルタホルダ6の矢印AR1の方向への移動量が検出される。このリニアエンコーダ11は、基準位置(原点位置)および当該基準位置からのフィルタホルダ6のずれ量を検出することができる。カラーフィルタ位置制御部22(図1)は、このリニアエンコーダ11によって検出された位置情報を用いたフィードバック制御によって、カラーフィルタ3のイメージセンサ5に対する相対位置を制御する。
【0030】
また、カラーフィルタ3およびその駆動機構は、図6に示すように、ファイバーオプティックプレート4およびイメージセンサ5に対して配置されている。ファイバーオプティックプレート4およびイメージセンサ5は、画像入力装置1Aの本体に固定された固定用部材12に対して固定されている。したがって、図6の紙面に対して垂直な方向(図4の矢印AR1の方向)におけるカラーフィルタ3の微小移動によって、カラーフィルタ3がイメージセンサ5に対して相対的に微小量だけ移動することが可能になる。この結果、イメージセンサ5の各画素とカラーフィルタ3の各透過領域との対応関係が変更される。なお、図6においては明示されていないが、イメージセンサ5は、ファイバーオプティックプレート4と固定用部材12との間の部分に存在する封入剤によって封入されている。
【0031】
ここにおいて、図2の光学系は、図7および図8の光学系と等価である。図2においては、撮像レンズ2によってファイバーオプティックプレート4の入射面側に結像された後、ファイバーオプティックプレート4の出射面側に直結されたイメージセンサ5の表面上に到達する。言い換えれば、物体像は、ファイバーオプティックプレート4を介して間接的にイメージセンサ5の表面上に結像することになる。これに対して、図7においては、物体像は、撮像レンズ2によってイメージセンサ5の表面上に直接的に結像される。また、図8においては、撮像レンズ2によってカラーフィルタ3の位置で結像された後、リレーレンズ4cを介してさらにイメージセンサ5に再結像される。カラーフィルタ3およびイメージセンサ5は、それぞれ、リレーレンズ4cの前側焦点位置および後側焦点位置に(言い換えればリレーレンズ4cに関して共役の位置に)配置されている。
【0032】
なお、図7のような光学系を用いる場合には、カラーフィルタ3とイメージセンサ5との距離を小さくすることが現実的には困難である。なぜなら、図9に示すように、イメージセンサ5の多くは、その入射面側にガラス製のフェイスプレート13を固定用部材12b等によって支持された状態で設けているため、少なくともこのフェイスプレート13の厚みの位置誤差が生じてしまうことになるからである。カラーフィルタ3が結像面から所定距離だけ離れてしまうため、カラーフィルタに関していわゆる「ピンぼけ」状態が生じてしまうのである。
【0033】
これに対して、図2および図6の構成においては、イメージセンサ5の入射側にはフェイスプレート13が設けられておらず、カラーフィルタ3とイメージセンサ5との間にファイバーオプティックプレート4が設けられている。より詳細には、ファイバーオプティックプレート4の出射面側がイメージセンサ5に直結されており、かつ、撮像レンズ2による結像面にファイバーオプティックプレート4の入射面が配置される。このとき、ファイバーオプティックプレート4の入射面(すなわち撮像レンズ2による結像面)にカラーフィルタ3を極めて近接させることが可能であるため、結像面とカラーフィルタ3との位置ずれG1を図9の状態の位置ずれG2に比べて少なくすることができる。したがって、カラーフィルタに関する「ピンぼけ」状態を回避することができる。この結果、再構成後のカラー画像の画質を向上させることができる。
【0034】
<制御系>
再び図1を参照する。画像入力装置1Aは、圧電アクチュエータドライバ21、カラーフィルタ位置制御部22、イメージセンサ駆動部23、信号処理部24、画像メモリ25、カラー画像再構成部26、補正データ格納部27、再構成カラー画像格納部28、CPU30、トリガー信号入力部31をさらに備える。
【0035】
圧電アクチュエータドライバ21は、カラーフィルタ位置制御部22からの駆動信号に基づいて、圧電アクチュエータ9に電圧を印加する。これにより、圧電アクチュエータ9が微小振動する。
【0036】
カラーフィルタ位置制御部22は、CPU30からの指示に基づいて、圧電アクチュエータドライバ21に駆動信号を与える。
【0037】
また、イメージセンサ駆動部23は、CPU30からの指示に基づいて、イメージセンサ5に駆動信号を与える。これにより、イメージセンサ5は、シャッタースピード等に関する所定のパラメータで、露光動作および画像信号の読出処理等を行うように駆動され、複数の画素のそれぞれについての画像信号が信号処理部24に対して出力される。
【0038】
信号処理部24は、イメージセンサ5からの画像信号に対して、A/D(アナログ/デジタル)変換、γ補正処理などの各種の信号処理を施す。これにより、複数の画素により構成される画像が取得される。取得された画像は画像メモリ25に格納される。後述するように、この撮像動作が複数回繰り返されることによって、複数の画像が取得される。
【0039】
画像メモリ25は、カラー画像の再構成のためにイメージセンサ5により撮像された複数の画像を格納する。この画像メモリ25は、これらの複数の画像のデータを格納できる容量を有している。たとえば、この第1実施形態においては6枚の画像が取得されるので、画像メモリ25は、6枚の画像データを格納できる容量を有していればよい。
【0040】
カラー画像再構成部26は、取得された複数の画像(この第1実施形態においては6枚の画像)に基づいて、カラー画像を再構成する。より具体的には、各画素について、複数種類(ここでは6種類)の色成分の画素値を所定の順序に配列して出力する。
【0041】
補正データ格納部27は、カラーフィルタ3の透過率レベルを各色領域ごとに補正するためのデータを格納している。補正データは、カラーフィルタ3の種類の違いおよび/または個体差に起因する特性のずれを補正するデータである。この補正データを用いることによって、透過率レベルを適正に補正することができる。
【0042】
再構成カラー画像格納部28は、再構成後のカラー画像のデータを格納する格納部である。この再構成カラー画像格納部28は、再構成後のカラー画像の画像データを格納できる容量(たとえば、画像メモリ25と同程度の容量)を有している。ただし、必ずしもこの再構成カラー画像格納部28に格納する必要はなく、再構成後のカラー画像を直接的に装置の外部に出力するようにしてもよい。
【0043】
CPU30は、カラーフィルタ位置制御部22、イメージセンサ駆動部23、カラー画像再構成部26などに対して、それぞれ、動作の開始およびそのパラメータなどを含む指示を与える機能を有している。
【0044】
また、トリガー信号入力部31は、撮影開始を指示する撮像開始指示ボタンなどで構成される。撮像開始指示ボタンが撮影者によって押下されたことが検出されると、その撮影開始指令が与えられたものとして、言い換えれば、撮影開始のトリガー信号が入力されたものとみなして、当該トリガー信号がCPU30に対して与えられる。
【0045】
<カラーフィルタ>
図10は、カラーフィルタ3とイメージセンサ5との対応関係を示す図である。この第1実施形態のカラーフィルタ3(3Aとも称する)においては、イメージセンサ5の垂直画素列に沿って1画素幅の細長い矩形形状(「ストライプ状」とも称する)の透過領域(色領域)が水平方向に繰り返して配置されている。具体的には、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の6色のストライプ状の色領域がこの順序で水平方向に周期的に繰り返される。
【0046】
図10においては、イメージセンサ5の最も左側の第1列の垂直画素列の位置に、紫(V)のストライプ状の色領域が存在している。続いて第2列の垂直画素列の位置に青(B)のストライプ状の色領域が存在しており、第3列の垂直画素列の位置に緑(G)のストライプ状の色領域が存在している。さらに続いて、第4列の垂直画素列の位置に黄(Y)のストライプ状の色領域が存在しており、第5列の垂直画素列の位置にオレンジ(O)のストライプ状の色領域が存在しており、第6列の垂直画素列の位置に赤(R)のストライプ状の色領域が存在している。
【0047】
このように第1列から第6列の垂直画素列を覆う領域に、ストライプ状の6種類の色領域が含まれている。
【0048】
さらに、上記のような6種類の色領域を含む領域を単位領域として、同じ単位領域が水平方向に繰り返し配列される。
【0049】
具体的には、第7列の垂直画素列の位置には紫(V)のストライプ状の色領域が存在しており、第8列の垂直画素列の位置には青(B)のストライプ状の色領域が存在している。また、第9列、第10列、第11列、第12列の垂直画素列の位置には、それぞれ、緑(G)、黄(Y)、オレンジ(O)、赤(R)のストライプ状の色領域が存在している。このように第7列から第12列にわたって、6種類の色領域が、第1列から第6列における順序と同一の順序で配置されることになる。
【0050】
同様に、第13列〜第18列の垂直画素列の位置には、それぞれ、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)のストライプ状の色領域が存在している。
【0051】
以降同様に、6種類のストライプ状の色領域を含む単位領域が、水平方向に繰り返し配置されることになる。また、ここでは各単位領域内における6種類のストライプ状の色領域の水平方向における配列順序は、他の単位領域と同一である。
【0052】
後述するように、このようなカラーフィルタ3Aをイメージセンサ5に対して水平方向に1画素幅ずつずらして撮像動作を繰り返すことによって、合計6枚の画像を取得することができる。これにより、各画素について6種類の色成分を求めることができる。
【0053】
また、カラーフィルタ3Aは、水平方向の移動後においてもイメージセンサ5の全画素を覆う程度の大きさを有していればよい。具体的には、カラーフィルタ3Aの水平方向における最小サイズを、イメージセンサ5の水平方向の画素幅(すなわち640個の画素に相当する幅)に、1画素幅の5回の移動幅(5個の画素に相当する幅)をさらに加えた幅(すなわち645個の画素に相当する幅)とすることができる。また、垂直方向においては、イメージセンサ5の大きさをカラーフィルタ3の最小サイズとすることができる。このように、カラーフィルタ3Aの大きさを、イメージセンサ5のサイズとほぼ同程度の大きさとすることができる。
【0054】
<A2.動作>
つぎに、この第1実施形態における動作について図11を参照しながら説明する。図11は、この動作を示すフローチャートである。
【0055】
まず、ステップSP1においては、撮影開始動作が行われる。具体的には、操作者が所定の撮像開始ボタン(図示せず)を押下すると、トリガー信号入力部31がCPU30に対して撮像開始のトリガー信号を与える。その後、画像入力装置1Aは、カウンタ値nを初期値1に設定して(n=1)、ステップSP2に進む。
【0056】
次のステップSP2において、画像入力装置1Aは、第n枚目(ここでは、n=1、すなわち第1枚目)の画像を撮像するための撮像位置へとカラーフィルタ3Aを移動する。第1枚目の撮像位置は、カラーフィルタ3Aとイメージセンサ5とが図10に示すような対応関係を有する位置である。
【0057】
具体的には、CPU30はカラーフィルタ位置制御部22に駆動指示を与え、この指示に基づいて、カラーフィルタ位置制御部22が圧電アクチュエータドライバ21に駆動信号を与える。そして、これに応じて、圧電アクチュエータドライバ21が圧電アクチュエータ9に所定形状のパルス電圧を印加することによって、圧電アクチュエータ9が伸長および縮小を繰り返す振動動作を行う。伸長時と縮小時との速度が不均一であることによって、ガイドロッド8がイメージセンサ5に対して矢印AR2(図10)の向き(図10の左向き)に移動する。移動制御はリニアエンコーダ11による位置の検出信号等に基づくフィードバック制御によって行われる。この移動制御によって、第1枚目の画像を撮像する撮像位置へと移動すると次のステップSP3に進む。
【0058】
ステップSP3においては、第n枚目(ここでは、n=1、すなわち第1枚目)の画像を撮影する。
【0059】
具体的には、カラーフィルタ位置制御部22によってカラーフィルタ3Aが第1枚目の画像の撮像位置へと移動したことが検出されると、CPU30は、イメージセンサ駆動部23に対して駆動指令を送出する。イメージセンサ駆動部23は、この指令に応答して光電変換により640画素×480画素のサイズの画像の画像信号を取得する。信号処理部24は、取得された画像信号に対して所定の信号処理を施すことによって同サイズ(640画素×480画素)の画像データを生成し、第1枚目の画像を示すデータとして画像メモリ25に格納する。
【0060】
ここにおいて、イメージセンサ5の各画素においては、カラーフィルタ3Aの対応する透過領域(色領域)を透過してきた光が結像する。
【0061】
たとえば、図10に示すように、第1列の垂直画素列の各画素においては、紫(V)の色領域を透過した光が結像し、同様に、第2列〜第6列の垂直画素列の各画素においては、それぞれ、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の色領域を透過した光が結像する。以降同様に、第7列〜第640列の垂直画素列の各画素において、6つの色領域のうち上記の順序で対応する色領域を透過してきた光が結像する。これにより、この画像内の各画素について、対応する色領域を透過した光に対応する値、すなわち、対応する色成分の値(色成分値)を取得することができる。
【0062】
ステップSP4においては、6枚の画像の撮像を全て終了したか否かを判定する。6つの全画像の撮像が終了している場合にはステップSP6に進み、未だ撮像していない画像が残っている場合にはステップSP5に進む。
【0063】
ここでは、未だ第2枚目〜第5枚目の撮像が未だ終了していないので、ステップSP5に進む。ステップSP5では値nを1つ増加(インクリメント)させて、ステップSP2に戻る。
【0064】
次のステップSP2では、画像入力装置1Aは、第n枚目(ここでは、n=2、すなわち第2枚目)の画像を撮像するための撮像位置へとカラーフィルタ3Aを移動する。具体的には、カラーフィルタ3Aは、矢印AR2の方向(図10の左向き)に1画素幅だけイメージセンサ5に対して移動される。この結果、カラーフィルタ3Aとイメージセンサ5との対応関係は、図10に示すような対応関係とは異なる対応関係に変更される。
【0065】
ステップSP3においては、第n枚目(ここでは、n=2、すなわち第2枚目)の画像を撮影する。
【0066】
図12は、第n枚目の撮像画像における、カラーフィルタ3Aの各色領域とイメージセンサ5の各画素との対応関係を示す図である。図12においては、説明の簡略化のため、イメージセンサ5から1つの水平画素列を取り出し、さらに、640個の画素を有する1つの水平画素列のうち第1列から第6列の6個の画素と各色領域との対応関係を中心に例示している。各色領域は垂直方向に延びるストライプ形状を有しているので、垂直位置が異なっていても水平位置が同一の画素(すなわち同じ列番号を有する画素)は同じの種類の色領域に対応する。また、同じ順序で配列された色領域を有する単位領域がさらに周期的に配列されるので、第7列以降の画素に関しても同様に考えることができる。そのため、以下では第1列から第6列の画素について説明する。
【0067】
図12に示すように、第1枚目の画像の撮像時と比較して、第2枚目の画像の撮像時においては、カラーフィルタ3Aが1画素分水平方向において左側に移動している。したがって、第2枚目の画像の撮像時においては、第1列の垂直画素列の各画素においては、青(B)の色領域を透過した光が結像する。同様に、第2列〜第6列の垂直画素列の各画素においては、それぞれ、緑(G)、黄(Y)、オレンジ(O)、赤(R)、紫(V)の色領域を透過した光が結像する。以降同様に、第7列〜第640列の垂直画素列の各画素において、6つの色領域のうち上記の順序で対応する色領域を透過してきた光が結像する。
【0068】
このような撮像動作によって、第2枚目の画像が画像メモリ25に格納される。
【0069】
その後、ステップSP4において6つの全画像の撮像が終了したと判定されるまで、ステップSP5,SP2,SP3,SP4の動作が繰り返される。そして、6つの画像が全て撮像されるとステップSP6に進む。この結果、画像メモリ25には、第1枚目から第6枚目までの6種類の画像を示すデータが格納される。
【0070】
図12を参照すると判るように、上記のステップSP2,SP3,SP4,SP5を繰り返すことによって、6種類の画像における同一位置の各画素について6種類の色成分が得られる。具体的には、第1列目の垂直画素列内の各画素に関しては、第1枚目の撮像画像によって紫(V)の色成分値が得られ、第2枚目の撮像画像によって青(B)の色成分値が得られる。その後、第3枚目から第6枚目の撮像画像のそれぞれによって、緑(G)、黄(Y)、オレンジ(O)、赤(R)の色成分値が得られる。
【0071】
また、第2列目の垂直画素列内の各画素に関しては、第1枚目から第6枚目の撮像画像によって、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)、紫(V)の色成分値がこの順序で得られる。
【0072】
さらに、第3列目の垂直画素列内の各画素に関しては、第1枚目から第6枚目の撮像画像によって、緑(G)、黄(Y)、オレンジ(O)、赤(R)、紫(V)、青(B)の色成分値がこの順序で得られる。
【0073】
同様に、第4列目の垂直画素列内の各画素に関しては、第1枚目から第6枚目の撮像画像によって、黄(Y)、オレンジ(O)、赤(R)、紫(V)、青(B)、緑(G)の色成分値がこの順序で得られる。
【0074】
また、第5列目の垂直画素列内の各画素に関しては、第1枚目から第6枚目の撮像画像によって、オレンジ(O)、赤(R)、紫(V)、青(B)、緑(G)、黄(Y)の色成分値がこの順序で得られる。
【0075】
さらに、第6列目の垂直画素列内の各画素に関しては、第1枚目から第6枚目の撮像画像によって、赤(R)、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)の色成分値がこの順序で得られる。
【0076】
ステップSP6では、カラー画像の再構成動作が行われる。図12を参照しつつ説明したように、垂直画素列ごとにその色成分の順序が異なっている。このステップSP6では、画素毎に複数の色成分の再配列動作を行う。具体的には、全ての画素について、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の順序で、その画素に対応する色成分を再配置する。再配置されたカラー画像データは、各画素毎に6種類の色成分を有する画像データであり、再構成カラー画像格納部28に格納される。
【0077】
具体的には、まず、第1列目の垂直画素列内の各画素に関しては、第1枚目から第6枚目の撮像画像から各色成分値を取得し、各色成分値をその取得順序にしたがって配置する。
【0078】
つぎに、第2列目の垂直画素列内の各画素に関しては、まず、第6枚目の撮像画像によって、紫(V)の色成分値を取得し、その後、第1枚目の撮像画像によって青(B)の色成分値を取得する。さらに、第2枚目から第5枚目の撮像画像によって、緑(G)、黄(Y)、オレンジ(O)、赤(R)の色成分値をこの順序で取得する。そして、これらの各色成分値を取得順序にしたがって配置することによって第2列目の垂直画素列内の各画素に関する色成分値が再配置される。
【0079】
この結果、第1列目および第2列目の垂直画素列内の各画素に関して、いずれも、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の各色成分値をこの順序で並べることができる。
【0080】
さらに、第3列目の垂直画素列内の各画素に関しては、まず、第5枚目の撮像画像によって、紫(V)の色成分値を取得し、つぎに、第6枚目の撮像画像によって青(B)の色成分値を取得する。その後、第1枚目から第4枚目の撮像画像によって、緑(G)、黄(Y)、オレンジ(O)、赤(R)の色成分値を取得する。そして、これらの各色成分値を取得順序にしたがって配置することによって第2列目の垂直画素列内の各画素に関する色成分値を再構成する。
【0081】
第4列目以降についても、同様に、撮像画像からの各画素成分値の取得順序(何枚目の撮像画像から各画素成分値を取得するか)を列ごとに変更した再配置動作を行うことによって、イメージセンサ5内の全ての画素について、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の各色成分値をこの順序で再配置することができる。
【0082】
これにより、画素ごとに、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の6種類の各色成分値をこの順序で配列することができる。
【0083】
なお、カラー画像の再構成動作は、各画素とその各画素に対応する6種類の色成分値とを対応付ける動作であればよく、上述した態様のものに限定されない。具体的には、カラーフィルタ3の各色領域とイメージセンサ5の各画素との対応関係を変更しつつ取得した複数(例えば、6枚あるいは7枚)の画像に基づいて、色成分ごとの6枚の成分値画像を生成するようにしてもよい。6枚の成分値画像のそれぞれは、イメージセンサ5のサイズ(たとえば、640画素×480画素)を有しており、6種類の紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)のうちのいずれかの色成分(たとえば、紫)のみの画素成分値が画素配列にしたがって配置された画像である。各色成分値画像を、画素の配列順序がそのまま維持された画像とすることによって、各画素と各色成分値との対応関係を明確に把握することができる。
【0084】
次のステップSP7では、補正データ格納部27に格納されている補正データを参照して、再構成カラー画像格納部28に格納されている再構成カラー画像の各画素の色成分毎にその透過率特性に基づく補正を行う。これにより、カラーフィルタ3の種類および/またはカラーフィルタ3の個体差に起因する誤差を低減することが可能になる。
【0085】
以上のようにして、カラーフィルタ3Aとイメージセンサ5との対応関係を変更して撮像された6枚の画像を用いることによって、イメージセンサ5の全ての画素について、6種類の色成分値を取得することができる。そして、これらの6種類の色成分値に基づいて再構成されたカラー画像(再構成カラー画像)は、ベイヤー配列などの所定の空間的配列を有するCCD撮像素子によって撮像されたカラー画像に比べて、比較的高い空間解像度を有することが可能である。6種類の色成分値の全てをイメージセンサ5の画素毎に取得できるからである。このように、この画像入力装置1Aによれば、空間解像度の低下を防止することが可能である。
【0086】
また、カラーフィルタ3Aには、6種類の1画素幅のストライプ状色領域を含む単位領域が水平方向に繰り返し配置されており、カラーフィルタ3Aを水平方向に6画素幅という微小幅にわたって移動することによって、各画素について6種類の色成分値を取得することができる。
【0087】
この画像入力装置1Aによれば、上記の第1の従来技術のようなイメージセンサ5の程度の大きさのカラーフィルタを複数個(たとえば6個)設ける必要がないので、小型化が可能である。また、第2の従来技術のように、光路を分割して2つのイメージセンサを設ける必要がないので、小型化が可能である。
【0088】
さらに、上記のようなカラーフィルタ3Aを所定方向に移動し、イメージセンサ5の各画素とカラーフィルタ3Aの各透過領域との対応関係を変更することによって、各画素について複数の色成分値を得ることができる。したがって、上記第3の従来技術のように液晶チューナブルフィルタを制御する必要がないので、制御が容易になる。
【0089】
特に、第3の従来技術においては高電圧の制御回路が必要になるのに対して、上記の第1実施形態の画像入力装置1Aにおいては、カラーフィルタ3Aを駆動するための比較的低電圧(例えば数ボルト〜数十ボルト程度)の駆動用制御回路を設ければよく、高電圧(例えば200ボルト程度)の制御回路が不要になる。
【0090】
また、カラーフィルタ3Aのいずれの単位領域においても、ストライプ状の複数の透過領域(色領域)が同一の間隔で且つ同一の順序で配列されている。言い換えれば、カラーフィルタ3Aにおいては複数の色領域が同一の順序で周期的かつ循環的に配列されている。したがって、水平方向における1画素幅ずつの移動に伴う合計6枚の撮像画像によって、イメージセンサ5内の全ての画素のそれぞれについて6種類の色成分の全てを得ることができる。また、複数の色領域は各単位領域内において同一の順序で配列されているので、水平方向において同様の制御を周期的に繰り返せばよいので、各画素に対する制御が容易である。
【0091】
さらに、カラーフィルタ3Aにおいてはストライプ状の複数の色領域が1方向(水平方向)に配列されており、カラーフィルタ3Aをイメージセンサ5に対して水平方向に移動させることによって、各画素の色成分値が求められている。したがって、2つの方向に移動させる場合に比べて、移動機構を簡略化することができる。
【0092】
また、カラーフィルタ3Aにおける複数の色領域のそれぞれは、垂直方向に延びるストライプ状の領域であるので、垂直方向に配列された各画素については、同一の手順でその色成分値を再配列することができる。したがって、制御が容易である。また、垂直方向にも異なる色が配置されている場合に比べて、カラーフィルタ3Aとイメージセンサ5との位置合わせが容易である。
【0093】
<B.第2実施形態>
上記の第1実施形態においては、カラーフィルタ3Aの1画素幅のストライプ状の各色領域が別異の種類の色領域と隣接している。この場合、カラーフィルタ3Aの位置が撮像レンズ2の結像面からずれていることなどに起因して、実際には、各色領域の境界部分において、隣接する色領域からの光の漏れが生じることがある。たとえば、図10に示すように、第2列目の垂直画素列の各画素については、その直上を覆っている青(B)の色領域を透過した光が大部分(例えば80%)であるが、隣接する紫(V)の色領域を透過した光と隣接する緑(G)の色領域を透過した光とがそれぞれ少しずつ(例えば10%ずつ)混じってしまうことがある。
【0094】
そこで、第2実施形態においては、このような混色に起因する画質の劣化を抑制することが可能な画像入力装置1Bについて説明する。この画像入力装置1Bは、異なる透過領域(色領域)が隣接する位置の透過光情報を用いずに、イメージセンサ5の各画素の色を求める。より具体的には、異なる色領域が隣接する位置に遮光領域BKを設け、その遮光領域BKに対応する画素成分値を無効データとして取り扱い、カラー画像の再構成に用いない。そして、遮光領域BK以外の領域(色領域)に対応する画素成分値のみに基づいて、カラー画像を構成する複数の色成分値を求めるのである。
【0095】
画像入力装置1Bは、第1実施形態の画像入力装置1Aと同様の構成等を有しており、説明の簡略化のため以下では相違点を中心に説明する。
【0096】
この画像入力装置1Bにおいては、カラーフィルタ3Aの代わりにカラーフィルタ3Bが設けられている。図13は、画像入力装置1Bのカラーフィルタ3Bを示す図である。
【0097】
このカラーフィルタ3Bにおいては、ストライプ状の6種類の各色領域が、各色領域の間に黒い遮光領域BKを挟んで周期的に繰り返して配置されている。ここでは、各色領域はそれぞれ6画素分の幅を有しており、黒色の遮光領域BKは1画素分の幅を有している。また、各色領域としては、図の左から順に、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の順序で配置されている。このように、カラーフィルタ3Bにおいては、6画素幅の6つの色領域と各色領域間に挟まれている1画素幅の遮光領域とを有する1つの単位領域が、水平方向に周期的に繰り返されて配置されている。この単位領域は水平方向に42(=(6+1)*6)画素の幅を有しており、カラーフィルタ3Bは1周期が42画素の周期的なストライプ模様を有している。
【0098】
ここにおいて、このカラーフィルタ3Bにおいては、遮光領域BKを設けることによって、隣接する色領域からの光が入射すること、すなわち隣接異色領域からの光の漏れを防止している。
【0099】
仮に遮光領域を設けず紫の色領域と青の色領域とが直接的に隣接することを想定する場合には、紫(V)の色領域のうち右端の各画素に対して、その右側に隣接する青(B)の色領域からの光の漏れに起因する成分が混入するとともに、青(V)の色領域のうち左端の各画素に対して、その左側に隣接する紫(V)の色領域からの光の漏れに起因する成分が混入する。すなわち、隣接する2つの垂直画素列に異なる色成分が互いに混入してしまうことになる。したがって、2画素幅の領域に対応する画素成分値が不正確な値になってしまう。
【0100】
これに対して、遮光領域(ここでは1画素幅)BKを設けることによって、遮光領域BKに隣接する部分においては、当該遮光領域BKからの光の漏れに起因する成分は検出されない。たとえば、第6列目の紫(V)の色領域においては、第7列目の遮光領域BKからの光の漏れに相当する成分は検出されず、第8列目の青(B)の色領域においても、第7列目の遮光領域BKからの光の漏れに相当する成分は検出されない。したがって、1画素幅の遮光領域BKの画素成分値のみを無効データとすればよい。このように、隣接異色領域からの光の漏れに起因する色の混じりを効率的に防止することができる。言い換えれば、隣接異色領域からの光の漏れに起因する混食を最小限のスペースで防止することが可能である。
【0101】
なお、ここでは、水平方向に隣接する直近の1画素からの光の漏れのみを防止するために遮光領域の幅を1画素幅としているが、水平方向に隣接する直近の2画素以上の所定数の画素からの光の漏れをも考慮する場合には、遮光領域の幅を2画素幅以上に設定しても良い。
【0102】
また、各色領域あたりの幅を広くする(ここでは各色領域の幅を6画素幅としている)ことによって、異なる色領域が隣接する部分を減らしている。この第2実施形態においては、境界部分(具体的には、遮光領域BK)の画素成分値は無効データであるとみなされるので、異色領域との隣接部分を減らすことによってその無効データの量を削減できる。たとえば、仮に水平方向において1画素おきにストライプ状の遮光領域を設ける場合には、1枚の画像に含まれる全画素のうちの1/2(2分の1)の画素が無効データになるが、図13のように遮光領域BKを設ける場合には無効データは全画素の1/7(7分の1)で済む。このように、各色領域あたりの幅を広くすることによって、カラー画像再構成用の複数の画像をより効率的に取得することが可能になる。
【0103】
この第2実施形態においては、第1枚目の画像を撮像した後、第2枚目以降の画像のそれぞれがカラーフィルタ3を少しずつ移動させながら撮像される。第n枚目(n=2,3,...,7)の画像は、第(n−1)枚目の画像と比べて、カラーフィルタ3Bを図13の右側に向かって6画素幅にわたって移動させた後に撮像される。そして、同様の動作を繰り返すことによって、合計7枚の画像を撮像する。その他の動作については、第1実施形態と同様である。
【0104】
図13に示すように、第1枚目の画像の撮像時には、第1列から第6列の垂直画素列の各画素には紫(V)の色領域が対応し、この各画素には紫(V)の色領域を透過した光が結像する。
【0105】
また、第7列、第14列、第21列、第28列、第35列、および第42列の垂直画素列の各画素には遮光領域BKが対応するため、その各画素による受光量は理論的にはゼロである。上述したように、遮光領域BKの隣接領域からの光の漏れが存在する場合には、所定の画素成分値が存在することになる。ただし、この遮光領域BKに対応する画素成分値は、無効データであるとして取り扱われカラー画像の再構成には用いられないので、どのような値であっても再構成後のカラー画像の画質には影響を与えない。
【0106】
さらに、第8列から第13列の垂直画素列の各画素には青(B)の色領域が対応し、これらの各画素には青(B)の色領域を透過した光が結像する。第15列から第20列の垂直画素列の各画素には緑(G)の色領域が対応し、これらの各画素には緑(G)の色領域を透過した光が結像する。第22列から第27列の垂直画素列の各画素には黄(Y)の色領域が対応し、これらの各画素には黄(Y)の色領域を透過した光が結像する。第29列から第34列の垂直画素列の各画素にはオレンジ(O)の色領域が対応し、これらの各画素にはオレンジ(O)の色領域を透過した光が結像する。第36列から第41列の垂直画素列の各画素には赤(R)の色領域が対応し、これらの各画素には赤(R)の色領域を透過した光が結像する。
【0107】
以降同様に、カラーフィルタ3Bにおけるいずれかの種類の色領域が、第640列までの垂直画素列の各画素に対応する。
【0108】
なお、カラーフィルタ3Bは、後述する水平方向の移動後においてもイメージセンサ5の全画素を覆う程度の大きさを有していればよい。具体的には、カラーフィルタ3Bの水平方向における最小サイズを、イメージセンサ5の水平方向の画素幅(すなわち640個の画素に相当する幅)に6画素幅の6回の移動幅(36個の画素に相当する幅)をさらに加えた幅(すなわち676個の画素に相当する幅)とすることができる。このように、カラーフィルタ3Bの大きさを、イメージセンサ5のサイズとほぼ同程度の大きさとすることができる。
【0109】
図14は、第1枚目から第7枚目までの各撮像画像の撮像時におけるカラーフィルタ3Bとイメージセンサ5との位置の対応関係を示す図である。
【0110】
図14に示すように、第1枚目の画像の撮像時と比較して、第2枚目の画像の撮像時においては、カラーフィルタ3Bが6画素幅にわたって水平方向において右側に(矢印AR3の向きに)移動している。なお、図14において、最上段の各正方形はイメージセンサ5内の所定の水平画素列における各画素を示しており、その正方形の中の数字はその各画素が左から何列目のものであるかを示している。
【0111】
このカラーフィルタ3Bの移動の結果、第2枚目の画像の撮像時には、第7列から第12列の垂直画素列の各画素には紫(V)の色領域が対応し、これらの各画素には紫(V)の色領域を透過した光が結像する。また、第13列、第20列、第27列、第34列、第41列、および第48列の垂直画素列の各画素には遮光領域BKが対応する。
【0112】
さらに、第14列から第19列の垂直画素列の各画素には青(B)の色領域が対応し、第21列から第26列の垂直画素列の各画素に緑(G)の色領域が対応する。また、第28列から第33列の垂直画素列の各画素には黄(Y)の色領域が対応し、第35列から第40列の垂直画素列の各画素にはオレンジ(O)の色領域が対応し、第42列から第47列の垂直画素列の各画素には、赤(R)の色領域が対応する。
【0113】
以降同様に第640列までの垂直画素列の各画素に関して、カラーフィルタ3Bにおける各色領域との対応関係が変更される。
【0114】
また、第1列〜第5列の垂直画素列の各画素には赤(R)の色領域が対応し、第6列の垂直画素列の各画素には遮光領域BKが対応する。
【0115】
このような光学像をイメージセンサ5を用いて撮像することによって、第2枚目の画像が画像メモリ25に格納される。
【0116】
以降同様に、カラーフィルタ3Bが6画素幅にわたって水平方向において順次に右側に移動されつつ、第3枚目から第7枚目までの5枚の画像が撮像され、画像メモリ25に格納される。この結果、7枚の画像が画像メモリ25に格納されることになる。
【0117】
このようにして取得された7枚の画像は、カラーフィルタ3Bにおける各色領域とイメージセンサ5における各画素との対応関係が互いに異なっている。
【0118】
具体的には、第1列から第7列の垂直画素列の各画素においては、第1枚目から第7枚目までの撮像動作に伴って、紫(V)、赤(R)、オレンジ(O)、黄(Y)、緑(G)、青(B)の各色領域がこの順序で対応し、対応する各色成分値が取得される。ただし、何枚目の画像のときにその画素が遮光領域に対応するか(言い換えれば、遮光領域(BK)への対応時点)は列ごとに異なっている。たとえば、第2列の垂直画素列の対応領域が遮光領域となるのは、第6枚目の画像であり、第7列の垂直画素列の対応領域が遮光領域となるのは、第1枚目の画像である。
【0119】
また、第8列から第14列の垂直画素列の各画素においては、第1枚目から第7枚目までの撮像動作に伴って、青(B)、紫(V)、赤(R)、オレンジ(O)、黄(Y)、緑(G)の順に、各色成分値が取得される。ただし、遮光領域(BK)に対応する成分値の出現時点は互いに相違する。
【0120】
その他の画素列についても同様である。
【0121】
上記のような移動を伴う撮像動作による7枚の画像によれば、各画素について、撮影の順序が異なるものの、6種類の色領域のそれぞれにおける透過光量を反映した値(すなわち6種類の色成分値)を得ることができる。なお、各画素について、7枚の画像のうち1枚の画像は、遮光領域に対応する成分値を有していることになる。ここでは、この遮光領域に対応する成分値を、無効データとみなしてカラー再構成用のデータから除外する。一方、各画素について得られた6種類の色成分値に基づいて、上述したようなカラー画像再構成動作を行う。具体的には、各画素について、同一の順序(たとえば、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の順)となるように、色成分値を再配列する。
【0122】
以上のようにして、カラーフィルタ3Bとイメージセンサ5との対応関係を変更して撮像された7枚の画像を用いることによって、イメージセンサ5の全ての画素について、6種類の色領域を透過した光量を反映した色成分値を取得することができる。したがって、空間解像度の低下を防止することが可能である。
【0123】
また、カラーフィルタ3Bには、6種類のストライプ状色領域を含む42画素幅の単位領域が水平方向に繰り返し配置されており、カラーフィルタ3Bを水平方向に36画素幅(6画素幅×6回)という微小幅にわたって移動することによって、各画素について6種類の色成分値を取得することができる。
【0124】
したがって、この画像入力装置1Bによれば、装置の小型化および制御の容易化が可能である。
【0125】
また、この第2実施形態の画像入力装置1Bによれば、透過周波数特性の異なる透過領域が隣接する位置に遮光領域を設けており、当該遮光領域の画素成分値を用いずに、イメージセンサ5の各画素の色が求められる。言い換えれば、異なる透過領域の境界位置に対応する画素成分値を用いることなく、各画素の色を表現するための色成分値が求められる。したがって、隣接透過領域からの光の漏れの影響を低減することができる。この結果、再構成されたカラー画像の画質を向上させることができる。
【0126】
さらに特に、異なる色領域の境界位置に遮光領域が設けられているので、遮光領域からその遮光領域に隣接する色領域への光の漏れを防止して、色の混じりを効率的に防止することができる。
【0127】
<C.第3実施形態>
上記の第1実施形態および第2実施形態は、複数の画素がマトリックス状(ないし正方格子状)に配列されたイメージセンサを用いる場合について説明したが、この第3実施形態においては、図15(a)に示すような、複数の画素がジグザグに(ないしハニカム状)に配列されたイメージセンサ(以下、ハニカムCCDとも称する)5Cを用いる場合について説明する。なお、図15(a)は、この第3実施形態で用いられるイメージセンサ5Cの画素配列(より正確には受光素子の配列)を示しており、図15(b)は、上記第1実施形態および第2実施形態で用いられるイメージセンサ5(5Aとも称する)のマトリックス状の画素配列を示している。
【0128】
このようなイメージセンサ5Cに関しても、上記の第1実施形態および第2実施形態と同様の思想を適用することが可能である。たとえば、イメージセンサ5Cにおいて隣接する2つの垂直画素列を、イメージセンサ5Aにおける1つの垂直画素列に相当するものと考えればよい。具体的には、上記第1実施形態および第2実施形態のストライプ状の各色領域(および遮光領域)の幅を2倍にし、且つ、撮影ごとの移動量をも2倍にすればよい。
【0129】
この第3実施形態においては、第2実施形態と同様の技術をイメージセンサ5Cに対して適用する場合について例示する。すなわち、カラーフィルタに遮光領域をも設ける場合について例示する。これにより、混色を効率的に防止することができる。
【0130】
第3実施形態に係る画像入力装置1Cは、第1実施形態の画像入力装置1Aおよび第2実施形態の画像入力装置1Bと同様の構成等を有している。以下では、説明の簡略化のため相違点を中心に説明する。
【0131】
この画像入力装置1Cにおいては、カラーフィルタ3Aの代わりにカラーフィルタ3Cが設けられている。図16は、画像入力装置1Cのカラーフィルタ3Cを示す図である。
【0132】
このカラーフィルタ3Cにおいては、ストライプ状の6種類の各色領域が、周期的に繰り返して配置されている。また、各色領域の相互間には、遮光領域BKが設けられている。図16においては、各画素の大きさを明示していないが、各色領域はそれぞれ12画素分の幅を有しており、黒色の遮光領域BKは2画素分の幅を有している。すなわち、各色領域および遮光領域は、それぞれ、第1実施形態に比べて2倍の画素幅を有している。また、第1実施形態および第2実施形態と同様に、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の各色領域が、この順序で周期的に配置されている。
【0133】
このように、カラーフィルタ3Cにおいては、12画素幅の6つの色領域と各色領域間に挟まれている2画素幅の遮光領域とを有する1つの単位領域が、水平方向に周期的に繰り返されて配置されている。この単位領域は水平方向に84(=(12+2)*6)画素の幅を有しており、カラーフィルタ3Cは1周期=84画素の周期的配列のストライプ模様を有している。
【0134】
また、図17は、イメージセンサ5C(図15(a)参照)の一部をさらに模式的に示す図であり、図16の部分PAに相当する部分を示す拡大図である。図17においては、黒線で囲まれた白色正方形領域が画素を示している。また、ハッチング領域には画素が存在しない。さらに、画素列の水平方向の位置および垂直方向の位置を示すための番号が付されている。
【0135】
図17に示すように、イメージセンサ5Cにおいては、奇数列においては、奇数段の位置にのみ画素が存在し偶数段の位置には画素が存在しない。また、偶数列においては、偶数段の位置にのみ画素が存在し奇数段の位置には画素が存在しない。端的に言えば、イメージセンサ5Cは、チェス盤のような画素配置を有している。
【0136】
図16および図17に示すように、第1枚目の画像の撮像時には、第1列から第12列の垂直画素列の各画素には紫(V)の色領域が対応し、この各画素には紫(V)の色領域を透過した光が結像する。
【0137】
また、第13列、第14列、第27列、第28列、第41列、第42列、第55列、第56列、第69列、第70列、第83列、および第84列の垂直画素列の各画素には遮光領域BKが対応するため、その各画素による受光量は理論的にはゼロである。なお、この遮光領域BKに対応する画素成分値は、無効データであるとして取り扱われ、カラー画像の再構成には用いられないので、どのような値であっても再構成後のカラー画像の画質には影響を与えない。
【0138】
さらに、第15列から第26列の垂直画素列の各画素には青(B)の色領域が対応し、これらの各画素には青(B)の色領域を透過した光が結像する。第29列から第40列の垂直画素列の各画素には緑(G)の色領域が対応し、これらの各画素には緑(G)の色領域を透過した光が結像する。第43列から第54列の垂直画素列の各画素には黄(Y)の色領域が対応し、これらの各画素には黄(Y)の色領域を透過した光が結像する。第57列から第68列の垂直画素列の各画素にはオレンジ(O)の色領域が対応し、これらの各画素にはオレンジ(O)の色領域を透過した光が結像する。第71列から第82列の垂直画素列の各画素には赤(R)の色領域が対応し、これらの各画素には赤(R)の色領域を透過した光が結像する。
【0139】
以降の垂直画素列の各画素に対しても、同様に、カラーフィルタ3Cにおけるいずれかの種類の色領域が対応する。
【0140】
この第3実施形態においても、第1枚目の画像を撮像した後、第2枚目以降の画像のそれぞれは、カラーフィルタ3Cを少しずつ移動させて撮像される。ただし、第n枚目(n=2,3,...,7)の画像は、第(n−1)枚目の画像と比べて、カラーフィルタ3Cを図16の右側に向かって「12画素幅」にわたって移動させた後に撮像される。この移動幅は第2実施形態の移動幅の2倍に相当する。そして、同様の動作を繰り返すことによって、合計7枚の画像を撮像する。その他の動作については、第2実施形態と同様である。
【0141】
図18は、第1枚目から第7枚目までの各撮像画像の撮像時におけるカラーフィルタ3Cとイメージセンサ5Cとの位置の対応関係を示す図である。
【0142】
図18に示すように、第1枚目の画像の撮像時と比較して、第2枚目の画像の撮像時においては、カラーフィルタ3Cが12画素幅にわたって水平方向において右側に(矢印AR4の向きに)移動している。なお、図18において、最上段の各正方形には、奇数段の位置に存在する画素のうちその水平位置に対応する画素の列番号が示されており、その下側の各正方形には、偶数段の位置に存在する画素のうちその水平位置に対応する画素の列番号が示されている。
【0143】
このカラーフィルタ3Cの移動の結果、第2枚目の画像の撮像時には、第13列から第24列の垂直画素列の各画素には紫(V)の色領域が対応し、これらの各画素には紫(V)の色領域を透過した光が結像する。また、第25列、第26列、第39列、第40列、第53列、第54列、第67列、第68列、第81列、および第82列の垂直画素列の各画素には遮光領域BKが対応する。
【0144】
さらに、第27列から第38列の垂直画素列の各画素には青(B)の色領域が対応し、第41列から第52列の垂直画素列の各画素に緑(G)の色領域が対応する。また、第55列から第66列の垂直画素列の各画素には黄(Y)の色領域が対応し、第69列から第80列の垂直画素列の各画素にはオレンジ(O)の色領域が対応し、第83列から第94列の垂直画素列の各画素には、赤(R)の色領域が対応する。
【0145】
また、第1列〜第10列の垂直画素列の各画素には赤(R)の色領域が対応し、第11列および第12列の垂直画素列の各画素には遮光領域BKが対応する。
【0146】
他の垂直画素列の各画素に関しても、カラーフィルタ3Bにおける各色領域との対応関係が変更される。
【0147】
このような光学像をイメージセンサ5Cを用いて撮像することによって、第2枚目の画像が画像メモリ25に格納される。
【0148】
以降同様に、カラーフィルタ3Cが水平方向において12画素幅ずつ順次に右側に移動されつつ、第3枚目から第7枚目までの5枚の画像が撮像され、画像メモリ25に格納される。この結果、7枚の画像が画像メモリ25に格納されることになる。
【0149】
このようにして取得された7枚の画像は、カラーフィルタ3Cにおける各色領域とイメージセンサ5Cにおける各画素との対応関係が、互いに異なっている。
【0150】
具体的には、第1列から第14列の垂直画素列の各画素においては、第1枚目から第7枚目までの撮像動作に伴って、紫(V)、赤(R)、オレンジ(O)、黄(Y)、緑(G)、青(B)の各色領域がこの順序で対応し、対応する各色成分値が取得される。ただし、何枚目の画像のときにその画素が遮光領域に対応するか(言い換えれば、遮光領域(BK)への対応時点)は列ごとに異なっている。たとえば、第1列の垂直画素列の対応領域が遮光領域となるのは、第7枚目の画像であり、第14列の垂直画素列の対応領域が遮光領域となるのは、第1枚目の画像である。
【0151】
また、第15列から第28列の垂直画素列の各画素においては、第1枚目から第7枚目までの撮像動作に伴って、青(B)、紫(V)、赤(R)、オレンジ(O)、黄(Y)、緑(G)の順に、各色成分値が取得される。ただし、遮光領域(BK)に対応する成分値の出現時点は互いに相違する。
【0152】
その他の画素列についても同様である。
【0153】
上記のような移動を伴う撮像動作による7枚の画像によれば、その取得の順序が各画素の水平位置によって異なるものの、各画素について6種類の色領域のそれぞれにおける透過光量を反映した値(すなわち6種類の色成分値)を取得することができる。なお、各画素について、7枚の画像のうち1枚の画像は、遮光領域に対応する成分値を有していることになる。ここでは、この遮光領域に対応する成分値を、無効データとみなしてカラー再構成用のデータから除外する。そして、各画素について得られた6種類の色成分値に基づいて、上述したようなカラー画像再構成動作を行う。具体的には、各画素について、同一の順序(たとえば、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の順)となるように、6種類の色成分値を再配列する。
【0154】
以上のようにして、カラーフィルタ3Cとイメージセンサ5Cとの対応関係を変更して撮像された7枚の画像を用いることによって、イメージセンサ5Cの全ての画素について、6種類の色領域を透過した光量を反映した色成分値を取得することができる。したがって、空間解像度の低下を防止することが可能である。
【0155】
また、カラーフィルタ3Cには、6種類のストライプ状色領域を含む84画素幅の単位領域が水平方向に繰り返し配置されており、カラーフィルタ3Cを水平方向に72画素幅(12画素幅×6回)という微小幅にわたって移動することによって、各画素について6種類の色成分値を取得することができる。
【0156】
したがって、この画像入力装置1Cによれば、装置の小型化および制御の容易化が可能である。また、遮光領域BKが設けられているので、第2実施形態と同様の効果をも得ることができる。
【0157】
<D.その他>
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【0158】
たとえば、上記各実施形態においては、ストライプ状の複数の色領域が水平方向に繰り返し配列されているカラーフィルタ3Aなどを例示したが、これに限定されず、ストライプ状の複数の色領域が垂直方向に繰り返し配列されたカラーフィルタであってもよい。この場合には、カラーフィルタをイメージセンサ5に対して垂直方向に移動させつつ、上記と同様の撮影動作を行うようにすればよい。
【0159】
また、カラーフィルタにおける色領域の種類は上記の6種類に限定されない。たとえば、別の6種類の色領域を設けても良い。あるいは、任意の数の透過領域(色領域)を設けるようにしてもよい。
【0160】
さらに、上記実施形態においては、カラーフィルタのいずれの単位領域においても、ストライプ状の複数の透過領域(色領域)が同一の順序で配列される場合を例示しているが、これに限定されない。カラーフィルタにおける複数の色領域の配列は周期的であることが好ましいが、非周期的であってもよい。
【0161】
たとえば、図19に示すように、所定の単位領域と別の単位領域とで、色領域の配列順序が異なっていても良い。なお、図19(図20および図21においても同様)においては、「単位領域」を黒色の矩形で囲んで示している。
【0162】
図19においては、左側の単位領域では、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の順に各色領域が配置されているのに対して、右側の単位領域では、オレンジ(O)、緑(G)、紫(V)、青(B)、黄(Y)、赤(R)の順に各色領域が配置されている。ただし、図19に示すカラーフィルタを用いる場合には、全ての画素のそれぞれについて6種類の色成分の全てを得るためには7枚以上の画像を撮像することが必要になり、上記第1実施形態の場合と比べて、撮影枚数が増加してしまう。このように、撮影枚数を少なくするという観点からは、上記第1実施形態などのように複数の透過領域が各単位領域内において同一の順序で配列されていることが好ましい。
【0163】
また、上記各実施形態においては、複数の透過領域(色領域)はストライプ状の領域である場合を例示したが、これに限定されない。異なる透過周波数特性の複数の透過領域を含む単位領域が、カラーフィルタにおいて分散して配置されていればよい。
【0164】
たとえば、図20に示すように、水平方向の6画素に相当する領域に6種類の色領域を配置した単位領域URが、各行(段)ごとに1画素ずつ階段状にずらして配置されるようなカラーフィルタを用いても良い。水平方向には、同様の単位領域が繰り返して配置される。ただし、イメージセンサ5に対する位置合わせの容易化の観点からは、水平方向だけでなく垂直方向においても異なる色が配置されたカラーフィルタ(図20)を用いるよりも、上記のカラーフィルタ3Aを用いる方が好ましい。正確な位置合わせを1方向(水平方向)にのみ行えばよいからである。なお、ぼけによる混色を防止するため、色領域の境界に沿って、遮光領域(BK)を設けるようにしても良い。
【0165】
さらに、上記各実施形態においては、単位領域内において、複数の透過領域(色領域)が一方向(水平方向)に配列されている場合を例示したが、これに限定されない。たとえば、図21に示すように、単位領域内において、複数の透過領域(色領域)が2方向に配列されていてもよい。図21においては、横方向に3画素および縦方向に2画素のサイズを有する単位領域内において、6種類の透過領域(色領域)が配列されている。より詳細には、単位領域内において、紫(V)、青(B)、緑(G)の3つの色領域が上段に配置され、黄(Y)、オレンジ(O)、赤(R)の3つの色領域が下段に配置される。この場合には、水平方向に1画素ずつずらしつつ3枚の画像を撮像するとともに、垂直方向に1画素ずらした後に水平方向の逆向きに1画素ずつずらしつつさらに3枚の画像を撮像することによって、合計6枚の画像を撮像することができる。これによれば、複数の画像を撮影する際の1方向の移動距離を短くすることができる。ただし、この場合、カラーフィルタを2方向に駆動するための駆動機構を設けることになるので、駆動機構の簡略化という観点からは上記の第1実施形態などの方が好ましい。
【0166】
さらに、ストライプ状の色領域は、上述したような細長い矩形形状領域に限定されず、ジグザグ形状の細長領域のものであってもよい。図22は、隣接する2つの垂直画素列L1,L2が水平方向に互いに半画素ずれた状態でジグザグに配列されているハニカム配列のイメージセンサを示している。たとえば、このようなイメージセンサに対しては、所定の垂直画素列L1と半画素分一方向にずれた垂直画素列L2とを覆うようなジグザグ状の領域を、上述したようなストライプ状の色領域として設けてもよい。この場合には、水平方向に半画素ずつずらしつつ6枚の画像を撮像することによって、各画素について6種類の色成分を取得することが可能である。
【0167】
また、上記実施形態においては、カラー画像の再構成動作を画像入力装置1内において実行する場合を例示したが、これに限定されない。たとえば、カラーフィルタ3の各色領域とイメージセンサ5の各画素との対応関係を変更しつつ取得した複数(例えば、6枚あるいは7枚)の画像を外部の画像処理装置(コンピュータなど)に出力し、出力先の画像処理装置においてカラー画像の再構成動作を実行するようにしてもよい。
【0168】
なお、上述した具体的実施形態には以下の構成を有する発明が含まれている。
【0169】
(1)請求項1に記載の画像入力装置において、
前記複数の透過領域は、ストライプ状の領域であることを特徴とする画像入力装置。この(1)に記載の発明によれば、ストライプ状の領域における長手方向に配列された各画素については、同一の手順でその色成分値を再配列することができるので、制御が容易である。
【0170】
(2)請求項1に記載の画像入力装置において、
前記カラーフィルタの移動に伴い取得される複数の画像に基づいて、前記物体像のカラー画像を再構成するカラー画像再構成手段、
をさらに備え、
前記カラー画像再構成手段は、異なる透過領域が隣接する位置の透過光情報を用いずに、前記物体像のカラー画像を再構成することを特徴とする画像入力装置。この(2)に記載の発明によれば、隣接透過領域からの光の漏れの影響を低減し、再構成されたカラー画像の画質を向上させることができる。
【0171】
【発明の効果】
以上のように、請求項1ないし請求項5に記載の発明によれば、異なる透過周波数特性の複数の透過領域を含む単位領域が分散して配置されているカラーフィルタを、撮像素子に対して移動し、撮像素子の各画素とカラーフィルタの各透過領域との対応関係が変更された複数の画像が取得されるので、小型化が可能であり、かつ、制御が容易である。
【0172】
特に、請求項2に記載の発明によれば、各単位領域内において同一の順序で配列されているので、制御が容易である。
【0173】
また、請求項3に記載の発明によれば、カラーフィルタを撮像素子に対して所定の方向に移動させればよいので、移動機構を簡略化できる。
【0174】
さらに、請求項4に記載の発明によれば、複数の透過領域の相互間に設けられる遮光領域を設けることによって、隣接透過領域からの光の漏れの影響を低減し、色の混じりを効率的に防止することができる。
【0175】
また、請求項5に記載の発明によれば、撮像光学系による結像面にファイバーオプティックプレートの入射面が設けられ、カラーフィルタが当該入射面近傍に設けられるので、カラーフィルタ位置でのピンぼけ状態を回避することができる。したがって、再構成後のカラー画像の画質を向上させることができる。
【図面の簡単な説明】
【図1】この発明の第1実施形態に係る画像入力装置の概略構成を示す概念図である。
【図2】撮像系の概略構成を示す側面図である。
【図3】カラーフィルタの駆動機構を示す上面図である。
【図4】カラーフィルタの駆動機構を示す正面図である。
【図5】カラーフィルタの駆動機構を示す側面図である。
【図6】カラーフィルタとイメージセンサとの関係を示す側面図である。
【図7】撮像系の変形例を示す図である。
【図8】撮像系の別の変形例を示す図である。
【図9】図8でのカラーフィルタとイメージセンサとの関係を示す側面図である。
【図10】カラーフィルタとイメージセンサとの対応関係を示す概念図である。
【図11】第1実施形態における動作を示すフローチャートである。
【図12】第n枚目の撮像画像における、各色領域と各画素との対応関係を示す図である。
【図13】第2実施形態に係るカラーフィルタとイメージセンサとの対応関係を示す概念図である。
【図14】第2実施形態の第n枚目の撮像画像における、各色領域と各画素との対応関係を示す図である。
【図15】ハニカムCCDにおける画素配置を示す図である。
【図16】第3実施形態に係るカラーフィルタとイメージセンサとの対応関係を示す概念図である。
【図17】図16の一部拡大図である。
【図18】第3実施形態の第n枚目の撮像画像における、各色領域と各画素との対応関係を示す図である。
【図19】カラーフィルタの変形例を示す図である。
【図20】カラーフィルタの別の変形例を示す図である。
【図21】カラーフィルタのさらに別の変形例を示す図である。
【図22】カラーフィルタのさらに別の変形例を示す図である。
【符号の説明】
1,1A,1B,1C 画像入力装置
2 撮像レンズ
3,3A,3B,3C カラーフィルタ
4 ファイバーオプティックプレート
5,5A,5C イメージセンサ
6 フィルタホルダ
7 ホルダガイド
8 ガイドロッド
9 圧電アクチュエータ
10 ベース部
11 リニアエンコーダ
12,12b 固定用部材
【発明の属する技術分野】
本発明は、カラー画像を入力する画像入力装置に関する。
【0002】
【従来の技術】
カラー画像の入力技術において、物体の色情報をより忠実に入力したり、物体表面の分光反射率の2次元的な分布を測定したいといったニーズが存在する。このようなニーズに対して、通常のR(レッド),G(グリーン),B(ブルー)の3つのバンドからなる入力系ではなく、それ以上のバンド数をもつ入力系を用いるものが存在する。後者の入力系によって撮像された画像は、一般にマルチスペクトル画像または分光画像と呼ばれる。このようなマルチスペクトル画像によれば色再現性を向上させることができる。
【0003】
R,G,Bの3バンドの場合は、デジタルカメラ等で採用されているように、イメージセンサ上にR,G,Bの3色のフィルタを市松模様状に配置し、撮像後の信号処理で色復元をする方法がとられている。バンド数が増えた場合には、当該バンド数の色フィルタを適宜に配置すれば、原理的には色復元ができる。ただし、このような手法を用いた場合には、空間的な解像力が低下するという問題がある。
【0004】
このような問題を解決する技術として、次のような技術が存在する。
【0005】
(1)たとえば、特開平9−261498号公報に記載の技術(以下、第1の従来技術とも称する)が存在する。これは、各色のフィルタを順次に切り替えながら複数枚の画像を取得し、取得した画像に基づいて色再現を行うことによって、マルチスペクトル画像を入力するものである。この公報に記載される装置は、撮像光路断面サイズ以上の大きさの複数枚フィルタを回転ホイールの周方向に並べて配置し、各フィルタを順次に切り替えて光路に挿入する機構を有している。そのため、この技術は、「回転フィルタ切替方式」とも称される。
【0006】
(2)また、「光路分割方式」と称される方式の技術(以下、第2の従来技術とも称する)も存在する。この光路分割方式の技術は、たとえば、第61回応用物理学会学術講演会講演予稿集(北海道工業大学、2000年9月、p887)に記載されている。この光路分割方式の技術においては、ハーフミラーで光路を分割し、異なる透過周波数特性のフィルタを各光路に挿入し、別個の2台のRGBカメラでそれぞれの光を撮像する。これによれば、R,G,Bの各バンドに関してそれぞれ2種類の入力を得ることになるので、合計6バンドの入力を得ることができる。
【0007】
(3)さらには、「液晶チューナブルフィルタ切替方式」と称される方式の技術(以下、第3の従来技術とも称する)も存在する。この方式の技術は、たとえば、特開2001−228024号公報に記載されている。この技術は、具体的には、液晶チューナブルフィルタの透過波長帯のON時間を変調し、所定のスペクトル特性を有する複数の画像を撮像し、色再現を行うものである。
【0008】
【発明が解決しようとする課題】
しかしながら、上記の「回転フィルタ切替方式」においては、撮像光路断面サイズ以上の大きさの複数枚フィルタを周方向に貼り付けた回転ホイールを用いるため、装置の小型化が困難であるという問題がある。また、「光路分割方式」においては、2台のRGBカメラを用いるため、装置の小型化が困難であるという問題がある。さらに、「液晶チューナブルフィルタ切替方式」においては、液晶チューナブルフィルタの制御が容易でないという問題がある。
【0009】
そこで、本発明は前記問題点に鑑み、小型化が可能であり、かつ、制御が容易な画像入力装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
上記目的を達成するため、請求項1の発明は、画像入力装置であって、撮像光学系と、異なる透過周波数特性の複数の透過領域を含む単位領域が分散して配置されているカラーフィルタと、前記撮像光学系により結像され前記カラーフィルタを透過した物体像を撮像する撮像素子と、前記カラーフィルタを前記撮像素子に対して移動し、前記撮像素子の各画素と前記カラーフィルタの各透過領域との対応関係を変更する対応関係変更手段と、前記カラーフィルタの移動に伴い前記対応関係が変更された複数の画像を取得するように制御する制御手段と、を備えることを特徴とする。
【0011】
請求項2の発明は、請求項1の発明に係る画像入力装置において、前記複数の透過領域は、前記各単位領域内において同一の順序で配列されていることを特徴とする。
【0012】
請求項3の発明は、請求項1の発明に係る画像入力装置において、前記複数の透過領域は、前記単位領域内において所定の方向に配列されており、前記対応関係変更手段は、前記カラーフィルタを前記撮像素子に対して前記所定の方向に移動させることを特徴とする。
【0013】
請求項4の発明は、請求項1の発明に係る画像入力装置において、前記単位領域は、前記複数の透過領域の相互間に設けられる遮光領域をさらに含むことを特徴とする。
【0014】
請求項5の発明は、請求項1の発明に係る画像入力装置において、前記カラーフィルタと前記撮像素子との間にファイバーオプティックプレートが設けられ、前記撮像光学系による結像面に前記ファイバーオプティックプレートの入射面を設け、前記カラーフィルタを前記入射面近傍に設けることを特徴とする。
【0015】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【0016】
<A.第1実施形態>
<A1.構成>
<概要>
図1は、この第1実施形態に係る画像入力装置1Aの概略構成を示す図である。この画像入力装置1Aは、複数(ここでは6種類)の異なる透過波長帯域(マルチスペクトル)を有するカラーフィルタを微小駆動することによって、マルチスペクトル画像(または分光画像)を取得する装置である。
【0017】
図1に示すように、画像入力装置1Aは、撮像レンズ2、カラーフィルタ3、ファイバーオプティックプレート(FOP)4、イメージセンサ5を備える。
【0018】
撮像レンズ2は、物体像を所定の位置(ここではファイバーオプティックプレート4の入射面側の位置)に結像させる撮像光学系である。
【0019】
カラーフィルタ3は、複数の透過領域(色領域とも称する)を含む単位領域が分散して配置されたものである(図10参照)。複数の透過領域は、互いに異なる透過周波数特性を有している。カラーフィルタ3については、後に詳述する。
【0020】
ファイバーオプティックプレート4は、たとえば数ミクロン程度の細い光ファイバを束にした光学デバイスである。後述するリレー光学系(図8参照)をレンズで構成する場合に比べて光の進行方向における大きさ(厚み)を低減することができるので、装置サイズをコンパクトにすることができる。ここでは、ファイバーオプティックプレート4として、入射面側と同じ大きさの像を出射面側に結像するタイプのもの、すなわち等倍タイプのものを用いるものとする。なお、これに限定されず、像の変倍を行うタイプのファイバーオプティックプレートを用いても良い。
【0021】
イメージセンサ5は、複数の画素を有する撮像素子である。ここでは、イメージセンサ5として、複数の画素が2次元的に配列された複数の画素を有するCCD撮像素子を例示する。より詳細には、このイメージセンサ5においては、たとえば640画素(横方向)×480画素(縦方向)の画素がマトリックス状に配列されている。イメージセンサ5は、ファイバーオプティックプレート4の出射面側に直結され、イメージセンサ5の入射面に物体像が結像される。
【0022】
このイメージセンサ5の各画素は、多段階(たとえば256階調)の階調値を識別することが可能である。言い換えれば、イメージセンサ5単体のみでは、多段階のモノクロ画像を得ることが可能である。このイメージセンサ5の入射面側にはカラーフィルタ3が設けられているので、そのカラーフィルタ3内の各透過領域(色領域)を透過する光量に応じた値が、各画素について、各色成分の値(色成分値)として得られることになる。そして、各画素についての複数の色成分値を用いることによって、カラー画像を再構成することが可能になる。
【0023】
図2の撮像系の概略構成図に示すように、撮像レンズ2を透過した光は、さらにカラーフィルタ3およびファイバーオプティックプレート4を透過して、イメージセンサ5において結像する。より詳細には、撮像レンズ2の透過光は、撮像レンズ2によって結像面付近に設けられたカラーフィルタ3を透過した後、ファイバーオプティックプレート4の入射面に結像する。そして、ファイバーオプティックプレート4の入射面に結像した光は、ファイバーオプティックプレート4の各光ファイバーに導かれてイメージセンサ5に到達する。これにより、撮像レンズ2からの透過光はイメージセンサ5の表面において結像することになる。
【0024】
<駆動機構>
また、この画像入力装置1Aにおいては、カラーフィルタ3がファイバーオプティックプレート4およびイメージセンサ5に対して相対運動するように、駆動される。図3〜図5は、このカラーフィルタ3の駆動機構について説明する図である。図3は上面図であり、図4は正面図であり、図5は側面図である。また、図6は、このカラーフィルタ3およびその駆動機構とファイバーオプティックプレート4およびイメージセンサ5との関係を示す図であり、図2の概略構成図の一部をより詳細に示した構成図である。
【0025】
図3〜図6に示すように、画像入力装置1Aは、フィルタホルダ6、ホルダガイド7、ガイドロッド8、圧電アクチュエータ9、ベース部10、およびリニアエンコーダ11をさらに備えている。
【0026】
また、カラーフィルタ3は略薄板状のフィルタホルダ6に支持されている。フィルタホルダ6は、その中央部が中空の枠状部材である。カラーフィルタ3は、このフィルタホルダ6の4辺の枠部に固定されて支持されている。また、図6に示すように、矢印AR0の向きに撮像レンズ2からカラーフィルタ3へと向かう入射光は、中央の中空部6bを通過した後にカラーフィルタ3を通過して、ファイバーオプティックプレート4およびイメージセンサ5へと進む。
【0027】
さらに、ガイドロッド8は、フィルタホルダ6の穴部6cを貫通している。ただし、ガイドロッド8は、フィルタホルダ6に対して固定されてはおらず、フィルタホルダ6の穴部6cとの間に適宜の摩擦力が発生する状態でフィルタホルダ6と接触して支持されている。また、ガイドロッド8の一端は圧電アクチュエータ9に対して固定されており、圧電アクチュエータ9は、画像入力装置1Aの本体内部に固定されたベース部10に対して矢印AR1方向に微小振動する(言い換えれば伸縮運動を行う)。このとき、圧電アクチュエータ9は、伸長時の速度と縮小時の速度とが異なる伸縮運動を行う。そして、圧電アクチュエータ9の駆動によりガイドロッド8が図の左右方向に不均等な速度の微小振動を行うと、フィルタホルダ6は、ガイドロッド8からの摩擦力を介してその不均等な微小振動に応じて移動し、結果的に矢印AR1の方向において図の左側または右側のいずれかの向きに移動する。この結果、フィルタホルダ6に支持されているカラーフィルタ3も図の左側または右側のいずれかの方向に微小移動する。
【0028】
また、ホルダガイド7は、矢印AR1の方向にフィルタホルダ6を案内するガイド部であり、紙面の前後方向へのフィルタホルダ6の移動を規制する機能も有している。
【0029】
リニアエンコーダ11は、固定部11aと移動部11bとを有している。固定部11aは本体側に固定されており、移動部11bはフィルタホルダ6に固定されている。両者11a,11bの相対移動を検出することによって、フィルタホルダ6の矢印AR1の方向への移動量が検出される。このリニアエンコーダ11は、基準位置(原点位置)および当該基準位置からのフィルタホルダ6のずれ量を検出することができる。カラーフィルタ位置制御部22(図1)は、このリニアエンコーダ11によって検出された位置情報を用いたフィードバック制御によって、カラーフィルタ3のイメージセンサ5に対する相対位置を制御する。
【0030】
また、カラーフィルタ3およびその駆動機構は、図6に示すように、ファイバーオプティックプレート4およびイメージセンサ5に対して配置されている。ファイバーオプティックプレート4およびイメージセンサ5は、画像入力装置1Aの本体に固定された固定用部材12に対して固定されている。したがって、図6の紙面に対して垂直な方向(図4の矢印AR1の方向)におけるカラーフィルタ3の微小移動によって、カラーフィルタ3がイメージセンサ5に対して相対的に微小量だけ移動することが可能になる。この結果、イメージセンサ5の各画素とカラーフィルタ3の各透過領域との対応関係が変更される。なお、図6においては明示されていないが、イメージセンサ5は、ファイバーオプティックプレート4と固定用部材12との間の部分に存在する封入剤によって封入されている。
【0031】
ここにおいて、図2の光学系は、図7および図8の光学系と等価である。図2においては、撮像レンズ2によってファイバーオプティックプレート4の入射面側に結像された後、ファイバーオプティックプレート4の出射面側に直結されたイメージセンサ5の表面上に到達する。言い換えれば、物体像は、ファイバーオプティックプレート4を介して間接的にイメージセンサ5の表面上に結像することになる。これに対して、図7においては、物体像は、撮像レンズ2によってイメージセンサ5の表面上に直接的に結像される。また、図8においては、撮像レンズ2によってカラーフィルタ3の位置で結像された後、リレーレンズ4cを介してさらにイメージセンサ5に再結像される。カラーフィルタ3およびイメージセンサ5は、それぞれ、リレーレンズ4cの前側焦点位置および後側焦点位置に(言い換えればリレーレンズ4cに関して共役の位置に)配置されている。
【0032】
なお、図7のような光学系を用いる場合には、カラーフィルタ3とイメージセンサ5との距離を小さくすることが現実的には困難である。なぜなら、図9に示すように、イメージセンサ5の多くは、その入射面側にガラス製のフェイスプレート13を固定用部材12b等によって支持された状態で設けているため、少なくともこのフェイスプレート13の厚みの位置誤差が生じてしまうことになるからである。カラーフィルタ3が結像面から所定距離だけ離れてしまうため、カラーフィルタに関していわゆる「ピンぼけ」状態が生じてしまうのである。
【0033】
これに対して、図2および図6の構成においては、イメージセンサ5の入射側にはフェイスプレート13が設けられておらず、カラーフィルタ3とイメージセンサ5との間にファイバーオプティックプレート4が設けられている。より詳細には、ファイバーオプティックプレート4の出射面側がイメージセンサ5に直結されており、かつ、撮像レンズ2による結像面にファイバーオプティックプレート4の入射面が配置される。このとき、ファイバーオプティックプレート4の入射面(すなわち撮像レンズ2による結像面)にカラーフィルタ3を極めて近接させることが可能であるため、結像面とカラーフィルタ3との位置ずれG1を図9の状態の位置ずれG2に比べて少なくすることができる。したがって、カラーフィルタに関する「ピンぼけ」状態を回避することができる。この結果、再構成後のカラー画像の画質を向上させることができる。
【0034】
<制御系>
再び図1を参照する。画像入力装置1Aは、圧電アクチュエータドライバ21、カラーフィルタ位置制御部22、イメージセンサ駆動部23、信号処理部24、画像メモリ25、カラー画像再構成部26、補正データ格納部27、再構成カラー画像格納部28、CPU30、トリガー信号入力部31をさらに備える。
【0035】
圧電アクチュエータドライバ21は、カラーフィルタ位置制御部22からの駆動信号に基づいて、圧電アクチュエータ9に電圧を印加する。これにより、圧電アクチュエータ9が微小振動する。
【0036】
カラーフィルタ位置制御部22は、CPU30からの指示に基づいて、圧電アクチュエータドライバ21に駆動信号を与える。
【0037】
また、イメージセンサ駆動部23は、CPU30からの指示に基づいて、イメージセンサ5に駆動信号を与える。これにより、イメージセンサ5は、シャッタースピード等に関する所定のパラメータで、露光動作および画像信号の読出処理等を行うように駆動され、複数の画素のそれぞれについての画像信号が信号処理部24に対して出力される。
【0038】
信号処理部24は、イメージセンサ5からの画像信号に対して、A/D(アナログ/デジタル)変換、γ補正処理などの各種の信号処理を施す。これにより、複数の画素により構成される画像が取得される。取得された画像は画像メモリ25に格納される。後述するように、この撮像動作が複数回繰り返されることによって、複数の画像が取得される。
【0039】
画像メモリ25は、カラー画像の再構成のためにイメージセンサ5により撮像された複数の画像を格納する。この画像メモリ25は、これらの複数の画像のデータを格納できる容量を有している。たとえば、この第1実施形態においては6枚の画像が取得されるので、画像メモリ25は、6枚の画像データを格納できる容量を有していればよい。
【0040】
カラー画像再構成部26は、取得された複数の画像(この第1実施形態においては6枚の画像)に基づいて、カラー画像を再構成する。より具体的には、各画素について、複数種類(ここでは6種類)の色成分の画素値を所定の順序に配列して出力する。
【0041】
補正データ格納部27は、カラーフィルタ3の透過率レベルを各色領域ごとに補正するためのデータを格納している。補正データは、カラーフィルタ3の種類の違いおよび/または個体差に起因する特性のずれを補正するデータである。この補正データを用いることによって、透過率レベルを適正に補正することができる。
【0042】
再構成カラー画像格納部28は、再構成後のカラー画像のデータを格納する格納部である。この再構成カラー画像格納部28は、再構成後のカラー画像の画像データを格納できる容量(たとえば、画像メモリ25と同程度の容量)を有している。ただし、必ずしもこの再構成カラー画像格納部28に格納する必要はなく、再構成後のカラー画像を直接的に装置の外部に出力するようにしてもよい。
【0043】
CPU30は、カラーフィルタ位置制御部22、イメージセンサ駆動部23、カラー画像再構成部26などに対して、それぞれ、動作の開始およびそのパラメータなどを含む指示を与える機能を有している。
【0044】
また、トリガー信号入力部31は、撮影開始を指示する撮像開始指示ボタンなどで構成される。撮像開始指示ボタンが撮影者によって押下されたことが検出されると、その撮影開始指令が与えられたものとして、言い換えれば、撮影開始のトリガー信号が入力されたものとみなして、当該トリガー信号がCPU30に対して与えられる。
【0045】
<カラーフィルタ>
図10は、カラーフィルタ3とイメージセンサ5との対応関係を示す図である。この第1実施形態のカラーフィルタ3(3Aとも称する)においては、イメージセンサ5の垂直画素列に沿って1画素幅の細長い矩形形状(「ストライプ状」とも称する)の透過領域(色領域)が水平方向に繰り返して配置されている。具体的には、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の6色のストライプ状の色領域がこの順序で水平方向に周期的に繰り返される。
【0046】
図10においては、イメージセンサ5の最も左側の第1列の垂直画素列の位置に、紫(V)のストライプ状の色領域が存在している。続いて第2列の垂直画素列の位置に青(B)のストライプ状の色領域が存在しており、第3列の垂直画素列の位置に緑(G)のストライプ状の色領域が存在している。さらに続いて、第4列の垂直画素列の位置に黄(Y)のストライプ状の色領域が存在しており、第5列の垂直画素列の位置にオレンジ(O)のストライプ状の色領域が存在しており、第6列の垂直画素列の位置に赤(R)のストライプ状の色領域が存在している。
【0047】
このように第1列から第6列の垂直画素列を覆う領域に、ストライプ状の6種類の色領域が含まれている。
【0048】
さらに、上記のような6種類の色領域を含む領域を単位領域として、同じ単位領域が水平方向に繰り返し配列される。
【0049】
具体的には、第7列の垂直画素列の位置には紫(V)のストライプ状の色領域が存在しており、第8列の垂直画素列の位置には青(B)のストライプ状の色領域が存在している。また、第9列、第10列、第11列、第12列の垂直画素列の位置には、それぞれ、緑(G)、黄(Y)、オレンジ(O)、赤(R)のストライプ状の色領域が存在している。このように第7列から第12列にわたって、6種類の色領域が、第1列から第6列における順序と同一の順序で配置されることになる。
【0050】
同様に、第13列〜第18列の垂直画素列の位置には、それぞれ、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)のストライプ状の色領域が存在している。
【0051】
以降同様に、6種類のストライプ状の色領域を含む単位領域が、水平方向に繰り返し配置されることになる。また、ここでは各単位領域内における6種類のストライプ状の色領域の水平方向における配列順序は、他の単位領域と同一である。
【0052】
後述するように、このようなカラーフィルタ3Aをイメージセンサ5に対して水平方向に1画素幅ずつずらして撮像動作を繰り返すことによって、合計6枚の画像を取得することができる。これにより、各画素について6種類の色成分を求めることができる。
【0053】
また、カラーフィルタ3Aは、水平方向の移動後においてもイメージセンサ5の全画素を覆う程度の大きさを有していればよい。具体的には、カラーフィルタ3Aの水平方向における最小サイズを、イメージセンサ5の水平方向の画素幅(すなわち640個の画素に相当する幅)に、1画素幅の5回の移動幅(5個の画素に相当する幅)をさらに加えた幅(すなわち645個の画素に相当する幅)とすることができる。また、垂直方向においては、イメージセンサ5の大きさをカラーフィルタ3の最小サイズとすることができる。このように、カラーフィルタ3Aの大きさを、イメージセンサ5のサイズとほぼ同程度の大きさとすることができる。
【0054】
<A2.動作>
つぎに、この第1実施形態における動作について図11を参照しながら説明する。図11は、この動作を示すフローチャートである。
【0055】
まず、ステップSP1においては、撮影開始動作が行われる。具体的には、操作者が所定の撮像開始ボタン(図示せず)を押下すると、トリガー信号入力部31がCPU30に対して撮像開始のトリガー信号を与える。その後、画像入力装置1Aは、カウンタ値nを初期値1に設定して(n=1)、ステップSP2に進む。
【0056】
次のステップSP2において、画像入力装置1Aは、第n枚目(ここでは、n=1、すなわち第1枚目)の画像を撮像するための撮像位置へとカラーフィルタ3Aを移動する。第1枚目の撮像位置は、カラーフィルタ3Aとイメージセンサ5とが図10に示すような対応関係を有する位置である。
【0057】
具体的には、CPU30はカラーフィルタ位置制御部22に駆動指示を与え、この指示に基づいて、カラーフィルタ位置制御部22が圧電アクチュエータドライバ21に駆動信号を与える。そして、これに応じて、圧電アクチュエータドライバ21が圧電アクチュエータ9に所定形状のパルス電圧を印加することによって、圧電アクチュエータ9が伸長および縮小を繰り返す振動動作を行う。伸長時と縮小時との速度が不均一であることによって、ガイドロッド8がイメージセンサ5に対して矢印AR2(図10)の向き(図10の左向き)に移動する。移動制御はリニアエンコーダ11による位置の検出信号等に基づくフィードバック制御によって行われる。この移動制御によって、第1枚目の画像を撮像する撮像位置へと移動すると次のステップSP3に進む。
【0058】
ステップSP3においては、第n枚目(ここでは、n=1、すなわち第1枚目)の画像を撮影する。
【0059】
具体的には、カラーフィルタ位置制御部22によってカラーフィルタ3Aが第1枚目の画像の撮像位置へと移動したことが検出されると、CPU30は、イメージセンサ駆動部23に対して駆動指令を送出する。イメージセンサ駆動部23は、この指令に応答して光電変換により640画素×480画素のサイズの画像の画像信号を取得する。信号処理部24は、取得された画像信号に対して所定の信号処理を施すことによって同サイズ(640画素×480画素)の画像データを生成し、第1枚目の画像を示すデータとして画像メモリ25に格納する。
【0060】
ここにおいて、イメージセンサ5の各画素においては、カラーフィルタ3Aの対応する透過領域(色領域)を透過してきた光が結像する。
【0061】
たとえば、図10に示すように、第1列の垂直画素列の各画素においては、紫(V)の色領域を透過した光が結像し、同様に、第2列〜第6列の垂直画素列の各画素においては、それぞれ、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の色領域を透過した光が結像する。以降同様に、第7列〜第640列の垂直画素列の各画素において、6つの色領域のうち上記の順序で対応する色領域を透過してきた光が結像する。これにより、この画像内の各画素について、対応する色領域を透過した光に対応する値、すなわち、対応する色成分の値(色成分値)を取得することができる。
【0062】
ステップSP4においては、6枚の画像の撮像を全て終了したか否かを判定する。6つの全画像の撮像が終了している場合にはステップSP6に進み、未だ撮像していない画像が残っている場合にはステップSP5に進む。
【0063】
ここでは、未だ第2枚目〜第5枚目の撮像が未だ終了していないので、ステップSP5に進む。ステップSP5では値nを1つ増加(インクリメント)させて、ステップSP2に戻る。
【0064】
次のステップSP2では、画像入力装置1Aは、第n枚目(ここでは、n=2、すなわち第2枚目)の画像を撮像するための撮像位置へとカラーフィルタ3Aを移動する。具体的には、カラーフィルタ3Aは、矢印AR2の方向(図10の左向き)に1画素幅だけイメージセンサ5に対して移動される。この結果、カラーフィルタ3Aとイメージセンサ5との対応関係は、図10に示すような対応関係とは異なる対応関係に変更される。
【0065】
ステップSP3においては、第n枚目(ここでは、n=2、すなわち第2枚目)の画像を撮影する。
【0066】
図12は、第n枚目の撮像画像における、カラーフィルタ3Aの各色領域とイメージセンサ5の各画素との対応関係を示す図である。図12においては、説明の簡略化のため、イメージセンサ5から1つの水平画素列を取り出し、さらに、640個の画素を有する1つの水平画素列のうち第1列から第6列の6個の画素と各色領域との対応関係を中心に例示している。各色領域は垂直方向に延びるストライプ形状を有しているので、垂直位置が異なっていても水平位置が同一の画素(すなわち同じ列番号を有する画素)は同じの種類の色領域に対応する。また、同じ順序で配列された色領域を有する単位領域がさらに周期的に配列されるので、第7列以降の画素に関しても同様に考えることができる。そのため、以下では第1列から第6列の画素について説明する。
【0067】
図12に示すように、第1枚目の画像の撮像時と比較して、第2枚目の画像の撮像時においては、カラーフィルタ3Aが1画素分水平方向において左側に移動している。したがって、第2枚目の画像の撮像時においては、第1列の垂直画素列の各画素においては、青(B)の色領域を透過した光が結像する。同様に、第2列〜第6列の垂直画素列の各画素においては、それぞれ、緑(G)、黄(Y)、オレンジ(O)、赤(R)、紫(V)の色領域を透過した光が結像する。以降同様に、第7列〜第640列の垂直画素列の各画素において、6つの色領域のうち上記の順序で対応する色領域を透過してきた光が結像する。
【0068】
このような撮像動作によって、第2枚目の画像が画像メモリ25に格納される。
【0069】
その後、ステップSP4において6つの全画像の撮像が終了したと判定されるまで、ステップSP5,SP2,SP3,SP4の動作が繰り返される。そして、6つの画像が全て撮像されるとステップSP6に進む。この結果、画像メモリ25には、第1枚目から第6枚目までの6種類の画像を示すデータが格納される。
【0070】
図12を参照すると判るように、上記のステップSP2,SP3,SP4,SP5を繰り返すことによって、6種類の画像における同一位置の各画素について6種類の色成分が得られる。具体的には、第1列目の垂直画素列内の各画素に関しては、第1枚目の撮像画像によって紫(V)の色成分値が得られ、第2枚目の撮像画像によって青(B)の色成分値が得られる。その後、第3枚目から第6枚目の撮像画像のそれぞれによって、緑(G)、黄(Y)、オレンジ(O)、赤(R)の色成分値が得られる。
【0071】
また、第2列目の垂直画素列内の各画素に関しては、第1枚目から第6枚目の撮像画像によって、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)、紫(V)の色成分値がこの順序で得られる。
【0072】
さらに、第3列目の垂直画素列内の各画素に関しては、第1枚目から第6枚目の撮像画像によって、緑(G)、黄(Y)、オレンジ(O)、赤(R)、紫(V)、青(B)の色成分値がこの順序で得られる。
【0073】
同様に、第4列目の垂直画素列内の各画素に関しては、第1枚目から第6枚目の撮像画像によって、黄(Y)、オレンジ(O)、赤(R)、紫(V)、青(B)、緑(G)の色成分値がこの順序で得られる。
【0074】
また、第5列目の垂直画素列内の各画素に関しては、第1枚目から第6枚目の撮像画像によって、オレンジ(O)、赤(R)、紫(V)、青(B)、緑(G)、黄(Y)の色成分値がこの順序で得られる。
【0075】
さらに、第6列目の垂直画素列内の各画素に関しては、第1枚目から第6枚目の撮像画像によって、赤(R)、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)の色成分値がこの順序で得られる。
【0076】
ステップSP6では、カラー画像の再構成動作が行われる。図12を参照しつつ説明したように、垂直画素列ごとにその色成分の順序が異なっている。このステップSP6では、画素毎に複数の色成分の再配列動作を行う。具体的には、全ての画素について、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の順序で、その画素に対応する色成分を再配置する。再配置されたカラー画像データは、各画素毎に6種類の色成分を有する画像データであり、再構成カラー画像格納部28に格納される。
【0077】
具体的には、まず、第1列目の垂直画素列内の各画素に関しては、第1枚目から第6枚目の撮像画像から各色成分値を取得し、各色成分値をその取得順序にしたがって配置する。
【0078】
つぎに、第2列目の垂直画素列内の各画素に関しては、まず、第6枚目の撮像画像によって、紫(V)の色成分値を取得し、その後、第1枚目の撮像画像によって青(B)の色成分値を取得する。さらに、第2枚目から第5枚目の撮像画像によって、緑(G)、黄(Y)、オレンジ(O)、赤(R)の色成分値をこの順序で取得する。そして、これらの各色成分値を取得順序にしたがって配置することによって第2列目の垂直画素列内の各画素に関する色成分値が再配置される。
【0079】
この結果、第1列目および第2列目の垂直画素列内の各画素に関して、いずれも、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の各色成分値をこの順序で並べることができる。
【0080】
さらに、第3列目の垂直画素列内の各画素に関しては、まず、第5枚目の撮像画像によって、紫(V)の色成分値を取得し、つぎに、第6枚目の撮像画像によって青(B)の色成分値を取得する。その後、第1枚目から第4枚目の撮像画像によって、緑(G)、黄(Y)、オレンジ(O)、赤(R)の色成分値を取得する。そして、これらの各色成分値を取得順序にしたがって配置することによって第2列目の垂直画素列内の各画素に関する色成分値を再構成する。
【0081】
第4列目以降についても、同様に、撮像画像からの各画素成分値の取得順序(何枚目の撮像画像から各画素成分値を取得するか)を列ごとに変更した再配置動作を行うことによって、イメージセンサ5内の全ての画素について、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の各色成分値をこの順序で再配置することができる。
【0082】
これにより、画素ごとに、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の6種類の各色成分値をこの順序で配列することができる。
【0083】
なお、カラー画像の再構成動作は、各画素とその各画素に対応する6種類の色成分値とを対応付ける動作であればよく、上述した態様のものに限定されない。具体的には、カラーフィルタ3の各色領域とイメージセンサ5の各画素との対応関係を変更しつつ取得した複数(例えば、6枚あるいは7枚)の画像に基づいて、色成分ごとの6枚の成分値画像を生成するようにしてもよい。6枚の成分値画像のそれぞれは、イメージセンサ5のサイズ(たとえば、640画素×480画素)を有しており、6種類の紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)のうちのいずれかの色成分(たとえば、紫)のみの画素成分値が画素配列にしたがって配置された画像である。各色成分値画像を、画素の配列順序がそのまま維持された画像とすることによって、各画素と各色成分値との対応関係を明確に把握することができる。
【0084】
次のステップSP7では、補正データ格納部27に格納されている補正データを参照して、再構成カラー画像格納部28に格納されている再構成カラー画像の各画素の色成分毎にその透過率特性に基づく補正を行う。これにより、カラーフィルタ3の種類および/またはカラーフィルタ3の個体差に起因する誤差を低減することが可能になる。
【0085】
以上のようにして、カラーフィルタ3Aとイメージセンサ5との対応関係を変更して撮像された6枚の画像を用いることによって、イメージセンサ5の全ての画素について、6種類の色成分値を取得することができる。そして、これらの6種類の色成分値に基づいて再構成されたカラー画像(再構成カラー画像)は、ベイヤー配列などの所定の空間的配列を有するCCD撮像素子によって撮像されたカラー画像に比べて、比較的高い空間解像度を有することが可能である。6種類の色成分値の全てをイメージセンサ5の画素毎に取得できるからである。このように、この画像入力装置1Aによれば、空間解像度の低下を防止することが可能である。
【0086】
また、カラーフィルタ3Aには、6種類の1画素幅のストライプ状色領域を含む単位領域が水平方向に繰り返し配置されており、カラーフィルタ3Aを水平方向に6画素幅という微小幅にわたって移動することによって、各画素について6種類の色成分値を取得することができる。
【0087】
この画像入力装置1Aによれば、上記の第1の従来技術のようなイメージセンサ5の程度の大きさのカラーフィルタを複数個(たとえば6個)設ける必要がないので、小型化が可能である。また、第2の従来技術のように、光路を分割して2つのイメージセンサを設ける必要がないので、小型化が可能である。
【0088】
さらに、上記のようなカラーフィルタ3Aを所定方向に移動し、イメージセンサ5の各画素とカラーフィルタ3Aの各透過領域との対応関係を変更することによって、各画素について複数の色成分値を得ることができる。したがって、上記第3の従来技術のように液晶チューナブルフィルタを制御する必要がないので、制御が容易になる。
【0089】
特に、第3の従来技術においては高電圧の制御回路が必要になるのに対して、上記の第1実施形態の画像入力装置1Aにおいては、カラーフィルタ3Aを駆動するための比較的低電圧(例えば数ボルト〜数十ボルト程度)の駆動用制御回路を設ければよく、高電圧(例えば200ボルト程度)の制御回路が不要になる。
【0090】
また、カラーフィルタ3Aのいずれの単位領域においても、ストライプ状の複数の透過領域(色領域)が同一の間隔で且つ同一の順序で配列されている。言い換えれば、カラーフィルタ3Aにおいては複数の色領域が同一の順序で周期的かつ循環的に配列されている。したがって、水平方向における1画素幅ずつの移動に伴う合計6枚の撮像画像によって、イメージセンサ5内の全ての画素のそれぞれについて6種類の色成分の全てを得ることができる。また、複数の色領域は各単位領域内において同一の順序で配列されているので、水平方向において同様の制御を周期的に繰り返せばよいので、各画素に対する制御が容易である。
【0091】
さらに、カラーフィルタ3Aにおいてはストライプ状の複数の色領域が1方向(水平方向)に配列されており、カラーフィルタ3Aをイメージセンサ5に対して水平方向に移動させることによって、各画素の色成分値が求められている。したがって、2つの方向に移動させる場合に比べて、移動機構を簡略化することができる。
【0092】
また、カラーフィルタ3Aにおける複数の色領域のそれぞれは、垂直方向に延びるストライプ状の領域であるので、垂直方向に配列された各画素については、同一の手順でその色成分値を再配列することができる。したがって、制御が容易である。また、垂直方向にも異なる色が配置されている場合に比べて、カラーフィルタ3Aとイメージセンサ5との位置合わせが容易である。
【0093】
<B.第2実施形態>
上記の第1実施形態においては、カラーフィルタ3Aの1画素幅のストライプ状の各色領域が別異の種類の色領域と隣接している。この場合、カラーフィルタ3Aの位置が撮像レンズ2の結像面からずれていることなどに起因して、実際には、各色領域の境界部分において、隣接する色領域からの光の漏れが生じることがある。たとえば、図10に示すように、第2列目の垂直画素列の各画素については、その直上を覆っている青(B)の色領域を透過した光が大部分(例えば80%)であるが、隣接する紫(V)の色領域を透過した光と隣接する緑(G)の色領域を透過した光とがそれぞれ少しずつ(例えば10%ずつ)混じってしまうことがある。
【0094】
そこで、第2実施形態においては、このような混色に起因する画質の劣化を抑制することが可能な画像入力装置1Bについて説明する。この画像入力装置1Bは、異なる透過領域(色領域)が隣接する位置の透過光情報を用いずに、イメージセンサ5の各画素の色を求める。より具体的には、異なる色領域が隣接する位置に遮光領域BKを設け、その遮光領域BKに対応する画素成分値を無効データとして取り扱い、カラー画像の再構成に用いない。そして、遮光領域BK以外の領域(色領域)に対応する画素成分値のみに基づいて、カラー画像を構成する複数の色成分値を求めるのである。
【0095】
画像入力装置1Bは、第1実施形態の画像入力装置1Aと同様の構成等を有しており、説明の簡略化のため以下では相違点を中心に説明する。
【0096】
この画像入力装置1Bにおいては、カラーフィルタ3Aの代わりにカラーフィルタ3Bが設けられている。図13は、画像入力装置1Bのカラーフィルタ3Bを示す図である。
【0097】
このカラーフィルタ3Bにおいては、ストライプ状の6種類の各色領域が、各色領域の間に黒い遮光領域BKを挟んで周期的に繰り返して配置されている。ここでは、各色領域はそれぞれ6画素分の幅を有しており、黒色の遮光領域BKは1画素分の幅を有している。また、各色領域としては、図の左から順に、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の順序で配置されている。このように、カラーフィルタ3Bにおいては、6画素幅の6つの色領域と各色領域間に挟まれている1画素幅の遮光領域とを有する1つの単位領域が、水平方向に周期的に繰り返されて配置されている。この単位領域は水平方向に42(=(6+1)*6)画素の幅を有しており、カラーフィルタ3Bは1周期が42画素の周期的なストライプ模様を有している。
【0098】
ここにおいて、このカラーフィルタ3Bにおいては、遮光領域BKを設けることによって、隣接する色領域からの光が入射すること、すなわち隣接異色領域からの光の漏れを防止している。
【0099】
仮に遮光領域を設けず紫の色領域と青の色領域とが直接的に隣接することを想定する場合には、紫(V)の色領域のうち右端の各画素に対して、その右側に隣接する青(B)の色領域からの光の漏れに起因する成分が混入するとともに、青(V)の色領域のうち左端の各画素に対して、その左側に隣接する紫(V)の色領域からの光の漏れに起因する成分が混入する。すなわち、隣接する2つの垂直画素列に異なる色成分が互いに混入してしまうことになる。したがって、2画素幅の領域に対応する画素成分値が不正確な値になってしまう。
【0100】
これに対して、遮光領域(ここでは1画素幅)BKを設けることによって、遮光領域BKに隣接する部分においては、当該遮光領域BKからの光の漏れに起因する成分は検出されない。たとえば、第6列目の紫(V)の色領域においては、第7列目の遮光領域BKからの光の漏れに相当する成分は検出されず、第8列目の青(B)の色領域においても、第7列目の遮光領域BKからの光の漏れに相当する成分は検出されない。したがって、1画素幅の遮光領域BKの画素成分値のみを無効データとすればよい。このように、隣接異色領域からの光の漏れに起因する色の混じりを効率的に防止することができる。言い換えれば、隣接異色領域からの光の漏れに起因する混食を最小限のスペースで防止することが可能である。
【0101】
なお、ここでは、水平方向に隣接する直近の1画素からの光の漏れのみを防止するために遮光領域の幅を1画素幅としているが、水平方向に隣接する直近の2画素以上の所定数の画素からの光の漏れをも考慮する場合には、遮光領域の幅を2画素幅以上に設定しても良い。
【0102】
また、各色領域あたりの幅を広くする(ここでは各色領域の幅を6画素幅としている)ことによって、異なる色領域が隣接する部分を減らしている。この第2実施形態においては、境界部分(具体的には、遮光領域BK)の画素成分値は無効データであるとみなされるので、異色領域との隣接部分を減らすことによってその無効データの量を削減できる。たとえば、仮に水平方向において1画素おきにストライプ状の遮光領域を設ける場合には、1枚の画像に含まれる全画素のうちの1/2(2分の1)の画素が無効データになるが、図13のように遮光領域BKを設ける場合には無効データは全画素の1/7(7分の1)で済む。このように、各色領域あたりの幅を広くすることによって、カラー画像再構成用の複数の画像をより効率的に取得することが可能になる。
【0103】
この第2実施形態においては、第1枚目の画像を撮像した後、第2枚目以降の画像のそれぞれがカラーフィルタ3を少しずつ移動させながら撮像される。第n枚目(n=2,3,...,7)の画像は、第(n−1)枚目の画像と比べて、カラーフィルタ3Bを図13の右側に向かって6画素幅にわたって移動させた後に撮像される。そして、同様の動作を繰り返すことによって、合計7枚の画像を撮像する。その他の動作については、第1実施形態と同様である。
【0104】
図13に示すように、第1枚目の画像の撮像時には、第1列から第6列の垂直画素列の各画素には紫(V)の色領域が対応し、この各画素には紫(V)の色領域を透過した光が結像する。
【0105】
また、第7列、第14列、第21列、第28列、第35列、および第42列の垂直画素列の各画素には遮光領域BKが対応するため、その各画素による受光量は理論的にはゼロである。上述したように、遮光領域BKの隣接領域からの光の漏れが存在する場合には、所定の画素成分値が存在することになる。ただし、この遮光領域BKに対応する画素成分値は、無効データであるとして取り扱われカラー画像の再構成には用いられないので、どのような値であっても再構成後のカラー画像の画質には影響を与えない。
【0106】
さらに、第8列から第13列の垂直画素列の各画素には青(B)の色領域が対応し、これらの各画素には青(B)の色領域を透過した光が結像する。第15列から第20列の垂直画素列の各画素には緑(G)の色領域が対応し、これらの各画素には緑(G)の色領域を透過した光が結像する。第22列から第27列の垂直画素列の各画素には黄(Y)の色領域が対応し、これらの各画素には黄(Y)の色領域を透過した光が結像する。第29列から第34列の垂直画素列の各画素にはオレンジ(O)の色領域が対応し、これらの各画素にはオレンジ(O)の色領域を透過した光が結像する。第36列から第41列の垂直画素列の各画素には赤(R)の色領域が対応し、これらの各画素には赤(R)の色領域を透過した光が結像する。
【0107】
以降同様に、カラーフィルタ3Bにおけるいずれかの種類の色領域が、第640列までの垂直画素列の各画素に対応する。
【0108】
なお、カラーフィルタ3Bは、後述する水平方向の移動後においてもイメージセンサ5の全画素を覆う程度の大きさを有していればよい。具体的には、カラーフィルタ3Bの水平方向における最小サイズを、イメージセンサ5の水平方向の画素幅(すなわち640個の画素に相当する幅)に6画素幅の6回の移動幅(36個の画素に相当する幅)をさらに加えた幅(すなわち676個の画素に相当する幅)とすることができる。このように、カラーフィルタ3Bの大きさを、イメージセンサ5のサイズとほぼ同程度の大きさとすることができる。
【0109】
図14は、第1枚目から第7枚目までの各撮像画像の撮像時におけるカラーフィルタ3Bとイメージセンサ5との位置の対応関係を示す図である。
【0110】
図14に示すように、第1枚目の画像の撮像時と比較して、第2枚目の画像の撮像時においては、カラーフィルタ3Bが6画素幅にわたって水平方向において右側に(矢印AR3の向きに)移動している。なお、図14において、最上段の各正方形はイメージセンサ5内の所定の水平画素列における各画素を示しており、その正方形の中の数字はその各画素が左から何列目のものであるかを示している。
【0111】
このカラーフィルタ3Bの移動の結果、第2枚目の画像の撮像時には、第7列から第12列の垂直画素列の各画素には紫(V)の色領域が対応し、これらの各画素には紫(V)の色領域を透過した光が結像する。また、第13列、第20列、第27列、第34列、第41列、および第48列の垂直画素列の各画素には遮光領域BKが対応する。
【0112】
さらに、第14列から第19列の垂直画素列の各画素には青(B)の色領域が対応し、第21列から第26列の垂直画素列の各画素に緑(G)の色領域が対応する。また、第28列から第33列の垂直画素列の各画素には黄(Y)の色領域が対応し、第35列から第40列の垂直画素列の各画素にはオレンジ(O)の色領域が対応し、第42列から第47列の垂直画素列の各画素には、赤(R)の色領域が対応する。
【0113】
以降同様に第640列までの垂直画素列の各画素に関して、カラーフィルタ3Bにおける各色領域との対応関係が変更される。
【0114】
また、第1列〜第5列の垂直画素列の各画素には赤(R)の色領域が対応し、第6列の垂直画素列の各画素には遮光領域BKが対応する。
【0115】
このような光学像をイメージセンサ5を用いて撮像することによって、第2枚目の画像が画像メモリ25に格納される。
【0116】
以降同様に、カラーフィルタ3Bが6画素幅にわたって水平方向において順次に右側に移動されつつ、第3枚目から第7枚目までの5枚の画像が撮像され、画像メモリ25に格納される。この結果、7枚の画像が画像メモリ25に格納されることになる。
【0117】
このようにして取得された7枚の画像は、カラーフィルタ3Bにおける各色領域とイメージセンサ5における各画素との対応関係が互いに異なっている。
【0118】
具体的には、第1列から第7列の垂直画素列の各画素においては、第1枚目から第7枚目までの撮像動作に伴って、紫(V)、赤(R)、オレンジ(O)、黄(Y)、緑(G)、青(B)の各色領域がこの順序で対応し、対応する各色成分値が取得される。ただし、何枚目の画像のときにその画素が遮光領域に対応するか(言い換えれば、遮光領域(BK)への対応時点)は列ごとに異なっている。たとえば、第2列の垂直画素列の対応領域が遮光領域となるのは、第6枚目の画像であり、第7列の垂直画素列の対応領域が遮光領域となるのは、第1枚目の画像である。
【0119】
また、第8列から第14列の垂直画素列の各画素においては、第1枚目から第7枚目までの撮像動作に伴って、青(B)、紫(V)、赤(R)、オレンジ(O)、黄(Y)、緑(G)の順に、各色成分値が取得される。ただし、遮光領域(BK)に対応する成分値の出現時点は互いに相違する。
【0120】
その他の画素列についても同様である。
【0121】
上記のような移動を伴う撮像動作による7枚の画像によれば、各画素について、撮影の順序が異なるものの、6種類の色領域のそれぞれにおける透過光量を反映した値(すなわち6種類の色成分値)を得ることができる。なお、各画素について、7枚の画像のうち1枚の画像は、遮光領域に対応する成分値を有していることになる。ここでは、この遮光領域に対応する成分値を、無効データとみなしてカラー再構成用のデータから除外する。一方、各画素について得られた6種類の色成分値に基づいて、上述したようなカラー画像再構成動作を行う。具体的には、各画素について、同一の順序(たとえば、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の順)となるように、色成分値を再配列する。
【0122】
以上のようにして、カラーフィルタ3Bとイメージセンサ5との対応関係を変更して撮像された7枚の画像を用いることによって、イメージセンサ5の全ての画素について、6種類の色領域を透過した光量を反映した色成分値を取得することができる。したがって、空間解像度の低下を防止することが可能である。
【0123】
また、カラーフィルタ3Bには、6種類のストライプ状色領域を含む42画素幅の単位領域が水平方向に繰り返し配置されており、カラーフィルタ3Bを水平方向に36画素幅(6画素幅×6回)という微小幅にわたって移動することによって、各画素について6種類の色成分値を取得することができる。
【0124】
したがって、この画像入力装置1Bによれば、装置の小型化および制御の容易化が可能である。
【0125】
また、この第2実施形態の画像入力装置1Bによれば、透過周波数特性の異なる透過領域が隣接する位置に遮光領域を設けており、当該遮光領域の画素成分値を用いずに、イメージセンサ5の各画素の色が求められる。言い換えれば、異なる透過領域の境界位置に対応する画素成分値を用いることなく、各画素の色を表現するための色成分値が求められる。したがって、隣接透過領域からの光の漏れの影響を低減することができる。この結果、再構成されたカラー画像の画質を向上させることができる。
【0126】
さらに特に、異なる色領域の境界位置に遮光領域が設けられているので、遮光領域からその遮光領域に隣接する色領域への光の漏れを防止して、色の混じりを効率的に防止することができる。
【0127】
<C.第3実施形態>
上記の第1実施形態および第2実施形態は、複数の画素がマトリックス状(ないし正方格子状)に配列されたイメージセンサを用いる場合について説明したが、この第3実施形態においては、図15(a)に示すような、複数の画素がジグザグに(ないしハニカム状)に配列されたイメージセンサ(以下、ハニカムCCDとも称する)5Cを用いる場合について説明する。なお、図15(a)は、この第3実施形態で用いられるイメージセンサ5Cの画素配列(より正確には受光素子の配列)を示しており、図15(b)は、上記第1実施形態および第2実施形態で用いられるイメージセンサ5(5Aとも称する)のマトリックス状の画素配列を示している。
【0128】
このようなイメージセンサ5Cに関しても、上記の第1実施形態および第2実施形態と同様の思想を適用することが可能である。たとえば、イメージセンサ5Cにおいて隣接する2つの垂直画素列を、イメージセンサ5Aにおける1つの垂直画素列に相当するものと考えればよい。具体的には、上記第1実施形態および第2実施形態のストライプ状の各色領域(および遮光領域)の幅を2倍にし、且つ、撮影ごとの移動量をも2倍にすればよい。
【0129】
この第3実施形態においては、第2実施形態と同様の技術をイメージセンサ5Cに対して適用する場合について例示する。すなわち、カラーフィルタに遮光領域をも設ける場合について例示する。これにより、混色を効率的に防止することができる。
【0130】
第3実施形態に係る画像入力装置1Cは、第1実施形態の画像入力装置1Aおよび第2実施形態の画像入力装置1Bと同様の構成等を有している。以下では、説明の簡略化のため相違点を中心に説明する。
【0131】
この画像入力装置1Cにおいては、カラーフィルタ3Aの代わりにカラーフィルタ3Cが設けられている。図16は、画像入力装置1Cのカラーフィルタ3Cを示す図である。
【0132】
このカラーフィルタ3Cにおいては、ストライプ状の6種類の各色領域が、周期的に繰り返して配置されている。また、各色領域の相互間には、遮光領域BKが設けられている。図16においては、各画素の大きさを明示していないが、各色領域はそれぞれ12画素分の幅を有しており、黒色の遮光領域BKは2画素分の幅を有している。すなわち、各色領域および遮光領域は、それぞれ、第1実施形態に比べて2倍の画素幅を有している。また、第1実施形態および第2実施形態と同様に、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の各色領域が、この順序で周期的に配置されている。
【0133】
このように、カラーフィルタ3Cにおいては、12画素幅の6つの色領域と各色領域間に挟まれている2画素幅の遮光領域とを有する1つの単位領域が、水平方向に周期的に繰り返されて配置されている。この単位領域は水平方向に84(=(12+2)*6)画素の幅を有しており、カラーフィルタ3Cは1周期=84画素の周期的配列のストライプ模様を有している。
【0134】
また、図17は、イメージセンサ5C(図15(a)参照)の一部をさらに模式的に示す図であり、図16の部分PAに相当する部分を示す拡大図である。図17においては、黒線で囲まれた白色正方形領域が画素を示している。また、ハッチング領域には画素が存在しない。さらに、画素列の水平方向の位置および垂直方向の位置を示すための番号が付されている。
【0135】
図17に示すように、イメージセンサ5Cにおいては、奇数列においては、奇数段の位置にのみ画素が存在し偶数段の位置には画素が存在しない。また、偶数列においては、偶数段の位置にのみ画素が存在し奇数段の位置には画素が存在しない。端的に言えば、イメージセンサ5Cは、チェス盤のような画素配置を有している。
【0136】
図16および図17に示すように、第1枚目の画像の撮像時には、第1列から第12列の垂直画素列の各画素には紫(V)の色領域が対応し、この各画素には紫(V)の色領域を透過した光が結像する。
【0137】
また、第13列、第14列、第27列、第28列、第41列、第42列、第55列、第56列、第69列、第70列、第83列、および第84列の垂直画素列の各画素には遮光領域BKが対応するため、その各画素による受光量は理論的にはゼロである。なお、この遮光領域BKに対応する画素成分値は、無効データであるとして取り扱われ、カラー画像の再構成には用いられないので、どのような値であっても再構成後のカラー画像の画質には影響を与えない。
【0138】
さらに、第15列から第26列の垂直画素列の各画素には青(B)の色領域が対応し、これらの各画素には青(B)の色領域を透過した光が結像する。第29列から第40列の垂直画素列の各画素には緑(G)の色領域が対応し、これらの各画素には緑(G)の色領域を透過した光が結像する。第43列から第54列の垂直画素列の各画素には黄(Y)の色領域が対応し、これらの各画素には黄(Y)の色領域を透過した光が結像する。第57列から第68列の垂直画素列の各画素にはオレンジ(O)の色領域が対応し、これらの各画素にはオレンジ(O)の色領域を透過した光が結像する。第71列から第82列の垂直画素列の各画素には赤(R)の色領域が対応し、これらの各画素には赤(R)の色領域を透過した光が結像する。
【0139】
以降の垂直画素列の各画素に対しても、同様に、カラーフィルタ3Cにおけるいずれかの種類の色領域が対応する。
【0140】
この第3実施形態においても、第1枚目の画像を撮像した後、第2枚目以降の画像のそれぞれは、カラーフィルタ3Cを少しずつ移動させて撮像される。ただし、第n枚目(n=2,3,...,7)の画像は、第(n−1)枚目の画像と比べて、カラーフィルタ3Cを図16の右側に向かって「12画素幅」にわたって移動させた後に撮像される。この移動幅は第2実施形態の移動幅の2倍に相当する。そして、同様の動作を繰り返すことによって、合計7枚の画像を撮像する。その他の動作については、第2実施形態と同様である。
【0141】
図18は、第1枚目から第7枚目までの各撮像画像の撮像時におけるカラーフィルタ3Cとイメージセンサ5Cとの位置の対応関係を示す図である。
【0142】
図18に示すように、第1枚目の画像の撮像時と比較して、第2枚目の画像の撮像時においては、カラーフィルタ3Cが12画素幅にわたって水平方向において右側に(矢印AR4の向きに)移動している。なお、図18において、最上段の各正方形には、奇数段の位置に存在する画素のうちその水平位置に対応する画素の列番号が示されており、その下側の各正方形には、偶数段の位置に存在する画素のうちその水平位置に対応する画素の列番号が示されている。
【0143】
このカラーフィルタ3Cの移動の結果、第2枚目の画像の撮像時には、第13列から第24列の垂直画素列の各画素には紫(V)の色領域が対応し、これらの各画素には紫(V)の色領域を透過した光が結像する。また、第25列、第26列、第39列、第40列、第53列、第54列、第67列、第68列、第81列、および第82列の垂直画素列の各画素には遮光領域BKが対応する。
【0144】
さらに、第27列から第38列の垂直画素列の各画素には青(B)の色領域が対応し、第41列から第52列の垂直画素列の各画素に緑(G)の色領域が対応する。また、第55列から第66列の垂直画素列の各画素には黄(Y)の色領域が対応し、第69列から第80列の垂直画素列の各画素にはオレンジ(O)の色領域が対応し、第83列から第94列の垂直画素列の各画素には、赤(R)の色領域が対応する。
【0145】
また、第1列〜第10列の垂直画素列の各画素には赤(R)の色領域が対応し、第11列および第12列の垂直画素列の各画素には遮光領域BKが対応する。
【0146】
他の垂直画素列の各画素に関しても、カラーフィルタ3Bにおける各色領域との対応関係が変更される。
【0147】
このような光学像をイメージセンサ5Cを用いて撮像することによって、第2枚目の画像が画像メモリ25に格納される。
【0148】
以降同様に、カラーフィルタ3Cが水平方向において12画素幅ずつ順次に右側に移動されつつ、第3枚目から第7枚目までの5枚の画像が撮像され、画像メモリ25に格納される。この結果、7枚の画像が画像メモリ25に格納されることになる。
【0149】
このようにして取得された7枚の画像は、カラーフィルタ3Cにおける各色領域とイメージセンサ5Cにおける各画素との対応関係が、互いに異なっている。
【0150】
具体的には、第1列から第14列の垂直画素列の各画素においては、第1枚目から第7枚目までの撮像動作に伴って、紫(V)、赤(R)、オレンジ(O)、黄(Y)、緑(G)、青(B)の各色領域がこの順序で対応し、対応する各色成分値が取得される。ただし、何枚目の画像のときにその画素が遮光領域に対応するか(言い換えれば、遮光領域(BK)への対応時点)は列ごとに異なっている。たとえば、第1列の垂直画素列の対応領域が遮光領域となるのは、第7枚目の画像であり、第14列の垂直画素列の対応領域が遮光領域となるのは、第1枚目の画像である。
【0151】
また、第15列から第28列の垂直画素列の各画素においては、第1枚目から第7枚目までの撮像動作に伴って、青(B)、紫(V)、赤(R)、オレンジ(O)、黄(Y)、緑(G)の順に、各色成分値が取得される。ただし、遮光領域(BK)に対応する成分値の出現時点は互いに相違する。
【0152】
その他の画素列についても同様である。
【0153】
上記のような移動を伴う撮像動作による7枚の画像によれば、その取得の順序が各画素の水平位置によって異なるものの、各画素について6種類の色領域のそれぞれにおける透過光量を反映した値(すなわち6種類の色成分値)を取得することができる。なお、各画素について、7枚の画像のうち1枚の画像は、遮光領域に対応する成分値を有していることになる。ここでは、この遮光領域に対応する成分値を、無効データとみなしてカラー再構成用のデータから除外する。そして、各画素について得られた6種類の色成分値に基づいて、上述したようなカラー画像再構成動作を行う。具体的には、各画素について、同一の順序(たとえば、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の順)となるように、6種類の色成分値を再配列する。
【0154】
以上のようにして、カラーフィルタ3Cとイメージセンサ5Cとの対応関係を変更して撮像された7枚の画像を用いることによって、イメージセンサ5Cの全ての画素について、6種類の色領域を透過した光量を反映した色成分値を取得することができる。したがって、空間解像度の低下を防止することが可能である。
【0155】
また、カラーフィルタ3Cには、6種類のストライプ状色領域を含む84画素幅の単位領域が水平方向に繰り返し配置されており、カラーフィルタ3Cを水平方向に72画素幅(12画素幅×6回)という微小幅にわたって移動することによって、各画素について6種類の色成分値を取得することができる。
【0156】
したがって、この画像入力装置1Cによれば、装置の小型化および制御の容易化が可能である。また、遮光領域BKが設けられているので、第2実施形態と同様の効果をも得ることができる。
【0157】
<D.その他>
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【0158】
たとえば、上記各実施形態においては、ストライプ状の複数の色領域が水平方向に繰り返し配列されているカラーフィルタ3Aなどを例示したが、これに限定されず、ストライプ状の複数の色領域が垂直方向に繰り返し配列されたカラーフィルタであってもよい。この場合には、カラーフィルタをイメージセンサ5に対して垂直方向に移動させつつ、上記と同様の撮影動作を行うようにすればよい。
【0159】
また、カラーフィルタにおける色領域の種類は上記の6種類に限定されない。たとえば、別の6種類の色領域を設けても良い。あるいは、任意の数の透過領域(色領域)を設けるようにしてもよい。
【0160】
さらに、上記実施形態においては、カラーフィルタのいずれの単位領域においても、ストライプ状の複数の透過領域(色領域)が同一の順序で配列される場合を例示しているが、これに限定されない。カラーフィルタにおける複数の色領域の配列は周期的であることが好ましいが、非周期的であってもよい。
【0161】
たとえば、図19に示すように、所定の単位領域と別の単位領域とで、色領域の配列順序が異なっていても良い。なお、図19(図20および図21においても同様)においては、「単位領域」を黒色の矩形で囲んで示している。
【0162】
図19においては、左側の単位領域では、紫(V)、青(B)、緑(G)、黄(Y)、オレンジ(O)、赤(R)の順に各色領域が配置されているのに対して、右側の単位領域では、オレンジ(O)、緑(G)、紫(V)、青(B)、黄(Y)、赤(R)の順に各色領域が配置されている。ただし、図19に示すカラーフィルタを用いる場合には、全ての画素のそれぞれについて6種類の色成分の全てを得るためには7枚以上の画像を撮像することが必要になり、上記第1実施形態の場合と比べて、撮影枚数が増加してしまう。このように、撮影枚数を少なくするという観点からは、上記第1実施形態などのように複数の透過領域が各単位領域内において同一の順序で配列されていることが好ましい。
【0163】
また、上記各実施形態においては、複数の透過領域(色領域)はストライプ状の領域である場合を例示したが、これに限定されない。異なる透過周波数特性の複数の透過領域を含む単位領域が、カラーフィルタにおいて分散して配置されていればよい。
【0164】
たとえば、図20に示すように、水平方向の6画素に相当する領域に6種類の色領域を配置した単位領域URが、各行(段)ごとに1画素ずつ階段状にずらして配置されるようなカラーフィルタを用いても良い。水平方向には、同様の単位領域が繰り返して配置される。ただし、イメージセンサ5に対する位置合わせの容易化の観点からは、水平方向だけでなく垂直方向においても異なる色が配置されたカラーフィルタ(図20)を用いるよりも、上記のカラーフィルタ3Aを用いる方が好ましい。正確な位置合わせを1方向(水平方向)にのみ行えばよいからである。なお、ぼけによる混色を防止するため、色領域の境界に沿って、遮光領域(BK)を設けるようにしても良い。
【0165】
さらに、上記各実施形態においては、単位領域内において、複数の透過領域(色領域)が一方向(水平方向)に配列されている場合を例示したが、これに限定されない。たとえば、図21に示すように、単位領域内において、複数の透過領域(色領域)が2方向に配列されていてもよい。図21においては、横方向に3画素および縦方向に2画素のサイズを有する単位領域内において、6種類の透過領域(色領域)が配列されている。より詳細には、単位領域内において、紫(V)、青(B)、緑(G)の3つの色領域が上段に配置され、黄(Y)、オレンジ(O)、赤(R)の3つの色領域が下段に配置される。この場合には、水平方向に1画素ずつずらしつつ3枚の画像を撮像するとともに、垂直方向に1画素ずらした後に水平方向の逆向きに1画素ずつずらしつつさらに3枚の画像を撮像することによって、合計6枚の画像を撮像することができる。これによれば、複数の画像を撮影する際の1方向の移動距離を短くすることができる。ただし、この場合、カラーフィルタを2方向に駆動するための駆動機構を設けることになるので、駆動機構の簡略化という観点からは上記の第1実施形態などの方が好ましい。
【0166】
さらに、ストライプ状の色領域は、上述したような細長い矩形形状領域に限定されず、ジグザグ形状の細長領域のものであってもよい。図22は、隣接する2つの垂直画素列L1,L2が水平方向に互いに半画素ずれた状態でジグザグに配列されているハニカム配列のイメージセンサを示している。たとえば、このようなイメージセンサに対しては、所定の垂直画素列L1と半画素分一方向にずれた垂直画素列L2とを覆うようなジグザグ状の領域を、上述したようなストライプ状の色領域として設けてもよい。この場合には、水平方向に半画素ずつずらしつつ6枚の画像を撮像することによって、各画素について6種類の色成分を取得することが可能である。
【0167】
また、上記実施形態においては、カラー画像の再構成動作を画像入力装置1内において実行する場合を例示したが、これに限定されない。たとえば、カラーフィルタ3の各色領域とイメージセンサ5の各画素との対応関係を変更しつつ取得した複数(例えば、6枚あるいは7枚)の画像を外部の画像処理装置(コンピュータなど)に出力し、出力先の画像処理装置においてカラー画像の再構成動作を実行するようにしてもよい。
【0168】
なお、上述した具体的実施形態には以下の構成を有する発明が含まれている。
【0169】
(1)請求項1に記載の画像入力装置において、
前記複数の透過領域は、ストライプ状の領域であることを特徴とする画像入力装置。この(1)に記載の発明によれば、ストライプ状の領域における長手方向に配列された各画素については、同一の手順でその色成分値を再配列することができるので、制御が容易である。
【0170】
(2)請求項1に記載の画像入力装置において、
前記カラーフィルタの移動に伴い取得される複数の画像に基づいて、前記物体像のカラー画像を再構成するカラー画像再構成手段、
をさらに備え、
前記カラー画像再構成手段は、異なる透過領域が隣接する位置の透過光情報を用いずに、前記物体像のカラー画像を再構成することを特徴とする画像入力装置。この(2)に記載の発明によれば、隣接透過領域からの光の漏れの影響を低減し、再構成されたカラー画像の画質を向上させることができる。
【0171】
【発明の効果】
以上のように、請求項1ないし請求項5に記載の発明によれば、異なる透過周波数特性の複数の透過領域を含む単位領域が分散して配置されているカラーフィルタを、撮像素子に対して移動し、撮像素子の各画素とカラーフィルタの各透過領域との対応関係が変更された複数の画像が取得されるので、小型化が可能であり、かつ、制御が容易である。
【0172】
特に、請求項2に記載の発明によれば、各単位領域内において同一の順序で配列されているので、制御が容易である。
【0173】
また、請求項3に記載の発明によれば、カラーフィルタを撮像素子に対して所定の方向に移動させればよいので、移動機構を簡略化できる。
【0174】
さらに、請求項4に記載の発明によれば、複数の透過領域の相互間に設けられる遮光領域を設けることによって、隣接透過領域からの光の漏れの影響を低減し、色の混じりを効率的に防止することができる。
【0175】
また、請求項5に記載の発明によれば、撮像光学系による結像面にファイバーオプティックプレートの入射面が設けられ、カラーフィルタが当該入射面近傍に設けられるので、カラーフィルタ位置でのピンぼけ状態を回避することができる。したがって、再構成後のカラー画像の画質を向上させることができる。
【図面の簡単な説明】
【図1】この発明の第1実施形態に係る画像入力装置の概略構成を示す概念図である。
【図2】撮像系の概略構成を示す側面図である。
【図3】カラーフィルタの駆動機構を示す上面図である。
【図4】カラーフィルタの駆動機構を示す正面図である。
【図5】カラーフィルタの駆動機構を示す側面図である。
【図6】カラーフィルタとイメージセンサとの関係を示す側面図である。
【図7】撮像系の変形例を示す図である。
【図8】撮像系の別の変形例を示す図である。
【図9】図8でのカラーフィルタとイメージセンサとの関係を示す側面図である。
【図10】カラーフィルタとイメージセンサとの対応関係を示す概念図である。
【図11】第1実施形態における動作を示すフローチャートである。
【図12】第n枚目の撮像画像における、各色領域と各画素との対応関係を示す図である。
【図13】第2実施形態に係るカラーフィルタとイメージセンサとの対応関係を示す概念図である。
【図14】第2実施形態の第n枚目の撮像画像における、各色領域と各画素との対応関係を示す図である。
【図15】ハニカムCCDにおける画素配置を示す図である。
【図16】第3実施形態に係るカラーフィルタとイメージセンサとの対応関係を示す概念図である。
【図17】図16の一部拡大図である。
【図18】第3実施形態の第n枚目の撮像画像における、各色領域と各画素との対応関係を示す図である。
【図19】カラーフィルタの変形例を示す図である。
【図20】カラーフィルタの別の変形例を示す図である。
【図21】カラーフィルタのさらに別の変形例を示す図である。
【図22】カラーフィルタのさらに別の変形例を示す図である。
【符号の説明】
1,1A,1B,1C 画像入力装置
2 撮像レンズ
3,3A,3B,3C カラーフィルタ
4 ファイバーオプティックプレート
5,5A,5C イメージセンサ
6 フィルタホルダ
7 ホルダガイド
8 ガイドロッド
9 圧電アクチュエータ
10 ベース部
11 リニアエンコーダ
12,12b 固定用部材
Claims (5)
- 画像入力装置であって、
撮像光学系と、
異なる透過周波数特性の複数の透過領域を含む単位領域が分散して配置されているカラーフィルタと、
前記撮像光学系により結像され前記カラーフィルタを透過した物体像を撮像する撮像素子と、
前記カラーフィルタを前記撮像素子に対して移動し、前記撮像素子の各画素と前記カラーフィルタの各透過領域との対応関係を変更する対応関係変更手段と、前記カラーフィルタの移動に伴い前記対応関係が変更された複数の画像を取得するように制御する制御手段と、
を備えることを特徴とする画像入力装置。 - 請求項1に記載の画像入力装置において、
前記複数の透過領域は、前記各単位領域内において同一の順序で配列されていることを特徴とする画像入力装置。 - 請求項1に記載の画像入力装置において、
前記複数の透過領域は、前記単位領域内において所定の方向に配列されており、
前記対応関係変更手段は、前記カラーフィルタを前記撮像素子に対して前記所定の方向に移動させることを特徴とする画像入力装置。 - 請求項1に記載の画像入力装置において、
前記単位領域は、前記複数の透過領域の相互間に設けられる遮光領域をさらに含むことを特徴とする画像入力装置。 - 請求項1に記載の画像入力装置において、
前記カラーフィルタと前記撮像素子との間にファイバーオプティックプレートが設けられ、
前記撮像光学系による結像面に前記ファイバーオプティックプレートの入射面を設け、前記カラーフィルタを前記入射面近傍に設けることを特徴とする画像入力装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002215102A JP2004056721A (ja) | 2002-07-24 | 2002-07-24 | 画像入力装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002215102A JP2004056721A (ja) | 2002-07-24 | 2002-07-24 | 画像入力装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004056721A true JP2004056721A (ja) | 2004-02-19 |
Family
ID=31937217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002215102A Pending JP2004056721A (ja) | 2002-07-24 | 2002-07-24 | 画像入力装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004056721A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1884747A1 (en) * | 2005-04-06 | 2008-02-06 | Konica Minolta Opto, Inc. | Position detector and positioning device |
JP2008042907A (ja) * | 2006-08-02 | 2008-02-21 | Samsung Electronics Co Ltd | 画質が向上するイメージセンサ及びこれを用いたイメージ感知方法 |
KR101499540B1 (ko) * | 2008-10-24 | 2015-03-06 | 삼성전자주식회사 | 이미지 촬상 장치와 이를 이용한 이미지 처리 방법 |
-
2002
- 2002-07-24 JP JP2002215102A patent/JP2004056721A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1884747A1 (en) * | 2005-04-06 | 2008-02-06 | Konica Minolta Opto, Inc. | Position detector and positioning device |
US8013596B2 (en) | 2005-04-06 | 2011-09-06 | Konica Minolta Opto, Inc. | Position detector and positioning device |
EP1884747A4 (en) * | 2005-04-06 | 2013-02-20 | Konica Minolta Opto Inc | POSITION DETECTOR AND POSITIONING DEVICE |
JP2008042907A (ja) * | 2006-08-02 | 2008-02-21 | Samsung Electronics Co Ltd | 画質が向上するイメージセンサ及びこれを用いたイメージ感知方法 |
JP4642816B2 (ja) * | 2006-08-02 | 2011-03-02 | 三星電子株式会社 | 画質が向上するイメージセンサ及びこれを用いたイメージ感知方法 |
KR101499540B1 (ko) * | 2008-10-24 | 2015-03-06 | 삼성전자주식회사 | 이미지 촬상 장치와 이를 이용한 이미지 처리 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2490715C1 (ru) | Устройство захвата изображения | |
JP5672989B2 (ja) | 撮像装置 | |
EP2624569B1 (en) | Method for correcting image data from an image sensor having image pixels and non-image pixels, and image sensor implementing the same | |
KR101691551B1 (ko) | 촬상장치 및 방법 | |
US5616912A (en) | Three dimensional imaging apparatus, camera, and microscope using discrete shutter control to produce parallax for obtaining three dimensional images | |
CN104041006B (zh) | 图像生成方法以及图像生成设备 | |
EP1596582A1 (en) | Optical sensor | |
US8125547B2 (en) | Driving method of solid-state imaging device, solid-state imaging device, and imaging apparatus including photoelectric conversion elements for luminance detection | |
WO2009020031A1 (en) | Image sensing apparatus | |
US20090096915A1 (en) | Anti-aliasing spatial filter system | |
CN100493151C (zh) | 固态摄像元件及数字相机 | |
CN106506997B (zh) | 包括相位差检测像素的图像传感器 | |
WO2013114889A1 (ja) | 撮像装置 | |
JP2004056721A (ja) | 画像入力装置 | |
JP2013172219A (ja) | 撮像装置 | |
WO2017119447A1 (ja) | 撮像装置および電子カメラ | |
JP6466656B2 (ja) | 撮像素子および撮像装置 | |
JPH09149305A (ja) | 撮像装置 | |
JP4045704B2 (ja) | プリントヘッド、およびこれを用いる焼付装置、並びに焼付方法 | |
CN115988299A (zh) | 共用微透镜部分遮挡相位对焦的图像传感器及其控制方法 | |
JP7459279B2 (ja) | 撮像装置、撮像装置の駆動方法、及びプログラム | |
JP2016057402A (ja) | 撮像装置及びその制御方法 | |
JP6802633B2 (ja) | 撮像素子、撮像装置、画像生成方法、及びプログラム | |
JP3999510B2 (ja) | 表示システム | |
JP6391306B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |