JP2020091256A - 処理装置、撮像装置、処理方法、およびプログラム - Google Patents

Abstract

【課題】スペクトル推定により高精度なスペクトルを効率よく得るための技術を提供することが一例として挙げられる。【解決手段】処理装置１０は、取得部１１０、推定部１３０、および生成部１５０を備える。取得部１１０は、一以上の受光素子２３１から複数の出力を取得する。推定部１３０は、複数の出力に基づき、第１の波長範囲の第１の連続スペクトルを推定する。生成部１５０は、第１の連続スペクトルの少なくとも一方の端を除いた第２の連続スペクトルを生成する。複数の出力は、一以上の受光素子２３１において互いに異なる分光スペクトルを有するｋ個の光フィルタ２１０のそれぞれを介して得られる。ｋは２以上の整数である。【選択図】図１

Description

本発明は、処理装置、撮像装置、処理方法、およびプログラムに関する。

物体の分析手法に分光法がある。物体はそれぞれ固有の反射スペクトルを持つため、物体の反射スペクトルを得られれば、その物体の素材や状態が判断できる。ここで、限られた分光データに基づいて、連続スペクトルを推定する方法が提案されている。

特許文献１には、波長可変フィルタを用いて撮影波長領域を複数チャンネルに分割して得たマルチバンド画像から、被写体の分光反射率のスペクトルを推定する方法が記載されている。

非特許文献１には、６色カメラを用いて、照明光の分光分布と物体表面の分光反射率を推定するためのカメラシステムと、アルゴリズムが記載されている。

非特許文献２には、絵画を対象として分光反射率推定を行う場合、最適化したフィルタを用いれば、６バンドで色差１以下を実現できることが記載されている。

特開２００１−９９７１０号公報

高橋悦史、富永昌治、「６色カメラによる照明と物体表面の分光推定」、電子情報通信学会技術研究報告、電気情報通信学会、１９９８年１１月１３日、第９８巻、第３９５号、ｐ．３１−３８ 羽石秀昭、「分光反射率推定におけるフィルタの最適化」、日本写真学会誌、日本写真学会、２００２年８月２５日、第６５巻、第４号、ｐ．２４５−２５０

しかし、用いるフィルタをどのように選択し、処理すれば効果的にスペクトル推定を行えるかについては依然として検討の余地があった。

本発明が解決しようとする課題としては、スペクトル推定により高精度なスペクトルを効率よく得るための技術を提供することが一例として挙げられる。

請求項１に記載の発明は、
一以上の受光素子から複数の出力を取得する取得部と、
前記複数の出力に基づき、第１の波長範囲の第１の連続スペクトルを推定する推定部と、
前記第１の連続スペクトルの少なくとも一方の端を除いた第２の連続スペクトルを生成する生成部とを備え、
前記複数の出力は、前記一以上の受光素子において互いに異なる分光スペクトルを有するｋ個の光フィルタのそれぞれを介して得られ、
ｋは２以上の整数であり、
前記ｋ個の光フィルタのうち、分光スペクトルの最大ピークのピーク波長が最も大きい第１の光フィルタの前記ピーク波長がλ_ｍａｘであり、前記ピーク波長が最も小さい第２の光フィルタの前記ピーク波長がλ_ｍｉｎであり、前記第１の波長範囲の幅がｗ_１であり、
０．６≦（λ_ｍａｘ−λ_ｍｉｎ）／ｗ_１≦１．０が成り立つ処理装置である。

請求項１１に記載の発明は、
一以上の受光素子から複数の出力を取得する取得部と、
前記複数の出力に基づき、第１の波長範囲の第１の連続スペクトルを推定する推定部と、
前記第１の連続スペクトルの少なくとも一方の端を除いた第２の連続スペクトルを生成する生成部とを備え、
前記複数の出力は、前記一以上の受光素子において互いに異なる分光スペクトルを有するｋ個の光フィルタのそれぞれを介して得られ、
ｋは２以上の整数であり、
前記ｋ個の光フィルタの分光スペクトルの最大ピークの、互いに隣接するピーク波長の間隔の平均値Δλが２０ｎｍ以上４０ｎｍ以下であり、
前記ｋ個の光フィルタの半値幅はそれぞれΔλ／２ｎｍ以上８０ｎｍ以下であり、
前記第２の連続スペクトルの波長範囲の幅をｗ_２としたとき、（ｗ_２／Δλ）≦ｋが成り立つ処理装置である。

請求項１４に記載の発明は、
請求項１から１３のいずれか一項に記載の処理装置と、
前記一以上の受光素子を含む撮像素子と、
前記ｋ個の光フィルタとを備える撮像装置である。

請求項１５に記載の発明は、
一以上の受光素子から複数の出力を取得する取得ステップと、
前記複数の出力に基づき、第１の波長範囲の第１の連続スペクトルを推定する推定ステップと、
前記第１の連続スペクトルの少なくとも一方の端を除いた第２の連続スペクトルを生成する生成ステップとを含み、
前記複数の出力は、前記一以上の受光素子において互いに異なる分光スペクトルを有するｋ個の光フィルタのそれぞれを介して得られ、
ｋは２以上の整数であり、
前記ｋ個の光フィルタのうち、分光スペクトルの最大ピークのピーク波長が最も大きい第１の光フィルタの前記ピーク波長がλ_ｍａｘであり、前記ピーク波長が最も小さい第２の光フィルタの前記ピーク波長がλ_ｍｉｎであり、前記第１の波長範囲の幅がｗ_１であり、
０．６≦（λ_ｍａｘ−λ_ｍｉｎ）／ｗ_１≦１．０が成り立つ処理方法である。

請求項１６に記載の発明は、
一以上の受光素子から複数の出力を取得する取得ステップと、
前記複数の出力に基づき、第１の波長範囲の第１の連続スペクトルを推定する推定ステップと、
前記第１の連続スペクトルの少なくとも一方の端を除いた第２の連続スペクトルを生成する生成ステップとを含み、
前記複数の出力は、前記一以上の受光素子において互いに異なる分光スペクトルを有するｋ個の光フィルタのそれぞれを介して得られ、
ｋは２以上の整数であり、
前記ｋ個の光フィルタの分光スペクトルの最大ピークの、互いに隣接するピーク波長の間隔の平均値Δλが２０ｎｍ以上４０ｎｍ以下であり、
前記ｋ個の光フィルタの半値幅はそれぞれΔλ／２ｎｍ以上８０ｎｍ以下であり、
前記第２の連続スペクトルの波長範囲の幅をｗ_２としたとき、（ｗ_２／Δλ）≦ｋが成り立つ処理方法である。

請求項１７に記載の発明は、
請求項１５または１６に記載の処理方法の各ステップをコンピュータに実行させるプログラムである。

第１の実施形態に係る処理装置および撮像装置の構成を例示する図である。 複数の光フィルタの分光スペクトルを合わせて例示する図である。 撮像素子の分光感度の例を示す図である。 ＵＶ−ＩＲカットフィルタの分光スペクトルを例示する図である。 撮像装置の総合分光感度を例示する図である。 第１の実施形態に係る処理方法を例示するフローチャートである。 処理装置を実現するための計算機を例示する図である。 第２の実施形態に係る処理装置および撮像装置の構成を例示する図である。 実施例に係る各分光フィルタの分光スペクトルおよび推定結果を例示する図である。 実施例に係る各分光フィルタの分光スペクトルおよび推定結果を例示する図である。 実施例の結果より得られた、フィルタカバー率と、有効推定領域長と、推定誤差との関係を示す図である。 実施例の結果より得られた、フィルタカバー率と、（有効推定領域長／フィルタカバー範囲の幅）との関係を示す図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

以下に示す説明において、処理装置１０の各構成要素は、特に説明する場合を除き、ハードウエア単位の構成ではなく、機能単位のブロックを示している。処理装置１０の各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラム、そのプログラムを格納するハードディスクなどの記憶メディア、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置には様々な変形例がある。

（第１の実施形態）
図１は、第１の実施形態に係る処理装置１０および撮像装置２０の構成を例示する図である。本図において、光の入射方向を白矢印で示している。図２は、複数の光フィルタの分光スペクトルを合わせて例示する図である。本実施形態に係る処理装置１０は、取得部１１０、推定部１３０、および生成部１５０を備える。取得部１１０は、一以上の受光素子２３１から複数の出力を取得する。推定部１３０は、複数の出力に基づき、第１の波長範囲の第１の連続スペクトルを推定する。生成部１５０は、第１の連続スペクトルの少なくとも一方の端を除いた第２の連続スペクトルを生成する。複数の出力は、一以上の受光素子２３１において互いに異なる分光スペクトルを有するｋ個の光フィルタ２１０のそれぞれを介して得られる。ｋは２以上の整数である。

そして、以下の第１の条件および第２の条件の少なくとも一方が満たされる。すなわち、第１の条件のみが満たされてもよいし、第２の条件のみが満たされてもよいし、第１の条件と第２の条件の両方が満たされてもよい。

第１の条件は、０．６≦（λ_ｍａｘ−λ_ｍｉｎ）／ｗ_１≦１．０が成り立つことである。ここで、ｋ個の光フィルタ２１０のうち、第１の光フィルタ２１０のピーク波長がλ_ｍａｘであり、第２の光フィルタ２１０のピーク波長がλ_ｍｉｎであり、第１の波長範囲の幅がｗ_１である。ここで第１の光フィルタ２１０は、最も長波長側の光フィルタ２１０であり、すなわち、ｋ個の光フィルタ２１０のうち分光スペクトルの最大ピークのピーク波長が最も大きい光フィルタ２１０である。そして、第２の光フィルタ２１０は、最も短波長側の光フィルタ２１０であり、すなわち、ｋ個の光フィルタ２１０のうち分光スペクトルの最大ピークのピーク波長が最も小さい光フィルタ２１０である。なお、特に説明しない限り、分光スペクトルの最大ピークのピーク波長を単にピーク波長とも呼ぶ。

第２の条件は、ｋ個の光フィルタの分光スペクトルの最大ピークの、互いに隣接するピーク波長の間隔の平均値Δλが２０ｎｍ以上４０ｎｍ以下であり、ｋ個の光フィルタの半値幅がそれぞれΔλ／２ｎｍ以上８０ｎｍ以下であり、かつ（ｗ_２／Δλ）≦ｋが成り立つことである。ここで、ｗ_２は第２の連続スペクトルの波長範囲の幅である。以下に詳しく説明する。

処理装置１０では、取得部１１０が、一以上の受光素子２３１から複数の出力を複数のチャネルの分光データρ_１，ρ_２，・・・，ρ_ｋとして得る。ここで分光データの数は光フィルタ２１０の数に一致する。そして、処理装置１０は、得られた複数の分光データを用いて、連続スペクトルを生成する。そうすることで、分光データを得るための装置規模や時間、および扱うデータ量を抑えつつ、連続スペクトルを得ることができる。

また、所定の条件を満たす光フィルタ２１０を用いて得られる分光データに基づいて、推定部１３０が第１の連続スペクトルを生成する。そして、第１の連続スペクトルから一部の波長帯域を除いた第２の連続スペクトルを生成部１５０が生成する。そうすることにより、限られた数の分光データから広帯域の連続スペクトルを精度良く生成することができる。

撮像装置２０は、処理装置１０、撮像素子２３０、およびｋ個の光フィルタ２１０を備える。撮像素子２３０は一以上の受光素子２３１を含む。光フィルタ２１０の数であるｋは２以上であれば特に限定されないが、３以上であることが好ましく、４以上であることがさらに好ましい。ｋが４以上である場合、光フィルタ２１０、および撮像素子２３０はたとえばマルチスペクトルカメラを構成する。マルチスペクトルカメラでは、ＲＧＢよりも多数のチャネルの分光データが得られる。ここで、チャネルの数はｋである。なお、撮像装置２０は、さらにレンズやシャッター等を含んでも良い。

本実施形態において、ｋは特に限定されず、ｗ_１の大きさ等に依存して変更しうる。例としては、４≦ｋ≦１６が成り立つことがより好ましく、４≦ｋ≦９が成り立つことがさらに好ましい。そうすることで、特にｗ_１が３００ｎｍ程度の場合、良好な精度で第２の連続スペクトルが得られる。また、分光データの取得時間や処理時間、撮像装置２０の装置規模を抑えることができる。

なお、処理装置１０は必ずしも撮像装置２０に含まれる必要は無い。処理装置１０は、フォトダイオード等、独立した受光素子２３１から出力を取得しても良い。

撮像素子２３０は、受光素子２３１と回路２３２を備える。受光素子２３１はたとえばフォトダイオードである。また、回路２３２は受光素子２３１への入射光の強度に基づく出力信号を生成する。取得部１１０は、回路２３２を介して受光素子２３１の出力を取得できる。なお、取得部１１０は、取得部１１０からアクセス可能な記憶装置に保持された受光素子２３１の出力を読み出して取得しても良い。なお、この記憶装置は処理装置１０に備えられていても良いし、処理装置１０の外部に設けられていてもよい。記憶装置はたとえば、後述する計算機１０００のストレージデバイス１０８０である。

光フィルタ２１０の形状や原理は特に限定されず、光フィルタ２１０はたとえば透過型の分光フィルタまたは反射型の分光フィルタであり得る。上記した通り、ｋ個の光フィルタ２１０は互いに異なる分光スペクトルを有する。光フィルタ２１０が透過型の分光フィルタである場合、光フィルタ２１０は一部の帯域の光を他の帯域の光よりも高い透過率で透過させる。この場合、光フィルタ２１０の分光スペクトルは光フィルタ２１０の透過スペクトルである。光フィルタ２１０が反射型の分光フィルタである場合、光フィルタ２１０は一部の帯域の光を他の帯域の光よりも高い反射率で反射させる。この場合、分光スペクトルは光フィルタ２１０の反射スペクトルである。

ｋ個の光フィルタ２１０の最大ピークのピーク波長の間隔の平均値は２０ｎｍ以上４０ｎｍ以下であることが好ましく、２５ｎｍ以上３５ｎｍ以下であることがより好ましい。なお、光フィルタ２１０の最大ピークのピーク波長の間隔は、たとえば図２中のΔλ_１、Δλ_２等に相当する。また、ｗ_１（ｎｍ）を用いてｗ_１／ｋで得られる値は、１８ｎｍ以上７５ｎｍ以下であることが好ましい。

図１の例において、撮像装置２０はさらにバンドパスフィルタ２５０を備える。そして複数の出力は、一以上の受光素子２３１においてさらにバンドパスフィルタ２５０を介して得られる。ここで、バンドパスフィルタ２５０は透過型のフィルタでもよいし、反射型のフィルタでも良い。バンドパスフィルタ２５０が透過型のフィルタである場合、バンドパスフィルタ２５０の透過帯域の幅は、いずれの光フィルタ２１０の分光スペクトルにおける最大ピークの半値幅よりも広い。また、バンドパスフィルタ２５０が反射型のフィルタである場合、バンドパスフィルタ２５０の反射帯域の幅は、いずれの光フィルタ２１０の分光スペクトルにおける最大ピークの半値幅よりも広い。また、バンドパスフィルタ２５０はたとえば紫外領域（たとえば７００ｎｍ以上）の波長の光および赤外領域（たとえば４００ｎｍ以下）の波長の光をカットするＵＶ−ＩＲカットフィルタである。バンドパスフィルタ２５０は少なくとも、第２の波長領域における各波長の光を、７０％以上撮像素子２３０に向けて透過または反射させる。なお、上記した透過帯域および反射帯域はそれぞれ、たとえば透過率および反射率が７０％以上の帯域をいう。

図１の例において、撮像素子２３０は受光素子２３１ａ、受光素子２３１ｂ、および受光素子２３１ｃを少なくとも含む。また、ｋ個の光フィルタ２１０は互いに異なる分光スペクトルを有する光フィルタ２１０ａ、光フィルタ２１０ｂ、および光フィルタ２１０ｃを少なくとも含む。本図において撮像素子２３０に入射する光を矢印で示している。撮像素子２３０に入射する光は、たとえば光源からの光が物体に反射した反射光である。光源はたとえば太陽、蛍光灯、白熱灯、ハロゲンランプ、ＬＥＤ、またはこれらから選択される一以上の組み合わせである。

撮像装置２０の受光部に入射した光の一部はバンドパスフィルタ２５０および光フィルタ２１０ａを介して受光素子２３１ａに入射する。他の一部はバンドパスフィルタ２５０および光フィルタ２１０ｂを介して受光素子２３１ｂに入射する。さらに他の一部はバンドパスフィルタ２５０および光フィルタ２１０ｃを介して受光素子２３１ｃに入射する。そして、取得部１１０は、各受光素子２３１から回路２３２を介して出力を取得する。本例の場合、一つの受光素子２３１の出力が一つの分光データρ_ｊ（ｊ＝１，２，・・・，ｋ）に相当する。また、取得部１１０は複数の受光素子２３１の出力を、複数の分光データとして同時に取得することができる。

ただし、撮像装置２０の構成は本例に限定されない。たとえば、撮像装置２０の受光部に入射した光の一部はいずれかの光フィルタ２１０を介して複数の受光素子２３１に入射し、その複数の受光素子２３１の出力から一つの分光データρ_ｊを生成しても良い。この場合、たとえば、複数の受光素子２３１の出力の和、または平均を分光データρ_ｊとすることができる。

また、撮像装置２０の受光部に入射した光の一部がバンドパスフィルタ２５０およびいずれかの光フィルタ２１０を介して複数の受光素子２３１に入射する場合、その複数の受光素子２３１により一つの分光画像を得ても良い。その場合、分光画像の各画素の値が、分光データρ_ｊに相当する。そして、複数の分光画像から、互いに対応する画素の出力を抽出し、複数の分光データとすることができる。なお、分光画像の取得については第２の実施形態で詳しく説明する。

また、少なくとも一つの受光素子２３１に対して、複数の光フィルタ２１０が時間毎に切り替わるように構成されていても良い。その場合、その受光素子２３１から異なるタイミングで得られる複数の出力を、複数の分光データとすることができる。

推定部１３０は、取得部１１０が取得した複数の出力を分光データρ_１，ρ_２，・・・，ρ_ｋとして用いる。ただし、推定部１３０は、取得部１１０が取得した複数の出力に対し、必要に応じて変換処理を行い、複数の分光データρ_１，ρ_２，・・・，ρ_ｋを生成しても良い。

推定部１３０は複数の分光データρ_１，ρ_２，・・・，ρ_ｋを用い、物体の分光スペクトルとして第１の連続スペクトルを推定する。推定部１３０が第１の連続スペクトルを推定する方法は特に限定されないが、たとえば、低次元線形近似法、Ｗｉｅｎｅｒ推定法、ニューラルネットワークを用いた方法、または重回帰分析法である。中でも、推定部１３０は、低次元線形近似法を用いて第１の連続スペクトルを推定することが好ましい。

低次元線形近似法について、以下に詳しく説明する。

受光素子２３１の出力値（Ｉ）は撮像装置２０の総合分光感度（Ｃ（λ））と照明スペクトル（Ｌ（λ））と物体の分光スペクトル（Ｓ（λ））との積を波長に関して積分したものである。したがって出力値（Ｉ）は、以下の式（１）で表現できる。ここで、撮像装置２０の総合分光感度（Ｃ（λ））は、光フィルタ２１０の分光スペクトルと受光素子２３１の分光感度曲線の積である。また、照明スペクトルは人工照明のスペクトルに限らず、太陽光等の自然光のスペクトルであっても良いし、それらの混合であっても良い。

式（１）のうち、物体の分光反射スペクトル（Ｓ（λ））が求める値である。これを、以下の式（２）のように「物体の分光スペクトルは主成分分析によって得られる低次元の線形独立な基底スペクトル関数の線形和で近似できる」という事実を用いることで、推定計算して求めることができる。ここで、σ_ｉは規定スペクトル関数の重み係数であり、Ｓ_ｉ（λ）は基底スペクトル関数である。

ｉは基底スペクトル関数の次元数、Ｓ_ｉ（λ）はｉ番目の基底スペクトル関数である。未知数σ_ｉを求めることでＳ（λ）が求められる。式（１）および式（２）から、式（３）が得られる。

そして、ｋ個の光フィルタ２１０で分光データを取得し、基底関数をｎ次まで使用すると仮定すると、式（３）は以下の式（４）のように書き換えられる。なお、Ｃ_ｊ（λ）（ｊ＝１，２，・・・，ｋ）は、各光フィルタ２１０に対応する総合分光感度である。

ここでベクトルσを求めるには行列Ａの逆行列を求めればいい。実際には、測定データには誤差があり、完全な逆行列を常に求められないため、疑似逆行列Ａ^＋を求めることを考える。式（５）より式（６）が成り立つ。

行列Ａの特異値分解（singular value decomposition：ＳＶＤ）を行い、以下のように擬似逆行列Ａ^＋を求める。

上記の式から、Ｓ（λ）は以下の式（９）で表され、分光反射率Ｓが求まる。

実際には、基底スペクトル関数の次数がｎのとき未知数σ_ｉはｎ個あることになるがｎ個以上の異なる分光フィルタｋ個でのデータがあれば数学的に分光スペクトルを求めることが可能である。基底スペクトル関数はたとえばスペクトルデータベースから主成分分析を行って事前に求めた関数である。出力値（Ｉ）は実測値であり、照明スペクトル（Ｌ（λ））は照明環境により決まる固定値であるため、推定精度に関わるパラメーターは推定アルゴリズムによって値が決まる重み係数（σ_ｉ）と光フィルタ２１０の分光スペクトル（ただし受光素子２３１の分光感度は固定値とする）と基底スペクトル関数（Ｓ_ｉ（λ））との３つとなる。

推定部１３０が具体的に行う処理の第１例および第２例について以下に説明する。第１例では、光源が予め定まっている場合の例である。また、第２例は、推定部１３０が第１の連続スペクトルを推定する際に、光源に応じて擬似逆行列Ａ^＋を算出する例である。

第１例において、推定部１３０は、推定部１３０からアクセス可能な記憶装置に予め保持された擬似逆行列Ａ^＋および基底スペクトル関数Ｓ_ｉ（λ）（ｉ＝１，２，・・・，ｎ）を読み出して取得する。そして、上記の式（９）を用いてＳ（λ）を第１の連続スペクトルとして導出する。なお、上記の各式において、積分の範囲が第１の連続スペクトルの範囲、すなわち第１の波長範囲に相当する。第１の波長範囲を示す情報は、予め記憶装置に保持されていても良いし、処理装置１０に対してユーザが入力しても良い。第１の波長範囲は特に限定されないが、たとえば第１の波長範囲の下端は３００ｎｍ以上５００ｎｍ以下であることが好ましく、３５０ｎｍ以上４５０ｎｍ以下であることがより好ましい。また、第１の波長範囲の上端は、６００ｎｍ以上８００ｎｍ以下であることが好ましく、６５０ｎｍ以上７５０ｎｍ以下であることがより好ましい。ｗ_１は特に限定されないが、２００ｎｍ以上４００ｎｍ以下であることが好ましく、２５０ｎｍ以上３５０ｎｍ以下であることがより好ましい。ただし、本実施形態に係る処理方法は近赤外分光（ＮＩＲ）や短波近赤外分光（ＳＷＩＲ）等にも適用でき、第１の波長範囲の上端は８００ｎｍ超過であっても良い。

なお、記憶装置には複数の擬似逆行列Ａ^＋が、光源、光フィルタ２１０の組み合わせ、および用いる基底スペクトル関数別に保持されていても良い。また、複数組の基底スペクトル関数Ｓ_ｉ（λ）（ｉ＝１，２，・・・，ｎ）が記憶装置に保持されていてもよい。たとえば、受光素子２３１が光を検出する検出環境、すなわち撮像装置２０の撮像環境（昼間、夜間、屋内、屋外等）や、対象の物体の種類（植物、人工物等）等に基づいて、推定部１３０が擬似逆行列Ａ^＋および基底スペクトル関数を選択して用いてもよい。この場合、処理装置１０はユーザからの検出環境および対象の物体の種類を示す情報の入力を受け付けることができ、入力された情報を用いて推定部１３０が擬似逆行列Ａ^＋および基底スペクトル関数を選択する。

ここで、基底スペクトル関数の数ｎは、ｋ以下であり、かつ９以下であることが好ましい。そうすることで、処理負荷が大きくなりすぎない。また、９を超えてｎを増やしても、推定精度にはあまり影響しない。一方、第２の連続スペクトルの精度向上の観点から、ｎは３以上であることが好ましく、４以上であることがより好ましい。

第２例において、推定部１３０は、たとえば白色参照板を用いて照明の特性を測定した結果を用いて第１の連続スペクトルを導出する。白色参照板を用いた照明の特性の測定には、ファイバー型の分光器を用いても良いし、撮像装置２０の撮像素子２３０を用いても良い。撮像素子２３０を用いる場合、光源の基底関数を予め準備しておき、その基底関数と撮像装置２０の撮像結果とから照明の特性を推定することができる。推定部１３０は、照明の特性として得られた照明スペクトルＬ（λ）を用い、擬似逆行列Ａ^＋を算出する。そして、推定部１３０は、算出された擬似逆行列Ａ^＋を用い、第１例と同様に第１の連続スペクトルを導出することができる。第２例の方法では、たとえば光源が太陽光のように径時変化する場合においても、高精度の第１の連続スペクトルが得られる。

たとえば光源は撮影場所により異なる。また、太陽光は時刻、季節、天候等によりスペクトルが変動する。第２例の処理によれば、このように光源が定まらない場合にも、実際の照明スペクトルに基づき精度良く推定が行える。

なお、第１の波長範囲および基底スペクトル関数の数ｎについては上記した第１例と同様である。

また、記憶装置には複数の基底スペクトル関数が、対象の物体の種類（植物、人工物等）別に保持されていても良い。そして、対象の物体の種類（植物、人工物等）等に基づいて、推定部１３０が基底スペクトル関数を選択して用いてもよい。この場合、処理装置１０はユーザからの対象の物体の種類を示す情報の入力を受け付けることができ、入力された情報を用いて推定部１３０が基底スペクトル関数を選択することができる。ただし、推定部１３０は、実測スペクトル情報に基づき、用いるべき基底スペクトル関数を選択しても良い。

第１の連続スペクトルの精度について以下に説明する。

図３は、撮像素子２３０の分光感度の例を示す図であり、図４は、ＵＶ−ＩＲカットフィルタの分光スペクトルを例示する図であり、図５は、撮像装置２０の総合分光感度を例示する図である。なお、図５は、９個の光フィルタ２１０に対する総合分光感度を合わせて示している。

正確な推定を行うには、撮像装置２０の総合分光感度（Ｃ（λ））が正確である必要がある。たとえば撮像素子２３０がＳｉを用いたＣＭＯＳである場合、約３００ｎｍから約９００ｎｍの範囲で撮像素子２３０の分光感度がある。撮像素子２３０、光フィルタ２１０、バンドパスフィルタ２５０等、撮像装置２０の各部の分光特性の積が総合分光感度となる。ここで、各部の分光特性において、演算範囲、すなわち第１の波長範囲の内外を正確に切り分けることは難しい。たとえば光フィルタ２１０の分光スペクトルのピークは、矩形ピークではなく、ある程度の傾きの裾を有するからである。以下に例を説明する様に、各部の分光特性や推定原理に起因して、第１の連続スペクトルの波長軸方向の端では、推定精度が低下する傾向がある。

たとえば図５の例では、短波長側では４００ｎｍ以下の光は遮断できているが、長波長側では約７１０ｎｍまで分光感度がある。ここで仮に４００ｎｍから７００ｎｍまでの範囲の連続スペクトルを推定するよう演算するとする。すると、最も長波長側の光フィルタ２１０による分光データにおいて、７００ｎｍから７１０ｎｍまでの波長帯で生じる応答分が理論値よりも多く計測される。その結果、長波長側の端の推定精度が低くなる。一方、４００ｎｍから４０５ｎｍまでの波長帯の光については、かなり強い光が入射しても、すべての分光フィルタで分光感度が低いエリアであるため最も短波長側の光フィルタ２１０による分光データにおいてさえほとんど変化が現れない。その結果、推定計算には厳しい条件となり、短波長側の端の推定精度が低くなる。

以上に説明した様に、推定範囲の端に対してフィルタカバー範囲の端が長波長側にずれても短波長側にずれても、第１の波長範囲の端での推定精度は低くなってしまう傾向にある。本実施形態に係る処理装置１０では、光フィルタ２１０を適切に設定すること、および、生成部１５０が、第１の連続スペクトルの少なくとも一方の端を除いた第２の連続スペクトルを生成することにより、スペクトルの推定を精度良く効果的に行うことができる。

生成部１５０は、推定部１３０により推定された第１の連続スペクトルから、波長範囲の少なくとも一方の端を除いた第２の連続スペクトルを生成する。上記したように、推定部１３０で推定された第１の連続スペクトルの端には、様々な要因で誤差が大きくなる領域が生じるが、そのような端の部分を除くことにより、第１の連続スペクトルよりも全体としての推定精度が高い第２の連続スペクトルが得られる。

具体的には、生成部１５０からアクセス可能な記憶装置に予め保持された生成条件に基づき生成部１５０は、第２の連続スペクトルを生成する。生成条件はたとえば、第２の連続スペクトルの波長範囲、すなわち第２の波長範囲を示す情報である。また、生成条件は、第１の連続スペクトルのどちらの端を除去するか、および、どれだけの幅分除去するかを示す情報であっても良い。生成条件は、第１の連続スペクトルで生じることが予想される各波長の推定誤差を予め実験やシミュレーション等により確認し、その確認結果に基づいて定めておくことができる。また、第２の連続スペクトルの利用目的に応じて第２の波長範囲を設定し、逆算的に第１の波長範囲を定めておいても良い。

また、生成部１５０は、推定部１３０が用いる擬似逆行列Ａ^＋および基底スペクトル関数の組み合わせと、用いるべき生成条件を関連づけた対応情報にさらに基づいて、第２の連続スペクトルを生成しても良い。推定部１３０がどの擬似逆行列Ａ^＋および基底スペクトル関数を推定に用いるかにより、第１の連続スペクトルにおいて予想される推定誤差が異なるからである。この場合、対応情報は予め記憶装置に保持されており、生成部１５０は記憶装置から対応情報を読み出すことにより取得する。そして、生成部１５０は、対応情報に含まれる複数の組み合わせから、推定部１３０で用いられた組み合わせを抽出する。その上で、その組み合わせに関連づけられた生成条件を導出して第２の連続スペクトルの生成に用いる。

第２の連続スペクトルの波長範囲は特に限定されず、その利用目的に応じて設定することができる。分光データに基づく第１の連続スペクトルの情報を有効に利用する観点から、０．５≦ｗ_２／ｗ_１が成り立つことが好ましく、０．６５≦ｗ_２／ｗ_１が成り立つことがより好ましい。なお、ｗ_２／ｗ_１＜１が成り立つ。

生成部１５０で生成された第２の連続スペクトルは、処理装置１０の内部または外部の装置でさらに処理や解析がされても良いし、いずれかの記憶装置に保持されても良い。

第１の条件および第２の条件について以下に詳しく説明する。上記した通り、第１の条件は、０．６≦（λ_ｍａｘ−λ_ｍｉｎ）／ｗ_１≦１．０が成り立つことである。たとえば図２に示すように、λ_ｍｉｎからλ_ｍａｘまでの範囲をフィルタカバー範囲と考える。するとこのフィルタカバー範囲の幅は（λ_ｍａｘ−λ_ｍｉｎ）で表される。そして、（λ_ｍａｘ−λ_ｍｉｎ）／ｗ_１は第１の波長範囲のうちフィルタカバー範囲で占められる割合を示し、たとえばフィルタカバー率と呼ぶことができる。第１の条件はこのフィルタカバー率についての条件である。フィルタカバー率については、０．７０≦（λ_ｍａｘ−λ_ｍｉｎ）／ｗ_１が成り立つことがより好ましく、０．７５≦（λ_ｍａｘ−λ_ｍｉｎ）／ｗ_１が成り立つことがさらに好ましい。また、（λ_ｍａｘ−λ_ｍｉｎ）／ｗ_１＜１．０が成り立つことがより好ましく、（λ_ｍａｘ−λ_ｍｉｎ）／ｗ_１≦０．９が成り立つことがさらに好ましい。

上記した通り、第２の条件は、ｋ個の光フィルタ２１０の分光スペクトルの最大ピークの、互いに隣接するピーク波長の間隔の平均値Δλが２０ｎｍ以上４０ｎｍ以下であり、ｋ個の光フィルタ２１０の半値幅がそれぞれΔλ／２ｎｍ以上８０ｎｍ以下であり、かつ（ｗ_２／Δλ）≦ｋが成り立つことである。第２の条件は、ピーク間隔とピークの鋭さに関する条件、および、光フィルタ２１０の数ｋに関する条件である。すなわち、第２の条件は、第２の波長範囲における光フィルタ２１０のピークの重なり具合に関連する。

ここで、ｋ個の光フィルタ２１０の分光スペクトルの最大ピークの、互いに隣接するピーク波長の間隔を図２に示すようにΔλ_１、Δλ_２、・・・、Δλ_ｋ−１とすると、平均値Δλは、Δλ＝（Δλ_１＋Δλ_２＋・・・＋Δλ_ｋ−１）／（ｋ−１）で得られる値である。平均値Δλが２０ｎｍ以上４０ｎｍ以下であることにより、得たい連続スペクトルの幅に対して分光データ数が過剰となったり、推定精度が低下したりすることを避けられる。なお、平均値Δλは２５ｎｍ以上３５ｎｍ以下であることがより好ましい。

また、ｋ個の光フィルタ２１０の最大ピークの間隔はバラツキが小さいことが好ましい。具体的には、Δλ_１、Δλ_２、・・・、Δλ_ｋ−１の最大値と最小値の差は５０ｎｍ以下であることが好ましく、２０ｎｍ以下であることがより好ましく、１０ｎｍ以下であることがさらに好ましい。ただし、最大ピークの間隔は特に限定されず、他の条件に応じて適宜設定可能である。

また、ｋ個の光フィルタ２１０の半値幅がそれぞれΔλ／２ｎｍ以上８０ｎｍ以下であることにより、推定する波長範囲の全体が複数の光フィルタ２１０のピークでカバーされ、いずれの光フィルタ２１０にも受光されない波長域の発生が避けられる。また、半値幅が広すぎる場合に大きくなる、測定ノイズの影響を低減し、推定精度の低下を避けられる。さらに、ｋ個の光フィルタ２１０の半値幅の最大値と最小値の差は３０ｎｍ以下であることが好ましく、２０ｎｍ以下であることがより好ましい。

さらに、（ｗ_２／Δλ）≦ｋが成り立つように光フィルタ２１０の数を定めることで、効率よく、推定精度の高い連続スペクトルが得られる。また、ｋについては、ｋ＜（ｗ_２／Δλ）＋１が成り立つことがより好ましい。

本実施形態において、ｋ個の光フィルタの最大ピークの半値幅はそれぞれ、ｗ_２／（ｋ×２）以上８０ｎｍ以下であることが好ましい。そうすることで、第１の波長範囲の全体が複数の光フィルタ２１０のピークでカバーされ、いずれの光フィルタ２１０にも受光されない波長域の発生が避けられる。また、半値幅が広すぎる場合に大きくなる、測定ノイズの影響を低減し、推定精度の低下を避けられる。また、同様の観点から具体的には、ｋ個の光フィルタの最大ピークの半値幅はそれぞれ、１２ｎｍ以上８０ｎｍ以下であることが好ましい。また、ｋ個の光フィルタの最大ピークの半値幅はそれぞれ、６０ｎｍ以下であることがより好ましく、５０ｎｍ以下であることがさらに好ましい。なお、特に推定における上記ｎが７以上である場合、ｋ個の光フィルタの最大ピークの半値幅はそれぞれ、６０ｎｍ以下であることが好ましい。

また、０．８≦ｗ_２／（λ_ｍａｘ−λ_ｍｉｎ）≦１．２が成り立つことが好ましく、１．０≦ｗ_２／（λ_ｍａｘ−λ_ｍｉｎ）≦１．２が成り立つことがより好ましい。ここで、（λ_ｍａｘ−λ_ｍｉｎ）は、上記したフィルタカバー範囲である。また、第２の波長範囲は精度良く推定される有効波長範囲であると考えることができる。したがって、ｗ_２／（λ_ｍａｘ−λ_ｍｉｎ）は、フィルタカバー範囲の幅に対する有効波長範囲の幅の比率である。この比率が高いほど、取得したデータを有効に利用して広範囲な推定ができていると言える。特に１．０≦ｗ_２／（λ_ｍａｘ−λ_ｍｉｎ）が成り立つとき、フィルタカバー範囲より広い範囲で、精度良く推定ができると言える。

図６は、本実施形態に係る処理方法を例示するフローチャートである。本処理方法は取得ステップＳ１１０、推定ステップＳ１３０および生成ステップＳ１５０を含む。取得ステップＳ１１０では、一以上の受光素子２３１から複数の出力が取得される。推定ステップＳ１３０では、複数の出力に基づき、第１の波長範囲の第１の連続スペクトルが推定される。生成ステップＳ１５０では、第１の連続スペクトルの少なくとも一方の端を除いた第２の連続スペクトルが生成される。複数の出力は、一以上の受光素子２３１において互いに異なる分光スペクトルを有するｋ個の光フィルタ２１０のそれぞれを介して得られる。ｋは２以上の整数である。そして、上記した第１の条件および第２の条件の少なくとも一方が満たされる。

本処理方法は上記したような処理装置１０により実行される。ここで、取得ステップＳ１１０、推定ステップＳ１３０および生成ステップＳ１５０は、それぞれ、取得部１１０、推定部１３０、および生成部１５０により上記したように実行される。

処理装置１０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、処理装置１０の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図７は、処理装置１０を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、SoC（System On Chip）、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、処理装置１０を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field-Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。また、入出力インタフェース１１００には、撮像素子２３０の回路２３２が接続される。

ネットワークインタフェース１１２０は、計算機１０００をネットワークに接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

ストレージデバイス１０８０は、処理装置１０の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

以上、本実施形態によれば、第１の条件および第２の条件の少なくとも一方が満たされる。また、生成部１５０は、第１の連続スペクトルの少なくとも一方の端を除いた第２の連続スペクトルを生成する。したがって、限られた数の分光データから広帯域の連続スペクトルを精度良く生成することができる。

（第２の実施形態）
図８は、第２の実施形態に係る処理装置１０および撮像装置２０の構成を例示する図である。本図において、光の入射方向を白矢印で示している。本実施形態に係る処理装置１０および撮像装置２０は、それぞれ、以下に説明する点を除いて第１の実施形態に係る処理装置１０および撮像装置２０と同様である。

本実施形態に係る処理装置１０は、解析部１７０をさらに備える。解析部１７０は一以上の受光素子２３１の出力により構成される画像を、第２の連続スペクトルを用いて解析する。

本実施形態において、撮像素子２３０はたとえばマルチスペクトルカメラを構成しており、受光素子２３１は撮像素子２３０の各画素に対応する。そして、取得部１１０は、撮像素子２３０の出力として、画像データを取得する。

具体的には、撮像装置２０の受光部に入射した光の一部がバンドパスフィルタ２５０、およびいずれかの光フィルタ２１０を介して複数の受光素子２３１に入射する。そしてその複数の受光素子２３１により一つの分光画像が得られる。ここで、複数の受光素子２３１は、撮像素子２３０の受光面の一部の領域の画素である。すなわち、本図の例において、撮像素子２３０の受光面全体で得られる画像が領域毎に分割されて複数の分光画像となる。ただし、撮像素子２３０に対する光フィルタ２１０が時間毎に切り替えられ、複数のタイミングのそれぞれで、そのときの光フィルタ２１０に対応する分光画像が得られても良い。その場合、撮像素子２３０の受光面全体で得られる画像が一つの分光画像を構成しても良い。なお、撮像対象の位置や状態は複数の分光画像においてほぼ同じであるとする。

本実施形態において、分光画像の各画素の値（輝度値）が分光データに相当する。そして、複数の分光画像から、互いに対応する位置の画素の値を抽出し、複数の分光データとすることができる。このように得られた複数の分光データを、以下では「一組の分光データ」等と呼ぶ。すなわち、各組に含まれる複数の分光データは、複数の分光画像の互いに対応する位置の画素に基づくデータであり、互いに異なる光フィルタ２１０で得られたデータである。また、取得部１１０は、画像の複数位置に対応する複数組の分光データを取得する。

各組の分光データはたとえばベクトルＰ_ｍ＝｛ρ_１，ｍ，ρ_２，ｍ，_・・・，ρ_ｋ，ｍ｝（ｍ＝１，２，・・・，Ｍ）で表される。ここで添え字ｍは画素を特定する番号であり、Ｍは、分光画像の画素数である。なお、ベクトルＰ_ｍの要素であるρ_ｊ，ｍは、たとえば一つの画素の輝度値である。ただし、複数の画素（たとえば互いに隣接する数個の画素）の輝度値の平均値、または合計値をρ_ｊ，ｍとしてもよい。

本実施形態では、各組の分光データに対し、第１の実施形態と同様の方法で、第２の連続スペクトルが生成される。そして、画像中の各画素に対して、すなわちＰ_１，Ｐ_２，・・・，Ｐ_Ｍのそれぞれに対して、第２の連続スペクトルが生成される。そうすることにより、画像に写っている物体の、固有の反射スペクトルＳ（λ）を導出することができる。そして、導出された反射スペクトルＳ（λ）に基づいて、物体の素材や状態を判別できる。

本実施形態に係る処理装置１０および撮像装置２０を用いれば、たとえばドローン等の飛行体にバンドパスフィルタ２５０、光フィルタ２１０、および撮像素子２３０を備えるハイパースペクトルカメラを搭載し、空撮して、森林の植生を可視化することができる。物体の腐食や劣化等を可視化することができる。また、工場での食材の鮮度判定や、異物検査を行うことができる。さらに、撮像装置２０を自動車に搭載して物体認識に使用し、走行時の危険回避のためのセンシングに用いることができる。

本実施形態に係る処理装置１０は、図７と同様の計算機１０００を用いて実現可能である。ストレージデバイス１０８０は、解析部１７０を実現するプログラムモジュールをさらに記憶している。プロセッサ１０４０は、これらこのプログラムモジュールをメモリ１０６０に読み出して実行することで、解析部１７０の機能を実現する。

本実施形態に係る処理装置１０の動作について以下に詳しく説明する。本実施形態において取得部１１０は、撮像素子２３０から、受光素子２３１の出力として画像データを取得する。そして推定部１３０は、取得された画像データに基づき複数組の分光データＰ_１，Ｐ_２，・・・，Ｐ_Ｍを生成する。複数組の分光データはたとえば、画像データから必要な輝度値を抽出する等の変換処理を行うことで生成できる。

推定部１３０は、第１の実施形態において説明したのと同様の方法で、各組の分光データから、第１の連続スペクトルを推定する。そして、生成部１５０は、推定部１３０で生成された第１の連続スペクトルのそれぞれに基づき、第１の実施形態において説明したのと同様の方法で、第２の連続スペクトルを生成する。

解析部１７０は、生成部１５０で生成された複数の第２の連続スペクトルに基づき、撮像素子２３０で得られた画像に写された物体の属性を特定する。物体の属性は、たとえば、物体の種類（人、車、樹木、建物等）、素材、および状態（濡れている、乾いている等）の少なくともいずれかを含む。さらに解析部１７０は、画像中、特定結果が共通する画素からなる領域を抽出する。たとえば解析部１７０は、互いに隣接する複数の画素について、特定結果が互いに同じである場合、それらの画素が同じ物体を写した領域に属すると判定し、それらの画素を同一領域に含めるよう互いに関連づける。そして、解析部１７０は、たとえば、撮像素子２３０で得られた画像を、特定結果、およびその特定結果に対応する領域が識別可能な状態で、表示装置に表示させるよう、出力する。なお、画像データ、特定結果、および領域を示す情報は、表示装置への出力に代えて、または加えて、互いに関連づけられていずれかの記憶装置に保持されても良い。

なお、解析部１７０は、物体の属性を特定した後に領域の抽出を行う代わりに、互いに隣接し、互いに類似した第２の連続スペクトルを有する領域を抽出した後に、その領域について、物体の属性を特定しても良い。その場合、解析部１７０は、まず互いに類似した第２の連続スペクトルを有する領域を抽出する。この抽出方法としては、たとえばパターンマッチングを用いる方法が挙げられる。その上で解析部１７０は、たとえば各領域中の全ての画素の第２の連続スペクトルのそれぞれを用いて特定を行い、最も多くの画素について共通する特定結果をその領域の特定結果とする。または、解析部１７０は、各領域中の全ての画素の第２の連続スペクトルを平均化したスペクトルを算出し、算出されたスペクトルを第２の連続スペクトルの代わりに用いて特定を行っても良い。さらに、解析部１７０はたとえば第２の連続スペクトルの形状に加えて、抽出した領域の形状や大きさ等にさらに基づいて物体を特定しても良い。

解析部１７０が、第２の連続スペクトルに基づき、物体の属性を特定する方法について以下に詳しく説明する。解析部１７０からアクセス可能な記憶装置には、予め参照スペクトル情報が保持されている。この記憶装置は、処理装置１０に備えられていても良いし、処理装置１０の外部に設けられていても良い。処理装置１０に備えられた記憶装置はたとえば計算機１０００のストレージデバイス１０８０で実現される。参照スペクトル情報は、複数の参照スペクトルを含む情報である。また、各参照スペクトルは、物体の種類、素材、表面の種類、表面の状態の少なくともいずれかを示す情報に関連づけられている。

解析部１７０は、記憶装置から参照スペクトル情報を読み出す。そして、複数の参照スペクトルのうち、第２の連続スペクトルに最も類似する参照スペクトルを、たとえばパターンマッチングにより探し出す。そして、その参照スペクトルに関連づけられた属性を、第２の連続スペクトルが示す物体の属性として特定する。参照スペクトル情報は、既知の物体の反射スペクトルを計測することで生成し、記憶装置に保持させておくことができる。

以上、本実施形態によれば、第１の実施形態と同様、第１の条件および第２の条件の少なくとも一方が満たされる。また、生成部１５０は、第１の連続スペクトルの少なくとも一方の端を除いた第２の連続スペクトルを生成する。したがって、限られた数の分光データから広帯域の連続スペクトルを精度良く生成することができる。

くわえて、解析部１７０が一以上の受光素子２３１の出力により構成される画像を、第２の連続スペクトルを用いて解析する。したがって、画像に写された物体の属性を特定できる。

以下、本実施形態を、実施例を参照して詳細に説明する。なお、本実施形態は、これらの実施例の記載に何ら限定されるものではない。

図９および図１０は、実施例に係る各分光フィルタの分光スペクトルおよび推定結果を例示する図である。実施例では、第１の実施形態で説明した処理方法で、９バンド（すなわちｋ＝９）のマルチスペクトルカメラを想定したシミュレーション計算を実施した。本実施例では、ON Semiconductor社のMT9P031の分光感度を実測した結果を撮像素子の分光感度として用いた。また、シグマ光機社の紫外赤外カットフィルタの分光感度を実測した結果をＵＶ−ＩＲカットフィルタの分光感度として用いた。９つの分光フィルタとしてはＡｇを反射膜として用いたエタロンを想定した。そして、分光スペクトルを近似した、ガウシアン曲線による関数を、各分光フィルタの分光スペクトルとし、波長軸方向に等間隔に並ぶよう複数の関数を設定した。また、各分光スペクトルのピークの半値幅は２４ｎｍとした。その上で、撮像素子の分光感度、ＵＶ−ＩＲカットフィルタの分光感度、および分光フィルタの分光スペクトルの積をカメラの総合分光感度として推定計算に用いた。

さらに、マンセルカラーブック１２６９色を計測してスペクトルデータを取得し、そのスペクトルを主成分分析して、推定計算で用いる９個の基底スペクトル関数を生成した。照明光はハロゲン光とした。推定計算は低次元線形近似法を用いて行った。

推定計算において具体的には、第１の波長範囲を４００ｎｍから７００ｎｍまでに固定し、フィルタカバー範囲を変化させた場合の、推定精度の変化を算出した。そうすることで、広い波長領域で良好な精度を保ったまま推定を行うための条件を確認した。具体的には、分光フィルタの間隔を１５ｎｍから４０ｎｍまでの範囲で変化させた。なお、分光フィルタの間隔とは、たとえば図９および図１０において、互いに隣り合うピークのピーク波長の間隔である。図９は、フィルタカバー率が６７％の例を示し、図１０は、フィルタカバー率が１００％の例を示している。

被写体としてはX-rite社のカラーチェッカーパスポートの２４色を用いた。具体的には、ハロゲン光を照明光として、この被写体の分光反射スペクトルを実測した。実測された分光反射スペクトルを、後述する推定誤差の算出に用いる真値とした。また、実測された分光反射スペクトルと、ハロゲン光のスペクトル（照明スペクトル）と、上記したカメラの総合分光感度との積を、各分光フィルタに関する分光データとして推定計算に用いた。

推定精度は被写体とした２４色のスペクトルの推定誤差値の平均値で検証した。推定計算範囲、すなわち第１の波長範囲においてスペクトル推定計算を行い、両端の、推定精度が低い範囲（誤差増大領域）をカットした有効推定領域で真値と推定値のスペクトルの平均二乗誤差を求め、この値を推定誤差値とした。なお、以下では、２４色のスペクトルの推定誤差値の平均値を単に「推定誤差」と呼ぶ。また、後述する図１１のグラフの右の縦軸に示された「推定誤差」は、２４色のスペクトルの推定誤差値の平均値を示している。

誤差増大領域は、両端において同じ幅とした。その上で、各フィルタ間隔の推定結果において、第１の波長範囲から誤差増大領域を除いた領域の推定誤差が最も小さくなるように、誤差増大領域を定めた。

図１１は、実施例の結果より得られた、フィルタカバー率と、有効推定領域長と、推定誤差との関係を示す図である。また、図１２は、実施例の結果より得られた、フィルタカバー率と、（有効推定領域長／フィルタカバー範囲の幅）との関係を示す図である。具体的には、（有効推定領域長／フィルタカバー範囲の幅）は、フィルタカバー率０．６７に対して１．０８であり、フィルタカバー率０．８０に対して１．０７であり、フィルタカバー率０．９３に対して１．０２であり、フィルタカバー率１．００に対して０．９９であった。本結果の通り、フィルタカバー率が０．６以上０．９以下の範囲で特にフィルタカバー範囲の幅に対する有効推定領域長の比率が高くなった。また、フィルタカバー率０．８で、推定誤差が最も小さくなった。

分光フィルタの間隔が狭くなると、すなわち、フィルタカバー率が小さくなると、第１の波長範囲の中心付近では波長あたりのデータ数が増えるため、推定精度が高くなる。一方、波長範囲の両端付近にはデータが存在しない波長領域が増えるため、たとえばフィルタカバー率が６０％未満の範囲では、両端の推定破綻が第１の波長範囲の全体に及ぶようになり、かえって推定精度が低下する。

一方、分光フィルタの間隔が広くなると、すなわち、フィルタカバー率が大きくなると、両端の分光フィルタの分光データでは、ＵＶ−ＩＲカットフィルタによって実効的な半値幅が小さくなり、それに伴いカメラへ入射する光が少なくなる。つまり、両端の分光フィルタ以外のフィルタと明るさが極端に異なるため、撮影時に使えるカメラの有効階調が低下してしまう。一般的なカメラの使用階調数は多くても１２ｂｉｔ程度であるが、実際にはダークノイズ、時間ノイズ等の影響で有効階調の精度は８ｂｉｔ程に低下してしまうため、フィルタの明るさの違いによる有効階調の低下は極力抑える必要がある。具体的にはフィルタカバー率が１００％の場合、両端の分光フィルタの半値幅は実効的に半分になる。したがって、有効階調の低下を抑える観点から、フィルタカバー率は１００％以下とすることが好ましいと分かる。

以上、図面を参照して実施形態及び実施例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

以下、参考形態の例を付記する。
１−１． 一以上の受光素子から複数の出力を取得する取得部と、
前記複数の出力に基づき、第１の波長範囲の第１の連続スペクトルを推定する推定部と、
前記第１の連続スペクトルの少なくとも一方の端を除いた第２の連続スペクトルを生成する生成部とを備え、
前記複数の出力は、前記一以上の受光素子において互いに異なる分光スペクトルを有するｋ個の光フィルタのそれぞれを介して得られ、
ｋは２以上の整数であり、
前記ｋ個の光フィルタのうち、分光スペクトルの最大ピークのピーク波長が最も大きい第１の光フィルタの前記ピーク波長がλ_ｍａｘであり、前記ピーク波長が最も小さい第２の光フィルタの前記ピーク波長がλ_ｍｉｎであり、前記第１の波長範囲の幅がｗ_１であり、
０．６≦（λ_ｍａｘ−λ_ｍｉｎ）／ｗ_１≦１．０が成り立つ処理装置。
１−２． １−１．に記載の処理装置において、
０．７５≦（λ_ｍａｘ−λ_ｍｉｎ）／ｗ_１≦０．９が成り立つ処理装置。
１−３． １−１．または１−２．に記載の処理装置において、
前記第２の連続スペクトルの波長範囲の幅をｗ_２としたとき、前記ｋ個の光フィルタの前記最大ピークの半値幅はそれぞれ、ｗ_２／（ｋ×２）以上８０ｎｍ以下である処理装置。
１−４． １−１．から１−３．のいずれか一つに記載の処理装置において、
前記ｋ個の光フィルタの前記最大ピークの半値幅はそれぞれ、１２ｎｍ以上８０ｎｍ以下である処理装置。
１−５． １−１．から１−４．のいずれか一つに記載の処理装置において、
４≦ｋ≦１６が成り立つ処理装置。
１−６． １−１．から１−５．のいずれか一つに記載の処理装置において、
前記ｋ個の光フィルタの前記最大ピークの間隔の平均値は２０ｎｍ以上４０ｎｍ以下である処理装置。
１−７． １−１．から１−６．のいずれか一つに記載の処理装置において、
前記複数の出力は、前記一以上の受光素子においてさらにバンドパスフィルタを介して得られる処理装置。
１−８． １−１．から１−７．のいずれか一つに記載の処理装置において、
前記推定部は、低次元線形近似法を用いて前記第１の連続スペクトルを推定する処理装置。
１−９． １−１．から１−８．のいずれか一つに記載の処理装置において、
前記第２の連続スペクトルの波長範囲の幅をｗ_２としたとき、０．５≦ｗ_２／ｗ_１が成り立つ処理装置。
１−１０． １−１．から１−９．のいずれか一つに記載の処理装置において、
前記第２の連続スペクトルの波長範囲の幅をｗ_２としたとき、１．０≦ｗ_２／（λ_ｍａｘ−λ_ｍｉｎ）≦１．２が成り立つ処理装置。
１−１１． 一以上の受光素子から複数の出力を取得する取得部と、
前記複数の出力に基づき、第１の波長範囲の第１の連続スペクトルを推定する推定部と、
前記第１の連続スペクトルの少なくとも一方の端を除いた第２の連続スペクトルを生成する生成部とを備え、
前記複数の出力は、前記一以上の受光素子において互いに異なる分光スペクトルを有するｋ個の光フィルタのそれぞれを介して得られ、
ｋは２以上の整数であり、
前記ｋ個の光フィルタの分光スペクトルの最大ピークの、互いに隣接するピーク波長の間隔の平均値Δλが２０ｎｍ以上４０ｎｍ以下であり、
前記ｋ個の光フィルタの半値幅はそれぞれΔλ／２ｎｍ以上８０ｎｍ以下であり、
前記第２の連続スペクトルの波長範囲の幅をｗ_２としたとき、（ｗ_２／Δλ）≦ｋが成り立つ処理装置。
１−１２． １−１１．に記載の処理装置において、
ｋ＜（ｗ_２／Δλ）＋１が成り立つ処理装置。
１−１３． １−１．から１−１２．のいずれか一つに記載の処理装置において、
前記一以上の受光素子の出力により構成される画像を、前記第２の連続スペクトルを用いて解析する解析部をさらに備える処理装置。
１−１４． １−１．から１−１３．のいずれか一つに記載の処理装置と、
前記一以上の受光素子を含む撮像素子と、
前記ｋ個の光フィルタとを備える撮像装置。
２−１． 一以上の受光素子から複数の出力を取得する取得ステップと、
前記複数の出力に基づき、第１の波長範囲の第１の連続スペクトルを推定する推定ステップと、
前記第１の連続スペクトルの少なくとも一方の端を除いた第２の連続スペクトルを生成する生成ステップとを含み、
前記複数の出力は、前記一以上の受光素子において互いに異なる分光スペクトルを有するｋ個の光フィルタのそれぞれを介して得られ、
ｋは２以上の整数であり、
前記ｋ個の光フィルタのうち、分光スペクトルの最大ピークのピーク波長が最も大きい第１の光フィルタの前記ピーク波長がλ_ｍａｘであり、前記ピーク波長が最も小さい第２の光フィルタの前記ピーク波長がλ_ｍｉｎであり、前記第１の波長範囲の幅がｗ_１であり、
０．６≦（λ_ｍａｘ−λ_ｍｉｎ）／ｗ_１≦１．０が成り立つ処理方法。
２−２． ２−１．に記載の処理方法において、
０．７５≦（λ_ｍａｘ−λ_ｍｉｎ）／ｗ_１≦０．９が成り立つ処理方法。
２−３． ２−１．または２−２．に記載の処理方法において、
前記第２の連続スペクトルの波長範囲の幅をｗ_２としたとき、前記ｋ個の光フィルタの前記最大ピークの半値幅はそれぞれ、ｗ_２／（ｋ×２）以上８０ｎｍ以下である処理方法。
２−４． ２−１．から２−３．のいずれか一つに記載の処理方法において、
前記ｋ個の光フィルタの前記最大ピークの半値幅はそれぞれ、１２ｎｍ以上８０ｎｍ以下である処理方法。
２−５． ２−１．から２−４．のいずれか一つに記載の処理方法において、
４≦ｋ≦１６が成り立つ処理方法。
２−６． ２−１．から２−５．のいずれか一つに記載の処理方法において、
前記ｋ個の光フィルタの前記最大ピークの間隔の平均値は２０ｎｍ以上４０ｎｍ以下である処理方法。
２−７． ２−１．から２−６．のいずれか一つに記載の処理方法において、
前記複数の出力は、前記一以上の受光素子においてさらにバンドパスフィルタを介して得られる処理方法。
２−８． ２−１．から２−７．のいずれか一つに記載の処理方法において、
前記推定ステップでは、低次元線形近似法を用いて前記第１の連続スペクトルを推定する処理方法。
２−９． ２−１．から２−８．のいずれか一つに記載の処理方法において、
前記第２の連続スペクトルの波長範囲の幅をｗ_２としたとき、０．５≦ｗ_２／ｗ_１が成り立つ処理方法。
２−１０． ２−１．から２−９．のいずれか一つに記載の処理方法において、
前記第２の連続スペクトルの波長範囲の幅をｗ_２としたとき、１．０≦ｗ_２／（λ_ｍａｘ−λ_ｍｉｎ）≦１．２が成り立つ処理方法。
２−１１． 一以上の受光素子から複数の出力を取得する取得ステップと、
前記複数の出力に基づき、第１の波長範囲の第１の連続スペクトルを推定する推定ステップと、
前記第１の連続スペクトルの少なくとも一方の端を除いた第２の連続スペクトルを生成する生成ステップとを含み、
前記複数の出力は、前記一以上の受光素子において互いに異なる分光スペクトルを有するｋ個の光フィルタのそれぞれを介して得られ、
ｋは２以上の整数であり、
前記ｋ個の光フィルタの分光スペクトルの最大ピークの、互いに隣接するピーク波長の間隔の平均値Δλが２０ｎｍ以上４０ｎｍ以下であり、
前記ｋ個の光フィルタの半値幅はそれぞれΔλ／２ｎｍ以上８０ｎｍ以下であり、
前記第２の連続スペクトルの波長範囲の幅をｗ_２としたとき、（ｗ_２／Δλ）≦ｋが成り立つ処理方法。
２−１２． ２−１１．に記載の処理方法において、
ｋ＜（ｗ_２／Δλ）＋１が成り立つ処理方法。
２−１３． ２−１．から２−１２．のいずれか一つに記載の処理方法において、
前記一以上の受光素子の出力により構成される画像を、前記第２の連続スペクトルを用いて解析する解析ステップをさらに備える処理方法。
３−１． ２−１．から２−１３．のいずれか一つに記載の処理方法の各ステップをコンピュータに実行させるプログラム。

１０ 処理装置
２０ 撮像装置
１１０ 取得部
１３０ 推定部
１５０ 生成部
１７０ 解析部
２１０ 光フィルタ
２３０ 撮像素子
２３１ 受光素子
２３２ 回路
２５０ バンドパスフィルタ
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース

Claims (17)

1. 一以上の受光素子から複数の出力を取得する取得部と、
   前記複数の出力に基づき、第１の波長範囲の第１の連続スペクトルを推定する推定部と、
   前記第１の連続スペクトルの少なくとも一方の端を除いた第２の連続スペクトルを生成する生成部とを備え、
   前記複数の出力は、前記一以上の受光素子において互いに異なる分光スペクトルを有するｋ個の光フィルタのそれぞれを介して得られ、
   ｋは２以上の整数であり、
   前記ｋ個の光フィルタのうち、分光スペクトルの最大ピークのピーク波長が最も大きい第１の光フィルタの前記ピーク波長がλ_ｍａｘであり、前記ピーク波長が最も小さい第２の光フィルタの前記ピーク波長がλ_ｍｉｎであり、前記第１の波長範囲の幅がｗ_１であり、
   ０．６≦（λ_ｍａｘ−λ_ｍｉｎ）／ｗ_１≦１．０が成り立つ処理装置。
2. 請求項１に記載の処理装置において、
   ０．７５≦（λ_ｍａｘ−λ_ｍｉｎ）／ｗ_１≦０．９が成り立つ処理装置。
3. 請求項１または２に記載の処理装置において、
   前記第２の連続スペクトルの波長範囲の幅をｗ_２としたとき、前記ｋ個の光フィルタの前記最大ピークの半値幅はそれぞれ、ｗ_２／（ｋ×２）以上８０ｎｍ以下である処理装置。
4. 請求項１から３のいずれか一項に記載の処理装置において、
   前記ｋ個の光フィルタの前記最大ピークの半値幅はそれぞれ、１２ｎｍ以上８０ｎｍ以下である処理装置。
5. 請求項１から４のいずれか一項に記載の処理装置において、
   ４≦ｋ≦１６が成り立つ処理装置。
6. 請求項１から５のいずれか一項に記載の処理装置において、
   前記ｋ個の光フィルタの前記最大ピークの間隔の平均値は２０ｎｍ以上４０ｎｍ以下である処理装置。
7. 請求項１から６のいずれか一項に記載の処理装置において、
   前記複数の出力は、前記一以上の受光素子においてさらにバンドパスフィルタを介して得られる処理装置。
8. 請求項１から７のいずれか一項に記載の処理装置において、
   前記推定部は、低次元線形近似法を用いて前記第１の連続スペクトルを推定する処理装置。
9. 請求項１から８のいずれか一項に記載の処理装置において、
   前記第２の連続スペクトルの波長範囲の幅をｗ_２としたとき、０．５≦ｗ_２／ｗ_１が成り立つ処理装置。
10. 請求項１から９のいずれか一項に記載の処理装置において、
    前記第２の連続スペクトルの波長範囲の幅をｗ_２としたとき、１．０≦ｗ_２／（λ_ｍａｘ−λ_ｍｉｎ）≦１．２が成り立つ処理装置。
11. 一以上の受光素子から複数の出力を取得する取得部と、
    前記複数の出力に基づき、第１の波長範囲の第１の連続スペクトルを推定する推定部と、
    前記第１の連続スペクトルの少なくとも一方の端を除いた第２の連続スペクトルを生成する生成部とを備え、
    前記複数の出力は、前記一以上の受光素子において互いに異なる分光スペクトルを有するｋ個の光フィルタのそれぞれを介して得られ、
    ｋは２以上の整数であり、
    前記ｋ個の光フィルタの分光スペクトルの最大ピークの、互いに隣接するピーク波長の間隔の平均値Δλが２０ｎｍ以上４０ｎｍ以下であり、
    前記ｋ個の光フィルタの半値幅はそれぞれΔλ／２ｎｍ以上８０ｎｍ以下であり、
    前記第２の連続スペクトルの波長範囲の幅をｗ_２としたとき、（ｗ_２／Δλ）≦ｋが成り立つ処理装置。
12. 請求項１１に記載の処理装置において、
    ｋ＜（ｗ_２／Δλ）＋１が成り立つ処理装置。
13. 請求項１から１２のいずれか一項に記載の処理装置において、
    前記一以上の受光素子の出力により構成される画像を、前記第２の連続スペクトルを用いて解析する解析部をさらに備える処理装置。
14. 請求項１から１３のいずれか一項に記載の処理装置と、
    前記一以上の受光素子を含む撮像素子と、
    前記ｋ個の光フィルタとを備える撮像装置。
15. 一以上の受光素子から複数の出力を取得する取得ステップと、
    前記複数の出力に基づき、第１の波長範囲の第１の連続スペクトルを推定する推定ステップと、
    前記第１の連続スペクトルの少なくとも一方の端を除いた第２の連続スペクトルを生成する生成ステップとを含み、
    前記複数の出力は、前記一以上の受光素子において互いに異なる分光スペクトルを有するｋ個の光フィルタのそれぞれを介して得られ、
    ｋは２以上の整数であり、
    前記ｋ個の光フィルタのうち、分光スペクトルの最大ピークのピーク波長が最も大きい第１の光フィルタの前記ピーク波長がλ_ｍａｘであり、前記ピーク波長が最も小さい第２の光フィルタの前記ピーク波長がλ_ｍｉｎであり、前記第１の波長範囲の幅がｗ_１であり、
    ０．６≦（λ_ｍａｘ−λ_ｍｉｎ）／ｗ_１≦１．０が成り立つ処理方法。
16. 一以上の受光素子から複数の出力を取得する取得ステップと、
    前記複数の出力に基づき、第１の波長範囲の第１の連続スペクトルを推定する推定ステップと、
    前記第１の連続スペクトルの少なくとも一方の端を除いた第２の連続スペクトルを生成する生成ステップとを含み、
    前記複数の出力は、前記一以上の受光素子において互いに異なる分光スペクトルを有するｋ個の光フィルタのそれぞれを介して得られ、
    ｋは２以上の整数であり、
    前記ｋ個の光フィルタの分光スペクトルの最大ピークの、互いに隣接するピーク波長の間隔の平均値Δλが２０ｎｍ以上４０ｎｍ以下であり、
    前記ｋ個の光フィルタの半値幅はそれぞれΔλ／２ｎｍ以上８０ｎｍ以下であり、
    前記第２の連続スペクトルの波長範囲の幅をｗ_２としたとき、（ｗ_２／Δλ）≦ｋが成り立つ処理方法。
17. 請求項１５または１６に記載の処理方法の各ステップをコンピュータに実行させるプログラム。

Images