JPWO2007139070A1 - 光源推定装置、光源推定システムおよび光源推定方法、並びに、画像高解像度化装置および画像高解像度化方法 - Google Patents

Abstract

撮像装置状況判断部（１０１）は撮像装置（１００１）の状況が光源情報の取得に適しているか否かを判断する。適していると判断されたとき、光源画像取得部（１０２）は撮像装置（１００１）によって光源画像を取得する。第１の撮像装置情報取得部（１０３）は光源画像取得時における撮像装置（１００１）の状況を表す第１の撮像装置情報を取得する。第２の撮像装置情報取得部（１０４）は実際の撮像時における撮像装置（１００１）の状況を表す第２の撮像装置情報を取得する。光源情報推定部（１０５）は光源画像並びに第１および第２の撮像装置情報を用いて、撮像時における光源情報を推定する。

Description

本発明は、一般環境での画像撮像、画像処理および画像合成などの際に重要となる、画像撮像時の光源の位置、方向、輝度、スペクトル、色などの光源情報を推定する技術、および、光源情報を用いて画像の高解像度化を行う技術に関するものである。

カメラ付き携帯電話やデジタルカメラの普及に伴い、画像処理への重要度が高まってきている。このような画像処理として、例えばデジタルズームとして知られている画像の高解像度化、人の顔などを認識してフォーカスをあわせるなどの認識処理、さらには現実の画像に仮想物体であるＣｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓで作成された画像を重畳表示する拡張現実などさまざまである。

これらの画像処理は、画像撮像により撮像素子に記録された被写体の「見え」を基に処理が行なわれている。この物体の見えは、光源からの光が被写体表面で反射され、その反射光を撮像素子が受光することで得られる。

そのため、光源情報は画像処理において非常に重要である。つまり、光源情報を取得して、画像撮像や画像処理に利用することは非常に効果的である。例えば、特許文献１では、仮想物体を実世界に重畳表示させる際、実世界の光源環境を計測することで、仮想物体上に映り込む照射光による反射光や仮想物体により生成される影を付与する。

また、光源情報は、画像処理だけでなく、撮像行為を行なう主体者である撮像者が撮像装置で画像を取得する際にも有益である。例えば、特許文献２では、光源位置を検出し、その情報を利用して、順光状態や逆光状態を撮像者に表示することによって、一般の人が特に専門的な知識をもっていない場合でも、光や影を生かした逆光（半逆光）のポートレート写真等を容易に撮像することを可能にしている。
特開平１１−１７５７６２号公報 特開平８−１６０５０７号公報

このような光源情報を取得するためには、光源を撮像した画像、すなわち光源画像が必要である。光源画像は、
（１）被写体とは別方向を撮像し、かつ
（２）全天周に近い、広範囲な画像である
ことが望ましい。これは、以下の理由による。

（１）一般的な被写体、例えば人に対して、照明である街灯や室内照明は上方から照射されることが多い。また、被写体と同じ方向に光源がある場合、逆光状態となり、被写体が暗くなる可能性がある。そのため、撮像者は被写体と光源が同じ画像に入ることを避けたがる。
（２）光源は、撮像者にとって、どこに何個あるか未知。

このため、上述の特許文献１および特許文献２では、光源情報を取得するために、天頂方向に光軸を向け、魚眼レンズを搭載した撮像装置を利用している。

しかし、このように魚眼レンズを被写体とは別方向に向けて撮像するためには、被写体を撮像する撮像装置とは別に、第２の撮像装置が必要になる。これは、コストの面で大きな負担となってしまう。また、特にカメラ付き携帯電話では、小型化の要望が大きいため、撮像装置を現在よりも増やすことは、大きさの面でも大きな問題となる。

さらに、被写体を撮像する撮像装置と光源を撮像する撮像装置が異なるため、２つの撮像装置間での位置合わせ（キャリブレーション）が必要になってしまう。これは、光源情報を推定する上で、被写体と光源との位置関係が特に重要であることに起因する。すなわち、被写体と光源を別個の撮像装置で撮像した場合、これらの対応付けが必要になるが、この操作は非常に煩雑である。

前記の問題に鑑み、本発明は、例えばカメラ付き携帯電話などの装置において、付加的な撮像装置を搭載することなく、光源が撮像された光源画像を取得し、光源情報を推定可能にすることを課題とする。

本発明は、光源推定装置および方法として、撮像装置の状況が光源情報の取得に適しているか否かを判断し、適していると判断されたとき、前記撮像装置によって撮像を行い、この撮像画像を光源画像として取得し、光源画像が取得されたときにおける前記撮像装置の状況を表す第１の撮像装置情報を取得し、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における前記撮像装置の状況を表す第２の撮像装置情報を取得し、前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定するものである。

本発明によると、撮像装置の状況が光源情報の取得に適しているか否かが判断され、適していると判断されたとき、この撮像装置によって光源画像が取得される。このとき、撮像装置の状況を表す第１の撮像装置情報も取得される。そして、撮像者の操作によって前記撮像装置による撮像が行われた撮像時に、撮像装置の状況を表す第２の撮像装置情報が取得され、光源画像と第１および第２の撮像装置情報を用いて、光源情報が推定される。すなわち、光源画像の取得は、撮像時に用いられる撮像装置を利用して、この撮像装置の状況が光源情報の取得に適していると判断されたときに、行われる。したがって、付加的な撮像装置を搭載することなく、光源画像を取得し、光源情報を推定することが可能になる。

また、本発明は、光源推定装置および方法として、撮像装置によって撮像を行い、この撮像画像を光源画像として取得し、光源画像が取得されたときにおける前記撮像装置の状況を表す第１の撮像装置情報を取得し、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における前記撮像装置の状況を表す第２の撮像装置情報を取得し、前記光源画像並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定するものであり、かつ、光軸方向変動手段によって前記撮像装置の光軸方向が変動している状態で、複数枚の光源画像の取得を行うものである。

本発明によると、光軸方向変動手段によって撮像装置の光軸方向が変動している状態で、この撮像装置によって複数枚の光源画像が取得される。このとき、撮像装置の状況を表す第１の撮像装置情報も取得される。そして、撮像者の操作によって前記撮像装置による撮像が行われた撮像時に、撮像装置の状況を表す第２の撮像装置情報が取得され、光源画像と第１および第２の撮像装置情報を用いて、光源情報が推定される。すなわち、光源画像の取得は、撮像時に用いられる撮像装置を利用して、この撮像装置の光軸方向が変動している状態で、行われる。したがって、付加的な撮像装置を搭載することなく、広い範囲にわたって光源画像を取得し、光源情報を推定することが可能になる。

また、本発明は、画像高解像度化装置および方法として、撮像装置によって撮像を行い、本発明に係る光源推定方法によって、被写体に照射する光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定し、被写体の表面の法線情報または３次元位置情報を形状情報として取得し、前記光源情報および形状情報を用いて、撮像された画像を高解像度化するものである。

本発明によると、カメラ付き携帯電話のような撮像装置搭載機器において、被写体撮像用以外の付加的な撮像装置を搭載することなく、被写体周囲の光源画像を取得し、光源情報を推定することが可能になる。また、推定された光源情報を用いて、画像の高解像度化を実現することができる。

図１は、本発明の第１の実施形態に係る光源推定装置の構成を示すブロック図である。 図２は、本発明の光源推定装置が搭載された携帯電話の構成を示す模式図である。 図３は、カメラ付き携帯電話が折り畳まれた状態を示す図である。 図４は、撮像装置状況判断部および光源画像取得部の処理の流れを示したフローチャートである。 図４Ａは、撮像装置状況判断部および光源画像取得部の処理の流れを示したフローチャートである。 図５は、メモリに保持された情報の一部を示した模式図である。 図６は、ロール・ピッチ・ヨー角表現を説明するための模式図である。 図７は、光源画素の抽出処理を説明するための模式図である。 図８は、カメラ座標系と画像座標系との関係を説明するための模式図である。 図９は、撮像装置が移動することを利用して、光源の３次元位置を推定する処理を説明するための模式図である。 図１０は、錘とタッチセンサを利用して光軸方向を検出する方法を説明するための模式図である。 図１１は、錘とタッチセンサが搭載されたカメラ付き折り畳み式携帯電話を示す模式図である。 図１２は、図１１のカメラ付き折り畳み式携帯電話が置かれた状態を示す模式図である。 図１３は、光軸方向とタッチセンサのＯＮ／ＯＦＦとの関係を示す図である。 図１４は、錘とタッチセンサが搭載されたデジタルスチルカメラが置かれた状態を示す模式図である。 図１５は、本発明の第２の実施形態に係る光源推定装置の構成を示すブロック図である。 図１６は、パノラマ光源画像の合成方法を説明するための模式図である。 図１７は、複数枚の光源画像を合成することにより、みかけの視野範囲を広げる処理を示す模式図である。 図１８は、投影面として直方体を利用した場合のパノラマ光源画像の合成方法を説明するための模式図である。 図１９は、本発明の第３の実施形態に係る光源推定装置の構成を示すブロック図である。 図２０は、本発明の第３の実施形態に係る光源推定装置が実装されたカメラ付き折り畳み式携帯電話の外観図である。 図２１は、開閉スイッチを押されたときの、図２０のカメラ付き折畳式携帯電話の動きを示す模式図である。 図２２は、本発明の第３の実施形態に係る光源推定装置の他の構成を示すブロック図である。 図２３は、バイブレーション機構による振動角を説明するための模式図である。 図２４は、本発明の第３の実施形態に係る光源推定装置の他の構成を示すブロック図である。 図２５は、本発明の第４の実施形態に係る光源推定システムの構成を示すブロック図である。 図２６は、画像を拡散反射画像と鏡面反射画像とに分離した例を示す図である。 図２７は、本発明の一実施形態に係る画像高解像度化装置の構成を示すブロック図である。 図２８は、本発明の一実施形態に係る画像高解像度化装置が搭載されたカメラ付き携帯電話を示す図である。 図２９は、直線偏光光を照射した際、偏光フィルタを回転させたときの反射光強度の変化を示すグラフである。 図３０は、偏光フィルタを利用した、鏡面反射画像と拡散反射画像との分離処理の流れを示すフローチャートである。 図３１は、画素ごとに偏光方向が異なる撮像装置を説明するための模式図である。 図３２は、照度差ステレオ法を利用して、被写体の距離や３次元位置を求める処理を説明するための模式図である。 図３３は、反射光の偏光特性を利用した形状情報の取得処理を説明するための模式図である。 図３４は、自然光を照射した際、偏光フィルタを回転させたときの反射光強度の変化を示すグラフである。 図３５は、テキストンに基づく高解像度化処理の概念を示す模式図である。 図３６は、線形マトリクス変換を利用したテキストンに基づく高解像度化処理を説明するための概念図である。 図３７は、テキストンに基づく高解像度化処理における学習処理の流れを示すＰＡＤ図である。 図３８は、テキストンに基づく高解像度化処理における学習処理を説明するための模式図である。 図３９は、２次元離散定常ウェーブレット変換の処理を示す図である。 図４０は、２次元離散定常ウェーブレット変換をテスト画像に実施した場合の画像結果例である。 図４１は、テキストンに基づく高解像度化処理における実行時の処理の流れを示すＰＡＤ図である。 図４２は、テキストンに基づく高解像度化処理における実行時の処理を説明するための模式図である。 図４３は、２次元離散定常逆ウェーブレット変換の処理を示す図である。 図４４は、拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数Ｓｒを説明するための模式図である。 図４５は、本発明の一実施形態に係る画像高解像度化処理における鏡面反射画像のパラメータ推定処理の流れを示す図である。 図４６は、入射照度を表す式の各パラメータを説明するための概念図である。 図４７は、シンプレックス法によるパラメータ推定処理の流れを示すフローチャートである。 図４８は、シンプレックス法におけるパラメータ更新処理の流れを示したフローチャートである。 図４９は、極座標表現を説明するための模式図。 図５０は、本発明の一実施形態に係る画像高解像度化処理における拡散反射画像のパラメータ推定処理の流れを示す図である。 図５１は、擬似アルベドを利用した場合にメモリに保持されるデータを示す図である。

符号の説明

１０１ 撮像装置状況判断部
１０２ 光源画像取得部
１０３ 第１の撮像装置情報取得部
１０４ 第２の撮像装置情報取得部
１０５ 光源情報推定部
１０６ 光源画像合成部
２０１ 画像撮像部
２０３ 光源情報推定部
２０４ 形状情報取得部
２１７ 画像高解像度化部
１００１ 撮像装置
１０２６ バイブレーション機構（光軸方向変動手段）
１０３１ 開閉機構（光軸方向変動手段）
１１００ 通信端末
１１０１ サーバ

本発明の第１態様では、撮像装置の状況が、光源情報の取得に適しているか否かを判断する撮像装置状況判断部と、前記撮像装置状況判断部によって適していると判断されたとき、前記撮像装置によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部と、前記光源画像取得部によって光源画像が取得されたときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第１の撮像装置情報取得部と、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第２の撮像装置情報取得部と、前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部とを備えた光源推定装置を提供する。

本発明の第２態様では、前記撮像装置状況判断部は、前記撮像装置の光軸の方向を検出し、光軸が上方向を向いているとき、適していると判断する前記第１態様の光源推定装置を提供する。

本発明の第３態様では、前記光源画像取得部は、撮像者の操作による前記撮像装置による撮像が行われないことを確認した後に、光源画像の取得を行う前記第１態様の光源推定装置を提供する。

本発明の第４態様では、前記光源情報推定部は、光源の方向および位置のうち少なくともいずれか一方に加えて、光源の輝度、色、およびスペクトル情報のうち少なくともいずれか１つを推定する前記第１態様の光源推定装置を提供する。

本発明の第５態様では、前記光源画像取得部は、前記光源画像を複数枚取得するものであり、前記第１の撮像装置情報取得部は、前記光源画像取得部によって各光源画像が取得されたとき、それぞれ、前記第１の撮像装置情報を取得するものであり、前記光源推定装置は、前記光源画像取得部によって取得された複数の光源画像から、前記第１の撮像装置情報取得部によって取得された複数の第１の撮像装置情報を用いて、パノラマ光源画像を合成する光源画像合成部を備え、前記光源情報推定部は、前記パノラマ光源画像および前記第２の撮像装置情報を用いて、光源情報の推定を行う前記第１態様の光源推定装置を提供する。

本発明の第６態様では、前記撮像装置の光軸方向を変動させる光軸方向変動手段を備え、前記光軸方向変動手段によって前記撮像装置の光軸方向が変動している状態で、前記光源画像取得部が複数枚の光源画像の取得を行うように、構成されている前記第１態様の光源推定装置を提供する。

本発明の第７態様では、前記光源推定装置は、折り畳み式携帯電話に搭載されており、前記光軸方向変動手段は、前記折り畳み式携帯電話を開閉させる開閉機構である前記第６態様の光源推定装置を提供する。

本発明の第８態様では、前記光軸方向変動手段は、バイブレーション機構である前記第６態様の光源推定装置を提供する。

本発明の第９態様では、撮像装置によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部と、前記光源画像取得部によって光源画像が取得されたときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第１の撮像装置情報取得部と、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第２の撮像装置情報取得部と、前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部と、前記撮像装置の光軸方向を変動させる光軸方向変動手段とを備え、前記光軸方向変動手段によって前記撮像装置の光軸方向が変動している状態で、前記光源画像取得部が複数枚の光源画像の取得を行うように、構成されている光源推定装置を提供する。

本発明の第１０態様では、光源情報を推定する光源推定システムとして、前記第１態様の撮像装置状況判断部、光源画像取得部、第１の撮像装置情報取得部、および第２の撮像装置情報取得部を有し、前記光源画像取得部によって取得された光源画像、前記第１の撮像装置情報取得部によって取得された第１の撮像装置情報、および、前記第２の撮像装置情報取得部によって取得された第２の撮像装置情報を送信する通信端末と、前記第１態様の光源情報推定部を有し、前記通信端末から送信された前記光源画像、並びに前記第１および第２の撮像装置情報を受信し、前記光源情報推定部に与えるサーバとを備えたものを提供する。

本発明の第１１態様では、撮像装置の状況が、光源情報の取得に適しているか否かを判断する第１のステップと、前記第１のステップにおいて適していると判断したとき、前記撮像装置によって撮像を行い、この撮像画像を光源画像として取得する第２のステップと、前記第２のステップにおいて光源画像を取得したときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第３のステップと、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第４のステップと、前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する第５のステップとを備えた光源推定方法を提供する。

本発明の第１２態様では、撮像装置によって撮像を行い、この撮像画像を光源画像として取得する第１のステップと、前記第１のステップにおいて光源画像を取得したときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第２のステップと、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第３のステップと、前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する第４のステップとを備え、前記第１のステップにおいて、光軸方向変動手段によって前記撮像装置の光軸方向を変動させ、前記撮像装置の光軸方向が変動している状態で、複数枚の光源画像の取得を行う光源推定方法を提供する。

本発明の第１３態様では、撮像装置によって撮像を行う画像撮像部と、前記第１１または１２態様の光源推定方法によって、被写体に照射する光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部と、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部と、前記光源情報および形状情報を用いて、前記画像撮像部によって撮像された画像を高解像度化する画像高解像度化部とを備えた画像高解像度化装置を提供する。

本発明の第１４態様では、前記画像高解像度化部は、前記画像撮像部によって撮像された画像を、拡散反射成分と鏡面反射成分とに分離し、分離した拡散反射成分と鏡面反射成分とを、個別に、高解像化するものである前記第１３態様の画像高解像度化装置を提供する。

本発明の第１５態様では、前記画像高解像度化部は、前記画像撮像部によって撮像された画像を、パラメータに分解し、分解したパラメータを、個別に、高解像化するものである前記第１３態様の画像高解像度化装置を提供する。

本発明の第１６態様では、撮像装置によって撮像を行う第１のステップと、前記第１１または１２態様の光源推定方法によって、被写体に照射する光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する第２のステップと、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する第３のステップと、前記光源情報および形状情報を用いて、前記第１のステップにおいて撮像した画像を高解像度化する第４のステップとを備えた画像高解像度化方法を提供する。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係る光源推定装置の構成を示すブロック図である。図１において、１００１はＣＣＤやＣＭＯＳ等によって構成された撮像装置、１００２は撮像行為を行う主体者である撮像者が撮像装置１００１に撮像を指示するための撮像スイッチである。撮像装置１００１には３軸の角度センサ１０２５が搭載されている。

また、１０１は撮像装置１００１の状況が、光源情報の取得に適しているか否かを判断する撮像装置状況判断部、１０２は撮像装置状況判断部１０１によって適していると判断されたとき、撮像装置１００１によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部、１０３は光源画像取得部１０２によって光源画像が取得されたとき、撮像装置１００１の状況を表す第１の撮像装置情報を取得する第１の撮像装置情報取得部、１０４は撮像者の操作によって撮像装置１００１による撮像が行われた撮像時に、撮像装置の状況を表す第２の撮像装置情報を取得する第２の撮像装置情報取得部、そして１０５は光源画像取得部１０２によって取得された光源画像、並びに第１の撮像装置情報取得部１０３によって取得された第１の撮像装置情報、および第２の撮像装置情報取得部１０４によって取得された第２の撮像装置情報を基にして、撮像時における光源の方向および位置のうち少なくともいずれか一方を推定する光源情報推定部である。

なお、ここでは、撮像装置状況判断部１０１、光源画像取得部１０２、第１の撮像装置情報取得部１０３、第２の撮像装置情報取得部１０４および光源情報推定部１０５は、ＣＰＵ１０２９によってプログラムを実行することによって、実現されるものとする。ただし、これらの機能の全部または一部を、ハードウェアによって実現するようにしてもかまわない。また、メモリ１０２８は、光源画像取得部１０２によって取得された光源画像と、第１の撮像装置情報取得部１０３によって取得された第１の撮像装置情報を格納する。

図２は本実施形態に係る光源推定装置が搭載されたカメラ付き折り畳み式携帯電話１０００の構成例を示す。図２において、図１と共通の構成要素には図１と同一の符号を付している。なお、図２のカメラ付き折り畳み式携帯電話１０００では、撮像装置１００１に偏光フィルタ１０１６が設けられており、この偏光フィルタ１０１６を回転させるためのモータ１０２６ａと、その回転角を検出するためのエンコーダ１０２７ａとが設けられている。また、折り畳み機構を駆動するためのモータ１０２６ｂと、その回転角を検出するためのエンコーダ１０２７ｂとが設けられている。また、マナーモードスイッチ１０３４が設けられている。

図３は図２のカメラ付き折り畳み式携帯電話１０００が折り畳まれた状態を示す図である。図３において、１００５は撮像装置１００１の光軸方向を示し、１００６は撮像装置１００１の視野範囲を示している。

以下、本実施形態に係る光源推定装置の各構成要素の動作について、説明する。

撮像装置状況判断部１０１は、撮像装置１００１の状況が、光源情報を取得するために適しているか否かを判断する。最も一般的な光源として、家庭内では照明、屋外では街灯や太陽が考えられる。そのため、撮像装置１００１の撮像方向、つまり光軸の方向が上向きになっている場合、撮像装置１００１が光源情報を取得するために適した状況にある、と判断することができる。そこで、撮像装置状況判断部１０１は、撮像装置１００１に搭載された角度センサ１０２５の出力を用いて、撮像装置１０１の光軸の方向を検出し、光軸が上方向を向いているとき、光源情報を取得するために適していると判断する。このとき、撮像装置状況判断部１０１は、光源画像取得部１０２に撮像を促す信号を送信する。

光源画像取得部１０２は、撮像装置状況判断部１０１から撮像を促す信号を受けたとき、すなわち、撮像装置１００１の状況が光源情報を取得するために適していると撮像装置状況判断部１０１によって判断されたとき、撮像装置１００１によって撮像を行い、この撮像画像を光源画像として取得する。取得された光源画像は、メモリ１０２８に格納される。

このとき、光源画像取得部１０２は、撮像者の操作による撮像が行われないことを確認した後に、光源画像の取得を行うのが好ましい。例えば、撮像スイッチ１００２が押されていないことを確認した上で、光源画像の撮像を行えばよい。

光源画像取得部１０２は、撮像者の撮像意図を考慮して、撮像が行われていない期間を利用して光源画像を撮像するものである。本実施形態に係る光源推定装置では、被写体を撮像するための撮像装置１００１を利用して、光源画像の撮像を行う。このため、もし撮像者が被写体をまさに撮像しようとしているその直前に光源画像の撮像が行われてしまうと、撮像者が撮像しようとした瞬間に被写体を撮像することができず、撮像者の撮像意図を無視することになってしまう。

このため、本実施形態では、撮像者の撮像意思を考慮するために、撮像者が撮像を行わないと想定される間、例えば、机などにおかれている間に光源画像の撮像を行う。例えば、図３のカメラ付き折畳式携帯電話１０００が机などにおかれている場合、光軸方向１００５は上向きになると考えられる。この状態であれば、最適な光源画像を撮像することが可能である。

図４は撮像装置状況判断部１０１および光源画像取得部１０２の処理の一例を示すフローである。まず、撮像装置状況判断部１０１は、撮像装置１００１の光軸方向の検出を行い、その光軸方向が上向きであるか否かを判断する（ステップＳ１２１）。光軸方向が上向きでない場合（ステップＳ１２１でＮｏ）、光軸方向が上向きになるまで繰り返し光軸方向のチェックを行う。一方、光軸方向が上向きである場合（ステップＳ１２２でＹｅｓ）、光源画像取得部１０２は撮像スイッチ１００２のチェックを行う（ステップＳ１２２）。もし、オートフォーカス（ＡＦ）などの処理を行うために、撮像スイッチ１００２が押されている場合（ステップＳ１２２でＮｏ）、撮像が行われる可能性が高いため、光源画像の撮像は行わない。一方、撮像スイッチ１００２が押されていない場合（ステップＳ１２２でＹｅｓ）、光源画像取得部１０２は撮像装置１００１によって撮像を行い、光源画像を取得する（ステップＳ１２３）。

なお、ここでは、撮像スイッチのチェックによって、撮像者の操作による撮像が行われるか否かを判断するものとしたが、撮像者が撮像する意思を持っているか否かを確認する方法は、これに限られるものではない。例えば、「撮像中ですか？」という撮像を確認する表示をディスプレイに表示し、撮像者が「Ｎｏ」という意思を表示するか、なんの反応もない場合に、撮像者が撮像する意思を持っていないと判断してもかまわない。

また、加速度センサなどを利用し、撮像装置１００１が静止しているとき、光源画像の取得を行うようにしてもかまわない。すなわち、撮像装置１００１が静止している場合、撮像装置１００１は撮像者が保持しておらず、机などにおかれていると判断できる。そのため、この場合、撮像者は撮像を行っていない可能性が高い。一方、撮像者が撮像を行うために撮像装置１００１を構えている場合、手ぶれの影響を加速度センサが感知する。このときは、光源画像取得部１０２は撮像を行わないようにすればよい。

また、マナーモードを利用して撮像者が撮像する意思を持っているか否かを確認するようにしても構わない。この処理を詳述する。

図４Ａはマナーモードを利用して撮像者が撮像する意思を持っているか否かを確認する場合の、撮像装置状況判断部１０１および光源画像取得部１０２の処理の一例を示すフローチャートである。まず、撮像装置状況判断部１０１は、撮像装置１００１の光軸方向の検出を行い、その光軸方向が上向きであるか否かを判断する（ステップＳ１２１）。光軸方向が上向きでない場合（ステップＳ１２１でＮｏ）、光軸方向が上向きになるまで一定時間間隔で光軸方向のチェックを行う。一方、光軸方向が上向きである場合（ステップＳ１２１でＹｅｓ）、光源画像取得部１０２はマナーモードのチェックを行う（ステップＳ１２４）。もし、マナーモードスイッチ１０３４がＯＦＦに設定されている場合（ステップＳ１２４でＮｏ）、撮像が行われる可能性が高いため、光源画像の撮像は行わない。一方、マナーモードスイッチ１０３４がＯＮに設定されている場合（ステップＳ１２４でＹｅｓ）、光源画像取得部１０２は撮像装置１００１によって撮像を行い、光源画像を取得する（ステップＳ１２３）。

このとき、マナーモードとしてドライブモードが設定されている場合、撮像者は移動中であると考えられるため、光源画像の撮像は行わないようにしても構わない。つまり、サイレントモードでは光源画像を撮影するが、ドライブモードでは撮影を行わない。

第１の撮像装置情報取得部１０３は、光源画像取得部１０２によって光源画像が取得されたとき、撮像装置１００１の状況を表す第１の撮像装置情報を取得する。具体的には例えば、角度センサ１０２５の出力と撮像装置１００１の焦点距離情報とを、第１の撮像装置情報として取得する。取得された第１の撮像装置情報はメモリ１０２８に格納される。図５はメモリ１０２８に保持された情報の一部を示す模式図である。ある光源画像に対して、角度センサ出力と焦点距離が、第１の撮像装置情報として格納されている。

撮像装置１００１の姿勢情報は、角度センサ１０２５の出力を使用して、以下の３ｘ３行列Ｒｌｉｇｈｔで表現される。

撮像装置１００１の姿勢情報を表す、この３ｘ３行列Ｒｌｉｇｈｔのことをカメラ姿勢行列と呼ぶ。ここで、（α，β，γ）はカメラに取り付けられたセンサ出力のロール・ピッチ・ヨー角表現での値であり、ある基準点からの動き量で表現される。ロール・ピッチ・ヨー角表現とは、図６に示したように、任意の回転を、ｚ軸周りの回転であるロー、次に、新しいｙ軸周りの回転であるピッチ、最後に、新しいｘ軸まわりの回転であるヨーの３段階の回転によって表すものである。

また、Ｒｘ（α）、Ｒｙ（β）、Ｒｚ（γ）はロール・ピッチ・ヨー角からｘ軸回転、ｙ軸回転、ｚ軸回転へ変換する行列であり、次式で表される。

また、撮像装置１００１がズーム可能である場合、そのズーム情報も焦点距離情報として取得される。また、撮像装置１００１が固定焦点の場合、その焦点距離情報も取得される。焦点距離情報は、画像処理の分野で広く使われているカメラキャリブレーションを行なうことにより、取得できる。

このような、カメラに取り付けられた角度センサや角速度センサからカメラの姿勢情報を取得する方法は、既存の手法を利用すればよい（例えば、「岡谷貴之，“メカニカルセンサとイメージセンサの融合による３次元形状復元”，情報処理学会研究報告会，２００５−ＣＶＩＭ−１４７，ｐｐ．１２３−１３０，２００５」）。

第２の撮像装置情報取得部１０４は、撮像者の操作によって撮像装置１００１による撮像が行われた撮像時に、撮像装置１００１の状況を表す第２の撮像装置情報を取得する。ここでも、上述した第１の撮像装置情報取得部１０３と同様に、角度センサ１０２５の出力と撮像装置１００１の焦点距離情報とを、第２の撮像装置情報として取得するものとする。このとき、角度センサ１０２５の出力（α，β，γ）から求められる姿勢行列Ｒｎｏｗを、現在の姿勢行列と呼ぶ。

光源情報推定部１０５は、メモリ１０２８に格納された光源画像および第１の撮像装置情報と、第２の撮像装置情報取得部１０４によって取得された第２の撮像装置情報を用いて、撮像者の操作による撮像時における、光源情報を推定する。ここでは、光源の方向を推定するものとする。

まず、光源画像において、十分に輝度値の高い画素を、光源を撮像している画素すなわち光源画素として抽出する。図７はこの処理を説明するための模式図である。図７では、視野範囲１００６を持った撮像装置１００１が光源１００７を撮像している。このとき、撮像画像１００８において、光源が撮像されている領域１００９の輝度値は非常に高くなる。そこで、閾値処理を利用し、所定の閾値よりも輝度値が高い画素を光源画素として抽出する。

こうして求まった光源画素から、光源方向を推定する。この処理には、撮像装置の画素位置（ｕ，ｖ）と画像座標系とよばれる撮像素子上での実寸位置（ｘｆ，ｙｆ）との関係式が必要である。レンズの歪みなどの影響を考慮すると、画素位置（ｕ，ｖ）と実寸位置（ｘｆ，ｙｆ）との関係は、次式で求められる。

ただし、（Ｃｘ，Ｃｙ）は画素中心位置、ｓはスケールファクタ、（ｄｘ，ｄｙ）は撮像素子１画素のサイズ［ｍｍ］、Ｎｃｘはｘ方向の撮像素子数、Ｎｆｘはｘ方向の有効画素数、κ１、κ２はレンズの歪みを示す歪みパラメータである。

また、図８に示した、撮像装置の焦点位置を原点、その光軸方向をＺ軸にとったカメラ座標系（ｘ，ｙ，ｚ）と画像座標系（ｘｆ，ｙｆ）との関係は、次式で求められる。

ここで、ｆは撮像装置の焦点距離を表している。つまり、カメラパラメータ（Ｃｘ，Ｃｙ），ｓ，（ｄｘ，ｄｙ）、Ｎｃｘ、Ｎｆｘ、ｆ、κ１、κ２が既知であれば、（式２）（式３）により、画素位置（ｕ，ｖ）とカメラ座標系（ｘ，ｙ，ｚ）の変換が可能である。

通常、Ｎｃｘ、Ｎｆｘは撮像素子が特定できれば既知であり、また、（Ｃｘ，Ｃｙ），ｓ，（ｄｘ，ｄｙ）、κ１、κ２、ｆはいわゆるカメラキャリブレーションを行うことで既知となる（例えば、Ｒｏｇｅｒ Ｙ．Ｔｓａｉ，“Ａｎ Ｅｆｆｉｃｉｅｎｔ ａｎｄ Ａｃｃｕｒａｔｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ ３Ｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｍｉａｍｉ Ｂｅａｃｈ，ＦＬ，１９８６，ｐｐ．３６４−３７４）。これらのパラメータは、撮像装置の位置や姿勢が変化しても変化しない。このようなパラメータをカメラ内部パラメータとよぶ。

そこで、撮像を行う前にカメラキャリブレーションを行い、カメラ内部パラメータ（Ｃｘ，Ｃｙ）、ｓ、（ｄｘ，ｄｙ）、Ｎｃｘ、Ｎｆｘ、ｆ、κ１、κ２を特定する。これらの値は、撮像装置購入時に付属されているものを利用しても構わない。また、カメラが固定焦点ではなく、ズーム可能である場合、各ズーム時の焦点距離ｆを個別に求めておき、必要なときに選択できるようにしておけばよい。そして、焦点距離ｆを撮像した画像とともに保持しておけばよい。

以上の情報を利用して、光源画素から光源方向を推定する。光源画素の画素位置を（ｕｌｉｇｈｔ，ｖｌｉｇｈｔ）とすると、光源方向Ｌｌｉｇｈｔは以下の式で表現できる。

ところで、Ｌｌｉｇｈｔは光源画像を撮像したカメラ座標系で表現されているため、現在のカメラ座標系Ｌｎｏｗで表現しなおす。これは、以下の式で表現できる。

以上の処理を行うことにより、光源方向ベクトルＬｎｏｗを推定する。このようにして、光源の方向が推定される。

さらに、撮像装置１００１が移動することを利用して、光源の方向だけでなく、３次元位置まで求めるようにしても構わない。

図９はこの処理を説明するための模式図である。図９において、１００１Ａ、１０１０Ａは時刻ｔ＝ｔ１における撮像装置と推定された光源方向ベクトル、また、１００１Ｂ、１０１０Ｂは時刻ｔ＝ｔ２における撮像装置と推定された光源方向ベクトルを示している。ここで、時刻ｔ１とｔ２における撮像装置の相対的な位置関係と姿勢がわかっていれば、光源ベクトル１０１０Ａ，１０１０Ｂを延長した交点に光源は存在するはずである。つまり、光源の３次元位置は以下のように求まる。

時刻ｔ１における、撮像装置の姿勢行列、撮像装置の相対的な３次元位置、および推定された光源方向ベクトルをそれぞれ、Ｒ１、Ｐ１、Ｌ１とし、時刻ｔ２における、撮像装置の姿勢行列と推定された光源方向ベクトルをそれぞれ、Ｒ２、Ｌ２とする。ただし、時刻ｔ２において、撮像装置の位置は原点Ｏ（０，０，０）であるとする。このとき、光源位置Ｐｌｉｇｈｔは次式を満たす。

ただし、ｓ，ｍは任意の定数である。もし、すべての推定値が正しく、ノイズが存在していなければ、（式５）と（式６）をｓとｍに関する連立方程式として解くことによって、光源位置Ｐｌｉｇｈｔは求まる。しかし、通常はノイズの影響があるため、最小自乗法を利用して、光源位置を求める。

まず、以下の関数ｆ（ｍ，ｓ）を考える。

ここで、ｍ，ｓは以下の関係式を満たす。

つまり、

よって、（式７）、（式８）をｍとｓに関する連立方程式として解き、求まったｓとｍを（式５）または（式６）へ代入することにより、光源位置Ｐｌｉｇｈｔが求まる。このようにして、光源の位置が推定される。

なお、時刻ｔ１における撮像装置の相対的な３次元位置Ｐ１（時刻ｔ１とｔ２における撮像装置の相対的な位置関係）は、オプティカルフローを用いることによって求められる。オプティカルフローは、被写体上のある１点に対応する、時間的に連続した２つの画像上の点、すなわち対応点を結ぶベクトルであり、対応点とカメラ動きの間には、幾何学的な拘束式が成り立つ。このため、対応点が一定の条件を満たす場合にカメラの動きを算出することができる。

異なる時刻における撮像装置の相対的な位置関係をオプティカルフローから求める手法としては、例えば８点法と呼ばれる手法が知られている（Ｈ．Ｃ．Ｌｏｎｇｕｅｔ−Ｈｉｇｇｉｎｓ，“Ａ ｃｏｍｐｕｔｅｒ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｒｅｃｏｎｓｔｒｕｃｔｉｎｇ ａ ｓｃｅｎｅ ｆｒｏｍ ｔｗｏ ｐｒｏｊｅｃｔｉｏｎｓ”，Ｎａｔｕｒｅ，ｖｏｌ．２９３，ｐｐ．１３３−１３５，１９８１）。この手法は、２画像間の静止した８点以上の対応点の組からカメラ動きを算出するものである。また、このような２画像間の対応点を求める手法は、一般に広く知られた方法であるので、詳細な説明を省略する（例えば、Ｃａｒｌｏ Ｔｏｍａｓｉ ａｎｄ Ｔａｋｅｏ Ｋａｎａｄｅ，“Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｏｆ Ｐｏｉｎｔ Ｆｅａｔｕｒｅｓ”，Ｃａｒｎｅｇｉｅ Ｍｅｌｌｏｎ Ｕｎｉｖｅｒｓｉｔｙ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ，ＣＭＵ−ＣＳ−９１−１３２，Ａｐｒｉｌ １９９１）。

さらに、光源画素の輝度値やＲＧＢ値を求めることによって、光源の輝度や色も求めることができる。また、画像をマルチスペクトルカメラで取得することによって、光源のスペクトルを検出するようにしても構わない。このように光源のスペクトルを取得することによって，後述する画像の高解像度化や拡張現実において、色再現性の高い画像が合成できることが知られている（例えば、「内山俊郎，土田 勝，山口雅浩，羽石秀昭，大山永昭，“マルチスペクトル撮影による光源環境計測とスペクトルに基づく画像生成”，電子情報通信学会技術研究報告ＰＲＭＵ２００５−１３８，ｐｐ．７−１２，２００６」）。

また、光源情報推定部１０５は、光源情報として、光源の照度情報を取得するようにしても構わない。これは撮像装置１００１と光軸方向が一致した照度計を利用すればよい。照度計としては、光電池にマイクロアンペア計を接続し、入射光によって生じる光電流を読む光電池照度計などを用いればよい。

以上のように本実施形態の光源推定装置によると、撮像装置の状況が光源情報の取得に適していると判断されたとき、この撮像装置によって光源画像を取得し、光源画像の取得時における第１の撮像装置情報と、撮像者による撮像時における第２の撮像装置情報とを用いて、撮像時における光源情報を推定する。したがって、カメラ付き携帯電話などにおいて、付加的な撮像装置を搭載することなく、被写体周囲の光源情報を推定することができる。

なお、上述の実施形態では、撮像装置状況判断部１０１が撮像装置１００１の光軸方向を検出するために、角度センサ１０２５の出力を用いるものとしたが、これ以外にも例えば、錘とタッチセンサを利用した方法（特開平４−４８８７９号公報参照）や、加速度センサを利用した方法（特開昭６３−２１９２８１号公報参照）など、既存の方法を利用してもよい。

ここでは、錘とタッチセンサを利用する方法について説明する。図１０は錘とタッチセンサの構成を示す図である。図１０（ａ）において、１００３は常に垂直方向を保持するよう基端部を回動可能に支持して吊下された錘、１００４Ａ、１００４Ｂはタッチセンサである。また、１００５は撮像装置の光軸方向を示している。図１０（ｂ）に示すように、撮像装置の光軸方向１００５と水平面との角度をθとすると、タッチセンサ１００４Ａ，１００４Ｂは、光軸方向１００５が水平方向から所定角度θ１、θ２だけ傾いたとき、錘１００３に当接するように設置されている。

図１１は図１０の錘とタッチセンサがカメラ付き折り畳み式携帯電話に搭載された場合の構成例である。図１１のカメラ付き折り畳み式携帯電話が、撮像装置１００１を下にして置かれた場合、錘１００３がタッチセンサ１００４Ａに当接し、タッチセンサ１００４ＡがＯＮになる（図１２（ａ））。一方、撮像装置１００１を上にして置かれた場合、錘１００３がタッチセンサ１００４Ｂに当接し、タッチセンサ１００４ＢがＯＮになる（図１２（ｂ））。

図１３は光軸方向とタッチセンサのＯＮ／ＯＦＦとの関係を示す図である。すなわち、タッチセンサ１００４ＡがＯＮになり、タッチセンサ１００４ＢはＯＦＦのとき、光軸は水平方向から＋θ１以上傾いた下向きであると推定できる。また、タッチセンサ１００４ＢがＯＮになり、タッチセンサ１００４ＡはＯＦＦのとき、光軸は水平方向から−θ２以上傾いた上向きであると推定できる。一方、タッチセンサ１００４Ａ、１００４Ｂ両方ともＯＦＦの場合は、−θ２＜θ＜θ１であり、光軸方向はほぼ水平と推定できる。

このように、錘とタッチセンサを利用して、撮像装置１００１の光軸方向を検出することが可能となる。

なお、ここでは、カメラ付き折畳式携帯電話を例にとって説明したが、もちろんデジタルスチルカメラやデジタルビデオカメラであっても、錘とタッチセンサを利用して、撮像装置の光軸方向を検出することは可能である。図１４はデジタルスチルカメラに錘とタッチセンサを搭載した場合の構成例である。図１４（ａ）に示すように、撮像装置１００１の光軸が下向きのときは錘１００３がタッチセンサ１００４Ａに当接しており、一方、図１４（ｂ）に示すように、撮像装置１００１の光軸が上向きのときは錘１００３がタッチセンサ１００４Ｂに当接している。

また、上述の実施形態では、撮像装置状況判断部１０１は、撮像装置１００１の光軸の方向を検出して、撮像装置１００１の状況が光源情報の取得に適しているか否かを判断するものとしたが、光軸の方向を検出する代わりに、例えば、撮像された画像の輝度値を検出するようにしても構わない。

撮像画像に光源が映っている場合、光源が撮像されている画素の輝度値は非常に高くなる。そこで、撮像装置１００１により画像を撮像し、撮像された画像に閾値以上の輝度値が存在する場合、光源が撮像されており、光源情報の取得に適した状況であると判断することができる。このとき、光源の輝度値は非常に高いと考えられるため、撮像装置１００１は露光時間をできる限り短くして撮像することが望ましい。

あるいは、撮像装置１００１の状況が光源情報の取得に適しているか否かを判断するために、カメラの視野範囲に遮蔽物が存在するか否かを検出するようにしても構わない。これは、遮蔽物が存在する場合、光源が遮蔽されてしまい、光源を撮影できない可能性が高くなるためである。

遮蔽物の存在を検出するためには、距離情報を利用する方法と、画像情報を利用する方法とがある。前者は、例えばカメラのオートフォーカスなどに利用されている測距センサの出力を利用し、例えば、１ｍ以内に被写体が存在する場合はその被写体は遮蔽物であると判断するようにすればよい。また、後者の画像情報を利用する方法は、例えば、撮像装置１００１で画像を撮影し、その画像中から画像処理により人物を検出する。もし、人物が撮像されていた場合、その人物は遮蔽物であると判断する。これは、カメラの近傍で光源を遮蔽する最も一般的な被写体は人物だと考えられるためである。画像からの人物の検出は、例えば、色情報を利用して、肌色領域を検出するなど、広く知られている画像認識技術を利用すればよい。

また、光源画像取得部１０２が光源画像の取得を行う際には、フラッシュを照射せずに撮像を行うことが望ましい。これは、鏡のような鏡面反射を起こす被写体が撮像装置１００１の視野内に存在している場合、フラッシュが反射され、誤って光源画素として推定されてしまうためである。そのため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用することが望ましい。また、光源画像取得部１０２が光源画像の取得を行う際に、露光量が足りない場合は、露光時間を長くすればよい。これは、上述のように、加速度センサなどを利用し、撮像装置１００１が静止しているときのみ、光源画像の取得を行う場合に特に有効である。

（第２の実施形態）
図１５は本発明の第２の実施形態に係る光源推定装置の構成を示すブロック図である。図１５において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。

図１５の構成では、図１の構成に加えて、光源画像合成部１０６が設けられている。光源画像合成部１０６は、光源画像取得部１０２によって取得された複数の光源画像から、第１の撮像装置情報取得部１０３によって取得された複数の第１の撮像装置情報を用いて、パノラマ光源画像を合成する。パノラマ光源画像とは、広範囲なシーンが撮像された光源画像のことである。パノラマ光源画像を利用することによって、広範囲なシーンにおける光源情報を一度に取得することができる。

本実施形態では、撮像装置状況判断部１０１、光源画像取得部１０２および第１の撮像装置情報取得部１０３が、処理を繰り返し実行し、複数枚の光源画像を取得するとともに、各光源画像にそれぞれ対応する複数の第１の撮像装置情報を取得する。これら複数組の光源画像および第１の撮像装置情報は、メモリ１０２８に格納される。

この際、例えば、第１の撮像装置情報取得部１０３は、光源画像取得部１０２によって新たな光源画像が取得されたとき、この新たな光源画像をすでに撮像されている光源画像と比較し、その差が大きい場合のみ、第１の撮像装置情報を取得するようにすればよい。一方、その差が小さい場合は、新たな光源画像を廃棄するようにすればよい。あるいは、加速度センサや角度センサを利用して、撮像装置１００１が動いたときに、光源画像と第１の撮像装置情報を取得して格納するようにしてもかまわない。

光源画像合成部１０６は、メモリ１０２８に格納された複数組の光源画像と第１の撮像装置情報から、一枚の広域なパノラマ光源画像を合成する。

図１６はパノラマ光源画像の合成方法を説明するための模式図である。図１６において、１００１は撮像装置、１００６は視野範囲、１０１１は画像を投影するための投影面、１０１２は撮像した光源画像を投影した投影画像を示している。まず、メモリ１０２８に格納された光源画像を、これに対応する第１の撮像装置情報を用いて、投影面１０１１に投影する。ここで、投影面は半球状であるものとする。撮像装置１００１に搭載された角度センサ１０２５の出力（α，β，γ）が、

であるときのカメラ座標系（ｘ、ｙ、ｚ）を（Ｘｗ，Ｙｗ，Ｚｗ）とすると、投影面は以下の式で表される。

ここで、ｒｐｒｊは投影面１０１１である半球の半径である。例えば、屋外では街灯を想定し、１０ｍとし、また屋内では天井に敷設された照明を想定し、２．５ｍ程度とすればよい。このような屋外・屋内の切り替えは、例えば、屋内撮像モードと屋外撮像モードとを撮像者が切り替えるようにすればよい。

（式４）、（式１０）より、全ての画素は次式によって投影面１０１１に投影できる。

ただし、Ｒ０は（式１）と（式９）から求まる姿勢行列である。

（式１１）を利用して、撮像された全ての光源画像を投影面１０１１に投影し、投影画像１０１２を作製する。この際、２つ以上の光源画像が投影面上の同一領域に投影される場合があるが、この場合は例えば、新たに撮像された光源画像を優先し、以前に撮像された光源画像による投影画像１０１２は廃棄するようにすればよい。

このように、複数枚の光源画像を統合して投影画像を合成することにより、みかけの視野範囲を広げることが可能である。図１７はこの様子を示した模式図である。図１７において、１００１は撮像装置、１００５、１００６はそれぞれ撮像装置１００１の姿勢を変更した際の光軸方向と視野範囲、１０１３は姿勢を変更して撮像した画像を統合したことによって得られた、みかけの視野範囲を示している。このように、光軸方向を変化させて撮像した画像を統合してパノラマ画像化することにより、視野範囲を広げることができる。

また、投影面１０１１は半球である必要はなく、例えば屋内であれば、図１８に示したように、直方体であっても構わない。この場合、カメラ座標系（ｘ、ｙ、ｚ）を（Ｘｗ，Ｙｗ，Ｚｗ）とすると、投影面である直方体の各面は以下の式で表される。

ここで、ａ、ｂ、ｃは定数であり、図１８の直方体上の投影面を示している。よって、（式１１）と同様に、（式４）と（式５９）の交点を求めることにより、すべての画素は次式によって投影面１０１１に投影できる。

ただし、Ｒ０は（式１）と（式９）から求まる、姿勢行列である。

なお、屋外・屋内の切り替えは、光源画素の色を利用して行ってもかまわない。すなわち、撮像された光源画素のＲＧＢ成分から求まる色を利用し、それが太陽光か、あるいは蛍光灯または電球かを判別し、太陽光の場合は屋外、蛍光灯や電球の場合は屋内と判別すればよい。この場合、撮像装置のＲＧＢそれぞれの波長特性と、画像の明るさの変化に対する電圧換算値の変化の比であるガンマ値とを保持しておけばよい。

光源情報推定部１０５は、光源画像合成部１０６が合成したパノラマ光源画像を利用して、光源情報を推定する。ここでは、光源情報として、光源位置を推定する方法を説明する。

まず、第１の実施形態で述べた方法によって、パノラマ光源画像から光源画素を抽出する。こうして抽出された光源画素の位置は、撮像装置１００１の姿勢が（式９）である場合におけるものである。そこで、第２の撮像装置情報取得部１０４によって取得された第２の撮像装置情報を用いて、次式により、撮像者による撮像時におけるカメラ座標での光源位置（Ｘｌ＿ｎｏｗ，Ｙｌ＿ｎｏｗ，Ｚｌ＿ｎｏｗ）を推定する。

以上のように本実施形態の光源推定装置によると、パノラマ光源画像から、光源情報が推定されるので、広範囲なシーンにおける光源情報を一度に取得することができる。

（第３の実施形態）
図１９は本発明の第３の実施形態に係る光源推定装置の構成を示すブロック図である。図１９において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明を省略する。

図１９の構成は、折り畳み式携帯電話に搭載されていることを前提としている。そして、折り畳み式携帯電話を開閉させる開閉機構１０３１と、開閉機構１０３１に開閉動作を実行させるための開閉スイッチ１０１４とを備えている。開閉スイッチ１０１４が押されて開閉機構１０３１が開閉動作を実行すると、折り畳み式携帯電話に搭載された撮像装置１００１の光軸方向が、この開閉動作に伴い変化する。すなわち、開閉機構１０３１は、撮像装置１００１の光軸方向を変動させる光軸方向変動手段として、機能する。

光源画像取得指示部１１０は、開閉スイッチ１０１４が押されたとき、まず、光源画像取得部１０２に光源画像の取得を行うよう指示する。このとき、撮像装置１００１は連写や動画撮影をすることが望ましい。撮像装置１００１の撮像開始後、光源画像取得指示部１１０は開閉機構１０３１によって開閉動作を実行する。これによって、開閉機構１０３１が開閉動作を実行する間に、言い換えると、光軸方向変動手段によって撮像装置１００１の光軸方向が変動している状態で、光源画像取得部１０２によって光源画像の取得が行われる。これによって、図１７に示したように、広域な視野範囲において、複数枚の光源画像を撮像することができる。

図２０は本実施形態に係る光源推定装置が実装されたカメラ付き折り畳み式携帯電話１０００の外観図である。図２０において、１００１Ａと１００１Ｂは撮像装置、１００２は撮像スイッチ、１０１４は折り畳み式携帯電話の開閉スイッチである。また、撮像装置１００１Ａ，１００１Ｂに付された矢印は光軸方向を示している。折り畳み式携帯電話は、通話や撮像を行わない際は、通常、液晶ディスプレイの保護や携帯性の向上のために、図２０（ｂ）のように折り畳まれている。

図２０（ｂ）の状態で、開閉スイッチ１０１４を押すと、折り畳み式携帯電話１０００は、図２１（ａ）→（ｂ）→（ｃ）→（ｄ）→（ｅ）のように、自動で開く。図２１において、１００６Ａ、１００６Ｂは折り畳み式携帯電話１０００に搭載された２つの撮像装置（図２０における１００１Ａ，１００１Ｂ）で撮像される視野範囲を示している。図２１から、カメラ付き折り畳み式携帯電話１０００の開閉スイッチ１０１４を利用することによって、撮像装置１００１Ａ，１００１Ｂの光軸方向を変動させることができることが分かる。

開閉機構１０３１は例えば、バネやロック機構を設けることによって実現できる（例えば、特開平７−１３１８５０号公報参照）。また、折り畳み式携帯電話のヒンジ部に、モータを設置しておいてもよい。このとき、撮像装置１００１の姿勢情報は、モータに併せて設置したロータリーエンコーダを、角度センサ１０２５として用いて取得すればよい。

図１９の構成の動作について説明する。まず、開閉スイッチ１０１４が押されると、光源画像取得指示部１１０は、これを検出し、光源画像取得部１０２に光源画像の取得を指示する。また、光源方向変動手段としての開閉機構１０３１は、開閉スイッチ１０１４が押されたとき、折り畳み式携帯電話の自動開閉動作を実行する。開閉機構１０３１が作動している間に、光源画像取得指示部１１０から指示された光源画像取得部１０２は、撮像装置１００１を利用して、光源画像を複数枚、撮像する。以降の動作は、第１の実施形態と同様である。

また、本実施形態では、撮像装置１００１を移動させながら光源画像を撮像するため、露光時間はできるだけ短くすることが望ましい。また、手ぶれ補正処理を導入することによって、撮像装置１００１が移動していても光源画像をブレなしに撮像するようにしてもかまわない。

ここで、手ぶれ補正処理を導入しない場合の露光時間ＴＥとすると、露光時間ＴＥは次式で表現される。

ここで、Ｍは開閉スイッチ１０１４を押すことによって回転する光軸の回転速度［ｄｅｇ／ｓｅｃ］、θｓは撮像装置１００１の縦方向の視野角［ｄｅｇ］、Ｌｘは撮像装置１００１の縦方向の画素数である。例えば、Ｍ＝１８０［ｄｅｇ／ｓｅｃ］、θｓ＝８０［ｄｅｇ］、Ｌｘ＝１０００とすると、

となり、露光時間を１／４０００秒程度にすればよい。

また、（式６０）より、光軸の回転速度Ｍを決定するようにしても構わない。例えば、θｓ＝４０［ｄｅｇ］、Ｌｘ＝１０００、ＴＥ＝０．０００５［ｓｅｃ］であれば、
Ｍ＜４０［ｄｅｇ／ｓｅｃ］
となり、通常の開閉動作に比べ、ゆっくりと開閉機構１０３１を動作させればよい。

また、光源環境は時間とともに変化していくため、光源画像の取得は、実際に被写体を撮像する時間にできるだけ近いタイミングで実行することが望ましい。通常、開閉スイッチ１０１４は撮像を行う直前に押されることが多いため、本実施形態によると、撮像直前の光源画像を取得できる可能性が高くなるので、非常に有効である。

また、光源画像として、わざとボケた画像を撮影するようにしても構わない。ボケた画像を撮影することによって、撮影シーンにおける人物のプライバシーを保持しながら光源画像を撮像することができる。これは、例えば、露光時間を長くすることで実現できる。

前述のように、（式６０）を満たさない場合、開閉機構１０３１による光軸の移動に伴い動きブレが生じ、ボケた画像が撮影される。そこで、例えば以下の式を満たす露光時間や回転速度を決定すればよい。

ここで、ＴＢはボケ量を決定する定数である。例えば、ＴＢ＝８、θｓ＝４０［ｄｅｇ］、Ｌｘ＝１０００、Ｍ＝４０［ｄｅｇ／ｓｅｃ］の場合、露光時間ＴＥ＝０．００８［ｓｅｃ］とすればよい。

また、複数枚の光源画像から、投票処理を利用して光源方向を推定してもよい。これにより、光源方向の推定精度を上げることができる。例えば、ある光源画像から光源位置を求めた結果、他の光源画像における光源位置と大きなズレがある場合、あるいは、他の光源画像には対応する光源が存在しないような場合、その光源位置の推定は失敗していると判断して、光源推定結果から廃棄するようにすればよい。

また、光源画像がきちんと撮像されていない場合、撮像を再度行うように促しても構わない。例えば、推定した光源情報から推定される画像と実際に撮像された光源画像とを比較し、その差が大きい場合は、光源画像において光源が撮像されておらず、光源推定に失敗していると判断すればよい。撮像を促す方法としては、例えば、音声で「再度、光源を撮像してください」と伝えたり、ディスプレイに「再度、光源を撮像してください」と表示させたりすればよい。

図２２は本実施形態に係る光源推定装置の他の構成を示すブロック図である。図２２において、図１および図１９と共通の構成要素には、図１および図１９と同一の符号を付しており、ここではその詳細な説明を省略する。

図２２の構成は、第１の実施形態で示した撮像装置状況判断部１０１を備えている。また、例えば携帯電話のバイブレーション機能を実現するために用いられる、バイブレーション機構１０２６を備えている。バイブレーション機能とは、携帯電話がマナーモード時などに振動で着信を知らせる機能のことである。バイブレーション機能がＯＮの状態で、バイブレーション機構１０２６が振動動作を実行すると、携帯電話に搭載された撮像装置１００１の光軸方向が、この振動動作に従って変化する。すなわち、バイブレーション機構１０２６は、撮像装置１００１の光軸方向を変動させる光軸方向変動手段として、機能する。

撮像装置状況判断部１０１は、第１の実施形態で説明したように、撮像装置１００１の状況が光源情報を取得するのに適しているか否かを判断する。光源画像取得指示部１１０は、撮像装置状況判断部１０１によって適していると判断されたとき、バイブレーション機構１０２６に振動動作を実行させるとともに、光源画像取得部１０２に光源画像の取得を行うよう指示する。これによって、バイブレーション機構１０２６が振動動作を実行している間に、言い換えると、光軸方向変動手段によって撮像装置１００１の光軸方向が変動している状態で、光源画像取得部１０２によって光源画像の取得が行われる。これによって、図１７に示したように、広域な視野範囲において、複数枚の光源画像を撮像することができる。この場合、撮像装置１００１は静止していないため、露光時間は短くすることが望ましい。

このとき、撮像装置１００１の視野角をθｓ、バイブレーション機構１０２６による携帯電話の振動する角度をθｖ（図２３の振動角）とすると、拡大された視野角θｔは次式で表現される。

この式から、撮像装置１００１の視野角θｓと光源推定に必要な視野角θｔが決まれば、必要な振動量を計算することができる。例えば、撮像装置１００１の視野角θｓが８０度であり、光源推定に９０度の視野角が必要だとすると、振動角は５度程度となる。これは、１１ｃｍの高さのある携帯電話を９ｍｍ程度振動させることによって実現できる値である。

なお、光源画像の取得のためにバイブレーション機構１０２６を動作させる際に、例えば、着信時やメール受信時とは異なる音をスピーカから流すようにしてもよい。これにより、光源画像の取得時を、着信時やメール受信時と区別することができる。また、光源画像を取得している際に、ＬＥＤやインターフェイス用の液晶ディスプレイを光らせて、利用者に告知するようにしてもかまわない。

もちろん、音やＬＥＤ、ディスプレイによって告知した後に、バイブレーション機構１０２６を動作させて光源画像を取得するようにしてもかまわない。

図２４は本実施形態に係る光源推定装置の他の構成例を示すブロック図である。図２４において、図１および図２２と共通の構成要素には、図１および図２２と同一の符号を付しており、ここではその詳細な説明を省略する。

図２４の構成では、図２２と対比すると、メール受信検出部１０３２が設けられており、撮像装置状況判断部１０１が省かれている。メール受信検出部１０３２がメール受信を検出したとき、バイブレーションモードに設定されているものとすると、バイブレーション機構１０２６が振動動作を行う。またこのとき、光源画像取得指示部１１０は、メール受信検出部１０３２からの信号を受けて、光源画像取得部１０２に光源画像の取得を指示する。このような動作によって、バイブレーション機構１０２６が振動動作を実行している間に、言い換えると、光軸方向変動手段によって撮像装置１００１の光軸方向が変動している状態で、光源画像取得部１０２によって光源画像の取得が行われる。

この構成によると、メールの受信によって作動するバイブレーション機能を利用して、撮像装置の光軸方向が変動した状態で複数の光源画像を取得することができるため、余計なバイブレーションを行う必要がなくなるというメリットがある。

以上のように本実施形態によると、光軸方向変動手段によって撮像装置の光軸方向が変動している状態で、光源画像の取得が行われるため、被写体周囲の広い範囲にわたって光源画像を取得することができるので、精度良く、光源情報を推定することができる。

なお、上述した各構成において、第２の実施形態で示した光源画像合成部１０６を設けて、複数の光源画像からパノラマ光源画像を生成するようにしてもかまわない。

なお、本実施形態では、光軸方向変動手段を、折り畳み式携帯電話の開閉機構やバイブレーション機構によって実現するものとしたが、本発明はこれに限られるものではなく、撮像装置の光軸方向を変動させる構成であれば、どのようなもので実現してもかまわない。例えば、撮像装置自体に専用の駆動機構を設けてもよい。

（第４の実施形態）
図２５は本発明の第４の実施形態に係る光源推定システムの構成を示すブロック図である。図２５では、図１と共通の構成要素については図１と同一の符号を付しており、ここではその詳細な説明を省略する。

図２５では、例えばカメラ付き携帯電話によって構成される通信端末１１００に、図１に示した各構成要素のうち光源情報推定部１０５以外のものが設けられている。そして、光源情報推定部１０５は、通信端末１１００から離れてネットワークを介して接続された外部の装置であるサーバ１１０１に設けられている。すなわち、本実施形態では、通信端末１０００側では、全ての処理を行うのではなく、光源画像と撮像装置情報の取得のみを行い、光源情報推定処理はサーバ１１０１側で実行する。

通信端末１１００では、第１の実施形態で述べたように、光源画像取得部１０２によって光源画像が取得され、第１の撮像装置情報取得部１０３によって光源画像取得時における第１の撮像装置情報が取得され、第２の撮像装置取得部１０４によって実際の撮像時における第２の撮像装置情報が取得される。これら光源画像並びに第１および第２の撮像装置情報は、情報送信部１０８によって送信される。また、このとき、光源情報推定の内容についても指示するようにしてもよい。

サーバ１１０１では、情報受信部１０９が、通信端末１１００からネットワークを介して送信される情報、すなわち光源画像並びに第１および第２の撮像装置情報を受信する。受信された光源画像並びに第１および第２の撮像装置情報は、光源情報推定部１０５に与えられる。光源情報推定部１０５は、第１の実施形態で述べたように、光源情報の推定を行う。光源情報推定の内容について指示されたときは、その指示に従って、光源情報の推定を行う。

このように、光源情報推定部１０５をサーバ１１０１に設けて、光源情報推定処理を実行させることによって、通信端末１１００側の計算負荷を軽くすることが可能になる。

（光源情報を利用した画像の高解像度化）
本発明の光源推定装置は、デジタルズームとして知られている画像の高解像度化に特に有効である。画像の高解像度化は、撮像した画像を任意に拡大処理することができるため、画像撮像後の編集処理において重要である。本来、このような画像の高解像度化は補間処理などによって行なわれてきたが、２ｘ２倍以上の拡大画像を合成する場合、合成される画像がボケてしまい、画質が劣化するという問題があった。本発明の光源推定方法を利用することで、画質劣化の少ない、画像の高解像度化を実現することができる。この手法を説明する。

まず、この処理の概念を説明する。本発明の高解像度化処理は、以下の４つの入力情報を利用する。

○被写体の拡散反射画像
○被写体の鏡面反射画像
○被写体の３次元形状情報
○光源位置・色・照度

ここで、拡散反射画像とは、入力画像のうち、マットな反射成分である拡散反射成分のみを画像化したものであり、同様に、鏡面反射画像は、入力画像のうち、てかりである鏡面反射成分のみを画像化したものである。ここで、拡散反射成分とは、光沢の無い物体表面で起こる反射で、すべての方向に一様に散乱する成分である。一方、鏡面反射成分とは、鏡の面での反射のように、法線に対して入射光の反対方向に強く反射する成分である。２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として表現される。後述するように、鏡面反射画像と拡散反射画像は、例えば偏光フィルタを回転させながら被写体を撮像することで取得することができる。

図２６（ａ）は、光源で照射された被写体（タンブラー）を撮像装置で撮像した画像を示している。図の上部にてかりである鏡面反射が現れているのがわかる。一方、図２６（ｂ）（ｃ）は、図２６（ａ）の画像を後述する方法で拡散反射画像と鏡面反射画像とに分離した結果である。拡散反射画像はてかりが取り除かれ、表面のテクスチャ情報が鮮明になっているが、立体感が失われている。一方、鏡面反射画像は細かな形状情報が鮮明に現れているが、逆にテクスチャ情報が失われている。つまり、入力画像はこれら全く異なる情報を含んだ二つの画像が重畳されたものであった。画像を拡散反射画像と鏡面反射画像とに分離し、別々に処理することにより、より精細な高解像度化処理が可能である。

高解像度化処理には、学習ベースの手法を用いる。学習ベースとは、事前に低解像度と高解像度の画像組を用意し、その対応を学習する。この際、用意された画像以外の画像においても高解像度化処理を働かせるために、画像そのものを学習するのではなく、画像から抽出した特徴量を学習する。

図２７は本発明の一実施形態に係る画像高解像度化装置の構成を示すブロック図である。図２７の画像高解像度化装置は、撮像装置を利用し、撮像を行う画像撮像部２０１と、上述した光源推定方法によって、被写体に照射する光源の方向や位置、輝度、色、スペクトル情報などの光源情報を推定する光源情報推定部２０３と、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部２０４と、光源推定部２０３によって推定された光源情報と、形状情報取得部２０３によって取得された形状情報を用いて、画像撮像部２０１によって撮像された画像を高解像度化する画像高解像度化部２１７とを備えている。さらに、画像高解像度化部２１７は、画像撮像部２０１によって撮像された画像を、拡散反射・鏡面反射分離部２０２によって拡散反射成分と鏡面反射成分とに分離し、分離した拡散反射成分と鏡面反射成分とを個別に高解像化する。以下、それぞれの処理について説明する。

画像撮像部２０１はＣＣＤやＣＭＯＳなどの撮像装置を利用して、被写体を撮像する。こうして撮像された画像は、輝度が非常に高くなる鏡面反射成分と拡散反射成分とが同時に、飽和することなく記録されることが望ましい。このため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用することが望ましい。

拡散反射・鏡面反射分離部２０２は、画像撮像部２０１によって撮像された画像を、拡散反射成分と鏡面反射成分とに分離する。

まず、物体の反射特性について説明する。２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として以下の式で表現される。

ここで、Ｉは撮像装置が撮像した被写体の輝度値、Ｉ_ａは環境光成分、Ｉ_ｄは拡散反射成分、Ｉ_ｓは鏡面反射成分である。ここで、環境光成分とは、光源の光が物体などによって散乱された間接光のことである。これは空間の至る所に散乱され、直接光がとどかない影の部分にもわずかに明るさを与える。そのため、通常はノイズとして取り扱われることが多い。

環境光成分は十分に小さく、ノイズとして無視できると考えると、画像は拡散反射成分と鏡面反射成分とに分離できる。上述のように、拡散反射成分がテクスチャ情報に依存するのに対し、鏡面反射画像は細かな形状情報に依存するといったように、これらの成分は非常に異なった特質を示す。そのため、画像を高解像度化するために、入力画像を拡散反射画像と鏡面反射画像とに分離し、それぞれの画像を別々の方法で高解像度化することによって、非常に高精細な高解像度化画像を取得することができる。このため、まずは拡散反射画像と鏡面反射画像とを分離する必要性がある。

この分離方法は、従来からさまざまなものが提案されている。例えば、
・鏡面反射と拡散反射の偏光度の違いを利用し、偏光フィルタを用いた方法（例えば、特許第３４５９９８１号公報）
・対象物を回転させ、マルチスペクトルカメラを利用することで鏡面反射領域を分離する方法（例えば、特開２００３−８５５３１号公報）。
・様々な方向から光源を当てた対象物の画像を利用し、鏡面反射が生じない理想状態での画像である線形化画像を合成し、その線形化画像を利用して鏡面反射や影領域を分離する方法（例えば、「石井育規，福井孝太郎，向川康博，尺長健，“光学現象の分類に基づく画像の線形化“，情報処理学会論文誌，ｖｏｌ．４４，ｎｏ．ＳＩＧ５（ＣＶＩＭ６），ｐｐ．１１−２１，２００３」）。
などがある。

ここでは、偏光フィルタを利用する方法を用いる。図２８は本実施形態に係る画像高解像度化装置が搭載されたカメラ付き携帯電話１０００を示している。図２８に示すように、撮像装置１００１には回転機構（図示せず）をもった直線偏光フィルタ１０１６Ａが設けられている。また、直線偏光フィルタ１０１６Ｂが取り付けられた照明装置１００７が設けられている。また、１０１７は使用者のインターフェイス用の液晶ディスプレイである。

ここで、直線偏光フィルタ１０１６Ｂが取り付けられた照明装置１００７に照らされた被写体について、撮像装置１００１が、直線偏光フィルタ１０１６Ａを回転機構により回転させながら、複数枚の画像を撮像する。ここで、照明が直線偏光されていることに着目すると、反射光強度は偏光フィルタ１０１６Ａの回転角ψに対して、図２９のように変化する。ここで、反射光の拡散成分をＩ_ｄ、鏡面反射成分をＩ_ｓとすると、反射光輝度の最大値Ｉ_ｍａｘと最小値Ｉ_ｍｉｎは以下の式で表現される。

つまり、反射光の拡散成分Ｉ_ｄ、鏡面反射成分Ｉ_ｓは、以下の式から求まる。

図３０はこの処理の流れを示したものである。まず、回転機構により偏光フィルタ１０１６Ａを回転させ（ステップＳ３０１）、画像を撮像し、メモリに保持する（ステップＳ３０２）。次に、メモリに保持された画像が、所定の枚数撮像されているかを確認する（ステップＳ３０３）。このとき、反射光輝度の最小値と最大値を検出するのに十分な枚数がまだ撮像されていない場合（ステップＳ３０３でＮｏ）、偏光フィルタを再度回転させ（ステップＳ３０１）、撮像を繰り返す。一方、十分な枚数の撮像ができている場合（ステップＳ３０３でＹｅｓ）、撮像された画像データを利用して、反射光輝度の最小値と最大値を検出し（ステップＳ３０４）、（式１３）と（式１４）を利用することにより、拡散反射成分と鏡面反射成分とを分離する（ステップＳ３０５）。この処理は、複数枚の画像から画素ごとに最小値と最大値を求めても構わないが、ここでは、ｓｉｎ関数のフィッテングを利用する。この処理を説明する。

図２９に示した偏光フィルタ角ψに対する反射光輝度Ｉは、以下のように、ｓｉｎ関数で近似できる。

ここで、Ａ、Ｂ、Ｃは定数であり、（式１３）、（式１４）より

つまり、撮像された画像から、（式１５）のＡ，Ｂ，Ｃを求めることにより、拡散反射成分と鏡面反射成分とを分離することができる。

ところで、（式１５）は以下のように展開できる。

ただし、

つまり、以下の評価式を最小にするＡ，Ｂ，Ｃを求めることで、拡散反射成分と鏡面反射成分とを分離することができる。

ただし、Ｉ_ｉは、偏光フィルタ角ψ_ｉ時の反射光強度を示している。ここで、最小自乗法を用いると、各パラメータは以下のように推定される。

以上より、（式１６）〜（式２３）を利用することで、拡散反射成分と鏡面反射成分とを分離する。この場合、未知パラメータが３個であるため、偏光フィルタの回転角を変更した画像を最低３枚撮像すればよい。

このため、直線偏光フィルタ１０１６Ａの回転機構を設ける代わりに、画素ごとに偏光方向の異なる撮像装置を利用しても構わない。図３１はこのような撮像装置の画素を模式的に示したものである。ここで、１０２２は各画素を示し、各画素内の直線は偏光方向を示している。すなわち、この撮像装置は０°、４５°、９０°、１３５°の４種類の偏光方向を有する画素を持つ。そして、図３１の太線１０２３のように、４種類の画素をベイヤ配列のように１画素として取り扱うことによって、偏光方向が４種類異なった画像を同時に撮像することができる。このような撮像装置は、例えば、フォトニック結晶デバイスなどを利用すればよい。

また、照明装置１００７として、偏光された照明例えば液晶ディスプレイを利用してもかまわない。例えば、携帯電話１０００に搭載されている液晶ディスプレイ１０１７を利用すればよい。この場合、液晶ディスプレイ１０１７の輝度値を、利用者のインターフェイス用として利用しているときに比べ、高くすることが望ましい。

もちろん、撮像装置１００１の偏光フィルタ１０１６Ａを回転させる代わりに、照明装置１００７の偏光フィルタ１０１６Ｂを回転させてもかまわない。また、撮像装置１００１と照明装置１００７の両方に偏光フィルタを設置する代わりに、撮像装置側など片側のみに設置し、独立成分分析を利用して拡散反射成分と鏡面反射成分とを分離させてもかまわない（例えば、特許３４５９９８１号公報参照）。

光源情報推定部２０３は、上述したような光源推定方法を利用して、光源の位置と色、および照度情報を取得する。

形状情報取得部２０４は、被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。被写体の形状情報を取得する手段としては、例えば、スリット光投影法、パターン光投影法、レーザレーダ法などの既存の手法を用いればよい。

もちろん、形状情報の取得はこれらの手法に限られるものでない。例えば、複数のカメラを利用するステレオ視、カメラの動きを利用するモーションステレオ法、光源の位置を変化させながら撮像した画像を利用する照度差ステレオ法、ミリ波や超音波を利用して被写体との距離を測定する方法、さらには反射光の偏光特性を利用した方法（例えば、米国特許第５，０２８，１３８号や「宮崎大輔，池内克史，″偏光レイトレーシング法による透明物体の表面形状の推定手法″，電子情報通信学会論文誌，ｖｏｌ．Ｊ８８−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１４３２−１４３９，２００５」）を用いてもかまわない。ここでは、照度差ステレオ法と偏光特性を利用した方法について説明する。

照度差ステレオ法は、光源方向が異なる３枚以上の画像を利用して、被写体の法線方向と反射率を推定する手法である。例えば、「Ｈ．Ｈａｙａｋａｗａ，”Ｐｈｏｔｏｍｅｔｒｉｃ Ｓｔｅｒｅｏ ｕｎｄｅｒ ａ ｌｉｇｈｔ ｓｏｕｒｃｅ ｗｉｔｈ ａｒｂｉｔｒａｒｙ ｍｏｔｉｏｎ”，Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ Ａ，ｖｏｌ．１１，ｐｐ．３０７９−８９，１９９４」は、画像上で６点以上の反射率が等しい点を既知情報として取得し、拘束条件として利用することによって、光源の位置情報も未知としながらも、以下のパラメータを推定する手法である。
・被写体情報：画像上の各点の法線方向と反射率
・光源情報：被写体の観察点における光源方向と照度

ここでは、前述の拡散反射・鏡面反射分離手法によって分離された拡散反射画像のみを利用した照度差ステレオ法を行う。本来、この手法は被写体が完全拡散反射をしていることを仮定しているため、鏡面反射が存在する被写体では大きな誤差が生じてしまう。しかし、分離した拡散反射画像のみを利用することで、鏡面反射の存在による推定誤差を無くすことができる。もちろん、後述するように、影除去部２０５で影領域を除去した拡散反射画像で処理を行なっても構わない。

光源方向が異なる拡散反射画像を以下のように輝度行列Ｉ_ｄで表現する。

ただし、ｉ_{ｄｆ（ｐ）}は光源方向ｆの拡散反射画像の画素ｐにおける輝度値を示している。また、画像の画素数はＰ画素、異なった光源方向で撮像した画像枚数はＦ枚である。ところで、ランバーシャンモデルより、拡散反射画像の輝度値は以下のように表現できる。

ただし、ρ_ｐは画素ｐの反射率（アルベド）、ｎ_ｐは画素ｐの法線方向ベクトル、ｔ_ｆは光源ｆの入射照度、Ｌ_ｆは光源ｆの方向ベクトルを示している。

（式２４）、（式２５）より以下の式が導かれる。

ただし、

ここで、Ｒは表面反射行列、Ｎは表面法線行列、Ｌは光源方向行列、Ｔは光源強度行列、Ｓは表面行列、Ｍは光源行列と呼ぶ。

ここで、特異値分解を利用すると、（式２６）は以下のように展開できる。

ただし、

であり、Ｅは単位行列を示している。また、Ｕ’はＰ×３行列、Ｕ”はＰ×（Ｆ−３）行列、Σ’は３×３行列、Σ”は（Ｆ−３）×（Ｆ−３）行列、Ｖ’は３×Ｆ行列、Ｖ”は（Ｆ−３）×Ｆ行列である。ここで、Ｕ”、Ｖ”は信号成分であるＵ’、Ｖ’の直交基底、すなわち、ノイズ成分であると考えられる。ここで、特異値分解を利用すると、（式２８）は以下のように変形できる。

すなわち、（式２９）を解くことにより、形状情報と光源情報を同時に取得することができるが、以下の３×３行列Ａの不定性が残る。

ここで、Ａは任意の３×３行列である。形状情報と光源情報を取得するためには、この行列Ａを求める必要がある。これは、例えば、画面上の６点以上で反射率が等しいことが既知であればよい。例えば、任意の６点ｋ１〜ｋ６の反射率が等しいとすると、

（式２７）、（式３０）と（式３２）より、

さらに、

とおくと、（式３３）は以下のようになる。

ここで、（式３４）より行列Ｂは対称行列であるため、行列Ｂの未知数は６である。すなわち、画面上の６点以上で反射率が等しいことが既知であれば、（式３５）は解くことができる。

また、行列Ｂが既知となれば、（式３４）に特異値分解を利用することにより、行列Ａは解くことができる。

さらに、（式３０）、（式３１）より、形状情報と光源情報を取得する。

以上のことより、反射率が等しい６点以上の画素が既知な被写体において、光源方向を変更しながら３枚以上の画像を撮像することにより、以下の情報を得ることができる。
・被写体情報：画像上の各点の法線方向ベクトルと反射率
・光源情報：被写体の観察点における光源方向ベクトルと放射輝度

ただし、上記の処理で求まる被写体の反射率と光源の放射輝度は相対的なものであり、絶対値を求めるためには、画面上の６点以上で反射率が既知であるなど、上記とは異なる既知情報が必要となる。

また、光源と撮像装置との位置関係が既知の場合、撮像装置と被写体の距離や３次元位置を求めるようにしても構わない。これを図を用いて説明する。

図３２はこの処理を説明するための模式図である。図３２において、１００１は撮像装置、１００７Ａおよび１００７Ｂは光源、１０１５は被写体の観察点Ｏ、１０１０Ａおよび１０１０Ｂは被写体の観察点Ｏにおける各光源の光源方向、１０２１は被写体の観察点Ｏにおける撮像装置の視線方向を示している。

まず、光源と撮像装置との位置関係が既知であるため、撮像装置１００１と光源１００７Ａ、１００７Ｂの３次元位置関係Ｌａ、Ｌｂは既知である。また、撮像装置１００１はキャリブレーションされているとすると、撮像装置１００１の視線方向１０２１も既知である。このことから、被写体の観察点Ｏ１０１５はこの視線方向１０２１上に存在する。また、上述の照度差ステレオ法により、被写体の観察点Ｏにおける各光源の光源方向１０１０Ａ、１０１０Ｂは既知である。撮像装置１００１と観察点Ｏ１０１５の距離Ｌｖが正（Ｌｖ＞０）であるとすると、このような位置関係を満たす観察点Ｏは、１点しか存在しない。そのため、観察点Ｏ１０１５の位置がわかり、撮像装置１００１と観察点Ｏ１０１５の距離Ｌｖが求まる。

また、例えばデジタルカメラのフラッシュのように撮像装置に光源が設置されている場合、光源と撮像装置との位置関係は設計情報から求めることができる。

また、形状情報取得部２０４は反射光の偏光特性を利用して、被写体の表面法線方向を取得しても構わない。この処理について、図３３を用いて説明する。

図３３において、１００１は撮像装置、１００７は光源、１０１５は観察点Ｏ、１０１６はモータなどの回転機構（図示せず）をもった直線偏光フィルタ、１０１９は法線方向を示している。光源として自然光が照射されている状態において、回転機構によって偏光フィルタ１０１６を回転しながら撮像を行った場合、その反射光強度は、図３４に示したように、周期πのｓｉｎ関数となる。

ここで、この反射光強度の最大値Ｉ_ｍａｘと最小値Ｉ_ｍｉｎを計測する偏光フィルタの角度ψ_ｍａｘ、ψ_ｍｉｎを考える。撮像装置１００１と光源１００７、観察点Ｏ１０１５を含む平面を入射面とし、被写体は鏡面反射成分が支配的であるとすると、ψ_ｍａｘは偏光フィルタ１０１６の偏光方向が入射面に対して垂直な方向、また、ψ_ｍｉｎは偏光フィルタ１０１６の偏光方向が入射面に対して平行な方向になることが知られている。

また、上述したように、光源が偏光光源の場合、反射光成分において、偏光特性を有するものは観察点Ｏの表面で反射した鏡面反射成分、非偏光の成分は拡散反射成分である。このことから、反射光強度の最大値Ｉ_ｍａｘと最小値Ｉ_ｍｉｎの強度差が生じる観察点Ｏは鏡面反射成分が強い観察点、すなわち、光が正反射している（観察点Ｏの法線方向１０１９が観察点Ｏからの光源方向と観察点Ｏからの撮像装置方向の二等分線方向である）ことがわかる。そのため、法線方向１０１９も入射面内に存在する。そのため、ψ_ｍａｘまたはψ_ｍｉｎを推定することにより、法線方向１０１９は以下の平面内に存在すると推定することができる。

○撮像装置１００１を通り、偏光フィルタ１０１６の偏光方向ψ_ｍｉｎ（またはψ_ｍａｘの垂直方向）を含む平面。

ここで、ψ_ｍａｘまたはψ_ｍｉｎは、前述のｓｉｎ関数のフィッテング処理を行うことで推定する。

また、撮像装置１００１の位置を変更させて、同様な処理を行うことによって、法線方向１０１９を含む、異なった２つの平面を推定することができる。推定した２つの平面の交線を求めることによって、法線方向１０１９を推定する。この際、撮像装置１００１の移動量を推定する必要があるが、これは、前述の８点法などを利用すればよい。

もちろん、拡散反射・鏡面反射分離部２０２と同様に、画素ごとに偏光方向の異なる撮像装置を利用しても構わない。

また、もちろん、撮像装置１００１の位置を変更させるのではなく、複数台の撮像装置を設置して法線方向１０１９を求めるようにしても構わない。

以上のように、照度差ステレオ法と偏光特性を利用した方法では、表面の法線情報を取得する。一方、スリット光投影法やステレオ視などの手法では、被写体の３次元位置情報を取得する。被写体表面の法線情報とは、被写体の３次元位置情報の微小空間での傾き情報であり、どちらも被写体の形状情報である。

以上の処理により、形状情報取得部２０４は被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。

以上の処理により、以下の情報を取得する。
○被写体の拡散反射画像
○被写体の鏡面反射画像
○被写体の３次元形状情報
○光源位置・照度

影除去部２０５は、画像中の影領域を推定し、影除去処理を行う。このような、影除去および影領域推定処理はさまざまな方法が提案されているが、例えば、影領域は輝度値が低いことを利用し、輝度値が閾値以下の画素を影領域と推定すればよい。

また、形状情報取得部２０４によって３次元形状情報が取得されている場合、Ｃｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓの分野で広く利用されているレンダリング手法である、レイトレーシングを利用してもかまわない。レンダリングは物体の座標データや光源や視点の位置などの環境に関するデータを計算して行うが、レイトレーシングは、視点に届く光線を逆にたどることによって描画する。このため、レイトレーシングを利用してどの場所にどの程度の影が生成されているかを計算することができる。

次に、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像と鏡面反射画像を、それぞれ、別々の方法で高解像度化する。まず、拡散反射画像の処理について説明する。

アルベド推定部２０６は、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像を利用し、被写体のアルベドを推定する。アルベドは光源情報に影響を受けないため、アルベド画像を利用して処理を行うことによって、光源変動にロバストな処理が実現できる。

この処理を説明する。（式２５）より、拡散反射成分では、以下の関係が成り立つ。

ただし、θ_ｉは被写体の法線方向ベクトルと光源方向ベクトルのなす角度を示す。ここで、光源情報取得部２０３および形状情報取得部２０４により、角度θ_ｉは既知である。また、後述するように、光源の入射照度ｔ_ｆも推定可能なため、被写体のアルベドｒ_ｐを（式３６）から求める。

この際、ｃｏｓθ_ｉが０以下の値を持つ場合、すなわち、ａｔｔａｃｈｅｄ ｓｈａｄｏｗである場合、（式３６）はアルベドがマイナスになる、あるいは、０で除算を行うことになり、意味を持たない。しかし、上述の影除去部２０５によってこのような画素を除去しているため、問題は生じない。

もちろん、被写体のアルベドを求めるのではなく、次式によりアルベドを鏡面反射画像の最大輝度値で正規化した擬似アルベドｒ_ｐ’を求め、これを利用しても構わない。

ここで、ｉ_{ｓｆ＿ｍａｘ}は鏡面反射画像の最大輝度値を示している。このような擬似アルベドは、光源情報推定部２０３により、光源の放射輝度（照度）が取得できない場合に有効である。擬似アルベド画像を利用した場合、正規化に利用した鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}をメモリに保持しておく。図５１はアルベド推定部２０６が擬似アルベドを利用した場合、メモリに保持されるデータを示した図である。作成された擬似アルベド画像と、正規化に利用した鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}が保持されている。

鏡面反射パラメータが被写体の広い領域で一様であり、被写体表面にさまざまな方向の法線が存在しているとすると、カメラに対して被写体を照らす位置に光源が存在している限り、正反射が生じる正反射画素が存在する。そのため、鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}はこの正反射画素の輝度値となる。

反射特性が一様であり、視線方向１０２１がほぼ一様である場合、ある光源位置での正反射画素の輝度値と別の光源位置での正反射画素の輝度値の比は、各光源での光源の放射輝度比とほぼ等しくなる。そのため、拡散反射画像の輝度値ｉ_{ｄｆ（ｐ）}をθ_ｉにより除算しただけでは光源の放射輝度の影響が残ってしまうが、さらに正反射画素の輝度値である鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}で正規化を行った擬似アルベド画像を利用することにより、光源の放射輝度が取得できない場合においても光源に影響されない拡散成分画像を作成できる。

また、鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}によって正規化を行うのではなく、拡散反射画像の最大輝度値や入力画像の最大輝度値を利用して正規化を行い、擬似アルベドを作成しても構わない。

次に、こうして求めたアルベド画像の高解像度化について説明する。

アルベド高解像度化部２０７は、アルベド推定部２０６が推定したアルベド画像を高解像度化する。この処理について詳述する。

前述のように、アルベド画像は、光の鏡面反射や陰影など光学現象によらない被写体固有の反射率特性を表現した画像である。本実施形態における高解像度化は、被写体情報が不可欠なため、被写体の事前学習に基づく。ここではテキストン（画像のテクスチャ特徴量）に基づく高解像度化を用いる。

図３５はテキストンに基づく高解像度化の概念を示す図である。実行時に入力された低解像度画像ＬＲ（画素数Ｎ×Ｎ）は、画素数を目標画素数に合致させるため、Ｍ×Ｍ倍に補間拡大される。この画素数ＭＮ×ＭＮ画像をｅｘＬＲ画像と称する。ｅｘＬＲ画像では画像の高周波成分が失われて、ぼけた画像になる。このぼけ画像を先鋭化することが高解像度化に他ならない。

次に、多重解像度変換ＷＴによって、ｅｘＬＲ画像の輝度値を画素ごとに、多重解像度に基づくＴ次元テキストンに変換する。この変換にはウェーブレット変換やピラミッド構造分解などの処理が用いられる。この結果、ｅｘＬＲ画像の各画素ごとに、合計ＭＮ×ＭＮ本のＴ次元テキストンベクトルが生成される。次に、汎用性の向上のため、テクストンベクトルにクラスタリングが実施されて、Ｌ本の入力代表テキストンベクトルが選択生成される。これらＬ本のテキストンベクトルに対して、予め学習したデータベースの情報から変換が施されて、Ｔ次元の高解像度化テキストンベクトルが生成される。この変換には、テーブル読み出しや、Ｔ次元の多次元特徴ベクトル空間内における線形および非線形変換が用いられる。高解像度化テキストンベクトルは、逆ウェーブレット変換やピラミッド構造再構成などの逆変換ＩＷＴによって、画像輝度値に戻されて、高解像度画像ＨＲが完成する。

この処理では、ＭＮ×ＭＮ本のＴ次元テクストンベクトルのクラスタリング処理における探索とテーブル読み出しの処理に多大な時間を要し、動画など高速化対応が困難であった。そこで、１）クラスタリング処理をＬＲ画像にて実施する。２）テーブル読み出しを線形マトリクス変換に変更する。という改良を加えた。この処理では、ＬＲ画像の１画素はＨＲ画像のＭ×Ｍ画素のセルに対応する事実を使って、Ｔ次元からＴ次元への線形マトリクス変換をセル毎に実施して、セル内部での空間的な連続性を維持することができる。また利用する線形マトリクスはクラスタリングの結果から最適に選択する。セル境界の不連続性が問題になる場合にはマトリクス処理単位のブロックを一部重ねるなどの処理を追加してもよい。

図３６は上の改良点を模式的に描いた図である。ＬＲ画像をＷＴ変換して、Ｔ次元の特徴量空間の中のＬ（ここではＬ＝３）本の代表特徴ベクトルとしている。そして、各特徴ベクトルに異なる線形マトリクスが付随している。この状態を保存したものが高解像度化データベースに他ならない。

以下、Ｎ＝３２、Ｍ＝４、すなわち３２×３２画素の低解像画像に４×４倍の高解像度化を施す例をとって、画像処理手法の詳細を述べる。アルベド画像は（ＲＧＢ）カラー画像とするが、カラー画像は（ＲＧＢ）から輝度色差（ＹＣｒＣＢ）に変換して独立した色成分画像として取り扱うものとする。通常、２×２倍率程度では、輝度Ｙ成分だけの高解像度でカラー成分は低解像度の色差信号のまま付加しても違和感はないが、４×４以上では、色信号も高解像度化が必須になるので各成分とも同様な取り扱いとする。以下、カラー画像の１つの成分画像のみの処理を説明することとする。

（学習時）
図３７は学習処理の流れを説明するＰＡＤ図であり、図３８は学習処理において処理される画像の処理対象画素と処理対象セルとの関係を説明する図である。以下、図３７および図３８を交互に用いて説明を行なう。

まず、Ｓ３１１〜Ｓ３１３において、低解像度画像ＬＲ画像、高解像度画像ＨＲ画像、および低解像度画像の拡大画像ｅｘＬＲ画像を入力する。これら画像は、ＨＲから全て生成されており、撮像における画素ずれがない状態としておく。また、ＬＲ画像からｅｘＬＲ画像の生成にはバイキュービック補間を用いている。図３８において、高解像度画像ＨＲ（画素数１２８×１２８）と、低解像度ＬＲ画像（画素数３２×３２）とＬＲを画素数だけＨＲと合致させたｅｘＬＲ画像（画素数１２８×１２８）の３種類の画像を用意する。

Ｓ３１４において、ＬＲ画像をテキストン化する。具体的にはＨａａｒ基底を用いた２次元離散定常ウェーブレット変換（Ｄｉｓｃｒｅｔｅ ｓｔａｔｉｏｎａｒｙ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ：ＳＷＴ変換）する。ＳＷＴ変換の階層は２階層（２−ｓｔｅｐ）とすると、６次元のＬＲＷ画像（画素数３２×３２＝１０２４）が生成される。本来、２階層ステップの２次元離散定常ウェーブレット変換では７次元の特徴ベクトルとなるが、最低周波数のＬＬ成分画像は画像の平均輝度情報に近くなり、これを保存するため残りの６成分のみを利用する。

Ｓ３１５において、テキストン化されたＬＲＷ画像の合計１０２４本の６次元ベクトルをＣｍａｘ個にまでクラスタリングする。ここではＫ−ｍｅａｎｓ法を用いて、例えばＣｍａｘ＝５１２本にクラスタリングする。この５１２本の結果のテキストンベクトルの集合をクラスタＣと称する。クラスタリングをせず１０２４本のテキストンを全て利用しても問題ない。

Ｓ３１６において、クラスタＣの同一クラスタに判別されたＬＲ画素を判定する。具体的には、ＬＲ画像の画素値がクラスタＣの各テキストン番号に置き換えられる。

Ｓ３１７において、クラスタＣの全テキストンに対して繰り返し処理をしながら、該当テキストンに対応するｅｘＬＲの画素セルとＨＲ画像の画素セルを探索して、該当セル番号を格納する。この探索がＬＲ画像の画素数分だけで済むため、高倍率の場合に大きな探索時間の削減となる。

ここでＬＲ画像の画素とｅｘＬＲ画像、ＨＲ画像の画素セルとの対応につき、図３８で説明する。図３８では、ＬＲ画像上で、２００１と２００２という２画素がＣの同一クラスタ（クラスタ番号：Ｃｉ＝０）に判別されたとする。すると、そのままの位置関係を保って拡大されたｅｘＬＲ画像上では２００３，２００４、ＨＲ画像上では２００５、２００６という画素セルが対応していると考えられ、これらの２箇所のセル位置の番号が、該当するテキストンを有するものとして格納される。画素セル内に含まれる画素数は拡大率４×４＝１６に等しい。

次にＳ３１８において、これらの画素セル群についてｅｘＬＲ画像とＨＲ画像の対でテキストン化を行う。具体的には、２次元離散定常ウェーブレット変換（Ｄｉｓｃｒｅｔｅ ｓｔａｔｉｏｎａｒｙ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ）が実施されて、ｅｘＬＲＷ画像とＨＲＷ画像が生成される。

Ｓ３１９とＳ３２０において、上記ＨＲＷ画像とｅｘＬＲＷ画像から得られたテキストンの対が行列の形として集積される。形式はいずれも、６×Ｄａｔａ＿ｎｕｍの行列となる。ここでＤａｔａ＿ｎｕｍは、（１セルの画素数）×（探索されたセルの数）となり、上のＣｉ＝０の例では、２個のセルが探索されたので１６×２＝３２となる。

Ｓ３２１において、集積された両者に所属する合計２×４×４＝１２８個の特徴ベクトルから最小二乗法にて６×６マトリクスＭを算出し、それをＳ３２２において、クラスタ番号Ｋ＝０とともにデータベースＣＭａｔ（Ｋ）に格納蓄積する。Ｓ３２２における最小二乗法は、まずＳ３１９とＳ３２０において集積されたｅｘＬＲとＨＲのテキストンの行列を各々ＬｆとＨｆ（サイズ：６×Ｄａｔａ＿ｎｕｍ）とし、求めるマトリクスをＭ（６×６）とすると以下のように実行できる。

次に、クラスタ番号Ｋ＝１について同様処理を繰り返して、Ｋ＝５１１まで行う。すなわち、ＣＭａｔはクラスタ番号ごとに規定される６×６変換行列の群である。

最後に、Ｓ３２３とＳ３２４において、使用したクラスタＣと学習された変換行列ＣＭａｔとを出力する。こうして求めたクラスタＣと学習された変換行列ＣＭａｔを、アルベドＤＢ２０８に蓄積する。

図３９は２次元離散定常ウェーブレット変換（Ｄｉｓｃｒｅｔｅ ｓｔａｔｉｏｎａｒｙ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ）の処理を示す図である。通常のウェーブレット変換では、フィルタバンク構成は同一のまま分解の階層が進む毎に画像が縮小していくが、２次元離散定常ウェーブレット変換では、分解の階層が進んでも変換画像サイズは不変であり、スケーリング関数Ｆとウェーブレット関数Ｇの２種類のフィルタがアップサンプリング（↑）されて２のべき乗で長くなっていくことにより多重解像度解析を行う。Ｈａａｒ基底では、ＦとＧの具体的な数値とアップサンプリングの様子は表１のようになる。

ＬＬ成分であるｃＡ画像を１階層進めてウェーブレット分解する場合、ＦとＧのフィルタを交互に１次元的にコンボリューションすることにより、図３９のように４種類の画像が生成される。１）行方向にＦ・列方向にＦ：ｃＡ画像（ＬＬ成分）２）行方向にＦ・列方向にＧ：ｃＤｈ画像（ＬＨ成分）３）行方向にＧ・列方向にＦ：ｃＤｖ画像（ＨＬ成分）４）行方向にＧ・列方向にＧ：ｃＤｄ画像（ＨＨ成分）。

図４０は２次元離散定常ウェーブレット変換をテスト画像に実施した場合の画像結果例である。テキストンベクトルとは、これらウェーブレットの１−ＳＴＥＰと２−ＳＴＥＰの変換画像の１画素ごとに対応する値を連ねたもので、

の７次元ベクトルのことである。ただし２−ＳＴＥＰのＬＬ成分であるｃＡ２を除いて、６次元ベクトル部分のみを使って高解像度変換し、ｃＡ２成分は保存している。

なお、ウェーブレット変換のステップ数をここではＳ３１４とＳ３１８のいずれも２−ＳＴＥＰとしている。このステップ数が大きくなるほど、画像の大まかな特徴までテキストンで表現することができる。本発明においてステップ数は可変であるが、ＬＲ画像のクラスタリングのためのＳ３１４の場合、１−ＳＴＥＰでは周辺の画素状況として十分な情報とならない場合があるため、２−ＳＴＥＰとしている。一方、ｅｘＬＲ画像を高解像度化するためのテキストンを生成するＳ３１８の場合、たとえば８×８の倍率においては２−ＳＴＥＰよりも３−ＳＴＥＰの方が良好な画像が得られることが、実験的に確認されている。このため、倍率との関係でステップ数を決定することが望ましい。

（高解像度化処理の実行時）
図４１は実行時の処理の流れを示すＰＡＤ図であり、図４２は実行時の処理の画素セルとの関係を示す図である。

まず、Ｓ３３１とＳ３３２において、ＬＲ画像とこれを拡大したｅｘＬＲ画像とを入力する。学習時と同様に、ＬＲ画像の画素数＝３２×３２、ｅｘＬＲ画像の画素数＝１２８×１２８とする。ここでｅｘＬＲ画像の生成方法は、図３７のＳ３１３において学習画像のｅｘＬＲ画像を生成した方法と同様にバイキュービック法による。

次に、Ｓ３３３とＳ３３４において、学習時に得られたクラスタＣと変換行列ＣＭａｔをアルベドＤＢ２０８から読み出し、入力する。

Ｓ３３５において、ＬＲ画像をテキストン化する。具体的には図４２で示すように、Ｈａａｒ基底を用いた２次元離散定常ウェーブレット変換（Ｄｉｓｃｒｅｔｅ ｓｔａｔｉｏｎａｒｙ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ：ＳＷＴ変換）を行う。ＳＷＴ変換の階層は２階層（２−ｓｔｅｐ）とすると、６次元のＬＲＷ画像（画素数３２×３２＝１０２４）が生成される。本来は２階層ステップの２次元離散定常ウェーブレット変換では７次元の特徴ベクトルとなるが、最低周波数のＬＬ成分画像は画像の平均輝度情報に近くなり、これを保存するため残りの６成分のみを利用する。

次にＳ３３６において、各テキストンにつき、クラスタＣ（Ｃｍａｘ個のテキストン）内の最短距離のテキストンベクトルを探索してテキストン番号（Ｃｉ）を得る。これは図４２において、ＬＲ画像の１ライン上の各画素２０１１，２０１２，…，２０１３について、各々Ｃ０，Ｃ１，…，Ｃｎというテキストン番号が付与されることに相当する。

次にＳ３３７に進むが、これ以降はＨＲ画像の各セルを走査線順に処理していく繰り返し処理となる。具体的には、図４２において、ｅｘＬＲ画像のセル２０１４，２０１５，…，２０１６を処理していくと、対応するＨＲ画像のセル２０２３，２０２４，…，２０２５が順次高解像度化されていく。

Ｓ３３７において、ｅｘＬＲ画像の該当セル領域がテキストン化される。具体的には、２次元離散定常ウェーブレット変換（Ｄｉｓｃｒｅｔｅ ｓｔａｔｉｏｎａｒｙ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ）が実施されて、ｅｘＬＲＷ画像が生成される。セル２０１７，２０１８，…，２０１９などが生成される。

Ｓ３３８において、テキストン番号から変換行列ＣＭａｔを引いて該当セルにおける変換行列Ｍを確定する。この処理は図４２のように行われる。ＬＲＷ画像には、すでに画素２０１１＝Ｃ０、画素２０１２＝Ｃ１、…、画素２０１３＝Ｃｎとテキストン番号が振られている。これを位置関係を保存したｅｘＬＲＷ画像のセル２０１７、２０１８、…２０１９に適用して、各々のセルで、Ｃ０，Ｃ１，・・Ｃｎをテキストン番号としてＭａｔから別々の６×６変換行列Ｍを選択することができる。

Ｓ３３９において、各セルに変換行列Ｍを作用させる。これはセル内のテキストンＬＴｉ（ｉ＝１〜１６）全部について、

を実施すればよい。これらを繰り返して、ｅｘＬＲＷ画像のセル２０１７，２０１８，…，２０１９からＨＲＷ画像のセル２０２０，２０２１，…，２０２２が、それぞれ生成される。

次に、これら高解像度化されたセル内の６次元テキストンに、ｅｘＬＲＷ画像の２−ＳＴＥＰのＬＬ成分を付加して７次元テキストンを生成する。

Ｓ３４０において、この各セル内７次元のテキストンを逆ＳＷＴ変換することにより画像に変換する。以上をｅｘＬＲ画像の全セルについて繰り返す。

逆ＳＷＴ（ＩＳＷＴ）変換は、図４３で示す信号フローで実現できる。図３９とほとんど同じ表現である。通常のウェーブレット逆変換ではフィルタバンクの構成は同一のまま、分解の階層が進む毎に画像が拡大していく。これに対して、本逆変換においては、分解の階層が進んでも変換画像サイズは不変であり、スケーリング関数Ｆとウェーブレット関数Ｇ１の２種類のフィルタがダウンサンプリング（↓）されて２のべき乗で短くなっていくことにより、多重解像度解析を行う。Ｈａａｒ基底では、ＦとＧ１の具体的な数値とダウンサンプリングの様子は表２のようになる。

以上のようにしてアルベド画像の１成分が高解像度化される。この処理を、アルベド画像全てに行うことにより、高解像度なアルベド画像を合成する。

このとき、アルベド画像に含まれる被写体の大きさや姿勢、向きなどが変化しても処理が可能なように、画像の正規化を行うようにしてもかまわない。テキストンを利用した高解像度化処理は、学習データに対してアルベド画像の大きさや姿勢が異なっている場合、高解像度化の精度が十分に発揮されないことが考えられる。そこで、アルベド画像を複数組用意し、この問題を解決する。すなわち、アルベド画像を３０度ずつ回転させた画像を合成し、そのすべての画像で高解像度化を行い、姿勢や向きの変化に対応させる。この場合、前述の「高解像度化処理の実行時」のＰＡＤ図である図４１のステップＳ３３６において、最短距離のテキストンを探索する際、回転処理を行った各画像から求めた複数のＬＲ画像のテキストン、それぞれにおいて最短距離のテキストンを探索し、最も距離の近いものを探索してテキストン番号（Ｃｉ）を得るようにすればよい。

また、大きさの変化に対応するために、画像の大きさを変更したアルベド画像を合成するようにしてもかまわない。

また、実際の大きさを基準に、例えば、５ｃｍ×５ｃｍの画像が必ず８ｘ８画素になるように拡大縮小処理を行い、その画像に対してテキストンを作製するようにしてもかまわない。被写体の大きさは、形状情報取得部２０４により既知であるため、「学習時」および「高解像度化処理の実行時」ともに同じ大きさの画像でテキストンを作製することで、大きさの変動に対応するようにしてもかまわない。

また、「高解像度化処理の実行時」のアルベド画像を回転させるのではなく、「学習時」のアルベド画像を回転させ、複数組のテキストンを作製し、クラスタＣと学習された変換行列ＣＭａｔをアルベドＤＢ２０８に蓄積するようにしても構わない。

さらに、入力された被写体が何であるかを推定し、推定された被写体がどのように回転しているかを姿勢推定するようにしてもかまわない。このような処理は、広く使われている画像認識技術を利用すればよい。これは、例えば、被写体にＲＦＩＤのようなタグを設置しておき、そのタグ情報を認識することで被写体が何であるかを認識し、さらにタグ情報から被写体の形状情報を推定し、画像や被写体の形状情報から姿勢推定を行うようにすればよい（例えば、特開２００５−３４６３４８号公報参照）。

拡散画像高解像度化部２０９は、アルベド高解像度化部２０７が合成した高解像度アルベド画像から高解像度な拡散画像を合成する。この処理を説明する。

前述のように、アルベド画像は、拡散成分画像を光源ベクトルと被写体の法線方向ベクトルの内積で除算したものである。そのため、アルベド画像に、光源情報推定部２０３によって推定された光源方向ベクトルと、後述するパラメータ高解像度化部によって求めた被写体の高密度法線方向ベクトルとの内積を乗算することによって、高解像度の拡散画像を合成する。光源情報推定部２０３により、複数の光源が推定された場合、それぞれの光源に対して高解像度な拡散画像をおのおの合成し、その画像を足し合わせることで、一枚の高解像度拡散画像を合成する。

また、アルベド画像ではなく擬似アルベド画像を利用している場合、擬似アルベド画像に、光源情報推定部２０３によって推定された光源方向ベクトルと、形状情報高密度化部２１１によって求められた被写体の高密度法線方向ベクトルとの内積を乗算し、さらに正規化を行うために利用した鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}を乗算することによって、高解像度拡散反射画像を合成する。正規化で利用した鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}は、アルベド推定部２０６によってメモリに蓄積されているため、この情報を読み出せばよい。もちろん、拡散反射画像の最大輝度値や入力画像の最大輝度値を利用して正規化を行っている場合、鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}を乗算するのではなく、正規化に利用した拡散反射画像の最大輝度値や入力画像の最大輝度値を乗算する。

以上の処理により、高解像度化された拡散画像を合成することができる。ここで、高解像度化処理はアルベド画像を利用して行ったが、アルベド画像ではなく、拡散画像を直接、高解像度化するようにしても構わない。この場合、学習処理は拡散画像を用いて行えばよい。

次に、鏡面反射画像の高解像度化処理について説明する。ここでは、画像をパラメータに分解し、パラメータごとに高密度化する。この処理を順に説明する。

パラメータ推定部２１０は、形状情報取得部２０４によって取得された被写体の法線情報、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像と鏡面反射画像を利用して、その被写体を表現するパラメータを推定する。ここでは、Ｃｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓの分野で広く使われているＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを利用する方法を説明する。

Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルでは、鏡面反射画像を次式のようにモデル化する。

ここで、Ｅ_ｉは入射照度、ρ_ｓ，λは波長λにおける鏡面反射成分の双方向反射率、ｎは被写体の法線方向ベクトル、Ｖは視線ベクトル、Ｌは光源方向ベクトル、Ｈは視線ベクトルと照明方向ベクトルの中間ベクトル、βは中間ベクトルＨと法線方向ベクトルｎの角度を表す。また、Ｆ_λはフレネル方程式から求められる誘電体表面からの反射光の比であるフレネル係数、Ｄはマイクロファセット分布関数、Ｇは物体表面の凸凹による遮光の影響を表す幾何減衰率である。さらに、ｎ_λは被写体の屈折率、ｍは被写体表面の粗さを示す係数、Ｉ_ｊは入射光の放射輝度である。また、ｋ_ｓは鏡面反射成分の係数である。

さらに、（式２５）のランバーシャンモデルを利用すると、（式１２）は以下のように展開される。

ただし、

ここで、ρ_ｄは拡散反射成分の反射率（アルベド）、ｄｐｘ、ｄｐｙは撮像装置の１画素のｘ方向、ｙ方向の長さ、ｒは撮像装置の観察点Ｏからの距離を示している。また、ｋ_ｄは以下の関係式を満たす係数である。

Ｓｒは拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数であり、拡散反射成分が被写体からすべての方向へエネルギーを反射することを示している。図４４はこの定数Ｓｒを説明するための模式図である。図４４において、観察点Ｏで反射された拡散反射成分エネルギーは、半球状に広がっていく。ここで、撮像装置１００１が観察点Ｏからｒだけ離れているので、撮像装置の１撮像素子に届くエネルギーと、観察点Ｏで反射した総エネルギーの比Ｓ_ｒは、（式４８）で表される。

以上のことから、パラメータ推定部２１０は、（式３７）〜（式４５）（式４６）（式４７）、（式４８）からパラメータを推定する。

以上の関係式をまとめると、パラメータ推定を行なうための既知パラメータと、推定すべきパラメータは以下のようになる。
（既知パラメータ）
○環境光成分Ｉ_ａ
○拡散反射成分Ｉ_ｄ
○鏡面反射成分Ｉ_ｓ
○被写体の法線方向ベクトルｎ
○光源方向ベクトルＬ
○視線ベクトルＶ
○中間ベクトルＨ
○中間ベクトルＨと法線方向ベクトルｎの角度β
○撮像装置１００１の１画素のｘ方向、ｙ方向の長さｄｐｘ，ｄｐｙ
○撮像装置１００１と観察点Ｏとの距離ｒ
（推定すべきパラメータ）
○入射照度Ｅ_ｉ
○鏡面反射成分の係数ｋ_ｓ
○被写体表面の粗さｍ
○被写体の屈折率η_λ
ここで、拡散反射成分の係数ｋ_ｄ、および拡散反射成分の反射率（アルベド）ρ_ｄも未知パラメータであるが、鏡面反射成分のパラメータのみを推定するため、ここでは推定処理を行なわない。

図４５はパラメータ推定部２１０の処理の流れを示す図である。処理は、以下の２段階からなる。

まず、光源情報を使用して、入射照度Ｅ_ｉを求める（ステップＳ３５１）。ここでは、光源情報推定部２０３によって取得した光源の位置情報、形状情報取得部２０４で求めた撮像装置と被写体との距離情報、さらには光源情報取得部２０３で求めた光源照度を用いる。これは、次式から求まる。

ここで、Ｉ_ｉは撮像装置１００１に設置された照度計１０１８によって測定された光源１００７の入射照度、Ｒ_１は撮像装置１００１と光源１００７との距離、Ｒ_２は光源１００７と観察点Ｏとの距離、θ_１は観察点Ｏにおける法線１０１９と光源方向１０１０Ｃとのなす角度、θ_２は撮像装置１００１における光軸方向１００５と光源方向１０１０Ａとのなす角度を示している（図４６参照）。ここで、被写体の大きさが、光源１００７と観察点Ｏとの距離Ｒ_２に比べ十分に大きいと考えられる場合、距離Ｒ_２は被写体上の全ての観察点Ｏで等しくなる。そのため、（式５０）において、（Ｒ_１／Ｒ_２）は定数となり、実際に計測する必要はなくなる。

次に、シンプレックス法を利用して、未知パラメータｍ、η_λ、ｋ_ｓを推定する（ステップＳ３５２）。シンプレックス法は、シンプレックスと呼ぶ図形の頂点に変数を割り付け、シンプレックスの大きさと形を変えて関数の最適化を行なう方法である（大田登，“色再現光学の基礎”，ｐｐ．９０−９２，コロナ社）。シンプレックスは、ｎ次元空間の（ｎ＋１）個の点の集合である。ただし、ｎは推定する未知数の数であり、ここでは「３」である。そのため、シンプレックスは四面体である。シンプレックスの頂点をベクトルｘ_ｉで表し、新しいベクトルを次のように定める。

ただし、

はそれぞれ関数ｆ（ｘ_ｉ）を最大、最小にするｘ_ｉを示している。

さらに、この方法で用いる３種類の操作を以下のように定める。
１．鏡像：

２．拡張：

３．収縮：

ここで、α（＞０）、β（＞１）、γ（１＞γ＞０）は係数である。

シンプレックス法は、シンプレックスの頂点の中で関数値の最も大きなものを選ぶことで、その鏡像における関数値は小さくなるという期待に基づいている。この期待が正しければ、同じプロセスの繰り返しで関数の最小値が求められる。つまり、初期値で与えたパラメータを３種類の操作で更新しながら、評価関数が示すターゲットとの誤差が閾値未満になるまでパラメータの更新を繰り返す。ここでは、パラメータとしてｍ、η_λ、ｋ_ｓ、評価関数として（式５６）で表される、（式３７）から算出される鏡面反射成分画像と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像との差ΔＩ_ｓを利用した。

ただし、ｉ_{ｓ（ｉ，ｊ）}’，ｉ_{ｓ（ｉ，ｊ）}はそれぞれ、計算された鏡面反射画像の推定値Ｉ_ｓ’と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像Ｉ_ｓの画素（ｉ，ｊ）の輝度値、Ｍ_{ｓ（ｉ，ｊ）}は、画素（ｉ，ｊ）が鏡面反射成分を持つ場合に１、そうでない場合０をとる関数である。

この処理について詳しく説明する。図４７はこの処理の流れを説明するためのフローチャートである。

まず、繰り返し演算の更新回数を記憶するカウンターｎとｋに０を代入し、初期化する（ステップＳ３６１）。ここで、カウンターｎは初期値を何回変更したかを記憶するカウンターであり、ｋはある初期値に対してシンプレックスによる候補パラメータの更新を何回行ったかを記憶するカウンターである。

次に、乱数を利用し、推定パラメータの候補パラメータｍ’、η_λ’、ｋ_ｓ’の初期値を決定する（ステップＳ３６２）。このとき、各パラメータの物理的な拘束条件から、初期値の発生範囲は以下のように決定した。

次に、こうして求めた候補パラメータを（式３７）へ代入し、鏡面反射画像の推定値Ｉ_ｓ’を求める（ステップＳ３６３）。さらに、計算された鏡面反射画像の推定値Ｉ_ｓ’と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像との差ΔＩ_ｓを（式５６）より求め、これをシンプレックス法の評価関数とする（ステップＳ３６４）。こうして求めたΔＩ_ｓが十分小さい場合（ステップＳ３６５でＹｅｓ）、パラメータ推定は成功したとして、推定パラメータｍ、η_λ、ｋ_ｓとして候補パラメータｍ’、η_λ’、ｋ_ｓ’を選択し、処理を終了する。一方、ΔＩ_ｓが大きい場合（ステップＳ３６５でＮｏ）、シンプレックス法により候補パラメータの更新を行う。

候補パラメータの更新を行う前に、更新回数の評価を行う。まず、更新回数を記憶しているカウンターｋに１を足し（ステップＳ３６６）、カウンターｋの大きさを判断する（ステップＳ３６７）。カウンターｋが十分に大きい場合（ステップＳ３６７でＮｏ）、繰り返し演算は十分に行なわれているが、ローカルミニマムに落ちているため、このまま更新を繰り返しても最適値には達しないと判断し、初期値を変更して、ローカルミニマムからの脱却を図る。そのため、カウンターｎに１を足し、カウンターｋに０を入れる（ステップＳ３７１）。ここで、カウンターｎの値が閾値より高いかどうかを判定し、処理をこのまま続けるか、処理不能として処理を終了させるかを決定する（ステップＳ３７２）。ここで、ｎが閾値より大きい場合（ステップＳ３７２でＮｏ）、この画像は推定不能として処理を終了する。一方、ｎが閾値より小さい場合（ステップＳ３７２でＹｅｓ）、再度、初期値を（式５７）の範囲内で乱数から選択しなおし（ステップＳ３６２）、処理を繰り返す。このようなｋに対する閾値は、例えば、１００などを選択すればよい。

一方、ステップＳ３６７において、カウンターｋが閾値以下の場合（ステップＳ３６７でＹｅｓ）、候補パラメータを（式５３）〜（式５５）を利用して変更する（ステップＳ３６８）。この処理については後述する。

次に、こうして変形された候補パラメータが、解として意味のあるものであるかを判定する（ステップＳ３６９）。すなわち、シンプレックス法を繰り返すことで、変形されたパラメータが物理的に意味のない値（例えば、粗さパラメータｍが負の値など）におちいる可能性があるため、これを除去する。これは、例えば、以下のような条件を与え、この条件を満たす場合には意味のあるパラメータ、満たさない場合には意味のないパラメータと判定すればよい。

これらの値は、被写体より求めることができる。例えば、屈折率η_λであれば、被写体の材質によって決定される値である。例えば、プラスチックであれば１．５〜１．７、ガラスであれば１．５〜１．９であることが知られているため、これらの値を利用すればよい。つまり、被写体がプラスチックである場合、屈折率η_λは１．５〜１．７とすればよい。

変形したパラメータが（式５８）を満たす場合（ステップＳ３６９でＹｅｓ）、その候補パラメータは意味のある値であると考えられるため、新しい候補パラメータとして設定し（ステップＳ３７０）、更新処理を繰り返す（ステップＳ３６３）。一方、変形したパラメータが（式５８）を満たさない場合（ステップＳ３６９でＮｏ）、その初期値に対する更新処理を打ち切り、新しい初期値により更新を行う（ステップＳ３７１）。

ここで、ステップＳ３６８の変形処理について詳述する。図４８はこの処理の流れを示したフローチャートである。ここでは、候補パラメータｍ’、η_λ’、ｋ_ｓ’をベクトル表現し、これをパラメータｘとする。すなわち、

まず、（式５１）（式５２）（式５３）を利用して、鏡像操作を行ったパラメータｘ_ｒを計算し、（式５６）によってｘ_ｒでの鏡面反射成分画像との差ΔＩ_ｓ（ｘ_ｒ）を計算する（ステップＳ３８１）。次に、こうして求められたΔＩ_ｓ（ｘ_ｒ）と、２番目に評価関数が悪かったΔＩ_ｓ（ｘ_ｓ）を比較する（ステップＳ３８２）。ここでΔＩ_ｓ（ｘ_ｒ）がΔＩ_ｓ（ｘ_ｓ）より小さかった場合（ステップＳ３８２でＹｅｓ）、鏡像操作を行った評価値ΔＩ_ｓ（ｘ_ｒ）と現在、最も評価値のよいΔＩ_ｓ（ｘ_ｌ）を比較する（ステップＳ３８３）。ここで、ΔＩ_ｓ（ｘ_ｒ）のほうが大きかった場合（ステップＳ３８３でＮｏ）、最も評価値の低かったｘ_ｈをｘ_ｒへ変更し（ステップＳ３８４）、処理を終了する。

一方、ΔＩ_ｓ（ｘ_ｒ）がΔＩ_ｓ（ｘ_ｌ）より小さかった場合（ステップＳ３８３でＹｅｓ）、（式５４）を利用して拡張処理を行ない、パラメータｘ_ｅと、ｘ_ｅでの鏡面反射成分画像との差ΔＩ_ｓ（ｘ_ｅ）を計算する（ステップＳ３８５）。次に、こうして求められたΔＩ_ｓ（ｘ_ｅ）と、鏡像操作によるΔＩ_ｓ（ｘ_ｒ）を比較する（ステップＳ３８６）。ここでΔＩ_ｓ（ｘ_ｅ）がΔＩ_ｓ（ｘ_ｒ）より小さかった場合（ステップＳ３８６でＹｅｓ）、最も評価値の悪かったｘ_ｈをｘ_ｅへ変更し（ステップＳ３８７）、処理を終了する。

一方、ΔＩ_ｓ（ｘ_ｅ）がΔＩ_ｓ（ｘ_ｒ）より大きかった場合（ステップＳ３８６でＮｏ）、最も評価値の悪かったｘ_ｈをｘ_ｒへ変更し（ステップＳ３８７）、処理を終了する。

また、ステップＳ３８２において、ΔＩ_ｓ（ｘ_ｒ）がΔＩ_ｓ（ｘ_ｓ）より大きかった場合（ステップＳ３８２でＮｏ）、鏡像操作を行った評価値ΔＩ_ｓ（ｘ_ｒ）と現在、最も評価値の悪いΔＩ_ｓ（ｘ_ｈ）を比較する（ステップＳ３８８）。ここでΔＩ_ｓ（ｘ_ｒ）がΔＩ_ｓ（ｘ_ｈ）より小さかった場合（ステップＳ３８８でＹｅｓ）、最も評価値の悪かったｘ_ｈをｘ_ｒへ変更し（ステップＳ３８９）、（式５５）を利用して、収縮操作を行ったパラメータｘ_ｃと、ｘ_ｃでの鏡面反射成分画像との差ΔＩ_ｓ（ｘ_ｃ）を計算する（ステップＳ３９０）。一方、ΔＩ_ｓ（ｘ_ｒ）がΔＩ_ｓ（ｘ_ｈ）より大きかった場合（ステップＳ３８８でＮｏ）、ｘ_ｈを変更することなく、収縮操作を行ったパラメータｘ_ｃと、ｘ_ｃでの鏡面反射成分画像との差ΔＩ_ｓ（ｘ_ｃ）を計算する（ステップＳ３９０）。

次に、こうして求められたΔＩ_ｓ（ｘ_ｃ）と、最も評価値の悪いΔＩ_ｓ（ｘ_ｈ）を比較する（ステップＳ３９１）。ここでΔＩ_ｓ（ｘ_ｃ）がΔＩ_ｓ（ｘ_ｈ）より小さかった場合（ステップＳ３９１でＹｅｓ）、最も評価値の悪かったｘ_ｈをｘ_ｃへ変更し（ステップＳ３９２）、処理を終了する。

一方、ΔＩ_ｓ（ｘ_ｃ）がΔＩ_ｓ（ｘ_ｈ）より大きかった場合（ステップＳ３９１でＮｏ）、すべての候補パラメータｘ_ｉ（ｉ＝１，２，３，４）を以下の式により変更し、処理を終了する。

以上の処理を繰り返すことにより、鏡面反射画像における未知パラメータであるｍ、η_λ、ｋ_ｓを推定する。

以上の処理により、すべての未知パラメータを推定することができる。

なお、パラメータ推定に用いるモデルは、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルである必要はなく、例えば、Ｔｏｒｒａｎｃｅ−ＳｐａｒｒｏｗモデルやＰｈｏｎｇモデル、簡易Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデル（例えば、「Ｋ．Ｉｋｅｕｃｈｉ ａｎｄ Ｋ．Ｓａｔｏ，“Ｄｅｔｅｒｍｉｎｉｎｇ ｒｅｆｌｅｃｔａｎｃｅ ｐｒｏｐｅｒｔｉｅｓ ｏｆ ａｎ ｏｂｊｅｃｔ ｕｓｉｎｇ ｒａｎｇｅ ａｎｄ ｂｒｉｇｈｔｎｅｓｓ ｉｍａｇｅｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．１３，ｎｏ．１１，ｐｐ．１１３９−１１５３，１９９１」）であっても構わない。

また、パラメータ推定方法は、シンプレックス法である必要はなく、例えば、勾配法や最小自乗法などのような一般的なパラメータ推定手法を利用しても構わない。

また、以上の処理は、画素毎に行ってもかまわないし、領域分割を行い、領域ごとに等しいパラメータ組を推定するようにしてもかまわない。画素毎に処理を行う場合、光源や撮像装置、または被写体を動かすことにより、被写体の法線方向ベクトルｎや光源方向ベクトルＬ、または視線ベクトルＶといった既知パラメータが変動したサンプルを取得するようにすることが望ましい。また、処理を領域ごとに行う場合、領域ごとに求まったパラメータのばらつきが小さくなるように領域分割を変更することで、最適なパラメータ推定を行うようにすることが望ましい。

法線情報高密化部２１１は、形状情報取得部２０４で取得した表面の法線情報を高密度化する。これは、以下のように実現される。

まず、形状情報取得部２０４によって取得した表面の法線情報を、画像撮像部２０１によって取得された画像へ投影し、画像内の各画素に対応する法線方向を求める。このような処理は、従来のカメラキャリブレーション処理（例えば、「運天 弘樹，池内 克史，“実物体の仮想化のための３次元幾何モデルのテクスチャリング手法”，ＣＶＩＭ−１４９−３４，ｐｐ．３０１−３１６，２００５」）を行うことで実現できる。

この際、法線ベクトルｎ_ｐは極座標で表現し、その値をθ_ｐ、φ_ｐとする（図４９参照）。以上の処理により、法線成分であるθ、φの画像を作製する。こうして求めたθ画像とφ画像を、上述のアルベド高解像度化部２０７と同様の手法によって高解像度化することによって、高密度の法線情報を推定する。この際、高密度度化処理を行う前に学習処理を行い、法線のθ、φ成分に対するクラスタＣと学習された変換行列ＣＭａｔを法線ＤＢ２１２に蓄積する。

また、以上の処理は、影除去部２０５において、影として除去されなかった領域のみに対して行うことが望ましい。これは、影の存在により、パラメータ推定処理に誤差が生じてしまうことを防止するためである。

また、パラメータ推定部２１０において、撮像装置近傍に設置された制御可能な光源を利用してもかまわない。この光源は、デジタルカメラのフラッシュであってもよい。この場合、フラッシュを照射して撮像したフラッシュ画像と、フラッシュを照射しないで撮像した非フラッシュ画像を時間的に連続的に撮像し、その差分画像を利用してパラメータ推定を行なえばよい。撮像装置と光源であるフラッシュの位置関係は既知であり、また、フラッシュの光源情報である３次元位置や色、強度も事前に測定しておくことが可能である。また、撮像装置とフラッシュは非常に近い場所に設置されているため、影が少ない画像を撮像することができる。そのため、画像内のほとんどの画素において、パラメータを推定することができる。

さらに、パラメータ高密度化部２１３は、パラメータ推定部２１０によって求めたパラメータを高密度化する。ここでは、単純な線形補間を行い、すべてのパラメータを高密度化する。もちろん、上述のアルベド高解像度化部２０７のような学習を利用した高密度化手法を利用してもかまわない。

また、パラメータごとに高密化方法を切り替えるようにしても構わない。例えば、推定パラメータである被写体の屈折率η_λは、高密度化しても値が変化しないと考えられる。そのため、被写体の屈折率η_λは単純補間により高密度化を行い、拡散反射成分の係数ｋ_ｄ、鏡面反射成分の係数ｋ_ｓ、さらには拡散反射成分の反射率（アルベド）ρ_ｄに関しては学習を利用した高密度化処理を行うようにしてもかまわない。

鏡面反射画像高解像度化部２１４は、法線情報高密度化部２１１によって推定された高密度法線情報と、パラメータ高解像度化部２１４によって高密度化されたパラメータを利用し、高解像度な鏡面反射画像を合成する。高解像度な鏡面反射画像は、（式３７）〜（式４５）に高密度化したパラメータを代入することによって、合成する。

ここで、実際の鏡面反射画像よりも輝度値が高くなるように、例えば入射照度Ｅ_ｉのみ推定された値に係数ｌ（例えば、ｌ＝２）を乗算するようにしてもかまわない。これは、鏡面反射画像の輝度値を上げることによって、被写体の質感を上げるためである。同じように、被写体表面の粗さｍを推定値よりも大きな値として、実際よりもてかりが強い鏡面反射画像を合成してもかまわない。

影生成部２１５は、拡散反射画像高解像度化部２０９と鏡面反射画像高解像度化部２１４によって生成された高解像度拡散反射画像と高解像度化鏡面反射画像に重畳する、影画像を合成する。これは、影除去部２０５において利用したレイトレーシングを利用すればよい。

ここで、画像高解像度化部２１７は、撮影対象となっている被写体の３次元形状に関する知識を有するものとする。影生成部２１５は、被写体の３次元形状データを取得し、撮影画像における被写体の見え（ａｐｐｅａｒａｎｃｅ）から、被写体の３次元姿勢及び３次元位置を推定する。被写体が人間の目の角膜である場合の、見えから３次元位置及び３次元姿勢を推定する例が、「Ｋ．Ｎｉｓｈｉｎｏ ａｎｄ Ｓ．Ｋ．Ｎａｙａｒ，″Ｔｈｅ Ｗｏｒｌｄ ｉｎ ａｎ Ｅｙｅ″，ｉｎ Ｐｒｏｃ．ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ＣＶＰＲ’０４，ｖｏｌ．１，ｐｐ４４４−４５１，Ｊｕｌ．，２００４．」に開示されている。見えから３次元位置及び３次元姿勢を推定できる被写体は限られるが、そのような被写体であれば、上記文献の手法を適用することが可能である。

被写体の３次元姿勢及び３次元位置が推定されれば、被写体上の任意の位置において、被写体表面の法線情報が算出できる。以上の処理を、撮影画像において繰り返し、被写体表面の法線情報を算出する。さらに、法線情報高密度化部２１１で推定された高密度法線情報を利用して被写体の法線情報を高密度化することによって、被写体の３次元形状を高密化することが可能である。こうして求めた高密度３次元形状と、パラメータ高解像度化部２１３によって高密度化されたパラメータを利用してレイトレーシングを行うことにより、高解像度な影画像の推定を行なう。

レンダリング部２１６は、拡散反射画像高解像度化部２０９が合成した高解像度拡散反射画像、鏡面反射画像高解像度化部２１４が合成した高解像度鏡面反射画像、さらには、影生成部２１５が合成した影画像を合成し、高解像度の出力画像を合成する。

以上のように、上述した光源推定方法を利用して、高解像度なデジタルズーム処理を行う。すなわち、画像の高解像度化において、光源情報は、影除去部２０５、アルベド推定部２０６、拡散反射画像高解像度化部２０９、パラメータ推定部２１０、鏡面反射画像高解像度化部２１４、影生成部２１５に必要な情報であり、非常に重要である。このため、光源情報を正確に取得することができる本発明の光源推定方法は、画像の高解像度化において非常に重要な処理である。

また、上記説明では、鏡面反射画像のみパラメータ推定を利用して高解像度化を行ったが、拡散反射画像においてもパラメータ推定を行ない、高解像度化するようにしてもかまわない。

この処理を説明する。拡散反射画像の未知パラメータは、上述のとおり、以下の２つである。
○拡散反射成分の係数ｋ_ｄ
○拡散反射成分の反射率（アルベド）ρ_ｄ
そこで、これらのパラメータを推定する。図５０は拡散反射画像のパラメータ推定処理の流れを示した図である。処理は、図４５で示した鏡面反射画像のパラメータ推定部２１０の処理後、さらに以下の２段階の処理を行なう。

まず、（式４９）と鏡面反射画像のパラメータ推定で求まったｋ_ｓを利用して、次式よりｋ_ｄを推定する（ステップＳ３５３）。

さらに、（式４７）を利用して、拡散反射画像の反射率（アルベド）ρ_ｄを次式より推定する（ステップＳ３５４）。

以上の処理により、すべての未知パラメータを推定することができる。こうして求まったパラメータをパラメータ高密度化部２１３と同様の手法により高密化することによって、拡散反射画像を高解像度化すればよい。

なお、本発明の光源推定方法は、画像処理だけではなく、例えば画像の撮像に関しても有効である。例えば、偏光フィルタを利用する場合に、これを最適な角度で設置することができる。この処理を説明する。

水面やウインドガラスなどの鏡面反射光を除去するために、ＰＬフィルタと呼ばれる偏光フィルタが利用されている。しかし、偏光フィルタによる効果は、偏光フィルタの偏光軸と入射面（被写体への入射光線と反射光線を含む平面）により大きく異なる。そのため、図２８のように、回転機構により偏光フィルタ１０１６Ａを回転させながら撮像する場合、その回転角により、撮像される画像が大きく異なる。例えば、最も効果が大きくなる場合は、偏光軸が入射面と平行になる場合である。本発明における光源推定方法を利用することによって、光源の位置が既知となるため、被写体の入射面を特定することができる。そのため、推定された入射面に対して偏光フィルタが平行になるように、回転機構を制御するようにすればよい。

以上のように、本発明の光源推定方法を利用することによって、高解像度なデジタルズーム処理などの画像処理や効果的な画像撮像を行うことができる。

本発明によると、付加的な撮像装置を搭載することなく、光源画像を取得し、光源情報を推定することが可能になる。このため、例えば、カメラ付き携帯電話やデジタルカメラ、デジタルビデオカメラにおいて、画像の高解像度化などの画像処理を行うのに有用である。

本発明は、一般環境での画像撮像、画像処理および画像合成などの際に重要となる、画像撮像時の光源の位置、方向、輝度、スペクトル、色などの光源情報を推定する技術、および、光源情報を用いて画像の高解像度化を行う技術に関するものである。

カメラ付き携帯電話やデジタルカメラの普及に伴い、画像処理への重要度が高まってきている。このような画像処理として、例えばデジタルズームとして知られている画像の高解像度化、人の顔などを認識してフォーカスをあわせるなどの認識処理、さらには現実の画像に仮想物体であるＣｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓで作成された画像を重畳表示する拡張現実などさまざまである。

これらの画像処理は、画像撮像により撮像素子に記録された被写体の「見え」を基に処理が行なわれている。この物体の見えは、光源からの光が被写体表面で反射され、その反射光を撮像素子が受光することで得られる。

そのため、光源情報は画像処理において非常に重要である。つまり、光源情報を取得して、画像撮像や画像処理に利用することは非常に効果的である。例えば、特許文献１では、仮想物体を実世界に重畳表示させる際、実世界の光源環境を計測することで、仮想物体上に映り込む照射光による反射光や仮想物体により生成される影を付与する。

また、光源情報は、画像処理だけでなく、撮像行為を行なう主体者である撮像者が撮像装置で画像を取得する際にも有益である。例えば、特許文献２では、光源位置を検出し、その情報を利用して、順光状態や逆光状態を撮像者に表示することによって、一般の人が特に専門的な知識をもっていない場合でも、光や影を生かした逆光（半逆光）のポートレート写真等を容易に撮像することを可能にしている。
特開平１１−１７５７６２号公報 特開平８−１６０５０７号公報

このような光源情報を取得するためには、光源を撮像した画像、すなわち光源画像が必要である。光源画像は、
(1)被写体とは別方向を撮像し、かつ
(2)全天周に近い、広範囲な画像である
ことが望ましい。これは、以下の理由による。

(1)一般的な被写体、例えば人に対して、照明である街灯や室内照明は上方から照射されることが多い。また、被写体と同じ方向に光源がある場合、逆光状態となり、被写体が暗くなる可能性がある。そのため、撮像者は被写体と光源が同じ画像に入ることを避けたがる。

(2)光源は、撮像者にとって、どこに何個あるか未知。

このため、上述の特許文献１および特許文献２では、光源情報を取得するために、天頂方向に光軸を向け、魚眼レンズを搭載した撮像装置を利用している。

しかし、このように魚眼レンズを被写体とは別方向に向けて撮像するためには、被写体を撮像する撮像装置とは別に、第２の撮像装置が必要になる。これは、コストの面で大きな負担となってしまう。また、特にカメラ付き携帯電話では、小型化の要望が大きいため、撮像装置を現在よりも増やすことは、大きさの面でも大きな問題となる。

さらに、被写体を撮像する撮像装置と光源を撮像する撮像装置が異なるため、２つの撮像装置間での位置合わせ（キャリブレーション）が必要になってしまう。これは、光源情報を推定する上で、被写体と光源との位置関係が特に重要であることに起因する。すなわち、被写体と光源を別個の撮像装置で撮像した場合、これらの対応付けが必要になるが、この操作は非常に煩雑である。

前記の問題に鑑み、本発明は、例えばカメラ付き携帯電話などの装置において、付加的な撮像装置を搭載することなく、光源が撮像された光源画像を取得し、光源情報を推定可能にすることを課題とする。

本発明は、光源推定装置および方法として、撮像装置の状況が光源情報の取得に適しているか否かを判断し、適していると判断されたとき、前記撮像装置によって撮像を行い、この撮像画像を光源画像として取得し、光源画像が取得されたときにおける前記撮像装置の状況を表す第１の撮像装置情報を取得し、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における前記撮像装置の状況を表す第２の撮像装置情報を取得し、前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定するものである。

本発明によると、撮像装置の状況が光源情報の取得に適しているか否かが判断され、適していると判断されたとき、この撮像装置によって光源画像が取得される。このとき、撮像装置の状況を表す第１の撮像装置情報も取得される。そして、撮像者の操作によって前記撮像装置による撮像が行われた撮像時に、撮像装置の状況を表す第２の撮像装置情報が取得され、光源画像と第１および第２の撮像装置情報を用いて、光源情報が推定される。すなわち、光源画像の取得は、撮像時に用いられる撮像装置を利用して、この撮像装置の状況が光源情報の取得に適していると判断されたときに、行われる。したがって、付加的な撮像装置を搭載することなく、光源画像を取得し、光源情報を推定することが可能になる。

また、本発明は、光源推定装置および方法として、撮像装置によって撮像を行い、この撮像画像を光源画像として取得し、光源画像が取得されたときにおける前記撮像装置の状況を表す第１の撮像装置情報を取得し、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における前記撮像装置の状況を表す第２の撮像装置情報を取得し、前記光源画像並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定するものであり、かつ、光軸方向変動手段によって前記撮像装置の光軸方向が変動している状態で、複数枚の光源画像の取得を行うものである。

本発明によると、光軸方向変動手段によって撮像装置の光軸方向が変動している状態で、この撮像装置によって複数枚の光源画像が取得される。このとき、撮像装置の状況を表す第１の撮像装置情報も取得される。そして、撮像者の操作によって前記撮像装置による撮像が行われた撮像時に、撮像装置の状況を表す第２の撮像装置情報が取得され、光源画像と第１および第２の撮像装置情報を用いて、光源情報が推定される。すなわち、光源画像の取得は、撮像時に用いられる撮像装置を利用して、この撮像装置の光軸方向が変動している状態で、行われる。したがって、付加的な撮像装置を搭載することなく、広い範囲にわたって光源画像を取得し、光源情報を推定することが可能になる。

また、本発明は、画像高解像度化装置および方法として、撮像装置によって撮像を行い、本発明に係る光源推定方法によって、被写体に照射する光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定し、被写体の表面の法線情報または３次元位置情報を形状情報として取得し、前記光源情報および形状情報を用いて、撮像された画像を高解像度化するものである。

本発明によると、カメラ付き携帯電話のような撮像装置搭載機器において、被写体撮像用以外の付加的な撮像装置を搭載することなく、被写体周囲の光源画像を取得し、光源情報を推定することが可能になる。また、推定された光源情報を用いて、画像の高解像度化を実現することができる。

本発明の第１態様では、撮像装置の状況が、光源情報の取得に適しているか否かを判断する撮像装置状況判断部と、前記撮像装置状況判断部によって適していると判断されたとき、前記撮像装置によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部と、前記光源画像取得部によって光源画像が取得されたときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第１の撮像装置情報取得部と、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第２の撮像装置情報取得部と、前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部とを備えた光源推定装置を提供する。

本発明の第２態様では、前記撮像装置状況判断部は、前記撮像装置の光軸の方向を検出し、光軸が上方向を向いているとき、適していると判断する前記第１態様の光源推定装置を提供する。

本発明の第３態様では、前記光源画像取得部は、撮像者の操作による前記撮像装置による撮像が行われないことを確認した後に、光源画像の取得を行う前記第１態様の光源推定装置を提供する。

本発明の第４態様では、前記光源情報推定部は、光源の方向および位置のうち少なくともいずれか一方に加えて、光源の輝度、色、およびスペクトル情報のうち少なくともいずれか１つを推定する前記第１態様の光源推定装置を提供する。

本発明の第５態様では、前記光源画像取得部は、前記光源画像を複数枚取得するものであり、前記第１の撮像装置情報取得部は、前記光源画像取得部によって各光源画像が取得されたとき、それぞれ、前記第１の撮像装置情報を取得するものであり、前記光源推定装置は、前記光源画像取得部によって取得された複数の光源画像から、前記第１の撮像装置情報取得部によって取得された複数の第１の撮像装置情報を用いて、パノラマ光源画像を合成する光源画像合成部を備え、前記光源情報推定部は、前記パノラマ光源画像および前記第２の撮像装置情報を用いて、光源情報の推定を行う前記第１態様の光源推定装置を提供する。

本発明の第６態様では、前記撮像装置の光軸方向を変動させる光軸方向変動手段を備え、前記光軸方向変動手段によって前記撮像装置の光軸方向が変動している状態で、前記光源画像取得部が複数枚の光源画像の取得を行うように、構成されている前記第１態様の光源推定装置を提供する。

本発明の第７態様では、前記光源推定装置は、折り畳み式携帯電話に搭載されており、前記光軸方向変動手段は、前記折り畳み式携帯電話を開閉させる開閉機構である前記第６態様の光源推定装置を提供する。

本発明の第８態様では、前記光軸方向変動手段は、バイブレーション機構である前記第６態様の光源推定装置を提供する。

本発明の第９態様では、撮像装置によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部と、前記光源画像取得部によって光源画像が取得されたときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第１の撮像装置情報取得部と、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第２の撮像装置情報取得部と、前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部と、前記撮像装置の光軸方向を変動させる光軸方向変動手段とを備え、前記光軸方向変動手段によって前記撮像装置の光軸方向が変動している状態で、前記光源画像取得部が複数枚の光源画像の取得を行うように、構成されている光源推定装置を提供する。

本発明の第１０態様では、光源情報を推定する光源推定システムとして、前記第１態様の撮像装置状況判断部、光源画像取得部、第１の撮像装置情報取得部、および第２の撮像装置情報取得部を有し、前記光源画像取得部によって取得された光源画像、前記第１の撮像装置情報取得部によって取得された第１の撮像装置情報、および、前記第２の撮像装置情報取得部によって取得された第２の撮像装置情報を送信する通信端末と、前記第１態様の光源情報推定部を有し、前記通信端末から送信された前記光源画像、並びに前記第１および第２の撮像装置情報を受信し、前記光源情報推定部に与えるサーバとを備えたものを提供する。

本発明の第１１態様では、撮像装置の状況が、光源情報の取得に適しているか否かを判断する第１のステップと、前記第１のステップにおいて適していると判断したとき、前記撮像装置によって撮像を行い、この撮像画像を光源画像として取得する第２のステップと、前記第２のステップにおいて光源画像を取得したときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第３のステップと、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第４のステップと、前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する第５のステップとを備えた光源推定方法を提供する。

本発明の第１２態様では、撮像装置によって撮像を行い、この撮像画像を光源画像として取得する第１のステップと、前記第１のステップにおいて光源画像を取得したときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第２のステップと、撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第３のステップと、前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する第４のステップとを備え、前記第１のステップにおいて、光軸方向変動手段によって前記撮像装置の光軸方向を変動させ、前記撮像装置の光軸方向が変動している状態で、複数枚の光源画像の取得を行う光源推定方法を提供する。

本発明の第１３態様では、撮像装置によって撮像を行う画像撮像部と、前記第１１または１２態様の光源推定方法によって、被写体に照射する光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部と、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部と、前記光源情報および形状情報を用いて、前記画像撮像部によって撮像された画像を高解像度化する画像高解像度化部とを備えた画像高解像度化装置を提供する。

本発明の第１４態様では、前記画像高解像度化部は、前記画像撮像部によって撮像された画像を、拡散反射成分と鏡面反射成分とに分離し、分離した拡散反射成分と鏡面反射成分とを、個別に、高解像化するものである前記第１３態様の画像高解像度化装置を提供する。

本発明の第１５態様では、前記画像高解像度化部は、前記画像撮像部によって撮像された画像を、パラメータに分解し、分解したパラメータを、個別に、高解像化するものである前記第１３態様の画像高解像度化装置を提供する。

本発明の第１６態様では、撮像装置によって撮像を行う第１のステップと、前記第１１または１２態様の光源推定方法によって、被写体に照射する光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する第２のステップと、前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する第３のステップと、前記光源情報および形状情報を用いて、前記第１のステップにおいて撮像した画像を高解像度化する第４のステップとを備えた画像高解像度化方法を提供する。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係る光源推定装置の構成を示すブロック図である。図１において、１００１はＣＣＤやＣＭＯＳ等によって構成された撮像装置、１００２は撮像行為を行う主体者である撮像者が撮像装置１００１に撮像を指示するための撮像スイッチである。撮像装置１００１には３軸の角度センサ１０２５が搭載されている。

また、１０１は撮像装置１００１の状況が、光源情報の取得に適しているか否かを判断する撮像装置状況判断部、１０２は撮像装置状況判断部１０１によって適していると判断されたとき、撮像装置１００１によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部、１０３は光源画像取得部１０２によって光源画像が取得されたとき、撮像装置１００１の状況を表す第１の撮像装置情報を取得する第１の撮像装置情報取得部、１０４は撮像者の操作によって撮像装置１００１による撮像が行われた撮像時に、撮像装置の状況を表す第２の撮像装置情報を取得する第２の撮像装置情報取得部、そして１０５は光源画像取得部１０２によって取得された光源画像、並びに第１の撮像装置情報取得部１０３によって取得された第１の撮像装置情報、および第２の撮像装置情報取得部１０４によって取得された第２の撮像装置情報を基にして、撮像時における光源の方向および位置のうち少なくともいずれか一方を推定する光源情報推定部である。

なお、ここでは、撮像装置状況判断部１０１、光源画像取得部１０２、第１の撮像装置情報取得部１０３、第２の撮像装置情報取得部１０４および光源情報推定部１０５は、ＣＰＵ１０２９によってプログラムを実行することによって、実現されるものとする。ただし、これらの機能の全部または一部を、ハードウェアによって実現するようにしてもかまわない。また、メモリ１０２８は、光源画像取得部１０２によって取得された光源画像と、第１の撮像装置情報取得部１０３によって取得された第１の撮像装置情報を格納する。

図２は本実施形態に係る光源推定装置が搭載されたカメラ付き折り畳み式携帯電話１０００の構成例を示す。図２において、図１と共通の構成要素には図１と同一の符号を付している。なお、図２のカメラ付き折り畳み式携帯電話１０００では、撮像装置１００１に偏光フィルタ１０１６が設けられており、この偏光フィルタ１０１６を回転させるためのモータ１０２６ａと、その回転角を検出するためのエンコーダ１０２７ａとが設けられている。また、折り畳み機構を駆動するためのモータ１０２６ｂと、その回転角を検出するためのエンコーダ１０２７ｂとが設けられている。また、マナーモードスイッチ１０３４が設けられている。

図３は図２のカメラ付き折り畳み式携帯電話１０００が折り畳まれた状態を示す図である。図３において、１００５は撮像装置１００１の光軸方向を示し、１００６は撮像装置１００１の視野範囲を示している。

以下、本実施形態に係る光源推定装置の各構成要素の動作について、説明する。

撮像装置状況判断部１０１は、撮像装置１００１の状況が、光源情報を取得するために適しているか否かを判断する。最も一般的な光源として、家庭内では照明、屋外では街灯や太陽が考えられる。そのため、撮像装置１００１の撮像方向、つまり光軸の方向が上向きになっている場合、撮像装置１００１が光源情報を取得するために適した状況にある、と判断することができる。そこで、撮像装置状況判断部１０１は、撮像装置１００１に搭載された角度センサ１０２５の出力を用いて、撮像装置１０１の光軸の方向を検出し、光軸が上方向を向いているとき、光源情報を取得するために適していると判断する。このとき、撮像装置状況判断部１０１は、光源画像取得部１０２に撮像を促す信号を送信する。

光源画像取得部１０２は、撮像装置状況判断部１０１から撮像を促す信号を受けたとき、すなわち、撮像装置１００１の状況が光源情報を取得するために適していると撮像装置状況判断部１０１によって判断されたとき、撮像装置１００１によって撮像を行い、この撮像画像を光源画像として取得する。取得された光源画像は、メモリ１０２８に格納される。

このとき、光源画像取得部１０２は、撮像者の操作による撮像が行われないことを確認した後に、光源画像の取得を行うのが好ましい。例えば、撮像スイッチ１００２が押されていないことを確認した上で、光源画像の撮像を行えばよい。

光源画像取得部１０２は、撮像者の撮像意図を考慮して、撮像が行われていない期間を利用して光源画像を撮像するものである。本実施形態に係る光源推定装置では、被写体を撮像するための撮像装置１００１を利用して、光源画像の撮像を行う。このため、もし撮像者が被写体をまさに撮像しようとしているその直前に光源画像の撮像が行われてしまうと、撮像者が撮像しようとした瞬間に被写体を撮像することができず、撮像者の撮像意図を無視することになってしまう。

このため、本実施形態では、撮像者の撮像意思を考慮するために、撮像者が撮像を行わないと想定される間、例えば、机などにおかれている間に光源画像の撮像を行う。例えば、図３のカメラ付き折畳式携帯電話１０００が机などにおかれている場合、光軸方向１００５は上向きになると考えられる。この状態であれば、最適な光源画像を撮像することが可能である。

図４は撮像装置状況判断部１０１および光源画像取得部１０２の処理の一例を示すフローである。まず、撮像装置状況判断部１０１は、撮像装置１００１の光軸方向の検出を行い、その光軸方向が上向きであるか否かを判断する（ステップＳ１２１）。光軸方向が上向きでない場合（ステップＳ１２１でＮｏ）、光軸方向が上向きになるまで繰り返し光軸方向のチェックを行う。一方、光軸方向が上向きである場合（ステップＳ１２２でＹｅｓ）、光源画像取得部１０２は撮像スイッチ１００２のチェックを行う（ステップＳ１２２）。もし、オートフォーカス（ＡＦ）などの処理を行うために、撮像スイッチ１００２が押されている場合（ステップＳ１２２でＮｏ）、撮像が行われる可能性が高いため、光源画像の撮像は行わない。一方、撮像スイッチ１００２が押されていない場合（ステップＳ１２２でＹｅｓ）、光源画像取得部１０２は撮像装置１００１によって撮像を行い、光源画像を取得する（ステップＳ１２３）。

なお、ここでは、撮像スイッチのチェックによって、撮像者の操作による撮像が行われるか否かを判断するものとしたが、撮像者が撮像する意思を持っているか否かを確認する方法は、これに限られるものではない。例えば、「撮像中ですか？」という撮像を確認する表示をディスプレイに表示し、撮像者が「Ｎｏ」という意思を表示するか、なんの反応もない場合に、撮像者が撮像する意思を持っていないと判断してもかまわない。

また、加速度センサなどを利用し、撮像装置１００１が静止しているとき、光源画像の取得を行うようにしてもかまわない。すなわち、撮像装置１００１が静止している場合、撮像装置１００１は撮像者が保持しておらず、机などにおかれていると判断できる。そのため、この場合、撮像者は撮像を行っていない可能性が高い。一方、撮像者が撮像を行うために撮像装置１００１を構えている場合、手ぶれの影響を加速度センサが感知する。このときは、光源画像取得部１０２は撮像を行わないようにすればよい。

また、マナーモードを利用して撮像者が撮像する意思を持っているか否かを確認するようにしても構わない。この処理を詳述する。

図４Ａはマナーモードを利用して撮像者が撮像する意思を持っているか否かを確認する場合の、撮像装置状況判断部１０１および光源画像取得部１０２の処理の一例を示すフローチャートである。まず、撮像装置状況判断部１０１は、撮像装置１００１の光軸方向の検出を行い、その光軸方向が上向きであるか否かを判断する（ステップＳ１２１）。光軸方向が上向きでない場合（ステップＳ１２１でＮｏ）、光軸方向が上向きになるまで一定時間間隔で光軸方向のチェックを行う。一方、光軸方向が上向きである場合（ステップＳ１２１でＹｅｓ）、光源画像取得部１０２はマナーモードのチェックを行う（ステップＳ１２４）。もし、マナーモードスイッチ１０３４がＯＦＦに設定されている場合（ステップＳ１２４でＮｏ）、撮像が行われる可能性が高いため、光源画像の撮像は行わない。一方、マナーモードスイッチ１０３４がＯＮに設定されている場合（ステップＳ１２４でＹｅｓ）、光源画像取得部１０２は撮像装置１００１によって撮像を行い、光源画像を取得する（ステップＳ１２３）。

このとき、マナーモードとしてドライブモードが設定されている場合、撮像者は移動中であると考えられるため、光源画像の撮像は行わないようにしても構わない。つまり、サイレントモードでは光源画像を撮影するが、ドライブモードでは撮影を行わない。

第１の撮像装置情報取得部１０３は、光源画像取得部１０２によって光源画像が取得されたとき、撮像装置１００１の状況を表す第１の撮像装置情報を取得する。具体的には例えば、角度センサ１０２５の出力と撮像装置１００１の焦点距離情報とを、第１の撮像装置情報として取得する。取得された第１の撮像装置情報はメモリ１０２８に格納される。図５はメモリ１０２８に保持された情報の一部を示す模式図である。ある光源画像に対して、角度センサ出力と焦点距離が、第１の撮像装置情報として格納されている。

撮像装置１００１の姿勢情報は、角度センサ１０２５の出力を使用して、以下の３ｘ３行列Ｒlightで表現される。

撮像装置１００１の姿勢情報を表す、この３ｘ３行列Ｒlightのことをカメラ姿勢行列と呼ぶ。ここで、（α，β，γ）はカメラに取り付けられたセンサ出力のロール・ピッチ・ヨー角表現での値であり、ある基準点からの動き量で表現される。ロール・ピッチ・ヨー角表現とは、図６に示したように、任意の回転を、ｚ軸周りの回転であるロー、次に、新しいｙ軸周りの回転であるピッチ、最後に、新しいｘ軸まわりの回転であるヨーの３段階の回転によって表すものである。

また、Ｒx(α)、Ｒy(β)、Ｒz(γ)はロール・ピッチ・ヨー角からｘ軸回転、ｙ軸回転、ｚ軸回転へ変換する行列であり、次式で表される。

また、撮像装置１００１がズーム可能である場合、そのズーム情報も焦点距離情報として取得される。また、撮像装置１００１が固定焦点の場合、その焦点距離情報も取得される。焦点距離情報は、画像処理の分野で広く使われているカメラキャリブレーションを行なうことにより、取得できる。

このような、カメラに取り付けられた角度センサや角速度センサからカメラの姿勢情報を取得する方法は、既存の手法を利用すればよい（例えば、「岡谷貴之，“メカニカルセンサとイメージセンサの融合による３次元形状復元” ，情報処理学会研究報告会，２００５−ＣＶＩＭ−１４７，ｐｐ．１２３−１３０，２００５」）。

第２の撮像装置情報取得部１０４は、撮像者の操作によって撮像装置１００１による撮像が行われた撮像時に、撮像装置１００１の状況を表す第２の撮像装置情報を取得する。ここでも、上述した第１の撮像装置情報取得部１０３と同様に、角度センサ１０２５の出力と撮像装置１００１の焦点距離情報とを、第２の撮像装置情報として取得するものとする。このとき、角度センサ１０２５の出力（α，β，γ）から求められる姿勢行列Ｒnowを、現在の姿勢行列と呼ぶ。

光源情報推定部１０５は、メモリ１０２８に格納された光源画像および第１の撮像装置情報と、第２の撮像装置情報取得部１０４によって取得された第２の撮像装置情報を用いて、撮像者の操作による撮像時における、光源情報を推定する。ここでは、光源の方向を推定するものとする。

まず、光源画像において、十分に輝度値の高い画素を、光源を撮像している画素すなわち光源画素として抽出する。図７はこの処理を説明するための模式図である。図７では、視野範囲１００６を持った撮像装置１００１が光源１００７を撮像している。このとき、撮像画像１００８において、光源が撮像されている領域１００９の輝度値は非常に高くなる。そこで、閾値処理を利用し、所定の閾値よりも輝度値が高い画素を光源画素として抽出する。

こうして求まった光源画素から、光源方向を推定する。この処理には、撮像装置の画素位置（ｕ，ｖ）と画像座標系とよばれる撮像素子上での実寸位置（ｘf，ｙf）との関係式が必要である。レンズの歪みなどの影響を考慮すると、画素位置（ｕ，ｖ）と実寸位置（ｘf，ｙf）との関係は、次式で求められる。

ただし、（Ｃx，Ｃy）は画素中心位置、ｓはスケールファクタ、（dx，dy）は撮像素子１画素のサイズ[mm]、Ｎcxはｘ方向の撮像素子数、Ｎfxはｘ方向の有効画素数、κ1、κ2はレンズの歪みを示す歪みパラメータである。

また、図８に示した、撮像装置の焦点位置を原点、その光軸方向をＺ軸にとったカメラ座標系（ｘ，ｙ，ｚ）と画像座標系（ｘf，ｙf）との関係は、次式で求められる。

ここで、ｆは撮像装置の焦点距離を表している。つまり、カメラパラメータ（Ｃx，Ｃy），ｓ，（dx，dy）、Ｎcx、Ｎfx、ｆ、κ1、κ2が既知であれば、（式２）（式３）により、画素位置（ｕ，ｖ）とカメラ座標系（ｘ，ｙ，ｚ）の変換が可能である。

通常、Ｎcx、Ｎfxは撮像素子が特定できれば既知であり、また、（Ｃx，Ｃy），ｓ，（dx，dy）、κ1、κ2、ｆはいわゆるカメラキャリブレーションを行うことで既知となる（例えば、Roger Y.Tsai, “An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision”, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Miami Beach, FL, 1986, pp. 364-374）。これらのパラメータは、撮像装置の位置や姿勢が変化しても変化しない。このようなパラメータをカメラ内部パラメータとよぶ。

そこで、撮像を行う前にカメラキャリブレーションを行い、カメラ内部パラメータ（Ｃx，Ｃｙ）、ｓ、（dx，dy）、Ｎcx、Ｎfx、ｆ、κ1、κ2を特定する。これらの値は、撮像装置購入時に付属されているものを利用しても構わない。また、カメラが固定焦点ではなく、ズーム可能である場合、各ズーム時の焦点距離ｆを個別に求めておき、必要なときに選択できるようにしておけばよい。そして、焦点距離ｆを撮像した画像とともに保持しておけばよい。

以上の情報を利用して、光源画素から光源方向を推定する。光源画素の画素位置を（ｕlight，ｖlight）とすると、光源方向Ｌlightは以下の式で表現できる。

ところで、Ｌlightは光源画像を撮像したカメラ座標系で表現されているため、現在のカメラ座標系Ｌnowで表現しなおす。これは、以下の式で表現できる。

以上の処理を行うことにより、光源方向ベクトルＬnowを推定する。このようにして、光源の方向が推定される。

さらに、撮像装置１００１が移動することを利用して、光源の方向だけでなく、３次元位置まで求めるようにしても構わない。

図９はこの処理を説明するための模式図である。図９において、１００１Ａ、１０１０Ａは時刻ｔ＝ｔ１における撮像装置と推定された光源方向ベクトル、また、１００１Ｂ、１０１０Ｂは時刻ｔ＝ｔ２における撮像装置と推定された光源方向ベクトルを示している。ここで、時刻ｔ１とｔ２における撮像装置の相対的な位置関係と姿勢がわかっていれば、光源ベクトル１０１０Ａ，１０１０Ｂを延長した交点に光源は存在するはずである。つまり、光源の３次元位置は以下のように求まる。

時刻ｔ１における、撮像装置の姿勢行列、撮像装置の相対的な３次元位置、および推定された光源方向ベクトルをそれぞれ、Ｒ1、Ｐ1、Ｌ1とし、時刻ｔ２における、撮像装置の姿勢行列と推定された光源方向ベクトルをそれぞれ、Ｒ2、Ｌ2とする。ただし、時刻ｔ２において、撮像装置の位置は原点Ｏ（０，０，０）であるとする。このとき、光源位置Ｐlightは次式を満たす。

ただし、ｓ，ｍは任意の定数である。もし、すべての推定値が正しく、ノイズが存在していなければ、（式５）と（式６）をｓとｍに関する連立方程式として解くことによって、光源位置Ｐlightは求まる。しかし、通常はノイズの影響があるため、最小自乗法を利用して、光源位置を求める。

まず、以下の関数ｆ（ｍ，ｓ）を考える。

ここで、ｍ，ｓは以下の関係式を満たす。

つまり、

よって、（式７）、（式８）をｍとｓに関する連立方程式として解き、求まったｓとｍを（式５）または（式６）へ代入することにより、光源位置Ｐlightが求まる。このようにして、光源の位置が推定される。

なお、時刻ｔ１における撮像装置の相対的な３次元位置Ｐ1（時刻ｔ１とｔ２における撮像装置の相対的な位置関係）は、オプティカルフローを用いることによって求められる。オプティカルフローは、被写体上のある１点に対応する、時間的に連続した２つの画像上の点、すなわち対応点を結ぶベクトルであり、対応点とカメラ動きの間には、幾何学的な拘束式が成り立つ。このため、対応点が一定の条件を満たす場合にカメラの動きを算出することができる。

異なる時刻における撮像装置の相対的な位置関係をオプティカルフローから求める手法としては、例えば８点法と呼ばれる手法が知られている（H. C. Longuet-Higgins, “A computer algorithm for reconstructing a scene from two projections”, Nature, vol.293, pp.133-135, 1981）。この手法は、２画像間の静止した８点以上の対応点の組からカメラ動きを算出するものである。また、このような２画像間の対応点を求める手法は、一般に広く知られた方法であるので、詳細な説明を省略する（例えば、 Carlo Tomasi and Takeo Kanade, “Detection and Tracking of Point Features”, Carnegie Mellon University Technical Report, CMU-CS-91-132, April 1991）。

さらに、光源画素の輝度値やＲＧＢ値を求めることによって、光源の輝度や色も求めることができる。また、画像をマルチスペクトルカメラで取得することによって、光源のスペクトルを検出するようにしても構わない。このように光源のスペクトルを取得することによって，後述する画像の高解像度化や拡張現実において、色再現性の高い画像が合成できることが知られている（例えば、「内山俊郎, 土田 勝, 山口雅浩, 羽石秀昭, 大山永昭, “マルチスペクトル撮影による光源環境計測とスペクトルに基づく画像生成”, 電子情報通信学会技術研究報告PRMU2005-138, pp.7-12, 2006」）。

また、光源情報推定部１０５は、光源情報として、光源の照度情報を取得するようにしても構わない。これは撮像装置１００１と光軸方向が一致した照度計を利用すればよい。照度計としては、光電池にマイクロアンペア計を接続し、入射光によって生じる光電流を読む光電池照度計などを用いればよい。

以上のように本実施形態の光源推定装置によると、撮像装置の状況が光源情報の取得に適していると判断されたとき、この撮像装置によって光源画像を取得し、光源画像の取得時における第１の撮像装置情報と、撮像者による撮像時における第２の撮像装置情報とを用いて、撮像時における光源情報を推定する。したがって、カメラ付き携帯電話などにおいて、付加的な撮像装置を搭載することなく、被写体周囲の光源情報を推定することができる。

なお、上述の実施形態では、撮像装置状況判断部１０１が撮像装置１００１の光軸方向を検出するために、角度センサ１０２５の出力を用いるものとしたが、これ以外にも例えば、錘とタッチセンサを利用した方法（特開平４−４８８７９号公報参照）や、加速度センサを利用した方法（特開昭６３−２１９２８１号公報参照）など、既存の方法を利用してもよい。

ここでは、錘とタッチセンサを利用する方法について説明する。図１０は錘とタッチセンサの構成を示す図である。図１０（ａ）において、１００３は常に垂直方向を保持するよう基端部を回動可能に支持して吊下された錘、１００４Ａ、１００４Ｂはタッチセンサである。また、１００５は撮像装置の光軸方向を示している。図１０（ｂ）に示すように、撮像装置の光軸方向１００５と水平面との角度をθとすると、タッチセンサ１００４Ａ，１００４Ｂは、光軸方向１００５が水平方向から所定角度θ1、θ2だけ傾いたとき、錘１００３に当接するように設置されている。

図１１は図１０の錘とタッチセンサがカメラ付き折り畳み式携帯電話に搭載された場合の構成例である。図１１のカメラ付き折り畳み式携帯電話が、撮像装置１００１を下にして置かれた場合、錘１００３がタッチセンサ１００４Ａに当接し、タッチセンサ１００４ＡがＯＮになる（図１２（ａ））。一方、撮像装置１００１を上にして置かれた場合、錘１００３がタッチセンサ１００４Ｂに当接し、タッチセンサ１００４ＢがＯＮになる（図１２（ｂ））。

図１３は光軸方向とタッチセンサのＯＮ／ＯＦＦとの関係を示す図である。すなわち、タッチセンサ１００４ＡがＯＮになり、タッチセンサ１００４ＢはＯＦＦのとき、光軸は水平方向から＋θ1以上傾いた下向きであると推定できる。また、タッチセンサ１００４ＢがＯＮになり、タッチセンサ１００４ＡはＯＦＦのとき、光軸は水平方向から−θ2以上傾いた上向きであると推定できる。一方、タッチセンサ１００４Ａ、１００４Ｂ両方ともＯＦＦの場合は、-θ2＜θ＜θ1であり、光軸方向はほぼ水平と推定できる。

このように、錘とタッチセンサを利用して、撮像装置１００１の光軸方向を検出することが可能となる。

なお、ここでは、カメラ付き折畳式携帯電話を例にとって説明したが、もちろんデジタルスチルカメラやデジタルビデオカメラであっても、錘とタッチセンサを利用して、撮像装置の光軸方向を検出することは可能である。図１４はデジタルスチルカメラに錘とタッチセンサを搭載した場合の構成例である。図１４（ａ）に示すように、撮像装置１００１の光軸が下向きのときは錘１００３がタッチセンサ１００４Ａに当接しており、一方、図１４（ｂ）に示すように、撮像装置１００１の光軸が上向きのときは錘１００３がタッチセンサ１００４Ｂに当接している。

また、上述の実施形態では、撮像装置状況判断部１０１は、撮像装置１００１の光軸の方向を検出して、撮像装置１００１の状況が光源情報の取得に適しているか否かを判断するものとしたが、光軸の方向を検出する代わりに、例えば、撮像された画像の輝度値を検出するようにしても構わない。

撮像画像に光源が映っている場合、光源が撮像されている画素の輝度値は非常に高くなる。そこで、撮像装置１００１により画像を撮像し、撮像された画像に閾値以上の輝度値が存在する場合、光源が撮像されており、光源情報の取得に適した状況であると判断することができる。このとき、光源の輝度値は非常に高いと考えられるため、撮像装置１００１は露光時間をできる限り短くして撮像することが望ましい。

あるいは、撮像装置１００１の状況が光源情報の取得に適しているか否かを判断するために、カメラの視野範囲に遮蔽物が存在するか否かを検出するようにしても構わない。これは、遮蔽物が存在する場合、光源が遮蔽されてしまい、光源を撮影できない可能性が高くなるためである。

遮蔽物の存在を検出するためには、距離情報を利用する方法と、画像情報を利用する方法とがある。前者は、例えばカメラのオートフォーカスなどに利用されている測距センサの出力を利用し、例えば、１ｍ以内に被写体が存在する場合はその被写体は遮蔽物であると判断するようにすればよい。また、後者の画像情報を利用する方法は、例えば、撮像装置１００１で画像を撮影し、その画像中から画像処理により人物を検出する。もし、人物が撮像されていた場合、その人物は遮蔽物であると判断する。これは、カメラの近傍で光源を遮蔽する最も一般的な被写体は人物だと考えられるためである。画像からの人物の検出は、例えば、色情報を利用して、肌色領域を検出するなど、広く知られている画像認識技術を利用すればよい。

また、光源画像取得部１０２が光源画像の取得を行う際には、フラッシュを照射せずに撮像を行うことが望ましい。これは、鏡のような鏡面反射を起こす被写体が撮像装置１００１の視野内に存在している場合、フラッシュが反射され、誤って光源画素として推定されてしまうためである。そのため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用することが望ましい。また、光源画像取得部１０２が光源画像の取得を行う際に、露光量が足りない場合は、露光時間を長くすればよい。これは、上述のように、加速度センサなどを利用し、撮像装置１００１が静止しているときのみ、光源画像の取得を行う場合に特に有効である。

（第２の実施形態）
図１５は本発明の第２の実施形態に係る光源推定装置の構成を示すブロック図である。図１５において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。

図１５の構成では、図１の構成に加えて、光源画像合成部１０６が設けられている。光源画像合成部１０６は、光源画像取得部１０２によって取得された複数の光源画像から、第１の撮像装置情報取得部１０３によって取得された複数の第１の撮像装置情報を用いて、パノラマ光源画像を合成する。パノラマ光源画像とは、広範囲なシーンが撮像された光源画像のことである。パノラマ光源画像を利用することによって、広範囲なシーンにおける光源情報を一度に取得することができる。

本実施形態では、撮像装置状況判断部１０１、光源画像取得部１０２および第１の撮像装置情報取得部１０３が、処理を繰り返し実行し、複数枚の光源画像を取得するとともに、各光源画像にそれぞれ対応する複数の第１の撮像装置情報を取得する。これら複数組の光源画像および第１の撮像装置情報は、メモリ１０２８に格納される。

この際、例えば、第１の撮像装置情報取得部１０３は、光源画像取得部１０２によって新たな光源画像が取得されたとき、この新たな光源画像をすでに撮像されている光源画像と比較し、その差が大きい場合のみ、第１の撮像装置情報を取得するようにすればよい。一方、その差が小さい場合は、新たな光源画像を廃棄するようにすればよい。あるいは、加速度センサや角度センサを利用して、撮像装置１００１が動いたときに、光源画像と第１の撮像装置情報を取得して格納するようにしてもかまわない。

光源画像合成部１０６は、メモリ１０２８に格納された複数組の光源画像と第１の撮像装置情報から、一枚の広域なパノラマ光源画像を合成する。

図１６はパノラマ光源画像の合成方法を説明するための模式図である。図１６において、１００１は撮像装置、１００６は視野範囲、１０１１は画像を投影するための投影面、１０１２は撮像した光源画像を投影した投影画像を示している。まず、メモリ１０２８に格納された光源画像を、これに対応する第１の撮像装置情報を用いて、投影面１０１１に投影する。ここで、投影面は半球状であるものとする。撮像装置１００１に搭載された角度センサ１０２５の出力（α，β，γ）が、

であるときのカメラ座標系（ｘ、ｙ、ｚ）を（Ｘw，Ｙw，Ｚw）とすると、投影面は以下の式で表される。

ここで、ｒprjは投影面１０１１である半球の半径である。例えば、屋外では街灯を想定し、１０ｍとし、また屋内では天井に敷設された照明を想定し、２．５ｍ程度とすればよい。このような屋外・屋内の切り替えは、例えば、屋内撮像モードと屋外撮像モードとを撮像者が切り替えるようにすればよい。

（式４）、（式１０）より、全ての画素は次式によって投影面１０１１に投影できる。

ただし、Ｒ0は（式１）と（式９）から求まる姿勢行列である。

（式１１）を利用して、撮像された全ての光源画像を投影面１０１１に投影し、投影画像１０１２を作製する。この際、２つ以上の光源画像が投影面上の同一領域に投影される場合があるが、この場合は例えば、新たに撮像された光源画像を優先し、以前に撮像された光源画像による投影画像１０１２は廃棄するようにすればよい。

このように、複数枚の光源画像を統合して投影画像を合成することにより、みかけの視野範囲を広げることが可能である。図１７はこの様子を示した模式図である。図１７において、１００１は撮像装置、１００５、１００６はそれぞれ撮像装置１００１の姿勢を変更した際の光軸方向と視野範囲、１０１３は姿勢を変更して撮像した画像を統合したことによって得られた、みかけの視野範囲を示している。このように、光軸方向を変化させて撮像した画像を統合してパノラマ画像化することにより、視野範囲を広げることができる。

また、投影面１０１１は半球である必要はなく、例えば屋内であれば、図１８に示したように、直方体であっても構わない。この場合、カメラ座標系（ｘ、ｙ、ｚ）を（Ｘw，Ｙw，Ｚw）とすると、投影面である直方体の各面は以下の式で表される。

ここで、ａ、ｂ、ｃは定数であり、図１８の直方体上の投影面を示している。よって、（式１１）と同様に、（式４）と（式５９）の交点を求めることにより、すべての画素は次式によって投影面１０１１に投影できる。

ただし、Ｒ0は（式１）と（式９）から求まる、姿勢行列である。

なお、屋外・屋内の切り替えは、光源画素の色を利用して行ってもかまわない。すなわち、撮像された光源画素のＲＧＢ成分から求まる色を利用し、それが太陽光か、あるいは蛍光灯または電球かを判別し、太陽光の場合は屋外、蛍光灯や電球の場合は屋内と判別すればよい。この場合、撮像装置のＲＧＢそれぞれの波長特性と、画像の明るさの変化に対する電圧換算値の変化の比であるガンマ値とを保持しておけばよい。

光源情報推定部１０５は、光源画像合成部１０６が合成したパノラマ光源画像を利用して、光源情報を推定する。ここでは、光源情報として、光源位置を推定する方法を説明する。

まず、第１の実施形態で述べた方法によって、パノラマ光源画像から光源画素を抽出する。こうして抽出された光源画素の位置は、撮像装置１００１の姿勢が（式９）である場合におけるものである。そこで、第２の撮像装置情報取得部１０４によって取得された第２の撮像装置情報を用いて、次式により、撮像者による撮像時におけるカメラ座標での光源位置（Ｘl_now，Ｙl_now，Ｚl_now）を推定する。

以上のように本実施形態の光源推定装置によると、パノラマ光源画像から、光源情報が推定されるので、広範囲なシーンにおける光源情報を一度に取得することができる。

（第３の実施形態）
図１９は本発明の第３の実施形態に係る光源推定装置の構成を示すブロック図である。図１９において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明を省略する。

図１９の構成は、折り畳み式携帯電話に搭載されていることを前提としている。そして、折り畳み式携帯電話を開閉させる開閉機構１０３１と、開閉機構１０３１に開閉動作を実行させるための開閉スイッチ１０１４とを備えている。開閉スイッチ１０１４が押されて開閉機構１０３１が開閉動作を実行すると、折り畳み式携帯電話に搭載された撮像装置１００１の光軸方向が、この開閉動作に伴い変化する。すなわち、開閉機構１０３１は、撮像装置１００１の光軸方向を変動させる光軸方向変動手段として、機能する。

光源画像取得指示部１１０は、開閉スイッチ１０１４が押されたとき、まず、光源画像取得部１０２に光源画像の取得を行うよう指示する。このとき、撮像装置１００１は連写や動画撮影をすることが望ましい。撮像装置１００１の撮像開始後、光源画像取得指示部１１０は開閉機構１０３１によって開閉動作を実行する。これによって、開閉機構１０３１が開閉動作を実行する間に、言い換えると、光軸方向変動手段によって撮像装置１００１の光軸方向が変動している状態で、光源画像取得部１０２によって光源画像の取得が行われる。これによって、図１７に示したように、広域な視野範囲において、複数枚の光源画像を撮像することができる。

図２０は本実施形態に係る光源推定装置が実装されたカメラ付き折り畳み式携帯電話１０００の外観図である。図２０において、１００１Ａと１００１Ｂは撮像装置、１００２は撮像スイッチ、１０１４は折り畳み式携帯電話の開閉スイッチである。また、撮像装置１００１Ａ，１００１Ｂに付された矢印は光軸方向を示している。折り畳み式携帯電話は、通話や撮像を行わない際は、通常、液晶ディスプレイの保護や携帯性の向上のために、図２０（ｂ）のように折り畳まれている。

図２０（ｂ）の状態で、開閉スイッチ１０１４を押すと、折り畳み式携帯電話１０００は、図２１（ａ）→（ｂ）→（ｃ）→（ｄ）→（ｅ）のように、自動で開く。図２１において、１００６Ａ、１００６Ｂは折り畳み式携帯電話１０００に搭載された２つの撮像装置（図２０における１００１Ａ，１００１Ｂ）で撮像される視野範囲を示している。図２１から、カメラ付き折り畳み式携帯電話１０００の開閉スイッチ１０１４を利用することによって、撮像装置１００１Ａ，１００１Ｂの光軸方向を変動させることができることが分かる。

開閉機構１０３１は例えば、バネやロック機構を設けることによって実現できる（例えば、特開平７−１３１８５０号公報参照）。また、折り畳み式携帯電話のヒンジ部に、モータを設置しておいてもよい。このとき、撮像装置１００１の姿勢情報は、モータに併せて設置したロータリーエンコーダを、角度センサ１０２５として用いて取得すればよい。

図１９の構成の動作について説明する。まず、開閉スイッチ１０１４が押されると、光源画像取得指示部１１０は、これを検出し、光源画像取得部１０２に光源画像の取得を指示する。また、光源方向変動手段としての開閉機構１０３１は、開閉スイッチ１０１４が押されたとき、折り畳み式携帯電話の自動開閉動作を実行する。開閉機構１０３１が作動している間に、光源画像取得指示部１１０から指示された光源画像取得部１０２は、撮像装置１００１を利用して、光源画像を複数枚、撮像する。以降の動作は、第１の実施形態と同様である。

また、本実施形態では、撮像装置１００１を移動させながら光源画像を撮像するため、露光時間はできるだけ短くすることが望ましい。また、手ぶれ補正処理を導入することによって、撮像装置１００１が移動していても光源画像をブレなしに撮像するようにしてもかまわない。

ここで、手ぶれ補正処理を導入しない場合の露光時間ＴＥとすると、露光時間ＴＥは次式で表現される。

ここで、Ｍは開閉スイッチ１０１４を押すことによって回転する光軸の回転速度［deg/sec］、θsは撮像装置１００１の縦方向の視野角［deg］、Ｌxは撮像装置１００１の縦方向の画素数である。例えば、Ｍ＝１８０［deg/sec］、θs＝８０［deg］、Ｌx＝１０００とすると、

となり、露光時間を１／４０００秒程度にすればよい。

また、（式６０）より、光軸の回転速度Ｍを決定するようにしても構わない。例えば、θs＝４０［deg］、Ｌx＝１０００、ＴE＝０．０００５［sec］であれば、
Ｍ＜４０［deg/sec］
となり、通常の開閉動作に比べ、ゆっくりと開閉機構１０３１を動作させればよい。

また、光源環境は時間とともに変化していくため、光源画像の取得は、実際に被写体を撮像する時間にできるだけ近いタイミングで実行することが望ましい。通常、開閉スイッチ１０１４は撮像を行う直前に押されることが多いため、本実施形態によると、撮像直前の光源画像を取得できる可能性が高くなるので、非常に有効である。

また、光源画像として、わざとボケた画像を撮影するようにしても構わない。ボケた画像を撮影することによって、撮影シーンにおける人物のプライバシーを保持しながら光源画像を撮像することができる。これは、例えば、露光時間を長くすることで実現できる。

前述のように、（式６０）を満たさない場合、開閉機構１０３１による光軸の移動に伴い動きブレが生じ、ボケた画像が撮影される。そこで、例えば以下の式を満たす露光時間や回転速度を決定すればよい。

ここで、ＴBはボケ量を決定する定数である。例えば、ＴB＝８、θs＝４０［deg］、Ｌx＝１０００、Ｍ＝４０［deg/sec］の場合、露光時間ＴE＝０．００８［sec］とすればよい。

また、複数枚の光源画像から、投票処理を利用して光源方向を推定してもよい。これにより、光源方向の推定精度を上げることができる。例えば、ある光源画像から光源位置を求めた結果、他の光源画像における光源位置と大きなズレがある場合、あるいは、他の光源画像には対応する光源が存在しないような場合、その光源位置の推定は失敗していると判断して、光源推定結果から廃棄するようにすればよい。

また、光源画像がきちんと撮像されていない場合、撮像を再度行うように促しても構わない。例えば、推定した光源情報から推定される画像と実際に撮像された光源画像とを比較し、その差が大きい場合は、光源画像において光源が撮像されておらず、光源推定に失敗していると判断すればよい。撮像を促す方法としては、例えば、音声で「再度、光源を撮像してください」と伝えたり、ディスプレイに「再度、光源を撮像してください」と表示させたりすればよい。

図２２は本実施形態に係る光源推定装置の他の構成を示すブロック図である。図２２において、図１および図１９と共通の構成要素には、図１および図１９と同一の符号を付しており、ここではその詳細な説明を省略する。

図２２の構成は、第１の実施形態で示した撮像装置状況判断部１０１を備えている。また、例えば携帯電話のバイブレーション機能を実現するために用いられる、バイブレーション機構１０２６を備えている。バイブレーション機能とは、携帯電話がマナーモード時などに振動で着信を知らせる機能のことである。バイブレーション機能がＯＮの状態で、バイブレーション機構１０２６が振動動作を実行すると、携帯電話に搭載された撮像装置１００１の光軸方向が、この振動動作に従って変化する。すなわち、バイブレーション機構１０２６は、撮像装置１００１の光軸方向を変動させる光軸方向変動手段として、機能する。

撮像装置状況判断部１０１は、第１の実施形態で説明したように、撮像装置１００１の状況が光源情報を取得するのに適しているか否かを判断する。光源画像取得指示部１１０は、撮像装置状況判断部１０１によって適していると判断されたとき、バイブレーション機構１０２６に振動動作を実行させるとともに、光源画像取得部１０２に光源画像の取得を行うよう指示する。これによって、バイブレーション機構１０２６が振動動作を実行している間に、言い換えると、光軸方向変動手段によって撮像装置１００１の光軸方向が変動している状態で、光源画像取得部１０２によって光源画像の取得が行われる。これによって、図１７に示したように、広域な視野範囲において、複数枚の光源画像を撮像することができる。この場合、撮像装置１００１は静止していないため、露光時間は短くすることが望ましい。

このとき、撮像装置１００１の視野角をθｓ、バイブレーション機構１０２６による携帯電話の振動する角度をθｖ（図２３の振動角）とすると、拡大された視野角θｔは次式で表現される。

この式から、撮像装置１００１の視野角θｓと光源推定に必要な視野角θｔが決まれば、必要な振動量を計算することができる。例えば、撮像装置１００１の視野角θｓが８０度であり、光源推定に９０度の視野角が必要だとすると、振動角は５度程度となる。これは、１１ｃｍの高さのある携帯電話を９ｍｍ程度振動させることによって実現できる値である。

なお、光源画像の取得のためにバイブレーション機構１０２６を動作させる際に、例えば、着信時やメール受信時とは異なる音をスピーカから流すようにしてもよい。これにより、光源画像の取得時を、着信時やメール受信時と区別することができる。また、光源画像を取得している際に、ＬＥＤやインターフェイス用の液晶ディスプレイを光らせて、利用者に告知するようにしてもかまわない。

もちろん、音やＬＥＤ、ディスプレイによって告知した後に、バイブレーション機構１０２６を動作させて光源画像を取得するようにしてもかまわない。

図２４は本実施形態に係る光源推定装置の他の構成例を示すブロック図である。図２４において、図１および図２２と共通の構成要素には、図１および図２２と同一の符号を付しており、ここではその詳細な説明を省略する。

図２４の構成では、図２２と対比すると、メール受信検出部１０３２が設けられており、撮像装置状況判断部１０１が省かれている。メール受信検出部１０３２がメール受信を検出したとき、バイブレーションモードに設定されているものとすると、バイブレーション機構１０２６が振動動作を行う。またこのとき、光源画像取得指示部１１０は、メール受信検出部１０３２からの信号を受けて、光源画像取得部１０２に光源画像の取得を指示する。このような動作によって、バイブレーション機構１０２６が振動動作を実行している間に、言い換えると、光軸方向変動手段によって撮像装置１００１の光軸方向が変動している状態で、光源画像取得部１０２によって光源画像の取得が行われる。

この構成によると、メールの受信によって作動するバイブレーション機能を利用して、撮像装置の光軸方向が変動した状態で複数の光源画像を取得することができるため、余計なバイブレーションを行う必要がなくなるというメリットがある。

以上のように本実施形態によると、光軸方向変動手段によって撮像装置の光軸方向が変動している状態で、光源画像の取得が行われるため、被写体周囲の広い範囲にわたって光源画像を取得することができるので、精度良く、光源情報を推定することができる。

なお、上述した各構成において、第２の実施形態で示した光源画像合成部１０６を設けて、複数の光源画像からパノラマ光源画像を生成するようにしてもかまわない。

なお、本実施形態では、光軸方向変動手段を、折り畳み式携帯電話の開閉機構やバイブレーション機構によって実現するものとしたが、本発明はこれに限られるものではなく、撮像装置の光軸方向を変動させる構成であれば、どのようなもので実現してもかまわない。例えば、撮像装置自体に専用の駆動機構を設けてもよい。

（第４の実施形態）
図２５は本発明の第４の実施形態に係る光源推定システムの構成を示すブロック図である。図２５では、図１と共通の構成要素については図１と同一の符号を付しており、ここではその詳細な説明を省略する。

図２５では、例えばカメラ付き携帯電話によって構成される通信端末１１００に、図１に示した各構成要素のうち光源情報推定部１０５以外のものが設けられている。そして、光源情報推定部１０５は、通信端末１１００から離れてネットワークを介して接続された外部の装置であるサーバ１１０１に設けられている。すなわち、本実施形態では、通信端末１０００側では、全ての処理を行うのではなく、光源画像と撮像装置情報の取得のみを行い、光源情報推定処理はサーバ１１０１側で実行する。

通信端末１１００では、第１の実施形態で述べたように、光源画像取得部１０２によって光源画像が取得され、第１の撮像装置情報取得部１０３によって光源画像取得時における第１の撮像装置情報が取得され、第２の撮像装置取得部１０４によって実際の撮像時における第２の撮像装置情報が取得される。これら光源画像並びに第１および第２の撮像装置情報は、情報送信部１０８によって送信される。また、このとき、光源情報推定の内容についても指示するようにしてもよい。

サーバ１１０１では、情報受信部１０９が、通信端末１１００からネットワークを介して送信される情報、すなわち光源画像並びに第１および第２の撮像装置情報を受信する。受信された光源画像並びに第１および第２の撮像装置情報は、光源情報推定部１０５に与えられる。光源情報推定部１０５は、第１の実施形態で述べたように、光源情報の推定を行う。光源情報推定の内容について指示されたときは、その指示に従って、光源情報の推定を行う。

このように、光源情報推定部１０５をサーバ１１０１に設けて、光源情報推定処理を実行させることによって、通信端末１１００側の計算負荷を軽くすることが可能になる。

（光源情報を利用した画像の高解像度化）
本発明の光源推定装置は、デジタルズームとして知られている画像の高解像度化に特に有効である。画像の高解像度化は、撮像した画像を任意に拡大処理することができるため、画像撮像後の編集処理において重要である。本来、このような画像の高解像度化は補間処理などによって行なわれてきたが、２ｘ２倍以上の拡大画像を合成する場合、合成される画像がボケてしまい、画質が劣化するという問題があった。本発明の光源推定方法を利用することで、画質劣化の少ない、画像の高解像度化を実現することができる。この手法を説明する。

まず、この処理の概念を説明する。本発明の高解像度化処理は、以下の４つの入力情報を利用する。
○被写体の拡散反射画像
○被写体の鏡面反射画像
○被写体の３次元形状情報
○光源位置・色・照度

ここで、拡散反射画像とは、入力画像のうち、マットな反射成分である拡散反射成分のみを画像化したものであり、同様に、鏡面反射画像は、入力画像のうち、てかりである鏡面反射成分のみを画像化したものである。ここで、拡散反射成分とは、光沢の無い物体表面で起こる反射で、すべての方向に一様に散乱する成分である。一方、鏡面反射成分とは、鏡の面での反射のように、法線に対して入射光の反対方向に強く反射する成分である。２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として表現される。後述するように、鏡面反射画像と拡散反射画像は、例えば偏光フィルタを回転させながら被写体を撮像することで取得することができる。

図２６（ａ）は、光源で照射された被写体（タンブラー）を撮像装置で撮像した画像を示している。図の上部にてかりである鏡面反射が現れているのがわかる。一方、図２６（ｂ）（ｃ）は、図２６（ａ）の画像を後述する方法で拡散反射画像と鏡面反射画像とに分離した結果である。拡散反射画像はてかりが取り除かれ、表面のテクスチャ情報が鮮明になっているが、立体感が失われている。一方、鏡面反射画像は細かな形状情報が鮮明に現れているが、逆にテクスチャ情報が失われている。つまり、入力画像はこれら全く異なる情報を含んだ二つの画像が重畳されたものであった。画像を拡散反射画像と鏡面反射画像とに分離し、別々に処理することにより、より精細な高解像度化処理が可能である。

高解像度化処理には、学習ベースの手法を用いる。学習ベースとは、事前に低解像度と高解像度の画像組を用意し、その対応を学習する。この際、用意された画像以外の画像においても高解像度化処理を働かせるために、画像そのものを学習するのではなく、画像から抽出した特徴量を学習する。

図２７は本発明の一実施形態に係る画像高解像度化装置の構成を示すブロック図である。図２７の画像高解像度化装置は、撮像装置を利用し、撮像を行う画像撮像部２０１と、上述した光源推定方法によって、被写体に照射する光源の方向や位置、輝度、色、スペクトル情報などの光源情報を推定する光源情報推定部２０３と、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部２０４と、光源推定部２０３によって推定された光源情報と、形状情報取得部２０３によって取得された形状情報を用いて、画像撮像部２０１によって撮像された画像を高解像度化する画像高解像度化部２１７とを備えている。さらに、画像高解像度化部２１７は、画像撮像部２０１によって撮像された画像を、拡散反射・鏡面反射分離部２０２によって拡散反射成分と鏡面反射成分とに分離し、分離した拡散反射成分と鏡面反射成分とを個別に高解像化する。以下、それぞれの処理について説明する。

画像撮像部２０１はＣＣＤやＣＭＯＳなどの撮像装置を利用して、被写体を撮像する。こうして撮像された画像は、輝度が非常に高くなる鏡面反射成分と拡散反射成分とが同時に、飽和することなく記録されることが望ましい。このため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用することが望ましい。

拡散反射・鏡面反射分離部２０２は、画像撮像部２０１によって撮像された画像を、拡散反射成分と鏡面反射成分とに分離する。

まず、物体の反射特性について説明する。２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として以下の式で表現される。

ここで、Ｉは撮像装置が撮像した被写体の輝度値、Ｉ_aは環境光成分、Ｉ_dは拡散反射成分、Ｉ_sは鏡面反射成分である。ここで、環境光成分とは、光源の光が物体などによって散乱された間接光のことである。これは空間の至る所に散乱され、直接光がとどかない影の部分にもわずかに明るさを与える。そのため、通常はノイズとして取り扱われることが多い。

環境光成分は十分に小さく、ノイズとして無視できると考えると、画像は拡散反射成分と鏡面反射成分とに分離できる。上述のように、拡散反射成分がテクスチャ情報に依存するのに対し、鏡面反射画像は細かな形状情報に依存するといったように、これらの成分は非常に異なった特質を示す。そのため、画像を高解像度化するために、入力画像を拡散反射画像と鏡面反射画像とに分離し、それぞれの画像を別々の方法で高解像度化することによって、非常に高精細な高解像度化画像を取得することができる。このため、まずは拡散反射画像と鏡面反射画像とを分離する必要性がある。

この分離方法は、従来からさまざまなものが提案されている。例えば、
・鏡面反射と拡散反射の偏光度の違いを利用し、偏光フィルタを用いた方法（例えば、特許第３４５９９８１号公報）
・対象物を回転させ、マルチスペクトルカメラを利用することで鏡面反射領域を分離する方法（例えば、特開２００３−８５５３１号公報）。
・様々な方向から光源を当てた対象物の画像を利用し、鏡面反射が生じない理想状態での画像である線形化画像を合成し、その線形化画像を利用して鏡面反射や影領域を分離する方法（例えば、「石井育規，福井孝太郎，向川康博，尺長健， “光学現象の分類に基づく画像の線形化“，情報処理学会論文誌，vol.44，no. SIG5 (CVIM6) ，pp.11-21，2003」）。
などがある。

ここでは、偏光フィルタを利用する方法を用いる。図２８は本実施形態に係る画像高解像度化装置が搭載されたカメラ付き携帯電話１０００を示している。図２８に示すように、撮像装置１００１には回転機構（図示せず）をもった直線偏光フィルタ１０１６Ａが設けられている。また、直線偏光フィルタ１０１６Ｂが取り付けられた照明装置１００７が設けられている。また、１０１７は使用者のインターフェイス用の液晶ディスプレイである。

ここで、直線偏光フィルタ１０１６Ｂが取り付けられた照明装置１００７に照らされた被写体について、撮像装置１００１が、直線偏光フィルタ１０１６Ａを回転機構により回転させながら、複数枚の画像を撮像する。ここで、照明が直線偏光されていることに着目すると、反射光強度は偏光フィルタ１０１６Ａの回転角ψに対して、図２９のように変化する。ここで、反射光の拡散成分をＩ_ｄ、鏡面反射成分をＩ_sとすると、反射光輝度の最大値Ｉ_maxと最小値Ｉ_minは以下の式で表現される。

つまり、反射光の拡散成分Ｉ_ｄ、鏡面反射成分Ｉ_sは、以下の式から求まる。

図３０はこの処理の流れを示したものである。まず、回転機構により偏光フィルタ１０１６Ａを回転させ（ステップＳ３０１）、画像を撮像し、メモリに保持する（ステップＳ３０２）。次に、メモリに保持された画像が、所定の枚数撮像されているかを確認する（ステップＳ３０３）。このとき、反射光輝度の最小値と最大値を検出するのに十分な枚数がまだ撮像されていない場合（ステップＳ３０３でＮｏ）、偏光フィルタを再度回転させ（ステップＳ３０１）、撮像を繰り返す。一方、十分な枚数の撮像ができている場合（ステップＳ３０３でＹｅｓ）、撮像された画像データを利用して、反射光輝度の最小値と最大値を検出し（ステップＳ３０４）、（式１３）と（式１４）を利用することにより、拡散反射成分と鏡面反射成分とを分離する（ステップＳ３０５）。この処理は、複数枚の画像から画素ごとに最小値と最大値を求めても構わないが、ここでは、sin関数のフィッテングを利用する。この処理を説明する。

図２９に示した偏光フィルタ角ψに対する反射光輝度Ｉは、以下のように、sin関数で近似できる。

ここで、Ａ、Ｂ、Ｃは定数であり、（式１３）、（式１４）より

つまり、撮像された画像から、（式１５）のＡ，Ｂ，Ｃを求めることにより、拡散反射成分と鏡面反射成分とを分離することができる。

ところで、（式１５）は以下のように展開できる。

ただし、

つまり、以下の評価式を最小にするＡ，Ｂ，Ｃを求めることで、拡散反射成分と鏡面反射成分とを分離することができる。

ただし、Ｉ_iは、偏光フィルタ角ψ_i時の反射光強度を示している。ここで、最小自乗法を用いると、各パラメータは以下のように推定される。

以上より、（式１６）〜（式２３）を利用することで、拡散反射成分と鏡面反射成分とを分離する。この場合、未知パラメータが３個であるため、偏光フィルタの回転角を変更した画像を最低３枚撮像すればよい。

このため、直線偏光フィルタ１０１６Ａの回転機構を設ける代わりに、画素ごとに偏光方向の異なる撮像装置を利用しても構わない。図３１はこのような撮像装置の画素を模式的に示したものである。ここで、１０２２は各画素を示し、各画素内の直線は偏光方向を示している。すなわち、この撮像装置は０°、４５°、９０°、１３５°の４種類の偏光方向を有する画素を持つ。そして、図３１の太線１０２３のように、４種類の画素をベイヤ配列のように１画素として取り扱うことによって、偏光方向が４種類異なった画像を同時に撮像することができる。このような撮像装置は、例えば、フォトニック結晶デバイスなどを利用すればよい。

また、照明装置１００７として、偏光された照明例えば液晶ディスプレイを利用してもかまわない。例えば、携帯電話１０００に搭載されている液晶ディスプレイ１０１７を利用すればよい。この場合、液晶ディスプレイ１０１７の輝度値を、利用者のインターフェイス用として利用しているときに比べ、高くすることが望ましい。

もちろん、撮像装置１００１の偏光フィルタ１０１６Ａを回転させる代わりに、照明装置１００７の偏光フィルタ１０１６Ｂを回転させてもかまわない。また、撮像装置１００１と照明装置１００７の両方に偏光フィルタを設置する代わりに、撮像装置側など片側のみに設置し、独立成分分析を利用して拡散反射成分と鏡面反射成分とを分離させてもかまわない（例えば、特許３４５９９８１号公報参照）。

光源情報推定部２０３は、上述したような光源推定方法を利用して、光源の位置と色、および照度情報を取得する。

形状情報取得部２０４は、被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。被写体の形状情報を取得する手段としては、例えば、スリット光投影法、パターン光投影法、レーザレーダ法などの既存の手法を用いればよい。

もちろん、形状情報の取得はこれらの手法に限られるものでない。例えば、複数のカメラを利用するステレオ視、カメラの動きを利用するモーションステレオ法、光源の位置を変化させながら撮像した画像を利用する照度差ステレオ法、ミリ波や超音波を利用して被写体との距離を測定する方法、さらには反射光の偏光特性を利用した方法（例えば、米国特許第５，０２８，１３８号や「宮崎大輔，池内克史，"偏光レイトレーシング法による透明物体の表面形状の推定手法"，電子情報通信学会論文誌，vol. J88-D-II， No.8，pp. 1432-1439，2005」）を用いてもかまわない。ここでは、照度差ステレオ法と偏光特性を利用した方法について説明する。

照度差ステレオ法は、光源方向が異なる３枚以上の画像を利用して、被写体の法線方向と反射率を推定する手法である。例えば、「H. Hayakawa, ”Photometric Stereo under a light source with arbitrary motion”, Journal of the Optical Society of America A, vol.11, pp.3079-89, 1994」は、画像上で６点以上の反射率が等しい点を既知情報として取得し、拘束条件として利用することによって、光源の位置情報も未知としながらも、以下のパラメータを推定する手法である。
・被写体情報：画像上の各点の法線方向と反射率
・光源情報：被写体の観察点における光源方向と照度

ここでは、前述の拡散反射・鏡面反射分離手法によって分離された拡散反射画像のみを利用した照度差ステレオ法を行う。本来、この手法は被写体が完全拡散反射をしていることを仮定しているため、鏡面反射が存在する被写体では大きな誤差が生じてしまう。しかし、分離した拡散反射画像のみを利用することで、鏡面反射の存在による推定誤差を無くすことができる。もちろん、後述するように、影除去部２０５で影領域を除去した拡散反射画像で処理を行なっても構わない。

光源方向が異なる拡散反射画像を以下のように輝度行列I_dで表現する。

ただし、ｉ_{ｄｆ（ｐ）}は光源方向ｆの拡散反射画像の画素ｐにおける輝度値を示している。また、画像の画素数はＰ画素、異なった光源方向で撮像した画像枚数はＦ枚である。ところで、ランバーシャンモデルより、拡散反射画像の輝度値は以下のように表現できる。

ただし、ρ_pは画素ｐの反射率（アルベド）、n_pは画素ｐの法線方向ベクトル、t_fは光源ｆの入射照度、L_fは光源ｆの方向ベクトルを示している。

（式２４）、（式２５）より以下の式が導かれる。

ただし、

ここで、Rは表面反射行列、Nは表面法線行列、Lは光源方向行列、Tは光源強度行列、Sは表面行列、Mは光源行列と呼ぶ。

ここで、特異値分解を利用すると、（式２６）は以下のように展開できる。

ただし、

であり、Ｅは単位行列を示している。また、Ｕ’はＰ×３行列、Ｕ”はＰ×（Ｆ−３）行列、Σ’は３×３行列、Σ”は(Ｆ−３)×(Ｆ−３)行列、Ｖ’は３×Ｆ行列、Ｖ”は（Ｆ−３）×Ｆ行列である。ここで、Ｕ”、 Ｖ”は信号成分であるＵ’、 Ｖ’の直交基底、すなわち、ノイズ成分であると考えられる。ここで、特異値分解を利用すると、（式２８）は以下のように変形できる。

すなわち、（式２９）を解くことにより、形状情報と光源情報を同時に取得することができるが、以下の３×３行列Ａの不定性が残る。

ここで、Ａは任意の３×３行列である。形状情報と光源情報を取得するためには、この行列Ａを求める必要がある。これは、例えば、画面上の６点以上で反射率が等しいことが既知であればよい。例えば、任意の６点k1〜k6の反射率が等しいとすると、

（式２７）、（式３０）と（式３２）より、

さらに、

とおくと、（式３３）は以下のようになる。

ここで、（式３４）より行列Ｂは対称行列であるため、行列Ｂの未知数は６である。すなわち、画面上の６点以上で反射率が等しいことが既知であれば、（式３５）は解くことができる。

また、行列Ｂが既知となれば、（式３４）に特異値分解を利用することにより、行列Ａは解くことができる。

さらに、（式３０）、（式３１）より、形状情報と光源情報を取得する。

以上のことより、反射率が等しい６点以上の画素が既知な被写体において、光源方向を変更しながら３枚以上の画像を撮像することにより、以下の情報を得ることができる。
・被写体情報：画像上の各点の法線方向ベクトルと反射率
・光源情報：被写体の観察点における光源方向ベクトルと放射輝度

ただし、上記の処理で求まる被写体の反射率と光源の放射輝度は相対的なものであり、絶対値を求めるためには、画面上の６点以上で反射率が既知であるなど、上記とは異なる既知情報が必要となる。

また、光源と撮像装置との位置関係が既知の場合、撮像装置と被写体の距離や３次元位置を求めるようにしても構わない。これを図を用いて説明する。

図３２はこの処理を説明するための模式図である。図３２において、１００１は撮像装置、１００７Ａおよび１００７Ｂは光源、１０１５は被写体の観察点Ｏ、１０１０Ａおよび１０１０Ｂは被写体の観察点Ｏにおける各光源の光源方向、１０２１は被写体の観察点Ｏにおける撮像装置の視線方向を示している。

まず、光源と撮像装置との位置関係が既知であるため、撮像装置１００１と光源１００７Ａ、１００７Ｂの３次元位置関係La、Lbは既知である。また、撮像装置１００１はキャリブレーションされているとすると、撮像装置１００１の視線方向１０２１も既知である。このことから、被写体の観察点Ｏ１０１５はこの視線方向１０２１上に存在する。また、上述の照度差ステレオ法により、被写体の観察点Ｏにおける各光源の光源方向１０１０Ａ、１０１０Ｂは既知である。撮像装置１００１と観察点Ｏ１０１５の距離Lvが正（Lv＞０）であるとすると、このような位置関係を満たす観察点Ｏは、１点しか存在しない。そのため、観察点Ｏ１０１５の位置がわかり、撮像装置１００１と観察点Ｏ１０１５の距離Lvが求まる。

また、例えばデジタルカメラのフラッシュのように撮像装置に光源が設置されている場合、光源と撮像装置との位置関係は設計情報から求めることができる。

また、形状情報取得部２０４は反射光の偏光特性を利用して、被写体の表面法線方向を取得しても構わない。この処理について、図３３を用いて説明する。

図３３において、１００１は撮像装置、１００７は光源、１０１５は観察点Ｏ、１０１６はモータなどの回転機構（図示せず）をもった直線偏光フィルタ、１０１９は法線方向を示している。光源として自然光が照射されている状態において、回転機構によって偏光フィルタ１０１６を回転しながら撮像を行った場合、その反射光強度は、図３４に示したように、周期πのsin関数となる。

ここで、この反射光強度の最大値Ｉ_maxと最小値Ｉ_minを計測する偏光フィルタの角度ψ_max、ψ_minを考える。撮像装置１００１と光源１００７、観察点Ｏ１０１５を含む平面を入射面とし、被写体は鏡面反射成分が支配的であるとすると、ψ_maxは偏光フィルタ１０１６の偏光方向が入射面に対して垂直な方向、また、ψ_minは偏光フィルタ１０１６の偏光方向が入射面に対して平行な方向になることが知られている。

また、上述したように、光源が偏光光源の場合、反射光成分において、偏光特性を有するものは観察点Ｏの表面で反射した鏡面反射成分、非偏光の成分は拡散反射成分である。このことから、反射光強度の最大値I_maxと最小値I_minの強度差が生じる観察点Ｏは鏡面反射成分が強い観察点、すなわち、光が正反射している（観察点Ｏの法線方向１０１９が観察点Ｏからの光源方向と観察点Ｏからの撮像装置方向の二等分線方向である）ことがわかる。そのため、法線方向１０１９も入射面内に存在する。そのため、ψ_maxまたはψ_minを推定することにより、法線方向１０１９は以下の平面内に存在すると推定することができる。
○撮像装置１００１を通り、偏光フィルタ１０１６の偏光方向ψ_min（またはψ_maxの垂直方向）を含む平面。

ここで、ψ_maxまたはψ_minは、前述のsin関数のフィッテング処理を行うことで推定する。

また、撮像装置１００１の位置を変更させて、同様な処理を行うことによって、法線方向１０１９を含む、異なった２つの平面を推定することができる。推定した２つの平面の交線を求めることによって、法線方向１０１９を推定する。この際、撮像装置１００１の移動量を推定する必要があるが、これは、前述の８点法などを利用すればよい。

もちろん、拡散反射・鏡面反射分離部２０２と同様に、画素ごとに偏光方向の異なる撮像装置を利用しても構わない。

また、もちろん、撮像装置１００１の位置を変更させるのではなく、複数台の撮像装置を設置して法線方向１０１９を求めるようにしても構わない。

以上のように、照度差ステレオ法と偏光特性を利用した方法では、表面の法線情報を取得する。一方、スリット光投影法やステレオ視などの手法では、被写体の３次元位置情報を取得する。被写体表面の法線情報とは、被写体の３次元位置情報の微小空間での傾き情報であり、どちらも被写体の形状情報である。

以上の処理により、形状情報取得部２０４は被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。

以上の処理により、以下の情報を取得する。
○被写体の拡散反射画像
○被写体の鏡面反射画像
○被写体の３次元形状情報
○光源位置・照度

影除去部２０５は、画像中の影領域を推定し、影除去処理を行う。このような、影除去および影領域推定処理はさまざまな方法が提案されているが、例えば、影領域は輝度値が低いことを利用し、輝度値が閾値以下の画素を影領域と推定すればよい。

また、形状情報取得部２０４によって３次元形状情報が取得されている場合、Ｃｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓの分野で広く利用されているレンダリング手法である、レイトレーシングを利用してもかまわない。レンダリングは物体の座標データや光源や視点の位置などの環境に関するデータを計算して行うが、レイトレーシングは、視点に届く光線を逆にたどることによって描画する。このため、レイトレーシングを利用してどの場所にどの程度の影が生成されているかを計算することができる。

次に、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像と鏡面反射画像を、それぞれ、別々の方法で高解像度化する。まず、拡散反射画像の処理について説明する。

アルベド推定部２０６は、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像を利用し、被写体のアルベドを推定する。アルベドは光源情報に影響を受けないため、アルベド画像を利用して処理を行うことによって、光源変動にロバストな処理が実現できる。

この処理を説明する。（式２５）より、拡散反射成分では、以下の関係が成り立つ。

ただし、θ_iは被写体の法線方向ベクトルと光源方向ベクトルのなす角度を示す。ここで、光源情報取得部２０３および形状情報取得部２０４により、角度θ_iは既知である。また、後述するように、光源の入射照度ｔ_fも推定可能なため、被写体のアルベドｒ_pを（式３６）から求める。

この際、cosθ_iが０以下の値を持つ場合、すなわち、attached shadowである場合、（式３６）はアルベドがマイナスになる、あるいは、０で除算を行うことになり、意味を持たない。しかし、上述の影除去部２０５によってこのような画素を除去しているため、問題は生じない。

もちろん、被写体のアルベドを求めるのではなく、次式によりアルベドを鏡面反射画像の最大輝度値で正規化した擬似アルベドｒ_ｐ’を求め、これを利用しても構わない。

ここで、ｉ_{ｓｆ＿ｍａｘ}は鏡面反射画像の最大輝度値を示している。このような擬似アルベドは、光源情報推定部２０３により、光源の放射輝度（照度）が取得できない場合に有効である。擬似アルベド画像を利用した場合、正規化に利用した鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}をメモリに保持しておく。図５１はアルベド推定部２０６が擬似アルベドを利用した場合、メモリに保持されるデータを示した図である。作成された擬似アルベド画像と、正規化に利用した鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}が保持されている。

鏡面反射パラメータが被写体の広い領域で一様であり、被写体表面にさまざまな方向の法線が存在しているとすると、カメラに対して被写体を照らす位置に光源が存在している限り、正反射が生じる正反射画素が存在する。そのため、鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}はこの正反射画素の輝度値となる。

反射特性が一様であり、視線方向１０２１がほぼ一様である場合、ある光源位置での正反射画素の輝度値と別の光源位置での正反射画素の輝度値の比は、各光源での光源の放射輝度比とほぼ等しくなる。そのため、拡散反射画像の輝度値ｉ_{ｄｆ（ｐ）}をθ_ｉにより除算しただけでは光源の放射輝度の影響が残ってしまうが、さらに正反射画素の輝度値である鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}で正規化を行った擬似アルベド画像を利用することにより、光源の放射輝度が取得できない場合においても光源に影響されない拡散成分画像を作成できる。

また、鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}によって正規化を行うのではなく、拡散反射画像の最大輝度値や入力画像の最大輝度値を利用して正規化を行い、擬似アルベドを作成しても構わない。

次に、こうして求めたアルベド画像の高解像度化について説明する。

アルベド高解像度化部２０７は、アルベド推定部２０６が推定したアルベド画像を高解像度化する。この処理について詳述する。

前述のように、アルベド画像は、光の鏡面反射や陰影など光学現象によらない被写体固有の反射率特性を表現した画像である。本実施形態における高解像度化は、被写体情報が不可欠なため、被写体の事前学習に基づく。ここではテキストン（画像のテクスチャ特徴量）に基づく高解像度化を用いる。

図３５はテキストンに基づく高解像度化の概念を示す図である。実行時に入力された低解像度画像ＬＲ（画素数Ｎ×Ｎ）は、画素数を目標画素数に合致させるため、Ｍ×Ｍ倍に補間拡大される。この画素数ＭＮ×ＭＮ画像をｅｘＬＲ画像と称する。ｅｘＬＲ画像では画像の高周波成分が失われて、ぼけた画像になる。このぼけ画像を先鋭化することが高解像度化に他ならない。

次に、多重解像度変換ＷＴによって、ｅｘＬＲ画像の輝度値を画素ごとに、多重解像度に基づくＴ次元テキストンに変換する。この変換にはウェーブレット変換やピラミッド構造分解などの処理が用いられる。この結果、ｅｘＬＲ画像の各画素ごとに、合計ＭＮ×ＭＮ本のＴ次元テキストンベクトルが生成される。次に、汎用性の向上のため、テクストンベクトルにクラスタリングが実施されて、Ｌ本の入力代表テキストンベクトルが選択生成される。これらＬ本のテキストンベクトルに対して、予め学習したデータベースの情報から変換が施されて、Ｔ次元の高解像度化テキストンベクトルが生成される。この変換には、テーブル読み出しや、Ｔ次元の多次元特徴ベクトル空間内における線形および非線形変換が用いられる。高解像度化テキストンベクトルは、逆ウェーブレット変換やピラミッド構造再構成などの逆変換ＩＷＴによって、画像輝度値に戻されて、高解像度画像ＨＲが完成する。

この処理では、ＭＮ×ＭＮ本のＴ次元テクストンベクトルのクラスタリング処理における探索とテーブル読み出しの処理に多大な時間を要し、動画など高速化対応が困難であった。そこで、１）クラスタリング処理をＬＲ画像にて実施する。２）テーブル読み出しを線形マトリクス変換に変更する。という改良を加えた。この処理では、ＬＲ画像の１画素はＨＲ画像のＭ×Ｍ画素のセルに対応する事実を使って、Ｔ次元からＴ次元への線形マトリクス変換をセル毎に実施して、セル内部での空間的な連続性を維持することができる。また利用する線形マトリクスはクラスタリングの結果から最適に選択する。セル境界の不連続性が問題になる場合にはマトリクス処理単位のブロックを一部重ねるなどの処理を追加してもよい。

図３６は上の改良点を模式的に描いた図である。ＬＲ画像をＷＴ変換して、Ｔ次元の特徴量空間の中のＬ（ここではＬ＝３）本の代表特徴ベクトルとしている。そして、各特徴ベクトルに異なる線形マトリクスが付随している。この状態を保存したものが高解像度化データベースに他ならない。

以下、Ｎ＝３２、Ｍ＝４、すなわち３２×３２画素の低解像画像に４×４倍の高解像度化を施す例をとって、画像処理手法の詳細を述べる。アルベド画像は（ＲＧＢ）カラー画像とするが、カラー画像は（ＲＧＢ）から輝度色差（ＹＣｒＣＢ）に変換して独立した色成分画像として取り扱うものとする。通常、２×２倍率程度では、輝度Ｙ成分だけの高解像度でカラー成分は低解像度の色差信号のまま付加しても違和感はないが、４×４以上では、色信号も高解像度化が必須になるので各成分とも同様な取り扱いとする。以下、カラー画像の１つの成分画像のみの処理を説明することとする。

（学習時）
図３７は学習処理の流れを説明するＰＡＤ図であり、図３８は学習処理において処理される画像の処理対象画素と処理対象セルとの関係を説明する図である。以下、図３７および図３８を交互に用いて説明を行なう。

まず、Ｓ３１１〜Ｓ３１３において、低解像度画像ＬＲ画像、高解像度画像ＨＲ画像、および低解像度画像の拡大画像ｅｘＬＲ画像を入力する。これら画像は、ＨＲから全て生成されており、撮像における画素ずれがない状態としておく。また、ＬＲ画像からｅｘＬＲ画像の生成にはバイキュービック補間を用いている。図３８において、高解像度画像ＨＲ(画素数１２８×１２８)と、低解像度ＬＲ画像（画素数３２×３２）とＬＲを画素数だけＨＲと合致させたｅｘＬＲ画像（画素数１２８×１２８）の３種類の画像を用意する。

Ｓ３１４において、ＬＲ画像をテキストン化する。具体的にはＨａａｒ基底を用いた２次元離散定常ウェーブレット変換（Discrete stationary wavelet transform：ＳＷＴ変換）する。ＳＷＴ変換の階層は２階層(2-step)とすると、６次元のＬＲＷ画像（画素数３２×３２＝１０２４）が生成される。本来、２階層ステップの２次元離散定常ウェーブレット変換では７次元の特徴ベクトルとなるが、最低周波数のＬＬ成分画像は画像の平均輝度情報に近くなり、これを保存するため残りの６成分のみを利用する。

Ｓ３１５において、テキストン化されたＬＲＷ画像の合計１０２４本の６次元ベクトルをＣmax個にまでクラスタリングする。ここではK-means法を用いて、例えばCmax=５１２本にクラスタリングする。この５１２本の結果のテキストンベクトルの集合をクラスタＣと称する。クラスタリングをせず１０２４本のテキストンを全て利用しても問題ない。

Ｓ３１６において、クラスタＣの同一クラスタに判別されたＬＲ画素を判定する。具体的には、ＬＲ画像の画素値がクラスタＣの各テキストン番号に置き換えられる。

Ｓ３１７において、クラスタＣの全テキストンに対して繰り返し処理をしながら、該当テキストンに対応するexＬＲの画素セルとＨＲ画像の画素セルを探索して、該当セル番号を格納する。この探索がＬＲ画像の画素数分だけで済むため、高倍率の場合に大きな探索時間の削減となる。

ここでＬＲ画像の画素とｅｘＬＲ画像、ＨＲ画像の画素セルとの対応につき、図３８で説明する。図３８では、ＬＲ画像上で、２００１と２００２という２画素がＣの同一クラスタ（クラスタ番号：Ｃi＝０）に判別されたとする。すると、そのままの位置関係を保って拡大されたｅｘＬＲ画像上では２００３，２００４、ＨＲ画像上では２００５、２００６という画素セルが対応していると考えられ、これらの２箇所のセル位置の番号が、該当するテキストンを有するものとして格納される。画素セル内に含まれる画素数は拡大率４×４＝１６に等しい。

次にＳ３１８において、これらの画素セル群についてｅｘＬＲ画像とＨＲ画像の対でテキストン化を行う。具体的には、２次元離散定常ウェーブレット変換（Discrete stationary wavelet transform）が実施されて、ｅｘＬＲＷ画像とＨＲＷ画像が生成される。

Ｓ３１９とＳ３２０において、上記ＨＲＷ画像とｅｘＬＲＷ画像から得られたテキストンの対が行列の形として集積される。形式はいずれも、６×Ｄａｔａ＿ｎｕｍの行列となる。ここでＤａｔａ＿ｎｕｍは、（１セルの画素数）×（探索されたセルの数）となり、上のＣｉ＝０の例では、２個のセルが探索されたので１６×２＝３２となる。

Ｓ３２１において、集積された両者に所属する合計２×４×４＝１２８個の特徴ベクトルから最小二乗法にて６×６マトリクスＭを算出し、それをＳ３２２において、クラスタ番号Ｋ＝０とともにデータベースＣＭａｔ（Ｋ）に格納蓄積する。Ｓ３２２における最小二乗法は、まずＳ３１９とＳ３２０において集積されたｅｘＬＲとＨＲのテキストンの行列を各々ＬｆとＨｆ（サイズ：６×Ｄａｔａ＿ｎｕｍ）とし、求めるマトリクスをＭ（６×６）とすると以下のように実行できる。

次に、クラスタ番号Ｋ＝１について同様処理を繰り返して、Ｋ＝５１１まで行う。すなわち、ＣＭａｔはクラスタ番号ごとに規定される６×６変換行列の群である。

最後に、Ｓ３２３とＳ３２４において、使用したクラスタＣと学習された変換行列ＣＭａｔとを出力する。こうして求めたクラスタＣと学習された変換行列ＣＭａｔを、アルベドＤＢ２０８に蓄積する。

図３９は２次元離散定常ウェーブレット変換（Discrete stationary wavelet transform）の処理を示す図である。通常のウェーブレット変換では、フィルタバンク構成は同一のまま分解の階層が進む毎に画像が縮小していくが、２次元離散定常ウェーブレット変換では、分解の階層が進んでも変換画像サイズは不変であり、スケーリング関数Ｆとウェーブレット関数Ｇの２種類のフィルタがアップサンプリング（↑）されて２のべき乗で長くなっていくことにより多重解像度解析を行う。Ｈａａｒ基底では、ＦとＧの具体的な数値とアップサンプリングの様子は表１のようになる。

ＬＬ成分であるｃＡ画像を１階層進めてウェーブレット分解する場合、ＦとＧのフィルタを交互に１次元的にコンボリューションすることにより、図３９のように４種類の画像が生成される。１）行方向にＦ・列方向にＦ：ｃＡ画像(ＬＬ成分) ２）行方向にＦ・列方向にＧ：ｃＤｈ画像(ＬＨ成分) ３）行方向にＧ・列方向にＦ：ｃＤｖ画像(ＨＬ成分) ４）行方向にＧ・列方向にＧ：ｃＤｄ画像(ＨＨ成分)。

図４０は２次元離散定常ウェーブレット変換をテスト画像に実施した場合の画像結果例である。テキストンベクトルとは、これらウェーブレットの１−ＳＴＥＰと２−ＳＴＥＰの変換画像の１画素ごとに対応する値を連ねたもので、

の７次元ベクトルのことである。ただし２−ＳＴＥＰのＬＬ成分であるｃＡ２を除いて、６次元ベクトル部分のみを使って高解像度変換し、ｃＡ２成分は保存している。

なお、ウェーブレット変換のステップ数をここではＳ３１４とＳ３１８のいずれも２−ＳＴＥＰとしている。このステップ数が大きくなるほど、画像の大まかな特徴までテキストンで表現することができる。本発明においてステップ数は可変であるが、ＬＲ画像のクラスタリングのためのＳ３１４の場合、１−ＳＴＥＰでは周辺の画素状況として十分な情報とならない場合があるため、２−ＳＴＥＰとしている。一方、ｅｘＬＲ画像を高解像度化するためのテキストンを生成するＳ３１８の場合、たとえば８×８の倍率においては２−ＳＴＥＰよりも３−ＳＴＥＰの方が良好な画像が得られることが、実験的に確認されている。このため、倍率との関係でステップ数を決定することが望ましい。

（高解像度化処理の実行時）
図４１は実行時の処理の流れを示すＰＡＤ図であり、図４２は実行時の処理の画素セルとの関係を示す図である。

まず、Ｓ３３１とＳ３３２において、ＬＲ画像とこれを拡大したｅｘＬＲ画像とを入力する。学習時と同様に、ＬＲ画像の画素数＝３２×３２、ｅｘＬＲ画像の画素数＝１２８×１２８とする。ここでｅｘＬＲ画像の生成方法は、図３７のＳ３１３において学習画像のｅｘＬＲ画像を生成した方法と同様にバイキュービック法による。

次に、Ｓ３３３とＳ３３４において、学習時に得られたクラスタＣと変換行列ＣＭａｔをアルベドＤＢ２０８から読み出し、入力する。

Ｓ３３５において、ＬＲ画像をテキストン化する。具体的には図４２で示すように、Ｈａａｒ基底を用いた２次元離散定常ウェーブレット変換（Discrete stationary wavelet transform：ＳＷＴ変換）を行う。ＳＷＴ変換の階層は２階層(2-step)とすると、６次元のＬＲＷ画像（画素数３２×３２＝１０２４）が生成される。本来は２階層ステップの２次元離散定常ウェーブレット変換では７次元の特徴ベクトルとなるが、最低周波数のＬＬ成分画像は画像の平均輝度情報に近くなり、これを保存するため残りの６成分のみを利用する。

次にＳ３３６において、各テキストンにつき、クラスタＣ（Ｃmax個のテキストン）内の最短距離のテキストンベクトルを探索してテキストン番号（Ci）を得る。これは図４２において、ＬＲ画像の１ライン上の各画素２０１１，２０１２，…，２０１３について、各々Ｃ０，Ｃ１，…，Ｃｎというテキストン番号が付与されることに相当する。

次にＳ３３７に進むが、これ以降はＨＲ画像の各セルを走査線順に処理していく繰り返し処理となる。具体的には、図４２において、ｅｘＬＲ画像のセル２０１４，２０１５，…，２０１６を処理していくと、対応するＨＲ画像のセル２０２３，２０２４，…，２０２５が順次高解像度化されていく。

Ｓ３３７において、ｅｘＬＲ画像の該当セル領域がテキストン化される。具体的には、２次元離散定常ウェーブレット変換（Discrete stationary wavelet transform）が実施されて、ｅｘＬＲＷ画像が生成される。セル２０１７，２０１８，…，２０１９などが生成される。

Ｓ３３８において、テキストン番号から変換行列ＣＭａｔを引いて該当セルにおける変換行列Ｍを確定する。この処理は図４２のように行われる。ＬＲＷ画像には、すでに画素２０１１＝Ｃ０、画素２０１２＝Ｃ１、…、画素２０１３＝Ｃｎとテキストン番号が振られている。これを位置関係を保存したｅｘＬＲＷ画像のセル２０１７、２０１８、…２０１９に適用して、各々のセルで、Ｃ０，Ｃ１，・・Ｃｎをテキストン番号としてＭａｔから別々の６×６変換行列Ｍを選択することができる。

Ｓ３３９において、各セルに変換行列Ｍを作用させる。これはセル内のテキストンＬＴｉ（ｉ＝１〜１６）全部について、

を実施すればよい。これらを繰り返して、ｅｘＬＲＷ画像のセル２０１７，２０１８，…，２０１９からＨＲＷ画像のセル２０２０，２０２１，…，２０２２が、それぞれ生成される。

次に、これら高解像度化されたセル内の６次元テキストンに、ｅｘＬＲＷ画像の２−ＳＴＥＰのＬＬ成分を付加して７次元テキストンを生成する。

Ｓ３４０において、この各セル内７次元のテキストンを逆ＳＷＴ変換することにより画像に変換する。以上をｅｘＬＲ画像の全セルについて繰り返す。

逆ＳＷＴ（ＩＳＷＴ）変換は、図４３で示す信号フローで実現できる。図３９とほとんど同じ表現である。通常のウェーブレット逆変換ではフィルタバンクの構成は同一のまま、分解の階層が進む毎に画像が拡大していく。これに対して、本逆変換においては、分解の階層が進んでも変換画像サイズは不変であり、スケーリング関数Ｆとウェーブレット関数Ｇ１の２種類のフィルタがダウンサンプリング（↓）されて２のべき乗で短くなっていくことにより、多重解像度解析を行う。Ｈａａｒ基底では、ＦとＧ１の具体的な数値とダウンサンプリングの様子は表２のようになる。

以上のようにしてアルベド画像の１成分が高解像度化される。この処理を、アルベド画像全てに行うことにより、高解像度なアルベド画像を合成する。

このとき、アルベド画像に含まれる被写体の大きさや姿勢、向きなどが変化しても処理が可能なように、画像の正規化を行うようにしてもかまわない。テキストンを利用した高解像度化処理は、学習データに対してアルベド画像の大きさや姿勢が異なっている場合、高解像度化の精度が十分に発揮されないことが考えられる。そこで、アルベド画像を複数組用意し、この問題を解決する。すなわち、アルベド画像を３０度ずつ回転させた画像を合成し、そのすべての画像で高解像度化を行い、姿勢や向きの変化に対応させる。この場合、前述の「高解像度化処理の実行時」のＰＡＤ図である図４１のステップＳ３３６において、最短距離のテキストンを探索する際、回転処理を行った各画像から求めた複数のＬＲ画像のテキストン、それぞれにおいて最短距離のテキストンを探索し、最も距離の近いものを探索してテキストン番号（Ci）を得るようにすればよい。

また、大きさの変化に対応するために、画像の大きさを変更したアルベド画像を合成するようにしてもかまわない。

また、実際の大きさを基準に、例えば、５ｃｍ×５ｃｍの画像が必ず８ｘ８画素になるように拡大縮小処理を行い、その画像に対してテキストンを作製するようにしてもかまわない。被写体の大きさは、形状情報取得部２０４により既知であるため、「学習時」および「高解像度化処理の実行時」ともに同じ大きさの画像でテキストンを作製することで、大きさの変動に対応するようにしてもかまわない。

また、「高解像度化処理の実行時」のアルベド画像を回転させるのではなく、「学習時」のアルベド画像を回転させ、複数組のテキストンを作製し、クラスタＣと学習された変換行列ＣＭａｔをアルベドＤＢ２０８に蓄積するようにしても構わない。

さらに、入力された被写体が何であるかを推定し、推定された被写体がどのように回転しているかを姿勢推定するようにしてもかまわない。このような処理は、広く使われている画像認識技術を利用すればよい。これは、例えば、被写体にＲＦＩＤのようなタグを設置しておき、そのタグ情報を認識することで被写体が何であるかを認識し、さらにタグ情報から被写体の形状情報を推定し、画像や被写体の形状情報から姿勢推定を行うようにすればよい（例えば、特開２００５−３４６３４８号公報参照）。

拡散画像高解像度化部２０９は、アルベド高解像度化部２０７が合成した高解像度アルベド画像から高解像度な拡散画像を合成する。この処理を説明する。

前述のように、アルベド画像は、拡散成分画像を光源ベクトルと被写体の法線方向ベクトルの内積で除算したものである。そのため、アルベド画像に、光源情報推定部２０３によって推定された光源方向ベクトルと、後述するパラメータ高解像度化部によって求めた被写体の高密度法線方向ベクトルとの内積を乗算することによって、高解像度の拡散画像を合成する。光源情報推定部２０３により、複数の光源が推定された場合、それぞれの光源に対して高解像度な拡散画像をおのおの合成し、その画像を足し合わせることで、一枚の高解像度拡散画像を合成する。

また、アルベド画像ではなく擬似アルベド画像を利用している場合、擬似アルベド画像に、光源情報推定部２０３によって推定された光源方向ベクトルと、形状情報高密度化部２１１によって求められた被写体の高密度法線方向ベクトルとの内積を乗算し、さらに正規化を行うために利用した鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}を乗算することによって、高解像度拡散反射画像を合成する。正規化で利用した鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}は、アルベド推定部２０６によってメモリに蓄積されているため、この情報を読み出せばよい。もちろん、拡散反射画像の最大輝度値や入力画像の最大輝度値を利用して正規化を行っている場合、鏡面反射画像の最大輝度値ｉ_{ｓｆ＿ｍａｘ}を乗算するのではなく、正規化に利用した拡散反射画像の最大輝度値や入力画像の最大輝度値を乗算する。

以上の処理により、高解像度化された拡散画像を合成することができる。ここで、高解像度化処理はアルベド画像を利用して行ったが、アルベド画像ではなく、拡散画像を直接、高解像度化するようにしても構わない。この場合、学習処理は拡散画像を用いて行えばよい。

次に、鏡面反射画像の高解像度化処理について説明する。ここでは、画像をパラメータに分解し、パラメータごとに高密度化する。この処理を順に説明する。

パラメータ推定部２１０は、形状情報取得部２０４によって取得された被写体の法線情報、拡散反射・鏡面反射分離部２０２によって分離された拡散反射画像と鏡面反射画像を利用して、その被写体を表現するパラメータを推定する。ここでは、Ｃｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓの分野で広く使われているＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを利用する方法を説明する。

Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルでは、鏡面反射画像を次式のようにモデル化する。

ここで、Ｅ_iは入射照度、ρ_s,λは波長λにおける鏡面反射成分の双方向反射率、nは被写体の法線方向ベクトル、Vは視線ベクトル、Ｌは光源方向ベクトル、Ｈは視線ベクトルと照明方向ベクトルの中間ベクトル、βは中間ベクトルＨと法線方向ベクトルnの角度を表す。また、Ｆ_λはフレネル方程式から求められる誘電体表面からの反射光の比であるフレネル係数、Ｄはマイクロファセット分布関数、Ｇは物体表面の凸凹による遮光の影響を表す幾何減衰率である。さらに、ｎ_λは被写体の屈折率、ｍは被写体表面の粗さを示す係数、Ｉ_jは入射光の放射輝度である。また、ｋ_sは鏡面反射成分の係数である。

さらに、（式２５）のランバーシャンモデルを利用すると、（式１２）は以下のように展開される。

ただし、

ここで、ρ_ｄは拡散反射成分の反射率（アルベド）、dpx、dpyは撮像装置の１画素のｘ方向、ｙ方向の長さ、ｒは撮像装置の観察点Ｏからの距離を示している。また、ｋ_dは以下の関係式を満たす係数である。

Ｓrは拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数であり、拡散反射成分が被写体からすべての方向へエネルギーを反射することを示している。図４４はこの定数Ｓrを説明するための模式図である。図４４において、観察点Ｏで反射された拡散反射成分エネルギーは、半球状に広がっていく。ここで、撮像装置１００１が観察点Ｏからｒだけ離れているので、撮像装置の１撮像素子に届くエネルギーと、観察点Ｏで反射した総エネルギーの比Ｓ_rは、（式４８）で表される。

以上のことから、パラメータ推定部２１０は、（式３７）〜（式４５）（式４６）（式４７）、（式４８）からパラメータを推定する。

以上の関係式をまとめると、パラメータ推定を行なうための既知パラメータと、推定すべきパラメータは以下のようになる。
（既知パラメータ）
○環境光成分I_a
○拡散反射成分I_d
○鏡面反射成分I_s
○被写体の法線方向ベクトルn
○光源方向ベクトルL
○視線ベクトルV
○中間ベクトルＨ
○中間ベクトルＨと法線方向ベクトルnの角度β
○撮像装置１００１の１画素のｘ方向、ｙ方向の長さdpx, dpy
○撮像装置１００１と観察点Ｏとの距離r
（推定すべきパラメータ）
○入射照度E_i
○鏡面反射成分の係数k_s
○被写体表面の粗さm
○被写体の屈折率η_λ
ここで、拡散反射成分の係数k_d、および拡散反射成分の反射率（アルベド）ρ_dも未知パラメータであるが、鏡面反射成分のパラメータのみを推定するため、ここでは推定処理を行なわない。

図４５はパラメータ推定部２１０の処理の流れを示す図である。処理は、以下の２段階からなる。

まず、光源情報を使用して、入射照度Ｅ_iを求める（ステップＳ３５１）。ここでは、光源情報推定部２０３によって取得した光源の位置情報、形状情報取得部２０４で求めた撮像装置と被写体との距離情報、さらには光源情報取得部２０３で求めた光源照度を用いる。これは、次式から求まる。

ここで、Ｉ_iは撮像装置１００１に設置された照度計１０１８によって測定された光源１００７の入射照度、Ｒ₁は撮像装置１００１と光源１００７との距離、Ｒ₂は光源１００７と観察点Ｏとの距離、θ₁は観察点Ｏにおける法線１０１９と光源方向１０１０Ｃとのなす角度、θ₂は撮像装置１００１における光軸方向１００５と光源方向１０１０Ａとのなす角度を示している（図４６参照）。ここで、被写体の大きさが、光源１００７と観察点Ｏとの距離Ｒ_２に比べ十分に大きいと考えられる場合、距離Ｒ_２は被写体上の全ての観察点Ｏで等しくなる。そのため、（式５０）において、（Ｒ_１／Ｒ_２）は定数となり、実際に計測する必要はなくなる。

次に、シンプレックス法を利用して、未知パラメータｍ、η_λ、ｋ_sを推定する（ステップＳ３５２）。シンプレックス法は、シンプレックスと呼ぶ図形の頂点に変数を割り付け、シンプレックスの大きさと形を変えて関数の最適化を行なう方法である（大田登，“色再現光学の基礎”，pp.90-92，コロナ社）。シンプレックスは、ｎ次元空間の（ｎ＋１）個の点の集合である。ただし、ｎは推定する未知数の数であり、ここでは「３」である。そのため、シンプレックスは四面体である。シンプレックスの頂点をベクトルx_iで表し、新しいベクトルを次のように定める。

ただし、

はそれぞれ関数ｆ(x_i)を最大、最小にするx_iを示している。

さらに、この方法で用いる３種類の操作を以下のように定める。
１．鏡像：

２．拡張：

３．収縮：

ここで、α（＞０）、β（＞１）、γ（１＞γ＞０）は係数である。

シンプレックス法は、シンプレックスの頂点の中で関数値の最も大きなものを選ぶことで、その鏡像における関数値は小さくなるという期待に基づいている。この期待が正しければ、同じプロセスの繰り返しで関数の最小値が求められる。つまり、初期値で与えたパラメータを３種類の操作で更新しながら、評価関数が示すターゲットとの誤差が閾値未満になるまでパラメータの更新を繰り返す。ここでは、パラメータとしてm、η_λ、k_s、評価関数として（式５６）で表される、（式３７）から算出される鏡面反射成分画像と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像との差ΔI_ｓを利用した。

ただし、i_s(i,j)’, i_s(i,j)はそれぞれ、計算された鏡面反射画像の推定値I_s’と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像I_sの画素(i,j)の輝度値、Ｍ_s(i,j)は、画素(i,j)が鏡面反射成分を持つ場合に１、そうでない場合０をとる関数である。

この処理について詳しく説明する。図４７はこの処理の流れを説明するためのフローチャートである。

まず、繰り返し演算の更新回数を記憶するカウンターｎとｋに０を代入し、初期化する（ステップＳ３６１）。ここで、カウンターｎは初期値を何回変更したかを記憶するカウンターであり、ｋはある初期値に対してシンプレックスによる候補パラメータの更新を何回行ったかを記憶するカウンターである。

次に、乱数を利用し、推定パラメータの候補パラメータm’、η_λ’、k_s’の初期値を決定する（ステップＳ３６２）。このとき、各パラメータの物理的な拘束条件から、初期値の発生範囲は以下のように決定した。

次に、こうして求めた候補パラメータを（式３７）へ代入し、鏡面反射画像の推定値I_s’を求める（ステップＳ３６３）。さらに、計算された鏡面反射画像の推定値I_s’と拡散反射・鏡面反射分離部２０２で求められた鏡面反射成分画像との差ΔI_ｓを（式５６）より求め、これをシンプレックス法の評価関数とする（ステップＳ３６４）。こうして求めたΔI_ｓが十分小さい場合（ステップＳ３６５でＹｅｓ）、パラメータ推定は成功したとして、推定パラメータm、η_λ、k_sとして候補パラメータm’、η_λ’、k_s’を選択し、処理を終了する。一方、ΔI_ｓが大きい場合（ステップＳ３６５でＮｏ）、シンプレックス法により候補パラメータの更新を行う。

候補パラメータの更新を行う前に、更新回数の評価を行う。まず、更新回数を記憶しているカウンターｋに１を足し（ステップＳ３６６）、カウンターｋの大きさを判断する（ステップＳ３６７）。カウンターｋが十分に大きい場合（ステップＳ３６７でＮｏ）、繰り返し演算は十分に行なわれているが、ローカルミニマムに落ちているため、このまま更新を繰り返しても最適値には達しないと判断し、初期値を変更して、ローカルミニマムからの脱却を図る。そのため、カウンターｎに１を足し、カウンターｋに０を入れる（ステップＳ３７１）。ここで、カウンターｎの値が閾値より高いかどうかを判定し、処理をこのまま続けるか、処理不能として処理を終了させるかを決定する（ステップＳ３７２）。ここで、nが閾値より大きい場合（ステップＳ３７２でＮｏ）、この画像は推定不能として処理を終了する。一方、ｎが閾値より小さい場合（ステップＳ３７２でＹｅｓ）、再度、初期値を（式５７）の範囲内で乱数から選択しなおし（ステップＳ３６２）、処理を繰り返す。このようなｋに対する閾値は、例えば、１００などを選択すればよい。

一方、ステップＳ３６７において、カウンターｋが閾値以下の場合（ステップＳ３６７でＹｅｓ）、候補パラメータを（式５３）〜（式５５）を利用して変更する（ステップＳ３６８）。この処理については後述する。

次に、こうして変形された候補パラメータが、解として意味のあるものであるかを判定する（ステップＳ３６９）。すなわち、シンプレックス法を繰り返すことで、変形されたパラメータが物理的に意味のない値（例えば、粗さパラメータｍが負の値など）におちいる可能性があるため、これを除去する。これは、例えば、以下のような条件を与え、この条件を満たす場合には意味のあるパラメータ、満たさない場合には意味のないパラメータと判定すればよい。

これらの値は、被写体より求めることができる。例えば、屈折率η_λであれば、被写体の材質によって決定される値である。例えば、プラスチックであれば１．５〜１．７、ガラスであれば１．５〜１．９であることが知られているため、これらの値を利用すればよい。つまり、被写体がプラスチックである場合、屈折率η_λは１．５〜１．７とすればよい。

変形したパラメータが（式５８）を満たす場合（ステップＳ３６９でＹｅｓ）、その候補パラメータは意味のある値であると考えられるため、新しい候補パラメータとして設定し（ステップＳ３７０）、更新処理を繰り返す（ステップＳ３６３）。一方、変形したパラメータが（式５８）を満たさない場合（ステップＳ３６９でＮｏ）、その初期値に対する更新処理を打ち切り、新しい初期値により更新を行う（ステップＳ３７１）。

ここで、ステップＳ３６８の変形処理について詳述する。図４８はこの処理の流れを示したフローチャートである。ここでは、候補パラメータm’、η_λ’、k_s’をベクトル表現し、これをパラメータxとする。すなわち、

まず、（式５１）（式５２）（式５３）を利用して、鏡像操作を行ったパラメータx_rを計算し、（式５６）によってx_rでの鏡面反射成分画像との差ΔI_ｓ(x_r)を計算する（ステップＳ３８１）。次に、こうして求められたΔI_ｓ(x_r)と、２番目に評価関数が悪かったΔI_ｓ(x_s)を比較する（ステップＳ３８２）。ここでΔI_ｓ(x_r)がΔI_ｓ(x_s)より小さかった場合（ステップＳ３８２でＹｅｓ）、鏡像操作を行った評価値ΔI_ｓ(x_r)と現在、最も評価値のよいΔI_ｓ(x_l)を比較する（ステップＳ３８３）。ここで、ΔI_ｓ(x_r)のほうが大きかった場合（ステップＳ３８３でＮｏ）、最も評価値の低かったx_hをx_rへ変更し（ステップＳ３８４）、処理を終了する。

一方、ΔI_ｓ(x_r)がΔI_ｓ(x_l)より小さかった場合（ステップＳ３８３でＹｅｓ）、（式５４）を利用して拡張処理を行ない、パラメータx_eと、x_eでの鏡面反射成分画像との差ΔI_ｓ(x_e)を計算する（ステップＳ３８５）。次に、こうして求められたΔI_ｓ(x_e)と、鏡像操作によるΔI_ｓ(x_r)を比較する（ステップＳ３８６）。ここでΔI_ｓ(x_e)がΔI_ｓ(x_r)より小さかった場合（ステップＳ３８６でＹｅｓ）、最も評価値の悪かったx_hをx_eへ変更し（ステップＳ３８７）、処理を終了する。

一方、ΔI_ｓ(x_e)がΔI_ｓ(x_r)より大きかった場合（ステップＳ３８６でＮｏ）、最も評価値の悪かったx_hをx_rへ変更し（ステップＳ３８７）、処理を終了する。

また、ステップＳ３８２において、ΔI_ｓ(x_r)がΔI_ｓ(x_s)より大きかった場合（ステップＳ３８２でＮｏ）、鏡像操作を行った評価値ΔI_ｓ(x_r)と現在、最も評価値の悪いΔI_ｓ(x_h)を比較する（ステップＳ３８８）。ここでΔI_ｓ(x_r)がΔI_ｓ(x_h)より小さかった場合（ステップＳ３８８でＹｅｓ）、最も評価値の悪かったx_hをx_rへ変更し（ステップＳ３８９）、（式５５）を利用して、収縮操作を行ったパラメータx_cと、x_cでの鏡面反射成分画像との差ΔI_ｓ(x_c)を計算する（ステップＳ３９０）。一方、ΔI_ｓ(x_r)がΔI_ｓ(x_h)より大きかった場合（ステップＳ３８８でＮｏ）、x_hを変更することなく、収縮操作を行ったパラメータx_cと、x_cでの鏡面反射成分画像との差ΔI_ｓ(x_c)を計算する（ステップＳ３９０）。

次に、こうして求められたΔI_ｓ(x_c)と、最も評価値の悪いΔI_ｓ(x_h)を比較する（ステップＳ３９１）。ここでΔI_ｓ(x_c)がΔI_ｓ(x_h)より小さかった場合（ステップＳ３９１でＹｅｓ）、最も評価値の悪かったx_hをx_cへ変更し（ステップＳ３９２）、処理を終了する。

一方、ΔI_ｓ(x_c)がΔI_ｓ(x_h)より大きかった場合（ステップＳ３９１でＮｏ）、すべての候補パラメータx_i(i=1,2,3,4)を以下の式により変更し、処理を終了する。

以上の処理を繰り返すことにより、鏡面反射画像における未知パラメータであるm、η_λ、k_sを推定する。

以上の処理により、すべての未知パラメータを推定することができる。

なお、パラメータ推定に用いるモデルは、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルである必要はなく、例えば、Ｔｏｒｒａｎｃｅ−ＳｐａｒｒｏｗモデルやＰｈｏｎｇモデル、簡易Torrance-Sparrowモデル（例えば、「K. Ikeuchi and K. Sato, “Determining reflectance properties of an object using range and brightness images”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.13, no.11, pp.1139-1153, 1991」）であっても構わない。

また、パラメータ推定方法は、シンプレックス法である必要はなく、例えば、勾配法や最小自乗法などのような一般的なパラメータ推定手法を利用しても構わない。

また、以上の処理は、画素毎に行ってもかまわないし、領域分割を行い、領域ごとに等しいパラメータ組を推定するようにしてもかまわない。画素毎に処理を行う場合、光源や撮像装置、または被写体を動かすことにより、被写体の法線方向ベクトルnや光源方向ベクトルL、または視線ベクトルVといった既知パラメータが変動したサンプルを取得するようにすることが望ましい。また、処理を領域ごとに行う場合、領域ごとに求まったパラメータのばらつきが小さくなるように領域分割を変更することで、最適なパラメータ推定を行うようにすることが望ましい。

法線情報高密化部２１１は、形状情報取得部２０４で取得した表面の法線情報を高密度化する。これは、以下のように実現される。

まず、形状情報取得部２０４によって取得した表面の法線情報を、画像撮像部２０１によって取得された画像へ投影し、画像内の各画素に対応する法線方向を求める。このような処理は、従来のカメラキャリブレーション処理（例えば、「運天 弘樹, 池内 克史, “実物体の仮想化のための3次元幾何モデルのテクスチャリング手法”, CVIM-149-34, pp.301-316, 2005」）を行うことで実現できる。

この際、法線ベクトルｎ_ｐは極座標で表現し、その値をθ_ｐ、φ_ｐとする（図４９参照）。以上の処理により、法線成分であるθ、φの画像を作製する。こうして求めたθ画像とφ画像を、上述のアルベド高解像度化部２０７と同様の手法によって高解像度化することによって、高密度の法線情報を推定する。この際、高密度度化処理を行う前に学習処理を行い、法線のθ、φ成分に対するクラスタＣと学習された変換行列ＣＭａｔを法線ＤＢ２１２に蓄積する。

また、以上の処理は、影除去部２０５において、影として除去されなかった領域のみに対して行うことが望ましい。これは、影の存在により、パラメータ推定処理に誤差が生じてしまうことを防止するためである。

また、パラメータ推定部２１０において、撮像装置近傍に設置された制御可能な光源を利用してもかまわない。この光源は、デジタルカメラのフラッシュであってもよい。この場合、フラッシュを照射して撮像したフラッシュ画像と、フラッシュを照射しないで撮像した非フラッシュ画像を時間的に連続的に撮像し、その差分画像を利用してパラメータ推定を行なえばよい。撮像装置と光源であるフラッシュの位置関係は既知であり、また、フラッシュの光源情報である３次元位置や色、強度も事前に測定しておくことが可能である。また、撮像装置とフラッシュは非常に近い場所に設置されているため、影が少ない画像を撮像することができる。そのため、画像内のほとんどの画素において、パラメータを推定することができる。

さらに、パラメータ高密度化部２１３は、パラメータ推定部２１０によって求めたパラメータを高密度化する。ここでは、単純な線形補間を行い、すべてのパラメータを高密度化する。もちろん、上述のアルベド高解像度化部２０７のような学習を利用した高密度化手法を利用してもかまわない。

また、パラメータごとに高密化方法を切り替えるようにしても構わない。例えば、推定パラメータである被写体の屈折率η_λは、高密度化しても値が変化しないと考えられる。そのため、被写体の屈折率η_λは単純補間により高密度化を行い、拡散反射成分の係数k_d、鏡面反射成分の係数k_s、さらには拡散反射成分の反射率（アルベド）ρ_dに関しては学習を利用した高密度化処理を行うようにしてもかまわない。

鏡面反射画像高解像度化部２１４は、法線情報高密度化部２１１によって推定された高密度法線情報と、パラメータ高解像度化部２１４によって高密度化されたパラメータを利用し、高解像度な鏡面反射画像を合成する。高解像度な鏡面反射画像は、（式３７）〜（式４５）に高密度化したパラメータを代入することによって、合成する。

ここで、実際の鏡面反射画像よりも輝度値が高くなるように、例えば入射照度Ｅ_iのみ推定された値に係数ｌ（例えば、ｌ＝２）を乗算するようにしてもかまわない。これは、鏡面反射画像の輝度値を上げることによって、被写体の質感を上げるためである。同じように、被写体表面の粗さｍを推定値よりも大きな値として、実際よりもてかりが強い鏡面反射画像を合成してもかまわない。

影生成部２１５は、拡散反射画像高解像度化部２０９と鏡面反射画像高解像度化部２１４によって生成された高解像度拡散反射画像と高解像度化鏡面反射画像に重畳する、影画像を合成する。これは、影除去部２０５において利用したレイトレーシングを利用すればよい。

ここで、画像高解像度化部２１７は、撮影対象となっている被写体の３次元形状に関する知識を有するものとする。影生成部２１５は、被写体の３次元形状データを取得し、撮影画像における被写体の見え(appearance)から、被写体の３次元姿勢及び３次元位置を推定する。被写体が人間の目の角膜である場合の、見えから３次元位置及び３次元姿勢を推定する例が、「K.Nishino and S.K.Nayar, "The World in an Eye", in Proc. of Computer Vision and Pattern Recognition CVPR '04, vol.I, pp444-451, Jul., 2004.」に開示されている。見えから３次元位置及び３次元姿勢を推定できる被写体は限られるが、そのような被写体であれば、上記文献の手法を適用することが可能である。

被写体の３次元姿勢及び３次元位置が推定されれば、被写体上の任意の位置において、被写体表面の法線情報が算出できる。以上の処理を、撮影画像において繰り返し、被写体表面の法線情報を算出する。さらに、法線情報高密度化部２１１で推定された高密度法線情報を利用して被写体の法線情報を高密度化することによって、被写体の３次元形状を高密化することが可能である。こうして求めた高密度３次元形状と、パラメータ高解像度化部２１３によって高密度化されたパラメータを利用してレイトレーシングを行うことにより、高解像度な影画像の推定を行なう。

レンダリング部２１６は、拡散反射画像高解像度化部２０９が合成した高解像度拡散反射画像、鏡面反射画像高解像度化部２１４が合成した高解像度鏡面反射画像、さらには、影生成部２１５が合成した影画像を合成し、高解像度の出力画像を合成する。

以上のように、上述した光源推定方法を利用して、高解像度なデジタルズーム処理を行う。すなわち、画像の高解像度化において、光源情報は、影除去部２０５、アルベド推定部２０６、拡散反射画像高解像度化部２０９、パラメータ推定部２１０、鏡面反射画像高解像度化部２１４、影生成部２１５に必要な情報であり、非常に重要である。このため、光源情報を正確に取得することができる本発明の光源推定方法は、画像の高解像度化において非常に重要な処理である。

また、上記説明では、鏡面反射画像のみパラメータ推定を利用して高解像度化を行ったが、拡散反射画像においてもパラメータ推定を行ない、高解像度化するようにしてもかまわない。

この処理を説明する。拡散反射画像の未知パラメータは、上述のとおり、以下の２つである。
○拡散反射成分の係数k_d
○拡散反射成分の反射率（アルベド）ρ_d
そこで、これらのパラメータを推定する。図５０は拡散反射画像のパラメータ推定処理の流れを示した図である。処理は、図４５で示した鏡面反射画像のパラメータ推定部２１０の処理後、さらに以下の２段階の処理を行なう。

まず、（式４９）と鏡面反射画像のパラメータ推定で求まったk_sを利用して、次式よりk_dを推定する（ステップＳ３５３）。

さらに、（式４７）を利用して、拡散反射画像の反射率（アルベド）ρ_ｄを次式より推定する（ステップＳ３５４）。

以上の処理により、すべての未知パラメータを推定することができる。こうして求まったパラメータをパラメータ高密度化部２１３と同様の手法により高密化することによって、拡散反射画像を高解像度化すればよい。

なお、本発明の光源推定方法は、画像処理だけではなく、例えば画像の撮像に関しても有効である。例えば、偏光フィルタを利用する場合に、これを最適な角度で設置することができる。この処理を説明する。

水面やウインドガラスなどの鏡面反射光を除去するために、ＰＬフィルタと呼ばれる偏光フィルタが利用されている。しかし、偏光フィルタによる効果は、偏光フィルタの偏光軸と入射面（被写体への入射光線と反射光線を含む平面）により大きく異なる。そのため、図２８のように、回転機構により偏光フィルタ１０１６Ａを回転させながら撮像する場合、その回転角により、撮像される画像が大きく異なる。例えば、最も効果が大きくなる場合は、偏光軸が入射面と平行になる場合である。本発明における光源推定方法を利用することによって、光源の位置が既知となるため、被写体の入射面を特定することができる。そのため、推定された入射面に対して偏光フィルタが平行になるように、回転機構を制御するようにすればよい。

以上のように、本発明の光源推定方法を利用することによって、高解像度なデジタルズーム処理などの画像処理や効果的な画像撮像を行うことができる。

本発明によると、付加的な撮像装置を搭載することなく、光源画像を取得し、光源情報を推定することが可能になる。このため、例えば、カメラ付き携帯電話やデジタルカメラ、デジタルビデオカメラにおいて、画像の高解像度化などの画像処理を行うのに有用である。

本発明の第１の実施形態に係る光源推定装置の構成を示すブロック図である。 本発明の光源推定装置が搭載された携帯電話の構成を示す模式図である。 カメラ付き携帯電話が折り畳まれた状態を示す図である。 撮像装置状況判断部および光源画像取得部の処理の流れを示したフローチャートである。 撮像装置状況判断部および光源画像取得部の処理の流れを示したフローチャートである。 メモリに保持された情報の一部を示した模式図である。 ロール・ピッチ・ヨー角表現を説明するための模式図である。 光源画素の抽出処理を説明するための模式図である。 カメラ座標系と画像座標系との関係を説明するための模式図である。 撮像装置が移動することを利用して、光源の３次元位置を推定する処理を説明するための模式図である。 錘とタッチセンサを利用して光軸方向を検出する方法を説明するための模式図である。 錘とタッチセンサが搭載されたカメラ付き折り畳み式携帯電話を示す模式図である。 図１１のカメラ付き折り畳み式携帯電話が置かれた状態を示す模式図である。 光軸方向とタッチセンサのＯＮ／ＯＦＦとの関係を示す図である。 錘とタッチセンサが搭載されたデジタルスチルカメラが置かれた状態を示す模式図である。 本発明の第２の実施形態に係る光源推定装置の構成を示すブロック図である。 パノラマ光源画像の合成方法を説明するための模式図である。 複数枚の光源画像を合成することにより、みかけの視野範囲を広げる処理を示す模式図である。 投影面として直方体を利用した場合のパノラマ光源画像の合成方法を説明するための模式図である。 本発明の第３の実施形態に係る光源推定装置の構成を示すブロック図である。 本発明の第３の実施形態に係る光源推定装置が実装されたカメラ付き折り畳み式携帯電話の外観図である。 開閉スイッチを押されたときの、図２０のカメラ付き折畳式携帯電話の動きを示す模式図である。 本発明の第３の実施形態に係る光源推定装置の他の構成を示すブロック図である。 バイブレーション機構による振動角を説明するための模式図である。 本発明の第３の実施形態に係る光源推定装置の他の構成を示すブロック図である。 本発明の第４の実施形態に係る光源推定システムの構成を示すブロック図である。 画像を拡散反射画像と鏡面反射画像とに分離した例を示す図である。 本発明の一実施形態に係る画像高解像度化装置の構成を示すブロック図である。 本発明の一実施形態に係る画像高解像度化装置が搭載されたカメラ付き携帯電話を示す図である。 直線偏光光を照射した際、偏光フィルタを回転させたときの反射光強度の変化を示すグラフである。 偏光フィルタを利用した、鏡面反射画像と拡散反射画像との分離処理の流れを示すフローチャートである。 画素ごとに偏光方向が異なる撮像装置を説明するための模式図である。 照度差ステレオ法を利用して、被写体の距離や３次元位置を求める処理を説明するための模式図である。 反射光の偏光特性を利用した形状情報の取得処理を説明するための模式図である。 自然光を照射した際、偏光フィルタを回転させたときの反射光強度の変化を示すグラフである。 テキストンに基づく高解像度化処理の概念を示す模式図である。 線形マトリクス変換を利用したテキストンに基づく高解像度化処理を説明するための概念図である。 テキストンに基づく高解像度化処理における学習処理の流れを示すＰＡＤ図である。 テキストンに基づく高解像度化処理における学習処理を説明するための模式図である。 ２次元離散定常ウェーブレット変換の処理を示す図である。 ２次元離散定常ウェーブレット変換をテスト画像に実施した場合の画像結果例である。 テキストンに基づく高解像度化処理における実行時の処理の流れを示すＰＡＤ図である。 テキストンに基づく高解像度化処理における実行時の処理を説明するための模式図である。 ２次元離散定常逆ウェーブレット変換の処理を示す図である。 拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数Ｓrを説明するための模式図である。 本発明の一実施形態に係る画像高解像度化処理における鏡面反射画像のパラメータ推定処理の流れを示す図である。 入射照度を表す式の各パラメータを説明するための概念図である。 シンプレックス法によるパラメータ推定処理の流れを示すフローチャートである。 シンプレックス法におけるパラメータ更新処理の流れを示したフローチャートである。 極座標表現を説明するための模式図。 本発明の一実施形態に係る画像高解像度化処理における拡散反射画像のパラメータ推定処理の流れを示す図である。 擬似アルベドを利用した場合にメモリに保持されるデータを示す図である。

符号の説明

１０１ 撮像装置状況判断部
１０２ 光源画像取得部
１０３ 第１の撮像装置情報取得部
１０４ 第２の撮像装置情報取得部
１０５ 光源情報推定部
１０６ 光源画像合成部
２０１ 画像撮像部
２０３ 光源情報推定部
２０４ 形状情報取得部
２１７ 画像高解像度化部
１００１ 撮像装置
１０２６ バイブレーション機構（光軸方向変動手段）
１０３１ 開閉機構（光軸方向変動手段）
１１００ 通信端末
１１０１ サーバ

Claims (16)

1. 撮像装置の状況が、光源情報の取得に適しているか否かを判断する撮像装置状況判断部と、
   前記撮像装置状況判断部によって適していると判断されたとき、前記撮像装置によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部と、
   前記光源画像取得部によって光源画像が取得されたときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第１の撮像装置情報取得部と、
   撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第２の撮像装置情報取得部と、
   前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部とを備えた
   ことを特徴とする光源推定装置。
2. 請求項１において、
   前記撮像装置状況判断部は、
   前記撮像装置の光軸の方向を検出し、光軸が上方向を向いているとき、適していると判断するものである
   ことを特徴とする光源推定装置。
3. 請求項１において、
   前記光源画像取得部は、
   撮像者の操作による前記撮像装置による撮像が行われないことを確認した後に、光源画像の取得を行うものである
   ことを特徴とする光源推定装置。
4. 請求項１において、
   前記光源情報推定部は、光源の方向および位置のうち少なくともいずれか一方に加えて、光源の輝度、色、およびスペクトル情報のうち少なくともいずれか１つを推定するものである
   ことを特徴とする光源推定装置。
5. 請求項１において、
   前記光源画像取得部は、前記光源画像を、複数枚、取得するものであり、
   前記第１の撮像装置情報取得部は、前記光源画像取得部によって各光源画像が取得されたとき、それぞれ、前記第１の撮像装置情報を取得するものであり、
   前記光源推定装置は、
   前記光源画像取得部によって取得された複数の光源画像から、前記第１の撮像装置情報取得部によって取得された複数の第１の撮像装置情報を用いて、パノラマ光源画像を合成する光源画像合成部を備え、
   前記光源情報推定部は、前記パノラマ光源画像および前記第２の撮像装置情報を用いて、光源情報の推定を行う
   ことを特徴とする光源推定装置。
6. 請求項１において、
   前記撮像装置の光軸方向を変動させる光軸方向変動手段を備え、
   前記光軸方向変動手段によって前記撮像装置の光軸方向が変動している状態で、前記光源画像取得部が複数枚の光源画像の取得を行うように、構成されている
   ことを特徴とする光源推定装置。
7. 請求項６において、
   前記光源推定装置は、折り畳み式携帯電話に搭載されており、
   前記光軸方向変動手段は、前記折り畳み式携帯電話を開閉させる開閉機構である
   ことを特徴とする光源推定装置。
8. 請求項６において、
   前記光軸方向変動手段は、バイブレーション機構である
   ことを特徴とする光源推定装置。
9. 撮像装置によって撮像を行い、この撮像画像を光源画像として取得する光源画像取得部と、
   前記光源画像取得部によって光源画像が取得されたときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第１の撮像装置情報取得部と、
   撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第２の撮像装置情報取得部と、
   前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部と、
   前記撮像装置の光軸方向を変動させる光軸方向変動手段とを備え、
   前記光軸方向変動手段によって前記撮像装置の光軸方向が変動している状態で、前記光源画像取得部が複数枚の光源画像の取得を行うように、構成されている
   ことを特徴とする光源推定装置。
10. 光源情報を推定する光源推定システムであって、
    請求項１記載の撮像装置状況判断部、光源画像取得部、第１の撮像装置情報取得部、および第２の撮像装置情報取得部を有し、前記光源画像取得部によって取得された光源画像、前記第１の撮像装置情報取得部によって取得された第１の撮像装置情報、および、前記第２の撮像装置情報取得部によって取得された第２の撮像装置情報を送信する通信端末と、
    請求項１記載の光源情報推定部を有し、前記通信端末から送信された前記光源画像、並びに前記第１および第２の撮像装置情報を受信し、前記光源情報推定部に与えるサーバとを備えた
    ことを特徴とする光源推定システム。
11. 撮像装置の状況が、光源情報の取得に適しているか否かを判断する第１のステップと、
    前記第１のステップにおいて適していると判断したとき、前記撮像装置によって撮像を行い、この撮像画像を光源画像として取得する第２のステップと、
    前記第２のステップにおいて光源画像を取得したときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第３のステップと、
    撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第４のステップと、
    前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する第５のステップとを備えた
    ことを特徴とする光源推定方法。
12. 撮像装置によって撮像を行い、この撮像画像を光源画像として取得する第１のステップと、
    前記第１のステップにおいて光源画像を取得したときにおける、前記撮像装置の状況を表す第１の撮像装置情報を、取得する第２のステップと、
    撮像者の操作によって前記撮像装置による撮像が行われた撮像時における、前記撮像装置の状況を表す第２の撮像装置情報を、取得する第３のステップと、
    前記光源画像、並びに前記第１および第２の撮像装置情報を用いて、前記撮像時における、光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する第４のステップとを備え、
    前記第１のステップにおいて、光軸方向変動手段によって前記撮像装置の光軸方向を変動させ、前記撮像装置の光軸方向が変動している状態で、複数枚の光源画像の取得を行う
    ことを特徴とする光源推定方法。
13. 撮像装置によって撮像を行う画像撮像部と、
    請求項１１または１２の光源推定方法によって、被写体に照射する光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する光源情報推定部と、
    前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する形状情報取得部と、
    前記光源情報および形状情報を用いて、前記画像撮像部によって撮像された画像を高解像度化する画像高解像度化部とを備えた
    ことを特徴とする画像高解像度化装置。
14. 請求項１３において、
    前記画像高解像度化部は、前記画像撮像部によって撮像された画像を、拡散反射成分と鏡面反射成分とに分離し、分離した拡散反射成分と鏡面反射成分とを、個別に、高解像化するものである
    ことを特徴とする画像高解像度化装置。
15. 請求項１３において、
    前記画像高解像度化部は、前記画像撮像部によって撮像された画像を、パラメータに分解し、分解したパラメータを、個別に、高解像化するものである
    ことを特徴とする画像高解像度化装置。
16. 撮像装置によって撮像を行う第１のステップと、
    請求項１１または１２の光源推定方法によって、被写体に照射する光源の方向および位置のうち少なくともいずれか一方を含む光源情報を推定する第２のステップと、
    前記被写体の、表面の法線情報または３次元位置情報を、形状情報として取得する第３のステップと、
    前記光源情報および形状情報を用いて、前記第１のステップにおいて撮像した画像を高解像度化する第４のステップとを備えた
    ことを特徴とする画像高解像度化方法。

Images