JP5887267B2 - ３次元画像補間装置、３次元撮像装置および３次元画像補間方法 - Google Patents

Description

本発明は、３次元動画像のフレーム補間を行う３次元画像補間装置、３次元撮像装置および３次元画像補間方法に関する。

近年、ＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）あるいはＣＭＯＳイメージセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）等の固体撮像素子（以下、単に「撮像素子」と称する場合がある）を用いたデジタルスチルカメラあるいはデジタルビデオカメラの高機能化および高性能化には目を見張るものがある。特に半導体製造技術の進歩により、固体撮像素子における画素構造の微細化が進んでいる。

その結果、固体撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加した。さらに、撮像によって得られる画像の質も飛躍的に向上している。

一方、液晶ディスプレイあるいはプラズマディスプレイ等の薄型の表示装置により、場所を取らず、高解像度で高コントラストな画像の表示が可能となっている。このような画像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。昨今では、偏光メガネあるいは高速なシャッタを有するメガネを用いて、高画質な３次元画像を表示する３次元表示装置が開発され始めている。

３次元表示装置に表示する高画質な３次元画像あるいは３次元映像を取得するための３次元撮像装置の開発も進んでいる。３次元画像を取得し、３次元表示装置で表示を行うシンプルな方法としては、位置が異なる２つの光学系（レンズと撮像素子）を備えた撮像装置で画像あるいは映像を撮影することが考えられる。各光学系用いて撮影された画像が左目用画像および右目用画像として３次元表示装置に入力される。撮影された左目用画像および右目用画像を３次元表示装置が高速に切り替えて表示することで、メガネを着用したユーザは画像を立体的に知覚することができる。

また、複数台のカメラから構成される撮像系を用いてシーンの奥行き情報を算出し、奥行き情報とテクスチャ情報とから左目用画像および右目用画像を生成する方法がある。また、光の当たり方などシーンの幾何的あるいは光学的な条件あるいは撮像装置の光学系の条件（絞りの大きさなど）を変えて１台のカメラで撮影した複数枚の画像から奥行き情報を算出することで、左目用画像および右目用画像を生成する方法がある。

前者に関する方法としては、多数のカメラから取得される画像を同時に利用して各画素の奥行きを求める非特許文献１に記載のマルチベースラインステレオ法がある。このマルチベースラインステレオ法は、一般的な２眼ステレオに比べて高い精度でシーンの奥行きを推定できることが知られている。

一例として、カメラの台数が２台（２眼ステレオ）のときの左目用画像および右目用画像（視差画像）の生成方法について説明する。２眼ステレオでは、２台のカメラを利用して互いに異なる視点から２枚の画像が撮影され、撮影された各画像から特徴点が抽出され、特徴点間の対応関係を求めることにより対応点が特定される。このように特定された対応点間の距離が視差と呼ばれる。例えば、２台のカメラで撮影された２枚の画像において、対応する特徴点の座標（ｘ，ｙ）がそれぞれ（５、１０）、（１０、１０）であるとき、視差は５となる。ここでカメラが平行に配置されているとし、視差をｄ、２台のカメラの焦点距離をｆ、カメラ間の距離（基線長：ｂａｓｅｌｉｎｅ）をＢとすると、（式１）によりカメラから被写体までの距離が求められる。

２台のカメラ間の距離が長くなると、一方のカメラで観測される特徴点が他方のカメラでは観測できないことがある。そのような場合でも、マルチベースラインステレオ法では３台以上のカメラを利用することで対応点探索の曖昧性を減らすことができるため、視差推定の誤差が減る。

奥行きが求まれば、例えば非特許文献２記載の方法のように奥行きの情報とシーンのテクスチャとを用いて左目用画像および右目用画像を生成することが可能となる。非特許文献２記載の方法によれば、推定した奥行きと撮像装置から得られるシーンのテクスチャとを用いて、仮想カメラ位置（左目用のカメラ位置と右目用のカメラ位置）を新たな視点位置とした画像が生成できる。これにより、撮影時とは異なる視点位置の画像を得ることができる。

新たな視点位置の画像は（式２）により生成できる。ここで各記号は（式１）と同様である。奥行きを求めたカメラのｘ座標をｘｃとし、新たに生成する視点位置にあるカメラのｘ座標をｘｌ、ｘｒとする。ｘｌ、ｘｒはそれぞれ左目用および右目用のカメラ（仮想カメラ）のｘ座標である。仮想カメラ間の距離（基線長：ｂａｓｅｌｉｎｅ）をｔｘとする。

以上により、複数台のカメラを利用して奥行きを算出すれば、左目用画像および右目用画像が生成できる。

後者に関する奥行きの算出方法のうち、シーンに関する条件を変更する方法として非特許文献３に示すフォトメトリックステレオがある。照明の位置を変えて被写体を撮影した複数枚の画像が入力されたとき、被写体の画素値と照明の位置との３次元的な関係から被写体の３次元位置が求められる。また、撮像装置の光学条件を変える方法として、非特許文献４に示すＤｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法がある。この方法では、カメラの焦点距離を変えて撮影した複数枚の画像における各画素のボケの変化量とカメラの焦点距離と絞りの大きさ（開口径）とを用いてカメラから被写体までの距離（奥行き）を求めることができる。このように、シーンの奥行き情報を取得する様々な方法が古くから研究されている。とりわけＤｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法には、撮像装置を小型かつ軽量にすることができ、照明装置などの他の装置が不要であるという特徴がある。

特開平７―２６２３８２号公報 特開２０１０―１６７４３号公報

"A Multiple-baseline Stereo," IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.15, No.4, pp.353-363, 1993, M.Okutomi and T.Kanade. "Stereoscopic Image Generation Based on Depth Images for 3D TV." IEEE Trans. On Broadcasting, Vol.51, No.2, June 2005, L.Zhang and W.J.Tam. "Photometric method for determining surface orientation from multiple images." Optical Engineerings 19, I, 139-144, 1980, R.J.Woodham. "A new sense for depth of field", IEEE Transaction on Pattern Analysis and Machine Intelligence, 2, 4, pp.523-531 1987, A.P.Pentland. "Depth from Defocus: A Spatial Domain Approach," International Journal of Computer Vision, Vol.13, No.3, pp.271-294, 1994 M.Subbarao and G.Surya. "３ＤＣ安全ガイドライン"３Ｄコンソーシアム、２０１０年４月２０日改訂版.

上記のようにＤｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法を用いることで、単眼で小型のシステムによってシーンの奥行き情報を獲得することができる。しかしながら、Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法ではカメラの焦点距離を変えて２枚以上の画像を撮影する必要がある。すなわち、撮影時に、カメラの焦点距離を変えるために、レンズ（あるいは撮像素子）を前後に駆動する必要がある。そのため、１回の撮影に必要な時間は、駆動時間、および駆動後にレンズまたは撮像素子の振動が無くなるまでの時間に大きく依存する。

以上のことからＤｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法では１秒間に少数の画像しか撮影できないという課題がある。したがってＤｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法にて奥行き情報を算出しながら動画像を撮影した場合、動画像のフレームレートが低くなる。

フレームレートの低い動画像から高フレームレートの動画像を生成する方法として、２枚の画像から時間方向に補間した画像を生成することで、時間解像度を向上させる方法がある。この方法は、例えば、ディスプレイの表示を滑らかにするために時間解像度をあげる方法として利用される。

しかしながら、Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法を利用するためのボケが存在する画像を用いて時間方向の補間を行うと、ボケを含む補間画像を生成できるが、そのボケは奥行き情報を考慮していない。したがってボケを含む補間画像からはＤｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法による奥行き情報の算出をすることができない。

また、２次元画像における時間解像度を向上させる方法の延長として、Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法により個々の静止画に対して、左目用画像および右目用画像を生成した後、視点毎に画像の補間を行うことで、時間解像度を高める方法が考えられる。

しかしながら、補間により生成された左目用画像および右目用画像は、左右独立に補間がされているため３次元の幾何的な位置関係が正しいという保証がない。そのため、個々の静止画として見る場合には違和感がないが、３次元表示装置で観ると違和感のある３次元動画像になるという課題がある。

特許文献１記載の方法によれば撮影被写体の運動モデルを定義し、座標情報の補間と運動情報の補間を行う。この方法によれば２次元的な座標情報の補間のみならず３次元的な運動情報の補間を行うことができる。しかしながら、一般的なシーンでは動きが複雑でモデル化が難しいため、この方法を適用するのが難しいという課題がある。

本発明は、上記従来の課題を解決するものであって、３次元動画像のフレーム補間を高精度に行うことができる３次元画像補間装置、３次元撮像装置および３次元画像補間方法を提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る３次元画像補間装置は、３次元動画像のフレーム補間を行う３次元画像補間装置であって、前記３次元動画像に含まれる第１画像および第２画像の奥行きをそれぞれ表す第１距離画像と第２距離画像との間を補間する少なくとも１枚の補間距離画像を生成する距離画像補間部と、前記第１画像と前記第２画像との間を補間する少なくとも１枚の補間画像を生成する画像補間部と、前記補間画像に基づいて、前記補間距離画像が示す奥行きに応じた視差を有する少なくとも１組の補間視差画像を生成する補間視差画像生成部とを備える。

本構成によれば、３次元動画像のフレーム補間を行う場合に、２次元画像の補間と距離画像の補間とをそれぞれ別々に行なった後に、補間視差画像が生成される。したがって、左目用画像の補間と右目用画像の補間とを別々に行うことにより補間視差画像を生成する場合よりも、奥行き方向の補間エラーを抑制することができ、３次元動画像のフレーム補間を高精度に行うことができる。また、左目用補間画像と右目用補間画像とが、同一の補間距離画像および補間画像を利用して生成されるので、フレーム補間された３次元画像を見るユーザに対して補間に起因する不快感を与えにくいという効果も奏する。

また、前記３次元画像補間装置は、さらに、前記第１距離画像および前記第２距離画像から動きベクトルを距離動きベクトルとして算出する距離動きベクトル算出部と、前記第１画像および前記第２画像から動きベクトルを画像動きベクトルとして算出する画像動きベクトル算出部と、前記画像動きベクトルと前記距離動きベクトルとの類似性の高さを示す値であるベクトル類似度を算出するベクトル類似度算出部と、算出された前記ベクトル類似度が大きいほど数が多くなるように、補間の上限数を決定する補間画像数決定部とを備え、前記補間視差画像生成部は、決定された前記上限数以下の数の前記補間視差画像を生成することが好ましい。

この構成によれば、距離動きベクトルと画像動きベクトルとの間の類似度に応じて補間の上限数を決定することができる。距離動きベクトルと画像動きベクトルとの間の類似度が低い場合、距離動きベクトルまたは画像動きベクトルが正しく算出されていない可能性が高い。したがって、このような場合に、補間の上限数を少なくすることで、補間視差画像によって３次元動画像の画質が劣化することを抑制できる。

また、前記距離動きベクトル算出部は、第１サイズのブロック毎に前記距離動きベクトルを算出し、前記画像動きベクトル算出部は、前記第１サイズのブロック毎に前記画像動きベクトルを算出し、前記ベクトル類似度算出部は、前記第１サイズよりも大きい第２サイズのブロック毎に、前記距離動きベクトルの方向および強度のうちの少なくとも一方のヒストグラムを生成し、前記第２サイズのブロック毎に、前記画像動きベクトルの方向および強度のうちの少なくとも一方のヒストグラムを生成し、前記距離動きベクトルおよび前記画像動きベクトルの方向のヒストグラム間の類似性と、前記距離動きベクトルおよび前記画像動きベクトルの強度のヒストグラム間の類似性とのうちの少なくとも一方に基づいて前記ベクトル類似度を算出することが好ましい。

この構成によれば、動きベクトルの方向および強度のうちの少なくとも一方のヒストグラムに基づいて、ベクトル類似度を算出することができる。これにより、動きベクトルが正しく算出されていない可能性とベクトル類似度との相関度を向上させることができ、適切に補間の上限数を決定することが可能となる。

また、前記補間画像数決定部は、ユーザによって入力された前記上限数以下の数を補間数と決定し、前記補間視差画像生成部は、決定された前記補間数の前記補間視差画像を生成することが好ましい。

この構成によれば、ユーザの入力によって補間数を決定することができ、フレーム補間によってユーザに不快感を与えることを抑制することが可能となる。

また、前記３次元画像補間装置は、さらに、第１撮影画像群に含まれる互いに焦点距離が異なる複数の撮影画像間のボケの相関性に基づいて前記第１距離画像を取得し、かつ、前記第１撮影画像群よりも時間的に後の第２撮影画像群に含まれる互いに焦点距離が異なる複数の撮影画像間のボケの相関性に基づいて前記第２距離画像を取得する距離画像取得部を備えることが好ましい。

この構成によれば、互いに焦点距離が異なる複数の撮影画像を入力として用いることができるので、撮像装置の小型化に貢献することができる。

また、前記３次元画像補間装置は、さらに、前記第１撮影画像群に含まれる一の撮影画像のボケの特徴を示すボケ情報を用いて当該一の撮影画像に対して復元処理を行うことにより、第１テクスチャ画像を前記第１画像として取得し、かつ、前記第２撮影画像群に含まれる一の撮影画像のボケの特徴を示すボケ情報を用いて当該一の撮影画像に対して復元処理を行うことにより、第２テクスチャ画像を前記第２画像として取得するテクスチャ画像取得部を備えることが好ましい。

この構成によれば、テクスチャ画像に基づいて補間視差画像を生成することができる。

また、前記３次元画像補間装置は、集積回路として構成されてもよい。

また、本発明の一態様に係る３次元撮像装置は、撮像部と、上記３次元画像補間装置とを備える。

これにより、上記３次元画像補間装置と同様の効果を奏することができる。

なお、本発明は、このような３次元画像補間装置として実現することができるだけでなく、このような３次元画像補間装置が備える特徴的な構成要素の動作をステップとする３次元画像補間方法として実現することができる。また、本発明は、３次元画像補間方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の非一時的な記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

本発明によれば、３次元動画像のフレーム補間を高精度に行うことができる。

図１は、本発明の実施の形態における３次元撮像装置の全体構成を示す図である。 図２は、本発明の実施の形態における３次元画像補間部の構成を示すブロック図である。 図３は、本発明の実施の形態における３次元画像補間部の処理動作を示すフローチャートである。 図４は、本発明の実施の形態における距離画像取得部の処理動作を示すフローチャートである。 図５は、本発明の実施の形態における動きベクトル算出方法の一例を説明するための図である。 図６は、ボケ画像と全焦点画像とＰＳＦとの関係を示す図である。 図７は、本発明の実施の形態におけるボケカーネルのサイズの求め方を示す図である。 図８は、本発明の実施の形態におけるベクトル類似度算出部の処理動作を示すフローチャートである。 図９は、本発明の実施の形態における補間数の入力方法の一例を示す図である。 図１０は、本発明の実施の形態における補間距離画像および補間テクスチャ画像の生成方法を説明するための図である。 図１１は、本発明の実施の形態における視差画像生成方法を説明するための図である。 図１２は、本発明の一態様に係る３次元画像補間装置の機能構成を示すブロック図である。 図１３は、本発明の一態様に係る３次元画像補間装置の処理動作を示すフローチャートである。

以下、図面を参照しながら本発明の実施形態を説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示す。つまり、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、本発明の一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲の記載に基づいて特定される。したがって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素は、本発明の課題を達成するために必ずしも必要ではないが、より好ましい形態を構成する構成要素として説明される。

また、以下の説明において、「画像（ｉｍａｇｅ）」とは、シーンの輝度あるいは色などを２次元で表した信号あるいは情報を意味する。また、「距離画像（ｒａｎｇｅ ｉｍａｇｅ）」とは、シーンのカメラからの距離（奥行き）を２次元で表した信号または情報を意味する。また、「視差画像（ｐａｒａｌｌａｘ ｉｍａｇｅ）」とは、互いに異なる複数の視点位置に対応する複数の画像（例えば、右目用画像および左目用画像）を意味する。

図１は、本発明の実施の形態における３次元撮像装置１０の全体構成を示すブロック図である。本実施の形態の３次元撮像装置１０は、デジタル式の電子カメラであり、撮像部１００と、信号処理部２００と、表示部３００とを備える。以下に、撮像部１００、信号処理部２００および表示部３００を詳細に説明する。

撮像部１００は、シーンの画像を撮影する。シーンとは、撮像部１００によって撮影された画像に写っているもののすべてを意味し、被写体に加えて背景も含む。

図１に示すように、撮像部１００は、撮像素子１０１と、光学レンズ１０３と、フィルタ１０４と、制御部１０５と、素子駆動部１０６とを備える。

撮像素子１０１は、例えばＣＣＤイメージセンサあるいはＣＭＯＳイメージセンサ等の固体撮像素子であり、公知の半導体製造技術によって製造される。例えば、撮像素子１０１は、撮像面上に行列状に配置された複数の光感知セルを備える。

光学レンズ１０３は、撮像素子１０１の撮像面上に像を形成する。本実施の形態では、撮像部１００は、１枚の光学レンズ１０３を備えているが、複数枚の光学レンズを備えてもよい。

フィルタ１０４は、可視光を透過して、近赤外光（ＩＲ）をカットする赤外カットフィルタ４である。なお、撮像部１００は、必ずしもフィルタ１０４を備える必要はない。

制御部１０５は、撮像素子１０１を駆動するための基本信号を生成する。さらに、制御部１０５は、撮像素子１０１からの出力信号を受信して信号処理部２００に送出する。

素子駆動部１０６は、制御部１０５によって生成された基本信号に基づいて撮像素子１０１を駆動する。 なお、これらの制御部１０５および素子駆動部１０６は、例えばＣＣＤドライバなどのＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）から構成されている。

信号処理部２００は、撮像部１００から出力された信号に基づいて画像信号を生成する。図１に示すように、信号処理部２００は、メモリ２０１と、３次元画像補間部２０２と、インタフェース部２０３とを備える。

３次元画像補間部２０２は、３次元動画像のフレーム補間を行う。この３次元画像補間部２０２は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。なお、３次元画像補間部２０２の詳細については、図面を用いて後述する。

メモリ２０１は、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などによって構成される。メモリ２０１には、撮像部１００から得られた信号が記録されるとともに、３次元画像補間部２０２によって生成された画像データあるいはその圧縮画像データが一時的に記録される。これらの画像データは、インタフェース部２０３を介して、不図示の記録媒体あるいは表示部３００などに送出される。

表示部３００は、撮影条件あるいは撮影された画像などを表示する。また、表示部３００は、静電容量方式あるいは抵抗膜方式などのタッチパネルであり、ユーザからの入力を受け付ける入力部としても機能する。ユーザから入力された情報は、インタフェース部２０３を通して、信号処理部２００および撮像部１００の制御に反映される。

なお、本実施の形態の３次元撮像装置１０は、さらに、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。

図２は、本発明の実施の形態における３次元画像補間部２０２の構成を示すブロック図である。図２に示すように、３次元画像補間部２０２は、距離画像取得部４００と、距離動きベクトル算出部４０１と、画像動きベクトル算出部４０２と、ベクトル類似度算出部４０３と、補間画像数決定部４０４と、距離画像補間部４０５と、画像補間部４０６と、補間視差画像生成部４０７とを備える。

距離画像取得部４００は、第１画像および第２画像の奥行きを表す第１距離画像および第２距離画像を取得する。第１画像および第２画像は、３次元動画像に含まれる同一視点の画像であってフレーム補間の対象となる画像である。

本実施の形態では、距離画像取得部４００は、第１撮影画像群に含まれる互いに焦点距離が異なる複数の撮影画像間のボケの相関性に基づいて第１距離画像を取得する。また、距離画像取得部４００は、第２撮影画像群に含まれる互いに焦点距離が異なる複数の撮影画像間のボケの相関性に基づいて第２距離画像を取得する。

なお、第１撮影画像群および第２撮影画像群の各々は、撮像部１００によって焦点距離を変えながら撮影された複数の撮影画像を含む。また、第２撮影画像群は、第１撮影画像群よりも時間的に後の画像群である。

テクスチャ画像取得部４０８は、第１撮影画像群に含まれる一の撮影画像のボケの特徴を示すボケ情報を用いて当該一の撮影画像に対して復元処理を行うことにより、第１テクスチャ画像を第１画像として取得する。また、テクスチャ画像取得部４０８は、第２撮影画像群に含まれる一の撮影画像のボケの特徴を示すボケ情報を用いて当該一の撮影画像に対して復元処理を行うことにより、第２テクスチャ画像を第２画像として取得する。

本実施の形態において、テクスチャ画像とは、撮影画像のボケの特徴を示すボケ情報を用いて撮影画像に対して復元処理を行うことにより得られる画像である。つまり、テクスチャ画像は、撮影画像に含まれるボケを除去した画像である。すなわち、テクスチャ画像は、全ての画素で焦点が合っている画像である。

なお、必ずしも、第１画像および第２画像として第１テクスチャ画像および第２テクスチャ画像が利用される必要はない。つまり、第１画像および第２画像は、ボケを有する画像であっても構わない。この場合、３次元画像補間部２０２は、テクスチャ画像取得部４０８を備えなくてもよい。

距離動きベクトル算出部４０１は、第１距離画像および第２距離画像から動きベクトルを算出する。ここでは、このように第１距離画像および第２距離画像から算出された動きベクトルを距離動きベクトルと呼ぶ。

画像動きベクトル算出部４０２は、第１画像および第２画像から動きベクトルを算出する。ここでは、このように第１画像および第２画像から算出された動きベクトルを画像動きベクトルと呼ぶ。

ベクトル類似度算出部４０３は、距離動きベクトルと画像動きベクトルとの類似性の高さを示す値であるベクトル類似度を算出する。ベクトル類似度の算出方法の詳細は後述する。

補間画像数決定部４０４は、算出された類似度が大きいほど数が多くなるように、補間の上限数を決定する。

距離画像補間部４０５は、第１距離画像と第２距離画像との間を補間する少なくとも１枚の補間距離画像を生成する。具体的には、距離画像補間部４０５は、補間画像数決定部４０４によって決定された補間の上限数以下の数だけの補間距離画像を生成する。

画像補間部４０６は、第１画像と第２画像との間を補間する少なくとも１枚の補間画像を生成する。本実施の形態では、画像補間部４０６は、第１テクスチャ画像と第２テクスチャ画像との間を補間する少なくとも１枚の補間テクスチャ画像を生成する。

具体的には、画像補間部４０６は、補間画像数決定部４０４によって決定された補間の上限数以下の数だけ補間画像を生成する。

補間視差画像生成部４０７は、補間画像に基づいて、補間距離画像が示す奥行きに応じた視差を有する少なくとも１組の補間視差画像を生成する。本実施の形態では、補間視差画像生成部４０７は、補間画像数決定部４０４によって決定された補間の上限数以下の数の補間視差画像を生成する。

３次元画像補間部２０２は、このように補間視差画像を生成することにより、３次元動画像のフレーム補間を行う。なお、このようにフレーム補間された３次元動画像は、例えば、不図示の立体表示装置に出力される。立体表示装置は、例えば、メガネ式の立体表示方式により３次元動画像を表示する。メガネ式の立体表示方式とは、メガネ（例えば、液晶シャッタメガネまたは偏光メガネなど）を着用したユーザに対して、視差を有する左目用画像および右目用画像を表示する方式である。

なお、立体表示装置は、必ずしもメガネ式の立体表示方式により視差画像を表示する必要はなく、裸眼式の立体表示方式により視差画像を表示してもよい。裸眼式の立体表示方式は、メガネを用いない立体表示方式（例えば、パララックスバリア方式あるいはレンチキュラーレンズ方式など）である。

次に、以上のように構成された３次元画像補間部２０２の処理動作について説明する。

図３は、本発明の実施の形態における３次元画像補間部２０２の処理動作を示すフローチャートである。以下では、第１画像および第２画像が第１テクスチャ画像および第２テクスチャ画像である場合について説明する。

まず、距離画像取得部４００は、第１距離画像および第２距離画像を取得する（Ｓ１０２）。距離動きベクトル算出部４０１は、第１距離画像および第２距離画像から動きベクトル（距離動きベクトル）を算出する（Ｓ１０４）。テクスチャ画像取得部４０８は、第１テクスチャ画像および第２テクスチャ画像を取得する（Ｓ１０５）。画像動きベクトル算出部４０２は、第１テクスチャ画像および第２テクスチャ画像から動きベクトル（画像動きベクトル）を算出する（Ｓ１０６）。

ベクトル類似度算出部４０３は、距離動きベクトルと画像動きベクトルとの類似度を算出する（Ｓ１０８）。補間画像数決定部４０４は、算出された類似度が大きいほど数が多くなるように補間の上限数を決定する（Ｓ１１０）。

距離画像補間部４０５は、第１距離画像と第２距離画像との間を補間する、補間の上限数以下の数の補間距離画像を生成する（Ｓ１１２）。画像補間部４０６は、第１テクスチャ画像と第２テクスチャ画像との間を補間する、補間の上限数以下の数の補間テクスチャ画像を生成する（Ｓ１１４）。

補間視差画像生成部４０７は、補間テクスチャ画像に基づいて、対応する補間距離画像が示す奥行きに応じた視差を有する補間視差画像を生成する（Ｓ１１６）。

以上のように、補間視差画像が生成され、３次元動画像のフレーム補間が行われる。なお、ステップＳ１０２〜Ｓ１１６の処理は、補間の対象となる画像（第１テクスチャ画像および第２テクスチャ画像）を変更しながら繰り返される。

次に、図３に示した各ステップの処理の詳細を説明する。

＜距離画像取得処理（Ｓ１０２）＞
まず、ステップＳ１０２の距離画像取得処理の詳細について説明する。

本実施の形態では、距離画像取得部４００は、撮像部１００から得られる複数の撮影画像に基づいて、シーンのカメラからの距離を示す距離画像を取得する。以下では、一例として、特許文献２に記載のＤｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法により画素毎に距離を計測する方法について説明する。なお、距離画像取得部４００は、他の方法（例えば、複数台のカメラを用いたステレオ法、フォトメトリックステレオ、あるいはアクティブセンサを用いたＴＯＦ法など）により距離画像を取得しても構わない。

Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法では、まず、撮像部１００は、レンズや絞りの設定を変えることで互いにボケが異なる複数枚の画像を１つの画像群として撮影する。撮像部１００は、画像群の撮影を繰り返すことにより複数の画像群を得る。ここでは、このように得られる複数の画像群のうちの１つの画像群を第１画像群と呼び、第１画像群の時間的に次の画像群を第２画像群と呼ぶ。

以下では一例として、距離画像取得部４００が１つの画像群から１つの距離画像を取得する処理について説明する。

距離画像取得部４００は、第１画像群に含まれる複数枚の撮影画像間のボケの相関量を画素毎に算出する。距離画像取得部４００は、このボケの相関量と被写体距離との関係を予め定めた参照テーブルを画素毎に参照することで距離画像を取得する。

図４は、本発明の実施の形態における距離画像取得部４００の処理動作の一例を示すフローチャートである。具体的には、図４は、Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法による距離計測方法を示す。

まず、距離画像取得部４００は、同一のシーンが撮影された２枚の撮影画像であって焦点距離が互いに異なる２枚の撮影画像を撮像部１００から取得する（Ｓ２０２）。この２枚の撮影画像は、第１画像群に含まれるとする。なお、焦点距離は、レンズあるいは撮像素子の位置を動かすことで変更できる。

次に、距離画像取得部４００は、測距対象となる画素とその近傍領域の画素群とを含む領域をＤＦＤカーネルとして設定する（Ｓ２０４）。このＤＦＤカーネルが測距処理の対象となる。ＤＦＤカーネルのサイズや形は特に制限されるものではないが、例えば測距対象画素を中心とした１０ｘ１０の矩形領域などをＤＦＤカーネルとして設定することができる。

そして、距離画像取得部４００は、焦点距離を変えて撮影された２枚の撮影画像からＤＦＤカーネルとして設定された領域を抽出し、ＤＦＤカーネルの画素毎にボケ相関量を算出する（Ｓ２０６）。

ここで、距離画像取得部４００は、ＤＦＤカーネルに対してあらかじめ定められた重み係数を用いて、ＤＦＤカーネルの画素毎に求めたボケ相関量の重み付けを行う（Ｓ２０８）。この重み係数は、例えばＤＦＤカーネルの中心ほど値が大きく、端ほど値が小さくなる係数である。なお、ガウス分布など既存の重み分布を重み係数として利用しても構わない。この重み付け処理によりノイズの影響にロバストになるという特徴がある。重み付けされたボケ相関量の和は、ＤＦＤカーネルのボケ相関量として扱われる。

最後に、距離画像取得部４００は、距離とボケ相関量との関係を示すルックアップテーブルを用いてボケ相関量から距離を求める（Ｓ２１０）。ルックアップテーブルでは、ボケ相関量は、被写体距離の逆数に対して線形な関係を有する（ルックアップテーブル算出処理は非特許文献５参照）。なお、対応するボケ相関量がルックアップテーブルに含まれてなければ、距離画像取得部４００は、補間によって被写体距離を求めればよい。また、光学系が変わればルックアップテーブルも変えることが好ましい。そこで、距離画像取得部４００は、絞りの大きさや焦点距離に応じて複数のルックアップテーブルを用意しておいても構わない。これらの光学系の設定情報は撮像時に既知のため、使用するルックアップテーブルは事前に求めておくことが可能である。

次にボケ相関量算出方法について説明する。

互いに異なる焦点距離で撮影された２枚の撮影画像を画像Ｇ１、Ｇ２とする。距離画像取得部４００は、被写体距離を測定する測距対象画素を選び、その測距対象画素の近傍Ｍ×Ｍ矩形領域の画素値をＤＦＤカーネルとして画像Ｇ１、Ｇ２にそれぞれ設定する。画像Ｇ１、Ｇ２それぞれにおけるＤＦＤカーネル内の画素値をｇ１（ｕ，ｖ）、ｇ２（ｕ，ｖ）｛ｕ，ｖ：１，２，３，・・・Ｍ｝、測距対象画素の座標を（ｃｕ，ｃｖ）とする。ＤＦＤカーネル内の任意の画素位置（ｕ，ｖ）における画素毎のボケ相関量Ｇ（ｕ，ｖ）は、（式３）で表される。

ここでＣは定数であり、実験的に決められる。Δは画素値の２次微分（ラプラシアン）を表す。このように、画素毎のボケ相関量は、ボケの異なる２枚の画像において所定画素の画素値の差分を２つの画像の所定画素での２次微分の平均値で除算することにより算出される。このボケ相関量は、画像内の画素単位でのボケの相関の程度を表す。

以上までの処理によって、距離画像取得部４００は、撮影画像群に対して、カメラから被写体までの距離を表す距離画像を取得する。つまり、距離画像取得部４００は、第１撮影画像群に含まれる互いに焦点距離が異なる複数の撮影画像間のボケの相関性に基づいて第１距離画像を取得する。さらに、距離画像取得部４００は、第１撮影画像群よりも時間的に後の第２撮影画像群に含まれる互いに焦点距離が異なる複数の撮影画像間のボケの相関性に基づいて第２距離画像を取得する。

なお、距離画像取得部４００は、必ずしも以上のような処理を行って距離画像を取得する必要はない。例えば、距離画像取得部４００は、距離センサを有する撮像部１００によって生成された距離画像を単に取得するだけでもよい。

＜距離動きベクトル算出処理（Ｓ１０４）＞
次に、ステップＳ１０４の距離動きベクトル算出処理の詳細を説明する。

距離動きベクトル算出部４０１は、第１距離画像および第２距離画像から動きベクトルを算出する。

具体的には、距離動きベクトル算出部４０１は、まず、第１距離画像および第２距離画像の画素毎に対応点を求める。そして、距離動きベクトル算出部４０１は、対応点を結ぶベクトルを動きベクトルとして算出する。動きベクトルは、画像間の画素毎の移動量と移動方向を表す。動きベクトルについて図５を用いて説明する。

図５の（ａ）は、時刻ｔの距離画像（第１距離画像）と時刻ｔ＋１の距離画像（第２距離画像）を示す。図５の（ａ）では、時刻ｔの画素Ａに対応する画素を時刻ｔ＋１の画像から探索することにより、画素Ａと画素Ｂとが対応点として求められている。

ここで、対応する画素の探索方法について述べる。まず、距離動きベクトル算出部４０１は、時刻ｔ＋１の距離画像において、画素Ａに対応する画素を探索するために、画素Ａに対応する領域と、探索領域に含まれる画素に対応する領域との相関値を算出する。相関値は、例えば、ＳＡＤ（Ｓｕｍ Ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）あるいはＳＳＤ（Ｓｕｍ Ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ））を用いて算出される。

探索領域は、例えば、図４の（ａ）の時刻ｔ＋１の距離画像において点線枠で示されている。なお、シーン中の物体の動きが速い場合あるいは時刻ｔと時刻ｔ＋１の間隔が広い場合には、探索領域のサイズは大きく設定されればよい。また、シーン中の物体の動きが遅い場合あるいは時刻ｔと時刻ｔ＋１の間隔が狭い場合には、探索領域のサイズは小さい設定されればよい。

ＳＡＤおよびＳＳＤを用いて相関値を算出するための（式４）を以下に示す。

ここで、Ｉ１（ｕ，ｖ）は、時刻ｔの画像Ｉ１における画素（ｕ，ｖ）の画素値を表す。Ｉ２（ｕ，ｖ）は、時刻ｔ＋１の画像Ｉ２における画素（ｕ，ｖ）の画素値を表す。距離動きベクトル算出部４０１は、画像Ｉ１の画素（ｉ１，ｊ１）を基準とするＮ×Ｍ画素の領域に類似する領域を探索するために、（式４）を用いて、画像Ｉ１の画素（ｉ１，ｊ１）を基準とするＮ×Ｍ画素の領域と、画像Ｉ２の画素（ｉ２，ｊ２）を基準とするＮ×Ｍ画素の領域との相関値を求める。ｃｏｒｓａｄは、ＳＡＤで求めた相関値であり、ｃｏｒｓｓｄは、ＳＳＤで求めた相関値であるが、どちらが相関値として利用されても構わない。なお、ｃｏｒｓａｄおよびｃｏｒｓｓｄでは、相関性が高いほど値が小さくなる。

距離動きベクトル算出部４０１は、探索領域内で画素（ｉ２，ｊ２）を変えながら相関値を算出する。距離動きベクトル算出部４０１は、このように算出された相関値の中で最小となる相関値が算出された画素（ｉ２，ｊ２）を画素Ａに対応する画素と決定する。

ここでは、２枚の画像間において照明の変動あるいはコントラストの変動が小さいと仮定して、ＳＡＤ、ＳＤＤを用いて相関値を算出する方法を説明した。なお、２枚の画像間において照明の変動あるいはコントラストの変動が大きい場合には、例えば正規化相互相関法を用いて相関値を算出することが好ましい。これにより、さらにロバストに対応点を探索することが可能になる。

距離動きベクトル算出部４０１は、以上までの処理を全ての画素について行うことにより、２枚の距離画像の各画素において動きベクトルを求めることができる。なお、動きベクトルを求めた後にメディアンフィルタなどのノイズ除去処理が行なわれても構わない。

なお、動きベクトルは、必ずしも画素毎に算出される必要はない。例えば、距離動きベクトル算出部４０１は、画像を分割して得られる第１サイズのブロック毎に距離動きベクトルを算出しても構わない。この場合、画素毎に動きベクトルを算出する場合よりも、動きベクトルの算出するための負荷を軽減することができる。

＜テクスチャ画像取得処理（Ｓ１０５）＞
次に、ステップＳ１０５のテクスチャ画像取得処理の詳細を説明する。

本実施の形態では、テクスチャ画像取得部４０８は、まず、第１画像群と第１距離画像とを用いて第１テクスチャ画像を算出する。さらに、テクスチャ画像取得部４０８は、第２画像群と第２距離画像とを用いて第２テクスチャ画像を算出する。

具体的には、テクスチャ画像取得部４０８は、第１撮影画像群に含まれる一の撮影画像のボケの特徴を示すボケ情報を用いて当該一の撮影画像に対して復元処理を行うことにより、第１テクスチャ画像を取得する。さらに、テクスチャ画像取得部４０８は、第２撮影画像群に含まれる一の撮影画像のボケの特徴を示すボケ情報を用いて当該一の撮影画像に対して復元処理を行うことにより、第２テクスチャ画像を取得する。

以下にこれらの処理の詳細を、図面を参照しながら説明する。

まず、テクスチャ画像の算出方法について述べる。本実施の形態で示すテクスチャ画像とは、Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法により得られる距離画像を用いて、撮影画像に含まれるボケを除去した画像である。つまり、テクスチャ画像は、全ての画素で焦点が合っている画像（全焦点画像）である。

まず、撮影画像からテクスチャ画像を生成する方法について説明する。本実施の形態では、テクスチャ画像取得部４０８は、距離画像とレンズの公式とを用いて、各画素のボケの大きさを示すボケ情報（ボケカーネル）を算出する。

テクスチャ画像取得部４０８は、撮影画像の各画素に対してボケカーネルを用いて逆畳み込み演算（復元処理）を行うことで、全ての画素で焦点が合ったテクスチャ画像（全焦点画像）を生成する。

以上の処理を説明するために、まず画像のボケの生成過程について説明する。ボケのない全焦点画像の輝度分布をｓ（ｘ，ｙ）とし、ボケの大きさを表すボケ関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）をｆ（ｘ，ｙ）とする。ここでは説明を簡単にするため画像全体が一様なボケ関数ｆでボケが生じていると仮定する。ノイズの影響を無視すれば以下の（式５）が成り立つ。

ここで、記号「＊」は、畳み込み演算（コンボリューション）を示している。図６は、（式５）を画像で表現した例である。図６のように全焦点画像が点で与えられるとき、円形状のボケ関数（詳細は後で定義する）で畳み込まれることによりボケ画像ｉ（ｘ，ｙ）が得られる。このボケ関数をボケカーネルとも呼ぶ。ボケ関数の円の直径をカーネルサイズという。

（式５）の右辺は、一般に、以下の（式６）で表される。

画像が、Ｍ×Ｎ個の画素からなる場合、上記の（式６）は、以下の（式７）で表すことができる。

一般に、２つの関数の畳み込みのフーリエ変換は、各関数のフーリエ変換の積によって表される。このため、ｉ（ｘ，ｙ）、ｓ（ｘ，ｙ）、ｆ（ｘ，ｙ）のフーリエ変換を、それぞれ、Ｉ（ｕ，ｖ）、Ｓ（ｕ，ｖ）、Ｆ（ｕ，ｖ）で表すと、（式５）から、以下の（式８）が導かれる。なお、（ｕ，ｖ）は、周波数領域における座標であり、それぞれ、実画像におけるｘ方向およびｙ方向の空間周波数に対応している。

ここで、記号「・」は、周波数領域における関数の「積」を示している。（式８）を変形すると、以下の（式９）が得られる。

この（式９）は、カメラ撮影によって得られた画像ｉ（ｘ，ｙ）のフーリエ変換Ｉ（ｕ，ｖ）を、ボケ関数ＰＳＦであるｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）で除算して得られた関数が、全焦点画像ｓ（ｘ，ｙ）のフーリエ変換Ｓ（ｕ，ｖ）に相当することを示している。

以上のことから、各画素のボケ関数ＰＳＦであるｆ（ｘ，ｙ）が分かれば、撮影画像ｉ（ｘ，ｙ）から全焦点画像ｓ（ｘ，ｙ）を求めることができる。

そこで、各画素のボケ関数ＰＳＦの求め方の一例について説明する。図７にレンズの模式図を示す。カメラからの距離がｄである被写体を撮影しているときのボケカーネルのサイズをＢ、撮像面までの距離をＣとする。カメラの設定条件から絞りの直径（開口径）Ａと焦点距離ｆとは既知である。このとき、開口径Ａと焦点距離ｆとの関係、および、ボケカーネルＢと撮像面までの距離Ｃおよび焦点距離ｆの差との関係は、相似するので、（式１０）が得られる。

（式１０）よりボケカーネルのサイズＢは（式１１）で表される。

ここでレンズの公式より（式１２）が得られる。

カメラから被写体までの距離ｄと焦点距離ｆは既知であるため、（式１２）を用いると（式１１）は（式１３）のように変形できる。

テクスチャ画像取得部４０８は、この（式１３）によりボケカーネルのサイズＢを求めることができる。ボケカーネルのサイズＢが決まればボケ関数ｆ（ｘ，ｙ）が得られる。本実施の形態では、ボケカーネルをピルボックス関数で定義する。ピルボックス関数は（式１４）で定義できる。

以上の方法により、テクスチャ画像取得部４０８は、各画素のボケカーネルを求めて、ボケ関数を得る。そして、テクスチャ画像取得部４０８は、（式１０）により、ボケ関数を用いて撮影画像に対して逆畳み込み演算を行うことでテクスチャ画像を生成する。

テクスチャ画像取得部４０８は、このテクスチャ画像を、時刻ｔに撮影された第１撮影画像群と時刻ｔ＋１に撮影された第２撮影画像群とのそれぞれから算出することにより、第１テクスチャ画像と第２テクスチャ画像とを取得する。

＜画像動きベクトル算出処理（Ｓ１０６）＞
次に、ステップＳ１０６の画像動きベクトル算出処理について説明する。

画像動きベクトル算出部４０２は、第１テクスチャ画像と第２テクスチャ画像とから動きベクトル（画像動きベクトル）を算出する。

なお、第１テクスチャ画像と第２テクスチャベクトルとから動きベクトルを算出する処理の詳細は、距離動きベクトル算出処理と同様であるので説明を省略する。

＜ベクトル類似度算出処理（Ｓ１０８）＞
次に、ステップＳ１０８のベクトル類似度算出処理の詳細について説明する。

ベクトル類似度算出部４０３は、距離動きベクトル算出部４０１によって算出された距離動きベクトルと、画像動きベクトル算出部４０２によって算出された画像動きベクトルとのベクトル類似度を算出する。

まず、ベクトル類似度を算出する理由について説明する。２つの動きベクトルが類似していないということは、被写体が距離画像とテクスチャ画像とで異なる動きをすることを意味する。しかしながら、同一の被写体であれば、本来、距離画像とテクスチャ画像とにおいて被写体は類似する動きをすると考えられる。

したがって、２つの動きベクトルが類似していなければ、２つの動きベクトルに基づいて生成される補間距離画像と補間テクスチャ画像とから生成される補間視差画像は、シーンの奥行きを正しく表現していない可能性が高い。その結果、このような補間視差画像によってフレーム補間された３次元動画像を３次元表示装置で表示しても、ユーザは、シーンの奥行き感を正しく視認することができない。

特に、距離画像間の対応点が正しく求められずに、距離動きベクトルが正しく算出されない場合、現実にはありえない奥行き感を有するシーンが３次元表示装置で表示される。そのような３次元動画では、例えば、本来はゆっくりと移動している１つの被写体が、手前や奥に激しく移動してしまう場合がある。このとき、予想される被写体の動きと３次元動画像から視認される被写体の動きとが大きく異なるため、ユーザは、３Ｄ酔いをする可能性が高くなる。

そこで、そのような距離画像の動きベクトル算出の失敗を検出するために、本実施の形態では、距離画像の動きベクトルとテクスチャ画像の動きベクトルとの類似度が利用される。距離画像とテクスチャ画像とは、互いに異なる情報（距離およびテクスチャ）を画像として表しているが、シーンに含まれる物体の動きによって発生する画像領域の動きの方向は類似しているという特徴を持つ。

したがって、２つの動きベクトルの確からしさは、２つの動きベクトルの類似度によって定義することができる。すなわち、距離画像の動きベクトルとテクスチャ画像の動きベクトルとが類似していないときは、距離画像の動きベクトルとテクスチャ画像の動きベクトルとのうちの少なくとも一方が正しく算出されていない可能性が高い。したがって、動きベクトルを用いて正しく補間テクスチャ画像または補間距離画像を生成できない可能性が高い。そこで、このような場合には、生成する補間画像の数を制限することで、３次元表示装置において低いフレームレートで３次元動画像が表示される。これにより、シーンの奥行きが急激に変化することによって生じる３Ｄ酔いを抑制することができる。

距離画像の動きベクトルとテクスチャ画像の動きベクトルとの類似度の算出方法について図８を用いて説明する。図８は、本発明の実施の形態におけるベクトル類似度算出部４０３の処理動作を示すフローチャートである。

まず、ベクトル類似度算出部４０３は、距離画像とテクスチャ画像とをそれぞれ複数のブロック（例えば、Ｎ×Ｍの矩形領域：Ｎ、Ｍは１以上の整数）に分割する（Ｓ３０２）。このブロックのサイズは、動きベクトルが算出されるブロックのサイズよりも大きい。つまり、動きベクトルが第１サイズのブロック毎に算出されている場合、ベクトル類似度算出部４０３は、第１サイズよりも大きい第２サイズのブロックに分割する。

次に、ベクトル類似度算出部４０３は、ブロック毎に、方向ヒストグラムと強度ヒストグラムとを作成する（Ｓ３０４）。ベクトル類似度算出部４０３は、これらのヒストグラムを用いてブロック毎に類似度を算出する（Ｓ３０６）。最後に、ベクトル類似度算出部４０３は、ブロック毎に求めた類似度の平均値を算出する（Ｓ３０８）。

ここで、動きベクトルをヒストグラムで表記する方法について説明する。動きベクトルは、２次元空間上のベクトルである。そのため、動きベクトルの方向ｄｉｒと強度ｐｏｗは（式１５）で算出できる。

まず、動きベクトルの方向ヒストグラムを生成する方法について述べる。（式１５）で得られる動きベクトルの方向ｄｉｒの値の範囲は、０〜３５９度である。そこで、ベクトル類似度算出部４０３は、ブロック毎に、（式１５）を用いて、当該ブロック内の各画素の動きベクトルの方向ｄｉｒを算出する。そして、ベクトル類似度算出部４０３は、算出された各画素の動きベクトルの方向ｄｉｒの頻度を、０〜３５９度の角度毎に算出することにより、各ブロックの動きベクトルの方向ヒストグラムを生成する。

具体的には、ベクトル類似度算出部４０３は、ブロック内の全ての画素の動きベクトルに対して（式１６）を適用する。ここで動きベクトルを（ｘｖｅｃ，ｙｖｅｃ）と表す。ブロック内の１つの画素の動きベクトルが選択されると、ｘｖｅｃおよびｙｖｅｃの値を用いて、選択された動きベクトルの方向が算出される。

ここでｄｉｒｅｃｔｉｏｎ＿ｈｉｓｔは３６０個の記憶領域を持つ配列である。この配列の全ての要素の初期値は０である。（式１６）に示す関数ｆは、ラジアンから度数に値を変換する関数である。関数ｆでは、小数点以下の値は四捨五入（あるいは切り捨て）される。この関数ｆにより得られる方向を示す０から３５９までの値をｄｉｒｅｃｔｉｏｎ＿ｈｉｓｔの引数として、その引数に対応する配列の要素の値を１だけ加算する。これにより、ブロック内の動きベクトルの方向ヒストグラムが得られる。

次に、動きベクトルの強度ヒストグラムを生成する方法について述べる。（式１５）により得られる動きベクトルの強度ｐｏｗの最大値は、動きベクトルの長さの最大値である。すなわち、動きベクトルの強度ｐｏｗの最大値は、時刻ｔの画像と時刻ｔ＋１の画像との対応点の探索範囲の最大値と一致する。したがって、動きベクトルの強度ｐｏｗの最大値は、（式４）に示す時刻ｔの画像の画素（ｉ１，ｊ１）と時刻ｔ＋１の画像の画素（ｉ２，ｊ２）との距離の最大値と一致する。

この探索範囲は、撮影するシーンに応じて決定されてもよいし、撮像装置毎に決定されてもよい。また、ユーザが撮影する際に探索範囲を設定してもよい。探索範囲の最大値をｐｏｗｍａｘとすると、動きベクトルの強度が取りうる範囲は０〜ｐｏｗｍａｘとなる。

ベクトル類似度算出部４０３は、ブロック内の全ての画素の動きベクトルに対して（式１７）を適用することで、動きベクトルの強度ヒストグラムを生成する。ここでｐｏｗｅｒ＿ｈｉｓｔはｐｏｗｍａｘ＋１個の記憶領域を持つ配列である。この配列の全ての要素の初期値は０である。

ブロック内の１つの画素の動きベクトルが選択されると、（式１５）により、選択された動きベクトルの強度が算出される。（式１７）に示す関数ｇは、算出した動きベクトルの強度の小数点以下の値を四捨五入（あるいは切り捨て）するための関数である。この関数ｇにより得られる強度を示す０からｐｏｗｍａｘまでの値をｐｏｗｅｒ＿ｈｉｓｔの引数として、その引数に対応する配列の要素の値を１だけ加算する。これにより、ブロック内の動きベクトルの強度ヒストグラムが得られる。

次に、以上により得られる動きベクトルの方向ヒストグラムと強度ヒストグラムとからブロックの類似度を求める方法を示す。距離画像の方向ヒストグラムと強度ヒストグラムとをそれぞれｄ＿ｄｉｒｅｃｔｉｏｎ＿ｈｉｓｔ、ｄ＿ｐｏｗｅｒ＿ｈｉｓｔとする。同様に、テクスチャ画像の方向ヒストグラムと強度ヒストグラムとをそれぞれｔ＿ｄｉｒｅｃｔｉｏｎ＿ｈｉｓｔ、ｔ＿ｐｏｗｅｒ＿ｈｉｓｔとする。ブロック内の画素数（動きベクトルの数）をＮ×Ｍとする。このとき、ベクトル類似度算出部４０３は、方向ヒストグラムのヒストグラム相関値と強度ヒストグラムのヒストグラム相関値とを（式１８）に従って算出する。

（式１８）においてｄｉｒｃｏｒは方向ヒストグラムの相関値、ｐｏｗｃｏｒは強度ヒストグラムの相関値であり、関数ｍｉｎは２つの引数のうち小さい値を返す関数である。ヒストグラムの形状が類似するほど、ヒストグラムの相関値（ｄｉｒｃｏｒとｐｏｗｃｏｒ）が１に近くなり、ヒストグラムの形状が異なるほどヒストグラムの相関値が０に近くなる。

ベクトル類似度算出部４０３は、以上の方法で算出されるヒストグラムの相関値をブロック毎に算出する。そして、ベクトル類似度算出部４０３は、ブロック毎に算出された相関値の平均値を類似度と決定する。ヒストグラム相関値は０〜１までの範囲をとっているため、その平均値である類似度も０〜１の範囲をとる。したがって、類似度が、距離画像の動きベクトルとテクスチャ画像の動きベクトルとが類似している割合を示す。

以上のように、ベクトル類似度算出部４０３は、ブロック毎に、距離動きベクトルの方向ヒストグラムおよび強度ヒストグラムを生成する。さらに、ベクトル類似度算出部４０３は、ブロック毎に、画像動きベクトルの方向ヒストグラムおよび強度ヒストグラムを生成する。そして、ベクトル類似度算出部４０３は、距離動きベクトルおよび画像動きベクトルの方向ヒストグラム間の類似性と、距離動きベクトルおよび画像動きベクトルの強度ヒストグラム間の類似性とに基づいてベクトル類似度を算出する。

なお、ベクトル類似度算出部４０３は、必ずしも方向ヒストグラムおよび強度ヒストグラムの両方の類似度に基づいてベクトル類似度を算出する必要はない。つまり、ベクトル類似度算出部４０３は、方向ヒストグラムおよび強度ヒストグラムのうちの一方の類似度に基づいてベクトル類似度を算出してもよい。この場合、方向ヒストグラムおよび強度ヒストグラムのうちの他方は生成される必要はない。

また、ベクトル類似度算出部４０３は、ヒストグラムを用いてベクトル類似度を算出する必要はない。例えば、ベクトル類似度算出部４０３は、平均ベクトルの方向および強度を比較することによりベクトル類似度を算出してもよい。

＜補間画像数決定処理（Ｓ１１０）＞
次に、ステップＳ１１０の補間画像数決定処理について説明する。

補間画像数決定部４０４は、ベクトル類似度に基づいて、補間の上限数を決定する。上述したように、動きベクトルが正しく算出されていない場合、補間視差画像が多ければ、３次元動画像の画質が劣化するだけでなく、ユーザに３Ｄ酔いを引き起こすなどの問題がある。そこで、本実施の形態では、ベクトル類似度を動きベクトルの精度とみなし、ベクトル類似度が低い場合に補間視差画像の生成数を少なくなるように補間の上限数を決定する。これにより、動きベクトルが正しく算出できていない場合であっても、フレーム補間された３次元動画像を見た人に与える悪影響（例えば３Ｄ酔い等）を抑制することができる。

以下に、動きベクトルの類似度に基づいた補間の上限数の決定方法について説明する。補間画像数決定部４０４は、ベクトル類似度に対応する補間の上限数Ｎｕｍを、（式１９）を用いて決定する。

ここで、Ｆは予め定められた固定値であり、Ｓｉｍはベクトル類似度である。例えば、Ｆが３０の場合に、ベクトル類似度Ｓｉｍが０．５であれば、時刻ｔと時刻ｔ＋１との間に補間可能な補間視差画像の上限数は１５と決定される。

また、補間画像数決定部４０４は、ユーザによって入力された、補間の上限数以下の数を、補間数と決定してもよい。例えば上限数が１５の場合、ユーザは、０から１５の範囲の数を補間数として入力すればよい。

例えば、図９に示すように、タッチパネル（表示部３００）上に、０から１５の範囲の数の入力を受け付けるためのスライドバーが表示される。ユーザは、タッチパネル上に表示されたスライドバーをタッチ操作により移動させることで、上限数以下の数を入力する。

つまり、ユーザは、カメラ背面の表示部３００を見ながら補間数を設定することができる。このような構成にすることで、ユーザは、後述する補間視差画像生成処理によって生成される補間視差画像によってフレーム補間された３次元動画像を確認しながら補間数を調整することができる。

したがって、ユーザは、直感的に酔いの少ない３次元動画像を得るための補間数を入力することができる。つまり、フレーム補間によってユーザに不快感を与えることを抑制することが可能となる。なお、例示したようなタッチパネルでなく、それ以外の入力装置により補間数の入力が受け付けられても構わない。

なお、補間画像数決定部４０４は、必ずしもユーザによって入力された数を補間数と決定する必要はない。例えば、補間画像数決定部４０４は、上限数をそのまま補間数と決定してもよい。

なお、非特許文献６には、３次元動画像の酔いに関する直接の実験結果は示されていないが、２Ｄ動画像の酔いに関する実験結果が示されている。また、非特許文献６には、映像酔いあるいは眼の疲れに影響を及ぼすため、カメラの撮影について左右の像の大きさ、回転、色などのずれがないように正確にカメラのパラメータなどを設定する旨が記載されている。

そして、立体視の得意な人、苦手な人が存在しており、疲れる人などの個人差があることも記載されている。このことから補間視差画像のエラーによる３Ｄ酔いが必ず発生しないように補間数を決定することは難しい。そこで、補間視差画像の数は標準では小さな値にしておき、図９に示すような値を指定するユーザインターフェースによって補間数が調整されることが望ましい。

＜補間距離画像生成処理（Ｓ１１２）、補間テクスチャ画像生成処理（Ｓ１１４）＞
次に、ステップＳ１１２の補間距離画像生成処理と、ステップＳ１１４の補間テクスチャ画像生成処理とについて詳細に説明する。

距離画像補間部４０５と画像補間部４０６は、動きベクトルを用いて、補間画像数決定部４０４で決定された補間の上限数以下の数だけ補間距離画像および補間テクスチャ画像を生成する。

ここで、時刻ｔの画像Ｉ１の画素（ｕ，ｖ）の動きベクトルが（ｖｘ，ｖｙ）であるとする。このとき画像Ｉ１の画素（ｕ，ｖ）に対応する、画像Ｉ２の画素は、画素（ｕ＋ｖｘ，ｕ＋ｖｙ）である。

以下に、補間数をＮｕｍとした場合の線形補間による距離画像およびテクスチャ画像の補間方法について説明する。

図９は、本発明の実施の形態における距離画像およびテクスチャ画像の補間方法説明するための図である。図９では、時刻ｔの距離画像およびテクスチャ画像と時刻ｔ＋１の距離画像およびテクスチャ画像との間を補間する補間距離画像および補間テクスチャ画像が生成される。

補間数Ｎｕｍ＝２の場合、図９の（ａ）に示すように、時刻ｔと時刻ｔ＋１の間は３分割され、時刻ｔ＋１／３の第１補間距離画像と時刻ｔ＋２／３の第２補間距離画像が生成される。第１補間距離画像を構成する画素（以下、「第１補間画素」という）と第２補間距離画像を構成する画素（以下、「第２補間画素」という）とは、第１距離画像の画素（ｕ，ｖ）と第２距離画像の画素（ｕ＋ｖｘ，ｖ＋ｖｙ）との内分点となる。したがって、第１補間画素は（ｕ＋ｖｘ／３，ｖ＋ｖｙ／３）となり、第２補間画素は（ｕ＋ｖｘ＊２／３，ｖ＋ｖｙ＊２／３）となる。

ここで、第１距離画像の画素（ｕ，ｖ）の画素値をＤｅｐｔｈ（ｕ，ｖ）と表し、第２距離画像の画素（ｕ，ｖ）の画素値をＤｅｐｔｈ’（ｕ，ｖ）と表す。このとき、第１補間画素（ｕ＋ｖｘ／３，ｖ＋ｖｙ／３）の画素値は、Ｄｅｐｔｈ（ｕ，ｖ）＊２／３＋Ｄｅｐｔｈ’（ｕ＋ｖｘ，ｖ＋ｖｙ）／３となる。また、第２補間画素の画素値はＤｅｐｔｈ（ｕ，ｖ）／３＋Ｄｅｐｔｈ’（ｕ＋ｖｘ，ｖ＋ｖｙ）＊２／３となる。

以上のような線形補間によって、補間距離画像が生成される。なお、上記と同様の方法で補間テクスチャ画像も生成されるので、説明を省略する。

以上の処理を一般化すると（式２０）、（式２１）になる。ここで時刻ｔの画素の座標を（ｕ，ｖ）とし、動きベクトルを（ｖｘ，ｖｙ）、補間数をＮｕｍとする。また、ｊは１以上Ｎｕｍ以下の整数である。ｊ番目の補間画像の画素の座標は（式２０）で算出される。

ｊ番目の補間画像の画素値の算出式を（式２１）に示す。ここでＩ（ｕ，ｖ）は時刻ｔの画素（ｕ，ｖ）の画素値であり、Ｉ’（ｕ，ｖ）は時刻ｔ＋１の画素（ｕ，ｖ）の画素値である。

以上により定義される式によりｊ番目の補間画像を生成することができる。

＜補間視差画像生成処理（Ｓ１１６）＞
最後に、ステップＳ１１６の補間視差画像生成処理の詳細について説明する。

補間視差画像生成部４０７は、補間距離画像と補間テクスチャ画像とから補間視差画像（ここでいう視差画像とは左目用と右目用の２枚の画像を指す）を生成する。ここでは、補間テクスチャ画像と補間距離画像とから左目用の補間画像を生成する方法について説明する。

図１１は、本発明の実施の形態における補間視差画像の生成方法を説明するための図である。具体的には、図１１は、補間距離画像と補間テクスチャ画像の視点と生成する左目用画像の視点から見たときの被写体までの距離と画像上の座標との関係を示す。図１１内の記号の意味は以下の通りである。

Ａ：距離計測位置
Ｂ：左視差位置
Ｃ、Ｄ：被写体
Ｅ：左視差位置の光軸
Ｇ、Ｉ：被写体Ｃ、Ｄの左目用カメラでの撮影位置
ｆ：距離計測位置の焦点距離
ｄ：ＡとＢの距離
Ｚ、Ｚ’：Ｃ、Ｄまでの距離
Ｘ１、Ｘ２：撮影画像上の座標

補間テクスチャ画像の画素（ｕ，ｖ）に対応する左目用補間画像の画素がわかれば、画素（ｕ，ｖ）の画素値を左目用補間画像の対応する画素にコピーすることで左目用画像を作ることができる。図１１において焦点距離ｆとカメラから被写体までの距離Ｚ、Ｚ’は既知である。また距離ｄはあらかじめ視差画像を生成する際に任意に設定可能な値なので既知である。ここで、三角形ＡＢＣと三角形ＥＩＢ、及び、三角形ＡＢＤとＥＧＢがそれぞれ相似しているので、（式２２）が得られる。

（式２２）を式変形をすると、（式２３）が得られる。

このことから、補間距離画像が示す距離がＺのときは補間テクスチャ画像の画素（ｕ，ｖ）は左目用補間画像の画素（ｕ−Ｘ１，ｖ）に対応する。そこで、補間テクスチャ画像の画素（ｕ，ｖ）の画素値を左目用補間画像の画素（ｕ−Ｘ１，ｖ）にコピーすることで、左目用補間画像が生成される。同様に、補間距離画像が示す距離がＺ’の場合は、補間テクスチャ画像の画素（ｕ，ｖ）の画素値を左目用補間画像の画素（ｕ−Ｘ２，ｖ）にコピーすればよい。

補間視差画像生成部４０７は、以上の処理を補間距離画像に含まれる全ての画素に対して行うことで、左目用補間画像を生成できる。右目用補間画像は、左目用補間画像と左右反対の位置に画素値をコピーすることで生成される。先程の例で説明すると、左目用補間画像の画素（ｕ−Ｘ１，ｖ）に対応する右目用補間画像の画素は、画素（ｕ＋Ｘ１，ｖ）となる。以上により、補間視差画像生成部４０７は、左目用補間画像と右目用補間画像とを生成することができる。なお、補間視差画像生成部４０７は、補間視差画像に加えて視差画像を生成してもよい。

以上のように、本実施の形態に係る３次元撮像装置によれば、３次元動画像のフレーム補間を行う場合に、２次元画像の補間と距離画像の補間とをそれぞれ別々に行なった後に、補間視差画像が生成される。したがって、左目用画像の補間と右目用画像の補間とを別々に行うことにより補間視差画像を生成する場合よりも、奥行き方向の補間エラーを抑制することができ、３次元動画像のフレーム補間を高精度に行うことができる。また、左目用補間画像と右目用補間画像とが、同一の補間距離画像および補間画像を利用して生成されるので、フレーム補間された３次元画像を見るユーザに対して補間に起因する不快感を与えにくいという効果も奏する。

また、本実施の形態に係る３次元撮像装置によれば、距離動きベクトルと画像動きベクトルとの間の類似度に応じて補間の上限数を決定することができる。距離動きベクトルと画像動きベクトルとの間の類似度が低い場合、距離動きベクトルまたは画像動きベクトルが正しく算出されていない可能性が高い。したがって、このような場合に、補間の上限数を少なくすることで、補間視差画像によって３次元動画像の画質が劣化することを抑制できる。

また、本実施の形態に係る３次元撮像装置によれば、動きベクトルの方向および強度のうちの少なくとも一方のヒストグラムに基づいて、ベクトル類似度を算出することができる。これにより、動きベクトルが正しく算出されていない可能性とベクトル類似度との相関度を向上させることができ、適切に補間の上限数を決定することが可能となる。

また、本実施の形態に係る３次元撮像装置によれば、互いに焦点距離が異なる複数の撮影画像を入力として用いることができるので、撮像装置の小型化に貢献することができる。

以上、本発明の一態様に係る３次元撮像装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施した形態も、本発明の範囲内に含まれる。

例えば、上記実施の形態において、３次元画像補間部は、互いに焦点距離が異なる複数の撮影画像を入力として各種処理を実行していたが、必ずしも互いに焦点距離が異なる複数の撮影画像が入力である必要はない。例えば、左目用画像および右目用画像を含む３次元動画像が入力であっても構わない。この場合、距離画像取得部は、左目用画像および右目用画像間の視差に基づいて距離画像を取得すればよい。

また、上記実施の形態において、３次元画像補間部は、３次元撮像装置に含まれていたが、３次元撮像装置から独立して３次元画像補間装置として実現されてもよい。このような３次元画像補間装置の一例を図１２および図１３を用いて説明する。

図１２は、本発明の一態様に係る３次元画像補間装置５００の機能構成を示すブロック図である。また、図１３は、本発明の一態様に係る３次元画像補間装置５００の処理動作を示すフローチャートである。図１２に示すように、３次元画像補間装置５００は、距離画像補間部５０１と、画像補間部５０２と、補間視差画像生成部５０３とを備える。

図１３に示すように、まず、距離画像補間部５０１は、第１距離画像と第２距離画像との間を補間する少なくとも１枚の補間距離画像を生成する（Ｓ４０２）。続いて、画像補間部５０２は、第１画像と第２画像との間を補間する少なくとも１枚の補間画像を生成する（Ｓ４０４）。最後に、補間視差画像生成部５０３は、補間画像に基づいて、補間距離画像が示す奥行きに応じた視差を有する補間視差画像を生成する（Ｓ４０６）。このように、３次元画像補間装置５００は、３次元動画像のフレーム補間を行う。

（その他変形例）
なお、以下のような場合も本発明に含まれる。

（１）上記の３次元画像補間装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＯＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、３次元画像補間装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の３次元画像補間装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の３次元画像補間装置を構成する構成要素の一部または全部は、３次元画像補間装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明に係る３次元画像補間装置および３次元撮像装置は、３次元動画像のフレーム補間を高精度に行うことができ、デジタルビデオカメラ、表示装置あるいはコンピュータソフトウェアなどとして利用することができる。

１０ ３次元撮像装置
１００ 撮像部
１０１ 撮像素子
１０３ 光学レンズ
１０４ フィルタ
１０５ 制御部
１０６ 素子駆動部
２００ 信号処理部
２０１ メモリ
２０２ ３次元画像補間部
２０３ インタフェース部
３００ 表示部
４００ 距離画像取得部
４０１ 距離動きベクトル算出部
４０２ 画像動きベクトル算出部
４０３ ベクトル類似度算出部
４０４ 補間画像数決定部
４０５、５０１ 距離画像補間部
４０６、５０２ 画像補間部
４０７、５０３ 補間視差画像生成部
４０８ テクスチャ画像取得部
５００ ３次元画像補間装置

Claims (10)

1. ３次元動画像のフレーム補間を行う３次元画像補間装置であって、
   前記３次元動画像に含まれる第１画像および第２画像の奥行きをそれぞれ表す第１距離画像と第２距離画像との間を補間する少なくとも１枚の補間距離画像を生成する距離画像補間部と、
   前記第１画像と前記第２画像との間を補間する少なくとも１枚の補間画像を生成する画像補間部と、
   前記第１距離画像および前記第２距離画像から動きベクトルを距離動きベクトルとして算出する距離動きベクトル算出部と、
   前記第１画像および前記第２画像から動きベクトルを画像動きベクトルとして算出する画像動きベクトル算出部と、
   前記画像動きベクトルと前記距離動きベクトルとの類似性の高さを示す値であるベクトル類似度を算出するベクトル類似度算出部と、
   前記ベクトル類似度に応じて補間された補間画像に基づいて、前記補間距離画像が示す奥行きに応じた視差を有する少なくとも１組の補間視差画像を生成する補間視差画像生成部とを備える
   ３次元画像補間装置。
2. 前記３次元画像補間装置は、さらに、
   算出された前記ベクトル類似度が大きいほど数が多くなるように、補間の上限数を決定する補間画像数決定部を備え、
   前記補間視差画像生成部は、決定された前記上限数以下の数の前記補間視差画像を生成する
   請求項１に記載の３次元画像補間装置。
3. 前記距離動きベクトル算出部は、第１サイズのブロック毎に前記距離動きベクトルを算出し、
   前記画像動きベクトル算出部は、前記第１サイズのブロック毎に前記画像動きベクトルを算出し、
   前記ベクトル類似度算出部は、
   前記第１サイズよりも大きい第２サイズのブロック毎に、前記距離動きベクトルの方向および強度のうちの少なくとも一方のヒストグラムを生成し、
   前記第２サイズのブロック毎に、前記画像動きベクトルの方向および強度のうちの少なくとも一方のヒストグラムを生成し、
   前記距離動きベクトルおよび前記画像動きベクトルの方向のヒストグラム間の類似性と、前記距離動きベクトルおよび前記画像動きベクトルの強度のヒストグラム間の類似性とのうちの少なくとも一方に基づいて前記ベクトル類似度を算出する
   請求項２に記載の３次元画像補間装置。
4. 前記補間画像数決定部は、ユーザによって入力された前記上限数以下の数を補間数と決定し、
   前記補間視差画像生成部は、決定された前記補間数の前記補間視差画像を生成する
   請求項２または３に記載の３次元画像補間装置。
5. 前記３次元画像補間装置は、さらに、
   第１撮影画像群に含まれる互いに焦点距離が異なる複数の撮影画像間のボケの相関性に基づいて前記第１距離画像を取得し、かつ、前記第１撮影画像群よりも時間的に後の第２撮影画像群に含まれる互いに焦点距離が異なる複数の撮影画像間のボケの相関性に基づいて前記第２距離画像を取得する距離画像取得部を備える
   請求項１〜４のいずれか１項に記載の３次元画像補間装置。
6. 前記３次元画像補間装置は、さらに、
   前記第１撮影画像群に含まれる一の撮影画像のボケの特徴を示すボケ情報を用いて当該一の撮影画像に対して復元処理を行うことにより、第１テクスチャ画像を前記第１画像として取得し、かつ、前記第２撮影画像群に含まれる一の撮影画像のボケの特徴を示すボケ情報を用いて当該一の撮影画像に対して復元処理を行うことにより、第２テクスチャ画像を前記第２画像として取得するテクスチャ画像取得部を備える
   請求項５に記載の３次元画像補間装置。
7. 前記３次元画像補間装置は、集積回路として構成されている
   請求項１〜６のいずれか１項に記載の３次元画像補間装置。
8. 撮像部と、
   請求項１〜７のいずれか１項に記載の３次元画像補間装置とを備える
   ３次元撮像装置。
9. ３次元動画像のフレーム補間を行う３次元画像補間方法であって、
   前記３次元動画像に含まれる第１画像および第２画像の奥行きをそれぞれ表す第１距離画像と第２距離画像との間を補間する少なくとも１枚の補間距離画像を生成する距離画像補間ステップと、
   前記第１画像と前記第２画像との間を補間する少なくとも１枚の補間画像を生成する画像補間ステップと、
   前記第１距離画像および前記第２距離画像から動きベクトルを距離動きベクトルとして算出する距離動きベクトル算出ステップと、
   前記第１画像および前記第２画像から動きベクトルを画像動きベクトルとして算出する画像動きベクトル算出ステップと、
   前記画像動きベクトルと前記距離動きベクトルとの類似性の高さを示す値であるベクトル類似度を算出するベクトル類似度算出ステップと、
   前記ベクトル類似度に応じて補間された補間画像に基づいて、前記補間距離画像が示す奥行きに応じた視差を有する少なくとも１組の補間視差画像を生成する補間視差画像生成ステップとを含む
   ３次元画像補間方法。
10. 請求項９に記載の３次元画像補間方法をコンピュータに実行させるためのプログラム。

Images