JP6646361B2 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Description

本技術は、画像処理装置、撮像装置、画像処理方法およびプログラムに関する。詳しくは、物体を検出する画像処理装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるためのプログラムに関する。

近年、身に着けて持ち歩くことができる情報端末、いわゆるウェアラブル端末が注目を集め、開発や販売が行われている。一例として、カメラと透過型のディスプレイとを設けた眼鏡型のウェアラブル端末が提案されている（例えば、特許文献１参照。）。このウェアラブル端末は、カメラが撮像した画像において、人物を検出する処理などの画像処理を行って、ディスプレイ上の人物の少ない領域に字幕などを表示させている。

特開２０１２−１０８７９３号公報

しかしながら、上述の従来技術では、カメラが撮像した画像が高解像度であるほど、また、フレームレートが高いほど、人物検出などの画像処理の処理量が多くなってしまうという問題がある。画像処理量を少なくするには、解像度やフレームレートを低下させることが考えられるが、これらを低下させると、人物検出の精度も低下してしまう。このため、画像処理量を低減することが困難である。

本技術はこのような状況に鑑みて生み出されたものであり、画像処理を行う装置において画像処理量を低減することを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、主画像を結像するレンズの光軸方向における奥行きを上記主画像内の画素のそれぞれに対応付けて取得する奥行き取得部と、上記光軸方向における所定範囲内の上記奥行きに対応する上記画素からなる検出領域に対して特定の物体を検出する物体検出処理を実行する物体検出部とを具備する画像処理装置、および、当該装置における画像処理方法、ならびに、当該方法をコンピュータに実行させるためのプログラムである。これにより、所定範囲内の奥行きに対応する画素からなる検出領域に対して物体検出処理が実行されるという作用をもたらす。

また、この第１の側面において、上記奥行き取得部は、撮像範囲の少なくとも一部が上記主画像と重複する一対の視差画像の視差から上記奥行きを取得してもよい。これにより、一対の視差画像の視差から奥行きが取得されるという作用をもたらす。

また、この第１の側面において、上記特定の物体の検出が指示された場合には上記奥行き取得部は上記奥行きを上記主画像内の画素のそれぞれに対応付けて取得し、上記物体検出処理は上記検出領域に対して上記物体検出処理を実行し、上記奥行きの取得が指示された場合には上記物体検出部は上記主画像全体に対して上記物体検出処理を実行し、上記奥行き取得部は、上記主画像のうち上記特定の物体が検出された領域内の上記画素のそれぞれに対応づけて上記奥行きを取得してもよい。これにより、特定の物体が検出された領域内の画素のそれぞれに対応づけて奥行きが取得されるという作用をもたらす。

また、この第１の側面において、左目および右目の少なくとも一方を撮像した目画像に基づいて上記左目および上記右目の少なくとも一方の視線方向を検出する視線検出部をさらに具備し、上記物体検出部は、上記視線方向に沿った直線上に位置する被写体までの距離を含む一定の範囲を上記所定範囲として上記物体検出処理を実行してもよい。これにより、視線方向に沿った直線上に位置する被写体までの距離を含む一定の範囲を所定範囲として物体検出処理が実行されるという作用をもたらす。

また、この第１の側面において、上記目画像に基づいて上記左目および上記右目の一方を利き目として選択する利き目選択部をさらに具備し、上記視線検出部は、上記利き目を優先して上記視線方向を検出してもよい。これにより、利き目を優先して視線方向が検出されるという作用をもたらす。

また、この第１の側面において、上記目画像に基づいて上記左目および上記右目の少なくとも一方の虹彩パターンを検出する虹彩パターン検出部と、上記検出された虹彩パターンごとに当該虹彩パターンの人物について選択された上記利き目を記憶する虹彩パターン記憶部とをさらに具備し、上記視線検出部は、上記検出された虹彩パターンに対応する上記利き目を上記虹彩パターン記憶部から読み出してもよい。これにより、虹彩パターンに対応する利き目が読み出されるという作用をもたらす。

また、この第１の側面において、上記主画像において上記画素の座標のそれぞれの所定の基準座標からのズレを補正して上記物体検出部に供給する上記補正部をさらに具備してもよい。これにより、基準座標からの座標のズレが補正されるという作用をもたらす。
また、この第１の側面において、上記補正部は、上記座標のズレを補正する前の補正前座標と補正した後の補正後座標とを上記画素のうち一部の代表点ごとに対応付けて保持する歪補正テーブルと、上記代表点に該当しない上記画素の周囲の４つの上記補正前座標のそれぞれに対応する上記補正後座標から補間した座標を上記座標のズレを補正した座標として求める補間部とを備えてもよい。これにより、代表点に該当しない画素の周囲の４つの補正前座標のそれぞれに対応する上記補正後座標から補間した座標が座標のズレを補正した座標として求められるという作用をもたらす。

また、本技術の第２の側面は、主画像を結像するレンズにより主画像を撮像する主画像撮像部と、上記光軸方向における奥行きを上記主画像内の画素のそれぞれに対応付けて取得する奥行き取得部と、上記光軸方向における所定範囲内の上記奥行きに対応する上記画素からなる検出領域に対して特定の物体を検出する物体検出処理を実行する物体検出部とを具備する撮像装置である。これにより、特定の物体が検出された領域内の画素のそれぞれに対応づけて奥行きが取得されるという作用をもたらす。

また、この第２の側面において、撮像範囲の少なくとも一部が上記主画像と重複する一対の視差画像を撮像する視差画像撮像部をさらに具備し、上記奥行き取得部は、上記一対の視差画像の視差から上記奥行きを取得してもよい。これにより、一対の視差画像の視差から奥行きが取得されるという作用をもたらす。

また、この第２の側面において、上記主画像撮像部は、第１の周波数の第１の同期信号に同期して上記主画像を撮像し、上記視差画像撮像部は、第２の周波数の第２の同期信号に同期して上記一対の視差画像を撮像し、上記第１の周波数と上記第２の周波数との比は整数比であってもよい。これにより、第１の同期信号に同期して主画像が撮像され、第２の同期信号に同期して一対の視差画像が撮像されるという作用をもたらす。

また、この第２の側面において、上記主画像撮像部および上記視差画像撮像部のそれぞれの露光期間を同一の値に制御する露光制御部をさらに具備してもよい。これにより、主画像撮像部および視差画像撮像部のそれぞれの露光期間が同一の値に制御されるという作用をもたらす。

また、この第２の側面において、左目および右目の少なくとも一方の画像を目画像として撮像する目画像撮像部と、上記目画像に基づいて上記左目および上記右目の少なくとも一方の視線方向を上記目画像に基づいて検出する視線検出部とをさらに具備し、上記物体検出部は、上記視線方向に沿った直線上に位置する被写体までの距離を含む一定の範囲を上記所定範囲として上記物体検出処理を実行してもよい。

また、この第２の側面において、赤外光を発光する赤外線投光器と、上記赤外線投光器を制御して上記赤外光を発光させる発光制御部とをさらに具備し、上記目画像撮像部は、上記赤外光を光電変換して上記目画像を撮像してもよい。これにより、赤外光の光電変換によって目画像が撮像されるという作用をもたらす。

また、この第２の側面において、上記撮像装置の加速度を検出する加速度センサをさらに具備し、上記主画像撮像部は、上記加速度が大きいほど高い周波数の同期信号に同期して上記主画像を撮像してもよい。これにより、加速度が大きいほど高い周波数の同期信号に同期して主画像が撮像されるという作用をもたらす。

また、本技術の第３の側面は、主画像に対して特定の物体を検出する物体検出処理を実行する物体検出部と、上記特定の物体が検出された領域内の画素のそれぞれに対応付けて上記主画像を結像するレンズの光軸方向における奥行きを、撮像範囲の少なくとも一部が上記主画像と重複する一対の視差画像の視差から取得する奥行き取得部とを具備する画像処理装置である。これにより、特定の物体が検出された領域内の画素のそれぞれに対応付けて奥行きが取得されるという作用をもたらす。

また、本技術の第４の側面は、上記左目および上記右目の少なくとも一方を撮像した目画像に基づいて左目および右目の少なくとも一方の視線方向を検出する視線方向検出部と、主画像のうち上記視線方向に沿った直線上に位置する被写体が撮像された検出領域に対して特定の物体を検出する物体検出処理を実行する物体検出部とを具備する画像処理装置である。これにより、視線方向に沿った直線上に位置する被写体が撮像された検出領域に対して物体検出処理が実行されるという作用をもたらす。

本技術によれば、画像処理を行う装置において画像処理量を低減することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

第１の実施の形態における眼鏡型ウェアラブル端末の斜視図の一例である。 第１の実施の形態における主カメラ、右側カメラおよび左側カメラの撮像範囲の一例を示す図である。 第１の実施の形態における眼鏡型ウェアラブル端末の一構成例を示すブロック図である。 第１の実施の形態におけるカメラ部および信号処理部の一構成例を示すブロック図である。 第１の実施の形態における主カメラの一構成例を示すブロック図である。 第１の実施の形態における画像処理部および表示部の一構成例を示すブロック図である。 第１の実施の形態における補正部の一構成例を示すブロック図である。 第１の実施の形態における眼鏡型ウェアラブル端末の動作の一例を示すフローチャートである。 第１の実施の形態における補正設定処理を示すフローチャートである。 第１の実施の形態における物体検出処理を示すフローチャートである。 第１の実施の形態における主画像データおよび表示データの一例を示す図である。 第１の実施の形態の第１の変形例におけるテスト用紙および主画像データの一例を示す図である。 第１の実施の形態の第１の変形例における座標変換部の一構成例を示すブロック図である。 第１の実施の形態の第１の変形例における補正方法を説明するための図である。 第１の実施の形態の第２の変形例における眼鏡型ウェアラブル端末の一構成例を示すブロック図である。 第１の実施の形態の第３の変形例における眼鏡型ウェアラブル端末の一構成例を示すブロック図である。 第１の実施の形態の第３の変形例におけるカメラ部の一例を示すブロック図である。 第１の実施の形態の第３の変形例における垂直同期信号の一例を示すタイミングチャートである。 第１の実施の形態の第４の変形例におけるカメラ部および信号処理部の一構成例を示すブロック図である。 第２の実施の形態における画像処理部の一構成例を示すブロック図である。 第２の実施の形態における眼鏡型ウェアラブル端末の動作の一例を示すフローチャートである。 第２の実施の形態における測距処理を示すフローチャートである。 第２の実施の形態における主画像データおよび表示データの一例を示す図である。 第３の実施の形態における眼鏡型ウェアラブル端末の斜視図の一例である。 第３の実施の形態における眼鏡型ウェアラブル端末の上面図の一例である。 第３の実施の形態における眼鏡型ウェアラブル端末の一構成例を示すブロック図である。 第３の実施の形態におけるカメラ部および信号処理部の一構成例を示すブロック図である。 第３の実施の形態における画像処理部の一構成例を示すブロック図である。 第３の実施の形態における補正部の一構成例を示すブロック図である。 第３の実施の形態における右目画像データおよび左目画像データの一例を示す図である。 第３の実施の形態における検出範囲の設定方法を説明するための図である。 第３の実施の形態における物体検出処理を示すフローチャートである。 第３の実施の形態の第１の変形例における画像処理部の一構成例を示すブロック図である。 第３の実施の形態の第１の変形例における虹彩パターン情報ごとの利き目情報の一例を示す図である。 第３の実施の形態の第１の変形例における物体検出処理を示すフローチャートである。 第３の実施の形態の第１の変形例における視線検出処理を示すフローチャートである。 第３の実施の形態の第２の変形例における画像処理部の一構成例を示すブロック図である。 第３の実施の形態の第２の変形例における立体画像の表示位置の一例を示す図である。 第３の実施の形態の第３の変形例における眼鏡型ウェアラブル端末の一構成例を示すブロック図である。 第３の実施の形態の第３の変形例における眼鏡型ウェアラブル端末の動作の一例を示すタイミングチャートである。 第３の実施の形態の第４の変形例における眼鏡型ウェアラブル端末の動作の一例を示すタイミングチャートである。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（所定範囲の奥行きの領域で物体を検出する例）
２．第２の実施の形態（物体を検出した領域の奥行きを求めるか、所定範囲の奥行きの領域で物体を検出する例）
３．第３の実施の形態（視線方向を検出し、所定範囲の奥行きの領域で物体を検出する例）

＜１．第１の実施の形態＞
［眼鏡型ウェアラブル端末の構成例］
図１は、第１の実施の形態における眼鏡型ウェアラブル端末１００の斜視図の一例である。この眼鏡型ウェアラブル端末１００は、リム１０１および１０２と、主カメラ１１１と、右側カメラ１１５と、左側カメラ１１６と、右側透過型ディスプレイ１５１と、左側透過型ディスプレイ１５２とを備える。

眼鏡型ウェアラブル端末１００の全体の形状は、眼鏡と類似しており、眼鏡のレンズの代わりに右側透過型ディスプレイ１５１および左側透過型ディスプレイ１５２が設けられる。右側透過型ディスプレイ１５１は、眼鏡型ウェアラブル端末１００を装着したユーザの右目に対向する位置に取り付けられ、左側透過型ディスプレイ１５２は、ユーザの左目に対向する位置に取り付けられる。

リム１０１は、右側透過型ディスプレイ１５１が取り付けられる部材であり、リム１０２は、左側透過型ディスプレイ１５２が取り付けられる部材である。主カメラ１１１および右側カメラ１１５は、リム１０１に設けられ、左側カメラ１１６はリム１０２に設けられる。また、ユーザの顔が向く方向を前方（矢印の方向）として、主カメラ１１１、右側カメラ１１５および左側カメラ１１６は、リム１０１および１０２の前方に向いた面に取り付けられる。

なお、主カメラ１１１をリム１０１に設ける構成としているが、右側カメラ１１５および左側カメラ１１６と撮像範囲の少なくとも一部が重複する位置であれば、リム１０２など、リム１０１以外の個所に設けてもよい。

図２は、第１の実施の形態における主カメラ１１１、右側カメラ１１５および左側カメラ１１６の撮像範囲の一例を示す図である。同図において、実線で囲まれた領域は、ユーザの頭頂部への方向を上方として、上方から見た主カメラ１１１の撮像範囲を示す。また、一点鎖線で囲まれた領域は、上方から見た右側カメラ１１５の撮像範囲を示し、点線で囲まれた領域は、上方から見た左側カメラ１１６の撮像範囲を示す。主カメラ１１１、右側カメラ１１５および左側カメラ１１６は、いずれも眼鏡型ウェアラブル端末１００の前面に取り付けられているため、これらのカメラの撮像範囲は、その少なくとも一部が重複する。同図において斜線の部分は、撮像範囲の重複部分である。

図３は、第１の実施の形態における眼鏡型ウェアラブル端末１００の一構成例を示すブロック図である。この眼鏡型ウェアラブル端末１００は、カメラ部１１０、信号処理部１３０、画像処理部２００、基準信号発生部１２０、露光制御部１４０、および、表示部１５０を備える。なお、眼鏡型ウェアラブル端末１００は、特許請求の範囲に記載の撮像装置および画像処理装置の一例である。

基準信号発生部１２０は、撮像を行うタイミングを示す基準信号として垂直同期信号ＶＳＹＮＣを発生するものである。この基準信号発生部１２０は、垂直同期信号ＶＳＹＮＣをカメラ部１１０に信号線１２９を介して供給する。

カメラ部１１０は、垂直同期信号ＶＳＹＮＣに同期して画像データを撮像するものである。このカメラ部１１０は、撮像した画像データを信号処理部１３０に信号線１１９を介して供給する。

信号処理部１３０は、画像データに対してホワイトバランス処理やノイズ除去処理などの各種の信号処理を行うものである。信号処理部１３０は、処理後の画像データを信号線１３９を介して露光制御部１４０および画像処理部２００に供給する。また、信号処理部１３０は、画像データから光量を測光して測光量を信号線１３８を介して露光制御部１４０に供給する。

画像処理部２００は、画像データに対して所定の画像処理を実行するものである。この画像処理は、顔や人物などの特定の物体を検出する処理を含む。画像処理部２００は、物体を検出した結果を示す表示データを生成し、信号線２０９を介して表示部１５０に供給する。例えば、検出した物体の位置、形状や名称などを表示するためのデータが表示データとして生成される。

露光制御部１４０は、測光量に基づいて、カメラ部１１０の露光量を制御するものである。露光制御部１４０は、絞りや露光時間を制御するための露光制御信号を信号線１４９を介してカメラ部１１０に供給する。表示部１５０は、表示データを表示するものである。

なお、眼鏡型ウェアラブル端末１００は、外部の機器と通信を行う外部インターフェースをさらに備え、主画像データや表示データを外部に送信してもよい。また、カメラ部１１０、信号処理部１３０、画像処理部２００、基準信号発生部１２０、露光制御部１４０、および、表示部１５０を同一の機器に設ける構成としているが、これを別々の装置や機器に分散して設けてもよい。例えば、カメラ部、信号処理部１３０、露光制御部１４０、および、表示部１５０を眼鏡型ウェアラブル端末１００に設け、画像処理部２００を外部のサーバ等に設ける構成であってもよい。また、カメラ部１１０等を眼鏡型ウェアラブル端末１００に設ける構成としているが、タブレット端末やスマートフォンなど、眼鏡型ウェアラブル端末以外の装置や機器に設けてもよい。

[カメラ部および信号処理部の構成例]
図４は、第１の実施の形態におけるカメラ部１１０および信号処理部１３０の一構成例を示すブロック図である。カメラ部１１０は、主カメラ１１１、右側カメラ１１５および左側カメラ１１６を備える。信号処理部１３０は、信号処理回路１３１、１３２および１３３を備える。

主カメラ１１１は、眼鏡型ウェアラブル端末１００を撮像したユーザの視野を撮像するものである。この主カメラ１１１は、撮像した画像データを主画像データとして信号処理回路１３１に供給する。なお、主カメラ１１１は、特許請求の範囲に記載の主画像撮像部の一例である。

右側カメラ１１５および左側カメラ１１６は、少なくとも一部が主カメラ１１１と重複する撮像範囲を撮像するものである。右側カメラ１１５および左側カメラ１１６により、それらのカメラの取り付け位置間の距離に応じた視差の一対の視差画像データが撮像される。一対の視差画像のそれぞれの解像度は同一である。右側カメラ１１５は、それらの視差画像データの一方を右側画像データとして信号処理回路１３２に供給し、左側カメラ１１６は、視差画像データの他方を左側画像データとして信号処理回路１３３に供給する。なお、右側カメラ１１５および左側カメラ１１６を含むモジュールは、特許請求の範囲に記載の視差画像撮像部の一例である。

ここで、一対の視差画像データの解像度は、主画像データよりも低いことが望ましい。視差画像データの解像度を低くすることにより、後述する測距の演算量を削減し、消費電力を低減することができる。また、一対の視差画像データ内の画素データは色情報を含まず、主画像データ内の画素データは色情報を含むことが望ましい。視差画像をモノクロ画像とする方が、カラー画像とするよりも撮像素子の感度を高くすることができ、また、撮像素子の画素数を有効に活用する面でも有利である。一方、主画像データをカラー画像とする方が、モノクロ画像とするよりも物体の検出精度を高くすることができる。

また、右側カメラ１１５および左側カメラ１１６の光学系は、同一であることが望ましい。これらの光学系が揃っていないと、光学歪みなどのキャリブレーションが困難となるためである。

なお、主カメラ１１１、右側カメラ１１５および左側カメラ１１６を同一の機器（眼鏡型ウェアラブル端末１００）に設けているが、この構成に限定されない。各カメラにより、少なくとも一部が重複する撮像範囲を撮影することができるのであれば、それらのカメラを別々の機器に分散して設けてもよい。ただし、複数の機器に分散して設ける場合には、いずれかの機器が移動した際に、主画像の座標と視差画像の座標とを対応させるためのキャリブレーションを行う必要がある。このようなキャリブレーションの頻度を低減する観点から、主カメラ１１１、右側カメラ１１５および左側カメラ１１６を同一の機器に設けることが望ましい。

また、露光制御部１４０は、主画像および視差画像のそれぞれの撮像時の露光開始タイミングおよび露光終了タイミングを制御して露光期間を同一にすることが望ましい。露光期間を揃えることにより、撮影条件の差を補正する演算を無くすことができ、また、測距物体検出の精度を向上させることができる。

信号処理回路１３１は、主画像データに対して所定の信号処理を行うものである。信号処理回路１３２は、右側画像データに対して所定の信号処理を行うものである。また、信号処理回路１３３は、左側画像データに対して所定の信号処理を行うものである。信号処理回路１３１、１３２および１３３は、処理後の画像データを画像処理部２００に供給する。また、信号処理回路１３１、１３２および１３３は、対応する画像データから光量を測光して測光量を露光制御部１４０に供給する。

［主カメラの構成例］
図５は、第１の実施の形態における主カメラ１１１の一構成例を示すブロック図である。この主カメラ１１１は、撮像レンズ１１２、絞り１１３および撮像素子１１４を備える。なお、右側カメラ１１５および左側カメラ１１６の構成は、主カメラ１１１と同様である。ただし、主カメラ１１１は可変焦点のカメラで、右側カメラ１１５および左側カメラ１１６は固定焦点のカメラであることが望ましい。また、右側カメラ１１５および左側カメラ１１６は、同じ焦点距離で、解像度がピークとなるように調整されていることが望ましい。右側カメラ１１５および左側カメラ１１６を固定焦点とすることにより、容易に測距制精度を向上させることができる。

撮像レンズ１１２は、被写体からの光を集光して撮像素子１１４に導くものである。絞り１１３は、露光制御信号に従って通過する光の量を調整するものである。撮像素子１１４は、垂直同期信号ＶＳＹＮＣに同期して、光を電気信号に変換して主画像データを生成するものである。また、撮像素子１１４は、露光制御信号に従って、撮像素子１１４の画素内のトランジスタを制御することにより露光時間を変更する。このように、画素内のトランジスタを制御することにより露光時間を変更する方式は、電子シャッター方式と呼ばれる。

なお、主カメラ１１１は、電子シャッター方式により露光時間を変更しているが、メカニカルシャッターをさらに備え、そのメカニカルシャッターを制御することにより露光時間を変更してもよい。右側カメラ１１５および左側カメラ１１６についても同様である。

また、右側カメラ１１５および左側カメラ１１６を固定焦点のカメラとしているが、可変焦点のカメラとしてもよい。この場合には、これらのカメラの焦点距離は同一に制御されることが望ましい。また、主カメラ１１１を可変焦点のカメラとしているが、固定焦点であってもよい。

［画像処理部および表示部の構成例］
図６は、第１の実施の形態における画像処理部２００および表示部１５０の一構成例を示すブロック図である。この画像処理部２００は、補正部２１０、物体検出部２４０および奥行き取得部２５０を備える。また、表示部１５０は、右側透過型ディスプレイ１５１および左側透過型ディスプレイ１５２を備える。

ここで、画像処理部２００には、物体検出モードであるか、補正設定モードであるかを示すモード信号が入力される。この物体検出モードは、特定の物体の検出を行うモードである。補正設定モードは、画像データにおける座標のズレを補正するための補正データを設定するモードである。この補正データは、例えば、画像データにおける座標ズレの補正を行う範囲や、全画素について補正前後の座標などを含む。

補正部２１０は、カメラの取り付け位置の位置ズレや、撮像レンズ１１２の光学歪みによる、所定の基準座標からの座標のズレを画素毎に補正するものである。物体検出モードにおいて補正部２１０は、主画像データにおいて、主カメラ１１１の位置ズレおよび光学歪みの少なくとも一方による座標ズレを補正して物体検出部２４０に供給する。また、補正部２１０は、右側画像データにおいても同様に、右側カメラ１１５の位置ズレ等による座標ズレを補正して奥行き取得部２５０に供給する。さらに、補正部２１０は、左側画像データにおいても同様に、左側カメラ１１６の位置ズレ等による座標ズレを補正して奥行き取得部２５０に供給する。

一方、補正設定モードにおいて補正部２１０は、主画像データ、右側画像データおよび左側画像データのそれぞれについて、座標ズレを補正するための補正データを設定する。例えば、補正部２１０は、画像データのそれぞれの特徴点を検出し、それらの特徴点の座標を、座標ずれのない仮想の統一座標系における座標に正規化する。そして、補正部２１０は、正規化された特徴点の座標のマッチングをとることにより、座標ズレを補正する。このように、正規化された座標を処理することにより、ずれのない理想的な座標系で演算することができ、マッチング処理などを大幅に軽減することができる。また、特徴点のマッチングを行うことで、画像全体でマッチングを行うよりも高い精度で効率的に補正を行うことができる。

なお、眼鏡型ウェアラブル端末１００自体が、補正データを生成して設定する構成としているが、眼鏡型ウェアラブル端末１００の外部の装置が、補正データを生成して眼鏡型ウェアラブル端末１００に設定する構成としてもよい。

奥行き取得部２５０は、右側画像データおよび左側画像データの視差から、主画像データ内の画素ごとの奥行きを取得するものである。ここで、奥行きは、撮像レンズ１１２の光軸方向における、基準位置から（画像データの結像面の位置など）から被写体までの距離を示す。前述したように、主画像データと、右側画像データおよび左側画像データとのそれぞれの撮像範囲は一部が重複するため、奥行きの取得は、その重複した範囲内の画素についてのみ実行される。奥行き取得部２５０は、画素毎の奥行きを示すデプスマップを物体検出部２４０に供給する。

物体検出部２４０は、主画像データに対し、特定の物体を検出する物体検出処理を実行するものである。この物体検出部２４０は、デプスマップを用いて、光軸方向における所定の設定範囲内の奥行きに対応する画素からなる主画像データ内の領域を検出領域として求める。物体検出部２４０には、デプスマップ内の画素の座標と、主画像データ内の画素の座標との対応関係が予め保持されているものとする。また、光軸方向における設定範囲には、例えば、主画像の結像面からの距離Ｄｎ乃至Ｄｆの範囲が設定される。Ｄｎ乃至Ｄｆには、特定の物体の検出精度が十分に高くなる値が予め設定される。Ｄｎ乃至Ｄｆの単位は、例えばメートルである。物体として人物などを検出する場合、例えば、２乃至１５メートル程度の範囲で十分な検出精度が得られるのであれば、Ｄｎに２が設定され、Ｄｆに１５が設定される。そして、物体検出部２４０は、設定範囲内の奥行きが得られた、主画像データ内の検出領域に対して物体検出処理を実行する。物体検出部２４０は、検出結果を示す表示データを生成して表示部１５０に供給する。

右側透過型ディスプレイ１５１および左側透過型ディスプレイ１５２は、物体が検出された位置に、画像処理部２００からの表示データを表示させる。

［補正部の構成例］
図７は、第１の実施の形態における補正部２１０の一構成例を示すブロック図である。この補正部２１０は、座標ズレ算出部２１１と座標変換部２２０、２１２および２１３とを備える。

座標ズレ算出部２１１は、補正設定モードにおいて主画像データ、右側画像データおよび左側画像データのそれぞれについて、座標ズレを算出するものである。この座標ズレ算出部２１１は、算出した座標ズレを補正するための補正データを生成して、座標変換部２２０、２１２および２１３に供給する。

座標変換部２２０は、補正データを使用して、主画像データの補正前の座標を補正後の座標に変換するものである。この座標変換部２２０は、補正設定モードにおいて生成された補正データを保持しておく。そして、座標変換部２２０は、物体検出モードにおいて、補正データを用いて座標を変換し、変換後の主画像データを物体検出部２４０に供給する。

座標変換部２１２は、補正データを使用して、右側画像データの補正前の座標を補正後の座標に変換するものである。座標変換部２１３は、補正データを使用して、左側画像データの補正前の座標を補正後の座標に変換するものである。

図８は、第１の実施の形態における眼鏡型ウェアラブル端末１００の動作の一例を示すフローチャートである。この動作は、例えば、電源が投入されたときや、所定のアプリケーションが実行されたときに開始する。

眼鏡型ウェアラブル端末１００は、物体検出モードに設定されたか否かを判断する（ステップＳ９０１）。補正設定モードに設定された場合に（ステップＳ９０１：Ｎｏ）、眼鏡型ウェアラブル端末１００は、補正データを設定する補正設定処理を実行する（ステップＳ９１０）。一方、物体検出モードに設定された場合に（ステップＳ９０１：Ｙｅｓ）、眼鏡型ウェアラブル端末１００は、特定の物体を検出する物体検出処理を実行する（ステップＳ９２０）。ステップＳ９１０またはＳ９２０の後、眼鏡型ウェアラブル端末１００は、補正設定処理または物体検出処理が終了したか否かを判断する（ステップＳ９０２）。それらの処理が終了していない場合には（ステップＳ９０２：Ｎｏ）、眼鏡型ウェアラブル端末１００は、ステップＳ９０１以降を繰り返す。一方、処理が終了した場合には（ステップＳ９０２：Ｙｅｓ）、眼鏡型ウェアラブル端末１００は、動作を終了する。

図９は、第１の実施の形態における補正設定処理を示すフローチャートである。眼鏡型ウェアラブル端末１００は、主画像データを撮像し（ステップＳ９１１）、また、一対の視差画像データを撮像する（ステップＳ９１２）。そして、眼鏡型ウェアラブル端末１００は、それらの画像を比較して、座標ズレを算出し（ステップＳ９１３）、補正データを設定する（ステップＳ９１４）。ステップＳ９１４の後、眼鏡型ウェアラブル端末１００は、補正設定処理を終了する。

図１０は、第１の実施の形態における物体検出処理を示すフローチャートである。眼鏡型ウェアラブル端末１００は、主画像データを撮像し（ステップＳ９２１）、また、一対の視差画像データを撮像する（ステップＳ９２２）。そして、眼鏡型ウェアラブル端末１００は、各画像データの座標ズレを補正し（ステップＳ９２３）、一対の視差画像データからデプスマップを生成する（ステップＳ９２４）。また、眼鏡型ウェアラブル端末１００は、所定範囲内の奥行きの検出領域において、特定の物体を検出し（ステップＳ９２５）、検出結果を表示する（ステップＳ９２６）。ステップＳ９２６の後、眼鏡型ウェアラブル端末１００は、物体検出処理を終了する。

図１１は、第１の実施の形態における主画像データおよび表示データの一例を示す図である。同図におけるａは、主画像データ５００の一例を示す図であり、同図におけるｂは、表示データ５１０の一例を示す図である。

主画像データ５００は、人物５０１および５０２などの被写体を含む。この人物５０１は、眼鏡型ウェアラブル端末１００から十分に離れた、距離ｄ１の位置に立っているため、全身が写っている。このため、距離ｄ１では、眼鏡型ウェアラブル端末１００は、人物を正確に検出することができる。一方、人物５０２は、端末に非常に近い、距離ｄ２の位置に立っており、顔の一部だけが写っている。このように距離ｄ２では、距離が近すぎて眼鏡型ウェアラブル端末１００が人物を正確に検出することができないおそれがある。

この場合、ｄ１を含み、ｄ２を含まない範囲を検出範囲に設定しておけば、眼鏡型ウェアラブル端末１００は、ｄ１の領域のみに対して物体検出処理を行い、人物を効率的に検出することができる。人物を検出することができないｄ２の領域には物体検出処理が行われないため、物体検出処理の処理量を低減することができる。処理量の低減により、眼鏡型ウェアラブル端末１００は、比較的低い消費電力で、物体を効率的に検出することができる。

また、表示データ５１０は、検出された人物５０１の輪郭を示す検出結果５１１を含む。なお、眼鏡型ウェアラブル端末１００は、物体の輪郭を表示しているが、この構成に限定されない。例えば、眼鏡型ウェアラブル端末１００は、物体を囲む矩形や楕円の枠など、輪郭以外の検出結果を表示してもよい。また、眼鏡型ウェアラブル端末１００は、検出した現実の物体と重なる位置に、仮想の物体を表示してもよい。このように、現実の物体に仮想の物体を重ねて表示させる技術は、ＡＲ（Augmented Reality）技術と呼ばれる。

このように、本技術の第１の実施の形態によれば、眼鏡型ウェアラブル端末１００が所定範囲内の奥行きに対応する画素からなる検出領域に限定して物体検出処理を実行するため、その所定範囲外の奥行きの領域に対する処理量を削減することができる。これにより、眼鏡型ウェアラブル端末１００の消費電力を低減することができる。

［第１の変形例］
上述の第１の実施の形態では、眼鏡型ウェアラブル端末１００は、全画素について補正前後の座標を対応付けたテーブルを用いて、座標ズレを補正していた。しかし、画像データの解像度が増大してテーブルのサイズが大きくなると、そのテーブルを保持するメモリの容量が不足するおそれがある。第１の実施の形態の第１の変形例の眼鏡型ウェアラブル端末１００補正前後の座標を保持するテーブルのサイズを削減する点において第１の実施の形態と異なる。

図１２は、第１の実施の形態の第１の変形例におけるテスト用紙および主画像データの一例を示す図である。同図におけるａは、テスト用紙５１５の一例である。同図におけるｂは、テスト用紙５１５を主カメラ１１１が撮像した際の主画像データ５１６の一例を示す図である。

テスト用紙５１５として、一定の間隔を空けて二次元格子状に複数の黒丸が配列された画像を印刷したものが用いられる。これらの黒丸が代表点として用いられる。

工場出荷前や修理時などにおいて、作業者は、眼鏡型ウェアラブル端末１００に補正設定モードを設定し、テスト用紙５１５を所定の位置に配置する。そして、作業者は、眼鏡型ウェアラブル端末１００を操作してテスト用紙５１５を撮像させる。眼鏡型ウェアラブル端末１００の主カメラ１１１は、テスト用紙５１５を撮像して主画像データ５１６を生成する。

ここで、主カメラ１１１の撮像レンズ１１２に光学歪みがあると、主画像データ５１６の代表点の座標が基準座標からずれてしまう。ここで、基準座標は、テスト用紙５１５の代表点に対応する、主画像データ５１６における設計上の座標である。また、製造ばらつきにより主カメラ１１１の取り付け位置がずれていると、主画像データ５１６の代表点の座標が基準座標からずれてしまう。例えば、テスト用紙５１５において左上の領域が歪んでいるのは、光学歪みの影響による。また、テスト用紙５１５の代表点が主画像データ５１０と比較して、全体的に右側にずれているのは、取り付け位置の位置ずれの影響による。

眼鏡型ウェアラブル端末１００は、主画像データ５１６の代表点のそれぞれの座標ズレを算出し、代表点ごとに補正前後の座標を対応づけたテーブルを作成する。右側画像データおよび左側画像データについても同様の処理が行われる。

図１３は、第１の実施の形態の第１の変形例における座標変換部２２０の一構成例を示すブロック図である。この座標変換部２２０は、補正範囲記憶部２２１、リードアドレスカウンタ２２２、ライトアドレスカウンタ２２３、リードアドレスデコーダ２２４、ライトアドレスデコーダ２２５および歪補正テーブル２２６を備える。また、座標変換部２２０は、歪補正アドレス生成部２２７、遅延調整部２２８、歪補正アドレスデコーダ２２９、ライト制御部２３０、リード制御部２３１、画像メモリ２３２および補間処理部２３３を備える。なお、第１の変形例の座標変換部２１２および２１３の構成は、座標変換部２２０と同様である。

補正範囲記憶部２２１は、座標ズレの補正を行う補正範囲を記憶するものである。例えば、無効画素を除く、有効画素の水平座標および垂直座標のそれぞれの範囲が補正範囲として設定される。また、補正範囲は、座標ズレ算出部２１１により設定される。

ライトアドレスカウンタ２２３は、垂直同期周波数および水平同期周波数などのタイミング信号に同期して計数値を計数するものである。このライトアドレスカウンタ２２３は、垂直座標の補正範囲内で垂直同期信号に同期して計数を行い、また、水平座標の補正範囲内で水平同期信号に同期して計数して計数を行う。垂直同期信号に同期して計数された計数値は、垂直ライトアドレスを示し、水平同期信号に同期して計数された計数値は、水平ライトアドレスを示す。ライトアドレスカウンタ２２３は、垂直ライトアドレスおよび水平ライトアドレスからなるライトアドレスをライトアドレスデコーダ２２５およびリードアドレスカウンタ２２２に供給する。また、ライトアドレスカウンタ２２３は、補正範囲に対応する垂直ライトアドレスおよび水平ライトアドレスの範囲をライト範囲としてライトアドレスデコーダ２２５およびリードアドレスカウンタ２２２に供給する。

リードアドレスカウンタ２２２は、ライトアドレスの出力タイミングに同期して計数値を計数するものである。このリードアドレスカウンタ２２２は、垂直ライトアドレスの出力タイミングに同期してライト範囲内で計数値を計数して垂直リードアドレスを生成する。また、リードアドレスカウンタ２２２は、水平ライトアドレスの出力タイミングに同期してライト範囲内で計数値を計数して垂直リードアドレスを生成する。リードアドレスカウンタ２２２は、垂直リードアドレスおよび水平リードアドレスからなるリードアドレスＲをリードアドレスデコーダ２２４に供給する。また、リードアドレスカウンタ２２２は、ライト範囲に対応する垂直リードアドレスおよび水平リードアドレスの範囲をリード範囲としてリードアドレスデコーダ２２４に供給する。

歪補正テーブル２２６は、補正前テーブルアドレスと補正後テーブルアドレスとを対応付けて記憶するものである。ここで、補正前テーブルアドレスは、補正前の代表点のアドレスであり、補正後テーブルアドレスは、対応する補正前テーブルアドレスの座標ズレを補正したアドレスである。これらのアドレスは、座標ズレ算出部２１１により設定される。

リードアドレスデコーダ２２４は、代表点に該当しないリードアドレスＲのそれぞれについて、補間係数を算出するものである。まず、リードアドレスデコーダ２２４は、歪補正テーブル２２６を参照してリードアドレスＲが、補正前テーブルアドレス（すなわち、代表点のアドレス）であるか否かを判断する。リードアドレスＲが代表点のアドレスであれば、リードアドレスデコーダ２２４は、リードアドレスＲをそのまま歪補正アドレス生成部２２７に供給する。

一方、リードアドレスＲが代表点のアドレスでない場合にリードアドレスデコーダ２２４は、そのアドレスの周囲の４つの補正前テーブルアドレスＡ、Ｂ、ＣおよびＤを歪補正テーブル２２６から読み出し、それらのアドレスから補間係数を求める。ここで、補正前テーブルアドレスＡ、Ｂ、ＣおよびＤのそれぞれの座標を（Ｈ_Ａ、Ｖ_Ａ）、（Ｈ_Ｂ、Ｖ_Ｂ）、（Ｈｃ、Ｖｃ）、（Ｈ_Ｄ、Ｖ_Ｄ）とし、Ｈ_Ｂ＞Ｈ_Ａ、Ｖ_Ｃ＞Ｖ_Ａ、Ｖ_Ｄ＞Ｖ_ＢおよびＨ_Ｄ＞Ｈ_Ｃの関係が成り立つものとする。この場合、リードアドレスデコーダ２２４は、ＡおよびＣを通る直線ＡＣと、ＢおよびＤを通る直線ＢＤとの間で線形補間を行ってリードアドレスＲを通る直線を補間直線として求める。例えば、直線ＡＣの傾きおよび切片を（ａ_１、ｂ_１）とし、直線ＢＤの傾きおよび切片を（ａ₂、ｂ₂）とし、リードアドレスＲを（Ｈ_Ｒ、Ｖ_Ｒ）として、次の式により、補間直線の傾きおよび切片（ａ_０、ｂ_０）が算出される。
（ａ_０−ａ_１）／（ａ_２−ａ_１）＝（ｂ_０−ｂ_１）／（ｂ_２−ｂ_１） ・・・式１
Ｖ_Ｒ＝ａ_０×Ｈ_Ｒ＋ｂ_０ ・・・式２

リードアドレスデコーダ２２４は、算出した補間直線とＡおよびＢを結ぶ直線ＡＢとの交点Ｍの座標（Ｈ_Ｍ、Ｖ_Ｍ）を算出し、補間直線とＣおよびＤを結ぶ直線ＣＤとの交点Ｎの座標（Ｈ_Ｎ、Ｖ_Ｎ）を算出する。リードアドレスデコーダ２２４は、例えば、次の式により、ＭおよびＮを結ぶ線分ＭＮをリードアドレスＲにより内分する内分比ｍを求める。
（Ｈ_Ｍ−Ｈ_Ｒ）：（Ｈ_Ｒ−Ｈ_Ｎ）＝ｍ：（１−ｍ） ・・・式３

また、リードアドレスデコーダ２２４は、直線ＡＢと直線ＣＤとの間で線形補間を行ってリードアドレスＲを通る補間直線を求める。例えば、ＡＢの傾きおよび切片を（ａ_１、ｂ_１）とし、ＣＤの傾きおよび切片を（ａ_２、ｂ_２）として、式１および式２により、補間直線の傾きおよび切片（ａ_０、ｂ_０）が算出される。

リードアドレスデコーダ２２４は、算出した補間直線と直線ＡＣとの交点Ｏの座標（Ｈ_Ｏ、Ｖ_Ｏ）を算出し、補間直線と直線ＢＤとの交点Ｐの座標（Ｈ_Ｐ、Ｖ_Ｐ）を算出する。歪補正アドレス生成部２２７は、例えば、次の式により、線分ＯＰをリードアドレスＲにより内分する内分比ｎを求める。
（Ｈ_Ｏ−Ｈ_Ｒ）：（Ｈ_Ｒ−Ｈ_Ｐ）＝ｎ：（１−ｎ） ・・・式４

そして、リードアドレスデコーダ２２４は、算出した補間係数ｍおよびｎと、リードアドレスＲと、補正前テーブルアドレスＡ、Ｂ、ＣおよびＤとを歪補正アドレス生成部２２７に供給する。また、リードアドレスデコーダ２２４は、補間係数ｍおよびｎと、リードアドレスＲとを補間処理部２３３に供給する。

歪補正アドレス生成部２２７は、リードアドレスＲから、歪みを補正した歪補正アドレスＲ’を生成するものである。この歪補正アドレス生成部２２７は、リードアドレスＲのみをリードアドレスデコーダ２２４から受け取った場合に、そのリードアドレスＲに対応する補正後テーブルアドレスを歪補正テーブル２２６から読み出す。そして、歪補正アドレス生成部２２７は、読み出したアドレスを歪補正アドレスＲ’として歪補正アドレスデコーダ２２９に供給する。

一方、補間係数等をリードアドレスＲとともに受けとった場合に歪補正アドレス生成部２２７は、歪補正テーブル２２６から、補正前テーブルアドレスＡ、Ｂ、ＣおよびＤに対応する補正後テーブルアドレスＡ’、Ｂ’、Ｃ’およびＤ’を読み出す。また、歪補正アドレス生成部２２７は、補間係数ｍおよびｎを歪補正後補間係数ｍ’およびｎ’に変換する。ここで、歪補正後補間係数ｍ’およびｎ’は、所定の係数群のうち、補間係数ｍおよびｎに最も近い係数である。この係数群は、Ａ’およびＢ’を結ぶ線分の画素数に応じた係数からなる群である。例えば、Ａ’からＢ’までの線分Ａ’Ｂ’の画素数が４画素である場合、その線分を内分する内分比は、０、１／４、２／４、３／４および１のいずれかである。この場合、０、１／４、２／４、３／４および１からなる係数群のうち、補間係数ｍおよびｎに最も近い係数が歪補正後補間係数ｍ’およびｎ’として選択される。

歪補正アドレス生成部２２７は、補正後テーブルアドレスＡ’、Ｂ’、Ｃ’およびＤ’と歪補正後補間係数ｍ’およびｎ’とから、リードアドレスＲに対応する歪補正アドレスＲ’を求める。例えば、Ａ’、Ｂ’、Ｃ’およびＤ’のそれぞれの座標を（Ｈ_Ａ’、Ｖ_Ａ’）、（Ｈ_Ｂ’、Ｖ_Ｂ’）、（Ｈｃ’、Ｖｃ’）、（Ｈ_Ｄ’、Ｖ_Ｄ’）とし、次の式により、Ｒ’の座標（Ｈ_Ｒ’、Ｖ_Ｒ’）が算出される。
（Ｈ_Ｂ’−Ｈ_Ｒ’）：（Ｈ_Ｒ’−Ｈ_Ａ’）＝ｍ’：（１−ｍ’） ・・・式５
（Ｖ_Ｄ’−Ｖ_Ｒ’）：（Ｖ_Ｒ’−Ｖ_Ａ’）＝ｎ’：（１−ｎ’） ・・・式６

歪補正アドレス生成部２２７は、上式により求めた歪補正アドレスＲ’を歪補正アドレスデコーダ２２９に供給する。また、歪補正アドレス生成部２２７は、歪補正後補間係数を補間処理部２３３に供給する。なお、歪補正アドレス生成部２２７は、特許請求の範囲に記載の補間部の一例である。

歪補正アドレスデコーダ２２９は、歪補正アドレスＲ’を、画像メモリ２３２上のアドレスに変換するものである。歪補正アドレスデコーダ２２９は、変換したアドレスをリードメモリアドレスとしてリード制御部２３１に供給する。

ライトアドレスデコーダ２２５は、ライトアドレスを、画像メモリ２３２上のアドレスに変換するものである。ライトアドレスデコーダ２２５は、変換したアドレスをライトメモリアドレスとしてライト制御部２３０に供給する。

遅延調整部２２８は、主画像データ内の画素データのそれぞれを一定時間遅延させてライト制御部２３０に順に供給するものである。

ライト制御部２３０は、ライトメモリアドレスを指定したライトコマンドを発行して画像メモリ２３２に供給し、画素データをライトメモリアドレスに書き込むものである。画像メモリ２３２は、主画像データを記憶するものである。リード制御部２３１は、リードメモリアドレスを指定したリードコマンドを発行して画像メモリ２３２に供給し、画素データを読み出すものである。このリード制御部２３１は、読み出した画素データを補間処理部２３３に供給する。

補間処理部２３３は、画像メモリ２３２から読み出された主画像データにおいて足りない画素を補間するものである。例えば、補正前のＡ、Ｂ、ＣおよびＤで囲まれる領域内の画素数が１５画素で、補正後のＡ’、Ｂ’、Ｃ’およびＤ’で囲まれる領域内の画素数が１６画素の場合、１画素を補間する必要がある。補間処理部２３３は、補間係数、歪補正後補間係数およびリードアドレスＲと画像メモリから読み出した画素データとに基づいて、必要な画素データを補間する。補間処理部２３３は、補間後の画像データを歪補正した主画像データとして物体検出部２４０に供給する。

図１４は、第１の実施の形態の第１の変形例における補正方法を説明するための図である。同図におけるａは、補正前テーブルアドレスＡ、Ｂ、ＣおよびＤとリードアドレスＲとを示す図である。同図におけるｂは、補正後テーブルアドレスＡ’、Ｂ’、Ｃ’およびＤ’と歪補正アドレスＲ’とを示す図である。

リードアドレスＲが代表点のアドレスでない場合にリードアドレスデコーダ２２４は、Ｒの周囲の４つの代表点のアドレス、すなわち補正前リードアドレスＡ、Ｂ、ＣおよびＤを歪補正テーブル２２６から読み出す。

リードアドレスデコーダ２２４は、式１および式２により、直線ＡＣと直線ＢＤとの間において線形補間を行ってリードアドレスＲを通る直線を補間直線として求める。歪補正アドレス生成部２２７は、その補間直線と直線ＡＢとの交点Ｍの座標を算出し、補間直線と直線ＣＤとの交点Ｎの座標を算出する。そして、リードアドレスデコーダ２２４は、例えば、線分ＭＮをリードアドレスＲにより内分する内分比ｍを求める。

また、リードアドレスデコーダ２２４は、直線ＡＢと直線ＣＤとの間において線形補間を行ってリードアドレスＲを通る直線を補間直線として求める。歪補正アドレス生成部２２７は、その補間直線と直線ＡＣとの交点Ｏの座標を算出し、補間直線と直線ＢＤとの交点Ｐの座標を算出する。そして、リードアドレスデコーダ２２４は、例えば、線分ＯＰをリードアドレスＲにより内分する内分比ｎを求める。

歪補正アドレス生成部２２７は、歪補正テーブル２２６から、補正前テーブルアドレスＡ、Ｂ、ＣおよびＤに対応する補正後テーブルアドレスＡ’、Ｂ’、Ｃ’およびＤ’を読み出す。また、歪補正アドレス生成部２２７は、補正係数ｍおよびｎから歪補正後補正係数ｍ’およびｎ’を求める。そして、図１４におけるｂに例示するように、歪補正アドレス生成部２２７は、求めたｍ’およびｎ’と補正後テーブルアドレスＡ’、Ｂ’、Ｃ’およびＤ’とから、式５および式６によりリードアドレスＲに対応する歪補正アドレスＲ’を求める。

このように、歪補正アドレス生成部２２７は、４つの代表点の座標から、代表点に該当しない点の座標を補間するため、歪補正テーブル２２６には代表点のみについて補正前後の座標を保持しておけばよい。したがって、全画素について補正前後の座標を保持する構成と比較して、歪補正テーブル２２６のサイズを小さくすることができる。

このように本技術の第１の実施の形態の第１の変形例によれば、眼鏡型ウェアラブル端末１００は、代表点以外の座標を代表点の座標から補間するため、歪補正テーブル２２６のサイズを削減することができる。

［第２の変形例］
上述の第１の実施の形態では、眼鏡型ウェアラブル端末１００は、ユーザが頭部を動かした場合であっても同じフレームレートで撮像を行っていた。しかし、頭部に動きがあった場合には画像データ内の物体の位置も大きく変化するため、物体を正確に検出することができなくなるおそれがある。第１の実施の形態の第２の変形例における眼鏡型ウェアラブル端末１００は、頭部の動きがあっても物体を正確に検出することができるように主カメラ１１１等を制御する点において第１の実施の形態と異なる。

図１５は、第１の実施の形態の第２の変形例における眼鏡型ウェアラブル端末１００の一構成例を示すブロック図である。第１の実施の形態の第２の変形例における眼鏡型ウェアラブル端末１００は、加速度センサ１６０をさらに備える点において第１の実施の形態と異なる。

加速度センサ１６０は、一定のサンプリングレートにより眼鏡型ウェアラブル端末１００の加速度を検出するものである。加速度センサ１６０は、検出した加速度の値を基準信号発生部１２０および露光制御部１４０に供給する。また、加速度センサ１６０が、加速度を検出するサンプリングレートは、視差画像データのフレームレートよりも高いことが望ましい。一般に、加速度センサの方が、撮像素子よりも消費電力が少ないため、加速度センサのサンプリングレートの方が撮像素子と比較して高くしやすい。

第２の変形例の基準信号発生部１２０は、加速度が大きいほど、垂直同期信号ＶＳＹＮＶＣの周波数を大きくする。これにより、主画像データ等の画像データのフレームレートが高くなる。また、第２の変形例の露光制御部１４０は、加速度が大きいほど露光時間を短くする。

このように、本技術の第１の実施の形態の第２の変形例によれば、眼鏡型ウェアラブル端末１００は、その加速度が大きいほど高いフレームレートで画像データを撮像するため、ユーザが頭部を動かしても物体を正確に検出することができる。

［第３の変形例］
上述の第１の実施の形態では、眼鏡型ウェアラブル端末１００は、主画像データと、一対の視差画像データ（右側画像データおよび左側画像データ）とを同一のフレームレートで撮像していた。しかし、この構成では、視差画像データを用いて測距および物体検出を行う間隔と異なる間隔で主画像データの撮像を行うことができない。第１の実施の形態の第３の変形例の眼鏡型ウェアラブル端末１００は、測距および物体検出の間隔と異なる間隔で撮像を行う点において第１の実施の形態と異なる。

図１６は、第１の実施の形態の第３の変形例における眼鏡型ウェアラブル端末１００の一構成例を示すブロック図である。第１の実施の形態の第３の変形例の眼鏡型ウェアラブル端末１００は、基準信号発生部１２０の代わりに基準信号発生部１２１を備え、記録部１６５をさらに備える点において第１の実施の形態と異なる。

記録部１６５は、主画像データを記録するものである。また、基準信号発生部１２１は、互いに周波数の異なる垂直同期信号ＶＳＹＮＣ１およびＶＳＹＮＣ２を生成する。基準信号発生部１２１は、それらの垂直同期信号を信号線１２８および１２９を介してカメラ部１１０に供給する。

ここで、ＶＳＹＮＣ１の周波数と、ＶＳＹＮＣ２の周波数とは比は整数比であることが望ましい。整数比とすれば、奥行きの算出のタイミングと、物体検出のタイミングとを揃えることができる。また、ＶＳＹＮＣ１およびＶＳＹＮＣ２の周波数が整数比でないと、主画像データと視差画像データとの一方を補間する必要が生じるためである。

図１７は、第１の実施の形態の第３の変形例におけるカメラ部１１０の一例を示すブロック図である。垂直同期信号ＶＳＹＮＣ１は、主カメラ１１１に供給され、垂直同期信号ＶＳＹＮＣ２は、右側カメラ１１５および左側カメラ１１６に供給される。これにより、主画像データと視差画像データとのそれぞれが、互いに異なるフレームレートで撮像される。

また、第３の変形例の物体検出部２４０は、主カメラ１１１に対応するＶＳＹＮＣ１でなく、右側カメラ１１５および左側カメラ１１６に対応するＶＳＹＮＣ２に同期して物体を検出する。

図１８は、第１の実施の形態の第３の変形例における垂直同期信号の一例を示すタイミングチャートである。同図におけるａは、垂直同期信号ＶＳＹＮＣ１の周波数を垂直同期信号ＶＳＹＮＣ２の３倍に設定した場合のタイミングチャートである。これにより、主画像データは、視差画像データの３倍のフレームレートで撮像される。測距と物体の検出とは、タイミングＴ１やＴ２など、周波数の低い方の垂直同期信号ＶＳＹＮＣ２に同期して実行される。

図１８におけるｂは、垂直同期信号ＶＳＹＮＣ１の周波数を垂直同期信号ＶＳＹＮＣ２の１／３に設定した場合のタイミングチャートである。これにより、主画像データは、視差画像データの１／３のフレームレートで撮像される。測距と物体の検出とは、タイミングＴ１やＴ２など、周波数の低い方の垂直同期信号ＶＳＹＮＣ１に同期して実行される。

図１８に例示したように、主画像データと視差画像データとのそれぞれのフレームレートの比を整数比とすることにより、物体検出のタイミングと測距のタイミングとを容易に合わせることができる。また、主画像データと視差画像データとのそれぞれのフレームレートを異なる値にすることにより、画像データの撮像間隔と、測距および物体検出の間隔とを別々に調整することができる。

このように、本技術の第１の実施の形態の第３の変形例によれば、眼鏡型ウェアラブル端末１００が主画像データと視差画像データとを互いに異なるフレームレートで撮像するため、測距および物体検出の間隔と異なる間隔で撮像を行うことができる。

［第４の変形例］
上述の第１の実施の形態では、主カメラ１１１、右側カメラ１１５および左側カメラ１１６の３つのカメラを用いて、物体の検出を行っていた。しかし、このように３つのカメラを用いることを前提とする構成では、２つしかカメラが設けられていない眼鏡型ウェアラブル端末では物体の検出を行うことができない。第１の実施の形態の第４の変形例の眼鏡型ウェアラブル端末１００は、２つのカメラしか設けられていない眼鏡型ウェアラブル端末において物体の検出を行う点において第１の実施の形態と異なる。

図１９は、第１の実施の形態の第４の変形例におけるカメラ部１１０および信号処理部１３０の一構成例を示すブロック図である。第１の実施の形態の第４の変形例のカメラ部１１０は、主カメラ１１１を備えない点において第１の実施の形態と異なる。また、第１の実施の形態の第４の変形例の信号処理部１３０は、信号処理回路１３１を備えない点において第１の実施の形態と異なる。

また、第４の変形例の物体検出部２４０には、右側画像データおよび左側画像データの少なくとも一方が主画像データとして入力される。あるいは、右側画像データおよび左側画像データが物体検出部２４０に入力され、物体検出部２４０は、それらを合成した画像を主画像データとして生成する。物体検出部２４０は、その主画像データにおいて、第１の実施の形態と同様に物体を検出する。第４の変形例の奥行き取得部２５０には、第１の実施の形態と同様に右側画像データおよび左側画像データが入力される。

このように、本技術の第１の実施の形態の第４の変形例によれば、眼鏡型ウェアラブル端末１００が右側カメラ１１５および左側カメラ１１６により物体の検出を行うため、主カメラ１１１および信号処理回路１３１を設ける必要がなくなる。これにより、部品点数や消費電力を削減することができる。

＜２．第２の実施の形態＞
上述の第１の実施に形態では、眼鏡型ウェアラブル端末１００は、デプスマップを生成していたが、視差画像データの解像度やフレームレートが高くなるほどデプスマップを生成する処理の処理量が多くなってしまう。この第２の実施の形態の眼鏡型ウェアラブル端末１００は、物体検出の結果を用いてデプスマップ生成の処理量を低減する点において第１の実施の形態と異なる。

図２０は、第２の実施の形態における画像処理部２００の一構成例を示すブロック図である。第２の実施の形態の画像処理部２００は、物体検出部２４０および奥行き取得部２５０の代わりに、物体検出部２４１および奥行き取得部２５１を備える点において第１の実施の形態と異なる。

また、第２の実施の形態では、補正設定モードおよび物体検出モードに加えて、ユーザの操作により測距モードがさらに設定される。この測距モードは、特定の物体までの距離を測定して、その距離を表示部１５０に表示させるためのモードである。

測距モードが設定されると、物体検出部２４１は、主画像データのうち視差画像に対応する領域全体に対して物体検出処理を実行し、その結果を奥行き取得部２５１に供給する。そして、奥行き取得部２５１は、その検出結果に基づいて、特定の物体が検出された領域のみにおいて奥行きを取得して、デプスマップを生成して表示部１５０に供給する。表示部１５０は、デプスマップの示す距離を表示する。

一方、補正設定モードまたは物体検出モードが設定された場合に物体検出部２４１および奥行き取得部２５１は、第１の実施の形態と同様の処理を行う。

図２１は、第２の実施の形態における眼鏡型ウェアラブル端末１００の動作の一例を示すフローチャートである。第２の実施の形態における眼鏡型ウェアラブル端末１００の動作は、ステップＳ９０３およびＳ９５０をさらに実行する点において第１の実施の形態と異なる。

物体検出モードでない場合（ステップＳ９０１：Ｎｏ）、眼鏡型ウェアラブル端末１００は、測距モードであるか否かを判断する（ステップＳ９０３）。測距モードである場合（ステップＳ９０３：Ｙｅｓ）、眼鏡型ウェアラブル端末１００は、特定の物体が検出された領域のみにおいて奥行き（すなわち、距離）を取得する測距処理を実行する（ステップＳ９５０）。一方、補正設定モードである場合（ステップＳ９０３：Ｎｏ）、眼鏡型ウェアラブル端末１００は、補正設定処理を実行する（ステップＳ９１０）。ステップＳ９１０、Ｓ９２０またはＳ９５０の後、眼鏡型ウェアラブル端末１００は、ステップＳ９０２を実行する。

図２２は、第２の実施の形態における測距処理を示すフローチャートである。眼鏡型ウェアラブル端末１００は、主画像データを撮像し（ステップＳ９５１）、また、一対の視差画像を撮像する（ステップＳ９５２）。眼鏡型ウェアラブル端末１００は、各画像データの座標ズレを補正し（ステップＳ９５３）、主画像データにおいて特定の物体を検出する（ステップＳ９５４）。そして、眼鏡型ウェアラブル端末１００は、一対の視差画像を用いて、物体が検出された領域のみにおいてデプスマップを生成し（ステップＳ９５５）、そのデプスマップに基づいて距離を表示する（ステップＳ９５６）。ステップＳ９５６の後、眼鏡型ウェアラブル端末１００は、測距処理を終了する。

図２３は、第２の実施の形態における主画像データおよび表示データの一例を示す図である。同図におけるａは、主画像データ５２０の一例を示し、同図におけるｂは、表示データ５３０の一例を示す。

主画像データ５２０には、人物５２１および５２２などの被写体が写っている。ただし、人物５２２は全体が写っていないため、物体検出処理では人物として検出されない。測距モードが設定されると、眼鏡型ウェアラブル端末１００は、主画像データ５２０において人物５２１を検出する。そして眼鏡型ウェアラブル端末１００は、検出した人物５２１の領域のみにおいて、デプスマップを生成する。

表示データ５３０は、人物の検出結果５３１と、距離情報５３２とを含む。この距離情報５３２は、検出された人物５２１までの距離を示す。

このように、本技術の第２の実施の形態によれば、眼鏡型ウェアラブル端末１００は、主画像データのうち特定の物体が検出された領域のみで奥行きを取得するため、奥行きを取得する処理の処理量を低減することができる。

＜３．第３の実施の形態＞
上述の第１の実施の形態では、眼鏡型ウェアラブル端末１００は、主カメラ１１１、右側カメラ１１５および左側カメラ１１６の３つからの画像データを用いて物体を検出していた。しかし、主画像データに複数の物体が写っている場合、それらの物体の数が多いほど、物体検出の処理量が多くなってしまう。この第３の実施の形態の眼鏡型ウェアラブル端末１００は、複数の物体が写っている際に物体検出の処理量を削減する点において第１の実施の形態と異なる。

図２４は、第３の実施の形態における眼鏡型ウェアラブル端末１００の斜視図の一例である。第３の実施の形態の眼鏡型ウェアラブル端末１００は、右側赤外線カメラ１１７、左側赤外線カメラ１１８、右側赤外線投光器１８１および左側赤外線投光器１８２をさらに備える点において第１の実施の形態と異なる。右側赤外線カメラ１１７および右側赤外線投光器１８１は、ユーザの顔の向いた方を前方として、リム１０１の後方の面に取り付けられる。また、左側赤外線カメラ１１８および左側赤外線投光器１８２は、リム１０２の後方の面に取り付けられる。

右側赤外線投光器１８１は、ユーザの右目が存在すると推定される位置に赤外光を照射するものである。左側赤外線投光器１８２は、ユーザの左目が存在すると推定される位置に赤外光を照射するものである。

右側赤外線カメラ１１７は、赤外光を電気信号に変換してユーザの右目を撮像するものであり、左側赤外線カメラ１１８は、赤外光を電気信号に変換してユーザの左目を撮像するものである。

図２５は、第３の実施の形態における眼鏡型ウェアラブル端末１００の上面図の一例である。主カメラ１１１、右側カメラ１１５および左側カメラ１１６は、リム１０１および１０２の前方の面に設けられ、可視光を電気信号に変換する。一方、右側赤外線投光器１８１および左側赤外線投光器１８２は、リム１０１および１０２の後方の面に設けられ、赤外光をユーザの目に向けて照射する。また、右側赤外線カメラ１１７および左側赤外線カメラ１１８は、リム１０１および１０２の後方の面に設けられ、ユーザの目で反射した赤外光を電気信号に変換して、その目の画像を撮像する。このように、赤外線投光器からの反射光を受光しやすい位置に赤外線カメラを設けることにより、赤外光の強い太陽光などの外光の影響を最小限にすることができる。

図２６は、第３の実施の形態における眼鏡型ウェアラブル端末１００の一構成例を示すブロック図である。この第３の実施の形態の眼鏡型ウェアラブル端末１００は、発光制御部１７０、右側赤外線投光器１８１および左側赤外線投光器１８２をさらに備える。

第３の実施の形態の基準信号発生部１２０は、カメラ部１１０の他、発光制御部１７０にも垂直同期信号ＶＳＹＮＣを供給する。

発光制御部１７０は、右側赤外線投光器１８１および左側赤外線投光器１８２を制御して発光させるものである。この発光制御部１７０は、基準信号発生部１２０から垂直同期信号ＶＳＹＮＣが供給されている期間に亘って、連続して右側赤外線投光器１８１および左側赤外線投光器１８２を発光させる。また、発光制御部１７０は、撮像環境の明るさなどに基づき、必要に応じて、右側赤外線投光器１８１および左側赤外線投光器１８２の発光強度を調整する。

図２７は、第３の実施の形態におけるカメラ部１１０および信号処理部１３０の一構成例を示すブロック図である。第３の実施の形態のカメラ部１１０は、右側赤外線カメラ１１７および左側赤外線カメラ１１８をさらに備える。第３の実施の形態の信号処理部１３０は、信号処理回路１３４および１３５をさらに備える。

右側赤外線カメラ１１７は、ユーザの右目を撮像して右目画像データを信号処理回路１３４に供給し、左側赤外線カメラ１１８は、ユーザの左目を撮像して左目画像データを信号処理回路１３５に供給する。なお、右側赤外線カメラ１１７および左側赤外線カメラ１１８からなるモジュールは、特許請求の範囲に記載の目画像撮像部の一例である。

信号処理回路１３４は、右目画像データに対して信号処理を行い、信号処理回路１３５は、左目画像データに対して信号処理を行う。

第３の実施の形態の露光制御部１４０の右側赤外線カメラ１１７および左側赤外線カメラ１１８の露光量をさらに制御する。これらの赤外線カメラについても露光制御することにより、これらの赤外線カメラに急に外光が入射された場合の影響を軽減することができる。例えば、測光量から直射日光下であると推定される場合、露光制御部１４０が右側赤外線カメラ１１７および左側赤外線カメラ１１８の露光量を小さくすることにより、ユーザの顔面で反射する外光の影響を最小化することができる。また、第３の実施の形態の基準信号発生部１２０は、右側赤外線カメラ１１７および左側赤外線カメラ１１８へ、さらに垂直同期信号ＶＳＹＮＣを供給する。

なお、基準信号発生部１２０は、同一の垂直同期信号を主カメラ１１１と赤外線カメラ（１１７および１１８）とに供給しているが、これらに異なる周波数の垂直同期信号を供給してもよい。この場合も、第１の実施の形態の第３の変形例と同様に、それぞれの垂直同期信号の周波数は、整数比であることが望ましい。

図２８は、第３の実施の形態における画像処理部２００の一構成例を示すブロック図である。この第３の実施の形態の画像処理部２００は、視線方向検出部２６０をさらに備える。

第３の実施の形態の補正部２１０は、右目画像データおよび左目画像データをさらに補正し、補正後のそれらの画像データを視線方向検出部２６０へ供給する。

また、視線方向検出部２６０は、右目画像データおよび左目画像データからユーザの右目および左目の視線方向を検出するものである。視線方向検出部２６０は、それらの視線方向を物体検出部２４２に供給する。

物体検出部２４２は、視線方向に沿った直線上に位置する被写体までの距離を算出し、その距離を含む一定の範囲内の奥行きの画素からなる領域を検出領域をとして設定する。そして、物体検出部２４２は、検出領域に対して物体検出処理を行う。例えば、光軸方向における基準位置から、右目および左目のそれぞれの視線方向の交差する注視点までの距離が、視線方向に沿った直線上の被写体までの距離として算出される。

なお、周波数の異なる２つの垂直同期信号により主画像データと、右目画像データおよび左目画像データとが異なるフレームレートで撮像される場合、物体検出部２４２および視線方向検出部２６０のそれぞれは、同一のタイミングで処理を行う。例えば、ＶＳＹＮＣ１が主カメラ１１１に供給され、赤外線カメラにＶＳＹＮＣ１より低い周波数のＶＳＹＮＣ２が供給される場合、物体検出部２４２および視線方向検出部２６０は、ＶＳＹＮＣ２に同期して処理を行う。また、ＶＳＹＮＣ１が主カメラ１１１に供給され、赤外線カメラにＶＳＹＮＣ１より高い周波数のＶＳＹＮＣ２が供給される場合、物体検出部２４２および視線方向検出部２６０は、ＶＳＹＮＣ１に同期して処理を行う。ただし、ＶＳＹＮＣ１およびＶＳＹＮＣ２の周波数の比率は整数比であるものとする。

図２９は、第３の実施の形態における補正部２１０の一構成例を示すブロック図である。この第３の実施の形態の補正部２１０は、座標変換部２１４および２１５をさらに備える。

座標変換部２１４は、右目画像データの補正前の座標を補正後の座標に変換し、座標変換部２１５は、左目画像データの補正前の座標を補正後の座標に変換する。また、第３の実施の形態は、座標変換部２１４および２１５にも補正データを設定する。

図３０は、第３の実施の形態における右目画像データ５４０および左目画像データ５５０の一例を示す図である。同図におけるａは、右目画像データ５４０の一例であり、同図におけるｂは、左目画像データ５５０の一例である。

右目画像データ５４０には、ユーザの右目の瞳孔５４１と、角膜で反射した赤外光５４２とが写っている。また、左目画像データ５５０には、ユーザの左目の瞳孔５５１と、角膜で反射した赤外光５５２とが写っている。視線方向検出部２６０は、この角膜反射の位置に対する瞳孔の位置に基づいて、右目および左目の視線方向を検出する。このように角膜反射を用いて視線方向を求める方法は、瞳孔角膜反射法と呼ばれる。この瞳孔角膜反射法の詳細は、例えば、「大野健彦、他２名、『眼球形状モデルに基づく視線測定システム−視線入力デバイスの実現に向けて−』、情報処理学会研究報告２００１−ＨＩ−９３」に記載されている。

なお、視線方向検出部２６０は、瞳孔角膜反射法以外の方法を用いて視線方向を検出してもよい。例えば、可視光を光電変換するカメラを赤外線カメラの代わりに設け、そのカメラで撮像した目の画像において目頭と虹彩との位置関係から視線方向を検出してもよい。この場合には、視線方向の検出精度が低下するものの、赤外線カメラや赤外線投光器が不要となる。

図３１は、第３の実施の形態における検出範囲の設定方法を説明するための図である。同図は、ユーザの頭頂部から見た撮像範囲を示す。同図において、太い実線は、主画像の結像面であり、点線は視線を示す。

ここで、撮像範囲には、人物６００および６０１が存在し、ユーザは人物６００を注視しているものとする。また、結像面から人物６００までの距離はｄ１であり、主画像の結像面から６０２までの距離はｄ２である。この場合、眼鏡型ウェアラブル端末１００は、右目および左目のそれぞれの視線方向を検出し、それらの交差する注視点と結像面との間の距離ｄ１を算出する。眼鏡型ウェアラブル端末１００は、デプスマップを参照して、算出したｄ１を含む一定範囲（例えば、ｄ１の前後１メートルの範囲）の奥行きが得られた検出領域に対して、物体検出処理を実行する。ｄ１を含む一定範囲からｄ２が外れる場合、眼鏡型ウェアラブル端末１００は、ユーザが注視した人物６００のみを検出することができる。また、眼鏡型ウェアラブル端末１００は、人物６０１の領域に対して物体検出処理を行わなくてよいため、処理量を低減することができる。

なお、眼鏡型ウェアラブル端末１００は、右目および左目の両方の視線方向を検出しているが、一方の視線方向のみを検出してもよい。この場合は、検出精度が低下するものの、赤外線カメラ、赤外線投光器、信号処理回路および座標変換部からなる組が１組不要となる。

また、眼鏡型ウェアラブル端末１００は、視線方向の検出結果と、デプスマップとを用いて検出範囲を設定しているが、視線方向の検出結果のみを用いて検出範囲を設定してもよい。デプスマップを用いない場合、物体検出部２４２は、例えば、主画像データにおいて、エッジ検出を行ってエッジにより囲まれた領域のそれぞれを候補領域として求め、それらの候補領域のうち、注視点を含む領域を検出領域に設定する。この場合は、物体検出の精度が低下するものの、右側カメラ１１５、左側カメラ１１６と信号処理回路１３２および１３３と奥行き取得部２５０とが不要となる。

図３２は、第３の実施の形態における物体検出処理を示すフローチャートである。第３の実施の形態の物体検出処理は、ステップＳ９２８、Ｓ９２９およびＳ９３０をさらに実行する点において第１の実施の形態と異なる。

眼鏡型ウェアラブル端末１００は、主画像データおよび一対の視差画像データを撮像し（ステップＳ９２１およびＳ９２２）、また、左目および右目の画像データを撮像する（ステップＳ９２８）。そして、眼鏡型ウェアラブル端末１００は、それらの画像データの座標ズレを補正し（ステップＳ９２３）、デプスマップを生成する（ステップＳ９２４）。また、眼鏡型ウェアラブル端末１００は、視線方向を検出し（ステップＳ９２９）、視線方向およびデプスマップを用いて、ユーザが注視している物体を検出する（ステップＳ９３０）。眼鏡型ウェアラブル端末１００は、物体の検出結果を表示して（ステップＳ９２６）、物体検出処理を終了する。

このように、本技術の第３の実施の形態によれば、眼鏡型ウェアラブル端末１００は、視線方向に沿った直線上の被写体までの距離を含む一定の範囲内の奥行きの領域に対して物体検出処理を行うため、ユーザが注視した物体のみを検出することができる。このようにユーザが注視した物体のみに検出対象を絞り込むことにより、複数の物体が写っている場合に物体検出の処理量を削減することができる。

［第１の変形例］
上述の第３の実施の形態では、眼鏡型ウェアラブル端末１００は、左目および右目の両方の視線方向から注視点を求めていたが、左右の目の動き量は同一とは限らない。一般に、右目および左目の一方は他方より眼球の動きが広範であり、そのような目は利き目と呼ばれる。この利き目の視線は、ユーザの実際の視線とよく一致するが、利き目でない方の目の視線は利き目ほど一致しない。このため、利き目でない方の目の視線方向の影響で、注視点の検出精度が低下するおそれがある。第３の実施の形態の第１の変形例における眼鏡型ウェアラブル端末１００は、利き目でない方の視線方向による検出精度の低下を抑制する点において第１の実施の形態と異なる。

図３３は、第３の実施の形態の第１の変形例における画像処理部２００の一構成例を示すブロック図である。第３の実施の形態の第１の変形例の画像処理部２００は、視線方向検出部２６０の代わりに視線方向検出部２６１を備え、虹彩パターン検出部２７０、利き目選択部２８０および虹彩パターン記憶部２９０をさらに備える。

虹彩パターン検出部２７０は、右目画像データおよび左目画像データの少なくとも一方（例えば、右目画像データのみ）において虹彩パターンを検出するものである。この虹彩パターン検出部２７０は、検出した虹彩パターンを利き目選択部２８０に供給する。

虹彩パターン記憶部２９０は、虹彩パターンごとに、両目のうち利き目がどちらかを示す利き目情報を記憶するものである。

利き目選択部２８０は、右目画像データおよび左目画像データから両目の一方を利き目として選択するものである。この利き目選択部２８０は、虹彩パターンが検出されると、その虹彩パターンが虹彩パターン記憶部２９０に登録されているか否かを判断する。虹彩パターンが登録されていれば、利き目選択部２８０は、検出された虹彩パターンに対応する利き目情報を虹彩パターン記憶部２９０から読み出し、その利き目情報を視線方向検出部２６１に供給する。

一方、虹彩パターンが登録されていない場合に利き目選択部２８０は、右目画像データからなる動画と、左目画像データからなる動画とを解析して、動きの大きな方を利き目として選択する。利き目選択部２８０は、選択した利き目を示す利き目情報を生成し、検出された虹彩パターンと対応付けて虹彩パターン記憶部２９０に登録する。また、利き目選択部２８０は、生成した利き目情報を視線方向検出部２６１に供給する。このように、利き目選択部２８０が利き目を自動で選択するため、ユーザが利き目を入力する操作を行う必要がなくなる。

視線方向検出部２６１は、利き目選択部２８０により利き目が選択された場合に、利き目を優先して視線方向を検出する。例えば、視線方向検出部２６１は、両目のうち利き目の視線方向のみを検出する。あるいは、視線方向検出部２６１は、利き目の方の画像データの枚数を利き目でない方よりも多く取得し、それらの画像データの各々で視線方向の検出を行って、それらの検出結果の統計量を算出する。

一方、利き目選択部２８０による動画の解析が完了しておらず、利き目が選択されていない場合に視線方向検出部２６１は、第３の実施の形態と同様に両目の視線方向を検出する。

なお、虹彩パターン検出部２７０は、虹彩パターンの検出のみを行っているが、検出された虹彩パターンが予め登録された虹彩パターンと一致するか否かを判断する虹彩認証をさらに行ってよい。また、眼鏡型ウェアラブル端末１００自体が、両目の画像データから利き目を自動選択しているが、ユーザが利き目を手動で入力する構成としてもよい。この場合には、利き目選択部２８０が不要となる。

図３４は、第３の実施の形態の第１の変形例における虹彩パターン情報ごとの利き目情報の一例を示す図である。虹彩パターン記憶部２９０は、識別情報ごとに、虹彩パターン情報および利き目情報を記憶する。識別情報は、虹彩パターンを識別するための情報である。例えば、パターンＡの人物の利き目として右目が検出された場合に、虹彩パターン記憶部２９０は、「パターンＡ」に「右目」を示す利き目情報を対応づけて記憶する。

図３５は、第３の実施の形態の第１の変形例における物体検出処理を示すフローチャートである。第３の実施の形態の第１の変形例における物体検出処理は、デプスマップの生成（ステップＳ９２４）の後に、視線方向を検出するための視線検出処理（ステップＳ９４０）をさらに実行する点において第３の実施の形態と異なる。

図３６は、第３の実施の形態の第１の変形例における視線検出処理を示すフローチャートである。眼鏡型ウェアラブル端末１００は、虹彩パターンを検出し（ステップＳ９４１）、虹彩パターンが登録済みであるか否かを判断する（ステップＳ９４２）。虹彩パターンが登録済みである場合に（ステップＳ９４２：Ｙｅｓ）、眼鏡型ウェアラブル端末１００は、検出された虹彩パターンに対応する利き目情報を読み出す（ステップＳ９４３）。一方、虹彩パターンが登録されていない場合に（ステップＳ９４２：Ｎｏ）、眼鏡型ウェアラブル端末１００は、利き目を選択し（ステップＳ９４４）、虹彩パターンおよび利き目情報を対応付けて登録する（ステップＳ９４５）。

ステップＳ９４３またはＳ９４５の後、眼鏡型ウェアラブル端末１００は、利き目を優先して視線方向を検出する（ステップＳ９４６）。ステップＳ９４６の後、眼鏡型ウェアラブル端末１００は、視線検出処理を終了する。

このように、本技術の第３の実施の形態の第１の変形例によれば、眼鏡型ウェアラブル端末１００は、両目の一方を利き目として選択し、その利き目を優先して視線方向を検出するため、視線方向の検出精度を向上させることができる。

［第２の変形例］
上述の第３の実施の形態では、眼鏡型ウェアラブル端末１００が物体の検出結果を平面的に表示していたが、透過型ディスプレイを通して見る現実の物体が立体的に見えるのに対し、検出結果は平面表示されるため、臨場感が不足するおそれがある。第３の実施の形態の第２の変形例の眼鏡型ウェアラブル端末１００は、臨場感を向上させる点において第３の実施の形態と異なる。

図３７は、第３の実施の形態の第２の変形例における画像処理部２００の一構成例を示すブロック図である。第３の実施の形態の第２の変形例における画像処理部２００は、立体画像生成部３００をさらに備える点において第３の実施の形態と異なる。

第３の実施の形態の物体検出部２４０は、物体の検出結果を示す表示データと、検出した物体までの奥行きを示す距離情報とを立体画像生成部３００に供給する。

立体画像生成部３００は、距離情報に応じた視差の右側表示データおよび左側表示データを表示データから生成するものである。立体画像生成部３００は、右側表示データを右側透過型ディスプレイ１５１に供給し、左側表示データを左側透過型ディスプレイ１５２に供給する。これらのディスプレイにより、光軸方向において、ユーザが注視した物体の位置に、検出結果が立体表示される。

図３８は、第３の実施の形態の第２の変形例における立体画像の表示位置の一例を示す図である。右側表示データの基準の水平座標（例えば、中央の水平座標）をＵ_Ｒとし、左側表示データの基準の水平座標をＵ_Ｌとする。水平座標は、ユーザから見て左側であるほど、値が小さいものとする。この場合において、例えば、Ｕ_ＲからＵ_Ｌを減じた値が視差ＤＩＦとして用いられる。

ここで、左目と右目との間の距離をベース距離Ｂとし、視聴者から表示部１５０までの距離をＤｍとし、奥行き方向に立体的に視認される立体画像の表示位置をＤｐとする。このとき、右目、左目および立体画像の中心のなす三角形と、Ｕ_Ｒ、Ｕ_Ｌおよび立体画像の中心のなす三角形とは相似であるため、次の式４が成立する。
ＤＩＦ：Ｄｍ＝Ｂ：Ｄｐ ・・・式７
上式により、距離情報の示すＤｐとＢおよびＤｍの設計値とから視差ＤＩＦが算出され、その視差ＤＩＦを持つ一対の表示データが生成される。

このように、本技術の第３の実施の形態の第２の変形例によれば、眼鏡型ウェアラブル端末１００は、物体が検出された奥行きに応じた視差を持つ一対の表示データを生成するため、物体が検出された位置に立体画像を表示させることができる。このように立体画像を表示させることにより、臨場感を向上させることができる。

［第３の変形例］
上述の第３の実施の形態では、眼鏡型ウェアラブル端末１００は、右側赤外線投光器１８１および左側赤外線投光器１８２を連続して発光させていたが、これらの発光により、眼鏡型ウェアラブル端末１００の消費電力が増大する問題がある。第３の実施の形態の第３の変形例における眼鏡型ウェアラブル端末１００は、右側赤外線投光器１８１および左側赤外線投光器１８２の発光による消費電力を削減する点において第３の実施の形態と異なる。

図３９は、第３の実施の形態の第３の変形例における眼鏡型ウェアラブル端末１００の一構成例を示すブロック図である。、第３の実施の形態の第３の変形例における眼鏡型ウェアラブル端末１００は、発光制御部１７０の代わりに発光制御部１７１を備える点において第３の実施の形態と異なる。

発光制御部１７１は、垂直同期信号ＶＳＹＮＣともに、露光時間を示す露光制御信号をさらに受け取る。そして、発光制御部１７１は、垂直同期信号ＶＳＹＮＣに同期して、右側赤外線投光器１８１および左側赤外線投光器１８２を間欠的に発光させる。

ここで、右側赤外線カメラ１１７および左側赤外線カメラ１１８は、画像内の複数のラインを順に露光させるローリングシャッター方式により撮像を行うものとする。この場合、最初のラインの露光が開始したときから、最後のラインの露光が終了したときまでの露光期間を含む一定の発光期間に亘って連続して発光させることが望ましい。その露光期間内においてスイッチング制御により間欠的に赤外線投光器を発光させると、ラインごとの赤外線の受光時間に相違が生じ、正確な右目画像および左目画像が得られないおそれがあるためである。例えば、発光制御部１７１は、垂直同期信号ＶＳＹＮＣに同期して、露光開始より前のタイミングで発光を開始させ、露光終了より後のタイミングで発光を終了させる。

図４０は、第３の実施の形態の第３の変形例における眼鏡型ウェアラブル端末１００の動作の一例を示すタイミングチャートである。

基準信号発生部１２０は、一定間隔のタイミングＴ１、Ｔ２およびＴ３などのタイミングで垂直同期信号ＶＳＹＮＣを生成する。また、右側赤外線カメラ１１７および左側赤外線カメラ１１８は、垂直同期信号ＶＳＹＮＣに同期して露光を開始または終了する。例えば、タイミングＴ１から一定期間が経過したタイミングＴ１１において右側赤外線カメラ１１７および左側赤外線カメラ１１８は、最初のラインの露光を開始する。タイミングＴ１１経過後は、２行目以降のラインの露光が順に開始される。そして、タイミングＴ２から一定期間が経過したタイミングＴ２１において右側赤外線カメラ１１７および左側赤外線カメラ１１８は、最後のラインの露光を終了する。また、これらの赤外線カメラは、タイミングＴ２から一定期間が経過したタイミングＴ２２において最初のラインの露光を開始し、タイミングＴ３から一定期間が経過したタイミングＴ３１において最後のラインの露光を終了する。

一方、発光制御部１７１は、垂直同期信号ＶＳＹＮＣに同期して、最初のラインの露光開始より前のタイミングで発光を開始させ、最後のラインの露光終了より後のタイミングで発光を終了させる。例えば、発光制御部１７１は、タイミングＴ１１の直前のタイミングから、タイミングＴ２１の直後のタイミングまでの期間に亘って右側赤外線投光器１８１および左側赤外線投光器１８２を発光させる。また、発光制御部１７１は、タイミングＴ２１の直後からタイミングＴ２２の直前までの間は発光を停止させる。そして、発光制御部１７１は、タイミングＴ２２の直前のタイミングから、タイミングＴ３１の直後のタイミングまでの期間に亘って右側赤外線投光器１８１および左側赤外線投光器１８２を発光させる。

このように、本技術の第３の実施の形態の第３の変形例によれば、発光制御部１７１が露光期間を含む一定期間のみにおいて赤外線投光器を発光させるため、連続して発光させる場合と比較して消費電力を低減することができる。

［第４の変形例］
上述の第３の実施の形態の第３の変形例では、右側赤外線カメラ１１７および左側赤外線カメラ１１８は、ローリングシャッター方式により露光を行っていた。しかし、このローリングシャッター方式では、露光開始および露光終了のタイミングがラインごとに異なるため、動体を撮像する際に画像が歪む現象（いわゆる、ローリングシャッター歪み）が生じ、また、蛍光灯を撮像する際にフリッカが生じてしまう。第３の実施の形態の第４の変形例の眼鏡型ウェアラブル端末１００は、ローリングシャッター歪みやフリッカを抑制する点において第３の変形例と異なる。

ここで、第３の変形例のローリングシャッター方式では、露光期間内に赤外線投光器を間欠的に発光させると、ラインごとの赤外線の受光時間に相違が生じるため、発光制御部１７１は、露光期間を含む発光期間に亘って連続して発光させていた。しかし、第４の変形例のグローバルシャッター方式では、露光時間内に赤外線投光器を間欠的に発光させても、ラインごとの赤外線の受光時間に差が生じない。このため、第４の変形例の発光制御部１７１は、露光時間内に間欠的に赤外光を発光させて、さらに消費電力を低減することができる。

図４１は、第３の実施の形態の第４の変形例における眼鏡型ウェアラブル端末１００の動作の一例を示すタイミングチャートである。右側赤外線カメラ１１７および左側赤外線カメラ１１８は、全ラインの露光を同時に開始させる。例えば、右側赤外線カメラ１１７および左側赤外線カメラ１１８は、タイミングＴ１１で全ラインの露光を開始し、タイミングＴ２１で全ラインの露光を終了する。

一方、発光制御部１７１は、垂直同期信号ＶＳＹＮＣに同期して、全ラインの露光開始のタイミングで一定のデューティ比の間欠発光を開始させ、全ラインの露光終了のタイミングで間欠発光を終了させる。例えば、発光制御部１７１は、タイミングＴ１１からタイミングＴ２１までの期間に亘って右側赤外線投光器１８１および左側赤外線投光器１８２を間欠発光させる。また、発光制御部１７１は、タイミングＴ２１からタイミングＴ２２までの間は発光を停止させる。そして、発光制御部１７１は、タイミングＴ２２から、タイミングＴ３１までの期間に亘って右側赤外線投光器１８１および左側赤外線投光器１８２を間欠発光させる。

また、発光制御部１７１は、右側赤外線投光器１８１および左側赤外線投光器１８２を発光させる発光制御信号のデューティ比を制御することにより、発光強度を調整することができる。このようにパルス幅（すなわち、デューティ比）を変える制御は、ＰＷＭ（Pulse Width Modulation）制御と呼ばれる。

なお、発光制御部１７１は、露光時間においてのみ間欠発光させているが、露光時間を含む撮像期間に亘って間欠発光させてもよい。また、発光制御部１７１は、第３の変形例と同様に、露光時間より長い一定の発光期間に亘って連続して発光させてもよい。

このように、本技術の第３の実施の形態の第４の変形例によれば、発光制御部１７１は、全ラインの露光を同時に開始させるグローバルシャッター方式により撮像を行うため、ローリングシャッター歪みやフリッカを抑制することができる。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

なお、本技術は以下のような構成もとることができる。
（１）主画像を結像するレンズの光軸方向における奥行きを前記主画像内の画素のそれぞれに対応付けて取得する奥行き取得部と、
前記光軸方向における所定範囲内の前記奥行きに対応する前記画素からなる検出領域に対して特定の物体を検出する物体検出処理を実行する物体検出部と
を具備する画像処理装置。
（２）前記奥行き取得部は、撮像範囲の少なくとも一部が前記主画像と重複する一対の視差画像の視差から前記奥行きを取得する前記（１）記載の画像処理装置。
（３）前記特定の物体の検出が指示された場合には前記奥行き取得部は前記奥行きを前記主画像内の画素のそれぞれに対応付けて取得し、前記物体検出処理は前記検出領域に対して前記物体検出処理を実行し、
前記奥行きの取得が指示された場合には前記物体検出部は前記主画像全体に対して前記物体検出処理を実行し、前記奥行き取得部は、前記主画像のうち前記特定の物体が検出された領域内の前記画素のそれぞれに対応づけて前記奥行きを取得する
前記（１）または（２）に記載の画像処理装置。
（４）左目および右目の少なくとも一方を撮像した目画像に基づいて前記左目および前記右目の少なくとも一方の視線方向を検出する視線検出部をさらに具備し、
前記物体検出部は、前記視線方向に沿った直線上に位置する被写体までの距離を含む一定の範囲を前記所定範囲として前記物体検出処理を実行する前記（１）から（３）のいずれかに記載の画像処理装置。
（５）前記目画像に基づいて前記左目および前記右目の一方を利き目として選択する利き目選択部をさらに具備し、
前記視線検出部は、前記利き目を優先して前記視線方向を検出する
前記（４）記載の画像処理装置。
（６）前記目画像に基づいて前記左目および前記右目の少なくとも一方の虹彩パターンを検出する虹彩パターン検出部と、
前記検出された虹彩パターンごとに当該虹彩パターンの人物について選択された前記利き目を記憶する虹彩パターン記憶部と
をさらに具備し、
前記視線検出部は、前記検出された虹彩パターンに対応する前記利き目を前記虹彩パターン記憶部から読み出す
前記（５）記載の画像処理装置。
（７）前記主画像において前記画素の座標のそれぞれの所定の基準座標からのズレを補正して前記物体検出部に供給する前記補正部をさらに具備する
前記（１）から（６）のいずれかに記載の画像処理装置。
（８）前記補正部は、
前記座標のズレを補正する前の補正前座標と補正した後の補正後座標とを前記画素のうち一部の代表点ごとに対応付けて保持する歪補正テーブルと、
前記代表点に該当しない前記画素の周囲の４つの前記補正前座標のそれぞれに対応する前記補正後座標から補間した座標を前記座標のズレを補正した座標として求める補間部と
を備える前記（７）記載の画像処理装置。
（９）主画像を結像するレンズにより主画像を撮像する主画像撮像部と、
前記光軸方向における奥行きを前記主画像内の画素のそれぞれに対応付けて取得する奥行き取得部と、
前記光軸方向における所定範囲内の前記奥行きに対応する前記画素からなる検出領域に対して特定の物体を検出する物体検出処理を実行する物体検出部と
を具備する撮像装置。
（１０）撮像範囲の少なくとも一部が前記主画像と重複する一対の視差画像を撮像する視差画像撮像部をさらに具備し、
前記奥行き取得部は、前記一対の視差画像の視差から前記奥行きを取得する前記（９）記載の撮像装置。
（１１）前記主画像撮像部は、第１の周波数の第１の同期信号に同期して前記主画像を撮像し、
前記視差画像撮像部は、第２の周波数の第２の同期信号に同期して前記一対の視差画像を撮像し、
前記第１の周波数と前記第２の周波数との比は整数比である
前記（１０）記載の撮像装置。
（１２）前記主画像撮像部および前記視差画像撮像部のそれぞれの露光期間を同一の値に制御する露光制御部をさらに具備する
前記（１０）または（１１）に記載の撮像装置。
（１３）左目および右目の少なくとも一方の画像を目画像として撮像する目画像撮像部と、
前記目画像に基づいて前記左目および前記右目の少なくとも一方の視線方向を前記目画像に基づいて検出する視線検出部とをさらに具備し、
前記物体検出部は、前記視線方向に沿った直線上に位置する被写体までの距離を含む一定の範囲を前記所定範囲として前記物体検出処理を実行する前記（９）から（１２）のいずれかに記載の撮像装置。
（１４）赤外光を発光する赤外線投光器と、
前記赤外線投光器を制御して前記赤外光を発光させる発光制御部と
をさらに具備し、
前記目画像撮像部は、前記赤外光を光電変換して前記目画像を撮像する
前記（１３）記載の撮像装置。
（１５）前記撮像装置の加速度を検出する加速度センサをさらに具備し、
前記主画像撮像部は、前記加速度が大きいほど高い周波数の同期信号に同期して前記主画像を撮像する
前記（９）から（１４）のいずれかに記載の撮像装置。
（１６）前記特定の物体までの前記奥行きに応じた視差を持つ一対の表示データを生成する立体画像生成部と、
前記一対の表示データを表示する表示部と
をさらに具備する前記（９）から（１５）のいずれかに記載の撮像装置。
（１７）奥行き取得部が、主画像を結像するレンズの光軸方向における奥行きを前記主画像内の画素のそれぞれに対応付けて取得する奥行き取得手順と、
物体検出部が、前記光軸方向における所定範囲内の前記奥行きに対応する前記画素からなる検出領域に対して特定の物体を検出する物体検出処理を実行する物体検出手順と
を具備する画像処理方法。
（１８）奥行き取得部が、主画像を結像するレンズの光軸方向における奥行きを前記主画像内の画素のそれぞれに対応付けて取得する奥行き取得手順と、
物体検出部が、前記光軸方向における所定範囲内の前記奥行きに対応する前記画素からなる検出領域に対して特定の物体を検出する物体検出処理を実行する物体検出手順と
をコンピュータに実行させるためのプログラム。
（１９）主画像に対して特定の物体を検出する物体検出処理を実行する物体検出部と、
前記特定の物体が検出された領域内の画素のそれぞれに対応付けて前記主画像を結像するレンズの光軸方向における奥行きを、撮像範囲の少なくとも一部が前記主画像と重複する一対の視差画像の視差から取得する奥行き取得部と
を具備する画像処理装置。
（２０）前記左目および前記右目の少なくとも一方を撮像した目画像に基づいて左目および右目の少なくとも一方の視線方向を検出する視線方向検出部と、
主画像のうち前記視線方向に沿った直線上に位置する被写体が撮像された検出領域に対して特定の物体を検出する物体検出処理を実行する物体検出部と
を具備する画像処理装置。

１００ メガネ型ウェアラブル端末
１０１、１０２ リム
１１０ カメラ部
１１１ 主カメラ
１１２ 撮像レンズ
１１３ 絞り
１１４ 撮像素子
１１５ 右側カメラ
１１６ 左側カメラ
１１７ 右側赤外線カメラ
１１８ 左側赤外線カメラ
１２０、１２１ 基準信号発生部
１３０ 信号処理部
１３１、１３２、１３３、１３４、１３５ 信号処理回路
１４０ 露光制御部
１５０ 表示部
１５１ 右側透過型ディスプレイ
１５２ 左側透過型ディスプレイ
１６０ 加速度センサ
１６５ 記録部
１７０、１７１ 発光制御部
１８１ 右側赤外線投光器
１８２ 左側赤外線投光器
２００ 画像処理部
２１０ 補正部
２１１ 座標ズレ算出部
２１２、２１３、２１４、２１５、２２０ 座標変換部
２２１ 補正範囲記憶部
２２２ リードアドレスカウンタ
２２３ ライトアドレスカウンタ
２２４ リードアドレスデコーダ
２２５ ライトアドレスデコーダ
２２６ 歪補正テーブル
２２７ 歪補正アドレス生成部
２２８ 遅延調整部
２２９ 歪補正アドレスデコーダ
２３０ ライト制御部
２３１ リード制御部
２３２ 画像メモリ
２３３ 補間処理部
２４０、２４１、２４２ 物体検出部
２５０、２５１ 奥行き取得部
２６０、２６１ 視線方向検出部
２７０ 虹彩パターン検出部
２８０ 利き目選択部
２９０ 虹彩パターン記憶部
３００ 立体画像生成部

Claims (16)

1. 主画像を結像するレンズの光軸方向における奥行きを取得する奥行き取得部と、
   特定の物体を検出する物体検出処理を実行する物体検出部と、
   左目および右目の少なくとも一方を撮像した目画像に基づいて前記左目および前記右目の少なくとも一方の視線方向を検出する視線検出部と
   を具備し、
   前記特定の物体の検出を指示する物体検出モードが設定された場合には前記奥行き取得部は前記奥行きを前記主画像内の画素のそれぞれに対応付けて取得し、前記物体検出処理は前記光軸方向における所定範囲内の前記奥行きに対応する前記画素からなる検出領域に対して前記物体検出処理を実行し、
   前記奥行きの取得を指示する測距モードが設定された場合には前記物体検出部は前記主画像全体に対して前記物体検出処理を実行し、前記奥行き取得部は、前記主画像のうち前記特定の物体が検出された領域内の前記画素のそれぞれに対応づけて前記奥行きを取得し、
   前記物体検出部は、前記物体検出モードが設定された場合には前記視線方向に沿った直線上に位置する被写体までの距離を含む一定の範囲を前記所定範囲として前記物体検出処理を実行する
   画像処理装置。
2. 前記奥行き取得部は、撮像範囲の少なくとも一部が前記主画像と重複する一対の視差画像の視差から前記奥行きを取得する請求項１記載の画像処理装置。
3. 主画像を結像するレンズの光軸方向における奥行きを前記主画像内の画素のそれぞれに対応付けて取得する奥行き取得部と、
   前記光軸方向における所定範囲内の前記奥行きに対応する前記画素からなる検出領域に対して特定の物体を検出する物体検出処理を実行する物体検出部と
   左目および右目の少なくとも一方を撮像した目画像に基づいて前記左目および前記右目の少なくとも一方の視線方向を検出する視線検出部と
   を具備し、
   前記物体検出部は、前記視線方向に沿った直線上に位置する被写体までの距離を含む一定の範囲を前記所定範囲として前記物体検出処理を実行する
   画像処理装置。
4. 前記目画像に基づいて前記左目および前記右目の一方を利き目として選択する利き目選択部をさらに具備し、
   前記視線検出部は、前記利き目を優先して前記視線方向を検出する
   請求項３記載の画像処理装置。
5. 前記目画像に基づいて前記左目および前記右目の少なくとも一方の虹彩パターンを検出する虹彩パターン検出部と、
   前記検出された虹彩パターンごとに当該虹彩パターンの人物について選択された前記利き目を記憶する虹彩パターン記憶部と
   をさらに具備し、
   前記視線検出部は、前記検出された虹彩パターンに対応する前記利き目を前記虹彩パターン記憶部から読み出す
   請求項４記載の画像処理装置。
6. 前記主画像において前記画素の座標のそれぞれの所定の基準座標からのズレを補正して前記物体検出部に供給する補正部をさらに具備する
   請求項３から５のいずれかに記載の画像処理装置。
7. 前記補正部は、
   前記座標のズレを補正する前の補正前座標と補正した後の補正後座標とを前記画素のうち一部の代表点ごとに対応付けて保持する歪補正テーブルと、
   前記代表点に該当しない前記画素の周囲の４つの前記補正前座標のそれぞれに対応する前記補正後座標から補間した座標を前記座標のズレを補正した座標として求める補間部と
   を備える請求項６記載の画像処理装置。
8. 主画像を結像するレンズにより主画像を撮像する主画像撮像部と、
   撮像範囲の少なくとも一部が前記主画像と重複する一対の視差画像を撮像する視差画像撮像部と、
   前記レンズの光軸方向における奥行きを前記主画像内の画素のそれぞれに対応付けて取得する奥行き取得部と、
   前記光軸方向における所定範囲内の前記奥行きに対応する前記画素からなる検出領域に対して特定の物体を検出する物体検出処理を実行する物体検出部と
   を具備し、
   前記主画像撮像部は、第１の周波数の第１の同期信号に同期して前記主画像を撮像し、
   前記視差画像撮像部は、第２の周波数の第２の同期信号に同期して前記一対の視差画像を撮像し、
   前記第１の周波数と前記第２の周波数との比は整数比である
   撮像装置。
9. 前記奥行き取得部は、前記一対の視差画像の視差から前記奥行きを取得する請求項８記載の撮像装置。
10. 前記主画像撮像部および前記視差画像撮像部のそれぞれの露光期間を同一の値に制御する露光制御部をさらに具備する
    請求項９に記載の撮像装置。
11. 主画像を結像するレンズにより主画像を撮像する主画像撮像部と、
    前記レンズの光軸方向における奥行きを前記主画像内の画素のそれぞれに対応付けて取得する奥行き取得部と、
    前記光軸方向における所定範囲内の前記奥行きに対応する前記画素からなる検出領域に対して特定の物体を検出する物体検出処理を実行する物体検出部と、
    左目および右目の少なくとも一方の画像を目画像として撮像する目画像撮像部と、
    前記目画像に基づいて前記左目および前記右目の少なくとも一方の視線方向を前記目画像に基づいて検出する視線検出部と
    を具備し、
    前記物体検出部は、前記視線方向に沿った直線上に位置する被写体までの距離を含む一定の範囲を前記所定範囲として前記物体検出処理を実行する
    撮像装置。
12. 赤外光を発光する赤外線投光器と、
    前記赤外線投光器を制御して前記赤外光を発光させる発光制御部と
    をさらに具備し、
    前記目画像撮像部は、前記赤外光を光電変換して前記目画像を撮像する
    請求項１１記載の撮像装置。
13. 主画像を結像するレンズにより主画像を撮像する主画像撮像部と、
    前記レンズの光軸方向における奥行きを前記主画像内の画素のそれぞれに対応付けて取得する奥行き取得部と、
    前記光軸方向における所定範囲内の前記奥行きに対応する前記画素からなる検出領域に対して特定の物体を検出する物体検出処理を実行する物体検出部と、
    撮像装置の加速度を検出する加速度センサと
    を具備し、
    前記主画像撮像部は、前記加速度が大きいほど高い周波数の同期信号に同期して前記主画像を撮像する
    撮像装置。
14. 前記特定の物体までの前記奥行きに応じた視差を持つ一対の表示データを生成する立体画像生成部と、
    前記一対の表示データを表示する表示部と
    をさらに具備する請求項１３記載の撮像装置。
15. 奥行き取得部が、主画像を結像するレンズの光軸方向における奥行きを前記主画像内の画素のそれぞれに対応付けて取得する奥行き取得手順と、
    物体検出部が、前記光軸方向における所定範囲内の前記奥行きに対応する前記画素からなる検出領域に対して特定の物体を検出する物体検出処理を実行する物体検出手順と、
    左目および右目の少なくとも一方の画像を目画像として撮像する目画像撮像手順と、
    前記目画像に基づいて前記左目および前記右目の少なくとも一方の視線方向を前記目画像に基づいて検出する視線検出手順と
    を具備し、
    前記物体検出手順において、前記視線方向に沿った直線上に位置する被写体までの距離を含む一定の範囲を前記所定範囲として前記物体検出処理を実行する
    画像処理方法。
16. 奥行き取得部が、主画像を結像するレンズの光軸方向における奥行きを前記主画像内の画素のそれぞれに対応付けて取得する奥行き取得手順と、
    物体検出部が、前記光軸方向における所定範囲内の前記奥行きに対応する前記画素からなる検出領域に対して特定の物体を検出する物体検出処理を実行する物体検出手順と、
    左目および右目の少なくとも一方の画像を目画像として撮像する目画像撮像手順と、
    前記目画像に基づいて前記左目および前記右目の少なくとも一方の視線方向を前記目画像に基づいて検出する視線検出手順と
    をコンピュータに実行させるためのプログラムであって、
    前記物体検出手順において、前記視線方向に沿った直線上に位置する被写体までの距離を含む一定の範囲を前記所定範囲として前記物体検出処理を実行する
    プログラム。

Images