JP2017146938A - 書籍検出装置、書籍検出方法及び書籍検出用コンピュータプログラム - Google Patents

Abstract

【課題】何れかのページが開かれた状態にある書籍を検出可能な書籍検出装置を提供する。
【解決手段】書籍検出装置は、３次元センサにより得られた探索対象エリア内の３次元計測データに基づいて複数の面領域を検出する候補領域検出部１１と、複数の面領域のうちの二つの面領域の位置関係が、開かれた状態にある書籍の開いている二つのページの位置関係に相当する位置条件を満たす場合にその二つの面領域を書籍が含まれる書籍領域と判定する書籍領域判定部１６とを有する。
【選択図】図３

Description

本発明は、例えば、実空間において書籍を検出する書籍検出装置、書籍検出方法及び書籍検出用コンピュータプログラムに関する。

近年、映像を投影するプロジェクタが広く利用されている。プロジェクタから投影される映像を見易くするためには、映像が投影される投影面は平面であることが好ましい。そこで、プロジェクタからの映像を投影するのに適した投影範囲を自動的に検出する技術が提案されている（例えば、特許文献１及び２を参照）。

特許文献１に開示された情報投影表示装置は、投影面上に設置された二つのマーカとあらかじめ指定されたベース角に基づいて、この二つのマーカを対角とする矩形領域を投影領域と決定する。

また、特許文献２に開示された情報提示装置は、格子模様パターン画像を第２のプロジェクタにより作業エリアに向けて投影させる。そして情報提示装置は、投影された格子模様パターン画像を赤外線カメラにより撮像させ、撮像された格子模様パターン画像と、元の格子模様パターン画像とを照合して平面領域を抽出する。さらに、情報提示装置は、抽出された平面領域のうち最大かつ正方形に近い平面領域を検出し、第１のプロジェクタにより提示情報を検出された平面領域に向けて投影させる。

特開２００７−３６４８２号公報 特開２００６−１８９７１２号公報

特許文献１に記載の技術では、投影範囲の探索対象となるエリアに、予め既知のマーカが設置されていることが求められる。しかしながら、プロジェクタが利用される場所によっては、そのようなマーカが常にあるとは限らない。また、特許文献２に記載の技術では、映像を投影するプロジェクタとは別個に、平面領域を検出するための特殊な画像を投影するためのプロジェクタが別途必要となる。

また、投影対象となる領域が、何れかのページが開かれた状態にある書籍であることがある。一般に、書籍では、各ページがその一端で綴じられているために、開かれているページは平面状にならず、曲面状に変形していることがある。そのため、例え、ページに既知のマーカが付されていたとしても、ページの変形に伴ってそのマーカも変形するため、投影装置はマーカを検出できなくなることがある。同様に、平面領域を検出するための特殊な画像を曲面状に変形したページに投影しても、ページ上でその画像が変形するために、投影装置は、その特殊な画像を検出できなくなり、その結果として平面領域を検出できなくなることがある。

一つの側面では、本発明は、何れかのページが開かれた状態にある書籍を検出可能な書籍検出装置を提供することを目的とする。

一実施形態によれば、書籍検出装置が提供される。この書籍検出装置は、３次元センサにより得られた探索対象エリア内の３次元計測データに基づいて複数の面領域を検出する面領域検出部と、複数の面領域のうちの二つの面領域の位置関係が、開かれた状態にある書籍の開いている二つのページの位置関係に相当する位置条件を満たす場合にその二つの面領域を書籍が含まれる書籍領域と判定する書籍領域判定部とを有する。

何れかのページが開かれた状態にある書籍を検出できる。

第１の実施形態による書籍検出装置のハードウェア構成図である。 ３次元センサ２及びカメラ３の配置の一例を示す図である。 制御部の機能ブロック図である。 （ａ）〜（ｄ）は、それぞれ、領域拡張法による、平面領域検出の概念図である。 検出された平面領域と、その凸輪郭の一例を示す図である。 候補領域と、主成分分析により求められる各方向の関係を示す図である。 （ａ）は、平面領域に対して主成分分析を実行することで得られた回転行列及び平行移動ベクトルを用いてモデル領域を移動させた結果を示す図である。（ｂ）は、主成分分析の結果に基づいて移動されたモデル領域に対してICPを適用した場合のモデル領域と平面領域の位置関係を示す図である。（ｃ）は、参考としての、モデル領域と平面領域とをICPにより直接位置合わせした結果の一例を示す図である。 何れかのページが開かれた状態にある書籍の一例を示す図である。 書籍領域判定部による処理の概要を示す図である。 曲面領域の補正の処理の概要についての説明図である。 書籍検出処理の動作フローチャートである。 第２の実施形態による書籍検出装置のハードウェア構成図である。 第２の実施形態による制御部の機能ブロック図である。 第２の実施形態による書籍検出装置により実行される、書籍検出処理を含む投影処理の動作フローチャートである。 変形例による書籍検出装置のハードウェア構成図である。 （ａ）及び（ｂ）は、それぞれ、視線検出装置の配置の一例を示す図である。

以下、図面を参照しつつ、書籍検出装置について説明する。この書籍検出装置は、書籍の探索対象となるエリア全体の３次元形状を表す３次元計測データを３次元センサで取得し、その３次元計測データに基づいて、書籍の開かれたページの候補となる面状の領域である候補領域を検出する。そしてこの書籍検出装置は、何れかのページが開かれた状態の書籍では、近接した位置に開いている二つのページが存在することに着目し、互いに近接する候補領域のペアについて、開いている二つのページの位置関係に相当する位置条件を満たすか否か判定する。そしてこの書籍検出装置は、そのペアが位置条件を満たす場合に、そのペアを書籍を含む書籍領域として検出する。

図１は、第１の実施形態による書籍検出装置のハードウェア構成図である。書籍検出装置１は、３次元センサ２と、カメラ３と、記憶部４と、制御部５とを有する。図２は、３次元センサ２及びカメラ３の配置の一例を示す図である。書籍検出装置１が有するこれらの各部は、例えば、一つの筐体（図示せず）に収容される。あるいは、３次元センサ２及びカメラ３は、記憶部４及び制御部５が収容される筐体とは別個に設けられてもよい。そして３次元センサ２、カメラ３、及び記憶部４は、それぞれ、制御部５と信号線を介して接続される。また、書籍検出装置１は、書籍検出装置１を他の機器と通信ネットワークを介して接続するための通信インターフェース（図示せず）をさらに有していてもよい。

３次元センサ２は、例えば、図２に示されるように、検出対象となる書籍２００が存在すると想定される探索対象エリアの鉛直上方に、鉛直下方を向けて取り付けられる。３次元センサ２は、一定の周期（例えば、50msec〜100msec）ごとに、あるいは、所定のタイミングで、探索対象となるエリア内の３次元計測データを生成する。なお、探索対象エリアは、カメラ３の撮影範囲の少なくとも一部を含む。そして３次元センサ２は、生成した３次元計測データを制御部５へ出力する。そのために、３次元センサ２は、例えば、Time of Flight方式などを採用したデプスカメラ、あるいはステレオカメラとすることができる。３次元計測データは、例えば、所定点（例えば、３次元センサ２のセンサ面の中心）を原点とする３次元の直交座標系における、３次元センサ２の探索対象エリア内の各測定点の実空間の座標を含む。

カメラ３は、撮像部の一例であり、例えば、イメージセンサと、撮影範囲の像をイメージセンサ上に結像する結像光学系を有する。カメラ３は、例えば、図２に示されるように、３次元センサ２と同様に検出対象となる書籍２００が存在すると想定される探索対象エリアの鉛直上方に、鉛直下方を向けて取り付けられる。そしてカメラ３は、一定の周期（例えば、50msec〜100msec）ごとに、あるいは、制御部５から受け取った撮影指示信号に従って撮影範囲を撮影し、その撮影範囲を表す画像を生成する。カメラ３は、画像を生成する度に、その画像を制御部５へわたす。

記憶部４は、例えば、揮発性又は不揮発性の半導体メモリ回路を有する。そして記憶部４は、３次元センサ２により得られた３次元計測データ、カメラ３により生成された画像などを記憶する。さらに、記憶部４は、書籍検出処理で利用される様々な情報、例えば、検出対象となる書籍のサイズなどを記憶する。さらに、記憶部４は、書籍検出処理を制御部５い実行させるためのコンピュータプログラムを記憶してもよい。

制御部５は、一つまたは複数のプロセッサ及びその周辺回路を有する。そして制御部５は、書籍検出装置１全体を制御する。
また制御部５は、３次元計測データに基づいて書籍検出処理を実行し、検出された書籍に対応する位置情報に基づいて画像上で書籍が表された領域を特定する。そして制御部５は、特定された領域に表された書籍のページが曲面状に変形している場合に、そのページが仮想的に平面状になるように、画像上の対応領域を補正する。

以下、制御部５により実行される、映像投影処理について説明する。
図３は、制御部５の機能ブロック図である。制御部５は、候補領域検出部１１と、方向検出部１２と、面形状判定部１３と、向き補正部１４と、削除判定部１５と、書籍領域判定部１６と、書籍画像検出部１７とを有する。
制御部５が有するこれらの各部は、例えば、制御部５が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。あるいはこれらの各部は、その各部の機能を実現する一つまたは複数の集積回路として、制御部５とは別個に書籍検出装置１に実装されてもよい。

候補領域検出部１１は、面領域検出部の一例であり、３次元センサ２により得られた３次元計測データから、探索対象エリア内で、平面状または曲面状の面領域のそれぞれを、書籍における、開かれている個々のページの候補領域として検出する。本実施形態では、候補領域検出部１１は、領域拡張（Region Growing）法を使用して、法線方向の差が所定値以下となる測定点の集合を候補領域として検出する。

そこで先ず、候補領域検出部１１は、３次元計測データに含まれる各測定点についての法線方向を求める。例えば、候補領域検出部１１は、最小二乗法を用いて、着目する測定点及びその周囲の複数の測定点から選択した３点により定められる平面の法線のそれぞれとの誤差が最小となる法線を、着目する測定点についての法線として算出する。あるいは、候補領域検出部１１は、着目する測定点を重心とする、着目する測定点周囲の三つの測定点から定められる平面の法線を、着目する測定点の法線としてもよい。

各測定点についての法線が算出されると、候補領域検出部１１は、領域拡張法を使用して、法線方向の差が所定値以下となる測定点の集合を求め、その集合を候補領域とする。

図４（ａ）〜図４（ｄ）は、領域拡張法による、候補領域検出の概念図である。先ず、候補領域検出部１１は、３次元計測データ４００に含まれる測定点のうち、法線方向が所定の条件を満たす測定点を、種子点４０１として一つ設定し、種子点４０１に一意なラベルを付与する。なお、所定の条件は、例えば、法線方向と、カメラ３の光軸方向とのなす角が所定角度（例えば、30°）以下となることとすることができる。また所定角度は、ユーザが書籍を読んでいる状態でのページの向きの想定範囲に応じて設定されればよい。

次に、候補領域検出部１１は、図４（ｂ）に示されるように、種子点４０１に隣接する測定点のうち、種子点４０１の法線方向と、その測定点の法線方向との差が所定角度以下となる測定点４０２に、種子点４０１に付されたラベルと同じラベルを付与する。すなわち、候補領域検出部１１は、測定点４０２と種子点４０１とを同じ候補領域を表す測定点の集合とする。ただし、候補領域検出部１１は、既に他のラベルが付与されている測定点については、種子点４０１についての領域拡張の対象としなくてもよい（すなわち、種子点４０１と同じラベルを付与しない）。また、所定角度は、例えば、10°である。

図４（ｃ）に示されるように、候補領域検出部１１は、同様のラベル付与の処理を繰り返す。すなわち、候補領域検出部１１は、種子点４０１のラベルと同じラベルが付与された測定点４０２に隣接する測定点のうち、測定点４０２の法線方向と、その測定点の法線方向との差が所定角度以下となる測定点４０３を特定する。そして候補領域検出部１１は、その測定点４０３に、種子点４０１に付されたラベルと同じラベルを付与する。候補領域検出部１１は、種子点４０１のラベルと同じラベルが付与された測定点４０２に隣接する何れの測定点についても、測定点４０２の法線方向と、その測定点の法線方向との差が所定角度より大きくなると、種子点４０１についての処理を終了する。そして図４（ｄ）に示されるように、候補領域検出部１１は、種子点４０１、及び、種子点４０１に付与されたラベルと同じラベルが付与された測定点の集合を、一つの候補領域４１０とする。

なお、候補領域検出部１１は、着目する測定点と隣接する測定点とが同じ候補領域に含まれると判定する条件として、その二つの測定点の３次元センサ２からの距離の差が所定値以下であることを追加してもよい。

候補領域検出部１１は、法線方向が所定の条件を満たし、かつ、ラベルが付与されていない測定点が無くなるまで、上記の処理を繰り返すことで、複数の候補領域を検出する。

候補領域検出部１１は、検出された候補領域のそれぞれについて、凸輪郭を求める。例えば、候補領域検出部１１は、着目する候補領域に含まれる測定点のうち、１以上の隣接測定点がその候補領域に含まれない測定点を、着目する候補領域の輪郭を表す輪郭測定点として検出する。そして候補領域検出部１１は、輪郭測定点のうち、その輪郭測定点と、着目する候補領域内の何れかの二つの測定点とを結ぶ二つのベクトルの内積が０以上となる輪郭測定点を特定する。特定された輪郭測定点は、９０°以下の角度を持つ候補領域の角の点となる。そこで候補領域検出部１１は、特定された輪郭測定点を結んで得られる輪郭を、着目する候補領域の凸輪郭とする。

図５は、検出された候補領域と、その凸輪郭の一例を示す図である。この例では、実線で表される候補領域５００は、他の物体の存在により、矩形の一部が欠けた形状となっている。しかし、その欠けた部分は、凹状となるため、点線で表される凸輪郭５０１は、候補領域５００の本来の輪郭形状に近い形状となる。

候補領域検出部１１は、各候補領域を表す情報、例えば、測定点ごとに付与されたラベルを記憶部４に保存する。また候補領域検出部１１は、候補領域ごとに、その候補領域の凸輪郭を表す情報（例えば、輪郭上の各測定点の座標）を記憶部４に保存する。

方向検出部１２は、候補領域検出部１１で検出された候補領域のそれぞれについて、その候補領域の向きを検出する。本実施形態では、方向検出部１２は、候補領域のそれぞれについて、主成分分析を適用して、候補領域の長手方向、短手方向及び法線方向を算出する。具体的に、方向検出部１２は、着目する候補領域について、その候補領域に含まれる各測定点の３次元座標を入力として、主成分分析を実行する。

図６は、候補領域と、主成分分析により求められる各方向の関係を示す図である。候補領域６００に含まれる各測定点の３次元座標を入力として主成分分析が実行されると、候補領域６００の長手方向６０１が主成分として求められる。そして、主成分である長手方向６０１と直交する方向のうち、２番目に成分が多い方向がその候補領域の短手方向６０２として求められる。そして長手方向６０１及び短手方向６０２と直交する方向として、その候補領域の法線方向６０３が求められる。

したがって、候補領域が書籍の一つのページに対応するなら、候補領域の長手方向は、ページの長辺方向に対応し、候補領域の短手方向は、ページの短辺方向に対応する。そして候補領域の法線方向は、ページの法線方向に対応する。
方向検出部１２は、各候補領域の長手方向、短辺方向及び法線方向を記憶部４に保存する。

面形状判定部１３は、各候補領域について、平面か曲面かを判定する。面形状判定部１３は、各候補領域に対して同じ処理を実行すればよいので、以下では、一つの候補領域に対する処理について説明する。

例えば、面形状判定部１３は、着目する候補領域内の各測定点について法線方向を算出する。なお、面形状判定部１３は、候補領域検出部１１による測定点での法線方向の算出と同様の処理を実行して、各測定点での法線方向を算出すればよい。そして面形状判定部１３は、着目する候補領域内の各測定点の法線方向の分散値を算出する。

なお、面形状判定部１３は、候補領域検出部１１により算出された着目する候補領域内の各測定点での法線方向を利用して、各測定点の法線方向の分散値を算出してもよい。

面形状判定部１３は、着目する候補領域についての法線方向の分散値を所定の閾値と比較する。一般に、候補領域が平面であれば、各測定点での法線方向も同一となるため、法線方向の分散値は小さくなる。一方、候補領域が曲面であれば、その曲面に応じて測定点ごとに法線の向きは変化するので、法線方向の分散値は比較的大きくなる。そこで、法線方向の分散値が所定の閾値以上であれば、面形状判定部１３は、着目する候補領域は曲面であると判定する。一方、法線方向の分散値が所定の閾値未満であれば、面形状判定部１３は、着目する候補領域は平面であると判定する。

あるいは、面形状判定部１３は、着目する候補領域について、その候補領域について算出された法線方向に沿った測定点間の位置の差の最大値を算出し、その差の最大値が所定の閾値以上であれば、その候補領域は曲面であると判定してもよい。この場合、所定の閾値は、例えば、検出対象となる書籍における、各ページが綴じられた辺と平行な方向の長さに0.1を乗じた値とすることができる。

面形状判定部１３は、平面であると判定した候補領域を向き補正部１４へ通知し、一方、曲面であると判定した候補領域を削除判定部１５へ通知する。

向き補正部１４は、平面であると判定された候補領域のそれぞれについて、より正確な向きを求める。例えば、向き補正部１４は、平面であると判定された候補領域のそれぞれについてIterative Closest Point(ICP)アルゴリズムを適用することで、その候補領域の向きを修正する。その際、向き補正部１４は、得られた候補領域の向きに合わせた、ページのモデルとなる矩形状のモデル領域を初期位置として、そのモデル領域と候補領域の凸輪郭との間でICPアルゴリズムを適用する。なお、以下では、平面であると判定された候補領域を、単に平面領域と呼ぶ。

向き補正部１４は、各平面領域について、モデル領域を、その平面領域の長手方向、短手方向及び法線方向から定められる平行移動ベクトル及び回転行列を用いて、その平面領域の位置へ移動させて、ICPの初期位置とする。

向き補正部１４は、次式に従って、モデル領域を着目する平面領域の位置へ移動させる。
ここで、p_n及びp'_nは、それぞれ、移動前及び移動後のモデル領域内の点の３次元座標を表す。またtは、平行移動量を表す平行移動ベクトルであり、例えば、モデル領域の重心から着目する平面領域の重心への移動量を表すベクトルで表される。またRは、回転行列であり、次式で表される。
ここで、(T_x,T_y,T_z)は、それぞれ、着目する平面領域の長手方向の向きを表す単位ベクトルにおける、x軸方向成分、y軸方向成分、z軸方向成分である。また、(B_x,B_y,B_z)は、それぞれ、着目する平面領域の短手方向の向きを表す単位ベクトルにおける、x軸方向成分、y軸方向成分、z軸方向成分である。そして(N_x,N_y,N_z)は、それぞれ、着目する平面領域の法線方向の向きを表す単位ベクトルにおける、x軸方向成分、y軸方向成分、z軸方向成分である。なお、x軸方向、y軸方向、及びz軸方向は、例えば、３次元センサ２のセンサ面の中心を原点とする直交座標系の各軸の方向を表す。

各平面領域について、モデル領域をその平面領域の位置へ移動させると、向き補正部１４は、その移動後の位置をICPの初期位置として、モデル領域とその平面領域の凸輪郭との間でICPを実行する。そして向き補正部１４は、各平面領域について、モデル領域の向き及び位置をその平面領域の向き及び位置に合わせるための平行移動量及び回転行列を算出できる。なお、向き補正部１４は、モデル領域とその平面領域の凸輪郭との間で、ICP以外の追跡処理を利用して、モデル領域の向き及び位置をその平面領域の向き及び位置に合わせるための平行移動量及び回転行列を算出してもよい。

向き補正部１４は、次式に従って、モデル領域の向き及び位置を着目する平面領域の向き及び位置に合わせる。
ここで、p''_nは、モデル領域内の点p_nに対応する、着目する平面領域への位置合わせ後の点の３次元座標を表す。また、t'及びR'は、それぞれ、ICPにより算出された平行移動量及び回転行列である。

図７（ａ）は、平面領域に対して主成分分析を実行することで得られた回転行列及び平行移動ベクトルを用いてモデル領域を移動させた結果を示す図である。点線で表されるモデル領域７００は、平面領域７０１に対して主成分分析を実行することで得られた回転行列及び平行移動ベクトルを用いることで、平面領域７０１の比較的近くに移動される。ただし、主成分分析の結果だけを利用した位置合わせでは、例えば、平面領域７０１の一部を隠す物体７０２などの影響による誤差が残り、モデル領域７００は、平面領域７０１に対して完全には一致しない。

図７（ｂ）は、主成分分析の結果に基づいて移動されたモデル領域に対してICPを適用した場合のモデル領域と平面領域の位置関係を示す図である。図７（ｂ）に示されるように、モデル領域７００の移動後の位置を初期位置として、モデル領域７００と平面領域７０１の凸輪郭との間でICPを行うことで求められた回転行列などに基づいて、モデル領域７００は移動される。移動後のモデル領域７００’（点線により図示）は、平面領域７０１と良好に位置合わせされている。

一方、図７（ｃ）は、参考としての、平面領域に対して主成分分析を適用して得られた回転行列などを利用せず、モデル領域と平面領域とを位置合わせした結果の一例を示す図である。図７（ｃ）に示されるように、ICPを実行する際の初期位置となるモデル領域の位置と、平面領域とが大きく離れている場合、ICPで得られる回転行列などが最適解とならず、ローカルミニマムに相当する解となることがある。そのため、図７（ｃ）に示されているように、ICPを直接用いて位置合わせされたモデル領域７１０の位置は、実際の平面領域７０１の位置と正確に一致しないことがある。このように、主成分分析とICPの両方を利用することで、向き補正部１４は、モデル領域の位置及び向きを各平面領域の位置及び向きに対して良好に一致させることができる。

向き補正部１４は、各平面領域について、その平面領域と位置合わせされたモデル領域の位置及び長手方向、短手方向及び法線方向を、その平面領域についての修正後の長手方向、短手方向及び法線方向とする。そして向き補正部１４は、各平面領域について、修正後の長手方向、短手方向及び法線方向を表す情報を記憶部４に保存する。

削除判定部１５は、曲面と判定された候補領域のそれぞれについて、その候補領域の曲面の湾曲方向に基づいて、書籍のページに対応する領域であるか否かを判定する。なお、以下では、曲面と判定された候補領域を、単に曲面領域と呼ぶ。

図８は、何れかのページが開かれた状態にある書籍の一例を示す図である。一般に、書籍では、各ページの一つの辺が綴じられているため、その辺と平行な方向に沿ってはページはあまり湾曲せず、綴じられた辺と直交する方向については比較的大きく湾曲することがある。例えば、図８に示されるように、書籍８００において、各ページが一方の長辺で綴じられていると、開かれているページ８０１は、長辺方向についてはあまり湾曲せず、短辺方向に沿って湾曲している。

グラフ８０２は、ページ８０１上の短辺方向のある位置における、長辺方向に沿ったページ８０１の法線方向の高さの変化を表す。またグラフ８０３は、ページ８０１上の長辺方向のある位置における、短辺方向に沿ったページ８０１の法線方向の高さの変化を表す。

グラフ８０２に示されるように、ページ８０１上では、長辺方向に沿って位置が変化してもページ８０１の高さはあまり変化しない。一方、グラフ８０３に示されるように、ページ８０１上では、短辺方向に沿った位置変化に応じて、ページ８０１の高さも変化する。

そこで、削除判定部１５は、各曲面領域について、書籍のページが綴じられた方向に対応する曲面領域の方向における、曲面領域の法線方向に沿った位置の変化度合いを算出し、その変化度合いが所定の変動閾値よりも大きい場合、曲面領域を削除する。
例えば、削除判定部１５は、測定点ごとに、検出対象となる書籍のページの綴じられた辺に対応する方向について、法線方向の高さの微分値を算出する。なお、以下では、曲面領域の長手方向が、検出対象となる書籍のページの綴じられた辺に対応する方向であるとする。すなわち、削除判定部１５は、各測定点について、長手方向についての法線方向の高さの微分値を算出する。なお、微分値の算出を容易にするために、削除判定部１５は、各曲面領域について、その曲面領域内の各測定点の座標値を、その曲面領域の短手方向(X軸)、長手方向(Y軸)、及び法線方向(Z軸)をそれぞれ軸とする直交座標系における座標値に変換してもよい。

削除判定部１５は、曲面領域ごとに、測定点ごとの長手方向Yについての法線方向に沿った高さD(X,Y)の微分値の統計的代表値dD(X,Y)/dYを、曲面領域の法線方向に沿った位置の変化度合いとして算出する。なお、その統計的代表値dD(X,Y)/dYは、測定点ごとの長手方向についての法線方向の高さの微分値の平均値または中央値とすることができる。

削除判定部１５は、曲面領域ごとに、その曲面領域についての長手方向についての高さD(X,Y)の微分値の統計的代表値dD(X,Y)/dYを所定の変動閾値Tnと比較する。そして削除判定部１５は、着目する曲面領域についての統計的代表値dD(X,Y)/dYが変動閾値Tn以下である場合、着目する曲面領域を候補領域として残す。一方、着目する曲面領域についての統計的代表値dD(X,Y)/dYが変動閾値Tnより大きい場合、削除判定部１５は、着目する曲面領域は、ページの候補領域ではないと判定し、その曲面領域を削除する。

変形例によれば、削除判定部１５は、曲面領域のX方向の位置ごとに、法線方向に沿った高さD(X,Y)の最大値と最小値の差ΔD(X)を算出する。そして削除判定部１５は、その差ΔD(x)の平均値または最大値を、書籍のページが綴じられた方向に対応する曲面領域の方向における、曲面領域の法線方向に沿った位置の変化度合いとしてもよい。

削除判定部１５は、候補領域として残した曲面領域を書籍領域判定部１６へ通知する。

書籍領域判定部１６は、複数の候補領域のなかから選択した二つの候補領域を含むペアを作成する。そして書籍領域判定部１６は、そのペアに含まれる候補領域間の位置関係が、開かれた状態にある書籍の開かれている二つのページの位置関係に相当する位置条件を満たすか否かに応じて、そのペアが、書籍が含まれる書籍領域か否かを判定する。

図９は、書籍領域判定部１６による処理の概要を示す図である。図９には、４個の候補領域９０１〜９０４が示されている。ここで、候補領域９０１及び候補領域９０２は、それぞれ、何れかのページが開かれた状態にある書籍の一つのページに対応し、候補領域９０３及び候補領域９０４は、書籍以外を表しているとする。

一般に、書籍では、各ページが一つの辺に沿って綴じられているため、何れかのページが開かれた状態にある書籍では、その開かれた二つのページが互いに近接して存在している。そして各ページのサイズはほぼ等しい。そのため、図９に示されるように、候補領域９０１と候補領域９０２間の間隔は比較的狭くなっている。さらに、候補領域９０１の長手方向及び短手方向のサイズのうち、ページの綴じられた辺に対応する方向のサイズは、それぞれ、候補領域９０２の対応する方向のサイズとほぼ等しくなっている。これに対して、同じ書籍に対応しない、他の候補領域のペア、例えば、候補領域９０３と候補領域９０４については、互いに近接しておらず、かつ、サイズも互いに異なっている。

そこで、書籍領域判定部１６は、各候補領域のなかから二つの候補領域を選択して候補領域のペアを作成する。なお、書籍領域判定部１６は、作成可能な全てのペアを作成してもよい。あるいは、書籍領域判定部１６は、二つの候補領域のそれぞれの重心間の距離が、所定距離以上離れている場合には、その二つの候補領域のペアを作成しなくてもよい。なお、所定距離は、例えば、検出対象となる書籍について、各ページが綴じられている辺と直交する方向（以下、書籍の幅方向と呼ぶ）の書籍のサイズ（以下、書籍の幅と呼ぶ）に設定される。そして書籍領域判定部１６は、候補領域のペアごとに、互いに近接する側の辺の両端間の距離d1、d2を算出する。なお、検出対象となる書籍について、各ページがその長辺で綴じられている場合には、書籍領域判定部１６は、候補領域のペアに含まれる二つの候補領域の互いに近接する側の長手方向の辺の両端間で距離d1、d2を算出すればよい。一方、検出対象となる書籍について、各ページがその短辺で綴じられている場合には、書籍領域判定部１６は、候補領域のペアに含まれる二つの候補領域の互いに近接する側の短手方向の辺の両端間で距離d1、d2を算出すればよい。

さらに、書籍領域判定部１６は、候補領域のペアごとに、そのペアに含まれる各候補領域について、検出対象となる書籍において各ページが綴じられている辺に平行な方向（以下、書籍の高さ方向と呼ぶ）に沿った長さH1、H2を算出する。なお、検出対象となる書籍について、各ページがその長辺で綴じられている場合には、書籍領域判定部１６は、各候補領域の長手方向の長さをH1、H2とする。一方、検出対象となる書籍について、各ページがその短辺で綴じられている場合には、書籍領域判定部１６は、各候補領域の短手方向の長さをH1、H2とする。なお、各候補領域は矩形状の凸輪郭で表されている。そこで書籍領域判定部１６は、その凸輪郭における、長手方向の長さまたは短手方向の長さをH1、H2とすればよい。

書籍領域判定部１６は、候補領域のペアごとに、そのペアに含まれる二つの候補領域の位置関係が、次式で表される、開かれている二つのページ間の位置関係に相当する位置条件を満たすか否か判定する。そしてその位置関係が、位置条件を満たす場合、書籍領域判定部１６は、そのペアに含まれる二つの候補領域の外接矩形領域を書籍領域とする。また書籍領域判定部１６は、書籍領域に含まれる各候補領域を、それぞれ、ページ領域とする。
ここで、閾値Dは、例えば、検出対象となる書籍の幅に0.05〜0.1を乗じた値に設定される。また閾値Hは、例えば、その書籍の高さ方向におけるサイズ（以下、書籍の高さと呼ぶ）に0.05〜0.2を乗じた値に設定される。

変形例によれば、書籍領域判定部１６は、d1、d2をそれぞれ閾値Dと比較してもよい。そしてd1、d2ともに閾値D未満となることが、位置条件に含まれてもよい。また、書籍領域判定部１６は、各候補領域を、最も近い他の候補領域までの重心間の距離が近い方から順にソートしてもよい。そして書籍領域判定部１６は、各候補領域について、重心間の距離が近い方から順に、二つの他の候補領域のそれぞれと候補領域のペアを作成してもよい。例えば、図９に示される例では、候補領域９０２について、候補領域９０１と候補領域９０２のペア、及び、候補領域９０２と候補領域９０３のペアが作成される。

そして書籍領域判定部１６は、着目する候補領域を含む二つのペアのうち、重心間の距離が近い方のペアについて、そのペアに含まれる各候補領域について、d1、d2、H1、H2とともに、書籍の幅方向に沿った長さW1、W2を算出する。すなわち、検出対象となる書籍について、各ページがその長辺で綴じられている場合には、書籍領域判定部１６は、各候補領域の短手方向の長さをW1、W2とする。一方、検出対象となる書籍について、各ページがその短辺で綴じられている場合には、書籍領域判定部１６は、各候補領域の長手方向の長さをW1、W2とする。同様に、書籍領域判定部１６は、重心間の距離が遠い方のペアについても、互いに近接する側の辺の両端間の距離d3、d4、書籍の高さ方向の各候補領域の長さH2、H3、及び、書籍の幅方向の各候補領域の長さW2、W3を算出する。例えば、図９に示される例では、候補領域９０２について、候補領域９０２と候補領域９０３のペアについても、d3、d4、W3、H3が算出される。

書籍領域判定部１６は、着目する候補領域を含む二つのペアのそれぞれについて、そのペアに含まれる二つの候補領域の位置関係が、書籍の二つのページ間の位置関係に相当する位置条件を満たすか否か判定する。そして書籍領域判定部１６は、重心間の距離が近い方のペアについて、その位置条件が満たされ、かつ、他方のペアについて、その位置条件を満たされない場合、重心間の距離が近い方のペアに含まれる二つの候補領域の外接矩形領域を書籍領域とする。なお、この判定条件は、次式で表される。
ここで、閾値Wは、例えば、書籍の幅に0.05〜0.2を乗じた値に設定される。
この変形例では、書籍領域判定部１６は、ペアごとに位置条件を満たすか否かを判定するので、書籍の近くに面上の領域がある場合でも、書籍領域を正確に検出できる。

書籍領域判定部１６は、検出した書籍領域を書籍画像検出部１７へ通知する。

書籍画像検出部１７は、カメラ３により得られた画像上で、書籍領域に対応する領域を書籍画像として検出する。
本実施形態では、３次元センサ２とカメラ３の位置関係は予め分かっている。また、書籍領域は、３次元センサ２を基準とする実空間の座標系で表されている。そこで、書籍画像検出部１７は、書籍領域の４個のコーナーのそれぞれの座標を、３次元センサ２を基準とする実空間の座標系から、カメラ３を基準とする実空間の座標系の値に変換する。この変換は、それら二つの座標系間の位置ずれと回転方向のずれを補正するアフィン変換により実行される。

そして、書籍画像検出部１７は、カメラ３を基準とする実空間の座標系で表された書籍領域の４個のコーナーのそれぞれの座標に対応する、画像上での座標を算出する。そして書籍画像検出部１７は、座標変換後の４個のコーナーで囲まれた領域を書籍画像とする。例えば、上記の座標変換及び画像上での対応座標の算出は、次式で表される。
ここで、(f_cx,f_cy)は、カメラ３による画像の水平方向及び垂直方向における、カメラ３が有する結像光学系（図示せず）の焦点距離を表す。また(c_cx,c_cy)は、カメラ３による画像の中心の水平座標及び垂直座標を表す。また回転行列R_dc及び平行移動ベクトルT_dcは、３次元センサ２を基準とする３次元座標系からカメラ３を基準とする３次元座標系への座標変換を表す変換パラメータである。(X,Y,Z)は、３次元センサ２を基準とする３次元座標系での着目点（この例では、書籍領域の４個のコーナーの何れか）の３次元座標である。そして(x,y)は、着目点に対応する、画像上での点の２次元座標である。

また、書籍画像に対応する書籍領域に含まれる二つのページ領域の何れかが曲面領域である場合、書籍画像検出部１７は、その曲面領域を仮想的に平面に伸ばしたときのページの像を表すように、書籍画像を補正する。

図１０は、曲面領域の補正の処理の概要についての説明図である。書籍画像検出部１７は、曲面領域１０００について、湾曲している方向、すなわち、書籍の幅方向に沿って、その法線方向の高さの差が所定値となるブロック１００１ごとに分割する。そして書籍画像検出部１７は、ブロック１００１ごとに、方向検出部１２と同様に主成分分析を実行する。これにより、２番目に成分が多い方向がブロック１００１の短手方向として求められる。さらに、３番目に成分が多い方向がブロック１００１の法線方向として求められる。そこで、書籍画像検出部１７は、ブロック１００１ごとに、短手方向に沿ったブロック１００１の幅dx1を算出する。

さらに、書籍画像検出部１７は、ブロック１００１ごとに、ブロック１００１の４個のコーナーに対応する画像上での４個の点を、（６）式に従って算出する。これにより、書籍画像検出部１７は、画像上でのブロック１００１に対応する領域（以下、便宜上、ブロック領域と呼ぶ）１００２を求める。

書籍画像検出部１７は、ブロック１００１ごとに、そのブロックをカメラ３の光軸方向と直交する面に投影するように、対応するブロック領域１００２を射影変換することで、補正されたブロック領域１００３を得る。例えば、書籍画像検出部１７は、他方のページ領域に近い方のブロック１００１から順に、画像上で、補正されたブロック領域の幅が、(dx1/Wref)*sizewとなるように、ブロック領域を書籍の幅方向に沿って拡張する。その際、書籍画像検出部１７は、線形補間あるいはスプライン補間により、各画素の値を決定してもよい。なお、Wrefは、検出対象となる書籍における、書籍の幅方向における１ページの長さであり、sizewは、そのページの長さWrefに対応する画像上の画素数である。そして書籍画像検出部１７は、着目するブロック領域における、直前のブロック領域と接する辺の位置を、直前のブロック領域のその接する辺の補正後の位置として、上記の処理を実行すればよい。なお、着目するブロック領域が最初のブロック領域である場合、書籍画像検出部１７は、他方のページ領域に近い方の辺の位置については変更しなくてもよい。そして書籍画像検出部１７は、補正されたブロック領域のそれぞれを連結することで、曲面領域が仮想的に平面となるように伸ばされた、補正された書籍画像を得ることができる。

書籍画像検出部１７は、書籍画像を記憶部４に保存する。

図１１は、書籍検出処理の動作フローチャートである。なお、制御部５は、例えば、３次元センサ２から３次元計測データが得られる度に、下記の動作フローチャートに従って書籍検出処理を実行する。

候補領域検出部１１は、３次元センサ２から得られた探索対象エリアの３次元計測データから複数の候補領域を検出する（ステップＳ１０１）。そして候補領域検出部１１は、検出した候補領域ごとに、その候補領域の凸輪郭を求める（ステップＳ１０２）。

方向検出部１２は、検出された候補領域のそれぞれについて、主成分分析を適用することで、長手方向、短手方向及び法線方向を検出する（ステップＳ１０３）。

面形状判定部１３は、各候補領域について、平面か曲面かを判定する（ステップＳ１０４）。そして向き補正部１４は、平面と判定された候補領域のそれぞれの向きをICPを適用して補正する（ステップＳ１０５）。一方、削除判定部１５は、検出対象となる書籍について各ページが綴じられた辺と平行な方向についての法線方向の高さの変化に基づいて、曲面と判定された候補領域のうち、ページでないと判定される候補領域を削除する（ステップＳ１０６）。

書籍領域判定部１６は、候補領域のペアのうち、そのペアに含まれる二つの候補領域の位置関係が開かれた状態にある書籍の開かれた二つのページの位置関係に相当する位置条件を満たすペアを書籍領域と判定する（ステップＳ１０７）。そして書籍領域判定部１６は、書籍領域に含まれる各候補領域を、それぞれ、ページ領域とする。

書籍画像検出部１７は、カメラ３により得られた画像上で、書籍領域に対応する範囲を書籍画像として検出する（ステップＳ１０８）。さらに、書籍画像検出部１７は、書籍画像に対応する書籍領域に、曲面であるページ領域が含まれている場合、そのページ領域に対応する書籍画像上の領域を、その曲面が仮想的に平面となるように補正する（ステップＳ１０９）。そして制御部５は、書籍検出処理を終了する。

以上に説明してきたように、この書籍検出装置は、探索対象エリアの３次元計測データに基づいて複数の平面または曲面の候補領域を検出する。そしてこの書籍検出装置は、候補領域のペアのうち、そのペアに含まれる二つの候補領域の位置関係が開かれた状態にある書籍の二つのページの位置関係に相当する位置条件を満たすペアを書籍領域と判定する。そのため、この書籍検出装置は、開かれた状態にあるページが湾曲していても、書籍を検出できる。

なお、書籍によっては、何れかのページが開かれた状態において、開かれている二つのページのそれぞれが略平面となることがある。このような場合には、二つのページ全体が一つの候補領域として検出されることがある。そこで変形例によれば、書籍領域判定部１６は、長手方向のサイズと、検出対象の書籍の幅との差が所定幅以下となり、かつ、短手方向のサイズとその書籍の高さの差が所定高以下となる候補領域を書籍領域と判定してもよい。なお、所定幅は、例えば、検出対象の書籍の幅に0.05〜0.1を乗じた値とすることができる。また、所定高は、例えば、検出対象の書籍の高さに0.05〜0.1を乗じた値とすることができる。

また他の変形例によれば、方向検出部１２は、主成分分析以外の方法により、検出された各候補領域の長手方向、短手方向及び法線方向を検出してもよい。例えは、方向検出部１２は、着目する凸輪郭上の何れかの二つの測定点を結ぶベクトルのそれぞれごとに、そのベクトルの方向を算出する。方向検出部１２は、算出されたベクトルごとの方向に基づいて、所定角度範囲（例えば、10°）ごとに算出されたベクトルの方向の頻度を表すヒストグラムを作成する。そして方向検出部１２は、そのヒストグラムを参照して、頻度が最多となる角度範囲の中心方向を、その候補領域の長手方向とする。あるいは、方向検出部１２は、頻度が最多となる角度範囲に含まれるベクトルの方向の平均値あるいは中央値を、その候補領域の長手方向としてもよい。そして方向検出部１２は、長手方向と直交する方向のうち、次に頻度が高い角度範囲内で、長手方向と直交する方向を、その候補領域の短手方向とすればよい。さらに、方向検出部１２は、長手方向及び短手方向と直交する方向を法線方向とすればよい。
この変形例によれば、方向検出部１２は、主成分分析を用いるよりも少ない演算量で候補領域の向きを検出できる。

次に、第２の実施形態による書籍検出装置について説明する。第２の実施形態による書籍検出装置は、検出した書籍領域に基づいて、検出対象となる書籍において開かれているページに表示されているコンテンツを認識し、その認識結果に応じた情報をプロジェクタにより投影する。

図１２は、第２の実施形態による書籍検出装置のハードウェア構成図である。書籍検出装置５０は、３次元センサ２と、カメラ３と、記憶部４と、制御部５１と、プロジェクタ６とを有する。書籍検出装置５０が有するこれらの各部は、例えば、一つの筐体（図示せず）に収容される。あるいは、３次元センサ２、カメラ３及びプロジェクタ６は、記憶部４及び制御部５１が収容される筐体とは別個に設けられてもよい。そして３次元センサ２、カメラ３、プロジェクタ６及び記憶部４は、それぞれ、制御部５１と信号線を介して接続される。また、書籍検出装置５０は、書籍検出装置５０を通信ネットワークを介して他の機器と接続するための通信インターフェース（図示せず）をさらに有していてもよい。

第２の実施形態による書籍検出装置５０は、第１の実施形態による書籍検出装置１と比較して、プロジェクタ６を有する点、及び、制御部５１の処理の一部が異なる。そこで以下では、その相違点について説明する。

プロジェクタ６は、投影部の一例であり、例えば、液晶プロジェクタであり、制御部５から受け取った映像信号に従って映像をその表示面に表示することで、映像を投影する。本実施形態では、制御部５１により求められた映像表示領域に映像を表示することで、その映像表示領域に対応する投影範囲に映像が投影される。また、プロジェクタ６は、例えば、検出対象となる書籍上、あるいは、書籍が載置されたテーブル上に投影範囲を設定可能なように、書籍が存在すると想定される領域の鉛直上方に、鉛直下方を向けて取り付けられる。あるいは、プロジェクタ６は、所定の壁面に投影範囲を設定可能なように、その壁面を向けて設置されてもよい。

図１３は、第２の実施形態による制御部５１の機能ブロック図である。制御部５１は、候補領域検出部１１と、方向検出部１２と、面形状判定部１３と、向き補正部１４と、削除判定部１５と、書籍領域判定部１６と、書籍画像検出部１７と、関連情報取得部１８と、操作検出部１９と、投影処理部２０とを有する。
制御部５１が有するこれらの各部は、例えば、制御部５１が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。あるいはこれらの各部は、その各部の機能を実現する一つまたは複数の集積回路として、制御部５１とは別個に書籍検出装置５０に実装されてもよい。

第２の実施形態による制御部５１は、第１の実施形態による制御部５と比較して、関連情報取得部１８、操作検出部１９及び投影処理部２０を有する点で相違する。そこで以下では、関連情報取得部１８、操作検出部１９及び投影処理部２０及びその関連部分について説明する。

関連情報取得部１８は、書籍画像が得られる度に、書籍画像に基づいて、その書籍画像で表されている、検出対象の書籍について開かれているページに記載されているコンテンツを認識する。なお、そのコンテンツは、例えば、画像あるいはテキストである。そして関連情報取得部１８は、認識したコンテンツに関連する情報を記憶部４、あるいは他の機器から取得する。

例えば、記憶部４には、予め、検出対象となる書籍のページごとに、そのページに記載されているコンテンツを表すテンプレートが記憶される。そして関連情報取得部１８は、検出された書籍領域に対応する書籍画像と各テンプレートとの間でテンプレートマッチングを行って、テンプレートごとに一致度、例えば、正規化相互相関値を算出する。そして関連情報取得部１８は、一致度が最大となるテンプレートに対応するコンテンツが記載されたページが、カメラ３によるその画像の生成時において開かれていると判定する。

関連情報取得部１８は、例えば、コンテンツとそのコンテンツに関連する情報との対応関係を表す関連情報テーブルを参照して、開かれているページに記載されたコンテンツについての関連情報を特定する。なお、関連情報テーブルは、例えば、予め記憶部４に保存される。また、コンテンツの関連情報は、例えば、コンテンツが画像である場合、その画像に表された被写体（例えば、生物、建物、景色、または人物など）についての詳細情報を表すテキストまたはその被写体の別の画像、ビデオあるいは３次元データとすることができる。また、コンテンツがテキストである場合、コンテンツの関連情報は、例えば、そのテキストに含まれる所定の文字列（例えば、地名、あるいは人名など）で特定される対象物の画像またはビデオとすることができる。
また、一つのコンテンツに対して複数の関連情報が対応付けられていてもよい。

関連情報取得部１８は、特定した関連情報を記憶部４から読み込む。あるいは、関連情報取得部１８は、特定した関連情報を、通信ネットワークを介して他の機器から取得してもよい。そして関連情報取得部１８は、特定した関連情報を投影処理部２０へ渡す。

操作検出部１９は、検出された書籍領域の位置または向きの時間変化に基づいて、ユーザの操作を検出する。例えば、操作検出部１９は、書籍領域が検出される度に、書籍領域の重心及び法線方向及び長手方向を算出する。なお、法線方向は、例えば、書籍領域に含まれる二つのページ領域のそれぞれの法線方向の平均値とすることができる。また長手方向は、何れか一方のページ領域の長手方向とすることができる。そして操作検出部１９は、書籍領域の重心または向きの軌跡を求めて、書籍領域が移動した方向及び向きの時間変化を特定する。操作検出部１９は、書籍領域の移動方向の範囲または向きの時間変化の方向の範囲と操作の種類との対応関係を表す操作テーブルを参照して、書籍領域が移動した方向または向きが変化した方向に対応する操作を特定する。なお、操作テーブルは、例えば、予め記憶部４に保存される。

例えば、３次元センサ２から見て左方向への書籍領域の移動は、現在投影されている関連情報の次の関連情報を投影する操作に対応し、３次元センサ２から見て右方向への書籍領域の移動は、現在投影されている関連情報の前の関連情報を投影する操作に対応する。

あるいは、書籍領域の法線方向の上方から下方への向き変化は、関連情報の投影を中止する操作に対応してもよい。逆に、書籍領域の法線方向の下方から上方への向き変化は、関連情報の投影を再開する操作に対応してもよい。

さらに、書籍領域の重心を回転中心とする、法線方向に対する書籍領域の時計回りの変化は、３次元データで表される関連情報の投影される向きを時計回りに回転させる操作に対応してもよい。逆に、書籍領域の重心を回転中心とする、法線方向に対する書籍領域の反時計回りの変化は、３次元データで表される関連情報の投影される向きを反時計回りに回転させる操作に対応してもよい。なお、この場合、操作検出部１９は、書籍領域の回転速度に応じて、関連情報の投影される向きを変える速度を変更してもよい。

操作検出部１９は、特定した操作を表す情報を投影処理部２０へ通知する。

投影処理部２０は、特定された操作に応じて、プロジェクタ６に特定された関連情報を投影させるための映像を生成する。例えば、投影処理部２０は、書籍領域に映像を投影する場合、書籍領域に対応するプロジェクタ６の表示面上の映像表示領域を特定する。

そのために、投影処理部２０は、書籍領域の４個のコーナーのそれぞれの３次元座標を、次式に従って、プロジェクタ６の表示面における２次元座標に座標変換する。そして投影処理部２０は、座標変換後の４個のコーナーで囲まれた領域を映像表示領域とする。
ここで、(f_px,f_py)は、プロジェクタ６の表示面の水平方向及び垂直方向における、プロジェクタ６が有する投影光学系（図示せず）の焦点距離を表す。また(c_px,c_py)は、プロジェクタ６の表示面の中心の水平座標及び垂直座標を表す。また回転行列R_dp及び平行移動ベクトルT_dpは、３次元センサ２を基準とする３次元座標系からプロジェクタ６の表示面を基準とする３次元座標系への座標変換を表す変換パラメータである。(X,Y,Z)は、３次元センサ２を基準とする３次元座標系での着目点（この例では、書籍領域の４個のコーナーの何れか）の３次元座標である。そして(u,v)は、着目点に対応する、プロジェクタ６の表示面上での点の２次元座標である。

投影処理部２０は、特定された関連情報についての映像を、プロジェクタ６の表示面上の映像表示領域に表示させる。これにより、書籍領域にその映像が投影される。

なお、投影処理部２０は、書籍が載置されたテーブルあるいは壁面などの予め定められた矩形状の投影領域に対して、プロジェクタ６に特定された関連情報の映像を投影させてもよい。その投影領域は、予め設定されているため、その投影領域に対応する映像表示領域も予め設定される。そこで、例えば、映像表示領域の４個のコーナーの座標が記憶部４に保存されていてもよい。この場合、投影処理部２０は、記憶部４から映像表示領域の４個のコーナーの座標を読み込むことで映像表示領域を特定してもよい。

図１４は、第２の実施形態による書籍検出装置５０により実行される、書籍検出処理を含む投影処理の動作フローチャートである。

制御部５１は、３次元センサ２により得られた３次元計測データから書籍領域を検出し、かつ、カメラ３により得られた画像から書籍領域に対応する書籍画像を検出する（ステップＳ２０１）。例えば、制御部５１は、図１１に示される動作フローチャートに従って、書籍領域及び書籍画像を検出すればよい。

関連情報取得部１８は、書籍画像に基づいて、開かれているページに記載されているコンテンツを認識し、その認識結果に基づいて、そのコンテンツの関連情報を取得する（ステップＳ２０２）。

また、操作検出部１９は、検出された書籍領域の位置または向きの時間変化に基づいて、ユーザによる操作を検出する（ステップＳ２０３）。

投影処理部２０は、検出した操作に従って、コンテンツの関連情報をプロジェクタ６に投影させる（ステップＳ２０４）。そして制御部５１は、投影処理を終了する。

本実施形態によれば、書籍検出装置は、書籍領域を精度良く検出できるため、その書籍領域にある書籍の開かれたページに記載されたコンテンツを正確に認識できるとともに、書籍の動きによるユーザの操作を正確に検出できる。そのため、この書籍検出装置は、開かれているページに記載されているコンテンツの関連情報を適切に投影できる。

なお、変形例によれば、操作検出部１９は、書籍に対してユーザが触れた位置を検出し、その位置に応じた操作を特定してもよい。この場合、操作検出部１９は、例えば、書籍領域が検出された３次元計測データにおける各測定点の座標を、書籍領域に含まれる何れかのページ領域の短手方向をX軸、長手方向をY軸、法線方向をZ軸とする直交座標系の値に変換する。そして操作検出部１９は、各測定点のうち、XY平面における座標が、書籍領域のXY平面における範囲に含まれ、かつ、Z方向の値が、書籍領域よりも３次元センサ２に近い測定点の集合をユーザの手として検出する。操作検出部１９は、その集合においてZ方向における、書籍領域に最も近い測定点と書籍領域間の距離が所定の距離閾値以下である場合、ユーザは、書籍に触れていると判定する。そして操作検出部１９は、書籍領域に最も近い測定点のXY平面における座標を、ユーザが触れた位置とする。

操作検出部１９は、ユーザが触れた位置に応じた操作を特定する。例えば、その操作は、ユーザが触れた位置に記載されているコンテンツの関連情報の表示とすることができる。

また他の変形例によれば、書籍検出装置は、ユーザが触れた位置を検出する代わりに、書籍領域中でユーザが注視している位置を検出し、検出した位置に応じた操作を実行してもよい。

図１５は、この変形例による書籍検出装置のハードウェア構成図である。書籍検出装置６０は、３次元センサ２と、カメラ３と、記憶部４と、制御部５１と、プロジェクタ６と、視線検出装置７とを有する。図１６（ａ）及び図１６（ｂ）は、それぞれ、視線検出装置７の配置の一例を示す図である。
この変形例による書籍検出装置６０は、第２の実施形態による書籍検出装置５０と比較して、視線検出装置７を有する点と、制御部５１の処理の一部が相違する。そこで以下では、その相違点について説明する。

視線検出装置７は、例えば、赤外光を発する光源、例えば、赤外発光ダイオードと、赤外光に感度を有する赤外カメラとを有する。そして視線検出装置７は、例えば、図１６（ａ）に示されるように、検出対象となる書籍１６００が載置されるテーブル１６０１上に、ユーザの顔の想定される位置へ向けて設置される。あるいは、図１６（ｂ）に示されるように、視線検出装置７は、ユーザの正面に位置する壁面１６０２に、ユーザの顔の想定される位置へ向けて設置される。

視線検出装置７は、書籍検出処理の実行中、光源を発光させるとともに、所定のフレームレートで、眼を含むユーザの顔の少なくとも一部が写った赤外画像を生成する。したがって、赤外画像には光源で照明されたユーザの眼が表される。そして赤外画像上でユーザの眼が写った領域には、角膜により反射された光源の像（以下、プルキンエ像と呼ぶ）と瞳孔とが表される。後述するように、プルキンエ像と瞳孔重心との位置関係により、ユーザの視線方向が検出される。
視線検出装置７は、赤外画像を生成する度に、その赤外画像を制御部５１へ出力する。

制御部５１の操作検出部１９は、赤外画像に基づいて、ユーザの視線方向及び書籍領域における注視位置を検出する。そして操作検出部１９は、注視位置に応じて、ユーザの操作を特定する。

操作検出部１９は、赤外画像が得られる度に、赤外画像上でプルキンエ像及び瞳孔を検出し、プルキンエ像と瞳孔の位置関係に基づいて、ユーザの視線方向及び注視位置を検出する。

本実施形態では、操作検出部１９は、一方の眼の瞳孔に相当するテンプレートと赤外画像との間でテンプレートマッチングを行い、赤外画像上でテンプレートとの一致度が最も高くなる領域を検出する。なお、テンプレートは、予め記憶部４に記憶されていればよい。そして操作検出部１９は、一致度の最高値が所定の一致度閾値よりも高い場合、その検出した領域を、瞳孔が写っている瞳孔領域と判定する。なお、テンプレートは、瞳孔の大きさに応じて複数準備されてもよい。この場合、操作検出部１９は、各テンプレートと赤外画像とのテンプレートマッチングをそれぞれ実行し、一致度の最高値を求める。そして一致度の最高値が一致度閾値よりも高い場合、操作検出部１９は、一致度の最高値に対応するテンプレートと重なった領域を瞳孔領域と判定する。なお、一致度は、例えば、テンプレートとそのテンプレートと重なった領域との正規化相互相関値として算出される。また一致度閾値は、例えば、0.7または0.8に設定される。

また瞳孔が写っている領域の輝度は、その周囲の領域の輝度よりも低く、瞳孔は略円形である。そこで操作検出部１９は、赤外画像上で、同心円状に半径の異なる２本のリングを設定する。そして操作検出部１９は、外側のリングに相当する画素の輝度の平均値から内側の画素の輝度の平均値を引いた差分値が所定の閾値よりも大きい場合、その内側のリングで囲まれた領域を瞳孔領域としてもよい。また操作検出部１９は、内側のリングで囲まれた領域の平均輝度値が所定の閾値以下であることを、瞳孔領域として検出する条件に加えてもよい。この場合、所定の閾値は、例えば、赤外画像の最大輝度値と最小輝度値の差の10％〜20％を、最小輝度値に加えた値に設定される。
操作検出部１９は、瞳孔領域の検出に成功した場合、瞳孔領域に含まれる各画素の水平方向座標値の平均値及び垂直方向座標値の平均値を、瞳孔領域の重心の位置座標として算出する。

また操作検出部１９は、瞳孔領域及びその周辺領域内でプルキンエ像を検出する。プルキンエ像が写っている領域の輝度は、その周囲の領域の輝度よりも高く、その輝度値は略飽和している（すなわち、輝度値が、画素値が取り得る輝度の値の略最高値となっている）。また、プルキンエ像が写っている領域の形状は、光源の発光面の形状と略一致する。そこで操作検出部１９は、瞳孔領域及びその周辺領域内で、光源の発光面の輪郭形状と略一致する形状を持ち、かつ、大きさが異なるとともに中心が一致する２本のリングを設定する。そして操作検出部１９は、内側のリングに相当する画素の輝度の平均値である内部輝度平均値から外側の画素の輝度の平均値を引いた差分値を求める。操作検出部１９は、その差分値が所定の差分閾値よりも大きく、かつ内側輝度平均値が所定の輝度閾値よりも高い場合、その内側のリングで囲まれた領域をプルキンエ像とする。なお、差分閾値は、例えば、瞳孔領域及びその周辺領域内の近傍画素間の差分値の平均値とすることができる。また所定の輝度閾値は、例えば、瞳孔領域及びその周辺領域内での輝度値の最高値の80%とすることができる。

なお、操作検出部１９は、画像上で瞳孔が写っている領域を検出する他の様々な方法の何れかを用いて、瞳孔が写っている領域を検出してもよい。同様に、操作検出部１９は、画像上で光源のプルキンエ像が写っている領域を検出する他の様々な方法の何れかを用いて、光源のプルキンエ像が写っている領域を検出してもよい。

操作検出部１９は、プルキンエ像の検出に成功した場合、プルキンエ像に含まれる各画素の水平方向座標値の平均値及び垂直方向座標値の平均値を、プルキンエ像の重心の位置座標として算出する。そしてプルキンエ像の重心及び瞳孔重心が検出されると、操作検出部１９は、視線方向及び注視位置を検出する。

角膜の表面は略球形であるため、視線方向によらず、プルキンエ像の位置はほぼ一定となる。一方、瞳孔重心は、視線方向に応じて移動する。そのため、操作検出部１９は、プルキンエ像の重心を基準とする瞳孔重心の相対的な位置を求めることにより、視線方向を検出できる。

本実施形態では、操作検出部１９は、プルキンエ像の重心を基準とする瞳孔重心の相対的な位置を、例えば、瞳孔重心の水平方向座標及び垂直方向座標からプルキンエ像の重心の水平方向座標及び垂直方向座標を減算することにより求める。そして操作検出部１９は、瞳孔重心の相対的な位置と視線方向との関係を表す参照テーブルを参照することにより、視線方向を決定する。

操作検出部１９は、さらに、検出した視線方向に基づいて、ユーザの注視位置を検出する。
本実施形態では、操作検出部１９は、視線方向と注視位置との関係を表す注視位置テーブルを参照することにより、注視位置を決定する。なお、視線方向と注視位置との関係は、その注視位置（本実施形態では、書籍領域内の何れか）とユーザとの間の距離に応じて変化する。

そこで、注視位置テーブルでは、ユーザと検出対象となる書籍との間の想定される距離（例えば、30cm〜50cm）に応じて視線方向と注視位置との関係が表される。なお、注視位置は、基準となる視線方向（例えば、瞳孔重心とプルキンエ像が一致するときの視線方向）を基準とする相対的な位置で表される。また注視位置テーブルは、予め用意され、記憶部４に保存されていればよい。

さらに、操作検出部１９は、ユーザの眼の実空間での位置を検出する。ここで、赤外画像上の各画素は、視線検出装置７の赤外カメラの光軸方向に対する角度と一対一に対応しているので、操作検出部１９は、赤外画像上でのプルキンエ像の位置により、視線検出装置７からユーザの眼へ向かう方向を特定できる。一方、上記のように、３次元センサ２が探索エリアの上方に、鉛直下方へ向けて取り付けられているなら、ユーザの頭に対応する測定点での、３次元センサ２からの距離は比較的小さいと想定される。そこで、操作検出部１９は、視線検出装置７からユーザの眼へ向かう線に沿って、３次元センサ２による三次元計測データ内の各測定点について３次元センサ２からの距離の変化を調べる。そして操作検出部１９は、その距離が所定の閾値以下となる測定点のうち、視線検出装置７に最も近い測定点の位置を、ユーザの眼の実空間での位置とする。

操作検出部１９は、基準となる視線方向に対する相対的な位置で表される注視位置を、ユーザの眼の実空間での位置で補正することにより、ユーザの実際の注視位置を特定できる。そして操作検出部１９は、そのユーザの注視位置と、書籍領域とを対応させることで、書籍領域に表された書籍上でのユーザの注視位置を特定できる。そして操作検出部１９は、上記の実施形態または変形例と同様に、書籍上でのユーザの注視位置に基づいてユーザの操作を特定すればよい。なお、操作検出部１９は、一定期間（例えば、数秒間）にわたってユーザが同じ位置を注視している場合に、注視位置に応じた操作を特定するようにしてもよい。あるいは、操作検出部１９は、注視位置の変化の履歴を記録して、注視位置が所定の方向に沿って移動したときに、その移動方向に応じた操作を特定するようにしてもよい。

この変形例によれば、書籍検出装置は、ユーザが書籍に触れなくても、ユーザの操作を特定して、その特定した操作に応じて関連情報を投影できる。

また他の変形例によれば、関連情報取得部１８は、開かれているページに記載されているコンテンツを認識しなくてもよい。その代りに、関連情報取得部１８は、操作検出部１９により検出された、ユーザが触れた位置、またはユーザの注視位置に応じてプロジェクタ６に投影させる映像を切り替えてもよい。この場合、関連情報取得部１８は、ユーザが触れた位置、またはユーザの注視位置と映像との対応関係を表す参照テーブルを参照して、投影させる映像を特定すればよい。なお、そのような参照テーブルは、予め記憶部４に保存されればよい。

さらに、操作検出部１９は、ユーザが触れた位置またはユーザの注視位置が書籍領域に含まれるか否かを判定してもよい。例えば、操作検出部１９は、書籍領域以外の候補領域に対して、上記の接触判定と同様の処理を実行することで、ユーザの指がその候補領域に含まれる面に触れたか否かを判定してもよい。そしてユーザの指がその候補領域に含まれる面に触れた場合、操作検出部１９は、ユーザが触れた位置は書籍領域に含まれないと判定すればよい。そして関連情報取得部１８は、ユーザが触れた位置、またはユーザの注視位置が書籍領域に含まれるか否かで、プロジェクタ６に投影させる映像を切り替えてもよい。

さらに他の変形例によれば、向き補正部１４及び削除判定部１５の一方または両方とも省略されてもよい。この場合、書籍領域の検出精度は若干低下する可能性があるが、書籍検出処理に要する演算量が削減される。また、書籍検出装置は、ユーザの操作によらずに、認識されたコンテンツの関連情報をプロジェクタ６に投影させる場合には、操作検出部１９は省略されてもよい。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
３次元センサにより得られた探索対象エリア内の３次元計測データに基づいて複数の面領域を検出する面領域検出部と、
前記複数の面領域のうちの二つの面領域の位置関係が、開かれた状態にある書籍の開いている二つのページの位置関係に相当する位置条件を満たす場合に当該二つの面領域を前記書籍が含まれる書籍領域と判定する書籍領域判定部と、
を有する書籍検出装置。
（付記２）
前記複数の面領域のそれぞれについて、当該面領域の長手方向及び短手方向を求める方向検出部をさらに有し、
前記書籍領域判定部は、前記二つの面領域間の距離が所定の距離閾値以下であり、かつ、前記二つの面領域のそれぞれの長手方向の長さの差または短手方向の長さの差が所定の長さ閾値以下である場合、前記位置条件が満たされると判定する、付記１に記載の書籍検出装置。
（付記３）
前記書籍領域判定部は、前記複数の面領域のそれぞれの重心位置を算出し、前記複数の面領域の第１の面領域について、当該重心位置が近い方から順に第２の面領域及び第３の面領域を選択し、前記第１の面領域と前記第２の面領域との位置関係が前記位置条件を満たし、かつ、前記第１の面領域と前記第３の面領域の位置関係が前記位置条件を満たさない場合に、前記第１の面領域と前記第２の面領域とを前記書籍領域と判定する、付記１または２に記載の書籍検出装置。
（付記４）
前記複数の面領域のそれぞれについて、当該面領域に含まれる、前記３次元計測データに含まれる複数の測定点のそれぞれにおける法線方向の分散、または、当該面領域全体に対する法線方向に沿った前記複数の測定点のうちの二つの測定点間の位置の差の最大値に応じて、当該面領域が平面か曲面かを判定する面形状判定部をさらに有する、付記１〜３の何れかに記載の書籍検出装置。
（付記５）
前記面形状判定部は、前記法線方向の分散が所定の分散閾値以下である場合、当該面領域を平面と判定し、一方、前記分散が前記分散閾値よりも大きい場合、当該面領域を曲面と判定する、付記４に記載の書籍検出装置。
（付記６）
前記曲面と判定された面領域について、前記書籍のページが綴じられた方向に対応する当該面領域の方向における、当該面領域の法線方向に沿った位置の変化度合いを算出し、当該変化度合いが所定の変動閾値よりも大きい場合、当該面領域を削除する削除判定部をさらに有する、付記４または５に記載の書籍検出装置。
（付記７）
前記探索対象エリアを撮像部により撮影して得られた画像において、前記書籍領域に対応する範囲を検出する書籍画像検出部をさらに有する、付記１〜６の何れかに記載の書籍検出装置。
（付記８）
前記書籍画像検出部は、前記書籍領域に含まれる何れかの前記面領域が曲面である場合、当該面領域を彎曲している方向に沿って複数のブロックに分割し、前記複数のブロックのそれぞれを平面に投影する射影変換により前記範囲を補正する、付記７に記載の書籍検出装置。
（付記９）
前記画像上の前記書籍領域に対応する範囲に基づいて、前記書籍の開いている前記二つのページの何れかに表されたコンテンツを検出し、当該コンテンツと関連する情報を取得する関連情報取得部と、
前記関連する情報を投影部に投影させる投影処理部と、
をさらに有する、付記７または８に記載の書籍検出装置。
（付記１０）
前記投影処理部は、前記書籍領域に対応する前記投影部の表示面上の映像表示領域を求め、前記投影部の前記表示面上の前記映像表示領域に前記関連する情報を表示させる、付記９に記載の書籍検出装置。
（付記１１）
前記書籍領域の位置または向きの時間変化を検出し、当該検出された位置または向きの時間変化に応じた操作を特定する操作検出部をさらに有し、
前記投影処理部は、特定された前記操作に応じて、前記投影部に投影させる情報を変更する、付記１０に記載の書籍検出装置。
（付記１２）
前記３次元計測データに基づいて、前記書籍にユーザが触れた位置を検出し、当該検出された位置に応じた操作を特定する操作検出部をさらに有し、
前記投影処理部は、特定された前記操作に応じて、前記投影部に投影させる情報を変更する、付記１０に記載の書籍検出装置。
（付記１３）
ユーザの眼を撮影するカメラとを有する視線検出装置により得られた前記ユーザの眼の画像に基づいて、前記書籍上でのユーザの注視位置を検出し、当該注視位置に応じた操作を特定する操作検出部をさらに有し、
前記投影処理部は、特定された前記操作に応じて、前記投影部に投影させる情報を変更する、付記１０に記載の書籍検出装置。
（付記１４）
３次元センサにより得られた探索対象エリア内の３次元計測データに基づいて複数の面領域を検出し、
前記複数の面領域のうちの二つの面領域の位置関係が、開かれた状態にある書籍の開いている二つのページの位置関係に相当する位置条件を満たす場合に当該二つの面領域を前記書籍が含まれる書籍領域と判定する、
ことを含む書籍検出方法。
（付記１５）
３次元センサにより得られた探索対象エリア内の３次元計測データに基づいて複数の面領域を検出し、
前記複数の面領域のうちの二つの面領域の位置関係が、開かれた状態にある書籍の開いている二つのページの位置関係に相当する位置条件を満たす場合に当該二つの面領域を前記書籍が含まれる書籍領域と判定する、
ことをコンピュータに実行させるための書籍検出用コンピュータプログラム。

１、５０、６０ 書籍検出装置
２ ３次元センサ
３ カメラ
４ 記憶部
５、５１ 制御部
６ プロジェクタ
７ 視線検出装置
１１ 候補領域検出部
１２ 方向検出部
１３ 面形状判定部
１４ 向き補正部
１５ 削除判定部
１６ 書籍領域判定部
１７ 書籍画像検出部
１８ 関連情報取得部
１９ 操作検出部
２０ 投影処理部

Claims (10)

1. ３次元センサにより得られた探索対象エリア内の３次元計測データに基づいて複数の面領域を検出する面領域検出部と、
   前記複数の面領域のうちの二つの面領域の位置関係が、開かれた状態にある書籍の開いている二つのページの位置関係に相当する位置条件を満たす場合に当該二つの面領域を前記書籍が含まれる書籍領域と判定する書籍領域判定部と、
   を有する書籍検出装置。
2. 前記複数の面領域のそれぞれについて、当該面領域の長手方向及び短手方向を求める方向検出部をさらに有し、
   前記書籍領域判定部は、前記二つの面領域間の距離が所定の距離閾値以下であり、かつ、前記二つの面領域のそれぞれの長手方向の長さの差または短手方向の長さの差が所定の長さ閾値以下である場合、前記位置条件が満たされると判定する、請求項１に記載の書籍検出装置。
3. 前記書籍領域判定部は、前記複数の面領域のそれぞれの重心位置を算出し、前記複数の面領域の第１の面領域について、当該重心位置が近い方から順に第２の面領域及び第３の面領域を選択し、前記第１の面領域と前記第２の面領域との位置関係が前記位置条件を満たし、かつ、前記第１の面領域と前記第３の面領域の位置関係が前記位置条件を満たさない場合に、前記第１の面領域と前記第２の面領域とを前記書籍領域と判定する、請求項１または２に記載の書籍検出装置。
4. 前記複数の面領域のそれぞれについて、当該面領域に含まれる、前記３次元計測データに含まれる複数の測定点のそれぞれにおける法線方向の分散、または、当該面領域全体に対する法線方向に沿った前記複数の測定点のうちの二つの測定点間の位置の差の最大値に応じて、当該面領域が平面か曲面かを判定する面形状判定部をさらに有する、請求項１〜３の何れか一項に記載の書籍検出装置。
5. 前記曲面と判定された面領域について、前記書籍のページが綴じられた方向に対応する当該面領域の方向における、当該面領域の法線方向に沿った位置の変化度合いを算出し、当該変化度合いが所定の変動閾値よりも大きい場合、当該面領域を削除する削除判定部をさらに有する、請求項４に記載の書籍検出装置。
6. 前記探索対象エリアを撮像部により撮影して得られた画像において、前記書籍領域に対応する範囲を検出する書籍画像検出部をさらに有する、請求項１〜５の何れか一項に記載の書籍検出装置。
7. 前記書籍画像検出部は、前記書籍領域に含まれる何れかの前記面領域が曲面である場合、当該面領域を彎曲している方向に沿って複数のブロックに分割し、前記複数のブロックのそれぞれを平面に投影する射影変換により前記範囲を補正する、請求項６に記載の書籍検出装置。
8. 前記画像上の前記書籍領域に対応する範囲に基づいて、前記書籍の開いている前記二つのページの何れかに表されたコンテンツを検出し、当該コンテンツと関連する情報を取得する関連情報取得部と、
   前記関連する情報を投影部に投影させる投影処理部と、
   をさらに有する、請求項６または７に記載の書籍検出装置。
9. ３次元センサにより得られた探索対象エリア内の３次元計測データに基づいて複数の面領域を検出し、
   前記複数の面領域のうちの二つの面領域の位置関係が、開かれた状態にある書籍の開いている二つのページの位置関係に相当する位置条件を満たす場合に当該二つの面領域を前記書籍が含まれる書籍領域と判定する、
   ことを含む書籍検出方法。
10. ３次元センサにより得られた探索対象エリア内の３次元計測データに基づいて複数の面領域を検出し、
    前記複数の面領域のうちの二つの面領域の位置関係が、開かれた状態にある書籍の開いている二つのページの位置関係に相当する位置条件を満たす場合に当該二つの面領域を前記書籍が含まれる書籍領域と判定する、
    ことをコンピュータに実行させるための書籍検出用コンピュータプログラム。