JP2006276748A - 情報呈示装置、情報呈示方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】作業者が見易い方向に画面を確実に切り替えられるようにすること。
【解決手段】撮影された対象物１の画像２４Ｂ１と共に情報（例えば関連情報２４Ｂ３）を操作者に呈示する情報呈示装置は、上記操作者の視点に対して相対的に撮影位置及び撮影方向が既知である画像入力部１０のヘッドマウントカメラ１０Ａと、上記ヘッドマウントカメラ１０Ａに対して、上記ヘッドマウントカメラ１０Ａにより撮影された上記対象物１の画像２４Ｂ１と上記情報とを呈示する表示部２４と、上記ヘッドマウントカメラ１０Ａにより撮影された上記表示部２４の画像に基づいて、上記表示部２４の表示を制御する表示制御部２２と、を備える。
【選択図】 図１

Description

本発明は、撮影された対象物の画像と共に情報を操作者に呈示する情報呈示装置及び情報呈示方法、並びに、コンピュータに撮影された対象物の画像と共に情報を操作者に呈示させるコンピュータプログラムに関する。

表示装置に表示する情報の配列方向を、端末本体の姿勢に応じて適正な方向に自動的に変更し、視認性の向上を実現する技術が特許文献１に開示されている。

即ち、特許文献１では、携帯電話機の筺体の姿勢が変化した場合に、これを重力センサにより検知し、その検知結果に基づいて表示装置に表示する情報の配列方向を常に適正な状態に変更するように構成されている。
特開２０００−３３２８６６号公報

ところで、近年、「現実強調」、「強調現実」あるいは「シンクロリアリティ」と称される技術が注目されている。これは、仮想現実と違い、実画像または使用者の視野内の像に対して情報重畳表示を行うもので、例えば、ビデオカメラで撮影された画像上に情報重畳表示を行う事で使用者に情報呈示を行う。

この技術は、エンターテーメント分野や製造業などの産業分野への応用が期待されている。例えば、ノートＰＣと称される小型のパーソナルコンピュータやＰＤＡと称される携帯情報端末等の携帯端末を用いて、作業者に保守・点検等に必要な支援情報を重畳呈示するシステムが開発されている。しかし、実際に現場で作業する時には、そのような携帯端末を手で持ちながら作業するのは困難である。このため、両手で作業する為にゴーグルやヘルメットのような形状をした表示装置であるヘッドマウントディスプレイ（ＨＭＤ）を装着したり、小型ＰＤＡを腕に装着する等が考えられる。

しかしながら、ＨＭＤは高価であり、腕に装着した小型ＰＤＡでは腕の向きによって画面が作業者の所望の向きに表示されないという欠点がある。携帯電話機では、上記特許文献１のように重力センサを内蔵して端末の天地方向を検知し、検知した方向に合わせて画像を回転させるものが開示されているが、傾き検出用に専用のセンサが必要であり、また、作業時に端末の傾きと作業者が見たい画面方向が一致するとは限らない。

本発明は、上記の点に鑑みてなされたもので、作業者が見易い方向に画面を確実に切り替えることが可能な情報呈示装置、情報呈示方法、及びコンピュータプログラムを提供することを目的とする。

本発明の情報呈示装置の一態様は、
撮影された対象物の画像と共に情報を操作者に呈示する情報呈示装置であって、
上記操作者の視点に対して相対的に撮影位置及び撮影方向が既知である撮影部と、
上記撮影者に対して、上記撮影部により撮影された上記対象物の画像と上記情報とを呈示する表示部と、
上記撮影部により撮影された上記表示部の画像に基づいて、上記表示部の表示を制御する表示制御部と、
を具備することを特徴とする。

また、本発明の情報呈示方法の一態様は、
撮影された対象物の画像と共に情報を操作者に呈示する情報呈示方法であって、
上記操作者の視点に対して相対的に撮影位置及び撮影方向が既知である撮影部により撮影された上記対象物の画像と上記情報とを上記撮影者に対して呈示する表示部を上記撮影部により撮影するステップと、
上記撮影部により撮影された上記表示部の画像に基づいて、上記表示部の表示を制御するステップと、
を具備することを特徴とする。

また、本発明のコンピュータプログラムの一態様は、
コンピュータに撮影された対象物の画像と共に情報を操作者に呈示させるコンピュータプログラムであり、コンピュータに、
上記操作者の視点に対して相対的に撮影位置及び撮影方向が既知である撮影部により撮影された上記対象物の画像と上記情報とを上記撮影者に対して呈示する表示部を上記撮影部により撮影した画像を入力させるステップと、
上記入力された上記表示部の画像に基づいて、上記表示部の表示を制御させる、
ことを特徴とする。

本発明によれば、作業者が見易い方向に画面を確実に切り替えることが可能な情報呈示装置、情報呈示方法、及びコンピュータプログラムを提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
図１（Ａ）は、本発明の第１実施形態に係る情報呈示装置の構成を示す図である。

この情報呈示装置は、画像入力部１０、マーカ検出部１２、位置姿勢検出部１４、マーカ情報格納部１６、表示情報生成部１８、関連情報格納部２０、表示制御部２２、及び表示部２４から構成されている。

ここで、画像入力部１０は、図１（Ｂ）に示すように、その撮影方向が作業者である操作者の視線と同じ方向となるように操作者の頭部に固定されたヘッドマウントカメラ１０Ａを有している。つまり、このヘッドマウントカメラ１０Ａは、操作者の視点に対して相対的に撮影位置及び撮影方向が既知で、所定の撮影範囲を有する撮影部である。画像入力部１０は、このようなヘッドマウントカメラ１０Ａにより、対象物マーカ１Ａが直接又は間接的に固定された対象物（物品）１や表示部マーカ２４Ａが直接固定された表示部２４を撮影するものである。なお、マーカ１Ａ，２４Ａは、少なくとも３つ以上の光学的に識別可能であると共に３次元的配置が既知である特徴点であって、当該特徴点を撮影した画像から当該画像を撮影した位置を特定可能な特徴点（例えば「１０」，「５０」等の記号や意匠）を含む。

上記ヘッドマウントカメラ１０Ａが撮影した画像をマーカ検出部１２に入力する。マーカ検出部１２は、マーカ情報格納部１６に格納されたマーカのテンプレート画像と比較することで、上記画像入力部１０より入力された画像内からマーカを検出し、その検出結果を位置姿勢検出部１４に供給する。

位置姿勢検出部１４は、上記マーカ検出部１２からのマーカ情報を用いて、マーカ情報格納部１６に格納されている情報から対応するマーカを同定し、画像入力部１０のヘッドマウントカメラ１０Ａの位置及び姿勢と表示部２４の位置及び姿勢を検出して、ヘッドマウントカメラ１０Ａの位置姿勢を表示情報生成部１８に、表示部２４の位置姿勢を表示制御部２２に、それぞれ供給するものである。ところで、上記光学的マーカ部に対するヘッドマウントカメラ１０の位置姿勢は、特開２０００−２２７３０９号公報、特開２００１−１２６０５１号公報などに記載の公知の技術を利用して検出されるものである。なお、マーカ情報格納部１６には、上記マーカのテンプレート画像に加えて、マーカの属するエリア情報、マーカの配置されている位置姿勢情報等のマーカに関する情報が格納されている。

表示情報生成部１８は、上記位置姿勢検出部１４で検出された画像入力部１０のカメラの位置姿勢に応じて、関連情報格納部２０から予め設定された情報を抽出して関連情報を生成する。そして、その生成した関連情報を表示制御部２２に供給する。ここで、関連情報格納部２０には、モデル空間上に配置されたモデルの位置姿勢情報や形状情報、属性情報等の関連情報が格納されている。

表示制御部２２は、上記位置姿勢検出部１４から供給された表示部２４の位置姿勢に応じて、上記表示情報生成部１８から供給される関連情報を、その表示方向を制御した上で、上記画像入力部１０から与えられる撮影画像に重畳して、表示部２４に供給するものである。表示部２４は、操作者によって任意位置に配置設定されるノートＰＣやＰＤＡ等であり、この表示制御部２２で生成された重畳画像を表示する。但し、本実施形態においては、この表示部２４は、例えば対象物１の横に置く等、対象物１と同時に上記ヘッドマウントカメラ１０Ａで撮影されるような対象物１の近傍の位置に配置設定することが必要である。

図２は、上記のような構成の情報呈示装置の動作フローチャートである。

まず、画像入力部１０のヘッドマウントカメラ１０Ａにより撮影を行い、その撮影した画像をマーカ検出部１２に入力してマーカを検出する（ステップＳ１０）。このマーカ検出部１２においては、まず、画像内から対象物マーカ１Ａや表示部マーカ２４Ａの予め定められた形状、本実施形態では四角枠である枠部を検出する（四角枠の検出は、公知の画像処理手法であるので、説明は省略する）。次に、その検出した枠部（四角枠）の四隅の画像内での座標を検出し、四角枠の内部を抽出してアフィン変換を行う。そして、アフィン変換後の画像とマーカ情報格納部１６に予め登録してあるマーカのテンプレート画像とのパターンマッチングを行い、マーカ１Ａ，２４Ａの同定（この場合、記号や意匠が「１０」あるいは「５０」のマーカであることを同定）を行う。もし、マーカのテンプレート画像と一致しない画像であれば、マーカとして検出せずに（ステップＳ１２）、上記ステップＳ１０に戻る。

マーカが検出されると、次に、位置姿勢検出部１４では、上記マーカ検出部１２によって検出されたマーカ情報から、上記画像入力部１０のヘッドマウントカメラ１０Ａで撮影したマーカを同定する（ステップＳ１４）。そして、その同定したマーカが対象物１に固定された対象物マーカ１Ａであるか否かを判別し（ステップＳ１６）、対象物マーカ１Ａでなければ上記ステップＳ１０に戻る。

これに対して、同定したマーカが対象物マーカ１Ａであると判別した場合には、マーカ情報格納部１６から対応する対象物マーカ１Ａの空間定位情報（対象物マーカ１Ａの配置されている位置姿勢情報）を入手できるので、位置姿勢検出部１４では、画像内での対象物マーカ１Ａの四隅の位置から画像入力部１０のヘッドマウントカメラ１０Ａの位置姿勢を検出することが可能になる（ステップＳ１８）。そして、表示情報生成部１８では、この位置姿勢検出部１４で検出したヘッドマウントカメラ１０Ａの位置姿勢に応じて、関連情報格納部２０から予め設定された情報を抽出して関連情報を生成する（ステップＳ２０）。

また、上記位置姿勢検出部１４では、上記マーカ検出部１２によって検出されたマーカ情報から同定したマーカが表示部２４に固定された表示部マーカ２４Ａを含むか否かを判別し（ステップＳ２２）、表示部マーカ２４Ａが同定されていなければ上記ステップＳ１０に戻る。

これに対して、表示部マーカ２４Ａが同定されていると判別した場合には、マーカ情報格納部１６から対応する表示部マーカ２４Ａの空間定位情報（表示部マーカ２４Ａの配置されている位置姿勢情報）を入手できるので、位置姿勢検出部１４では、画像内での表示部マーカ２４Ａの四隅の位置から表示部２４のヘッドマウントカメラ１０Ａに対する位置姿勢を検出することが可能になる（ステップＳ２４）。そして、表示制御部２２では、この位置姿勢検出部１４で検出した表示部２４の位置姿勢に応じて、上記表示情報生成部１８で生成された関連情報の表示方向を制御して（ステップＳ２６）、上記画像入力部１０のヘッドマウントカメラ１０Ａからの撮影画像とを重畳し、図１（Ｂ）に示すように、表示部２４の表示画面２４Ｂに重畳画像を表示する（ステップＳ２８）。従って、表示部２４の表示画面２４Ｂには、対象物１の画像２４Ｂ１、表示部２４の画像２４Ｂ２、関連情報２４Ｂ３が表示されることになる。

なお、上記ステップＳ１６の判断に応じた処理を行ってからステップＳ２２の判断を行うものとしているが、両方の判断を先に行って、両方のマーカが同定できたときに次の処理に進むようにしても良いし、表示情報生成部１８でステップＳ２０の処理を行っている間に、位置姿勢検出部１４でステップＳ２２，Ｓ２４の処理を並列に行うようにしても良いことは勿論である。

図３（Ａ）及び（Ｂ）は操作者から見た表示部２４の位置姿勢を変更した際の表示部２４と表示されている重畳画像の状態を示す図である。このように、表示部２４が操作者からどのような位置姿勢にあってもその表示画面２４Ｂには、操作者の視線に対して適正な方向に重畳画像が表示されるように制御される。

なお、図４（Ａ）及び（Ｂ）に示すように、操作者のモード切り替え操作に応じて、画像入力部１０のヘッドマウントカメラ１０Ａにより撮影された対象物１の画像２４Ｂ１及び表示部２４の画像２４Ｂ２つまり実画像は制御せずにそのままの方向に表示し、対象物１に関連する関連情報２４Ｂ３の表示の向きのみを制御できるように構成しても良い。

以上のように、本実施形態では、画像入力部１０のヘッドマウントカメラ１０Ａで撮影した画像から対象物１に予め固定された対象物マーカ１Ａを認識することにより対象物１の位置姿勢を検出して、対象物１に関連した関連情報を関連情報格納部２０より引用し、対象物１にその関連情報を重畳した重畳画像を生成し、また、同時に画像入力部１０のヘッドマウントカメラ１０Ａで撮影した画像から表示部２４に固定された表示部マーカ２４Ａも認識することにより、表示部２４の位置姿勢を検出して、表示部２４の位置姿勢から表示する重畳画像の傾きを制御し、表示部２４に重畳画像を表示するようにしているので、作業者が見易い方向に画面を確実に切り替えることが可能となる。

即ち、作業者である操作者の頭部に装着する等したヘッドマウントカメラ１０Ａで小型ＰＤＡ等の表示部２４に設置した表示部マーカ２４Ａを認識することにより、操作者がどの方向から表示部マーカ２４Ａ（≒表示部２４）を見ているか認識できるので、操作者が見易い方向に画面を確実に切り替えることができる。つまり、表示部マーカ２４Ａを見る操作者の頭部に装着したヘッドマウントカメラ１０Ａは、操作者視点なので、操作者の望む方向に確実に画面を切り替えることができる。

［第２実施形態］
図５（Ａ）は、本発明の第２実施形態に係る情報呈示装置の構成を示す図である。本実施形態に係る情報呈示装置は、上記第１実施形態に係る情報呈示装置の構成に加えて、位置姿勢変化検出部２６と時間計測部２８とを備える。

ここで、位置姿勢変化検出部２６は、上記表示部２４の位置姿勢の変化を検出するもので、変化が予め決められた所定の許容範囲内であれば計時指示信号を時間計測部２８へ送信する。時間計測部２８は、上記計時指示信号が入力している間は時間を計測し、所定時間経過した時点で、画像固定指示信号を上記表示制御部２２へ送信する。表示制御部２２は、本実施形態においては、上記画像固定指示信号の入力に応じて、上記画像入力部１０のヘッドマウントカメラ１０Ａから供給される画像を固定し静止画とする。

なお、図示しないが、スピーカやブザーなどを設けておき、画面が固定したことをブザー音などで操作者に通知することも可能である。

上記第１実施形態は、操作者から見て表示部２４が対象物１と同じ方向に設置されており、画像入力部１０のヘッドマウントカメラ１０Ａで撮影した画像内に表示部２４と対象物１とが存在する場合であった。

しかしながら、作業場の状態によっては、表示部２４を対象物１の近辺に設置することが不可能な場合があり、表示部２４を見るために対象物１から操作者が視線を外さなければならない状況もある。本第２実施形態では、そのような状況においても適正な作業を実施できることを可能とするものである。よって、本実施形態においては、上記表示部２４は、特に図示はしないが、上記第１実施形態のようなノートＰＣやＰＤＡ等だけでなく、リストバンドなどにより例えば操作者の腕といった常に位置姿勢の変化するものにも固定することも可能である。

図６は、本第２実施形態に係る情報呈示装置の動作フローチャートである。

まず、画像入力部１０のヘッドマウントカメラ１０Ａにより撮影を行い、その撮影した画像をマーカ検出部１２に入力してマーカを検出する（ステップＳ１０）。マーカが検出できない場合には（ステップＳ１２）、上記ステップＳ１０に戻る。

マーカが検出されると、次に、位置姿勢検出部１４では、上記マーカ検出部１２によって検出されたマーカ情報から、上記画像入力部１０のヘッドマウントカメラ１０Ａで撮影したマーカを同定する（ステップＳ１４）。そして、その同定したマーカが対象物１に固定された対象物マーカ１Ａであるか否かを判別し（ステップＳ１６）、対象物マーカ１Ａでなければ上記ステップＳ１０に戻る。

これに対して、同定したマーカが対象物マーカ１Ａであると判別した場合には、マーカ情報格納部１６から対応する対象物マーカ１Ａの空間定位情報（対象物マーカ１Ａの配置されている位置姿勢情報）を入手できるので、位置姿勢検出部１４では、画像内での対象物マーカ１Ａの四隅の位置から画像入力部１０のヘッドマウントカメラ１０Ａの位置姿勢を検出することが可能になる（ステップＳ１８）。そして、表示情報生成部１８では、この位置姿勢検出部１４で検出したヘッドマウントカメラ１０Ａの位置姿勢に応じて、関連情報格納部２０から予め設定された情報を抽出して関連情報を生成する（ステップＳ２０）。表示制御部２２では、この表示情報生成部１８で生成された関連情報を、上記画像入力部１０のヘッドマウントカメラ１０Ａからの撮影画像と重畳して、図５（Ｂ）に示すように、表示部２４の表示画面２４Ｂに重畳画像を表示する（ステップＳ２８）。即ち、このとき、表示部２４は撮影されていないので、表示部２４の表示画面２４Ｂには、対象物１の画像２４Ｂ１と関連情報２４Ｂ３が表示されることになる。

また、上記位置姿勢変化検出部２６では、上記計時指示信号を時間計測部２８に出力中であるか否か、つまりタイマがオンしているか否かを判別し（ステップＳ３０）、まだタイマがオンしていなければ、上記計時指示信号を時間計測部２８に出力することで、タイマをオンする（ステップＳ３２）。

その後、上記位置姿勢変化検出部２６は、上記位置姿勢検出部１４で検出したヘッドマウントカメラ１０Ａの位置姿勢の変化が予め決められた所定の許容範囲内であるか否かを判別する（ステップＳ３４）。ここで、その位置姿勢の変化が上記許容範囲内であると判別した場合には、直ちにステップＳ３８に進む。これに対して、その位置姿勢の変化が許容範囲内でないと判別した場合には、上記時間計測部２８への上記計時指示信号の出力を停止することで、タイマをオフしてから（ステップＳ３６）、ステップＳ３８に進む。

而して、表示制御部２２では、上記時間計測部２８から画像固定指示信号が入力されるか否かにより、所定時間が経過したか否かを判別し（ステップＳ３８）、まだその所定時間が経過していなければ、上記ステップＳ１０に戻る。

こうして、所定時間が経過するまで、表示部２４の表示画面２４Ｂに表示される対象物１の画像２４Ｂ１及び関連情報２４Ｂ３が更新表示される。

そして、所定時間が経過したと判別したならば（ステップＳ３８）、表示制御部２２は、上記画像入力部１０のヘッドマウントカメラ１０Ａから供給される画像を固定し静止画とする（ステップＳ４０）。その後、画像入力部１０のヘッドマウントカメラ１０Ａにより撮影を行い、その撮影した画像をマーカ検出部１２に入力してマーカを検出する（ステップＳ４２）。マーカが検出できない場合には（ステップＳ４４）、上記ステップＳ４２に戻る。なおこの場合、表示部２４の表示画面２４Ｂには、上記ステップＳ４０で固定した上記対象物１の画像２４Ｂ１を含む静止画が表示され続け、ヘッドマウントカメラ１０Ａで撮影される画像は表示されない。

而して、マーカが検出されると、次に、位置姿勢検出部１４では、上記マーカ検出部１２によって検出されたマーカ情報から、上記画像入力部１０のヘッドマウントカメラ１０Ａで撮影したマーカを同定する（ステップＳ４６）。そして、その同定したマーカが表示部２４に固定された表示部マーカ２４Ａであるか否かを判別し（ステップＳ２２）、表示部マーカ２４Ａでなければ上記ステップＳ４２に戻る。

これに対して、表示部マーカ２４Ａが同定されたと判別した場合には、マーカ情報格納部１６から対応する表示部マーカ２４Ａの空間定位情報（表示部マーカ２４Ａの配置されている位置姿勢情報）を入手できるので、位置姿勢検出部１４では、画像内での表示部マーカ２４Ａの四隅の位置から表示部２４のヘッドマウントカメラ１０Ａに対する位置姿勢を検出することが可能になる（ステップＳ２４）。そして、表示制御部２２では、この位置姿勢検出部１４で検出した表示部２４の位置姿勢に応じて、上記ステップＳ４０で固定した上記対象物１の画像２４Ｂ１を含む静止画及び上記表示情報生成部１８で生成された関連情報の表示方向を制御して（ステップＳ２６）、図５（Ｂ）に示すように、表示部２４の表示画面２４Ｂに重畳画像を表示する。従って、表示部２４の表示画面２４Ｂには、対象物１の画像２４Ｂ１と関連情報２４Ｂ３とが、表示部２４の位置姿勢に応じた向きで表示されることになる。

図７（Ａ）及び（Ｂ）は操作者から見た表示部２４の位置姿勢を変更した際の表示部２４と表示されている重畳画像の状態を示す図である。このように、表示部２４が操作者からどのような位置姿勢にあってもその表示画面２４Ｂには、操作者の視線に対して適正な方向に、固定された対象物１の画像２４Ｂ１と関連情報２４Ｂ３とが重畳表示されるように制御される。

なお、図８（Ａ）及び（Ｂ）に示すように、操作者のモード切り替え操作に応じて、固定された対象物１の画像２４Ｂ１は制御せずにそのままの方向に表示し、対象物１に関連する関連情報２４Ｂ３の表示の向きのみを制御できるように構成しても良い。

以上のように、本実施形態では、所定時間の間、対象物１を画像入力部１０のヘッドマウントカメラ１０Ａで凝視することで、その対象物１の画像２４Ｂ１が固定され、静止画として表示部２４の表示画面２４Ｂに表示されるため、表示部２４を見るために対象物１から操作者が視線を外さなければならない状況においても、対象物１の画像２４Ｂ１が常に表示されているので、適正な作業を実施できるようになる。

［第３実施形態］
図９（Ａ）は、本発明の第３実施形態に係る情報呈示装置の構成を示す図である。本実施形態に係る情報呈示装置は、上記第１実施形態に係る情報呈示装置の構成に加えて、操作部３０を備える。

ここで、操作部３０は、操作者が任意の表示画面２４Ｂで対象物マーカ１Ａによる重畳表示を固定する指示を行うためのものである。即ち、上記第２実施形態では、位置姿勢変化検出部２６と時間計測部２８を用いて所定時間の凝視を判別することで対象物１の画像２４Ｂ１を固定するようにしていたが、本実施形態では、操作者が操作部３０の操作を行うことで、任意のタイミングで対象物１の画像２４Ｂ１を固定できるようにしたものである。この操作部３０は、例えばボタン、タッチパネルなどのユーザーインタフェースで構成される。操作者は、任意の表示画面で静止画とし、作業などを実施できる。これにより、対象物マーカ１Ａによる重畳表示画面を静止画とした後に、表示部２４（表示部マーカ２４Ａ）を見ることにより、作業に適正な表示を行うことが可能となる。

図１０は、本第３実施形態に係る情報呈示装置の動作フローチャートである。

即ち、上記第２実施形態と同様に、画像入力部１０のヘッドマウントカメラ１０Ａにより撮影を行い、その撮影した画像をマーカ検出部１２に入力してマーカを検出し（ステップＳ１０）、マーカが検出できたならは（ステップＳ１２）、位置姿勢検出部１４で、ヘッドマウントカメラ１０Ａで撮影したマーカを同定する（ステップＳ１４）。そして、その同定したマーカが対象物１に固定された対象物マーカ１Ａであれば（ステップＳ１６）、同定した対象物マーカ１Ａの空間定位情報（対象物マーカ１Ａの配置されている位置姿勢情報）から画像入力部１０のヘッドマウントカメラ１０Ａの位置姿勢を検出し（ステップＳ１８）、表示情報生成部１８では、この位置姿勢検出部１４で検出したヘッドマウントカメラ１０Ａの位置姿勢に応じて、関連情報格納部２０から予め設定された情報を抽出して関連情報を生成する（ステップＳ２０）。表示制御部２２では、この表示情報生成部１８で生成された関連情報を、上記画像入力部１０のヘッドマウントカメラ１０Ａからの撮影画像と重畳して、表示部２４の表示画面２４Ｂに重畳画像を表示する（ステップＳ２８）。

ここで、本実施形態においては、表示制御部２２は、操作部３０から操作者による表示画面固定指示が入力されたか否かを判別する（ステップＳ５０）。この表示画面固定指示が入力されていなければ、上記ステップＳ１０に戻る。

こうして、上記表示画面固定指示入力が与えられるまで、表示部２４の表示画面２４Ｂに表示される対象物１の画像２４Ｂ１及び関連情報２４Ｂ３が更新表示される。

そして、上記表示画面固定指示が入力されたと判別したならば（ステップＳ５０）、表示制御部２２は、上記画像入力部１０のヘッドマウントカメラ１０Ａから供給される画像を固定し静止画とする（ステップＳ４０）。その後、画像入力部１０のヘッドマウントカメラ１０Ａにより撮影を行い、その撮影した画像をマーカ検出部１２に入力してマーカを検出し（ステップＳ４２）、マーカが検出できた場合には（ステップＳ４４）、位置姿勢検出部１４で、上記画像入力部１０のヘッドマウントカメラ１０Ａで撮影したマーカを同定し（ステップＳ４６）、その同定したマーカが表示部２４に固定された表示部マーカ２４Ａであれば（ステップＳ２２）、同定した表示部マーカ２４Ａの空間定位情報（表示部マーカ２４Ａの配置されている位置姿勢情報）から表示部２４のヘッドマウントカメラ１０Ａに対する位置姿勢を検出する（ステップＳ２４）。そして、表示制御部２２では、この位置姿勢検出部１４で検出した表示部２４の位置姿勢に応じて、上記ステップＳ４０で固定した上記対象物１の画像２４Ｂ１を含む静止画及び上記表示情報生成部１８で生成された関連情報の表示方向を制御して（ステップＳ２６）、表示部２４の表示画面２４Ｂに重畳画像を表示する。従って、表示部２４の表示画面２４Ｂには、上記第２実施形態と同様に、対象物１の画像２４Ｂ１と関連情報２４Ｂ３とが、表示部２４の位置姿勢に応じた向きで表示されることになる。

以上のように、本第３実施形態では、操作部３０の操作者による操作に応じて、対象物１の画像２４Ｂ１が固定され、静止画として表示部２４の表示画面２４Ｂに表示されるので、上記第２実施形態と同様に、表示部２４を見るために対象物１から操作者が視線を外さなければならない状況においても、適正な作業を実施できるようになる。

［第４実施形態］
図９（Ｂ）は、本発明の第４実施形態に係る情報呈示装置の構成を示す図である。本実施形態に係る情報呈示装置は、上記第１実施形態に係る情報呈示装置の構成におけるマーカ検出部１２及びマーカ情報格納部１６を、特徴部抽出部３２及び位置情報格納部３４と置き換えたものである。

ここで、上記特徴部抽出部３２は、対象物１及び表示部２４の角や線分等の自然特徴点を検出するものであり、位置情報格納部３４は、対象物１及び表示部２４の自然特徴点のテンプレートに加えて、自然特徴点の属するエリア情報、自然特徴点の配置されている位置姿勢情報等の自然特徴点に関する情報が格納されている。

このような特徴部抽出部３２及び位置情報格納部３４を設けたことにより、対象物１及び表示部２４にマーカがなくても位置姿勢を検出することができ、作業に適正な表示を行うことが可能となる。

図１１は、上記のような構成の情報呈示装置の動作フローチャートである。

まず、画像入力部１０のヘッドマウントカメラ１０Ａにより撮影を行い、その撮影した画像を特徴部抽出部３２に入力して自然特徴点を検出する（ステップＳ１０）。この特徴部抽出部３２においては、まず、画像内から対象物１や表示部２４の角や線分等の自然特徴点を検出する（自然特徴点の検出は、公知の画像処理手法であるので、説明は省略する）。次に、その検出した自然特徴点と位置情報格納部３４に予め登録してある自然特徴点のテンプレートとのパターンマッチングを行い、自然特徴点の同定を行う。もし、検出した自然特徴点が位置情報格納部３４に登録された自然特徴点のテンプレートと一致しない場合には、自然特徴点として検出せずに（ステップＳ６０）、上記ステップＳ１０に戻る。

自然特徴点が検出されると、次に、位置姿勢検出部１４では、上記特徴部抽出部３２によって検出された自然特徴点情報に基づいて自然特徴点を同定する（ステップＳ６２）。そして、その同定した自然特徴点が対象物１の自然特徴点であるか否かを判別し（ステップＳ６４）、そうでなければ上記ステップＳ１０に戻る。

これに対して、同定した自然特徴点が対象物１の自然特徴点であると判別した場合には、その同定した自然特徴点の空間定位情報を位置情報格納部３４から入手して、画像入力部１０のヘッドマウントカメラ１０Ａの位置姿勢を検出する（ステップＳ６６）。そして、表示情報生成部１８では、この位置姿勢検出部１４で検出したヘッドマウントカメラ１０Ａの位置姿勢に応じて、関連情報格納部２０から予め設定された情報を抽出して関連情報を生成する（ステップＳ２０）。

また、上記位置姿勢検出部１４では、上記特徴部抽出部３２で同定した自然特徴点が表示部２４の自然特徴点を含むか否かを判別し（ステップＳ６８）、表示部２４の自然特徴点が同定されていなければ上記ステップＳ１０に戻る。

これに対して、表示部２４の自然特徴点が同定されていると判別した場合には、その同定した表示部２４の自然特徴点の空間定位情報を位置情報格納部３４から入手し、位置姿勢検出部１４では、画像内での表示部２４のヘッドマウントカメラ１０Ａに対する位置姿勢を検出する（ステップＳ７０）。そして、表示制御部２２では、この位置姿勢検出部１４で検出した表示部２４の位置姿勢に応じて、上記表示情報生成部１８で生成された関連情報の表示方向を制御して（ステップＳ２６）、上記画像入力部１０のヘッドマウントカメラ１０Ａからの撮影画像とを重畳し、上記第１実施形態と同様に、表示部２４の表示画面２４Ｂに重畳画像を表示する（ステップＳ２８）。従って、表示部２４の表示画面２４Ｂには、マーカを持たない対象物１の画像２４Ｂ１、マーカを持たない表示部２４の画像２４Ｂ２、関連情報２４Ｂ３が表示されることになる。

なお、上記ステップＳ６４の判断に応じた処理を行ってからステップＳ６８の判断を行うものとしているが、両方の判断を先に行って、両方の自然特徴点が同定できたときに次の処理に進むようにしても良いし、表示情報生成部１８でステップＳ２０の処理を行っている間に、位置姿勢検出部１４でステップＳ６８，Ｓ７０の処理を並列に行うようにしても良いことは勿論である。

以上のように、本実施形態では、対象物１や表示部２４が持つ自然特徴点を用いて、上記第１実施形態と同様の動作が可能となり、同様の効果を奏することができる。

更に、本実施形態によれば、対象物１や表示部２４にマーカを設ける必要がなくなる。

なお、本実施形態のようなマーカの代わりに自然特徴点を利用することは、上記第２及び第３実施形態においても同様に適用可能である。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。

また、表示部２４の表示画面２４Ｂに表示する関連情報２４Ｂ３は、テキスト（文字）情報に限定されるものではなく、画像や記号等、他の情報も含むことができる。

（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

（１） 撮影された対象物の画像と共に情報を操作者に呈示する情報呈示装置であって、
上記操作者の視点に対して相対的に撮影位置及び撮影方向が既知である撮影部と、
上記撮影者に対して、上記撮影部により撮影された上記対象物の画像と上記情報とを呈示する表示部と、
上記撮影部により撮影された上記表示部の画像に基づいて、上記表示部の表示を制御する表示制御部と、
を具備することを特徴とする情報呈示装置。

（対応する実施形態）
この（１）に記載の情報呈示装置に関する実施形態は、第１乃至第４実施形態が対応する。それらの実施形態において、例えば、対象物１が上記対象物に、対象物の画像２４Ｂ１が上記対象物の画像に、関連情報２４Ｂ３が上記情報に、画像入力部１０のヘッドマウントカメラ１０Ａが上記撮影部に、表示部２４が上記表示部に、表示制御部２２が上記表示制御部に、それぞれ対応する。

（作用効果）
この（１）に記載の情報呈示装置によれば、操作者の視点に対して相対的に撮影位置及び撮影方向が既知である撮影部で表示部を撮影し、その表示部を撮影した画像に基づいてその表示部の表示を制御するので、作業者が見易い方向に画面を確実に切り替えることが可能となる。

（２） 上記撮影部は、上記操作者の視点に対して固定されていることを特徴とする（１）に記載の情報呈示装置。

（対応する実施形態）
この（２）に記載の情報呈示装置に関する実施形態は、第１乃至第４実施形態が対応する。

（作用効果）
この（２）に記載の情報呈示装置によれば、操作者が見ているのとほぼ同じアングルで対象物の画像を表示できる。

（３） 上記撮影部と上記表示部との間の相対的な位置及び姿勢は任意に変更可能であることを特徴とする（１）に記載の情報呈示装置。

（対応する実施形態）
この（３）に記載の情報呈示装置に関する実施形態は、第２及び第３実施形態が対応する。

（作用効果）
この（３）に記載の情報呈示装置によれば、操作者が見易い位置や、作業上邪魔にならない位置に表示部を設定できる。

（４） 上記表示部は、少なくとも３つ以上の光学的に識別可能であると共に３次元的配置が既知である特徴点であって、当該特徴点を撮影した画像から当該画像を撮影した位置を特定可能な特徴点を有していることを特徴とする（１）に記載の情報呈示装置。

（対応する実施形態）
この（４）に記載の情報呈示装置に関する実施形態は、第１乃至第４実施形態が対応する。

（作用効果）
この（４）に記載の情報呈示装置によれば、特徴点を利用することで、容易に撮影した位置（及び姿勢）を特定することができる。

（５） 上記特徴点は、上記表示部に設けられたマーカに含まれることを特徴とする（４）に記載の情報呈示装置。

（対応する実施形態）
この（５）に記載の情報呈示装置に関する実施形態は、第１乃至第３実施形態が対応する。それらの実施形態において、例えば、表示部マーカ２４Ａが上記マーカに対応する。

（作用効果）
この（５）に記載の情報呈示装置によれば、予め用意したマーカを用いるので、表示部の位置姿勢を精度良く求めることが可能となる。

（６） 上記特徴点は、上記表示部の自然特徴点であることを特徴とする（４）に記載の情報呈示装置。

（対応する実施形態）
この（６）に記載の情報呈示装置に関する実施形態は、第４実施形態が対応する。

（作用効果）
この（６）に記載の情報呈示装置によれば、予めマーカ等を用意しなくても自然特徴点から表示部の位置姿勢を精度良く求めることが可能となる。

（７） 上記表示制御部は、上記撮影部が撮影した画像中の上記特徴点の情報と、上記撮影部の撮影位置及び撮影方向の情報とを利用して、上記表示部の表示を制御することを特徴とする（４）に記載の情報呈示装置。

（対応する実施形態）
この（７）に記載の情報呈示装置に関する実施形態は、第１乃至第４実施形態が対応する。

（作用効果）
この（７）に記載の情報呈示装置によれば、表示部の位置姿勢に応じた表示を行うことが可能となる。

（８） 上記表示制御部は、上記表示部に呈示される情報（画像または文字もしくは記号）の表示の向きを制御することを特徴とする（１）に記載の情報呈示装置。

（対応する実施形態）
この（８）に記載の情報呈示装置に関する実施形態は、第１乃至第４実施形態が対応する。

（作用効果）
この（８）に記載の情報呈示装置によれば、提示する情報を作業者が見易い方向に表示することができる。

（９） 上記表示制御部は、上記撮影部により撮影された上記対象物の画像を除き、少なくとも上記情報の表示の向きを制御することを特徴とする（８）に記載の情報呈示装置。

（対応する実施形態）
この（９）に記載の情報呈示装置に関する実施形態は、第１乃至第４実施形態が対応する。

（作用効果）
この（９）に記載の情報呈示装置によれば、対象物の画像はそのままに、提示する情報を作業者が見易い方向に表示することができる。

（１０） 上記撮影部により撮影されている画像の変化が予め決定された許容範囲内であるかどうかを検出する画像変化検出部と、
時間の経過を計測する時間計測部と、
を更に具備し、
上記表示制御部は、上記画像変化検出部と上記時間計測部とを利用して、上記表示部に呈示する上記対象物の画像を静止画とすることを特徴とする（１）に記載の情報呈示装置。

（対応する実施形態）
この（１０）に記載の情報呈示装置に関する実施形態は、第２実施形態が対応する。その実施形態において、例えば、位置姿勢変化検出部２６が上記画像変化検出部に、時間計測部２８が上記時間計測部に、それぞれ対応する。

（作用効果）
この（１０）に記載の情報呈示装置によれば、所定時間の間、対象物を撮像部で凝視することで、その対象物の画像を静止画として表示部に表示することが可能となり、表示部を見るために対象物から操作者が視線を外さなければならない状況においても、対象物の画像が常に表示されているので、適正な作業を実施できるようになる。

（１１） 上記操作者の操作に基づいて信号を出力する操作部を更に具備し、
上記表示制御部は、上記操作部からの信号に基づいて、上記表示部に呈示する上記対象物の画像を静止画とすることを特徴とする（１）に記載の情報呈示装置。

（対応する実施形態）
この（１１）に記載の情報呈示装置に関する実施形態は、第３実施形態が対応する。その実施形態において、例えば、操作部３０が上記操作部に対応する。

（作用効果）
この（１１）に記載の情報呈示装置によれば、操作部の操作者による操作に応じて、対象物の画像が静止画として表示部に表示されるので、表示部を見るために対象物から操作者が視線を外さなければならない状況においても、適正な作業を実施できるようになる。

（１２） 上記表示部に呈示される情報は、上記対象物に関連する関連情報を少なくとも含むことを特徴とする（１）乃至（１１）の何れかに記載の情報呈示装置。

（対応する実施形態）
この（１２）に記載の情報呈示装置に関する実施形態は、第１乃至第４実施形態が対応する。

（作用効果）
この（１２）に記載の情報呈示装置によれば、対象物に関連した情報を提示できる。

（１３） 撮影された対象物の画像と共に情報を操作者に呈示する情報呈示方法であって、
上記操作者の視点に対して相対的に撮影位置及び撮影方向が既知である撮影部により撮影された上記対象物の画像と上記情報とを上記撮影者に対して呈示する表示部を上記撮影部により撮影するステップと、
上記撮影部により撮影された上記表示部の画像に基づいて、上記表示部の表示を制御するステップと、
を具備することを特徴とする情報提示方法。

（対応する実施形態）
この（１３）に記載の情報呈示方法に関する実施形態は、第１乃至第４実施形態が対応する。それらの実施形態において、例えば、対象物１が上記対象物に、対象物の画像２４Ｂ１が上記対象物の画像に、関連情報２４Ｂ３が上記情報に、画像入力部１０のヘッドマウントカメラ１０Ａが上記撮影部に、表示部２４が上記表示部に、それぞれ対応する。また、ステップＳ１０又はステップＳ４２が上記撮影するステップに、ステップＳ２６が上記表示を制御するステップに、それぞれ対応する。

（作用効果）
この（１３）に記載の情報呈示方法によれば、操作者の視点に対して相対的に撮影位置及び撮影方向が既知である撮影部で表示部を撮影し、その表示部を撮影した画像に基づいてその表示部の表示を制御するので、作業者が見易い方向に画面を確実に切り替えることが可能となる。

（１４） コンピュータに撮影された対象物の画像と共に情報を操作者に呈示させるコンピュータプログラムであり、コンピュータに、
上記操作者の視点に対して相対的に撮影位置及び撮影方向が既知である撮影部により撮影された上記対象物の画像と上記情報とを上記撮影者に対して呈示する表示部を上記撮影部により撮影した画像を入力させるステップと、
上記入力された上記表示部の画像に基づいて、上記表示部の表示を制御させる、
ことを特徴とする、コンピュータプログラム。

（対応する実施形態）
この（１４）に記載のコンピュータプログラムに関する実施形態は、第１乃至第４実施形態が対応する。

（作用効果）
この（１４）に記載のコンピュータプログラムによれば、操作者の視点に対して相対的に撮影位置及び撮影方向が既知である撮影部で表示部を撮影し、その表示部を撮影した画像に基づいてその表示部の表示を制御するので、作業者が見易い方向に画面を確実に切り替えることが可能となる。

図１（Ａ）は、本発明の第１実施形態に係る情報呈示装置の構成を示す図であり、図１（Ｂ）は、対象物と表示部及びヘッドマウントカメラとの位置関係を示す図である。 図２は、第１実施形態に係る情報呈示装置の動作フローチャートを示す図である。 図３は、操作者から見た表示部の位置姿勢を変更した際の表示部と表示されている重畳画像の状態を示す図である。 図４は、操作者から見た表示部の位置姿勢を変更した際の表示部と表示されている重畳画像の別の状態を示す図である。 図５（Ａ）は、本発明の第２実施形態に係る情報呈示装置の構成を示す図であり、図５（Ｂ）は、対象物と表示部又はヘッドマウントカメラとの位置関係を示す図である。 図６は、第２実施形態に係る情報呈示装置の動作フローチャートを示す図である。 図７は、操作者から見た表示部の位置姿勢を変更した際の表示部と表示されている重畳画像の状態を示す図である。 図８は、操作者から見た表示部の位置姿勢を変更した際の表示部と表示されている重畳画像の別の状態を示す図である。 図９（Ａ）は、本発明の第３実施形態に係る情報呈示装置の構成を示す図であり、図９（Ｂ）は、本発明の第４実施形態に係る情報呈示装置の構成を示す図である。 図１０は、第３実施形態に係る情報呈示装置の動作フローチャートを示す図である。 図１１は、第４実施形態に係る情報呈示装置の動作フローチャートを示す図である。

符号の説明

１…対象物、 １Ａ…対象物マーカ、 １０…画像入力部、 １０Ａ…ヘッドマウントカメラ、 １２…マーカ検出部、 １４…位置姿勢検出部、 １６…マーカ情報格納部、 １８…表示情報生成部、 ２０…関連情報格納部、 ２２…表示制御部、 ２４…表示部、 ２４Ａ…表示部マーカ、 ２４Ｂ…表示画面、 ２４Ｂ１…対象物の画像、 ２４Ｂ２…表示部の画像、 ２４Ｂ３…関連情報、 ２６…位置姿勢変化検出部、 ２８…時間計測部、 ３０…操作部、 ３２…特徴部抽出部、 ３４…位置情報格納部。

Claims (14)

1. 撮影された対象物の画像と共に情報を操作者に呈示する情報呈示装置であって、
   上記操作者の視点に対して相対的に撮影位置及び撮影方向が既知である撮影部と、
   上記撮影者に対して、上記撮影部により撮影された上記対象物の画像と上記情報とを呈示する表示部と、
   上記撮影部により撮影された上記表示部の画像に基づいて、上記表示部の表示を制御する表示制御部と、
   を具備することを特徴とする情報呈示装置。
2. 上記撮影部は、上記操作者の視点に対して固定されていることを特徴とする請求項１に記載の情報呈示装置。
3. 上記撮影部と上記表示部との間の相対的な位置及び姿勢は任意に変更可能であることを特徴とする請求項１に記載の情報呈示装置。
4. 上記表示部は、少なくとも３つ以上の光学的に識別可能であると共に３次元的配置が既知である特徴点であって、当該特徴点を撮影した画像から当該画像を撮影した位置を特定可能な特徴点を有していることを特徴とする請求項１に記載の情報呈示装置。
5. 上記特徴点は、上記表示部に設けられたマーカに含まれることを特徴とする請求項４に記載の情報呈示装置。
6. 上記特徴点は、上記表示部の自然特徴点であることを特徴とする請求項４に記載の情報呈示装置。
7. 上記表示制御部は、上記撮影部が撮影した画像中の上記特徴点の情報と、上記撮影部の撮影位置及び撮影方向の情報とを利用して、上記表示部の表示を制御することを特徴とする請求項４に記載の情報呈示装置。
8. 上記表示制御部は、上記表示部に呈示される情報の表示の向きを制御することを特徴とする請求項１に記載の情報呈示装置。
9. 上記表示制御部は、上記撮影部により撮影された上記対象物の画像を除き、少なくとも上記情報の表示の向きを制御することを特徴とする請求項８に記載の情報呈示装置。
10. 上記撮影部により撮影されている画像の変化が予め決定された許容範囲内であるかどうかを検出する画像変化検出部と、
    時間の経過を計測する時間計測部と、
    を更に具備し、
    上記表示制御部は、上記画像変化検出部と上記時間計測部とを利用して、上記表示部に呈示する上記対象物の画像を静止画とすることを特徴とする請求項１に記載の情報呈示装置。
11. 上記操作者の操作に基づいて信号を出力する操作部を更に具備し、
    上記表示制御部は、上記操作部からの信号に基づいて、上記表示部に呈示する上記対象物の画像を静止画とすることを特徴とする請求項１に記載の情報呈示装置。
12. 上記表示部に呈示される情報は、上記対象物に関連する関連情報を少なくとも含むことを特徴とする請求項１乃至１１の何れかに記載の情報呈示装置。
13. 撮影された対象物の画像と共に情報を操作者に呈示する情報呈示方法であって、
    上記操作者の視点に対して相対的に撮影位置及び撮影方向が既知である撮影部により撮影された上記対象物の画像と上記情報とを上記撮影者に対して呈示する表示部を上記撮影部により撮影するステップと、
    上記撮影部により撮影された上記表示部の画像に基づいて、上記表示部の表示を制御するステップと、
    を具備することを特徴とする情報提示方法。
14. コンピュータに撮影された対象物の画像と共に情報を操作者に呈示させるコンピュータプログラムであり、コンピュータに、
    上記操作者の視点に対して相対的に撮影位置及び撮影方向が既知である撮影部により撮影された上記対象物の画像と上記情報とを上記撮影者に対して呈示する表示部を上記撮影部により撮影した画像を入力させるステップと、
    上記入力された上記表示部の画像に基づいて、上記表示部の表示を制御させる、
    ことを特徴とする、コンピュータプログラム。

Images