JP2025019350A - 情報処理装置及び制御方法 - Google Patents

Abstract

【課題】入力インターフェイスを用いた操作入力を容易にする情報処理装置及び制御方法等の提供。
【解決手段】 情報処理装置は、頭部装着型の情報処理装置であって、外部装置と通信を行う通信部と、撮像画像を生成する撮像部と、画像を表示する表示部と、制御部と、を含み、撮像部は、外部装置に接続された入力インターフェイスが撮像された撮像画像を生成し、制御部は、外部装置から取得された画像を表示部の表示領域の一部である第１表示領域に表示させ、且つ、入力インターフェイスを含む撮像画像を、表示領域の他の一部である第２表示領域に表示させる制御を行う。
【選択図】図３

Description

本発明は、情報処理装置及び制御方法等に関する。

従来、頭部装着型の情報処理装置であるヘッドマウントディスプレイ（ＨＭＤ）が広く知られている。例えばＨＭＤを用いてユーザーの視界を覆うことによって、没入感のある仮想現実（Virtual Reality：ＶＲ）技術を用いたサービスを提供することが可能である。特許文献１には、ＨＭＤを用いる場合に、机の天板を撮像した画像を、仮想空間の机オブジェクトに表示する手法が開示されている。

特開２０２１－１２５８３４号公報

ＨＭＤ装着中の操作入力として、仮想空間で形成されたキーボードやマウスを用いる手法があるが、入力の効率性が高いとはいえない。また特許文献１の手法は、自分の手元の実際の画像を表示しているのみで、キーボード等での入力に特化していない。

本開示のいくつかの態様によれば、入力インターフェイスを用いた操作入力を容易にする情報処理装置及び制御方法等を提供できる。

本開示の一態様は、頭部装着型の情報処理装置であって、外部装置と通信を行う通信部と、所与の撮像範囲を撮像することによって撮像画像を生成する撮像部と、画像を表示する表示部と、制御部と、を含み、前記撮像部は、前記外部装置に接続された入力インターフェイスを含む前記撮像範囲を撮像することによって、前記入力インターフェイスが撮像された前記撮像画像を生成し、前記制御部は、前記外部装置から取得された画像を前記表示部の表示領域の一部である第１表示領域に表示させ、且つ、前記入力インターフェイスを含む前記撮像画像を、前記表示領域の他の一部である第２表示領域に表示させる制御を行う情報処理装置に関係する。

本開示の他の態様は、外部装置と通信を行う通信部と、所与の撮像範囲を撮像することによって撮像画像を生成する撮像部と、画像を表示する表示部と、を有する頭部装着型の情報処理装置の制御方法であって、前記外部装置に接続された入力インターフェイスを含む前記撮像範囲を撮像することによって、前記入力インターフェイスが撮像された前記撮像画像を生成し、前記外部装置から取得された画像を前記表示部の表示領域の一部である第１表示領域に表示し、且つ、前記入力インターフェイスを含む前記撮像画像を、前記表示領域の他の一部である第２表示領域に表示する制御を行う、制御方法に関係する。

情報処理装置を含む情報処理システムの構成例である。 情報処理装置を含む情報処理システムの構成例である。 情報処理装置の構成例を示す斜視図である。 情報処理装置の構成例である。 情報処理装置における処理を説明するフローチャートである。 情報処理装置の表示部に表示される画面例である。

以下、本実施形態について図面を参照しつつ説明する。図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。

１．システム構成例
図１Ａ、図１Ｂは、本実施形態の情報処理装置１００を含む情報処理システム１０の構成例を示す図である。情報処理システム１０は、情報処理装置１００、外部装置２００、入力インターフェイス３００を含む。

情報処理装置１００は、ユーザーが着用可能であり、仮想現実空間をユーザーに体験させる装置である。例えば、情報処理装置１００は、ユーザーの頭部に装着可能であるヘッドマウントディスプレイである。なお情報処理装置１００は仮想現実空間をユーザーに体験させる処理のみを行うものに限定されず、平面的な画像をユーザーに提示することが可能であってもよい。

外部装置２００は、情報処理装置１００とは別体として構成される装置である。外部装置２００は、例えば図１Ａに示すようにスマートフォンであってもよいし、図１Ｂに示すようにＰＣ（Personal Computer）であってもよいし、情報処理装置１００と接続可能な他の装置であってもよい。

情報処理装置１００は、外部装置２００と接続される。情報処理装置１００と外部装置２００は、例えばＵＳＢ（Universal Serial Bus）、DisplayPort、ＨＤＭＩ（High-Definition Multimedia Interface）等の方式に従ったケーブルを用いて有線接続されてもよいし、Bluetooth（登録商標）やＩＥＥＥ８０２．１１等の規格に従った通信方式を用いて無線接続されてもよい。また情報処理装置１００と外部装置２００の接続に用いられる方式は以上の例に限定されず、種々の変形実施が可能である。

入力インターフェイス３００は、外部装置２００に接続され、当該外部装置２００のユーザーインターフェイスとして用いられる機器である。外部装置２００と入力インターフェイス３００は、ＵＳＢケーブル等を用いて有線接続されてもよいし、Bluetooth等に従った通信方式を用いて無線接続されてもよい。

また入力インターフェイス３００は、現実空間に実在するツールである。換言すれば、入力インターフェイス３００は、ディスプレイ上に表示されるツールや、仮想空間上に形成されるツールではない。入力インターフェイス３００は、物理キーボードであってもよいし、マウス等のポインティングデバイスであってもよい。以下、入力インターフェイス３００が物理キーボードである例について説明する。

なお図１Ｂでは、ＰＣである外部装置２００に表示部であるディスプレイ４００が接続される例を示している。ただし、本実施形態の手法では、後述するように外部装置２００から出力される画像を情報処理装置１００で表示可能であるため、外部装置２００のディスプレイ４００が省略されてもよい。また外部装置２００に、入力インターフェイス３００及びディスプレイ４００以外のデバイスが接続されてもよい。

図２は、情報処理装置１００の構成例を示す図である。情報処理装置１００は、表示部１４０、撮像部１５０、及び操作部１６０を備える。

表示部１４０は、ユーザーの右目の正面に配置される右目用ディスプレイと、ユーザーの左目の正面に配置される左目用のディスプレイとを含んで構成される。表示部１４０は、左右で異なる映像を表示することで立体表示を行う。例えば、表示部１４０は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等により構成される。あるいは表示部１４０は一つのディスプレイで構成され、当該一つのディスプレイ内で領域を分けてそれぞれの領域で右目用、左目用の映像の表示を行う形態であってもよい。

撮像部１５０は、実空間の所与の撮像範囲を撮像することによって撮像画像を生成する。撮像部１５０は、例えば情報処理装置１００の正面方向を撮像するカメラであってもよい。撮像画像を表示部１４０に表示することによって、現実空間の情報をユーザーに提示できる。

なお、撮像部１５０の数、配置位置、撮像方向（光軸の方向）、画角の広さ等は種々の変形実施が可能である。例えば撮像部１５０は、正面方向を撮像可能なカメラであり、情報処理装置１００を装着中のユーザーが顔の向きを変えることによって、撮像される範囲が変更されてもよい。例えばユーザーが顔を下方に向けることによって、撮像部１５０はユーザーの手元を撮像する。また撮像部１５０は、それぞれ撮像可能な範囲が異なる複数の撮像部を含んでもよい。例えば撮像部１５０は、正面方向を撮像する第１撮像部と、下方（ユーザーの手元）を撮像する第２撮像部を含んでもよい。

操作部１６０は、情報処理装置１００の操作に用いられるインターフェイスである。図２では、操作部１６０として、左手用の操作部１６０ａと右手用の操作部１６０ｂを例示している。ユーザーは、例えば操作部１６０ａのグリップ部分を握り、当該グリップの上端部に設けられるボタンの押下、あるいは、操作部１６０ａの位置や角度を変更することによって操作を行う。右手用の操作部１６０ｂについても同様である。操作部１６０ａ及び１６０ｂは、例えば有線または無線により情報処理装置１００の本体（ゴーグル部）と接続される。また図２には不図示であるが、操作部１６０は、情報処理装置１００の本体に設けられるボタン等を含んでもよい。

図３は、情報処理装置１００の構成例を示す図である。情報処理装置１００は、制御部１１０、記憶部１２０、通信部１３０、表示部１４０、撮像部１５０、操作部１６０を含む。

制御部１１０は、情報処理装置１００の各部と接続され、当該各部を制御する。制御部１１０は、下記のハードウェアによって構成される。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子によって構成できる。１又は複数の回路装置は例えばＩＣ（Integrated Circuit）、ＦＰＧＡ（field-programmable gate array）等である。１又は複数の回路素子は例えば抵抗、キャパシター等である。

また制御部１１０は、下記のプロセッサによって実現されてもよい。本実施形態の情報処理装置１００は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムと各種のデータ等である。プロセッサは、ハードウェアを含む。プロセッサは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。メモリは、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリであってもよいし、レジスタであってもよいし、ＨＤＤ（Hard Disk Drive）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータによって読み取り可能な命令を格納しており、当該命令をプロセッサが実行することによって、制御部１１０の機能が処理として実現される。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

記憶部１２０は、制御部１１０のワーク領域であって、種々の情報を記憶する。記憶部１２０は、種々のメモリによって実現が可能であり、メモリは、半導体メモリであってもよいし、レジスタであってもよいし、磁気記憶装置であってもよいし、光学式記憶装置であってもよい。

通信部１３０は、ネットワークを介した通信を行うためのインターフェイスである。通信部１３０は、例えば無線通信を行う場合、アンテナ、ＲＦ（radio frequency）回路、及びベースバンド回路を含んでもよい。ただし通信部１３０は有線通信を行ってもよく、その場合の通信部１３０は、イーサネットコネクタ等の通信インターフェイス及び、当該通信インターフェイスの制御回路等を含んでもよい。通信部１３０は、制御部１１０による制御に従って動作してもよいし、制御部１１０とは異なる通信制御用のプロセッサを含んでもよい。

本実施形態の通信部１３０は、例えば外部装置２００と通信を行う。上述したとおり、情報処理装置１００と外部装置２００の通信方式は種々の変形実施が可能であり、通信部１３０は、ＵＳＢ、DisplayPort、ＨＤＭＩ等のコネクタであってもよいし、Bluetooth用の通信チップであってもよいし、ＩＥＥＥ８０２．１１用の通信チップであってもよいし、これ以外の通信インターフェイスであってもよい。

表示部１４０は、上述したとおりＨＭＤ用のディスプレイである。撮像部１５０は、現実空間を撮像するカメラ等である。操作部１６０は、図２に示した操作部１６０ａ、１６０ｂ等の操作インターフェイスである。

図１Ａ、図１Ｂに示した情報処理システム１０では、例えば情報処理装置１００の制御部１１０は、通信部１３０を介して外部装置２００から画像を取得し、当該画像を表示部１４０に表示させる制御を行う。ここでの画像は、外部装置２００がさらに他の装置から取得した画像であってもよい。例えばスマートフォンである外部装置２００は、クラウドサービスを提供するサーバシステムと通信を行ってもよい。外部装置２００は、サーバシステムから画像（例えばサービス利用画面）を取得し、当該画像を情報処理装置１００に送信する。このようにすれば、情報処理装置１００は、外部装置２００を介してクラウドサービスを利用することが可能になる。ここでのクラウドサービスは、文書作成、表作成、画像編集等の種々のアプリケーションを利用するサービスであってもよいし、映画等の映像コンテンツの配信サービスであってもよい。またクラウドサービスの利用は必須ではなく、情報処理装置１００は、外部装置２００で生成された画像を取得してもよい。

ただし、ＨＭＤをアプリケーション利用時の表示装置として利用する場合、アプリケーションの種類によっては、ＨＭＤの操作部１６０では十分な操作が容易でない場合も考えられる。例えばＷｉｎｄｏｗｓ（登録商標）等のＯＳで提供される種々のアプリケーションには、マウスやキーボードを用いた操作を想定したものも含まれる。また仮想的な入力インターフェイスは、物理的なフィードバック（例えばキーの押し返し）がない等、使い勝手の面で課題がある。

そこで本実施形態の情報処理装置１００では、外部装置２００に接続された入力インターフェイス３００を撮像した画像を表示することによって、物理的なインターフェイスを利用する。具体的には、本実施形態の情報処理装置１００は、頭部装着型の情報処理装置であって、通信部１３０と、撮像部１５０と、表示部１４０と、制御部１１０を含む。撮像部１５０は、外部装置２００に接続された入力インターフェイス３００を含む撮像範囲を撮像することによって、入力インターフェイス３００が撮像された撮像画像を生成する。これは下方を撮像する撮像部１５０を設けることによって、ユーザーが正面方向を向いた状態で手元にある物理キーボードを撮像するものであってもよいし、ユーザーが下方向を向くことによって、正面方向を撮像する撮像部１５０が手元にある物理キーボードを撮像するものであってもよい。そして制御部１１０は、外部装置２００から取得した画像を表示部１４０の表示領域の一部である第１表示領域ＲＥ１に表示させ、且つ、入力インターフェイス３００を含む撮像画像を、表示領域の他の一部である第２表示領域ＲＥ２に表示させる制御を行う。以下、当該制御によって表示される画像を表示画像ＩＭとも表記する。表示画像ＩＭの具体例については図５を用いて後述する。

表示領域の一部に物理キーボード等の入力インターフェイス３００を撮像した撮像画像が表示されるため、ユーザーは実空間に存在する物理キーボードの状態、自分の手との位置関係等を視認しながら操作を行うことが可能になる。また本実施形態では、第１表示領域ＲＥ１に表示される画像を情報処理装置１００に提供する機器と、入力インターフェイス３００の接続先の機器が、共通の機器（外部装置２００）となる。従って複雑な連係制御を行わなくても、入力インターフェイス３００の操作結果を、表示中のアプリケーション等の操作に利用することが可能になる。

また、本実施形態の情報処理装置１００が行う処理の一部又は全部は、プログラムによって実現されてもよい。情報処理装置１００が行う処理とは、狭義には制御部１１０が行う処理である。

本実施形態に係るプログラムは、例えばコンピュータによって読み取り可能な媒体である非一時的な情報記憶媒体（情報記憶装置）に格納できる。情報記憶媒体は、例えば光ディスク、メモリーカード、ＨＤＤ、或いは半導体メモリなどによって実現できる。半導体メモリは例えばＲＯＭである。制御部１１０等は、情報記憶媒体に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体は、制御部１１０等としてコンピュータを機能させるためのプログラムを記憶する。コンピュータは、入力装置、処理部、記憶部、出力部を備える装置である。具体的には本実施形態に係るプログラムは、図４等を用いて後述する各ステップを、コンピュータ（具体的にはＨＭＤ）に実行させるためのプログラムである。

また本実施形態の手法は、外部装置と通信を行う通信部と、所与の撮像範囲を撮像することによって撮像画像を生成する撮像部と、画像を表示する表示部と、を有する頭部装着型の情報処理装置の制御方法に適用できる。制御方法は、外部装置に接続された入力インターフェイスを含む撮像範囲を撮像することによって、入力インターフェイスが撮像された撮像画像を生成するステップと、外部装置から取得された画像を表示部の表示領域の一部である第１表示領域に表示し、且つ、入力インターフェイスを含む撮像画像を、表示領域の他の一部である第２表示領域に表示する制御を行うステップと、を含む。

２．処理の詳細
２．１ 処理の流れ
図４は、情報処理装置１００の処理を説明するフローチャートである。この処理が開始されると、ステップＳ１０１において、制御部１１０は外部装置２００から取得した画像を表示部１４０に表示させる制御を行う。ステップＳ１０１では、制御部１１０は撮像画像を表示させる制御は行わない。例えば制御部１１０は、表示部１４０の表示領域全体を用いて、外部装置２００から取得した画像を表示してもよい。

ステップＳ１０２において、制御部１１０は、撮像部１５０による撮像を開始するか否かを判定する。ステップＳ１０２の判定処理の詳細については後述する。撮像を開始しないと判定した場合（ステップＳ１０２：Ｎｏ）、制御部１１０は、ステップＳ１０２に戻り同様の判定を定期的に実行する。換言すれば、制御部１１０は、撮像部１５０をオフ（またはスタンバイ状態）にしたまま、外部装置２００から取得した画像のみの表示を継続する。

撮像を開始すると判定した場合（ステップＳ１０２：Ｙｅｓ）、ステップＳ１０３において、制御部１１０は、撮像部１５０をオンにする制御を行う。これにより、撮像部１５０によって撮像された撮像画像の取得が開始される。

ステップＳ１０４において、制御部１１０は、スルー表示を開始するかを判定する。スルー表示とは、撮像画像を表示することによって、ＨＭＤ装着中のユーザーに実空間の情報を提示する表示制御を表す。ステップＳ１０４の判定処理の詳細については後述する。

なお、スルー表示とは、広義にはユーザー視野と同等の範囲の撮像画像を表示部１４０の表示領域全体に表示する（あたかもＨＭＤを装着していないかのように実空間の情報を見せる）制御を含んでもよいが、以下では外部装置２００からの画像と撮像画像を同時に表示する制御を表すものとする。

スルー表示を行わないと判定した場合（ステップＳ１０４：Ｎｏ）、制御部１１０は、ステップＳ１０４に戻り同様の判定を定期的に実行する。換言すれば、制御部１１０は、撮像画像を取得しつつも、表示については外部装置２００から取得した画像のみの表示制御を継続する。

スルー表示を開始すると判定した場合（ステップＳ１０４：Ｙｅｓ）、ステップＳ１０５において、制御部１１０は、表示部１４０の第１表示領域ＲＥ１では外部装置２００からの画像の表示を継続しつつ、第２表示領域ＲＥ２に撮像画像を表示させる（表示画像ＩＭを表示する）ことによってスルー表示を行う。

図５はスルー表示が行われる場合の表示画像ＩＭの例である。例えば第１表示領域ＲＥ１は、表示部１４０の表示領域の上部の領域であり、第２表示領域ＲＥ２は、表示部１４０の表示領域の下部の領域であってもよい。このようにすれば、アプリケーション等の表示画面（第１表示領域ＲＥ１）と、キーボード（第２表示領域ＲＥ２）の位置関係を、一般的なＰＣ等を用いる場合の位置関係と同様にできるため、ユーザーにとって使いやすいインターフェイスを実現できる。なお図５では、所与のアプリケーションに対応するウィンドウが第１表示領域ＲＥ１に表示される例を示しているが、第１表示領域ＲＥ１で表示される画像はこれに限定されず、外部装置２００から出力される種々の画像の表示が可能である。

図５に示すように第１表示領域ＲＥ１と第２表示領域ＲＥ２は、それぞれが矩形領域であってもよい。ただし第１表示領域ＲＥ１と第２表示領域ＲＥ２のそれぞれの位置、サイズ、形状は図５の例に限定されず、種々の変形実施が可能である。また、第１表示領域ＲＥ１と第２表示領域ＲＥ２は排他的な領域（重複しない領域）に限定されず、一部が重複してもよい。この場合、重複領域では一方の画像に対して透過処理が施された上で、他方の画像に重畳表示されてもよい。

また図５に示したように、第２表示領域ＲＥ２に表示されるのは物理キーボードを含む撮像画像であるため、撮像範囲内に（例えば物理キーボードの上に）ユーザーの手があれば、当該手も撮像画像に含まれる。そのため、手と物理キーボードの位置関係をユーザーに提示できるため、操作がより容易になる。なお、第２表示領域ＲＥ２に表示される画像は撮像画像全体であってもよいし、撮像画像のうちの物理キーボードを含む一部の領域であってもよい。

スルー表示の開始後、ステップＳ１０６において、制御部１１０はスルー表示を終了するか否かを判定する。制御部１１０は、例えば情報処理装置１００の操作部１６０に対して所定の操作が行われた場合に、スルー表示を終了すると判定する。あるいは制御部１１０は、物理キーボードに対して所定の操作が行われた場合に、スルー表示を終了すると判定してもよい。ただし、物理キーボードを用いる場合、スルー表示の終了操作と、アプリケーション等に対する通常操作を識別する必要があることから、通常操作で行われる蓋然性が十分低い操作がスルー表示の終了操作として設定されてもよい。

スルー表示を終了しないと判定した場合（ステップＳ１０６：Ｎｏ）、制御部１１０はステップＳ１０５に戻って処理を継続する。具体的には、スルー表示（表示画像ＩＭの表示）を継続する。スルー表示を終了すると判定した場合（ステップＳ１０６：Ｙｅｓ）、制御部１１０はステップＳ１０１に戻って処理を継続する。具体的には制御部１１０は、撮像部１５０をオフにする制御、及び外部装置２００からの画像のみを表示部１４０に表示させる制御を行う。

なお、スルー表示を終了しないと判定した場合（ステップＳ１０６：Ｎｏ）、制御部１１０はステップＳ１０４に戻って処理を継続してもよい。具体的には制御部１１０は、撮像部１５０をオンにしたまま、スルー表示を行わない状態に遷移してもよい。その他、情報処理装置１００における処理の流れは図４に限定されず、種々の変形実施が可能である。

２．２ 第１の判定処理例
次に、図４における撮像開始判定（ステップＳ１０２）及びスルー表示開始判定（ステップＳ１０４について、いくつかの具体例を説明する。

通信部１３０は、入力インターフェイス３００に対するユーザー操作が検出されたことを表す操作情報を外部装置２００から取得してもよい。上述したように、入力インターフェイス３００は外部装置２００に接続されたインターフェイスであるため、外部装置２００は入力インターフェイス３００の操作結果を容易に取得できる。外部装置２００は、当該操作結果を表す情報を、操作情報として情報処理装置１００に出力する。そして制御部１１０は、操作情報が取得された場合に、撮像画像を第２表示領域ＲＥ２に表示させる制御を開始してもよい。換言すれば、図４のステップＳ１０４に示したスルー表示の開始判定とは、入力インターフェイス３００に対するユーザー操作の有無を判定する処理であってもよい。このようにすれば、ユーザーが入力インターフェイス３００を使用する蓋然性が高い場合に、当該入力インターフェイス３００の状態をスルー表示を用いて提示することが可能になる。

なおここでのユーザー操作とは、具体的なキーを限定した操作ではなく、任意のキーに対する操作を表すものであってもよい。例えばユーザーは、ＨＭＤを装着した状態であっても、装着前の位置関係に基づいて、物理キーボードのおおよその位置を覚えていると考えられる。従ってユーザーが物理キーボードを操作したくなった場合、当該物理キーボードを視認できていない状態であっても、手探りで物理キーボードを見つけること、及び、何らかのキーを操作することは比較的容易である。つまりユーザー操作の内容を極端に限定しないことによって、ユーザーはスルー表示の開始操作を適切に実行できる。ただし、ここでのユーザー操作は、物理キーボードの特定のキー（例えば相対的に大きいエンターキーや、左上端に位置するエスケープキー等）に対する操作であることは妨げられない。

また制御部１１０は、上記操作情報が取得された場合に、撮像部１５０による撮像を開始させる制御を行ってもよい。換言すれば、図４のステップＳ１０２に示した撮像開始判定についても、スルー表示の開始判定と同様に、入力インターフェイス３００に対するユーザー操作の有無を判定する処理であってもよい。このようにすれば、スルー表示の必要性が十分高い場合に撮像が開始される。スルー表示の必要性が低い場合には撮像部１５０が起動されないため、撮像部１５０による消費電力の抑制等が可能になる。

なお図４に示したフローチャートでは、撮像の開始判定（ステップＳ１０２）と、スルー表示の開始判定（ステップＳ１０４）を異なるステップとする例を示したが、これらがまとめられてもよい。例えば上記の例であれば、制御部１１０は、入力インターフェイス３００に対するユーザー操作が検出されたか否かを判定し、検出された場合に、撮像部１５０に撮像を開始させ、且つ、表示部１４０にスルー表示を開始させてもよい。

ただし、入力インターフェイス３００の操作をスルー表示の開始トリガーとする場合に、撮像の開始トリガーが異なってもよい。例えば制御部１１０は、情報処理装置１００の操作部１６０に対する操作入力を受け付けた場合に、撮像部１５０による撮像を開始させる制御を行ってもよい。このようにすれば、ユーザーは、ＨＭＤ装着中でも利用しやすいインターフェイス（操作部１６０）を用いて撮像開始を指示することが可能になる。

２．３ 第２の判定処理例
またスルー表示の開始トリガーは、画像処理に基づくものであってもよい。例えば撮像部１５０による撮像が開始されているという前提において、制御部１１０は、撮像部１５０が生成した撮像画像から、入力インターフェイス３００を検出する画像処理を行ってもよい。なお画像から特定のオブジェクトを検出するオブジェクト検出処理については種々の手法が知られており、本実施形態ではそれらを広く適用可能であるため詳細な説明は省略する。

そして制御部１１０は、撮像画像に入力インターフェイス３００が含まれると判定した場合に、撮像画像を第２表示領域ＲＥ２に表示させる制御を開始する。例えば画像処理がオブジェクトの有無を２値で判定する処理の場合、制御部１１０は、入力インターフェイス３００が検出された場合にスルー表示を開始する。また画像処理がオブジェクトの確からしさを表すスコアを出力する処理の場合、制御部１１０は、入力インターフェイス３００に関するスコアが所定閾値以上の場合にスルー表示を開始してもよい。

撮像画像に入力インターフェイス３００が含まれていない場合、当該撮像画像を表示しても操作性の向上に寄与しない可能性がある。その点、入力インターフェイス３００の検出結果を用いることによって、スルー表示が有効な場合に、撮像画像の表示を開始することが可能になる。なお、制御部１１０は、撮像画像における入力インターフェイス３００の位置やサイズに基づく判定を行ってもよい。例えば制御部１１０は、入力インターフェイス３００が撮像画像の中央付近に一定以上のサイズで撮像された場合にスルー表示を開始してもよい。

また制御部１１０は、撮像部１５０が生成した撮像画像から、ユーザーの手を検出する画像処理を行ってもよい。そして制御部１１０は、撮像画像に入力インターフェイス３００が含まれ、且つ、入力インターフェイス３００と重複する位置にユーザーの手が検出されたと判定した場合に、撮像画像を第２表示領域ＲＥ２に表示させる制御を開始してもよい。

ユーザーが入力インターフェイス３００を用いて操作を行う場合、ユーザーの手は入力インターフェイス３００の近傍に位置していることが想定される（例えば図５の第２表示領域ＲＥ２に示す状態）。従って、入力インターフェイス３００の有無に加えて、ユーザーの手に関する判定を行うことによって、ユーザーが入力インターフェイス３００の操作を行う蓋然性が高いと推定される場合にスルー表示を開始することが可能になる。

なお、スルー表示の開始トリガーとして画像処理を用いる場合、それよりも前に撮像画像を取得している必要がある。従って制御部１１０は、画像処理とは異なる手法により撮像を開始するか否かを判定する。例えば制御部１１０は、情報処理装置１００の操作部１６０に対する操作入力を受け付けた場合に、撮像部１５０による撮像を開始させる制御を行ってもよい。このようにすれば、ユーザーは、ＨＭＤ装着中でも利用しやすいインターフェイスを用いて撮像開始を指示することが可能になる。

２．４ 第３の判定処理例
また制御部１１０は、情報処理装置１００の操作部１６０に対する操作入力を受け付けた場合に、撮像画像を第２表示領域ＲＥ２に表示させる制御を開始してもよい。このようにすれば、ユーザーは、ＨＭＤ装着中でも利用しやすいインターフェイスを用いてスルー表示の開始を指示することが可能になる。

この場合、表示された撮像画像に入力インターフェイス３００が撮像されていれば、ユーザーはすぐに入力インターフェイス３００を用いた操作を開始できる。また撮像画像に入力インターフェイス３００が含まれていない場合であっても、スルー表示は開始されているため、ユーザーは第２表示領域ＲＥ２に表示される現実空間の情報に基づいて、入力インターフェイス３００を探索することが可能である。

なお、上記のように本実施形態について詳細に説明したが、本実施形態の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。また情報処理装置、外部装置、入力インターフェイス等の構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１０…情報処理システム、１００…情報処理装置、１１０…制御部、１２０…記憶部、１３０…通信部、１４０…表示部、１５０…撮像部、１６０，１６０ａ，１６０ｂ…操作部、２００…外部装置、３００…入力インターフェイス、４００…ディスプレイ、ＩＭ…表示画像、ＲＥ１…第１表示領域、ＲＥ２…第２表示領域

Claims (10)

1. 頭部装着型の情報処理装置であって、
   外部装置と通信を行う通信部と、
   所与の撮像範囲を撮像することによって撮像画像を生成する撮像部と、
   画像を表示する表示部と、
   制御部と、
   を含み、
   前記撮像部は、
   前記外部装置に接続された入力インターフェイスを含む前記撮像範囲を撮像することによって、前記入力インターフェイスが撮像された前記撮像画像を生成し、
   前記制御部は、
   前記外部装置から取得された画像を前記表示部の表示領域の一部である第１表示領域に表示させ、且つ、前記入力インターフェイスを含む前記撮像画像を、前記表示領域の他の一部である第２表示領域に表示させる制御を行う情報処理装置。
2. 請求項１において、
   前記通信部は、
   前記入力インターフェイスに対するユーザー操作が検出されたことを表す操作情報を前記外部装置から取得し、
   前記制御部は、
   前記操作情報が取得された場合に、前記撮像画像を前記第２表示領域に表示させる制御を開始する情報処理装置。
3. 請求項２において、
   前記制御部は、
   前記操作情報が取得された場合に、前記撮像部による撮像を開始させる制御を行う情報処理装置。
4. 請求項２において、
   ユーザーによる操作入力が行われる操作部をさらに含み、
   前記制御部は、
   前記操作部に対する前記操作入力を受け付けた場合に、前記撮像部による撮像を開始させる制御を行う情報処理装置。
5. 請求項１において、
   前記制御部は、
   前記撮像部が生成した前記撮像画像から、前記入力インターフェイスを検出する画像処理を行い、
   前記撮像画像に前記入力インターフェイスが含まれると判定した場合に、前記撮像画像を前記第２表示領域に表示させる制御を開始する情報処理装置。
6. 請求項５において、
   前記撮像部が生成した前記撮像画像から、ユーザーの手を検出する画像処理を行い、
   前記撮像画像に前記入力インターフェイスが含まれ、且つ、前記入力インターフェイスと重複する位置に前記ユーザーの手が検出されたと判定した場合に、前記撮像画像を前記第２表示領域に表示させる制御を開始する情報処理装置。
7. 請求項５において、
   ユーザーによる操作入力が行われる操作部をさらに含み、
   前記制御部は、
   前記操作部に対する前記操作入力を受け付けた場合に、前記撮像部による撮像を開始させる制御を行う情報処理装置。
8. 請求項１において、
   ユーザーによる操作入力が行われる操作部をさらに含み、
   前記制御部は、
   前記操作部に対する前記操作入力を受け付けた場合に、前記撮像画像を前記第２表示領域に表示させる制御を開始する情報処理装置。
9. 請求項１乃至８の何れか一項において、
   前記第１表示領域は、前記表示部の前記表示領域の上部の領域であり、
   前記第２表示領域は、前記表示部の前記表示領域の下部の領域である情報処理装置。
10. 外部装置と通信を行う通信部と、所与の撮像範囲を撮像することによって撮像画像を生成する撮像部と、画像を表示する表示部と、を有する頭部装着型の情報処理装置の制御方法であって、
    前記外部装置に接続された入力インターフェイスを含む前記撮像範囲を撮像することによって、前記入力インターフェイスが撮像された前記撮像画像を生成し、
    前記外部装置から取得された画像を前記表示部の表示領域の一部である第１表示領域に表示し、且つ、前記入力インターフェイスを含む前記撮像画像を、前記表示領域の他の一部である第２表示領域に表示する制御を行う、
    制御方法。

Images