JP2015158747A - 制御装置、情報処理装置、制御方法、情報処理方法、情報処理システム、およびウェアラブル機器 - Google Patents

Abstract

【課題】通信遅延の発生を抑えてウェアラブル機器を適切に動作させることができる制御装置、またそのウェアラブル機器等を提供すること。【解決手段】制御装置は、取得部と、実行部とを具備する。前記取得部は、入力される操作イベントに関連付けられた、ウェアラブル機器を動作させる処理が記述されたアクションテーブルを、外部機器から取得するように構成される。前記実行部は、前記操作イベントに対応する処理を、前記アクションテーブルに基づき実行するように構成される。【選択図】図６

Description

本技術は、ウェアラブル機器を制御する制御装置、情報処理装置、情報処理システム、制御方法、情報処理方法、およびウェアラブル機器に関する。

ユーザの頭部に装着され、眼前に配置されたディスプレイによってユーザに画像を提示することが可能な、ヘッドマウントディスプレイ（ＨＭＤ）が知られている。

特許文献１に記載されたヘッドマウントディスプレイ（撮像表示装置）は、外部機器と通信可能に構成され、外部機器から送信されてきた画像を表示するようになっている（例えば、特許文献１の明細書段落［００２３］参照）

特開２０１３−１４１２７２号公報

ウェアラブル機器が外部機器と通信する場合に、通信遅延が発生すると、ウェアラブル機器の動作が遅れるという問題がある。

本技術の目的は、通信遅延の発生を抑えてウェアラブル機器を適切に動作させることができる制御装置、またそのウェアラブル機器等を提供することにある。

上記目的を達成するため、本技術に係る制御装置は、取得部と、実行部とを具備する。
前記取得部は、入力される操作イベントに関連付けられた、ウェアラブル機器を動作させる処理が記述されたアクションテーブルを、外部機器から取得するように構成される。
前記実行部は、前記操作イベントに対応する処理を、前記アクションテーブルに基づき実行するように構成される。
制御装置は、入力される操作イベントに対応する処理を、アクションテーブルに基づき実行する。したがって、制御装置が外部機器から処理の指示を受けてその処理を実行する場合に比べ、制御装置および外部機器間の遅延の発生を抑えて、制御装置はウェアラブル機器を適切に動作させることができる。

前記実行部は、前記操作イベントに対応する、前記ウェアラブル機器による画像の表示処理を実行するように構成されてもよい。

前記取得部は、前記アクションテーブルを含む複数のアクションテーブルを取得するように構成され、前記実行部は、前記複数のアクションテーブルにそれぞれ対応する複数の階層内の画像の表示処理を実行するように構成されてもよい。
これにより、実行部は、階層ごとに異なるアクションテーブルを用いることができる。

前記取得部は、前記複数のアクションテーブルを時間別でそれぞれ取得するように構成されてもよい。
これにより、制御装置は、例えば新たなアプリに対応する最新のアクションテーブルを随時取得することができる。

前記取得部は、前記外部機器で生成された画像をさらに取得するように構成され、前記実行部は、前記取得部で取得された前記画像を前記ウェアラブル機器の表示部に出力する処理を実行するように構成されてもよい。
これにより、制御装置は、外部機器で生成された画像をウェアラブル機器の表示部に表示することができる。

前記制御装置は、画像を前記ウェアラブル機器に表示するための、１以上の画像の配置を表す位置情報を記憶するように構成されたメモリをさらに具備してもよい。そして、前記実行部は、前記位置情報を参照して、前記画像を前記ウェアラブル機器の表示部に出力するように構成されてもよい。
実行部は、入力される操作イベントに基づき、位置情報を参照して、効率良く画像をウェアラブル機器に表示させることができる。
前記実行部は、前記１以上の画像としての複数の画像の切替表示処理を実行するように構成されてもよい。

前記１以上の画像は複数のオブジェクトで表現される画像であり、前記メモリは、前記複数のオブジェクトで表現される前記１以上の画像の前記位置情報を格納するように構成されてもよい。
これにより、実行部は、複数のオブジェクトのうち少なくとも１つのオブジェクトを対象に表示処理を実行することができ、多様な表示処理を提供することができる。

前記メモリは、複数の座標系上の前記位置情報を格納するように構成されてもよい。そして、前記実行部は、前記複数の座標系のうち、第１の座標系上の前記画像を表現する前記複数のオブジェクトのうち少なくとも１つのオブジェクトのフレーム内に、第２の座標系上の前記画像を配置させるように構成されてもよい。

本技術に係る情報処理装置は、作成部と、送信部とを具備する。
前記作成部は、ウェアラブル機器の制御装置に入力される操作イベントに関連付けられた、前記ウェアラブル機器を動作させる処理が記述されたアクションテーブルを作成するように構成される。
前記送信部は、前記作成されたアクションテーブルを前記制御装置に送信するように構成される。

本技術に係る制御方法は、ウェアラブル機器の制御装置による制御方法であって、入力される操作イベントに関連付けられた、前記ウェアラブル機器を動作させる処理が記述されたアクションテーブルを、外部機器から取得することを含む。
前記操作イベントに対応する処理が、前記アクションテーブルに基づき実行される。

本技術に係る情報処理方法は、ウェアラブル機器の制御装置と通信可能な外部機器による情報処理方法であって、前記制御装置に入力される操作イベントに関連付けられた、前記ウェアラブル機器を動作させる処理が記述されたアクションテーブルを作成することを含む。
前記作成されたアクションテーブルが前記制御装置に送信される。

本技術に係る情報処理システムは、ウェアラブル機器の制御装置と、前記制御装置と通信可能に構成された外部機器とを具備する。
前記外部機器は、前記制御装置に入力される操作イベントに関連付けられた、前記ウェアラブル機器を動作させる処理が記述されたアクションテーブルを作成するように構成された作成部と、前記作成されたアクションテーブルを前記制御装置に送信するように構成された送信部とを含む。
前記制御装置は、前記アクションテーブルを、前記外部機器から取得するように構成された取得部と、前記操作イベントに対応する処理を、前記アクションテーブルに基づき実行するように構成された実行部とを含む。

本技術に係るウェアラブル機器は、操作部と、取得部と、実行部とを具備する。
前記操作部は、操作イベントが入力されるように構成される。
前記取得部は、前記操作イベントに関連付けられた処理が記述されたアクションテーブルを、外部機器から取得するように構成される。
前記実行部は、前記操作イベントに対応する処理を、前記アクションテーブルに基づき実行するように構成される。

以上のように、本技術によれば、通信遅延を発生を抑えてウェアラブル機器を適切に動作させることができる。

なお、ここに記載された効果は必ずしもこれに限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

図１は、本技術に係る情報処理システムとして、第１の実施形態に係るシステムの構成を示す。 図２は、本システムの各機器の構成を示すブロック図である。 図３は、携帯端末およびコントロールボックスにそれぞれ搭載されるソフトウェアの構成を示す。 図４は、ウェアラブル機器の表示部に表示される画面の例を示す。 図５Ａ、Ｂは、カード画像やアプリ画像を配置させる場を表す座標系を示す。 図６は、左右スワイプ操作による、カード階層またはアプリ階層内での画像の切替処理のシーケンスを示す。 図７は、カード階層用のアクションテーブルの例を示す。 図８は、本技術との比較例に係るシーケンスの例を示す。 図９は、アニメーション効果を用いて、カード階層からアプリ階層への画面の切替の様子を示す。 図１０は、図９に示す切替処理におけるシステムのシーケンス図である。 第１および第２の実施形態における操作イベントとは別の操作イベントを含むアクションテーブルに基づくシーケンスを示す。 図１２は、アプリ階層用のアクションテーブルの例を示す。 図１３は、表示用階層および文字用階層における画像を配置させるための座標系を示す。

以下、図面を参照しながら、本技術の実施形態を説明する。

１．第１の実施形態

１）ウェアラブル機器を用いた情報処理システムの全体構成
図１は、本技術に係る情報処理システムとして、第１の実施形態に係るシステム１００の構成を示す。

このシステム１００は、主に、携帯端末３０、ウェアラブル機器（ウェアラブルディスプレイ）７０、およびこのウェアラブル機器７０を制御する制御装置として機能するコントロールボックス５０を含む。

携帯端末３０は、情報処理装置として機能し、典型的にはスマートホン等の携帯電話機である。携帯端末３０は、タブレット機器、その他ＰＣ（Personal Computer）であってもよい。

ウェアラブル機器７０は、図に示すようにヘッドマウント型のものであるが、これに限られず、例えばリストバンド型やネックバンド型のものであってもよい。

携帯端末３０は、クラウドシステム１０に接続可能に構成されている。クラウドシステム１０は、例えばインターネット等の電気通信回線網に接続されたサーバコンピュータ等を含む。

コントロールボックス５０は、典型的には、ウェアラブル機器７０に有線により接続されている。ユーザは、ウェアラブル機器７０を頭部に装着し、コントロールボックス５０を手指により操作することにより、ウェアラブル機器７０を操作することができる。

２）各機器の構成
図２は、本システム１００の各機器の構成を示すブロック図である。

２−１）携帯端末
携帯端末３０（例えばスマートホン）は、主に、ＣＰＵ（Central Processing Unit）３１、メモリ３２、タッチパネル／表示部３５、広域通信部３３、および局域通信部３４を有する。また、携帯端末３０は、その他、モーションセンサやカメラ等を含む各種センサ３７、ＧＰＳ（Global Positioning System）受信部３６、オーディオデバイス部３８、バッテリ３９等を有する。少なくとも携帯端末３０（または、携帯端末３０およびクラウドシステム１０）は、ウェアラブル機器７０の外部機器として機能する。

広域通信部３３は、例えば３Ｇ（Third Generation）やＬＴＥ（Long Term Evolution）等の通信システムにより通信可能に構成される。局域通信部３４は、例えばWiFi等の無線ＬＡＮ（Local Area Network）通信システム、Bluetooth（登録商標）、および／または、赤外線等の短距離無線通信システムにより通信可能に構成される。局域通信部３４は、コントロールボックス５０との間の「受信部」や「送信部」として機能する。

携帯端末３０は、局域通信部３４とは別に、例えばＲＦＩＤ（Radio Frequency IDentification）等の、いわゆる近距離無線通信システムを利用する個体識別デバイスを有していてもよい。

オーディオデバイス部３８は、マイクロフォンおよびスピーカを含む。

２−２）ウェアラブル機器
ウェアラブル機器７０は、表示部７１および各種のセンサ７２〜７５、カメラ７８を有する。表示部７１は、図１に示すように、例えばヘッドマウント型のウェアラブル機器７０のフレーム７６の左右に配置される小型のプロジェクタである。このヘッドマウント型のウェアラブル機器７０では、各プロジェクタから出射された同一または視差を持つ画像光が導光板７７でガイドされ、導光板７７の所定領域からユーザの眼球に向けて出射されるようになっている。

ウェアラブル機器７０の各種のセンサとしては、例えば、地磁気センサ７２、ジャイロセンサ７３、加速度センサ７４、照度センサ７５等がある。

なお、ウェアラブル機器７０では、左右のうち一方にのみ表示部７１が設けられていてもよい。ウェアラブル機器７０は、プロジェクタタイプのものに限られず、眼球に直接画像光を照射するタイプの表示部７１を備えていてもよい。

２−３）コントロールボックス
コントロールボックス５０は、ＣＰＵ５１、メモリ５２、局域通信部５４、入力キー５３、タッチパネル５５、オーディオデバイス部５８、バッテリ５９等を有する。

ＣＰＵ５１は、コントロールボックス５０内およびウェアラブル機器７０内の各部を統括的に制御する。コントロールボックス５０は、ＣＰＵ５１の代わりに、ＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ（Programmable Logic Device）を備えていてもよい。

局域通信部５４は、携帯端末３０の局域通信部３４と、上記した通信システムにより通信可能に構成される。局域通信部５４は、携帯端末３０との間の「受信部」として機能する。

入力キー５３は、コントロールボックス５０に配置された、ユーザにより操作される１以上の物理キーである。入力キー５３は、例えば電源キー、バックキー、表示部７１のON/OFFキー等を含む。

タッチパネル５５は、コントロールボックス５０の表面に配置された（図１参照）、ユーザにより操作される操作デバイスである。入力キー５３およびタッチパネル５５は、ウェアラブル機器７０の「操作部」として機能する。

オーディオデバイス部５８は、マイクロフォンおよびスピーカを含む。

コントロールボックス５０は、局域通信部５４とは別に、例えば上述したＲＦＩＤ等の近距離無線通信システムを利用する通信デバイスを有していてもよい。これにより、ユーザは、携帯端末３０内の所定のアプリケーションソフトウェアを起動し、携帯端末３０をコントロールボックス５０に接近させることにより、ほぼ自動的にこれらの機器をペアリングすることができる。

また例えば、ユーザが携帯端末３０をコントロールボックス５０に接近させることにより、携帯端末３０は、これらをペアリングするためのアプリケーションソフトウェアを、ほぼ自動的にクラウドからダウンロードしてこれがインストールされるようにすることもできる。

もちろん、コントロールボックス５０は、このような近距離無線通信用のデバイスを有していない場合でも、局域通信部５４を用いて携帯端末３０とペアリングが可能である。

２−４）クラウドシステム
クラウドシステム１０内の例えばサーバコンピュータは、ＣＰＵ１１、メモリ１２、および携帯端末３０と通信可能に構成された広域通信部１３を有する。

３）ソフトウェアの構成
図３は、携帯端末３０およびコントロールボックス５０にそれぞれ搭載されるソフトウェアの構成を示す。

携帯端末３０は、一般のアプリケーションソフトウェア（以下、単に「アプリ」という。）２６およびコンパニオンアプリ２５をメモリ３２内に格納している。これらのアプリ２５、２６は、携帯端末３０にデフォルトでインストールされたＯＳ（Operating System）上で動作するように構成される。

一般のアプリ２６の種類としては、例えば、ミニブログや交流サイト等のＳＮＳ（Social Networking Service）アプリ、音声認識アプリ、カメラアプリ、メディア再生、ニュース、天気予報サービス等がある。

コンパニオンアプリ２５は、これらのアプリ２６上のデフォルトデータやユーザデータを、ウェアラブル機器７０の表示部７１に表示可能な形式のデータに変換する機能を有する。携帯端末３０は、例えば、コンパニオンアプリ２５をクラウドシステム１０からダウンロードすることにより、コンパニオンアプリ２５がこの携帯端末３０にインストールされる。

コントロールボックス５０は、ペアリング後にコンパニオンアプリ２５と協働するファームウェア４５をメモリ５２内に有する。ファームウェア４５には、カメラ７８を動作させるカメラアプリや、後述する設定画面での設定アプリ等がデフォルトでインストールされている。

４）ウェアラブル機器で表示される画面例および本システムの動作例
４−１）ウェアラブル機器に表示される画面例
図４は、ウェアラブル機器７０の表示部７１に表示される画面の例を示す。なお、以降では説明の便宜上、携帯端末３０の処理の主体をコンパニオンアプリ２５とし、コントロールボックス５０の処理の主体をファームウェア４５とする。

４−１ａ）カード階層の画面例
図４の上段に示す階層を「カード（Card）階層」という。カード階層２００は、例えばデフォルトでホーム画面２１１および設定画面２１２等を含む、各種のカード画面２１０を含む。また、カード階層２００は、その他、ユーザが登録したアプリ２６（図３参照）のカード画面２１０（２１３）を含む。

カード画面２１０は、カード画面全体の領域のうち、例えば概ね下半分の領域に配置される画像２１５を主に含む。１つのカード画面２１０（および後述するアプリ画面３１０）が占める領域が、表示部７１による表示領域（Viewport）である。以降の説明では、カード画面２１０が占める領域の画像を、「カード画像」という。ここでいうカード画像（ホーム画面２１１のカード画像を除く）とは、アイコンやウィジェットのようなものであり、アプリにアクセスするためのＧＵＩ（Graphical User Interface）である。１つのカード画面２１０につき１つのカード画像が備えられる。

ユーザは、登録によりカード画像、特に画像２１５を追加していくことができる。例えばユーザが携帯端末３０を用いてその携帯端末３０にインストールされたアプリ２６に登録操作を行うことにより、コンパニオンアプリ２５がそのアプリ２６に応じたカード画像を生成する。

アプリに応じたカード画像とは、例えばカード画像内にそのアプリとわかるマークや文字を含む画像である。後述するように、基本的にはコンパニオンアプリ２５が、自身で生成したカード画像をメモリ３２に格納し、また、ファームウェア４５もそれらのうち所定枚数のカード画像をメモリ５２に格納する。

コントロールボックス５０内のファームウェア４５は、これらのカード画面２１０を１つずつ表示部７１に表示するように構成される。同一階層内では、ユーザがタッチパネル５５を介して左右スワイプ操作を入力することにより、ファームウェア４５は、順にそれらのカード画面２１０を表示部７１に表示させる。

なお、カード画面２１０のうち設定画面２１２からアクセス可能な「設定」もアプリケーションソフトウェアの１つであり、このコントロールボックス５０に内蔵のデフォルトのアプリである。

４−１ｂ）アプリ階層の画面例
図４の下段に示す階層を「アプリ階層３００」という。アプリ階層３００は、基本的にはカード階層２００を介してアクセスされ得、各カード画面２１０のそれぞれのアプリが起動されたアプリ画面（でのアプリ画像）３１０を含む。

表示部７１は、これらのアプリ画像３１０を１つずつ表示する。ユーザは、カード階層２００を介してアプリ階層３００にアクセスすることができる。ユーザがアプリ階層３００にアクセスする場合、カード階層２００内で選択したカード画面２１０を表示部７１に表示させた状態で、タップ操作する。そうすると、ファームウェア４５は、そのカード画面２１０に対応するアプリ画像３１０を表示部７１に表示させる。

そのアプリ画像３１０からカード画面２１０に戻る場合、ユーザは、コントロールボックス５０の入力キー５３（図２参照）として設けられたバックキーを押す。

また、ユーザは、アプリ階層３００内において任意の１つのアプリ画像３１０が表示されている状態で、タッチパネル５５を左右にスワイプ操作することにより、その１つのアプリ内でアプリ画像３１０を切り替えることができる。例えば、１つのアプリ内の第１の機能と、そのアプリの第１の機能とは異なる機能を有する第２の機能とを切り替えることができる。その機能数（アプリ画像数）は、アプリにより異なる。

アプリがカメラアプリである場合、例えば、第１の機能が静止画撮影モードの画面を有し、第２の機能が動画撮影モードの画面である。なお、ファームウェア４５にデフォルトでインストールされているカメラアプリは、カメラ７８で得られている画像を表示部７１に表示する。

なお、ユーザによる指のスワイプ操作の方向と、画像の移動方向とが一致していてもよいし、逆方向であってもよい。これはユーザの設定により変更可能とされる。

４−１ｃ）画像配置の座標系
図５Ａ、Ｂは、カード画面２１０やアプリ画像３１０を配置させる場を表す座標系を示す。コントロールボックス５０は、このような座標系を、階層ごとにメモリ５２内に記憶しており、またこの座標系で表されるカード画面２１０（カード画像）やアプリ画像３１０の座標（位置情報）をメモリ５２に記憶する。ホーム画面２１１や設定画面２１２のカード画像、およびそれらの位置情報は、デフォルトで記憶されている。また、アプリ階層では、アプリが複数ある場合、アプリごとにこの座標系が記憶される。

図５Ａに示す例では、カード階層の座標系においてカード画像がＸ軸に沿って配列され、各画像の代表点である例えば左上端部の点（黒丸で示す）の座標位置がそれぞれメモリに格納される。アプリ階層の座標系においても同様である。これにより、ファームウェア４５は、ユーザにより、右スワイプまたは左スワイプの操作イベントが入力された場合、その操作イベントに応じて画像の座標を指定することにより、メモリ５２からその座標に対応する画像を抽出して、表示部７１に表示する。なお、図５Ａに示す例では、例えばホーム画面２１１の座標（x,y）が原点（0,0）に設定されている。

また、ファームウェア４５は、タップまたはバックキーによる操作イベントが入力された場合、その操作イベントに応じて、座標系に基づき指定された座標に対応するカード階層およびアプリ階層間を行き来する。また、ファームウェア４５は、指定された座標に対応するカード画面２１０（カード画像）またはアプリ画像３１０を表示する。

図５に示す例のアプリ階層の座標系では、アプリ（ａ）を示すカード画像（ａ）に対応するアプリ画像が、Ｘ軸に沿って配置される（アプリ画像（ａ−１）、アプリ画像（ａ−２）、アプリ画像（ａ−３）、・・・）。アプリ（ａ）を示すカード画像（ａ）の座標（x,y）を（x1,0）とすると、カード画像（ａ）の表示状態からタップ操作により最初に表示されるアプリ画像（ａ−１）の位置は例えば（x1,0）とされる。カード画像（ｂ）の場合、アプリ階層で最初に表示されるアプリ画像の位置は例えば（x2,0）とされる。

しかしながら、アプリ階層において、アプリごとに（0,0）が最初に表示されるアプリ画像の位置であってもよい。

後述するように、１つのカード画像が複数のオブジェクト２１０ａで構成される場合、図５Ｂに示すように、それらのオブジェクト２１０ａごとにそれらの座標位置がメモリ５２内に記憶される。図５Ｂでは、カード階層の座標系のみ示したが、ファームウェア４５は、アプリ階層でも同様に、複数のオブジェクト２１０ａによる画像の表示処理を行うことができる。

以上のような座標系に基づく画像の表示処理により、ファームウェア４５は、画像の位置情報を参照して、画像を効率良く表示することができる。

４−２）カード階層内またはアプリ階層内での画像の切替処理
図６は、左右スワイプ操作による、カード階層２００またはアプリ階層３００内での画像の切替処理のシーケンスを示す。

コンパニオンアプリ２５は、例えばカード画像、またはアプリ画像等の画像を送信する（ステップ１０１）。例えばユーザが、タッチパネル５５を操作してウェアラブル機器７０の電源キーをＯＮとしたことに応じて、あるいは、ユーザが何らかの操作イベントを入力したことに応じて、コンパニオンアプリ２５は、画像を送信する。あるいは、コンパニオンアプリ２５は、ユーザの操作イベントによらず、自動で画像を送る場合もある。

ファームウェア４５は、その画像を受信し、受信した画像を上述した座標系に配置する（ステップ１０２）。一方、コンパニオンアプリ２５は、画像の送信後、または送信している途中で、アクションテーブルを作成する（ステップ１０３）。この場合、コンパニオンアプリ２５は、「作成部」として機能する。

アクションテーブルは、ユーザによって入力される操作イベントに関連付けられた、ウェアラブル機器７０を動作させる処理が記述されたテーブルである。アクションテーブルには、典型的には、ユーザによるタッチパネル５５を介して入力される操作イベントごとに関連付けられた、各階層（カード階層２００およびアプリ階層３００等）内での画像の表示処理が記述されている。コンパニオンアプリ２５は、階層ごと、またアプリごとに異なる内容が記述された、アクションテーブルをメモリ３２に格納している。

図７は、アクションテーブルの一例を示す。このアクションテーブルは、カード階層２００またはアプリ階層３００内における、カード画像またはアプリ画像の表示処理を記述している。

この例に係るアクションテーブルでは、アクション（処理）の定義数が３つある。３つの操作イベント「右スワイプ」、「タップ」、「左スワイプ」に対応する、アクション種別、およびアクション内容がそれぞれ記載されている。

例えば、イベント（操作イベント）「１」である「右スワイプ」に対応する、アクションの種別は表示領域をシフトさせるものである。そのアクション内容は、Ｘ軸上で右に100ピクセル分シフトさせ（Ｙ軸上ではシフト量ゼロ）、そのシフトに要する時間を500msとするものである。

なお、この例に係るアクションテーブルの操作イベント「２」では、タップ操作により、カード階層２００のカード画像からアプリ階層３００のアプリ画像へ、フェードアウトのアニメーション処理により切り替わるアクションを示している。これについては、第２の実施形態で述べる。

例えば、コンパニオンアプリ２５に対応した新たなアプリが携帯端末３０にインストールされると、コンパニオンアプリ２５は、そのアプリに対応する新たな１以上のアクションテーブルを作成するようになっている。

図６の説明に戻る。コンパニオンアプリ２５は、このようなアクションテーブルを作成すると、これをファームウェア４５に送信する（ステップ１０４）。この場合、コンパニオンアプリ２５、局域通信部３４は、「送信部」として機能する。ファームウェア４５は、これを受信し、例えばメモリ５２に記憶しておく。この場合、ファームウェア４５、局域通信部５４等は、「取得部」として機能する。

その後、ユーザによる操作イベントとして左右いずれかの「スワイプ」が入力された場合（ステップ１０５）、ファームウェア４５は、この操作イベントをコンパニオンアプリ２５に通知する（ステップ１０６）。

このステップ１０６の後、コンパニオンアプリ２５は、図示しない所定の処理を実行する。この処理は、本技術には直接的には関連しないので、その説明を省略する。

ファームウェア４５は、メモリに記憶されているアクションテーブルに基づき、そのスワイプの操作イベントに対応する処理（図７で示したアクション内容）を実行する。この場合、ファームウェア４５またはＣＰＵ５１は、「実行部」として機能する。

すなわち、ファームウェア４５は、表示領域をシフトさせると判断し（ステップ１０７）、例えば画像１つ分をＹ軸に沿ってスライドさせる（ステップ１０８）。なお、ステップ１０８では、ファームウェア４５は、アニメーションにより画像をスライドさせて表示する（ステップ１０８−１、２、３、・・・）。

図８に示す比較例に係るシーケンスを参照して、図６に係るシーケンスのメリットについて説明する。図８に示すシーケンスは、ファームウェア４５が、アクションテーブルを用いないで、操作イベントに対するコンパニオンアプリ２５の指示にしたがって表示処理を実行する形態を示す。

具体的には、コンパニオンアプリ２５は、スワイプの操作イベントが通知された場合（ステップ２０３）、画像を１つスライドすると判断し（ステップ２０４）、その場合の表示領域のシフト量を、ファームウェア４５に送信する（ステップ２０５）。ファームウェア４５は、これを受け、表示領域のシフト量を解釈し（ステップ２０６）、画像をスライドさせる（ステップ２０７）。

すなわち、ステップ２０２で、スワイプの操作イベントが入力された後、ステップ２０７で画像をスライドするまでの間に、コンパニオンアプリ２５によるステップ２０３、２０４、２０５、２０６の処理を経なればならない。この場合、ファームウェア４５とコンパニオンアプリ２５との間の通信遅延が、ユーザに不快感やストレスを与えるおそれがある。

これに対して、図６に示したシーケンスでは、ファームウェア４５は、入力される操作イベントに対応する処理を、アクションテーブルに基づき実行する。すなわち、ステップ１０５で操作イベントが入力された後において、ファームウェア４５とコンパニオンアプリ２５との間の通信は、ステップ１０６のみである。しかも、ステップ１０６はファームウェア４５からコンパニオンアプリ２５への通知のみであり、遅延はほとんどない。これにより、ファームウェア４５は、通信遅延の発生を抑えて、画像を適切に表示することができる。

このような技術によれば、コントロールボックス５０のハードウェアの仕様が低いものであっても、ユーザにストレスのない見やすい画像の表示を提供することができる。また、これにより、コントロールボックス５０の低消費電力化を実現することができる。

２．第２の実施形態

本実施形態では、操作イベントとして「タップ」操作が入力されることにより、カード階層２００のカード画像から、アプリ階層のアプリ画像３１０へ、画像が切り替わる例について説明する。

図９は、例えばアニメーション処理を用いて、その画面の切替の様子を示したものである。

カード階層２００の任意のカード画面２１０が表示されている状態で、ユーザによりタッチパネル５５を介して、操作イベントとしてタップ操作が入力された場合、ファームウェア４５は、図９右に示すように、（１）〜（５）の順で、アニメーションを表示する。

（１）〜（２）では、ファームウェア４５は、それまで表示されていたカード画像（第１の画像）をフェードアウトさせる。ここでのフェードアウト処理は、時間順に段階的に低くなる表示輝度を持つ複数のカード画像を所定のフレームレートで表示する処理である。このフレームレートは、例えば１５fpsであるが、これはあくまで例示であり、これより小さくても大きくてもよい。また、ファームウェア４５は、このフェードアウト処理とともに、段階的にカード画像のサイズを拡大する処理も実行する。

（３）では、ファームウェア４５は、フェードアウト処理を終了すると、カード画像の表示を消す。このように画像（第１の画像）が消えた後の画面であって、無模様でかつその第１の画像の表示時の背景色が維持される画面の画像（第３の画像）を、以降では、「空白画像」という。

（４）〜（５）では、ファームウェア４５は、上記カード画像のアプリに対応するアプリ画面３１０上のアプリ画像（第２の画像）をフェードインさせる。ここでのフェードイン処理は、時間順に段階的に高くなる表示輝度を持つ複数のカード画像を所定のフレームレートで表示する処理である。このフレームレートは、例えば１５fpsであるが、これはあくまで例示であり、これより小さくても大きくてもよい。また、ファームウェア４５は、このフェードイン処理とともに、段階的にカード画像のサイズを拡大する処理（小さいサイズから元のサイズへ戻す処理）も実行する。

なお、上記ではカード画像を「第１の画像」と表現し、アプリ画像を「第２の画像」と表現したが、これは単に説明の便宜のためである。すなわち、２つの画像の切替時に、画像の表示順としてこれを「第１」、「第２」と表現したに過ぎない。

ファームウェア４５は、（３）において空白画像１５０を挿入したが、これは無くてもよい。すなわち、フェードアウト処理に続くようにフェードイン処理が行われてもよい。このような形態であっても、第１の画像および第２の画像の表示輝度によっては、ユーザには空白画像１５０が挿入されていると認識される場合もある。

また、これらフェードイン処理およびフェードアウト処理では、フレームごとの輝度の変更およびサイズの変更のうちいずれか一方が実行されるようにしてもよい。

図１０は、図９に示す切替処理におけるシーケンス図である。なお、図１０に示すように、コンパニオンアプリ２５およびファームウェア４５間の斜めで示す矢印は、それらの間に通信遅延が発生する可能性があることを示すものである。

カード階層２００でカード画面２１０が表示されている状態で、ユーザがタッチパネル５５を介してタップ操作を入力する（ステップ３０１）。そうすると、コントロールボックス５０のファームウェア４５は、その操作イベントを携帯端末３０に通知する（ステップ３０２）。

携帯端末３０のコンパニオンアプリ２５は、その操作イベントの通知を受け、その操作イベントに基づき、そのカード画面２１０のカード画像に対応するアプリ画像３１０を生成する（ステップ３０４）。

このアプリ画像は１つのオブジェクトで生成される。そして、コンパニオンアプリ２５は、生成した１つのオブジェクトで構成されるアプリ画像３１０をコントロールボックス５０に送信する（ステップ３０５）。

一方、ファームウェア４５は、操作イベントを通知した後、現在表示しているカード画像に、上記のアニメーション処理を適用する（ステップ３０３）。カード画像へのアニメーション処理は、ステップ３０４で携帯端末３０がアプリ画像を生成している時に行われる。このフェードアウト処理は、図７で示した例に係るアクションテーブルの操作イベント「２」に基づく処理である。

ステップ３０３のアニメーション処理は、ファームウェア４５は、上述したフェードアウト処理である。すなわちファームウェア４５は、サイズおよび輝度のそれぞれ異なる、アニメーションのための画像群を、上記したフレームレートで表示する。

ステップ３０３でのアニメーション処理のためのすべての画像群の表示が終了した時点で、ファームウェア４５が、既にステップ３０５で送信されたアプリ画像３１０を受信している場合、受信したアプリ画像３１０にアニメーション処理、ここでは上述したフェードイン処理を適用する（ステップ３０６）。

一方、アニメーション処理のためのすべての画像群の表示が終了した時点で、ファームウェア４５が、ステップ３０５で送信されたアプリ画像３１０を受信していない場合、その受信を待つ。受信後、上記同様に、受信したアプリ画像３１０にフェードイン処理が適用される（ステップ３０６）。

一方、コンパニオンアプリ２５は、ステップ３０５の後、コントロールボックス５０に送信したアプリ画像３１０と同一の画像であって、複数のオブジェクト２１０ａ（図５Ｂ参照）で構成されるアプリ画像を生成し（ステップ３０７）、このアプリ画像をコントロールボックス５０に送信する（ステップ８）。ファームウェア４５は、ステップ３０７でコンパニオンアプリ２５が複数のオブジェクトで構成されるアプリ画像を生成している時に、上記アプリ画像のフェードイン処理を実行している（ステップ３０６）。

そして、ステップ３０６でのアニメーション処理のためのすべての画像群の表示が終了した時点で、ファームウェア４５が、ステップ３０８で送信された複数オブジェクトで構成されるアプリ画像を受信している場合、次の処理を実行する。すなわちファームウェア４５は、現在表示している１つのオブジェクトで構成されるアプリ画像３１０を、受信した複数オブジェクトで構成されるアプリ画像に置き換える（ステップ３０９）。

一方、アニメーション処理のためのすべての画像群の表示が終了した時点で、ファームウェア４５が、ステップ３０８で送信された複数のオブジェクトで構成されたアプリ画像を受信していない場合、その受信を待つ。受信後、上記同様に、ファームウェア４５は、現在表示している１つのオブジェクトで構成されるアプリ画像３１０を、受信した複数オブジェクトで構成されるアプリ画像に置き換える（ステップ３１０）。

以上のように、コントロールボックス５０は、タップ操作による操作イベントの通知後、携帯端末３０がその操作イベントに基づき画像を生成する処理と並行して、現在表示されている画像にアニメーション処理を適用するように構成される。したがって、通信遅延が発生する場合でも、コントロールボックス５０は、タップ操作後のカード階層２００からアプリ階層３００への画面の切替時における、コマ落ちやぎくしゃくする状態の発生を抑えることができる。これにより、ユーザにストレスのない見やすい画像を提供することができる。

コンパニオンアプリ２５は、ステップ３０８の後、上記第１の実施形態と同様に、アクションテーブルを作成し（ステップ３０９）、これをファームウェア４５に送信する（ステップ３１１）。そして、ファームウェア４５は、この新たなアクションテーブルを受信し、メモリに格納する。

このように、ファームウェア４５は、複数のオブジェクトを取得することにより、それぞれのオブジェクトに対して表示処理を実行することができ、多様な表示処理が可能となる。オブジェクトに対する表示処理については、後の第３の実施形態で説明する。

この図１０に示したシーケンスは、タップ操作による階層の切替、ここではカード画像からアプリ画像３１０への切替である。つまり、階層が変わるので、コンパニオンアプリは、カード階層での表示処理で用いられていたアクションテーブル（例えば図７）とは別の、新たなアクションテーブルが作成される（ステップ３０９）。この新たなアクションテーブルは、例えばアプリ階層内での表示処理に用いられるものである。つまり、本実施形態では、例えば空白画像１５０の表示（またはフェードアウト処理とフェードイン処理との間）のタイミングで、アクションテーブルが切り替えられる。

新たなアクションテーブルは、図示しないが、アプリ階層内での左右スワイプ操作による画像の切替処理の記述を含む他、例えばバックキーによる操作によりアプリ階層のアプリ画像からカード階層のカード画像への切替処理の記述を含む。

以上のように、ファームウェア４５は、複数のアクションテーブルを時間別で取得するように構成される。したがって、ファームウェア４５は、例えば新たなアプリに対応する最新のアクションテーブルを随時取得することができる。また、ファームウェア４５は、前に用いていたアクションテーブルを破棄することができる。これにより、必要なメモリ容量を削減することができ、または、小容量のメモリを使用することができる。

なお、本実施形態では、カード画像からアプリ画像への切替処理について説明したが、その逆の切替処理の本質も、上記と同様である。なお、逆の切替処理におけるアニメーションによるフェードイン・アウト処理では、画像が時間経過とともに拡大されながら、フェードンアウトおよびフェードインするようになっている。

３．第３の実施形態

本技術に係る第３の実施形態では、上記第１および第２の実施形態の説明とは別の操作イベントを含むアクションテーブルに基づくシーケンスについて説明する。図１１は、そのシーケンスを示す。

ステップ４０１〜４０４は、例えば図６に示したシーケンスのステップ１０１〜１０４と同様の処理である。

操作イベントとして、「ロングタップ・アンド・スワイプ」の操作が入力されたとする（ステップ４０５）。「ロングタップ」とは、例えばタップに用いた指をタッチパネル５５にそのまま所定時間接触させておく操作である。「ロングタップ・アンド・スワイプ」は、当該所定時間の指のタッチパネル５５への接触後に、接触させた指をそのままスワイプする操作である。

図１２は、ステップ４０５で取得されたアクションテーブルの例を示す。この例では、操作イベント「１」（ロングタップ・アンド・右スワイプ）、操作イベント「３」（ロングタップ・アンド・左スワイプ）に対応する処理が、それぞれ部分表示領域を上下にシフトさせる処理として設定されている。部分表示領域とは、表示部７１の画面全体のうち一部の表示領域である。なお、図１１は、アプリ階層におけるアプリ画像の表示処理を記述している。

図１３左は、この部分表示領域９０を含む表示領域の画像の、座標系での位置を示す。図１３左が表示用階層（カード階層およびアプリ階層）の座標系（第１の座標系）である。図１３右は、その部分表示領域９０内に表示される画像の座標系（第２の座標系）である。ここでは、部分表示領域９０に対応するフレーム、例えば部分表示領域９０と同じサイズのフレーム９１が、文字用階層の座標系に設定されている。ファームウェア４５は、これら複数の座標系をメモリ５２内に記憶している。ファームウェア４５は、文字用階層の座標系における、フレーム９１内の画像を切り出し、これを表示用階層の座標系における部分表示領域９０に割り当てる処理を実行するように構成される。

ファームウェア４５は、上述したように、複数のオブジェクトで表現される画像を１つの画面内に表示することにより、このような部分表示領域９０内の画像を変更する表示処理することができる。

ファームウェア４５は、ステップ４０３で取得しているアクションテーブル（図１２参照）に基づき、部分表示領域９０を縦方向にシフトさせると判断する（ステップ４０７）。これにより、ファームウェア４５は、文字用階層の座標系に設定されたフレーム９１について、アクションテーブルに記述された通りの処理、ここでは縦方向のシフト（つまり所定距離分の自動スクロールによるアニメーション処理）を実行する（ステップ４０８−１、２、３、・・・）。

本実施形態によれば、ファームウェア４５は、アプリごとに設定される多様の表示処理を、アクションテーブルに基づき遅延を発生させることなく実行することができる。

４．他の各種の実施形態

本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

上記実施形態に係るウェアラブル機器７０は、有線により、つまり電気ケーブルによりコントロールボックス５０に接続されていた。しかし、ウェアラブル機器は、ウェアラブル機器とコントロールボックスが電気ケーブル無しに一体となることにより高機能化された機器であってもよい。
この場合、コントロールボックスは、ウェアラブル機器の制御装置として、ウェアラブル機器に内蔵されていてもよい。例えばこの場合、ユーザによりウェアラブル機器を操作される操作部（例えばタッチパネル）も、ウェアラブル機器に一体的に搭載されていてもよい。

上記の実施形態では、情報処理装置として機能する機器は、携帯電話機など、携帯性を有する機器であったが、デスクトップ型のＰＣ等、携帯性を有しない機器であってもよい。

上記実施形態では、コントロールボックス５０と携帯端末３０とが通信可能に構成された。しかし、携帯端末３０を介さず、コントロールボックス５０（つまり、ウェアラブル機器側）とクラウドシステム１０のサーバコンピュータとが、本技術に係る通信を行ってもよい。この場合、ウェアラブル機器の外部機器はサーバコンピュータとなる。

上記実施形態では、ウェアラブル機器がユーザに提供する情報として画像を例に挙げたが、画像に限られず音声であってもよい。

図７や１２に示した例に係るアクションテーブルでは、アクション定義数がそれぞれ３であったが、もちろんこれより多くてもよい。

上記第１の実施形態では、カード階層２００とアプリ階層３００との間の画面の切替にアニメーション処理が適用された。しかし、これらの階層２００、３００以外の階層がある場合、それらの階層間での画面の切替にアニメーション処理が適用されてもよい。

以上説明した各形態の特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。

なお、本技術は以下のような構成もとることができる。
（１）
入力される操作イベントに関連付けられた、ウェアラブル機器を動作させる処理が記述されたアクションテーブルを、外部機器から取得するように構成された取得部と、
前記操作イベントに対応する処理を、前記アクションテーブルに基づき実行するように構成された実行部と
を具備する制御装置。
（２）
前記（１）に記載の制御装置であって、
前記実行部は、前記操作イベントに対応する、前記ウェアラブル機器による画像の表示処理を実行するように構成される
制御装置。
（３）
前記（２）に記載の制御装置であって、
前記取得部は、前記アクションテーブルを含む複数のアクションテーブルを取得するように構成され、
前記実行部は、前記複数のアクションテーブルにそれぞれ対応する複数の階層内の画像の表示処理を実行するように構成される
制御装置。
（４）
前記（３）に記載の制御装置であって、
前記取得部は、前記複数のアクションテーブルを時間別でそれぞれ取得するように構成される
制御装置。
（５）
前記（２）から（４）のうちいずれか１つに記載の制御装置であって、
前記取得部は、前記外部機器で生成された画像をさらに取得するように構成され、
前記実行部は、前記取得部で取得された前記画像を前記ウェアラブル機器の表示部に出力する処理を実行するように構成される
制御装置。
（６）
前記（２）に記載の制御装置であって、
画像を前記ウェアラブル機器に表示するための、１以上の画像の配置を表す位置情報を記憶するように構成されたメモリをさらに具備し、
前記実行部は、前記位置情報を参照して、前記画像を前記ウェアラブル機器の表示部に出力するように構成される
制御装置。
（７）
前記（６）に記載の制御装置であって、
前記実行部は、前記１以上の画像としての複数の画像の切替表示処理を実行するように構成される
制御装置。
（８）
前記（６）または（７）に記載の制御装置であって、
前記１以上の画像は複数のオブジェクトで表現される画像であり、
前記メモリは、前記複数のオブジェクトで表現される前記１以上の画像の前記位置情報を格納するように構成される
制御装置。
（９）
前記（７）に記載の制御装置であって、
前記メモリは、複数の座標系上の前記位置情報を格納するように構成され、
前記実行部は、前記複数の座標系のうち、第１の座標系上の前記画像を表現する前記複数のオブジェクトのうち少なくとも１つのオブジェクトのフレーム内に、第２の座標系上の前記画像を配置させるように構成される
制御装置。
（１０）
前記（１）〜（９）のうちいずれか１つに記載の制御装置であって、
前記外部機器は、携帯端末、または、クラウドシステム内のサーバコンピュータである
制御装置。
（１１）
ウェアラブル機器の制御装置に入力される操作イベントに関連付けられた、前記ウェアラブル機器を動作させる処理が記述されたアクションテーブルを作成するように構成された作成部と、
前記作成されたアクションテーブルを前記制御装置に送信するように構成された送信部と
を具備する情報処理装置。
（１２）
ウェアラブル機器の制御装置による制御方法であって、
入力される操作イベントに関連付けられた、前記ウェアラブル機器を動作させる処理が記述されたアクションテーブルを、外部機器から取得し、
前記操作イベントに対応する処理を、前記アクションテーブルに基づき実行する
制御方法。
（１３）
ウェアラブル機器の制御装置と通信可能な外部機器による情報処理方法であって、
前記制御装置に入力される操作イベントに関連付けられた、前記ウェアラブル機器を動作させる処理が記述されたアクションテーブルを作成し、
前記作成されたアクションテーブルを前記制御装置に送信する
情報処理方法。
（１４）
ウェアラブル機器の制御装置と、前記制御装置と通信可能に構成された外部機器とを具備し、
前記外部機器は、
前記制御装置に入力される操作イベントに関連付けられた、前記ウェアラブル機器を動作させる処理が記述されたアクションテーブルを作成するように構成された作成部と、
前記作成されたアクションテーブルを前記制御装置に送信するように構成された送信部とを含み、
前記制御装置は、
前記アクションテーブルを、前記外部機器から取得するように構成された取得部と、
前記操作イベントに対応する処理を、前記アクションテーブルに基づき実行するように構成された実行部とを含む
情報処理システム。
（１５）
操作イベントが入力されるように構成された操作部と、
前記操作イベントに関連付けられた処理が記述されたアクションテーブルを、外部機器から取得するように構成された取得部と、
前記操作イベントに対応する処理を、前記アクションテーブルに基づき実行するように構成された実行部と
を具備するウェアラブル機器。

２５…コンパニオンアプリ
３０…携帯端末
３１、５１…ＣＰＵ
３２、５２…メモリ
３４、５４…局域通信部
３６…受信部
４５…ファームウェア
５０…コントロールボックス
５５…タッチパネル
７０…ウェアラブル機器
７１…表示部
１００…システム
２００…カード階層
２１０ａ…オブジェクト
３００…アプリ階層

Claims (15)

1. 入力される操作イベントに関連付けられた、ウェアラブル機器を動作させる処理が記述されたアクションテーブルを、外部機器から取得するように構成された取得部と、
   前記操作イベントに対応する処理を、前記アクションテーブルに基づき実行するように構成された実行部と
   を具備する制御装置。
2. 請求項１に記載の制御装置であって、
   前記実行部は、前記操作イベントに対応する、前記ウェアラブル機器による画像の表示処理を実行するように構成される
   制御装置。
3. 請求項２に記載の制御装置であって、
   前記取得部は、前記アクションテーブルを含む複数のアクションテーブルを取得するように構成され、
   前記実行部は、前記複数のアクションテーブルにそれぞれ対応する複数の階層内の画像の表示処理を実行するように構成される
   制御装置。
4. 請求項３に記載の制御装置であって、
   前記取得部は、前記複数のアクションテーブルを時間別でそれぞれ取得するように構成される
   制御装置。
5. 請求項２に記載の制御装置であって、
   前記取得部は、前記外部機器で生成された画像をさらに取得するように構成され、
   前記実行部は、前記取得部で取得された前記画像を前記ウェアラブル機器の表示部に出力する処理を実行するように構成される
   制御装置。
6. 請求項２に記載の制御装置であって、
   画像を前記ウェアラブル機器に表示するための、１以上の画像の配置を表す位置情報を記憶するように構成されたメモリをさらに具備し、
   前記実行部は、前記位置情報を参照して、前記画像を前記ウェアラブル機器の表示部に出力するように構成される
   制御装置。
7. 請求項６に記載の制御装置であって、
   前記実行部は、前記１以上の画像としての複数の画像の切替表示処理を実行するように構成される
   制御装置。
8. 請求項６に記載の制御装置であって、
   前記１以上の画像は複数のオブジェクトで表現される画像であり、
   前記メモリは、前記複数のオブジェクトで表現される前記１以上の画像の前記位置情報を格納するように構成される
   制御装置。
9. 請求項７に記載の制御装置であって、
   前記メモリは、複数の座標系上の前記位置情報を格納するように構成され、
   前記実行部は、前記複数の座標系のうち、第１の座標系上の前記画像を表現する前記複数のオブジェクトのうち少なくとも１つのオブジェクトのフレーム内に、第２の座標系上の前記画像を配置させるように構成される
   制御装置。
10. 請求項１に記載の制御装置であって、
    前記外部機器は、携帯端末、または、クラウドシステムのサーバコンピュータである
    制御装置。
11. ウェアラブル機器の制御装置に入力される操作イベントに関連付けられた、前記ウェアラブル機器を動作させる処理が記述されたアクションテーブルを作成するように構成された作成部と、
    前記作成されたアクションテーブルを前記制御装置に送信するように構成された送信部と
    を具備する情報処理装置。
12. ウェアラブル機器の制御装置による制御方法であって、
    入力される操作イベントに関連付けられた、前記ウェアラブル機器を動作させる処理が記述されたアクションテーブルを、外部機器から取得し、
    前記操作イベントに対応する処理を、前記アクションテーブルに基づき実行する
    制御方法。
13. ウェアラブル機器の制御装置と通信可能な外部機器による情報処理方法であって、
    前記制御装置に入力される操作イベントに関連付けられた、前記ウェアラブル機器を動作させる処理が記述されたアクションテーブルを作成し、
    前記作成されたアクションテーブルを前記制御装置に送信する
    情報処理方法。
14. ウェアラブル機器の制御装置と、前記制御装置と通信可能に構成された外部機器とを具備し、
    前記外部機器は、
    前記制御装置に入力される操作イベントに関連付けられた、前記ウェアラブル機器を動作させる処理が記述されたアクションテーブルを作成するように構成された作成部と、
    前記作成されたアクションテーブルを前記制御装置に送信するように構成された送信部とを含み、
    前記制御装置は、
    前記アクションテーブルを、前記外部機器から取得するように構成された取得部と、
    前記操作イベントに対応する処理を、前記アクションテーブルに基づき実行するように構成された実行部とを含む
    情報処理システム。
15. 操作イベントが入力されるように構成された操作部と、
    前記操作イベントに関連付けられた処理が記述されたアクションテーブルを、外部機器から取得するように構成された取得部と、
    前記操作イベントに対応する処理を、前記アクションテーブルに基づき実行するように構成された実行部と
    を具備するウェアラブル機器。