JP2019046088A - 表示制御装置、ポインタの表示方法及びプログラム - Google Patents

Abstract

【課題】操作者の操作に応じて、ポインタの表示態様を切り替えることにより、操作者にとって使い勝手の良い表示制御装置等を提供すること。【解決手段】操作装置からセンサ情報を受信する受信手段と、センサ情報に基づいて前記操作装置の動きを判定し、判定された操作装置の動きと連動してポインタを表示制御するポインタ表示制御手段と、センサ情報に基づいて操作装置の回転角度を算出し、算出された回転角度が切替角度のときに、前記ポインタを表示している位置に識別表示をする制御を行う識別表示制御手段と、を備える。【選択図】図７

Description

本発明は、装置の変位をセンサ情報として検出するセンサ部と、前記センサ情報を送信する送信部とを備えた操作装置に接続可能な表示制御装置等に関する。

従来から、文章ファイルや画像ファイルといったコンテンツを一又は複数表示する制御が可能な表示装置が知られている。また、このような表示装置を用いたプレゼンテーションの場などにおいては、説明している箇所等、表示されたコンテンツのうち注目すべき部分を示す場合がある。

このような場合、コンテンツを強調させるために、表示装置に接続されているＰＣ等の機器の入力装置を操作してポインタを表示させたり、操作ペンでストロークを手書き入力したりする方法がよく行われている。また、レーザーポインタなどの装置を用いて、表示装置上に光を当てて、強調したい位置を示す方法が行われている。

また、操作ペンに線種や線色を記憶させ、入力対象となる装置に設定内容を通知するものや（例えば、特許文献１参照）、操作ペンに測色センサを有し、対象物の色情報を検出し、表示装置へ出力できるものが提案されている（例えば、特許文献２参照）。

特開２００３−１５０３０４号公報 特開２０１３−２５０８０５号公報

プレゼンテーション等において、強調したい箇所、ポイントとなる箇所を目立たせるために、例えばピンを配置表示する識別表示をさせたい場合がある。この場合、上述したポインタでは、操作ペン等の操作装置に連動して表示されてしまうことから、固定して表示させることが難しかった。

また、ストローク入力を使って、注目させたい場所に記入をすることはできるが、その都度入力方法を切り替える必要があり、使い勝手が良いとは言えなかった。

上述した課題に鑑み、本発明は、操作者の操作に応じて、ポインタの表示態様を切り替えることにより、操作者にとって使い勝手の良い表示制御装置等を提供することである。

上述した課題に鑑み、本発明の表示制御装置は、
装置の変位をセンサ情報として検出するセンサ部と、前記センサ情報を送信する送信部とを備えた操作装置に接続可能な表示制御装置において、
前記操作装置から前記センサ情報を受信する受信手段と、
前記センサ情報に基づいて前記操作装置の動きを判定し、判定された前記操作装置の動きと連動してポインタを表示制御するポインタ表示制御手段と、
前記センサ情報に基づいて前記操作装置の回転角度を算出し、算出された回転角度が切替角度のときに、前記ポインタを表示している位置に識別表示をする制御を行う識別表示制御手段と、
を備えることを特徴とする。

本発明の表示制御装置は、
装置の変位をセンサ情報として検出するセンサ部と、前記センサ情報を送信する送信部とを備えた操作装置に接続可能な表示制御装置において、
前記操作装置から前記センサ情報を受信する受信手段と、
前記センサ情報に基づいて前記操作装置の動きを判定し、判定された前記操作装置の動きと連動して位置ポインタを表示制御する位置ポインタ表示制御手段と、
前記センサ情報に基づいて前記操作装置の回転角度を検出し、検出された回転角度に応じて、前記位置ポインタの周囲を旋回するように方向ポインタを表示制御する方向ポインタ表示制御手段と、
前記方向ポインタが、下方向に向かって表示された場合に、前記位置ポインタを表示している位置にピンを固定表示する制御を行うピン表示制御手段と、
を備えることを特徴とする。

本発明の表示制御装置は、
操作装置に接続可能な表示制御装置において、
前記操作装置の動きに連動してポインタを表示制御するポインタ表示制御手段と、
を備え、
前記ポインタ表示制御手段は、
前記操作装置のひねりに応じて、前記ポインタを回転表示し、
前記ポインタが、操作者側に向かって回転表示されている場合に、前記ポインタを表示している位置に識別表示をする、
ことを特徴とする。

本発明の表示方法は、
装置の変位をセンサ情報として検出するセンサ部と、前記センサ情報を送信する送信部とを備えた操作装置に接続可能な表示制御装置における表示方法であって、
前記操作装置から前記センサ情報を受信する受信ステップと、
前記センサ情報に基づいて前記操作装置の動きを判定し、判定された前記操作装置の動きと連動してポインタを表示制御するポインタ表示制御ステップと、
前記センサ情報に基づいて前記操作装置の回転角度を算出し、算出された回転角度が切替角度のときに、前記ポインタを表示している位置に識別表示をする制御を行う識別表示制御ステップと、
を含むことを特徴とする。

本発明のプログラムは、
装置の変位をセンサ情報として検出するセンサ部と、前記センサ情報を送信する送信部とを備えた操作装置に接続可能なコンピュータにおいて実行されるプログラムであって、
前記コンピュータに、
前記操作装置から前記センサ情報を受信する受信機能と、
前記センサ情報に基づいて前記操作装置の動きを判定し、判定された前記操作装置の動きと連動してポインタを表示制御するポインタ表示制御機能と、
前記センサ情報に基づいて前記操作装置の回転角度を算出し、算出された回転角度が切替角度のときに、前記ポインタを表示している位置に識別表示をする制御を行う識別表示制御機能と、
を実現せることを特徴とする。

本発明の表示制御装置等によれば、接続された操作装置からセンサ情報を受信し、受信されたセンサ情報に基づいて判定された操作装置の動きと連動してポインタを表示し、操作装置の回転角度が切替角度のときに、ポインタを表示している位置に識別表示をすることができる。これにより、操作者は、操作装置を回転させる（例えば、ひねる動作等）を行い、切替角度にするだけで、ポインタを表示している位置に識別表示をすることができるようになる。

第１実施形態における表示システムの外観及びシステム概要を説明するための図である。 第１実施形態における表示装置、操作装置、通信装置の機能構成を説明するための図である。 第１実施形態における表示装置のメインの動作を説明するための図である。 第１実施形態における表示装置のメインの動作を説明するための図である。 第１実施形態における動作を説明するための図である。 第１実施形態における動作を説明するための図である。 第１実施形態における動作を説明するための図である。 第２実施形態における動作を説明するための図である。 第３実施形態における動作を説明するための図である。

以下、図面を参照して本発明を実施するための一実施形態について説明する。なお、説明の都合上、実施形態としては、本発明の表示制御装置をタッチパネルと一体となった表示装置に適用した場合を例に説明するが、操作者の操作入力により、オブジェクトが描画・配置可能な表示装置であれば、何れの装置であっても適用可能なことは勿論である。

［１．第１実施形態］
［１．１ 全体構成］
まず、表示装置１０と、表示制御装置１５と、本発明の操作装置を適用した操作ペン２０と、受信装置３０とによって構成される表示システム１の外観を図１（ａ）に示す。

表示装置１０は、例えば液晶ディスプレイといった表示装置であり、タッチ入力が可能なタッチパネルを有して構成されている。タッチ入力の検出方式としては、静電容量方式のようなタッチパネルであっても良いし、感圧式のタッチパネルであってもよい。すなわち、タッチ等、操作者の操作入力を適宜受け付けることが可能な装置であればよい。

また、タッチする方法としては、操作者による指であってもよいし、操作ペン２０であってもよい。ここで、操作ペン２０は、操作者が操作可能なボタンや、操作ペン２０の動きや傾きを検出する機能部を有する。また、ボタンの状態や、操作ペン２０の動きや傾きを含めたセンサ情報を、表示装置１０に接続された受信装置３０へ送信する。

表示制御装置１５は、いわゆるコンピュータであり、表示装置１０と接続されている。ここで、オブジェクトや、各種情報を表示するために、例えばＨＤＭＩ（登録商標）や、Ｄ−ＳＵＢ、ＤＶＩ等で接続されている。また、表示装置１０からのタッチ座標等の情報を取得するために、例えばＵＳＢ等により接続されている。

なお、表示制御装置１５は、表示装置１０に内蔵されていてもよい。すなわち、表示装置１０が、表示制御装置１５を含み、一体として構成されてもよい。以下、説明の都合上、表示制御装置１５の機能は、表示装置１０が内蔵しているものとして説明する。

受信装置３０は、操作ペン２０から送信されたセンサ情報を受信し、さらにセンサ情報を表示装置１０へ出力する装置である。操作ペン２０が受信したセンサ情報は、表示装置１０が処理することができる情報に変換してから表示装置１０へ出力してもよいし、受信したセンサ情報をそのまま表示装置１０へ出力してもよい。

操作ペン２０と受信装置３０とは、一例としては無線通信可能であればよく、例えばＢｌｕｅｔｏｏｔｈ（登録商標）や、ＺｉｇＢｅｅ（登録商標）、ＩｒＤＡ（Infrared Data Association）、ワイヤレスＵＳＢ等の無線通信によって接続してもよい。なお、本実施形態における受信装置３０と、操作ペン２０とは、省電力で通信が可能であるＢＬＥ（Bluetooth Low Energy）を利用して接続されることとして説明する。なお、表示装置１０に、操作ペン２０と通信可能な送受信部を備える場合には、受信装置３０を利用せずに、操作ペン２０と表示装置１０とを直接接続してもよい。

ここで、本実施形態における操作ペン２０について説明する。図１（ｂ）は、操作ペン２０の外観を示す図である。操作ペン２０は、ペン先Ｂ１２に導通性の部材を設けている場合、例えば静電容量方式のタッチパネルについて操作入力を行うことができる。また、ペン先Ｂ１２に感圧センサを設けることにより、筆圧等を検出することも可能である。

また、操作ペン２０には状態を示すＬＥＤが設けられている。ＬＥＤでは、状態を示しており、例えば電池の状態や、通信状態等を報知することが可能である。また、例えばタッチペンが描画可能な色等を表示するといった、アプリケーション側で利用してもよい。

さらに、操作ペン２０には、操作ボタンＢ１４が１又は複数設けられている。操作ボタンＢ１４により、各種操作が実行できる。操作ボタンＢ１４に割り当てられる機能は、予め割り当てられていても良いし、ユーザが任意の機能を割り当てられても良い。

そして、ＬＥＤ、操作ボタンＢ１４は、操作ペンの上側において一直線上に並んでいる。これにより、操作者は操作時にＬＥＤを視認し、状態を確認することも可能となる。

また、操作ボタンＢ１４も複数設けられているときに、描画モード（例えば、画面において線や図形、文字といったオブジェクトを描画したり、タッチしてオブジェクトを選択したりするモード）のときに利用する操作キーはペン先側に、プレゼンテーションモード（例えば、表示されているスライドのページを切り替えたり、ポインタを表示したりするモード）のときに利用する操作キーはペン後側（ペン尻側）に割り当てても良い。

また、操作ペン２０には、動作検出部として、６軸センサ（３軸加速度センサ＋３軸ジャイロセンサ）が内蔵されており、操作ペン２０の姿勢や、動きを検出することができる。具体的には、主に加速度センサにより操作ペン２０の姿勢（傾き）を検出する。また、主にジャイロセンサにより操作ペン２０の動きを検出する。また、この２つのセンサから出力される値を利用することで、操作ペン２０の上下左右の動きの検出、操作ペン２０の回転（操作ペン２０の中心軸を回転軸とした場合の回転角度）の検出を行うことができる。

なお、動作検出部は、操作ペン２０の姿勢として操作ボタンＢ１４が配置されている側を上側と検出する。すなわち、操作ボタンＢ１４が上側に来ているときが操作ペン２０の回転角度は０度である。そして、操作ボタンＢ１４が上側に来ている位置から右回りに９０度回転させた場合、操作ペン２０は＋９０度回っているとして、＋９０度が回転角度として検出される。また、操作ボタンＢ１４が上側に来ている位置から左回りに９０度回転させた場合、操作ペン２０は−９０度回っているとして、−９０度（又は＋２７０度）が回転角度として検出される。

つづいて、本実施形態における表示システムの概要について、図１（ｃ）を参照して説明する。本実施形態は、操作者が操作ペン２０を上下左右に動かすことにより、操作ペン２０の動きに連動して、表示装置１０に表示されたポインタ（ポインタ画像）が移動表示されるものである。いわゆる、プレゼンテーション等により利用されるポインタと同等の機能が実現される。

本実施形態では、操作ペン２０の動きに連動して表示されるポインタ（ポインタ画像）と、操作ペン２０の動きに連動せず、固定した位置に表示される識別表示であるピン（ピン画像）とを表示させることができる。そして、ポインタから所定の操作を行うことにより、ピンに切り替えて表示することができる。

まず、ポインタについて説明する。本実施形態におけるポインタＰ１０として表示されるポインタ画像は、図１（ｃ）の（１）に示す画像である。ここで、ポインタＰ１０には、ポインタの位置を主に示す位置ポインタＰ１２と、ポインタの方向を示す方向ポインタＰ１４を有して構成されている。

位置ポインタＰ１２は、略円形状のものであり、ポインタのある位置を示している。また、位置ポインタＰ１２の周囲に沿うように移動可能（旋回可能）な方向ポインタＰ１４が設けられている。

方向ポインタＰ１４は、例えば操作ペン２０を、操作者がひねる（回す）と、当該ひねりに連動して位置ポインタＰ１２の周りを旋回して移動表示するものである。本図では、略三角形の形状をしている。これは、方向ポインタを示す方向に頂点を有する図形であることが好ましいためである。したがって、三角形以外でも、例えば矢印や凸状の図形でもよい。また、頂点出なくても方向が解ればよい。具体的には、山型の図形であってもよい。

そして、操作者が操作ペン２０を左方向に回せば、方向ポインタＰ１４はＤＬ方向に移動して表示される。また、操作者が操作ペン２０を右方向に回せば、方向ポインタＰ１４はＤＲ方向に移動して表示される。

このように、位置ポインタＰ１２の周囲に沿って、方向ポインタＰ１４を表示することができることから、ポインタ（画像）Ｐ１０全体が回転表示しているように視認することができる。これにより、操作者は、位置ポインタＰ１２で示したい位置（例えば、注目させたい大まかな位置）を、方向ポインタＰ１４で、より細かく示したい位置（例えば、注目させたい細かい文字や数字等）を、適切に示す操作を行うことができる。

なお、本実施形態では、回転しないで表示される位置ポインタＰ１２と、位置ポインタＰ１２の周囲を沿って旋回して表示される方向ポインタＰ１４について説明するが、ポインタＰ１０を一体として表示しても良い。この場合は、ポインタＰ１０が、操作ペン２０の移動に応じて連動して移動表示され、検出された回転角度に応じて連動して回転表示されることとなる。

また、位置ポインタＰ１２は、方向ポインタＰ１４より大きい表示であることが好ましいが、同じ大きさであっても良いし、方向ポインタＰ１４の方が大きくてもよい。また、位置ポインタＰ１２と、方向ポインタＰ１４とは、同じ色で表示されても良いし、異なる色で表示されても良い。

つづいて、ポインタから識別表示の１つであるピンの切替えについて説明する。図（ｂ）の（２）に示すように、操作者が操作ペン２０を下向きになるように、方向ＤＬ２にひねる動作を行う。そうすると、方向ポインタはＰ１４の位置に、位置ポインタＰ１２の周囲を旋回して移動表示される。

ここで、方向ポインタＰ１４の位置（すなわち、方向ポインタが指し示す方向）が下側（回転角度が略１８０度）となったときに、ポインタ画像は、図１（ｃ）の（３）に示すように、ピン画像Ｐ２０に表示が切り替わる。このとき、ピン画像はまだ決定状態ではなく、次の操作者の操作でピン画像として固定表示されることを示している。

すなわち、ポインタの操作者が操作中（例えば操作ボタンを押下中）に、操作ペン２０の移動に連動して表示されているのに対し、ピンが表示状態のときに、操作者が操作をすることで、ピン画像としてその位置に固定表示されることとなる。

このように、本実施形態によれば、操作ペン２０の移動に連動してポインタ画像や、ピン画像が連動して表示される。また、ポインタとピンとを、操作者の操作によって容易に切り替えることが可能となる。

なお、識別表示として、本実施形態では「ピン」の形状として説明するが、ピン以外にも例えば星形であったり、色の異なる円であったり、文字であったりと、他の形状であってもよいことは勿論である。なお、以下、識別表示はピンとして説明する。

［１．２ 機能構成］
つづいて、図２を参照して各装置の機能構成について説明する。図２は、表示装置１０（表示制御装置１５）と、操作ペン２０と、受信装置３０との機能構成を説明するための図ある。本実施形態においては、表示装置１０と、受信装置３０とは、表示装置１０側のＵＳＢ接続部１８０と、受信装置側のＵＳＢ接続部３１０とによって接続されている。

［１．２．１ 表示装置の機能構成］
表示装置１０は、制御部１００と、表示部１１０と、操作検出部１２０と、ポインタ処理部１３０と、ペン識別部１４０と、画像処理部１５０と、通信部１６０と、記憶部１７０と、ＵＳＢ接続部１８０とを備えて構成されている。なお、本実施形態では、表示装置１０に表示制御装置１５が内蔵されていることして説明しているが、必要に応じて表示制御装置１５が機能を有していてもよい。

制御部１００は、表示装置１０の全体を制御するための機能部である。制御部１００は、記憶部１７０に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、例えばＣＰＵ（Central Processing Unit）等により構成されている。

表示部１１０は、操作者に対して各種情報を表示したり、オブジェクトが表示されたりする機能部である。また、本実施形態においては、後述するポインタ表示や、ピン表示が併せて表示される。表示部１１０は、例えば、液晶ディスプレイ（ＬＣＤ：liquid crystal display）や、有機ＥＬディスプレイ等により構成されている。

また、表示部１１０は、表示画面を構成しており、表示画面にオブジェクトが表示される。表示画面は、１又は複数の領域から構成されてもよい。また、オブジェクトとしては、文字、図形、写真（画像）といったコンテンツであったり、ドキュメント、動画像といったりしたものでもよい。

操作検出部１２０は、操作者からの操作を検出するための機能部である。例えば、表示部１１０と一体に構成されるタッチパネルや、ハードウェアボタン等により構成されている。タッチパネルによる操作の検出方式としては、静電容量方式であったり、抵抗膜方式等の感圧式や、赤外線方式、電磁誘導方式であったりと何れの方法であってもよい。

ポインタ処理部１３０は、操作ペン２０から受信したセンサ情報に基づき、表示部１１０に表示するポインタの位置（ポインタ位置）やポインタの傾きの算出や、ポインタとして表示される画像であるポインタ画像を管理する機能部である。

ペン識別部１４０は、操作ペン２０を識別する機能部である。操作ペン２０を識別する方法としては、操作ペン２０を識別できる一意の識別情報として、例えば、シリアル番号や、ＭＡＣアドレス等を利用して、操作ペンを識別する。

画像処理部１５０は、表示部１１０において表示される画像の処理を実行する機能部である。一般的な画像処理として、例えば画像データを鮮鋭化処理したり、色調整処理したりして出力することができる。また、本実施形態においては、表示されている画像（コンテンツ）に、ポインタ画像（ピン画像）を重畳して表示するための画像処理を実行する。

通信部１６０は、表示装置１０が外部機器と通信を行うための機能部である。例えば、有線／無線ＬＡＮで利用されるＮＩＣ（Network Interface Card）や、３Ｇ／ＬＴＥ回線に接続可能な通信モジュールにより実現されている。

記憶部１７０は、表示装置１０の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部１７０は、例えば、半導体メモリであるＳＳＤ（Solid State Drive）や、ＨＤＤ（Hard Disk Drive）等により構成されている。

ＵＳＢ接続部１８０は、ＵＳＢ機器を接続するための接続インタフェースである。本実施形態では、ＵＳＢデバイスとして受信装置３０が接続される。受信装置３０の機能については後述する。なお、ＵＳＢ接続部としては、ＵＳＢ２．０／３．０／３．１のインタフェースで構成されている。

［１．２．２ 操作ペンの機能構成］
つづいて、操作ペン２０の機能構成について説明する。操作ペン２０は、制御部２００と、操作部２１０と、感圧センサ２２０と、動作検出部２３０と、無線通信部２４０とを備えて構成されている。

制御部２００は、操作ペン２０の全体を制御するための機能部である。制御部２００は、例えばＣＰＵ等により構成されている。

操作部２１０は、操作者による操作を検出する機能部である。例えば、操作ペン２０に１又は複数のボタンを設け、当該ボタンの状態（どのボタンが押下されているのか）を検出する。そして、検出されたボタンの状態は、センサ情報に含めて、表示装置１０に送信される。なお、操作部２１０は、例えば、図１（ｂ）に示した操作ボタンＢ１４である。

感圧センサ２２０は、操作ペン２０のペン先の押し込み操作されたときの押し深さ（押込み量）を検出する機能部である。押込み量の検出方法は、公知の技術を用いればよい。また、操作ペン２０を用いて、表示装置１０に対してストロークを描画する操作をする場合、感圧センサ２２０で検出された押込み量に応じて、ストロークの太さを変えたり、ストロークの透明度を変えたりしてもよい。なお、感圧センサ２２０は、例えば、図１のペン先Ｂ１２に接続されている。

動作検出部２３０は、操作ペン２０の動作を検出するための機能部であり、各種センサによって構成されている。本実施形態では、操作ペン２０の動きを検出する３軸ジャイロセンサ（角速度センサ）や、操作ペン２０の傾きを検出する３軸加速度センサを備えて構成されている。

３軸ジャイロセンサでは、例えばヨー軸、ピッチ軸、ロール軸の３軸における回転角速度を検出し、出力する。また、３軸加速度センサは、Ｘ軸、Ｙ軸、Ｚ軸の加速度が検出され、出力される。そして、回転角速度（回転速度）と、加速度とをあわせたものがセンサ情報として、出力される。

動作検出部２３０から出力されたセンサ情報は、無線通信部を介して受信装置３０（表示装置１０）に送信される。表示装置１０は、受信されたセンサ情報に基づいて、操作ペン２０の姿勢である向き、ひねり、位置等を算出する。

なお、本実施形態のセンサ情報には、例えば操作部２１０による操作状態も含まれることとする。すなわち、センサ情報は、操作ペン２０の状態を取得するのに利用される情報となる。

無線通信部２４０は、後述する受信装置３０と接続可能な近距離無線通信技術によって、受信装置３０にセンサ情報を送信する機能部である。例えばＢｌｕｅｔｏｏｔｈ（登録商標）や、ＢＬＥ（Bluetooth Low Energy）によって接続される。

［１．２．３ 受信装置の機能構成］
つづいて、受信装置３０の機能構成について説明する。受信装置３０は、ドングルとして表示装置１０に接続されるものであり、ＲＦ（Radio Frequency）制御部３００と、ＵＳＢ接続部３１０と、無線通信部３２０とを備えて構成されている。

ＲＦ制御部３００は、操作ペン２０の無線通信部２４０から送信されるセンサ情報を表示装置１０が処理可能な情報に変換したり、センサ情報をＵＳＢ接続部３１０から出力したりする制御を行う機能部である。ＲＦ制御部３００は、例えばＣＰＵ等により構成されている。

ＵＳＢ接続部３１０は、表示装置１０へセンサ情報を出力するための機能部である。例えば、ＵＳＢ２．０／３．０／３．１のインタフェースで構成されている。

無線通信部３２０は、操作ペン２０と接続可能な無線通信技術によって、操作ペン２０から送信されるセンサ情報を受信する機能部である。例えばＢｌｕｅｔｏｏｔｈ（登録商標）や、ＢＬＥによって接続される。

［１．３ 処理の流れ］
つづいて、第１実施形態における処理の流れについて、図３及び図４を用いて説明する。図３及び図４は、第１実施形態におけるメイン処理について記載した動作フローである。

表示装置１０と、操作ペン２０とが接続されている場合、操作ペン２０からセンサ情報が出力（送信）されていることから、このセンサ情報を受信する（ステップＳ１０２）。なお、表示装置１０と、操作ペン２０との接続は、自動的に接続されても良いし、操作者が任意の操作により接続してもよい。

つづいて、受信されたセンサ情報から、操作ペン２０の操作ボタン（操作スイッチ）が選択状態であることを判定する（ステップＳ１０４）。ここで、操作スイッチが選択状態であるとは、例えば操作ボタンであれば、操作ボタンが押下されている状態をいい、単なるタッチスイッチであれば、タッチされている状態をいう。すなわち、操作入力が出来る手段が選択され続けていればよい。

そして、操作スイッチが選択されている場合は、当該選択状態が一定時間（ポインタ表示時間）以上続いているかを判定する（ステップＳ１０４；Ｙｅｓ→ステップＳ１０６）。ポインタ表示時間としては、表示画面上にポインタ（画像）が表示されるまでの時間であり、好ましくは１秒程度であるが、例えば０．５秒〜２秒程度や、５秒以下といった所定の時間であればよい。また、操作者により設定可能な時間であってもよく、当該時間が無くても（０秒であっても）よい。

操作ボタンの選択状態がポインタ表示時間以上継続している場合、ポインタ（ポインタ画像）を表示する。ここで、まず表示位置としては、ポインタ（ピン）画像が表示されていなければ、ポインタを表示する座標の初期位置として、表示画面の中央に設定する（ステップＳ１１０）。

ここで、初期位置としては、種々の方法が考えられる。例えば、表示画面の中央でなく、前回ポインタ（ピン）が終了した位置（消去された位置）であってもよい。また、表示されているコンテンツの中央であったり、所定位置（例えば左上等）であったりしてもよい。

また、現在のポインタ座標から、センサ情報に基づいて新たなポインタ座標が算出される（ステップＳ１１２）。

ポインタ座標とは、表示装置１０に表示するポインタ又はピンを表示する位置である。ポインタ座標の計算は、例えば、以下の手順により行う。

（１）初めてステップＳ１１２の処理を実行するときは、ポインタ座標を表示装置１０の表示部１１０における中央とする（ステップＳ１１０）。

（２）２回目以降のステップＳ１１２の処理の実行は、ポインタ座標と、受信されたセンサ情報とに基づいて、新たなポインタ座標を算出する。

ここで、ポインタ座標、前回受信されているセンサ情報と、現在受信されたセンサ情報とを比較することにより、操作ペン２０の方向や角度の変位が算出できる。そして、この変位に基づいて、ポインタ位置を計算することが可能である。

ここで、加速度センサは、操作ペン２０が静止している時には、高精度で操作ペン２０の傾きを検出できるが、操作ペン２０を動かしているときと、操作ペン２０が垂直に近い場合は傾きを正確に検出できない。また、ジャイロセンサは動きに対する精度は高いが、動きの累積に基づく相対値としてポインタ座標を計算する場合、長時間ジャイロセンサの値による計算を続けると、誤差が蓄積する。

そこで、角速度センサが検出した値と、加速度センサが検出した値とを考慮してポインタ座標を計算してもよい。

（１）操作ペン２０を静止している場合は加速度センサで基準となる値（基本姿勢）を取得する。

（２）操作ペン２０を動かしているときと、操作ペン２０が垂直に近いときには、加速度センサによる影響を弱め、ジャイロセンサによる相対計算を主に行う。

（３）再び操作ペン２０が静止した場合は、加速度センサで基準となる値（基本姿勢）を取得する。

この場合、基本姿勢からの相対位置に基づいてポインタ座標を計算し、操作ペン２０の静止時に基本姿勢を取得し直すことで、精度の高いポインタ座標の計算が可能である。

つづいて、表示装置１０の回転角度がピン切替角度になっているかを判定する（ステップＳ１１４）。ここで、ピン切替角度は、ポインタの表示からピンの表示に切り替わる角度であり、好ましくは略１８０度である。また、このピン切替角度は所定の範囲を示しても良い。例えば、１７５度〜１８５度のように示しても良い。すなわち操作者側からみて、下側になる角度が好ましい。

したがって、テーブルディスプレイのように、四方向に操作者がいる場合は、それぞれの操作者が下方向となればよい。例えば、操作者がそれぞれ利用している操作ペン２０が下向きとなるように、操作者側を向く方向、すなわち操作ペン２０の操作ボタンが下向きになる角度である略１８０度となればよい。

なお、操作ペン２０の角度は、操作ペン毎に算出可能であるが、表示制御装置１５がそれぞれ絶対的な角度として算出してもよい。具体的には、上側にいる操作者は０度、右側にいる操作者は９０度、下側にいる操作者は１８０度、左側にいる操作者は２７０度と、それぞれ設定されてもよい。

このピン切替角度は、換言すれば、操作ペン２０に設けられた操作ボタンが下向きになる位置である。したがって、本実施形態のように、表示装置１０が正立している状態では、下方向の角度となり、略１８０度となる。以下、ピン切替角度は略１８０度として説明する。

回転角度が略１８０度でなければ、ポインタ座標の位置にポインタ（画像）を表示する（ステップＳ１１４；Ｎｏ→；ステップＳ１１６）。回転角度が略１８０度の場合は、ポインタの画像をピン（ピン画像）に切り替えて、ポインタ座標の位置にピン（ピン画像）を表示する（ステップＳ１１４；Ｙｅｓ→ステップＳ１１８）。

これにより、表示画面に表示されたコンテンツ等の上にポインタ画像又はピン画像が重畳表示されることとなる。

つづいて、操作ペン２０からセンサ情報を受信し、操作ボタンが選択状態であるかを判定する（ステップＳ１２０→ステップＳ１２２）。操作ボタンが選択状態である場合は、ステップＳ１０８に戻り処理を繰り返し実行する（ステップＳ１２２；Ｙｅｓ→ステップＳ１０８）。

すなわち、操作ボタンが選択されている状態が続いている場合は、操作ペン２０から受信したセンサ情報に基づき、ポインタ画像又はピン画像を、操作ペン２０の動作に連動して表示し続ける。

図３のステップＳ１２２でボタンが選択状態でない場合（選択状態が解除された場合）は、再度、操作ペン２０の操作ボタンが選択されたかを判定する（図３ステップＳ１２２；Ｙｅｓ→図４ステップＳ１２４）。

操作ボタンが再度選択された場合は、ポインタ画像が表示されているか否かを判定する（ステップＳ１２４；Ｙｅｓ→ステップＳ１２６）。ポインタ画像が表示されていれば、方向ポインタの先端位置の座標にクリックの割込を発生させる（ステップＳ１２６；Ｙｅｓ→；ステップＳ１２８）。すなわち、ポインタ画像の先端位置で、項目やリンクといったものを選択することができる。

ピン画像が表示されている場合、ピン画像が表示されている位置（ピン位置）に、ピン画像を固定する（ステップＳ１２６；Ｎｏ→ステップＳ１３０）。その後、ポインタ（ピン）画像を消去する（ステップＳ１３２）。

また、操作ペン２０のボタンが選択されない場合は、ポインタ消去時間経過したか否かを判定する（ステップＳ１２４；Ｎｏ→ステップＳ１３４）。ポインタ消去時間経過した場合はポインタを消去する（ステップＳ１３４；Ｙｅｓ→；ステップＳ１３２）。

ポインタ消去時間を経過しない場合は、ステップＳ１２４へ戻る（ステップＳ１３４；Ｙｅｓ→；ステップＳ１２４）。ポインタ消去時間としては、好ましくは１〜２秒程度であるが、設定により長くても短くても良い。すなわち、所定時間経過後に消滅することが好ましいが、操作ボタンの選択が解除したタイミングで消去してもよいし、消去しなくてもよい。

なお、上述した実施形態は、回転角度が略１８０度となった場合（操作ペン２０が切替角度である場合）は、ピン表示に切り替わり、それ以外についてはポインタ表示されることとして説明したが、一度ピン表示に切り替わった場合は、そのままピン表示の状態を維持してもよい。すなわち、一度、図３のステップＳ１１４でＹｅｓに遷移し、ピン表示に切り替わると、それ以降はピンが消去されるまで、ピン表示のままであってもよい。

また、ステップＳ１１４において、切替角度は略１８０度と１つの場合について説明したが、第１切替角度、第２切替角度の２つの切替角度を有していても良い。例えば、第１切替角度（略１８０度）でピン表示に切り替わるが、ポインタ表示を再度表示するには第２切替角度（略１５０〜略２１０度）に該当したか否かを判定する。

これにより、ピン表示とポインタ表示とを、短い時間で切り替えるといったことを防ぐことが可能となる。

［１．４ 動作例］
本実施形態の動作例を、図を参照して説明する。図５は、ポインタの表示例である。図５（ａ）に示した画面例は、表示画面Ｗ１００に、位置ポインタＰ１００と方向ポインタＰ１０２とによって構成されるポインタを表示している。この状態で、操作者が操作ペン２０を反時計回り方向へ回転させると、方向ポインタＰ１０２は位置ポインタＰ１００の周囲を沿ってＰ１方向へ旋回し移動する。同様に、操作ペン２０を時計回り方向へ回転させると、方向ポインタＰ１０２は位置ポインタＰ１００の周囲を沿ってＰ２方向へ旋回し移動する。

操作ペン２０を上下左右に移動させれば、その移動に伴ってポインタも移動する。また、移動と回転の操作を組み合わせて操作することも可能である。例えば、図５（ｂ）の表示画面Ｗ１１０に示すように、ある時点においてポインタがＰ１１０に表示されていたとする。この後、操作ペン２０を左下から右上へ移動させ、反時計回り方向へ回転させた場合は、ポインタはＰ１１２に示すように表示される。すなわち、移動の操作によってポインタがＰ３ａ方向へ移動し、回転の操作によって方向ポインタがＰ３ｂ方向へ移動する。

図６は、操作者が操作ペン２０を左に回し、操作ペン２０を略床方向に回転させた場合である。

はじめに、図６（ａ）に示すように、表示画面Ｗ１２０には、点線で示した位置に方向ポインタが表示されていたとする。この状態から、操作者が操作ペン２０を左に回すことにより、表示画面Ｗ１２０に表示された方向ポインタはＰ３方向へ移動して、下向きに表示される位置に移動する。

このとき、操作ペン２０が略床方向に回転させられたとしてポインタ画像からピン画像へ表示を切り替える。したがって、図６（ｂ）の表示画面Ｗ１３０のポインタ位置には、Ｐ１３０で示すようなピン画像が表示される。このように、ポインタの代わりにピン画像を表示することで、操作者にピンを固定できる状態に変更したことを視認させることができる。

図７は、表示画面Ｗ１４０に、ピンをＭ１４０及びＭ１４２の位置に固定し、ポインタＰ１４０を表示している画面の例である。本実施形態においては、図３及び図４で示した動作により、ピンは１又は複数のピン位置で固定することができ、固定された位置にピンは、表示画面に表示し続けられる。

上述のように、操作者は操作ペン２０の操作によって、ポインタを表示したり、ピンを固定したりすることができる。ポインタは操作ペン２０の移動操作、回転操作に連動して、位置ポインタと方向ポインタが表示されるため、注目すべき箇所を直感的に示すことができる。また、ピンを固定する操作によりピンが表され続けるため、ポインタの操作と組み合わせて、閲覧者に注目すべき点を適切に示すことが可能となる。

本実施形態において、位置ポインタ画像は丸としている。丸自体には方向を示す要素がないため、位置を示すものとして受け入れられやすいと考えられる。また、位置ポインタは操作ペン２０を回転させても表示が変わることなく、方向ポインタのみが位置ポインタの周囲に沿って回転するため、安定感がある。

ポインタやピンはある程度の大きさで表示することにより、マウスポインタやレーザーポインタを用いて注目すべき箇所を示す場合に比べて視認性がよい。また、方向ポインタで位置を表示することができるため、どの方向に注目すべきかを示すことが可能である。

なお、本実施形態の画面例の図である図７において、固定されたピンであるピンＭ１４０とＭ１４２とを同じ画像で表示させているが、ピンを固定した順番が分かるように、固定順を表す数字をピン画像に重ねて表示してもよい。固定順を表示することで、どの順番に注目する箇所を追えばよいかが明確に表現することができる。

［２．第２実施形態］
第２実施形態について説明する。第２実施形態は、表示装置１０が複数の操作ペン２０のセンサ情報を受信する実施形態である。第２実施形態における表示装置１０、表示制御装置１５、操作ペン２０、受信装置３０の機能構成と処理の流れは、第１実施形態と同一であるため、その説明を省略する。

ここで操作ペン２０がセンサ情報を送信する場合は、センサ情報に操作ペン２０の識別情報を含めるものとする。また、送信されたセンサ情報がどの操作ペン２０によるものかは、ペン識別部１４０によって識別される。

また、図３に示した処理の流れのうち、ステップＳ１０２及びステップＳ１２０で受信するセンサ情報は、操作ペン２０毎に識別し、操作ペン２０毎に、ポインタ座標の計算、ポインタの表示、クリックの発生、ピンの表示、ピンの固定を行う。

図８に画面例を示す。表示画面Ｗ２００には、２つのポインタＰ２００とＰ２０２とが表示されている。また、ポインタＰ２００及びＰ２０２の位置ポインタの中央には識別表示として、操作ペン毎に割り当てられた数字を表示している。このように、操作ペン２０毎に、ポインタの表示方法を変え、操作者が識別表示（数字）を認識することで、操作者は自分が操作しているポインタを認識することができる。

位置ポインタに表示する番号は、操作ペン２０毎に固有の数字であってもよいし、ポインタを表示させた順番に付与した数字であってもよい。また、ポインタの識別表示は、上述した表示以外にも、位置ポインタに特有の絵（アイコンやプロフィール写真）を表示してもよいし、ポインタの配色を変えてもよい。また、識別表示は、位置ポインタに表示させているが、方向ポインタに表示したり、ポインタの近傍に識別表示をしたりしてもよい。

また、ピン画像も操作ペン２０毎に固有の配色を施したピン画像としてもよいし、形状の異なるピン画像としてもよい。ピン画像を操作ペン２０毎に変えることで、操作者は自分が操作しているピンや、自分が固定したピンを識別することができる。

上述のように、本実施形態によれば、複数の操作者がポインタの操作が可能となる。したがって、注目箇所を示すために、表示装置１０に接続されているマウスなどといった操作装置を共有する必要がなくなり、効率的である。また、複数の操作ペン２０毎にポインタの表示方法を変えることで、複数の操作者が同時に操作ペン２０を操作しても、操作が混乱することを低減させる効果が期待できる。

［３．第３実施形態］
第３実施形態は、ポインタとして方向ポインタのみを表示する実施形態である。すなわち、第１実施形態及び第２実施形態で表示していた位置ポインタの表示を省略し、方向ポインタによって、方向と位置を表現する実施形態である。

第３実施形態は、表示装置１０が複数の操作ペン２０のセンサ情報を受信する実施形態である。第３実施形態における表示装置１０、表示制御装置１５、操作ペン２０、受信装置３０の機能構成と処理の流れは、第１実施形態と同一であるが、ステップＳ１１６のポインタ表示の処理において、ポインタ位置に方向ポインタを表示する点において、第１実施形態と異なる。

図９に画面例を示す。表示画面Ｗ３００には、ある時点において、点線で示した位置に方向ポインタＰ３００が表示されていたとする。この後、操作ペン２０を左下から右上へ移動させ、反時計回り方向へ回転させた場合は、方向ポインタはＰ４方向へ移動し、Ｐ３０２に示すように表示される。

本実施形態では、第１実施形態と比べて、ポインタが占める領域を減らすことができる。特に、多くのポインタが表示される可能性がある場合には、方向ポインタのみを表示することで、ポインタによって隠されてしまうオブジェクト等の面積が減るため、有効的である。

［４．第４実施形態］
つづいて、第４実施形態について説明する。第４実施形態は、上述した実施形態と異なる方法で、ポインタからピンに切り替える実施形態である。第４実施形態における表示装置１０、表示制御装置１５、操作ペン２０、受信装置３０の機能構成と処理の流れは、第１実施形態と同一であるため、その説明を省略する。

上述した実施形態では、ポインタ表示と、ピン表示とを回転角度に応じて切り替えていたが、例えばジェスチャー操作によって切り替えても良い。

いくつか例を説明すると、操作ペン２０を反転（例えば、ペン先とペン後（ペン尻）とを逆に入れ替える）ことにより、ポインタ表示とピン表示とを切り替える。また、操作者が操作ペン２０を回転する速度を所定の閾値（すなわち、通常より速い回転）をした場合にはピン表示に切り替える。また、操作ペン２０を振ることにより、ピン表示と切り替えても良い。

すなわち、ポインタの表示からピン表示に切り替える切替え動作については、種々の動作が考えられる。第１実施形態等においては、操作ペン２０が下向きになったことを切替え動作としていたが、本実施形態のように、他の動作であってもよい。

また、ポインタとピンとは、随時切り替えられても良いし、ピンが表示された場合は、その状態が維持されても良い。例えば、図３のステップＳ１１４において、一度ピン表示（ステップＳ１１８）がなされると、それ以降はピン表示が維持される。すなわち、ピン表示（ポインタ表示）が一度消去されるまで、ピンの状態として表示され続けることとなる。

［５．第５実施形態］
つづいて、第５実施形態について説明する。上述した実施形態では、操作ペン２０の回転に応じて、回転方向を示すポインタが表示されていたが、当該ポインタが表示されず位置ポインタだけ表示されていても良い。

すなわち、ポインタが、操作ペン２０から受信されたセンサ情報に基づき、連動して表示されている。このとき、センサ情報に基づいて、回転角度を算出し、当該回転角度がピンに切り替わる角度であるピン切替角度になった場合に、ピンに切り替えて表示すればよい。

例えば、図３のステップＳ１１６においては、通常の位置ポインタのみを表示する。そして、回転角度が略１８０度となった場合にピン表示に切り替えて表示すればよい。

［６．効果・変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。

デバイスの動きを検出して操作できる電子ポインタにおいて、そのひねり姿勢角度に応じてポインタ画像が回転する場合について考える。ポインタ画像を円とその周囲にひねりによって動く三角を組み合わせたデザインとするとき、さかさま近くにひねると一般的に地点を表すピンの形状に類似する。これをトリガとして、ポインタ画像を完全にピンの形状に変化させ、この状態でスイッチ操作を行うと画面上の指定の点にピン画像を固定できる（ピンを挿す）ようにする。この機能は通常同時に一箇所のみしか指し示すことができないポインタ機能において複数箇所を同時に示すことができる機能であり、その呼び出し方法は画像の類似性やひねりという専用スイッチを用いない方法で、直感的におこなうことができる。

また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置（例えば、ＲＡＭ）に蓄積され、その後、各種ＲＯＭやＨＤＤ、ＳＳＤの記憶装置に格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行なわれる。

また、上述した実施形態は、説明の都合上、それぞれ別に説明している部分があるが、技術的に可能な範囲で組み合わせて実行してもよいことは勿論である。例えば、第２実施形態と第３実施形態とを組み合わせてもよい。具体的には、プレゼンテーションを発表する場において、発表者の操作ペン２０によるカーソルは位置ポインタと方向ポインタとを表示し、閲覧者の操作ペン２０によるカーソルは方向ポインタのみを表示し、それぞれの方向ポインタの配色を変更する。このように発表者と閲覧者とでカーソルの表示を変えることで、発表者が強調したい点と、閲覧者が注目している点とを表示することが可能である。

なお、上述した実施形態では、表示装置の一例として、操作入力が検出可能な据置き型の表示装置を例に説明したが、同様のことが実現可能な装置であれば適用可能なことは勿論である。例えば、プロジェクタを用いてホワイトボードや壁面に表示画面を照射し、当該プロジェクタ又は別体の検出装置によりペン操作を検出することにより実現してもよい。プロジェクタは、壁掛型であってもよいし、机上型であってもよい。すなわち、表示装置には、表示と操作検知とが併せて行える一体型の装置も、表示と操作検知とが異なる別体型の装置も含まれる。

また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。

１０ 表示装置
１００ 制御部
１１０ 表示部
１２０ 操作検出部
１３０ ポインタ処理部
１４０ ペン識別部
１５０ 画像処理部
１６０ 通信部
１７０ 記憶部
１８０ ＵＳＢ接続部
１５ 表示制御装置
２０ 操作装置
２００制御部
２１０ 操作部
２２０ 感圧センサ
２３０ 動作検出部
２４０ 無線通信部
３０ 受信装置
３００ ＲＦ制御部
３１０ ＵＳＢ接続部
３２０ 無線通信部

Claims (8)

1. 装置の変位をセンサ情報として検出するセンサ部と、前記センサ情報を送信する送信部とを備えた操作装置に接続可能な表示制御装置において、
   前記操作装置から前記センサ情報を受信する受信手段と、
   前記センサ情報に基づいて前記操作装置の動きを判定し、判定された前記操作装置の動きと連動してポインタを表示制御するポインタ表示制御手段と、
   前記センサ情報に基づいて前記操作装置の回転角度を算出し、算出された回転角度が切替角度のときに、前記ポインタを表示している位置に識別表示をする制御を行う識別表示制御手段と、
   を備えることを特徴とする表示制御装置。
2. 前記識別表示制御手段は、
   前記回転角度が切替角度になっており、かつ、前記操作装置より選択信号を受信したときに、前記ポインタを表示している位置にピンを固定表示する制御を行うことを特徴とする請求項１に記載の表示制御装置。
3. 前記センサ情報は、前記操作装置の動きを検出するジャイロセンサから出力される情報と、前記操作装置の回転を検出する加速度センサから出力される情報とを含むことを特徴とする請求項１又は２に記載の表示制御装置。
4. 前記切替角度は、略１８０度であることを特徴とする請求項１から３の何れか一項に記載の表示制御装置。
5. 装置の変位をセンサ情報として検出するセンサ部と、前記センサ情報を送信する送信部とを備えた操作装置に接続可能な表示制御装置において、
   前記操作装置から前記センサ情報を受信する受信手段と、
   前記センサ情報に基づいて前記操作装置の動きを判定し、判定された前記操作装置の動きと連動して位置ポインタを表示制御する位置ポインタ表示制御手段と、
   前記センサ情報に基づいて前記操作装置の回転角度を検出し、検出された回転角度に応じて、前記位置ポインタの周囲を旋回するように方向ポインタを表示制御する方向ポインタ表示制御手段と、
   前記方向ポインタが、下方向に向かって表示された場合に、前記位置ポインタを表示している位置にピンを固定表示する制御を行うピン表示制御手段と、
   を備えることを特徴とする表示制御装置。
6. 操作装置に接続可能な表示制御装置において、
   前記操作装置の動きに連動してポインタを表示制御するポインタ表示制御手段と、
   を備え、
   前記ポインタ表示制御手段は、
   前記操作装置の回転操作に応じて、前記ポインタを回転表示し、
   前記ポインタが、操作者側に向かって回転表示されている場合に、前記ポインタを表示している位置に識別表示をする、
   ことを特徴とする表示制御装置。
7. 装置の変位をセンサ情報として検出するセンサ部と、前記センサ情報を送信する送信部とを備えた操作装置に接続可能な表示制御装置における表示方法であって、
   前記操作装置から前記センサ情報を受信する受信ステップと、
   前記センサ情報に基づいて前記操作装置の動きを判定し、判定された前記操作装置の動きと連動してポインタを表示制御するポインタ表示制御ステップと、
   前記センサ情報に基づいて前記操作装置の回転角度を算出し、算出された回転角度が切替角度のときに、前記ポインタを表示している位置に識別表示をする制御を行う識別表示制御ステップと、
   を含むことを特徴とする表示方法。
8. 装置の変位をセンサ情報として検出するセンサ部と、前記センサ情報を送信する送信部とを備えた操作装置に接続可能なコンピュータにおいて実行されるプログラムであって、
   前記コンピュータに、
   前記操作装置から前記センサ情報を受信する受信機能と、
   前記センサ情報に基づいて前記操作装置の動きを判定し、判定された前記操作装置の動きと連動してポインタを表示制御するポインタ表示制御機能と、
   前記センサ情報に基づいて前記操作装置の回転角度を算出し、算出された回転角度が切替角度のときに、前記ポインタを表示している位置に識別表示をする制御を行う識別表示制御機能と、
   を実現せることを特徴とするプログラム。