JP7508517B2 - 情報処理システム、情報処理装置、プログラム、および、制御方法 - Google Patents

Description

本発明は、情報処理システム、情報処理装置、プログラム、および、制御方法を備える入力デバイスの制御に関する。

ハプティックペン（haptic pen）とは、触覚フィードバック機能（haptics feedback）を有するデジタルペンである。デジタルペンは、手書き文字などの情報処理装置への表示および記録に用いられる入力デバイスである。デジタルペンは、電子ペン、スマートペン、スタイラス、などとも呼ばれる。触覚フィードバックは、文字等を表示するタッチパネルへの接触に応じて振動体を振動させることにより実現される。触覚フィードバック機能を備えることで、書き心地の向上が試みられている。ハプティックペンにおいて、筆記具の紙への機械的な接触により生ずる振動を模擬することも試みられている。

例えば、特許文献１には、第１の端部を有するスタイラス本体を含み、第１の端部は、ユーザによって使用されるときに、第１の機能および第２の機能を提供するために構成される対話型スタイラスについて記載されている。対話型スタイラスは、第１の端部と対話型ディスプレイ装置の電極マトリックスとを容量結合させるように、第１の端部を駆動させるように構成されたコントローラをさらに含む。容量結合は、第１の機能に関連し、第２の機能は、明示的なユーザ入力無しに、第１の機能を使用するユーザの意図を自動的に感知することに応じて、無効にされる。対話型スタイラスは、スタイラス本体に含まれ、かつ、第２の機能に関連する触覚アクチュエータをさらに有し、第２の機能を無効にすることは、触覚アクチュエータの動作を阻止することを含む。

特開２０１７－２２８１７３号公報 特開２０１９－１８５３３９号公報

しかしながら、振動を模擬するだけでは、ボールペンなど機械式の筆記具と同様の感覚を再現することは、一般に困難である。筆記の際には、振動以外にも、音などの他の種類の刺激が発生する。ユーザは、これらを総合して書き心地を知覚しているためと考えられる。そのため、ハプティックペンの使用感が向上するとは限らなかった。

本発明は上記の課題を解決するためになされたものであり、本発明の一態様に係る情報処理システムは、情報処理装置と入力デバイスを備え、前記入力デバイスは、振動部を備え、前記情報処理装置は、タッチセンサおよび表示部、を備え、前記タッチセンサと前記表示部が重畳した情報処理システムであって、前記情報処理装置または前記入力デバイスのコントローラが、前記入力デバイスの前記タッチセンサへの接触に応じて、振動成分と音声成分を合成した駆動信号を前記振動部に供給し、前記情報処理装置の音響環境に基づいて前記音声成分の出力特性を定める。

上記の情報処理システムにおいて、前記コントローラは、前記入力デバイスに対する音量設定に従って前記音声成分の強度を定めてもよい。

上記の情報処理システムにおいて、前記コントローラは、消音モードが設定されるとき前記音声成分の出力を停止してもよい。

上記の情報処理システムにおいて、前記情報処理装置は、スピーカを備え、前記コントローラは、前記スピーカからの音量が所定の基準音量を超えるとき前記音声成分の出力を停止してもよい。

上記の情報処理システムにおいて、前記情報処理装置は、周囲の音を収音する収音部を備え、前記コントローラは、前記収音部が収音する音の強度に基づいて前記音声成分の強度を定めてもよい。

本発明の第２態様に係る情報処理装置は、コントローラ、タッチセンサおよび表示部、を備え、前記タッチセンサと前記表示部が重畳し、前記コントローラが、入力デバイスの前記タッチセンサへの接触に応じて、振動成分と音声成分を合成した駆動信号を前記入力デバイスの振動部に供給し、自装置の音響環境に基づいて前記音声成分の出力特性を定める。

本発明の第３態様に係るプログラムは、コンピュータに上記の情報処理装置として機能させるためのプログラムである。

本発明の第４態様に係る制御方法は、情報処理装置と入力デバイスを備え、前記入力デバイスは、振動部を備え、前記情報処理装置は、タッチセンサおよび表示部、を備え、前記タッチセンサと前記表示部が重畳した情報処理システムにおける制御方法であって、前記情報処理装置または前記入力デバイスのコントローラが、前記入力デバイスの前記タッチセンサへの接触に応じて、振動成分と音声成分を合成した駆動信号を前記振動部に供給するステップと、前記情報処理装置の音響環境に基づいて前記音声成分の出力特性を定めるステップと、を実行する。

本発明の実施形態によれば、振動とともに音響環境に応じた音を提示して、入力デバイスの使用感を向上することができる。

本実施形態に係る情報処理システムの外観構成例を示す斜視図である。 本実施形態に係る情報処理システムの概略構成例を示すブロック図である。 本実施形態に係る情報処理システムのハードウェア構成例を示すブロック図である。 本実施形態に係る情報処理システムの機能構成の一例を示すブロック図である。 本実施形態に係る振動発生器の出力特性の一例を示す図である。 本実施形態に係る音声成分の制御方法の第１例を示す図である。 本実施形態に係る音声成分の制御方法の第２例を示す図である。 本実施形態に係る音声成分の制御方法の第３例を示す図である。 本実施形態に係る音声出力制御方法の例を示すフローチャートである。 本実施形態に係る情報処理システムの機能構成の他の例を示すブロック図である。

以下、本発明の実施形態について、図面を参照して説明する。まず、本実施形態に係る情報処理システムＳ１の構成例について説明する。以下の説明では、情報処理装置１がタブレット端末であり、入力デバイス３０が触覚提示機能を有するデジタルペンである場合を主とする。デジタルペンは、ペン形状の操作媒体であり、筆記デバイスとして構成されうる。本願では、デジタルペンを、単に「ペン」と呼ぶことがある。図１は、本実施形態に係る情報処理システムＳ１の外観構成例を示す斜視図である。情報処理システムＳ１は、情報処理装置１と、入力デバイス３０とを備える。

情報処理装置１は、幅および高さよりも厚みが薄い平板状の形状を有する。情報処理装置１は、筐体ＣＳ１を有し、筐体ＣＳ１の一方の主面（以下の説明では、「表面」と呼ぶことがある）にタッチスクリーン２０を有する。タッチスクリーン２０は、筐体ＣＳ１の表面を覆う。タッチスクリーン２０の外周は、筐体ＣＳ１に支持される。筐体ＣＳ１には、情報処理装置１のその他の部材が収容される。

入力デバイス３０は、ユーザに把持され、タッチスクリーン２０の表面に接近または接触しながら移動されることで、文字、記号、図形などのデータ入力または編集に用いられる。タッチスクリーン２０は、表示部２１と、タッチセンサ２２（後述）を備える。表示部２１は、その表面に設置される表示画面ＤＦに各種情報を視認可能に表示する。タッチセンサ２２は、表示部２１の表面に重ねて配置される。タッチセンサ２２は、その表面への入力デバイス３０の入力動作を検出する。情報処理装置１は、入力動作の有無を監視し、入力動作を検出した位置を特定し、入力動作に基づくデータ入力または編集を実行する。情報処理装置１は、例えば、タッチセンサ２２に接触した接触位置の軌跡を表示画面ＤＦに表示させる。

入力デバイス３０は、振動部５５（後述）を備える。情報処理装置１は、自装置の音響環境を検出し、検出した音響環境に基づいて音声成分の出力特性を定める。
情報処理装置１は、例えば、入力デバイス３０に対する音量設定に従って音声成分の強度を定める。情報処理装置１は、自装置と接続し、音声を提示可能とする提示可能デバイスの全てについて一括して音声出力の要否を設定してもよい。その場合、情報処理装置１は、音声出力の要否を入力デバイス３０にも適用する。

次に、本実施形態に係る情報処理システムＳ１の概略構成例について説明する。図２は、本実施形態に係る情報処理システムＳ１の概略構成例を示すブロック図である。情報処理システムＳ１は、情報処理装置１と、入力デバイス３０とを備える。
情報処理装置１は、制御部１０と、タッチセンサ２２と、無線通信部２９とを備える。タッチセンサ２２は、入力デバイス３０の入力動作として、表示画面ＤＦへの接触または一定距離内への接近（ホバリング）を検出するとともに、その位置を特定する。タッチセンサ２２は、検出した接触または接近、および、その位置を示す検出情報を含む入力データを生成し、生成した入力データを制御部１０に出力する。タッチセンサ２２は、入力デバイス３０と接触した位置である接触位置における圧力を接触圧力として検出し、検出した接触圧力の情報を入力データに含めて制御部１０に出力してもよい。タッチセンサ２２は、入力デバイス３０の長手方向の表示画面ＤＦに対してなす角度をペン角度として検出してもよい。タッチセンサ２２は、検出したペン角度の情報を入力データに含めて制御部１０に出力してもよい。

制御部１０は、情報処理装置１の機能全体を制御する。制御部１０は、表示処理部１０２と、音声設定部１０３と、音声処理部１０４と、振動制御部１１０とを備える。
音声設定部１０３は、例えば、表示部２１の表示画面ＤＦ（図１）として音声設定画面（図示せず）を表示させる。音声設定画面は、音声を提示させるための提示用デバイスと音量を設定するための画面である。音声設定画面は、自部に接続され、音声を提示可能とする提示可能デバイスを表し、提示可能デバイスごとに音量調整量を指示するための画面部品が配置される。音量調整量は、音声信号に対する利得に相当する。

音声設定部１０３は、提示可能デバイスごとに音声出力の要否を示す音声提示モードを設定してもよい。音声提示モードには、例えば、通常モード、消音モードなどがある。通常モードは、取得した音声信号に基づいて音声を提示可能とする動作態様である。消音モードは、取得した音声信号に基づく音声を提示しない動作態様である。消音モードは、マナーモードとも呼ばれる。音声提示モードは、情報処理装置１の提示可能デバイス共通に設定されてもよい。

音声設定部１０３は、例えば、タッチセンサ２２からの入力データに基づいて提示可能デバイスのいずれかを提示用デバイスとして選択し、提示用デバイスに対する音量調整量を設定する。提示可能デバイスとして、例えば、スピーカ２６（後述）と入力デバイス３０が含まれる。音声設定部１０３は、選択した提示用デバイスと音量調整量を示す音声設定情報を音声処理部１０４に出力する。音声設定情報には、音声提示モードの情報が含まれてもよい。
音声設定部１０３は、情報処理装置１の提示可能デバイス共通の消音モードを、個々の提示可能デバイスに対する音声提示モードよりも優先して適用してもよい。即ち、提示可能デバイス共通の音声提示モードとして消音モードが設定される場合には、提示用デバイスとしての入力デバイス３０に対する音声設定情報として消音モードが通知される。

音声設定部１０３は、提示用デバイスとして入力デバイス３０が選択されるか否かに関わらず、入力デバイス３０に対する音量調整量を設定可能としてもよい。入力デバイス３０は、提示可能デバイスとして選択されるか否かに関わらず、タッチセンサ２２への接触に応じて接触音を生成可能とすることは許容されうる。入力デバイス３０に対する音量調整量が設定される場合には、音声設定部１０３は、入力デバイス３０に対する音量調整量を示す音声設定情報を入力デバイス３０に無線通信部２９を経由して音響環境情報として出力する。音声設定情報は、情報処理装置１の音響環境を伝達する情報とみなすこともできる。

音声設定部１０３の機能は、例えば、オペレーティングシステム（ＯＳ：Operating System）のデバイス設定ＡＰＩ（Application Programming Interface）関数を実行して実現されうる。音声設定部１０３の機能は、アプリケーションプログラム（application program、本願では、「アプリ」と呼ぶことがある）に従って当該ＡＰＩ関数を呼び出して実現されてもよい。また、本願では、プログラムの実行とは、プログラムに記述された各種の指令で指示される処理を実行するとの意味を含む。

音声処理部１０４は、音声の提示が指示されるとき、音声信号を取得する。音声の提示は、例えば、タッチセンサ２２からの音声再生ボタンの押下を示す入力データにより指示されうる。音声処理部１０４は、次のいずれかの手法を用いて音声信号を取得してもよい：情報処理装置１の外部からの音声信号の入力、予め記憶された音声信号の読み取り、音声信号の合成、等。音声処理部１０４は、音声設定部１０３に係るアプリの機能の一部として実現されてもよい。当該アプリは、例えば、音声通話アプリ、録音再生アプリ、音声合成アプリ、音声配信アプリなどのいずれであってもよい。

音声処理部１０４には、音声設定部１０３から音声設定情報が入力される。音声処理部１０４は、音声設定情報で指示される音量調整量で取得した音声信号の音量を調整する。音声処理部１０４は、音量調整後の音声信号を、音響環境情報で指示される提示用デバイスに出力する。なお、音声設定情報において消音モード（マナーモード）が指示される場合には、音声処理部１０４は、次に消音モードの解除が指示されるまで、取得される音声信号の出力を停止する。

なお、音声設定部１０３は、マイクロホン２５から入力される音声信号の音量を周囲音量として定めてもよい。音声設定部１０３は、定めた周囲音量を示す情報を音響環境情報に含めて入力デバイス３０に無線通信部２９を経由して出力してもよい。
また、音声設定部１０３において提示用デバイスとしてスピーカ２６が選択される場合には、音声処理部１０４は、音量調整後の音声信号を音声設定部１０３に出力してもよい。音声設定部１０３は、音声処理部１０４から入力される音量調整後の音声信号の音量をスピーカ音量として定める。音声設定部１０３は、定めたスピーカ音量を示す情報を音響環境情報に含めて入力デバイス３０に無線通信部２９を経由して出力してもよい。

表示処理部１０２は、タッチセンサ２２からの入力データで指示される入力動作に従ってデータ入力または編集を行う。表示処理部１０２は、例えば、一定時間ごとに入力される入力データで指示される接触位置を特定し、接触位置の時系列を形成する。表示処理部１０２は、形成した接触位置の時系列に基づいて移動軌跡を生成し表示部２１に表示させる。

振動制御部１１０は、タッチセンサ２２からの入力動作を示す入力データに基づいて振動部５５による振動の制御に用いる情報を入力デバイス３０に提供する。振動制御部１１０の機能は、例えば、入力デバイス３０のデバイスドライバを実行して実現されてもよい。
振動制御部１１０は、タッチセンサ２２への接触を示す入力データから、接触位置の情報と接触圧力の情報の一方または両方を振動制御情報として検出する。振動制御部１１０は、検出した振動制御情報を入力デバイス３０に無線通信部２９を経由して出力する。振動制御部１１０は、入力データから表示画面ＤＦ上の入力デバイス３０の接触位置の移動方向と入力デバイス３０の長手方向とのなす角度を方位角として推定してもよい。振動制御部１１０は、例えば、直前の時刻における接触位置から、その時点の接触位置への変位の方向を入力デバイス３０の移動方向として定めることができる。振動制御部１１０は、入力データに示されるペン角度を、その時点における入力デバイス３０の長手方向の向きとして定めることができる。振動制御部１１０は、推定した方位角を示す情報を振動制御情報に含めて入力デバイス３０に出力してもよい。
無線通信部２９は、所定の通信方式を用いて、入力デバイス３０と無線で各種のデータを送受信する。

次に、入力デバイス３０の概略構成例について説明する。入力デバイス３０は、無線通信部３１と、デバイス制御部５０と、振動部５５とを備える。
無線通信部３１は、所定の通信方式を用いて、情報処理装置１と無線で各種のデータを送受信する。
デバイス制御部５０は、入力デバイス３０の機能を統括的に制御する。デバイス制御部５０には、例えば、情報処理装置１から無線通信部３１を用いて音響環境情報と振動制御情報が入力される。デバイス制御部５０は、音響環境情報と振動制御情報を用いて振動部５５を振動させるための駆動信号を合成する（駆動信号合成）。デバイス制御部５０は、合成した駆動信号を振動部５５に出力する。

デバイス制御部５０は、予め設定された基準振動波形情報を参照し、基準振動制御情報に基づいて振動成分を示す振動信号を生成する。基準振動波形情報は、基準となる振動波形を示す情報である。振動成分の特性は、デバイス制御部５０により基準振動制御情報を用いて調整される。デバイス制御部５０は、予め設定された基準音声波形情報を参照し、音声設定情報に基づいて音声成分を示す音声信号を生成する。音声成分の出力特性は、デバイス制御部５０により音響環境情報を用いて調整される。駆動信号の生成例については後述する。

振動部５５は、デバイス制御部５０から入力される駆動信号に従って振動する。振動部５５の振動のうち音声成分は音波を発生させ、音として提示される。振動部５５の振動のうち振動成分は、振動として提示される。

一般に、人間の可聴帯域は２０Ｈｚ－２０ｋＨｚ程度であり、５００Ｈｚ－２ｋＨｚ帯域に対する感度が他の周波数帯域に対する感度より高い。より低い周波数帯域では、感度が低下する。これに対し、人間の触覚は、１０－１００Ｈｚ帯域に対する感度が他の周波数帯域に対する感度より高い。より高い周波数帯域では、感度が低下する。５００Ｈｚ以上の周波数では、ほとんど振動が知覚されない。振動信号は、約２００Ｈｚ以下の低域成分が主となる。これに対し、音声信号は、約２００Ｈｚ以上の高域成分が主となる。

次に、本実施形態に係る情報処理システムＳ１のハードウェア構成例について説明する。図３は、本実施形態に係る情報処理システムＳ１のハードウェア構成例を示すブロック図である。情報処理システムＳ１は、情報処理装置１と、入力デバイス３０とを備える。情報処理装置１は、プロセッサ１１と、メインメモリ１２と、フラッシュメモリ１３と、タッチスクリーン２０と、オーディオシステム２４と、マイクロホン２５と、スピーカ２６と、ベースバンドチップ２７と、第２通信部２８と、無線通信部２９とを備える。

プロセッサ１１は、情報処理装置１全体の機能を制御する。プロセッサ１１として、例えば、１個以上のＣＰＵ（Central Processing Unit）が適用される。プロセッサ１１は、所定のプログラムを実行し、メインメモリ１２と、その他のハードウェアと協働し、制御部１０としての機能を奏する。
メインメモリ１２は、プロセッサ１１の作業領域、即ち、実行プログラム、各種設定データの読み込み領域、プログラムの実行により取得した処理データの書き込み領域として利用される書き込み可能メモリである。メインメモリ１２は、例えば、複数個のＤＲＡＭ（Dynamic Random Access Memory）チップを含んで構成される。実行プログラムには、ＯＳ、周辺機器等を制御するための各種デバイスドライバ、各種サービス／ユーティリティ、アプリ、などが含まれる。

フラッシュメモリ１３には、予めＯＳ、各種デバイスドライバ、各種サービス／ユーティリティ、アプリ、および、各種データを記憶させておく。
表示部２１は、プロセッサ１１から出力される表示データに基づく各種の表示画面を表示する。表示部２１は、例えば、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイなどのいずれであってもよい。

タッチセンサ２２は、接触検出部２２１と、デバイス検出部２２２とを備える。
接触検出部２２１は、表示画面ＤＦに接触した物体（本願では、主に入力デバイス３０）と、その接触位置を検出する。接触検出部２２１は、表示画面ＤＦに接触した物体の接触圧力を検出する。接触検出部２２１は、例えば、静電容量圧力センサである。接触検出部２２１は、接触した物体の傾き、即ち、ペン角度を検出してもよい。接触検出部２２１が３軸の圧力センサである場合には、個々の軸方向の圧力に対する方向余弦を用いてペン角度を特定することができる。

デバイス検出部２２２は、接触には至っていないが、自部に接近した入力デバイス３０とその位置を接近位置として検出する。デバイス検出部２２２は、例えば、電磁誘導センサを備える。電磁誘導センサは、接近により、共振回路ＬＣ１（後述）に生じる交流の誘導磁場を検出する。電磁誘導センサは、その共振周波数における検出した磁場の大きさが一定値を超える位置が存在するか否かにより、入力デバイス３０の接近の有無を検出することができる。電磁誘導センサは、検出した磁場の大きさが一定値を超える位置を入力デバイス３０の接近位置として特定することができる。

オーディオシステム２４は、音声信号に対する処理、入力、出力、記録、再生、符号化、および、復号などの処理を行う。オーディオシステム２４は、例えば、オーディオＩＣ（Integrated Circuit）を備える。オーディオシステム２４には、マイクロホン２５とスピーカ２６が接続されている。オーディオシステム２４には、プロセッサ１１、マイクロホン２５またはベースバンドチップ２７から音声信号が入力されうる。オーディオシステム２４は、自部に記録した音声信号を読み出す。オーディオシステム２４は、取得した音声信号をスピーカ２６またはプロセッサ１１に出力することができる。プロセッサ１１に出力された音声信号は、ベースバンドチップ２７を経由して第２通信部２８、または、無線通信部２９を経由して入力デバイス３０に出力されうる。

マイクロホン２５は、自部に到来する音を収音し、収音された音の音声信号をオーディオシステム２４に出力する。
スピーカ２６は、オーディオシステム２４から入力される音声信号に基づいて音を提示する。

ベースバンドチップ２７は、第２通信部２８を用いた通信を制御するための専用ＩＣである。ベースバンドチップ２７は、例えば、４Ｇ（第４世代無線通信システム）、５Ｇ（第５世代無線通信システム）などの公衆無線通信システム、ＩＥＥＥ８０２．１１に規定された構内無線通信ネットワークなどを用いた通信を実現する。ベースバンドチップ２７は、プロセッサ１１からの制御に従い、第２通信部２８を用いて通信ネットワークを経由した他の機器と各種のデータを送受信可能に接続し、各種のデータを送受信する。

第２通信部２８は、無線通信ネットワークと接続するための無線通信モジュールである。第２通信部２８は、電波を送受信するアンテナを備える。
無線通信部２９は、入力デバイス３０と無線データを送受信するための無線通信モジュールである。無線通信部２９は、通信方式として、例えば、ＩＥＥＥ８０２．１５．１に規定された無線ＰＡＮ（Personal Area Network）方式を用いることができる。

入力デバイス３０は、径よりも長さの方が大きい細長の形状を有する操作媒体である。入力デバイス３０は、無線通信部３１と、ＭＣＵ３２と、振動部５５と、共振回路ＬＣ１とを備える。
無線通信部３１は、情報処理装置１の無線通信部２９と無線データを送受信するための無線通信モジュールである。

ＭＣＵ（Micro Controller Unit）３２は、入力デバイス３０の機能を統括的に制御する。ＭＣＵ３２は、プロセッサと、ＲＯＭやＲＡＭなどのメモリと、各種の入出力インタフェースを備える。ＭＣＵ３２は、情報処理装置１とは独立に稼働する。ＭＣＵ３２は、所定のプログラムを実行して、上記のデバイス制御部５０としての機能を奏する。
ＭＣＵ３２には、情報処理装置１から無線通信部３１を用いて音声設定情報と振動制御情報が入力される。ＭＣＵ３２は、音声設定情報と振動制御情報の一方または両方を用いて駆動信号を合成する。ＭＣＵ３２は、合成した駆動信号を振動部５５に出力する。

振動部５５は、ＤＡＣ３３と、アンプ３４と、振動発生器３５とを備える。
ＤＡＣ（Digital-to-Analog Converter）３３は、ＭＣＵ３２から入力されるディジタルの駆動信号をアナログの駆動信号に変換する。ＤＡＣ３３は、変換されたアナログの駆動信号をアンプ３４に出力する。
アンプ（amplifier）３４は、ＤＡＣ３３から入力される駆動信号の振幅を調整し、振幅を調整した駆動信号を振動発生器３５に出力する。
振動発生器３５は、アンプ３４から入力される駆動信号に従って振動を発生するアクチュエータである。振動発生器３５は、例えば、ピエゾ素子などの圧電振動子を備える。

共振回路ＬＣ１は、一定の共振周波数で共振する電流を生ずる電気回路である。共振回路ＬＣ１は、例えば、コイルとキャパシタを直列に接続して構成される。共振回路ＬＣ１は、自身が発生した交流電流により、その共振周波数で極性が変動する磁場を発生させる。発生した磁場によりタッチセンサ２２のデバイス検出部２２２により入力デバイス３０の接近が検出される。

次に、本実施形態に係る情報処理システムＳ１の機能構成例について説明する。
図４は、本実施形態に係る情報処理システムＳ１の機能構成例を示すブロック図である。図４の例では、図２、図３との差異点を主として説明する。図２、図３との共通点につては、共通の符号を付し、特に断らない限り、上記の説明を援用する。

情報処理システムＳ１は、情報処理装置１と、入力デバイス３０とを備える。
情報処理装置１は、制御部１０と、タッチスクリーン２０と、無線通信部２９と、記憶部４０とを備える。記憶部４０は、例えば、メインメモリ１２とフラッシュメモリ１３により実現される。
制御部１０は、入力処理部１０１と、表示処理部１０２と、音声設定部１０３と、音声処理部１０４と、振動制御部１１０とを備える。
入力デバイス３０は、無線通信部３１と、デバイス制御部５０と、振動部５５と、を備える。

入力処理部１０１は、タッチセンサ２２からの入力を制御する。入力処理部１０１の機能は、例えば、プロセッサ１１によるタッチセンサ２２のデバイスドライバの実行により実現される。入力処理部１０１は、タッチセンサ２２から入力される入力データをＯＳの指令に従って振動制御部１１０に出力する。

入力デバイス３０は、デバイス制御部５０において振動制御部５１０を備える。
振動制御部５１０は、上記のように無線通信部３１を用いて入力される音響環境情報と振動制御情報に基づいて振動部５５の振動を制御する。振動制御部５１０は、振動制御情報によりタッチセンサ２２への接触が通知されるとき音声成分と振動成分を含む駆動信号を生成する。振動制御部５１０は、生成した駆動信号を振動部５５に出力する。

振動制御部５１０は、振動制御情報で伝達されるタッチセンサ２２への接触状態に基づいて駆動信号全体の出力特性を制御する。振動制御部５１０は、例えば、接触状態として接触位置の情報が含まれる場合、接触位置の移動速度が高いほど振動成分または駆動信号全体の振幅を大きくする。振動制御部５１０は、接触状態として接触圧力の情報が含まれる場合、接触圧力が高いほど振動成分または駆動信号全体の振幅を大きくしてもよい。振動制御部５１０は、音響環境情報で入力デバイス３０に対する音量調整量（ペン音量）の情報が含まれる場合、その音量調整量に基づいて音声成分の音量を調整してもよい。また、振動制御部５１０は、音響環境情報に音声提示モードとして消音モードを示す情報が含まれる場合、音声成分の出力を停止する。音声成分の出力を停止するとき、駆動信号を出力する前に、振動制御部５１０は、駆動信号に音声成分を含めず振動成分を含める。

振動制御部５１０は、音響環境情報にスピーカ音量を示す情報が含まれる場合には、そのスピーカ音量に基づいて音声成分の出力特性を制御してもよい。例えば、スピーカ音量が所定のスピーカ音量の基準音量よりも大きい場合、振動制御部５１０は、音声成分の出力を停止する。
振動制御部５１０は、音響環境情報に周囲音量を示す情報が含まれる場合には、その周囲音量に基づいて音声成分の出力特性を制御してもよい。例えば、周囲音量が所定の周囲音量の基準音量よりも大きい場合、振動制御部５１０は、音声成分の出力を停止する。

次に、本実施形態に係る振動発生器３５の出力特性の一例を示す。図５は、本実施形態に係る振動発生器３５の出力特性の一例を示す図である。図５の横軸、縦軸は、それぞれ周波数（Ｈｚ）と振幅（Ｇｍｒｓ：実効加速度）を示す。振幅として、周波数ごとの一定の駆動電力に対して振動発生器３５に生ずる実効加速度の振幅が示される。振幅の値が大きいほど振動部５５が効率よく振動することを示す。振幅は、概ね１００Ｈｚにおいて極大となる。１００Ｈｚよりも周波数が低い低域では、周波数が低いほど振幅が小さくなり、より周波数が高い高域では、周波数が高いほど振幅が小さくなる。但し、高域における振幅の低下は、低域よりも緩やかである。このことは、主に音声として知覚され、振動として知覚されない高域において音声の提示が可能であることを示す。振動制御部５１０は、主に高域の出力特性の振幅を調整して音声成分の出力特性を制御することができる。

次に、音声成分の制御方法の例について説明する。図６は、本実施形態に係る音声成分の制御方法の第１例を示す図である。
第１例では、振動制御部５１０に予め基準波形信号と制御テーブル（図示せず）を設定しておく。基準波形信号は、振動成分と音声成分を含む時系列の信号である。振動制御部５１０は、可変フィルタと可変アンプを備える。制御テーブルには、可変フィルタのフィルタ係数と音声成分の出力特性との対応関係を示す情報と、移動速度と接触圧力のセットと利得との対応関係を示す情報を予め設定しておく。

振動制御部５１０は、駆動信号を生成する際、設定された基準波形信号を読み取り、可変フィルタに供給する。振動制御部５１０は、制御テーブルを参照し、音響環境情報で通知される出力特性に対応するフィルタ係数を定め、定めたフィルタ係数を可変フィルタに設定する。可変フィルタからは、設定された出力特性を有するように音声成分が調整された波形を示す音声調整信号が可変アンプに出力される。

振動制御部５１０は、振動制御情報で通知される接触状態に基づいて接触位置の移動速度と接触圧力を特定する。振動制御部５１０は、制御テーブルを参照し、特定した移動速度と接触圧力のセットに対応する利得を定め、定めた利得を可変アンプに設定する。可変フィルタからは、設定された利得で振幅が調整された駆動信号が振動部５５に出力される。

次に、音声成分の制御方法の例について説明する。図７は、本実施形態に係る音声成分の制御方法の第２例を示す図である。
第２例では、振動制御部５１０には、制御テーブル（図示せず）を設定しておくとともに、音声波形を示す音声信号と振動波形を示す振動信号を取得する。
振動制御部５１０は、基準波形に対する可変フィルタに代え、音声波形、振動波形のそれぞれに対し、音声成分用の可変抵抗素子（以下、「音声用可変抵抗素子」と呼ぶ）と振動成分用の可変抵抗素子（以下、「振動用可変抵抗素子」と呼ぶ）と加算器を備える。制御テーブルには、音声用可変抵抗素子の抵抗値と音声成分の出力特性との対応関係を示す情報と、振動用可変抵抗素子の抵抗値と音声成分の出力特性との対応関係を示す情報と、移動速度と接触圧力のセットと利得との対応関係を示す情報を含めておく。振動用可変抵抗素子の抵抗値と音声成分の出力特性との対応関係を示す情報は必須ではないが、駆動信号における音声成分の相対的な比率を調整することを目的に設定されてもよい。

振動制御部５１０は、制御テーブルを参照し、音響環境情報で通知される出力特性に対応する音声用可変抵抗素子、振動用可変抵抗素子それぞれに対する抵抗値を特定し、それぞれ特定した抵抗値を音声用可変抵抗素子、振動用可変抵抗素子に設定する。振動制御部５１０は、取得した音声信号と振動信号を、それぞれ音声用可変抵抗素子と振動用可変抵抗素子に出力する。振動制御部５１０は、音声用可変抵抗素子と振動用可変抵抗素子から、それぞれ振幅が調整された音声信号と振幅信号を加算器に出力する。

加算器は、入力された音声信号と振幅信号を加算して駆動信号を生成し、生成した駆動信号を可変アンプに出力する。
振動制御部５１０は、第１例と同様に、制御テーブルを参照して、可変アンプに利得を設定し、可変アンプを用いて駆動信号の利得を調整する。
なお、第２例では、音声用可変抵抗素子と振動用可変抵抗素子に代え、音声成分用の減衰器もしくはアンプ、および、振動成分用の減衰器もしくはアンプが用いられてもよい。

第２例では、予め振動制御部５１０に設定された基準音声波形信号と基準振動波形信号を処理対象の音声信号と振動信号として用いられてもよい。基準音声波形は、必ずしも筆記の際に筆記具と紙との摩擦により生ずる摩擦音の音声波形には限られず、警告音、その他の通知音が用いられてもよい。また、この構成では音声信号と振動信号の出力特性は、独立して制御可能となる。そのため、振動制御部５１０は、情報処理装置１から入力される音声信号を処理対象の音声信号として用いてもよいし、自部で独自に合成される音声信号を処理対象の音声信号として用いてもよい。入力または合成される音声信号は、音声設定部１０３により提示用デバイスとして入力デバイス３０が出力先として指定されうる。

振動制御部５１０は、独自に振動信号を合成してもよい。振動制御部５１０は、例えば、振動制御情報が方位角の情報を有する場合には、方位角に対応する振動信号を処理対象の振動信号として合成してもよい。その場合、振動制御部５１０には、予め基準波形情報と合成テーブルを記憶させておく。基準波形情報は、予め定めた複数の基準方位角のそれぞれに対する基準波形を示す情報である。基準方位角は、０°から１８０°の間に３個以上設定されていればよい。合成テーブルは、基準方位角ごとの基準波形に対する方位角に対する合成比を示すデータテーブルである。振動制御部５１０は、合成テーブルを参照して、通知された方位角に対する合成比を基準方位角ごとに定める。振動制御部５１０は、定めた合成比を重み係数とする、基準方位角間での振動波形の加重和を振動信号として生成することができる。

次に、音声成分の制御方法の例について説明する。図８は、本実施形態に係る音声成分の制御方法の第３例を示す図である。
第３例では、振動制御部５１０には、制御テーブル（図示せず）を設定しておくとともに、複数通りの駆動信号の波形パターンを予め設定しておく。個々の波形パターンは、少なくとも振動成分を含み、それぞれ音声成分の出力特性が異なる。制御テーブルには、移動速度と接触圧力のセットと利得との対応関係を示す情報が含まれる。制御テーブルには、音声信号の出力特性に関する情報は含まれなくてもよい。

振動制御部５１０は、複数通りの波形パターンのうち、音響環境情報で通知される出力特性に対応する波形パターンを読み出し、読み出した波形パターンに係る駆動信号を可変アンプに出力する。振動制御部５１０は、第１例と同様に、制御テーブルを参照して、可変アンプに利得を設定し、可変アンプを用いて駆動信号の利得を調整する。
なお、振動制御部５１０において、上記の基準波形信号、基準音声波形信号、基準振動波形信号、駆動信号（波形パターン）は、それぞれ所定のファイル形式（例えば、ＷＡＶＥ形式）を有するデータファイルに格納して記憶される。

次に、本実施形態に係る音声出力制御方法の例について説明する。図９は、本実施形態に係る音声出力制御方法の例を示すフローチャートである。
（ステップＳ１０２）入力デバイス３０の振動制御部５１０は、情報処理装置１から入力される音響環境情報を待ち受ける。振動制御部５１０は、音響環境情報に音量調整量の情報が含まれるか否かによりペン音量が設定変更されたか否かを判定する。設定変更されたと判定するとき（ステップＳ１０２ ＹＥＳ）、ステップＳ１０４の処理に進む。設定変更されていないと判定するとき（ステップＳ１０２ ＮＯ）、ステップＳ１０６の処理に進む。
（ステップＳ１０４）振動制御部５１０は、音響環境情報で通知される音量調整量に基づいて音声成分の音量を調整する（ペン音量変更）。

（ステップＳ１０６）振動制御部５１０は、音響環境情報に消音モード（マナーモード）を示す情報が含まれるか否かにより、音声提示モードとして消音モードが設定されたか否かを判定する。消音モードが設定されたと判定するとき（ステップＳ１０６ ＹＥＳ）、ステップＳ１１４の処理に進む。消音モードが設定されていないと判定するとき（ステップＳ１０６ ＮＯ）、ステップＳ１０８の処理に進む。

（ステップＳ１０８）振動制御部５１０は、音響環境情報にスピーカ音量を示す情報が含まれる場合、スピーカ音量が所定の基準音量よりも大きいか否かを判定する。大きいと判定するとき（ステップＳ１０８ ＹＥＳ）、ステップＳ１１４の処理に進む。大きくないと判定するとき（ステップＳ１０８ ＮＯ）、ステップＳ１１０の処理に進む。

（ステップＳ１１０）振動制御部５１０は、音響環境情報に周囲音量を示す情報が含まれる場合、周囲音量が所定の基準音量よりも大きいか否かを判定する。大きいと判定するとき（ステップＳ１１０ ＹＥＳ）、ステップＳ１１４の処理に進む。大きくないと判定するとき（ステップＳ１１０ ＮＯ）、ステップＳ１１２の処理に進む。

（ステップＳ１１２）振動制御部５１０は、音声成分を含む駆動信号を振動部５５に出力する。振動部５５は、駆動信号に含まれる音声成分に基づく音声を提示する（ペン音声出力）。その後、ステップＳ１０２の処理に戻る。
（ステップＳ１１４）振動制御部５１０は、音声成分を含まず、振動成分を含む駆動信号を振動部５５に出力する。振動部５５は、駆動信号に従って振動し、音声の提示が停止される（ペン音声出力停止）。その後、ステップＳ１０２の処理に戻る。

上記の例は、図４に示されるように、入力デバイス３０が振動制御部５１０を備え、情報処理装置１から入力される音響環境情報と振動制御情報に基づいて駆動信号を生成する場合を取得したが、これには限られない。
図１０に例示されるように、情報処理装置１の振動制御部１１０は、音響環境情報と振動制御情報を入力デバイス３０に出力せず、上記の振動制御部５１０と同様の手法で、その音響環境情報と振動信号情報に基づいて駆動信号を生成してもよい。振動制御部１１０には、その処理に用いるパラメータ、その他のデータを予め設定しておく。振動制御部１１０は、生成した駆動信号を入力デバイス３０に無線通信部２９を用いて出力する。入力デバイス３０において、デバイス制御部５０は、情報処理装置１から無線通信部３１を用いて入力される駆動信号を振動部５５に出力する。この例では、入力デバイス３０において、振動制御部５１０が省略されてもよい。

また、上記の例では、情報処理装置１がタブレット端末装置である場合を主としたが、これには限られない。情報処理装置１は、多機能携帯電話機（いわゆる、スマートフォンを含む）、パーソナルコンピュータ、など、タッチスクリーンを用いて情報入力その他の形態の情報通信機器であってもよい。

以上に説明したように、本実施形態に係る情報処理システムＳ１は、情報処理装置１と入力デバイス３０を備える。入力デバイス３０は、振動部５５を備える。情報処理装置１は、タッチセンサ２２および表示部２１、を備え、タッチセンサ２２と表示部２１が重畳する。情報処理装置１または入力デバイス３０のコントローラ（例えば、プロセッサ１１、ＭＣＵ３２のいずれか一方または両方）は、入力デバイス３０のタッチセンサ２２への接触に応じて、振動成分と音声成分を合成した駆動信号を振動部に供給し、情報処理装置１の音響環境に基づいて音声成分の出力特性を定める。
この構成により、情報処理装置１の音響環境に基づいて音声成分の出力特性が定まり、入力デバイス３０への接触に応じて、駆動信号の振動成分に従って振動部が振動するとともに、音声成分に従って音声を提示する。提示される音声の出力特性は、音響環境に基づいて定まる。そのため、タッチセンサ２２への接触に応じて振動する入力デバイス３０の使用感が向上する。

コントローラは、入力デバイス３０に対する音量設定（例えば、音量調整量）に従って音声成分の強度（例えば、振幅）を定めてもよい。
この構成により、入力デバイス３０に対する音量設定に従って、入力デバイス３０に所望の強度で音声を提示させることができる。

コントローラは、消音モード（即ち、マナーモード）が設定されるとき音声成分の出力を停止してもよい。
この構成により、消音モードが設定されるとき入力デバイス３０からの音声の提示が停止される。

情報処理装置１は、スピーカ２６を備え、コントローラは、スピーカ２６からの音量が所定の基準音量を超えるとき音声成分の出力を停止してもよい。
この構成により、スピーカ２６の音量が基準音量よりも大きい入力デバイス３０の音声の提示が停止される。スピーカ２６からの音により、聴取できない、または、困難になる場合、入力デバイス３０からの音声の提示が回避される。

情報処理装置１は、周囲の音を収音する収音部（例えば、マイクロホン２５）を備え、コントローラは、収音部が収音する音の強度に基づいて音声成分の強度を定めてもよい（例えば、基準音量を超える場合、音声成分の出力を停止）。
この構成により、収音部が収音する周囲の音の強度に基づいて定まった強度で入力デバイス３０から音声が提示される。そのため、ユーザは特段の操作を行わずに環境音の音量に対応する音量で入力デバイス３０から提示される音声を聴取することができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。上述の実施形態において説明した各構成は、任意に組み合わせることができる。

Ｓ１…情報処理システム、１…情報処理装置、１０…制御部、１１…プロセッサ、１２…メインメモリ、１３…フラッシュメモリ、２０…タッチスクリーン、２１…表示部、２２…タッチセンサ、２４…オーディオシステム、２５…マイクロホン、２６…スピーカ、２７…ベースバンドチップ、２８…第２通信部、２９…無線通信部、３０…入力デバイス、３１…無線通信部、３２…ＭＣＵ、３３…ＤＡＣ、３４…アンプ、３５…振動発生器、４０…記憶部、５０…デバイス制御部、５５…振動部、１０１…入力処理部、１０２…表示処理部、１０３…音声設定部、１０４…音声処理部、１１０…振動制御部、２２１…接触検出部、２２２…デバイス検出部、５１０…振動制御部

Claims (7)

1. 情報処理装置、入力デバイスおよびスピーカを備え、
   前記入力デバイスは、振動部を備え、
   前記情報処理装置は、タッチセンサおよび表示部、を備え、
   前記タッチセンサと前記表示部が重畳した情報処理システムであって、
   前記情報処理装置または前記入力デバイスのコントローラが、
   前記入力デバイスの前記タッチセンサへの接触に応じて、振動成分と音声成分を合成した駆動信号を前記振動部に供給し、
   前記情報処理装置の音響環境に基づいて前記音声成分の出力特性を定め、
   前記スピーカからの音量が所定の基準音量を超えるとき前記音声成分の出力を停止する
   情報処理システム。
2. 前記コントローラは、
   前記入力デバイスに対する音量設定に従って前記音声成分の強度を定める
   請求項１に記載の情報処理システム。
3. 前記コントローラは、
   消音モードが設定されるとき前記音声成分の出力を停止する
   請求項１に記載の情報処理システム。
4. 前記情報処理装置は、周囲の音を収音する収音部を備え、
   前記コントローラは、
   前記収音部が収音する音の強度に基づいて前記音声成分の強度を定める
   請求項１に記載の情報処理システム。
5. コントローラ、タッチセンサ、表示部およびスピーカを備え、
   前記タッチセンサと前記表示部が重畳し、
   前記コントローラが、
   入力デバイスの前記タッチセンサへの接触に応じて、振動成分と音声成分を合成した駆動信号を前記入力デバイスの１つの振動部に供給し、
   自装置の音響環境に基づいて前記音声成分の出力特性を定め、
   前記スピーカからの音量が所定の基準音量を超えるとき前記音声成分の出力を停止する
   情報処理装置。
6. コンピュータに
   請求項５に記載の情報処理装置として機能させるためのプログラム。
7. 情報処理装置と入力デバイスを備え、
   前記入力デバイスは、１つの振動部を備え、
   前記情報処理装置は、タッチセンサ、表示部およびスピーカを備え、
   前記タッチセンサと前記表示部が重畳した情報処理システムにおける制御方法であって、
   前記情報処理装置または前記入力デバイスのコントローラが、
   前記入力デバイスの前記タッチセンサへの接触に応じて、振動成分と音声成分を合成した駆動信号を前記１つの振動部に供給するステップと、
   前記情報処理装置の音響環境に基づいて前記音声成分の出力特性を定めるステップと、
   前記スピーカからの音量が所定の基準音量を超えるとき前記音声成分の出力を停止するステップと、
   を実行する
   制御方法。

Images