図1は本発明に係る第1の実施例としての触覚入力機能付き携帯電話機100の構成例を示す斜視図である。
この実施例では、入力項目選択用の表示画面に表示されたアイコンの表示位置に基づいて表示画面を振動する振動手段を備え、円状又は楕円状に移動表示されるアイコンの3次元的な表示動作に同期した触覚を操作者に付与できるようにすると共に、円状又は楕円状の軌跡上に予め設定された基準位置にアイコンが到達したとき、当該アイコンの入力を確定できるようにしたものである。
図1に示す携帯電話機100は電子機器の一例であり、触覚機能付きの入力装置90を有している。この入力装置90は、入力項目選択用の表示画面に表示された複数のアイコンICx(x=1〜n)の1つに接触して当該表示画面上で円又は楕円を描くように画面入力操作されるものである。
この例で、携帯電話機100は下部筐体10及び上部筐体20を備え、これらの筐体10及び20間は、回転レンジ機構11によって可動自在に係合されている。この回転レンジ機構によれば、下部筐体10の操作面の一端に設けられた図示しない軸部と、下部筐体10の裏面の一端に設けられた図示しない軸受け部とが回転自在に係合され、上部筐体20は下部筐体10に対して角度±180°の回転自由度を有して面結合されている。
下部筐体10には、複数の押しボタンスイッチ12から成る操作パネル18が設けられる。押しボタンスイッチ12は、「0」〜「9」数字キー、「*」や「#」等の記号キー、「オン」や「オフ」等のフックボタン、メニューキー等から構成される。下部筐体10において、操作パネル面の下方には、通話用のマイクロフォン13が取り付けられ、送話器として機能するようになされる。
また、下部筐体10の下端部には、モジュール型のアンテナ16が取り付けられ、その上端内部側面には、大音響用のスピーカー36aが設けられ、着信メロディ等を放音するようになされる。下部筐体10には、バッテリー16や回路基板17等が設けられ、下部筐体10の裏面にはカメラ34が取り付けられている。
上述の下部筐体10に対して、回転レンジ機構11によって可動自在に係合された上部筐体20には、その表面の上方に通話用のスピーカー36bが取り付けられ、受話器として機能するようになされる。上部筐体20のスピーカー取り付け面の下方には、触覚機能付き入力装置90が設けられる。
図2は、触覚機能付きの入力装置90の構成例を示す概念図である。図2に示す触覚機能付き入力装置90は、入力項目選択用の表示画面に表示された複数のアイコンICxの1つに接触して当該表示画面上で円又は楕円を描くように画面入力操作されるものである。
入力装置90は、長さがLcm程度で、幅がWcm程度の液晶表示ディスプレイから成る表示手段29と、この表示手段29の上方に同等な大きさの入力手段24とが積層されて構成される。入力手段24は検出手段の一例を構成し、アイコンICxの選択接触位置及びアイコン接触移動中の接触位置を検出するようになされる。入力手段24には蓄積電極となる透明電極をマトリクス状に配置したタッチパネルが使用される。タッチパネルは、静電容量シートとしての静電容量方式の入力デバイスである。
入力手段24の下方に配置された表示手段29には、入力手段24から得られる位置情報に基づいてアイコンICxを円状又は楕円状に移動表示するようになされる。位置情報には位置情報及び入力量(力)が含まれる。位置情報はアイコン接触時の位置検出信号S1により得られ、入力量(力)は同アイコン接触時の入力検出信号S2から得られる。
この表示手段29の例えば、裏面の隅には、振動手段の一例となる4個のアクチュエータ25a〜25dが取り付けられ、表示手段29によって移動表示されるアイコンICxの表示位置に基づいて表示画面を振動するようになされる。アクチュエータ25a〜25dは圧電素子から構成される。アクチュエータ25aには制御手段15から振動制御信号Saが供給される。アクチュエータ25bには同様にして振動制御信号Sbが供給され、アクチュエータ25cには振動制御信号Scが供給され、アクチュエータ25dには振動制御信号Sdが各々供給される。振動制御信号Sa〜Sdは、複数の振動パターンを発生するための信号である。
アクチュエータ25a〜25dは、予め準備された複数の表示画面の内容及び当該表示画面中のアイコン毎に異なった触覚を与える複数の振動パターンを発生する。このようにすると、各種アイコンICxをなぞるたびに違った振動モードを触感でき、操作者に対して表示内容の境目や、その種類等を振動パターンの種類によって知らしめることができる。
上述の入力手段24、表示手段29及び4個のアクチュエータ25a〜25dには制御手段15が接続される。制御手段15には記憶手段35が接続され、入力項目選択用の表示画面を、例えば、3次元的に表示するための表示データD4や、当該表示データD4に対応したアイコンICxの選択接触位置及び振動モードに関する制御情報Dc等を表示画面毎に記憶したものである。
制御情報Dcには、表示手段29におけるアプリケーション(3次元的な表示や、各種表示内容)に同期した複数の異なった触覚を発生でき、その触覚を発生せしめる複数の具体的な振動波形、及び、アプリケーション毎の具体的な触覚発生モードを設定するアルゴリズムが含まれる。記憶手段35には、EEPROMや、ROM、RAM等が使用される。
この例で制御手段15は、入力手段24から出力される位置情報に基づいて表示手段29の表示制御及びアクチュエータ25a〜25dの出力制御をする。例えば、制御手段15は、入力手段24から得られる位置検出信号S1及び入力検出信号S2に基づいて記憶手段35から制御情報Dcを読出してアクチュエータ25a〜25dに振動制御信号Sa〜Sdを供給し、表示データD4に対応した振動モードを発生するように制御する。
この例で、制御手段15は、表示画面中のアイコンICxを奥行方向に遠近感を有して3次元的に表示するように表示手段29を表示制御し、アイコンICxが表示画面の奥から手前に近づくに従って、表示画面を低周波数かつ小振幅の振動から、高周波数かつ大振幅の振動を発生するようにアクチュエータ25a〜25dを出力制御する。
例えば、制御手段15は、アイコンICxが表示画面の奥から手前に近づくに従って、表示画面を周波数50Hz乃至100Hz程度であって、振幅5μm乃至20μm程度の小さい振動から、周波数150Hz乃至400Hz程度であって、振幅15μm乃至40μm程度の大きな振動を発生するようにアクチュエータ25a〜25dを出力制御する。このようにすると、円状又は楕円状に移動表示されるアイコンICxの3次元的な表示動作に同期して触覚を変化するようにできる。
次に、触覚入力機能付きの携帯電話機100の内部構成例及び感触フィードバック入力方法について説明をする。図3は、触覚入力機能付き携帯電話機100の内部構成例を示すブロック図である。
図3に示す携帯電話機100は、下部筐体10の回路基板17に各機能のブロックを実装して構成される。なお、図1及び図2に示した各部及び手段と対応する部分は、同一符号で示している。携帯電話機100は、制御手段15、操作パネル18、受信部21、送信部22、アンテナ共用器23、入力手段24、アクチュエータ25a〜25d、表示手段29、電源ユニット33、カメラ34及び記憶手段35を有している。
図3に示す入力手段24は、図2では静電容量方式の入力デバイスを説明したが、カーソリングと選択の機能を区別できるものであれば何でも良く、例えば、抵抗膜方式、表面波弾性方式(SAW)、光方式、複数段方式タクトスイッチ等の入力デバイスであっても良く、好ましくは位置情報と力情報を制御手段15に与えられる構成の入力デバイスであれば良い。上述の入力手段24は操作者30の指30aを介して少なくとも位置検出信号S1および入力量(押圧力)となる入力検出信号S2が入力される。
制御手段15は、A/Dドライバ31、CPU32、画像処理部26及びアクチュエータ駆動回路37を有している。A/Dドライバ31には、入力手段24からの位置検出信号S1および入力検出信号S2が供給される。A/Dドライバ31ではカーソリングとアイコン選択の機能を区別するために位置検出信号S1および入力検出信号S2よりなるアナログ信号をデジタルデータに変換する。この他にA/Dドライバ31は、このデジタルデータを演算処理して、カーソリング入力かアイコン選択情報かを検出し、カーソリング入力かアイコン選択かを区別するフラグデータD3あるいは位置情報D1または入力検出情報D2をCPU32に供給するようになされる。これらの演算はCPU32内で実行してもよい。
A/Dドライバ31にはCPU32が接続される。CPU32はシステムプログラムに基づいて当該電話機全体を制御するようになされる。記憶手段35には当該電話器全体を制御するためのシステムプログラムデータが格納される。図示しないRAMはワークメモリとして使用される。CPU32は電源オンと共に、記憶手段35からシステムプログラムデータを読み出してRAMに展開し、当該システムを立ち上げて携帯電話機全体を制御するようになされる。
例えば、CPU32は、A/Dドライバ31からの入力データD1〜D3を受けて所定の指令データDを電源ユニット33や、カメラ34、記憶手段35、アクチュエータ駆動部37、映像&音声処理部44等のデバイスに供給したり、受信部21からの受信データを取り込んだり、送信部2へ送信データを転送するように制御する。
CPU32には、アクチュエータ駆動部37が接続され、CPU32からの制御情報Dcに基づいて振動制御信号Sa〜Sdを発生する。振動制御信号Sa〜Sdは、正弦波形からなる出力波形を有している。アクチュエータ駆動部37には複数のアクチュエータ25a、25b、25c、25d・・・が接続され、各々の振動制御信号Sa〜Sdに基づいて振動するようになされる。
CPU32にはアクチュエータ駆動部37の他に画像処理部26が接続され、アイコンICxを3次元的に表示するための表示情報D4を画像処理するようになされる。画像処理後の表示情報D4を表示手段29に供給するようになされる。
操作者30は指30aに振動を受けて触感としてCPU32からの機能毎の振動を感じる。また表示手段29の表示内容は操作者の目による視覚により、スピーカー36a、36b等からの放音は、操作者の耳による聴覚により各機能を判断するようになされる。
上述のCPU32には操作パネル18が接続され、例えば、相手方の電話番号を手動入力する際に使用される。表示手段29には上述のアイコン選択画面の他に映像信号Svに基づいて着信映像を表示するようにしてもよい。
また、図3に示すアンテナ16は、アンテナ共用器23に接続され、着呼時、相手方からの無線電波を基地局等から受信する。アンテナ共用器23には受信部21が接続され、アンテナ16から導かれる受信データを受信して映像や音声等を復調処理し、復調後の映像及び音声データDinをCPU32等に出力するようになされる。受信部21には、CPU32を通じて映像&音声処理部44が接続され、デジタルの音声データをデジタル/アナログ変換して音声信号Soutを出力したり、デジタルの映像データをデジタル/アナログ変換して映像信号Svを出力するようになされる。
映像&音声処理部44には大音響用及び受話器を構成するスピーカー36a、36bが接続される。スピーカー36aは、着呼時、着信音や着信メロディ等を鳴動するようになされる。スピーカー36bは、音声信号Sinを入力して相手方の話声30d等を拡大するようになされる。この映像&音声処理部44にはスピーカー36a、36bの他に、送話器を構成するマイクロフォン13が接続され、操作者の声を集音して音声信号Soutを出力するようになされる。映像&音声処理部44は、発呼時、相手方へ送るためのアナログの音声信号Sinをアナログ/デジタル変換してデジタルの音声データを出力したり、アナログの映像信号Svをアナログ/デジタル変換してデジタルの映像データを出力するようになされる。
CPU32には受信部21の他に、送信部22が接続され、相手方へ送るための映像及び音声データDout等を変調処理し、変調後の送信データをアンテナ共用器23を通じアンテナ16に供給するようになされる。アンテナ16は、アンテナ共用器23から供給される無線電波を基地局等に向けて輻射するようになされる。
上述のCPU32には送信部22の他に、カメラ34が接続され、被写体を撮影して、例えば、静止画情報や動作情報を送信部22を通じて相手方に送信するようになされる。電源ユニット33は、バッテリー14を有しており、制御手段15、操作パネル18、受信部21、送信部22、入力手段24、アクチュエータ25a〜25d、表示手段29、カメラ34及び記憶手段35にDC電源を供給するようになされる。
このように、触覚入力機能付きの携帯電話機100によれば、表示手段29と操作者の視覚からみて、奥行き方向以外の2次元において、操作者がタッチしたアイコンの位置情報を直接入力することができ、かつ、操作者の入力操作に応じて、表示手段29が振動する構成とすることができる。また、異なるアプリケーションを使用している際に、そのアプリケーションの操作の意味に応じた異なる複数の振動モードを発生できるようになる。
図4A〜Cは、入力装置90におけるアイコン選択時の位置情報の決定例(円)を示す図である。図4Aは、単位円とアイコンICxの表示軌跡円との関係例を示す図である。
この例では、表示手段29の表示画面上の任意の位置に単位円を設定し、その単位円を基準としたアイコンICxの表示軌跡円を設定する。更に、アイコンICxの表示軌跡円の円周上に基準位置の一例となる入力確定位置を設定する。この入力装置90では、アイコンICxが入力確定位置に到達したとき、そのアイコンICxの入力を確定するようになされる。
図4Aにおいて、Iは半径「1」の単位円であり、表示手段29の表示画面上の任意の位置に設定される。この単位円Iを特定するために、X−Y座標系を設定したとき、単位円IはそのX軸上に点Z(=1)を設定することにより得られる。また、IIは単位円Iを基準としたアイコンICxの表示軌跡円である。この例では半径「3」の場合を例に挙げている。単位円Iの回転中心点Oは一定であり、その位相判別基準となる点Zも一定である。
回転中心点Oは、表示手段29の画面の中心ではなく、その単位円Iを基準としたアイコンICxの表示軌跡円IIの中心である。この表示軌跡円IIの円周上にはアイコンICxが並べられて表示される。回転中心点Oの座標は、(X0,Y0)である。実際の点Oは、X0≠0、Y0≠0である。アイコンICxは時計方向(順方向)回り及び反時計方向(逆方向)回りに回転する場合を前提とする。
PRは入力確定位置であり、表示軌跡円II上であって、例えば、X−Y座標系のX軸上に設定される。この例では、入力確定位置PRにアイコンICxが到達したとき、当該アイコンICxの入力を確定するようになされる。
この例で、単位円Iにおいて、点Zを点Oに対して円運動させる。この際に得られるX及びYの値(XZ−X0、YZ−Y0)の変化量をData1とする。このData1は、X、Yの値として取り扱われ、予め、記憶手段35に記憶され、演算時に、記憶手段35から画像処理部26又はCPU32に読み出される。このData1を使用してアイコンICx選択時の位置情報の決定するようになされる。
ここで表示手段29の表示画面上でアイコンICxが操作者によって選択され、押下接触された位置を入力開始点Aとする。点Aの座標は(XA,YA)であり、Data2によって与えられる。また、回転中心点Oと点Zとの間の線分(半径)の長さをOZとし、回転中心点Oと点Aとの間の線分(半径)の長さをOAとする。この例では、入力開始点Aが検出されたとき、長さOZとOAとの比(OA/OZ)が、(1)式、すなわち、
によって求められる。
この長さの比(OA/OZ)を算出した後、その演算結果にData1を乗算して点Aの座標(XA,YA)、すなわち、アイコンICxの入力開始点Aを示すData2を求める。これにより、点Aの位相を決定するための準備が終了する。
次に、アイコンICxの入力開始点AのData2と(XA−X0,YA−Y0)を比較する。これはX、Y値が共に一致する位相を見出すためである。これにより、点Aの位相を決定することができる。
図4Bは単位円I及び表示軌跡円IIに関する回転角度θとXの値との関係例、図4Cは同様にして回転角度θとYの値との関係例を各々示すグラフである。図4Bにおいて、縦軸はXの値であり、図4Cにおいて、縦軸はYの値であり、横軸はいずれも回転角度(位相)θである。
図4Bに示すData1のグラフは、単位円Iを描画するためのXの値である。Data2のグラフは、アイコンICxの表示軌跡円IIを描画するためのXの値である。図4Cに示すData1のグラフは、単位円Iを描画するためのYの値である。Data2のグラフは、アイコンICxの表示軌跡円IIを描画するためのYの値である。グラフはいずれも正弦波形を示している。このX,Y値に基づくData2に対応する表示情報D4により、操作者が選択したアイコンICxを引きずっている間中、表示軌跡円IIに沿ってアイコンICxを入力確定位置PRまで移動させることができる。
図5A〜Dは、アイコン移動方向の検出例(円)及びパルス波形例を示す図である。この例では、図4A等で入力開始点Aが決定された後に、操作者が表示画面上でアイコンICxを接触したまま時計方向(順方向)又は反時計方向(逆方向)に引きずったかをCPU32で判別するようになされる。
図5Aは、X軸のData2のグラフに方向判別角度θ1、θ2を設定した図である。図5Aにおいて、入力開始点Aを基準して、X軸の+方向(時計方向)には、判定角度θ1が設定される。同様にして、X軸の−方向(反時計方向)にも判定角度θ2が設定される。判定角度θ1は一定であり、アイコンICxを時計方向に移動したか否かを判別する閾値である。この判定角度θ1を越える移動がなされた場合に、図5Cに示すようなパルス信号SP1を1パルスだけ発生するようになされる。
判定角度θ2も一定であり、アイコンICxを反時計方向に移動したか否かを判別する閾値である。この判定角度θ2を越える移動がなされた場合に、図5Dに示すようなパルス信号SP2を1パルスだけ発生するようになされる。この例で、角度θ1=−1×θ2であり、図中、θ1=−θ2=90°の場合を示している。CPU32は、パルス信号SP1、SP2を検出してアイコンICxの移動方向を認識するようになされる。
図5Bは、Y軸のData2のグラフに方向判別角度θ1、θ2を設定した図である。図5Bにおいて、入力開始点Aを基準して、Y軸の+方向(時計方向)には、判定角度θ1が設定される。同様にして、Y軸の−方向(反時計方向)には、判定角度θ2が設定される。上記の位相におけるData2上のX、Y値をそれぞれ時計方向を(Xθ1,Yθ1)とし、反時計方向を(Xθ2,Yθ2)とする。
そして、入力開始点Aから移動が継続されて現在の接触位置に至り、その点をBとし、そのB点の位置座標値を(XB,YB)としたとき、パルス信号SP1の発生条件、つまり、アイコンICxが時計方向へ移動されたことを判別する条件(以下、順方向判別条件という)として、(2)式、すなわち、
XB−X0=Xθ1
YB−Y0=Yθ1 ・・・・・(2)
が与えられる。
また、反対に、パルス信号SP2の発生条件、つまり、アイコンICxが反時計方向へ移動されたことを判別する条件(以下、逆方向判別条件という)として、(3)式、すなわち、
XB−X0=Xθ2
YB−Y0=Yθ2 ・・・・・(3)
が与えられる。上記順又は逆方向判別条件に基づいてアイコンICxが入力点Bに到達した場合は、CPU32は回転処理を実行し、点Bを次の入力開始点として回転検出を実行する。
図5Cは、パルス信号SP1を示す波形図である。図5Cに示すパルス信号SP1は、入力開始点AからアイコンICxを接触したまま時計方向になぞりを開始した場合に発生される信号である。パルス信号SP1のパルス幅は、判別角度θ1を反映して設定される。
CPU32は、パルス信号SP1の立ち上がりに基づいてアクチュエータ25a〜25dや、表示手段29の表示制御を実行する。例えば、入力開始点Aを基準して、入力開始点AからアイコンICxを接触したまま時計方向になぞりを開始した後、入力確定位置PRに近づくにつれて振動を大きくするようにアクチュエータの振動パターンを制御する。選択されたアイコンICxに係る振動が最も大きくなされるのは、入力確定位置PRである。最も小さく振動されるのは、入力確定位置PRから180°反転した位置である。
同様にして、その入力開始点Aから入力確定位置PRに近づくにつれてアイコンICxの表示を大きくするように表示手段29を制御する。選択されたアイコンICxが最も大きく表示されるのは、入力確定位置PRである。最も小さく表示されるのは、入力確定位置PRから180°反転した位置である(接近モード)。
図5Dは、パルス信号SP2を示す波形図である。図5Dに示すパルス信号SP2は、入力開始点AからアイコンICxに接触したまま反時計方向になぞりを開始した場合に発生される信号である。パルス信号SP2のパルス幅は、パルス信号SP1と同じパルス幅に設定される。
CPU32は、パルス信号SP2の立ち上がりに基づいてアクチュエータ25a〜25dや、表示手段29の表示制御を実行する。例えば、入力開始点AからアイコンICxを接触したまま反時計方向になぞりを開始した後、入力確定位置PRから遠ざかるにつれて振動を小さくするようにアクチュエータの振動パターンを制御する。同様にして、入力確定位置PRから遠ざかるにつれてアイコンICxの表示を小さくするように表示手段29を制御する(遠ざかりモード)。
図6A〜Cは、入力装置90におけるアイコン選択時の位置情報の決定例(楕円)を示す図である。図6Aは、単位円とアイコンICxの表示軌跡楕円との関係例を示す図である。
この例では、表示手段29の表示画面上の任意の位置に単位円を設定し、その単位円を基準としたアイコンICxの表示軌跡楕円を設定する。これは、アイコンICxを3次元的に表示するためである。この例でも、アイコンICxの表示軌跡楕円の円周上に基準位置の一例となる入力確定位置PRを設定する。この入力装置90では、アイコンICxが入力確定位置PRに到達したとき、そのアイコンICxの入力を確定するようになされる。
図6Aにおいて、Iは半径「1」の単位円であり、表示手段29の表示画面上の任意の位置に設定される。この単位円Iを特定するために、X−Y座標系を設定したとき、単位円IはそのX軸上に点Z(=1)を設定することにより得られる。また、IIIは単位円Iを基準としたアイコンICxの表示軌跡楕円である。この例では長手方向の半径が「3」で、短手方向の半径が「2」の場合を例に挙げている。単位円Iの回転中心点Oは一定であり、その位相判別基準となる点Zも一定である。
回転中心点Oは、単位円Iを基準としたアイコンICxの表示軌跡楕円IIIの中心である。この表示軌跡楕円IIIの楕円周上にはアイコンICxが遠近感を有して並べられ表示される(図8〜図10参照)。回転中心点Oの座標は、(X0,Y0)である。実際の点Oは、X0≠0、Y0≠0である。アイコンICxは時計方向(順方向)回り及び反時計方向(逆方向)回りに回転する場合を前提とする。この例でも、表示軌跡楕円III上であって、X−Y座標系のX軸上に入力確定位置PRが設定される。この入力確定位置PRにアイコンICxが到達したとき、当該アイコンICxの入力を確定するようになされる。
この例で、入力確定位置PRの付近では、アイコンICxの移動距離を多くするように表示される。入力確定位置PRから180°反転した位置では、アイコンICxの移動距離を少なくするように表示される。これはアイコンICxの遠近感を演出するためである。このような3次元的な表示をする場合に、単位円Iにおいて、点Zを点Oに対して円運動させる。この際に得られるX及びYの値(XZ−X0、YZ−Y0)の変化量をData1としたとき、オフセットデータ(以下Data3という)を演算するようになされる。すなわち、単位円Iを基準としたアイコンICxの表示軌跡楕円IIIは、点Zを中心Oの周りに回転させたときのX,Y値を示すData1に、Data3を乗算したData1’に基づいて入力開始点Aを検出し決定するようになされる。
図6Bは、X及びY軸におけるData3のオフセット内容例を示す図である。横軸は角度θであり、縦軸は倍率である。Data3のグラフによれば、角度(位相)180°で1倍、位相0°で2倍の一次関数的な倍率を設定するようになされる。従って、角度90°及び270度では、倍率が1.5倍となる。
図6Cは、X軸におけるData3の乗算前後のグラフ例を示している。図6Cに示す一点鎖線は、X軸のData3の乗算前のData1のグラフを示している。実線は、Data3の乗算後のXの値を示すData1’のグラフを示している。つまり、X軸についての演算は、Data1’=Data1×Data3である。
図6Dは、Y軸におけるData3の乗算前後のグラフ例を示している。図6Dに示す一点鎖線は、Y軸のData3の乗算前のData1のグラフを示している。実線は、Data3の乗算後のYの値を示すData1’のグラフを示している。つまり、Y軸についての演算は、Data1’=Data1×Data3である。その後の処理については、図4B、C及び図5A〜Dと同様であるため、その説明を省略する。
図7Aは、単位円I及び表示軌跡楕円IIIに関する回転角度θとXの値との関係例、図7Bは同様にして回転角度θとYの値との関係例を各々示すグラフである。図7Aにおいて、縦軸はXの値であり、図7Bにおいて、縦軸はYの値であり、横軸はいずれも回転角度θである。
図7Aに示すData1’のグラフは、単位円IのXの値にData3を演算したものである。Data2のグラフは、アイコンICxの表示軌跡楕円IIIを描画するためのXの値である。図7Bに示すData1’のグラフは、単位円IのYの値にData3を演算したものである。Data2のグラフは、アイコンICxの表示軌跡楕円IIIを描画するためのYの値である。グラフはいずれも正弦波形を示している。
このX,Y値に基づくData2に対応する表示情報D4により、操作者が選択したアイコンICxを引きずっている間中、表示軌跡楕円IIIに沿ってアイコンICxを入力確定位置PRまで移動させることができる。このようにして、表示画面上のアイコンICxの表示軌跡楕円IIIにおける回転角度(位相)θ毎に、その移動量に対応した回転検出アルゴリズムを予め作成することができる。
次に、表示手段29のアイコン選択表示画面P11〜P16の遷移図を参照して入力装置90の動作例を説明する。
図8Aは、表示手段29におけるアイコン選択表示画面(以下単に表示画面ともいう)P11の表示例を示す遷移図である。図8Aに示す表示画面P11には、6個のアイコンIC1〜IC6が表示される。この例では、表示画面の左斜め下方に入力確定位置PRが設定される。この入力確定位置PRに表示されるアイコンICxの入力が確定される。
図8Bは、操作者の指の動きを示す図である。この例で操作者の指は、この時点でまだ表示画面P11に触られておらず非接触状態である。図8Cは、CPU32が認識する位置情報を示す図である。この例で操作者の指は、まだ表示画面P11に触られていないので、未定である。図8Dは、アクチュエータ25a〜25bにおける振動波形例を示す図である。横軸は時間tである。この例で操作者の指は、まだ、表示画面P11に触られていないので、無振動状態である。図8Eは、振動音、つまり、触覚イメージを示す図である。この例で操作者の指は、まだ表示画面P11に触られていないので、触覚無し状態である。
ここで、操作者の指が表示画面P12でアイコンIC2に触れた(単クリックモードが選択された)場合を例に挙げる。図8Bに示す操作者の指の動きによれば、アイコンIC2に例えば0.3秒以上触れることにより、非接触状態から接触状態へ遷移する。このとき、表示画面P12で選択された斜線に示すアイコンIC2の表示色を変えるようにしてもよい。図8Cに示すアイコンIC2の入力開始点、例えば図6Aに示した点Aの位置情報(XA,YA)がCPU32によって検出され認識される。
CPU32は、位置情報(XA,YA)の検出に基づいてアクチュエータ駆動回路37に制御情報Dcを供給する。アクチュエータ駆動回路37は、制御情報Dcに基づいてアクチュエータ25aに振動制御信号Saを出力し、アクチュエータ25bに振動制御信号Sbを出力し、アクチュエータ25cに振動制御信号Scを出力し、アクチュエータ25dに振動制御信号Sdを各々出力する。
アクチュエータ25a〜25bでは振動制御信号Sa〜Sdに基づいて約0.1ms程度振動するようになされる。図8Dに示す振動波形によれば、周波数fx=200Hz、振幅Ax=40μm、回数Nx=1回の振動パターンで振動する。以下[fx Ax Nx]=[200 40 1]と表記する。触覚的には、図8Eに示すようにアクチュエータ25a〜25bの振動と共に「ピッ」という感触が操作者の指に伝搬する(単クリックモード)。
その後、操作者がアイコンIC2に指を触れたまま時計方向になぞりを開始すると、表示手段29は、図8Aに示した表示画面P12から図9Aに示す表示画面P13へ表示遷移するようになされる(接近モード)。この接近モードでは、表示画面P12等において、黒四角点から波線四角点に至るように楕円上の弧をなぞるように指を移動するようになされる。アイコンIC2等の遠近表示制御は、指の移動早さと同期させることが好ましい。
このとき、図9Bに示す操作者の指の動きによれば、アイコンIC2に触れたままであり、接触状態を継続する。図9Cに示した位置情報に関しては、アイコンIC2の入力開始点から次の入力点に移行する。次の入力点は、順方向判別条件に基づいて判定される。この例では、図6Aに示したような次の点Bの位置情報(XB,YB)がCPU32によって検出され認識される。CPU32で接近モードが認識されると、振動モードを設定するフラグを立てるようになされる。振動モードは、入力開始点Aと次の入力点Bとの差分を算出し、この差分値に基づいて設定するようになされる。
CPU32は、入力点Bの位置情報(XB,YB)の検出に基づいて表示画面P13から表示画面P14へ表示遷移するように表示手段29を制御すると共に、アクチュエータ駆動回路37に制御情報Dcを供給する。アクチュエータ駆動回路37は、制御情報Dcに基づいてアクチュエータ25a〜25dに振動制御信号Sa〜Sdを出力する。アクチュエータ25a〜25bでは振動制御信号Sa〜Sdに基づいて振動する。
この例で、図9Dに示す振動波形例によれば、5段階に区分された振動パターンが構成される。第1段階は、周波数fx、振幅Ax及び回数Nxに関して[fx Ax Nx]=[50 10 1]の振動パターンで振動し、第2段階は、[fx Ax Nx]=[100 20 1]の振動パターンで振動し、第3段階は、[fx Ax Nx]=[200 30 1]の振動パターンで振動し、第4段階は、[fx Ax Nx]=[400 40 1]の振動パターンで振動し、第5段階は、[fx Ax Nx]=[500 50 1]の振動パターンで各々連続して振動するようになされる。
触覚的には、図9Eに示すようにアクチュエータ25a〜25bの振動と共に「グッーグッグッグッグッ」という感触が操作者の指に伝搬する。その後、操作者がアイコンIC2の移動を停止して、そのアイコンIC2から指を放すと、図9Aに示した表示画面P14から図10Aに示す表示画面P15へ表示遷移するようになされる。
図10Aに示す表示画面P15には、アイコンIC2から指が放された後にも、わずか時計方向に移動し、その後、図10Bに示す表示画面P16に落ち着く状態を示している。この動作モードを「ブルブルモード」とする。このブルブルモードは、アイコンIC2が振動しているように見せるアニメーション効果を狙ったものである。これは補助的動作なので省略してもよい。
この際の操作者の指の動きによれば、正に、指を放した瞬間に、アクチュエータ25a〜25dが振動パターンに基づいて振動する。図10Dに示す振動波形例によれば、図10Aに示した表示画面P15で時計方向に行き過ぎたアイコンIC2を波線に囲む位置に戻すべく、第1段階で周波数fx、振幅Ax及び回数Nxに関して[fx Ax Nx]=[100 20 1]の振動パターンで振動し、その第2段階で[fx Ax Nx]=[400 40 1]の振動パターンで連続して振動する。触覚的には、アクチュエータ25a〜25bの振動と共に図10Eに示すように「グッグッ」という感触が、当該入力装置90を持つ操作者の手に伝搬する。
また、図10Dに示す振動波形例によれば、図10Aに示した表示画面P16で反時計方向に行き過ぎたアイコンIC2を波線に囲む位置に戻すべく、第1段階で周波数fx、振幅Ax及び回数Nxに関して[fx Ax Nx]=[400 40 1]の振動パターンで振動し、その第2段階で[fx Ax Nx]=[100 20 1]の振動パターンで連続して振動する。
触覚的には、アクチュエータ25a〜25bの振動と共に図10Eに示すように「グッグッ」という感触が、当該入力装置90を持つ操作者の手に伝搬する。なお、図10Cに示す位置情報については、図10Aに示した表示画面P16の波線内にアイコンIC2が停止した時点で入力が確定され、CPU32は、入力情報="1"を入力するようになされる。
図11A及びBは、接近モードで適用する他の振動波形例を示す図である。図11Aは、図9Dで説明した振動波形例である。この例では、図11Aに示す振動波形例に対して各段階における回数Nxを可変設定するようにしたものである。
この例で、図11Bに示す振動波形例によれば、図11Aに示す振動波形例と同様にして5段階に区分された振動パターンから構成される。第1段階は、周波数fx、振幅Ax及び回数Nxに関して[fx Ax Nx]=[50 10 1]の振動パターンで振動し、第2段階は、[fx Ax Nx]=[100 20 2]の振動パターンで振動し、第3段階は、[fx Ax Nx]=[200 30 4]の振動パターンで振動し、第4段階は、[fx Ax Nx]=[400 40 8]の振動パターンで振動し、第5段階は、[fx Ax Nx]=[500 50 10]の振動パターンで各々連続して振動するようになされる。
触覚的には、アクチュエータ25a〜25bの振動と共に図9Eに示したように「グッーグッグッグッグッ」という感触に比べて、より一層、操作者の指に強く伝搬するようになる。
図12は、触覚入力機能付きの携帯電話機100における情報処理例を示すフローチャートである。
この実施例では、予め準備された入力項目選択用の表示画面の中からアイコンIC2を選択して情報を入力する場合を前提とする。入力項目選択用の表示画面に複数のIC1〜IC6等を表示し、ここで表示された表示画面で1つのアイコンIC2の接触を待機し、アイコンIC2が接触された状態で円又は楕円を描くように画面入力操作を受け付け、アイコンIC2の選択接触位置及び移動中の接触位置を検出し、ここで検出された接触位置に基づく位置情報を検出してアイコンIC2を円状又は楕円状に移動表示し、ここで移動表示されるアイコンIC2の表示位置に基づいて表示画面を振動する場合を例に挙げる。
また、入力項目選択用の表示画面P11〜P16の内容及び当該表示画面中のアイコン毎に異なった触覚を与えるための複数の振動パターンは、予め作成され、記憶手段35等に格納される。アイコンIC2は、表示画面P11〜P16等の奥から手前に近づくに従って、表示画面P11〜P16を低周波数かつ小振幅の振動から、高周波数かつ大振幅の振動を発生するようになされる。
更にまた、表示画面P11〜P16を表示するための表示データD4と、当該表示データD4に対応したアイコンIC2の選択接触位置及び振動モードに関する制御情報Dcとを表示画面毎に予め作成し、記憶手段35等に格納される。このようにすると、各種アイコンをなぞるたびに違った振動モードを触感でき、操作者に対して表示内容の境目や、その種類等を振動パターンの種類によって知らしめることができる。
なお、動作モードについては、アイコン選択モードと他の処理モードとが準備され、このモード切り替えに基づいて各種情報処理をするようになされる。他の処理モードには、電話モードやメール作成及び送信表示モードが含まれる。電話モードには、相手方に電話を発信する操作が含まれる。アイコンIC2が電話モードを選択する入力項目である場合を例に採る。
これらを情報処理条件にして、図12に示すフローチャートのステップR1で電源オンを待機する。例えば、CPU32は電源オン情報を検出してシステムを起動する。電源オン情報は通常、時計機能等が稼働し、スリーピング状態にある携帯電話機等の電源スイッチをオンされたときに発生する。
そして、ステップR2に移行してCPU32は、アイコン選択モード又はその他の処理モードに基づいて制御を分岐する。アイコン選択モードとは、アイコン選択表示画面P11等に表示された複数のアイコンIC1〜IC6の中から1つのアイコンIC2を選択する動作をいう。アイコン選択モードが設定された場合は、表示画面中のアイコンIC2が奥行方向に遠近感を有して3次元的に表示され、ステップR3に移行して表示画面P11に接触(タッチ)されたか否かを検出する。
表示画面P11のいずれかにタッチされた場合は、ステップR4に移行して表示画面P11でタッチされたアイコンIC2の入力位置を検出する。このとき、図8Bに示したように操作者の指の動きによれば、アイコンIC2に例えば0.3秒以上触れることにより、非接触状態から接触状態へ遷移する。図8Cに示したアイコンIC2の入力開始点、例えば図6Aに示した点Aの位置情報(XA,YA)がCPU32によって検出され認識される。
アイコン以外の位置にタッチされた場合は、ステップR6に移行して無振動モードを実行する。無振動モードとは、アクチュエータ25a〜25bを動作させない状態を維持する動作をいう。従って、当該携帯電話機100は触覚無し状態である。その後、ステップR7に移行する。
上述のステップR4でアイコンIC2の入力開始位置が検出された場合は、ステップR5に移行して、CPU32は単クリックモードを実行する。この単クリックモードでは、CPU32が位置情報(XA,YA)の検出に基づいてアクチュエータ駆動回路37に制御情報Dcを供給する。アクチュエータ駆動回路37は、制御情報Dcに基づいてアクチュエータ25aに振動制御信号Saを出力し、アクチュエータ25bに振動制御信号Sbを出力し、アクチュエータ25cに振動制御信号Scを出力し、アクチュエータ25dに振動制御信号Sdを各々出力する。
アクチュエータ25a〜25bでは振動制御信号Sa〜Sdに基づいて約0.1ms程度振動するようになされる。図8Dに示した振動波形によれば、周波数fx=200Hz、振幅Ax=40μm、回数Nx=1回の振動パターンで振動する。触覚的には、図8Eに示したようにアクチュエータ25a〜25bの振動と共に「ピッ」という感触が操作者の指に伝搬する。その後、ステップR7に移行する。
そして、ステップR7でそのアイコンIC2の接触状態が引き続いているか否かを判別する。そのアイコンIC2の接触状態が引き続いている場合は、ステップR8に移行して、その入力開始点、例えば、移動後の入力点Bを検出し位置情報を取得する。その後、ステップR9に移行してCPU32は、上述したような位置情報を蓄積処理する。そして、ステップR10に移行して、図5C及びDに示したような1パルスを越える移動が検出されたかを判別する。この判別結果に基づいて、操作者の指の動きが時計(順)方向又は反時計(逆)方向に移動したかにより制御を分岐する。
アイコンIC2をタッチした操作者の指が時計方向に移動した場合は、ステップR12に移行して接近モードを実行する。この接近モードでは、図5Cに示したように、パルス信号SP1の立ち上がりに基づいてCPU32は、アクチュエータ25a〜25dや、表示手段29の表示制御を実行する。例えば、入力開始点Aから入力確定位置PRに近づくにつれてアイコンIC2の表示を大きくするように表示手段29を制御する。選択されたアイコンIC2が最も大きく表示されるのは、入力確定位置PRである。
また、入力開始点Aを基準して、入力開始点AからアイコンIC2を接触したまま時計方向になぞりを開始した後、入力確定位置PRに近づくにつれて振動を大きくするようにアクチュエータの振動パターンを制御する。選択されたアイコンIC2に係る振動が最も大きくなされるのは、入力確定位置PRである。
例えば、図9Dに示したように、5段階に区分された振動パターンによりアクチュエータ25a〜25dが振動制御される。第1段階では、周波数fx、振幅Ax及び回数Nxに関して[fx Ax Nx]=[50 10 1]の振動パターンで振動され、第2段階では、[fx Ax Nx]=[100 20 1]の振動パターンで振動され、第3段階では、[fx Ax Nx]=[200 30 1]の振動パターンで振動され、第4段階では、[fx Ax Nx]=[400 40 1]の振動パターンで振動され、第5段階は、[fx Ax Nx]=[500 50 1]の振動パターンで各々連続して振動するようになされる。触覚的には、図9Eに示したようにアクチュエータ25a〜25bの振動と共に「グッーグッグッグッグッ」という感触が操作者の指に伝搬する。
また、ステップR11でアイコンIC2をタッチした操作者の指が反時計方向に移動した場合は、ステップR13に移行して遠ざかりモードを実行する。遠ざかりモードでは、図5Dに示したパルス信号SP2の立ち上がりに基づいてCPU32は、アクチュエータ25a〜25dや、表示手段29の表示制御を実行する。例えば、入力開始点AからアイコンIC2を接触したまま反時計方向になぞりを開始した後、入力確定位置PRから遠ざかるにつれて振動を小さくするようにアクチュエータの振動パターンを制御する。同様にして、入力確定位置PRから遠ざかるにつれてアイコンIC2の表示を小さくするように表示手段29を制御する。
その後、ステップR7に戻って、そのアイコンIC2の接触状態が引き続いているか否かを判別する。ここで操作者は、アイコンIC2の移動を停止して、そのアイコンIC2から指を放す。その結果、アイコンIC2の接触状態停止が検出され、この場合は、ステップR14に移行して入力を確定する。その後、ステップR16に移行してCPU32は終了判断をする。例えば、電源オフ情報を検出して情報処理を終了する。電源オフ情報が検出されない場合は、ステップR2に戻る。ステップR2で他の処理モードが設定された場合は、ステップR15に移行して通信処理等の他の処理モードを実行する。
例えば、CPU32は、A/Dドライバ31からの入力データD1〜D3を受けて所定の指令データDを映像&音声処理部44に供給したり、受信部21からの受信データを取り込んだり、送信部2へ送信データを転送するように制御する。
CPU32は操作パネル18から、相手方の電話番号を手動入力するようになされる。また、図3に示した下部筐体10に設けられたマイクロフォン13を通して操作者(ユーザ)の声が集音され、その音声信号Soutが映像&音声処理部44に出力される。映像&音声処理部44では、発呼時、相手方へ送るためのアナログの音声信号Sinをアナログ/デジタル変換してデジタルの音声データを出力したり、アナログの映像信号Svをアナログ/デジタル変換してデジタルの映像データを出力するようになされる。
また、映像&音声処理部44にCPU32を介して接続された送信部22では、相手方へ送るための映像及び音声データDout等を変調処理し、変調後の送信データをアンテナ共用器23を通じアンテナ16に供給するようになされる。アンテナ16は、アンテナ共用器23から供給される無線電波を基地局等に向けて輻射するようになされる。
更に、相手方からの無線電波は、基地局等からアンテナ共用器23を通して受信される。受信部21では、アンテナ16から導かれる受信データを受信して映像や音声等を復調処理し、復調後の映像及び音声データDinをCPU32等に出力するようになされる。CPU32は、映像&音声処理部44を制御して、デジタルの音声データをデジタル/アナログ変換して音声信号Soutを出力したり、デジタルの映像データをデジタル/アナログ変換して映像信号Svを出力するようになされる。映像&音声処理部44に接続されたスピーカー36bは、音声信号Sinを入力して相手方の話声等を拡大するようになされる。
その後、ステップR16に移行する。これにより、アイコン選択表示画面P11等に表示された1つのアイコンIC2の選択し、このアイコン選択に基づいて相手方に電話番号を発信したり、相手方を通話できるようになる。
このように、本発明に係る第1の実施例としての触覚入力機能付きの携帯電話機及び情報入力方法によれば、操作者は、アイコン選択表示画面P11等に表示された任意のアイコンIC2の1つに接触して当該表示画面上を円状又は楕円状に移動するように画面入力操作する。これを前提にして、入力手段24は、アイコンIC2の選択接触位置及び移動中の接触位置を検出するようになされる。表示手段29は、入力手段24から得られる位置情報に基づいてアイコンIC2を円状又は楕円状に移動表示する。アクチュエータ25a〜25dは、表示手段29によって移動表示されるアイコンIC2の表示位置に基づいて表示画面を振動するようになる。
従って、円状又は楕円状に移動表示されるアイコンIC2の3次元的な表示動作に同期した振動(触覚)を操作者に与えることができる。また、同一の場所で異なる複数のクリック感(触覚)を発生することができる。これにより、従来例のような視覚及び聴覚と単一種類の触覚ではなく、視覚及び聴覚の2つの間に十分な相関が採れ、それぞれを区別できる多種類の触覚を発生する触覚入力機能を有した携帯電話機100を提供することができる。しかも、円状又は楕円状の軌跡上に予め設定された入力確定位置PRにアイコンIC2が到達したとき、当該アイコンIC2の入力を確定することができ、より豊富な入力操作を行うことができる。
このような構成から、表示手段29とは別の場所に、従来例のようなロータリーエンコーダーやタクトスイッチ等を設ける必要が無くなる。また、入力装置自体の小型化が図れるので、これを組み入れた携帯電話機等の電子機器の小型化及びデザインの自由度を向上させることができる。携帯電話機等において、ボタンに表記する“ラベル表示”や、ボタンを押した際に発生する効果音をなくしても、入力者は自分の意図した入力動作を確認し、実現することができる。
これにより、入力機能として、必要な複数の異なる機能をもつスイッチを同一の場所に集約して設けることができるようになり、部品点数の削減、コストダウンに寄与するところが大きい。
図13〜図15は、第2の実施例に係るメール作成及び送信操作例(その1〜3)を示す遷移図である。
この実施例では、送信ボタンモードが準備され、メール作成及び送信操作時において、操作者が送信ボタンアイコン50等の入力動作をしようとした場合に、視覚的あるいは聴覚的な入力動作に関する情報が無くとも、操作者が意図した入力動作を確認させるような触覚確認機能を実現できるようになされる。ここに送信ボタンモードとは、送信ボタンアイコン”の表示位置をタッチされたか否かを検出し、そのタッチに基づいて所定周波数、振幅及び回数の振動を与えて「送信OK」を触覚で確認させる動作をいう。
本発明に係る第2の電子機器は、メール作成送信画面(以下単に送信画面という)の任意の位置に接触して当該送信画面上で直線を描くように画面入力操作される触覚機能付き入力機能を有している。第2の電子機器は、図3に示した携帯電話機100の内部構成図において、表示手段29の送信画面に送信ボタンアイコンを表示する。検出手段の一例となる入力手段24は、送信画面に接触された操作者の指の位置及びその指の移動中の接触位置を検出するようになされる。CPU32は、入力手段24から得られる位置情報と、表示手段29に表示された送信ボタンアイコンの表示位置とに基づいて送信画面を振動するようにアクチュエータ駆動回路37を制御するようになされる。
この例で、図3に示したアクチュエータ駆動回路37は、“送信ボタンアイコン”の表示位置と同一のタッチ位置の検出があった場合に、周波数fxが300Hz〜500Hz付近の高周波で、振幅Axが15μm〜40μm付近の大きさで、1度に回数Nxが2〜10回程度のサイン波形の振動パターンを発生する。このような振動パターンに基づく振動制御信号Sa〜Sdを発生して、アクチュエータ25a〜25dに出力すると、「本当に送信してもよいか?」を操作者に振動で確認させることができる。
図13Aは、表示手段29におけるメール作成送信画面(以下単に送信画面という)P21の表示例を示す図である。図13Aに示す送信画面P21には、相手先表示領域w1が割り当てられ、相手先の名前や電話番号等が表示される。この相手先表示領域w1の下方には、本文記述領域w2が割り当てられ、相手方へ転送するためのメール文を作成し記述するようになされる。
この表示画面で右下方には、送信ボタンアイコン50が表示される。送信ボタンアイコン50は、本文記述領域w2で作成されたメール文を相手方に送信する際に押下される。なお、送信画面P21において、相手先表示領域w1、本文記述領域w2及び送信ボタンアイコン50の表示領域以外を背景領域w3ということにする。
図13Bは、操作者の指の動きを示す図である。この例で操作者の指は、この時点でまだ送信画面P21に触られておらず非接触状態である。図13Cは、CPU32が認識する位置情報を示す図である。この例で操作者の指は、まだ送信画面P21に触られていないので未定である。図13Dは、アクチュエータ25a〜25bにおける振動波形例を示す図である。横軸は時間tである。この例で操作者の指は、まだ、送信画面P21に触られていないので、無振動状態である。図13Eは、振動音、つまり、触覚イメージを示す図である。この例で操作者の指は、まだ送信画面P21に触られていないので、触覚無し状態である。
この例では、従来方式と同様にして、本文記述領域w2でメール文を作成し、その後、図13Aに示した送信画面P21から送信画面P22に表示画面が遷移し、その後、操作者の指が送信画面P22で本文記述領域w2に触れた(単クリックモードが選択された)場合を例に挙げる。なお、送信画面P22〜P25は同一の内容が表示される。
図13Bに示す操作者の指の動きによれば、本文記述領域w2に例えば0.3秒以上触れることにより、非接触状態から接触状態へ遷移する。図中、斜線に示す四角部分は操作者の指の位置Pxである。また、図13Cに示す本文記述領域w2への入力開始点、例えば図13Cに示した位置Pxの最初の点Aの位置情報(XA,YA)がCPU32によって検出され認識される。
CPU32は、位置情報(XA,YA)の検出に基づいてアクチュエータ駆動回路37に制御情報Dcを供給する。アクチュエータ駆動回路37は、制御情報Dcに基づいてアクチュエータ25aに振動制御信号Saを出力し、アクチュエータ25bに振動制御信号Sbを出力し、アクチュエータ25cに振動制御信号Scを出力し、アクチュエータ25dに振動制御信号Sdを各々出力する。
アクチュエータ25a〜25bでは振動制御信号Sa〜Sdに基づいて約0.1ms程度振動するようになされる。図13Dに示す振動波形によれば、周波数fx=200Hz、振幅Ax=40μm、回数Nx=1回の振動パターンで振動する。以下[fx Ax Nx]=[200 40 1]と表記する。触覚的には、図13Eに示すようにアクチュエータ25a〜25bの振動と共に「ピッ」という感触が操作者の指に伝搬する(単クリックモード)。
その後、操作者が本文記述領域w2に指を触れたまま下部方向になぞりを開始する。このとき、表示手段29は、図13Aに示した送信画面P22と同じ内容で図14Aに示す送信画面P23を表示している(本文モード)。この本文モードでは、送信画面P22等において、黒四角点から送信ボタンアイコン50に向かって直線をなぞるように指を移動される。
図14Bに示す操作者の指の動きによれば、本文記述領域w2に触れたままであり、接触状態を継続する。操作者の指の位置Pxは下方にずれる。図14Cに示した位置情報に関しては、本文記述領域w2の入力開始点から次の入力点に移行する。この例では、次の点Bの位置情報(XB,YB)がCPU32によって検出され認識される。CPU32で本文モードが認識されると、振動モードを設定するフラグを立てるようになされる。振動モードは、入力開始点Aと次の入力点Bとの差分を算出し、この差分値に基づいて設定するようになされる。
CPU32は、入力点Bの位置情報(XB,YB)の検出に基づいて送信画面P23と送信画面P24との内容が変わらないように表示手段29を制御すると共に、アクチュエータ駆動回路37に制御情報Dcを供給する。アクチュエータ駆動回路37は、制御情報Dcに基づいてアクチュエータ25a〜25dに振動制御信号Sa〜Sdを出力する。アクチュエータ25a〜25bでは振動制御信号Sa〜Sdに基づいて振動する。
この例で、図14Dに示す振動波形例によれば、周波数fx、振幅Ax及び回数Nxに関して[fx Ax Nx]=[100 20 4]の振動パターンで振動するようになされる。触覚的には、図14Eに示すようにアクチュエータ25a〜25bの振動と共に「ザラザラ」という感触が操作者の指に伝搬する。
更に操作者の指がなぞり動作を継続する。そして、本文記述領域w2から背景領域w3に移行すべく、本文記述領域w2と背景領域w3との境目を通過する。この境目は、物理的な障壁ではなく、表示上の仕切である。CPU32は、境目の位置情報の検出に基づいてアクチュエータ駆動回路37に制御情報Dcを供給する。アクチュエータ駆動回路37は、制御情報Dcに基づいてアクチュエータ25a〜25dに振動制御信号Sa〜Sdを出力する。アクチュエータ25a〜25bでは振動制御信号Sa〜Sdに基づいて振動する。制御情報Dcは振幅50μm及び振動時間100msの振動パターンを発生させる内容である。触覚上は”カックン”という振動を与えて、あたかも、物理的障壁を乗り越えたように演出される(登り境界モード)。
この境目を通過して背景領域w3に操作者の指が移行し、当該背景領域w3でなぞり動作が更に継続される。CPU32は、入力点E等の位置情報(XE,YE)の検出に基づいて送信画面P23と送信画面P24との内容が変わらないように表示手段29を制御すると共に、アクチュエータ駆動回路37に制御情報Dcを供給する。アクチュエータ駆動回路37は、制御情報Dcに基づいてアクチュエータ25a〜25dに振動制御信号Sa〜Sdを出力する。アクチュエータ25a〜25bでは振動制御信号Sa〜Sdに基づいて振動する。
この例で、図14Dに示す振動波形例によれば、周波数fx、振幅Ax及び回数Nxに関して[fx Ax Nx]=[50 10 2]の振動パターンで振動するようになされる。触覚的には、図14Eに示すようにアクチュエータ25a〜25bの振動と共に「ブゥー」という感触が操作者の指に伝搬する(背景モード)。
その後、操作者の指が図15Aに示す送信画面P25の送信ボタンアイコン50に到達する。このとき、背景領域w3から送信ボタンアイコン50に移行する際に、上述の登り境界モードとは反対の下り境界モードが実行され、それを触感する。更に、操作者の指が送信ボタンアイコン50をなぞることで、送信ボタンモードが実行される。図15Cに示す位置情報については、“送信ボタンアイコン”の表示位置(Xic,Yic)とタッチ位置(Xic,Yic)とが検出され、一致検出がなされる。
“送信ボタンアイコン”の表示位置(Xic,Yic)とタッチ位置(Xic,Yic)とが一致する場合、CPU32は、送信ボタンアイコン50の位置情報(Xic,Yic)の検出に基づいて送信画面P25の表示内容が変わらないように表示手段29を制御すると共に、アクチュエータ駆動回路37に制御情報Dcを供給する。アクチュエータ駆動回路37は、制御情報Dcに基づいてアクチュエータ25a〜25dに振動制御信号Sa〜Sdを出力する。アクチュエータ25a〜25bでは振動制御信号Sa〜Sdに基づいて振動する。
この例で、図15Dに示す振動波形例によれば、周波数fx、振幅Ax及び回数Nxに関して[fx Ax Nx]=[400 40 16]の振動パターンで振動するようになされる。触覚的には、図15Eに示すようにアクチュエータ25a〜25bの振動と共に「ビビビビ」という感触が操作者の指に伝搬する(送信ボタンモード)。
その後、操作者は、指の移動を停止して、その送信ボタンアイコン50から指を放すと、図15Aに示した送信画面P25から送信画面P26へ表示遷移するようになされる。送信画面P26には、送信確認画面P27がポップアップ表示される。送信確認画面P27には、「Really」の文字と共に「本当に送信してもよろしいですか?」の文字情報及び「YES」及び「NO」の確認ボタンが表示される。このとき、操作者は、本当に送信する場合は、「YES」ボタンを押下する。CPU32は、「YES」ボタン押下により送信OK情報="1"を入力し、送信を確定するようになされる。送信を中止する場合は、「NO」ボタンを押下するようになされる。
図16は第2の実施例に係る触覚入力機能付きの携帯電話機の情報処理例を示すフローチャートである。
この実施例では、送信ボタンモードが準備され、メール作成及び送信操作時において、操作者が送信ボタンアイコン50等の入力動作をしようとした場合に、視覚的あるいは聴覚的な入力動作に関する情報が無くとも、操作者が意図した入力動作を確認させるような触覚確認機能を実現できるようになされる。
これらを情報処理条件にして、図16に示すフローチャートのステップST1で電源オンを待機する。CPU32は第1の実施例と同様にして電源オン情報を検出してシステムを起動する。そして、ステップST2に移行してCPU32は、メール作成送信モード又はその他の処理モードに基づいて制御を分岐する。メール作成送信モードとは、メール作成送信画面(以下単に送信画面という)P21の本文記述領域w2でメール文を作成し、その後、送信ボタンアイコン50の押下操作を待って相手方にメール文を送信する動作をいう。
メール作成送信モードが設定された場合は、ステップST3に移行して送信画面P21の本文記述領域w2でメール文の作成処理を実行する。メール作成処理については、従来方式と同様に実行される。その後、ステップST4に移行して、送信画面P21のいずれかにタッチされたかを検出する。
送信画面P21のいずれかにタッチされた場合は、ステップST5に移行して送信画面P21で背景領域w3がタッチされたか、又は、背景領域w3以外がタッチされたかを検出する。このとき、図13Bに示したように操作者の指の動きによれば、本文記述領域w2に例えば0.3秒以上触れることにより、非接触状態から接触状態へ遷移する。CPU32は本文記述領域w2で、例えば、入力開始点Aを検出しその位置情報(XA,YA)を取得する(図13C参照)
背景領域w3がタッチされた場合は、ステップST6に移行して背景モードを実行する。このとき、CPU32は、アクチュエータ駆動回路37に制御情報Dcを供給する。アクチュエータ駆動回路37は、制御情報Dcに基づいてアクチュエータ25a〜25dに振動制御信号Sa〜Sdを出力する。アクチュエータ25a〜25bでは振動制御信号Sa〜Sdに基づいて振動する。この例で、図14Dに示す振動波形例によれば、周波数fx、振幅Ax及び回数Nxに関して[fx Ax Nx]=[50 10 2]の振動パターンで振動するようになされる。触覚的には、図14Eに示すようにアクチュエータ25a〜25bの振動と共に「ブゥー」という感触が操作者の指に伝搬する。その後、ステップST8に移行する。
また、ステップST5で背景領域w3以外がタッチされた場合は、ステップST7に移行して単クリックモードを実行する。この単クリックモードでは、CPU32が位置情報(XA,YA)の検出に基づいてアクチュエータ駆動回路37に制御情報Dcを供給する。アクチュエータ駆動回路37は、制御情報Dcに基づいてアクチュエータ25aに振動制御信号Saを出力し、アクチュエータ25bに振動制御信号Sbを出力し、アクチュエータ25cに振動制御信号Scを出力し、アクチュエータ25dに振動制御信号Sdを各々出力する。
アクチュエータ25a〜25bでは振動制御信号Sa〜Sdに基づいて約0.1ms程度振動するようになされる。図13Dに示した振動波形によれば、周波数fx=200Hz、振幅Ax=40μm、回数Nx=1回の振動パターンで振動する。触覚的には、アクチュエータ25a〜25bの振動と共に図13Eに示したように「ピッ」という感触が操作者の指に伝搬する。
その後、ステップST8に移行して、操作者の指の接触状態が引き続いているか否かを判別する。その操作者の指の接触状態が引き続いている場合は、ステップST9に移行して、再度、送信画面P21等で背景領域w3がタッチされたか、又は、背景領域w3以外がタッチされたかを検出する。背景領域w3がタッチされた場合は、ステップST6に戻って上述した処理を実行するようになされる。
背景領域w3以外がタッチされた場合は、ステップST10に移行して本文記述領域w2がタッチされたか、又は、本文記述領域w2以外がタッチされたかを検出して制御を分岐する。本文記述領域w2以外がタッチされた場合は、ステップST11に移行して、本文モードを実行する。この本文モードでは、図13Aに示した送信画面P22等において、黒四角形に示した点から送信ボタンアイコン50に向かって直線をなぞるように指を移動される。
図14Bに示した操作者の指の動きによれば、本文記述領域w2に触れたままであり、接触状態を継続する。図14Cに示した位置情報に関しては、本文記述領域w2の入力開始点から次の入力点に移行する。この例では、図6Aに示したような次の点Bの位置情報(XB,YB)がCPU32によって検出され認識される。CPU32で本文モードが認識されると、振動モードを設定するフラグを立てるようになされる。振動モードは、入力開始点Aと次の入力点Bとの差分を算出し、この差分値に基づいて設定するようになされる。
CPU32は、入力点Bの位置情報(XB,YB)の検出に基づいて送信画面P23と送信画面P24との内容が変わらないように表示手段29を制御すると共に、アクチュエータ駆動回路37に制御情報Dcを供給する。アクチュエータ駆動回路37は、制御情報Dcに基づいてアクチュエータ25a〜25dに振動制御信号Sa〜Sdを出力する。アクチュエータ25a〜25bでは振動制御信号Sa〜Sdに基づいて振動する。
この例で、図14Dに示した振動波形例によれば、周波数fx、振幅Ax及び回数Nxに関して[fx Ax Nx]=[100 20 4]の振動パターンで振動するようになされる。触覚的には、図14Eに示すようにアクチュエータ25a〜25bの振動と共に「ザラザラ」という感触が操作者の指に伝搬する。
また、上述のステップST10で本文記述領域w2以外がタッチされた場合は、ステップST12に移行して送信ボタンアイコン50がタッチされたか、又は、送信ボタンアイコン50以外がタッチされたかを検出する。送信ボタンアイコン50がタッチされた場合は、ステップST13に移行して送信ボタンモードを実行する。この送信ボタンモードでは、操作者の指が図15Aに示したように送信画面P25の送信ボタンアイコン50に到達する。このとき、操作者の指が送信ボタンアイコン50をなぞることで、送信ボタンモードが実行される。図15Cに示した位置情報については、“送信ボタンアイコン”の表示位置(Xic,Yic)とタッチ位置(Xic,Yic)とが検出され、一致検出がなされる。
“送信ボタンアイコン”の表示位置(Xic,Yic)とタッチ位置(Xic,Yic)とが一致する場合、CPU32は、アクチュエータ駆動回路37に制御情報Dcを供給する。アクチュエータ駆動回路37は、制御情報Dcに基づいてアクチュエータ25a〜25dに振動制御信号Sa〜Sdを出力する。アクチュエータ25a〜25bでは振動制御信号Sa〜Sdに基づいて振動する。
この例で、図15Dに示した振動波形例によれば、周波数fx、振幅Ax及び回数Nxに関して[fx Ax Nx]=[400 40 16]の振動パターンで振動するようになされる。触覚的には、図15Eに示したようにアクチュエータ25a〜25bの振動と共に「ビビビビ」という感触が操作者の指に伝搬する。
そして、操作者は、指の移動を停止して、その送信ボタンアイコン50から指を放すと、図15Aに示した送信画面P25から送信画面P26へ表示遷移するようになされる。送信画面P26には、送信確認画面P27がポップアップ表示される。送信確認画面P27には、「Really」の文字と共に「本当に送信してもよろしいですか?」の文字情報、「YES」及び「NO」の確認ボタンが表示される。このとき、操作者は、本当に送信する場合は、「YES」ボタンを押下する。
CPU32は、「YES」ボタン押下により送信OK情報="1"を入力し、送信を確定するようになされる。送信部22では、相手方を呼出し、相手方へ送るためのメールデータを変調処理し、変調後の送信データをアンテナ共用器23を通じアンテナ16に供給するようになされる。アンテナ16は、アンテナ共用器23から供給される無線電波を基地局等に向けて輻射するようになされる。これにより、送信ボタンアイコン50に基づいて相手方にメール文を送信することができる。
なお、上述のステップST12で送信ボタンアイコン50以外がタッチされた場合は、ステップST14に移行して、操作者の指の移動に伴う領域変化があったかを検出する。この例では、本文記述領域w2から背景領域w3に移行する場合を登り(上り)方向とし、背景領域w3から本文記述領域w2又は送信ボタンアイコン50へ移行する場合を下り方向と定義している。
操作者の指の移動に伴う上り方向の領域変化があった場合は、ステップST15に移行して登り境界モードを実行する。この登り境界モードでは、本文記述領域w2から背景領域w3に移行する際に、CPU32は、境目の位置情報の検出に基づいてアクチュエータ駆動回路37に制御情報Dcを供給する。アクチュエータ駆動回路37は、制御情報Dcに基づいてアクチュエータ25a〜25dに振動制御信号Sa〜Sdを出力する。アクチュエータ25a〜25bでは振動制御信号Sa〜Sdに基づいて振動する。制御情報Dcは振幅50μm及び振動時間100msの振動パターンを発生させる内容である。触覚上は”カックン”という振動を与えるようになされる。その後、ステップST8に戻る。
また、操作者の指の移動に伴う下り方向の領域変化があった場合は、ステップST16に移行して下り境界モードを実行する。この下り境界モードでは登り境界モードと同様にして触覚上は”カックン”という振動を与えるようになされる。その後、ステップST8に戻って、操作者の指の接触状態が引き続いているか否かを判別する。この例では、送信ボタンモードの実行によって、操作者の指の動きは非接触状態となっているので、ステップST18に移行してCPU32は終了判断をする。例えば、電源オフ情報を検出して情報処理を終了する。電源オフ情報が検出されない場合は、ステップST2に戻る。
ステップST2で他の処理モードが設定された場合は、ステップST17に移行して通信処理等の他の処理モードを実行する。通信処理については第1の実施例を参照されたい。その後、ステップST18に移行して終了判断される。これにより、メール作成送信画面P21等に表示された送信ボタンアイコン50を押下し、この送信ボタンアイコン50に基づいて相手方にメール文を送信できるようになる。
このように、第2の実施例に係る触覚入力機能付きの携帯電話機によれば、送信ボタンモードが準備され、メール作成及び送信操作時において、表示手段29に表示された送信ボタンアイコン50の表示位置をタッチされたか否かを検出し、当該タッチに基づいて所定周波数、振幅及び回数の振動を与えて「送信OK」を触覚で確認させるようになされる。
従って、操作者が送信ボタンアイコン50等の入力動作をしようとした場合に、視覚的あるいは聴覚的な入力動作に関する情報が無くとも、操作者が意図した入力動作を確認させるような触覚確認機能を実現することができる。
上述の実施例では電子機器に関して携帯電話機の場合について説明したが、この入力装置90は、ノート型のパーソナルコンピュータ等の情報処理装置や、電子手帳、ゲーム機、電子書籍等の情報携帯端末装置の場合にも適用できる。第1の実施例と第2の実施例とは組み合わせも、また、別々に実施するようにしてもよい。
10・・・下部筐体、11・・・回転レンジ機構、15・・・制御手段、20・・・上部筐体、21・・・受信部、22・・・送信部、24・・・入力手段、25a〜25d・・・アクチュエータ(振動手段)、29・・・表示手段、32・・・CPU(制御手段)、35・・・記憶手段、50・・・送信ボタンアイコン、100・・・携帯電話機(電子機器)