JP6071372B2 - 電子機器及び電子機器の制御方法 - Google Patents

Description

本発明は電子機器及び電子機器の制御方法に関し、特に、触感タッチパネルを用いた電子機器装置に用いて好適な技術に関するものである。

タッチパネルの普及により、デジタルカメラやスマートフォン等、タッチパネルを搭載した電子機器が増加している。タッチパネルを搭載した電子機器では、ユーザーの直観的操作を追及し、タップ操作、フリック操作等で電子機器の操作を実現している。また、タッチパネルの操作に合わせ、電気感覚刺激をあたえる触覚フィードバック方法が提案されている。

具体的には、電荷の強さ（電圧）と幅（周波数）をいろいろなパターンで組み合わせることで、表現したい触覚を再現し、それをコントロールモジュールに送り込んで、フィルム上に帯電させる仕組みになっている。この状態で帯電フィルムに触ると、指先に微弱な静電気の力が働いて、それが凹凸状の触感としてユーザーの指先に伝わるようにしている。

特開２００９−８７３５９号公報

しかしながら、タッチパネルの操作に合わせ、触感を与える場合、設定アイテムと触感との対応関係が不明であったので、コンテンツをタッチした時に感じた触感が何を意味するのかをユーザーは認識することができなかった。このため、触感からそのコンテンツのメタデータの内容をユーザーが認識することができないので、与えた触感の意味合いがユーザーから分かりづらい課題があった。
本発明は前述の問題点に鑑み、設定アイテムの触感と同じタイプの触感をコンテンツに与えることができるようにすることを目的とする。

本発明の電子装置は、表示手段に対するタッチを検出するタッチ検出手段と、前記表示手段にタッチしたオブジェクトに与える触感を発生させる触感発生手段と、コンテンツに関する設定を行うための設定画面であって画像の撮像の前に画像の撮像に関する設定を行うために表示される設定画面に、画像の撮像に関する設定の選択肢として設定アイテムを表示し、コンテンツを表わすコンテンツ画面において、撮影された画像を表すコンテンツアイテムを表示するように前記表示手段を制御する表示制御手段と、前記設定画面において前記設定アイテムをタッチしたオブジェクトに、タッチされた設定アイテムに応じた触感を与えるように前記触感発生手段を制御し、前記コンテンツ画面において前記コンテンツアイテムをタッチしたオブジェクトに、該タッチされたコンテンツアイテムにより表される前記撮影された画像の前記撮像に関する設定の選択肢の設定アイテムをタッチした際と同様の触感を与えるように前記触感発生手段を制御する制御手段とを有することを特徴とする。

本発明によれば、コンテンツをタッチした場合の触感を、設定アイテムと同じタイプの触感にするようにしたので、与えた触感の意味合いをユーザーが分りやすくなる。

本発明を適用した電子機器の概略構成を示すブロック図である。 第１の実施形態を示し、画像に触感フィードバックを与える制御について説明する図である。 第１の実施形態を示し、画像に触感フィードバックを与える手順を説明するフローチャートである。 第２の実施形態を示し、画像に触感フィードバックを与える制御について説明する図である。 第２の実施形態を示し、画像に触感フィードバックを与える手順を説明するフローチャートである。 第３の実施形態を示し、ＧＰＳ機能のＯＮ／ＯＦＦを選択する画面を示す図である。 第３の実施形態を示し、アプリのアイコンに触感フィードバックを与える制御手順を説明するフローチャートである。

以下、図面を参照して、本発明の各実施形態の動作を説明する。
図１は、本実施形態による電子機器としての表示制御装置１００の構成例を示すブロック図である。
本実施形態の表示制御装置１００は、パーソナルコンピュータ（以下、ＰＣ）などを用いて構成可能なものである。

図１に示すように、表示制御装置１００は、内部バス１５０に対してＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、画像処理部１０４、ディスプレイ１０５、操作部１０６、記録媒体Ｉ/Ｆ１０７、外部Ｉ/Ｆ１０９、通信Ｉ/Ｆ１１０が接続されている。また、本実施形態においてはシステムタイマー１１２、触感発生部１１３、撮像部１１４が接続されている。内部バス１５０に接続される各部は、内部バス１５０を介して互いにデータのやりとりを行うことができるようにされている。

メモリ１０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ１０１は、例えば不揮発性メモリ１０３に格納されるプログラムに従い、メモリ１０２をワークメモリとして用いて、表示制御装置１００の各部を制御する。不揮発性メモリ１０３には、画像データや音声データ、その他のデータ、ＣＰＵ１０１が動作するための各種プログラムなどが格納される。不揮発性メモリ１０３は、例えばハードディスク（ＨＤ）やＲＯＭなどで構成される。

画像処理部１０４は、ＣＰＵ１０１の制御に基づいて、不揮発性メモリ１０３や記録媒体１０８に格納された画像データや、外部Ｉ/Ｆ１０９を介して取得した映像信号、通信Ｉ/Ｆ１１０を介して取得した画像データなどに対して各種画像処理を施す。画像処理部１０４が行う画像処理には、Ａ/Ｄ変換処理、Ｄ/Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。

画像処理部１０４は、特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部１０４を用いずにＣＰＵ１０１がプログラムに従って画像処理を施すことも可能である。

ディスプレイ１０５は、ＣＰＵ１０１の制御に基づいて、画像やＧＵＩ(Graphical User Interface)を構成するＧＵＩ画面などを表示する。ＣＰＵ１０１は、プログラムに従い表示制御信号を生成し、ディスプレイ１０５に表示するための映像信号を生成してディスプレイ１０５に出力するように表示制御装置１００の各部を制御する。ディスプレイ１０５は、入力された映像信号に基づいて映像を表示する。なお、表示制御装置１００自体が備える構成としてはディスプレイ１０５に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ１０５は外付けのモニタ（テレビなど）で構成してもよい。

操作部１０６は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネル１０６ａといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザー操作を受け付けるための入力デバイスである。なお、タッチパネル１０６ａは、ディスプレイ１０５に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。

記録媒体Ｉ/Ｆ１０７は、メモリーカードやＣＤ、ＤＶＤといった記録媒体１０８が装着可能なインターフェースである。ＣＰＵ１０１の制御に基づき、装着された記録媒体１０８からのデータの読み出しや、当該記録媒体１０８に対するデータの書き込みを行うために用いられる。外部Ｉ/Ｆ１０９は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。

通信Ｉ／Ｆ１１０は、外部機器やインターネット１１１などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。
システムタイマー１１２は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

ＣＰＵ１０１は、タッチパネル１０６ａへの以下の操作／状態を検出できる。
・タッチパネル１０６ａを指やペンで触れたこと（以下、タッチダウンと称する）。
・タッチパネル１０６ａを指やペンで触れている状態であること（以下、タッチオンと称する）。
・タッチパネル１０６ａを指やペンで触れたまま移動していること（以下、ムーブと称する）。
・タッチパネルへ触れていた指やペンを離したこと（以下、タッチアップと称する）。
・タッチパネルを触れたままタッチパネルに何も触れていない状態（以下、タッチオフと称する）。
・２箇所で同時にタッチオンであり、タッチされている２点間の距離が狭まること（以下、ピンチインと称する）。
・２箇所で同時にタッチオンであり、タッチされている２点間の距離が広がること（以下、ピンチアウトと称する）。
また、タッチダウン、タッチアップを複数点で行うことをそれぞれマルチタッチダウン、マルチタッチアップと称する。複数点での操作をマルチタッチ、複数点でタッチオンであることをマルチタッチオンと称する。

これらの操作や、タッチパネル上に指やペンが触れている位置座標は内部バス１５０を通じてＣＰＵ１０１に通知され、ＣＰＵ１０１は通知された情報に基づいてタッチパネル上にどのような操作が行なわれたかを判定する。

ムーブについては、タッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。また、タッチパネル上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。

フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。

また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。タッチパネル１０６ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。

触感発生部１１３は、タッチパネル１０６にタッチしているユーザーの指に触感刺激を与えるための触感を発生させるデバイスである。触感発生部１１３としては、振動触感発生方式によるものと、電気的触感発生方式によるものの何れか一方、あるいは両方を採用可能である。

振動触感発生方式では、ディスプレイ１０５（タッチパネル１０６ａ）背面の上部、下部、左部、右部、中心部にそれぞれ偏心モータあるいは圧電素子（これらが触感発生部１１３に相当する）が配置される。そして、各モータに電流を流すか、あるいは各圧電素子に電圧を印加することによってディスプレイ１０５の各部位毎に操作部１０６を振動させる。

モータに流す電流あるいは圧電素子に印加する電圧をＣＰＵ１０１で制御することによって、各部分に対して振幅や周期の異なる種々の振動を発生させ、タッチパネル１０６ａをタッチするユーザーの手に様々な触感を与えることが可能である。

電気的触感発生方式による触感発生部１１３は、導電層パネルと絶縁体パネルからなり、導電層に正電荷をチャージすることができる。この二枚のパネルは、タッチパネルと同様なディスプレイ１０５に重ね合わせて平面的に構成され、ユーザーが絶縁体パネルを触ると、導電層パネルにチャージされた正電荷によって電気的刺激を与えることができる。

また、クーロン力により皮膚が引っ張られるような感覚を与えることが可能である。導電層パネルにチャージされる正電荷は、導電層パネル上の位置毎にチャージする、しないを選択可能である。これをＣＰＵ１０１によって制御することで、タッチパネル１０６ａに触れているユーザーの指等のオブジェクトに対して「ザラザラ感」、「ゴツゴツ感（ザラザラより更に粗い触感）」等を与えることができる。

また、導電層パネル上の位置毎に正電荷をチャージすることにより、触れている箇所全体ではなく、局所的に触感を与えることや、一接触面内で触感を与える位置を変更することもでき、様々な触感をユーザーに与えることが可能である。

以下、前述のハードウェア構成を用いて実現可能な各実施形態について説明する。なお、後述の第３の実施形態では、図１のハードウェア構成に加えて、電話通信を行うための通信部、ＧＰＳ衛星からＧＰＳ情報を取得するための位置情報取得部を更に有するものとする。

（第１の実施形態）
第１の実施形態では、図２（ａ）、図２（ｃ）に基づいて、本発明を実施したデジタルカメラにおいて、ビットレート情報を用いた、画像に触感フィードバックを与える制御について説明する。
図２（ａ）は、ディスプレイ１０５に表示された画像撮影時に用いるビットレートを選択する画面を示す図である。この画面は、動画の撮影前に、撮影設定メニューからビットレート選択画面を開くことにより表示される画面である。

ビットレートの種類として、MXP（約24Mbps）、FXP（約17Mbps）、XP+（約12Mbps）、ＳＰ（約7Mbps）、LP（約5Mbps）の５種類が選択項目として表示されている。また、ビットレートの種類に応じて記録画素も異なり、MXP／FXPの動画記録画素は1,920×1,080画素、その他は1,440×1,080画素である。

それぞれの項目の表示領域（画面下部の５種類のビットレート設定アイコン）にタッチした時の触覚フィードバック情報として記憶している。具体的には、図２（ｂ）のように、つるつる感(大)、つるつる感(小)、触感無し、ざらざら感(小)、ざらざら感(大)を予め定義したビットレートと触感の対応情報を不揮発性メモリ１０３に記憶している。

ＣＰＵ１０１は、各設定アイコンがタッチされた際に、タッチされた領域に応じて定義した触感を与えるように触感発生部１１３を制御する。また、画面下部の５種類のビットレート設定アイコンのいずれかがタップされると、タップされた設定アイコンのビットレートを動画撮影時の動画の記録ビットレートとして設定する。

図２（ｃ）は、再生モードにおいて、撮影済の画像を一覧表示している画面を示す図である。図２（ｃ）の画像２０１は、ビットレートＳＰで撮影された画像、画像２０２は、ビットレートMXPで撮影された画像である。

画像２０１をタッチした時の触感は、図２（ａ）でのＳＰ項目と同じざらざら感(小)の触感を与える。また、画像２０２をタッチした時の触感は、図２（ａ）でのMXP項目と同じつるつる感(大)の触感を与える。
これにより、画像をタッチした時に撮影されたビットレートを認識することが可能となる。

次に、図３に基づいて、本発明を実施したデジタルカメラにおいて、ビットレート情報を用いた、画像に触感フィードバックを与える制御のフローチャートについて説明する。この処理は、不揮発性メモリ１０３に記録されたプログラムをメモリ１０２に展開してＣＰＵ１０１が実行することにより実現する。

Ｓ３０１では、ＣＰＵ１０１は、タッチパネル１０６ａのうち、コンテンツを表わすコンテンツ画面において、画像の表示領域（コンテンツ領域）に対応する位置でタッチオンとなったか否かを判定する。コンテンツ領域に対するタッチダウン、あるいはコンテンツ領域外がタッチされた状態からコンテンツ領域内にムーブしてきた場合にコンテンツ領域でタッチオンであると判定するタッチ検出を行う。コンテンツ領域にタッチオンであると判定した場合はＳ３０２に進み、そうでない場合はＳ３０１で待機する。

Ｓ３０２では、ＣＰＵ１０１が、タッチされた座標をもとに、画像（コンテンツ）を特定し、特定された画像のメタデータから画像に付帯されたビットレート情報を取得する。ＣＰＵ１０１がビットレート情報を取得するとＳ３０３へ進む。

Ｓ３０３では、ＣＰＵ１０１は、不揮発性メモリ１０３に記憶しているビットレートと触感の対応情報を参照して、Ｓ３０２で取得したビットレート情報に定義づけられた触感の種類（パターン）を取得する。

Ｓ３０４では、ＣＰＵ１０１がＳ３０３で取得した種類の触感を発生させるための情報を触感発生部１１３へ送ることにより、触感発生部１１３にＳ３０３で取得した種類の触感を発生させる。この時、触感はタッチパネル１０６ａの全体に発生させてもよいし、部分的に触感を発生させられる場合には、タッチされているコンテンツ領域の範囲のみに触感を発生させてもよい。

Ｓ３０５では、ＣＰＵ１０１は、Ｓ３０２で特定した画像の領域（コンテンツ領域）に対するタッチオンが継続しているか否かを判定する。コンテンツ領域からのタッチアップ、あるいはコンテンツ領域外へのムーブがあると、コンテンツ領域へのタッチオンが無くなったと判定する。コンテンツ領域に対するタッチオンが継続している場合はＳ３０４に戻って引き続き触感を発生させ、タッチオンしていないと判定した場合はＳ３０６に進み、触感発生部１１３での触感の発生を終了させ、処理を終了する。

なお、前述したフローチャートではコンテンツ領域に対するタッチオンがあった場合に触感を発生させる例を説明した。この他に、タッチパネル１０６ａの部分毎に異なる触感を同時に発生させられる場合には、タッチされる前から、各コンテンツ領域別に、各コンテンツのビットレートに応じた触感を発生させておいてもよい。

第１の実施形態によれば、ユーザーは、再生時のコンテンツ一覧画面でコンテンツをタッチした際に、そのコンテンツを記録する前の設定画面で一度経験したことのある触感を感じることができる。そのため、コンテンツをタッチした時に感じた触感が何を意味するのかを認識することができ、触感からそのコンテンツのメタデータの内容を認識することができる。

（第２の実施形態）
第１の実施形態では、本発明を実施したデジタルカメラにおいて、ビットレート情報を用いた、画像に触感フィードバックを与える制御について説明した。
これに対して本実施形態では、本発明を実施したデジタルカメラにおいて、記録フォーマット情報を用いた、画像に触感フィードバックを与える制御について説明する。

図４（ａ）は、ディスプレイ１０５に表示された画像撮影時に用いる記録フォーマットを選択する画面を示す図である。この画面は、動画の撮影前に、撮影設定メニューから記録フォーマット選択画面を開くことにより表示される画面である。

図４（ａ）に示すように、記録フォーマットの種類として、AVCHD（Advanced Video Codec High Definition）、MP4、静止画の種類が設定される内容を指定するための設定アイテムがコンテンツアイテム（設定項目）として表示されている。それぞれの項目の表示領域（画面下部の３種類の記録フォーマット設定アイコン）にタッチした時の触覚フィードバック情報を図４（ｂ）に示す。図４（ｂ）のように、つるつる感、触感無し、ざらざら感を予め定義した記録フォーマットと触感の対応情報を不揮発性メモリ１０３に記憶している。

ＣＰＵ１０１は、各設定アイコンがタッチされた際に、タッチされた領域に応じて定義した触感を与えるように触感発生部１１３を制御する。また、画面下部の３種類の記録フォーマット設定アイコンのいずれかがタップされると、タップされた設定アイコンの記録フォーマットを、画像撮影時の記録フォーマットとして設定する。

図４（ｃ）は、再生モードにおいて、撮影済みの画像を一覧表示している画面を示す図である。図４（ｃ）の画像４０１は、AVCHDフォーマットで撮影された画像、画像４０２は、MP4フォーマットで撮影された画像である。
画像４０１をタッチダウンした時の触感は、図４（ａ）でのAVCHD項目と同じつるつる感の触感を与える。また、画像４０２をタッした時の触感は、図４（ａ）でのMP4項目と同じ触感無しである。
これにより、画像をタッチダウンした時に記録フォーマットをユーザーが認識することが可能となる。

次に、図５に基づいて、本発明を実施したデジタルカメラにおいて、記録フォーマット情報を用いた、画像に触感フィードバックを与える制御のフローチャートについて説明する。この処理は、不揮発性メモリ１０３に記録されたプログラムをメモリ１０２に展開してＣＰＵ１０１が実行することにより実現する。

Ｓ５０１では、ＣＰＵ１０１は、タッチパネル１０６ａのうち、画像の表示領域（コンテンツ領域）に対応する位置でタッチオンとなったか否かを判定する。コンテンツ領域に対するタッチダウン、あるいはコンテンツ領域外がタッチされた状態からコンテンツ領域内にムーブしてきた場合にコンテンツ領域でタッチオンであると判定するタッチ検出を行う。コンテンツ領域にタッチオンであると判定した場合はＳ５０２に進み、そうでない場合はＳ５０１で待機する。

Ｓ５０２では、ＣＰＵ１０１が、タッチされた座標をもとに、画像（コンテンツ）を特定し、特定された画像のファイル拡張子からコンテンツの記録フォーマットを判別する。ＣＰＵ１０１が記録フォーマットを判別すると、Ｓ５０３へ進む。

Ｓ５０３では、ＣＰＵ１０１は、不揮発性メモリ１０３に記憶している記録フォーマットと触感の対応情報を参照して、Ｓ５０２で判別した記録フォーマットに定義づけられた触感の種類を取得する。

Ｓ５０４では、ＣＰＵ１０１がＳ５０３で取得した種類の触感を発生させるための情報を触感発生部１１３に送ることにより、触感発生部１１３にＳ５０３で取得した種類の触感を発生させる。この時、触感はタッチパネル１０６ａの全体に発生させてもよいし、部分的に発生させてもよい。部分的に触感を発生させられる場合には、タッチされているコンテンツ領域の範囲のみに触感を発生させてもよい。

Ｓ５０５では、ＣＰＵ１０１は、Ｓ５０２で特定した画像の領域（コンテンツ領域）に対するタッチオンが継続しているか否かを判定する。コンテンツ領域からのタッチアップ、あるいはコンテンツ領域外へのムーブがあると、コンテンツ領域へのタッチオンが無くなったと判定する。コンテンツ領域に対するタッチオンが継続している場合はＳ５０４に戻って引き続き触感を発生させ、タッチオンしていないと判定した場合はＳ５０６に進み、触感発生部１１３での触感の発生を終了させ、処理を終了する。

なお、前述したフローチャートではコンテンツ領域に対するタッチオンがあった場合に触感を発生させる例を説明した。この他に、タッチパネル１０６ａの部分毎に異なる触感を同時に発生させられる場合には、タッチされる前から、各コンテンツ領域別に、各コンテンツの記録フォーマットに応じた触感を発生させておいてもよい。

また、タッチされたコンテンツに関して複数の情報を触感で通知することも可能である。例えば、第１の実施形態のようにコンテンツのビットレートと、第２の実施形態のようにコンテンツの記録フォーマットとの２つを触感で通知することも可能である。その場合は、コンテンツ領域がタッチされている際に、それぞれの設定状態に定義づけられた触感を交互に発生させる。

第２の実施形態でも、ユーザーは、再生時のコンテンツ一覧画面でコンテンツをタッチした際に、そのコンテンツを記録する前の設定画面で一度経験したことのある触感を感じることができる。そのため、コンテンツをタッチした時に感じた触感が何を意味するのかを認識することができ、触感からそのコンテンツのメタデータの内容を認識することができる。

（第３の実施形態）
第１の実施形態、第２の実施形態では、本発明を実施したデジタルカメラにおいて、画像に触感フィードバックを与える制御について説明した。
これに対して本実施形態では、本発明を実施した携帯電話端末において、ＧＰＳ情報を用いることのできるアプリケーションソフト（以下、アプリと称する）の起動アイコンに触感フィードバックを与える制御について説明する。

図６（ａ）は、地図アプリについて、ＧＰＳ機能のＯＮ／ＯＦＦを選択する画面を示す図である。
ＧＰＳ機能は、ＯＮ、ＯＦＦの種類がある。それぞれの項目の表示領域（画面下部のＯＮボタンあるいはＯＦＦボタン）にタッチした時の触覚フィードバック情報として、図６（ｂ）のように、触感無し、ざらざら感を予め定義したＧＰＳ設定と触感の対応情報を不揮発性メモリ１０３に記憶している。

ＣＰＵ１０１は、各ボタンがタッチされた際に、タッチされたボタンに応じて定義した触感を与えるように触感発生部１１３を制御する。また、画面下部の２種類のボタンのいずれかがタップされると、タップされたボタンに応じて、ＧＰＳ設定のＯＮ（ＧＰＳ位置情報を利用する）、ＧＰＳ設定のＯＦＦ（ＧＰＳ位置情報を利用しない）のいずれかを、対象の地図アプリに設定する。同様の設定を、ＧＰＳ情報を利用可能なアプリ毎に行うことが可能であり、本実施の形態では、電話アプリ、メールアプリ、カレンダーアプリでもそれぞれＧＰＳ位置情報を利用するかしないかを設定可能であるものとする。

図６（ｃ）は、ユーザーが任意のアプリを起動するための、ディスプレイ１０５におけるアプリ一覧画面の表示例を示す図である。図６（ｃ）の地図アプリケーションソフトをタッチした時の触感は、図６（ａ）で説明したＧＰＳ機能の設定状態に依存し、ＧＰＳ機能がＯＮであれば、触感なし、ＧＰＳ機能がＯＦＦであればざらざら感の触感を与える。
これにより、地図アプリの起動アイコンをタッチした時にＧＰＳ機能の設定状態を認識することが可能となる。すなわち、地図アプリを起動しなくとも地図アプリでのＧＰＳ設定を認識できる。

次に、図７に基づいて、本発明を実施した携帯電話において、ＧＰＳ情報を用いた、アプリケーションソフトに触感フィードバックを与える制御のフローチャートについて説明する。この処理は、不揮発性メモリ１０３に記録されたプログラムをメモリ１０２に展開してＣＰＵ１０１が実行することにより実現する。

Ｓ７０１では、ＣＰＵ１０１は、タッチパネル１０６ａのうち、いずれかのアプリ起動アイコンの表示領域（アプリアイコン）に対応する位置でタッチオンとなったか否かを判定する。アプリアイコンに対するタッチダウン、あるいはアプリアイコン外がタッチされた状態からアプリアイコン内にムーブしてきた場合にアプリアイコンでタッチオンであると判定するタッチ検出を行う。アプリアイコンにタッチオンであると判定した場合はＳ７０２に進み、そうでない場合はＳ７０１で待機する。

Ｓ７０２では、ＣＰＵ１０１が、タッチされた座標をもとに、アプリケーションソフトを特定する。そして、アプリケーションソフトがＧＰＳ情報を利用可能な特定のアプリケーションソフトである（例えば地図アプリである）と判断すれば、そのアプリでのＧＰＳの設定状態を判別する。ＣＰＵ１０１がＧＰＳの設定状態を判別すると、Ｓ７０３へ進む。

Ｓ７０３では、ＣＰＵ１０１は、は、不揮発性メモリ１０３に記憶しているＧＰＳ設定と触感の対応情報を参照して、Ｓ７０２で判別したＧＰＳの設定状態に定義づけられた触感の種類を取得する。

Ｓ７０４では、ＣＰＵ１０１がＳ７０３で取得した種類の触感を発生させるための情報を触感発生部１１３へ送ることにより、触感発生部１１３にＳ７０３で取得した種類の触感を発生させる。この時、触感はタッチパネル１０６ａの全体に発生させてもよいし、部分的に触感を発生させられる場合には、タッチされているコンテンツ領域の範囲のみに触感を発生させてもよい。

Ｓ７０５では、ＣＰＵ１０１は、Ｓ７０２で特定したアプリアイコンに対するタッチオンが継続しているか否かを判定する。アプリアイコンからのタッチアップ、あるいはアプリアイコン外へのムーブがあると、アプリアイコンへのタッチオンが無くなったと判定する。アプリアイコンに対するタッチオンが継続している場合はＳ７０４に戻って引き続き触感を発生させ、タッチオンしていないと判定した場合はＳ７０６に進み、触感発生部１１３での触感の発生を終了させ、処理を終了する。

なお、前述したフローチャートでは、アプリアイコンに対するタッチオンがあった場合に触感を発生させる例を説明した。この他に、タッチパネル１０６ａの部分毎に異なる触感を同時に発生させられる場合には、タッチされる前から、各アプリアイコン別に、各アプリケーションのＧＰＳ設定に応じた触感を発生させておいてもよい。

また、前述の例では、ＧＰＳ設定についての例を説明したが、設定時とアプリアイコンのタッチ時とで同様の触感をフィードバックを発生させるものであればよく、ＧＰＵ設定に限定されない。各アプリに関する設定内容であれば他の設定内容についても同様に実施可能である。また、複数の設定項目についての設定状態（例えばＧＰＳ設定がＯＮである旨と、電話帳の参照機能がＯＮである旨）を触感で通知することも可能である。その場合は、アプリアイコンがタッチされている際に、それぞれの設定状態に定義づけられた触感を交互に発生させる。

第３の実施形態によれば、ユーザーは、アプリアイコンの一覧画面でアプリアイコンをタッチした際に、そのアプリについての機能設定の設定画面で一度経験したことのある触感を感じることができる。そのため、アプリアイコンをタッチした時に感じた触感が何を意味するのかを認識することができ、触感からそのアプリの設定状態を認識することができる。

なお、前述した実施形態は、アプリに限らず、特定の機能に対する設定状態を触感で通知させる場合にも適用可能である。例えば、機能を実行させるための表示領域にタッチした際に、当該機能についての設定画面で当該機能に関する設定を行うためのタッチ領域と同様の触感を発生させる。このようにすることで、機能を実行させるための表示領域にタッチした際に感じる触感から、その機能に関する現在の設定状態を認識することができる。

例えば、撮影を行う際にセルフタイマー撮影機能を発動させるためのセルフタイマーボタンにタッチすると、設定されているセルフタイマー秒時に応じた触感を発生させる。このときの触感が、セルフタイマー秒時を設定する画面における、各秒時設定ボタンをタッチした際と同様の触感となるようにする。このようにすれば、セルフタイマーボタンをタッチした時に感じる触感から、現在セルフタイマー撮影でのタイマー秒時が何秒に設定されているのかを認識することができる。

前述した実施形態においては、設定アイテムとして、ビットレート、記録フォーマットを用いた例を示したが、動画において、単位時間あたりの映像が処理されるフレームレートを用いてもよい。

なお、前述した図３、図５、図７のフローチャートの制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。前述の実施形態の一部を適宜組み合わせてもよい。

また、本発明はタッチ入力可能な表示制御装置であれば適用可能である。すなわち、本発明はパーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ 表示制御装置
１０１ ＣＰＵ
１０２ メモリ
１０３ 不揮発性メモリ
１０４ 画像処理部
１０５ ディスプレイ
１０６ 操作部
１０６ａ タッチパネル
１０７ 記録媒体Ｉ／Ｆ
１０８ 記録媒体
１０９ 外部Ｉ／Ｆ
１１０ 通信Ｉ／Ｆ
１５０ 内部バス

Claims (19)

1. 表示手段に対するタッチを検出するタッチ検出手段と、
   前記表示手段にタッチしたオブジェクトに与える触感を発生させる触感発生手段と、
   コンテンツに関する設定を行うための設定画面であって画像の撮像の前に画像の撮像に関する設定を行うために表示される設定画面に、画像の撮像に関する設定の選択肢として設定アイテムを表示し、コンテンツを表わすコンテンツ画面において、撮影された画像を表すコンテンツアイテムを表示するように前記表示手段を制御する表示制御手段と、
   前記設定画面において前記設定アイテムをタッチしたオブジェクトに、タッチされた設定アイテムに応じた触感を与えるように前記触感発生手段を制御し、前記コンテンツ画面において前記コンテンツアイテムをタッチしたオブジェクトに、該タッチされたコンテンツアイテムにより表される前記撮影された画像の前記撮像に関する設定の選択肢の設定アイテムをタッチした際と同様の触感を与えるように前記触感発生手段を制御する制御手段と
   を有することを特徴とする電子機器。
2. 表示手段に対するタッチを検出するタッチ検出手段と、
   前記表示手段にタッチしたオブジェクトに与える触感を発生させる触感発生手段と、
   コンテンツに関する設定を行うための設定画面において、コンテンツに関してビットレート、フレームレート、記録フォーマットの少なくとも１つの設定を行うための設定項目の選択肢として設定アイテムを表示し、コンテンツを表わすコンテンツ画面において、コンテンツを表すコンテンツアイテムを表示するように前記表示手段を制御する表示制御手段と、
   前記設定画面において前記設定アイテムをタッチしたオブジェクトに、タッチされた設定アイテムに応じた触感を与えるように前記触感発生手段を制御し、前記コンテンツ画面において前記コンテンツアイテムをタッチしたオブジェクトに、該タッチされたコンテンツアイテムにより表されるコンテンツに設定された前記設定項目の選択肢の設定アイテムをタッチした際と同様の触感を与えるように前記触感発生手段を制御する制御手段と
   を有することを特徴とする電子機器。
3. 画像を撮像する撮像手段と、
   表示手段に対するタッチを検出するタッチ検出手段と、
   前記表示手段にタッチしたオブジェクトに与える触感を発生させる触感発生手段と、
   コンテンツに関する設定を行うための設定画面において、セルフタイマー時間を設定する選択肢としての各時間設定ボタンを表す設定アイテムを表示し、コンテンツを表わすコンテンツ画面において、セルフタイマー撮影を発動させるためのセルフタイマーボタンを表すコンテンツアイテムを表示するように前記表示手段を制御する表示制御手段と、
   前記設定画面において前記設定アイテムをタッチしたオブジェクトに、タッチされた設定アイテムに応じた触感を与えるように前記触感発生手段を制御し、前記コンテンツ画面において前記コンテンツアイテムをタッチしたオブジェクトに、該タッチされたコンテンツアイテムにより表されるセルフタイマーボタンで発動されるセルフタイマー撮影のセルフタイマー時間の設定アイテムをタッチした際と同様の触感を与えるように前記触感発生手段を制御する制御手段と
   を有することを特徴とする電子機器。
4. 前記設定画面は、画像の撮像に関する設定を行うための、画像の撮像の前に表示される設定画面であり、
   前記設定アイテムは、画像の撮像に関する設定の選択肢として表示されることを特徴とする請求項３に記載の電子機器。
5. 前記設定アイテムは、ビットレート、フレームレート、記録フォーマットの少なくとも１つに関する設定項目の選択肢を含むことを特徴とする請求項１、３、４の何れか１項に記載の電子機器。
6. 前記コンテンツには、画像が含まれることを特徴とする請求項１乃至５の何れか１項に記載の電子機器。
7. 画像を撮像する撮像手段を更に有することを特徴とする請求項１又は２に記載の電子機器。
8. 前記コンテンツには、アプリケーションソフトが含まれ、前記コンテンツアイテムは前記アプリケーションソフトを表すアイコンを含むことを特徴とする請求項１乃至７の何れか１項に記載の電子機器。
9. 当該電子機器の位置情報を取得する取得手段を更に有し、
   前記アプリケーションソフトは、前記位置情報を用いた制御を行う機能を有し、前記設定アイテムは、前記アプリケーションソフトで前記位置情報を用いた制御を行う前記機能を利用するか否かを設定するためのアイテムであることを特徴とする請求項８に記載の電子機器。
10. 前記位置情報は、ＧＰＳ衛星から取得される情報であることを特徴とする請求項９に記載の電子機器。
11. 前記アプリケーションソフトは地図アプリであることを特徴とする請求項８乃至１０の何れか１項に記載の電子機器。
12. 前記オブジェクトは、ユーザーの指であることを特徴とする請求項１乃至１１の何れか１項に記載の電子機器。
13. 前記触感発生手段は、振動を発生させることを特徴とする請求項１乃至１２の何れか１項に記載の電子機器。
14. 前記触感発生手段は、電気的刺激を発生させることを特徴とする請求項１乃至１２の何れか１項に記載の電子機器。
15. 表示手段に対するタッチを検出するタッチ検出工程と、
    前記表示手段にタッチしたオブジェクトに与える触感を発生させる触感発生工程と、
    コンテンツに関する設定を行うための設定画面であって画像の撮像の前に画像の撮像に関する設定を行うために表示される設定画面に、画像の撮像に関する設定の選択肢として設定アイテムを表示し、コンテンツを表わすコンテンツ画面において、撮影された画像を表すコンテンツアイテムを表示するように前記表示手段を制御する表示制御工程と、
    前記設定画面において前記設定アイテムをタッチしたオブジェクトに、タッチされた設定アイテムに応じた触感を与えるように前記触感発生工程を制御し、前記コンテンツ画面において前記コンテンツアイテムをタッチしたオブジェクトに、該タッチされたコンテンツアイテムにより表される前記撮影された画像の前記撮像に関する設定の選択肢の設定アイテムをタッチした際と同様の触感を与えるように前記触感発生工程を制御する制御工程と
    を有することを特徴とする電子機器の制御方法。
16. 表示手段に対するタッチを検出するタッチ検出工程と、
    前記表示手段にタッチしたオブジェクトに与える触感を発生させる触感発生工程と、
    コンテンツに関する設定を行うための設定画面において、コンテンツに関してビットレート、フレームレート、記録フォーマットの少なくとも１つの設定を行うための設定項目の選択肢として設定アイテムを表示し、コンテンツを表わすコンテンツ画面において、コンテンツを表すコンテンツアイテムを表示するように前記表示手段を制御する表示制御工程と、
    前記設定画面において前記設定アイテムをタッチしたオブジェクトに、タッチされた設定アイテムに応じた触感を与えるように前記触感発生工程を制御し、前記コンテンツ画面において前記コンテンツアイテムをタッチしたオブジェクトに、該タッチされたコンテンツアイテムにより表されるコンテンツに設定された設定項目の選択肢の設定アイテムをタッチした際と同様の触感を与えるように前記触感発生工程を制御する制御工程と
    を有することを特徴とする電子機器の制御方法。
17. 表示手段に対するタッチを検出するタッチ検出工程と、
    前記表示手段にタッチしたオブジェクトに与える触感を発生させる触感発生工程と、
    コンテンツに関する設定を行うための設定画面において、セルフタイマー時間を設定する選択肢としての各時間設定ボタンを表す設定アイテムを表示し、コンテンツを表わすコンテンツ画面において、セルフタイマー撮影を発動させるためのセルフタイマーボタンを表すコンテンツアイテムを表示するように前記表示手段を制御する表示制御工程と、
    前記設定画面において前記設定アイテムをタッチしたオブジェクトに、タッチされた設定アイテムに応じた触感を与えるように前記触感発生工程を制御し、前記コンテンツ画面において前記コンテンツアイテムをタッチしたオブジェクトに、該タッチされたコンテンツアイテムにより表されるセルフタイマーボタンで発動されるセルフタイマー撮影のセルフタイマー時間の設定アイテムをタッチした際と同様の触感を与えるように前記触感発生工程を制御する制御工程と
    を有することを特徴とする電子機器の制御方法。
18. コンピュータを、請求項１乃至１４の何れか１項に記載された電子機器の各手段として機能させるためのプログラム。
19. コンピュータを、請求項１乃至１４の何れか１項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images