[go: up one dir, main page]

JP5636678B2 - 表示制御装置、表示制御方法及び表示制御プログラム - Google Patents

表示制御装置、表示制御方法及び表示制御プログラム Download PDF

Info

Publication number
JP5636678B2
JP5636678B2 JP2010009182A JP2010009182A JP5636678B2 JP 5636678 B2 JP5636678 B2 JP 5636678B2 JP 2010009182 A JP2010009182 A JP 2010009182A JP 2010009182 A JP2010009182 A JP 2010009182A JP 5636678 B2 JP5636678 B2 JP 5636678B2
Authority
JP
Japan
Prior art keywords
control unit
image
proximity
display
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010009182A
Other languages
English (en)
Other versions
JP2011150412A (ja
Inventor
悠介 宮沢
悠介 宮沢
文規 本間
文規 本間
坂田 純一郎
純一郎 坂田
辰志 梨子田
辰志 梨子田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2010009182A priority Critical patent/JP5636678B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP11150627.5A priority patent/EP2354906B1/en
Priority to EP17167821.2A priority patent/EP3239823A1/en
Priority to DE202011110991.0U priority patent/DE202011110991U1/de
Priority to US12/930,610 priority patent/US8760418B2/en
Priority to DE202011110990.2U priority patent/DE202011110990U1/de
Priority to CN2011100211210A priority patent/CN102129342A/zh
Publication of JP2011150412A publication Critical patent/JP2011150412A/ja
Application granted granted Critical
Publication of JP5636678B2 publication Critical patent/JP5636678B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は表示制御装置、表示制御方法及び表示制御プログラムに関し、例えば、タッチパネルが設けられた携帯端末に適用して好適なものである。
従来の受信機は、複数のチャンネルの映像信号を合成して生成されたサービス用映像信号を受信している。また受信機は、リモートコントローラを介してマルチ画面への表示の切り替えが指示されると、サービス用映像信号に基づき、複数のチャンネルの映像をマトリクス状に配置したマルチ画面を表示する。
受信機は、このようにマルチ画面として複数のチャンネルの映像を一覧表示した状態で、リモートコントローラを介して1個の映像を指定するフォーカスの移動が指示されると、これに応じてマルチ画面内でフォーカスの位置を変更する。
そして受信機は、リモートコントローラを介して映像の指定が確定されると、このときマルチ画面内でフォーカスを当てている1個の映像を選択して、当該選択した1個の映像を全画面表示する。
このようにして受信機は、複数のチャンネルの放送内容を確認させて、当該複数のチャンネルの中から所望のチャンネルを選択させて、当該選択されたチャンネルの放送を視聴させていた(例えば、特許文献1参照)。
特開2002−281406公報(第5頁、図3、図4)
ところが、かかる構成の受信機では、リモートコントローラの表面に、マルチ画面への表示の切り替えを指示するための切替キーや、フォーカスの移動を指示するための上下左右矢印キー、映像の指定の確定を指示するための確定キーが配置されている。
よって受信機は、マルチ画面への表示の切り替えやフォーカスの移動、映像の指定の確定を指示する毎に、ユーザにリモートコントローラの表面で切替キー、上下左右矢印キー、確定キーを選ばせて押下させるように操作させていた。
このため受信機は、複数の映像を一覧表示して所望の映像を選択させる場合の操作が煩雑化し、使い勝手がわるいという問題があった。
本発明は以上の点を考慮してなされたもので、使い勝手を向上し得る表示制御装置、表示制御方法及び表示制御プログラムを提案しようとするものである。
かかる課題を解決するため本発明においては、表示面に対する指示物の近接を検出するための近接センサを介して表示面に対する指示物の近接を検出して当該検出結果に基づいて、近接操作が行われていると判断すると、複数の画像を縮小して複数の指示対象として表示面に表示させると共に、当該近接操作に応じて、複数の指示対象を表示面に表示させながら指示物に近い当該指示対象に対応する画像の少なくとも一部を表示面の所定位置に表示させて、表示面に対する指示物の接触を検出するための接触センサを介して表示面に対する指示物の接触を検出して当該検出結果に基づいて、複数の指示対象のうち一の指示対象を選択する接触操作が行われたと判断すると、一の当該指示対象に対応する画像を表示面に表示させるようにした。
従って本発明では、操作キーを特に操作させることなく、表示面に指示物を近接させ、また接触させるようにして当該表示面上で近接操作及び接触操作を順次行わせるだけの簡易な操作で、複数の画像を縮小して複数の指示対象として表示しながら、指示物に近い指示対象に対応する画像の少なくとも一部も表示して選択可能な画像を容易に確認させたうえで、所望の画像を指示対象として選択させることができる。
本発明によれば、表示面に対する指示物の近接を検出するための近接センサを介して表示面に対する指示物の近接を検出して当該検出結果に基づいて、近接操作が行われていると判断すると、複数の画像を縮小して複数の指示対象として表示面に表示させると共に、当該近接操作に応じて、複数の指示対象を表示面に表示させながら指示物に近い当該指示対象に対応する画像の少なくとも一部を表示面の所定位置に表示させて、表示面に対する指示物の接触を検出するための接触センサを介して表示面に対する指示物の接触を検出して当該検出結果に基づいて、複数の指示対象のうち一の指示対象を選択する接触操作が行われたと判断すると、一の当該指示対象に対応する画像を表示面に表示させるようにしたことにより、操作キーを特に操作させることなく、表示面に指示物を近接させ、また接触させるようにして当該表示面上で近接操作及び接触操作を順次行わせるだけの簡易な操作で、複数の画像を縮小して複数の指示対象として表示しながら、指示物に近い指示対象に対応する画像の少なくとも一部も表示して選択可能な画像を容易に確認させたうえで、所望の画像を指示対象として選択させることができ、かくして使い勝手を向上し得る表示制御装置、表示制御方法及び表示制御プログラムを実現することができる。
本発明による表示制御装置の回路構成の一実施の形態を示すブロック図である。 携帯端末の外観構成の一実施の形態を示す略線図である。 携帯端末のハードウェア回路ブロックによる回路構成を示すブロック図である。 指と操作面との距離の変化に応じた静電センサの出力値の変化の説明に供する略線図である。 接触領域、近接領域、非近接領域の検出の説明に供する略線図である。 タップ操作に応じたWeb画像の表示の説明に供する略線図である。 音楽管理情報の構成を示す略線図である。 タップ操作に応じたジャンル一覧画像の表示の説明に供する略線図である。 タップ操作に応じたアーティスト一覧画像の表示の説明に供する略線図である。 タップ操作に応じたアルバム一覧画像の表示の説明に供する略線図である。 タップ操作に応じた曲一覧画像の表示の説明に供する略線図である。 再生画像の表示の説明に供する略線図である。 複数の立上画像の表示を待機させているときに複数の指で行われる近接操作の説明に供する略線図である。 複数の立上画像の表示を待機させているときに1本の指で行われる近接操作の説明に供する略線図である。 複数の指による近接操作に応じたサムネイル一覧画像の表示の説明に供する略線図である。 1本の指による近接操作に応じたサムネイル一覧画像の表示の説明に供する略線図である。 注目領域の検出の説明に供する略線図である。 近接操作時の複数の指の移動に応じたサムネイルの強調表示の説明に供する略線図である。 近接操作時の1本の指の移動に応じたサムネイルの強調表示の説明に供する略線図である。 第1タッチスクリーン上での上スクロール指示領域及び下スクロール指示領域の設定の説明に供する略線図である。 サムネイル一覧画像の上方向へのスクロールの説明に供する略線図である。 サムネイル一覧画像の上スクロール最終表示状態の説明に供する略線図である。 サムネイル一覧画像の下方向へのスクロールの説明に供する略線図である。 サムネイル一覧画像の下スクロール最終表示状態の説明に供する略線図である。 領域間距離の検出の説明に供する略線図である。 画像の拡大及び縮小の指示の検出の説明に供する略線図である。 サムネイル一覧画像の拡大及び縮小時の表示基準位置の検出の説明に供する略線図である。 サムネイル一覧画像の拡大の説明に供する略線図である。 第1タッチスクリーン上での右スクロール指示領域及び左スクロール指示領域の設定の説明に供する略線図である。 サムネイル一覧拡大画像の右方向へのスクロールの説明に供する略線図である。 サムネイル一覧拡大画像の左方向へのスクロールの説明に供する略線図である。 サムネイル一覧画像の縮小の説明に供する略線図である。 サムネイルの指示による立上画像の選択(1)の説明に供する略線図である。 サムネイルの指示によって選択された立上画像の表示の説明に供する略線図である。 サムネイルの指示による立上画像の選択(2)の説明に供する略線図である。 再生画像を表示しているときに行われる近接操作の説明に供する略線図である。 近接操作に応じた曲一覧画像の表示の説明に供する略線図である。 所望の階層の画像に表示を切り替えるための近接操作の説明に供する略線図である。 近接操作に応じたジャンル一覧画像の表示の説明に供する略線図である。 近接操作に応じたアーティスト一覧画像の表示の説明に供する略線図である。 近接操作に応じたアルバム一覧画像の表示の説明に供する略線図である。 第1表示制御処理手順(1)を示すフローチャートである。 第1表示制御処理手順(2)を示すフローチャートである。 第2表示制御処理手順(1)を示すフローチャートである。 第2表示制御処理手順(2)を示すフローチャートである。 サムネイルの表示サイズに応じた配置の変形例(1)を示す略線図である。 サムネイルの表示サイズに応じた配置の変形例(2)を示す略線図である。
以下図面を用いて、発明を実施するための最良の形態(以下、これを実施の形態とも呼ぶ)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[1−1.実施の形態の概要]
まず、実施の形態の概要を説明する。因みに、この概要を説明した後、本実施の形態の具体例の説明に移る。
図1において、1は全体として実施の形態による表示制御装置を示す。かかる表示制御装置1において近接検出部2は、表示面に対する指示物の近接を検出する。また表示制御装置1において接触検出部3は、表示面に対する指示物の接触を検出する。
そして表示制御装置1において制御部4は、近接検出部2が表示面に対する指示物の近接を検出すると、複数の指示対象を表示面に表示させる。また表示制御装置1において制御部4は、接触検出部3が検出した表示面に対する指示物の接触に基づいて、複数の指示対象のうち一の指示対象が選択されたと判断すると、当該一の指示対象に対応する画像を表示面に表示させる。
かかる構成により表示制御装置1は、操作キーを特に操作させることなく、表示面に指示物を近接させ、また接触させるように当該表示面上で近接操作及び接触操作を順次行わせるだけの簡易な操作で、複数の指示対象を表示して所望の画像を指示対象として選択させることができる。これにより表示制御装置1は、使い勝手を向上させることができる。
[1−2.実施の形態の具体例]
[1−2−1.携帯端末の外観構成]
次いで、図2を用いて、上述した表示制御装置1の具体例である携帯端末10の外観構成について説明する。携帯端末10は、略扁平矩形状の第1筐体11と第2筐体12とが、ヒンジ部13A及び13Bを介して開閉自在に連結され、全体として片手で把持し得る程度の大きさに形成されている。
第1筐体11の前面11Aの中央部には、長方形状の第1タッチスクリーン14が設けられている。また第2筐体12の前面12Aの中央部には、第1タッチスクリーン14と同形状、同サイズでなる第2タッチスクリーン15が設けられている。
第1タッチスクリーン14は、第1液晶パネルと、当該第1液晶パネル上に、その表示面を覆うように積層配置された静電容量式の第1タッチパネルとから構成されている。
また第1タッチパネルは、透明な薄いシート状に形成され、第1液晶パネルの表示面に表示される画像が、第1タッチスクリーン14の正面側から見えるようにしている。
第2タッチスクリーン15は、第1タッチスクリーン14と同様に、第2液晶パネルと、当該第2液晶パネル上に、その表示面を覆うように積層配置された静電容量式の第2タッチパネルとから構成されている。
また第2タッチパネルも、第1タッチパネルと同様に透明な薄いシート状に形成され、第2液晶パネルの表示面に表示される画像が、第2タッチスクリーン15の正面側から見えるようにしている。
そして第1タッチパネル及び第2タッチパネルは、その操作面に対し例えば、ユーザの指(また、タッチペン等でも可能)によって接触操作及び近接操作が行われるものである。
因みに、以下の説明では、第1タッチパネルの操作面を、第1操作面とも呼び、第2タッチパネルの操作面を、第2操作面とも呼ぶ。
ここで、接触操作とは、第1タッチパネルの第1操作面や第2タッチパネルの第2操作面に指で触って行う操作(以下、これをタッチ操作とも呼ぶ)である。
また近接操作とは、第1タッチパネルの第1操作面や第2タッチパネルの第2操作面に触れずに、これら第1操作面や第2操作面に指を近づけて行う操作のことである。なお、第1タッチパネル及び第2タッチパネルは、マルチタッチに対応する。
そして携帯端末10は、第1タッチスクリーン14及び第2タッチスクリーン15の表面(すなわち、第1操作面及び第2操作面)に対する指によるタッチ操作及び近接操作を、操作入力として受け付けるようになされている。
さらに第1筐体11の前面11Aには、第1タッチスクリーン14の両脇に、電源ボタン等の各種操作ボタン16も設けられている。
かかる構成の携帯端末10は、通常、第1筐体11及び第2筐体12が所望の角度まで開かれた状態で、第1筐体11の前面11Aを目線の下側に位置させ、第2筐体12の前面12Aを目線の上側に位置させるような姿勢で使用される。
よって携帯端末10は、このような通常の使用姿勢により、第1タッチスクリーン14を下画面とし、これに並設した第2タッチスクリーン15を上画面として、これらの画面(第1液晶パネルの表示面及び第2液晶パネルの表示面)に各種画像を表示する。
因みに、以下の説明では、第1タッチスクリーン14の表面(第1液晶パネル14Aの表示面及び第1タッチパネル14Bの第1操作面)において、画面垂直方向の一方向側であるヒンジ部13A及び13B側を上とも呼ぶ。
また、以下の説明では、第1タッチスクリーン14の表面(第1液晶パネル14Aの表示面及び第1タッチパネル14Bの第1操作面)において、画面垂直方向の他方向側を下とも呼ぶ。
さらに、以下の説明では、第1タッチスクリーン14の表面(第1液晶パネル14Aの表示面及び第1タッチパネル14Bの第1操作面)において、画面水平方向の一方向側を左とも呼び、当該画面水平方向の他方向側を右とも呼ぶ。
一方、以下の説明では、第2タッチスクリーン15の表面(すなわち、第2液晶パネル15Aの表示面及び第2タッチパネル15Bの第2操作面)において、画面垂直方向の一方向側を上とも呼ぶ、
また、以下の説明では、第2タッチスクリーン15の表面(すなわち、第2液晶パネル15Aの表示面及び第2タッチパネル15Bの第2操作面)において、画面垂直方向の他方向側であるヒンジ部13A及び13B側を下とも呼ぶ。
さらに、以下の説明では、第2タッチスクリーン15の表面(すなわち、第2液晶パネル15Aの表示面及び第2タッチパネル15Bの第2操作面)において、画面水平方向の一方向側を左とも呼び、当該画面水平方向の他方向側を右とも呼ぶ。
ところで、携帯端末10には、第1タッチスクリーン14及び第2タッチスクリーン15が、通常の使用姿勢の際に当該第1タッチスクリーン14の上側の1辺と第2タッチスクリーン15の下側の1辺とが近づいて下側から上側へ並ぶように設けられている。
そして携帯端末10は、通常の使用姿勢において、第1タッチスクリーン14及び第2タッチスクリーン15にそれぞれ異なる画像を表示することができる。
また携帯端末10は、通常の使用姿勢において、第1タッチスクリーン14及び第2タッチスクリーン15をあたかも1つの画面とみなして当該第2タッチスクリーン15から第1タッチスクリーン14に亘って1つの画像を表示することもできる。
[1−2−2.携帯端末のハードウェア構成]
次いで、図3を用いて、携帯端末10のハードウェア構成について説明する。携帯端末10には、CPU(Central Processing Unit)でなる制御部20が設けられている。
制御部20は、不揮発性メモリ21から、これに予め記憶されているプログラムをRAM(Random Access Memory)22に読み出して展開し、そのプログラムに従って各種処理を実行すると共に各部を制御する。
これにより制御部20は、第1タッチスクリーン14及び第2タッチスクリーン15の表面に対しタッチ操作や近接操作が行われたか否かを検出する。
そして制御部20は、第1タッチスクリーン14及び第2タッチスクリーン15の表面に対しタッチ操作や近接操作が行われたことを検出すると、そのタッチ操作や近接操作によって指示された処理を実行する。
実際に第1タッチスクリーン14は、上述のように画像を表示する第1液晶パネル14Aと、静電容量式の第1タッチパネル14Bとから構成されている。
第1タッチパネル14Bは、例えば、第1液晶パネル14Aの複数の画素に対向させて、第1操作面の内側にマトリクス状に配置された複数の静電センサ(図示せず)を有している。
複数の静電センサは、それぞれ指のような導体が近づくと静電容量が変化し、その静電容量の変化に応じて出力値も変化する。
図4に示すように、例えば、第1タッチパネル14Bの第1操作面に指先が30[mm]の距離まで近づけられると、当該第1操作面において指先の真下に位置する静電センサの出力値は「10」になる。
また例えば、第1タッチパネル14Bの第1操作面に指先が15[mm]の距離まで近づけられると、当該第1操作面において指先の真下に位置する静電センサの出力値は「20」になる。
さらに例えば、第1タッチパネル14Bの第1操作面に指先が5[mm]の距離まで近づけられると、当該第1操作面において指先の真下に位置する静電センサの出力値は「40」になる。
さらに例えば、第1タッチパネル14Bの第1操作面に指先が接触すると、当該第1操作面において指先と接触した部分に位置する静電センサ出力値は最大の「80」となる。
よって制御部20は、格段的に短い例えば、数[msec]又は数[μsec]のような所定の一定時間毎に領域検出処理を実行する。
制御部20は、領域検出処理を実行した場合、第1タッチパネル14Bから各静電センサそれぞれの出力値を、当該静電センサの配置位置を示す位置情報と共にパネル出力信号として取得する。
因みに、静電センサの配置位置は、例えば、当該静電センサと対向する第1液晶パネル14Aの画素位置の座標(すなわち、第1液晶パネル14Aにおいて静電センサと対向する画素が配置された位置を示す2次元座標)で示されている。
また図5(A)及び(B)に示すように、制御部20は、そのパネル出力信号に含まれる各静電センサの出力値を、予め選定された例えば「50」の値のような所定の第1閾値、及び例えば「20」の値のような所定の第2閾値と順次比較する。
そして制御部20は、その比較結果と、パネル出力信号に含まれる位置情報とに基づき、第1操作面に対して指の接触している領域TA1、指が近接して陰になる領域CA1、指が接触も近接もしていない領域A1を検出する。
因みに、以下の説明では、第1タッチパネル14Bの第1操作面や第2タッチパネル15Bの第2操作面において、指が接触している領域TA1を、接触領域TA1とも呼ぶ。
また、以下の説明では、第1操作面や第2操作面において、指が近接して陰になる領域CA1(すなわち、指の近接部分を第1操作面や第2操作面に投影したような領域CA1)を、近接領域CA1とも呼ぶ。
さらに、以下の説明では、第1操作面や第2操作面において、指が接触も近接もしていない領域NA1を、非近接領域NA1とも呼ぶ。
なお、第1及び第2閾値は、例えば、複数の指が互いに接触した状態で第1操作面に接触や近接した場合でも、指の腹や先端よりも指の間の部分の方が第1操作面から離れていることを利用して、指毎に接触領域や近接領域を検出可能なように適宜選定されている。
よって制御部20は、領域検出処理を実行した場合、第1操作面において、第1閾値以上の出力値を得た静電センサがまとまっている1又は複数の領域TA1を、それぞれ接触領域TA1として検出する。
因みに、制御部20は、この際、第1操作面における1又は複数の接触領域TA1を、それぞれ第1閾値以上の出力値を得た静電センサと対向する画素位置の座標として検出する。
そして制御部20は、このように1又は複数の接触領域TA1を検出すると、当該検出した1又は複数の接触領域TA1それぞれの例えば、重心位置P1も、対向する画素位置の座標として検出する。
また制御部20は、この際、第1操作面において、第2閾値以上でかつ第1閾値未満の出力値を得た静電センサがまとまっている1又は複数の領域CA1を、それぞれ近接領域CA1として検出する。
因みに、以下の説明では、静電センサの出力値が第2閾値以上でかつ第1閾値未満となる近接領域CA1を検出し得るような第1操作面や第2操作面から指までの距離の範囲を、近接検出距離範囲とも呼ぶ。
因みに、制御部20は、この際、第1操作面における1又は複数の接触領域TA1も、それぞれ第2閾値以上でかつ第1閾値未満の出力値を得た静電センサと対向する画素位置の座標として検出する。
そして制御部20は、このように1又は複数の近接領域CA1を検出したときにも、当該検出した1又は複数の近接領域CA1それぞれの例えば、重心位置P2も、対向する画素位置の座標として検出する。
ところで、第1タッチパネル14Bの第1操作面に対しタッチ操作が行われる場合、第1操作面には、指が斜めに傾けられた状態で、その指の先端部(指先)のみ接触する場合がある。
この場合、第1タッチパネル14Bでは、第1操作面において指の接触部分に位置する静電センサの出力値は、上述のように最大値(例えば、「80」)となる。
また第1タッチパネル14Bでは、第1操作面において指の陰になる部分(指の真下で接触していない部分)に位置する静電センサの出力値は、例えば、当該指の接触部分から離れるほど、小さな値となる。
このため制御部20は、単に静電センサの出力値と第1及び第2閾値との比較結果を用いると、第1操作面に接触した指の陰になる部分のうち、その指先側を当該指の接触部分と共に接触領域TA1として検出する。
また制御部20は、この際、第1操作面に対する指の角度によっては、当該第1操作面に接触した指の陰になる部分のうち、その指の根元側を、接触領域TA1に繋がる近接領域CA1として検出する場合がある。
ただし、制御部20は、タッチ操作と近接操作とを異なる処理の実行を指示のための操作として採用し、そのタッチ操作や近接操作が行われたことを個別に検出するために、接触領域TA1や近接領域CA1を検出している。
このため制御部20は、静電センサの出力値と第1及び第2閾値との比較結果に基づき、接触領域TA1と、これに繋がる近接領域CA1とを同時に検出すると、一方の接触領域TA1の検出のみを有効にし、他方の近接領域CA1の検出については無効にする。
すなわち、制御部20は、接触領域TA1と、これに繋がる近接領域CA1とを同時に検出すると、第1操作面に対して行われたタッチ操作による接触領域TA1を検出したものとし、近接領域CA1の検出は誤検出として取り消す。
これにより制御部20は、第1操作面に対しタッチ操作が行われたとき、近接領域CA1を検出して近接操作が行われたものと誤って判断し、誤動作(すなわち、誤った処理を実行)することを回避している。
さらに制御部20は、この際、第1操作面において、第2閾値未満の出力値を得た静電センサがまとまっている1又は複数の領域NA1を、それぞれ非近接領域NA1として検出する。
因みに、制御部20は、この際、第1操作面における1又は複数の非近接領域NA1も、それぞれ第2閾値未満の出力値を得た静電センサと対向する画素位置の座標として検出する。
このように制御部20は、領域検出処理を実行する毎に、第1タッチパネル14Bの第1操作面において1又は複数の接触領域TA1、1又は複数の近接領域CA1、1又は複数の非近接領域NA1を区別するようにして検出する。
そして制御部20は、第1タッチパネル14Bの第1操作面における接触領域TA1、近接領域CA1、非近接領域NA1を区別するように検出することで、第1操作面に指が接触しているのか、それとも近接しているだけなのかを認識することができる。
また制御部20は、この際、第1タッチパネル14Bの第1操作面において、どの位置に指が接触又は近接しているのかを認識することもできる。
さらに制御部20は、第1タッチパネル14Bの第1操作面に対する指の接触領域TA1の形や大きさ、当該第1操作面に対する指の近接領域CA1の形や大きさ等を認識することもできる。
制御部20は、このように一定時間毎に第1タッチパネル14Bからパネル出力信号を取得し、第1操作面における接触領域TA1、近接領域CA1、非近接領域NA1を判別していくことで、これらの変位を検出する。
また制御部20は、その変位をもとに、第1タッチパネル14Bの第1操作面上での指の動きを特定し、その特定した指の動きをもとに、第1操作面に対して行われたタッチ操作及び近接操作を認識する。
そして制御部20は、その認識したタッチ操作及び近接操作によって指示された処理を実行する。このようにして制御部20は、第1タッチスクリーン14の第1操作面に対しタッチ操作や近接操作が行われると、これを操作入力として受け付け、その操作入力に応じた処理を実行する。
一方、第2タッチスクリーン15は、上述のように画像を表示する第2液晶パネル15Aと、静電容量式の第2タッチパネル15Bとから構成されている。
第2タッチパネル15Bは、第1タッチパネル14Bと同様に構成され、例えば、第2液晶パネル15Aの複数の画素に対向させて、第2操作面の内側にマトリクス状に配置された複数の静電センサ(図示せず)を有している。
そして第2タッチパネル15Bの複数の静電センサも、それぞれ指が近づくと、第1タッチパネル14Bの複数の静電センサの場合と同様に静電容量が変化し、その静電容量の変化に応じて出力値も変化する。
よって制御部20は、一定時間毎に領域検出処理を実行すると、第1タッチパネル14Bの場合と同様に第2タッチパネル15Bからも各静電センサそれぞれの出力値を、当該静電センサの配置位置を示す位置情報と共にパネル出力信号として取得する。
因みに、静電センサの配置位置は、例えば、当該静電センサと対向する第2液晶パネル15Aの画素位置の座標(すなわち、第2液晶パネル15Aにおいて静電センサと対向する画素が配置された位置を示す2次元座標)で示されている。
そして制御部20は、領域検出処理において、第2タッチパネル15Bからパネル出力信号を取得すると、そのパネル出力信号を用いて、第2操作面において1又は複数の接触領域や1又は複数の近接領域を、これらの重心位置と共に適宜検出する。
また制御部20は、領域検出処理を実行する毎に、第2タッチパネル15Bの第2操作面において1又は複数の非近接領域も検出する。
すなわち、制御部20は、領域検出処理を実行する毎に、第2タッチパネル15Bの第2操作面における1又は複数の接触領域、1又は複数の近接領域、1又は複数の非近接領域も区別するようにして検出する。
よって制御部20は、第2タッチパネル15Bの第2操作面においても、当該第2操作面に指が接触しているのか、それとも近接しているだけなのかを認識することができる。
また制御部20は、この際、第2タッチパネル15Bの第2操作面において、どの位置に指が接触又は近接しているのかを認識することもできる。
さらに制御部20は、第2タッチパネル15Bの第2操作面に対する指の接触領域の形や大きさ、当該第2操作面に対する指の近接領域の形や大きさ等を認識することもできる。
制御部20は、このように一定時間毎に第2タッチパネル15Bからパネル出力信号を取得して、第2操作面における接触領域、近接領域、非近接領域を判別していくことで、これらの変位を検出する。
また制御部20は、その変位をもとに、第2タッチパネル15Bの第2操作面上での指の動きを特定し、その特定した指の動きをもとに、第2操作面に対して行われたタッチ操作及び近接操作を認識する。
そして制御部20は、その認識したタッチ操作及び近接操作によって指示された処理を実行する。このようにして制御部20は、第2タッチスクリーン15の第2操作面に対しタッチ操作や近接操作が行われると、これを操作入力として受け付け、その操作入力に応じた処理を実行する。
ところで、第1タッチパネル14Bの第1操作面や第2タッチパネル15Bの第2操作面に対して行われるタッチ操作としては、当該第1操作面や第2操作面に例えば、1本の指をほぼ一点に接触させて直ちに離すような操作がある。
因みに、以下の説明では、第1操作面や第2操作面に1本の指を接触させて直ちに離すような操作を、特にタップ操作とも呼ぶ。
タップ操作は、例えば、表示中の画像内に配置され、指示によって選択可能な種々の情報を示すアイコンやボタン、特定の画像等のような指示対象を任意に指示するために行われる操作である。
また第1タッチパネル14Bの第1操作面や第2タッチパネル15Bの第2操作面に対して行われるタッチ操作としては、当該第1操作面や第2操作面に例えば、1本の指を接触させて直ちに任意の方向にすばやく動かしながら離すような操作もある。
因みに、以下の説明では、第1操作面や第2操作面に1本の指を接触させて直ちに任意の方向にすばやく動かしながら離すような操作を、特にフリック操作とも呼ぶ。
フリック操作は、例えば、表示中の画像を比較的早くスクロールさせて表示部分を変更するような処理の実行を指示するために行われる操作である。
さらに第1タッチパネル14Bの第1操作面や第2タッチパネル15Bの第2操作面に対して行われるタッチ操作としては、当該第1操作面や第2操作面に例えば、1本の指を接触させたまま移動させるような操作等もある。
因みに、以下の説明では、第1操作面や第2操作面に1本の指を接触させたまま移動させるような操作を、特に摺動操作とも呼ぶ。
摺動操作は、例えば、表示中の画像を指の移動に追従させるようにスクロールさせて表示部分を変更するような処理の実行を指示するために行われる操作である。
よって制御部20は、領域検出処理を実行する毎に、第1タッチパネル14Bから取得したパネル出力信号に基づき接触領域を重心位置と共に検出すると、その一連の検出結果に基づき、第1操作面に対して行われたタッチ操作の種類を判別する。
実際に制御部20は、領域検出処理の実行間隔である上述の一定時間で、タッチ操作や近接操作を行っている指が移動可能な最大移動距離を示す最大移動距離情報を予め保持している。
そして制御部20は、領域検出処理を実行して第1タッチパネル14Bからパネル出力信号を取得し1個の接触領域を重心位置と共に検出すると、その都度、前回(1回前)の領域検出処理で接触領域を検出していたか否かを判別する。
その結果、制御部20は、前回の領域検出処理で接触領域を全く検出していないと、今回の領域検出処理で検出した1個の接触領域を、第1操作面に対する指の接触開始時点の接触領域であると判別する。
これに対し制御部20は、前回の領域検出処理で接触領域を検出していると、前回の領域検出処理で検出した重心位置と、今回の領域検出処理で検出した重心位置との間の距離(以下、これを重心間距離とも呼ぶ)を総当たりで算出する。
また制御部20は、その算出した1又は複数の重心間距離を、それぞれ最大移動距離と比較する。そして制御部20は、その比較結果に基づき、今回の領域検出処理において、前回の領域検出処理で検出した重心位置から最大移動距離以内の重心位置を検出しているか否かを判別する。
その結果、制御部20は、今回の領域検出処理で、前回の重心位置から最大移動距離以内の重心位置を検出していると、その前回及び今回の重心位置に対応する前回及び今回の接触領域を、同一の指の接触領域であると判別する。
すなわち、制御部20は、今回の領域検出処理で、前回の重心位置から最大移動距離以内の重心位置を検出すると、その今回の重心位置に対応する接触領域を、前回の領域検出処理のときから第1操作面に接触している指の接触領域であると判別する。
また制御部20は、今回の領域検出処理で、前回の何れの重心位置からも最大移動距離を越えて離れた重心位置を検出すると、今回の重心位置に対応する接触領域を、第1操作面に対する新たな指(他の指)の接触開始時点の接触領域であると判別する。
さらに制御部20は、今回の領域検出処理で、前回の何れかの重心位置との重心間距離が最大移動距離以下である重心位置を検出していないと、その前回の重心位置に対応する接触領域が、第1操作面に対する指の接触終了時点の接触領域であると判別する。
すなわち、制御部20は、今回の領域検出処理で、前回の重心位置からの重心間距離が最大移動距離以下である重心位置の接触領域を検出していないと、前回の重心位置に対応する接触領域が、第1操作面から指が離される直前の接触領域であると判別する。
また制御部20は、領域検出処理を実行しても接触領域を全く検出しないと、この場合も、前回(1回前)の領域検出処理で接触領域を検出していたか否かを判別する。
その結果、制御部20は、前回の領域検出処理で接触領域を検出していると、その前回の接触領域が、第1操作面に対する指の接触終了時点の接触領域であると判別する。
すなわち、制御部20は、前回の領域検出処理で接触領域を検出していても、今回の領域検出処理で接触領域を全く検出しないと、その前回の接触領域が、第1操作面から指が離される直前の接触領域であると判別する。
このようにして制御部20は、領域検出処理を順次実行することにより、タッチ操作が開始されるときには、第1操作面に指が接触する毎に接触領域を検出する。
また制御部20は、領域検出処理を順次実行することにより、第1操作面に指が接触している間(第1操作面に対しタッチ操作が行われている間)は、その指による1個の接触領域を順次追跡するように検出する。
すなわち、制御部20は、領域検出処理を実行して指の接触開始時点の1個の接触領域を検出すると、引き続き領域検出処理を順次実行して、その指による1個の接触領域を当該指の接触終了時点まで追跡する。
かかる構成のもと、制御部20は、例えば、第1操作面に対しタッチ操作が行われていない状態で、1個の接触領域を検出して、これを指の接触開始時点の接触領域であると判別すると、このときタッチ操作が開始されたと判断する。
この際、制御部20は、そのタッチ操作の開始の判断に応じて、例えば、図示しないタイマにより、第1操作面に対して行われるタッチ操作により当該第1操作面に指が接触している時間(以下、これを接触時間)の計時を開始する。
因みに、制御部20は、1本の指の接触開始時点の1個の接触領域を検出して接触時間の計時を開始すると、当該1個の接触領域を順次追跡するように検出している間、当該接触時間の計時を継続する。
そして制御部20は、その順次追跡するように検出していた1個の接触領域を、接触終了時点の接触領域であると判別すると、その時点にタッチ操作が終了したと判断して接触時間の計時を停止する。
また制御部20は、そのタッチ操作の開始に応じて、例えば、指の接触開始時点の接触領域の重心位置を起点として、その指の移動軌跡の検出も開始する。
因みに、制御部20は、タッチ操作の開始以降、領域検出処理を実行して当該タッチ操作による接触領域を重心位置と共に検出する毎に、起点(重心位置)から、その検出した重心位置を順に辿るようにして指の移動軌跡を検出する。
そして制御部20は、接触時間を、タッチ操作の種類の判別用に予め選定された例えば、1[sec]以下の所定時間(以下、これを種類判別時間とも呼ぶ)と比較する。
その結果、制御部20は、接触時間が種類判別時間に達する前にタッチ操作が終了して当該接触時間の計時を終了すると、そのときまでに検出した移動軌跡が、起点(重心位置)を中心にした所定半径の円内に収まっているか否かを判別する。
因みに、起点を中心とした円は、タッチ操作の種類を判別するために用いるものであり、以下の説明では、その円をタッチ操作判別円とも呼ぶ。そしてタッチ操作判別円の半径は、例えば、1[mm]以下の所定長さに予め選定されている。
制御部20は、タッチ操作の開始から終了までの指の移動軌跡が、タッチ操作判別円内に収まっていると、このとき第1操作面に対して行われたタッチ操作がタップ操作であると判別する。
この際、制御部20は、タップ操作による指の接触終了時点の接触領域の重心位置(すなわち、画素位置の座標で示す重心位置)を、このとき第1液晶パネル14Aの表示面において、当該タップ操作により指示されたタップ指示位置とする。
これに対し制御部20は、この際、タッチ操作の開始から終了までの指の移動軌跡が、例えば、起点からタッチ操作判別円の外側にまで伸びていると、このとき第1操作面に対して行われたタッチ操作がフリック操作であると判別する。
この際、制御部20は、フリック操作による指の接触開始時点の接触領域の重心位置(起点)から当該指の接触終了時点の接触領域の重心位置へ向かう方向を、フリック操作による指の移動方向とする。そして制御部20は、そのフリック操作による指の移動方向を、例えば、画像のスクロールに利用する。
また制御部20は、タイマにより計時している接触時間が種類判別時間以上になると、重心位置の検出に応じて指の移動軌跡を順次更新する毎に、当該更新した移動軌跡がタッチ操作判別円の外側にまで伸びたか否かを判別する。
その結果、制御部20は、種類判別時間を越えて行われているタッチ操作において指の移動軌跡がタッチ操作判別円の外側にまで伸びたことを検出すると、このとき第1操作面に対して行われたタッチ操作が、摺動操作であると判別する。
この場合、制御部20は、タッチ操作が摺動操作であると判別した時点(以下、これを摺動操作判別時点とも呼ぶ)以降も当該摺動操作が終了するまでの間、重心位置の検出に応じて指の移動軌跡を順次更新する。そして制御部20は、その摺動操作による指の移動軌跡を、例えば、画像のスクロールに利用する。
因みに、制御部20は、種類判別時間を越えて行われているタッチ操作において指の移動軌跡がタッチ操作判別円内に収まったまま、そのタッチ操作が終了すると、このとき第1操作面に指が誤って接触しており、タッチ操作は行われていないと判別する。
このようにして制御部20は、第1タッチパネル14Bの第1操作面に対し例えば、1本の指でタップ操作が行われたことを検出することができる。
また制御部20は、第1タッチパネル14Bの第1操作面に対し例えば、1本の指でフリック操作が行われたことも検出することができる。
さらに制御部20は、第1タッチパネル14Bの第1操作面に対し例えば、1本の指で摺動操作が行われたことも検出することができる。
一方、制御部20は、領域検出処理を実行して、第2タッチパネル15Bから取得したパネル出力信号に基づき接触領域を重心位置と共に検出すると、この場合も、第1操作面に対して行われたタッチ操作の種類を判別するための処理と同様の処理を実行する。
これにより制御部20は、第2タッチパネル15Bの第2操作面に対し例えば、1本の指によりタップ操作が行われたことを検出することができる。
また制御部20は、第タッチパネル1Bの第操作面に対し例えば、1本の指でフリック操作が行われたことも検出することができる。
さらに制御部20は、第2タッチパネル15Bの第2操作面に対し例えば、1本の指により摺動操作が行われたことも検出することができる。
ところで、例えば、不揮発性メモリ21には、選択可能な種々の情報を示す指示対象が配置されたメニュー画像のような種々の画像の画像データが予め記憶されている。また不揮発性メモリ21には、その画像毎に生成された情報判別テーブルも予め記憶されている。
因みに、個々の情報判別テーブルには、対応する画像内の指示対象の配置領域の位置を画素位置の座標で示す配置領域情報と、その指示対象の指示によって選択可能な情報を示す選択情報とが対応付けられて格納されている。
よって制御部20は、不揮発性メモリ21から画像データを読み出して第1液晶パネル14A及び第2液晶パネル15Aの少なくとも一方に画像を表示した場合、不揮発性メモリ21から、その画像データに対応する情報判別テーブルをRAM22に読み出す。
この状態で制御部20は、第1タッチパネル14Bの第1操作面に対しタップ操作が行われたことを検出すると、情報判別テーブルに基づき複数の配置領域の中に、そのタップ操作によるタップ指示位置を含む配置領域が存在するかどうかを検出する。
その結果、制御部20は、複数の配置領域に中からタップ指示位置を含む配置領域を検出すると、情報判別テーブルに基づき、そのタップ指示位置を含む配置領域に対応付けられた選択情報を検出する。
このようにして制御部20は、タップ操作により選択された情報を判別して、当該判別した情報に応じた処理を実行する。
また制御部20は、第1液晶パネル14A及び第2液晶パネル15Aの少なくとも一方に画像を表示した場合、その画像全体を表示面に表示し得ているか否かを判別し、その判別結果に応じて、画像のスクロールが可能であるか否かを認識している。
よって制御部20は、画像のスクロールが可能な状態で第1操作面に対しフリック操作が行われたことを検出すると、表示中の画像を指の移動方向に比較的早くスクロールする。
また制御部20は、画像のスクロールが可能な状態で第1操作面に対し摺動操作が行われたことを検出すると、表示中の画像を、指の移動軌跡に基づき当該指の移動に追従させるようにスクロールする。
因みに、制御部20は、画像をスクロールし得ない状態で第1操作面に対しフリック操作や摺動操作が行われたことを検出すると、その検出を無効にする。
また制御部20は、第2タッチパネル15Bの第2操作面に対しタップ操作が行われたことを検出したときも、同様に、そのタップ操作によって選択された情報を判別し、当該判別した情報に応じた処理を実行する。
さらに制御部20は、画像のスクロールが可能な状態で第2操作面に対しフリック操作が行われたことを検出すると、表示中の画像を指の移動方向に比較的早くスクロールさせる。
また制御部20は、画像のスクロールが可能な状態で第2操作面に対し摺動操作が行われたことを検出すると、表示中の画像を、指の移動軌跡に基づき当該指の移動に追従させるようにスクロールさせる。
因みに、制御部20は、画像をスクロールし得ない状態で第2操作面に対しフリック操作や摺動操作が行われたことを検出すると、その検出を無効にする。
実際に制御部20は、例えば、第1液晶パネル14Aに、選択可能な情報としてWebブラウザの起動命令を示す指示対象が配置された所定の画像を表示し、その指示対象がタップ操作により指示されると、Webブラウザの起動命令が選択されたと認識する。
この場合、図6に示すように、制御部20は、Webブラウザの起動命令の選択に応じて、Webブラウザを起動して、第2液晶パネル15Aから第1液晶パネル14Aに亘って1個のWebブラウザ画像30を表示する。
すなわち、制御部20は、この際、第2液晶パネル15A及び第1液晶パネル14Aの両方の表示面をあたかも1つの表示面と見なして、これら表示面にWebブラウザ画像30を表示する。
また制御部20は、このときネットワークインタフェース23を介して、ネットワーク上のサーバからWebページのページデータを受信して、そのページデータに基づくページ画像31を、Webブラウザ画像30内の所定部分に嵌め込むように表示する。
これにより制御部20は、第1液晶パネル14A及び第2液晶パネル15Aを介してユーザに、Webブラウザ画像30と共にWebページ(すなわち、ページ画像31)を閲覧させることができる。
因みに、以下の説明では、所定部分にページ画像31を嵌め込むようにして表示されたWebブラウザ画像30全体を、Web画像32とも呼ぶ。
この際、制御部20は、例えば、第1タッチパネル14Bの第1操作面に対し指を矢印aに示す下側から上側へ移動させるようなフリック操作が行われたことを検出すると、Web画像32を上方向へ比較的早くスクロールさせる。
また制御部20は、例えば、このとき第2タッチパネル15Bの第2操作面に対し指を下側から上側へ移動させるようなフリック操作が行われたことを検出しても、Web画像32を上方向へ比較的早くスクロールさせる。
因みに、制御部20は、このようにフリック操作に応じてWeb画像32を上方向へ比較的早くスクロールしている状態で、例えば、第1操作面や第2操作面に対しタップ操作が行われると、スクロールを停止させるように指示されたと認識する。
よって制御部20は、フリック操作に応じてWeb画像32を上方向へ比較的早くスクロールしている状態で、このようにタップ操作が行われると、これに応じてWeb画像32の上方向への比較的早いスクロールを停止させる。
さらに制御部20は、例えば、第1タッチパネル14Bの第1操作面に対し指を上側から下側へ移動させるようなフリック操作が行われたことを検出すると、Web画像32を下方向へ比較的早くスクロールさせる。
さらにまた制御部20は、例えば、第2タッチパネル15Bの第2操作面に対し指を表示面の上側から下側へ移動させるようなフリック操作が行われたことを検出しても、Web画像32を下方向へ比較的早くスクロールさせる。
因みに、制御部20は、このようにフリック操作に応じてWeb画像32を下方向へ比較的早くスクロールしている状態でも、第1操作面や第2操作面に対しタップ操作が行われると、スクロールを停止させるように指示されたと認識する。
よって制御部20は、フリック操作に応じてWeb画像32を下方向へ比較的早くスクロールしている状態で、このようにタップ操作が行われると、これに応じてWeb画像32の下方向への比較的早いスクロールを停止させる。
これに加え制御部20は、この際、例えば、第1タッチパネル14Bの第1操作面に対し指を下側から上側へ移動させるような摺動操作が行われたことを検出すると、Web画像32を、その指の移動に追従させるように上方向へスクロールさせる。
また制御部20は、例えば、この際、第2タッチパネル15Bの第2操作面に対し指を下側から上側へ移動させるような摺動操作が行われたことを検出しても、Web画像32を、その指の移動に追従させるように上方向へスクロールさせる。
さらに制御部20は、この際、第1操作面や第2操作面に対し指を上側から下側へ移動させるような摺動操作が行われると、これに応じてWeb画像32を、その指の移動に追従させるように下方向へスクロールさせることもできる。
このように制御部20は、第2液晶パネル15A及び第1液晶パネル14Aの両方の表示面に亘ってWeb画像32全体を表示しきれない場合でも、そのWeb画像32を適宜スクロールして、くまなく見せることができる。
ところで、ページ画像31には、選択可能な種々の情報を示す指示対象が配置されている。そしてページ画像31には、指示対象の配置領域の位置を画像内の座標で示す画像内位置情報と、当該指示対象の指示によって選択可能な情報を示す選択情報とが対応付けられて付加されている。
制御部20は、ページ画像31の指示対象を第1液晶パネル14Aに表示すると、その指示対象の選択情報に、第1液晶パネル14Aでの当該指示対象の表示領域の位置を画素位置の座標で示す表示領域情報を対応付ける。
また制御部20は、ページ画像31の指示対象を第2液晶パネル15Aに表示すると、その指示対象の選択情報に、第2液晶パネル15Aでの当該指示対象の表示領域の位置を画素位置の座標で示す表示領域情報を対応付ける。
因みに、制御部20は、Web画像32をスクロールして指示対象の表示領域を変位させた場合、その指示対象の選択情報に対応付ける表示領域情報を、変位後の表示領域の位置を画素位置の座標で示す表示領域情報に変更する。
そして制御部20は、Web画像32をスクロールしていない状態で第1操作面に対しタップ操作が行われたことを検出すると、第1液晶パネル14Aに表示中の1又は複数の指示対象の表示領域の中から、タップ指示位置を含む表示領域を検出する。
これにより制御部20は、このときページ画像31上で行われたタップ操作によって選択された情報(すなわち、そのタップ指示位置を含む表示領域を対応付けた選択情報)を判別する。
また制御部20は、Web画像32をスクロールしていない状態で第2操作面に対しタップ操作が行われたことを検出すると、第2液晶パネル15Aに表示中の1又は複数の指示対象の表示領域の中から、タップ指示位置を含む表示領域を検出する。
これにより制御部20は、このときページ画像31上で行われたタップ操作によって選択された情報(すなわち、そのタップ指示位置を含む表示領域を対応付けた選択情報)を判別する。
そして制御部20は、このように選択された情報を判別すると、これに応じて例えば、ネットワークインタフェース23を介して、ネットワーク上のサーバから新たなページデータを受信して、そのページデータに基づくページ画像を表示するような処理を実行する。
このようにして制御部20は、ページ画像31のように外部から取得した画像を表示した場合も、その画像上でタップ操作が行われると、そのタップ操作によって選択された情報を判別して、当該判別した情報に応じた処理を実行する。
ところで、制御部20は、第2液晶パネル15A及び第1液晶パネル14Aの両方の表示面に亘ってWeb画像32を表示した場合、このようにWebブラウザ画像30内に表示するページ画像31を適宜変更することができる。
また制御部20は、例えば、第2液晶パネル15A及び第1液晶パネル14Aの両方の表示面に亘って表示したWeb画像32を最小化して、その表示を待機させておき、上述と同様の処理を行うことで、新たなWeb画像32を表示することもできる。
すなわち、制御部20は、Web画像32をRAM22上で展開して表示可能な状態(すなわち、立ち上げた状態)すると、これをRAM22から消去せずに表示を待機させ、新たなWeb画像のみを表示して見せるようにすることもできる。
さらに制御部20は、例えば、第2液晶パネル15A及び第1液晶パネル14Aの両方の表示面に亘って表示したWeb画像32の前面に、新たなWeb画像32を重ねて表示することもできる。
すなわち、制御部20は、一旦立ち上げたWeb画像32をRAM22から消去せずに、新たなWeb画像32で隠すようにして表示を待機させ、その新たなWeb画像のみを見せるようにすることもできる。
さらに制御部20は、Web画像32の他に、メニュー画像やスケジュール画像、カレンダー画像、ゲーム画像等のように、不揮発性メモリ21に記憶している種々の画像についても適宜立ち上げたまま、同様に、その表示を待機させることもできる。
このようにして制御部20は、Web画像32やメニュー画像、スケジュール画像等を順次立ち上げつつ、表示を適宜待機させることで、一度に複数の画像を立ち上げた状態にしておくことができる。
因みに、以下の説明では、このようにRAM22上で展開して表示可能な状態に立ち上げた画像を、立上画像とも呼ぶ。
このようにして制御部20は、複数の立上画像の表示を待機させている場合、後述するように、これら複数の立上画像を一括してユーザに提示し、表示すべき立上画像を任意に選択させる。
そして制御部20は、その選択された1個の立上画像を第2液晶パネル15A及び第1液晶パネル14Aの両方の表示面に亘って、又は第1液晶パネル14A及び第2液晶パネル15Aの一方の表示面に表示することができる。
ところで、制御部20は、上述のページ画像として、例えば、サーバから音楽データをアルバム単位で購入するためのページデータを受信して、そのページデータに基づくページ画像をWebブラウザ画像内に表示することができる。
そして制御部20は、例えば、かかるページ画像上でタップ操作により、購入を希望する音楽データがアルバムとして選択され、そのアルバムの購入が選択されると、これに応じて音楽データの購入処理を実行する。
この場合、制御部20は、ユーザによりアルバムとして選択された音楽データを購入要求する購入要求データを生成し、当該生成した購入要求データを、ネットワークインタフェース23を介してネットワーク上のサーバに送信する。
その結果、制御部20は、サーバからアルバム単位の音楽データの購入に対する課金処理が完了して、当該音楽データと、これに対応する音楽関連情報とが一組ずつ順次送信されると、これらを、ネットワークインタフェース23を介して受信する。
また制御部20は、その受信した音楽データ及び音楽関連情報を一組ずつ不揮発性メモリ21に送出することにより、当該不揮発性メモリ21に音楽データと音楽関連情報とを対応付けて記憶する。
このようにして制御部20は、ネットワーク上のサーバから音楽データをアルバム単位で購入して不揮発性メモリ21に記憶することができる。
ここで、音楽関連情報には、対応する音楽データ固有の識別情報、当該音楽データに基づく音楽の曲タイトル、アーティスト名、その音楽が属するジャンルのジャンル名、その音楽が収録されたアルバムのアルバムタイトルのような情報が含まれている。
これに加えて音楽関連情報には、対応する音楽データに基づく音楽が収録されたアルバムのジャケット写真の画像データ(以下、これをジャケット画像データとも呼ぶ)、音楽データの再生時間、データフォーマット等のような情報も含まれている。
また制御部20は、不揮発性メモリ21内に、音楽データを登録して管理するためのデータベース(以下、これを管理データベースとも呼ぶ)を予め構築している。
よって図7に示すように、制御部20は、不揮発性メモリ21に音楽データを音楽関連情報と共に記憶すると、その音楽関連情報に基づき音楽データをジャンルで分類し、そのジャンル毎にアーティストで分類し、そのアーティスト毎にアルバムで分類する。
そして制御部20は、音楽データを、このような階層的な分類で管理するために、複数のジャンル名を最上位階層でもある第1階層の管理情報とする。
また制御部20は、その第1階層の管理情報である複数のジャンル名それぞれに、当該第1階層よりも1階層下位の第2階層の管理情報となる1又は複数のアーティスト名(すなわち、そのジャンルに属する音楽データを分類したアーティスト)を対応付ける。
さらに制御部20は、第2階層の管理情報であるアーティスト名それぞれに、当該第2階層よりも1階層下位の第3階層の管理情報となる1又は複数のアルバムタイトル(すなわち、そのアーティストの音楽データを分類したアルバム)を対応付ける。
さらに制御部20は、その第3階層の管理情報であるアルバムタイトルそれぞれに、当該第3階層よりも1階層下位の第4階層の管理情報となる複数の曲タイトル(すなわち、そのアルバムに収録された曲)を対応付ける。
このようにして制御部20は、音楽データを階層的な分類で管理するための第1乃至第4階層の管理情報を相互に対応付けた音楽管理情報を生成する。
そして制御部20は、その音楽管理情報を不揮発性メモリ21に送出して管理データベースに登録するようにして、当該不揮発性メモリ21に音楽管理情報を記憶する。
また制御部20は、不揮発性メモリ21に、サーバから購入した音楽データを音楽関連情報と共に記憶する毎に、当該記憶した音楽関連情報に基づき音楽管理情報の内容を更新している。
これにより制御部20は、管理データベースに登録している音楽管理情報に基づき、不揮発性メモリ21に記憶している複数の音楽データを階層的に管理し得るようになされている。
制御部20は、第1液晶パネル14Aに、選択可能な情報として再生機能選択命令を示す指示対象を有するメニュー画像のような所定の画像を表示し、その指示対象がタップ操作で指示されると、再生機能選択命令が選択されたと認識する。
この際、制御部20は、不揮発性メモリ21から音楽管理情報を読み出すと共に、音楽関連情報に含まれるジャケット画像データも読み出す。
また制御部20は、音楽管理情報に含まれる第1階層の管理情報に基づき、複数のジャンル名をアルファベット順に並べて示すジャンルリストを生成する。
さらに制御部20は、音楽管理情報に含まれる第2階層の管理情報に基づき、ジャンル名毎の、当該ジャンル名に対応付けている複数のアーティスト名をアルファベット順に並べて示すアーティストリストも生成する。
さらに制御部20は、音楽管理情報に含まれる第3階層の管理情報に基づき、アーティスト名毎の、当該アーティスト名に対応付けている複数のアルバムタイトルをアルファベット順に並べて示すアルバムリストも生成する。
さらに制御部20は、音楽管理情報に含まれる第4階層の管理情報に基づき、アルバムタイトル毎の、当該アルバムタイトルに対応付けている複数の曲タイトルの曲タイトルリストも生成する。
因みに、制御部20は、この際、アルバムタイトル毎に、そのアルバムにおいて予め決められていた音楽データの再生順序通りに複数の曲タイトルを並べるようにして曲タイトルリストを生成する。
さらに制御部20は、ジャンルリスト、ジャンル名毎のアーティストリスト、ジャケット画像データに基づき、ユーザに所望のジャンルを選択させるためのジャンル一覧画像の画像データを生成する。
そして図8に示すように、制御部20は、例えば、第2液晶パネル15Aから第1液晶パネル14Aに亘って、その画像データに基づき、複数の音楽データに対する第1階層の分類(ジャンルによる分類)を示すジャンル一覧画像35を表示する。
この場合、ジャンル一覧画像35には、例えば、指示対象として、それぞれ異なるジャンル名が表記された複数のジャンルアイコン36がマトリクス状(複数行及び複数列)に配置されている。
またジャンル一覧画像35には、個々のジャンルアイコン36の下側に、指示対象として、当該ジャンルアイコン36が示すジャンル名に対応するアーティストのアルバムのジャケット写真の画像(以下、これをジャケット画像とも呼ぶ)37が配置されている。
ところで、ジャンル一覧画像35では、例えば、ジャンル名に対応するアーティストのアルバムのジャケット画像37が複数存在する場合、当該複数のジャケット画像37が、僅かにずらしながら積み上げられているように配置されている。
よってジャンル一覧画像35では、ジャンル名毎のアルバムの枚数が多いか少ないかを直感的に認識させ得るようになされている。
このようにして制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘ってジャンル一覧画像35として複数のジャンルアイコン36及びジャケット画像37を一覧表示する。
これにより制御部20は、そのジャンル一覧画像35により、音楽データの再生用に選択可能な複数のジャンルを提示することができると共に、ジャンル毎の音楽データをアルバムとして、どの程度(すなわち、数)記憶しているのかも提示することができる。
因みに、制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘ってジャンル一覧画像35を表示した状態で、第1操作面や第2操作面に対しフリック操作や摺動操作が行われると、上述と同様にジャンル一覧画像35をスクロールする。
よって制御部20は、第2液晶パネル15A及び第1液晶パネル14Aの両方の表示面に亘ってジャンル一覧画像35全体を表示しきれない場合でも、そのジャンル一覧画像35を適宜スクロールして、くまなく見せることができる。
また制御部20は、この際、ジャンル名毎のジャケット画像37の表示領域の位置を画素位置の座標で示す表示領域情報に、当該ジャケット画像37の指示によって選択可能な情報として、ジャンル名及びジャケット画像37を示すジャンル情報を対応付ける。
さらに制御部20は、そのジャケット画像37毎の表示領域情報と、当該表示領域情報に対応付けたジャンル情報とを選択ジャンル判別情報としてRAM22に記憶する。
因みに、制御部20は、ジャンル一覧画像35をスクロールしてジャケット画像37の表示領域を変位させた場合、ジャンル情報と対応付けている表示領域情報を、変位後の表示領域の位置を画素位置の座標で示す表示領域情報に変更する。
制御部20は、ジャンル一覧画像35をスクロールしていない状態で第1操作面に対しタップ操作が行われると、選択ジャンル判別情報に基づき、ジャケット画像37の表示領域の中からタップ指示位置を含む表示領域を検出する。
また制御部20は、ジャンル一覧画像35をスクロールしていない状態で第2操作面に対しタップ操作が行われても、選択ジャンル判別情報に基づき、ジャケット画像37の表示領域の中からタップ指示位置を含む表示領域を検出する。
さらに制御部20は、このときジャンル一覧画像35上で行われたタップ操作によって選択されたジャンル名及びジャケット画像37(すなわち、そのタップ指示位置を含む表示領域に対応付けていたジャンル情報)を判別する。
このようにして制御部20は、ジャンル一覧画像35を介して、音楽データの再生用に複数のジャンルの中から所望のジャンルを、ジャンル名及びジャケット画像37として選択させることができる。
この際、制御部20は、その選択されたジャンル名に対応するアーティストリストを特定すると共に、当該特定したアーティストリストに対応するアーティスト名(アーティストリストに含まれるアーティスト名)毎のアルバムリストも特定する。
また制御部20は、その特定したアーティストリスト及びアルバムリストと、ジャンル名と共に選択されたジャケット画像37のジャケット画像データとに基づき、ユーザに所望のアーティストを選択させるためのアーティスト一覧画像の画像データを生成する。
そして図9に示すように、制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘り画像データに基づき、複数の音楽データに対する第2階層の分類においてユーザにより選択されたジャンル内での分類を示すアーティスト一覧画像38を表示する。
すなわち、制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘り、ユーザにより選択されたジャンル内での複数の音楽データのアーティストによる分類(第2階層の分類)を示すアーティスト一覧画像38を表示する。
この場合、アーティスト一覧画像38には、指示対象として例えば、それぞれ異なるアーティスト名(ユーザにより選択されたジャンルに対応するアーティスト名)が表記された複数のアーティストアイコン39がマトリクス状に配置されている。
またアーティスト一覧画像38には、個々のアーティストアイコン39の下側に、指示対象として、当該アーティストアイコン39が示すアーティスト名に対応する(そのアーティスト名のアーティストの)アルバムのジャケット画像40が配置されている。
すなわちアーティスト一覧画像38には、あたかも、ジャンル一覧画像35上でジャンルとして選択されたジャケット画像37の山をアーティスト毎に分けるように崩して配置するように、そのアーティスト毎のジャケット画像40がマトリクス状に配置されている。
ところで、アーティスト一覧画像38では、例えば、アーティスト名に対応するアルバムのジャケット画像40が複数存在する場合、当該複数のジャケット画像40が、僅かにずらしながら積み上げられているように配置されている。
よってアーティスト一覧画像38では、アーティスト名毎のアルバムの枚数が多いか少ないかを直感的に認識させ得るようになされている。
このようにして制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘ってアーティスト一覧画像38として複数のアーティストアイコン39及びジャケット画像40を一覧表示する。
これにより制御部20は、そのアーティスト一覧画像38により、音楽データの再生用に選択可能な複数のアーティストを提示することができると共に、アーティスト毎の音楽データをアルバムとして、どの程度記憶しているのかも提示することができる。
因みに、制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘ってアーティスト一覧画像38を表示した状態で、第1操作面や第2操作面に対しフリック操作や摺動操作が行われると、上述と同様にアーティスト一覧画像38をスクロールする。
よって制御部20は、第2液晶パネル15A及び第1液晶パネル14Aの両方の表示面に亘ってアーティスト一覧画像38全体を表示しきれない場合でも、そのアーティスト一覧画像38を適宜スクロールさせて、くまなく見せることができる。
また制御部20は、アーティスト名毎のジャケット画像40の表示領域の位置を画素位置の座標で示す表示領域情報に、当該ジャケット画像40の指示により選択可能な情報として、アーティスト名及びジャケット画像40を示すアーティスト情報を対応付ける。
さらに制御部20は、そのジャケット画像40毎の表示領域情報と、当該表示領域情報に対応付けたアーティスト情報とを選択アーティスト判別情報としてRAM22に記憶する。
なお制御部20は、アーティスト一覧画像38をスクロールしてジャケット画像40の表示領域を変位させた場合、アーティスト情報と対応付けている表示領域情報を、変位後の表示領域の位置を画素位置の座標で示す表示領域情報に変更する。
制御部20は、アーティスト一覧画像38をスクロールしていない状態で第1操作面に対しタップ操作が行われると、選択アーティスト判別情報に基づき、ジャケット画像40の表示領域の中からタップ指示位置を含む表示領域を検出する。
また制御部20は、アーティスト一覧画像38をスクロールしていない状態で第2操作面に対しタップ操作が行われても、選択アーティスト判別情報に基づき、ジャケット画像40の表示領域の中からタップ指示位置を含む表示領域を検出する。
さらに制御部20は、このときアーティスト一覧画像38上で行われたタップ操作によって選択されたアーティスト名及びジャケット画像40(すなわち、そのタップ指示位置を含む表示領域に対応付けていたアーティスト情報)を判別する。
このようにして制御部20は、アーティスト一覧画像38を介して、音楽データの再生用に複数のアーティストの中から所望のアーティストを、アーティスト名及びジャケット画像40として選択させることができる。
そして制御部20は、この際、その選択されたアーティスト名に対応するアルバムリストを特定する。また制御部20は、その特定したアルバムリストと、アーティスト名と共に選択されたジャケット画像40のジャケット画像データとに基づき、ユーザに所望のアルバムを選択させるためのアルバム一覧画像の画像データを生成する。
よって図10に示すように、制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘り画像データに基づき、複数の音楽データに対する第3階層の分類においてユーザにより選択されたアーティスト内での分類を示すアルバム一覧画像41を表示する。
すなわち、制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘り、ユーザにより選択されたアーティスト内での複数の音楽データのアルバムによる分類(第3階層の分類)を示すアルバム一覧画像41を表示する。
この場合、アルバム一覧画像41には、指示対象として例えば、それぞれ異なるアルバムタイトル(ユーザにより選択されたアーティスト名に対応するアルバムタイトル)が表記された複数のアルバムアイコン42がマトリクス状に配置されている。
またアルバム一覧画像41には、個々のアルバムアイコン42の下側に、指示対象として、当該アルバムアイコン42が示すアルバムタイトルに対応する(そのアルバムタイトルのアルバムの)ジャケット画像43が配置されている。
すなわちアルバム一覧画像41には、あたかも、アーティスト一覧画像38上でアーティストとして選択されたジャケット画像40の山をアルバム毎に分けるように崩して配置するように、そのアルバム毎のジャケット画像43がマトリクス状に配置されている。
このようにして制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘ってアルバム一覧画像41として複数のアルバムアイコン42及びジャケット画像43を一覧表示する。
これにより制御部20は、そのアルバム一覧画像41により、音楽データの再生用に選択可能な複数のアルバムを提示することができる。
因みに、制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘ってアルバム一覧画像41を表示した状態で、第1操作面や第2操作面に対しフリック操作や摺動操作が行われると、上述と同様にアルバム一覧画像41をスクロールする。
よって制御部20は、第2液晶パネル15A及び第1液晶パネル14Aの両方の表示面に亘ってアルバム一覧画像41全体を表示しきれない場合でも、そのアルバム一覧画像41を適宜スクロールさせて、くまなく見せることができる。
また制御部20は、アルバムタイトル毎のジャケット画像43の表示領域の位置を画素位置の座標で示す表示領域情報に、当該ジャケット画像43の指示によって選択可能な情報として、アルバムタイトル及びジャケット画像43を示すアルバム情報を対応付ける。
さらに制御部20は、そのジャケット画像43毎の表示領域情報と、当該表示領域情報に対応付けたアルバム情報とを選択アルバム判別情報としてRAM22に記憶する。
なお制御部20は、アルバム一覧画像41をスクロールしてジャケット画像43の表示領域を変位させた場合、アルバム情報と対応付けている表示領域情報を、変位後の表示領域の位置を画素位置の座標で示す表示領域情報に変更する。
制御部20は、アルバム一覧画像41をスクロールしていない状態で第1操作面に対しタップ操作が行われると、選択アルバム判別情報に基づき、ジャケット画像43の表示領域の中からタップ指示位置を含む表示領域を検出する。
また制御部20は、アルバム一覧画像41をスクロールしていない状態で第2操作面に対しタップ操作が行われても、選択アルバム判別情報に基づき、ジャケット画像43の表示領域の中からタップ指示位置を含む表示領域を検出する。
これにより制御部20は、このときアルバム一覧画像41上でタップ操作によって選択されたアルバムタイトル及びジャケット画像43(すなわち、そのタップ指示位置を含む表示領域に対応付けていたアルバム情報)を判別する。
このようにして制御部20は、アルバム一覧画像41を介して、音楽データの再生用に複数のアルバムの中から所望のアルバムを、アルバムタイトルとして選択させることができる。
そして制御部20は、この際、その選択されたアルバムタイトルに対応する曲タイトルリストを特定する。また制御部20は、その特定した曲タイトルリストに基づき、ユーザに所望の曲を選択させるための曲一覧画像の画像データを生成する。
よって図11に示すように、制御部20は、例えば、第2液晶パネル15Aから第1液晶パネル14Aに亘り画像データに基づき、複数の音楽データに対する第4階層の分類にいてユーザにより選択されたアルバム内での分類を示す曲一覧画像44を表示する。
すなわち、制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘り、ユーザにより選択されたアルバム内での複数の音楽データの曲タイトルによる分類(第4階層の分類)を示す曲一覧画像44を表示する。
この場合、曲一覧画像44には、例えば、それぞれ異なる曲タイトルが表記された複数の曲アイコン45が、対応する音楽データの再生順序(アルバム内で予め決められていた再生順序)に準じて1列に並べて配置されている。
このようにして制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘って曲一覧画像44として複数の曲アイコン45を一覧表示する。
これにより制御部20は、その曲一覧画像44により、音楽データの再生用に選択可能な複数の曲タイトル(すなわち、ユーザにより選択されたアルバムに収録されている複数の音楽データの曲タイトル)を提示することができる。
因みに、制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘って曲一覧画像44を表示した状態で、第1操作面や第2操作面に対しフリック操作や摺動操作が行われると、上述と同様に曲一覧画像44をスクロールする。
よって制御部20は、第2液晶パネル15A及び第1液晶パネル14Aの両方の表示面に亘って曲一覧画像44全体を表示しきれない場合でも、その曲一覧画像44を適宜スクロールさせて、くまなく見せることができる。
この際、制御部20は、曲アイコン45毎の配置領域の位置を画素位置の座標で示す配置領域情報に、当該曲アイコン45の指示によって選択可能な情報として、曲タイトルを示す曲情報を対応付ける。
さらに制御部20は、その曲アイコン45毎の配置領域情報と、当該配置領域情報に対応付けた曲情報とを選択曲判別情報としてRAM22に記憶する。
因みに、制御部20は、曲一覧画像44をスクロールして曲アイコン45の配置領域を変位させた場合、曲情報と対応付けている配置領域情報を、変位後の配置領域の位置を画素位置の座標で示す配置領域情報に変更する。
制御部20は、曲一覧画像44をスクロールしていない状態で第1操作面に対しタップ操作が行われると、選択曲判別情報に基づき、曲アイコン45の配置領域の中からタップ指示位置を含む配置領域を検出する。
また制御部20は、曲一覧画像44をスクロールしていない状態で第2操作面に対しタップ操作が行われても、選択曲判別情報に基づき、曲アイコン45の配置領域の中からタップ指示位置を含む配置領域を検出する。
さらに制御部20は、このとき曲一覧画像44上でタップ操作によって選択された曲タイトル(すなわち、そのタップ指示位置を含む配置領域に対応付けていた曲情報)を判別する。
これにより制御部20は、曲一覧画像44を介して、音楽データの再生用に複数の曲の中から所望の曲を、曲タイトルとして選択させることができる。
ところで、ジャンル一覧画像35は、上述のように複数の音楽データのジャンルによる分類(第1階層の分類)を示している。
そしてジャンル一覧画像35内のジャンル毎のジャケット画像37は、当該ジャンルに属する複数の音楽データのアーティストによる分類(第2階層の分類)を提示するためのアーティスト一覧画像38を示す(表示用に選択可能なことを示す)指示対象である。
またアーティスト一覧画像38内のアーティスト毎のジャケット画像40は、当該アーティストの複数の音楽データのアルバムによる分類(第3階層の分類)を提示するためのアルバム一覧画像41を示す(表示用に選択可能なことを示す)指示対象である。
さらにアルバム一覧画像41内のアルバム毎のジャケット画像40は、当該アルバムの複数の音楽データの曲タイトルによる分類(第4階層の分類)を提示するための曲一覧画像44を示す(表示用に選択可能なことを示す)指示対象である。
このため制御部20は、ユーザのタップ操作に応じて、複数の音楽データの階層的な分類を上位から下位に順に辿って示すように、階層構造のジャンル一覧画像35、アーティスト一覧画像38、アルバム一覧画像41、曲一覧画像44を順次生成して表示する。
すなわち、制御部20は、この際、ユーザのタップ操作に応じて、上位階層のジャンル一覧画像35から、順次1階層下位のアーティスト一覧画像38、アルバム一覧画像41、曲一覧画像44までを順番に生成して表示する。
よって制御部20は、複数の音楽データに対する上位階層の第1階層から下位階層の第4階層までの階層的な分類を、ジャンル一覧画像35、アーティスト一覧画像38、アルバム一覧画像41、曲一覧画像44により順に辿らせることができる。
これにより制御部20は、複数の音楽データを順次絞り込ませるようにして、最終的に再生対象の音楽データを選択させることができる。
そして制御部20は、このようにタップ操作により曲タイトルが選択されると、その曲タイトルの音楽データの再生命令が入力されたと認識する。
この場合、制御部20は、不揮発性メモリ21から、その選択された曲タイトルの音楽データを読み出して再生部24に送出する。
再生部24は、制御部20の制御のもと、音楽データに対して、デコード処理、デジタアナログ変換処理、増幅処理等の再生処理を施すことで、音楽信号を生成してヘッドホン端子(図示せず)から出力する。
これにより制御部20は、ヘッドホン端子に接続されたヘッドホンを介してユーザに曲(音楽)を聴かせることができる。
制御部20は、ユーザにより選択された曲タイトルの音楽データに対する再生処理が終了すると、例えば、この際にユーザにより選択されていたアーティストやアルバム等に対応する曲タイトルリストに従い不揮発性メモリ21から音楽データを順次読み出す。
また制御部20は、その音楽データを再生部24に送出する。これにより制御部20は、再生部24に音楽データを順次再生処理させ、かくしてヘッドホンを介してユーザに複数の曲を連続して聴かせることができる。
ところで、図12に示すように、制御部20は、音楽データの再生を開始すると、第2液晶パネル15Aから第1液晶パネル14Aに亘り、再生対象の音楽データを示す再生画像46を表示する。
この際、制御部20は、第2液晶パネル15Aに再生画像46の一部として、再生対象の音楽データに対応する(再生対象の音楽が収録されたアルバムの)ジャケット画像47を拡大して表示する。
また制御部20は、第1液晶パネル14Aに再生画像46の一部として、再生対象の音楽データに対応する曲タイトル48、アーティスト名49、アルバムタイトル50、ジャンル名51を表示する。
すなわち、再生画像46は、再生対象の1個の音楽データに関する種々の情報を提示するためのものである。よって再生画像46は、アルバム内の複数の曲タイトルを曲アイコン45として示す曲一覧画像44よりも1階層下位の画像であると言える。
また曲一覧画像44内の曲アイコン45は、対応する音楽データの再生指示のみならず、曲アイコン45が示す曲タイトルの当該音楽データに関する種々の情報を提示するための再生画像46を示す(表示用に選択可能なことを示す)指示対象でもある。
因みに、制御部20は、再生処理する音楽データを切り替えた場合、これに応じて再生画像46内のジャケット画像47、曲タイトル48、アーティスト名49、アルバムタイトル50、ジャンル名51を適宜変更する。
よって制御部20は、音楽データの再生中や再生を一時的に停止しているとき、再生画像46を介してユーザに、その再生対象の音楽データ(すなわち、曲)に関する情報を提示することができる。
さらに制御部20は、第1液晶パネル14Aに再生画像46の一部として、再生開始命令及び再生停止命令を示す再生アイコン52、曲送り命令を示す曲送りアイコン53、曲戻し命令を示す曲戻しアイコン54も表示している。
よって制御部20は、この際、これら再生アイコン52や曲送りアイコン53、曲戻しアイコン54がタップ操作によって指示されると、これに応じて音楽データの再生を停止又は再開させ、また再生する音楽データを切り替えることができる。
ところで制御部20は、ジャンル一覧画像35を表示すると、ジャンル名毎のジャンルアイコン36の配置領域の位置を画素位置の座標で示す配置領域情報に、選択可能な情報として、そのジャンルに属する複数の音楽データを順番に再生する再生命令を対応付ける。
因みに、制御部20は、ジャンル一覧画像35をスクロールしてジャンルアイコン36の配置領域を変位させた場合、再生命令と対応付けている配置領域情報を、変位後の配置領域の位置を画素位置の座標で示す配置領域情報に変更する。
そして制御部20は、ジャンル一覧画像35上でジャンルアイコン36がタップ操作によって指示されると、これに応じて当該指示されたジャンルアイコン36が示す再生命令を判別する。
よって制御部20は、その判別した再生命令に応じて、指示されたジャンルアイコン36が示すジャンルに属する複数の音楽データを、不揮発性メモリ21から順次読み出して再生部24により再生処理する。
また制御部20は、この際、第2液晶パネル15Aから第1液晶パネル14Aに亘って、上述と同様構成の再生画像を表示する。
よってジャンル一覧画像35内のジャンルアイコン36は、対応する複数の音楽データの再生指示のみならず、再生対象の音楽データに関する種々の情報を提示するための再生画像を示す(表示用に選択可能なことを示す)指示対象でもある。
このようにして制御部20は、ユーザに再生対象の音楽データをジャンル単位で選択させることもできるようになされている。
また制御部20は、アーティスト一覧画像38を表示すると、アーティスト名毎のアーティストアイコン39の配置領域の位置を画素位置の座標で示す配置領域情報に、そのアーティストの複数の音楽データを順番に再生する再生命令を対応付ける。
因みに、制御部20は、アーティスト一覧画像38をスクロールしてアーティストアイコン39の配置領域を変位させた場合、再生命令と対応付けている配置領域情報を、変位後の配置領域の位置を画素位置の座標で示す配置領域情報に変更する。
そして制御部20は、アーティスト一覧画像38上でアーティストアイコン39がタップ操作により指示されると、これに応じて当該指示されたアーティストアイコン39が示す再生命令を判別する。
よって制御部20は、その判別した再生命令に応じて、指示されたアーティストアイコン39が示すアーティストの複数の音楽データを、不揮発性メモリ21から順次読み出して再生部24により再生処理する。
また制御部20は、この際、第2液晶パネル15Aから第1液晶パネル14Aに亘って、上述と同様構成の再生画像を表示する。
よってアーティスト一覧画像38内のアーティストアイコン39は、対応する複数の音楽データの再生指示のみならず、再生対象の音楽データに関する種々の情報を提示するための再生画像を示す(表示用に選択可能なことを示す)指示対象でもある。
このようにして制御部20は、ユーザに再生対象の音楽データをアーティスト単位で選択させることもできるようになされている。
さらに制御部20は、アルバム一覧画像41を表示すると、アルバムタイトル毎のアルバムアイコン42の配置領域の位置を画素位置の座標で示す配置領域情報に、そのアルバムに収録されている複数の音楽データを順番に再生する再生命令を対応付ける。
因みに、制御部20は、アルバム一覧画像41をスクロールしてアルバムアイコン42の配置領域を変位させた場合、再生命令と対応付けている配置領域情報を、変位後の配置領域の位置を画素位置の座標で示す配置領域情報に変更する。
そして制御部20は、アルバム一覧画像41上でアルバムアイコン42がタップ操作によって指示されると、これに応じて、当該指示されたアルバムアイコン42が示す再生命令を判別する。
よって制御部20は、その判別した再生命令に応じて、指示されたアルバムアイコン42が示すアルバムの複数の音楽データを、不揮発性メモリ21から順次読み出して再生部24により再生処理する。
また制御部20は、この際、第2液晶パネル15Aから第1液晶パネル14Aに亘って、上述と同様構成の再生画像を表示する。
よってアルバム一覧画像41内のアルバムアイコン42は、対応する複数の音楽データの再生指示のみならず、再生対象の音楽データに関する種々の情報を提示するための再生画像を示す(表示用に選択可能なことを示す)指示対象でもある。
このようにして制御部20は、ユーザに再生対象の音楽データをアルバム単位で選択させることもできるようになされている。
[1−2−3.近接操作及びタップ操作に応じた表示制御処理]
ところで、近接操作は、少なくとも1個以上の立上画像の表示を待機させている際、第2液晶パネル15Aから第1液晶パネル14Aに亘り、立上画像を選択可能な情報として示す複数の指示対象を一覧表示するような処理を指示するために行われる操作である。
因みに、近接操作は、複数の立上画像の表示を全て待機させている状態と、これら複数の立上画像の何れかを表示して見せている状態との何れでも行うことができる。
また近接操作は、例えば、第2液晶パネル15Aから第1液晶パネル14Aに亘り再生画像46を表示している状態から、その再生画像46よりも1階層上位の曲一覧画像44に表示を切り替えるような処理を指示するために行われる操作でもある。
さらに近接操作は、例えば、第2液晶パネル15Aから第1液晶パネル14Aに亘り、複数の音楽データの階層的な分類に対応させて階層的に複数のジャケット画像を一覧表示するような処理を指示するために行われる操作でもある。
すなわち、近接操作は、第2液晶パネル15Aから第1液晶パネル14Aに亘りジャンル一覧画像35、アーティスト一覧画像38、アルバム一覧画像41をそれぞれ複数のジャケット画像の一覧として表示するような処理を指示するために行われる操作でもある。
さらに近接操作は、第2液晶パネル15Aから第1液晶パネル14Aに亘って表示されている画像の表示状態を変更するような処理を指示するために行われる操作でもある。
よって制御部20は、領域検出処理を実行した際、第1タッチパネル14Bからパネル出力信号を取得して1又は複数の近接領域を重心位置と共に検出すると、その検出結果に基づき、第1操作面に対して行われた近接操作によって指示された処理を判別する。
また制御部20は、領域検出処理を実行した際、第2タッチパネル15Bからパネル出力信号を取得して1又は複数の近接領域を重心位置と共に検出した場合も、その検出結果に基づき、第2操作面に対して行われた近接操作によって指示された処理を判別する。
ただし、制御部20は、第1操作面や第2操作面に対し近接操作のために1又は複数の指が近づけられたときにのみ近接領域を検出するわけではなく、タッチ操作のために1又は複数の指が近づけられても、接触領域の検出の直前には近接領域を検出している。
このため制御部20は、このように第1操作面や第2操作面に対しタッチ操作のために1又は複数の指が近づけられたとき、接触領域の検出の直前に近接領域を検出しても、その近接領域を、近接操作の近接領域として誤検出しないようにする必要がある。
また第1操作面や第2操作面に対し複数の指で近接操作が行われる際、これら複数の指が互いに離されていると、個々の指の曲がり具合等により、個々の指が第1操作面に近づけられて近接検出距離範囲内に到達するときに時間差が生じる場合がある。
すなわち、近接操作が行われる際に複数の指が互いに離されていると、制御部20は、第1操作面や第2操作面に複数の指が近づけられる(近接操作が開始される)とき、複数の指による複数の近接領域を時間的に僅かにずれて検出し始める場合がある。
このため制御部20は、このように近接操作が開始されたとき、複数の指による複数の近接領域を時間的に僅かにずれて検出し始めても、これら複数の近接領域を、それぞれ異なる近接操作の近接領域として誤検出しないようにする必要がある。
よって制御部20は、まず領域検出処理において、例えば、第1タッチパネル14Bからパネル出力信号を取得して1又は複数の近接領域を重心位置と共に検出すると、前回(1回前)の領域検出処理で近接領域を検出していたか否かを判別する。
その結果、制御部20は、前回の領域検出処理で近接領域を全く検出していないと、今回の領域検出処理で検出した1又は複数の近接領域を、それぞれ第1操作面に対する指の近接開始時点の近接領域であると判別する。
これに対し制御部20は、前回の領域検出処理で1又は複数の近接領域を検出していると、前回の領域検出処理で検出した重心位置と、今回の領域検出処理で検出した重心位置との間の重心間距離を総当たりで算出する。
また制御部20は、その算出した1又は複数の重心間距離を、それぞれ最大移動距離と比較する。そして制御部20は、その比較結果に基づき、今回の領域検出処理において、前回の領域検出処理で検出した重心位置から最大移動距離以内の重心位置を検出しているか否かを判別する。
その結果、制御部20は、今回の領域検出処理で、前回の重心位置から最大移動距離以内の重心位置を検出していると、前回及び今回の重心位置に対応する前回及び今回の近接領域を、同一の指の近接領域であると判別する。
すなわち、制御部20は、今回の領域検出処理で、前回の重心位置から最大移動距離以内の重心位置を検出すると、当該検出した重心位置に対応する近接領域を、前回の領域検出処理のときから第1操作面に近接している指の近接領域であると判別する。
ただし、制御部20は、今回の領域検出処理で、前回の何れの重心位置からも最大移動距離を越えて離れた1又は複数の重心位置を追加で検出すると、当該検出した重心位置に対応する近接領域も、近接開始時点の近接領域であると判別する。
すなわち、制御部20は、上述のように第1操作面に複数の指が近づけられたとき、複数の指による複数の近接領域を時間的に僅かにずれて検出し始めると、これら時間的に僅かにずれて検出し始めた近接領域をそれぞれ近接開始時点の近接領域であると判別する。
さらに制御部20は、今回の領域検出処理で、前回の重心位置からの距離が最大移動距離以下である重心位置の近接領域を検出していないと、その前回の重心位置に対応する近接領域に近接されていた指が近接検出距離範囲から外れたと判別する。
すなわち、制御部20は、今回の領域検出処理では、前回の重心位置との重心間距離が最大移動距離以下である重心位置を検出していないと、その前回の重心位置に対応する近接領域が、第1操作面に対する指の近接終了時点の近接領域であると判別する。
また制御部20は、領域検出処理を実行しても近接領域を全く検出しないと、この場合も、前回(1回前)の領域検出処理で近接領域を検出していたか否かを判別する。
その結果、制御部20は、前回の領域検出処理で近接領域を検出していても、今回の領域検出処理では近接領域を全く検出しないと、その前回の近接領域が、指が近接検出距離範囲から外れる直前の近接領域であると判別する。
すなわち、制御部20は、前回の領域検出処理で近接領域を検出していると、その前回の近接領域が、第1操作面に対する指の近接終了時点の近接領域であると判別する。
このようにして制御部20は、領域検出処理を順次実行することで、近接操作が開始されるときには、第1操作面に近づけられた1又は複数の指が近接検出距離範囲内に達する毎に近接領域を検出する。
また制御部20は、領域検出処理を順次実行することで、第1操作面に1又は複数の指が近接検出距離範囲内で近接している間(第1操作面に対し近接操作が行われている間)は、その1又は複数の指による1又は複数の近接領域を順次追跡するように検出する。
すなわち、制御部20は、領域検出処理を実行して1又は複数の指の近接開始時点の1又は複数の近接領域を検出すると、引き続き領域検出処理を順次実行して、1又は複数の指による1又は複数の近接領域を、その指毎に近接終了時点まで追跡する。
かかる構成のもと制御部20は、少なくとも1個以上の立上画像の表示を待機させ、近接領域及び接触領域を全く検出していない状態で、近接開始時点の1個の近接領域を検出すると、タイマにより、第1操作面に指が近接している時間の計時を開始する。因みに、以下の説明では、第1操作面(また第2操作面)に指が近接している時間を、近接時間とも呼ぶ。
また制御部20は、少なくとも1個以上の立上画像の表示を待機させ、近接領域及び接触領域を全く検出していない状態で、近接開始時点の複数の近接領域を同時に検出しても、タイマにより近接時間の計時を開始する。
そして制御部20は、近接時間の計時を、最大でも、近接操作が行われているか否かの判別用に予め選定された例えば、数[sec]のような所定時間(以下、これを近接操作判別時間とも呼ぶ)に達するまで継続する。
さらに制御部20は、このように近接開始時点の1又は複数の近接領域を検出すると、これら近接領域の重心位置をそれぞれ移動軌跡の起点として、指毎の移動軌跡の検出も開始する。
さらにまた制御部20は、近接時間が近接操作判別時間に達するまでに、第1操作面に新たに1又は複数の指が近接して近接開始時点の1又は複数の近接領域を追加で検出すると、当該1又は複数の近接領域の重心位置もそれぞれ移動軌跡の起点とする。
そして制御部20は、このように1又は複数の指の1又は複数の近接領域を追加で検出した場合も、同様に当該指毎の移動軌跡の検出も開始する。
因みに、制御部20は、近接開始時点の1又は複数の近接領域の検出以降は、領域検出処理を実行して近接領域を重心位置と共に検出する毎に、起点(重心位置)から、その検出した重心位置を順に辿るようにして指毎の移動軌跡を検出する。
そして制御部20は、近接時間が近接操作判別時間に達する前に、第1操作面から1又は複数の指が離れて当該指の近接領域を検出しなくなっても(検出していた近接領域の個数が減っても)、未だ1個以上の近接領域を検出していると、近接時間の計時を継続する。
ただし、制御部20は、近接時間が近接操作判別時間に達する前に、全ての近接領域を検出し得なくなる(すなわち、第1操作面に近接していた全ての指が近接検出距離範囲から外れる)と、近接時間の計時を終了する。
また制御部20は、近接時間が近接操作判別時間に達する前に、第1操作面に1又は複数の指が接触して1又は複数の接触領域を検出すると、このときは近接領域の検出の有無にかかわらずに、近接時間の計時を終了する。
このように制御部20は、近接時間の計時を開始すると、接触領域を検出しないまま、少なくとも1個以上の近接領域を順次追跡するように検出している間は、その近接時間の計時を継続する。
すなわち、制御部20は、近接時間の計時を開始すると、その後は第1操作面に他の指が追加で近接し、また指が近接検出距離範囲から外れても、第1操作面に指が接触しないまま、少なくとも1本以上の指が近接している間は、近接時間の計時を継続する。
そして制御部20は、近接時間が近接操作判別時間に達する前に、その近接時間の計時を終了すると、このとき第1操作面に対し近接操作は行われていないと判別する。
これに対し制御部20は、計時している近接時間が近接操作判別時間に達すると、そのときまでに検出し続けていた全ての移動軌跡が、例えば、対応する起点(重心位置)を中心にした所定半径の円状の範囲内に収まっているか否かを判別する。
因みに、起点を中心とした円状の範囲は、近接操作が行われているか否かを判別するために用いるものであり、以下の説明では、その円状の範囲を近接操作判別範囲とも呼ぶ。そして近接操作判別範囲の半径は、例えば、1[mm]以下の所定長さに予め選定されている。
その結果、制御部20は、近接時間が近接操作判別時間に達したとき、これまでに検出していた全ての移動軌跡が、それぞれ対応する起点から近接操作判別範囲の外側にまで伸びていると、第1操作面に対し近接操作は行われていないと判別する。
すなわち、制御部20は、複数の立上画像の表示を待機させた状態で、近接操作判別時間、第1操作面に指が全く接触しなくても、1又は複数の指が位置を大きく変えていると、第1操作面に指が誤って近接したものとして、近接操作が行われていないと判別する。
これに対し図13及び図14に示すように、制御部20は、近接時間が近接操作判別時間に達したとき、少なくとも1本以上の移動軌跡が、対応する近接操作判別範囲内に収まっていると、第1操作面に対し近接操作が行われていると判別する。
すなわち、制御部20は、複数の立上画像の表示を待機させた状態で、近接操作判別時間、第1操作面に指が全く接触せずに、1又は複数の指がほとんど位置を変えずに近接していることを検出すると、近接操作が行われていると判別する。
これにより制御部20は、近接操作をタップ操作や摺動操作のようなタッチ操作とは明確に区別して、第1操作面に対し近接操作が行われたことを検出することができる。
また制御部20は、このように近接操作が行われていると判別すると、その判別時点(以下の説明では、近接操作が行われていると判別した時点を、近接操作判別時点とも呼ぶ)に検出している近接領域を全て、今回の近接操作によるものであると判別する。
これにより制御部20は、近接時間が近接操作判別時間に達するまでに、複数の指による複数の近接領域を時間的に僅かにずれて検出し始めても、近接操作判別時点に、これら複数の近接領域を1回の近接操作による近接領域として検出することができる。
制御部20は、このように第1操作面に対し近接操作が行われていると判別すると、複数の立上画像を、本来の表示サイズよりも縮小し、少なくとも画像上端部を残すように適宜加工する。
これにより制御部20は、大きさ及び形状を揃えた複数の縮小画像(以下、これをサムネイルとも呼ぶ)を生成する。
この場合、個々のサムネイルは、それぞれ元の立上画像と同一の表示内容(画像内の文字や図形、これらの位置関係)を有している。
よって個々のサムネイルは、それぞれ選択可能な情報として、縮小及び加工前の元の立上画像を示し、複数の立上画像の中から所望の立上画像を選択するために利用可能な指示対象である。
因みに、制御部20は、第1液晶パネル14A又は第2液晶パネル15Aの一方だけで画像全体を表示し得る立上画像については例えば、縮小処理のみを施して、その立上画像を示すサムネイルを生成する。
また制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘って画像全体又は画像の一部を表示するような立上画像については例えば、縮小処理と共に画像上端部を残すような加工を施して、その立上画像を示すサムネイルを生成する。
そして制御部20は、このように大きさ及び形状を揃えた複数のサムネイルを生成すると、これら複数のサムネイルを一覧表示するためのサムネイル一覧画像の画像データを生成する。
これにより図15及び図16に示すように、制御部20は、その画像データに基づき、第2液晶パネル15Aから第1液晶パネル14Aに亘ってサムネイル一覧画像60を表示する。
この場合、サムネイル一覧画像60には、複数のサムネイル61がマトリクス状(複数行及び複数列)に配置されている。
よって制御部20は、そのサムネイル一覧画像60の複数のサムネイル61により、複数の立上画像を提示することができる。
また制御部20は、このようにサムネイル一覧画像60を表示すると、そのサムネイル一覧画像60の表示直前に、立上画像を表示していたか否かを判別する。
その結果、制御部20は、サムネイル一覧画像60の表示直前に立上画像を表示していたときには、サムネイル一覧画像60内の複数のサムネイル61のうち、その直前に表示していた立上画像を示すサムネイル61を強調表示する。
因みに、以下の説明では、サムネイル一覧画像60の表示の直前に表示していた立上画像を、直前表示立上画像とも呼ぶ。
すなわち、制御部20は、サムネイル一覧画像60において、直前表示立上画像を示すサムネイル61を、特定の枠で囲み又は輝度を上げる等ような、他のサムネイル61とは異なる表示状態で表示する。
これにより制御部20は、強調表示したサムネイル61により、どの立上画像(直前表示立上画像)を表示していた状態から、サムネイル一覧画像60の表示に切り替えたのかを容易に認識させ得るようになされている。
一方、制御部20は、サムネイル一覧画像60の表示直前に特に立上画像を表示していないと、サムネイル一覧画像60の複数のサムネイル61の何れも強調表示しない。
このようにして制御部20は、複数の立上画像の表示を待機させている場合に1又は複数の指で近接操作が行われると、第2液晶パネル15Aから第1液晶パネル14Aに亘ってサムネイル一覧画像60を表示して、複数の立上画像を提示することができる。
制御部20は、このようにサムネイル一覧画像60を生成して表示すると、個々のサムネイル61の表示領域の位置を画素位置の座標で示す表示領域情報に、当該サムネイル61が示す立上画像を個別に識別可能な画像識別情報を対応付ける。
また制御部20は、そのサムネイル61毎の表示領域情報と、当該表示領域情報に対応付けた画像識別情報とを、サムネイル61の指示よって選択された立上画像を判別するための選択画像判別情報としてRAM22に記憶する。
ところで、携帯端末10では、複数の指として、親指から小指までの5本の指で近接操作が行われる場合や、親指と人指し指の2本の指で近接操作が行われる場合がある。そして人の手は、5本の指のうち親指が他の4本の指に比べて太い傾向にある。
このため、図17(A)及び(B)に示すように、携帯端末10では、5本の指により近接操作が行われると、親指の近接領域CA2が他の4本の指の近接領域CA3乃至CA6よりも大きくなる傾向にある。
特に携帯端末10では、近接操作の際、手首の曲げ具合により、第1操作面に親指だけは側面が近接され、他の4本の指は先端が近接されるような場合がある。
このような場合、携帯端末10では、親指の近接領域CA2が他の4本の指の近接領域CA3乃至CA6よりも格段的に大きくなる傾向にある。
また人の手は、親指だけが手のひらの手首寄りから伸び、他の4本の指が手のひらの先から伸びている。このため携帯端末10では、5本の指により近接操作が行われると、親指の近接領域CA2だけが第1操作面の下側に位置し、他の4本の指の近接領域CA3乃至CA6が揃って第1操作面の上側に位置する傾向にある。
さらに携帯端末10では、例えば、親指と人指し指との2本の指で近接操作が行われた場合でも、親指の近接領域CA7と人指し指の近接領域CA8において大きさや位置が同様の傾向を示す。
よって制御部20は、近接操作判別時点に、5個や2個の近接領域CA2乃至CA8を検出していると、これら複数の近接領域CA2乃至CA8の大きさや位置に基づき、まず、親指の近接領域CA2、CA7を特定する。
次いで、制御部20は、その親指の近接領域CA2、CA7の特定結果も利用して、他の近接領域CA3乃至CA6、CA8の中から例えば、人指し指の近接領域CA3、CA8を特定する。
実際に制御部20は、近接操作判別時点に、5個の近接領域CA2乃至CA6を検出すると、これら5個の近接領域CA2乃至CA6のうち、最も大きい近接領域CA2を、親指の近接領域CA2として特定する。
次いで、制御部20は、親指の近接領域CA2の隣で、かつ当該近接領域CA2よりも上側に位置する1個の近接領域CA3を、人指し指の近接領域CA3として特定する。
また制御部20は、近接操作判別時点に、2個の近接領域CA7及びCA8を検出すると、これら2個の近接領域CA7及びCA8のうち、大きい方の近接領域CA7を、親指の近接領域CA7として特定する。
次いで、制御部20は、親指の近接領域CA7以外の残りの1個の近接領域CA8を、人指し指の近接領域CA8として特定する。
このようにして制御部20は、人指し指の近接領域CA3、CA8を特定すると、その近接領域CA3、CA8を、複数の近接領域CA2乃至CA8の中の注目領域とする。
そして制御部20は、近接操作判別時点に複数の指の複数の近接領域を重心位置と共に検出している(複数の指で近接操作が行われている)と、その指毎の移動軌跡の検出を継続する。
また制御部20は、近接操作判別時点以降は、領域検出処理を実行する毎に、その時点までに検出した指毎の移動軌跡に基づき、複数の指が揃って所望の方向(ほぼ同一の方向)に移動したか(すなわち、手が所望の方向に動かされたか)否かを判断する。
この際、制御部20は、例えば、指毎の移動軌跡がほぼ同一の方向へ伸びた(すなわち、複数の近接領域が揃って所望の方向(ほぼ同一の方向)に変位した)ことを検出すると、複数の指が所望の方向(すなわち、揃ってほぼ同一の方向)に移動したと判断する。
そして制御部20は、複数の指が所望の方向に移動したことを検出すると、当該複数の指が所望の方向に移動している間、領域検出処理を実行して注目領域を重心位置と共に検出する毎に、その重心位置を、選択画像判別情報に含まれる表示領域と比較する。
すなわち、制御部20は、第1操作面上で複数の指が所望の方向に移動している間、これら複数の指のうち人指し指がサムネイル一覧画像60内の何れかのサムネイル61上に移動したか否かを判別する。
その結果、制御部20は、注目領域の重心位置が、何れのサムネイル61の表示領域からも外れていると、サムネイル一覧画像60の表示を何ら変更しない。
これに対し制御部20は、注目領域の重心位置が、何れかのサムネイル61の表示領域内に入ると、当該重心位置が入った表示領域に表示されているサムネイル61に、注目領域(人指し指)が重なったと判断する。
そして図18に示すように、制御部20は、サムネイル一覧画像60において、注目領域が重なったサムネイル61を上述と同様に強調表示する。
因みに、制御部20は、このとき、すでに強調表示していたサムネイル61が存在し、当該サムネイル61が、注目領域の重なったサムネイル61と異なると、強調表示するサムネイル61を注目領域が重なったものに変更する。
また制御部20は、このとき、すでに強調表示していたサムネイル61が存在し、当該サムネイル61が、注目領域の重なったサムネイル61と同一であると、その強調表示をそのまま継続して、強調表示するサムネイル61を変更しない。
さらに制御部20は、このとき、強調表示しているサムネイル61が存在しないと、注目領域の重なったサムネイル61を、新たに強調表示する。
これに加え制御部20は、このとき強調表示した(すなわち、注目領域が重なった)サムネイル61を拡大する。
そして制御部20は、このとき第1液晶パネル14Aにはサムネイル一覧画像60の一部を表示し続けるものの、第2液晶パネル15Aの表示面全体に、その拡大したサムネイル62の少なくとも一部を表示する。
因みに、サムネイル61は、当該サムネイル61が示す立上画像と実質的に同一のものである。よって制御部20は、このとき、強調表示した(注目領域が重なった)サムネイル61を拡大せずに、そのサムネイル61が示す立上画像の少なくとも一部を第2液晶パネル15Aに表示するようにしても良い。
このように制御部20は、複数の指が所望の方向に移動している間、人指し指が重なった1個のサムネイル61を強調表示すると共に、そのサムネイル61を拡大して第2液晶パネル15Aに表示する。
また制御部20は、複数の指の移動に伴い人指し指の重なるサムネイル61が変わった場合、これに応じて強調表示及び拡大表示するサムネイル61を変更する。
よって制御部20は、複数の指が所望の方向に移動している間、人差し指で指示し得る位置のサムネイル61が、どのような立上画像を示しているのかを確認し易くすることができる。
また制御部20は、複数の指の移動が停止すると、第2液晶パネル15Aに対するサムネイル61の拡大表示を終了して、再びサムネイル一覧画像60の一部を表示する(元の表示に戻す)ものの、注目領域が重なっているサムネイル61の強調表示は継続する。
よって制御部20は、複数の指の移動が停止しても、人差し指で指示し得る位置のサムネイル61の表示内容によって、当該サムネイル61がどのような立上画像を示しているのかを確認させることができる。
一方、制御部20は、近接操作判別時点に1個の近接領域だけを検出していると、特に上述のような親指の近接領域や人指し指の近接領域を特定するための処理を行わず、このとき検出している1個の近接領域を注目領域とする。
また制御部20は、このように近接操作判別時点に1本の指の1個の近接領域だけを重心位置と共に検出している(1本の指だけで近接操作が行われている)と、その指の移動軌跡の検出を継続する。
そして制御部20は、近接操作判別時点以降は、領域検出処理を実行する毎に、その時点までに検出した1本の指の移動軌跡に基づき、当該1本の指が所望の方向に移動したか(すなわち、手が所望の方向に動かされたか)否かを判断する。
この際、制御部20は、例えば、1本の指の移動軌跡が何れかの方向へ伸びた(すなわち、1個の近接領域が何れかの方向に変位した)ことを検出すると、当該1本の指が所望の方向に移動したと判断する。
そして図19に示すように、制御部20は、1本の指が所望の方向に移動したことを検出すると、当該指が所望の方向に移動している間、上述と同様にサムネイル61を強調表示すると共に、第2液晶パネル15Aに、そのサムネイル61を拡大して表示する。
また制御部20は、1本の指の移動が停止すると、第2液晶パネル15Aに対するサムネイル61の拡大表示を終了して、再びサムネイル一覧画像60の一部を表示する(元の表示に戻す)ものの、注目領域が重なっているサムネイル61の強調表示は継続する。
ところで、図20に示すように、制御部20は、近接操作判別時点から近接操作の終了時点まで、第1タッチパネル14の下端部において左端から右端までの帯状の領域を、画像の上方向へのスクロールを指示するための上スクロール指示領域SA1に設定する。
実際に制御部20は、上スクロール指示領域SA1の位置を第1液晶パネル14Aの対向する画素位置の座標で示す上指示領域情報に、当該上スクロール指示領域SA1を介して実行の指示が可能な処理として、上方向へのスクロールを示す処理情報を対応付ける。
そして制御部20は、上指示領域情報と、当該上指示領域情報に対応付けた処理情報とを上スクロール判別情報としてRAM22に記憶する。
また制御部20は、近接操作判別時点から近接操作の終了時点まで、第1タッチパネル14の上端部において左端から右端までの帯状の領域を、画像の下方向へのスクロールを指示するための下スクロール指示領域SA2に設定する。
実際に制御部20は、下スクロール指示領域SA2の位置を第1液晶パネル14Aの対向する画素位置の座標で示す下指示領域情報に、当該下スクロール指示領域SA2を介して実行の指示が可能な処理として、下方向へのスクロールを示す処理情報を対応付ける。
そして制御部20は、下指示領域情報と、当該下指示領域情報に対応付けた処理情報とを下スクロール判別情報としてRAM22に記憶する。
よって制御部20は、複数の指が所望の方向に移動している間、領域検出処理を実行して複数の近接領域と共に重心位置を検出する毎に、その検出した複数の重心位置を上スクロール指示領域SA1の位置及び下スクロール指示領域SA2の位置と比較する。
その結果、制御部20は、複数の重心位置の全てが、上スクロール指示領域SA1及び下スクロール指示領域SA2の何れにも含まれないと、画像のスクロールが指示されたと判別しない。
これに対し制御部20は、例えば、上スクロール指示領域SA1に少なくとも1個以上の重心位置が含まれる(すなわち、少なくとも1本以上の何れの指でも上スクロール指示領域SA1にかかる)と、画像に対する上方向のスクロールが指示されたと判別する。
この際、例えば、図21に示すように、制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘って表示しているサムネイル一覧画像60を、比較的ゆっくりと上方向にスクロールする。
すなわち、制御部20は、第1タッチパネル14の第1操作面上で1又は複数の指が移動して下端部に近接すると、サムネイル一覧画像60を上方向にスクロールすることにより当該サムネイル一覧画像60の下端側を順次表示して見せることができる。
また制御部20は、上スクロール指示領域SA1に少なくとも1個以上の重心位置が含まれている(すなわち、上スクロール指示領域SA1上に少なくとも1本以上の指が留まっている)間は、サムネイル一覧画像60の上方向へのスクロールを継続する。
これにより例えば、図22に示すように、制御部20は、最終的に第1液晶パネル14Aからサムネイル一覧画像60の下端部を全て上側に追い出して空白にし、第2液晶パネル15Aに当該サムネイル一覧画像60の下端部を表示した状態までスクロールする。
因みに、以下の説明では、サムネイル一覧画像60に対する上方向へのスクロールにより、最終的に第1液晶パネル14Aを空白にし、第2液晶パネル15Aにサムネイル一覧画像60の下端部を表示する状態を、上スクロール最終表示状態とも呼ぶ。
なお、制御部20は、サムネイル一覧画像60を上スクロール最終表示状態までスクロールすると、この後は上スクロール指示領域SA1上に指が留まっていても、上方向へのスクロールの指示を無効にして、その上方向へのスクロールを強制的に停止する。
よって制御部20は、サムネイル一覧画像60を上スクロール最終表示状態までスクロールすると、第1操作面に近接している手や指が遮蔽物となり、サムネイル一覧画像60の視認性が損なわれることを防止することができる。
また制御部20は、例えば、下スクロール指示領域SA2に少なくとも1個以上の重心位置が含まれる(すなわち、少なくとも1本以上の何れの指でも下スクロール指示領域SA2にかかる)と、画像に対する下方向のスクロールが指示されたと判別する。
この際、例えば、図23に示すように、制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘って表示しているサムネイル一覧画像60を、比較的ゆっくりと下方向にスクロールする。
すなわち、制御部20は、第1タッチパネル14の第1操作面上で複数の指が移動して上端部に近接すると、サムネイル一覧画像60を下方向にスクロールすることにより当該サムネイル一覧画像60の上端側を順次表示して見せることができる。
また制御部20は、下スクロール指示領域SA2に少なくとも1個以上の重心位置が含まれている(すなわち、下スクロール指示領域SA2上に少なくとも1本以上の指が留まっている)間は、サムネイル一覧画像60の下方向へのスクロールを継続する。
これにより例えば、図24に示すように、制御部20は、最終的に第2液晶パネル15Aからサムネイル一覧画像60の上端部を全て下側に追い出して空白にし、第1液晶パネル14Aに当該サムネイル一覧画像60の上端部を表示した状態までスクロールする。
因みに、以下の説明では、サムネイル一覧画像60に対する下方向へのスクロールにより、最終的に第2液晶パネル15Aを空白にし、第1液晶パネル14Aにサムネイル一覧画像60の下端部を表示する状態を、下スクロール最終表示状態とも呼ぶ。
なお、制御部20は、サムネイル一覧画像60を下スクロール最終表示状態までスクロールすると、この後は下スクロール指示領域SA2上に指が留まっていても、下方向へのスクロールの指示を無効にして、その下方向へのスクロールを強制的に停止する。
よって制御部20は、サムネイル一覧画像60を下スクロール最終表示状態までスクロールすると、第1タッチパネル14Bの第1操作面上で、サムネイル一覧画像60の上端寄りに配置しているサムネイル61をタップ操作によって指示させることができる。
また制御部20は、例えば、1本の指で近接操作が行われて当該1本の指が移動している間も、同様に近接領域と共に重心位置を、上スクロール指示領域SA1の位置及び下スクロール指示領域SA2の位置と比較する。
そして制御部20は、上スクロール指示領域SA1に重心位置が含まれる(すなわち、1本の指が上スクロール指示領域SA1にかかる)と、図21及び図22について上述した場合と同様にサムネイル一覧画像60を上方向へスクロールする。
また制御部20は、下スクロール指示領域SA2に重心位置が含まれる(すなわち、1本の指が下スクロール指示領域SA2にかかる)と、図23及び図24について上述した場合と同様にサムネイル一覧画像60を下方向にスクロールする。
このように制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘ってサムネイル一覧画像60全体を表示しきれない場合でも、そのサムネイル一覧画像60を適宜、上方向や下方向へスクロールして、くまなく見せることができる。
因みに、制御部20は、上スクロール指示領域SA1及び下スクロール指示領域SA2に指がかかっている(近接領域がかかっている)間は、サムネイル61の強調表示を停止する。
また制御部20は、サムネイル一覧画像60をスクロールしてサムネイル61の表示領域を変位させた場合、選択画像判別情報において、画像識別情報を対応付けている表示領域情報を、変位後の表示領域の位置を画素位置の座標で示す表示領域情報に変更する。
よって制御部20は、指が再び移動して上スクロール指示領域SA1及び下スクロール指示領域SA2から外れると、その変更した表示領域情報を用いて、上述と同様に注目領域の重心位置とサムネイル61の表示領域とを比較する。
これにより制御部20は、サムネイル一覧画像60をスクロールして表示範囲を変更しても、上述同様に人指し指が重なったサムネイル61を的確に検出することができる。
このため制御部20は、サムネイル一覧画像60をスクロールして表示範囲を変更しても、上述のように人指し指が重なったサムネイル61を強調表示し得ると共に、第2液晶パネル15Aに当該サムネイル61を拡大して表示することができる。
これに加えて制御部20は、近接操作判別時点に、特に複数の近接領域を重心位置と共に検出していると、隣り合う2個の近接領域の重心位置間の距離(以下、これを領域間距離とも呼ぶ)を検出する。
図25に示すように、制御部20は、例えば、5個の近接領域CA2乃至CA6を重心位置P3乃至P7と共に検出していると、順次隣り合う2個の近接領域CA2乃至CA6のおいて領域間距離L1乃至L4を検出する。
また図26に示すように、制御部20は、隣り合う2個の近接領域CA2乃至CA6の組み合わせ毎に、当該2個の近接領域CA2乃至CA6の領域間距離L1乃至L4を例えば数割程度伸ばしたような広間隔変更検出距離SL1を設定する。
さらに制御部20は、隣り合う2個の近接領域CA2乃至CA6の組み合わせ毎に、当該2個の近接領域CA2乃至CA6の領域間距離L1乃至L4を例えば数割程度短くしたような狭間隔変更検出距離SL2も設定する。
因みに、制御部20は、近接操作判別時点に、例えば、2個の近接領域を重心位置と共に検出していると、当該2個の近接領域について同様に領域間距離を検出する。
また制御部20は、その領域間距離をもとに、上述と同様に広間隔変更検出距離SL1及び狭間隔変更検出距離SL2を設定する。
そして制御部20は、広間隔変更検出距離SL1及び狭間隔変更検出距離SL2の設定後は、領域検出処理を実行する毎に、複数の近接領域と共に検出した重心位置に基づき、隣り合う2個の近接領域の領域間距離も検出する。
また制御部20は、領域検出処理を実行する毎に、隣り合う2個の近接領域の領域間距離を、対応する広間隔変更検出距離SL1及び狭間隔変更検出距離SL2と比較する。
そして制御部20は、領域間距離と広間隔変更検出距離SL1及び狭間隔変更検出距離SL2との比較結果に基づき、隣り合う2個の近接領域の領域間距離が、対応する広間隔変更検出距離SL1以上であるか否かを検出する。
また制御部20は、領域間距離と広間隔変更検出距離SL1及び狭間隔変更検出距離SL2との比較結果に基づき、隣り合う2個の近接領域の領域間距離が、対応する狭間隔変更検出距離SL2以下であるか否かも検出する。
すなわち、制御部20は、複数の指で近接操作が行われている間、当該複数の指の間隔を監視するようにして、その間隔が広げられたかどうか、また狭められたかどうかを検出する。
その結果、制御部20は、少なくとも1つ以上の領域間距離が、対応する広間隔変更検出距離SL1以上であることを検出すると、画像の拡大が指示されたと認識する。
図27(A)に示すように、制御部20は、このとき例えば、5本の指の5個の近接領域CA2乃至CA6を検出していると、これら5個の近接領域CA2乃至CA6の中で最も上寄りの端CA41を検出する。
また制御部20は、例えば、これら5個の近接領域CA2乃至CA6の中で最も下寄りの端CA21、最も左寄りの端CA22、最も右寄りの端CA61も検出する。
さらに制御部20は、これら5個の近接領域CA3及びCA4において検出した上下左右の端CA41、CA21、CA22、CA61に各辺が接して当該5個の近接領域CA2乃至CA6を全て囲む四角形の領域AR1を検出する。
そして制御部20は、その領域AR1の中心位置CE1と対向する、第1液晶パネル14Aの画素位置を、サムネイル一覧画像60を拡大する前と後とで表示位置を合わせるための表示基準位置として検出する。
また図27(B)に示すように、制御部20は、このとき例えば、2本の指の2個の近接領域CA7及びCA8を検出していると、これら2個の近接領域CA7及びCA8の中で最も上寄りの端CA81を検出する。
また制御部20は、例えば、これら2個の近接領域CA7及びCA8の中で最も下寄りの端CA71、最も左寄りの端CA72、最も右寄りの端CA82も検出する。
さらに制御部20は、これら2個の近接領域CA7及びCA8において検出した上下左右の端CA81、CA71、CA72、CA82に各辺が接して当該2個の近接領域CA7及びCA8を全て囲む四角形の領域AR2を検出する。
そして制御部20は、その領域AR2の中心位置CE2と対向する、第1液晶パネル14Aの画素位置を、サムネイル一覧画像60を拡大する前と後とで表示位置を合わせるための表示基準位置として検出する。
すなわち、制御部20は、画像の拡大が指示されたと認識すると、5本の指や2本の指の近接領域に基づき、第2液晶パネル15Aから第1液晶パネル14Aに亘り、拡大したサムネイル一覧画像60を表示するときの表示基準位置を検出する。
さらに制御部20は、このとき第2液晶パネル15Aから第1液晶パネル14Aに亘って表示しているサムネイル一覧画像60において、その表示基準位置と対向する基準対向位置(以下、これを拡大前基準対向位置とも呼ぶ)を検出する。
そのうえで制御部20は、そのサムネイル一覧画像60を例えば、予め選定された拡大率で拡大して、その結果得られたサムネイル一覧拡大画像において、拡大前基準対向位置に相当する位置(以下、これを拡大後基準対向位置とも呼ぶ)を特定する。
そして図28に示すように、制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘りサムネイル一覧画像60に替えて、サムネイル一覧拡大画像60Aを、表示基準位置に拡大後基準対向位置を合わせるようにして表示する。
よって制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘って拡大前のサムネイル一覧画像60を表示している場合よりも、サムネイル61Aの視認性を向上させて、サムネイル61Aの内容をより確認し易くすることができる。
また制御部20は、このとき拡大後基準対向位置を表示基準位置に合わせることで、サムネイル一覧画像60を、あたかも複数の指の近接部分を中心にズームしたように拡大する。
これにより制御部20は、サムネイル一覧画像60の拡大直前と拡大直後とで表示部分が大幅にずれることを回避して、拡大直前に見せていたサムネイル61のほとんどを、拡大直後も連続的に見せることができる。
因みに、制御部20は、サムネイル一覧画像60を拡大したとき、拡大直前に強調表示していたサムネイル61を、拡大直後も強調表示する。
ただし、制御部20は、サムネイル一覧拡大画像60Aを表示した場合、選択画像判別情報において、画像識別情報を対応付けている表示領域情報を、拡大したサムネイル61Aの表示領域の位置を画素位置の座標で示す表示領域情報に変更する。
よって制御部20は、サムネイル一覧拡大画像60Aを表示した状態で複数の指が所望の方向に移動すると、上述と同様に、注目領域が重なった(人指し指が重なった)サムネイル61Aを検出することができる。
そして制御部20は、図19について上述した場合と同様に、その注目領域が重なったサムネイル61Aを強調表示すると共に、第1液晶パネル14Aの表示はそのままに、第2液晶パネル15Aの表示面全体に、当該サムネイル61Aをさらに拡大して表示する。
また制御部20は、サムネイル一覧拡大画像60Aを表示している状態で、複数の指の移動が停止した場合も、上述と同様に注目領域が重なった(人指し指が重なった)サムネイル61Aを検出する。
そして制御部20は、この際には第1液晶パネル14Aから第2液晶パネル15Aに亘りサムネイル一覧拡大画像60Aを表示しつつ、注目領域が重なったサムネイル61Aを強調表示する。
ところで、図29に示すように、制御部20は、サムネイル一覧拡大画像60Aを表示している間、第1タッチパネル14の左端部に、画像の右方向へのスクロールを指示するための右スクロール指示領域SA3を設定する。
因みに、制御部20は、この際、第1タッチパネル14の左端部において、上スクロール指示領域SA1の上端から下スクロール指示領域SA2の下端までの帯状の領域を、右スクロール指示領域SA3に設定する。
実際に制御部20は、右スクロール指示領域SA3の位置を第1液晶パネル14Aの対向する画素位置の座標で示す右指示領域情報に、当該右スクロール指示領域SA3を介して実行の指示が可能な処理として、右方向へのスクロールを示す処理情報を対応付ける。
そして制御部20は、右指示領域情報と、当該右指示領域情報に対応付けた処理情報とを右スクロール判別情報としてRAM22に記憶する。
また制御部20は、サムネイル一覧拡大画像60Aを表示している間、第1タッチパネル14の右端部に、画像の左方向へのスクロールを指示するための左スクロール指示領域SA4も設定する。
因みに、制御部20は、この際、第1タッチパネル14の右端部において、上スクロール指示領域SA1の上端から下スクロール指示領域SA2の下端までの帯状の領域を、左スクロール指示領域SA4に設定する。
実際に制御部20は、左スクロール指示領域SA4の位置を第1液晶パネル14Aの対向する画素位置の座標で示す左指示領域情報に、当該左スクロール指示領域SA4を介して実行の指示が可能な処理として、左方向へのスクロールを示す処理情報を対応付ける。
そして制御部20は、左指示領域情報と、当該左指示領域情報に対応付けた処理情報とを左スクロール判別情報としてRAM22に記憶する。
さらに制御部20は、サムネイル一覧拡大画像60Aを表示している間、例えば、複数の指が所望の方向に移動したか否かを検出する。
そして制御部20は、複数の指が所望の方向に移動したことを検出すると、その指が移動している間、領域検出処理を実行して複数の重心位置を検出する毎に、当該検出した複数の重心位置を右スクロール指示領域SA3の位置と比較する。
また制御部20は、複数の指が所望の方向に移動している間、領域検出処理を実行して複数の重心位置を検出する毎に、当該検出した複数の重心位置を左スクロール指示領域SA4の位置とも比較する。
その結果、制御部20は、複数の重心位置の全てが、右スクロール指示領域SA3及び左スクロール指示領域SA4の何れにも含まれないと、画像に対する右方向及び左方向へのスクロールが指示されたと判別しない。
これに対し制御部20は、例えば、右スクロール指示領域SA3に少なくとも1個以上の重心位置が含まれる(すなわち、少なくとも1本以上の何れの指でも右スクロール指示領域SA3にかかる)と、画像に対する右方向のスクロールが指示されたと判別する。
この際、図30に示すように、制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘って表示しているサムネイル一覧拡大画像60Aを、比較的ゆっくりと右方向にスクロールする。
すなわち、制御部20は、第1タッチパネル14の第1操作面上で指が移動して左端部に近接すると、これに応じてサムネイル一覧拡大画像60Aを右方向にスクロールして、当該サムネイル一覧拡大画像60Aの左端側を順次表示して見せることができる。
また制御部20は、右スクロール指示領域SA3に少なくとも1個以上の重心位置が含まれている(すなわち、右スクロール指示領域SA3上に少なくとも1本以上の指が留まっている)間は、サムネイル一覧拡大画像60Aの右方向へのスクロールを継続する。
これにより制御部20は、最終的に第1液晶パネル14A及び第2液晶パネル15Aの左端にサムネイル一覧拡大画像60Aの左端を合わせるように表示した状態までスクロールすることができる。
因みに、以下の説明では、第1液晶パネル14A及び第2液晶パネル15Aの左端にサムネイル一覧拡大画像60Aの左端を合わせるように表示した状態を、右スクロール最終表示状態とも呼ぶ。
なお、制御部20は、サムネイル一覧拡大画像60Aを右スクロール最終表示状態までスクロールすると、この後は右スクロール指示領域SA3上に指が留まっていても、右方向へのスクロールの指示を無効にして、その右方向へのスクロールを強制的に停止する。
よって制御部20は、サムネイル一覧拡大画像60Aを右スクロール最終表示状態までスクロールすると、当該サムネイル一覧拡大画像60Aの左端部に配置しているサムネイル61Aを指示し易くすることができる。
また制御部20は、例えば、左スクロール指示領域SA4に少なくとも1個以上の重心位置が含まれる(すなわち、少なくとも1本以上の何れの指でも左スクロール指示領域SA4にかかる)と、画像に対する左方向のスクロールが指示されたと判別する。
この際、図31に示すように、制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘って表示しているサムネイル一覧拡大画像60Aを、比較的ゆっくりと左方向にスクロールする。
すなわち、制御部20は、第1タッチパネル14の第1操作面上で指が移動して右端部に近接すると、これに応じてサムネイル一覧拡大画像60Aを左方向にスクロールして、当該サムネイル一覧拡大画像60Aの右端側を順次表示して見せることができる。
また制御部20は、左スクロール指示領域SA4に少なくとも1個以上の重心位置が含まれている(すなわち、左スクロール指示領域SA4上に少なくとも1本以上の指が留まっている)間は、サムネイル一覧拡大画像60Aの左方向へのスクロールを継続する。
これにより制御部20は、最終的に第1液晶パネル14A及び第2液晶パネル15Aの右端にサムネイル一覧拡大画像60Aの右端を合わせるように表示した状態までスクロールすることができる。
因みに、以下の説明では、第1液晶パネル14A及び第2液晶パネル15Aの右端にサムネイル一覧拡大画像60Aの右端を合わせるように表示した状態を、左スクロール最終表示状態とも呼ぶ。
なお、制御部20は、サムネイル一覧拡大画像60Aを左スクロール最終表示状態までスクロールすると、この後は左スクロール指示領域SA4上に指が留まっていても、左方向へのスクロールの指示を無効にして、その左方向へのスクロールを強制的に停止する。
よって制御部20は、サムネイル一覧拡大画像60Aを左スクロール最終表示状態までスクロールすると、当該サムネイル一覧拡大画像60Aの右端部に配置しているサムネイル61Aを指示し易くすることができる。
因みに、制御部20は、サムネイル一覧拡大画像60Aを表示した状態で複数の指が所望の方向に移動すると、領域検出処理を実行する毎に、その都度、検出した重心位置を上スクロール指示領域SA1の位置及び下スクロール指示領域SA2の位置とも比較する。
そして制御部20は、図21及び図22について上述した場合と同様に、少なくとも1本以上の指が上スクロール指示領域SA1にかかると、サムネイル一覧拡大画像60Aを上方向へスクロールする。
また制御部20は、図23及び図24について上述した場合と同様に、少なくとも1本以上の指が下スクロール指示領域SA2にかかると、サムネイル一覧拡大画像60Aを下方向にスクロールする。
このように制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘ってサムネイル一覧拡大画像60A全体を表示しきれない場合、そのサムネイル一覧拡大画像60Aを上下左右の何れの方向へも適宜スクロールして、くまなく見せることができる。
因みに、制御部20は、右スクロール指示領域SA3及び左スクロール指示領域SA4に指がかかっている(近接領域がかかっている)間は、サムネイル61Aの強調表示を停止する。
また制御部20は、上スクロール指示領域SA1及び下スクロール指示領域SA2に指がかかっている(近接領域がかかっている)間も、サムネイル61Aの強調表示を停止する。
さらに制御部20は、サムネイル一覧拡大画像60Aのスクロールでサムネイル61Aの表示領域が変位すると、選択画像判別情報において画像識別情報を対応付けている表示領域情報を、変位後の表示領域の位置を画素位置の座標で示す表示領域情報に変更する。
そして制御部20は、指が再び移動して左スクロール指示領域SA4、右スクロール指示領域SA3、上スクロール指示領域SA1、下スクロール指示領域SA2の何れからも外れると、注目領域の重心位置とサムネイル61Aの表示領域とを比較する。
これにより制御部20は、サムネイル一覧拡大画像60Aをスクロールして表示範囲を変更しても、上述のように人指し指が重なったサムネイル61Aを的確に検出することができる。
よって制御部20は、サムネイル一覧拡大画像60Aをスクロールして表示範囲を変更しても、上述同様に人指し指が重なったサムネイル61Aを強調表示し得ると共に、第2液晶パネル15Aに当該サムネイル61Aを拡大して表示することができる。
また制御部20は、上述のように1又は複数の領域間距離と、対応する狭間隔変更検出距離SL2とを比較して、少なくとも1つ以上の領域間距離が、対応する狭間隔変更検出距離SL2以下であることを検出すると、画像の縮小が指示されたと認識する。
このとき制御部20は、図27(A)及び(B)について上述した場合と同様に複数の近接領域を全て囲む四角形の領域を検出する。
また制御部20は、その領域の中心位置と対向する、第1液晶パネル14Aの画素位置を、サムネイル一覧画像60を縮小する前と後とで表示位置を合わせるための表示基準位置として検出する。
すなわち、制御部20は、画像の縮小が指示されたと認識すると、第2液晶パネル15Aから第1液晶パネル14Aに亘り、縮小したサムネイル一覧画像60を表示するときの表示基準位置を検出する。
また制御部20は、このとき第2液晶パネル15Aから第1液晶パネル14Aに亘って表示しているサムネイル一覧画像60において、その表示基準位置と対向する基準対向位置(以下、これを縮小前基準対向位置とも呼ぶ)を検出する。
そのうえで制御部20は、そのサムネイル一覧画像60を例えば、予め選定された縮小率で縮小して、その結果得られたサムネイル一覧縮小画像において、縮小前基準対向位置に相当する位置(以下、これを縮小後基準対向位置とも呼ぶ)を特定する。
そして図32に示すように、制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘りサムネイル一覧画像60に替えて、サムネイル一覧縮小画像60Bを、表示基準位置に縮小後基準対向位置を合わせるようにして表示する。
これにより制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘って縮小前のサムネイル一覧画像60を表示している場合よりも、一度に表示するサムネイル61Bの数を増やして、より多くのサムネイル61Bを容易に比較させることができる。
また制御部20は、このとき縮小後基準対向位置を表示基準位置に合わせることで、サムネイル一覧画像60を、あたかも複数の指の近接部分を中心にズームしたように縮小する。
これにより制御部20は、サムネイル一覧画像60の縮小直前と縮小直後とで表示部分が大幅にずれることを回避して、縮小直前に見せていたサムネイル61のほとんどを、縮小直後も連続的に見せることができる。
因みに、制御部20は、サムネイル一覧画像60を縮小したとき、縮小直前に強調表示していたサムネイル61を、縮小直後も強調表示する。
ただし、制御部20は、サムネイル一覧縮小画像60Bを表示した場合、選択画像判別情報において、画像識別情報を対応付けている表示領域情報を、縮小したサムネイル61Bの表示領域の位置を画素位置の座標で示す表示領域情報に変更する。
よって制御部20は、サムネイル一覧縮小画像60Bを表示した状態で複数の指が所望の方向に移動した場合、上述と同様に、注目領域が重なった(人指し指が重なった)サムネイル61Bを検出することができる。
そして制御部20は、図19について上述した場合と同様に、その注目領域が重なったサムネイル61Bを強調表示すると共に、第1液晶パネル14Aの表示はそのままに、第2液晶パネル15Aの表示面全体に、当該サムネイル61Bを拡大して表示する。
また制御部20は、サムネイル一覧縮小画像60Bを表示している状態で、複数の指の移動が停止した場合も、上述と同様に、注目領域が重なった(人指し指が重なった)サムネイル61Bを検出することができる。
そして制御部20は、この際には第1液晶パネル14Aから第2液晶パネル15Aに亘りサムネイル一覧縮小画像60Bを表示しつつ、注目領域が重なったサムネイル61Bを強調表示する。
ところで、制御部20は、サムネイル一覧縮小画像60Bを表示している間も、図29について上述した場合と同様に、第1タッチパネル14の左右の端部に右スクロール指示領域SA3及び左スクロール指示領域SA4を設定する。
よって制御部20は、サムネイル一覧縮小画像60Bを表示している間、複数の指が所望の方向に移動したか否かを検出する。
そして制御部20は、複数の指が所望の方向に移動したことを検出すると、当該複数の指が移動している間、領域検出処理を実行して複数の重心位置を検出する毎に、当該検出した複数の重心位置を右スクロール指示領域SA3の位置と比較する。
また制御部20は、複数の指が移動している間、領域検出処理を実行して複数の重心位置を検出する毎に、当該検出した複数の重心位置を左スクロール指示領域SA4の位置とも比較する。
その結果、制御部20は、複数の重心位置の全てが、右スクロール指示領域SA3及び左スクロール指示領域SA4の何れにも含まれないと、画像に対する右方向及び左方向へのスクロールが指示されたと判別しない。
これに対し制御部20は、例えば、右スクロール指示領域SA3に少なくとも1個以上の重心位置が含まれる(すなわち、少なくとも1本以上の何れの指でも右スクロール指示領域SA3にかかる)と、画像に対する右方向のスクロールが指示されたと判別する。
この際、制御部20は、図30について上述した場合と同様に、第2液晶パネル15Aから第1液晶パネル14Aに亘って表示しているサムネイル一覧縮小画像60Bを右方向へスクロールする。
よって制御部20は、サムネイル一覧縮小画像60Bを右方向へスクロールすると、当該サムネイル一覧縮小画像60Bの左端部に配置しているサムネイル61Bを指示し易くすることができる。
また制御部20は、例えば、左スクロール指示領域SA4に少なくとも1個以上の重心位置が含まれる(すなわち、少なくとも1本以上の何れの指でも左スクロール指示領域SA4にかかる)と、画像に対する左方向のスクロールが指示されたと判別する。
この際、制御部20は、図31について上述した場合と同様に、第2液晶パネル15Aから第1液晶パネル14Aに亘って表示しているサムネイル一覧縮小画像60Bを左方向へスクロールする。
よって制御部20は、サムネイル一覧縮小画像60Bを左方向へスクロールすると、当該サムネイル一覧縮小画像60Bの右端部に配置しているサムネイル61Bを指示し易くすることができる。
因みに、制御部20は、サムネイル一覧縮小画像60Bを表示した状態で複数の指が所望の方向に移動すると、領域検出処理を実行する毎に、その都度検出した重心位置を上スクロール指示領域SA1の位置及び下スクロール指示領域SA2の位置とも比較する。
そして制御部20は、図21及び図22について上述した場合と同様に、少なくとも1本以上の指が上スクロール指示領域SA1にかかると、サムネイル一覧縮小画像60Bを上方向へスクロールする。
また制御部20は、図23及び図24について上述した場合と同様に、少なくとも1本以上の指が下スクロール指示領域SA2にかかると、サムネイル一覧縮小画像60Bを下方向にスクロールする。
このように制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘ってサムネイル一覧縮小画像60B全体を表示しきれない場合、そのサムネイル一覧縮小画像60Bを上下左右の何れの方向へも適宜スクロールして、くまなく見せることができる。
因みに、制御部20は、右スクロール指示領域SA3及び左スクロール指示領域SA4に指がかかっている(近接領域がかかっている)間は、サムネイル61Bの強調表示を停止する。
また制御部20は、上スクロール指示領域SA1及び下スクロール指示領域SA2に指がかかっている(近接領域がかかっている)間も、サムネイル61Bの強調表示を停止する。
さらに制御部20は、サムネイル一覧縮小画像60Bのスクロールでサムネイル61Bの表示領域が変位すると、選択画像判別情報において画像識別情報を対応付けている表示領域情報を、変位後の表示領域の位置を画素位置の座標で示す表示領域情報に変更する。
そして制御部20は、指が再び移動して左スクロール指示領域SA4、右スクロール指示領域SA3、上スクロール指示領域SA1、下スクロール指示領域SA2の何れからも外れると、注目領域の重心位置とサムネイル61Bの表示領域とを比較する。
これにより制御部20は、サムネイル一覧縮小画像60Bをスクロールして表示範囲を変更しても、上述のように人指し指が重なったサムネイル61Bを的確に検出することができる。
よって制御部20は、サムネイル一覧縮小画像60Bをスクロールして表示範囲を変更しても、上述同様に人指し指が重なったサムネイル61Bを強調表示し得ると共に、第2液晶パネル15Aに当該サムネイル61Bを拡大して表示することができる。
さらに制御部20は、サムネイル一覧拡大画像60Aを表示すると、その表示の間も領域検出処理を実行する毎に、複数の近接領域と共に検出した重心位置に基づき、隣り合う2個の近接領域の領域間距離を検出する。
そして制御部20は、その領域検出処理を実行する毎に、隣り合う2個の近接領域の領域間距離を、対応する広間隔変更検出距離SL1及び狭間隔変更検出距離SL2と比較する。
その結果、制御部20は、少なくとも1つ以上の領域間距離が、対応する狭間隔変更検出距離SL2より長いものの、対応する広間隔変更検出距離SL1よりも短くなったことを検出すると、画像の縮小が指示されたと認識する。
このとき制御部20は、図27(A)及び(B)について上述した場合と同様に、複数の近接領域を全て囲む四角形の領域を検出する。
また制御部20は、その領域の中心位置と対向する、第1液晶パネル14Aの画素位置を、サムネイル一覧拡大画像60Aを縮小する前と後とで表示位置を合わせるための表示基準位置として検出する。
すなわち、制御部20は、サムネイル一覧拡大画像60Aを表示した状態で、画像の縮小が指示されたと認識すると、第2液晶パネル15Aから第1液晶パネル14Aに亘り、サムネイル一覧拡大画像60Aを縮小して表示するときの表示基準位置を検出する。
さらに制御部20は、このとき第2液晶パネル15Aから第1液晶パネル14Aに亘って表示しているサムネイル一覧拡大画像60Aにおいて、その表示基準位置と対向する縮小前基準対向位置を検出する。
そのうえで制御部20は、そのサムネイル一覧拡大画像60Aを例えば、もとの表示サイズに戻すように縮小して、その結果得られたサムネイル一覧画像60において、縮小前基準対向位置に相当する縮小後基準対向位置を特定する。
そして制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘りサムネイル一覧拡大画像60Aに替えて、もとの(拡大前の)サムネイル一覧画像60を、表示基準位置に縮小後基準対向位置を合わせるようにして表示する。
このようにして制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘って表示するサムネイル一覧画像60を拡大しても、その拡大したサムネイル一覧画像60を適宜もとの表示サイズに戻して表示することができる。
さらにまた制御部20は、サムネイル一覧縮小画像60Bを表示すると、その表示の間も領域検出処理を実行する毎に、複数の近接領域と共に検出した重心位置に基づき、隣り合う2個の近接領域の領域間距離を検出する。
そして制御部20は、その領域検出処理を実行する毎に、隣り合う2個の近接領域の領域間距離を、対応する広間隔変更検出距離SL1及び狭間隔変更検出距離SL2と比較する。
その結果、制御部20は、少なくとも1つ以上の領域間距離が、対応する広間隔変更検出距離SL1よりも短いものの、対応する狭間隔変更検出距離SL2より長くなったことを検出すると、画像の拡大が指示されたと認識する。
このとき制御部20は、図27(A)及び(B)について上述した場合と同様に、複数の近接領域を全て囲む四角形の領域を検出する。
また制御部20は、その領域の中心位置と対向する、第1液晶パネル14Aの画素位置を、サムネイル一覧縮小画像60Bを拡大する前と後とで表示位置を合わせるための表示基準位置として検出する。
すなわち、制御部20は、サムネイル一覧縮小画像60Bを表示した状態で、画像の拡大が指示されたと認識すると、第2液晶パネル15Aから第1液晶パネル14Aに亘り、サムネイル一覧縮小画像60Bを拡大して表示するときの表示基準位置を検出する。
さらに制御部20は、このとき第2液晶パネル15Aから第1液晶パネル14Aに亘って表示しているサムネイル一覧縮小画像60Bにおいて、その表示基準位置と対向する拡大前基準対向位置を検出する。
そのうえで制御部20は、そのサムネイル一覧縮小画像60Bを例えば、もとの表示サイズに戻すように拡大して、その結果得られたサムネイル一覧画像60において、拡大前基準対向位置に相当する拡大後基準対向位置を特定する。
そして制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘りサムネイル一覧縮小画像60Bに替えて、もとの(縮小前の)サムネイル一覧画像60を、表示基準位置に拡大後基準対向位置を合わせるようにして表示する。
よって制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘って表示するサムネイル一覧画像60を縮小しても、その縮小したサムネイル一覧画像60を適宜もとの表示サイズに戻して表示することができる。
このようにして制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘ってサムネイル一覧画像60を、適宜、表示状態を変えて表示して当該サムネイル一覧画像60内の複数のサムネイル61により立上画像を確認させることができる。
そして図33に示すように、制御部20は、サムネイル一覧画像60(サムネイル一覧拡大画像60A、サムネイル一覧縮小画像60B)を表示した状態で、複数の指による近接操作に連続して人差し指でタップ操作が行われると、タップ指示位置を検出する。
この際、制御部20は、そのタップ指示位置を、上述の選択画像判別情報に含まれる複数の表示領域と順次比較して、これら複数の表示領域の中からタップ指示位置を含む表示領域を検出する。
これにより制御部20は、サムネイル一覧画像60(サムネイル一覧拡大画像60A、サムネイル一覧縮小画像60B)上でタップ操作により選択された立上画像63(タップ指示位置を含む表示領域を対応付けた画像識別情報で識別される立上画像)を判別する。
そして図34に示すように、制御部20は、このように立上画像63を判別すると、第2液晶パネル15Aから第1液晶パネル14Aに亘るサムネイル一覧画像60の表示を終了する。
また制御部20は、その立上画像63の表示サイズに応じて、第1液晶パネル14A及び第2液晶パネル15Aの少なくとも一方に当該立上画像63を表示する。
また図35に示すように、制御部20は、サムネイル一覧画像60(サムネイル一覧拡大画像60A、サムネイル一覧縮小画像60B)を表示した状態で、1本の指による近接操作に連続して当該1本の指でタップ操作が行われても、タップ指示位置を検出する。
この際、制御部20は、そのタップ指示位置を、上述の選択画像判別情報に含まれる複数の表示領域と順次比較して、これら複数の表示領域の中からタップ指示位置を含む表示領域を検出する。
よって制御部20は、サムネイル一覧画像60(サムネイル一覧拡大画像60A、サムネイル一覧縮小画像60B)上でタップ操作により選択された立上画像63(タップ指示位置を含む表示領域を対応付けた画像識別情報で識別される立上画像)を判別する。
そして制御部20は、図34について上述した場合と同様に、第2液晶パネル15Aから第1液晶パネル14Aに亘るサムネイル一覧画像60の表示を終了する。
また制御部20は、その立上画像63の表示サイズに応じて、第1液晶パネル14A及び第2液晶パネル15Aの少なくとも一方に当該立上画像63を表示する。
このようにして制御部20は、近接操作が行われると、第2液晶パネル15Aから第1液晶パネル14Aに亘ってサムネイル一覧画像60を表示し、そのサムネイル一覧画像60上で、所望の立上画像をサムネイル61として選択させることができる。
制御部20は、近接操作に連続して、第1操作面に近接していた指でタップ操作が行われて立上画像を表示すると、その近接操作が終了したと判別して、全ての指が第1操作面から近接検出距離範囲を越えて遠ざけられても、その立上画像を表示したままにする。
すなわち、制御部20は、近接操作に連続して、第1操作面に対しタップ操作が行われると、第2液晶パネル15Aから第1液晶パネル14Aに亘り立上画像を表示して近接操作を終了させる。
ところで、制御部20は、上述のように近接操作が行われたと判別しても、タップ操作で所望の立上画像が選択される前に、第1操作面から、これに近接していた全ての指が近接検出距離範囲を越えて遠ざけられると、このときも近接操作が終了したと判別する。
すなわち、制御部20は、近接操作が行われてサムネイル一覧画像60を表示しても、立上画像の指示が見送られた場合、特別な操作を何ら行わせることなく、第1操作面から指を遠ざけさせるだけで、近接操作を容易に終了させることができる。
そして制御部20は、第1操作面から指が遠ざかり近接操作が終了したと判別すると、この際、第2液晶パネル15Aから第1液晶パネル14Aに亘るサムネイル一覧画像60の表示を終了する。
また制御部20は、この際、第2液晶パネル15Aから第1液晶パネル14Aに亘る表示を、近接操作が行われる直前の状態に戻す。
これに加え制御部20は、例えば、近接操作の間、複数の指のうち何れかの指が第1操作面の外側にまで移動して一部の近接領域を検出し得なくなっても、当該複数の指のうち1本以上の指の近接領域を検出し続けていると、近接操作が継続されていると判断する。
よって制御部20は、例えば、近接操作においてスクロールを指示するとき等に、複数の指の一部が第1操作面の外側にまで移動しても、その近接操作が無駄に中断することを回避して、近接操作を行わせ続けて所望の立上画像を選択させることができる。
一方、制御部20は、再生画像46を表示し、近接領域及び接触領域を全く検出していない状態で、近接開始時点の1個又は複数の近接領域を検出すると、この場合も上述と同様にタイマにより近接時間の計時を開始する。
また制御部20は、このように近接開始時点の1又は複数の近接領域を検出すると、上述と同様に、これら近接領域の重心位置をそれぞれ移動軌跡の起点として、指毎の移動軌跡の検出も開始する。
さらに制御部20は、近接時間が近接操作判別時間に達するまでに1又は複数の指に対する近接開始時点の1又は複数の近接領域を追加で検出すると、当該1又は複数の近接領域の重心位置もそれぞれ移動軌跡の起点として、当該指毎の移動軌跡の検出も開始する。
そして制御部20は、近接時間の計時を開始すると、上述と同様に接触領域を検出しないまま、少なくとも1個以上の近接領域を順次追跡するように検出している間、その近接時間の計時を継続する。
ただし、制御部20は、近接時間が近接操作判別時間に達する前に、接触領域を検出し、また全ての指が第1操作面から近接検出距離範囲を越えて遠ざかって近接時間の計時を終了すると、このときも第1操作面に対し近接操作は行われていないと判別する。
これに対し制御部20は、計時している近接時間が近接操作判別時間に達すると、上述と同様に、このときまでに検出していた全ての移動軌跡が、対応する起点(重心位置)を中心にした近接操作判別範囲内に収まっているか否かを判別する。
その結果、制御部20は、近接時間が近接操作判別時間に達したとき、これまでに検出していた全ての移動軌跡が、対応する起点から近接操作判別範囲の外側にまで伸びていると、上述と同様に第1操作面に対し近接操作は行われていないと判別する。
これに対し図36に示すように、制御部20は、近接時間が近接操作判別時間に達したとき、少なくとも1本以上の移動軌跡が、対応する近接操作判別範囲内に収まっていると、上述と同様に第1操作面に対し近接操作が行われていると判別する。
これにより制御部20は、再生画像46を表示している場合も、近接操作をタップ操作や摺動操作のようなタッチ操作とは明確に区別して、第1操作面に対し近接操作が行われたことを検出することができる。
また制御部20は、この近接操作判別時点に検出している近接領域を全て、今回の近接操作によるものであると判別する。
これにより制御部20は、近接時間が近接操作判別時間に達するまでに、複数の指による複数の近接領域を時間的に僅かにずれて検出し始めても、近接操作判別時点に、これら複数の近接領域を1回の近接操作による近接領域として検出することができる。
制御部20は、近接操作が行われていると判別すると、現在、再生の対象になっている音楽データ(このとき表示している再生画像46が示す再生対象の音楽データ)の曲タイトルを曲アイコン45として提示するための曲一覧画像44の画像データを生成する。
因みに、以下の説明では、近接操作判別時点に、再生の対象になっている音楽データを、判別時点再生対象データとも呼ぶ。
そして図37に示すように、制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘り再生画像46に替えて、その画像データに基づく曲一覧画像44を表示する。
すなわち、制御部20は、判別時点再生対象データが収録されたアルバム内の全ての音楽データ(判別時点再生対象データを含む)の曲タイトルを示す(再生画像46よりも1階層上位の)曲一覧画像44を表示する。
因みに、再生画像46は、ユーザにより再生対象の音楽データが選択されたとき、その音楽データに関する情報を示している。
ただし、再生画像46は、再生対象の音楽データの選択から近接操作が行われるまでに再生処理が進み、その再生対象の音楽データとは異なる他の音楽データが再生されると、これに応じて当該他の音楽データに関する情報を示すように内容が更新されている。
このため制御部20は、この際、再生画像46に替えて、ユーザにより再生対象の音楽データが選択されるときにすでに表示していた曲一覧画像44を再び表示する場合がある。
また制御部20は、この際、再生画像46に替えて、ユーザにより再生対象の音楽データが選択されるときに表示していた曲一覧画像44とは異なる表示内容の曲一覧画像を表示する場合もある。
制御部20は、このように曲一覧画像44を表示すると、当該曲一覧画像44内の複数の曲アイコン45のうち、判別時点再生対象データの曲タイトルを示す曲アイコン45を上述と同様に強調表示する。
また制御部20は、この際、図11について上述した場合と同様に、曲アイコン45毎の配置領域情報と、当該配置領域情報に対応付けた曲情報とを選択曲判別情報としてRAM22に記憶する。
さらに制御部20は、上述のサムネイル一覧画像60を表示した場合と同様に、このとき検出している1又は複数の近接領域の中で、注目領域を設定する。
さらに制御部20は、この際、上述のサムネイル一覧画像60を表示した場合と同様に、第1操作面に近接している1又は複数の指の移動軌跡を検出すると共に、当該検出した移動軌跡に基づき、1又は複数の指が所望の方向に移動したか否かを判断する。
その結果、制御部20は、1又は複数の指が所望の方向に移動したと判断すると、その移動の間、注目領域(人指し指)が重なった配置領域を検出するようにして、強調表示する曲アイコン45を適宜変更する。
また制御部20は、第1液晶パネル14Aの表示はそのままに、第2液晶パネル15Aに、その強調表示している曲アイコン45を拡大して表示する。
さらに制御部20は、このように曲一覧画像44を表示した場合、上述のサムネイル一覧画像60を表示した場合と同様に、指の移動に応じて、当該曲一覧画像44を上方向や下方向へスクロールすることができる。
さらにまた制御部20は、この際、複数の指で近接操作が行われていると、上述のサムネイル一覧画像60を表示した場合と同様に、指の間隔の変化に応じて、曲一覧画像44を拡大して表示し、また縮小して表示することができる。
そして制御部20は、このように曲一覧画像44を拡大し、また縮小したときには、上述のサムネイル一覧画像60を表示した場合と同様に、指の移動に応じて、その曲一覧画像44を上下左右にスクロールすることもできる。
さらに制御部20は、曲一覧画像44をスクロールし、また拡大縮小したときには、選択曲判別情報の内容を変更する。
これにより制御部20は、曲アイコン45の配置位置が変位し、また大きさが変化しても、指が重なった曲アイコン45を検出して強調表示及び拡大表示することができる。
このように制御部20は、近接操作に応じて曲一覧画像44を表示した場合も、上述のサムネイル一覧画像60を表示した場合と同様に、当該曲一覧画像44の表示状態を同様に変更することができる。
これに加え図38に示すように、制御部20は、このように曲一覧画像44を表示した状態で近接操作において1又は複数の指が所望の方向に移動した場合、例えば、移動軌跡に基づき、移動の開始から停止までの時間と移動方向とを検出する。
また制御部20は、その移動時間及び移動方向に基づき、1又は複数の指が例えば、予め選定された2乃至3[sec]のような比較的短い所定の指示判別時間内に一方向、及びこれとは反対側の他方向に交互に移動(すなわち、往復移動)したか否かを検出する。
その結果、制御部20は、1又は複数の指が往復移動したことを検出すると、その往復回数に応じて、ジャンル一覧画像35、アーティスト一覧画像38、アルバム一覧画像41の何れかの表示が指示されたと認識する。
因みに、制御部20は、このような往復移動について、指の移動の開始から停止までの時間を規定する(すなわち、指の動きにフリック操作のすばやさと同じような感覚のすばやさを要求する)ものの、指を往復させる一方向及び他方向を特に規定していない。
このため制御部20は、1又は複数の指が移動の開始から指示判別時間内に、その移動を停止させると、当該1又は複数の指が上下方向、左右方向、斜め方向(右上方向及び左下方向等)等の何れの方向に交互に移動しても往復移動したと判断する。
実際に制御部20は、1又は複数の指が一方向及び他方向にすばやく1往復するように往復移動したことを検出すると、複数の音楽データの第1階層の分類に対応するジャンル一覧画像35の表示が指示されたと認識する。
この際、制御部20は、図8について上述した場合と同様にして、ジャンル一覧画像35の画像データを生成する。そして図39に示すように、制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘り曲一覧画像44に替えて、その画像データに基づくジャンル一覧画像35を表示する。
すなわち、制御部20は、この際、複数の音楽データのジャンルによる分類を示す(再生画像46よりも4階層上位の最上位となる)ジャンル一覧画像35を表示する。
また制御部20は、1又は複数の指が一方向及び他方向にすばやく2往復するように往復移動したことを検出すると、複数の音楽データの第2階層の分類に対応するアーティスト一覧画像38の表示が指示されたと認識する。
この際、制御部20は、図9について上述した場合と同様にして、判別時点再生対象データが属するジャンル内での複数の音楽データのアーティストによる分類を示すアーティスト一覧画像38の画像データを生成する。
そして図40に示すように、制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘り曲一覧画像44に替えて、その画像データに基づくアーティスト一覧画像38を表示する。
すなわち、制御部20は、この際、判別時点再生対象データのジャンルに対応する全てのアーティスト(そのジャンルに属する音楽データを発表した全てのアーティスト)を示す(再生画像46よりも3階層上位の)アーティスト一覧画像38を表示する。
さらに制御部20は、1又は複数の指が一方向及び他方向にすばやく3往復するように往復移動したことを検出すると、複数の音楽データの第3階層の分類に対応するアルバム一覧画像41の表示が指示されたと認識する。
この際、制御部20は、図10について上述した場合と同様にして、判別時点再生対象データのアーティストの複数の音楽データに対するアルバムによる分類を示すアルバム一覧画像41の画像データを生成する。
そして図41に示すように、制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘り曲一覧画像44に替えて、その画像データに基づくアルバム一覧画像41を表示する。
すなわち、制御部20は、この際、判別時点再生対象データのアーティストが発表した全てのアルバムを示す(再生画像46よりも2階層上位の)アルバム一覧画像41を表示する。
このように制御部20は、アルバム一覧画像41、アーティスト一覧画像38、ジャンル一覧画像35を、下位から上位まで1階層ずつ順番に戻すように切り替えて表示しなくても、近接操作における指の往復移動で任意に選択させて表示することができる。
すなわち、制御部20は、近接操作に応じて曲一覧画像44を表示すると、引き続き近接操作における指の往復移動に応じて、所望の階層のジャンル一覧画像35、アーティスト一覧画像38、アルバム一覧画像41を簡単に切り替えて表示することができる。
ここで、制御部20は、ジャンル一覧画像35を表示すると、当該ジャンル一覧画像35内の複数のジャケット画像37のうち、判別時点再生対象データが属するジャンルに対応するジャケット画像37を上述と同様に強調表示する。
この際、制御部20は、図8について上述した場合と同様に、選択ジャンル判別情報をRAM22に記憶する。
また制御部22は、ジャンルアイコン36の配置領域の位置を画素位置の座標で示す配置領域情報と、当該ジャンルアイコン36が示すジャンルの複数の音楽データを順番に再生する再生命令とを対応付けて再生曲判別情報としてRAM22に記憶する。
さらに制御部20は、上述のサムネイル一覧画像60を表示した場合と同様に、このとき検出している1又は複数の近接領域の中で、注目領域を設定する。
さらに制御部20は、この際、上述のサムネイル一覧画像60を表示した場合と同様に、第1操作面に近接している1又は複数の指の移動軌跡を検出すると共に、当該検出した移動軌跡に基づき、1又は複数の指が所望の方向に移動したか否かを判断する。
その結果、制御部20は、1又は複数の指が所望の方向に移動したと判断すると、その移動の間、注目領域(人指し指)が重なったジャケット画像37の表示領域やジャンルアイコン36の配置領域を検出する。
そして制御部20は、注目領域(人指し指)がジャケット画像37の表示領域に重なった場合、そのジャケット画像37を強調表示する。
このとき制御部20は、第1液晶パネル14Aの表示はそのままに、第2液晶パネル15Aに、その強調表示しているジャケット画像37を拡大して表示する。
また制御部20は、注目領域(人指し指)がジャンルアイコン36の配置領域に重なった場合、そのジャンルアイコン36を強調表示する。
このとき制御部20は、第1液晶パネル14Aの表示はそのままに、第2液晶パネル15Aに、その強調表示しているジャンルアイコン36を拡大して表示する。
このようにして制御部20は、指が移動している間、強調表示するジャケット画像37やジャンルアイコン36を適宜変更する。
因みに、制御部20は、指が停止すると、第2液晶パネル15Aに対し、ジャケット画像37やジャンルアイコン36の拡大表示を終了して、元の表示(ジャンル一覧画像35の表示)に戻す。
また制御部20は、指が停止すると、強調表示するジャケット画像37やジャンルアイコン36を変更しないようにして、当該ジャケット画像37の強調表示や、ジャンルアイコン36の強調表示をそのまま継続する。
さらに制御部20は、このようにジャンル一覧画像35を表示した場合、上述のサムネイル一覧画像60を表示した場合と同様に、指の移動に応じて、当該ジャンル一覧画像35を上方向や下方向へスクロールすることができる。
さらにまた制御部20は、この際、複数の指で近接操作が行われていると、上述のサムネイル一覧画像60を表示した場合と同様に、指の間隔の変化に応じて、ジャンル一覧画像35を拡大して表示し、また縮小して表示することができる。
そして制御部20は、このようにジャンル一覧画像35を拡大し、また縮小したときには、上述のサムネイル一覧画像60を表示した場合と同様に、指の移動に応じて、そのジャンル一覧画像35を上下左右にスクロールすることもできる。
さらに制御部20は、ジャンル一覧画像35をスクロールし、また拡大縮小したときには、選択ジャンル判別情報及び再生曲判別情報の内容を変更する。
これにより制御部20は、ジャケット画像37及びジャンルアイコン36の配置位置が変位し、また大きさが変化しても、指が重なったジャケット画像37やジャンルアイコン36を検出して強調表示及び拡大表示することができる。
このように制御部20は、近接操作に応じてジャンル一覧画像35を表示した場合も、上述のサムネイル一覧画像60を表示した場合と同様に、当該ジャンル一覧画像35の表示状態を同様に変更することができる。
また制御部20は、アーティスト一覧画像38を表示すると、当該アーティスト一覧画像38内の複数のジャケット画像40のうち、判別時点再生対象データのアーティストに対応するジャケット画像40を上述と同様に強調表示する。
この際、制御部20は、図9について上述した場合と同様に、選択アーティスト判別情報をRAM22に記憶する。
また制御部22は、アーティストアイコン39の配置領域の位置を画素位置の座標で示す配置領域情報と、当該アーティストアイコン39が示すアーティストの複数の音楽データを順番に再生する再生命令とを対応付けて再生曲判別情報としてRAM22に記憶する。
さらに制御部20は、上述のサムネイル一覧画像60を表示した場合と同様に、このとき検出している1又は複数の近接領域の中で、注目領域を設定する。
さらに制御部20は、この際、上述のサムネイル一覧画像60を表示した場合と同様に、第1操作面に近接している1又は複数の指の移動軌跡を検出すると共に、当該検出した移動軌跡に基づき、1又は複数の指が所望の方向に移動したか否かを判断する。
その結果、制御部20は、1又は複数の指が所望の方向に移動したと判断すると、その移動の間、注目領域(人指し指)が重なったジャケット画像40の表示領域やアーティストアイコン39の配置領域を検出する。
そして制御部20は、注目領域(人指し指)がジャケット画像40の表示領域に重なった場合、そのジャケット画像40を強調表示する。
このとき制御部20は、第1液晶パネル14Aの表示はそのままに、第2液晶パネル15Aに、その強調表示しているジャケット画像40を拡大して表示する。
また制御部20は、注目領域(人指し指)がアーティストアイコン39の配置領域に重なった場合、そのアーティストアイコン39を強調表示する。
このとき制御部20は、第1液晶パネル14Aの表示はそのままに、第2液晶パネル15Aに、その強調表示しているアーティストアイコン39を拡大して表示する。
このようにして制御部20は、指が移動している間、強調表示するジャケット画像40やアーティストアイコン39を適宜変更する。
因みに、制御部20は、指が停止すると、第2液晶パネル15Aに対し、ジャケット画像40やアーティストアイコン39の拡大表示を終了して、元の表示(アーティスト一覧画像38の表示)に戻す。
また制御部20は、指が停止すると、強調表示するジャケット画像40やアーティストアイコン39を変更しないようにして、当該ジャケット画像40の強調表示や、アーティストアイコン39の強調表示をそのまま継続する。
さらに制御部20は、このようにアーティスト一覧画像38を表示した場合、上述のサムネイル一覧画像60を表示した場合と同様に、指の移動に応じて、当該アーティスト一覧画像38を上方向や下方向へスクロールすることができる。
さらにまた制御部20は、この際、複数の指で近接操作が行われていると、上述のサムネイル一覧画像60を表示した場合と同様に、指の間隔の変化に応じて、アーティスト一覧画像38を拡大して表示し、また縮小して表示することができる。
そして制御部20は、このようにアーティスト一覧画像38を拡大し、また縮小したときには、上述のサムネイル一覧画像60を表示した場合と同様に、指の移動に応じて、そのアーティスト一覧画像38を上下左右にスクロールすることもできる。
さらに制御部20は、アーティスト一覧画像38をスクロールし、また拡大縮小したときには、選択アーティスト判別情報及び再生曲判別情報の内容を変更する。
これにより制御部20は、ジャケット画像40及びアーティストアイコン39の配置位置が変位し、また大きさが変化しても、指が重なったジャケット画像40やアーティストアイコン39を検出して強調表示及び拡大表示することができる。
このように制御部20は、近接操作に応じてアーティスト一覧画像38を表示した場合も、上述のサムネイル一覧画像60を表示した場合と同様に、当該アーティスト一覧画像38の表示状態を同様に変更することができる。
さらに制御部20は、アルバム一覧画像41を表示すると、当該アルバム一覧画像41内の複数のジャケット画像43のうち、判別時点再生対象データが収録されたアルバムのジャケット画像43を上述と同様に強調表示する。
この際、制御部20は、図10について上述した場合と同様に、選択アルバム判別情報をRAM22に記憶する。
また制御部22は、アルバムアイコン42の配置領域の位置を画素位置の座標で示す配置領域情報と、当該アルバムアイコン42が示すアルバム内の複数の音楽データを順番に再生する再生命令とを対応付けて再生曲判別情報としてRAM22に記憶する。
さらに制御部20は、上述のサムネイル一覧画像60を表示した場合と同様に、このとき検出している1又は複数の近接領域の中で、注目領域を設定する。
さらに制御部20は、この際、上述のサムネイル一覧画像60を表示した場合と同様に、第1操作面に近接している1又は複数の指の移動軌跡を検出すると共に、当該検出した移動軌跡に基づき、1又は複数の指が所望の方向に移動したか否かを判断する。
その結果、制御部20は、1又は複数の指が所望の方向に移動したと判断すると、その移動の間、注目領域(人指し指)が重なったジャケット画像43の表示領域やアルバムアイコン42の配置領域を検出する。
そして制御部20は、注目領域(人指し指)がジャケット画像43の表示領域に重なった場合、そのジャケット画像43を強調表示する。
このとき制御部20は、第1液晶パネル14Aの表示はそのままに、第2液晶パネル15Aに、その強調表示しているジャケット画像43を拡大して表示する。
また制御部20は、注目領域(人指し指)がアルバムアイコン42の配置領域に重なった場合、そのアルバムアイコン42を強調表示する。
このとき制御部20は、第1液晶パネル14Aの表示はそのままに、第2液晶パネル15Aに、その強調表示しているアルバムアイコン42を拡大して表示する。
このようにして制御部20は、指が移動している間、強調表示するジャケット画像43やアルバムアイコン42を適宜変更する。
因みに、制御部20は、指が停止すると、第2液晶パネル15Aに対し、ジャケット画像43やアルバムアイコン42の拡大表示を終了して、元の表示(アルバム一覧画像41の表示)に戻す。
また制御部20は、指が停止すると、強調表示するジャケット画像43やアルバムアイコン42を変更しないようにして、当該ジャケット画像43の強調表示や、アルバムアイコン42の強調表示をそのまま継続する。
さらに制御部20は、このようにアルバム一覧画像41を表示した場合、上述のサムネイル一覧画像60を表示した場合と同様に、指の移動に応じて、当該アルバム一覧画像41を上方向や下方向へスクロールすることができる。
さらにまた制御部20は、この際、複数の指で近接操作が行われていると、上述のサムネイル一覧画像60を表示した場合と同様に、指の間隔の変化に応じて、アルバム一覧画像41を拡大して表示し、また縮小して表示することができる。
そして制御部20は、このようにアルバム一覧画像41を拡大し、また縮小したときには、上述のサムネイル一覧画像60を表示した場合と同様に、指の移動に応じて、そのアルバム一覧画像41を上下左右にスクロールすることもできる。
さらに制御部20は、アルバム一覧画像41をスクロールし、また拡大縮小したときには、選択アルバム判別情報及び再生曲判別情報の内容を変更する。
これにより制御部20は、ジャケット画像43及びアルバムアイコン42の配置位置が変位し、また大きさが変化しても、指が重なったジャケット画像43やアルバムアイコン42を検出して強調表示及び拡大表示することができる。
このように制御部20は、近接操作に応じてアルバム一覧画像41を表示した場合も、上述のサムネイル一覧画像60を表示した場合と同様に、当該アルバム一覧画像41の表示状態を同様に変更することができる。
ところで、制御部20は、ジャンル一覧画像35やアーティスト一覧画像38、アルバム一覧画像41を表示した場合も、上述の曲一覧画像44を表示した場合と同様に、移動軌跡に基づき、1又は複数の指が往復移動したか否かを検出する。
その結果、制御部20は、例えば、ジャンル一覧画像35を表示した状態で、1又は複数の指が2往復や3往復するように往復移動したことを検出すると、上述と同様に往復回数に対応するアーティスト一覧画像38、アルバム一覧画像41に表示を切り替える。
また制御部20は、例えば、アーティスト一覧画像38を表示した状態で、1又は複数の指が1往復や3往復するように往復移動したことを検出すると、上述と同様に往復回数に対応するジャンル一覧画像35、アルバム一覧画像41に表示を切り替える。
さらに制御部20は、例えば、アルバム一覧画像41を表示した状態で、1又は複数の指が1往復や2往復するように往復移動したことを検出すると、上述と同様に往復回数に対応するジャンル一覧画像35、アーティスト一覧画像38に表示を切り替える。
ただし、制御部20は、ジャンル一覧画像35を表示した場合、例えば、1又は複数の指がすばやく4往復するように往復移動したことを検出すると、曲一覧画像44の表示が指示されたと認識する。
また制御部20は、アーティスト一覧画像38を表示した場合も、例えば、1又は複数の指がすばやく4往復するように往復移動したことを検出すると、曲一覧画像44の表示が指示されたと認識する。
さらに制御部20は、アルバム一覧画像41を表示した場合も、例えば、1又は複数の指がすばやく4往復するように往復移動したことを検出すると、曲一覧画像44の表示が指示されたと認識する。
そして制御部20は、このように曲一覧画像44の表示が指示されたと認識すると、第2液晶パネル15Aから第1液晶パネル14Aに亘りジャンル一覧画像35やアーティスト一覧画像38、アルバム一覧画像41に替えて曲一覧画像44を再び表示する。
このように制御部20は、アルバム一覧画像41、アーティスト一覧画像38、ジャンル一覧画像35を表示しても、ジャンル一覧画像35、アーティスト一覧画像38、アルバム一覧画像41、曲一覧画像44を任意に選択させて表示を切り替えることができる。
そして制御部20は、ジャンル一覧画像35、アーティスト一覧画像38、アルバム一覧画像41、曲一覧画像44の何れを表示した場合(これらの拡大表示や縮小表示も含む)でも、近接操作に連続してタップ操作が行われると、タップ指示位置を検出する。
この際、制御部20は、例えば、ジャンル一覧画像35を表示していると、そのタップ指示位置を、複数のジャケット画像37の表示領域、及び複数のジャンルアイコン36の配置領域と順次比較する。
その結果、制御部20は、これら複数の表示領域の中からタップ指示位置を含む表示領域を検出すると、図8について上述した場合と同様に、その検出した表示領域に基づき、タップ操作によって選択されたジャンル名及びジャケット画像37を判別する。
また制御部20は、図8について上述した場合と同様に、その判別したジャンル名及びジャケット画像37に基づき、新たなアーティスト一覧画像の画像データを生成する。
さらに制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘るジャンル一覧画像35の表示を終了すると共に、当該第1液晶パネル14Aから第2液晶パネル15Aに亘り、その画像データに基づく新たなアーティスト一覧画像を表示する。
このようにして制御部20は、近接操作が行われて第2液晶パネル15Aから第1液晶パネル14Aに亘りジャンル一覧画像35を表示した場合、そのジャンル一覧画像35上で、所望のジャンルをジャケット画像37として選択させることができる。
そして制御部20は、近接操作に連続したタップ操作に応じて新たなアーティスト一覧画像を表示すると、その近接操作が終了したと判別して、全ての指が第1操作面から近接検出距離範囲を越えて遠ざけられても、そのアーティスト一覧画像を表示したままにする。
これに対し制御部20は、ジャンル一覧画像35を表示している状態で、複数の配置領域の中からタップ指示位置を含む配置領域を検出すると、上述と同様に、その検出した配置領域に基づき、タップ操作で指示されたジャンルアイコン36を検出する。
さらに制御部20は、不揮発性メモリ21から、その指示されたジャンルアイコン36が示すジャンルの複数の音楽データを順次読み出して再生部24により再生処理する。
これに加え制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘るジャンル一覧画像35の表示を終了すると共に、当該第1液晶パネル14Aから第2液晶パネル15Aに亘り、再生中の音楽データを示す再生画像を表示する。
このように制御部20は、近接操作に応じてジャンル一覧画像35を表示すると、ジャンル一覧画像35上で所望のジャンルを、音楽データの再生指示が可能なジャンルアイコン36としても選択させることができる。
そして制御部20は、近接操作に連続したタップ操作に応じて新たな再生画像を表示すると、その近接操作が終了したと判別して、全ての指が第1操作面から近接検出距離範囲を越えて遠ざけられても、その再生画像を表示したままにする。
また制御部20は、例えば、アーティスト一覧画像38を表示していると、そのタップ指示位置を、複数のジャケット画像40の表示領域、及び複数のアーティストアイコン39の配置領域と順次比較する。
その結果、制御部20は、これら複数の表示領域の中からタップ指示位置を含む表示領域を検出すると、図9について上述した場合と同様に、その検出した表示領域に基づき、タップ操作によって選択されたアーティスト名及びジャケット画像40を判別する。
また制御部20は、図9について上述した場合と同様に、その判別したアーティスト名及びジャケット画像40に基づき、新たなアルバム一覧画像の画像データを生成する。
そして制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘るアーティスト一覧画像38の表示を終了すると共に、当該第1液晶パネル14Aから第2液晶パネル15Aに亘り、その画像データに基づく新たなアルバム一覧画像を表示する。
このようにして制御部20は、近接操作が行われて第2液晶パネル15Aから第1液晶パネル14Aに亘りアーティスト一覧画像38を表示した場合、そのアーティスト一覧画像38上で、所望のアーティストをジャケット画像40として選択させることができる。
そして制御部20は、近接操作に連続したタップ操作に応じて新たなアルバム一覧画像を表示すると、その近接操作が終了したと判別して、全ての指が第1操作面から近接検出距離範囲を越えて遠ざけられても、そのアルバム一覧画像を表示したままにする。
これに対し制御部20は、アーティスト一覧画像38を表示している状態で、複数の配置領域の中からタップ指示位置を含む配置領域を検出すると、上述と同様に、その検出した配置領域に基づき、タップ操作で指示されたアーティストアイコン39を検出する。
さらに制御部20は、不揮発性メモリ21から、その指示されたアーティストアイコン39が示すアーティストの複数の音楽データを順次読み出して再生部24により再生処理する。
これに加え制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘るアーティスト一覧画像38の表示を終了すると共に、当該第1液晶パネル14Aから第2液晶パネル15Aに亘り、再生中の音楽データを示す再生画像を表示する。
このようにして制御部20は、近接操作に応じてアーティスト一覧画像38を表示すると、そのアーティスト一覧画像38上で所望のアーティストを、音楽データの再生指示が可能なアーティストアイコン39としても選択させることができる。
そして制御部20は、近接操作に連続したタップ操作に応じて新たな再生画像を表示すると、その近接操作が終了したと判別して、全ての指が第1操作面から近接検出距離範囲を越えて遠ざけられても、その再生画像を表示したままにする。
また制御部20は、例えば、アルバム一覧画像41を表示していると、そのタップ指示位置を、複数のジャケット画像43の表示領域、及び複数のアルバムアイコン42の配置領域と順次比較する。
その結果、制御部20は、複数の表示領域の中からタップ指示位置を含む表示領域を検出すると、図10について上述した場合と同様に、その検出した表示領域に基づき、タップ操作によって選択されたアルバムタイトル及びジャケット画像43を判別する。
また制御部20は、図10について上述した場合と同様に、その判別したアルバムタイトル及びジャケット画像43に基づき、新たな曲一覧画像の画像データを生成する。
そして制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘るアルバム一覧画像41の表示を終了すると共に、当該第1液晶パネル14Aから第2液晶パネル15Aに亘り、その画像データに基づく新たな曲一覧画像を表示する。
このようにして制御部20は、近接操作が行われて第2液晶パネル15Aから第1液晶パネル14Aに亘りアルバム一覧画像41を表示した場合、そのアルバム一覧画像41上で、所望のアルバムをジャケット画像43として選択させることができる。
そして制御部20は、近接操作に連続したタップ操作に応じて新たな曲一覧画像を表示すると、その近接操作が終了したと判別して、全ての指が第1操作面から近接検出距離範囲を越えて遠ざけられても、その曲一覧画像を表示したままにする。
これに対し制御部20は、アルバム一覧画像41を表示している状態で、複数の配置領域の中からタップ指示位置を含む配置領域を検出すると、上述と同様に、その検出した配置領域に基づき、タップ操作で指示されたアルバムアイコン42を検出する。
さらに制御部20は、不揮発性メモリ21から、その指示されたアルバムアイコン42が示すアルバムの複数の音楽データを順次読み出して再生部24により再生処理する。
これに加え制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘るアルバム一覧画像41の表示を終了すると共に、当該第1液晶パネル14Aから第2液晶パネル15Aに亘り、再生中の音楽データを示す再生画像を表示する。
このようにして制御部20は、近接操作に応じてアルバム一覧画像41を表示すると、そのアルバム一覧画像41上で所望のアルバムを、音楽データの再生指示が可能なアルバムアイコン42としても選択させることができる。
そして制御部20は、近接操作に連続したタップ操作に応じて新たな再生画像を表示すると、その近接操作が終了したと判別して、全ての指が第1操作面から近接検出距離範囲を越えて遠ざけられても、その再生画像を表示したままにする。
また制御部20は、例えば、曲一覧画像44を表示していると、そのタップ指示位置を、複数の曲アイコン45の配置領域と順次比較する。
その結果、制御部20は、複数の配置領域の中からタップ指示位置を含む配置領域を検出すると、上述と同様に、その検出した配置領域に基づき、タップ操作で指示された曲アイコン45を検出する。
さらに制御部20は、不揮発性メモリ21から、その指示された曲アイコン45が示す曲タイトルの音楽データを読み出して再生部24により再生処理する。
これに加え制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘る曲一覧画像44の表示を終了すると共に、当該第1液晶パネル14Aから第2液晶パネル15Aに亘り、再生中の音楽データを示す再生画像を表示する。
このようにして制御部20は、近接操作に応じて第2液晶パネル15Aから第1液晶パネル14Aに亘り曲一覧画像44を表示すると、その曲一覧画像44上で所望の音楽(曲)を、音楽データの再生指示が可能な曲アイコン45として選択させることができる。
そして制御部20は、近接操作に連続したタップ操作に応じて新たな再生画像を表示すると、その近接操作が終了したと判別して、全ての指が第1操作面から近接検出距離範囲を越えて遠ざけられても、その再生画像を表示したままにする。
このように制御部20は、近接操作に連続して第1操作面に対しタップ操作が行われると、第2液晶パネル15Aから第1液晶パネル14Aに亘り新たなアーティスト一覧画像やアルバム一覧画像、曲一覧画像、再生画像を表示して近接操作を終了させる。
ところで、制御部20は、近接操作が行われても、タップ操作で所望のジャケット画像37、40、43が選択される前に、第1操作面から、これに近接していた全ての指が近接検出距離範囲を越えて遠ざけられると、近接操作が終了したと判別する。
また制御部20は、近接操作が行われても、タップ操作で所望のジャンルアイコン36やアーティストアイコン39が選択される前に、第1操作面から、これに近接していた全ての指が近接検出距離範囲を越えて遠ざけられると、近接操作が終了したと判別する。
さらに制御部20は、近接操作が行われても、タップ操作で所望のアルバムアイコン42や曲アイコン45が選択される前に、第1操作面から、これに近接していた全ての指が近接検出距離範囲を越えて遠ざけられると、近接操作が終了したと判別する。
すなわち制御部20は、近接操作に応じてジャンル一覧画像35やアーティスト一覧画像38を表示しても、ジャケット画像37、40、43や曲アイコン45等の指示が見送られると、第1操作面から指を遠ざけさせるだけで、近接操作を終了させることができる。
そして制御部20は、第1操作面から指が遠ざかり近接操作が終了したと判別すると、この際、第2液晶パネル15Aから第1液晶パネル14Aに亘るジャンル一覧画像35、アーティスト一覧画像38、アルバム一覧画像41、曲一覧画像44の表示を終了する。
また制御部20は、この際、第2液晶パネル15Aから第1液晶パネル14Aに亘り、近接操作が行われる直前に表示していた再生画像46を再び表示する。
すなわち、制御部20は、このように第1操作面から指が遠ざかり近接操作が終了したと判別すると、この際には第2液晶パネル15Aから第1液晶パネル14Aに亘る表示を、近接操作が行われる前の表示(元の表示)に戻す。
これに加え制御部20は、例えば、近接操作の間、複数の指のうち何れかの指が第1操作面の外側にまで移動して一部の近接領域を検出し得なくなっても、当該複数の指のうち1本以上の指の近接領域を検出し続けていると、近接操作が継続されていると判断する。
よって制御部20は、例えば、近接操作においてスクロールを指示するとき等に、複数の指の一部が第1操作面の外側にまで移動しても、その近接操作が無駄に中断することを回避して、近接操作を行わせ続けて所望の立上画像を選択させることができる。
ところで、制御部20は、領域検出処理において、第2タッチパネル15Bからパネル出力信号を取得して近接領域を重心位置と共に検出したときも、第1操作面に対し近接操作が行われた場合と同様に第2操作面に対し近接操作が行われたか否かを検出する。
これにより制御部20は、第2操作面に対し近接操作が行われたことを検出すると、上述と同様にサムネイル一覧画像60を表示し、またジャンル一覧画像35、アーティスト一覧画像38、アルバム一覧画像41、曲一覧画像44を適宜表示する。
また制御部20は、第2操作面に対し行われた近接操作に応じて、サムネイル一覧画像60やジャンル一覧画像35、アーティスト一覧画像38、アルバム一覧画像41、曲一覧画像44の表示状態を適宜変更する。
因みに、制御部20は、第2操作面に対し近接操作が行われた場合、指の移動に応じて強調表示したサムネイル61やジャケット画像37、40、43等を、第1液晶パネル14Aに拡大表示する。
そして制御部20は、近接操作に連続して第2操作面上でタップ操作が行われると、タップ指示位置を検出する。この際、制御部20は、上述と同様にタップ指示位置に応じて第2液晶パネル15Aから第1液晶パネル14Aに亘り、そのタップ操作で指示されたサムネイル61が示す立上画像を表示する。
また制御部20は、上述と同様に、第2液晶パネル15Aから第1液晶パネル14Aに亘り、タップ操作で指示されたジャケット画像37、40、43に対応する新たなアーティスト一覧画像、アルバム一覧画像、曲一覧画像を表示する。
さらに制御部20は、上述と同様に、第2液晶パネル15Aから第1液晶パネル14Aに亘り、タップ操作で指示されたジャンルアイコン36、アーティストアイコン39、アルバムアイコン42、曲アイコン45に対応する新たな再生画像を表示する。
このように制御部20は、近接操作に連続して、第2操作面に近接していた指でタップ操作が行われて、立上画像や新たなアーティスト一覧画像、アルバム一覧画像、曲一覧画、再生画像を表示すると、その近接操作が終了したと判別する。
そして制御部20は、近接操作が終了したと判別すると、全ての指が第2操作面から近接検出距離範囲を越えて遠ざけられても、その立上画像や新たなアーティスト一覧画像、アルバム一覧画像、曲一覧画、再生画像を表示したままにする。
すなわち、制御部20は、第2操作面に対し近接操作に連続してタップ操作が行われると、第2液晶パネル15Aから第1液晶パネル14Aに亘り立上画像や新たなアーティスト一覧画像、アルバム一覧画像、曲一覧画、再生画像を表示して近接操作を終了させる。
ところで、制御部20は、近接操作が行われても、タップ操作で所望のサムネイル61やジャケット画像37、40、43等が選択される前に、第2操作面から全ての指が近接検出距離範囲を越えて遠ざけられると、このときも近接操作が終了したと判別する。
すなわち制御部20は、第2操作面に対し近接操作が行われた場合も、サムネイル61やジャケット画像37、40、43等の指示が見送られると、第2操作面から指を遠ざけさせるだけで、その近接操作を容易に終了させることができる。
そして制御部20は、第2操作面から指が遠ざかり近接操作が終了したと判別すると、この際、第2液晶パネル15Aから第1液晶パネル14Aに亘るサムネイル一覧画像60やジャンル一覧画像35、アーティスト一覧画像38等の表示を終了する。
また制御部20は、この際、第2液晶パネル15Aから第1液晶パネル14Aに亘る表示を、近接操作が行われる前の状態に戻す。
これに加え制御部20は、例えば、近接操作の間、複数の指のうち何れかの指が第2操作面の外側にまで移動して一部の近接領域を検出し得なくなっても、当該複数の指のうち1本以上の指の近接領域を検出し続けていると、近接操作が継続されていると判断する。
よって制御部20は、例えば、近接操作においてスクロールを指示するとき等に、複数の指の一部が第2操作面の外側にまで移動しても、その近接操作が無駄に中断することを回避して、近接操作を行わせ続けて所望の立上画像等を選択させることができる。
[1−2−4.表示制御処理手順]
次いで、図42及び図43を用いて、制御部20が、少なくとも1個以上の立上画像の表示を待機させている場合に実行する第1表示制御処理手順RT1について説明する。
また、引き続き図44及び図45を用いて、制御部20が、再生画像46を表示した場合に実行する第2表示制御処理手順RT2についても説明する。
まず制御部20は、例えば、少なくとも1個の立上画像の表示を待機させると、不揮発性メモリ21に予め記憶された表示制御プログラムに従い、図42及び図43に示す第1表示制御処理手順RT1を開始する。
制御部20は、第1表示制御処理手順RT1を開始すると、定期的な領域検出処理を実行しながら、ステップSP1において第1タッチパネル14の第1操作面や第2タッチパネル15の第2操作面において近接領域を検出したか否かを判別する。
ステップSP1において否定結果が得られると、このことは第1操作面及び第2操作面の何れにも指が近接していないことを表している。ステップSP1において制御部20は、かかる否定結果を得ると、次のステップSP2に移る。
ステップSP2において制御部20は、第1タッチパネル14の第1操作面や第2タッチパネル15の第2操作面において接触領域を検出したか否かを判別する。
このステップSP2において否定結果が得られると、このことは第1操作面及び第2操作面の何れにも指が接触していないことを表している。ステップSP2において制御部20は、かかる否定結果を得ると、次のステップSP3に移る。
ステップSP3において制御部20は、第1表示制御処理手順RT1を終了するか否かを判別する。このステップSP3において否定結果が得られると、このことは例えば、全ての立上画像を閉じる(すなわち、RAM22から立上画像の画像データを消去する)ように指示されておらず、まだ立上画像を表示する可能性があることを表している。ステップSP3において制御部20は、かかる否定結果を得ると、ステップSP1に戻る。
よって制御部20は、この後、ステップSP1乃至ステップSP3の何れかにおいて肯定結果を得るまでの間、当該ステップSP1乃至ステップSP3の処理を繰り返し実行する。
これにより制御部20は、第1タッチパネル14の第1操作面や第2タッチパネル15の第2操作面に指が近接することや接触すること、また全ての立上画像を閉じるように指示されることを待ち受ける。
ところで、ステップSP2において肯定結果が得られると、このことは第1タッチパネル14の第1操作面や第2タッチパネル15Bの第2操作面に指が接触して、タッチ操作が行われた可能性があることを表している。ステップSP2において制御部20は、かかる肯定結果を得ると、次のステップSP4に移る。
ステップSP4において制御部20は、第1操作面や第2操作面に対しタッチ操作が行われているか否かを判別する。
このステップSP4において否定結果が得られると、このことは例えば、第1操作面又は第2操作面において複数箇所に指が接触しており、タッチ操作としてのタップ操作、フリック操作、摺動操作の何れも行われていないことを表している。ステップSP4において制御部20は、かかる否定結果を得ると、ステップSP3に戻る。
これに対しステップSP4において肯定結果が得られると、このことは第1操作面又は第2操作面の1箇所に指が接触してタッチ操作(タップ操作、フリック操作、摺動操作の何れか)が行われていることを表している。ステップSP4において制御部20は、かかる肯定結果を得ると、次のステップSP5に移る。
よってステップSP5において制御部20は、タッチ操作により指示された処理として、新たな画像の表示や、表示中の画像のスクロール、全ての立上画像の表示の待機等のような処理を実行した後、ステップSP3に戻る。
ところで、上述のステップSP1において肯定結果が得られると、このことは第1タッチパネル14の第1操作面及び第2タッチパネル15の第2操作面の一方に指が近接したことを表している。
ステップSP1において制御部20は、かかる肯定結果を得ると、近接時間の計時を開始すると共に、近接領域の重心位置をもとに近接操作判別範囲を設定して、次のステップSP6に移る。
ステップSP6において制御部20は、近接領域の重心位置が近接操作判別範囲内に留まったまま、近接時間が近接操作判別時間に達したか否かを判別する。
このステップSP6において否定結果が得られると、このことは、このとき第1操作面や第2操作面に指が誤って近づいていたことや、第1操作面や第2操作面に指を接触させるために近づけられていたことを表している。ステップSP6において制御部20は、かかる否定結果を得ると、ステップSP2に戻る。
これに対しステップSP6において肯定結果が得られると、このことは、このとき第1操作面や第2操作面に、近接操作を行うために1又は複数の指が近接されていたことを表している。ステップSP6において制御部20は、かかる肯定結果を得ると、次のステップSP7に移る。
よってステップSP7において制御部20は、このとき立ち上げている全ての立上画像に基づき、その立上画像を示すサムネイル61をマトリクス状に配置して一覧表示するためのサムネイル一覧画像60を生成する。
また制御部20は、第1液晶パネル14Aから第2液晶パネル15Aに亘り、そのサムネイル一覧画像60を表示して、次のステップSP8に移る。
ステップSP8において制御部20は、第1液晶パネル14A及び第2液晶パネル15Aにサムネイル一覧画像60を表示する直前に、当該第1液晶パネル14A及び第2液晶パネル15Aの少なくとも一方に立上画像を表示していたか否かを判別する。
このステップSP8において肯定結果が得られると、このことは、このとき第1液晶パネル14A及び第2液晶パネル15Aの少なくとも一方に立上画像を表示した状態で近接操作が行われたことを表している。ステップSP8において制御部20は、かかる肯定結果を得ると、次のステップSP9に移る。
ステップSP9において制御部20は、表示中のサムネイル一覧画像60内の複数のサムネイル61のうち、直前表示立上画像(サムネイル一覧画像60を表示する直前に表示していた立上画像)を示すサムネイル61を強調表示して、次のステップSP10に移る。
これに対しステップSP8において否定結果が得られると、このことは、このとき全ての立上画像の表示を待機させた状態(第1液晶パネル14A及び第2液晶パネル15Aに何れの立上画像も表示していない状態)で近接操作が行われたことを表している。
ステップSP8において制御部20は、かかる否定結果を得ると、ステップSP9の処理を飛ばして(ステップSP9の処理を実行せずに)ステップSP10に移る。
ステップSP10において制御部20は、1又は複数の近接領域が所望の方向に変位したか否かを判別する。このステップSP10において肯定結果が得られると、このことは1本又は複数の指が所望の方向に移動したことを表している。ステップSP10において制御部20は、かかる肯定結果を得ると、次のステップSP11に移る。
ステップSP11において制御部20は、強調表示するサムネイル61を変更するか否かを判別する。このステップSP11において肯定結果が得られると、このことは指の移動に伴い、まだ強調表示していなかったサムネイル61に指が重なったことを表している。ステップSP11において制御部20は、かかる肯定結果を得ると、次のステップSP12に移る。
ステップSP12において制御部20は、サムネイル一覧画像60内で注目領域が重なっているサムネイル61を強調表示する。
また制御部20は、この際、第1液晶パネル14A及び第2液晶パネル15Aの一方に、その強調表示したサムネイル61を拡大して少なくとも一部を表示し、次のステップSP13に移る。
これに対しステップSP11において否定結果が得られると、このことは指が移動しているものの、これまで強調表示していたサムネイル61に未だ指が重なっていることを表している。ステップSP11において制御部20は、かかる否定結果を得ると、ステップSP14に移る。
ステップSP14において制御部20は、第1液晶パネル14A及び第2液晶パネル15Aの一方に、これまで強調表示していたサムネイル61を拡大して少なくとも一部を表示し、次のステップSP13に移る。
ステップSP13において制御部20は、近接領域が上スクロール指示領域SA1及び下スクロール指示領域SA2にかかったか否かを判別する。
このステップSP13において肯定結果が得られると、このことは指が上スクロール指示領域SA1又は下スクロール指示領域SA2にかかり、上方向又は下方向へのスクロールが指示されたことを表している。このステップSP13において制御部20は、かかる肯定結果を得ると、次のステップSP15に移る。
ステップSP15において制御部20は、サムネイル一覧画像60を、その指示に応じて上方向又は下方向へスクロールして、次のステップSP16に移る。
ステップSP16において制御部20は、近接領域が上スクロール指示領域SA1及び下スクロール指示領域SA2から外れたか否かを判別する。
このステップSP16において否定結果が得られると、このことは指が未だ上スクロール指示領域SA1又は下スクロール指示領域SA2にかかっており、上方向又は下方向へのスクロールが指示され続けていることを表している。このステップSP16において制御部20は、かかる否定結果を得ると、ステップSP15に戻る。
よって制御部20は、この後、ステップSP16において肯定結果を得るまでの間、ステップSP15及びステップSP16の処理を順次繰り返し実行する。
これにより制御部20は、指が上スクロール指示領域SA1又は下スクロール指示領域SA2に重なっている間、サムネイル一覧画像60を上方向又は下方向へスクロールし続ける。
これに対しステップSP16において肯定結果が得られると、このことは指が上スクロール指示領域SA1及び下スクロール指示領域SA2から外れて、上方向及び下方向へのスクロールの指示が終了したことを表している。このステップSP16において制御部20は、かかる肯定結果を得ると、次のステップSP17に移る。
またステップSP13において否定結果が得られると、このことは指が上スクロール指示領域SA1及び下スクロール指示領域SA2の何れにもかかっていないため、上方向及び下方向へのスクロールは指示されていないことを表している。
このステップSP13において制御部20は、かかる否定結果を得ると、ステップSP15及びステップSP16の処理を飛ばしてステップSP17に移る。
一方、上述のステップSP10において否定結果が得られると、このことは、1又は複数の指がほとんど移動していない、又は複数の指が異なる方向に移動したことを表している。ステップSP10において制御部20は、かかる否定結果を得ると、ステップSP18に移る。
ステップSP18において制御部20は、複数の近接領域の間隔が広がったか否かを判別する。このステップSP18において肯定結果が得られると、このことは複数の指の間隔が広げられてサムネイル一覧画像60の拡大が指示されたことを表している。ステップSP18において制御部20は、かかる肯定結果を得ると、次のステップSP19に移る。
よってステップSP19において制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘り、サムネイル一覧画像60を拡大して表示して、次のステップSP17に移る。
因みに、制御部20は、この際、サムネイル一覧画像60を拡大しても、拡大直前まで強調表示していたサムネイル61を拡大直後も、そのまま強調表示する。
これに対しステップSP18において否定結果が得られると、このことは1又は複数の指がほとんど移動していない、又は複数の指が互いの間隔を狭めるように移動したことを表している。ステップSP18において制御部20は、かかる否定結果を得ると、ステップSP20に移る。
ステップSP20において制御部20は、複数の近接領域の間隔が狭まったか否かを判別する。このステップSP20において肯定結果が得られると、このことは複数の指の間隔が狭められてサムネイル一覧画像60の縮小が指示されたことを表している。ステップSP20において制御部20は、かかる肯定結果を得ると、次のステップSP21に移る。
よってステップSP21において制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘り、サムネイル一覧画像60を縮小して表示して、次のステップSP17に移る。
因みに、制御部20は、この際、サムネイル一覧画像60を縮小しても、縮小直前まで強調表示していたサムネイル61を縮小直後も、そのまま強調表示する。
これに対しステップSP20において否定結果が得られると、このことは1又は複数の指がほとんど移動していないことを表している。ステップSP20において制御部20は、かかる否定結果を得ると、ステップSP17に移る。
ステップSP17において制御部20は、接触領域を検出したか否かを判別する。このステップSP17において否定結果が得られると、このことは、未だサムネイル一覧画像60内の複数のサムネイル61が見られていることを表している。ステップSP17において制御部20は、かかる否定結果を得ると、ステップSP22に移る。
ステップSP22において制御部20は、全ての近接領域を検出しなくなったか否かを判別する。このステップSP22において否定結果が得られると、第1操作面又は第2操作面に未だ1又は複数の指が近接されたままであることを表している。ステップSP22において制御部20は、かかる否定結果を得ると、ステップSP10に戻る。
よって制御部20は、この後、ステップSP17及びステップSP22において肯定結果を得るまでの間、ステップSP10乃至ステップSP22の処理を繰り返し実行する。
これにより制御部20は、第1操作面又は第2操作面に対し近接操作が行われ続けている間、その近接操作による種々の指示に応じてサムネイル一覧画像60の表示状態を適宜変更する。
因みに、制御部20は、サムネイル一覧画像60を本来の表示サイズよりも拡大し又は縮小して表示した状態でステップSP13に移ると、上述と同様に近接領域が上スクロール指示領域SA1及び下スクロール指示領域SA2にかかったか否かを判別する。
ただし、制御部20は、この際、近接領域が右スクロール指示領域SA3及び左スクロール指示領域SA4にかかったか否かも判別する。
その結果、制御部20は、指が上スクロール指示領域SA1、下スクロール指示領域SA2、右スクロール指示領域SA3又は左スクロール指示領域SA4にかかり、上方向、下方向、右方向又は左方向へのスクロールが指示されると、ステップSP15に移る。
よってステップSP15において制御部20は、サムネイル一覧画像60を、その指示に応じて上方向、下方向、右方向又は左方向へスクロールして、次のステップSP16に移る。
ステップSP16において制御部20は、近接領域が上スクロール指示領域SA1、下スクロール指示領域SA2、右スクロール指示領域SA3及び左スクロール指示領域SA4の何れからも外れたか否かを判別する。
そして制御部20は、指が未だ上スクロール指示領域SA1、下スクロール指示領域SA2、右スクロール指示領域SA3又は左スクロール指示領域SA4にかかり、上方向、下方向、右方向又は左方向へのスクロールが指示されていると、ステップSP15に戻る。
よって制御部20は、この後、ステップSP16において肯定結果を得るまでの間、ステップSP15及びステップSP16の処理を順次繰り返し実行する。
これにより制御部20は、指が上スクロール指示領域SA1、下スクロール指示領域SA2、右スクロール指示領域SA3又は左スクロール指示領域SA4にかかっている間、サムネイル一覧画像60を上方向、下方向、右方向又は左方向へスクロールし続ける。
そして制御部20は、指が上スクロール指示領域SA1、下スクロール指示領域SA2、右スクロール指示領域SA3及び左スクロール指示領域SA4の何れからも外れると、ステップSP17に移る。
すなわち、制御部20は、上方向、下方向、右方向及び左方向へのスクロールの指示が終了すると、ステップSP17に移る。
因みに、ステップSP13において否定結果が得られると、このことは指が上スクロール指示領域SA1及び下スクロール指示領域SA2の何れにもかかっていないため、上方向及び下方向へのスクロールは指示されていないことを表している。
またステップSP13において否定結果が得られると、このことは指が右スクロール指示領域SA3及び左スクロール指示領域SA4にもかかっていないため、右方向及び左方向へのスクロールも指示されていないことを表している。
このステップSP13において制御部20は、かかる否定結果を得ると、ステップSP15及びステップSP16の処理を飛ばしてステップSP17に移る。
一方、上述のステップSP17において肯定結果が得られると、このことは第1操作面及び第2操作面の一方に指が接触して接触領域を検出したことを表している。ステップSP17において制御部20は、かかる肯定結果を得ると、次のステップSP23に移る。
ステップSP23において制御部20は、このときタップ操作が行われたか否かを判別する。このステップSP23において肯定結果が得られると、このことは第1操作面及び第2操作面の一方に対し近接操作に引き続きタップ操作が行われて、サムネイル一覧画像60内の何れかのサムネイル61が指示されたことを表している。ステップSP23において制御部20は、かかる肯定結果を得ると、次のステップSP24に移る。
ステップSP24において制御部20は、第1液晶パネル14A及び第2液晶パネル15Aに亘るサムネイル一覧画像60の表示を終了する。
また制御部20は、このとき、タップ操作で指示されたサムネイル61が示す立上画像の表示サイズに応じて、第1液晶パネル14A及び第2液晶パネル15Aの少なくとも一方に当該サムネイル61が示す立上画像を表示する。そして制御部20は、このとき行われていた近接操作が終了したと判断して、ステップSP1に戻る。
ところで、上述のステップSP23において否定結果が得られると、このことは、例えば、第1操作面及び第2操作面の一方において誤って複数箇所に指が接触し、又は1箇所に指が操作判別時間以上接触していることを表している。ステップSP23において制御部20は、かかる否定結果を得ると、ステップSP22に戻る。
そしてステップSP22において肯定結果が得られると、このことは例えば、接触領域を全く検出していない状態で、全ての指が第1操作面及び第2操作面から近接検出距離範囲を越えて遠ざけられ、全ての近接領域を検出しなくなったことを表している。ステップSP22において制御部20は、かかる肯定結果を得ると、次のステップSP25に移る。
ステップSP25において制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘るサムネイル一覧画像60の表示を終了して、当該第1液晶パネル14A及び第2液晶パネル15Aの表示を近接操作が行われる直前の状態に戻す。そして制御部20は、このとき行われていた近接操作が終了したと判断して、ステップSP1に戻る。
因みに、制御部20は、例えば、近接操作を行っている第1操作面及び第2操作面の一方において上述のように誤って1又は複数の指が接触しても、そのとき少なくとも1個以上の近接領域を検出していると、近接操作が終了したとは判別しないようにしている。
ただし、制御部20は、例えば、近接操作を行っている第1操作面及び第2操作面の一方において誤って1又は複数の指が接触し、これに応じて近接領域を1個も検出しなくなると、このときには近接操作が終了したと判別するようにしている。
よって上述のステップSP22において制御部20は、このような設定も加味して、近接操作が終了したか否かを判別している。
このように制御部20は、少なくとも1個以上の立上画像の表示を待機させている間は、ステップSP1乃至ステップSP25の処理を繰り返し実行することで、適宜、サムネイル一覧画像60を表示して、表示対象の立上画像を選択させることかできる。
ところで、上述のステップSP3において肯定結果が得られると、このことは例えば、全ての立上画像を閉じる(RAM22から立上画像の画像データを消去する)ように指示されたことを表している。
ステップSP3において制御部20は、かかる肯定結果を得ると、RAM22上から全ての立上画像の画像データを消去した後、ステップSP26に移る。これによりステップSP26において制御部20は、第1表示制御処理手順RT1を終了する。
一方、制御部20は、例えば、再生画像46を表示すると、不揮発性メモリ21に予め記憶された表示制御プログラムに従い、図44及び図45に示す第2表示制御処理手順RT2を開始する。
制御部20は、第2表示制御処理手順RT2を開始すると、定期的な領域検出処理を実行しながら、ステップSP31において第1タッチパネル14の第1操作面や第2タッチパネル15の第2操作面において近接領域を検出したか否かを判別する。
ステップSP31において否定結果が得られると、このことは第1操作面及び第2操作面の何れにも指が近接していないことを表している。ステップSP31において制御部20は、かかる否定結果を得ると、次のステップSP32に移る。
ステップSP32において制御部20は、第1タッチパネル14の第1操作面や第2タッチパネル15の第2操作面において接触領域を検出したか否かを判別する。
このステップSP32において否定結果が得られると、このことは第1操作面及び第2操作面の何れにも指が接触していないことを表している。ステップSP32において制御部20は、かかる否定結果を得ると、次のステップSP33に移る。
ステップSP33において制御部20は、第2表示制御処理手順RT2を終了するか否かを判別する。このステップSP33において否定結果が得られると、このことは例えば、未だ音楽データの再生を終了するように指示されておらず、再生対象の音楽データが選択し直される可能性があることを表している。ステップSP33において制御部20は、かかる否定結果を得ると、ステップSP31に戻る。
よって制御部20は、この後、ステップSP31乃至ステップSP33の何れかにおいて肯定結果を得るまでの間、当該ステップSP31乃至ステップSP33の処理を繰り返し実行する。
これにより制御部20は、第1タッチパネル14の第1操作面や第2タッチパネル15の第2操作面に指が近接することや接触すること、また音楽データの再生を終了するように指示されることを待ち受ける。
ところで、ステップSP32において肯定結果が得られると、このことは第1タッチパネル14の第1操作面や第2タッチパネル15Bの第2操作面に指が接触して、タッチ操作が行われた可能性があることを表している。ステップSP32において制御部20は、かかる肯定結果を得ると、次のステップSP34に移る。
ステップSP34において制御部20は、第1操作面や第2操作面に対しタッチ操作が行われているか否かを判別する。
このステップSP34において否定結果が得られると、このことは例えば、第1操作面又は第2操作面において複数箇所に指が接触しており、タッチ操作(例えば、タップ操作)が行われていないことを表している。ステップSP34において制御部20は、かかる否定結果を得ると、ステップSP33に戻る。
これに対しステップSP34において肯定結果が得られると、このことは第1操作面又は第2操作面の1箇所に指が接触してタッチ操作(例えば、タップ操作)が行われたことを表している。ステップSP34において制御部20は、かかる肯定結果を得ると、次のステップSP35に移る。
よってステップSP35において制御部20は、タッチ操作(例えば、タップ操作)により指示された処理として、音楽データの再生開始や再生停止、再生する音楽データを切り替え等のような処理を実行した後、ステップSP33に戻る。
ところで、上述のステップSP31において肯定結果が得られると、このことは第1タッチパネル14の第1操作面及び第2タッチパネル15の第2操作面の一方に指が近接したことを表している。
ステップSP31において制御部20は、かかる肯定結果を得ると、近接時間の計時を開始すると共に、近接領域の重心位置をもとに近接操作判別範囲を設定して、次のステップSP36に移る。
ステップSP36において制御部20は、近接領域の重心位置が近接操作判別範囲内に留まったまま、近接時間が近接操作判別時間に達したか否かを判別する。
このステップSP36において否定結果が得られると、このことは、このとき第1操作面や第2操作面に指が誤って近づいていたことや、第1操作面や第2操作面に指を接触させるために近づけられていたことを表している。ステップSP36において制御部20は、かかる否定結果を得ると、ステップSP32に戻る。
これに対しステップSP36において肯定結果が得られると、このことは、このとき第1操作面や第2操作面に、近接操作を行うために1又は複数の指が近接されていたことを表している。ステップSP36において制御部20は、かかる肯定結果を得ると、次のステップSP37に移る。
よってステップSP37において制御部20は、第1液晶パネル14Aから第2液晶パネル15Aに亘り再生画像46に替えて、当該再生画像46よりも1階層上位の曲一覧画像44を表示して、次のステップSP38に移る。
ステップSP38において制御部20は、表示中の曲一覧画像44内の複数の曲アイコン45のうち、判別時点再生対象データの曲タイトルを示す曲アイコン45を強調表示して、次のステップSP39に移る。
ステップSP39において制御部20は、1又は複数の近接領域が往復するように変位したか否かを判別する。このステップSP39において肯定結果が得られると、このことは、曲一覧画像44の表示を、所望の階層のジャンル一覧画像35、アーティスト一覧画像38、アルバム一覧画像41の表示に切り替えるように指示されたことを表している。
因みに、制御部20は、第2表示制御処理手順RT2において一連の処理を実行するものの、後述するように適宜、ステップSP39に戻って、当該ステップSP39の処理を実行することができる。
そしてステップSP39を2回以上実行した際に肯定結果を得ると、このことは例えば、ジャンル一覧画像35を表示した状態で、アーティスト一覧画像38、アルバム一覧画像41、曲一覧画像44の何れかに表示を切り替えるように指示されたことを表している。
また、かかる肯定結果は、例えば、アーティスト一覧画像38を表示した状態で、ジャンル一覧画像35、アルバム一覧画像41、曲一覧画像44の何れかに表示を切り替えるように指示されたことも表している。
さらに、かかる肯定結果は、例えば、アルバム一覧画像41を表示した状態で、ジャンル一覧画像35、アーティスト一覧画像38、曲一覧画像44の何れかに表示を切り替えるように指示されたことも表している。ステップSP39において制御部20は、かかる肯定結果を得ると、次のステップSP40に移る。
なお、以下では、再生対象の音楽データを選択するために用いる階層的なジャンル一覧画像35、アーティスト一覧画像38、アルバム一覧画像41、曲一覧画像44を、説明の便宜上、適宜、区別せずに階層別一覧画像とも呼ぶ。
また、以下の説明では、ジャンル一覧画像35、アーティスト一覧画像38、アルバム一覧画像41内のジャケット画像37、40、43を、便宜上、適宜、区別せずに符号を外して、単にジャケット画像とも呼ぶ。
さらに、以下では、音楽データの再生を指示するためのジャンルアイコン36、アーティストアイコン39、アルバムアイコン42、曲アイコン45を、説明の便宜上、適宜、区別せずに再生指示アイコンとも呼ぶ。
ステップSP40において制御部20は、第1液晶パネル14Aから第2液晶パネル15Aに亘り、これまで表示していた所定階層の階層別一覧画像に替えて、近接操作により指示された階層の階層別一覧画像を表示して、次のステップSP41に移る。
ステップSP41において制御部20は、表示切替後の階層別一覧画像において複数のジャケット画像又は複数の曲アイコンのうち、判別時点再生対象データに対応するジャケット画像又は曲アイコンを強調表示する。
すなわち、制御部20は、この際、ジャンル一覧画像35以外の階層別一覧画像から当該ジャンル一覧画像35に表示を切り替えていると、複数のジャケット画像37のうち、判別時点再生対象データのジャンルに対応するジャケット画像37を強調表示する。
また制御部20は、この際、アーティスト一覧画像38以外の階層別一覧画像から当該アーティスト一覧画像38に表示を切り替えていると、複数のジャケット画像40のうち、判別時点再生対象データのアーティストのジャケット画像40を強調表示する。
さらに制御部20は、この際、アルバム一覧画像41以外の階層別一覧画像から当該アルバム一覧画像41に表示を切り替えていると、複数のジャケット画像43のうち、判別時点再生対象データが収録されたアルバムのジャケット画像43を強調表示する。
さらにまた、制御部20は、この際、曲一覧画像44以外の階層別一覧画像から当該曲一覧画像44に戻すように表示を切り替えていると、上述と同じ曲アイコン45を再び強調表示する。
ステップSP41において制御部20は、このようにジャケット画像又は曲アイコン45を強調表示すると、次のステップSP42に移る。
ところで、上述のステップSP39において否定結果が得られると、このことは、階層別一覧画像の表示を切り替えるように指示されていないことを表している。
ステップSP39において制御部20は、かかる否定結果を得ると、ステップSP40及びステップSP41の処理を飛ばして、ステップSP42に移る。
ステップSP42において制御部20は、ステップSP10について上述した場合と同様に、1又は複数の近接領域が所望の方向に変位したか否かを判別する。
そしてステップSP42において制御部20は、1又は複数の近接領域が所望の方向に変位して肯定結果を得ると、次のステップSP43に移る。
ステップSP43において制御部20は、強調表示する曲アイコン45のような再生指示アイコンや、ジャケット画像を変更するか否かを判別する。
このステップSP43において肯定結果が得られると、このことは指の移動に伴い、まだ強調表示していなかったジャケット画像又は再生指示アイコンに指が重なったことを表している。ステップSP43において制御部20は、かかる肯定結果を得ると、次のステップSP44に移る。
ステップSP44において制御部20は、階層別一覧画像内で注目領域が重なっているジャケット画像又は再生指示アイコンを強調表示する。
また制御部20は、この際、第1液晶パネル14A及び第2液晶パネル15Aの一方に、その強調表示したジャケット画像又は再生指示アイコンを拡大して少なくとも一部を表示し、次のステップSP45に移る。
これに対しステップSP43において否定結果が得られると、このことは指が移動したものの、これまで強調表示していたジャケット画像又は再生指示アイコンに未だ指が重なっていることを表している。ステップSP43において制御部20は、かかる否定結果を得ると、ステップSP46に移る。
ステップSP46において制御部20は、第1液晶パネル14A及び第2液晶パネル15Aの一方に、これまで強調表示していたジャケット画像又は再生指示アイコンを拡大して少なくとも一部を表示し、次のステップSP45に移る。
ステップSP45において制御部20は、近接領域が上スクロール指示領域SA1及び下スクロール指示領域SA2にかかったか否かを判別する。
このステップSP45において肯定結果が得られると、このことは指が上スクロール指示領域SA1又は下スクロール指示領域SA2にかかり、上方向又は下方向へのスクロールが指示されたことを表している。このステップSP45において制御部20は、かかる肯定結果を得ると、次のステップSP47に移る。
ステップSP47において制御部20は、階層別一覧画像を、その指示に応じて上方向又は下方向へスクロールして、次のステップSP48に移る。
ステップSP48において制御部20は、近接領域が上スクロール指示領域SA1及び下スクロール指示領域SA2から外れたか否かを判別する。
このステップSP48において否定結果が得られると、このことは指が未だ上スクロール指示領域SA1又は下スクロール指示領域SA2にかかっており、上方向又は下方向へのスクロールが指示され続けていることを表している。このステップSP48において制御部20は、かかる否定結果を得ると、ステップSP47に戻る。
よって制御部20は、この後、ステップSP48において肯定結果を得るまでの間、ステップSP47及びステップSP48の処理を順次繰り返し実行する。
これにより制御部20は、指が上スクロール指示領域SA1又は下スクロール指示領域SA2にかかっている間、階層別一覧画像を上方向又は下方向へスクロールし続ける。
これに対しステップSP48において肯定結果が得られると、このことは指が上スクロール指示領域SA1及び下スクロール指示領域SA2から外れて、上方向及び下方向へのスクロールの指示が終了したことを表している。このステップSP48において制御部20は、かかる肯定結果を得ると、次のステップSP49に移る。
因みに、ステップSP45において否定結果が得られると、このことは指が上スクロール指示領域SA1及び下スクロール指示領域SA2の何れにもかかっていないため、上方向及び下方向へのスクロールは指示されていないことを表している。
このステップSP45において制御部20は、かかる否定結果を得ると、ステップSP47及びステップSP48の処理を飛ばしてステップSP49に移る。
一方、上述のステップSP42において否定結果が得られると、このことは、1又は複数の指がほとんど移動していない、又は複数の指が異なる方向に移動したことを表している。ステップSP42において制御部20は、かかる否定結果を得ると、ステップSP50に移る。
ステップSP50において制御部20は、複数の近接領域の間隔が広がったか否かを判別する。このステップSP50において肯定結果が得られると、このことは複数の指の間隔が広げられて階層別一覧画像の拡大が指示されたことを表している。ステップSP50において制御部20は、かかる肯定結果を得ると、次のステップSP51に移る。
よってステップSP51において制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘り、階層別一覧画像を拡大して表示して、次のステップSP49に移る。
因みに、制御部20は、この際、階層別一覧画像を拡大しても、拡大直前まで強調表示していたジャケット画像又は再生指示アイコンを拡大直後も、そのまま強調表示する。
これに対しステップSP50において否定結果が得られると、このことは1又は複数の指がほとんど移動していない、又は複数の指が互いの間隔を狭めるように移動したことを表している。ステップSP50において制御部20は、かかる否定結果を得ると、ステップSP52に移る。
ステップSP52において制御部20は、複数の近接領域の間隔が狭まったか否かを判別する。このステップSP52において肯定結果が得られると、このことは複数の指の間隔が狭められて階層別一覧画像の縮小が指示されたことを表している。ステップSP52において制御部20は、かかる肯定結果を得ると、次のステップSP53に移る。
よってステップSP53において制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘り、階層別一覧画像を縮小して表示して、次のステップSP49に移る。
因みに、制御部20は、この際、階層別一覧画像を縮小しても、縮小直前まで強調表示していたジャケット画像又は再生指示アイコンを縮小直後も、そのまま強調表示する。
これに対しステップSP52において否定結果が得られると、このことは1又は複数の指がほとんど移動していないことを表している。ステップSP52において制御部20は、かかる否定結果を得ると、ステップSP49に移る。
ステップSP49において制御部20は、接触領域を検出したか否かを判別する。このステップSP49において否定結果が得られると、このことは、未だ階層別一覧画像内の複数のジャケット画像や再生指示アイコンが見られていることを表している。ステップSP49において制御部20は、かかる否定結果を得ると、ステップSP54に移る。
ステップSP54において制御部20は、全ての近接領域を検出しなくなったか否かを判別する。このステップSP54において否定結果が得られると、第1操作面又は第2操作面に未だ1又は複数の指が近接されたままであることを表している。ステップSP54において制御部20は、かかる否定結果を得ると、ステップSP39に戻る。
よって制御部20は、この後、ステップSP49及びステップSP54において肯定結果を得るまでの間、ステップSP39乃至ステップSP54の処理を繰り返し実行する。
これにより制御部20は、第1操作面又は第2操作面に対し近接操作が行われ続けている間は、その近接操作による種々の指示に応じて階層別一覧画像の表示状態を適宜変更する。
因みに、制御部20は、階層別一覧画像を本来の表示サイズよりも拡大し又は縮小して表示した状態でステップSP45に移ると、上述と同様に近接領域が上スクロール指示領域SA1及び下スクロール指示領域SA2にかかったか否かを判別する。
ただし、制御部20は、この際、近接領域が右スクロール指示領域SA3及び左スクロール指示領域SA4にかかったか否かも判別する。
その結果、制御部20は、指が上スクロール指示領域SA1、下スクロール指示領域SA2、右スクロール指示領域SA3又は左スクロール指示領域SA4にかかり、上方向、下方向、右方向又は左方向へのスクロールが指示されると、ステップSP47に移る。
よってステップSP47において制御部20は、階層別一覧画像を、その指示に応じて上方向、下方向、右方向又は左方向へスクロールして、次のステップSP48に移る。
ステップSP48において制御部20は、近接領域が上スクロール指示領域SA1、下スクロール指示領域SA2、右スクロール指示領域SA3及び左スクロール指示領域SA4の何れからも外れたか否かを判別する。
そして制御部20は、指が未だ上スクロール指示領域SA1、下スクロール指示領域SA2、右スクロール指示領域SA3又は左スクロール指示領域SA4にかかり、上方向、下方向、右方向又は左方向へのスクロールが指示されていると、ステップSP47に戻る。
よって制御部20は、この後、ステップSP48において肯定結果を得るまでの間、ステップSP47及びステップSP48の処理を順次繰り返し実行する。
これにより制御部20は、指が上スクロール指示領域SA1、下スクロール指示領域SA2、右スクロール指示領域SA3又は左スクロール指示領域SA4に重なっている間、階層別一覧画像を上方向、下方向、右方向又は左方向へスクロールし続ける。
そして制御部20は、指が上スクロール指示領域SA1、下スクロール指示領域SA2、右スクロール指示領域SA3及び左スクロール指示領域SA4の何れからも外れると、ステップSP49に移る。
すなわち、制御部20は、上方向、下方向、右方向及び左方向へのスクロールの指示が終了すると、ステップSP49に移る。
因みに、ステップSP45において否定結果が得られると、このことは指が上スクロール指示領域SA1及び下スクロール指示領域SA2の何れにもかかっていないため、上方向及び下方向へのスクロールは指示されていないことを表している。
またステップSP45において否定結果が得られると、このことは指が右スクロール指示領域SA3及び左スクロール指示領域SA4にもかかっていないため、右方向及び左方向へのスクロールも指示されていないことを表している。
このステップSP45において制御部20は、かかる否定結果を得ると、ステップSP47及びステップSP48の処理を飛ばしてステップSP49に移る。
一方、上述のステップSP49において肯定結果が得られると、このことは第1操作面又は第2操作面に指が接触して接触領域を検出したことを表している。ステップSP49において制御部20は、かかる肯定結果を得ると、次のステップSP55に移る。
ステップSP55において制御部20は、このときタップ操作が行われたか否かを判別する。このステップSP55において肯定結果が得られると、このことは第1操作面及び第2操作面の一方に対し近接操作に引き続きタップ操作が行われて、階層別一覧画像内の何れかのジャケット画像又は再生指示アイコンが指示されたことを表している。ステップSP55において制御部20は、かかる肯定結果を得ると、次のステップSP56に移る。
ステップSP56において制御部20は、第1液晶パネル14A及び第2液晶パネル15Aに亘る階層別一覧画像の表示を終了する。
また制御部20は、このとき、タップ操作で指示されたジャケット画像又は再生指示アイコンに応じて新たな階層別一覧画像又は再生画像を生成する。
さらに制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘り、その新たな階層別一覧画像又は再生画像を表示する。そして制御部20は、このとき行われていた近接操作が終了したと判断して、ステップSP31に戻る。
また上述のステップSP55において否定結果が得られると、このことは例えば、第1操作面及び第2操作面の一方において、誤って複数箇所に指が接触し、又は1箇所に指が操作判別時間以上接触していることを表している。ステップSP55において制御部20は、かかる否定結果を得ると、ステップSP54に戻る。
そしてステップSP54において肯定結果が得られると、このことは例えば、接触領域を全く検出していない状態で、全ての指が第1操作面及び第2操作面から近接検出距離範囲を越えて遠ざけられ、全ての近接領域を検出しなくなったことを表している。
因みに、制御部20は、このステップSP54においても、ステップSP22について上述した場合と同様に、接触領域の検出の有無及び近接領域の検出の有無の双方に応じて近接操作が終了したか否かを判別している。そしてステップSP54において制御部20は、かかる肯定結果を得ると、次のステップSP57に移る。
ステップSP57において制御部20は、第2液晶パネル15Aから第1液晶パネル14Aに亘る階層別一覧画像の表示を終了して、当該第2液晶パネル15Aから第1液晶パネル14Aに亘る表示を近接操作が行われる直前の状態(再生画像46の表示)に戻す。そして制御部20は、このとき行われていた近接操作が終了したと判断して、ステップSP31に戻る。
このように制御部20は、再生画像を表示している間、ステップSP31乃至ステップSP57の処理を繰り返し実行することで、適宜、階層別一覧画像を表示して、再生対象の音楽データを選択し直させることかできる。
ところで、上述のステップSP33において肯定結果が得られると、このことは例えば、音楽データの再生を終了(再生機能を終了)するように指示されたことを表している。
ステップSP33において制御部20は、かかる肯定結果を得ると、第2液晶パネル15Aから第1液晶パネル14Aに亘って表示していた再生画像を消した後、ステップSP58に移る。これによりステップSP58において制御部20は、第2表示制御処理手順RT2を終了する。
[1−2−5.実施の形態の動作及び効果]
以上の構成において、携帯端末10の制御部20は、複数の立上画像の表示を待機させていると、第1タッチスクリーン14及び第2タッチスクリーン15の一方の表面(第1操作面又は第2操作面)に対して近接操作が行われたかどうかを検出する。
その結果、制御部20は、近接操作が行われたことを検出すると、第2タッチスクリーン15から第1タッチスクリーン14に亘り、それぞれ異なる立上画像を示す複数のサムネイル61をマトリクス状に配置したサムネイル一覧画像60を表示する。
この状態で制御部20は、近接操作に連続してタップ操作で何れかのサムネイル61が指示されると、第2タッチスクリーン15及び第1タッチスクリーン14にサムネイル一覧画像60に替えて、その指示されたサムネイル61が示す立上画像を表示する。
また制御部20は、第2タッチスクリーン15から第1タッチスクリーン14に亘り再生画像46を表示すると、当該第1タッチスクリーン14及び第2タッチスクリーン15の一方の表面に対し近接操作が行われたかどうかを検出する。
その結果、制御部20は、近接操作が行われたことを検出すると、第2タッチスクリーン15から第1タッチスクリーン14に亘り再生画像46に替えて、これよりも1階層上位の曲一覧画像44を表示する。
この状態で制御部20は、近接操作において指が往復移動して表示の切り替えが指示されると、第2タッチスクリーン15から第1タッチスクリーン14に亘りジャンル一覧画像35やアーティスト一覧画像38等の何れかの階層の階層別一覧画像を切替表示する。
この状態で制御部20は、近接操作に連続してタップ操作で何れかのジャケット画像が指示されたときには、第2タッチスクリーン15及び第1タッチスクリーン14に階層別一覧画像に替えて、指示されたジャケット画像が示す新たな階層別一覧画像を表示する。
また制御部20は、近接操作に連続してタップ操作で何れかの再生指示アイコンが指示されたときには、第2タッチスクリーン15及び第1タッチスクリーン14に階層別一覧画像に替えて、指示された再生指示アイコンが示す新たな再生画像を表示する。
従って制御部20は、操作キーを特に操作させることなく、第1タッチスクリーン14及び第2タッチスクリーン15の一方の表面に指を近接させるだけで、複数のサムネイル61を一覧表示することができる。
そして制御部20は、この際、操作キーを特に操作させることなく、第1タッチスクリーン14及び第2タッチスクリーン15の一方の表面に指を、近接に連続させて接触させるだけで、所望の立上画像をサムネイル61として選択させて表示することができる。
また制御部20は、操作キーを特に操作させることなく、第1タッチスクリーン14及び第2タッチスクリーン15の一方の表面に指を近接させるだけで、複数のジャケット画像や再生指示アイコンを一覧表示することができる。
そして制御部20は、操作キーを特に操作させることなく、第1タッチスクリーン14及び第2タッチスクリーン15の一方の表面に指を、近接に連続させて接触させるだけで、所望の階層別一覧画像をジャケット画像として選択させて表示することができる。
また制御部20は、操作キーを特に操作させることなく、第1タッチスクリーン14及び第2タッチスクリーン15の一方の表面に指を、近接に連続させて接触させるだけで、所望の再生画像を再生指示アイコンとして選択させて表示することができる。
以上の構成によれば、携帯端末10の制御部20は、第1タッチスクリーン14及び第2タッチスクリーン15の一方の表面に対し指により近接操作が行われると、それぞれ異なる立上画像を示す複数のサムネイル61をサムネイル一覧画像60として一覧表示し、この状態で指によるタップ操作で何れかのサムネイル61が指示されると、第1タッチスクリーン14及び第2タッチスクリーン15にサムネイル一覧画像60に替えて、その指示されたサムネイル61が示す立上画像を表示するようにした。
これにより携帯端末10の制御部20は、操作キーを特に操作させることなく、第1タッチスクリーン14及び第2タッチスクリーン15の一方の表面に指を近接させ、その近接に連続させて接触させるように当該第1タッチスクリーン14及び第2タッチスクリーン15の一方の表面上で近接操作及びタップ操作を順次行わせるだけの簡易な操作で、複数のサムネイル61を一覧表示して所望の立上画像をサムネイル61として選択させて表示することができる。よって携帯端末10の制御部20は、当該携帯端末10の使い勝手を格段的に向上させることができる。
また以上の構成によれば、携帯端末10の制御部20は、第1タッチスクリーン14及び第2タッチスクリーン15の一方の表面に対し指により近接操作が行われると、それぞれ異なる階層別一覧画像や再生画像を示す複数のジャケット画像や再生指示アイコンを階層別一覧画像として一覧表示し、この状態で指によるタップ操作で何れかのジャケット画像や再生指示アイコンが指示されると、第1タッチスクリーン14及び第2タッチスクリーン15に階層別一覧画像に替えて、その指示されたジャケット画像や再生指示アイコンが示す新たな階層別一覧画像や再生画像を表示するようにした。
これにより携帯端末10の制御部20は、操作キーを特に操作させることなく、第1タッチスクリーン14及び第2タッチスクリーン15の一方の表面に指を近接させ、その近接に連続させて接触させるように当該第1タッチスクリーン14及び第2タッチスクリーン15の一方の表面上で近接操作及びタップ操作を順次行わせるだけの簡易な操作で、複数のジャケット画像や再生指示アイコンを一覧表示して所望の階層別一覧画像や再生画像をジャケット画像や再生指示アイコンとして選択させて表示することができる。よって携帯端末10の制御部20は、当該携帯端末10の使い勝手を格段的に向上させることができる。
これに加え携帯端末10の制御部20は、第1タッチスクリーン14及び第2タッチスクリーン15の一方の表面に対し近接操作が行われても、サムネイル61やジャケット画像等が指示される前に、当該表面から指が遠ざけられると、近接操作が終了したと判断するようにした。
従って携帯端末10の制御部20は、第2タッチスクリーン15から第1タッチスクリーン14に亘って表示したサムネイル一覧画像60や階層別一覧画像上での所望の立上画像や階層別一覧画像等の選択が中断される場合も、操作キーを特に操作させることなく、当該第1タッチスクリーン14及び第2タッチスクリーン15の表面から指を遠ざけさせるだけで、その選択を容易に中断させることができる。
そして携帯端末10の制御部20は、このように第1タッチスクリーン14及び第2タッチスクリーン15の表面から指が遠ざけられて近接操作が終了したと判断すると、当該第1タッチスクリーン14及び第2タッチスクリーン15の表示を近接操作が行われる前の状態に戻すようにした。
よって携帯端末10の制御部20は、第2タッチスクリーン15から第1タッチスクリーン14に亘って表示したサムネイル一覧画像60や階層別一覧画像上での所望の立上画像や階層別一覧画像等の選択が中断されたとき、操作キーを特に操作させることなく、当該第1タッチスクリーン14及び第2タッチスクリーン15に対する表示を容易に元に戻すことができる。
また携帯端末10の制御部20は、近接操作が行われた場合、人差し指の近接領域を注目領域として特定し、その注目領域が重なったサムネイル61やジャケット画像等を強調表示するようにした。
従って携帯端末10の制御部20は、例えば、ユーザが人差し指でタップ操作を行う場合、その一指し指が、指示すべきサムネイル61やジャケット画像等に重なったかどうかを容易に確認させることができる。
よって携帯端末10の制御部20は、タップ操作により所望のサムネイル61やジャケット画像等を指示するとき、そのサムネイル61やジャケット画像等に隣接する他のサムネイル61やジャケット画像等を誤って指示することを回避させることができる。
さらに携帯端末10の制御部20は、近接操作で指が所望の方向に移動している間、注目領域が重なったサムネイル61やジャケット画像等を強調表示しつつも、第1タッチスクリーン14及び第2タッチスクリーン15の一方に、その強調表示したサムネイル61やジャケット画像等を拡大して表示するようにした。
従って携帯端末10の制御部20は、近接操作で指が所望の方向に移動して、指示すべきサムネイル61やジャケット画像等を捜すような場合、第1タッチスクリーン14及び第2タッチスクリーン15の一方を介してサムネイル61やジャケット画像等の内容を確認し易くすることができる。
さらに携帯端末10の制御部20は、近接操作において複数の指の間隔が広げられると、第2タッチスクリーン15から第1タッチスクリーン14に亘って表示していたサムネイル一覧画像60や階層別一覧画像を拡大するようにした。
従って携帯端末10の制御部20は、サムネイル一覧画像60内や階層別一覧画像内のサムネイル61やジャケット画像等の内容を容易に確認し易くすることができる。
これに対し携帯端末10の制御部20は、近接操作において複数の指の間隔が狭められると、第2タッチスクリーン15から第1タッチスクリーン14に亘って表示していたサムネイル一覧画像60や階層別一覧画像を縮小するようにした。
従って携帯端末10の制御部20は、サムネイル一覧画像60や階層別一覧画像において一度に表示し得る表示範囲を広げて、一度に表示し得るサムネイル61やジャケット画像等の個数を増やすことができる。
その結果、携帯端末10の制御部20は、複数のサムネイル61や複数のジャケット画像等を容易に比較させ易くすることができる。
<2.変形例>
[2−1 変形例1]
なお上述した実施の形態においては、複数の立上画像の表示を待機させた状態で近接操作が行われると、一律の表示サイズのサムネイル61を画像の縦方向と平行な一律の行数で配置するサムネイル一覧画像60を表示するようにした場合について述べた。
しかしながら本発明は、これに限らず、複数の立上画像の表示を待機させた状態で近接操作が行われると、その立上画像の個数に応じた表示サイズのサムネイルを、その表示サイズに応じた行数で配置するサムネイル一覧画像を表示するようにしても良い。
例えば、本発明は、立上画像の個数について、表示サイズを所定の最大サイズにするための下限の個数と所定の最小サイズにするための上限の個数とを選定する。
そして本発明は、立上画像の個数が少ないほどサムネイルの表示サイズを可変して大きくし、下限以下の個数では表示サイズを最大サイズに固定し、上限以上の個数では表示サイズを最小サイズに固定するようにしても良い。
また図46及び図47に示すように、本発明は、複数のサムネイル70及び71を表示サイズに応じて、第1タッチスクリーン14及び第2タッチスクリーン15の右端から左端までの範囲に収め、サムネイル一覧画像72及び73を左右にスクロールしなくても見せることができる行数で配置して表示するようにしても良い。
さらに本発明は、複数のサムネイルを、立上画像の個数に応じて表示サイズを変えるものの、一律の行数で配置して表示するようにしても良い。
かかる構成によれば、本発明は、サムネイル一覧画像を表示した場合、サムネイルの表示サイズにより、立上画像の個数を直感的に認識させることができる。
また本発明は、階層別一覧画像についても、複数の音楽データを分類する際のジャンルやアーティスト、アルバム、当該アルバム内の曲の個数に応じて、ジャケット画像及び再生指示アイコンの表示サイズや配置の行数を、同様に可変するようにしても良い。
[2−2 変形例2]
また上述した実施の形態においては、近接操作において指の間隔が広げられると、サムネイル一覧画像や階層別一覧画像を一律の拡大率で拡大するようにした場合について述べた。
しかしながら本発明は、これに限らず、近接操作において指の間隔が広げられると、当該間隔が広いほど拡大率を大きくするように、その間隔の広さの程度に応じた拡大率でサムネイル一覧画像や階層別一覧画像を拡大するようにしても良い。
また本発明は、このように指の間隔の広さの程度に応じて拡大率を可変する場合、サムネイル一覧画像や階層別一覧画像の横方向の表示サイズは変えずに、サムネイルやジャケット画像等を指の間隔の広さの程度に応じた拡大率で拡大する。
そして本発明は、サムネイルやジャケット画像等を拡大後の表示サイズに応じて画像の縦方向と平行な行を減らし横方向と平行な列を増やすように配置し直して表示するようにしても良い。
かかる構成によれば、本発明は、サムネイルやジャケット画像等をユーザの希望通りの大きさに拡大して見せることができる。
また本発明は、かかる構成により、サムネイルやジャケット画像等を拡大した場合、右方向や左方向へのスクロールを指示させる必要がなく、操作を簡易化することもできる。
[2−3 変形例3]
さらに上述した実施の形態においては、近接操作において指の間隔が狭められると、サムネイル一覧画像や階層別一覧画像を一律の縮小率で縮小するようにした場合について述べた。
しかしながら本発明は、これに限らず、近接操作において指の間隔が狭められると、当該間隔が狭いほど縮小率を大きく(表示サイズを小さく)するように、その間隔の狭さの程度に応じた縮小率でサムネイル一覧画像や階層別一覧画像を縮小するようにしても良い。
また本発明は、このように指の間隔の狭さの程度に応じて縮小率を可変する場合、サムネイル一覧画像や階層別一覧画像の横方向の表示サイズは変えずに、サムネイルやジャケット画像等を指の間隔の狭さの程度に応じた縮小率で縮小する。
そして本発明は、サムネイルやジャケット画像等を縮小後の表示サイズに応じて画像の縦方向と平行な行を増やし横方向と平行な列を減らすように配置し直して表示するようにしても良い。
かかる構成によれば、本発明は、サムネイルやジャケット画像等をユーザの希望通りの大きさに縮小して見せることができる。
また本発明は、かかる構成により、サムネイルやジャケット画像等を縮小した場合、右方向や左方向へのスクロールを指示させる必要がなく、操作を簡易化することもできる。
[2−4 変形例4]
さらに上述した実施の形態においては、携帯端末10に2個の第1タッチスクリーン14及び第2タッチスクリーン15を設けるようにした場合について述べた。
しかしながら本発明は、これに限らず、例えば、第1筐体にタッチスクリーンを設け、第2筐体に液晶パネルを設けるようにして、第1筐体の第1タッチスクリーンの表面に対してのみ、近接操作やタッチ操作を行わせるようにしても良い。
また本発明は、携帯端末を1個の筐体で構成して、例えば、上述の第1タッチスクリーン14や第2タッチスクリーン15と同様構成の1個のタッチスクリーンを設けるようにする。
そして本発明は、携帯端末において、タッチスクリーンの表面に対し近接操作が行われると、そのタッチスクリーンにサムネイル一覧画像や階層別一覧画像を表示するようにしても良い。
また本発明は、かかる構成の携帯端末において、近接操作を行っている指が所望の方向に移動した場合、そのサムネイル一覧画像や階層別一覧画像の一部に、強調表示するサムネイルやジャケット画像等を拡大して重ねて表示するようにしても良い。
[2−5 変形例5]
さらに上述した実施の形態においては、近接操作に応じて、再生対象の音楽データを選択するために階層別一覧画像を表示するようにした場合について述べた。
しかしながら本発明は、これに限らず、映像データやテキストデータ、ゲームプログラム等のコンテンツデータを階層的に分類し、当該コンテンツデータを選択するために、そのコンテンツデータの階層的な分類を示す階層別一覧画像を表示するようにしても良い。
[2−6 変形例6]
さらに上述した実施の形態においては、近接操作に連続して第1操作面又は第2操作面に指を1回接触させるタップ操作によって所望のサムネイル61やジャケット画像等を指示させるようにした場合について述べた。
しかしながら本発明は、これに限らず、近接操作に連続して第1操作面又は第2操作面に指を2回連続して接触させるダブルタップ操作によって所望のサムネイル61やジャケット画像等を指示させるようにしても良い。
[2−7 変形例7]
さらに上述した実施の形態においては、サムネイル一覧画像60や階層別一覧画像を表示した場合、上スクロール指示領域SA1、下スクロール指示領域SA2、右スクロール指示領域SA3及び左スクロール指示領域SA4上まで指を移動させてスクロールを指示させるようにした場合について述べた。
しかしながら本発明は、これに限らず、サムネイル一覧画像60や階層別一覧画像を表示した場合、第1操作面や第2操作面上で指を近接させたまま、あたかもフリック操作のように所望の方向すばやく移動させることで、その移動方向に画像をスクロールさせるように指示させても良い。
[2−8 変形例8]
さらに上述した実施の形態においては、タッチ操作が行われていない(接触領域を全く検出していない)状態で、1個の接触領域を接触開始時点の接触領域として検出すると、タッチ操作が開始されたと判断する。そのうえで上述した実施の形態においては、どのようなタッチ操作が行われたか否かを検出するようにした場合について述べた。
しかしながら本発明は、これに限らず、接触領域を検出していない状態で1個の接触領域を接触開始時点の接触領域として検出すると、タッチ操作の開始を判断せずに、その後の接触領域の検出状況に応じてタッチ操作が行われたか否かを検出するようにしても良い。
因みに、以下には、このようなタッチ操作が行われたか否かの検出手法について、第1タッチパネル14Bの第1操作面に指が接触された場合を例にして説明する。
すなわち、制御部20は、第1操作面に対しタッチ操作が行われていない(接触領域を全く検出していない)状態で、1個の接触領域を接触開始時点の接触領域として検出すると、タイマにより接触時間の計時を開始する。
因みに、制御部20は、指の接触開始時点の接触領域を検出してから当該指の接触終了時点の接触領域を判別するまで(第1操作面に指が接触されてから(接触開始から)離されるまで(接触終了まで)の間)接触時間を計時する。
また制御部20は、このように指の接触開始時点の1個の接触領域を検出すると、当該接触開始時点の1個の接触領域の重心位置を起点として、その指の移動軌跡の検出も開始する。
因みに、制御部20は、指の移動軌跡の検出を開始すると、その後は領域検出処理を実行して当該指の接触領域を重心位置と共に追跡するように検出する毎に、起点から、その検出した重心位置を順に辿るようにして指の移動軌跡を検出する。
この状態で制御部20は、接触時間を種類判別時間と比較する。そして制御部20は、接触時間が種類判別時間に達する前に第1操作面から指が離されて当該接触時間の計時を終了すると、そのときまでに検出した移動軌跡が、起点(重心位置)を中心にしたタッチ操作判別円内に収まっているか否かを判別する。
その結果、制御部20は、第1操作面に対する指の接触開始から接触終了までの移動軌跡が、タッチ操作判別円内に収まっていると、このとき第1操作面に対しタッチ操作としてタップ操作が行われたと判別する。
この際、制御部20は、タップ操作による指の接触終了時点の接触領域の重心位置(すなわち、画素位置の座標で示す重心位置)を、このとき第1液晶パネル14Aの表示面において、当該タップ操作により指示されたタップ指示位置とする。
これに対し制御部20は、この際、第1操作面に対する指の接触開始から接触終了までの移動軌跡が、例えば、起点からタッチ操作判別円の外側にまで伸びていると、このとき第1操作面に対しタッチ操作としてフリック操作が行われたと判別する。
この際、制御部20は、フリック操作による指の接触開始時点の接触領域の重心位置(起点)から当該指の接触終了時点の接触領域の重心位置へ向かう方向を、フリック操作による指の移動方向とする。そして制御部20は、そのフリック操作による指の移動方向を、例えば、画像のスクロールに利用する。
また制御部20は、タイマにより計時している接触時間が種類判別時間を越えると、指の移動軌跡がタッチ操作判別円の外側にまで伸びているか否かを判別する。
その結果、制御部20は、種類判別時間を越えて第1操作面に接触している指の移動軌跡がタッチ操作判別円の外側にまで伸びていることを検出すると、このとき第1操作面に対しタッチ操作として摺動操作が行われていると判別する。
この場合、制御部20は、摺動操作判別時点以降も摺動操作が終了するまでの間、重心位置の検出に応じて指の移動軌跡を順次更新する。そして制御部20は、その摺動操作による指の移動軌跡を、例えば、画像のスクロールに利用する。
因みに、制御部20は、種類判別時間を越えて第1操作面に接触している指の移動軌跡がタッチ操作判別円内に収まったまま、第1操作面から、その指が離されると、このとき第1操作面に指が誤って接触しており、タッチ操作は行われていないと判別する。
このようにして制御部20は、かかる検出手法によっても、第1タッチパネル14Bの第1操作面に対し例えば、1本の指でタップ操作が行われたことを検出することができる。
また制御部20は、第1タッチパネル14Bの第1操作面に対し例えば、1本の指でフリック操作が行われたことも検出することができる。
さらに制御部20は、第1タッチパネル14Bの第1操作面に対し例えば、1本の指で摺動操作が行われたことも検出することができる。
[2−9 変形例9]
さらに上述した実施の形態においては、本発明の表示制御装置を、図1乃至図47について上述した携帯端末10に適用するようにした場合について述べた。
しかしながら本発明は、これに限らず、その表示制御装置を、タッチパネルと、液晶パネルのような表示部とが設けられたコンピュータや携帯電話機、PDA(Personal Digital Assistance)、携帯型ゲーム機器等の情報処理装置に適用することができる。
また本発明は、その表示制御装置を、デジタルスチルカメラやデジタルビデオカメラのような撮影装置、携帯型再生装置等のように、この他種々の構成の表示制御装置にも広く適用することができる。
[2−10 変形例10]
さらに上述した実施の形態においては、本発明による表示制御プログラムを、図1乃至図47について上述した不揮発性メモリ21に予め記憶された表示制御プログラムに適用するようにした。
そして制御部20が、その表示制御プログラムに従って図42乃至図45について上述した第1表示制御処理手順RT1及び第2表示制御処理手順RT2を実行するようにした場合について述べた。
しかしながら本発明は、これに限らず、携帯端末10が表示制御プログラムの記憶されたコンピュータ読取可能な記憶媒体によって表示制御プログラムをインストールしても良い。
そして制御部20が、そのインストールした表示制御プログラムに従って第1表示制御処理手順RT1及び第2表示制御処理手順RT2を実行するようにしても良い。
また携帯端末10は、ローカルエリアネットワークやインターネット、デジタル衛星放送等の有線及び無線通信媒体を利用して外部から表示制御プログラムをインストールするようにしても良い。
そして表示制御プログラムを携帯端末10にインストールして実行可能な状態にするためのコンピュータ読取可能な記憶媒体としては、例えば、フレキシブルディスクのようなパッケージメディアで実現しても良い。
また表示制御プログラムを携帯端末10にインストールして実行可能な状態にするためのコンピュータ読取可能な記憶媒体としては、例えば、CD−ROM(Compact Disc-Read Only Memory)のようなパッケージメディアで実現しても良い。
さらに表示制御プログラムを携帯端末10にインストールして実行可能な状態にするためのコンピュータ読取可能な記憶媒体としては、例えば、DVD(Digital Versatile Disc)等のパッケージメディアで実現しても良い。
さらに、かかるコンピュータ読取可能な記憶媒体としては、パッケージメディアのみならず、各種プログラムが一時的もしくは永続的に記憶される半導体メモリや磁気ディスク等で実現しても良い。
また、これらコンピュータ読取可能な記憶媒体に表示制御プログラムを記憶する手段としては、ローカルエリアネットワークやインターネット、デジタル衛星放送等の有線及び無線通信媒体を利用するようにしても良い。
さらにコンピュータ読取可能な記憶媒体には、ルータやモデム等の各種通信インタフェースを介して表示制御プログラムを記憶するようにしても良い。
[2−11 変形例11]
さらに上述した実施の形態においては、表示面に対する指示物の近接を検出する近接検出部として、図1乃至図47について上述した第1液晶パネル14A及び第1タッチパネル14Bからなる第1タッチスクリーン14と、第2液晶パネル15A及び第2タッチパネル15Bからなる第2タッチスクリーン15とを適用するようにした場合について述べた。
しかしながら本発明は、これに限らず、近接検出部として、有機EL(Electro Luminescence)ディスプレイや陰極線管等の表示部と、静電容量式又は感圧式のタッチパネルとからなる1又は複数の操作スクリーンを適用することができる。
また本発明は、近接検出部として、液晶パネルの個々の画素位置に赤外線発光素子及び赤外線受光素子が配置されて形成された1又は複数のタッチスクリーンを適用することもできる。
さらに本発明は、近接検出部として、静電容量式や感圧式のタッチパネル等のように、この他種々の構成の近接検出部も広く適用することができる。
[2−12 変形例12]
さらに上述した実施の形態においては、表示面に対する指示物の接触を検出する接触検出部として、図1乃至図47について上述した第1液晶パネル14A及び第1タッチパネル14Bからなる第1タッチスクリーン14と、第2液晶パネル15A及び第2タッチパネル15Bからなる第2タッチスクリーン15とを適用するようにした場合について述べた。
しかしながら本発明は、これに限らず、接触検出部として、有機ELディスプレイや陰極線管等の表示部と、静電容量式又は感圧式のタッチパネルとからなる1又は複数の操作スクリーンを適用することができる。
また本発明は、接触検出部として、液晶パネルの個々の画素位置に赤外線発光素子及び赤外線受光素子が配置されて形成された1又は複数のタッチスクリーンを適用することもできる。
さらに本発明は、接触検出部として、静電容量式や感圧式のタッチパネル等のように、この他種々の構成の接触検出部も広く適用することができる。
[2−13 変形例13]
さらに上述した実施の形態においては、近接検出部が表示面に対する指示物の近接を検出すると、複数の指示対象を表示面に表示させ、接触検出部が検出した表示面に対する指示物の接触に基づいて、複数の指示対象のうち一の指示対象が選択されたと判断すると、当該一の指示対象に対応する画像を表示面に表示させる制御部として、図1乃至図47について上述したCPUでなる制御部20を適用するようにした場合について述べた。
しかしながら本発明は、これに限らず、制御部として、マイクロプロセッサやDSP(Digital Signal Processor)を適用することができる。
また本発明は、制御部として、近接検出部が表示面に対する指示物の近接を検出すると、複数の指示対象を表示面に表示させ、接触検出部が検出した表示面に対する指示物の接触に基づいて、複数の指示対象のうち一の指示対象が選択されたと判断すると、当該一の指示対象に対応する画像を表示面に表示させるハードウェア回路構成の制御回路等のように、この他種々の構成の制御部も広く適用することができる。
本発明は、携帯端末やコンピュータ、携帯電話機、携帯型ゲーム機器等の表示制御装置に利用することができる。
1……表示制御装置、2……近接検出部、3……接触検出部、4……制御部、10……携帯端末、14……第1タッチスクリーン、14A……第1液晶パネル、14B……第1タッチパネル、15……第2タッチスクリーン、15A……第2液晶パネル、15B……第2タッチパネル、20……制御部、32……Web画像、35……ジャンル一覧画像、36……ジャンルアイコン、37、40、43……ジャケット画像、38……アーティスト一覧画像、39……アーティストアイコン、41……アルバム一覧画像、42……アルバムアイコン、44……曲一覧画像、45……曲アイコン、46……再生画像、60、71、73……サムネイル一覧画像、60A……サムネイル一覧拡大画像、60B……サムネイル一覧縮小画像、61、61A、61B、70、72……サムネイル、CA1乃至CA8……近接領域、RT1……第1表示制御処理手順、RT2……第2表示制御処理手順、SA1……上スクロール指示領域、SA2……下スクロール指示領域、SA3……右スクロール指示領域、SA4……左スクロール指示領域。

Claims (11)

  1. 表示面に対する指示物の近接を検出するための近接センサと、
    上記表示面に対する上記指示物の接触を検出するための接触センサと、
    上記近接センサを介して上記表示面に対する上記指示物の近接を検出して当該検出結果に基づいて、近接操作が行われていると判断すると、複数の画像を縮小して複数の指示対象として上記表示面に表示させると共に上記近接操作に応じて、複数の上記指示対象を上記表示面に表示させながら上記指示物に近い当該指示対象に対応する上記画像の少なくとも一部を上記表示面の所定位置に表示させ、上記接触センサを介して上記表示面に対する上記指示物の接触を検出して当該検出結果に基づいて、複数の上記指示対象のうち一の当該指示対象を選択する接触操作が行われたと判断すると、一の上記指示対象に対応する上記画像を上記表示面に表示させる制御部と
    を具える表示制御装置。
  2. 上記制御部は、
    上記近接操作が行われていると判断すると、種々の大きさ及び形状の複数の画像に縮小処理のみを施し、又は縮小処理と共に当該画像の一部を残すような加工処理を施して、大きさ及び形状を揃えた複数の上記指示対象を生成して上記表示面に表示させる
    請求項1に記載の表示制御装置。
  3. 上記制御部は、
    上記近接センサを介して、上記表示面に対し上記指示物が所定時間ほとんど位置を変えずに近接していることを検出すると、上記近接操作が行われていると判断する
    請求項1又は請求項2の何れかに記載の表示制御装置。
  4. 上記制御部は、
    上記近接操作が行われていると判断すると、複数の上記画像として、上記表示面に表示可能な状態に立ち上げている複数の立上画像を縮小して複数の上記指示対象として上記表示面に表示させる
    請求項1乃至請求項3の何れかに記載の表示制御装置。
  5. 上記制御部は、
    複数の上記指示対象のうち一の当該指示対象を選択する上記接触操作が行われたと判断する前に、上記近接センサを介して上記表示面から上記指示物が遠ざけられたことを検出すると、上記近接操作が終了したと判断して、上記表示面に対する複数の上記指示対象の表示を終了させる
    請求項1乃至請求項4の何れかに記載の表示制御装置。
  6. 上記制御部は、
    上記表示面の所定領域に上記指示物を近接させる上記近接操作が行われると、複数の上記指示対象のスクロールを実行する
    請求項1乃至請求項5の何れかに記載の表示制御装置。
  7. 上記制御部は、
    上記表示面に近接している少なくとも2本以上の上記指示物の間隔を広げる上記近接操作が行われると、上記表示面に表示させている複数の上記指示対象を拡大させる
    請求項1乃至請求項6の何れかに記載の表示制御装置。
  8. 上記制御部は、
    上記表示面に近接している少なくとも2本以上の上記指示物の間隔を狭める上記近接操作が行われると、上記表示面に表示させている複数の上記指示対象を縮小させる
    請求項1乃至請求項7の何れかに記載の表示制御装置。
  9. 上記制御部は、
    上記表示面に近接している少なくとも2本以上の上記指示物の間隔を変化させる上記近接操作が行われると、複数の上記指示対象によって構成される行列を増減するように、複数の上記指示対象の縦横を拡大、又は縮小させる
    請求項1乃至請求項8の何れかに記載の表示制御装置。
  10. 表示面に対する指示物の近接を検出するための近接センサを介して上記表示面に対する上記指示物の近接を検出して当該検出結果に基づいて、近接操作が行われていると判断すると、複数の画像を縮小して複数の指示対象として上記表示面に表示させると共に、上記近接操作に応じて、複数の上記指示対象を上記表示面に表示させながら上記指示物に近い当該指示対象に対応する上記画像の少なくとも一部を上記表示面の所定位置に表示させる指示対象表示ステップと、
    上記表示面に対する上記指示物の接触を検出するための接触センサを介して上記表示面に対する上記指示物の接触を検出して当該検出結果に基づいて、複数の上記指示対象のうち一の当該指示対象を選択する接触操作が行われたと判断すると、一の上記指示対象に対応する上記画像を上記表示面に表示させる画像表示ステップと
    を具える表示制御方法。
  11. コンピュータに
    表示面に対する指示物の近接を検出するための近接センサを介して上記表示面に対する上記指示物の近接を検出して当該検出結果に基づいて、近接操作が行われていると判断すると、複数の画像を縮小して複数の指示対象として上記表示面に表示させると共に、上記近接操作に応じて、複数の上記指示対象を上記表示面に表示させながら上記指示物に近い当該指示対象に対応する上記画像の少なくとも一部を上記表示面の所定位置に表示させる指示対象表示ステップと、
    上記表示面に対する上記指示物の接触を検出するための接触センサを介して上記表示面に対する上記指示物の接触を検出して当該検出結果に基づいて、複数の上記指示対象のうち一の当該指示対象を選択する接触操作が行われたと判断すると、一の上記指示対象に対応する上記画像を上記表示面に表示させる画像表示ステップと
    を実行させるための表示制御プログラム。
JP2010009182A 2010-01-19 2010-01-19 表示制御装置、表示制御方法及び表示制御プログラム Expired - Fee Related JP5636678B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2010009182A JP5636678B2 (ja) 2010-01-19 2010-01-19 表示制御装置、表示制御方法及び表示制御プログラム
EP17167821.2A EP3239823A1 (en) 2010-01-19 2011-01-11 Display control apparatus, method and program
DE202011110991.0U DE202011110991U1 (de) 2010-01-19 2011-01-11 Anzeigesteuervorrichtung
US12/930,610 US8760418B2 (en) 2010-01-19 2011-01-11 Display control apparatus, display control method and display control program
EP11150627.5A EP2354906B1 (en) 2010-01-19 2011-01-11 Display control apparatus, method and program
DE202011110990.2U DE202011110990U1 (de) 2010-01-19 2011-01-11 Anzeigesteuervorrichtung
CN2011100211210A CN102129342A (zh) 2010-01-19 2011-01-19 显示控制装置、显示控制方法和显示控制程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010009182A JP5636678B2 (ja) 2010-01-19 2010-01-19 表示制御装置、表示制御方法及び表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2011150412A JP2011150412A (ja) 2011-08-04
JP5636678B2 true JP5636678B2 (ja) 2014-12-10

Family

ID=43827826

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010009182A Expired - Fee Related JP5636678B2 (ja) 2010-01-19 2010-01-19 表示制御装置、表示制御方法及び表示制御プログラム

Country Status (5)

Country Link
US (1) US8760418B2 (ja)
EP (2) EP3239823A1 (ja)
JP (1) JP5636678B2 (ja)
CN (1) CN102129342A (ja)
DE (2) DE202011110990U1 (ja)

Families Citing this family (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7948448B2 (en) 2004-04-01 2011-05-24 Polyvision Corporation Portable presentation system and methods for use therewith
KR101617645B1 (ko) * 2009-02-24 2016-05-04 삼성전자주식회사 디스플레이 제어 방법 및 이를 이용한 장치
US20110199322A1 (en) * 2010-02-15 2011-08-18 Research In Motion Limited Graphical user interfaces for devices that present media content
US9542091B2 (en) 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
KR101712909B1 (ko) * 2010-07-16 2017-03-22 엘지전자 주식회사 터치 스크린 디스플레이를 포함하는 전자 장치, 이를 이용한 인터페이스 방법 및 컴퓨터 판독 가능한 저장매체
US9430122B2 (en) 2010-10-01 2016-08-30 Z124 Secondary single screen mode activation through off-screen gesture area activation
US8933888B2 (en) * 2011-03-17 2015-01-13 Intellitact Llc Relative touch user interface enhancements
US9219159B2 (en) 2011-03-25 2015-12-22 Semiconductor Energy Laboratory Co., Ltd. Method for forming oxide semiconductor film and method for manufacturing semiconductor device
JP5742378B2 (ja) * 2011-03-30 2015-07-01 ソニー株式会社 情報処理装置、プレイリスト生成方法及びプレイリスト生成プログラム
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
FR2980599B1 (fr) * 2011-09-27 2014-05-09 Isorg Surface imprimee interactive
FR2980598B1 (fr) 2011-09-27 2014-05-09 Isorg Interface utilisateur sans contact a composants semiconducteurs organiques
US8907906B2 (en) 2011-09-27 2014-12-09 Z124 Secondary single screen mode deactivation
KR101262525B1 (ko) * 2011-10-05 2013-05-08 기아자동차주식회사 이동 단말기에서의 앨범 리스트 관리 방법과 그 시스템
JP5421973B2 (ja) * 2011-10-24 2014-02-19 日精樹脂工業株式会社 生産機械の表示装置
US9958990B2 (en) * 2011-10-28 2018-05-01 Atmel Corporation Authenticating with active stylus
CN102508604A (zh) * 2011-11-08 2012-06-20 中兴通讯股份有限公司 一种终端显示界面的控制方法及终端
JP2013105395A (ja) * 2011-11-15 2013-05-30 Sony Corp 情報処理装置及び方法、並びにプログラム
US9323379B2 (en) * 2011-12-09 2016-04-26 Microchip Technology Germany Gmbh Electronic device with a user interface that has more than two degrees of freedom, the user interface comprising a touch-sensitive surface and contact-free detection means
US9582930B2 (en) * 2011-12-30 2017-02-28 Honeywell International Inc. Target aquisition in a three dimensional building display
US8963857B2 (en) * 2012-02-21 2015-02-24 Lg Electronics Inc. Electronic device and method of controlling the same
JP5598736B2 (ja) * 2012-02-27 2014-10-01 カシオ計算機株式会社 画像表示装置、画像表示方法及び画像表示プログラム
FR2987470A1 (fr) * 2012-02-29 2013-08-30 France Telecom Procede de navigation au sein d'un contenu affichable a l'aide de commandes de navigation, dispositif de navigation et programme associe
KR20130107833A (ko) * 2012-03-23 2013-10-02 삼성전자주식회사 터치 감지 방법 및 터치 감지 장치
FR2989483B1 (fr) 2012-04-11 2014-05-09 Commissariat Energie Atomique Dispositif d'interface utilisateur a electrodes transparentes
WO2013153795A1 (ja) * 2012-04-13 2013-10-17 Necカシオモバイルコミュニケーションズ株式会社 携帯端末装置、端末通信システム、端末通信方法及びプログラム
JP6022807B2 (ja) * 2012-04-26 2016-11-09 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理制御方法
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
AU2013259642A1 (en) 2012-05-09 2014-12-04 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
WO2013169849A2 (en) * 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
KR101806350B1 (ko) 2012-05-09 2017-12-07 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
CN104471521B (zh) 2012-05-09 2018-10-23 苹果公司 用于针对改变用户界面对象的激活状态来提供反馈的设备、方法和图形用户界面
CN104487928B (zh) 2012-05-09 2018-07-06 苹果公司 用于响应于手势而在显示状态之间进行过渡的设备、方法和图形用户界面
WO2013169853A1 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
CN105260049B (zh) 2012-05-09 2018-10-23 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
DE102012014255A1 (de) 2012-07-19 2014-01-23 Audi Ag Anzeigeeinrichtung
JP5798532B2 (ja) * 2012-08-23 2015-10-21 株式会社Nttドコモ ユーザインタフェース装置、ユーザインタフェース方法及びプログラム
KR101935039B1 (ko) * 2012-09-11 2019-01-03 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
FR2995419B1 (fr) 2012-09-12 2015-12-11 Commissariat Energie Atomique Systeme d'interface utilisateur sans contact
CN103677241A (zh) * 2012-09-24 2014-03-26 联想(北京)有限公司 一种信息处理的方法及电子设备
JP2014068145A (ja) * 2012-09-25 2014-04-17 Kyocera Corp 携帯端末、表示制御プログラムおよび表示制御方法
US9310895B2 (en) * 2012-10-12 2016-04-12 Microsoft Technology Licensing, Llc Touchless input
JP2014081732A (ja) * 2012-10-15 2014-05-08 Ntt Docomo Inc 携帯電子機器及び表示方法
FR2996933B1 (fr) 2012-10-15 2016-01-01 Isorg Appareil portable a ecran d'affichage et dispositif d'interface utilisateur
JP2014081733A (ja) * 2012-10-15 2014-05-08 Ntt Docomo Inc 携帯電子機器
US20140152586A1 (en) * 2012-11-30 2014-06-05 Kabushiki Kaisha Toshiba Electronic apparatus, display control method and storage medium
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
CN104903834B (zh) 2012-12-29 2019-07-05 苹果公司 用于在触摸输入到显示输出关系之间过渡的设备、方法和图形用户界面
JP6093877B2 (ja) 2012-12-29 2017-03-08 アップル インコーポレイテッド 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース
EP3564806B1 (en) 2012-12-29 2024-02-21 Apple Inc. Device, method and graphical user interface for determining whether to scroll or select contents
EP3467634B1 (en) 2012-12-29 2020-09-23 Apple Inc. Device, method, and graphical user interface for navigating user interface hierarchies
US20140201685A1 (en) 2013-01-14 2014-07-17 Darren Lim User input determination
JP5489379B1 (ja) 2013-01-18 2014-05-14 パナソニック株式会社 スクロール装置、スクロール方法及びプログラム
CN107908345B (zh) * 2013-02-26 2020-04-24 联想(北京)有限公司 一种响应方法及电子设备
JP5542224B1 (ja) * 2013-03-06 2014-07-09 パナソニック株式会社 電子機器および座標検出方法
JP5984722B2 (ja) * 2013-03-22 2016-09-06 シャープ株式会社 情報処理装置
JP6221293B2 (ja) * 2013-03-27 2017-11-01 富士通株式会社 情報処理装置,情報処理方法,プログラム
KR102046569B1 (ko) * 2013-04-15 2019-11-19 삼성전자주식회사 촬상 장치 및 촬상 장치의 제어 방법
JP6294597B2 (ja) * 2013-05-14 2018-03-14 シャープ株式会社 情報表示装置、プログラム、記録媒体、および情報表示方法
WO2014185456A1 (ja) * 2013-05-14 2014-11-20 シャープ株式会社 情報表示装置、画像拡大方法、位置判定方法、情報表示方法、プログラムおよび記録媒体
JP2014222489A (ja) * 2013-05-14 2014-11-27 シャープ株式会社 情報表示装置、位置判定方法、プログラムおよび記録媒体
USD738394S1 (en) 2013-06-09 2015-09-08 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD741350S1 (en) 2013-06-10 2015-10-20 Apple Inc. Display screen or portion thereof with animated graphical user interface
US10226230B2 (en) * 2013-06-10 2019-03-12 B-K Medical Aps Ultrasound imaging system image identification and display
CN103324458A (zh) * 2013-06-27 2013-09-25 宇龙计算机通信科技(深圳)有限公司 一种信息显示方法及移动终端
CN103472962B (zh) * 2013-08-01 2016-12-28 珠海中慧微电子有限公司 一种识别电容触摸类型的方法
KR102220825B1 (ko) * 2013-09-05 2021-03-02 삼성전자주식회사 전자 장치와 전자 장치의 콘텐트 표시방법
USD772278S1 (en) 2013-12-18 2016-11-22 Apple Inc. Display screen or portion thereof with animated graphical user interface
JP5579914B2 (ja) * 2013-12-27 2014-08-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ スクロール装置、スクロール方法及びプログラム
TWI526916B (zh) * 2013-12-31 2016-03-21 Egalax Empia Technology Inc Multi-touch screen device and multi-touch screen adjacent junction detection method
CN103905886B (zh) * 2014-03-28 2017-09-01 广州华多网络科技有限公司 视频播放方法和装置
CN103941923A (zh) * 2014-04-23 2014-07-23 宁波保税区攀峒信息科技有限公司 —种拼合触摸装置方法及拼合触摸装置
USD769892S1 (en) 2014-05-30 2016-10-25 Apple Inc. Display screen or portion thereof with graphical user interface
US9898162B2 (en) 2014-05-30 2018-02-20 Apple Inc. Swiping functions for messaging applications
US9971500B2 (en) 2014-06-01 2018-05-15 Apple Inc. Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application
US20150378534A1 (en) * 2014-06-27 2015-12-31 Kobo Inc. Method and system for continuous reading mode
FR3025052B1 (fr) 2014-08-19 2017-12-15 Isorg Dispositif de detection d'un rayonnement electromagnetique en materiaux organiques
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
USD765699S1 (en) 2015-06-06 2016-09-06 Apple Inc. Display screen or portion thereof with graphical user interface
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
KR101741691B1 (ko) * 2015-06-30 2017-05-30 현대자동차주식회사 차량 및 그 제어방법
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
JP6489027B2 (ja) * 2016-01-14 2019-03-27 ヤマハ株式会社 情報処理装置および画像データを表示する方法
CN106055174B (zh) * 2016-05-23 2019-03-29 京东方科技集团股份有限公司 一种触控显示装置
US10739972B2 (en) 2016-06-10 2020-08-11 Apple Inc. Device, method, and graphical user interface for managing electronic communications
US10261606B2 (en) * 2016-10-17 2019-04-16 Lenovo (Singapore) Pte. Ltd. Electronic assembly with expandable input device
JP6358315B2 (ja) * 2016-11-21 2018-07-18 富士ゼロックス株式会社 表示制御装置及びプログラム
US10264213B1 (en) 2016-12-15 2019-04-16 Steelcase Inc. Content amplification system and method
JP6264482B2 (ja) * 2017-02-24 2018-01-24 富士ゼロックス株式会社 表示制御装置及びプログラム
JPWO2018173740A1 (ja) * 2017-03-23 2020-05-14 パイオニア株式会社 表示制御装置、表示制御方法及び表示制御用プログラム
USD846587S1 (en) 2017-06-04 2019-04-23 Apple Inc. Display screen or portion thereof with animated graphical user interface
CN109495632A (zh) * 2017-09-11 2019-03-19 中兴通讯股份有限公司 一种双屏终端拍照方法及双屏终端
JP7143580B2 (ja) * 2017-11-15 2022-09-29 富士フイルムビジネスイノベーション株式会社 表示装置及びプログラム
WO2019163503A1 (ja) * 2018-02-22 2019-08-29 京セラ株式会社 電子機器、制御方法およびプログラム
JP7095368B2 (ja) * 2018-04-04 2022-07-05 京セラドキュメントソリューションズ株式会社 表示制御装置、表示制御プログラム及び表示制御方法
US10921975B2 (en) * 2018-06-03 2021-02-16 Apple Inc. Devices, methods, and user interfaces for conveying proximity-based and contact-based input events
USD877175S1 (en) 2018-06-04 2020-03-03 Apple Inc. Electronic device with graphical user interface
USD883319S1 (en) 2018-10-29 2020-05-05 Apple Inc. Electronic device with graphical user interface
CN109718549B (zh) * 2019-02-21 2022-04-12 网易(杭州)网络有限公司 游戏中消息处理的方法及装置、电子设备、存储介质
CN112788379A (zh) * 2019-11-04 2021-05-11 海信视像科技股份有限公司 显示设备和方法
JP7378902B2 (ja) * 2020-03-31 2023-11-14 アルパイン株式会社 操作制御装置
USD1010674S1 (en) * 2020-12-31 2024-01-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Display screen or portion thereof with transitional graphical user interface
JP7608929B2 (ja) * 2021-03-26 2025-01-07 トヨタ自動車株式会社 入力受付装置、入力受付方法、入力受付プログラム
USD984461S1 (en) 2021-06-04 2023-04-25 Apple Inc. Display screen or portion thereof with graphical user interface
US20240419463A1 (en) * 2023-06-15 2024-12-19 Google Llc Selectively invoking an automated assistant according to a result of shape detection at a capacitive array

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7256770B2 (en) * 1998-09-14 2007-08-14 Microsoft Corporation Method for displaying information responsive to sensing a physical presence proximate to a computer input device
JP2002281406A (ja) 2001-03-21 2002-09-27 Sony Corp デジタル放送におけるマルチビューチャンネル選択方法及びデータコンテンツサービスシステム及びデジタル放送送出装置並びにデータ表示変更方法及びデータ表示変更システム
JP2002358162A (ja) * 2001-06-01 2002-12-13 Sony Corp 画像表示装置
US6664744B2 (en) * 2002-04-03 2003-12-16 Mitsubishi Electric Research Laboratories, Inc. Automatic backlight for handheld devices
EP1769326A2 (en) * 2004-06-29 2007-04-04 Koninklijke Philips Electronics N.V. A method and device for preventing staining of a display device
KR20070036077A (ko) 2004-06-29 2007-04-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 그래픽 사용자 인터페이스의 다중층 디스플레이
CN100383713C (zh) * 2004-12-31 2008-04-23 联想(北京)有限公司 一种便携式电子设备的信息输入装置及控制方法
US7567240B2 (en) * 2005-05-31 2009-07-28 3M Innovative Properties Company Detection of and compensation for stray capacitance in capacitive touch sensors
US8683362B2 (en) * 2008-05-23 2014-03-25 Qualcomm Incorporated Card metaphor for activities in a computing device
JP2008009759A (ja) * 2006-06-29 2008-01-17 Toyota Motor Corp タッチパネル装置
JP5324440B2 (ja) * 2006-07-12 2013-10-23 エヌ−トリグ リミテッド デジタイザのためのホバリングおよびタッチ検出
US20080018604A1 (en) * 2006-07-19 2008-01-24 Tyco Electronics Canada, Ltd. Touch detection method and system for a touch sensor
US8354997B2 (en) * 2006-10-31 2013-01-15 Navisense Touchless user interface for a mobile device
JP5092469B2 (ja) * 2007-03-15 2012-12-05 ソニー株式会社 撮像装置、画像処理装置、および画像表示制御方法、並びにコンピュータ・プログラム
JP2008299474A (ja) * 2007-05-30 2008-12-11 Sony Corp 表示制御装置および方法、表示装置、撮像装置、並びに、プログラム
JP2008305087A (ja) * 2007-06-06 2008-12-18 Toshiba Matsushita Display Technology Co Ltd 表示装置
DE112008001800B4 (de) * 2007-07-12 2020-07-30 Atmel Corporation Zweidimensionales Touchpanel
JP4900824B2 (ja) * 2007-09-18 2012-03-21 トヨタ自動車株式会社 入力表示装置
DE102008051756A1 (de) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
KR101505191B1 (ko) * 2008-01-09 2015-03-20 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR100984230B1 (ko) * 2008-03-20 2010-09-28 엘지전자 주식회사 근접 터치 감지 기능을 갖는 휴대 단말기 및 이를 이용한화면 제어 방법
EP2104024B1 (en) * 2008-03-20 2018-05-02 LG Electronics Inc. Portable terminal capable of sensing proximity touch and method for controlling screen using the same
KR101486345B1 (ko) * 2008-03-21 2015-01-26 엘지전자 주식회사 이동 단말기 및 이동 단말기의 화면 표시 방법
US9274681B2 (en) * 2008-03-26 2016-03-01 Lg Electronics Inc. Terminal and method of controlling the same
JP5481040B2 (ja) * 2008-04-11 2014-04-23 株式会社ジャパンディスプレイ 表示装置とその駆動方法
EP2131272A3 (en) * 2008-06-02 2014-05-07 LG Electronics Inc. Mobile communication terminal having proximity sensor and display controlling method therein
US8355003B2 (en) * 2008-06-13 2013-01-15 Microsoft Corporation Controller lighting activation by proximity and motion
KR20100010860A (ko) * 2008-07-23 2010-02-02 엘지전자 주식회사 이동 단말기 및 그의 이벤트 제어방법
US9658765B2 (en) * 2008-07-31 2017-05-23 Northrop Grumman Systems Corporation Image magnification system for computer interface
US8683390B2 (en) * 2008-10-01 2014-03-25 Microsoft Corporation Manipulation of objects on multi-touch user interface
US8866790B2 (en) * 2008-10-21 2014-10-21 Atmel Corporation Multi-touch tracking
US8516397B2 (en) * 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods
US20100117970A1 (en) * 2008-11-11 2010-05-13 Sony Ericsson Mobile Communications Ab Methods of Operating Electronic Devices Using Touch Sensitive Interfaces with Contact and Proximity Detection and Related Devices and Computer Program Products
US8799806B2 (en) * 2008-12-31 2014-08-05 Verizon Patent And Licensing Inc. Tabbed content view on a touch-screen device
US8681106B2 (en) * 2009-06-07 2014-03-25 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
US8373669B2 (en) * 2009-07-21 2013-02-12 Cisco Technology, Inc. Gradual proximity touch screen
US8587532B2 (en) * 2009-12-18 2013-11-19 Intel Corporation Multi-feature interactive touch user interface
US8232990B2 (en) * 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure

Also Published As

Publication number Publication date
EP2354906B1 (en) 2017-04-26
DE202011110990U1 (de) 2018-01-12
EP2354906A1 (en) 2011-08-10
DE202011110991U1 (de) 2018-01-12
EP3239823A1 (en) 2017-11-01
CN102129342A (zh) 2011-07-20
JP2011150412A (ja) 2011-08-04
US20110175830A1 (en) 2011-07-21
US8760418B2 (en) 2014-06-24

Similar Documents

Publication Publication Date Title
JP5636678B2 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
AU2007101053B4 (en) Multimedia communication device with touch screen responsive to gestures for controlling, manipulating, and editing of media files
US10387016B2 (en) Method and terminal for displaying a plurality of pages,method and terminal for displaying a plurality of applications being executed on terminal, and method of executing a plurality of applications
JP4632102B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP5552947B2 (ja) 情報処理装置、表示制御方法及び表示制御プログラム
TWI397844B (zh) 觸摸感應裝置和用於提供側觸摸板的方法
JP5494337B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
EP2413229A2 (en) Information processing apparatus, information processing method and information processing program
EP2437149B1 (en) Electronic device system with process continuation mechanism and method of operation thereof
EP2413226A2 (en) Information processing apparatus, information processing method and information processing program
JP5989903B2 (ja) 電子機器、方法及びプログラム
JP2011141753A (ja) 表示制御装置、表示制御方法及び表示制御プログラム
CN101611373A (zh) 利用触摸敏感设备控制、操纵和编辑媒体文件的姿态
US9891812B2 (en) Gesture-based selection and manipulation method
KR20160015608A (ko) 디스플레이 장치, 디스플레이 장치를 제어하는 방법 및 그 방법을 수행하는 프로그램이 기록된 기록 매체
AU2011253700B2 (en) Gestures for controlling, manipulating, and editing of media files using touch sensitive devices

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141007

R151 Written notification of patent or utility model registration

Ref document number: 5636678

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees