JP4447342B2 - 携帯端末装置および情報処理装置の状態表示方法 - Google Patents

Description

本発明は、たとえば携帯電話機のように、画像を表示可能な携帯端末装置および情報処理装置の状態表示方法に関するものである。

近年、携帯端末装置の多機能化に伴い、携帯端末装置に搭載された様々な機能の作動状態を、ユーザに対して効率的に認識させることが求められている。すなわち、かかる様々な機能の作動状態を確認するために複雑な操作を要すると、ユーザにとって煩雑であるので、各機能の作動状態をディスプレイ等で容易に視認できることが望ましい。
かかる観点から、携帯端末装置の各機能の作動状態を視認可能とする様々な技術が提案されている。
たとえば、下記特許文献１には、動作状態に対応するアイコンがその動作状況に応じて表示画面の所定の位置に表示されることにより、表示されるアイコンの状態を確認するだけで、一目で動作状態を把握可能とする技術が開示されている。

特開平１０−２３４０２４号公報

しかしながら、近年、携帯端末装置の小型化が進んだことから、表示画面をより有効に活用する観点から、上述のような機能を図形化したアイコンをわかりやすく、かつ、他の表示物に極力影響を与えないように表示させる技術が要望される。

本発明はかかる事情に鑑みてなされたものであり、その目的は、表示画面上の任意の画像の一部分に動作状態を表示させることを可能とする携帯端末装置および情報処理装置の状態表示方法を提供することにある。

上記目的を達成するために本発明の第１の観点は、少なくとも、指定された画像を待受画面として表示する表示部と、前記画像から二つのオブジェクトを抽出し、専用のピクトに表示させていた電界強度及び電池残量の動作状態を、前記表示部において前記待受画面が表示される間、前記画像内の前記所定の二つのオブジェクトそれぞれによって表示し、前記動作状態の変化に応じて、前記所定の二つのオブジェクトのそれぞれの表示態様を変化させる制御部とを有する携帯端末装置である。

上記目的を達成するために本発明の第２の観点は、画像から所定の二つのオブジェクトを抽出するステップと、当該画像を待受画面とし、専用のピクトに表示させていた電界強度及び電池残量の動作状態を、待受画面が表示される間は、当該待受画面に表示する画像内の所定の二つのオブジェクトのそれぞれによって表示し、前記動作状態の変化に応じて、前記所定の二つのオブジェクトのそれぞれの表示態様を変化させるステップと、を有する。

本発明によれば、表示画面上の任意の画像の一部分に動作状態を表示させることを可能とするので、画面の中に動作状態のための専用領域を用意する必要がなく、画面を有効活用でき、動作状態の表示が他の表示物に極力影響を与えないように表示されるという利点がある。

実施形態
以下、本発明に係る携帯端末装置の実施形態を添付図面に関連付けて説明する。
図１は、本発明の携帯端末装置としての携帯電話機１のシステム構成の一例を図解したブロック図である。図２は、携帯電話機１の外観の一例を図解した図である。

図１に示すように、携帯電話機１は、送受信アンテナ１１１を含む通信処理部１１と、メモリ１２と、操作手段としてのキー入力部１３と、スピーカ１４１およびマイクロフォン１４２を含む音声処理部１４と、表示手段としての表示部１５と、パネル入力部１６と、制御手段としての制御部２０とを有している。
以下、携帯電話機１を構成する各構成要素、および、携帯電話機１が実行する処理内容について述べる。

通信処理部１１は、基地局を介した無線通信動作、たとえば、電話番号の発呼動作や電子メールの送受信動作などを行う。
通信処理部１１は、送受信アンテナ１１１を含んで構成され、電波を利用した無線通信で行うために、制御部２０で処理された音声情報、電子メール等を変調して送受信アンテナ１１１により図示しない基地局に送信する。
また、通信処理部１１は、基地局から無線により送信され、送受信アンテナ１１１で受信した電子メールや音声情報等の各種情報を復調して制御部２０に出力する。たとえば、後述する表示部１５に表示する画像のデータを、通信処理部１１による無線通信を介して取得してもよい。
なお、送受信アンテナ１１１は、携帯電話機１の本体に内蔵され、図２において外部に露出されていない。

メモリ１２は、ＥＥＰＲＯＭ等の不揮発性メモリを含んで構成され、通話やメールの送受信のための制御プログラム、インターネットブラウザ、メッセージデータ、名前および電話番号が登録されたアドレス帳などを記憶する。
また、メモリ１２は、後述するオブジェクト抽出処理の基礎となる画像データを記憶する。携帯電話機１は、かかる画像データを、たとえば、通信処理部１１を介して無線通信により取得してメモリ１２に記憶する。

メモリ１２は、制御部２０により抽出されたオブジェクトのデータ（オブジェクトデータ）を含むオブジェクトデータベース（以下、オブジェクトＤＢ）を記憶する。オブジェクトデータには、後述するオブジェクトの輪郭位置情報や表示色データが含まれる。
さらに、メモリ１２は、携帯電話機１が有する各種機能についてのデータを含む機能データベース（以下、機能ＤＢ）を記憶する。

図３は、機能ＤＢの構成を説明するための図であり、（ａ）は各機能毎の機能コードを、（ｂ）は各機能を実行するために必要なユーザからの入力処理を、（ｃ）は各機能に対応するオブジェクトを、（ｄ）は各機能の処理内容を、（ｅ）は各機能の処理に応じた表示態様を、それぞれ示す。また、（−）と記載されている箇所は、データが登録されていないことを意味する。

図３において、たとえば、機能コードが「００１」である機能は、ユーザからの入力処理がなくても実行する機能であり、処理内容は、電界強度に応じた表示を行うというものである。その際、電界強度に応じたピクト（（ｅ１）に示す）が表示画面の最上段右端部（（ｅ２）参照）に表示される。
なお、図１０（１−ａ）〜（１−ｅ）に示すピクトは、電界強度に応じた表示を例示し、図中（１−ａ）から（１−ｅ）の順にアンテナの電界強度が低下していることを示す。後述する制御部２０は、常に電界強度を検出しており、検出された電界強度に応じて、機能ＤＢを参照し、図１０（１−ａ）〜（１−ｅ）のいずれかのピクトを登録された位置（最上段右端）に表示させる。

また、図３において、たとえば、機能コードが「００３」である機能は、ユーザがメニュの一番目（「メニュ選択１」）を選択すると実行する機能であり、処理内容は、一番目に登録されたアプリケーション（「アプリケーション１」）の実行である。
後述する制御部２０は、キー入力部１３からのユーザの入力が「メニュ選択１」であることを認識すると、機能ＤＢを参照して、対応する上記処理内容（「アプリケーション１」）を実行する。なお、当該処理については、表示に関するデータが登録されていないので、すぐに対応するアプリケーションの実行処理に移行する。

キー入力部１３は、終了（終話）／電源キー、開始（発呼）キー、数字等に対応した複数のキー等を有し、これらのキーがユーザにより操作されることにより、ユーザからの入力情報を制御部２０に出力する。
キー入力部１３は、図２に示すように、４×３のマトリックス上に、上記複数のキーを配置する。
本実施形態においては、ユーザがキー入力部１３の中の所定のキーを押下（操作）することによって、後述するオブジェクト抽出処理、オブジェクト割付け処理等が開始される。

音声処理部１４は、音声処理回路を有し、通話機能のために音声出力を行うスピーカ１４１と音声入力を行うマイクロフォン１４２とが接続されている。
音声処理部１４は、マイクロフォン１４２により集音した音声に対して所定の処理を行って制御部２０に供給する。
また、音声処理部１４は、制御部２０により供給された音声情報に対して所定の処理を行ってスピーカ１４１から出力させる。

表示部１５は、液晶表示装置（ＬＣＤ）等の表示デバイスを有し、メモリ１２が記憶する画像データを表示可能に構成される。

パネル入力部１６は、いわゆるタッチパネル式の入力部であり、ユーザが表示部１５のＬＣＤ等に触れる（タッチ）ことにより、ユーザがタッチした位置を検出し、ユーザの入力情報として制御部２０へ出力する。
タッチパネル式の入力方式としては、表示パネルの表面電荷の変化をとらえて位置検出を行う静電容量方式、表示パネル表面に取り付けたフィルム面の電位により位置検出を行う抵抗膜方式など様々な技術をパネル入力部１６に適用することが可能である。

制御部２０は、マイクロコンピュータを主体として構成され、携帯電話機１の全体の制御を行う。たとえば、制御部２０は、通信処理部１１における各種情報の無線による送受信の制御、音声処理部１４に対する音声情報の処理、表示部１５への情報の表示制御、キー入力部１３およびパネル入力部１６からの入力情報に応じた処理、メモリ１２に対するアクセス制御等を行う。
制御部２０は、キー入力部１３からの入力情報を、メモリ１２が記憶する機能ＤＢと参照し、機能ＤＢに登録された処理内容を実行する。
制御部２０は、メモリ１２が記憶する画像データに基づいて、画像を表示部１５に表示させるとともに、表示された画像に対してオブジェクト抽出処理を行う。
制御部２０は、オブジェクト抽出処理により抽出された各オブジェクトをメモリ１２が記憶するオブジェクトＤＢに格納するとともに、オブジェクトＤＢに格納された各オブジェクトに対して機能割付けを行う。すなわち、後述するように、オブジェクトＤＢに格納された各オブジェクトに基づいて、機能ＤＢを更新する。

以下、制御部２０により実行されるオブジェクト抽出処理について述べる。図４は、オブジェクト抽出処理について説明するための画像の一例である。
オブジェクトの抽出処理の元データとなる画像は、たとえば、カメラ機能が内蔵されている場合には当該カメラ撮影により得られた画像でもよいし、電子メールに添付された画像、メモリカード等の外部メディアから読み込まれた画像、通信デバイス（赤外線通信，短距離通信等）を介したデータ通信により得られた画像、インターネットの任意のＷＥＢ上からダウンロードされた画像でもよい。
かかる画像データが一旦メモリ１２に記憶され、制御部２０によりメモリ１２から読み出されて、表示部１５に表示される。その際には、表示部１５の画面サイズに最適化されるように、必要に応じて、元データとなる画像が拡大／縮小されて表示される。

オブジェクト抽出処理では、表示部１５に表示された画像上のオブジェクト（独立した対象）を、画像から抽出することが行われる。たとえば、図４に例示する画像では、オブジェクトＯＢＪ１（「太陽」）と、オブジェクトＯＢＪ２，ＯＢＪ３（「雲」）と、オブジェクトＯＢＪ４，ＯＢＪ５（「木」）と、オブジェクトＯＢＪ６（「家」）の６個のオブジェクトが含まれており、これらのオブジェクトを画像から抽出することがオブジェクト抽出処理により行われる。

オブジェクト抽出処理は、表示部１５に表示された画像に対して、輪郭抽出処理（エッジ抽出処理）を行うことにより実行される。
輪郭抽出処理（エッジ抽出処理）は、画像の輝度値や色の濃淡に着目し、これらのデータ（色データ）が急激に変化するエッジ部分を検出することにより行われる。
具体的には、隣接画素間の色データの差分値に基づく色データの１次微分（グラディエント）の大きさと方向から、輪郭の強さと方向を算出する方法、さらに、輪郭の強さを検出するために２次微分（ラプラシアン）を用いる方法、等の技術を適用することができる。また、表示された画像の中から、同系色に着目して輪郭抽出を行ってもよい。
オブジェクト抽出処理により、表示部１５に表示された画像中の各オブジェクトＯＢＪ１〜６が抽出される。

以上、携帯電話機１の各構成要素について述べた。
次いで、携帯電話機１の処理内容、すなわち、携帯電話機１による（１）オブジェクトの抽出処理、（２）オブジェクトの機能割付け処理、（３）機能実行処理について、それぞれ図５乃至９に関連付けて説明する。

（１）オブジェクト抽出処理
図５は、オブジェクト抽出処理を説明するためのフローチャートである。
まず、表示部１５に画像が表示された状態で、キー入力部１３の所定のキーがユーザにより押下（操作）されると、本処理が開始される（ステップＳＴ１０）。
オブジェクト抽出処理は、制御部２０により自動的にオブジェクトを抽出する自動抽出と、ユーザがオブジェクトを指定することによりオブジェクトを抽出するユーザ指定抽出の二通りの処理が用意され、自動抽出が選択されると（ステップＳＴ１１）、制御部２０によるオブジェクト抽出処理が実行される（ステップＳＴ１２）。
すなわち、制御部２０は、表示部１５に表示された画像の輝度値や色の濃淡等に着目し、これらのデータ（色データ）が急激に変化するエッジ部分を検出する輪郭抽出処理（エッジ抽出処理）を行い、順にオブジェクトを抽出する。

表示された画像からあまりに多くのオブジェクトを抽出すると、後述する機能割付け処理上煩雑となるので、ステップＳＴ１２において抽出するオブジェクトの数は、所定数に限定されており、抽出したオブジェクトが所定数に達しない場合には（ステップＳＴ１３）、再度オブジェクト抽出を行う。
抽出したオブジェクトが所定数に達した場合には（ステップＳＴ１３）、抽出したオブジェクトのデータを、メモリ１２内のオブジェクトＤＢに格納する（ステップＳＴ１６）。

一方、ステップＳＴ１１において、ユーザ指定抽出を選択すると（ステップＳＴ１１）、ユーザによりオブジェクトの指定が直接行われる（ステップＳＴ１４）。ユーザ指定抽出処理では、制御部２０は、ユーザが画面をタッチすることによりパネル入力部１６が入力した入力位置を含むオブジェクトを抽出する。
ユーザ指定抽出は、ユーザにより指定終了が確定されることにより終了し（ステップＳＴ１５）、制御部２０は、抽出したオブジェクトをメモリ１２内のオブジェクトＤＢに登録する（ステップＳＴ１６）。

（２）オブジェクトの機能割付け処理
図６は、オブジェクトＤＢの機能割付けを説明するためのフローチャートである。
携帯電話機１は、ユーザによる所定のキーが押下（操作）されると、図６に示すオブジェクトの機能割付け処理が行われるように構成されている。
図６において、先ず、登録されているオブジェクトの一覧が表示される（ステップＳＴ２０）。すなわち、制御部２０は、メモリ１２が記憶するオブジェクトＤＢから各オブジェクトを読み出して、たとえば、ユーザが選択可能なように各オブジェクトを整列して表示する。
表示されたオブジェクトの一覧からユーザにより１つのオブジェクトが選択されると（ステップＳＴ２１）、割付け可能な機能リストが表示される（ステップＳＴ２２）。すなわち、制御部２０は、メモリ１２が記憶する機能ＤＢに登録された各機能の処理内容および表示内容（図３参照）を、機能コード毎に、ユーザが選択可能に整列して表示する。
表示された割付け可能な機能リストからユーザにより１つの機能が選択されると（ステップＳＴ２３）、選択された機能に応じて、機能ＤＢが更新される（ステップＳＴ２４）。

ここで、図７は、ステップＳＴ２１〜２４の処理により、図３に示した機能ＤＢが更新される場合の一例を示す。具体的には、図７において、機能ＤＢの中の機能コード「００１」の機能、すなわち、「電界強度に応じた表示」を行う機能が更新されている。
図７に示す例では、前述したオブジェクト抽出処理により、図４に示した画像からオブジェクトＯＢＪ１（「太陽」）が抽出され、オブジェクトＤＢに登録されている場合に、ステップＳＴ２１において、上記オブジェクトＯＢＪ１が選択されたことを前提としている。
さらに、ステップＳＴ２３において、機能コード「００１」が選択されると、図７に示すように、機能ＤＢが更新される。すなわち、機能コード「００１」に対応するオブジェクトとして、オブジェクトＯＢＪ１が登録され、「電界強度に応じた表示」は、オブジェクトＯＢＪ１（「太陽」）により行われるように、また、その表示場所は、図４に示す画像（たとえば、画像データ「００１」）により決定されるように、更新される。

図６に示すフローチャートの説明に戻る。
選択された１つのオブジェクトに対する機能割付けが終了すると、オブジェクトＤＢの中に未だ機能割付けがされていないオブジェクトがあり（ステップＳＴ２５）、かつ、ユーザが機能割付けの続行を望む場合（ステップＳＴ２６）には、再度オブジェクト一覧が表示され（ステップＳＴ２０）、上記と同様の処理が行われる。
なお、機能割付けがされたオブジェクトと機能割付けがされていないオブジェクトがユーザに視認できるように、機能割付けがされたオブジェクトを区別して表示してもよい。図８（ａ）〜（ｃ）は、図４の画像から抽出したオブジェクトＯＢＪ２（「雲」）について、機能割付けがされたオブジェクトを区別して表示する場合の表示方法を例示する。

（３）機能実行処理
図９は、機能実行処理を説明するためのフローチャートである。
上述したように、オブジェクトに対して機能割付けがなされた場合、すなわち、機能ＤＢが更新された場合には、図９に示すフローチャートに従って、各機能が実行される。
図９において、表示部１５に表示された画像のうち、すでに機能割付けがされたオブジェクトをユーザが画面上でタッチすることにより、オブジェクトが指定されると（ステップＳＴ３０）、制御部２０は、パネル入力部１６の入力位置情報と、オブジェクトＤＢに登録された各オブジェクトの輪郭位置情報とを対比して、指定されたオブジェクトを決定し、さらに、決定されたオブジェクトが登録された機能コードを機能ＤＢから検索する（ステップＳＴ３１）。

次いで、ユーザにより選択されたオブジェクトに対応する機能を実行する（ステップＳＴ３２）。たとえば、図７において、機能コード「００４」に対して、オブジェクトが登録されている場合には、登録されたオブジェクトを画面上でユーザがタッチすることにより、数字「１」キーの長押操作をしなくても、登録先１への発呼が行われる。

図７に示す機能ＤＢの中で、もともと入力操作が必要がない表示処理、たとえば、機能コード「００１」に示す「電界強度に応じた表示」については、ユーザは、ステップＳＴ３０において、オブジェクトを指示する必要はなく、制御部２０は、オブジェクトに応じた表示処理を実行する。
図１０は、機能ＤＢについて更新前（図３に図示）と更新後（図７に図示）における「電界強度に応じた表示」の表示態様の差異を示す図であり、（１−ａ）〜（１−ｅ）は、更新前の機能ＤＢに基づく表示態様を、（２−ａ）〜（２−ｅ）は、更新後の機能ＤＢに基づく表示態様を、それぞれ示す。
図１０に示すように、更新後の機能ＤＢに基づく表示態様では、「電界強度」の強弱がオブジェクトである「太陽」の明暗により表される。図９に示す表示態様は一例であって、オブジェクトの表示態様をどのように、携帯電話機１の状態（図９では「電界強度」）に対応させるについては、様々な方法が考えられる。たとえば、「電界強度」の強弱に応じて、オブジェクトの表示色等を変更させてもよい。

以上説明したように、本実施形態に係る携帯電話機１によれば、上述した処理を行うことにより、ユーザ所望の任意の画像に基づいて抽出されたオブジェクトに機能を割付けて、ユーザ独自のマンマシンインタフェースを構築することが可能となる。
また、ユーザにとっては、キー入力部を使用することなく、画面上のオブジェクトを直接指定することによって所望の機能が実現でき、操作の快適性が向上する。

また、本実施形態に係る携帯電話機１によれば、携帯電話機１の電波状態や電池残量等の他、マナーモードやドライブモードといった動作環境設定等の状態表示のための専用の表示領域を設け、当該表示領域内に専用のピクトを表示させている場合には、かかる状態表示機能を表示部に表示する画像のオブジェクトに割り付ける結果、状態表示のための専用の表示領域を設定したり、専用のピクトを表示したりする必要がないので、より画面を有効に利用することが可能となる。
たとえば、一般に、携帯電話機では、表示画面の最上段において、アンテナの電界強度により受信状態を表示するためのピクトやバッテリ残量を表示するためのピクトを表示するための専用領域を設定していることが多く、その分表示画面のスペースを有効に活用できていないが、本実施形態に係る携帯電話機１によれば、いわゆる待受画面に表示する画像内のオブジェクトに、受信状態の表示機能やバッテリ残量の表示機能等を割り付けることで、専用領域を設定する必要がなく、その分画面を有効に活用できる。すなわち、所望の待受画面用の画像を、従来より大きく表示させることが可能となる。

なお、本発明は上述した本実施形態の内容に拘泥せず、本発明の要旨を変更しない範囲内で様々な改変が可能である。
たとえば、上記実施形態では、ユーザからの画面に対する指定方法として、タッチパネル方式のパネル入力部について述べたが、マウスやカーソル等を用いたポインティングデバイスによる入力を適用することもできる。

携帯電話機のシステム構成の一例を図解したブロック図である。 携帯電話機の外観の一例を図解した図である。 携帯電話機のメモリが記憶する機能ＤＢの一例である。 携帯電話機の表示部を表示する画像の一例である。 オブジェクトの抽出処理のフローチャートである。 オブジェクトの機能登録処理のフローチャートである。 更新された機能ＤＢの一例である。 機能割付されたオブジェクトの表示変更例である。 オブジェクトによる機能実行処理のフローチャートである。 機能ＤＢの更新前後における表示の差異の一例である。

符号の説明

１…携帯電話機
１１…通信処理部
１１１…送受信アンテナ
１２…メモリ
１３…キー入力部
１４…音声処理部
１４１…スピーカ
１４２…マイクロフォン
１５…表示部
１６…パネル入力部
２０…制御部

Claims (2)

1. 少なくとも、指定された画像を待受画面として表示する表示部と、
   前記画像から二つのオブジェクトを抽出し、専用のピクトに表示させていた電界強度及び電池残量の動作状態を、前記表示部において前記待受画面が表示される間、前記画像内の前記所定の二つのオブジェクトそれぞれによって表示し、前記動作状態の変化に応じて、前記所定の二つのオブジェクトのそれぞれの表示態様を変化させる制御部と
   を有する携帯端末装置。
2. 画像から所定の二つのオブジェクトを抽出するステップと、当該画像を待受画面とし、専用のピクトに表示させていた電界強度及び電池残量の動作状態を、待受画面が表示される間は、当該待受画面に表示する画像内の所定の二つのオブジェクトのそれぞれによって表示し、前記動作状態の変化に応じて、前記所定の二つのオブジェクトのそれぞれの表示態様を変化させるステップと、
   を有する情報処理装置の状態表示方法。

Images