JP2010217962A - カメラ付き携帯端末装置用のプログラムおよびカメラ付き携帯端末装置 - Google Patents

Abstract

【課題】カメラにより生成された画像を利用した機能を簡単に呼び出せるようにする。
【解決手段】カメラ付携帯端末装置の制御部に設定されるアプリケーション管理システム１００において、プレビュー画像処理部１０１がカメラから取得したプレビュー画像を認識処理部１０２に供給すると、認識処理部１０２内の各検出部１０５〜１０８により、アプリケーション１１１〜１１４が処理対象とする特徴を検出する処理が実行される。ＧＵＩ制御部１０３は、検出に成功した特徴を処理するアプリケーションに選択操作のためのキーを割り当て、そのキーの情報をアプリケーション名とともに表示する。さらに割り当てられたキーの操作が行われると、ＧＵＩ制御部１０３はアプリケーションが選択されたものと判定してアプリケーション起動部１０４に連絡し、アプリケーション起動部１０４が選択されたアプリケーションを起動する。
【選択図】図２

Description

本発明は、カメラと操作部および表示部とが設けられた筐体内にコンピュータによる制御部が配備され、この制御部に組み込まれたアプリケーションによって、カメラにより生成された画像に対する認識処理を伴う所定の情報処理を実行するカメラ付き携帯端末装置、およびこの装置に組み込まれるプログラムに関する。

近年、携帯電話をはじめとする多くの携帯端末装置には、ディジタルカメラ（以下、単に「カメラ」という。）が搭載されるとともに、このカメラにより生成された画像を用いて、２次元コードの読み取りや文字認識処理などの認識処理を実行する機能が設定されている。

たとえば、携帯電話の多くには、２次元コードの画像からＷｅｂページのアドレス情報（ＵＲＬ）を読み取り、当該アドレス情報のＷｅｂページにアクセスする機能が搭載されている（特許文献１を参照）。また、文字列の画像から文字を認識して、メールエディタなどの文書作成システムに出力する機能を具備するものもある（特許文献２を参照）。また顔画像の認識技術（特許文献３を参照）を利用して、画像から検出された顔画像を似顔絵画像に変換するアプリケーションも開発されている。

特開２００９−３３４１１号公報 特開２００８−２５０８１８号公報 特許第４２１８３４８号

上記のとおり、カメラ付き携帯端末装置の機能は多様化されているが、これらの機能を呼び出すためのユーザインターフェースは不十分であり、一般に、複数段階の操作を経なければ目的とする機能を呼び出すことができない。このため、ユーザの中には、使いたい機能があるのに、その機能を呼び出す手順がわからないため使えない、と訴える人がいる。また、自分が所有する装置にどのような機能があるかを十分に認識していないユーザも多数認められる。

本発明は上記の問題点に着目し、カメラにより生成された画像を利用した機能を簡単に呼び出せるようにして、カメラ付き携帯端末装置の利便性を高めることを、課題とする。

本発明が適用されるカメラ付き携帯端末装置は、カメラと、操作部および表示部と、コンピュータによる制御部とを具備し、制御部に、特定の条件を満たす特徴を画像から検出して、検出された特徴を用いて所定の情報処理を実行するアプリケーション用のプログラムが複数組み込まれている。操作部は、後記するように、タッチパネルとして表示部に一体に設けられる場合と、表示部とは別体に設けられる場合とがある。

上記のアプリケーションにより検出される特徴としては、たとえば、２次元コードやバーコードなどの光学情報コードや文字列がある。また、人の顔やあらかじめ登録されたパターン画像などを検出対象の特徴とする場合もある。各アプリケーションは、これらの特徴を検出して、その検出結果を出力したり、検出された特徴を用いた編集処理などを実行する。

本発明によるプログラムは、上記の制御部を、以下の特徴検出手段、ＧＵＩ（グラフィカル・ユーザ・インターフェース）制御手段、アプリケーション起動手段として機能させる。
特徴検出手段は、カメラがプレビュー画像を生成している間に、各アプリケーションの処理対象の特徴をプレビュー画像から検出する処理を、特徴の種毎に実行する。ＧＵＩ制御手段は、特徴検出手段により検出された特徴に対応する全てのアプリケーションについて、それぞれ操作部による選択操作を受け付ける状態を設定すると共に、これらのアプリケーション毎に、その機能および選択操作の方法を示す情報を表示部に表示する。アプリケーション起動手段は、ＧＵＩ制御手段による表示対象のアプリケーションのうちの１つを選択する操作が行われたことに応じて、選択されたアプリケーションを起動する。

上記のプログラムによれば、ユーザが、画像処理による認識技術を利用した何らかの処理を行う目的で、処理対象の特徴にカメラを向けたときに、カメラにより生成されたプレビュー画像から上記の特徴が検出される。さらに表示部には、検出された特徴を処理するアプリケーションの機能およびその選択操作の方法を示す情報が表示される。ここでユーザがこの表示に従ってアプリケーションを選択すると、アプリケーション起動手段によって、選択されたアプリケーションが立ち上げられる。よって、ユーザは、目的とする機能を呼び出す方法がわからなくとも、表示された情報に基づいて目的とする機能を容易に呼び出すことができる。

また、ユーザが利用しようとしている機能のほかに、他の機能により処理される特徴がカメラの視野内に含まれている場合にも、各特徴に対応するアプリケーションの機能が個別に表示されるので、目的とするアプリケーションを誤りなく選択することができる。

またユーザが特に意識せずにカメラ付き携帯端末装置を手にしている場合でも、いずれかのアプリケーションによる処理対象の特徴がカメラの視野内に含まれている場合には、上記の特徴検出手段およびＧＵＩ制御手段による処理が行われ、利用することができる機能や選択操作の方法が表示される。よって、ユーザは表示された情報により、装置にどのような機能が組み込まれているのかを認識することができ、また気軽にその機能を試してみることができる。

なお、プレビュー画像は一定時間毎にカメラを駆動することにより生成されるもので、カメラの撮像素子のうちの一部を用いた解像度の低い画像として生成されるのが望ましい。また、装置に電源が供給されている間は、スタンバイ状態のときを除き、常時、プレビュー画像を生成しても良いが、カメラの使用を指示する操作が行われたことに応じて、プレビュー画像の生成を開始してもよい。

以下、上記のプログラムの好ましい実施態様を、５つあげて説明する。
まず第１の態様では、ＧＵＩ制御手段は、特徴検出手段により検出された特徴に対応する全てのアプリケーションをそれぞれ操作部の特定の１キーに割り当てると共に、これらのアプリケーションのアプリケーション名および割り当てられたキーを示す情報を表示部に表示する。

上記第１の態様によれば、ユーザは表示されたアプリケーション名により利用できる機能を容易に把握することができる。また、いずれの機能を選択する場合にも、キーを１回操作するだけで良くなり、操作が煩雑であった従来の問題を解消することができる。

第２の態様は、操作部がタッチパネルとして表示部に一体に設けられていることを前提とする。この態様のＧＵＩ制御手段は、特徴検出手段により検出された特徴に対応する全てのアプリケーションのアプリケーション名を表示部に表示すると共に、タッチパネルの各アプリケーション名の表示位置に対応する箇所で、それぞれ対応するアプリケーションを選択する操作を受け付ける状態を設定する。

第２の態様によれば、アプリケーション名を表示することにより、そのアプリケーションの機能が表示されると同時に、当該アプリケーションを選択するための操作場所が示されることになる。これにより、ユーザは利用できる機能を容易に認識することができ、目的とするアプリケーション名に触れることにより、アプリケーションを容易に立ち上げることができる。

第３の態様も、操作部がタッチパネルとして表示部に一体に設けられていることを前提とするもので、ＧＵＩ制御手段は、プレビュー画像の表示画面において、特徴検出手段により検出された特徴に対応する箇所を識別表示すると共に、各識別表示の近傍位置に識別表示された特徴に対応するアプリケーション名を表示する。また、タッチパネルの各識別表示に対応する箇所で、それぞれ識別表示された特徴に対応するアプリケーションを選択する操作を受け付ける状態を設定する。

上記の態様によれば、プレビュー画像中の特徴を利用できる機能を示すとともに、この特徴が表示されている場所をアプリケーションを選択するための操作場所として報知することができる。

つぎに第４の態様では、ＧＵＩ制御手段は、アプリケーションを選択する操作が行われたことに応じて、選択されたアプリケーションに処理させる特徴を配置するための枠領域を重ね合わせたプレビュー画像を表示部に表示する処理を、さらに実行する。

プレビュー画像から処理対象の特徴を検出して、対応するアプリケーションを起動することができても、その特徴の位置や大きさによっては、アプリケーションによる認識処理を正しく行うことができない場合がある。第４の態様では、この点に着目して、枠領域を重ね合わせたプレビュー画像を表示するので、ユーザは、この枠領域内に処理対象の特徴が入るように撮像範囲を調整することにより、起動したアプリケーションによる処理を精度良く行うことができる。

第５の態様では、ＧＵＩ制御手段は、表示対象の情報をカメラにより生成されたプレビュー画像に重ねて表示する。また、アプリケーションの選択操作と共に操作部からの撮影指示操作を受け付けることが可能に構成される。さらに、この態様のプログラムには、ＧＵＩ制御手段が撮影指示を受け付けたことに応じてカメラを駆動して、生成された画像を取り込む撮影制御手段として制御部を機能させる。

上記の態様によれば、アプリケーションの選択を受け付けて、選択されたアプリケーションのプログラムを起動する処理と通常の写真撮影とを並列させて実行することが可能になる。よって写真撮影の際に、アプリケーションの処理対象の特徴（たとえば文字）がカメラの視野に含まれた場合にも、支障が生じることがなく、ユーザの意思に応じた処理を行うことができる。

本発明によるカメラ付き携帯端末装置は、カメラと、操作部および表示部と、特定の条件を満たす特徴を画像から検出して、検出された特徴を用いて所定の情報処理を実行するアプリケーション用のプログラムが複数組み込まれたコンピュータによる制御部とを具備する。さらに制御部には、上記したプログラムによって、特徴検出手段、ＧＵＩ制御手段、プログラム起動手段の各機能が設けられる。

上記のプログラムおよびカメラ付き携帯端末装置によれば、ユーザがカメラを利用した情報処理を行う場合に、アプリケーション名やその呼び出し方法がわからなくとも、表示部に表示された情報に従って必要な機能を呼び出すことができる。よって、ユーザの負担を軽減し、装置の使い勝手を向上することができる。また、ユーザは、表示された情報により、自身が使用する装置に搭載されている機能を認識することができるので、搭載されている機能が利用される頻度が高められ、各種機能の搭載が無駄になるのを防止することができる。

本発明が適用される携帯電話の構成を示すブロック図である。 上記の携帯電話に組み込まれるアプリケーション管理システムおよびアプリケーション群の構成を示す機能ブロック図である。 似顔絵作成アプリケーションが呼び出される場合の表示画面の変化の例を示す図である。 名刺リーダが呼び出される場合の表示画面の変化の例を示す図である。 ２次元コードを含む印刷物と、この印刷物を対象にした撮影により２次元コードリーダが呼び出される場合の表示画面の変化の例を示す図である。 アプリケーション管理システムによる処理手順を示すフローチャートである。

図１は、本発明が適用された携帯電話の構成を示す。
この携帯電話は、コンピュータを主体とする制御部１、カメラ２、画像プロセッサ３、表示部４、操作部５、通信回路６などを具備する。カメラ２、表示部４、操作部５は、図示しない筐体に組み付けられ、制御部１、画像プロセッサ３、通信回路６は、筐体内の制御基板に搭載される。また、図示していないが、表示部４、操作部５、通信回路６と制御部１との間には、インターフェース等の回路が設けられる。

制御部１には、ＣＰＵ１１、主メモリ１２、画像メモリ１３などが含まれる。主メモリ１２には、プログラムや設定用のデータなどが保存される。一方、画像メモリ１３には、制御部が認識処理を行う際に処理対象に設定された画像データやユーザのシャッタ操作に伴う写真撮影により生成された画像データが保存される。

操作部５には、テンキーを含む複数のキーが配置され、表示部４は、液晶パネルやその駆動回路により構成される。通信回路６は、通話やインターネットへの接続に用いられる。

カメラ２は、ＣＣＤまたはＣＭＯＳを有するディジタルカメラ２であり、画像プロセッサ３を介して制御部１に接続される。画像プロセッサ３は、通常は、一定時間毎にカメラ２を駆動し、カメラ２から出力された画素単位の画像データを所定の規則に基づき間引きして、解像度の低いプレビュー画像を生成する。一方、ＣＰＵ１１から撮像指示を受けたときには、すべての画素の画像データを用いて高解像度の画像を生成する。

画像プロセッサ３から出力されたプレビュー画像は表示部４に出力されて、リアルタイムで表示され、またＣＰＵ１１にも出力される。高解像度の画像も同様にＣＰＵ１１に出力された後に、ＣＰＵ１１により画像メモリ１３に保存される。またＣＰＵ１１は、ユーザの次の操作を受け付けるまで当該画像を表示部４に固定表示する。

つぎに、この実施例の携帯電話の主メモリ１２には、カメラ２により生成された画像から特定の条件を満たす特徴を検出し、その検出結果に基づき所定の情報処理を行う機能（アプリケーション）をＣＰＵ１１に付与するためのプログラムが複数格納される。

さらに主メモリ１２には、ユーザが起動するアプリケーションを選択する場合の操作を支援して、この操作により選択されたアプリケーションを起動する制御を行うためのプログラムが格納されている。以下、このプログラムによりＣＰＵ１１に設定される機能を「アプリケーション管理システム」という。

図２は、上記のアプリケーション管理システム（この図では符号１００により示す。）およびこのシステム１００が管理するアプリケーションを対象にした機能ブロック図を示す。この図に示すように、この実施例の携帯電話には、画像に対する認識処理を利用するアプリケーションとして、２次元コードリーダ１１１、似顔絵作成用アプリケーション１１２、名刺リーダ１１３、およびＯＣＲソフト１１４が組み込まれている。

２次元コードリーダ１１１は、２次元コードとしてＱＲコード（登録商標）を検出対象とするもので、画像から２次元コードを検出し、このコードにエンコードされている情報を復号する処理を行う。似顔絵作成アプリケーション１１２（次の図３に示すように、ユーザには「似顔絵アプリ」という名称で提示される。）は、画像から人の顔画像を検出し、その輪郭線などに基づき似顔絵画像を生成する。

ＯＣＲソフト１１４は、画像から文字列を検出し、検出された文字列の構成文字を読み取ってテキストデータに変換する。このＯＣＲソフト１１４は、単独で動作して、読み取り結果を図示しない他のアプリケーション（メールエディタ、翻訳用のソフトウェアなど）に出力するほか、名刺リーダ１１３の起動時にも、名刺リーダ１１３からの要求に応じた読取処理を実行する。

名刺リーダ１１３は、画像から名刺の輪郭形状を検出すると共に、ＯＣＲソフト１１４に、この輪郭線により囲まれた領域内の文字認識処理を要求する。この要求に応じてＯＣＲソフト１１４が領域内の文字を認識して、文字列毎にテキストデータに変換すると、名刺リーダ１１３は各テキストデータを解析して、氏名、会社などの属性を設定し、図示しない名刺データベースに格納する処理を実行する。

上記のアプリケーション群に対し、この実施例のアプリケーション管理システム１００には、プレビュー画像入力部１０１、認識処理部１０２、ＧＵＩ制御部１０３、アプリケーション起動部１０４などが設けられる。

プレビュー画像処理部１０１は、画像プロセッサ３で生成されたプレビュー画像を入力する。また画像を入力する毎に、一段階前の入力画像に対する新規の入力画像の変化量を検出し、変化量が所定の許容値以下になったときの画像を認識処理部１０２に提供する。

認識処理部１０２は、プレビュー画像処理部１０１から提供されたプレビュー画像に、各アプリケーションにより処理される特徴が含まれているかどうかを認識するためのものである。具体的には、２次元コード検出部１０５、顔検出部１０６、名刺検出部１０７、文字列検出部１０８など、特徴の種毎に専用の検出部が設けられる。

２次元コード検出部１０５は、ＱＲコード（登録商標）に特有の３つのファインダパターンを検出する。さらにこの検出に成功すると、各ファインダパターンを基準に、２次元コードが包含される領域を特定する。

顔検出部１０６は、画像から肌の色に近い色彩の画素が所定数以上分布している領域（以下、「肌色領域」という。）を検出し、さらにこの肌色領域内の特徴点を検出する。そして検出された各特徴点の分布を、目、鼻、口などの顔器官の配置に関するルールと照合し、各特徴点がこのルールに適合したとき、肌色領域を顔領域として特定する。

文字列検出部１０８は、認識処理部１０２内に設定されたエッジ抽出部（図示せず。）がプレビュー画像に対して実行したエッジ抽出処理の結果を取り込んで、画像中の線状の成分を特定する。さらに線状成分の連結体を１つの文字として検出し、各文字を、文字間の距離に基づきグループ分けする。なお、この段階の検出は、文字の有無を判別することを目的とするので、ＯＣＲソフト１１４のような文字認識処理を行う必要はない。

名刺検出部１０７も、上記のエッジ抽出部による処理結果を取り込み、ハフ変換などにより直線成分を示すエッジを検出する。さらに４本の直線成分により長方形領域が形成されている箇所を検出し、この検出に成功した場合には、長方形領域の縦横の比率を算出する。

上記の比率があらかじめ登録した名刺の規格に対応している場合には、長方形領域に対する文字列検出部１０８の検出結果を参照し、長方形領域内で所定数以上の文字が検出されている場合には、当該領域を名刺として検出する。一方、長方形領域の縦横の比率が名刺の規格に対応していない場合や、文字の検出数が所定数を下回る場合には、プレビュー画像には名刺の特徴は含まれていないと判定する。
なお、名刺検出部１０７が名刺を検出した場合には、文字列検出部１０８にその旨を連絡する。文字列検出部１０８では、この連絡に応じて、名刺として検出された領域に対応する検出結果を破棄する。

このように認識処理部１０２では、特徴の種毎に設定された検出部１０５〜１０８により、プレビュー画像から各種特徴を検出し、この検出結果をＧＵＩ制御部１０３に供給する。ＧＵＩ制御部１０３では、供給された情報に基づき、検出された特徴を処理できるアプリケーションを特定し、特定されたアプリケーション毎に選択用のキーを割り当てる。さらに、後記する具体例に示すように、特定されたアプリケーションのアプリケーション名や割り当てられたキーを示す情報を表示部４に表示し、ユーザのキー操作を受け付ける。

ここで割り当てられたキーの１つが操作されると、ＧＵＩ制御部１０３は、このキーに対応するアプリケーションが選択されたものと判定して、その判定結果をアプリケーション起動部１０４に渡す。これに応じてアプリケーション起動部１０４は、選択されたアプリケーションを起動する。

以後は、起動したアプリケーションにより先に説明したような処理が実行されることになるが、この実施例では、この段階でもＧＵＩ制御部１０３により、処理対象の特徴がアプリケーションの認識に適した位置に配置するためのガイダンス表示（詳細は図３〜５の具体例により説明する。）を行うようにしている。

なお、この実施例の画像プロセッサ３では、電源が供給されている間は、スタンバイモードを除き、常にカメラ２を駆動するとともに、ＣＰＵ１１からの撮影指示に待機している。アプリケーション管理システム１００は、この画像プロセッサ３による処理に並行して上記の処理を実行する。またＧＵＩ制御部１０３は、アプリケーションの選択操作を受け付けるほか、シャッタ操作も受け付けると共に、シャッタ操作を受け付けた場合には、写真撮影を制御するシステム（図示せず。）に連絡するようにしている。このような制御により、ユーザが写真撮影を行う場合にも、支障なく対応することができる。

図３〜５は、上記のアプリケーション管理システム１００の処理により、プレビュー画像から所定の特徴が検出されて、その検出結果やユーザの操作に応じて表示部４の表示が変化する例を示す。いずれの例でも、画面の大部分にプレビュー画像の表示領域２０が設定され、その下方に、操作部５の機能キー（図示していないが、この実施例には５つの機能キーが設けられる。）に割り付けられている機能を示した表示欄２１が設けられている。この表示欄２１の表示のうち、中央の「撮影」は、シャッタ操作のための機能キーの配置位置を示すものである。

以下、各例について具体的に説明する。
まず、図３の例では、人物を対象にした撮影が行われている。図３中の画面Ｇ３１は、被写体へのカメラ２の位置合わせが安定し、一段階前のプレビュー画像に対する変化量が基準値を下回る状態になったときのプレビュー画像を示す。このとき、認識処理部１０２の各検出部１０５〜１０８による処理が実行され、その処理結果に基づき、表示は画面Ｇ３２のように変化する。

図３の例の場合には、顔検出部１０６により顔領域が検出されるので、これに伴い、画面Ｇ３２には、プレビュー画像に合わせて、検出された顔領域を示す矩形枠２０１が表示される。さらにこの画面Ｇ３２には、検出された特徴（顔画像）を処理するアプリケーションの名称（似顔絵アプリ）と、このアプリケーションに割り当てられたキーを報知するメッセージ２０２が表示されている。

この実施例では、検出された特徴により特定したアプリケーションに、テンキーの各数字キーを１つずつ割り当てるようにしている。図３の例で特定された似顔絵作成アプリケーションには、「１」のキーが割り当てられている。
ここでユーザが割り当てられたキーを操作すると、対応するアプリケーション（似顔絵作成用アプリケーション）が起動し、表示は画面Ｇ３３のように変化する。この画面Ｇ３３では、プレビュー画像に所定大きさの矩形枠２０３を重ね合わせて表示する。なお、「重ね合わせて表示」とは、プレビュー画像が更新されても矩形枠２０３を常に同じ場所に表示する処理をいう。

さらに、画面Ｇ３３には、処理対象の顔を矩形枠２０３内に入れることを指示するメッセージ２０４が表示される。ユーザがこの指示に従って被写体の顔が矩形枠２０３内に入る状態を設定してシャッタ操作を行うと、その操作に応じて高解像度の画像が生成されて画像メモリ１３に保存される。これに応じて表示部４の表示も、保存された画像を示す画面Ｇ３４に変化する。さらに、図示していないが、この後に似顔絵の作成処理が終了すると、作成された似顔絵を示す画面が表示されることになる。

一方、ユーザが被写体の人物を写真撮影することを目的としている場合には、画面Ｇ３２が表示されているときにシャッタ操作が行われる。この操作に応じて、高解像度の画像が生成されて、その高解像度の画像を示す画面Ｇ３５が表示される。

この画面Ｇ３５では、機能キーの表示欄２１の表示も、生成された画像に対する処理を示すものに変更されている。表示欄２１中の「保存」は画像メモリ１３内の画像を主メモリ１２内の画像データベースに保存する処理に相当する。「撮り直し」は、画像メモリ１３内の画像を画像データベースに保存せずに消去する処理に相当する。

上記のとおり、プレビュー画像を処理することができるアプリケーションが提示された状態下でも、ユーザがこの表示を無視してシャッタ操作を行った場合には、アプリケーションは起動せず、通常の写真撮影が実行される。以下の図４，図５の例では、シャッタ操作に伴う処理を示していないが、これらの例でも、シャッタ操作が行われた場合には、図３の例と同様の処理が実行される。

つぎに図４の例では、名刺を対象にした撮影が行われている。図中の画面Ｇ４１は、一段階前のプレビュー画像に対する変化量が基準値を下回る状態になったときの表示である。この例では、認識処理部１０２の各検出部１０５〜１０８による処理が行われ、名刺検出部１０７が名刺の検出に成功したものとしており、これにより、表示部４の表示は、画面Ｇ４２に変化する。この画面Ｇ４２では、名刺として認識された領域に矩形枠２０４が表示されると共に、下方に、この枠内の特徴を処理するアプリケーションの名称（名刺リーダ）や、このアプリケーションに割り当てられたキー（この実施例でも「１」のキーである。）を報知するメッセージ２０５が表示される。

ここでユーザが報知されたキーを操作すると、名刺リーダ１１３が立ち上がり、これに応じて、表示は画面Ｇ４３に変化する。この画面Ｇ４３でも、図３の画面Ｇ３３と同様に、プレビュー画像に所定大きさの矩形枠２０６が重ね合わせて表示される。また処理対象の特徴（名刺）を枠２０６内に入れることを指示するメッセージ２０７が表示される。

最後の画面Ｇ４４は、ユーザがメッセージ２０７に従ってカメラ２の位置を調整したときのものである。この段階では、名刺リーダ１１３がＯＣＲソフト１１４と連絡して名刺内の文字列を処理して認識している。この認識処理が終了すると、表示は、認識結果を示す画面（図示せず。）に変更される。

つぎに図５の例では、上段の（１）に２次元コードを含む印刷物３００（たとえばチラシ）の一部を示し（図５（１））、下段の（２）に、この印刷物３００を撮影したときの表示部４の画面の変化の例を示す。

この実施例では、印刷物３００の２次元コード３０１を読み取ることを目的としてカメラ２を位置合わせしている。図中の画面Ｇ５１は、この位置合わせが終わったときのプレビュー画像であるが、この画像には、目的とする２次元コード３０１のほか、その近傍に印刷された文字列も含まれている。よって、この場合には、２次元コード検出部１０５により２次元コードが検出されると共に、文字列検出部１０８により文字列が検出される状態になる。

これらの検出に伴い、表示部４の表示は画面Ｇ５２に変化する。この画面Ｇ５２では、検出された２種類の特徴のうち、２次元コードを処理するアプリケーション（２次元コードリーダ１１１）と、文字列を処理するアプリケーション（ＯＣＲソフト１１４）の各名称、およびこれらのアプリケーションに割り当てられたキー（「１」「２」）を報知するメッセージ２１１が表示されている。

なお、この画面Ｇ５２でも、先の実施例と同様に、各特徴が検出された範囲毎に矩形枠が２０８，２０９，２１０が表示されているが、メッセージ２１１が重ね合わせられた場所は非表示状態に設定されている。

上記の表示状態下で、ユーザが２次元コードリーダ１１１に割り当てられた「１」のキーを操作すると、表示は画面Ｇ５３に変化する。この画面Ｇ５３でも、図３の画面Ｇ３３や図４の画面Ｇ４３と同様に、所定大きさの矩形枠２１２が表示されると共に、処理対象の２次元コードを矩形枠２１２内に入れることを指示するメッセージ２１３が表示される。

２次元コードリーダ１１１は、矩形枠２１２内で３つのファインダパターンが検出できるまでファインダパターンの検出を続け、検出に成功すると、画像プロセッサ３に撮像指示を出力して高解像度の画像を生成させ、この画像を用いて２次元コードの読取処理を実行する。最後の画面Ｇ５４は、この読取処理が実施されている状態下での表示に相当する。この処理が終了すると、読み取られた情報を示す画面（図示せず。）が表示されることになる。

上記各例に示したように、この実施例のアプリケーション管理システム１００によれば、ユーザが目的とする特徴にカメラ２を向けることにより、その特徴を処理可能なアプリケーションを特定し、アプリケーション名およびこのアプリケーションに割り付けられたキーを表示するので、ユーザは、表示されたキーを操作することにより、アプリケーションを選択することができる。また、いずれの例でも、アプリケーション毎に操作部５のテンキーの１つを割り当てるので、ユーザは該当するキーを１回操作することによって、アプリケーションを起動させることができる。よって、アプリケーションを呼び出す操作が煩雑になるおそれがない。

さらに、アプリケーションが起動したときは、プレビュー画像に、処理対象の特徴を位置合わせするための矩形枠２０３，２０６，２１２を重ねて表示するので、起動したアプリケーションは、認識に適した画像を得て、精度の良い処理を実行することができる。よって、ユーザによるカメラ２の位置合わせが適切でないまま、アプリケーション側の処理が行われるのを防止して、処理の精度を確保することができる。

図６は、アプリケーション管理システム１００により実行される処理の概略手順を示す。以下、このフローチャートに沿って、これまでに説明した処理を整理して説明する。

このフローチャートによる処理は、電源立ち上げ時のほか、いずれかのアプリケーションによる処理または写真撮影が終了したことに応じて開始される。またこの処理では、認識処理部１０２の各検出部１０５〜１０８により検出される特徴の種毎に検出フラグを設定することにより、各特徴の検出結果を管理するようにしている。

まず最初のステップ（ＳＴ１）で、１回目のプレビュー画像の入力を行った後に、全ての検出フラグをリセットしてオフに設定する（ＳＴ２）。

以後は、画像プロセッサ３から出力されるプレビュー画像を毎回入力して、前回の画像に対する変化量を算出する（ＳＴ４）。この実施例では、「勾配法」に基づき、画像間に生じた変化の大きさおよび変化の方向を示すベクトルを求め、このベクトルの長さを算出するようにしている。

つぎに、上記の処理により算出された変化量を基準値と照合し、変化量が基準値を上回る場合（ＳＴ５が「ＮＯ」）には、ＳＴ３に戻って次のプレビュー画像を入力する。

以下、同様の処理が続き、所定の時点で変化量が基準値以下になると（ＳＴ５が「ＹＥＳ」）、各検出部１０５〜１０８により各種特徴を検出する。また検出に成功した場合には、対応する特徴の検出フラグをオンに設定する（ＳＴ６）。

全ての検出処理が終了すると、各検出フラグをチェックする（ＳＴ７）。ここで、オンに設定された検出フラグがない場合には、ＳＴ７が「ＮＯ」となってＳＴ３に戻る。

一方、少なくとも１つの検出フラグがオンであれば、ＳＴ７が「ＹＥＳ」となってＳＴ８に進み、オン状態の検出フラグに対応する特徴を処理対象とするアプリケーションを特定する。さらに特定したアプリケーションに対し、「１」「２」「３」・・・というように操作部５の数字キーを順に割り当てる（ＳＴ９）。

この後は、プレビュー画像中の検出された特徴に対応する範囲に矩形枠を表示し（ＳＴ１０）、さらにＳＴ１１で、プレビュー画像の所定位置に、特定されたアプリケーションの名称および割り当てられたキーの種類を表示する（画面Ｇ３２，Ｇ４２，Ｇ５２の表示に相当する。）。この状態下で割り当てられたキーのいずれかが操作されると（ＳＴ１２が「ＹＥＳ」）、そのキーに対応するアプリケーションを起動する（ＳＴ１３）。さらに、ＳＴ１４において、処理対象の特徴を含める矩形枠を表示する（画面Ｇ３４，Ｇ４４，Ｇ５４の表示に相当する。）。

一方、ＳＴ１１の処理が終了した後にシャッタ操作が行われた場合（ＳＴ１２が「ＮＯ」、ＳＴ１５が「ＹＥＳ」）には、写真撮影を管理するシステムにシャッタ操作が行われた旨を連絡して処理を終了する（ＳＴ１６）。

なお、上記の実施例では、検出された特徴を処理するアプリケーションや割り当てられたキーを報知する表示をメッセージ情報として表示しているが、これに限らず、メニュー形式の表示を行ってもよい。また、操作部５がタッチパネルとして表示部４に一体に設けられる場合にも、検出された特徴に対応するアプリケーション名によるメニューを表示し、いずれかのアプリケーション名の表示箇所を触れる操作に応じて、対応するアプリケーションを起動するようにしてもよい。

さらに、タッチパネル式の操作部５を設ける場合には、検出された特徴を囲む枠領域に対応する箇所にアプリケーションを選択するキーとしての機能を設定することができる。たとえば、図４の例であれば、名刺を検出したことに応じて矩形枠２０４を表示すると共に、その近傍位置に「名刺リーダ」と表示し、矩形枠２０４内への押圧操作が行われた場合に、名刺リーダ１１３を起動することができる。また図５の例であれば、２次元コードに対応する矩形枠２０９の近傍に「コードリーダ」と表示し、文字の検出箇所に対応する矩形枠２０８，２１０の近傍に「ＯＣＲ」と表示し、いずれかの枠内への押圧操作が行われたことに応じて対応するアプリケーションを起動することができる。また、この場合には、最初は矩形枠のみを表示し、矩形枠内が１回操作されたことに応じてその矩形枠内の特徴に対応するアプリケーション名を表示し、２回目の操作が行われたときにアプリケーションを起動するようにしてもよい。

また上記の実施例では、プレビュー画像から特徴を検出する処理を直接実行するアプリケーションのみを選択操作の対象としたが、これらのアプリケーションによる処理結果を供給されて処理を実行するアプリケーション（たとえば、ＯＣＲソフト１１４からテキストデータの供給を受ける翻訳ソフト、電子メールエディタなど）も含めて選択できるようにしてもよい。

１ 制御部
２ カメラ
３ 画像プロセッサ
４ 表示部
５ 操作部
１１ ＣＰＵ
１２ 主メモリ
１００ アプリケーション管理システム
１０２ 認識処理部
１０３ ＧＵＩ制御部
１０４ アプリケーション起動部
１１１，１１２，１１３，１１４ アプリケーション

Claims (7)

1. カメラと、操作部および表示部と、特定の条件を満たす特徴を画像から検出し、検出された特徴を用いて所定の情報処理を実行するアプリケーション用のプログラムが複数組み込まれたコンピュータによる制御部とを具備するカメラ付き携帯端末装置、の前記制御部に組み込まれるプログラムであって、
   前記カメラがプレビュー画像を生成している間に、各アプリケーションの処理対象の特徴をプレビュー画像から検出する処理を、特徴の種毎に実行する特徴検出手段、
   前記特徴検出手段により検出された特徴を処理対象とする全てのアプリケーションについて、それぞれ前記操作部による選択操作を受け付ける状態を設定すると共に、これらのアプリケーション毎にその機能および選択操作の方法を示す情報を前記表示部に表示するＧＵＩ制御手段、
   前記ＧＵＩ制御手段による表示対象のアプリケーションのうちの１つを選択する操作が行われたことに応じて、選択されたアプリケーションを起動するアプリケーション起動手段、
   として前記制御部を機能させるように構成された、カメラ付き携帯端末装置用のプログラム。
2. 前記ＧＵＩ制御手段は、前記特徴検出手段により検出された特徴に対応する全てのアプリケーションをそれぞれ前記操作部の特定の１キーに割り当てると共に、これらのアプリケーションのアプリケーション名および割り当てられたキーを示す情報を前記表示部に表示する、
   請求項１に記載されたカメラ付き携帯端末装置用のプログラム。
3. 請求項１に記載されたプログラムにおいて、
   前記操作部がタッチパネルとして表示部に一体に設けられているカメラ付き携帯端末装置に組み込まれることを前提とし、
   前記ＧＵＩ制御手段は、前記特徴検出手段により検出された特徴に対応する全てのアプリケーションのアプリケーション名を前記表示部に表示すると共に、前記タッチパネルの各アプリケーション名の表示位置に対応する箇所で、それぞれ対応するアプリケーションを選択する操作を受け付ける状態を設定する、カメラ付き携帯端末装置用のプログラム。
4. 請求項１に記載されたプログラムにおいて、
   前記操作部がタッチパネルとして表示部に一体に設けられているカメラ付き携帯端末装置に組み込まれることを前提とし、
   前記ＧＵＩ制御手段は、前記プレビュー画像の表示画面において、前記特徴検出手段により検出された特徴に対応する箇所を識別表示するとともに、各識別表示の近傍位置に識別表示された特徴に対応するアプリケーション名を表示し、さらに前記タッチパネルの各識別表示に対応する箇所で、それぞれ識別表示された特徴に対応するアプリケーションを選択する操作を受け付ける状態を設定する、
   カメラ付き携帯端末装置用のプログラム。
5. 請求項１〜４のいずれかに記載されたプログラムにおいて、
   前記ＧＵＩ制御手段は、前記アプリケーションを選択する操作が行われたことに応じて、選択されたアプリケーションに処理させる特徴を配置するための枠領域を重ね合わせたプレビュー画像を前記表示部に表示する処理を、さらに実行する、
   カメラ付き携帯端末装置用のプログラム。
6. 請求項１〜５のいずれかに記載されたプログラムにおいて、
   前記ＧＵＩ制御手段は、表示対象の情報を前記カメラにより生成されたプレビュー画像に重ねて表示すると共に、前記操作部からの撮影指示操作を受け付けることが可能に構成されており、
   前記ＧＵＩ制御手段が撮影指示操作を受け付けたことに応じて前記カメラを駆動して、生成された画像を取り込む撮影制御手段として、前記制御部をさらに機能させる、カメラ付き携帯端末装置用のプログラム。
7. カメラと、操作部および表示部と、特定の条件を満たす特徴を画像から検出して、検出された特徴を用いて所定の情報処理を実行するアプリケーション用のプログラムが複数組み込まれたコンピュータによる制御部とを具備するカメラ付き携帯端末装置において、
   前記カメラがプレビュー画像を生成している間に、各アプリケーションの処理対象の特徴をプレビュー画像から検出する処理を、特徴の種毎に実行する特徴検出手段、
   前記特徴検出手段により検出された特徴に対応する全てのアプリケーションについて、それぞれ前記操作部による選択操作を受け付ける状態を設定すると共に、これらのアプリケーション毎に、その機能および選択操作の方法を示す情報を前記表示部に表示するＧＵＩ制御手段、
   および前記ＧＵＩ制御手段による表示対象のアプリケーションのうちの１つを選択する操作が行われたことに応じて、選択されたアプリケーションを起動するプログラム起動手段が、前記制御部に設けられていることを特徴とする、カメラ付き携帯端末装置。

Images