WO2013038872A1

WO2013038872A1 - 画像処理装置、画像処理方法、および画像処理プログラム

Info

Publication number: WO2013038872A1
Application number: PCT/JP2012/070973
Authority: WO
Inventors: 亜希田中
Original assignee: Ｎｅｃカシオモバイルコミュニケーションズ株式会社
Priority date: 2011-09-16
Filing date: 2012-08-20
Publication date: 2013-03-21
Also published as: EP2757502B1; JPWO2013038872A1; US20140226037A1; US9396405B2; EP2757502A4; JP5991323B2; EP2757502A1

Abstract

　表示部の表示画面上において指定された指定エリアを検出する操作部と、前記検出された指定エリア毎に、カメラ画像において前記指定エリアに対応する位置を示す指定エリア画像位置情報を取得する特定部と、前記指定エリア画像位置情報に基づき、前記指定エリアに対応する画像を前記カメラ画像から切り出す画像切出し処理部と、前記カメラ画像から切り出した前記指定エリアに対応する画像の画像データを保存するメモリ部と、前記指定エリアが指定された場合、当該指定エリアの指定エリア画像位置情報を取得する前記特定部と、当該指定エリアに対応する画像を切り出す処理部とを、それぞれ前記指定エリア毎に起動させる処理制御部と、を備える。

Description

画像処理装置、画像処理方法、および画像処理プログラム

　本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関する。

　カメラが撮像した画像に基づき、画像内の文字列を認識し、認識した文字列をテキストデータに変換する画像情報処理装置がある（例えば、特許文献１参照）。
　この画像情報処理装置は、手ブレ等に起因する文字列の誤認識を低減させるために、認識対象が文字列を認識するための画像として適当であるか否かを判定し、判定により得た画像に対して文字認識処理を行う。

特開２００４－２０６５４８号公報

　しかしながら、全ての画像に対して文字認識処理を実行すると、文字認識処理を実行すべきデータ処理量の増加に伴い、装置全体の処理負荷が増大し、同一の装置内で行なわれる他の処理が遅延する問題がある。この場合、ユーザからの操作指示に対して、装置の反応が悪くなり、装置の操作性が悪くなる問題があった。

　本発明は、上記課題を解決することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。

　この発明は上述した課題を解決するためになされたもので、本発明の一実施形態における画像処理装置は、レンズから入射する光学像を光電変換して画像データを取得するカメラと、前記画像データに基づくカメラ画像を表示する表示部と、前記表示部の表示画面上において指定された指定エリアを検出する操作部と、前記検出された指定エリア毎に、前記カメラ画像において前記指定エリアに対応する画像の位置を示す指定エリア画像位置情報を取得する特定部と、前記指定エリア画像位置情報に基づき、前記指定エリアに対応する画像を前記カメラ画像から切り出す画像切出し処理部と、前記カメラ画像から切り出した前記指定エリアに対応する切出し画像の画像データを保存するメモリ部と、前記指定エリアが指定された場合、当該指定エリアの前記指定エリア画像位置情報を取得する前記特定部を構成するプログラムと、当該指定エリアに対応する画像を切り出す前記画像切出し処理部を構成するプログラムとを、それぞれ前記指定エリア毎に実行させる処理制御部と、を備える。

　この発明は上述した課題を解決するためになされたもので、本発明の一実施形態における画像処理方法は、レンズから入射する光学像を光電変換して画像データを取得するステップと、前記画像データに基づくカメラ画像を表示部に表示するステップと、前記表示部の表示画面上において指定された指定エリアを検出するステップと、前記指定エリアが指定された場合、前記指定エリアの前記指定エリア画像位置情報を取得する特定部を構成するプログラムと、当該指定エリアに対応する画像を切り出す前記画像切出し処理部を構成するプログラムとを、それぞれ前記指定エリア毎に実行させるステップと、前記特定部が、前記カメラ画像において前記指定エリアに対応する画像の位置を示す指定エリア画像位置情報を取得するステップと、前記画像切出し処理部が、前記指定エリア画像位置情報に基づき、前記指定エリアに対応する画像を前記カメラ画像から切り出すステップと、前記カメラ画像から切り出した前記指定エリアに対応する切出し画像の画像データをメモリ部に保存するステップと、を備える。

　本発明の一実施形態における画像処理プログラムは、コンピュータを、レンズから入射する光学像を光電変換して画像データを取得するカメラ手段、前記画像データに基づくカメラ画像を表示する表示手段、前記表示部の表示画面上において指定された指定エリアを検出する操作手段、前記検出された指定エリア毎に、前記カメラ画像において前記指定エリアに対応する画像の位置を示す指定エリア画像位置情報を取得する特定手段、前記指定エリア画像位置情報に基づき、前記指定エリアに対応する画像を前記カメラ画像から切り出す画像切出し処理手段、前記カメラ画像から切り出した前記指定エリアに対応する切出し画像の画像データを保存するメモリ手段、前記指定エリアが指定された場合、当該指定エリアの前記指定エリア画像位置情報を取得する前記特定部を構成するプログラムと、当該指定エリアに対応する画像を切り出す前記画像切出し処理部を構成するプログラムとを、それぞれ前記指定エリア毎に実行させる処理制御手段、として機能させるための画像処理プログラムである。

　本発明係わる画像処理によれば、カメラが撮像した画像に対して画像認識処理を実行する際のユーザの操作性を向上させることができる。

本発明の一実施形態に係る情報処理装置（携帯端末）の構成の一例を示すブロック図である。本発明の一実施形態に係る情報処理装置（携帯端末）による指定エリアＥ（ｉ）の検出方法の一例について説明するための参考図である。本発明の一実施形態に係る情報処理装置（携帯端末）による指定エリアＥ（ｉ）の検出方法の一例について説明するための参考図である。本発明の一実施形態に係る情報処理装置（携帯端末）による表示制御方法の一例について説明するための参考図である。本発明の一実施形態に係る情報処理装置（携帯端末）による表示制御方法の一例について説明するための参考図である。本発明の一実施形態に係る情報処理装置（携帯端末）による切出し画像の取得方法の一例について説明するためのフローチャートである。本発明の一実施形態に係る情報処理装置（携帯端末）による画像認識処理方法の一例について説明するためのフローチャートである。

　以下、図面を参照して本発明の一実施形態について説明する。図１は、本発明の一実施形態に係る情報処理装置の概要について説明するための図である。なお、本発明の一実施形態では、この情報処理装置がカメラ付き携帯端末である場合の例について、以下説明する。しかし、本発明はこれに限られず、情報処理装置は、スマートフォン、携帯ゲーム機、タブレット型ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、あるいは、ノート型ＰＣ等であってもよい。
　本発明の一実施形態に係る携帯端末１００は、カメラが撮像したライブビューに対して、画像認識処理の実行対象のエリア（以下、指定エリアという）指定がユーザからあった場合、ユーザが指定した指定エリアに対応する画像をライブビューから切り出して、メモリ部に保存する。そして、切り出した画像（以下、切出し画像という）に対しての画像認識処理が指示された場合、メモリ部から切出し画像を読み出して、画像認識処理を実行する。なお、ライブビューとは、カメラのレンズから入力する映像であって、レンズに入射する光学像に基づき撮像素子が連続して出力する画像データに基づきモニタに表示される映像である。
　なお、本発明の一実施形態において、携帯端末１００がライブビューから切出し画像を切り出す例を用いて以下説明するが、本発明はこれに限られない。例えば、携帯端末１００は、シャッターボタンが押下され、撮像した撮像画像を再生している状態において、撮像画像上において指定された指定エリアを切り出すものであってよい。

　図１に示す通り、本発明の一実施形態に係る携帯端末１００は、カメラ１と、画像処理部２と、メモリ部３と、表示制御部４と、タッチパネル５と、処理制御部６と、情報源特定部７と、画像切出し処理部８と、画像認識処理部９と、アプリ処理部１０と、カメラ制御部１１と、操作ボタン１２と、通信部１３と、を備える。なお、タッチパネル５は、表示部５０１と、操作部５０２とを含む。

　カメラ１は、光学系１０１と、光学系１０１を介して入射する光学像から画像データを生成する撮像素子１０２と、撮像素子１０２から出力される画像データのアナログ信号をデジタル信号に変換し、画像データのデジタル信号を出力するＡ/Ｄ変換部１０３とを備える。このカメラ１は、例えば、操作ボタン１２に含まれるスイッチボタンを介して電源が投入されると、入射する光学像から画像データを生成して、連続的に画像処理部２に出力する。このように、携帯端末１００は、カメラ１が撮像可能な状態において生成した連続する画像データに基づき、ライブビューをタッチパネル５の表示部５０１に表示する。
ユーザは、このライブビューを見ながら、撮像する画像を決定することができる。

　画像処理部２は、カメラ１から出力される画像データに対して画像処理を実行し、画像処理後の画像データを、メモリ部３のライブビュー画像データ記憶領域３０１に保存する。

　メモリ部３は、携帯端末１００の各処理において利用するプログラムやアプリケーションのデータを保存するとともに、携帯端末１００の各種処理において利用する情報を一時的に保持する。本発明の一実施形態に係る携帯端末において、メモリ部３は、ライブビュー画像データ記憶領域３０１と、撮像画像データ記憶領域３０２と、切出し画像データ記憶領域３０３と、切出しテキストデータ記憶領域３０４と、アプリケーション記憶領域３０５と、を含む。
　ライブビュー画像データ記憶領域３０１は、カメラ１が取得したライブビューの画像データを、一時的に保存する記憶領域である。
　撮像画像データ記憶領域３０２は、ユーザが操作ボタン１２に含まれるシャッターボタンを押下したことによりカメラ１が撮像した撮像画像の画像データを保存する記憶領域である。
　切出し画像データ記憶領域３０３は、画像切出し処理部８によって切出された切出し画像を保存する記憶領域である。
　切出しテキストデータ記憶領域３０４は、画像認識処理部９によって画像認識された切出し画像の画像内容を示す認識結果を保存する記憶領域である。
　アプリケーション記憶領域３０５は、携帯端末１００によってインストールされたアプリケーションを保存する記憶領域である。

　表示制御部４は、タッチパネル５の表示部５０１を制御する。例えば、表示制御部４は、画像切出し処理部８によって切出された切出し画像を、ライブビューとともに１つの画面に表示させるように表示部５０１を制御する。また、表示制御部４は、切出し画像が画像認識処理部９による画像認識処理の対象となっている場合、画像認識処理の処理過程に応じてそれぞれの表示態様を区別して表示させるよう表示部５０１を制御する。例えば、表示制御部４は、画像認識処理前の切出し画像の外周部分を赤色に、画像認識処理中の切出し画像の外周部分を紫色に、画像認識処理後の切出し画像の外周部分を青色に、それぞれ表示させる。

　タッチパネル５の表示部５０１は、表示制御部４の制御に応じた表示内容を表示する。
　本発明の一実施形態に係る携帯端末において、表示部５０１は、タッチパネル５の表示画面として操作部５０２と一体的に設けられている。この表示部５０１の表示画面は、操作部５０２が操作を受け付ける際の操作画面としても機能する。なお、表示部５０１の表示画面には、予め決められた基準点（例えば、画面左上）を原点とするＸＹ座標系が規定されている。本発明の一実施形態に係る携帯端末において、表示部５０１に含まれる画素毎に、ＸＹ座標系における座標値（Ｘ，Ｙ）が割り当てられている。なお、この表示部５０１の表示画面におけるＸＹ座標系は、操作画面のＸＹ座標系と一致している。
　タッチパネル５の操作部５０２は、ユーザからの操作を受け付けるセンサーを備え、センサーによる検出結果を、処理制御部６、情報源特定部７、および画像認識処理部９に出力する。本発明の一実施形態に係る携帯端末において、操作部５０２は、表示部５０１の表示画面に接触するユーザの指の接触位置を、所定の一定時間間隔毎に、センサーにより検出し、このセンサーの検出結果を出力する。なお、ユーザの指の接触位置は、操作画面（表示画面）におけるＸＹ座標系の座標値で示す。
　なお、本発明に係る携帯端末はこれに限られず、例えば、表示部５０１の表示画面に近接するユーザの指や操作指示部等の位置を非接触センサーにより検出するものであってもよい。また、表示部５０１と操作部５０２とは、タッチパネル５でなくてもよく、コンピュータに接続されるボタンやキーボード等の操作部や、外部キーボード、あるいは、外部モニタのディスプレイ等であってもよい。

　図２Ａおよび図２Ｂに、本発明の一実施形態に係る情報処理装置（携帯端末）による指定エリアＥ（ｉ）の検出方法の例について説明するための参考図を示す。
　処理制御部６は、操作部５０２のセンサーの検出結果に基づき、指定エリアＥ（ｉ）が指定されたか否かを判定する。なお、ｉは、各指定エリアを区別するための識別番号である。処理制御部６は、指定エリアＥ（ｉ）が指定されたと判定すると、各指定エリアＥ（ｉ）にそれぞれ異なる識別番号ｉを割り当てるものであってもよい。
　この処理制御部６は、例えば、タッチパネル５の操作部５０２の検出結果に基づき、タッチパネル５の表示画面に指が接触していることを検出した場合、タッチ操作が入力されたことを判定する。また、処理制御部６は、タッチパネル５の操作部５０２の検出結果に基づき、タッチパネル５の表示画面に指が接触している状態において、その指が移動したことを検出した場合、スライド操作が入力されたことを判定する。さらに、処理制御部６は、タッチパネル５の操作部５０２の検出結果に基づき、タッチパネル５の表示画面に指が接触している状態において、その指が表示画面から離されたことを検出した場合、タッチ解除操作が入力されたことを判定する。

　また、処理制御部６は、タッチ操作が入力されたことを判定した場合、指定エリアＥ（ｉ）の始点Ｐｓ（ｉ）が指定されたと判定し、タッチ操作が入力された表示画面における位置を、始点Ｐｓ（ｉ）の位置として取得する（図２Ａ）。この処理制御部６は、検出した始点Ｐｓ（ｉ）の表示画面における位置を示すＸＹ座標値（Ｘｓ_ｉ，Ｙｓ_ｉ）を検出する。
　さらに、処理制御部６は、タッチ解除操作が入力されたことを判定した場合、指定エリアＥ（ｉ）の終点Ｐｅ（ｉ）が指定されたと判定し、タッチ解除操作が入力された表示画面における位置を、終点Ｐｅ（ｉ）の位置として取得する。この処理制御部６は、検出した終点Ｐｅ（ｉ）の表示画面における位置を示すＸＹ座標値（Ｘｅ_ｉ，Ｙｅ_ｉ）を検出する(図２Ｂ)。

　この処理制御部６は、例えば、指定エリアＥ（ｉ）の始点Ｐｓ（ｉ）および終点Ｐｅ（ｉ）を検出した場合、この始点Ｐｓ（ｉ）と終点Ｐｅ（ｉ）とを対角線上の頂点とする矩形エリアを指定エリアＥ（ｉ）と決定する。つまり、処理制御部６は、始点Ｐｓ（ｉ）と終点Ｐｅ（ｉ）とが指定されたことを判定することで、指定エリアＥ（ｉ）が指定されたことを判定する。なお、本発明は、これに限られず、処理制御部６が、始点Ｐｓ（ｉ）と終点Ｐｅ（ｉ）とを両端に含み、タッチパネル５の表示面と接触する指の圧力や指の太さと、スライド操作が入力された長さに応じて決められる領域を、指定エリアＥ（ｉ）として検出するものであってもよい。

　さらにまた、処理制御部６は、指定エリアＥ（ｉ）が指定されたことを判定した場合、ライブビューにおける指定エリアＥ（ｉ）に対応する画像の位置を示す指定エリア画像位置情報Ｊ（ｉ）を検出するための第（ｉ）番目の情報源特定部７（ｉ）を構成するプログラムを実行する。これにより、第（ｉ）番目の情報源特定部７（ｉ）として機能する処理部が立ち上がる（起動される）。言い換えると、この処理制御部６は、指定エリアＥ（ｉ）の指定があった場合、指定された指定エリアＥ（ｉ）毎に、情報源特定部７（ｉ）を構成するプログラムを実行する。これにより、各情報源特定部７（ｉ）が、それぞれ独立に、指定エリアＥ（ｉ）に対応する画像のライブビュー上の位置を示す指定エリア画像位置情報Ｊ（ｉ）を検出することができる。
　また、処理制御部６は、指定エリアＥ（ｉ）が指定されたことを判定した場合、指定エリアＥ（ｉ）に対応する切出し画像Ｇ（ｉ）を切り出すための第（ｉ）番目の画像切出し処理部８（ｉ）を構成するプログラムを実行する。言い換えると、この処理制御部６は、指定エリアＥ（ｉ）の指定があった場合、指定された指定エリアＥ（ｉ）毎に、画像切出し処理部８（ｉ）を構成するプログラムを実行する。これにより、各画像切出し処理部８（ｉ）が、それぞれ独立に、指定エリアＥ（ｉ）に対応する切出し画像Ｇ（ｉ）を切り出すことができる。

　情報源特定部７は、処理制御部６によって検出された指定エリアＥ（ｉ）の始点Ｐｓ（ｉ）のＸＹ座標値（Ｘｓ_ｉ，Ｙｓ_ｉ）と、終点Ｐｅ（ｉ）のＸＹ座標値（Ｘｅ_ｉ，Ｙｅ_ｉ）とに基づき、指定エリアＥ（ｉ）に対応するライブビュー上の切出し画像Ｇ（ｉ）の位置を示す指定エリア画像位置情報Ｊ（ｉ）を取得する。
　この情報源特定部７は、処理制御部６によって指定エリアＥ（ｉ）ごとに起動された情報源特定部７（ｉ）を備える。各情報源特定部７（ｉ）は、それぞれ並行して、上述の指定エリア画像位置情報Ｊ（ｉ）を検出する処理を実行することができる。

　画像切出し処理部８は、情報源特定部７（ｉ）によって取得された指定エリア画像位置情報Ｊ（ｉ）に基づき、指定エリアＥ（ｉ）に対応する切出し画像Ｇ（ｉ）をライブビューの画像データから切り出す。なお、ライブビューは、複数の連続する画像データに基づき表示される映像である。指定エリアＥ（ｉ）が指定される際、タッチパネル５の表示部５０１は、時系列に取得された画像を一枚ずつ順次表示して、ライブビューを表示している。よって、始点Ｐｓ（ｉ）が指定されたときから終点Ｐｅ（ｉ）が指定されるまでの間に、タッチパネル５の表示部５０１には、複数枚の画像データに基づく画像が表示される。
　本発明の一実施形態において、画像切出し処理部８は、指定エリアＥ（ｉ）が指定された際に表示部５０１に表示されたライブビューの複数枚の画像データのうち、終点Ｐｅ（ｉ）が検出された際に表示部５０１に表示されたライブビューの画像データから、切出し画像Ｇ（ｉ）を切り出す。なお、本発明はこれに限られず、例えば、画像切出し処理部８は、始点Ｐｓ（ｉ）が指定されたときから終点Ｐｅ（ｉ）が指定されるまでの間に、タッチパネル５の表示部５０１に表示された複数枚の画像データのうち、最もコントラストが大きい画像データから切出し画像Ｇ（ｉ）を切り出すものであってもよい。
　この画像切出し処理部８は、処理制御部６によって起動された画像切出し処理部８（ｉ）を備える。各画像切出し処理部８（ｉ）は、それぞれ並行して、上述の切出し画像Ｇ（ｉ）を切り出す処理を実行することができる。

　画像認識処理部９は、例えば、操作部５０２を介して指定された切出し画像Ｇ（ｉ）についての画像認識処理の実行が指示された場合、メモリ部３の切出しテキストデータ記憶領域３０４から指定された切出し画像Ｇ（ｉ）を読み出す。このように、画像認識処理部９の動作を画像切出し処理部８の処理と独立して実行することにより、画像認識処理部９による認識処理中も、画像切出し処理部８に対する画像切り出しの操作を指示し、実行させることができる。
　なお、画像認識処理部９は、予め決められたタイミングに到達した場合、自動的に画像認識処理を実行するものであってもよい。例えば、カメラ１による撮影動作が実行されていない状態等、処理負荷が低い動作時において、画像認識処理を実行することが予め決められているものであってもよい。この場合、処理負荷が低い動作状態において、画像認識処理部９は、切出しテキストデータ記憶領域３０４から、画像認識処理が実行されていない画像切出し画像Ｇ（ｉ）を、逐次、読み出すものであってもよい。
　また、画像認識処理部９は、以下のような予め決められたタイミングにおいて、切出しテキストデータ記憶領域３０４から読み出した画像認識処理が実行されていない画像切出し画像Ｇ（ｉ）に対して、画像認識処理を実行するものであってもよい。この予め決められたタイミングは、例えば、カメラ１による撮影が停止あるいは終了するときであってもよい。また、画像切出し操作が所定時間以上入力されておらず画像切出し処理部８による画像切出し処理が所定時間以上実行されていないときであってもよい。さらに、画像切出し処理部８によって切出された切出し画像Ｇ（ｉ）に対して、ユーザが所定操作を行ったときであってもよい。例えば、切出し画像Ｇ（ｉ）をタッチパネル５の表示部５０１に表示するという操作指示をユーザが行った場合、あるいは、表示している切出し画像Ｇ（ｉ）の表示倍率を拡大あるいは縮小した場合等である。さらにまた、画像切出し処理部８による画像切出し処理が実行されたのち所定時間以上が経過したときであってもよい。また、アプリ処理部１０が、他のアプリケーションに従って、切出し画像Ｇ（ｉ）を利用するときであってもよい。

　また、画像認識処理部９は、読み出した切出し画像Ｇ（ｉ）に対して、画像認識処理を実行する。例えば、画像認識処理部９は、予め決められたパターンデータと切出し画像Ｇ（ｉ）とを照合して、切出し画像Ｇ（ｉ）に含まれている文字列（ひらがな、カタカナ、漢字、アルファベット、数字等を含む）を認識し、認識した文字列のテキストデータを抽出する。画像認識処理部９が画像認識処理により取得する切出し画像Ｇ（ｉ）の画像内容を示す情報、ここではテキストデータを、以下、認識結果Ｋ（ｉ）と記す。
　なお、画像認識処理部９は、ロゴマークや絵文字等の図形を認識する画像認識処理や、１次元コードや２次元コード等からコード情報を読み取る画像認識処理等を行うものであってもよい。
　この画像認識処理部９は、画像認識処理により取得した認識結果Ｋ（ｉ）を、メモリ部３の切出しテキストデータ記憶領域３０４に保存する。

　アプリ処理部１０は、認識結果Ｋ（ｉ）に応じて、メモリ部３のアプリケーション記憶領域３０５に記憶されているアプリケーションを実行し、各アプリケーションの処理を担当する処理部を立ち上げる。このアプリ処理部１０は、例えば、タッチパネル５の表示部５０１に、認識結果Ｋ（ｉ）を表示している状態において、タッチパネル５の操作部５０２を介して、ユーザからタッチ操作により認識結果Ｋ（ｉ）が指定された場合、指定された認識結果Ｋ（ｉ）についてのアプリケーションの実行が指示されたと判定する。この場合、アプリ処理部１０は、指定された認識結果Ｋ（ｉ）に関する実行アプリケーションとして予め決められているアプリケーションを実行し、アプリケーションに対応する処理部を立ち上げる。

　例えば、認識結果Ｋ（ｉ）として、文字列を示す情報がユーザによって指定された場合、アプリ処理部１０は、文字列に対応する実行アプリケーションとして予め決められている検索アプリ３５１を実行する。これにより、アプリ処理部１０は、検索処理部１００１を立ち上げる。この検索処理部１００１は、指定された認識結果Ｋ（ｉ）の文字列に関連する情報をキーワード検索エンジンで検索するよう指示する情報を、通信部１３を介してネットワークで接続されているサーバ（図示せず）に送信する。キーワード検索エンジンによる検索結果をサーバから受信した場合、表示制御部４が、受信した検索結果をタッチパネル５の表示部５０１に表示させる。

　また、認識結果Ｋ（ｉ）として、ＵＲＬを示す情報がユーザによって指定された場合、アプリ処理部１０は、ＵＲＬに対応する実行アプリケーションとして予め決められているブラウザアプリ３５２を実行する。これにより、アプリ処理部１０は、ＷＥＢサイト接続処理部１００２を立ち上げる。このＷＥＢサイト接続処理部１００２は、指定された認識結果Ｋ（ｉ）のＵＲＬを通信部１３を介してネットワークで接続されているサーバ（図示せず）に送信する。ＵＲＬで示すＷＥＢサイトのＷＥＢ画像をサーバから受信した場合、表示制御部４が、受信したＷＥＢ画像をタッチパネル５の表示部５０１に表示させる。

　さらに、認識結果Ｋ（ｉ）として、住所、地名、施設名等の場所を示す情報がユーザによって指定された場合、アプリ処理部１０は、場所を示す情報に対応する実行アプリケーションとして予め決められている地図アプリ３５３を実行する。これにより、アプリ処理部１０は、地図表示処理部１００３を立ち上げる。この地図表示処理部１００３は、指定された認識結果Ｋ（ｉ）の場所を地図検索エンジンで検索するよう指示する情報を、通信部１３を介してネットワークで接続されているサーバ（図示せず）に送信する。地図検索エンジンによる検索結果をサーバから受信した場合、表示制御部４が、受信した検索結果をタッチパネル５の表示部５０１に表示させる。

　カメラ制御部１１は、操作ボタン１２に含まれるシャッターボタンが押下された場合、カメラ１に入射する光学像に基づき、撮像画像の画像データを取得するようカメラ１を制御する。なお、撮像画像は、ライブビューよりも画質が高い画像であることが好ましい。
　操作ボタン１２は、例えば、電源スイッチボタンやシャッターボタン等を含むユーザからの操作入力部である。なお、操作ボタン１２は、これ以外にも、十字キー等の操作入力部を含むものであってもよい。この操作ボタン１２は、ユーザからの操作を受け付け、受け付けた操作を示す操作情報を出力する。
　通信部１３は、ネットワークを介して、サーバ等の外部装置と通信可能に接続され、情報の送受信を行う。

　次に、図２Ａと図２Ｂを参照して、本発明の一実施形態に係る処理制御部６による指定エリアＥ（ｉ）の検出方法の一例について説明する。図２Ａと図２Ｂは、本発明の一実施形態に係る処理制御部６による指定エリアＥ（ｉ）の検出方法の一例について説明するための参考図である。　図２Ａに示す通り、タッチパネル５の表示画面にユーザの指が接触した場合、処理制御部６は、タッチ操作が入力されたことを判定し、指定エリアＥ（ｉ）の始点Ｐｓ（ｉ）を検出する。　そして、ユーザが、指をタッチパネル５の表示画面にタッチした状態のままスライドさせる。これにより、例えば、タッチパネル５には、ユーザの指が現在接触している点と始点Ｐｓ（ｉ）とを対角線上の頂点とする矩形エリアを、ユーザが指定しているエリアであることがわかるように、例えば、色を付けて表示する。　ユーザがタッチパネル５の表示画面から指を離すと、処理制御部６は、タッチ解除操作が入力されたことを判定し、指定エリアＥ（ｉ）の終点Ｐｅ（ｉ）を検出する。これにより、指定エリアＥ（ｉ）が決定される。この指定エリアＥ（ｉ）を、図２Ｂに示す。　これにより、ＵＲＬを示す情報を含む画像が、指定エリアＥ（ｉ）として指定される。

　次に、図３を参照して、表示制御部４による表示制御方法の一例について説明する。
　図３は、表示制御部４による表示制御方法の一例について説明するための参考図である。
　図３Ａに示す通り、ユーザが、ライブビューを表示するタッチパネル５の表示画面上から、指定エリアＥ（ｉ）を指定する。例えば、図２Ａと図２Ｂを参照して説明したとおり、処理制御部６は、始点Ｐｓ（ｉ）と終点Ｐｅ（ｉ）とを対角線上の頂点とする矩形エリアを指定エリアＥ（ｉ）として検出する。図示の例では、ユーザが、２次元コードを含む画像を指定エリアＥ（ｉ）として指定する。
　これにより、処理制御部６は、この指定エリアＥ（ｉ）に対応する情報源特定部７（ｉ）を構成するプログラムと、画像切出し処理部８（ｉ）を構成するプログラムとを、それぞれ実行する。これにより、情報源特定部７（ｉ）と画像切出し処理部８（ｉ）とが立ち上がる。
　そして、情報源特定部７は、この指定エリアＥ（ｉ）に対応する画像の位置を示す指定エリア画像位置情報Ｊ（ｉ）を検出する。画像切出し処理部８は、指定エリアＥ（ｉ）に対応する切出し画像Ｇ（ｉ）を切り出す。これにより、メモリ部３の切出し画像データ記憶領域３０３に、切出し画像Ｇ（ｉ）が保存される。

　次いで、処理制御部６は、画像切出し処理部８（ｉ）によって切出し画像Ｇ（ｉ）が切出された場合、その旨を表示制御部４に通知する。表示制御部４は、処理制御部６から切出し画像Ｇ（ｉ）が切出されたことを示す通知を受けた場合、タッチパネル５の表示部５０１に、ライブビューとともに、切出し画像Ｇ（ｉ）のサムネイルを表示するストック切出し画像表示エリア５１１を作成する。このストック切出し画像表示エリア５１１をタッチパネル５に表示した一例を図３Ｂに示す。
　図３Ｂに示す通り、指定エリアＥ（ｉ）が指定されると、タッチパネル５の表示画面には、ライブビューと、指定エリアＥ（ｉ）の切出し画像Ｇ（ｉ）のサムネイルとが表示される。

　なお、次に、ＵＲＬを含む指定エリアＥ（ｉ＋１）が指定された場合、表示制御部４は、ストック切出し画像表示エリア５１１に、指定エリアＥ（ｉ）の切出し画像Ｇ（ｉ）のサムネイルと、指定エリアＥ（ｉ＋１）の切出し画像Ｇ（ｉ＋１）のサムネイルとを、表示させる。

　このように、切出し画像Ｇ（ｉ）のサムネイルをタッチパネル５のストック切出し画像表示エリア５１１に表示することにより、ユーザは、指定した指定エリアＥ（ｉ）の画像がメモリ部３に保存されていることを認識することができる。

　また、このストック切出し画像表示エリア５１１に表示されているサムネイルがタッチ操作により指定された場合、画像認識処理部９は、タッチ操作により指定された切出し画像Ｇ（ｉ）の画像認識処理を実行する。
　例えば、２次元コードを含む指定エリアＥ（ｉ）の切出し画像Ｇ（ｉ）が指定された場合、画像認識処理部９は、この切出し画像Ｇ（ｉ）から２次元コードの図を認識するとともに、この２次元コードに含まれるコード情報を読み出す。そして、画像認識処理部９は、読み出したコード情報を認識結果Ｋ（ｉ）として、メモリ部３の切出しテキストデータ記憶領域３０４に保存する。
　ここで、２次元コードから読み出したコード情報が、例えばレストランのＷＥＢサイトのＵＲＬであった場合、アプリ処理部１０は、ブラウザアプリ３５２を実行し、ＷＥＢサイト接続処理部１００２を立ち上げる。そして、ＷＥＢサイト接続処理部１００２は、レストランのＷＥＢサイトのＵＲＬを、通信部１３を介してネットワークで接続されているサーバ（図示せず）に送信する。そして、表示制御部４は、ＵＲＬで示すＷＥＢサイトのＷＥＢ画像をサーバから受信した場合、受信したＷＥＢ画像をタッチパネル５に表示させる。

　このように、ストック切出し画像表示エリア５１１に表示されている切出し画像Ｇ（ｉ）を指定することで、画像認識処理部９による画像認識処理が実行され、取得された認識結果Ｋ（ｉ）に応じたアプリケーションが実行される。これにより、ユーザは、指定エリアＥ（ｉ）を指定してまもなく、この指定エリアＥ（ｉ）から取得された情報を利用することができる。

　次に、図４を参照して、本発明の一実施形態に係る携帯端末１００による切出し画像の取得方法の一例について説明する。図４は、本発明の一実施形態に係る携帯端末１００による切出し画像の取得方法の一例について説明するためのフローチャートである。
　（ステップＳＴ１）
　携帯端末１００は、操作ボタン１２が押下され、電源がオンされると、カメラ１の光学系１０１に入射する光学像を、撮像素子１０２が光電変換し、Ａ/Ｄ変換部１０３が画像データとして出力する。つまり、カメラ１は、入射する光学像に基づき、連続するライブビューの画像データを取得する。
　（ステップＳＴ２）
　そして、カメラ１は、ライブビューの画像データを画像処理部２に出力する。この画像処理部２は、入力する画像データをライブビューの画像サイズや画質に変換して、メモリ部３のライブビュー画像データ記憶領域３０１に格納する。そして、表示制御部４は、ライブビュー画像データ記憶領域３０１からライブビューの画像データを読み出し、タッチパネル５の表示部５０１に表示させる。これにより、カメラ１で撮像している現在の映像（ライブビュー）をタッチパネル５に表示することができる。

　（ステップＳＴ３）
　次いで、タッチパネル５の操作部５０２は、指定エリアの始点Ｐｓ（ｉ）を指定する操作を受け付けたか否かを判定する。例えば、操作部５０２は、タッチパネル５の操作画面をタッチするタッチ操作が検出されたか否かを判定する。
　（ステップＳＴ４）
　指定エリアの始点Ｐｓ（ｉ）を指定する操作を受け付けたと判定した場合、処理制御部６は、タッチ操作においてユーザの指が接触した表示画面の位置である始点Ｐｓ（ｉ）の位置（Ｘｓ_ｉ，Ｙｓ_ｉ）を検出する。
　また、操作部５０２は、指定エリアの始点Ｐｓ（ｉ）を指定する操作を受け付けたと判定した場合、続けて、指定エリアの終点Ｐｅ（ｉ）を指定する操作を受け付けたか否かを判定する。例えば、操作部５０２は、タッチパネル５の表示画面をタッチするタッチ操作が検出された後、続けて、表示画面と指がタッチした状態において移動されるスライド操作が検出され、さらに、タッチした状態の指が表示画面から離されるタッチ解除操作が検出されたか否かを判定する。

（ステップＳＴ５）
　指定エリアの終点Ｐｅ（ｉ）を指定する操作を受け付けたと判定した場合、処理制御部６は、タッチした状態の指が表示画面から離された位置である終点Ｐｅ（ｉ）の位置（Ｘｅ_ｉ，Ｙｅ_ｉ）を検出する。
　また、処理制御部６は、始点Ｐｓ（ｉ）と終点Ｐｅ（ｉ）とを検出した場合、この始点Ｐｓ（ｉ）と終点Ｐｅ（ｉ）とで規定される指定エリアＥ（ｉ）に対応するライブビュー上の画像の位置を示す指定エリア画像位置情報Ｊ（ｉ）を検出するための第（ｉ）番目の情報源特定部７（ｉ）を構成するプログラムを実行する。これにより、情報源特定部７（ｉ）が起動される。

　（ステップＳＴ６）
　そして、起動された情報源特定部７（ｉ）は、ライブビューにおいて指定エリアＥ（ｉ）と対応する画像の位置を示す指定エリア画像位置情報Ｊ（ｉ）を取得する。例えば、情報源特定部７（ｉ）は、処理制御部６によって取得された表示画面上の始点Ｐｓ（ｉ）の位置（Ｘｓ_ｉ，Ｙｓ_ｉ）に基づき、このライブビュー上において始点Ｐｓ（ｉ）と対応する第１頂点Ｐ１（ｉ）の位置（ｘ１_ｉ，ｙ１_ｉ）を取得する。また、情報源特定部７（ｉ）は、処理制御部６によって取得された表示画面上の終点Ｐｅ（ｉ）の位置（Ｘｅ_ｉ，Ｙｅ_ｉ）に基づき、このライブビュー上おいて終点Ｐｅ（ｉ）と対応する第２頂点Ｐ２（ｉ）の位置（ｘ２_ｉ，ｙ２_ｉ）を取得する。

　そして、情報源特定部７（ｉ）は、この第１頂点Ｐ１（ｉ）と第２頂点Ｐ２（ｉ）とを対角線上の頂点とするライブビュー上の矩形の画像エリアの位置を示す指定エリア画像位置情報Ｊ（ｉ）を取得する。この情報源特定部７（ｉ）は、第１頂点Ｐ１（ｉ）と第２頂点Ｐ２（ｉ）と異なる第３頂点Ｐ３（ｉ）と第４頂点Ｐ４（ｉ）を取得するものであってもよい。本発明の一実施形態において、第３頂点Ｐ３（ｉ）は、第１頂点Ｐ１（ｉ）と第２頂点Ｐ２（ｉ）と隣り合う頂点であって、その座標値は（ｘ１_ｉ，ｙ２_ｉ）である。また、第４頂点Ｐ４（ｉ）は、第１頂点Ｐ１（ｉ）と第２頂点Ｐ２（ｉ）と隣り合う頂点であって、その座標値は（ｘ２_ｉ，ｙ１_ｉ）である。
　情報源特定部７（ｉ）は、これら第１頂点Ｐ１（ｉ）の座標値（ｘ１_ｉ，ｙ１_ｉ）と、第２頂点Ｐ２（ｉ）の座標値（ｘ２_ｉ，ｙ２_ｉ）と、第３頂点Ｐ３（ｉ）の座標値（ｘ１_ｉ，ｙ２_ｉ）と、第４頂点Ｐ４（ｉ）の座標値（ｘ２_ｉ，ｙ１_ｉ）とを、指定エリアＥ（ｉ）の指定エリア画像位置情報Ｊ（ｉ）として画像切出し処理部８（ｉ）に出力する。

　（ステップＳＴ７）
　また、処理制御部６は、始点Ｐｓ（ｉ）と終点Ｐｅ（ｉ）とを検出した場合、この始点Ｐｓ（ｉ）と終点Ｐｅ（ｉ）とで規定される指定エリアＥ（ｉ）に対応する切出し画像Ｇ（ｉ）を切り出すための第（ｉ）番目の画像切出し処理部８（ｉ）を構成するプログラムを実行する。これにより、画像切出し処理部８（ｉ）が起動させる。
　（ステップＳＴ８）
　そして、起動された画像切出し処理部８（ｉ）は、情報源特定部７（ｉ）によって取得された指定エリア画像位置情報Ｊ（ｉ）に基づき、ライブビューから切出し画像Ｇ（ｉ）を切り出す。なお、本発明の一実施形態において、画像切出し処理部８（ｉ）は、終点Ｐｅ（ｉ）が検出されたライブビューから切出し画像Ｇ（ｉ）を切り出す。
　（ステップＳＴ９）
　次いで、画像切出し処理部８は、切出した切出し画像Ｇ（ｉ）をメモリ部３の切出しテキストデータ記憶領域３０４に保存する。

　次に、図５を参照して、本発明の一実施形態に係る携帯端末１００による画像認識処理方法の一例について説明する。図５は、本発明の一実施形態に係る携帯端末１００による画像認識処理方法の一例について説明するためのフローチャートである。
　（ステップＳＴ２１）
　画像認識処理部９は、画像認識処理の実行をするか否かを判定する。例えば、操作部５０２を介して指定された切出し画像Ｇ（ｉ）についての画像認識処理の実行が指示された場合、画像認識処理部９は、画像認識処理の実行をすると判定する。
　（ステップＳＴ２２）
　そして、画像認識処理の実行が指示されたと判定した場合、画像認識処理部９は、指定された切出し画像Ｇ（ｉ）を切出しテキストデータ記憶領域３０４から読み出す。

　（ステップＳＴ２３）
　次いで、画像認識処理部９は、読み出した切出し画像Ｇ（ｉ）に対して、画像認識処理を実行する。例えば、画像認識処理部９は、切出し画像Ｇ（ｉ）に含まれる文字を認識する画像認識処理を実行する。
　（ステップＳＴ２４）
　そして、画像認識処理部９は、画像認識処理により、切出し画像Ｇ（ｉ）に含まれる文字列を抽出し、抽出した文字列を認識結果Ｋ（ｉ）として取得する。
　（ステップＳＴ２５）
　次いで、画像認識処理部９は、取得した認識結果Ｋ（ｉ）を、メモリ部３の切出しテキストデータ記憶領域３０４に保存する。

　このように、本発明の一実施形態に係る携帯端末１００は、ライブビューにおいて指定された指定エリアＥ（ｉ）に対応する切出し画像Ｇ（ｉ）を切出し、メモリ部３の切出し画像データ記憶領域３０３に保存しておく。また、情報源特定部７は、処理制御部６によって指定エリアＥ（ｉ）が指定されたことが判定された場合、指定エリアＥ（ｉ）毎に、情報源特定部７（ｉ）を構成するプログラムを実行する。さらに、画像切出し処理部８は、処理制御部６によって指定エリアＥ（ｉ）が指定されたことが判定された場合、指定エリアＥ（ｉ）毎に、画像切出し処理部８（ｉ）を構成するプログラムを実行する。
　これにより、携帯端末１００は、指定エリアＥ（ｉ）の切出し画像Ｇ（ｉ）を切り出す処理が完了する以前に、次の指定エリアＥ（ｉ＋１）が指定された場合であっても、指定エリアＥ（ｉ）、（ｉ＋１）ごとに、切出し画像Ｇ（ｉ）を切り出すまでの処理を並行して実行することができる。よって、複数の指定エリアＥ（ｉ）が、連続して指定された場合であっても、ユーザからの指定エリアＥ（ｉ）の指定を継続して受け付けて、切出し画像Ｇ（ｉ）をメモリ部３に保存しておくことができる。

　また、本発明の一実施形態に係る携帯端末１００は、指定エリアＥ（ｉ）に対応する切出し画像Ｇ（ｉ）をメモリ部３の切出し画像データ記憶領域３０３に保存しておく。また、画像認識処理を実行するタイミングに到達した場合、順次、切出し画像データ記憶領域３０３から読み出した切出し画像Ｇ（ｉ）に対して、画像認識処理部９が画像認識処理を実行する。これにより、ユーザは、画像認識処理を実行するか否かをまだ決めていない場合であっても、とりあえず、その後必要になりそうな情報源を含む画像を指定して、指定した切出し画像Ｇ（ｉ）を保存しておくことができる。よって、ユーザは、もっと気軽に、カメラを利用した画像認識処理を実行する携帯端末１００を利用することができるようになる。

　また、本実施の形態に係る携帯端末１００は、内部にコンピュータシステムを有している。そして、動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいう「コンピュータシステム」とは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
　また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

　「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
　また、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものであってもよい。

　さらに、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
　また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
　さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

　本願は、２０１１年９月１６日に、日本に出願された特願２０１１－２０２８６０号に基づき優先権を主張し、その内容をここに援用する。

　本発明に係わる画像処理装置によれば、カメラが撮像した画像に対して画像認識処理を実行する際のユーザの操作性を向上させることができる。

　１　　カメラ
　２　　画像処理装置
　３　　メモリ部
　４　　表示制御部
　５　　タッチパネル
　６　　処理制御部
　７　　情報源特定部
　８　　画像切出し処理部
　９　　画像認識処理部
　１０　　アプリ処理部
　１１　　カメラ制御部
　１２　　操作ボタン
　１００　　携帯端末

Claims

　レンズから入射する光学像を光電変換して画像データを取得するカメラと、
　前記画像データに基づくカメラ画像を表示する表示部と、
　前記表示部の表示画面上において指定された指定エリアを検出する操作部と、
　前記検出された指定エリア毎に、前記カメラ画像において前記指定エリアに対応する画像の位置を示す指定エリア画像位置情報を取得する特定部と、
　前記指定エリア画像位置情報に基づき、前記指定エリアに対応する画像を前記カメラ画像から切り出す画像切出し処理部と、
　前記カメラ画像から切り出した前記指定エリアに対応する切出し画像の画像データを保存するメモリ部と、
　前記指定エリアが指定された場合、当該指定エリアの前記指定エリア画像位置情報を取得する前記特定部を構成するプログラムと、当該指定エリアに対応する画像を切り出す前記画像切出し処理部を構成するプログラムとを、それぞれ前記指定エリア毎に実行させる処理制御部と、
　を備えることを特徴とする画像処理装置。
　前記メモリ部に保存されている前記画像データの中から、前記操作部を介して指定された前記画像データを読み出し、当該画像データに含まれる画像内容を認識する画像認識処理を実行する画像認識処理部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
　前記画像認識処理部は、
　予め決められたタイミングに到達した場合、前記メモリ部に保存されている前記画像データの中から画像認識処理が実行されていない前記画像データを読み出し、当該画像データに含まれる画像内容を認識する画像認識処理を実行することを特徴とする請求項２に記載の画像処理装置。
　前記画像認識処理部による認識結果に応じたアプリケーションを実行するアプリ処理部をさらに備えることを特徴とする請求項２あるいは３に記載の画像処理装置。
　前記画像認識処理部は、
　前記メモリ部に保存されている前記切出し画像の画像データに基づき、当該画像データに含まれる文字情報を取得することを特徴とする請求項２から４のうちいずれか一項に記載の画像処理装置。
　前記画像切出し処理部により切出された画像を、前記カメラ画像とともに表示させるよう前記表示部を制御する表示制御部をさらに備えることを特徴とする請求項１から５のうちいずれか一項に記載の画像処理装置。
　前記表示制御部は、
　前記画像切出し処理部により切り出された切出し画像が前記画像認識処理部によって画像認識処理される際、画像認識処理の経過にともなってそれぞれの表示態様が異なるように、画像認識処理前の画像と、画像認識処理中の画像と、画像認識処理後の画像とを表示させるよう前記表示部を制御することを特徴とする請求項６に記載の画像処理装置。
　レンズから入射する光学像を光電変換して画像データを取得するステップと、
　前記画像データに基づくカメラ画像を表示部に表示するステップと、
　前記表示部の表示画面上において指定された指定エリアを検出するステップと、
　前記指定エリアが指定された場合、前記指定エリアの前記指定エリア画像位置情報を取得する特定部を構成するプログラムと、当該指定エリアに対応する画像を切り出す前記画像切出し処理部を構成するプログラムとを、それぞれ前記指定エリア毎に実行させるステップと、
　前記特定部が、前記カメラ画像において前記指定エリアに対応する画像の位置を示す指定エリア画像位置情報を取得するステップと、
　前記画像切出し処理部が、前記指定エリア画像位置情報に基づき、前記指定エリアに対応する画像を前記カメラ画像から切り出すステップと、
　前記カメラ画像から切り出した前記指定エリアに対応する切出し画像の画像データをメモリ部に保存するステップと、
　を備えることを特徴とする画像処理方法。
　コンピュータを、
　レンズから入射する光学像を光電変換して画像データを取得するカメラ部、
　前記画像データに基づくカメラ画像を表示する表示部、
　前記表示部の表示画面上において指定された指定エリアを検出する操作部、
　前記検出された指定エリア毎に、前記カメラ画像において前記指定エリアに対応する画像の位置を示す指定エリア画像位置情報を取得する特定部、
　前記指定エリア画像位置情報に基づき、前記指定エリアに対応する画像を前記カメラ画像から切り出す画像切出し処理部、
　前記カメラ画像から切り出した前記指定エリアに対応する切出し画像の画像データを保存するメモリ部、
　前記指定エリアが指定された場合、当該指定エリアの前記指定エリア画像位置情報を取得する前記特定部を構成するプログラムと、当該指定エリアに対応する画像を切り出す前記画像切出し処理部を構成するプログラムとを、それぞれ前記指定エリア毎に実行させる処理制御部、
　として機能させるための画像処理プログラム。