JP2006331216A - 画像処理装置、画像処理装置における処理対象範囲指定方法、画像処理範囲指定プログラム、および画像処理範囲指定プログラムを記録する記録媒体 - Google Patents

Abstract

【課題】 簡単な操作で撮像画像から処理対象とする範囲を指定できる画像処理装置を提案する。
【解決手段】 画像処理装置において、画像処理対象範囲として切出された文字列が処理対象として所望する文字列でないものとして、確定キーが押下されない場合（ステップＳ２０６でＮＯ）、移動検出プログラムが実行されて、画像処理装置の移動方向または移動量が検出される。前方向の移動が検出された場合（ステップＳ２０７でＹＥＳ）、上記文字列の両端を内側に移動させて範囲を狭くし（ステップＳ２０８）、後方向の移動が検出された場合（ステップＳ２０９でＹＥＳ）、上記文字列の両端を外側に移動させて範囲を広くする（ステップＳ２１０）。
【選択図】 図３

Description

この発明は画像処理装置、画像処理装置における処理対象範囲指定方法、画像処理範囲指定プログラム、および画像処理範囲指定プログラムを記録する記録媒体に関し、特に、取得画像のうちの処理対象とする範囲を、容易に指定することのできる画像処理装置、画像処理装置における処理対象範囲指定方法、画像処理範囲指定プログラム、および画像処理範囲指定プログラムを記録する記録媒体に関する。

近年の、デジタル電子カメラ、カメラ付き携帯電話など撮像機能を有する携帯機器の記憶容量、表示サイズなどの性能向上が著しく、カメラで撮像した画像を文字入力手段に用いるなどさまざまな用途が広がってきている。

応用例として、以下の特許文献１に開示されているような携帯端末を用いて、撮像画像から文字範囲を切出して文字認識を行なう手法が提案されている。この手法の場合、利用者が携帯端末の位置や向きを手動で調整することで、表示部に表示された認識対象フレームの中に認識対象となる文字列が収まるように調整する必要がある。

また、以下の特許文献２では、利用者が携帯端末に配置されたボタン（キー）を押下するなどの入力操作によって、認識対象とする文字列を選択する方法が提案されている。この手法の場合、文字列が単語単位で正しく切出されていれば、簡単なボタン操作で容易に入力対象とする単語を選択することができる。

また、以下の特許文献３では、加速度センサなどの移動量検出手段により検出された機器本体の移動量により、画面上に表示された画像等の情報のサイズを、拡大あるいは縮小する電子機機器が提案されている。
特開２００３−１６９１８７号公報 特開２００５−１８５０７号公報 特開２００５−２５１７０号公報

上述のように、携帯可能な画像処理装置を用いて特定範囲の画像を入力する場合には、いくつかの手法が存在するが、それぞれ以下のような課題がある。

表示されたフレームに対象が収まるように撮像する手法においては、利用者が画像処理対象範囲を指定する場合において、慎重に端末本体の位置や向きや対象対照物との距離を調整する必要がある。このため、シャッターボタンの押下動作による端末本体の振動でフレームから外れる、撮像対象に近づけ過ぎるとオートフォーカスの範囲外となり画像がぼける、などの問題がある。

また、端末のボタン入力操作により単語単位で切出された部分から画像処理対象範囲の指示を行なう方法の場合、現在の技術では、イタリック体などの傾いた文字等が含まれるときには必ずしも正確に単語単位の切出しができないことがある。そのため、単語の切出し位置を修正するために、多数のボタン入力操作を行なう必要があり、操作が煩雑であるという問題がある。たとえば横書きの文字列を入力し左右の入力対象範囲の境界位置が正しく検出されていない場合、境界位置移動させるためには繰り返し入力ボタンを操作する必要があり、操作が煩雑である。

また、単語単位で切出す手法は、日本語、中国語、韓国語など、単語間にスペースがない言語においては適用できないため、それらの言語において用いる場合には始点と終点とをボタン入力操作で指示する必要があり、操作が煩雑であるという問題がある。また、単語単位で切出された部分から画像処理対象範囲を選択するためには、前後の境界位置の選択と、位置の選択との２種類の操作が必要であり、より多くの操作時間が必要となるという問題もある。

また、機器本体の移動を検出し、表示サイズを変更する手法は、画像処理対象範囲の指定など、情報の入力や指定操作に適用することが難しいという問題がある。

また、上述の各手法のように、撮像と画像処理対象範囲の指定とを、容易かつ一連の動作で行なうことができない場合、利用者は繰返しボタン操作を行なう必要があり、作業が中断され、作業効率が大きく低下するという問題がある。

本発明は、以上のような点を鑑みてなされたもので、特に携帯情報端末または携帯電話等を用いて得られた撮像画像から画像処理対象範囲を指定する場合において、簡単な操作により、容易に処理対象とする範囲を指定することのできる画像処理装置、画像処理装置における処理対象範囲指定方法、画像処理範囲指定プログラム、および画像処理範囲指定プログラムを記録する記録媒体を提供することを目的とする。

上記目的を達成するために、本発明のある局面に従うと、画像処理装置は、画像を取得する画像取得手段と、当該画像処理装置の移動を検出する移動検出手段と、取得した画像に対して処理を行なう画像処理手段と、移動検出手段が検出した画像処理装置の移動に応じて、上記画像のうち、画像処理手段における処理対象範囲を決定する画像処理範囲決定手段とを備える。

さらに、画像取得手段は、被写体を撮影する撮像手段を含み、画像処理手段における処理対象の画像として、撮像手段において撮影されて取得された画像の中から１つの画像を確定する撮像画像確定手段を備え、移動検出手段は、撮像手段において撮影されて取得された画像を用いて画像処理装置の移動を検出することが好ましい。

また、画像処理装置は物理的操作入力手段をさらに備え、画像処理範囲決定手段は、移動検出手段が検出した画像処理装置の移動と、物理的操作入力手段からの入力とに基づいて処理対象範囲を決定することが好ましい。

また、画像処理装置は、上記画像のうち、処理対象範囲を自動的に判定する処理対象範囲判定手段をさらに備え、画像処理範囲決定手段は、処理対象判定手段において判定された処理対象範囲を変更することが好ましい。

さらに、画像処理装置は、処理対象判定手段において判定された処理対象範囲を示す画像を表示する表示手段を備えることが好ましい。

さらに、表示手段は、処理対象判定手段において判定された処理対象範囲のうちの、画像処理範囲決定手段において変更する範囲と、処理対象範囲のうちの変更する範囲以外の範囲とを、異なる表示形態とすることがより好ましい。

また、画像処理範囲決定手段は、移動検出手段が検出した画像処理装置の移動がしきい値以上の移動である場合、処理対象範囲に対する変更を取消すことが好ましい。

また、画像処理装置は物理的操作入力手段をさらに備え、画像処理範囲決定手段は、物理的操作入力手段からの入力に基づいて、変更を決定することが好ましい。

また、移動検出手段は、画像処理装置の移動が検出されなかった場合に、検出を繰返すことが好ましい。

また、前記画像処理手段は、具体的には文字認識手段を含み、画像処理範囲決定手段は、文字認識手段における文字認識の対象とする範囲を決定することが好ましい。

また、画像処理手段は、具体的にはデータベース照合手段を含み、画像処理範囲決定手段は、データベース照合手段においてデータベースと照合する範囲を決定することが好ましい。

本発明の他の局面に従うと、画像処理装置における処理対象範囲指定方法は、画像処理装置において処理対象とする範囲を指定する方法であって、画像を取得する画像取得ステップと、画像処理装置の移動を検出する移動検出ステップと、移動検出ステップにおいて検出された画像処理装置の移動に応じて、取得された画像のうち、処理対象とする範囲を決定する画像処理範囲決定ステップとを備える。

本発明のさらに他の局面に従うと、画像処理範囲指定プログラムは、画像処理の対象とする範囲を指定する処理をコンピュータに実行させるプログラムであって、画像を取得する画像取得ステップと、画像処理装置の移動を検出する移動検出ステップと、移動検出ステップにおいて検出された画像処理装置の移動に応じて、取得された画像のうち、処理対象とする範囲を決定する画像処理範囲決定ステップとを実行させる。

本発明のさらに他の局面に従うと、記録媒体は、コンピュータ読取可能な記録媒体であって、上記プログラムを記録する。

以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。

図１は、本発明の実施の形態にかかる画像処理装置の構成の具体例を示す図である。本実施の形態にかかる画像処理装置としては、カメラ付き携帯電話やカメラ付きパーソナルコンピュータなど、画像取得機能と取得された画像を処理する画像処理機能とを備える装置が該当する。

図１を参照して、本発明の実施の形態にかかる画像処理装置は、画像取得手段の一例である撮像部１０１、表示部１０２、操作部１０３、ＲＡＭ（Random Access Memory）１０５、ＲＯＭ（Read Only Memory）１０７、付加装置１０６、およびこれらを制御する中央制御部１０４を備えて構成される。

撮像部１０１は、デジタル電子カメラ等により被写体を工学的に撮像してデジタル画像データを得る。表示部１０２は、液晶パネル等を用いて画像表示プログラムにより作成された画像を表示する。操作部１０３は、撮像画像確定手段のためのシャッターボタンなどの操作ボタンを有している。また付加装置１０６は、加速度センサのほか、マイク、スピーカ、ライト、通信装置、メモリカードＩ／Ｆ（インタフェース）などの外部記憶装置との接続装置を備えてもよい。

なお、画像取得手段の他の例として、撮像部１０１に換えて、上記外部記憶装置との接続装置であって、接続して記憶されている画像を取得したり、通信装置装置であって、他の装置から画像を受信して取得したりする、付加装置１０６であってもよい。

ＲＡＭ１０５は、撮像した画像を一時記憶する画像バッファ、画像データを記憶するための画像記憶部、および中央制御部１０４がプログラムを実行するためのワークバッファを備えて構成される。また、ＲＯＭ１０７は、移動検出プログラム、文字認識プログラム、画像表示プログラム、およびその他プログラム、ならびに文字認識辞書、英和辞書等の上記プログラムの実行時に用いられるデータベースを記憶する領域を備えて構成される。

移動検出プログラムは、左右、上下、回転などの画像処理装置に入力される画像の移動を検出する移動検出手段で用いるプログラムである。文字認識プログラムは、入力画像から行抽出を行なった後、文字画像を切出して文字コードに変換する一連のプログラムである。画像表示プログラムは表示部１０２で表示すべき画像を生成するプログラムである。その他プログラムは、上記以外の処理を実行するためのプログラムである。

中央制御部１０４は、ＲＯＭ１０７に格納された各プログラムを実行し、各部の動作制御を行なう。

図２は、本実施の形態にかかる画像処理装置において検出される、当該画像処理の移動方向の定義を説明する図である。

図２を参照して、本実施の形態にかかる画像処理装置においては、撮像部１０１から撮像された画像が左に動いたときに検出される当該画像処理装置の移動方向を左と定義し、画像が上に動いたときに検出される当該画像処理装置の移動方向を上と定義する。同様に上下左右方向およびその組合わせからなる当該画像処理装置の移動方向を定義する。また、画像処理装置を前後に動かすなどにより撮像画像が大きくなったときに検出される当該画像処理装置の移動方向を前、小さくなったときに検出される当該画像処理装置の移動方向を後、さらに、画像が反時計回りに回転したときに検出される当該画像処理装置の移動方向を左回転方向、時計回りに回転したときに検出される当該画像処理装置の移動方向を右回転方向と定義する。

［第１の実施の形態］
図３は、第１の実施の形態にかかる画像処理装置における画像処理の一例を示すフローチャートであり、以下、この図に従って説明する。図３のフローチャートに示される処理は、中央制御部１０４がＲＯＭ１０７に格納された各プログラムを読出して実行し、図１に示される各部の動作制御を行なうことで実現される。

また、図４は、図３のフローチャートに示される処理過程における画像の具体例を示す図であり、図５は、図３のフローチャートに示される処理過程における表示部１０２の表示画面の具体例を示す図である。

図３を参照して、まず、ステップＳ２０１において利用者が操作部のシャッターボタン等を操作することにより撮像画像が確定され、確定されたデジタル画像データがＲＡＭ１０５内の画像バッファに格納される。ステップＳ２０２において、格納されたデジタル画像データが、文字に相当する黒画素と背景に相当する白画素との二値画像に変換される。図４（Ａ）は、ＲＡＭ１０５内の画像バッファに格納され、二値画像に変換された画像の具体例を示す図である。

次に、ステップＳ２０３〜Ｓ２０５においては、処理対象範囲判定手段の一例である以下の処理を行なうプログラムが実行され、予め自動的に画像処理対象と推定される範囲が検出されて、その検出された範囲が表示画面上で利用者に提示される。すなわち、ステップＳ２０３において、ステップＳ２０２で得られた二値画像から行が抽出される。ステップＳ２０３で中央制御部１０４は、二値画像を横方向に投影し、その投影分布を求める。投影を求める方法は本発明において限定されるものではない。１つの具体例としては、横方向に画素数を加算する方法が簡素で好ましいものとして挙げられるが、他の具体例として、連結成分の外接矩形の加算値を計算するなどの方法も挙げられる。

図４（Ｂ）は、ステップＳ２０３において行が切出された画像の具体例を示す図であって、図４（Ａ）に示される画像において切出された複数の行のうち、撮像画像の中央部に最も近い行が選択された場合の画像の具体例を示す図である。なお、本実施の形態においては、図４（Ｂ）に示されるように、ステップＳ２０３において、撮像画像の中央部に最も近い行が目的の行であると自動的に判断されて選択されるものとするが、機器の上下方向の移動などにより、所望の行を選択する機能が追加されてもよい。

次に、ステップＳ２０４において、中央制御部１０４は、選択された行に含まれる黒画素を連結成分に分割し、それぞれの連結成分の外接矩形を求める。さらに、この外接矩形相互間の距離を計算し、隣接する矩形間の距離が一定値（たとえば矩形の平均高さの０．５倍）を超えた場合、その連結成分の間隔を単語の区切りと判断する。英語等の言語においては、単語内の文字間よりも単語間に大きな空白部分が配され、「単語の区切り」とは、この単語間の空白部分を示す。ステップＳ２０４で中央制御部１０４は、ステップＳ２０３で選択された行の内で、上記「単語の区切り」で区切られた複数の範囲の中で、中央部に最も近い範囲を画像処理対象範囲として抽出し、１つの単語として切出す。

図４（Ｃ）は、ステップＳ２０４において、画像処理対象として、１つの単語であるとした文字列が切出された画像の具体例を示す図である。図４（Ｃ）においては、連結成分「ｆｒｏｍ」の外接矩形と連結成分「ｑｕｅｕｅ」の外接矩形との間の距離（「ｍ」と「ｑ」と間の距離）、および連結成分「ｑｕｅｕｅ」の外接矩形と連結成分「ｂｅｃａｕｓｅ」の外接矩形との間の距離（「ｅ」と「ｂ」と間の距離）が上記一定値よりも小さいため、これらの連結成分間が単語の区切りと判断されておらず、連結成分「ｆｒｏｍ ｑｕｅｕｅ ｂｅｃａｕｓｅ」が１つの単語であるとして切出されている。

ステップＳ２０４で１つの単語であるとして切出された文字列は、画像処理対象範囲として利用者が把握できるように、ステップＳ２０５において、液晶パネル等からなる表示部１０２の表示画面に表示される。図５（Ａ）は、ステップＳ２０５での表示部１０２の表示画面の具体例を示す図であり、１つの単語であるとして切出された文字列を提示する表示画面の具体例を示す図である。図５（Ａ）に示される表示例では、１つの単語であるとして切出された文字列が矩形に囲まれた領域の黒字画素部分として提示されている。なお、切出された文字列の提示方法は図５（Ａ）に示されたような矩形で囲む方法に限定されず、切出された文字列が他の文字列から識別可能なように他の文字列と異なる表示形態となればよく、文字列の表示色あるいは背景色の表示色を変える、点滅表示を行なうなどの提示方法でもよいし、矩形に囲まれた領域外の部分の表示色を変更するなどの提示方法でもよい。

次に、ステップＳ２０６において、利用者の指示操作に基づいて、表示画面上に表示された画像処理対象範囲が、利用者が所望する文字列であるか否かが判定される。ステップＳ２０６では、具体的には、たとえば画像処理対象範囲を決定する機能を付与した「確定キー」が押下されたかどうかが判定されて、利用者が所望する文字列であるか否かが判定される。確定キーが押下された場合（ステップＳ２０６でＹＥＳ）、処理はステップＳ２１１に進み、押下されない場合（ステップＳ２０６でＮＯ）、処理はステップＳ２０７に進む。すなわち、ステップＳ２０５において表示画面で提示された画像処理対象範囲である文字列が所望の単語を表わす文字列であった場合（ステップＳ２０６でＹＥＳ）、利用者は確定操作することで、上記所望の単語を表わす文字列に対して、文字列認識処理等、所望する画像処理を行なうことができる。

一方、画面上に表示された画像処理対象範囲である文字列が、利用者が所望する単語ではない場合、すなわち確定キーが押下されない場合（ステップＳ２０６でＮＯ）、中央制御部１０４は、移動検出手段の一例である移動検出プログラムを実行する。

移動検出プログラムは、たとえばカメラのオートフォーカス機能で利用している距離データを０．１秒ごとに取得し、過去の距離値と現在の値とを比較することで、当該装置と対象物との距離の変化を判定し、距離が小さくなった場合は装置が前方向に、大きくなった場合は後ろ方向に動いたと判定する処理を実行させるプログラムである。

または、中央制御部１０４は、移動検出手段の一例である加速度センサなどを用いて画像処理装置本体の移動方向を検出し、その結果に基づいて移動方向を判断する処理を実行させてもよい。

ステップＳ２０７〜Ｓ２１０では、ステップＳ２０６で移動検出手段を用いて検出された画像処理装置の移動方向または移動量に基づき、画像処理対象範囲を指定／変更する処理が実行される。たとえば、画像処理装置を入力対象に近づけることで画像処理対象範囲を狭めるように変更する。すなわち、ステップＳ２０７において、距離検出プログラムが実行されることで撮像部１０１から入力される撮像に基づいて当該画像処理装置が前方向に移動したか否かが判定され、前方向に移動したと判定された場合（ステップＳ２０７でＹＥＳ）、ステップＳ２０８において、中央制御部１０４は、ステップＳ２０４で１つの単語であるとして切出された文字列の両端を内側に移動させる。図５（Ｂ）は、ステップＳ２０８で、図５（Ａ）に示された、１つの単語であるとして切出された文字列の両端を、内側に移動させた文字列を提示する表示画面の具体例を示す図である。

また、画像処理装置を入力対象から離す操作で画像処理対象範囲を広げるように変更する。すなわち、ステップＳ２０９において、距離検出プログラムが実行されることで当該画像処理装置が後方向に移動したか否かが判定され、後方向に移動したと判定された場合（ステップＳ２０９でＹＥＳ）、ステップＳ２１０において、中央制御部１０４は、ステップＳ２０４で１つの単語として切出された文字列の両端を外側に移動させる。図５（Ｃ）は、ステップＳ２１０で、図５（Ａ）に示された、１つの単語として切出された文字列の両端を、外側に移動させた文字列を提示する表示画面の具体例を示す図である。

ここで、「入力対象に近づける」とは、撮像部１０１の一例であるカメラの、表面レンズに対して垂直方向に、画像処理装置本体を撮像対象がある方向に向かって移動させることを意味し、入力対象から離す」とは、この逆の向きの移動を意味している。

または、ステップ２１４においては、利用者が画像処理の途中終了操作をしたかが判定される。ステップ２１４では、具体的には、たとえば途中終了機能を付与した「キャンセルキー」が押下されたかどうかが判定され、キャンセルキーが押下された場合（ステップＳ２１４でＹＥＳ）に一連の処理を終了する。

上記ステップＳ２０５〜Ｓ２０９の処理が繰返し実行されることで表示画面において提示された画像処理対象範囲である文字列が利用者の所望する単語を示す文字列となると（ステップＳ２０６でＹＥＳ）、処理はステップ２１１に進む。

ステップ２１１以降では、撮影画像のうちの画像処理対象範囲に対して所望する画像処理が実行される。本実施の形態における画像処理装置では、ステップ２１１以降において画像処理対象範囲である文字列に対して文字列認識処理が実行されるものとする。

ステップ２１１で中央制御部１０４は、まず、ステップ２０４で用いられた黒画素連結成分情報を用いて、画像処理対象範囲である文字列に対して文字単位に切出しを行なう。そして、切出された文字ごとに、ＲＯＭ１０７に格納されている文字認識辞書との照合を行ない、最も辞書形状に近い文字を文字認識結果として出力する。

さらに、ステップＳ２１２において、ＲＯＭ１０７に格納されている英和辞書から文字認識結果の文字列を検索し、ステップＳ２１３においてその結果を表示する。

図５（Ｄ）は、上記ステップＳ２０５〜Ｓ２０９の処理後の画像処理対象範囲を提示する表示画面の具体例であって、上記ステップＳ２０６において、図５（Ｄ）に示される提示状態で確定キーが押下されると（ステップＳ２０６でＹＥＳ）、ステップＳ２１１における文字列認識結果が「ｑｕｅｕｅ」となり、ステップＳ２１２でＲＯＭ１０７に格納されている英和辞典が検索された結果が「列を作る」であれば、ステップＳ２１３において検索した単語「ｑｕｅｕｅ」と検索結果「列を作る」とが表示画面上に表示される。

なお、上記処理例では、データベースの例として英和辞典が用いられる場合が示されているが、国語辞典、漢和辞典などの辞書類の他、住所録など検索可能なデータベースであれば何であっても構わない。

また、上記処理例では、画像処理装置が前方向に移動した場合に画像処理対象範囲が狭くなり、後方向に移動した場合に画像処理対象範囲広くなる場合が示されているが、移動方向が逆であっても構わない。また、遠近方向ではなく、たとえば上下方向の移動を検出する方法も本発明に含まれる。

上記上下方向の移動を検出する場合は、移動検出プログラムが実行されることで、撮像部１０１で取得される画像に基づいて画像処理装置がどの方向に動いたかが検出される。撮像部１０１で取得される画像の変化は、ある時点で取得された画像と、その時点以前に取得された画像との差分から求められる。たとえば、０．１秒前に撮像された画像のすべての画素と、現時点で撮像された画像のすべての画素とを、ｘ軸方向およびｙ軸方向について撮像幅の±２５％の範囲において１画素単位で移動させ、計算できるすべて各画素間のＲＧＢ値の差を求める。その画素の値の差の平均が最も小さくなるｘ軸方向の移動量とｙ軸方向の移動量とを、画像処理装置の移動量として検出することができる。なお、上下方向の移動を検出する場合においては、必要な移動量の判定は上下（撮像画像上のｙ軸方向）方向のみであるが、利用者は厳密に上下のみに動かすことが困難であり、左右方向のブレをも吸収するために、ｘ軸方向の移動量の検出も行なうことが好ましい。

また、移動検出プログラムが実行されることで画像処理装置の左右の動きが検出され、その動きに応じて、現在表示されている画像処理対象範囲を、左隣あるいは右隣の単語区切りで囲まれた画像処理対象範囲に移動させてもよい。

なお、上記ステップＳ２０５〜Ｓ２１０において実行される移動検出手段は、ある時点で移動検出に失敗した場合、失敗した時点までの検出結果を廃棄して、改めて繰返し移動検出処理を行なってもよい。また、しきい値以上の大きな動きを検出した場合、現在までの操作がキャンセルされたと判断し、所定のキャンセル操作を行なってもよい。

つまり、上記ステップＳ２０５〜Ｓ２１０の処理において、一定時間（たとえば０．５秒間）連続して移動検出に失敗した場合、もしくは、所定のしきい値を超える加速度を一定時間検出した場合、中央制御部１０４は画像処理装置が連続して大きく動いたと判定し、予め保存しておいた単語切出し結果を画面上に表示するようにしてもよい。なお、このときの加速度は、０．２秒程度の一定時間の平均値を用いることが好ましい。

本実施の形態にかかる画像処理装置において上記処理が実行されることで、撮像装置である撮像部１０１からの入力を用いて移動検出手段により移動方向が検出され、検出された移動方向により、撮像画像の処理対象範囲を確定または変更することができる。

さらに、検出された移動方向により、文字認識および辞書検索に代表されるデータベース検索を行なうことで、利用者の直感的な動作に近い操作性をもつ画像処理を行なう電子辞書機能が提供できる。

すなわち、機器を空間で動かすという直感的動作と簡単な操作入力手段とを用いて、利用者は、たとえば入力対象とする文字列範囲などの画像処理対象範囲の指定や変更を行なうことができる。

［第２の実施の形態］
第２の実施の形態にかかる画像処理装置は、操作部１０３に上下左右の方向を指定するための物理的操作入力手段である十字キーなどが含まれて、利用者の物理的操作入力手段の操作を検出する操作検出手段を備え、操作検出手段および移動検出手段の結果に基づいて画像処理対象範囲の境界の指定および変更を行なう。

図６は、第２の実施の形態にかかる画像処理装置における画像処理の一例を示すフローチャートであり、以下、この図に従って説明する。図６のフローチャートに示される処理は、図３に示された第１の実施の形態にかかる画像処理装置における画像処理の一例のうち、画像処理対象範囲を選択する処理（ステップＳ２０５〜Ｓ２１０）に相当し、中央制御部１０４がＲＯＭ１０７に格納された各プログラムを読出して実行し、図１に示される各部の動作制御を行なうことで実現される。

また、図７は、図６のフローチャートに示される処理過程における表示部１０２の表示画面の具体例を示す図である。

第２の実施の形態においては、第１の実施の形態にかかる処理と同様に、英語の文字列データを撮像し画像処理対象範囲として所望の単語を文字列矩形として入力する場合に、十字キーで指定した画像処理対象範囲の境界を、画像処理装置を前方向に移動させて狭め、後ろ方向に移動させて広げるように変更する処理を実行する。

図６を参照して、第１の実施の形態にかかる画像処理と同様に、撮像画像から行抽出および画像処理対象範囲となる単語が抽出され、ステップＳ６０１で、表示部１０２の表示画面に表示される。続いてステップＳ６０２において、第１の実施の形態にかかる画像処理と同様に、確定キーが押下されたか否が判定されて、表示画面上に表示された画像処理対象範囲が、利用者が所望する文字列であるか否かが判定される。

画面上に表示された画像処理対象範囲である文字列が、利用者が所望する単語ではない場合、すなわち確定キーが押下されない場合（ステップＳ６０２でＮＯ）、中央制御部１０４は、移動検出手段の一例である移動検出プログラムを実行し、第１の実施の形態にかかる画像処理と同様に、撮像部１０１から入力される撮像に基づいて当該画像処理装置が前後方向のどちらに動いたかを検出する。

十字キーの左が押下されたことが検出され、かつ、画像処理装置が前方向に移動したと判定された場合（ステップＳ６０３でＹＥＳ）、中央制御部１０４は、ステップＳ６１０において、現在、画像処理対象範囲とされている文字列を囲む矩形の、左側境界を内側に移動させる（画像処理対象範囲を狭くする）。図７（Ａ）はステップＳ６１０の処理後の、表示部１０２の表示画面の具体例を示す図であり、図５（Ａ）に示された表示画面に対してステップＳ６１０の処理が施された場合の具体例を示す図である。

また、十字キーの左が押下されたことが検出され、かつ、画像処理装置が後方向に移動したと判定された場合（ステップＳ６０４でＹＥＳ）、中央制御部１０４は、ステップＳ６１１において、現在、画像処理対象範囲とされている文字列を囲む矩形の、左側境界を外側に移動させる（画像処理対象範囲を広くする）。

また、十字キーの右が押下されたことが検出され、かつ、画像処理装置が前方向に移動したと判定された場合（ステップＳ６０５でＹＥＳ）、中央制御部１０４は、ステップＳ６１２において、現在、画像処理対象範囲とされている文字列を囲む矩形の、右側境界を内側に移動させる（画像処理対象範囲を狭くする）。図７（Ｂ）はステップＳ６１２の処理後の、表示部１０２の表示画面の具体例を示す図であり、図５（Ａ）に示された表示画面に対してステップＳ６１２の処理が施された場合の具体例を示す図である。

また、十字キーの右が押下されたことが検出され、かつ、画像処理装置が後方向に移動したと判定された場合（ステップＳ６０６でＹＥＳ）、中央制御部１０４は、ステップＳ６１３において、現在、画像処理対象範囲とされている文字列を囲む矩形の、右側境界を外側に移動させる（画像処理対象範囲を広くする）。

また、十字キーが押下されたことが検出されず、かつ、画像処理装置が前方向に移動したと判定された場合（ステップＳ６０７でＹＥＳ）、中央制御部１０４は、ステップＳ６１４において、現在、画像処理対象範囲とされている文字列を囲む矩形の、境界の両端を内側に移動させる（画像処理対象範囲を狭くする）。また、画像処理装置が後方向に移動したと判定された場合（ステップＳ６０８でＹＥＳ）、中央制御部１０４は、ステップＳ６１４において、現在、画像処理対象範囲とされている文字列を囲む矩形の、境界の両端を外側に移動させる（画像処理対象範囲を広くする）。これらの処理は第１の実施の形態にかかる画像処理のステップＳ２０７〜Ｓ２１０の処理と同様である。

なお、画像処理対象範囲を変更するために十字キーが押された時点で、押された側の（変更対象とする）画像処理対象範囲の境界の表示色を変える、あるいは太さなどの線の表示方法を変えるなど、当該境界の表示方法を通常の境界の表示方法と異なる方法として、画像処理対象範囲を示す境界のどの部分が変更対象となっているかを利用者に明示することが好ましい。あるいは、変更対象としない境界部分の表示方法を通常の境界の表示方法と異なる方法としても、同様にどの部分が変更対象となっているかを利用者に明示できる。

以上の処理を、利用者が所望する文字列矩形の範囲が指定されるまで繰返した後、指定された対象範囲に対して画像処理を行なう。具体的には、第１の実施の形態にかかる画像処理と同様に文字列認識と辞書検索とを行ない、その結果を表示画面上に表示する、などの画像処理を行なうことができる。

第２の実施の形態にかかる画像処理装置で上記処理が実行されることで、撮像装置からの入力を用いた移動検出装置と物理的操作入力手段とにより、撮像された画像の画像処理対象範囲が変更、確定されるため、利用者は、十字キーなどのキー操作で変更する画像処理対象範囲の境界部分を指定し、同時に装置を動かす動作で、任意に画像処理対象範囲を変更することができる。また、画像処理装置に確定キーを設けられることで、ある時点での境界に決定することもできる。

以上のことより、本発明にかかる画像処理装置は、機器を空間で動かすという直感的動作を感知することで、容易に入力対象範囲の指定できる。そのため、利用者は効率的な入力操作が可能となる。すなわち、複雑なキー操作を必要としない自然な感覚での操作性を実現できるため、誰でも簡単に使いこなすことができる。すなわち、本発明にかかる画像処理装置を用いて、利用者は、画像を撮像する動作から、複雑な操作を介することなく、装置を動かすという直感的動作を用いて、撮像した画像から処理対象とする範囲を選択することが可能となる。このことは、利用者が携帯機器への入力操作と一連の動作で、目的の画像処理対象部分、たとえば特定の文字列部分を選出し、辞書検索に入力する等の操作を、容易に行なうことを可能とする。

また、本発明にかかる画像処理装置では、撮像部から入力される画像より移動検出を行なうため、速度センサ等の特別な装置を追加することなく画像処理装置の移動方向を判別することが可能である。そのため、画像処理装置の小型軽量化と利用者の操作を簡略化との両立が可能である。

さらに、十字キーや確定キー等の単純なボタン操作と、機器の動きという同時に操作可能な手法を連動させることで、利用者にとってより容易な操作を実現できる。たとえば単語を指定する場合において、変更したい境界の指定と境界の移動の操作とを同時に行なうことが可能となる。

また、本手法は、日本語、中国語などの単語間のスペースを用いない言語においても、入力対象範囲、単語などの範囲を容易に指定することが可能となる。

入力対象範囲の変更操作時において、変更対象とする境界の表示方法、あるいは、変更対象としない境界の表示方法を変更することにより、利用者の誤操作を未然に防ぐことができる。

また、装置を大きく動かすという単純な動作によるキャンセル機能を追加することにより、誤って意図と異なる操作入力された場合においても、容易に選択動作前の状態に戻すことが可能であるため、利用者は指示操作のキャンセルを容易に行なうことができる。

また、移動検出手段が移動検出に失敗した場合でも、移動検出が繰返し実行されることによって、範囲指定操作を継続することが可能である。このことにより、カメラの撮影可能範囲に撮像した対象を捉え続ける必要はなく、利用者がカメラの向きを自由に変更できるという利点がある。

さらに、本実施の形態にかかる画像処理装置において実行される画像処理方法を、プログラムとして提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＲＯＭ、ＲＡＭおよびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。

提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の実施の形態にかかる画像処理装置の構成の具体例を示す図である。 本実施の形態にかかる画像処理装置において検出される、当該画像処理の移動方向の定義を説明する図である。 第１の実施の形態にかかる画像処理装置における画像処理の一例を示すフローチャートである。 図３のフローチャートに示される処理過程における画像の具体例を示す図である。 図３のフローチャートに示される処理過程における表示部１０２の表示画面の具体例を示す図である。 第２の実施の形態にかかる画像処理装置における画像処理の一例を示すフローチャートである。 図６のフローチャートに示される処理過程における表示部１０２の表示画面の具体例を示す図である。

符号の説明

１０１ 撮像部、１０２ 表示部、１０３ 操作部、１０４ 中央制御部、１０５ ＲＡＭ、１０６ 付加装置、１０７ ＲＯＭ。

Claims (14)

1. 画像を取得する画像取得手段と、
   当該画像処理装置の移動を検出する移動検出手段と、
   前記画像に対して処理を行なう画像処理手段と、
   前記移動検出手段が検出した前記画像処理装置の移動に応じて、前記画像のうち、前記画像処理手段における処理対象範囲を決定する画像処理範囲決定手段とを備える、画像処理装置。
2. 前記画像取得手段は、被写体を撮影する撮像手段を含み、
   前記画像処理手段における処理対象の画像として、前記撮像手段において撮影されて取得された画像の中から１つの画像を確定する撮像画像確定手段をさらに備え、
   前記移動検出手段は、前記撮像手段において撮影されて取得された画像を用いて前記画像処理装置の移動を検出する、請求項１に記載の画像処理装置。
3. 物理的操作入力手段をさらに備え、
   前記画像処理範囲決定手段は、前記移動検出手段が検出した前記画像処理装置の移動と、前記物理的操作入力手段からの入力とに基づいて前記処理対象範囲を決定する、請求項１に記載の画像処理装置。
4. 前記画像のうち、前記処理対象範囲を自動的に判定する処理対象範囲判定手段をさらに備え、
   前記画像処理範囲決定手段は、前記処理対象判定手段において判定された前記処理対象範囲を変更する、請求項１に記載の画像処理装置。
5. 前記処理対象判定手段において判定された前記処理対象範囲を示す画像を表示する表示手段をさらに備える、請求項４に記載の画像処理装置。
6. 前記表示手段は、前記処理対象判定手段において判定された前記処理対象範囲のうちの、前記画像処理範囲決定手段において変更する範囲と、前記処理対象範囲のうちの前記変更する範囲以外の範囲とを、異なる表示形態とする、請求項５に記載の画像処理装置。
7. 前記画像処理範囲決定手段は、前記移動検出手段が検出した前記画像処理装置の移動がしきい値以上の移動である場合、前記処理対象範囲に対する前記変更を取消す、請求項４に記載の画像処理装置。
8. 物理的操作入力手段をさらに備え、
   前記画像処理範囲決定手段は、前記物理的操作入力手段からの入力に基づいて、前記変更を決定する、請求項４に記載の画像処理装置。
9. 前記移動検出手段は、前記画像処理装置の移動が検出されなかった場合に、前記検出を繰返す、請求項１に記載の画像処理装置。
10. 前記画像処理手段は、文字認識手段を含み、
    前記画像処理範囲決定手段は、前記文字認識手段における文字認識の対象とする範囲を決定する、請求項１に記載の画像処理装置。
11. 前記画像処理手段は、データベース照合手段を含み、
    前記画像処理範囲決定手段は、前記データベース照合手段においてデータベースと照合する範囲を決定する、請求項１に記載の画像処理装置。
12. 画像処理装置において処理対象とする範囲を指定する方法であって、
    画像を取得する画像取得ステップと、
    前記画像処理装置の移動を検出する移動検出ステップと、
    前記移動検出ステップにおいて検出された前記画像処理装置の移動に応じて、前記画像のうち、前記処理対象とする範囲を決定する画像処理範囲決定ステップとを備える、画像処理装置における処理対象範囲指定方法。
13. 画像処理の対象とする範囲を指定する処理をコンピュータに実行させるプログラムであって、
    画像を取得する画像取得ステップと、
    前記画像処理装置の移動を検出する移動検出ステップと、
    前記移動検出ステップにおいて検出された前記画像処理装置の移動に応じて、前記画像のうち、前記処理対象とする範囲を決定する画像処理範囲決定ステップとを実行させる、画像処理範囲指定プログラム。
14. 請求項１３に記載の画像処理範囲指定プログラムを記録する、コンピュータ読取可能な記録媒体。