JP5885569B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置および画像処理プログラムに関するものである。

画像内のオブジェクトを抽出する画像処理装置が種々提案されている（例えば特許文献１〜３参照）。例えば特許文献１，２に記載の装置は、ＯＣＲ（Optical Character Recognition）技術で、画像内の文字を抽出している。また、例えば特許文献３に記載の装置は、文字、線分、およびイメージを抽出し、別々に圧縮している。

その他、表示されている画像内の複数のオブジェクトを、マウスなどを使用して手作業で選択し、選択されたオブジェクトをグルーピングする技術が提案されている（例えば特許文献４参照）。

特開平６−１８０７７０号公報 特開２００４−３４１６３１号公報 特開２００６−２７０４３９号公報 特開平３−１６０５６８号公報

上述の画像内のオブジェクトを抽出する画像処理装置は、画像内のオブジェクトを、文字などに固定的に分類している。このため、ユーザーの所望する詳細な分類を行うことは困難である。

また、上述のグルーピングの技術では、ユーザーが、表示されている画像から１つ１つのオブジェクトを選択しなければならないため、画像が表示された状態で、ユーザーが１つ１つのオブジェクトを分類する必要があり、グルーピングのためのユーザー作業が非常に煩雑である。

このように、上述の技術では、ユーザーによる簡単な作業で、画像内のオブジェクトに対して、ユーザーの所望する詳細な分類を行い、各分類のオブジェクトをグルーピングすることは困難である。

本発明は、上記の問題に鑑みてなされたものであり、ユーザーによる簡単な作業だけで、画像内のオブジェクトに対して、ユーザーの所望する詳細な分類を行い、各分類のオブジェクトをグルーピングする画像処理装置および画像処理プログラムを得ることを目的とする。

上記の課題を解決するために、本発明では以下のようにした。

本発明に係る画像処理装置は、ユーザー操作に基づいて、画像内のオブジェクトをグルーピングする際のオブジェクトの分類方法を示すユーザー嗜好情報を所定の記憶装置に登録するグルーピング設定部と、画像内のオブジェクトを検出する画像解析部と、記憶装置からユーザー嗜好情報を読み出し、画像解析部により画像内で検出されたオブジェクトを、ユーザー嗜好情報により指定された分類ごとにグルーピングするグルーピング部とを備える。そして、ユーザー嗜好情報は、大分類と、大分類に属する下位分類を含み、グルーピング部は、各オブジェクトを、ユーザー嗜好情報により指定されている大分類にグルーピングするとともに、ユーザー嗜好情報により指定されている下位分類にグルーピングする。さらに、大分類に対して大分類であることを示す１つの分類ＩＤが設定され、ある１つの下位分類に対して下位分類の分類ＩＤが複数設定され、グルーピング部は、各オブジェクトをグルーピングする際に、ユーザー嗜好情報により指定された大分類の分類ＩＤおよび下位分類の分類ＩＤに、オブジェクトを関連付ける。

これにより、事前にユーザー嗜好情報を登録しておくだけで（つまり、ユーザーによる簡単な作業だけで）、画像内のオブジェクトに対して、ユーザーの所望する詳細な分類が自動的に行われ、各分類のオブジェクトがグルーピングされる。

また、本発明に係る画像処理装置は、上記の画像処理装置に加え、次のようにしてもよい。この場合、画像処理装置は、ユーザー操作を検出する入力部と、画像内のオブジェクトのうち、ユーザー嗜好情報において指定されている分類を選択する第１ユーザー操作および選択した分類に属するオブジェクトに対する編集方法を選択する第２ユーザー操作が入力部により検出されると、画像において、第１ユーザー操作により選択された分類に属するすべてのオブジェクトを、第２ユーザー操作により選択された編集方法で編集する画像編集部と、画像編集部による編集の前および／または後の上述の画像を表示する表示部とをさらに備える。

これにより、グルーピングされている各分類のオブジェクトが、一括して編集できる。

また、本発明に係る画像処理装置は、上記の画像処理装置に加え、次のようにしてもよい。この場合、ユーザー嗜好情報は、大分類として、文字領域、画像領域、および罫線領域の少なくとも１つを指定する。そして、グルーピング部は、ユーザー嗜好情報により指定されている大分類ごとに、その分類に属するオブジェクトをグルーピングする。

また、本発明に係る画像処理装置は、上記の画像処理装置に加え、次のようにしてもよい。この場合、ユーザー嗜好情報は、文字領域について、さらに、下位分類として、手書き文字か否かの分類を実行するか否かの設定情報、文字種別による分類を実行するか否かの設定情報、文字装飾による分類を実行するか否かの設定情報、および所定の指定文字の付いた単語を抽出する分類を実行するか否かの設定情報の少なくとも１つを含む。そして、グルーピング部は、文字領域について、ユーザー嗜好情報における設定情報より指定されている分類を実行する。

また、本発明に係る画像処理装置は、上記の画像処理装置に加え、次のようにしてもよい。この場合、ユーザー嗜好情報は、画像領域について、さらに、下位分類として、顔画像か否かの分類を実行するか否かの設定情報、および所定の形状か否かの分類を実行するか否かの設定情報の少なくとも１つを含む。そして、グルーピング部は、画像領域について、ユーザー嗜好情報における設定情報より指定されている分類を実行する。

また、本発明に係る画像処理装置は、上記の画像処理装置に加え、次のようにしてもよい。この場合、ユーザー嗜好情報は、罫線領域について、さらに、下位分類として、罫線方向による分類を実行するか否かの設定情報、罫線の線種による分類を実行するか否かの設定情報、および罫線の太さによる分類を実行するか否かの設定情報の少なくとも１つを含む。そして、グルーピング部は、罫線領域について、ユーザー嗜好情報における設定情報より指定されている分類を実行する。

本発明に係る画像処理プログラムは、コンピューターを、ユーザー操作に基づいて、画像内のオブジェクトをグルーピングする際のオブジェクトの分類方法を示すユーザー嗜好情報を所定の記憶装置に登録するグルーピング設定部、画像内のオブジェクトを検出する画像解析部、および記憶装置からユーザー嗜好情報を読み出し、画像解析部により画像内で検出されたオブジェクトを、ユーザー嗜好情報により指定された分類ごとにグルーピングするグルーピング部として機能させる。そして、ユーザー嗜好情報は、大分類と、大分類に属する下位分類を含み、グルーピング部は、各オブジェクトを、ユーザー嗜好情報により指定されている大分類にグルーピングするとともに、ユーザー嗜好情報により指定されている下位分類にグルーピングする。さらに、大分類に対して大分類であることを示す１つの分類ＩＤが設定され、ある１つの下位分類に対して下位分類の分類ＩＤが複数設定され、グルーピング部は、各オブジェクトをグルーピングする際に、ユーザー嗜好情報により指定された大分類の分類ＩＤおよび下位分類の分類ＩＤに、オブジェクトを関連付ける。これにより、事前にユーザー嗜好情報を登録しておくだけで（つまり、ユーザーによる簡単な作業だけで）、画像内のオブジェクトに対して、ユーザーの所望する詳細な分類が自動的に行われ、各分類のオブジェクトがグルーピングされる。

本発明に係る画像処理プログラムは、上記の画像処理プログラムに加え、コンピューターを、さらに、画像内のオブジェクトのうち、ユーザー嗜好情報において指定されている分類を選択する第１ユーザー操作および選択した分類に属するオブジェクトに対する編集方法を選択する第２ユーザー操作が検出されると、画像において、第１ユーザー操作により選択された分類に属するすべてのオブジェクトを、第２ユーザー操作により選択された編集方法で編集する画像編集部として機能させるようにしてもよい。そして、上記の第１ユーザー操作は、ユーザー嗜好情報において指定されている大分類または下位分類を選択することを含み、画像編集部は、第１ユーザー操作によって選択された大分類または下位分類に属するすべてのオブジェクトを編集するようにしてもよい。

本発明によれば、ユーザーによる簡単な作業だけで、画像内のオブジェクトに対して、ユーザーの所望する詳細な分類を行い、各分類のオブジェクトをグルーピングする画像処理装置および画像処理プログラムが得られる。

図１は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 図２は、図１に示す画像処理装置によるユーザー嗜好情報の登録について説明するフローチャートである。 図３は、図１に示す画像処理装置において、ユーザー嗜好情報の登録時に表示されるユーザー嗜好入力画面の一例を示す図である。 図４は、図１に示す画像処理装置による画像内のオブジェクトのグルーピングについて説明するフローチャートである。 図５は、図１に示す画像処理装置による画像内のオブジェクトの分類の一例を示す図である。 図６は、図１に示す画像処理装置によるオブジェクトの画像編集画面の一例を示す図である。 図７は、図６に示す画像編集画面においてオブジェクトの画像編集が実行された後の画像編集画面の一例を示す図である。

以下、図に基づいて本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。

図１に示す画像処理装置は、画像形成装置の一種である複合機であって、スキャナー部１、プリンター部２、ユーザー操作部３、ネットワーク通信部４、記憶装置５、およびコントローラー６を有する。

スキャナー部１は、原稿画像を光学的に読み取り、その原稿画像の画像データを出力する内部装置である。スキャナー部１は、スキャナーエンジン１１、ＣＣＤ（Charge Coupled Device）１２、およびドキュメントフィーダー１３を有し、スキャナーエンジン１１は、コントローラー６からの要求に従って、ＣＣＤ１２、ドキュメントフィーダー１３、その他の駆動装置（図示せず）を制御して、原稿画像を読み取り、その原稿画像の画像データ（ラスターデータ）を生成する。

プリンター部２は、コントローラー６からの要求に応じて、コントローラー６からの画像データに基づく画像を印刷する内部装置である。

ユーザー操作部３は、例えば装置筐体に設置された操作パネルであって、入力部２１と、表示部２２とを有する。入力部２１は、ハードウェアキー、タッチパネルなどであって、ユーザー操作を検出し、そのユーザー操作に応じた電気信号を出力する装置である。表示部２２は、例えば液晶ディスプレイ、ＬＥＤ（Light Emitting Diode）表示器などであって、ユーザーに対して各種情報を表示する装置である。ユーザー操作部３は、コントローラー６からの要求に応じた画面を表示部２２で表示するとともに、入力部２１により検出されたユーザー操作の情報をコントローラー６に供給する。

ネットワーク通信部４は、ネットワークに接続され、そのネットワークに接続されたホスト装置などとのデータ通信を行う装置である。

記憶装置５は、ユーザーの登録情報、後述のユーザー嗜好情報、スキャナー部１により生成された原稿画像の画像データなどを記憶する装置である。記憶装置５としては、例えばハードディスクドライブなどの不揮発性の記憶装置が使用される。

コントローラー６は、スキャナー部１とのデータ通信を行うインターフェイス３１、プリンター部２とのデータ通信を行うインターフェイス３２、ユーザー操作部３とのデータ通信を行うインターフェイス３３、ネットワーク通信部４とのデータ通信を行うインターフェイス３４、記憶装置５とのデータ通信を行うインターフェイス３５、および画像処理部３６を有する。

コントローラー６は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを有するコンピューターおよび／またはＡＳＩＣ（Application Specific Integrated Circuit）を有し、図示せぬ画像処理プログラムを実行して画像処理部３６を実現する。なお、画像処理プログラムは、ＲＯＭ、記憶装置５などの記録媒体に予め記憶されている。

画像処理部３６は、グルーピング設定部４１、画像生成部４２、画像解析部４３、グルーピング部４４、画像編集部４５、および制御部４６を有する。

グルーピング設定部４１は、入力部２１により検出されたユーザー操作に基づいて、ユーザー嗜好情報を特定し、記憶装置５に登録する処理部である。ユーザー嗜好情報は、画像（例えばスキャナー部１により読み取られた画像）内のオブジェクトをグルーピングする際のオブジェクトの分類方法を示す情報である。

また、ユーザー嗜好情報は、オブジェクトの分類として、文字領域、画像領域、および罫線領域の少なくとも１つを指定する情報である。

また、ユーザー嗜好情報は、文字領域について、手書き文字か否かの分類を実行するか否かの設定情報、文字種別による分類を実行するか否かの設定情報、文字装飾による分類を実行するか否かの設定情報、および所定の指定文字の付いた単語を抽出する分類を実行するか否かの設定情報の少なくとも１つを含む。

また、ユーザー嗜好情報は、画像領域について、顔画像か否かの分類を実行するか否かの設定情報、および所定の形状か否かの分類を実行するか否かの設定情報の少なくとも１つを含む。

また、ユーザー嗜好情報は、罫線領域について、罫線方向による分類を実行するか否かの設定情報、罫線の線種による分類を実行するか否かの設定情報、および罫線の太さによる分類を実行するか否かの設定情報の少なくとも１つを含む。

画像生成部４２は、スキャナー部１を制御して、原稿画像を読み取らせ、その原稿画像の画像データを取得する処理部である。

画像解析部４３は、画像生成部４２により取得された画像データに基づく画像内において、オブジェクトを検出する。オブジェクトとは、原稿画像内の、文字領域、画像領域、罫線領域などの個別の画像のことである。なお、画像解析部４３は、既知の技術を使用して、画像内の文字領域、画像領域、および罫線領域をそれぞれ検出する。

なお、文字領域の検出については、一般的なＯＣＲ技術（例えば特開２００４−３４１６３１号公報に記載の技術）が利用できる。また、画像領域の検出については、例えば、「航空写真からの複合オブジェクト認識手法の研究」（須藤 孝史ら著、２０００年６月２９日、日本写真測量学会平成１２年度年次学術講演会発表論文集）、「航空画像からの半自動オブジェクト概念抽出手法の研究」（久保 孝弘ら著、２００２年３月８日、コンピュータビジョンとイメージメディア１３２−２、情報処理学会研究会）などの技術が利用できる。

グルーピング部４４は、記憶装置５からユーザー嗜好情報を読み出し、画像解析部４３により画像内で検出されたオブジェクトを、そのユーザー嗜好情報により指定された分類ごとにグルーピングする。

グルーピング部４４は、各オブジェクトについてのオブジェクトデータ、およびユーザー嗜好情報により指定されている各分類についての分類データを生成し、それらのデータをコントローラー６内のＲＡＭや記憶装置５に保持する。

オブジェクトデータは、オブジェクトに固有のオブジェクトＩＤ、そのオブジェクトの領域を特定するための位置情報（領域の形状情報を含む）、および属性情報を有する。属性情報は、オブジェクトの属する分類（例えば文字領域など）を示す。

分類データは、各分類に固有の分類ＩＤ、およびその分類に属する１または複数のオブジェクトのオブジェクトＩＤのリストを互いに関連付けた状態で有する。

なお、オブジェクトデータおよび分類データは、原稿画像ごとに生成され、例えば、原稿画像の画像データに関連付けられて保持される。

この実施の形態では、このように、分類データを生成することで、グルーピング部４４は、ユーザー嗜好情報により指定されているオブジェクトの分類ごとに、その分類に属するオブジェクトをグルーピングする。

なお、グルーピング設定部４１は、ログイン中のユーザーに関連付けてユーザー嗜好情報を登録し、グルーピング部４４は、ログイン中のユーザーのユーザー嗜好情報を読み出して使用するようにしてもよい。その場合、ユーザー嗜好情報は、ユーザーＩＤに関連付けて登録される。また、その場合には、正規ユーザーのユーザー登録情報（ユーザーＩＤまたはユーザーＩＤとパスコード）が予め記憶装置５に登録され、コントローラー６は、そのユーザー登録情報を参照して、ユーザーが当該画像処理装置の使用開始時に提示されるユーザーＩＤ（またはユーザーＩＤとパスコード）に基づいて、そのユーザーを特定するとともに、ログインの可否を決定する。

画像編集部４５は、画像内のオブジェクトに対する画像編集を行う処理部である。具体的には、画像編集部４５は、画像内のオブジェクトのうち、ユーザー嗜好情報において指定されている分類を選択する第１ユーザー操作および選択した分類に属するオブジェクトに対する編集方法を選択する第２ユーザー操作が入力部２１により検出されると、画像のうち、その第１ユーザー操作により選択された分類に属するすべてのオブジェクトを、その第２ユーザー操作により選択された編集方法で編集する。なお、その際、表示部２２には、画像編集部４５による編集の前後の画像が表示される。

制御部４６は、プリンター部２を制御し、例えば、画像編集部４５による編集後の画像を印刷させる。

次に、上記画像処理装置の動作について説明する。

（１）ユーザー嗜好情報の登録

図２は、図１に示す画像処理装置によるユーザー嗜好情報の登録について説明するフローチャートである。

ユーザーが入力部２１に対して所定の操作を行うと、入力部２１がそのユーザー操作を検出し、グルーピング設定部４１は、ユーザー嗜好入力画面を表示部２２に表示させる（ステップＳ１）。

図３は、図１に示す画像処理装置において、ユーザー嗜好情報の登録時に表示されるユーザー嗜好入力画面の一例を示す図である。図３に示すユーザー嗜好入力画面では、大分類として、「文字領域グループ化」、「画像領域グループ化」、および「罫線領域グループ化」のうちの１つまたは複数が選択可能となっている。

「標準グループ化」のチェックボックス６１がチェックされると、「文字領域グループ化」、「画像領域グループ化」、および「罫線領域グループ化」のすべてが指定される。

「文字領域グループ化」のチェックボックス６２がチェックされると、「文字領域グループ化」が指定される（つまり、文字領域のオブジェクトを抽出し文字領域として分類するという分類方法が指定される）。なお、文字領域に対する分類ＩＤが予め設定されており、分類データでは、文字領域に対する分類ＩＤに、文字領域のオブジェクトＩＤが関連付けられる。

「画像領域グループ化」のチェックボックス６３がチェックされると、「画像領域グループ化」が指定される（つまり、画像領域のオブジェクトを抽出し画像領域として分類するという分類方法が指定される）。なお、画像領域に対する分類ＩＤが予め設定されており、分類データでは、画像領域に対する分類ＩＤに、画像領域のオブジェクトＩＤが関連付けられる。

「罫線領域グループ化」のチェックボックス６４がチェックされると、「罫線領域グループ化」が指定される（つまり、罫線領域のオブジェクトを抽出し罫線領域として分類するという分類方法が指定される）。なお、罫線領域に対する分類ＩＤが予め設定されており、分類データでは、罫線領域に対する分類ＩＤに、罫線領域のオブジェクトＩＤが関連付けられる。

また、「文字領域グループ化」に対する下位分類として、以下の分類が設定可能である。

「手書き文字分類」のチェックボックス７１がチェックされると、文字領域について、手書き文字か否かの分類を実行するか否かの設定情報の値が、分類実行を示す値とされ、チェックされないと、分類実行せずを示す値とされる。

なお、手書き文字に対する分類ＩＤと、それ以外（つまり活字文字）に対する分類ＩＤとが予め設定されており、「手書き文字分類」が実行される場合、分類データにおいて、手書き文字に対する分類ＩＤには、手書き文字として抽出された文字領域のオブジェクトＩＤが関連付けられ、それ以外（つまり活字文字）に対する分類ＩＤには、それ以外（つまり活字文字）の文字領域のオブジェクトＩＤが関連付けられる。

「文字種別分類」のチェックボックス７２がチェックされると、文字領域について、文字種別（特定の文字、特定のフォント種別、特定のフォントサイズなど）による分類を実行するか否かの設定情報の値が、分類実行を示す値とされ、チェックされないと、分類実行せずを示す値とされる。なお、図３では図示していないが、「文字種別分類」の下位分類として、１または複数の文字種別を指定可能としてもよい。フォント種別は、例えばイタリック体、ボールド体などとされる。

なお、１または複数の特定の文字種別に対する１または複数の分類ＩＤが予め設定されており、「文字種別分類」が実行される場合、分類データにおいて、各文字種別の分類ＩＤには、その文字種別として抽出された文字領域のオブジェクトＩＤが関連付けられる。

「文字装飾分類」のチェックボックス７３がチェックされると、文字領域について、文字装飾（マーカー、アンダーラインなどの特定の装飾）による分類を実行するか否かの設定情報の値が、分類実行を示す値とされ、チェックされないと、分類実行せずを示す値とされる。なお、図３では図示していないが、「文字装飾分類」の下位分類として、１または複数の文字装飾種別を指定可能としてもよい。

なお、１または複数の特定の文字装飾に対する１または複数の分類ＩＤが予め設定されており、「文字装飾分類」が実行される場合、分類データにおいて、各文字装飾の分類ＩＤには、その文字装飾として抽出された文字領域のオブジェクトＩＤが関連付けられる。

「指定文字分類」のチェックボックス７４がチェックされると、文字領域について、特定の指定文字を含む単語（あるいは指定文字の後続の単語）を分類する指定文字分類を実行するか否かの設定情報の値が、分類実行を示す値とされ、チェックされないと、分類実行せずを示す値とされる。なお、指定文字は、例えば「”」、「’」などの引用符とされる。

なお、指定文字に対して分類ＩＤが予め設定されており、「指定文字分類」が実行される場合、分類データにおいて、指定文字の分類ＩＤには、その指定文字についての単語として抽出された文字領域のオブジェクトＩＤが関連付けられる。

また、「画像領域グループ化」に対する下位分類として、以下の分類が設定可能である。

「顔認識分類」のチェックボックス７５がチェックされると、画像領域について、顔画像か否かの分類を実行するか否かの設定情報の値が、分類実行を示す値とされ、チェックされないと、分類実行せずを示す値とされる。

なお、顔画像に対して分類ＩＤが予め設定されており、「顔認識分類」が実行される場合、分類データにおいて、顔画像の分類ＩＤには、顔画像として抽出された画像領域のオブジェクトＩＤが関連付けられる。

「形状分類」のチェックボックス７６がチェックされると、画像領域について、特定形状の画像か否かの分類を実行するか否かの設定情報の値が、分類実行を示す値とされ、チェックされないと、分類実行せずを示す値とされる。なお、図３では図示していないが、「形状分類」の下位分類として、１または複数の形状を指定可能としてもよい。

なお、各形状に対して分類ＩＤが予め設定されており、「形状分類」が実行される場合、分類データにおいて、各形状の分類ＩＤには、その形状として抽出された画像領域のオブジェクトＩＤが関連付けられる。

また、「罫線領域グループ化」に対する下位分類として、以下の分類が設定可能である。

「方向分類」のチェックボックス７７がチェックされると、罫線領域について、縦罫線か横罫線かの分類を実行するか否かの設定情報の値が、分類実行を示す値とされ、チェックされないと、分類実行せずを示す値とされる。

なお、縦罫線および横罫線に対してそれぞれ分類ＩＤが予め設定されており、「方向分類」が実行される場合、分類データにおいて、縦罫線および横罫線の分類ＩＤには、縦罫線および横罫線として抽出された罫線領域のオブジェクトＩＤが関連付けられる。

「線種分類」のチェックボックス７８がチェックされると、罫線領域について、線種（実線、破線、鎖線など）による分類を実行するか否かの設定情報の値が、分類実行を示す値とされ、チェックされないと、分類実行せずを示す値とされる。なお、図３では図示していないが、「線種分類」の下位分類として、１または複数の線種を指定可能としてもよい。

なお、各線種に対してそれぞれ分類ＩＤが予め設定されており、「線種分類」が実行される場合、分類データにおいて、各線種の分類ＩＤには、その線種として抽出された罫線領域のオブジェクトＩＤが関連付けられる。

「太さ分類」のチェックボックス７９がチェックされると、罫線領域について、線の太さ（太、細など）による分類を実行するか否かの設定情報の値が、分類実行を示す値とされ、チェックされないと、分類実行せずを示す値とされる。なお、図３では図示していないが、「太さ分類」の下位分類として、１または複数の太さを指定可能としてもよい。

なお、各太さに対してそれぞれ分類ＩＤが予め設定されており、「太さ分類」が実行される場合、分類データにおいて、各太さの分類ＩＤには、その太さとして抽出された罫線領域のオブジェクトＩＤが関連付けられる。

そして、グルーピング部４１は、ユーザー操作に応じて、ユーザー嗜好情報を登録するか否かを判定する（ステップＳ２）。例えば、図３に示す入力画面において、登録ボタン８１が操作された場合、グルーピング部４１は、ユーザー嗜好情報を登録すると判定し、キャンセルボタン８２が操作された場合、グルーピング部４１は、ユーザー嗜好情報を登録しないと判定する。なお、ユーザー嗜好情報を登録しないと判定した場合、グルーピング部４１は、ユーザー嗜好情報を登録せずにこの処理を終了する。

ユーザー嗜好情報を登録すると判定した場合、グルーピング部４１は、ユーザー嗜好入力画面において、ユーザーにより少なくとも１つの分類が指定されたか否かを判定する（ステップＳ３）。例えば図３に示す入力画面の場合、グルーピング部４１は、チェックボックス６１〜６４，７１〜７９のうちの少なくとも１つがチェックされたか否かを判定する。

ユーザー嗜好入力画面において分類が指定されなかった場合、グルーピング部４１は、ユーザー嗜好情報を登録せずにこの処理を終了する。

ユーザー嗜好入力画面において分類が指定された場合、グルーピング部４１は、指定された分類をユーザー嗜好情報として登録する（ステップＳ４）。

ユーザー嗜好情報は、例えば、全分類のそれぞれについてのオン／オフを示すデータを有する。例えば図３に示すユーザー嗜好入力画面の場合、分類ＩＤと、その分類についてのチェックボックス（チェックボックス６１〜６４，７１〜７９のいずれか）の値（例えば１または０）とが関連付けられてユーザー嗜好情報として登録される。

このようにして、画像内のオブジェクトの分類方法を示すユーザー嗜好情報が、事前に、ユーザーにより指定され、登録される。

（２）画像内のオブジェクトのグルーピングおよび編集

図４は、図１に示す画像処理装置による画像内のオブジェクトのグルーピングについて説明するフローチャートである。

入力部２１に対するユーザーによる所定の操作に従って、画像生成部４２は、スキャナー部１に原稿画像を読み取らせ、その原稿画像の画像データを取得する（ステップＳ２１）。

次に、画像解析部４３は、その画像データを解析し、その画像データに基づく画像内のオブジェクト（ここでは、文字領域、画像領域、および罫線領域）を検出する（ステップＳ２２）。なお、このとき、画像解析部４３は、文字領域、画像領域、および罫線領域のうち、ユーザー嗜好情報によりグループ化の指定がされている領域のみを検出するようにしてもよい。

そして、グルーピング部４４は、ユーザー嗜好情報を読み込み（ステップＳ２３）、そのユーザー嗜好情報において、「文字領域グループ化」の実行が指定されているか否かを判定する（ステップＳ２４）。

そのユーザー嗜好情報において、「文字領域グループ化」の実行が指定されている場合には、グルーピング部４４は、画像解析部４３により検出された文字領域を、ユーザー嗜好情報において指定されている下位分類で分類し（ステップＳ２５）、文字領域の分類ＩＤに各文字領域のオブジェクトＩＤを関連付けるとともに、各下位分類について、その下位分類の分類ＩＤに、その下位分類に属する文字領域のオブジェクトＩＤを関連付けて、分類データを生成し、その文字領域をグルーピングする（ステップＳ２６）。

そのユーザー嗜好情報において、「文字領域グループ化」の実行が指定されていない場合には、ステップＳ２５，Ｓ２６の処理はスキップされる。

また、グルーピング部４４は、そのユーザー嗜好情報において、「画像領域グループ化」の実行が指定されているか否かを判定する（ステップＳ２７）。

そのユーザー嗜好情報において、「画像領域グループ化」の実行が指定されている場合には、グルーピング部４４は、画像解析部４３により検出された画像領域を、ユーザー嗜好情報において指定されている下位分類で分類し（ステップＳ２８）、画像領域の分類ＩＤに各画像領域のオブジェクトＩＤを関連付けるとともに、各下位分類について、その下位分類の分類ＩＤに、その下位分類に属する画像領域のオブジェクトＩＤを関連付けて、分類データを生成し、その画像領域をグルーピングする（ステップＳ２９）。

そのユーザー嗜好情報において、「画像領域グループ化」の実行が指定されていない場合には、ステップＳ２８，Ｓ２９の処理はスキップされる。

また、グルーピング部４４は、そのユーザー嗜好情報において、「罫線領域グループ化」の実行が指定されているか否かを判定する（ステップＳ３０）。

そのユーザー嗜好情報において、「罫線領域グループ化」の実行が指定されている場合には、グルーピング部４４は、画像解析部４３により検出された罫線領域を、ユーザー嗜好情報において指定されている下位分類で分類し（ステップＳ３１）、罫線領域の分類ＩＤに各罫線領域のオブジェクトＩＤを関連付けるとともに、各下位分類について、その下位分類の分類ＩＤに、その下位分類に属する罫線領域のオブジェクトＩＤを関連付けて、分類データを生成し、その画像領域をグルーピングする（ステップＳ３２）。

そのユーザー嗜好情報において、「罫線領域グループ化」の実行が指定されていない場合には、ステップＳ３１，Ｓ３２の処理はスキップされる。

このようにして、原稿画像内のオブジェクトの分類が実行される。

図５は、図１に示す画像処理装置による画像内のオブジェクトの分類の一例を示す図である。画像１０１内に、活字文字１１１、横罫線１１２、手書き文字１１３、横罫線１１４、および顔画像１１５が存在する場合、「標準グループ化」が指定されているとき、これらが、文字領域１２１、罫線領域１２２、文字領域１２３、罫線領域１２４、および画像領域１２５としてそれぞれ検出される。

ユーザー嗜好情報において「文字領域グループ化」の実行が指定されている場合、この図５に示す画像１０１についての分類データでは、文字領域の分類ＩＤには、文字領域１２１のオブジェクトＩＤおよび文字領域１２３のオブジェクトＩＤが関連付けられる。

また、ユーザー嗜好情報において「文字領域グループ化」の下位分類である「手書き文字分類」の実行が指定されている場合、この図５に示す画像１０１についての分類データでは、手書き文字の分類ＩＤには、文字領域１２１のオブジェクトＩＤが関連付けられ、それ以外の文字の分類ＩＤには、文字領域１２３のオブジェクトＩＤが関連付けられる。一方、ユーザー嗜好情報において「文字領域グループ化」の下位分類である「手書き文字分類」の実行が指定されていない場合、この図５に示す画像１０１についての分類データには、手書き文字の分類ＩＤおよびそれ以外の文字の分類ＩＤについてのデータは含まれない。

次に、画像内のオブジェクトのグループごと（つまり、分類ごと）の画像編集について説明する。

ユーザーによる所定の操作に従って、画像編集部４５は、画像編集画面を表示部２２に表示させる。

図６は、図１に示す画像処理装置によるオブジェクトの画像編集画面の一例を示す図である。画像編集画面では、編集対象の画像１０１および各領域１２１〜１２５が表示されるとともに、編集対象の分類を指定するための分類リスト１３１、および編集方法を指定するための編集方法リスト１３２が表示される。分類リスト１３１は、編集対象の画像１０１内に含まれる分類のリストである。

分類リスト１３１内のいずれかの分類を選択する第１ユーザー操作、および編集方法リスト１３２内のいずれかの編集方法を選択する第２ユーザー操作が入力部２１により検出されると、画像編集部４５は、分類データを参照し、分類データ内で、選択された分類の分類ＩＤに関連付けられているオブジェクトＩＤを特定し、オブジェクトデータにおいて、そのオブジェクトＩＤに関連付けられている位置情報からそのオブジェクトの領域を特定し、選択された編集方法で、その領域の画像を編集する。

図７は、図６に示す画像編集画面においてオブジェクトの画像編集が実行された後の画像編集画面の一例を示す図である。例えば、図６に示す画像編集画面において、第１ユーザー操作により「罫線領域：横」が選択され、第２ユーザー操作により「消去」が選択された場合、画像編集部４５は、分類データおよびオブジェクトデータから、「罫線領域：横」の罫線領域１２２，１２４を特定し、図７に示すように、その領域１２２，１２４の色を背景色と同色に置換して罫線領域１２２，１２４を消去し、罫線領域１２２，１２４を消去した画像１０１を表示させる。

そして、例えば、制御部４６は、画像編集部４５による編集後の画像を、プリンター部２に印刷させる。あるいは、編集後の画像の画像データを記憶装置５に保存するようにしてもよい。

以上のように、上記実施の形態によれば、グルーピング設定部４１は、ユーザー操作に基づいて、画像内のオブジェクトをグルーピングする際のオブジェクトの分類方法を示すユーザー嗜好情報を記憶装置５に登録する。そして、画像解析部４３は、画像内のオブジェクトを検出し、グルーピング部４４は、記憶装置５からユーザー嗜好情報を読み出し、画像解析部４３により画像内で検出されたオブジェクトを、ユーザー嗜好情報により指定された分類ごとにグルーピングする。

これにより、事前にユーザー嗜好情報を登録しておくだけで（つまり、ユーザーによる簡単な作業だけで）、画像内のオブジェクトに対して、ユーザーの所望する詳細な分類が行われ、各分類のオブジェクトがグルーピングされる。

なお、上述の実施の形態は、本発明の好適な例であるが、本発明は、これらに限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の変形、変更が可能である。

上記実施の形態において、分類データおよびオブジェクトデータを参照し、ユーザーにより指定された分類に属するオブジェクトを検索し、発見したオブジェクトを表示する検索機能を画像処理部３６に追加してもよい。

本発明は、例えば、複合機などの画像形成装置に適用可能である。

５ 記憶装置
２１ 入力部
２２ 表示部
４１ グルーピング設定部
４３ 画像解析部
４４ グルーピング部
４５ 画像編集部
１０１ 画像
１２１，１２３ 文字領域
１２２，１２４ 罫線領域
１２５ 画像領域

Claims (9)

1. ユーザー操作に基づいて、画像内のオブジェクトをグルーピングする際のオブジェクトの分類方法を示すユーザー嗜好情報を所定の記憶装置に登録するグルーピング設定部と、
   画像内のオブジェクトを検出する画像解析部と、
   前記記憶装置から前記ユーザー嗜好情報を読み出し、前記画像解析部により前記画像内で検出された前記オブジェクトを、前記ユーザー嗜好情報により指定された分類ごとにグルーピングするグルーピング部と、
   を備え、
   前記ユーザー嗜好情報は、大分類と、前記大分類に属する下位分類を含み、
   前記グルーピング部は、各オブジェクトを、前記ユーザー嗜好情報により指定されている大分類にグルーピングするとともに、前記ユーザー嗜好情報により指定されている下位分類にグルーピングし、
   前記大分類に対して前記大分類であることを示す１つの分類ＩＤが設定され、ある１つの前記下位分類に対して前記下位分類の分類ＩＤが複数設定され、
   前記グルーピング部は、各オブジェクトをグルーピングする際に、前記ユーザー嗜好情報により指定された前記大分類の分類ＩＤおよび前記下位分類の分類ＩＤに、前記オブジェクトを関連付けること、
   を特徴とする画像処理装置。
2. ユーザー操作を検出する入力部と、
   前記画像内のオブジェクトのうち、前記ユーザー嗜好情報において指定されている分類を選択する第１ユーザー操作および選択した前記分類に属するオブジェクトに対する編集方法を選択する第２ユーザー操作が前記入力部により検出されると、前記画像において、前記第１ユーザー操作により選択された前記分類に属するすべてのオブジェクトを、前記第２ユーザー操作により選択された前記編集方法で編集する画像編集部と、
   前記画像編集部による編集の前および／または後の前記画像を表示する表示部と、
   をさらに備えることを特徴とする請求項１記載の画像処理装置。
3. 前記ユーザー嗜好情報は、前記大分類として、文字領域、画像領域、および罫線領域の少なくとも１つを指定し、
   前記グルーピング部は、前記ユーザー嗜好情報により指定されている前記大分類ごとに、その分類に属する前記オブジェクトをグルーピングすること、
   を特徴とする請求項１または請求項２記載の画像処理装置。
4. 前記ユーザー嗜好情報は、前記文字領域について、さらに、前記下位分類として、手書き文字か否かの分類を実行するか否かの設定情報、文字種別による分類を実行するか否かの設定情報、文字装飾による分類を実行するか否かの設定情報、および所定の指定文字の付いた単語を抽出する分類を実行するか否かの設定情報の少なくとも１つを含み、
   前記グルーピング部は、前記文字領域について、前記ユーザー嗜好情報における前記設定情報より指定されている分類を実行すること、
   を特徴とする請求項３記載の画像処理装置。
5. 前記ユーザー嗜好情報は、前記画像領域について、さらに、前記下位分類として、顔画像か否かの分類を実行するか否かの設定情報、および所定の形状か否かの分類を実行するか否かの設定情報の少なくとも１つを含み、
   前記グルーピング部は、前記画像領域について、前記ユーザー嗜好情報における前記設定情報より指定されている分類を実行すること、
   を特徴とする請求項３記載の画像処理装置。
6. 前記ユーザー嗜好情報は、前記罫線領域について、さらに、前記下位分類として、罫線方向による分類を実行するか否かの設定情報、罫線の線種による分類を実行するか否かの設定情報、および罫線の太さによる分類を実行するか否かの設定情報の少なくとも１つを含み、
   前記グルーピング部は、前記罫線領域について、前記ユーザー嗜好情報における前記設定情報より指定されている分類を実行すること、
   を特徴とする請求項３記載の画像処理装置。
7. 前記第１ユーザー操作は、前記ユーザー嗜好情報において指定されている大分類または下位分類を選択することを含み、
   前記画像編集部は、前記第１ユーザー操作によって選択された大分類または下位分類に属するすべてのオブジェクトを編集すること、
   を特徴とする請求項２記載の画像処理装置。
8. コンピューターを、
   ユーザー操作に基づいて、画像内のオブジェクトをグルーピングする際のオブジェクトの分類方法を示すユーザー嗜好情報を所定の記憶装置に登録するグルーピング設定部、
   画像内のオブジェクトを検出する画像解析部、および
   前記記憶装置から前記ユーザー嗜好情報を読み出し、前記画像解析部により前記画像内で検出された前記オブジェクトを、前記ユーザー嗜好情報により指定された分類ごとにグルーピングするグルーピング部、
   として機能させ、
   前記ユーザー嗜好情報は、大分類と、前記大分類に属する下位分類を含み、
   前記グルーピング部は、各オブジェクトを、前記ユーザー嗜好情報により指定されている大分類にグルーピングするとともに、前記ユーザー嗜好情報により指定されている下位分類にグルーピングし、
   前記大分類に対して前記大分類であることを示す１つの分類ＩＤが設定され、ある１つの前記下位分類に対して前記下位分類の分類ＩＤが複数設定され、
   前記グルーピング部は、各オブジェクトをグルーピングする際に、前記ユーザー嗜好情報により指定された前記大分類の分類ＩＤおよび前記下位分類の分類ＩＤに、前記オブジェクトを関連付けること、
   を特徴とする画像処理プログラム。
9. 前記コンピューターを、さらに、前記画像内のオブジェクトのうち、前記ユーザー嗜好情報において指定されている分類を選択する第１ユーザー操作および選択した前記分類に属するオブジェクトに対する編集方法を選択する第２ユーザー操作が検出されると、前記画像において、前記第１ユーザー操作により選択された前記分類に属するすべてのオブジェクトを、前記第２ユーザー操作により選択された前記編集方法で編集する画像編集部として機能させ、
   前記第１ユーザー操作は、前記ユーザー嗜好情報において指定されている大分類または下位分類を選択することを含み、
   前記画像編集部は、前記第１ユーザー操作によって選択された大分類または下位分類に属するすべてのオブジェクトを編集すること、
   を特徴とする請求項８記載の画像処理プログラム。

Images