JP2007164513A - 画像処理装置 - Google Patents

Abstract

【課題】画像データの特徴領域を抽出する場合に、特徴抽出精度を高めるとともに、特徴抽出処理の演算負荷を軽減する。
【解決手段】画像入力手段５から入力した画像データを、画像表示手段６に表示する。表示画像の特徴抽出範囲を、情報入力手段７で指定する。指定された領域中から、画像特徴抽出手段８で代表的特徴の領域を抽出する。例えば、背景色でない画素の連結成分の幾何学的情報か画素の密度に基づいて、代表的特徴の領域を抽出する。代表的特徴を、画像データと関連づけて補助記憶装置４に保存する。通信装置３で、ネットワークを通じて画像データや代表的特徴を外部に送信することができる。
【選択図】図１

Description

本発明は、画像処理装置に関し、特に、入力された文書画像データを保存しておき、必要に応じて呼び出して出力するデジタル複合機や文書管理システムなどの画像処理装置に関する。

一般に、画像データを入力して保存しておき、必要なときに保存しておいた画像データを呼び出すようなシステムにおいて、保存されているデータをユーザーが確認する場合、名称や日付や登録者やファイルサイズなどの情報をリストにして表示する方法がある。その他、サムネイルなどの縮小画像を使用して直観的に選択できるようにする方法もある。ただし、縮小画像を使用したのでは、外見上似た構造の画像どうしを区別できないことがある。これを解決する方法として、画像データ入力時に特定の特徴（ここでは代表的な特徴という）を抽出して、属性情報として付与しておく方法がある。これによれば、画像データの一部を縮小画像の代わりに使用でき、より具体的な画像の内容を表示できるため、縮小画像を使用したのではあいまいであった画像どうしを区別できるようになる。以下に、これに関連する従来技術の例をあげる。

特許文献１に開示された「文書管理システム」は、図または写真の領域画像を抽出し、属性として用いることで、文書画像を効率的に分類することができる文書管理システムである。画像入力部が文書画像を入力すると、領域識別部によって文書画像の領域識別処理が実行される。画像切り出し部は、領域識別部によって文章領域、表領域、罫線、図領域、写真領域などに分けられた各領域のうち、図領域または写真領域を「図領域」として分類し、この領域の部分画像を切り出す。文書画像管理部は、この切り出された部分画像を属性情報として文書画像の管理情報に付加し、文書画像記憶部に保存する。また、画像切り出し部は、入力された文書画像に図領域または写真領域が複数存在した場合、すべての図領域を部分画像として切り出することも、これら複数の図領域または写真領域のうち、代表的な図領域または写真領域を部分画像として切り出すこともできる。
特開2003-178071号公報

しかし、従来の画像特徴抽出方法では、次のような問題がある。画像データの特徴抽出と表示は、表示手段を備えたデジタル複合機において必要とされているが、デジタル複合機は、コンピューターのように強力な演算装置を備えているとは限らない。そのため、画像データ全体に対して領域情報の識別処理を実行すると、負荷が重くて処理に長時間かかることがある。強力な演算装置を持つデジタル複合機に実装されるとしても、そのような処理の負荷は軽いことが望ましい。また、画像データ全体の中には、複数の図や写真などが含まれることがあり、ノイズの混入などもあるので、予期せぬ領域を抽出するという誤りが生じることがある。

本発明の目的は、上記従来の問題を解決して、画像データ上の図や写真や見出し文字等の代表的な特徴を抽出する場合に、代表的な特徴の抽出精度を高めるとともに、演算装置の負荷を軽減することである。

上記の課題を解決するために、本発明では、画像処理装置を、入力された画像データを表示する表示手段と、表示手段に表示された画像データに対して領域を指定する領域指定手段と、画像データの指定された領域内から代表的特徴を抽出する特徴抽出手段と、抽出された代表的特徴を画像データと関連付けて保存する特徴保存手段と、保存された画像データを呼び出す際に画像データと関連付けられた代表的特徴を表示するように制御する表示制御手段とを具備する構成とした。

また、特徴抽出手段に、背景色でない画素の連結成分の幾何学的情報に基づいて代表的特徴を抽出する手段を備えた。また、特徴抽出手段に、背景色でない画素の密度に基づいて代表的特徴を抽出する手段を備えた。また、特徴抽出手段に、代表的特徴を抽出できない場合には指定された領域内から特定の大きさの領域を代表的特徴として抽出する手段を備えた。また、領域指定手段に、表示された画像データに対して注目点を指定する手段と、画像データの指定された注目点の周辺に特定の大きさの領域を定める手段とを備えた。

上記のように構成したことにより、画像の特徴を抽出する領域を指定することで、軽い演算負荷で高精度に特徴抽出でき、保存画像を容易に区別して一覧できる。

以下、本発明を実施するための最良の形態について、図１〜図10を参照しながら詳細に説明する。

本発明の実施例１は、表示画像の特徴抽出範囲を指定し、指定領域中で背景色と異なる画素の連結成分を抽出し、近接する連結成分どうしを統合し、最大の面積をもつものを代表的な特徴として抽出し、画像データと関連づけて保存する画像処理装置である。

図１は、本発明の実施例１における画像処理装置の機能ブロック図である。図１において、演算装置１は、装置全体の処理動作を制御する手段である。メモリ２は、処理するデータを一時的に記憶するメモリである。通信装置３は、ネットワークを通じて外部と通信する装置である。補助記憶装置４は、画像データと、関連付けられた代表的特徴とを保存する装置である。画像入力手段５は、スキャナ等の画像入力装置である。画像表示手段６は、入力された画像データや保存されている画像データを表示する液晶ディスプレイ等である。情報入力手段７は、画像データに対して領域や注目点などの情報を入力するマウスやタッチパネル等である。画像特徴抽出手段８は、画像データから代表的特徴を抽出する手段である。

図２は、画像処理装置の動作手順を示す流れ図である。図３は、代表的特徴を抽出する範囲を指定する方法を示す図である。図４は、代表的な特徴となる部分領域の抽出方法を示す図である。

上記のように構成された本発明の実施例１における画像処理装置の動作を説明する。最初に、図１を参照しながら、画像処理装置の機能の概要を説明する。スキャナなどの画像入力手段５で、画像データを入力する。入力した画像データを、メモリ２や補助記憶装置４に一時的に記憶する。液晶ディスプレイなどの画像表示手段６に、入力された画像データや保存されている画像データを表示する。マウスやタッチパネルなどの情報入力手段７で、表示されている画像データに対して、領域や注目点などの情報を入力する。画像特徴抽出手段８で、画像データの指定領域から、代表的特徴を抽出する。画像データと、それに関連付けられた代表的特徴とを、補助記憶装置４に保存する。通信装置３で、ネットワークを通じて画像データや代表的特徴を外部に送信することができる。ネットワークを通じて画像データを入力することもできる。演算装置１で、画像処理装置全体の処理動作を制御する。

次に、図２と図３を参照しながら、処理の流れを説明する。ステップ１で、スキャナなどの画像入力手段５から画像データを入力する。ステップ２で、入力された画像データを表示する。ステップ３で、マウスやタッチパネルなどの情報入力手段７を使って、表示されている画像データに対して、図３に示すように、代表的特徴を抽出する範囲をユーザーが指定する。このとき、処理の負荷を軽減させるため、画像データ全体に比べて小さい範囲を指定することが望ましい。ステップ４で、指定された領域の中で、代表的な特徴となる部分領域を抽出する。この処理を、特徴抽出＃１とよぶ。詳細は後述する。ステップ５で、画像データと、抽出された代表的な特徴となる部分領域とを、関連づけて保存する。

次に、図４を参照しながら、代表的な特徴となる部分領域の抽出方法（特徴抽出＃１）を説明する。まず、背景色と異なる画素の連結成分を抽出する。例えば、２値画像で背景色が白である場合、黒画素の連結成分を抽出する。次に、外接矩形が、あらかじめ定められた画素数の範囲内で近接する連結成分どうしを統合して、代表的特徴候補を作成する。そして、それらの候補の中で、あらかじめ定められた閾値以上で最大の面積をもつものを代表的な特徴として抽出する。図４では、抽出範囲に図と文字列が存在しているが、黒画素の連結成分を抽出すると図４（ａ）のようになる。近接する連結成分どうしを統合すると、特徴候補は、図４（ｂ）のようになる。中央の候補が最大であることから、この領域を代表的特徴として抽出する。

ユーザーによって代表的であると指定される特徴は、例えば、文字領域の中にある図や写真領域や見出し文字など、周囲の連結成分に比べ大きいことが多い。したがって、指定された領域内で、大きな連結成分を求めることで、代表的な特徴を容易に抽出できる。探索範囲を指定して、画像データ全体にわたって特徴抽出処理を行わないことで、処理の負荷を軽くでき、さらに誤りも減らすことができる。

上記のように、本発明の実施例１では、画像処理装置を、表示画像の特徴抽出範囲を指定し、指定領域中で背景色と異なる画素の連結成分を抽出し、近接する連結成分どうしを統合し、最大の面積をもつものを代表的な特徴として抽出し、画像データと関連づけて保存する構成としたので、軽い演算負荷で高精度に特徴抽出できる。

本発明の実施例２は、表示画像の特徴抽出範囲を指定し、指定された領域をメッシュ状に小領域に分割し、それぞれの小領域に含まれる背景色と異なる画素の密度を計算し、あらかじめ定められた閾値を超える画素密度を持つ小領域を求め、隣接する画素密度が閾値以上の小領域どうしを統合し、あらかじめ定められた閾値以上で最大の面積をもつものを代表的な特徴として抽出し、画像データと関連づけて保存する画像処理装置である。

本発明の実施例２における画像処理装置の基本的な構成は実施例１と同じである。代表的な特徴となる部分領域の抽出方法が、実施例１と異なる。図５は、本発明の実施例２における画像処理装置での処理手順を示す流れ図である。図６は、指定された領域をメッシュ状に小領域に分割する方法を示す図である。図７は、代表的特徴候補を作成する方法を示す図である。図８は、代表的特徴としたい図や写真が小さい連結成分の集合となってしまう例を示す図である。

本発明の実施例２における画像処理装置の動作を説明する。最初に、図５を参照しながら、処理の流れを説明する。ステップ11〜14は、実施例１のステップ１〜４と同じである。ステップ15で、代表的な特徴となる部分領域の大きさが閾値より大きいか否かを調べる。大きければ、ステップ17で、画像データと、抽出された代表的な特徴となる部分領域とを、関連づけて保存する。小さければ、第２の特徴抽出方法（特徴抽出＃２）により、代表的な特徴となる部分領域を抽出し、ステップ17で、画像データと関連づけて保存する。

次に、図６と図７を参照しながら、第２の特徴抽出方法（特徴抽出＃２）を説明する。図６に示すように、指定された領域をメッシュ状の小領域に分割する。それぞれの小領域に含まれる背景色と異なる画素の密度を計算する。図７（ａ）に示すように、あらかじめ定められた閾値を超える画素密度を持つ小領域を求める。そして、図７（ｂ）に示すように、隣接する画素密度が閾値以上の小領域どうしを統合し、代表的特徴候補を作成する。それらの候補の中で、あらかじめ定められた閾値以上で最大の面積をもつものを、代表的な特徴として抽出する。

実施例１では、代表的特徴としたい図や写真が、小さい連結成分の集合となってしまうと、図８のように、代表的特徴が正しく抽出されないことがある。一般に、文字は線の組合せであり、連結成分の大きさに比べ画素数は少ないことが多い。一方、写真などでは、連結成分の大きさの中にある背景色と異なる画素の数は多くなる。画素密度を使用することで、そのような画像データに対しても、誤りの少ない代表的特徴の抽出が可能となる。

上記のように、本発明の実施例２では、画像処理装置を、表示画像の特徴抽出範囲を指定し、指定された領域をメッシュ状に小領域に分割し、それぞれの小領域に含まれる背景色と異なる画素の密度を計算し、あらかじめ定められた閾値を超える画素密度を持つ小領域を求め、隣接する画素密度が閾値以上の小領域どうしを統合し、あらかじめ定められた閾値以上で最大の面積をもつものを代表的な特徴として抽出し、画像データと関連づけて保存する構成としたので、軽い演算負荷で高精度に特徴抽出できる。

本発明の実施例３は、表示画像の特徴抽出範囲を指定し、あらかじめ定められた閾値以上で最大の面積をもつものを代表的な特徴として抽出できないとき、指定された領域内の特定の大きさの領域を代表的な特徴として抽出し、画像データと関連づけて保存する画像処理装置である。

本発明の実施例３における画像処理装置の基本的な構成は実施例１、２と同じである。代表的な特徴となる部分領域の抽出方法が、実施例２と異なる。図９は、本発明の実施例３における処理手順を示す流れ図である。

本発明の実施例３における画像処理装置の動作を説明する。最初に、図９を参照しながら、処理の流れを説明する。ステップ21〜26は、実施例２のステップ11〜16と同じである。ステップ27で、代表的な特徴となる部分領域の大きさが閾値より大きいか否かを調べる。大きければ、ステップ29で、画像データと、抽出された代表的な特徴となる部分領域とを、関連づけて保存する。小さければ、第３の特徴抽出方法（特徴抽出＃３）により、代表的な特徴となる部分領域を抽出し、ステップ29で、画像データと関連づけて保存する。

次に、第３の特徴抽出方法（特徴抽出＃３）を説明する。第３の特徴抽出方法では、指定された領域内の特定の大きさの領域を代表的な特徴として抽出する。例えば、指定された領域そのものを抽出してもよいし、指定された領域の中心部分のあらかじめ定めておいた大きさの領域を抽出してもよい。この方法は、第１と第２の特徴抽出方法で、代表的な特徴となる部分領域を抽出できないときに使用する方法である。例えば、ユーザーが指定した領域が、代表的な特徴としたい図や写真や見出し文字等を含んでいないときに、代表的な特徴となる部分領域を抽出できないことが生じる。第３の特徴抽出方法により、代表的特徴は、画像データの一部分を切り取ったものとなる。このようにして、第１と第２の特徴抽出方法で抽出できないときでも、代表的特徴を画像データに関連づけることが可能となる。

上記のように、本発明の実施例３では、画像処理装置を、表示画像の特徴抽出範囲を指定し、あらかじめ定められた閾値以上で最大の面積をもつものを代表的な特徴として抽出できないとき、指定された領域内の特定の大きさの領域を代表的な特徴として抽出し、画像データと関連づけて保存する構成としたので、軽い演算負荷で特徴抽出できる。

本発明の実施例４は、表示画像の１点を指定し、その点の周りの一定範囲を特徴抽出範囲とし、指定領域中で背景色と異なる画素の連結成分を抽出し、近接する連結成分どうしを統合し、最大の面積をもつものを代表的な特徴として抽出し、画像データと関連づけて保存する画像処理装置である。

本発明の実施例４における画像処理装置の基本的な構成は実施例１と同じである。特徴抽出範囲の指定方法が、実施例１と異なる。図10は、本発明の実施例４における特徴抽出範囲の指定方法の説明図である。

本発明の実施例４における画像処理装置の動作を説明する。ユーザーが代表的特徴を抽出する範囲を矩形領域で指定する代わりに、１点で指定する。図10に示すように、指定された点を中心にして代表的特徴を抽出する領域の大きさをあらかじめ定めておく。ユーザーは、代表的特徴を抽出する範囲の中心点を指定する。矩形領域を指定する方法としては、矩形の対角線をドラッグする方法と、矩形の角の２点をタップする方法があるが、矩形範囲を指定するためのタッチパネル等の表示入力装置が小さいときは、そのような操作が難しいことがある。そのような場合でも、１点をタップするだけで、領域を指定できるので、どのような表示入力装置でも、容易に領域を指定できる。実施例１〜３のいずれの場合でも適用可能である。

上記のように、本発明の実施例４では、画像処理装置を、表示画像の１点を指定し、その点の周りの一定範囲を特徴抽出範囲とし、指定領域中で背景色と異なる画素の連結成分を抽出し、近接する連結成分どうしを統合し、最大の面積をもつものを代表的な特徴として抽出し、画像データと関連づけて保存する構成としたので、軽い演算負荷で特徴抽出できる。

本発明の画像処理装置は、入力された文書画像データを保存しておき、必要に応じて呼び出して出力するデジタル複合機や文書管理システムなどの画像処理装置として最適である。

本発明の実施例１における画像処理装置の機能ブロック図である。 本発明の実施例１における画像処理装置の動作手順を示す流れ図である。 本発明の実施例１における画像処理装置で代表的特徴を抽出する範囲を指定する方法を示す図である。 本発明の実施例１における画像処理装置で代表的な特徴となる部分領域の抽出する方法を示す図である。 本発明の実施例２における画像処理装置での処理手順を示す流れ図である。 本発明の実施例２における画像処理装置で指定された領域をメッシュ状に小領域に分割する方法を示す図である。 本発明の実施例２における画像処理装置で、代表的特徴候補を作成する方法を示す図である。 本発明の実施例２における画像処理装置で、代表的特徴としたい図や写真が小さい連結成分の集合となってしまう例を示す図である。 本発明の実施例３における画像処理装置での処理手順を示す流れ図である。 本発明の実施例４における画像処理装置での特徴抽出範囲の指定方法の説明図である。

符号の説明

１・・・演算装置、２・・・メモリ、３・・・通信装置、４・・・補助記憶装置、５・・・画像入力手段、６・・・画像表示手段、７・・・情報入力手段、８・・・画像特徴抽出手段。

Claims (10)

1. 入力された画像データを表示する表示手段と、前記表示手段に表示された画像データに対して領域を指定する領域指定手段と、前記画像データの指定された領域内から代表的特徴を抽出する特徴抽出手段と、抽出された代表的特徴を前記画像データと関連付けて保存する特徴保存手段と、保存された画像データを呼び出す際に前記画像データと関連付けられた代表的特徴を表示するように制御する表示制御手段とを具備することを特徴とする画像処理装置。
2. 前記特徴抽出手段に、背景色でない画素の連結成分の幾何学的情報に基づいて前記代表的特徴を抽出する手段を備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記特徴抽出手段に、背景色でない画素の密度に基づいて前記代表的特徴を抽出する手段を備えたことを特徴とする請求項１に記載の画像処理装置。
4. 前記特徴抽出手段に、前記代表的特徴を抽出できない場合には前記指定された領域内から特定の大きさの領域を代表的特徴として抽出する手段を備えたことを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
5. 前記領域指定手段に、表示された画像データに対して注目点を指定する手段と、前記画像データの指定された注目点の周辺に特定の大きさの領域を定める手段とを備えたことを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
6. 入力された画像データを表示するステップと、表示された画像データに対して領域を指定する領域指定ステップと、前記画像データの指定された領域内から代表的特徴を抽出する特徴抽出ステップと、抽出された代表的特徴を前記画像データと関連付けて保存するステップと、保存された画像データを呼び出す際に前記画像データと関連付けられた代表的特徴を表示するステップとを有することを特徴とする画像処理方法。
7. 前記特徴抽出ステップにおいては、前記画像データの背景色でない画素の連結成分の幾何学的情報に基づいて前記代表的特徴を抽出することを特徴とする請求項６に記載の画像処理方法。
8. 前記特徴抽出ステップにおいては、前記画像データの背景色でない画素の密度に基づいて前記代表的特徴を抽出することを特徴とする請求項６に記載の画像処理方法。
9. 前記特徴抽出ステップにおいて、前記代表的特徴を抽出できなかったときは、指定された領域内から特定の大きさの領域を代表的特徴として抽出することを特徴とする請求項６〜８のいずれかに記載の画像処理方法。
10. 前記領域指定ステップは、表示された画像データに対して注目点を指定するステップと、前記注目点の周辺に特定の大きさの領域を定めるステップとを有することを特徴とする請求項６〜９のいずれかに記載の画像処理方法。

Images