JP4266695B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、複写機などの画像入力装置で、読み取った紙文書から対応するオリジナルの電子データを検索し、オリジナルの電子データを印刷、配信、蓄積、編集などに活用することを可能とする画像処理技術に関するものである。
【０００２】
【従来の技術】
近年、ワープロソフトの発達やデジタルカメラの普及などにより、文書に画像を盛り込むことが容易となってきており、カラー画像を含む文書が一般的になっている。一方、複写機のデジタル化及びネットワーク化も進んでいる。
【０００３】
このような中、会議等で配付される書類を電子化した電子データを、例えば、文書管理サーバで管理しておくことが可能となっている。また、必要に応じて、文書管理サーバで管理されている電子データを検索し、その検索した電子データに対する各種処理が可能となっている。
【０００４】
この各種処理には、例えば、検索した電子データを印刷したり、ネットワーク内の所望のパーソナルコンピュータ（ＰＣ）等の端末へ配信したり、ネットワーク内の所望の記憶媒体へ保存したり、または編集したりする処理がある。
【０００５】
また、電子データを検索する検索方法としては、例えば、電子データに含まれるテキストデータを検索条件として、文書管理サーバから所望の電子データを検索する方法がある。
【０００６】
更に、例えば、特許文献１では、書類を電子データにする際に、その電子データに識別コードを付与して、その識別コードを含む印刷物を生成する。これにより、別途、印刷物に対応する電子データを検索したり印刷したりする場合には、その印刷物を読込み、その印刷物に印刷されている識別コードを認識することで、所望の電子データの検索や印刷が可能となっている。
【０００７】
【特許文献１】
特開２００１−２５７８６２
【発明が解決しようとする課題】
しかしながら、カラー画像のオリジナル文書データから配布用の書類を作成する場合には、その用途が参照用／確認用であり、かつ多数作成する必要がある関係上、通常は、そのような用途の書類は、そのオリジナル書類を複写機で複写したグレースケール画像の書類やオリジナル文書データをモノクロプリンタで印刷したモノクロ画像の書類となっていることが多い。
【０００８】
そして、このようなグレースケール画像やモノクロ画像からなる書類を電子化した電子データからオリジナル文書データを検索する場合には、オリジナル文書データがテキストデータのみで構成されている場合には、そのテキストデータを検索条件として、そのオリジナル文書データを正確に検索することが可能となる。しかしながら、オリジナル文書データにカラー画像が含まれている場合には、テキストデータを検索条件として検索するだけでは、同じテキストデータを有していても画像が異なっている場合には、正しいオリジナル文書データを検索することができなかったり、十分な精度が得られなかったりする。
【０００９】
また、特許文献１においては、オリジナル文書データに、１度、識別コードを付与して印刷する必要があるので、オリジナル文書データに変更を加えなければならない。よって、ユーザの意図しない変更が、オリジナル文書データに対して加えられることになる。また、例えば、ワープロソフト等で作成された電子データをオリジナル文書データとして管理する場合には、一旦、それを印刷して、その印刷物を読み込んで電子化した上で、再度、識別コードを付与して印刷し、更に、その識別コードが付与された印刷物を読み込んで電子化する必要があるため、手続きが煩雑になっていた。
【００１０】
本発明は上記の課題を解決するためになされたものであり、その目的とするところは、グレースケール印刷された紙文書から、オリジナルのカラーの電子データを検索し、活用することを可能とするものであり、その際に、オリジナルを変更することなく、また、紙原稿のスキャン画像だけでなく、紙原稿の基になったワープロソフトなどで作成された電子ファイルそのものも容易に活用することができる画像処理技術を提供することにある。
【００１１】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
カラーの比較先画像と、当該比較先画像から抽出した輝度特徴量と、当該比較先画像から抽出した色特徴量とを関連付けて記憶する記憶手段と、
比較元画像を入力する入力手段と、
前記比較元画像を複数の領域に分割する分割手段と、
前記分割手段で分割された複数の領域の中で写真属性に分類された領域と図画属性に分類された領域との少なくとも一方を処理対象画像領域として、前記比較元画像の色情報を解析することにより、当該処理対象画像領域がカラー画像であるか否かを判定する判定手段と、
前記処理対象画像領域から、輝度特徴量をグレースケール特徴量として抽出するグレースケール特徴量抽出手段と、
前記判定手段によって前記処理対象画像領域がカラー画像であると判定された場合に、当該処理対象画像領域から色に関する色特徴量を抽出する色特徴量抽出手段と、
前記記憶手段に対し、前記判定手段で前記処理対象画像領域がカラー画像であると判定された場合は、前記色特徴量抽出手段で当該処理対象画像領域から抽出した色特徴量を用いた比較処理を行い、前記判定手段で前記処理対象画像領域がカラー画像でないと判定された場合は、前記グレースケール特徴量抽出手段で当該処理対象画像領域から抽出したグレースケール特徴量を用いた比較処理を行うことにより、前記比較元画像に対応するカラーの比較先画像を前記記憶手段から検索する検索手段と、
前記検索手段で検索されたカラーの比較先画像を前記記憶手段から抽出し、当該抽出されたカラーの比較先画像に対してユーザにより指定された処理を行う処理手段と
を備える。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００１３】
図１は本発明の実施形態の画像処理システムの構成を示すブロック図である。
【００１４】
この画像処理システムは、オフィス１０とオフィス２０とをインターネット等のネットワーク１０４で接続された環境で実現する。
【００１５】
オフィス１０内に構築されたＬＡＮ１０７には、複数種類の機能を実現する複合機であるＭＦＰ（Multi Function Peripheral）１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ１０６及びそのデータベース１０５、及びプロキシサーバ１０３が接続されている。
【００１６】
オフィス１０内のＬＡＮ１０７及びオフィス２０内のＬＡＮ１０８は、双方のオフィスのプロキシサーバ１０３を介してネットワーク１０４に接続されている。
【００１７】
ＭＦＰ１００は、特に、紙文書を電子的に読み取る画像読取部と、画像読取部から得られる画像信号に対する画像処理を実行する画像処理部を有し、この画像信号はＬＡＮ１０９を介してマネージメントＰＣ１０１に送信することができる。
【００１８】
マネージメントＰＣ１０１は、通常のＰＣであり、内部に画像記憶部、画像処理部、表示部、入力部等の各種構成要素を有するが、その構成要素の一部はＭＦＰ１００に一体化して構成されている。
【００１９】
尚、ネットワーク１０４は、典型的にはインターネットやＬＡＮやＷＡＮや電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれか、またはこれらの組み合わせにより実現されるいわゆる通信ネットワークであり、データの送受信が可能であれば良い。
【００２０】
また、マネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ等の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。
【００２１】
次に、ＭＦＰ１００の詳細構成について、図２を用いて説明する。
【００２２】
図２は本発明の実施形態のＭＦＰの詳細構成を示すブロック図である。
【００２３】
図２において、オートドキュメントフィーダ（ＡＤＦ）を含む画像読取部１１０は、束状のあるいは１枚の原稿画像を光源（不図示）で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスタ状の画像読取信号を所定密度（６００ＤＰＩ等の）のラスタ画像として得る。
【００２４】
また、ＭＦＰ１００は、画像読取信号に対応する画像を印刷部１１２で記録媒体に印刷する複写機能を有し、原稿画像を１つ複写する場合には、この画像読取信号をデータ処理部１１５で画像処理して記録信号を生成し、これを印刷部１１２によって記録媒体上に印刷させる。一方、原稿画像を複数複写する場合には、記憶部１１１に一旦一つ分の記録信号を記憶保持させた後、これを印刷部１１２に順次出力して記録媒体上に印刷させる。
【００２５】
一方、クライアントＰＣ１０２から出力される記録信号は、ＬＡＮ１０７及びネットワークＩＦ１１４を介してデータ処理部１１５が受信し、データ処理部１１５は、その記録信号を印刷部１１２で記録可能なラスターデータに変換した後、印刷部１１２によって記録媒体上に印刷させる。
【００２６】
ＭＦＰ１００への操作者の指示は、ＭＦＰ１００に装備されたキー操作部とマネージメントＰＣ１０１に接続されたキーボード及びマウスからなる入力部１１３から行われ、これら一連の動作はデータ処理部１１５内の制御部（不図示）で制御される。また、操作入力の状態表示及び処理中の画像データの表示は、表示部１１６で行われる。
【００２７】
記憶部１１１は、マネージメントＰＣ１０１からも制御され、ＭＦＰ１００とマネージメントＰＣ１０１とのデータの送受信及び制御は、ネットワークＩＦ１１７及びＬＡＮ１０９を介して行われる。
【００２８】
［処理概要］
次に、本発明による画像処理システムで実行する処理全体の概要を、図３（ａ）及び（ｂ）のフローチャートを用いて説明する。画像処理システムで実行する処理としては、大きく分けてオリジナル文書の電子データを登録する登録処理と、所望のオリジナル文書の電子データを検索する検索処理の２つがある。
【００２９】
（ａ）登録処理の概要
オリジナル文書を登録する登録処理の概要について、図３（ａ）を用いて説明する。
【００３０】
まず、ステップＳ３０１０で、登録対象のオリジナル文書を入力する。また、この入力に伴って、オリジナル文書を管理するための各種情報を生成して記憶部１１１に記憶する。
【００３１】
尚、オリジナル文書を登録する際のオリジナル文書の入力方法には、２種類存在する。
【００３２】
オリジナル文書が電子データである場合は、クライアントＰＣ１０２内のハードディスク内、あるいはオフィス１０や２０内の文書管理サーバ１０６内のデータベース１０５内、あるいはＭＦＰ１００の記憶部１１１のいずれかに格納されており、これらの記憶元から登録対象のオリジナル文書の電子データを読み出してネットワークＩＦ１１４を介してデータ処理部１１５に入力し、データ処理部１１５でその電子データをラスタ画像に変換する。
【００３３】
一方、オリジナル文書が紙文書である場合は、ＭＦＰ１００の画像読取部１１０で、その紙文書をラスタ状に走査しラスタ画像を得る。
【００３４】
このように、本実施形態では、登録対象のオリジナル文書に、電子データあるいは紙文書のどちらも扱うことが可能である。その後、ラスタ画像をデータ処理部１１５で前処理を施し記憶部１１１に保存する（尚、これ以降、紙文書のときはラスタ画像がオリジナル文書の電子データとなる）。このとき、登録対象のオリジナル文書毎に固有の文書ＩＤを発行し、オリジナル文書の電子データのアドレスと対応付けて記憶部１１１にアドレス情報として保存する。
【００３５】
ここで、アドレスとは、ＵＲＬや、サーバ名とディレクトリ、ファイル名からなる電子データの格納先を示すフルパス情報である。また、アドレス情報の一例を示すと、図４のようになる。また、電子データの格納先は、データベース１０５や記憶部１１１等が挙げられる。
【００３６】
次に、ステップＳ３０２０で、データ処理部１１５において、ブロックセレクション（ＢＳ）処理を行う。この処理は、マネージメントＰＣ１０１の制御によって実行する。
【００３７】
具体的には、マネージメントＰＣ１０１のＣＰＵは、記憶部１１１に格納された処理対象のオリジナル文書のラスタ画像を、まず、文字／線画部分とハーフトーン画像部分とに領域分割し、文字／線画部分は更に段落で塊として纏まっているブロック毎に、あるいは線で構成された表、図形毎に分割する。
【００３８】
一方、ハーフトーン画像部分は、矩形に分離されたブロックの画像部分、背景部分等のブロックに分割する。
【００３９】
そして、各ブロックを特定するブロックＩＤを発行し、各ブロックの属性（画像、文字等）、サイズやオリジナル文書内の位置（座標）と各ブロックを関連付けて記憶部１１１にブロック情報として記憶する。このブロック情報の一例を示すと、図５のようになる。
【００４０】
次に、ステップＳ３０３０で、データ処理部１１５において、各ブロックの属性に応じて、各ブロックの特徴情報を抽出する特徴情報抽出処理を行う。
【００４１】
特に、文字ブロックについては、ＯＣＲ処理を施して文字コードを抽出し、これを文字特徴量とする。また、画像ブロックについては、輝度や色に関する画像特徴量を抽出する。このとき、それぞれのブロックに対応する特徴量をオリジナル文書単位にまとめ、文書ＩＤ、ブロックＩＤに関連付けて記憶部１１１に特徴量情報として記憶する。この特徴量情報の一例を示すと、図６〜図８のようになる。
【００４２】
（ｂ）検索処理の概要
オリジナル文書の電子データを検索する検索処理の概要について、図３（ｂ）を用いて説明する。
【００４３】
まず、ステップＳ３１１０で、検索条件となる紙文書の入力を行う。この処理は、ステップＳ３０１０の処理と同様であるので説明は省略する。但し、この処理によって生成するラスタ画像は一時保存するだけであり、その紙文書に対するアドレス情報を記憶部１１１に保存しておく必要はない。
【００４４】
尚、本実施形態では、紙文書を入力して、その電子データでオリジナル文書の電子データを検索する例で説明するが、紙以外の印刷物、例えば、ＯＨＰシート、布等の他の印刷媒体に印刷された印刷物を入力して、オリジナル文書の電子データを検索することも可能である。
【００４５】
次に、ステップＳ３１２０で、ブロックセレクション（ＢＳ）処理を行う。この処理は、ステップＳ３０２０の処理と同様であるので説明は省略する。但し、この処理によって生成する各ブロックの属性、サイズ、位置は一時保存するだけであり、その紙文書に対するブロック情報は記憶部１１１に保存しておく必要はない。
【００４６】
次に、ステップＳ３１３０で、各ブロックの特徴情報を抽出する特徴情報抽出処理を行う。この処理は、ステップＳ３０３０の処理と同様であるので説明は省略する。但し、この処理によって生成する各ブロックの特徴量は一時保存するだけであり、その紙文書に対する特徴量情報を記憶部１１１に保存しておく必要はない。
【００４７】
次に、ステップＳ３１４０で、入力した紙文書（比較元画像）に対する特徴量情報とクライアントＰＣ１０２内のハードディスク内、あるいはオフィス１０や２０内の文書管理サーバ１０６内のデータベース１０５内、あるいはＭＦＰ１００の記憶部１１１のいずれかに格納されている電子データ（比較先画像）の特徴量情報を比較して、その類似度を算出し、その類似度に基づいて、検索結果とするオリジナル文書候補を決定する。
【００４８】
次に、ステップＳ３１５０で、ユーザ確認モードであるか否かを判定する。
【００４９】
尚、ユーザ確認モードとは、比較処理によって得られたオリジナル文書候補の中から、ユーザが所望するオリジナル文書が検索されたか否かを確認するモードである。具体的には、オリジナル文書候補群を含むユーザインタフェースを表示部１１６・入力部１１３で実現し、このユーザインタフェースによって、オリジナル文書候補群の内容をユーザが確認することができるモードである。
【００５０】
ユーザ確認モードでない場合（ステップＳ３１５０でＮＯ）、ステップＳ３１７０に進む。一方、ユーザ確認モードである場合（ステップＳ３１５０でＹＥＳ）、ステップＳ３１６０に進み、オリジナル文書候補の表示／選択を行う。特に、この選択は、オリジナル文書候補のサムネイル画像を表示部１１６に表示し、複数のオリジナル文書候補の中からユーザが所望のオリジナル文書候補のサムネイル画像を選択させることで実現する。
【００５１】
次に、ステップＳ３１７０で、選択されたオリジナル文書に対し、表示部１０６・入力部１１４で実現されるユーザインタフェースを介するユーザからの操作に基いて、そのオリジナル文書の印刷、配信、蓄積、編集のいずれかの処理を実行する。
【００５２】
尚、このユーザインタフェースの構成の詳細については後述する。
【００５３】
［各処理の詳細］
以下、各処理の詳細について説明する。
【００５４】
まず、ステップＳ３０２０及びステップＳ３１２０のブロックセレクション処理の詳細について説明する。
【００５５】
ブロックセレクション処理とは、例えば、図９（ａ）のラスタ画像を、図９（ｂ）のように、意味のあるブロック毎の塊として認識し、該ブロック各々の属性（文字（ＴＥＸＴ）／図画（ＰＩＣＴＵＲＥ）／写真（ＰＨＯＴＯ）／線（ＬＩＮＥ）／表（ＴＡＢＬＥ）等）を判定し、異なる属性を持つブロックに分割する処理である。
【００５６】
ブロックセレクション処理の実施形態を以下に説明する。
【００５７】
まず、入力画像を白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。
【００５８】
このようにして得られた黒画素の塊を、大きさ及び形状で分類し、異なる属性を持つブロックへ分類していく。例えば、縦横比が１に近く、大きさが一定の範囲のブロックは文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字ブロック、扁平な画素塊を線ブロック、一定大きさ以上でかつ矩形の白画素塊を整列よく内包する黒画素塊の占める範囲を表ブロック、不定形の画素塊が散在している領域を写真ブロック、それ以外の任意形状の画素塊を図画ブロックとする。
【００５９】
次に、ステップＳ３０３０及びステップＳ３１３０の特徴情報抽出処理の詳細について説明する。
【００６０】
尚、特徴情報抽出処理は、画像ブロック及び文字ブロックで処理方法が異なるので、それぞれ別に説明する。
【００６１】
ここで、画像ブロックは、図９（ｂ）の例の場合、写真ブロックと図画ブロックとするが、用途や目的に応じて、画像ブロックを写真ブロック及び図画ブロックの少なくとも一方にすることも可能である。
【００６２】
まず、画像ブロックに対する特徴情報抽出処理について説明する。
【００６３】
尚、１文書に複数の画像ブロックが存在する場合は、その総数分、以下の処理を繰り返す。
【００６４】
本実施形態では、一例として、画像の輝度に関する輝度特徴量を抽出する輝度特徴情報抽出処理と、画像の色に関する色特徴量を抽出する色特徴情報抽出処理を行う。
【００６５】
まず、輝度特徴情報抽出処理の詳細について、図１０を用いて説明する。
【００６６】
図１０は本発明の実施形態の輝度特徴情報抽出処理の詳細を示すフローチャートである。
【００６７】
尚、この処理では、処理対象画像（画像ブロック）を複数のメッシュブロックに分割した各メッシュブロックの輝度ヒストグラム中の最頻輝度に対応する輝度階級と各メッシュブロックの位置情報を対応付けた情報を輝度特徴情報として抽出する。
【００６８】
まず、ステップＳ１０１０で、処理対象画像がカラー画像であるか否か（カラー画像であるかグレースケール画像であるか）を判定する。尚、この処理の詳細については後述する。
【００６９】
ステップＳ１０１０において、処理対象画像がカラー画像でない場合（ステップＳ１０１０でＮＯ）、ステップＳ１０３０に進む。一方、処理対象画像がカラー画像である場合（ステップＳ１０１０でＹＥＳ）、ステップＳ１０２０に進み、カラー画像をグレースケール画像（８ビット：２５６階調）に変換する。
【００７０】
尚、この変換は、公知のＲＧＢカラーマトリックスを用いて実行する。例えば、ＹＣｂＣｒ色空間を用いると、グレースケール値を示す輝度Ｙの値と、ＲＧＢ値（各８ビットの計２４ビット）との関係は、
Ｙ＝0.29900＊Ｒ＋0.58700＊Ｇ＋0.11400＊Ｂ （１）
と表現される。従って、（１）式により、輝度Ｙの値を算出することができる。
【００７１】
次に、ステップＳ１０３０で、画像を複数のメッシュブロックに分割する。
【００７２】
尚、本実施形態では、図１１に示すように、画像を縦横それぞれ９メッシュブロックに分割する。特に、本実施形態では、表記の都合上９×９＝８１メッシュブロックに分割している例を示しているが、実際には、８から１５メッシュブロック前後が好ましい。
【００７３】
次に、ステップＳ１０４０で、処理対象となる着目メッシュブロックを左上端のメッシュブロックに設定する。尚、この着目メッシュブロックの設定は、例えば、図１２に示すように、予め処理順序が決定された順序決定テーブルを参照して行う。
【００７４】
ステップＳ１０５０で、未処理の着目メッシュブロックの有無を判定する。未処理の着目メッシュブロックがない場合（ステップＳ１０５０でＮＯ）、処理を終了する。一方、未処理の着目メッシュブロックがある場合（ステップＳ１０５０でＹＥＳ）、ステップＳ１０６０に進む。
【００７５】
ステップＳ１０６０で、着目メッシュブロックの全画素の輝度ヒストグラムを生成する。ステップＳ１０７０で、図１３の輝度階級テーブルを参照して、輝度ヒストグラムの最頻輝度範囲となる輝度階級ＩＤをその着目メッシュブロックの代表輝度として決定し、その着目メッシュブロックとその位置に対応づけて記憶部１１１に記憶する。
【００７６】
尚、図１３の輝度階級テーブルは、８ビットの輝度信号を、所定輝度範囲毎に階級を設定した場合の例を示している。
【００７７】
ステップＳ１０８０で、図１２の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップＳ１０５０に戻り、未処理の着目メッシュブロックがなくなるまで、ステップＳ１０５０〜ステップＳ１０８０の処理を再帰的に繰り返す。
【００７８】
以上の処理によって、処理対象画像（画像ブロック）のメッシュブロック毎の代表輝度と各メッシュブロックの位置情報が対応付けられた情報を輝度特徴情報として抽出することができる。
【００７９】
次に、色特徴情報抽出処理の詳細について、図１４を用いて説明する。
【００８０】
図１４は本発明の実施形態の色特徴情報抽出処理の詳細を示すフローチャートである。
【００８１】
尚、この処理では、処理対象画像を複数のメッシュブロックに分割した各メッシュブロックの色ヒストグラム中の最頻色を有する色と各メッシュブロックの位置情報を対応づけた情報を色特徴情報として抽出する。
【００８２】
まず、ステップＳ１４１０で、処理対象画像がカラー画像であるか否かを判定する。尚、この判定は、図１０のステップＳ１０１０と同様にして行う。
【００８３】
ステップＳ１４１０において、処理対象画像がカラー画像である場合（ステップＳ１４１０でＹＥＳ）、ステップＳ１４２０に進む。一方、処理対象画像がカラー画像でない場合（ステップＳ１４１０でＮＯ）、処理を終了する。
【００８４】
次に、ステップＳ１４２０で、画像を複数のメッシュブロックに分割する。本実施形態では、図１１に示すように、画像を縦横をそれぞれ９メッシュブロックに分割する。特に、本実施形態では、表記の都合上９×９＝８１メッシュブロックに分割している例を示しているが、実際には、１５×１５＝２２５メッシュブロック程度であることが好ましい。
【００８５】
次に、ステップＳ１４３０で、処理対象となる着目メッシュブロックを左上端のブロックに設定する。尚、この着目メッシュブロックの設定は、図１０のステップＳ１０４０と同様にして行う。
【００８６】
ステップＳ１４４０で、未処理の着目メッシュブロックの有無を判定する。未処理の着目メッシュブロックがない場合（ステップＳ１４４０でＮＯ）、処理を終了する。一方、未処理の着目メッシュブロックがある場合（ステップＳ１４４０でＹＥＳ）、ステップＳ１４５０に進む。
【００８７】
ステップＳ１４５０で、着目メッシュブロックの全画素の各濃度値を、図１５の色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する。
【００８８】
尚、本実施形態では、図１５に示すように、ＲＧＢ色空間を３×３×３＝２７に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影する場合を示しているが、実際には、ＲＧＢ色空間を６×６×６＝２１６に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影するほうが好ましい。
【００８９】
ステップＳ１４６０で、色ヒストグラムの最頻色ビンの色ビンＩＤをその着目メッシュブロックの代表色と決定し、その着目メッシュブロックとその位置に対応づけて記憶部１１１に記憶する。
【００９０】
ステップＳ１４７０で、図１２の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップＳ１４４０に戻り、未処理の着目メッシュブロックがなくなるまで、ステップＳ１４４０〜ステップＳ１４７０の処理を再帰的に繰り返す。
【００９１】
以上の処理によって、処理対象画像（画像ブロック）のメッシュブロック毎の代表色と各メッシュブロックの位置情報が対応付けられた情報を色特徴情報として抽出することができる。
【００９２】
次に、図１０のステップＳ１０１０あるいは図１４のステップＳ１４１０における、処理対象画像がカラー画像であるか否かを判定する判定処理について、図１６を用いて説明する。
【００９３】
尚、この判定処理の判定方法において、最も簡単な方法としては、比較元画像のデータフォーマットを解析し、比較元画像がモノクロあるいはグレースケール画像である場合には、色情報はないので、比較元画像の色情報が不十分であると判定することができる。
【００９４】
一方、比較元画像がカラー画像である場合には、その比較元画像の色情報が十分であると判定すれば良いが、データフォーマット自体はカラー画像であるのに、その中はグレースケール画像である場合もある。そこで、このような場合には、データフォーマットがカラー画像である場合でも、比較元画像の色情報が十分であるか否かを厳密に判定する必要があり、その判定方法としては、比較元画像の色に関する解析を利用する方法がある。
【００９５】
この解析の趣旨は、比較元画像に占める色情報の割合を解析するものであり、比較元画像に占める色情報の割合が予め定められた閾値以上である場合に色情報が十分であると判定し、閾値未満である場合に色情報が不十分であると判定する。
【００９６】
図１６は本発明の実施形態の判定処理の詳細を示すフローチャートである。
【００９７】
ステップＳ１６１０で、比較元画像を構成する全画素の色の平均色を算出する。ステップＳ１６２０で、平均色を輝度成分と色差成分に変換する。ステップＳ１６３０で、輝度成分値に対する色差成分値の割合Ｒを算出する。
【００９８】
ここで、色を輝度成分と色差成分に分離する分離方法については、公知の方法を用いる。
【００９９】
例えば、ＹＣｂＣｒ色空間を用いると、２４ビットＲＧＢ値との関連は、
Ｙ ＝0.29900＊Ｒ＋0.58700＊Ｇ＋0.11400＊Ｂ
Ｃｂ＝-0.16874＊Ｒ−0.33126＊Ｇ＋0.50000＊Ｂ＋128
Ｃｒ＝0.50000＊Ｒ−0.41869＊Ｇ＋（-0.08131）＊Ｂ＋128 （２）
と表現される。
【０１００】
式（２）に従って、算出した平均色を輝度成分Ｙaveと色差成分Ｃｂave及びＣｒaveに分離し、
割合Ｒ＝sqrt（Ｃｂave＊Ｃｂave＋Ｃｒave＊Ｃｒave）／Ｙave （３）
を計算する。
【０１０１】
そして、ステップＳ１６４０で、この割合Ｒが予め定めた閾値より大きいか否かを判定する。閾値より大きい場合（ステップＳ１６４０でＮＯ）、ステップＳ１６５０に進み、比較元画像の色情報が十分であると判定する（即ち、カラー画像であると判定する）。一方、閾値以下である場合（ステップＳ１６４０でＹＥＳ）、ステップＳ１６６０に進み、比較元画像の色情報が不十分であると判定する（即ち、グレースケール画像であると判定する）。
【０１０２】
次に、文字ブロックに対する特徴情報抽出処理について説明する。
【０１０３】
尚、１文書に複数の文字ブロックが存在する場合は、その総数分、以下の処理を繰り返す。
【０１０４】
文字ブロックに対する特徴量情報は、その文字ブロックにＯＣＲ（文字認識）処理を施して得られる文字コードとする。
【０１０５】
ＯＣＲ（文字認識）処理は、文字ブロックから文字単位で切り出された文字画像に対し、パターンマッチの一手法を用いて文字認識を行い、対応する文字コードを取得する。
【０１０６】
この文字認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルとを比較し、最も距離の近い字種を認識結果とするものである。
【０１０７】
特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュブロック内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。
【０１０８】
ブロックセレクション処理（ステップＳ３０２０あるいはステップＳ３１２０）で抽出された文字ブロックに対して文字認識を行う場合は、まず、該当文字ブロックに対し横書き／縦書きの判定を行い、各々対応する方向に文字列を切り出し、その後、文字列から文字を切り出して文字画像を取得する。
【０１０９】
横書き／縦書きの判定は、該当文字ブロック内で画素値に対する水平／垂直の射影を取り、水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判定する。文字列及び文字への分解は、横書きの文字ブロックである場合には、その水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことで行う。一方、縦書きの文字ブロックに対しては、水平と垂直を逆にすれば良い。
【０１１０】
次に、ステップＳ３１４０の比較処理の詳細について、図１７を用いて説明する。
【０１１１】
図１７は本発明の実施形態の比較処理の詳細を示すフローチャートである。
【０１１２】
まず、ステップＳ１７１０で、アドレス情報を参照し、未比較のオリジナル文書の有無を判定する。未比較のオリジナル文書がない場合（ステップＳ１７１０でＮＯ）、ステップＳ１７５０に進む。一方、未比較のオリジナル文書がある場合（ステップＳ１７１０でＹＥＳ）、ステップＳ１７２０に進む。
【０１１３】
次に、レイアウトの比較を行う。ここで、レイアウトとは、ブロック情報にあるブロックの属性、サイズ、位置のことである。比較元画像（紙文書）と比較先画像（電子データ）のレイアウトが同じである場合（ステップＳ１７２０でＹＥＳ）、ステップＳ１７３０に進む。一方、比較元画像と比較先画像のレイアウトが同じでない場合（ステップＳ１７２０でＮＯ）、ステップＳ１７１０に戻る。
【０１１４】
次に、ステップＳ１７３０で、紙文書と電子データの文書同士の比較を行う比較処理を実行する。この比較は、ブロックの属性に合わせ、文字、画像それぞれに応じた特徴量を用いて、複合的に比較を行い、類似度を算出する。この処理の詳細については後述する。
【０１１５】
次に、ステップＳ１７４０で、比較先の文書ＩＤに対応させて文書の類似度を記憶部１１１に一時記憶する。
【０１１６】
ステップＳ１７１０において、全ての文書との比較が終了した場合、ステップＳ１７５０に進み、類似度の降順に文書ＩＤをソートし出力する。
【０１１７】
次に、ステップＳ１７３０の比較処理の詳細について、図１８を用いて説明する。
【０１１８】
図１８は本発明の実施形態の比較処理の詳細を示すフローチャートである。
【０１１９】
まず、ステップＳ１８１０で、ブロック情報を参照し、処理対象となる文書ＩＤに対応する電子データ中で、未比較のブロックの有無を判定する。未比較のブロックがない場合（ステップＳ１８１０でＮＯ）、ステップＳ１８７０に進む。一方、未比較のブロックがある場合（ステップＳ１８１０でＹＥＳ）、ステップＳ１８２０に進む。
【０１２０】
次に、ステップＳ１８２０で、比較対象のブロックの属性を判定する。属性が画像ブロックである場合、ステップＳ１８３０へ進む。一方、属性が文字ブロックである場合、ステップＳ１８６０へ進む。
【０１２１】
属性が画像ブロックである場合、ステップＳ１８３０で、まず、図１６の判定処理を行い、その画像ブロックがカラー画像であるかグレースケール画像であるかを判定する。
【０１２２】
比較元ブロックがカラー画像である場合、ステップＳ１８４０に進み、色に関する特徴量情報で比較先ブロックとの類似比較である色特徴情報比較処理を行う。この処理の詳細については後述する。
【０１２３】
一方、比較元ブロックがグレースケール画像である場合、ステップＳ１８５０に進み、輝度に関する特徴量情報での比較元ブロックと比較先ブロックとの類似比較である輝度特徴情報比較処理を行う。この処理の詳細については後述する。
【０１２４】
それぞれの処理によって得られる類似度は、比較先の文書ＩＤ、ブロックＩＤに対応させて記憶部１１１に一時記憶する。これによって、比較元ブロックがグレースケール画像であってもカラー画像であっても、その比較元ブロックの画像の種類に適した方法で類似比較処理を行うことが可能となる。
【０１２５】
一方、属性が文字ブロックである場合、ステップＳ１８６０で、文字の特徴量情報での比較元ブロックと比較先ブロックとの類似比較である文字特徴情報比較処理を行う。この処理の詳細については後述する。また、これによって得られる類似度は、比較先の文書ＩＤ、ブロックＩＤに対応させて記憶部１１１に一時記憶する。
【０１２６】
次に、ステップＳ１８１０において、全てのブロックとの比較が終了した場合、ステップＳ１８７０に進み、ステップＳ１８４０〜ステップＳ１８６０の処理によって記憶部１１１に記憶されている、比較先文書（電子データ）に含まれる全てのブロックの類似度を統合し、検索条件である紙文書とオリジナル文書との類似度を算出する統合処理を行う。
【０１２７】
次に、ステップＳ１８４０の色特徴情報比較処理の詳細について、図１９を用いて説明する。
【０１２８】
図１９は本発明の実施形態の色特徴情報比較処理の詳細を示すフローチャートである。
【０１２９】
まず、ステップＳ１９１０で、比較元画像と比較先画像の色特徴量を色特徴量情報から読み出す。
【０１３０】
次に、ステップＳ１９２０で、処理対象とする画像中の着目メッシュブロックを先頭に設定する。ステップＳ１９３０で、比較元画像の色特徴量と、比較対象の色特徴量の類似度を示す類似距離を０にリセットする。
【０１３１】
ステップＳ１９４０で、未比較の着目メッシュブロックの有無を判定する。未比較の着目メッシュブロックがない場合（ステップＳ１９４０でＮＯ）、ステップＳ１９８０に進む。一方、未比較の着目メッシュブロックがある場合（ステップＳ１９４０でＹＥＳ）、ステップＳ１９５０に進む。
【０１３２】
ステップＳ１９５０で、比較元画像と比較先画像のそれぞれの色特徴量から、それぞれの着目メッシュブロックの色ビンＩＤを取得する。
【０１３３】
ステップＳ１９６０で、図２０の色ビンペナルティマトリックスを参照して、取得した色ビンＩＤ間に対応する着目メッシュブロックの局所的類似距離を取得し、これを直前の処理で取得している類似距離に累積加算する。そして、この類似距離は記憶部１１１に記憶する。
【０１３４】
ここで、色ビンペナルティマトリックスについて、図２０を用いて説明する。
【０１３５】
図２０は本発明の実施形態の色ビンペナルティマトリックスの構成を示す図である。
【０１３６】
色ビンペナルティマトリックスは、色ビンＩＤ同士の局所的類似距離を管理するマトリックスである。図２０によれば、色ビンペナルティマトリックスは、同一色ビンＩＤではその類似距離は０となり、色ビンＩＤ同士の差が大きくなるほど、つまり、類似度が低くなるほど、その類似距離は大きくなるように構成されている。また、同一色ビンＩＤの対角位置は全て、その類似距離は０で、それを境に対象性を持っている。
【０１３７】
このように、本実施形態では、色ビンペナルティマトリックスを参照するだけで、色ビンＩＤ同士の類似距離を取得することができるので、処理の高速化を図ることができる。
【０１３８】
そして、ステップ１９７０で、図１２の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップＳ１９４０に戻る。
【０１３９】
そして、ステップＳ１９４０で、未比較の着目メッシュブロックがない場合（ステップＳ１９４０でＮＯ）、ステップＳ１９８０に進み、記憶部１１１に記憶されている類似距離を類似度に変換し、ブロックＩＤと対にして出力する。
【０１４０】
尚、類似度への変換は、例えば、類似距離が最小値のときを類似度１００％、類似距離が最大値のときを類似度０％として、その範囲内の類似距離に対する類似度は、最小値あるいは最大値に対する差に基づいて算出するようにすれば良い。
【０１４１】
次に、ステップＳ１８５０の輝度特徴情報比較処理の詳細について、図２１を用いて説明する。
【０１４２】
図２１は本発明の実施形態の輝度特徴情報比較処理の詳細を示すフローチャートである。
【０１４３】
まず、ステップＳ２１１０で、比較元画像と比較先画像の輝度特徴量を輝度特徴量情報から読み出す。
【０１４４】
ステップＳ２１２０で、処理対象とする画像中の着目メッシュブロックを先頭に設定する。ステップＳ２１３０で、比較元画像の輝度特徴量と、比較対象の輝度特徴量の類似度を示す類似距離を０にリセットする。
【０１４５】
ステップＳ２１４０で、未比較の着目メッシュブロックの有無を判定する。未比較の着目メッシュブロックがない場合（ステップＳ２１４０でＮＯ）、ステップＳ２１８０に進む。一方、未比較の着目メッシュブロックがある場合（ステップＳ２１４０でＹＥＳ）、ステップＳ２１５０に進む。
【０１４６】
ステップＳ２１５０で、比較元画像と比較先画像のそれぞれの輝度特徴量から、着目メッシュブロックの輝度に関する輝度階級ＩＤを取得する。
【０１４７】
ステップＳ２１６０で、図２２の輝度階級ＩＤペナルティマトリックスを参照して、取得した輝度階級ＩＤ間に対応する着目メッシュブロックの局所的類似距離を取得し、これを直前の処理で取得している類似距離に累積加算する。そして、この類似距離は記憶部１１１に記憶する。
【０１４８】
ここで、輝度階級ＩＤペナルティマトリックスについて、図２２を用いて説明する。
【０１４９】
図２２は本発明の実施形態の輝度階級ＩＤペナルティマトリックスの構成を示す図である。
【０１５０】
輝度階級ＩＤペナルティマトリックスは、輝度階級ＩＤ同士の局所的類似距離を管理するマトリックスである。図２２によれば、輝度階級ＩＤペナルティマトリックスは、同一輝度階級ＩＤではその類似距離は０となり、輝度階級ＩＤ同士の差が大きくなるほど、つまり、類似度が低くなるほど、その類似距離は大きくなるように構成されている。また、同一輝度階級ＩＤの対角位置は全て、その類似距離は０で、それを境に対象性を持っている。
【０１５１】
このように、本実施形態では、輝度階級ＩＤペナルティマトリックスを参照するだけで、輝度階級ＩＤ同士の類似距離を取得することができるので、処理の高速化を図ることができる。
【０１５２】
そして、ステップＳ２１７０で、図１２の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップＳ２１４０に戻る。
【０１５３】
そして、ステップＳ２１４０で、未比較の着目メッシュブロックがない場合（ステップＳ２１４０でＮＯ）、ステップＳ２１８０に進み、記憶部１１１に記憶されている類似距離を類似度に変換し、ブロックＩＤと対にして出力する。
【０１５４】
尚、類似度への変換は、例えば、類似距離が最小値のときを類似度１００％、類似距離が最大値のときを類似度０％として、その範囲内の類似距離に対する類似度は、最小値あるいは最大値に対する差に基づいて算出するようにすれば良い。
【０１５５】
次に、ステップＳ１８６０の文字特徴情報比較処理の詳細について説明する。
【０１５６】
この処理では、比較元画像と比較先画像中のそれぞれの文字ブロック内の各文字コード同士の比較を行い、その一致度から類似度を算出する。
【０１５７】
尚、検索条件とする紙文書とオリジナル文書との比較である場合、類似度は１００％となるのが理想的であるが、実際には、検索条件となる紙文書中の文字ブロックに対するＯＣＲ処理では誤認識が発生する場合があるので、オリジナル文書との比較であっても、類似度は１００％にならないことはあるが、かなり１００％に近い値となる。
【０１５８】
次に、ステップＳ１８７０の統合処理の詳細について説明する。
【０１５９】
この統合処理では、比較先画像であるオリジナル文書内で占めている割合の大きいブロックの類似度が、オリジナル文書全体の類似度としてより大きく反映されるような、算出されたブロック毎の類似度の統合を行う。
【０１６０】
例えば、オリジナル文書中のブロックＢ１〜Ｂ６に対し、ブロック毎の類似率がｎ１〜ｎ６と算出されたとする。このときオリジナル文書全体の総合類似率Ｎは、以下の式で表現される。
【０１６１】
Ｎ＝ｗ１＊ｎ１＋ｗ２＊ｎ２＋ｗ３＊ｎ３＋ ・・・ ＋ｗ６＊ｎ６ （４）
ここで、ｗ１〜Ｗ６は、各ブロックの類似率を評価する重み係数である。重み係数ｗ１〜ｗ６は、ブロックのオリジナル文書内占有率により算出する。例えば、ブロック１〜６のサイズをＳ１〜Ｓ６とすると、ブロック１の占有率ｗ１は、
ｗ１＝Ｓ１／（Ｓ１＋Ｓ２＋・・・＋Ｓ６） （５）
として算出することができる。
【０１６２】
このような占有率を用いた重み付け処理により、オリジナル文書内で大きな領域を占めるブロックの類似度がより、オリジナル文書全体の類似度に反映することができる。
【０１６３】
次に、ステップＳ３１５０及びステップＳ３１６０に示す確認モード時の処理の詳細について説明する。
【０１６４】
確認モードは、ユーザが予めユーザインタフェースから指定してもよいし、自動で判定しても良い。自動判定の方法としては、次の方法がある。例えば、検索されたオリジナル文書候補が１つの場合、または、１位のオリジナル文書候補と２位以降のオリジナル文書候補のそれぞれ類似度の差が所定値以上で、１位のオリジナル文書候補が、所望とするオリジナル文書である可能性が高い場合は、「非確認モード」としてステップＳ３１７０に進み、そうでない場合は、「確認モード」とする。
【０１６５】
「確認モード」の際は、ＭＦＰ１００の表示部１１０と入力部１１３で実現されるユーザインタフェースに、オリジナル文書候補群を表示して、その中から所望のオリジナル文書の選択をユーザに行ってもらう。
【０１６６】
このように、確認モードの実行の有無を自動判定する場合は、ユーザによるオリジナル文書の選択操作が不要となるので、操作工数を低減することができる。
【０１６７】
ここで、確認モード時のユーザインタフェースの一例について、図２３を用いて説明する。
【０１６８】
図２３は本発明の実施形態のユーザインタフェースの一例を示す図である。
【０１６９】
２３１１は表示・操作パネルである。２３１２〜２３１５は各種機能ボタンであり、それぞれの機能ボタン２３１２〜２３１５は、処理対象の画像の印刷指示、配信指示、蓄積指示及び編集指示を行うためのものである。これは、予め押しておいても、オリジナル文書の指定を行った後、指定してもよい。
【０１７０】
２３１６はスタートボタンであり、押下することで、機能ボタンで選択した機能を実行させることができる。２３１７は表示領域であり、タッチパネルで構成され、ユーザが直接画面に触れることで選択指示が可能である。
【０１７１】
２３１８はモード表示領域であり、図２３では、確認モードであることを示している。通常は自動判定されたモードを表示する。また、これに触れることで、「確認モード」と「非確認モード」をユーザがサイクリックに指定することができる。
【０１７２】
２３１９〜２３２８は、検索結果として出力するオリジナル文書候補のサムネイル画像群である。このサムネイル画像の表示は、２３１９から番号順に類似度の高い順で表示されている。この例では、最大１０のサムネイル画像が表示され、オリジナル文書候補が１０以上である場合には、上位１０までのサムネイル画像が表示される。そして、このサムネイル画像群２３１９〜２３２８から、所望するサムネイル画像を選択することで、所望のオリジナル文書を選択することが可能であり、その選択したオリジナル文書に対する各種処理を実行することが可能となる。
【０１７３】
以上説明したように、本実施形態によれば、紙文書のオリジナル文書のカラー画像電子データを、そのカラー画像電子データのグレースケール印刷物の電子化画像や、そのカラー画像電子データのグレースケール画像電子データでも検索することが可能となる。また、オリジナル画像電子データに対して画像を検索するための特別な変更を施すことなく、上記の検索を高精度に実現することができる。
【０１７４】
また、検索条件とする電子化紙文書画像がカラー画像であってもグレースケール画像であっても、その画像の種類に適切な方法で、そのオリジナル文書を検索することが可能となる。
【０１７５】
更に、検索結果を１つに絞ることができない場合には、その検索結果候補群をユーザに提示して、その検索結果候補群からユーザに自由に選択させることができる。
【０１７６】
尚、上記実施形態の図１０の輝度特徴情報抽出処理では、処理対象画像の最頻輝度を輝度特徴情報として抽出する例を説明したが、これに限定されるものではなく、例えば、平均輝度を輝度特徴情報として抽出するようにしても良い。
【０１７７】
また、グレースケール画像に関するグレースケール特徴量として、図２１のように、輝度特徴情報を用いる例を説明したが、これに限定されるものではなく、例えば、共起行列、コントラスト、エントロピ、Ｇａｂｏｒ変換等で表現されるテクスチャ特徴量、エッジ、フーリエ記述子等の形状特徴量等の複数種類のグレースケール特徴量を１つ、あるいは任意に組み合わせた特徴量を用いても良い。
【０１７８】
また、図１４の色特徴情報抽出処理では、処理対象画像の最頻色を色特徴情報として抽出する例を説明したが、これに限定されるものではなく、例えば、平均色を色特徴情報として抽出するようにしても良い。
【０１７９】
また、カラー画像とグレースケール画像でそれぞれの画像の種類に適した特徴量を用いて比較を行うようにしたが、精度が許容される範囲ならば、カラー画像についても、グレースケール画像の類似比較のための特徴量のみを抽出し、これのみで比較を行うようにしてもよい。
【０１８０】
また、ブロックセレクション処理を行い、処理対象の文書を文字ブロックと画像ブロックに分割し、これらの各ブロックの特徴量を複合的に用いて検索を行ったが、文書全体を１つの画像とみなし、オリジナル文書の検索を行うようにしても構わない。また、精度が許容される範囲ならば、文書中の画像ブロックのみを利用して、オリジナル文書の検索を行うようにしても構わない。
【０１８１】
また、電子データを、一旦、ラスタ画像に変換したが、電子データから直接、文字コードや画像を抜き出して比較してももちろん構わない。
【０１８２】
また、ブロックセレクション処理で、処理対象の文書をブロックに分割した後に、その画像ブロックについて図１６のカラー／グレースケール判定を行ったが、ブロックセレクション時に、カラー／グレースケール判定を行っておき、画像ブロックに属性としてカラー画像／グレースケール画像を付与しておくようにしてもよい。
【０１８３】
また、検索時に、画像ブロック毎にカラー／グレースケール判定を行ったが、文書全体の画像を用いて、予め、カラー／グレースケール判定をするようにしておいてももちろん構わない。
【０１８４】
また、カラー／グレースケール判定を自動的に判定したが、これをユーザが指定するようにしても、もちろん構わない。
【０１８５】
また、文字特徴量としては文字コードを採用したが、例えば、単語辞書とのマッチングを予め行って単語の品詞を抽出しておき、名詞である単語を文字特徴量としても良い。
【０１８６】
以上説明した実施形態における、画像処理装置は、パーソナルコンピュータ等の情報処理装置でもって実現できるし、その機能を実現する手順としての方法の発明として捉えることができる。また、コンピュータにより実現できるわけであるから、本発明はそれぞれの装置で実行されるコンピュータプログラム、更には、そのコンピュータプログラムを格納し、コンピュータが読み込めるＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体にも適用できるのは明らかであろう。
【０１８７】
従って、上記実施形態に係る実施態様を列挙すると、次の通りである。すなわち、画像処理装置及びその方法、プログラムは、次のようになる。
【０１８８】
＜実施態様１＞ 複数の電子データを比較先画像として記憶する記憶手段と、
印刷物を電子的に読み取り、その印刷物の電子データを比較元画像として入力する入力手段と、
前記比較元画像に対応するグレースケール画像に関するグレースケール特徴量を抽出する抽出手段と、
前記抽出手段で抽出したグレースケール特徴量を用いて、前記比較元画像に対応する比較先画像を前記記憶手段から検索する検索手段と、
前記検索手段の検索結果である画像に対して処理を行う処理手段と
を備えることを特徴とする画像処理装置。
【０１８９】
＜実施態様２＞ 前記グレースケール特徴量は、前記グレースケール画像の輝度特徴、テクスチャ特徴量、形状特徴量のいずれか１つあるいは任意の組み合わせからなる
ことを特徴とする実施態様１に記載の画像処理装置。
【０１９０】
＜実施態様３＞ 前記検索手段は、前記比較元画像のグレースケール特徴量と、前記比較先画像のグレースケール特徴量を比較する比較手段を備え、
前記比較手段の比較結果に基づいて、前記比較元画像に対応する比較先画像を前記記憶手段から検索する
ことを特徴とする実施態様１に記載の画像処理装置。
【０１９１】
＜実施態様４＞ 前記抽出手段は、更に、前記比較元画像の色に関する色特徴量を抽出する
ことを特徴とする実施態様１に記載の画像処理装置。
【０１９２】
＜実施態様５＞ 前記色特徴量は、前記比較元画像中の最頻色及び平均色の少なくとも一方を含む
ことを特徴とする実施態様４に記載の画像処理装置。
【０１９３】
＜実施態様６＞ 処理対象画像がカラー画像であるかグレースケール画像であるかを判定する判定手段を更に備え、
前記抽出手段は、前記判定手段の判定の結果、前記比較元画像がカラー画像である場合、該比較元画像の色特徴量を抽出し、一方、前記比較元画像がグレースケール画像である場合、該比較元画像のグレースケール特徴量を抽出する
ことを特徴とする実施態様４に記載の画像処理装置。
【０１９４】
＜実施態様７＞ 前記検索手段は、前記比較先画像がカラー画像である場合、前記色特徴量で該比較先画像と前記比較元画像との類似比較を行い、一方、前記比較先画像がグレースケール画像である場合、前記グレースケール特徴量で該比較先画像と該比較元画像との類似比較を行う比較手段を備える
ことを特徴とする実施態様６に記載の画像処理装置。
【０１９５】
＜実施態様８＞ 前記検索手段による検索結果を表示する表示手段と、
前記検索手段による検索結果として、前記表示手段に複数の比較先画像が表示された場合、該複数の比較先画像から所望の画像を選択する選択手段と
を更に備えることを特徴とする実施態様１に記載の画像処理装置。
【０１９６】
＜実施態様９＞ 前記検索手段の検索結果である画像に対する処理の種類を指示する指示手段を更に備え、
前記処理の種類は、印刷、配信、蓄積、編集のいずれかである
ことを特徴とする実施態様１に記載の画像処理装置。
【０１９７】
＜実施態様１０＞ 前記抽出手段は、更に、前記比較元画像中の文字画像に関する文字特徴量を抽出する
ことを特徴とする実施態様１に記載の画像処理装置。
【０１９８】
＜実施態様１１＞ 前記比較元画像を画像ブロックとテキストブロックに分割する分割手段を更に備え、
前記抽出手段は、前記比較元画像中の画像ブロックのグレースケール特徴量を抽出し、該比較元画像中の文字ブロックの文字特徴量を抽出する
ことを特徴とする実施態様１０に記載の画像処理装置。
【０１９９】
＜実施態様１２＞ 前記比較元画像を画像ブロックとテキストブロックに分割する分割手段を更に備え、
前記抽出手段は、前記比較元画像中の画像ブロックのグレースケール特徴量あるいは色特徴量を抽出し、該比較元画像中の文字ブロックの文字特徴量を抽出する
ことを特徴とする実施態様１０に記載の画像処理装置。
【０２００】
＜実施態様１３＞ 印刷物を電子的に読み取り、その印刷物の電子データを比較元画像として入力する入力工程と、
前記比較元画像に対応するグレースケール画像に関するグレースケール特徴量を抽出する抽出工程と、
前記抽出工程で抽出したグレースケール特徴量を用いて、比較先画像として記憶媒体に記憶されている複数の電子データから、前記比較元画像に対応する比較先画像を検索する検索工程と、
前記検索工程の検索結果である画像に対して処理を行う処理工程と
を備えることを特徴とする画像処理方法。
【０２０１】
＜実施態様１４＞ 印刷物を電子的に読み取り、その印刷物の電子データを比較元画像として入力する入力工程のプログラムコードと、
前記比較元画像に対応するグレースケール画像に関するグレースケール特徴量を抽出する抽出工程のプログラムコードと、
前記抽出工程で抽出したグレースケール特徴量を用いて、比較先画像として記憶媒体に記憶されている複数の電子データから、前記比較元画像に対応する比較先画像を検索する検索工程のプログラムコードと、
前記検索工程の検索結果である画像に対して処理を行う処理工程のプログラムコードと
を備えることを特徴とするプログラム。
【０２０２】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０２０３】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０２０４】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０２０５】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０２０６】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０２０７】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０２０８】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０２０９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０２１０】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【０２１１】
【発明の効果】
以上説明したように、本発明によれば、グレースケール印刷された紙文書から、オリジナルのカラーの電子データを検索し、活用することが可能となる。このとき、オリジナルを変更することなく実現でき、かつ、高精度に検索をすることができる。また、紙原稿のスキャン画像だけでなく、紙原稿の基になったワープロソフトなどで作成された電子ファイルそのものも容易に活用することができる。また、紙文書がカラーであってもグレースケールであっても適切な方法で検索することも可能となる。また、検索結果を１つに絞ることができなくても、ユーザに候補の中から選択してもらうことが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態の画像処理システムの構成を示すブロック図である。
【図２】本発明の実施形態のＭＦＰの詳細構成を示すブロック図である。
【図３】本発明の実施形態の画像処理システムで実行する処理全体の概要を示すフローチャートである。
【図４】本発明の実施形態のアドレス情報の一例を示す図である。
【図５】本発明の実施形態のブロック情報の一例を示す図である。
【図６】本発明の実施形態の特徴量情報の一例を示す図である。
【図７】本発明の実施形態の特徴量情報の一例を示す図である。
【図８】本発明の実施形態の特徴量情報の一例を示す図である。
【図９】本発明の実施形態のブロックセレクション処理の概念を説明するための図である。
【図１０】本発明の実施形態の輝度特徴情報抽出処理の詳細を示すフローチャートである。
【図１１】本発明の実施形態の画像メッシュブロック分割の一例を示す図である。
【図１２】本発明の実施形態の順序決定テーブルの一例を示す図である。
【図１３】本発明の実施形態の輝度階級テーブルの一例を示す図である。
【図１４】本発明の実施形態の色特徴情報抽出処理の詳細を示すフローチャートである。
【図１５】本発明の実施形態の色空間上の色ビンの構成の一例を示す図である。
【図１６】本発明の実施形態の判定処理の詳細を示すフローチャートである。
【図１７】本発明の実施形態の比較処理の詳細を示すフローチャートである。
【図１８】本発明の実施形態の比較処理の詳細を示すフローチャートである。
【図１９】本発明の実施形態の色特徴情報比較処理の詳細を示すフローチャートである。
【図２０】本発明の実施形態の色ビンペナルティマトリックスの構成の一例を示す図である。
【図２１】本発明の実施形態の輝度特徴情報比較処理の詳細を示すフローチャートである。
【図２２】本発明の実施形態の輝度階級ＩＤペナルティマトリックスの構成の一例を示す図である。
【図２３】本発明の実施形態のユーザインタフェースの一例を示す図である。
【符号の説明】
１００ ＭＦＰ
１０１ マネージメントＰＣ
１０２ クライアントＰＣ
１０３ プロキシサーバ
１０４ ネットワーク
１０５ データベース
１０６ 文書管理サーバ
１０７ ＬＡＮ
１１０ 画像読取部
１１１ 記憶部
１１２ 印刷部
１１３ 入力部
１１４、１１７ ネットワークＩ／Ｆ
１１５ データ処理部
１１６ 表示部

Claims (13)

1. カラーの比較先画像と、当該比較先画像から抽出した輝度特徴量と、当該比較先画像から抽出した色特徴量とを関連付けて記憶する記憶手段と、
   比較元画像を入力する入力手段と、
   前記比較元画像を複数の領域に分割する分割手段と、
   前記分割手段で分割された複数の領域の中で写真属性に分類された領域と図画属性に分類された領域との少なくとも一方を処理対象画像領域として、前記比較元画像の色情報を解析することにより、当該処理対象画像領域がカラー画像であるか否かを判定する判定手段と、
   前記処理対象画像領域から、輝度特徴量をグレースケール特徴量として抽出するグレースケール特徴量抽出手段と、
   前記判定手段によって前記処理対象画像領域がカラー画像であると判定された場合に、当該処理対象画像領域から色に関する色特徴量を抽出する色特徴量抽出手段と、
   前記記憶手段に対し、前記判定手段で前記処理対象画像領域がカラー画像であると判定された場合は、前記色特徴量抽出手段で当該処理対象画像領域から抽出した色特徴量を用いた比較処理を行い、前記判定手段で前記処理対象画像領域がカラー画像でないと判定された場合は、前記グレースケール特徴量抽出手段で当該処理対象画像領域から抽出したグレースケール特徴量を用いた比較処理を行うことにより、前記比較元画像に対応するカラーの比較先画像を前記記憶手段から検索する検索手段と、
   前記検索手段で検索されたカラーの比較先画像を前記記憶手段から抽出し、当該抽出されたカラーの比較先画像に対してユーザにより指定された処理を行う処理手段と
   を備えることを特徴とする画像処理装置。
2. 前記グレースケール特徴量抽出手段は、前記処理対象画像領域から、前記輝度特徴量とテクスチャ特徴量と形状特徴量との少なくともいずれかを、前記グレースケール特徴量として抽出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記グレースケール特徴量抽出手段は、前記処理対象画像領域を複数のメッシュブロックに分割し、当該メッシュブロックそれぞれから検出される輝度情報に基づいて、前記グレースケール特徴量を抽出する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記色特徴量抽出手段は、前記判定手段によって前記処理対象画像領域がカラー画像であると判定された場合に、当該処理対象画像領域を複数のメッシュブロックに分割し、当該メッシュブロックそれぞれから検出される最頻色及び平均色の少なくとも一方に基づいて、前記色特徴量を抽出する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記判定手段は、前記比較元画像を構成する画素の平均色の輝度成分値と色差成分値とを求め、当該輝度成分値に対する色差成分値の割合に基づいて、カラー画像であるか否かを判定する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記検索手段による検索結果を表示する表示手段と、
   前記検索手段による検索結果として、前記表示手段に複数の比較先画像が表示された場合、当該表示された複数の比較先画像からユーザ所望の比較先画像を選択する選択手段とを更に備え、
   前記処理手段は、前記選択手段で選択されたカラーの比較先画像を前記記憶手段から抽出し、当該抽出されたカラーの比較先画像に対して処理を実行する
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記分割手段で分割された複数の領域の中で文字属性に分類された領域に対して文字認識処理を行うことにより得た文字コードを、文字特徴量として抽出する文字特徴量抽出手段を更に有し、
   前記検索手段は、前記判定手段で前記処理対象画像領域がカラー画像であると判定され た場合は、前記色特徴量抽出手段で当該処理対象画像領域から抽出した色特徴量を用いた比較処理を行い、前記判定手段で前記処理対象画像領域がカラー画像でないと判定された場合は、前記グレースケール特徴量抽出手段で当該処理対象画像領域から抽出したグレースケール特徴量を用いた比較処理を行い、更に、前記文字属性に分類された領域に関しては、前記文字特徴量抽出手段で抽出した文字特徴量を用いた比較処理を行い、当該各比較処理の結果に基づいて、前記比較元画像に対応するカラーの比較先画像を前記記憶手段から検索する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 登録用に入力されたカラーの比較先画像から前記輝度特徴量と前記色特徴量を抽出し、当該登録用に入力されたカラーの比較先画像を、当該抽出した輝度特徴量と色特徴量と関連付けて前記記憶手段に登録する登録手段を更に有する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記登録手段は、前記登録用に入力されたカラーの比較先画像を複数の領域に分割し、当該分割された領域の中で写真属性に分類された領域と図画属性に分類された領域との少なくとも一方を画像属性領域として、当該画像属性領域から前記輝度特徴量と前記色特徴量とを抽出し、当該登録用に入力されたカラーの比較先画像を、当該抽出した輝度特徴量と色特徴量と関連付けて登録する
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記分割手段は、前記比較元画像を二値化し、当該二値化された画像内の黒画素の塊の大きさと形状とに基づいて、前記比較元画像を複数の領域に分割する
    ことを特徴とする請求項１乃至９のいずれかに記載の画像処理装置。
11. 入力手段が、比較元画像を入力する入力工程と、
    分割手段が、前記比較元画像を複数の領域に分割する分割工程と、
    判定手段が、前記分割工程で分割された複数の領域の中で写真属性に分類された領域と図画属性に分類された領域との少なくとも一方を処理対象画像領域として、前記比較元画像の色情報を解析することにより、当該処理対象画像領域がカラー画像であるか否かを判定する判定工程と、
    グレースケール特徴量抽出手段が、前記処理対象画像領域から、輝度特徴量をグレースケール特徴量として抽出するグレースケール特徴量抽出工程と、
    色特徴量抽出手段が、前記判定工程によって前記処理対象画像領域がカラー画像であると判定された場合に、当該処理対象画像領域から色に関する色特徴量を抽出する色特徴量抽出工程と、
    検索手段が、カラーの比較先画像と当該比較先画像から抽出した輝度特徴量と当該比較先画像から抽出した色特徴量とを関連付けて記憶する記憶媒体に対し、前記判定工程で前記処理対象画像領域がカラー画像であると判定された場合は、前記色特徴量抽出工程で当該処理対象画像領域から抽出した色特徴量を用いた比較処理を行い、前記判定工程で前記処理対象画像領域がカラー画像でないと判定された場合は、前記グレースケール特徴量抽出工程で当該処理対象画像領域から抽出したグレースケール特徴量を用いた比較処理を行うことにより、前記比較元画像に対応するカラーの比較先画像を前記記憶媒体から検索する検索工程と、
    処理手段が、前記検索工程で検索されたカラーの比較先画像を前記記憶媒体から抽出し、当該抽出されたカラーの比較先画像に対してユーザにより指定された処理を行う処理工程と
    の各工程を画像処理装置が実行するように制御するための画像処理方法。
12. コンピュータを、
    比較元画像を入力する入力手段、
    前記比較元画像を複数の領域に分割する分割手段、
    前記分割手段で分割された複数の領域の中で写真属性に分類された領域と図画属性に分類された領域との少なくとも一方を処理対象画像領域として、前記比較元画像の色情報を解析することにより、当該処理対象画像領域がカラー画像であるか否かを判定する判定手 段、
    前記処理対象画像領域から、輝度特徴量をグレースケール特徴量として抽出するグレースケール特徴量抽出手段、
    前記判定手段によって前記処理対象画像領域がカラー画像であると判定された場合に、当該処理対象画像領域から色に関する色特徴量を抽出する色特徴量抽出手段、
    カラーの比較先画像と当該比較先画像から抽出した輝度特徴量と当該比較先画像から抽出した色特徴量とを関連付けて記憶する記憶媒体に対し、前記判定手段で前記処理対象画像領域がカラー画像であると判定された場合は、前記色特徴量抽出手段で当該処理対象画像領域から抽出した色特徴量を用いた比較処理を行い、前記判定手段で前記処理対象画像領域がカラー画像でないと判定された場合は、前記グレースケール特徴量抽出手段で当該処理対象画像領域から抽出したグレースケール特徴量を用いた比較処理を行うことにより、前記比較元画像に対応するカラーの比較先画像を前記記憶媒体から検索する検索手段と、
    前記検索手段で検索されたカラーの比較先画像を前記記憶媒体から抽出し、当該抽出されたカラーの比較先画像に対してユーザにより指定された処理を行う処理手段
    として機能させるためのコンピュータプログラム。
13. 請求項１２に記載のコンピュータプログラムを格納した、コンピュータ可読記憶媒体。

Images