JP4405831B2 - 画像処理装置及びその制御方法、プログラム - Google Patents

Description

本発明は、複写機などの画像入力装置で、読み取った紙文書から対応するオリジナルの電子データを検索し、オリジナルの電子データを印刷、配信、蓄積、編集などに活用することを可能とする画像処理技術に関するものである。

近年、複写機のデジタル化及びネットワーク化が進んでいる。印刷機能も多様化しており、同一の、或いは、複数の文書に含まれる複数のページを、１枚の紙に配置して印刷することが可能となっている。

例えば、会議などで多用されている配布資料などは参照用であるため、１枚の紙に１文書の２ページ分、４ページ分といったように、Ｎページ分の文書を１枚の紙にレイアウトして印刷されたものであることが多い（以降、Ｎページ印刷と呼ぶ）。また、複数の文書のページを一度に参照する必要があるときは、結合させて印刷する場合もあり得る（以降、結合印刷と呼ぶ）。更に、印刷後に２つ折にして製本できるように、ページ番号が製本時の順に印刷される場合もあり得る（以降、製本印刷と呼ぶ）。

尚、以降、Ｎページ印刷、結合印刷、製本印刷等の１枚の紙にＮページ分の文書をレイアウトして印刷する印刷を総称してＮｕｐ印刷と呼ぶことにする。

一方、紙文書をスキャナで読み取り、その読み取った紙文書画像のオリジナルの電子データを検索し、オリジナルの電子データそのものから印刷したり、ネットワーク内の所望のＰＣ（パーソンルコンピュータ）等の端末へ配信したり、ネットワーク内の所望の蓄積媒体へ保存したり、または編集したりすることを可能とするシステムが提案されはじめている。

これを実現するための方法として、例えば、特許文献１では、紙文書をスキャンしたスキャン電子データと、記憶媒体中の電子データをビット単位で比較することにより、スキャン電子データのオリジナルの電子データを検索することを可能としている。

また、例えば、特許文献２では、書類を電子データにする際に、その電子データに識別コードを付与して、その識別コードを含む印刷物を生成する。これにより、別途、印刷物に対応する電子データを検索したり印刷したりする場合には、その印刷物を読み込み、印刷されている識別コードを認識することで、所望の電子データの検索や印刷が可能となっている。
特許第３０１７８５１号 特開２００１−２５７８６２号

しかしながら、特許文献１、２では、Ｎｕｐ印刷の文書については何ら考慮していないので、Ｎｕｐ印刷が使用されるような環境においては、次のような問題が生じる。

例えば、特許文献１では、Ｎｕｐ印刷された文書をスキャンして得た電子データを１ページ分と解釈する。これに対し、オリジナルの電子データは、１ページを単位とした電子データで記憶媒体に管理されているので、どの電子データと比較しても高い類似度が得らない。よって、オリジナルの電子データを検索できなくなる。

また、例えば、特許文献２では、識別コードは各ページに対して印字位置が決まっているので、Ｎｕｐ印刷した際には印字位置がずれてしまい、各識別コードが読み取れなくなってしまうので、やはりオリジナルの電子データを検索できなくなってしまう。

本発明は上記の課題に鑑みてなされたものであり、Ｎｕｐ印刷された紙文書から、オリジナルの電子データを検索し、活用することを可能とする画像処理装置及びその制御方法、プログラムを提供することを目的とする。

上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
複数の電子データを比較先画像として記憶する記憶手段と、
印刷物を電子的に読み取り、その印刷物の電子データを比較元画像として入力する入力手段と、
前記比較元画像に含まれるページ画像の数に基づいて、前記比較元画像に含まれるページ画像を含む処理対象領域の特徴量を抽出する抽出手段と、
前記抽出手段で抽出した特徴量を用いて、前記比較元画像に対応する比較先画像を前記記憶手段から検索する検索手段と、
を備える。

また、好ましくは、前記検索手段の検索結果である画像に対して処理を行う処理手段と更に備える。

また、好ましくは、前記比較元画像に含まれるページ画像のページ数を指定する指定手段を更に備え、
前記抽出手段は、前記指定手段で指定されたページ数に基づいて決定される処理対象領域毎に、その処理対象領域の特徴量を抽出する。

また、好ましくは、前記抽出手段は、前記処理対象領域の画像特徴量及び文字特徴量のいずれかまたは両方を抽出する。

また、好ましくは、前記画像特徴量は、色特徴量、輝度特徴量、テクスチャ特徴量、形状特徴量のいずれか１つ、或いは、任意の組み合わせである。

また、好ましくは、前記文字特徴量は、文字コードである。

また、好ましくは、前記検索手段による検索結果を表示する表示手段と、
前記検索手段による検索結果として、前記表示手段に複数の比較先画像が表示された場合、該複数の比較先画像から所望の画像を選択する選択手段と
を更に備える。

また、好ましくは、前記比較元画像が複数のページ画像から構成されている場合、該複数のページ画像から所望のページ画像を指定する指定手段を更に備え、
前記抽出手段は、前記指定手段で指定されたページ画像を含む処理対象領域の特徴量を抽出する。

また、好ましくは、前記処理手段は、前記検索手段で検索された画像を、指定された印刷条件で印刷する。

また、好ましくは、前記検索結果の画像に対する処理の種類を指示する指示手段を更に備え、
前記処理の種類は、印刷、配信、蓄積、編集のいずれかである。

また、好ましくは、前記比較元画像に複数のページ画像が存在するか否かを判定する第１判定手段と、
前記第１判定手段による判定の結果、前記比較元画像に複数のページ画像が存在する場合、前記比較元画像に含まれるページ画像とのページ数を判定する第２判定手段と、
前記抽出手段は、前記第２判定手段で判定されたページ数に基づいて決定される処理対象領域毎に、その処理対象領域の特徴量を抽出する。

また、好ましくは、前記第１判定手段は、前記比較元画像中に含まれるページ番号を検出し、前記ページ番号が所定の領域内で等間隔に存在しているか否かを判定することで、前記比較元画像に複数のページ画像が存在するか否かを判定する。

また、好ましくは、前記第１判定手段は、前記比較元画像の最右端余白または最左端余白と、それ以外の中間余白を検出し、検出した中間余白が、前記最右端余白または前記最左端余白よりも大きいか否かを判定することで、前記比較元画像に複数のページ画像が存在するか否かを判定する。

また、好ましくは、前記第１判定手段の判定結果を表示する表示手段と、
前記判定結果を修正する修正手段と
を更に備える。

また、好ましくは、前記比較先画像を入力する入力手段と、
前記入力手段で入力される比較先画像に含まれるページ画像のページ数を指定する指定手段とを更に備え、
前記抽出手段は、前記指定手段で指定されたページ数に基づいて決定される処理対象領域毎に、その処理対象領域の特徴量を抽出し、
前記記憶手段は、前記比較先画像と、前記抽出手段で抽出した特徴量とを対応づけて記憶する。

また、好ましくは、前記比較先画像を入力する入力手段と、
前記比較先画像に複数のページ画像が存在するか否かを判定する第１判定手段と、
前記第１判定手段による判定の結果、前記比較元画像に複数のページ画像が存在する場合、前記比較元画像に含まれるページ画像とのページ数を判定する第２判定手段とを更に備え、
前記抽出手段は、前記第２判定手段で判定されたページ数に基づいて決定される処理対象領域毎に、その処理対象領域の特徴量を抽出し、
前記記憶手段は、前記比較先画像と、前記抽出手段で抽出した特徴量とを対応づけて記憶する。

上記の目的を達成するための本発明による画像処理装置の制御方法は以下の構成を備える。即ち、
印刷物を電子的に読み取ることによって得た電子データを比較元画像として入力する入力工程と、
前記比較元画像に含まれるページ画像の数に基づいて、前記比較元画像に含まれるページ画像を含む処理対象領域の特徴量を抽出する抽出工程と、
前記抽出工程で抽出した特徴量を用いて、記憶媒体に比較先画像として記憶されている複数の電子データから、前記比較元画像に対応する比較先画像を検索する検索工程と
を備える。

上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
画像処理の制御をコンピュータで実現するプログラムであって、
印刷物を電子的に読み取ることによって得た電子データを比較元画像として入力する入力工程のプログラムコードと、
前記比較元画像に含まれるページ画像の数に基づいて、前記比較元画像に含まれるページ画像を含む処理対象領域の特徴量を抽出する抽出工程のプログラムコードと、
前記抽出工程で抽出した特徴量を用いて、記憶媒体に比較先画像として記憶されている複数の電子データから、前記比較元画像に対応する比較先画像を検索する検索工程のプログラムコードと、
を備える。

以上説明したように、本発明によれば、Ｎｕｐ印刷された紙文書から、オリジナルの電子データを検索し、活用することを可能とする画像処理装置及びその制御方法、プログラムを提供できる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

＜＜実施形態１＞＞
図１は本発明の実施形態１の画像処理システムの構成を示すブロック図である。

この画像処理システムは、オフィス１０とオフィス２０とをインターネット等のネットワーク１０４で接続された環境で実現する。

オフィス１０内に構築されたＬＡＮ１０７には、複数種類の機能を実現する複合機であるＭＦＰ（Multi Function Peripheral）１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ１０６及びそのデータベース１０５、及びプロキシサーバ１０３が接続されている。

オフィス１０内のＬＡＮ１０７及びオフィス２０内のＬＡＮ１０８は、双方のオフィスのプロキシサーバ１０３を介してネットワーク１０４に接続されている。

ＭＦＰ１００は、特に、紙文書を電子的に読み取る画像読取部と、画像読取部から得られる画像信号に対する画像処理を実行する画像処理部を有し、この画像信号はＬＡＮ１０９を介してマネージメントＰＣ１０１に送信することができる。

マネージメントＰＣ１０１は、通常のＰＣであり、内部に画像記憶部、画像処理部、表示部、入力部等の各種構成要素を有するが、その構成要素の一部はＭＦＰ１００に一体化して構成されている。

尚、ネットワーク１０４は、典型的にはインターネットやＬＡＮやＷＡＮや電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれか、またはこれらの組み合わせにより実現されるいわゆる通信ネットワークであり、データの送受信が可能であれば良い。

また、マネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ等の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。

次に、ＭＦＰ１００の詳細構成について、図２を用いて説明する。

図２は本発明の実施形態１のＭＦＰの詳細構成を示すブロック図である。

図２において、原稿台とオートドキュメントフィーダ（ＡＤＦ）を含む画像読取部１１０は、束状のあるいは１枚の原稿画像を光源（不図示）で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスタ状の画像読取信号を所定密度（例えば、６００ＤＰＩ）のラスタ画像として得る。

また、ＭＦＰ１００は、画像読取信号に対応する画像を印刷部１１２で記録媒体に印刷する複写機能を有し、原稿画像を１つ複写する場合には、この画像読取信号をデータ処理部１１５で画像処理して記録信号を生成し、これを印刷部１１２によって記録媒体上に印刷させる。一方、原稿画像を複数複写する場合には、記憶部１１１に一旦一つ分の記録信号を記憶保持させた後、これを印刷部１１２に順次出力して記録媒体上に印刷させる。

また、Ｎｕｐ印刷を行う場合は、データ処理部１１５で指定されたページ分の画像信号を縮小し、１枚の紙で印刷可能となるように各ページの画像信号をレイアウトする。その後、印刷部１１２に出力して記録媒体上に印刷させる。

一方、クライアントＰＣ１０２から出力される記録信号は、ＬＡＮ１０７及びネットワークＩＦ１１４を介してデータ処理部１１５が受信し、データ処理部１１５は、その記録信号を印刷部１１２で記録可能なラスターデータに変換した後、印刷部１１２によって記録媒体上に印刷させる。

ＭＦＰ１００への操作者の指示は、ＭＦＰ１００に装備されたキー操作部とマネージメントＰＣ１０１に接続されたキーボード及びマウスからなる入力部１１３から行われ、これら一連の動作はデータ処理部１１５内の制御部（不図示）で制御される。また、操作入力の状態表示及び処理中の画像データの表示は、表示部１１６で行われる。

記憶部１１１は、マネージメントＰＣ１０１からも制御され、ＭＦＰ１００とマネージメントＰＣ１０１とのデータの送受信及び制御は、ネットワークＩＦ１１７及びＬＡＮ１０９を介して行われる。

尚、ＭＦＰ１００では、後述する各種処理を実行するための各種操作・表示をユーザに提供するユーザインタフェースを、表示部１１６及び入力部１１３によって実現している。

本発明による画像処理システムで実行する処理としては、大きく分けて画像データを登録する登録処理と、所望の画像データを検索する検索処理の２つがある。

尚、実施形態１では、画像処理システム全体の処理効率を向上するために、以下に説明する各種処理を、画像処理システムを構成する各種端末に分散させて実行するようにしているが、１つの端末（例えば、ＭＦＰ１００）上で実行するようにしても構わない。

まず、登録処理について説明する。

［登録処理の概要］
登録対象の画像データの登録方法としては、紙文書をスキャン入力して生成した画像データを登録する場合と、文書作成アプリケーション等で作成された電子文書をラスタ画像に展開した画像データを登録する場合がある。

そこで、オリジナル文書を登録する登録処理の概要について、図３Ａを用いて説明する。

図３Ａは本発明の実施形態１の登録処理を示すフローチャートである。

尚、この処理は、画像読取部１１０のＡＤＦに、登録対象の紙文書がセットされ、入力部１１３の登録ボタンが操作された時点で開始される。また、登録対象の紙文書は、１枚でも複数枚でも可能であるが、複数枚の場合は、その紙文書から得られる画像データ群（ページ画像群）を１つのファイルとして管理することになる。

まず、ステップＳ３０１０で、登録対象のオリジナル文書を入力する。また、この入力に伴って、オリジナル文書を管理するための各種情報を生成して記憶部１１１に記憶する。

尚、オリジナル文書を登録する際のオリジナル文書の入力方法には、２種類存在する。

オリジナル文書が電子データである場合は、クライアントＰＣ１０２内のハードディスク内、あるいはオフィス１０や２０内の文書管理サーバ１０６内のデータベース１０５内、あるいはＭＦＰ１００の記憶部１１１のいずれかに格納されており、これらの記憶元から登録対象のオリジナル文書の電子データを読み出してネットワークＩＦ１１４を介してデータ処理部１１５に入力し、データ処理部１１５でその電子データをラスタ画像に変換する。

一方、オリジナル文書が紙文書である場合は、ＭＦＰ１００の画像読取部１１０で、その紙文書をラスタ状に走査しラスタ画像を得る。

このように、実施形態１では、登録対象のオリジナル文書に、電子データあるいは紙文書のどちらも扱うことが可能である。その後、ラスタ画像をデータ処理部１１５で前処理を施し記憶部１１１に保存する（尚、これ以降、紙文書のときはラスタ画像がオリジナル文書の電子データとなる）。このとき、登録対象のオリジナル文書毎に固有の文書ＩＤを発行し、オリジナル文書の電子データのアドレスと対応付けて記憶部１１１にアドレス情報として保存する。

ここで、アドレスとは、ＵＲＬや、サーバ名とディレクトリ、ファイル名からなる電子データの格納先を示すフルパス情報である。また、アドレス情報の一例を示すと、図４のようになる。また、アドレス情報の格納先は、データベース１０５や記憶部１１１等が挙げられる。

尚、オリジナル文書が紙文書である場合の電子データのファイル形式は、例えば、ＢＭＰ形式とするが、これに限定されるものではなく、色情報を保存しておくことが可能なファイル形式（例えば、ＧＩＦ、ＪＰＥＧ）であればどのようなものでも良い。

一方、オリジナル文書が電子データである場合のその電子データのファイル形式は、その電子データを作成したアプリケーション（例えば、マイクロソフト（登録商標）社のＭＳ−Ｗｏｒｄや、アドビシステム（登録商標）のアクロバット等）で作成されたファイル形式（＊．ｄｏｃや＊．ｐｄｆ）となる。

次に、ステップＳ３０１１で、ステップＳ３０１０で入力された文書の数を入力文書数Ｐに設定する。次に、ステップＳ３０１２で、処理文書数を示す変数ａと、処理対象の１文書中の処理ページ数を示す変数ｂにそれぞれ初期値として１を設定する。次に、ステップＳ３０１３で、１文書のページ数Ｑにａ番目の文書中のページ数を設定する。

次に、終了判定として、Ｐがａ以上であるか否かを判定する。ａ未満である場合（ステップＳ３０１４でＮＯ）、処理を終了する。一方、ａ以上である場合（ステップＳ３０１４でＹＥＳ）、未処理の文書が存在するので、処理を続行する。

次に、ステップＳ３０１５で、文書単位の終了判定として、Ｑがｂ以上であるか否かを判定する。ｂ未満である場合（ステップＳ３０１５でＮＯ）、ステップＳ３０３２へ進み、ａを１インクリメントして、ステップＳ３０１４へ戻り、処理対象を次の文書に移す。一方、ｂ以上である場合（ステップＳ３０１５でＹＥＳ）、未処理のページが存在するので、処理を続行する。

次に、Ｐ番目の文書のＱページに関して、ブロックセレクション（ＢＳ）処理を行う。この処理は、マネージメントＰＣ１０１の制御によって実行する。

具体的には、マネージメントＰＣ１０１のＣＰＵは、記憶部１１１に格納された処理対象のオリジナル文書のラスタ画像を、まず、文字／線画部分とハーフトーン画像部分とに領域分割し、文字／線画部分は更に段落で塊として纏まっているブロック毎に、あるいは線で構成された表、図形毎に分割する。

一方、ハーフトーン画像部分は、矩形に分離されたブロックの画像部分、背景部分等のブロックに分割する。

そして、処理対象のページのページ番号、そのページ中の各ブロックを特定するブロックＩＤを発行し、各ブロックの属性（画像、文字等）、サイズやオリジナル文書内の位置（ページ内の座標）と各ブロックを関連付けて記憶部１１１にブロック情報として記憶する。このブロック情報の一例を示すと、図５のようになる。

次に、ステップＳ３０３０で、データ処理部１１５において、各ブロックの種別に応じて、各ブロックの特徴量情報を抽出する特徴量情報抽出処理を行う。

特に、文字ブロックについては、ＯＣＲ処理を施して文字コードを抽出し、これを文字特徴量とする。また、画像ブロックについては、色に関する画像特徴量を抽出する。このとき、それぞれのブロックに対応する特徴量をオリジナル文書単位にまとめ、文書ＩＤ、ページ番号、ブロックＩＤに関連付けて記憶部１１１に特徴量情報として記憶する。この特徴量情報の一例を示すと、図６及び図７のようになる。

次に、ステップＳ３０３１で、ｂを１インクリメントし、ステップＳ３０１４へ戻り、処理対象の次のページに移す。

［検索処理の概要］
オリジナル文書の電子データを検索する検索処理の概要について、図３Ｂを用いて説明する。

図３Ｂは本発明の実施形態１の検索処理を示すフローチャートである。

まず、ステップＳ３１１０で、検索条件となる紙文書の入力を行う。この処理は、ステップＳ３０１０の処理と同様であるので説明は省略する。但し、この処理によって生成するラスタ画像は一時保存するだけであり、その紙文書に対するアドレス情報を記憶部１１１に保存しておく必要はない。

次に、ステップＳ３１１１で、ユーザによるＮｕｐ印刷の指定の有無を判定する。Ｎｕｐ印刷の指定がある場合（ステップＳ３１１１でＹＥＳ）、ステップＳ３１１２進み、ページ数Ｌにユーザが指定した１枚中のページ数を設定する。一方、Ｎｕｐ印刷の指定がない場合（ステップＳ３１１１でＮＯ）、ステップＳ３１１５に進み、１枚中１ページとみなし、ページ数Ｌに１を設定する。

次に、ステップＳ３１１３で、処理対象の１文書中の処理ページ数を示す変数ｂに初期値として１を設定する。次に、比較処理の終了判定として、Ｌがｂ以上であるか否かを判定する。ｂ未満である場合（ステップＳ３１１６でＮＯ）、ステップＳ３１５０に進む。一方、ｂ以上である場合（ステップＳ３１１６でＹＥＳ）、未処理のページが存在するので、処理を続行するために、ステップＳ３１２０に進む。

次に、ステップＳ３１２０で、ラスタ画像中のｂページ目の画像領域に対して、ブロックセレクション（ＢＳ）処理を行う。

この時のブロックセレクション処理の具体例については、図８を用いて説明する。

図８では、２ページ分をＮｕｐ印刷した例を示している。図８において、８１０は１枚の紙全体の領域であり、８１１と８１２は各ページのページ画像を示している。８１３と８１４は各ページのページ番号である。ここで、ｂ＝１である場合、１ページ目のページ画像８１１を含む処理対象領域８１５に対してのみ、ブロックセレクション処理を行うことになる。そして、図８の例では、ｂ＝２の場合は、２ページ目のページ画像８１２を含む処理対象領域に対してブロックセレクション処理を行うことになる。

尚、このブロックセレクション処理自体は、ステップＳ３０２０のブロックセレクション処理と同様であるので説明は省略する。但し、このブロックセレクション処理によって生成する各ブロックの属性、サイズ、位置は一時保存するだけであり、その紙文書に対するブロック情報は記憶部１１１に保存しておく必要はない。

また、処理対象領域は、Ｌの値と、紙文書の向きに基づいて、１枚の紙文書をＬ個の領域に分割し、更に所定の処理順に基づいて決定される。

次に、ステップＳ３１３０で、各ブロックの特徴量情報を抽出する特徴量情報抽出処理を行う。この処理は、ステップＳ３０３０の処理と同様であるので説明は省略する。但し、この処理によって生成する各ブロックの特徴量は一時保存するだけであり、その紙文書に対する特徴量情報を記憶部１１１に保存しておく必要はない。

次に、ステップＳ３１４０で、入力した紙文書中のｂページ目の画像（比較元画像）に対する特徴量情報と、クライアントＰＣ１０２内のハードディスク内、あるいはオフィス１０や２０内の文書管理サーバ１０６内のデータベース１０５内、あるいはＭＦＰ１００の記憶部１１１のいずれかに格納されている電子データ（比較先画像）の特徴量情報を比較して、その類似度を算出し、その類似度に基づいて、検索結果とするオリジナル文書候補を決定する。

次に、ステップＳ３１４１で、ｂを１インクリメントし、ステップＳ３１１６へ戻り、処理対象を次のページに移す。

そして、ステップＳ３１１６において、Ｌがｂ未満である場合（ステップＳ３１１６でＮＯ）、ステップＳ３１５０に進み、ユーザ確認モードであるか否かを判定する。

尚、ユーザ確認モードとは、比較処理によって得られたオリジナル文書候補の中から、ユーザが所望するオリジナル文書が検索されたか否かを確認するモードである。具体的には、オリジナル文書候補群を含むユーザインタフェースを表示部１１６・入力部１１３で実現し、このユーザインタフェースによって、オリジナル文書候補群の内容をユーザが確認することができるモードである。また、このユーザインタフェースの構成の詳細については後述する。

ステップＳ３１５０において、ユーザ確認モードでない場合（ステップＳ３１５０でＮＯ）、比較処理で最も類似していると判断された文書を自動的に選択して、ステップＳ３１７０に進む。一方、ユーザ確認モードである場合（ステップＳ３１５０でＹＥＳ）、ステップＳ３１６０に進み、オリジナル文書候補の表示／選択を行う。特に、この選択は、オリジナル文書候補のサムネイル画像を表示部１１６に表示し、複数のオリジナル文書候補の中からユーザが所望のオリジナル文書候補のサムネイル画像を選択させることで実現する。

次に、ステップＳ３１７０では、選択されたオリジナル文書に対し、表示部１０６・入力部１１４で実現されるユーザインタフェースを介するユーザからの操作に基いて、そのオリジナル文書の印刷、配信、蓄積、編集のいずれかの処理を実行する。

以上説明したように、Ｎｕｐ印刷時は、１文書に含まれる各ページ毎に、ブロックセレクション処理、特徴量情報抽出処理を行い、これらを用いて、各ページ毎に順に類似画像検索を実行することで、各ページに対応する電子データを全て検索し、活用することができる。

［各処理の詳細］
以下、各処理の詳細について説明する。

まず、ステップＳ３０２０及びステップＳ３１２０のブロックセレクション処理の詳細について説明する。

ブロックセレクション処理とは、例えば、図９（ａ）のラスタ画像を、図９（ｂ）のように、意味のあるブロック毎の塊として認識し、該ブロック各々の属性（文字（ＴＥＸＴ）／図画（ＰＩＣＴＵＲＥ）／写真（ＰＨＯＴＯ）／線（ＬＩＮＥ）／表（ＴＡＢＬＥ）等）を判定し、異なる属性を持つブロックに分割する処理である。

ブロックセレクション処理の実施形態を以下に説明する。

まず、入力画像を白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。

このようにして得られた黒画素の塊を、大きさ及び形状で分類し、異なる属性を持つブロックへ分類していく。例えば、縦横比が１に近く、大きさが一定の範囲のブロックは文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字ブロック、扁平な画素塊を線ブロック、一定大きさ以上でかつ矩形の白画素塊を整列よく内包する黒画素塊の占める範囲を表ブロック、不定形の画素塊が散在している領域を写真ブロック、それ以外の任意形状の画素塊を図画ブロックとする。

次に、ステップＳ３０３０及びステップＳ３１３０の特徴量情報抽出処理の詳細について説明する。

尚、特徴量情報抽出処理は、画像ブロック及び文字ブロックで処理方法が異なるので、それぞれ別に説明する。

ここで、画像ブロックは、図９（ｂ）の例の場合、写真ブロックと図画ブロックとするが、用途や目的に応じて、画像ブロックを写真ブロック及び図画ブロックの少なくとも一方にすることも可能である。

まず、画像ブロックに対する特徴量情報抽出処理について説明する。

尚、１文書に複数の画像ブロックが存在する場合は、その総数分、以下の処理を繰り返す。

実施形態１では、一例として、画像の色に関する色特徴量を抽出する色特徴量情報抽出処理を行う。

この色特徴量情報抽出処理の詳細について、図１０を用いて説明する。

図１０は本発明の実施形態１の色特徴量情報抽出処理の詳細を示すフローチャートである。

尚、この処理では、処理対象画像を複数のメッシュブロックに分割した各メッシュブロックの色ヒストグラム中の最頻色を有する色と各メッシュブロックの位置情報を対応づけた情報を色特徴情報として抽出する。

まず、ステップＳ１０２０で、画像を複数のメッシュブロックに分割する。実施形態１では、図１１に示すように、画像を縦横をそれぞれ９メッシュブロックに分割する。特に、実施形態１では、表記の都合上９×９＝８１メッシュブロックに分割している例を示しているが、実際には、１５×１５＝２２５メッシュブロック程度であることが好ましい。

次に、ステップＳ１０３０で、処理対象となる着目メッシュブロックを左上端のブロックに設定する。尚、この着目メッシュブロックの設定は、例えば、図１２に示すように、予め処理順序が決定された順序決定テーブルを参照して行う。

ステップＳ１０４０で、未処理の着目メッシュブロックの有無を判定する。未処理の着目メッシュブロックがない場合（ステップＳ１０４０でＮＯ）、処理を終了する。一方、未処理の着目メッシュブロックがある場合（ステップＳ１０４０でＹＥＳ）、ステップＳ１０５０に進む。

ステップＳ１０５０で、着目メッシュブロックの全画素の各濃度値を、図１３の色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する。

尚、実施形態１では、図１３に示すように、ＲＧＢ色空間を３×３×３＝２７に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影する場合を示しているが、実際には、ＲＧＢ色空間を６×６×６＝２１６に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影するほうが好ましい。

ステップＳ１０６０で、色ヒストグラムの最頻色ビンの色ビンＩＤをその着目メッシュブロックの代表色と決定し、その着目メッシュブロックとその位置に対応づけて記憶部１１１に記憶する。

ステップＳ１０７０で、図１２の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップＳ１０４０に戻り、未処理の着目メッシュブロックがなくなるまで、ステップＳ１０４０〜ステップＳ１０７０の処理を再帰的に繰り返す。

以上の処理によって、処理対象画像（画像ブロック）のメッシュブロック毎の代表色と各メッシュブロックの位置情報が対応付けられた情報を色特徴量情報として抽出することができる。

次に、文字ブロックに対する特徴量情報抽出処理について説明する。

尚、１文書に複数の文字ブロックが存在する場合は、その総数分、以下の処理を繰り返す。

文字ブロックに対する文字特徴量情報は、その文字ブロックにＯＣＲ（文字認識）処理を施して得られる文字コードとする。

ＯＣＲ（文字認識）処理は、文字ブロックから文字単位で切り出された文字画像に対し、パターンマッチングの一手法を用いて文字認識を行い、対応する文字コードを取得する。

この文字認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルとを比較し、最も距離の近い字種を認識結果とするものである。

特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュブロック内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。

ブロックセレクション処理（ステップＳ３０２０あるいはステップＳ３１２０）で抽出された文字ブロックに対して文字認識を行う場合は、まず、該当文字ブロックに対し横書き／縦書きの判定を行い、各々対応する方向に文字列を切り出し、その後、文字列から文字を切り出して文字画像を取得する。

横書き／縦書きの判定は、該当文字ブロック内で画素値に対する水平／垂直の射影を取り、水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判定する。文字列及び文字への分解は、横書きの文字ブロックである場合には、その水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことで行う。一方、縦書きの文字ブロックに対しては、水平と垂直を逆にすれば良い。

次に、図３ＢのステップＳ３１１１のＮｕｐ印刷の指定方法の詳細について説明する。

Ｎｕｐ印刷指定は、ユーザが、ＭＦＰ１００のユーザインタフェースを介して、Ｎｕｐ印刷であるか否か、更に、Ｎｕｐ印刷の場合は、１枚の文書に含まれるページ数を指定するものである。

このユーザインタフェースの一例について、図１４を用いて説明する。

図１４は本発明の実施形態１のユーザインタフェースの一例を示す図である。

１４１１は表示・操作パネルである。１４１２〜１４１５は各種機能ボタンであり、それぞれの機能ボタン１４１２〜１４１５は、処理対象の画像の印刷指示、配信指示、蓄積指示及び編集指示を行うためのものである。

１４１６はスタートボタンであり、押下することで、機能ボタンで選択した機能を実行させることができる。１４２５はテンキーであり、印刷時の枚数の指定や、Ｎｕｐ印刷する場合の１枚の紙に含まれるページ数の指定を行うことが可能である。

１４１７は表示領域であり、タッチパネルで構成され、ユーザが直接画面に触れることで選択指示が可能である。１４１８は紙文書確認用領域であり、画像読取部１１０で読み取った紙文書画像を、領域内に収まるサイズに縮小して表示する。ユーザは紙文書画像の状態を、この領域１４１８で確認することが可能となる。

１４１９は入力原稿の種類を確認する領域であり、読み取った紙文書の種類の内容を確認することができる。この領域１４１９内において、１４２０はＮｕｐ印刷の指定を行う指定領域である。また、Ｎｕｐ印刷が指定された場合には、その指定された状態を示すために、その表示形態が、例えば、色付き表示、ブリンク表示、ハイライト表示等の表示形態に変更される。

１４２４はＮｕｐ印刷を指定する場合に、１枚の紙に含まれるページ数を表示する領域であり、特に、Ｎｕｐ印刷が指定されていない場合には、１が設定されている。ページ数の指定は、テンキー１４２５を使用する。

このようなユーザインタフェースを構成することで、読み取った紙文書に対するＮｕｐ印刷の指定、Ｎｕｐ印刷である場合には、１枚の紙に何ページ分の文書を含まれるかを、その状態を表示しながら指定することができる。

次に、ステップＳ３１４０の比較処理の詳細について、図１５を用いて説明する。

図１５は本発明の実施形態１の比較処理の詳細を示すフローチャートである。

まず、ステップＳ１５１０で、アドレス情報を参照し、未比較のオリジナル文書の有無を判定する。未比較のオリジナル文書がない場合（ステップＳ１５１０でＮＯ）、ステップＳ１５５０に進む。一方、未比較のオリジナル文書がある場合（ステップＳ１５１０でＹＥＳ）、ステップＳ１５２０に進む。

次に、レイアウトの比較を行う。ここで、レイアウトとは、ブロック情報にあるブロックの属性、サイズ、位置のことである。比較元画像（紙文書）と比較先画像（電子データ）のレイアウトが同じである場合（ステップＳ１５２０でＹＥＳ）、ステップＳ１５３０に進む。一方、比較元画像と比較先画像のレイアウトが同じでない場合（ステップＳ１５２０でＮＯ）、ステップＳ１５１０に戻る。

次に、ステップＳ１５３０で、比較元画像（紙文書）と比較先画像（電子データ）のページ同士の比較を行うページ比較処理を実行する。この比較は、ブロックの属性に合わせ、文字、画像それぞれに応じた特徴量を用いて、複合的に比較を行い、類似度を算出する。この処理の詳細については後述する。

次に、ステップＳ１５４０で、比較先の文書ＩＤ、ページ番号に対応させて文書の類似度を記憶部１１１に一時記憶する。

ステップＳ１５１０において、全ての文書との比較が終了した場合（ステップＳ１５１０でＮＯ）、ステップＳ１５５０に進み、類似度の降順に文書ＩＤ、ページ番号をソートし出力する。

次に、ステップＳ１５３０のページ比較処理の詳細について、図１６を用いて説明する。

図１６は本発明の実施形態１のページ比較処理の詳細を示すフローチャートである。

まず、ステップＳ１６１０で、ブロック情報を参照し、処理対象となる文書ＩＤ、ページ番号に対応する電子データ中で、未比較のブロックの有無を判定する。未比較のブロックがない場合（ステップＳ１６１０でＮＯ）、ステップＳ１６７０に進む。一方、未比較のブロックがある場合（ステップＳ１６１０でＹＥＳ）、ステップＳ１６２０に進む。

次に、ステップＳ１６２０で、比較対象のブロックの属性を判定する。属性が画像ブロックである場合、ステップＳ１６４０へ進む。一方、属性が文字ブロックである場合、ステップＳ１６６０へ進む。

属性が画像ブロックである場合、ステップＳ１６４０で、色に関する特徴量情報で比較先ブロックとの類似比較である色特徴量情報比較処理を行う。この処理の詳細については後述する。これによって得られる類似度は、比較先の文書ＩＤ、ページ番号、ブロックＩＤに対応させて記憶部１１１に一時記憶する。

一方、属性が文字ブロックである場合、ステップＳ１６６０で、文字の特徴量情報での比較元ブロックと比較先ブロックとの類似比較である文字特徴量情報比較処理を行う。この処理の詳細については後述する。また、これによって得られる類似度は、比較先の文書ＩＤ、ページ番号、ブロックＩＤに対応させて記憶部１１１に一時記憶する。

次に、ステップＳ１６１０において、全てのブロックとの比較が終了した場合（ステップＳ１６１０でＮＯ）、ステップＳ１６７０に進み、ステップＳ１６４０及びステップＳ１６６０の処理によって記憶部１１１に記憶されている、比較先文書（電子データ）のページに含まれる全てのブロックの類似度を統合し、検索条件である紙文書とオリジナル文書中のページとの類似度を算出する統合処理を行う。この処理の詳細については後述する。

次に、ステップＳ１６４０の色特徴量情報比較処理の詳細について、図１７を用いて説明する。

図１７は本発明の実施形態１の色特徴量情報比較処理の詳細を示すフローチャートである。

まず、ステップＳ１７１０で、比較元画像ブロックと比較先画像ブロックの色特徴量を色特徴量情報から読み出す。

次に、ステップＳ１７２０で、処理対象とする画像ブロック中の着目メッシュブロックを先頭に設定する。ステップＳ１７３０で、比較元画像ブロックの色特徴量と、比較対象の色特徴量の類似度を示す類似距離を０にリセットする。

ステップＳ１７４０で、未比較の着目メッシュブロックの有無を判定する。未比較の着目メッシュブロックがない場合（ステップＳ１７４０でＮＯ）、ステップＳ１７８０に進む。一方、未比較の着目メッシュブロックがある場合（ステップＳ１７４０でＹＥＳ）、ステップＳ１７５０に進む。

ステップＳ１７５０で、比較元画像と比較先画像のそれぞれの色特徴量から、それぞれの着目メッシュブロックの色ビンＩＤを取得する。

ステップＳ１７６０で、図１８の色ビンペナルティマトリックスを参照して、取得した色ビンＩＤ間に対応する着目メッシュブロックの局所的類似距離を取得し、これを直前の処理で取得している類似距離に累積加算する。そして、この類似距離は記憶部１１１に記憶する。

ここで、色ビンペナルティマトリックスについて、図１８を用いて説明する。

図１８は本発明の実施形態１の色ビンペナルティマトリックスの構成を示す図である。

色ビンペナルティマトリックスは、色ビンＩＤ同士の局所的類似距離を管理するマトリックスである。図１８によれば、色ビンペナルティマトリックスは、同一色ビンＩＤではその類似距離は０となり、色ビンＩＤ同士の差が大きくなるほど、つまり、類似度が低くなるほど、その類似距離は大きくなるように構成されている。また、同一色ビンＩＤの対角位置は全て、その類似距離は０で、それを境に対象性を持っている。

このように、実施形態１では、色ビンペナルティマトリックスを参照するだけで、色ビンＩＤ同士の類似距離を取得することができるので、処理の高速化を図ることができる。

そして、ステップＳ１７７０で、図１２の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップＳ１７４０に戻る。

そして、ステップＳ１７４０で、未比較の着目メッシュブロックがない場合（ステップＳ１７４０でＮＯ）、ステップＳ１７８０に進み、記憶部１１１に記憶されている類似距離を類似度に変換し、ブロックＩＤと対にして出力する。

尚、類似度への変換は、例えば、類似距離が最小値のときを類似度１００％、類似距離が最大値のときを類似度０％として、その範囲内の類似距離に対する類似度は、最小値あるいは最大値に対する差に基づいて算出するようにすれば良い。

次に、ステップＳ１６６０の文字特徴量情報比較処理の詳細について説明する。

この処理では、比較元画像と比較先画像中のそれぞれの文字ブロック内の各文字コード同士の比較を行い、その一致度から類似度を算出する。

尚、検索条件とする紙文書とオリジナル文書との比較である場合、類似度は１００％となるのが理想的であるが、実際には、検索条件となる紙文書中の文字ブロックに対するＯＣＲ処理では誤認識が発生する場合があるので、オリジナル文書との比較であっても、類似度は１００％にならないことはあるが、かなり１００％に近い値となる。

次に、ステップＳ１６７０の統合処理の詳細について説明する。

この統合処理では、比較先画像であるオリジナル文書内で占めている割合の大きいブロックの類似度が、オリジナル文書全体の類似度としてより大きく反映されるような、算出されたブロック毎の類似度の統合を行う。

例えば、オリジナル文書中のブロックＢ１〜Ｂ６に対し、ブロック毎の類似率がｎ１〜ｎ６と算出されたとする。このときオリジナル文書全体の総合類似率Ｎは、以下の式で表現される。

Ｎ＝ｗ１＊ｎ１＋ｗ２＊ｎ２＋ｗ３＊ｎ３＋ ・・・ ＋ｗ６＊ｎ６ （１）
ここで、ｗ１〜Ｗ６は、各ブロックの類似率を評価する重み係数である。重み係数ｗ１〜ｗ６は、ブロックのオリジナル文書内の占有率により算出する。例えば、ブロック１〜６のサイズをＳ１〜Ｓ６とすると、ブロック１の占有率ｗ１は、
ｗ１＝Ｓ１／（Ｓ１＋Ｓ２＋・・・＋Ｓ６） （２）
として算出することができる。

このような占有率を用いた重み付け処理により、オリジナル文書内で大きな領域を占めるブロックの類似度がより、オリジナル文書全体の類似度に反映することができる。

次に、ステップＳ３１５０及びステップＳ３１６０に示す確認モード時の処理の詳細について説明する。

確認モードは、ユーザが予めユーザインタフェースから指定してもよいし、確認モードにするべきか否かを自動で判定しても良い。自動判定の方法としては、次の方法がある。例えば、検索されたオリジナル文書候補が１つの場合、または、１位のオリジナル文書候補と２位以降のオリジナル文書候補のそれぞれ類似度の差が所定値以上で、１位のオリジナル文書候補が、所望とするオリジナル文書である可能性が高い場合は、「非確認モード」としてステップＳ３１７０に進み、そうでない場合は、「確認モード」とする。

但し、Ｎｕｐ印刷の紙文書をスキャンした場合は、スキャン画像中の各ページに対応するそれぞれの候補について、１つでも上記の条件を満足しない場合は、「確認モード」となり、上記の条件を満足しなかったページのみの確認を行う。

「確認モード」の際は、ＭＦＰ１００の表示部１１０と入力部１１３で実現されるユーザインタフェースに、オリジナル文書候補群を類似度の高い順に表示して、その中から所望のオリジナル文書の選択をユーザに行ってもらう。

このように、確認モードの実行の有無を自動判定する場合は、ユーザによるオリジナル文書の選択操作が不要となるので、操作工数を低減することができる。

ここで、確認モード時のユーザインタフェースの一例について、図１９を用いて説明する。

図１９は本発明の実施形態１のユーザインタフェースの一例を示す図である。

１９１７は表示領域であり、タッチパネルで構成され、ユーザが直接画面に触れることで選択指示が可能である。尚、この表示領域１９１７は、図１４の表示領域１４１７と同様のものである。

１９１８はモード表示領域であり、図１９では、確認モードであることを示している。通常は自動判定されたモードを表示する。また、これに触れることで、「確認モード」と「非確認モード」をユーザがサイクリックに指定することができる。

１９１９〜１９２８は、検索結果として出力するオリジナル文書候補のサムネイル画像群である。このサムネイル画像の表示は、１９１９から番号順に類似度の高い順で表示されている。

この例では、最大１０のサムネイル画像が表示され、オリジナル文書候補が１０以上である場合には、上位１０までのサムネイル画像が表示される。そして、このサムネイル画像群１９１９〜１９２８から、所望するサムネイル画像を選択することで、所望のオリジナル文書を選択することが可能であり、その選択したオリジナル文書に対する各種処理を実行することが可能となる。

１９２９はＮｕｐ印刷の紙文書をスキャンした時に表示され、文書中の何ページ目の候補が表示されているかを示すものである。また、これを選択することで、他のページの候補を切り替えて表示させることもできる。

次に、ステップＳ３１７０の印刷／配信／蓄積／編集処理の詳細について説明する。

例えば、Ｎｕｐ印刷した紙文書をスキャンして、これを用いて、類似画像検索を行った場合は、その文書中の各ページに対する複数ページ分の検索結果（オリジナル文書）が得られる。

そして、これらの複数ページ分の検索結果を用いて印刷を行う場合には、その印刷条件としては、例えば、１枚につき１ページ分を印刷してもよいし、もとのＮｕｐ印刷とはレイアウトを変更したＮｕｐ印刷を行ってもよいし、１枚の両面にそれぞれのページを印刷するようにしても良いし、各ページを１枚の紙に重ねて（オーバーレイして）印刷するようにしてもよいし、順番を変えて製本印刷するようにしてもよい。また、もちろん、ユーザが指定したページのみを１枚の紙に印刷してもよい。

また、印刷処理以外に、検索結果の全てについて、配信、蓄積、編集等の処理を行うようにしても、ユーザが指定したページのみを配信、蓄積、編集等の処理を行うようにしてもよい。

以上説明したように、実施形態１によれば、Ｎｕｐ印刷した紙文書に含まれる全てのページに対して、オリジナルの電子データを検索することができ、かつその検索した電子データを用いた様々な活用を実現することができる。

＜＜実施形態２＞＞
実施形態１では、入力する紙文書がＮｕｐ印刷であるか否か、更に、Ｎｕｐ印刷の場合は、１枚の文書に含まれるページ数の指定をユーザが行う構成としたが、実施形態２では、入力した紙文書の内容を解析して、その解析結果に基づいて、紙文書がＮｕｐ印刷であるか否か、更に、Ｎｕｐ印刷の場合は、１枚の文書に含まれるページ数を自動判定する構成について説明する。また、この自動判定のタイミングは、実施形態１の図３ＢのステップＳ３１１０の紙文書の入力後に実行する。

以下、実施形態２の検索処理について、図２０を用いて説明する。

図２０は本発明の実施形態２の検索処理を示すフローチャートである。

尚、図２０において、実施形態１の図３Ｂの検索処理と同一の処理ステップには、同一のステップ番号を付加し、その詳細については省略する。

ステップＳ３１１０で、紙文書の入力後、ステップＳ２０１１で、入力されたスキャン画像がＮｕｐ印刷であるか否かを判定するＮｕｐ印刷判定処理を行う。そして、この判定結果に基づいて、ステップＳ３１１１の処理を実行することになる。

ここで、紙文書に１ページ分の文書が印刷されている通常印刷の場合には、紙文書の上端か下端にページ番号が印刷される。一方、Ｎｕｐ印刷の場合は、紙文書内に複数のページ番号が等間隔に印刷されることになる。そこで、実施形態２では、このことを利用して、処理対象のスキャン画像がＮｕｐ印刷であるか否かを判定する。

例として、図２１に示すような１枚の紙に４ページ分の文書をＮｕｐ印刷した場合について説明する。

図２１は本発明の実施形態２の１枚の紙に４ページ分の文書をＮｕｐ印刷した例を示す図である。

図２１において、２１１０はＮｕｐ印刷時の紙全体の領域を示している。２１１１〜２１１４は各ページのページ画像を示している。２１１５〜２１１８は各ページに付与されたページ番号である。２１１９と２１２０の太枠内は、後述するページ番号探索領域である。

次に、ステップＳ２０１１のＮｕｐ印刷判定処理の詳細について、図２１及び図２２を用いて説明する。

図２２は本発明の実施形態２のＮｕｐ印刷判定処理の詳細を示すフローチャートである。

まず、ステップＳ２２１０で、紙全体の領域２１１０の上端と下端の領域に対して、ＯＣＲ処理を施す。次に、ステップＳ２２２０で、ＯＣＲ処理の処理結果として、ページ番号（例えば、アラビア数字、もしくは英数字）が２個所以上、上端領域または下端領域の同じ領域内に等間隔で存在するか否かを判定する。ページ番号が２個所以上存在しない場合（ステップＳ２２２０でＮＯ）、ステップＳ２２６０に進み、通常印刷であると判定する。一方、ページ番号が２個所以上存在する場合（ステップＳ２２２０でＹＥＳ）、ステップＳ２２３０に進む。

図２１の例では、ページ番号２１１７（「３」）と２１１８（「４」）が下端領域に２箇所検出されることになる。

ステップＳ２２３０で、検出されたページ番号に基づいて、他のページ番号を探索するためのページ番号探索領域を設定し、その設定したページ番号探索領域に対してＯＣＲ処理を施す。

図２１の例では、ページ番号画像２１１７と２１１８で、それぞれのページ番号を含む紙全体の垂直方向にページ番号探索領域２１１９及び２１２０を設定する。そして、各ページ番号探索領域２１１９、２１２０に対してＯＣＲ処理を施す。

次に、ステップＳ２２４０で、各ページ番号探索領域でページ番号が検出され、各ページ番号探索領域中のページ番号同士の間隔が同一であるか否かを判定する。同一でない場合（ステップＳ２２４０でＮＯ）、ステップＳ２２６０に進み、通常印刷であると判定する。一方、同一である場合（ステップＳ２２４０でＹＥＳ）、ステップＳ２２５０に進み、Ｎｕｐ印刷であると判定する。

尚、ここでの間隔が同一であるか否かの判定は、ある程度の誤差を考慮した誤差範囲を含むページ番号同士の間隔に対して実行する。つまり、この誤差範囲内にページ番号同士の間隔が含まれる場合には、ページ番号同士の間隔が同一であると判定する。

図２１の例では、ページ番号探索領域２１１９にページ番号２１１５（「１」）と２１１７（「３」）が検出され、ページ番号探索領域２１２０にページ番号２１１６（「２」）と２１１８（「４」）が検出される。そして、ページ番号探索領域２１１９とページ番号探索領域２１２０中のページ番号の間隔は、同じ間隔となっている。そのため、この場合は、Ｎｕｐ印刷と判定される。

また、この際、ステップＳ２２１０で検出されたページ番号の数と、ステップＳ２２３０の１つのページ番号探索領域で検出されたページ番号の数を乗算することで、１枚に含まれるページ数を算出することができ、このページ数を記憶部１１１に一時保存する。

以上説明したように、実施形態２によれば、実施形態１で説明した効果に加えて、スキャン画像がＮｕｐ印刷であるか否かを自動的に判定することで、ユーザの手を煩わすことなく、Ｎｕｐ印刷であるか否か、また、Ｎｕｐ印刷である場合に何ページ分含んでいるかを判定することが可能となる。

尚、実施形態２において、ステップＳ２０１１のＮｕｐ印刷判定処理の処理結果を、ユーザに一旦提示して確認させる構成としても良い。このときは、図１４の紙文書確認用領域１４１８のように判定結果を縮小画像として表示すればよい。また、確認の結果、誤判定である場合には、領域１４１９を用いて判定内容を修正する機会を与えることが可能である。

このような構成にすることにより、Ｎｕｐ印刷判定判定処理に誤判定があっても、その判定内容を修正することができ、誤ったオリジナルの電子データが出力される、といったことを防止することができる。

＜＜実施形態３＞＞
実施形態２では、ステップＳ２０１１のＮｕｐ印刷判定処理において、ＯＣＲ処理を用いて、ページ番号を検出する方法について説明したが、これに限定されるものではない。例えば、次のようにして、ページ番号を検出するようにしても良い。

ここでは、図２３に示すように、１枚の紙に４ページ分の文書をＮｕｐ印刷した場合について説明する。

尚、２３１０は図２１の２１１０と、以下同様に、２３１１は２１１１と、２３１２は２１１２と、２３１３は２１１３と、２３１４は２１１４と、２３１５は２１１５と、２３１６は２１１６と、２３１７は２１１７と、２３１８は２１１８に対応するので、その説明は省略する。

図２３において、２３２０は左側の２つのページの左マージン（最左端余白）である。２３２１は右側の２つのページの右マージン（最右端余白）である。２３１９は左側の２つのページと右側の２つのページの中間マージン（中間余白）である。ここで、中間マージン２３１９は、左側の２つのページの右マージンと、右側の２つのページの左マージンとが連続しているので、左マージン２３２０や右マージン２３２１より長くなる。

そして、この中間マージン２３１９が検出される場合には、Ｎｕｐページ印刷であると判定することができる。

尚、図２３では、横方向のマージンに着目して説明したが、縦方向に関しても同様のことが言える。

次に、より詳細な具体例について、図２４を用いて説明する。

２４１０は紙全体の領域である。まず、これに対してブロックセレクション処理を行うと、ブロック２４１１〜２４２１が、ブロックセレクション処理結果として得られる。まず、検出されたブロック群の最左端を検出し、紙全体領域の左端２３１０の差分である左マージン２４２２を算出する。そして、この左マージン２４２２が、図２３の左マージン２３２０に相当する。

同様に、ブロック群の最右端を検出し、紙全体領域の右端２３１０の差分である右マージン２４２３を算出する。そして、この右マージン２４２３が、図２３の右マージン２３２１に相当する。

その後、各ブロック群の横方向の間隔を算出し、中間マージン２３１９の中間マージン候補２４２４、２４２５を算出する。中間マージン候補２４２４、２４２５の中で、左マージン２４２２、右マージン２４２３よりも長い中間マージン候補２４２４を中間マージンとする。

このようにして検出した中間マージンの数＋１が、横方向のページ数となる。同様の処理を縦方向にも行い、それぞれの結果を乗算することで、ページの総数を算出することができる。

以上説明したように、実施形態３によれば、実施形態２で説明した効果と同様に、スキャン画像がＮｕｐ印刷であるか否かを自動的に判定することで、ユーザの手を煩わすことなく、Ｎｕｐ印刷であるか否か、また、Ｎｕｐ印刷である場合に何ページ分含んでいるかを判定することが可能となる。

尚、実施形態１において、図１４の紙文書確認用領域１４１８で、ユーザが所望のページが表示されている範囲に触れて、ページを指定することで、処理対象のページを選択するようにしても構わない。このときは、ステップＳ３１２０からステップＳ３１４０の処理は、指定されたページ領域についてのみ処理が行われる。

また、実施形態２、３においても、Ｎｕｐ印刷判定結果をユーザに提示し、同様な手続きを行うことによって、指定されたページ領域についてのみ処理を行うようにしても構わない。こうすることによって、ユーザはＮｕｐ印刷された紙文書中の特定のページについてのみ、印刷等の処理を行うことができる。

また、図１０の色特徴量情報抽出処理では、処理対象画像の最頻色を色特徴情報として抽出する例を説明したが、これに限定されるものではなく、例えば、平均色を色特徴情報として抽出するようにしても良い。

また、画像特徴量として色特徴量を用いたが、これに限定されるものではなく、例えば、最頻輝度、平均輝度等の輝度特徴量、共起行列、コントラスト、エントロピ、Ｇａｂｏｒ変換等で表現されるテクスチャ特徴量、エッジ、フーリエ記述子等の形状特徴量等の複数種類の画像特徴量を１つ、或いは、任意に組み合わせた画像特徴量を用いても良い。

また、ブロックセレクション処理を行い、処理対象の文書を文字ブロックと画像ブロックに分割し、これらの各ブロックの特徴量を複合的に用いて検索を行ったが、文書全体を１つの画像とみなし、オリジナル文書の検索を行うようにしても構わない。また、精度が許容される範囲ならば、文書中の画像ブロックのみを利用して、オリジナル文書の検索を行うようにしても構わない。

また、電子データを、一旦、ラスタ画像に変換したが、電子データから直接、文字コードや画像を抜き出して比較してももちろん構わない。

また、文字特徴量としては文字コードを採用したが、例えば、単語辞書とのマッチングを予め行って単語の品詞を抽出しておき、名詞である単語を文字特徴量としても良い。

＜＜実施形態４＞＞
上記実施形態１では、登録対象のオリジナル文書は、Ｎｕｐ印刷された紙文書（あるいはその電子データ）でない、通常印刷された紙文書（あるいはその電子データ）としているが、Ｎｕｐ印刷された紙文書（あるいはその電子データ）を登録対象のオリジナル文書とすることもできる。この場合、実施形態１の検索処理と同様に、登録処理時に、ユーザがＮｕｐ印刷の指定及び１枚の文書（あるいは電子データ）に含まれるページ数の指定を行えば良い。

この時の登録処理は、例えば、図２５のようになる。但し、図２５では、説明を簡単にするために、１枚のＮｕｐ印刷された紙文書を登録する場合の登録処理を示している。

尚、図２５の各ステップは、実施形態１の図３Ａと図３Ｂの一部のステップとほぼ同様のステップの組み合わせで実現される。

簡単に説明すると、ステップＳ３０１０で、登録対象のオリジナル文書を入力する。ステップＳ３１１１で、ユーザによってオリジナル文書がＮｕｐ印刷文書であるかどうかの指定がなされたかを判定する。

そして、Ｎｕｐ印刷文書の指定がなされたと判定した場合（ステップＳ３１１１でＹＥＳ）、ステップＳ３１１２において、ページ数Ｌにユーザが指定した１枚中のページ数を設定する。一方、Ｎｕｐ印刷文書の指定がなされないと判定した場合（ステップＳ３１１１でＮＯ）、ステップＳ３１１５において、ページ数Ｌに１を設定する。

次に、ステップＳ３１１３で、処理対象の１文書中の処理ページ数を示す変数ｂに初期値として１を設定する。次に、比較処理の終了判定として、Ｌがｂ以上であるか否かを判定する。Ｌがｂ未満である場合（ステップＳ３１１６でＮＯ）、登録処理を終了する。

一方、Ｌがｂ以上である場合（ステップＳ３１１６でＹＥＳ）、未処理のページが存在するので、ステップＳ３１２０に進み、Ｎｕｐのオリジナル文書中のｂページ目の領域に対してブロックセレクション処理を行う。次に、ステップＳ３１３０で、各ブロックの特徴量情報を抽出して記憶部１１１に記憶する。そして、ステップＳ３１４１で、ｂを１インクリメントし、ステップＳ３１１６に戻る。

もちろん、複数枚のＮｕｐ印刷された紙文書を登録することも可能であり、この場合も、実施形態１の図３Ａと図３Ｂのステップの内、必要なステップを組みあわせることで実現できる。

尚、Ｎｕｐ印刷された紙文書を登録する場合には、登録対象の文書画像に含まれているそれぞれのページ画像について、紙１枚に１ページを印刷したときと同じになるように解像度変換を行い、これを紙１枚に１ページを印刷された文書画像として登録しても良いし、Ｎｕｐ印刷された紙文書に対応する文書画像をそのまま登録するようにしても良い。

＜＜実施形態５＞＞
実施形態３のＮｕｐ印刷の指定に代えて、Ｎｕｐ印刷であるか否か、更に、Ｎｕｐ印刷の場合は、１枚の文書に含まれるページ数を自動判定して、登録処理を行うようにしてもよい。

この時の登録処理は、例えば、図２６にようになる。但し、図２６では、説明を簡単にするために、１枚のＮｕｐ印刷された紙文書を登録する場合の登録処理を示している。

尚、図２６の各ステップは、実施形態１の図３Ａと実施形態２の図２０の一部のステップとほぼ同様のステップの組み合わせで実現される。

簡単に説明すると、ステップＳ３０１０で登録対象のオリジナル文書を入力する。ステップＳ２０１１で、オリジナル文書がＮｕｐ印刷文書であるかどうかを自動判定する。そして、Ｎｕｐ印刷文書であると判定した場合、ステップＳ３１１２において、判定されたページ数をページ数Ｌに設定する。一方、Ｎｕｐ印刷文書でないと判定した場合、ステップＳ３１１５において、ページ数Ｌに１を設定する。

次に、ステップＳ３１１３で、処理対象の１文書中の処理ページ数を示す変数ｂに初期値として１を設定する。次に、比較処理の終了判定として、Ｌがｂ以上であるか否かを判定する。Ｌがｂ未満である場合（ステップＳ３１１６でＮＯ）、登録処理を終了する。

一方、Ｌがｂ以上である場合（ステップＳ３１１６でＹＥＳ）、未処理のページが存在するので、ステップＳ３１２０に進み、Ｎｕｐのオリジナル文書中のｂページ目の領域に対してブロックセレクション処理を行う。次に、ステップＳ３１３０で、各ブロックの特徴量情報を抽出して記憶部１１１に記憶する。そして、ステップＳ３１４１で、ｂを１インクリメントし、ステップＳ３１１６に戻る。

もちろん、複数枚のＮｕｐ印刷された紙文書を登録することも可能であり、この場合も、実施形態１の図３Ａと実施形態２の図２０のステップの内、必要なステップを組みあせることで実現できる。

以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態１の画像処理システムの構成を示すブロック図である。 本発明の実施形態１のＭＦＰの詳細構成を示すブロック図である。 本発明の実施形態１の登録処理を示すフローチャートである。 本発明の実施形態１の検索処理を示すフローチャートである。 本発明の実施形態１のアドレス情報の一例を示す図である。 本発明の実施形態１のブロック情報の一例を示す図である。 本発明の実施形態１の特徴量情報の一例を示す図である。 本発明の実施形態１の特徴量情報の一例を示す図である。 本発明の実施形態１の２ページ分をＮｕｐ印刷した例を示す図である。 本発明の実施形態１の画像ブロック抽出の一例を示す図である。 本発明の実施形態１の色特徴量情報抽出処理の詳細を示すフローチャートである。 本発明の実施形態１の画像メッシュブロック分割の一例を示す図である。 本発明の実施形態１の順序決定テーブルの一例を示す図である。 本発明の実施形態１の色空間上の色ビンの構成の一例を示す図である。 本発明の実施形態１のユーザインタフェースの一例を示す図である。 本発明の実施形態１の比較処理の詳細を示すフローチャートである。 本発明の実施形態１のページ比較処理の詳細を示すフローチャートである。 本発明の実施形態１の色特徴量情報比較処理の詳細を示すフローチャートである。 本発明の実施形態１の色ビンペナルティマトリックスの構成の一例を示す図である。 本発明の実施形態１のユーザインタフェースの一例を示す図である。 本発明の実施形態２の検索処理を示すフローチャートである。 本発明の実施形態２の１枚の紙に４ページ分の文書をＮｕｐ印刷した例を示す図である。 本発明の実施形態２のＮｕｐ印刷判定処理の詳細を示すフローチャートである。 本発明の実施形態３の１枚に４ページ分をＮｕｐ印刷した例を示す図である。 本発明の実施形態３のＮｕｐ印刷判定処理を説明するための図である。 本発明の実施形態４の登録処理を示すフローチャートである。 本発明の実施形態５の登録処理を示すフローチャートである。

符号の説明

１００ ＭＦＰ
１０１ マネージメントＰＣ
１０２ クライアントＰＣ
１０３ プロキシサーバ
１０４ ネットワーク
１０５ データベース
１０６ 文書管理サーバ
１０７ ＬＡＮ
１１０ 画像読取部
１１１ 記憶部
１１２ 印刷部
１１３ 入力部
１１４、１１７ ネットワークＩ／Ｆ
１１５ データ処理部
１１６ 表示部

Claims (18)

1. 複数の電子データを比較先画像として記憶する記憶手段と、
   印刷物を電子的に読み取り、その印刷物の電子データを比較元画像として入力する入力手段と、
   前記比較元画像に含まれるページ画像の数に基づいて、前記比較元画像に含まれるページ画像を含む処理対象領域の特徴量を抽出する抽出手段と、
   前記抽出手段で抽出した特徴量を用いて、前記比較元画像に対応する比較先画像を前記記憶手段から検索する検索手段と
   を備えることを特徴とする画像処理装置。
2. 前記検索手段の検索結果である画像に対して処理を行う処理手段と
   を更に備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記比較元画像に含まれるページ画像のページ数を指定する指定手段を更に備え、
   前記抽出手段は、前記指定手段で指定されたページ数に基づいて決定される処理対象領域毎に、その処理対象領域の特徴量を抽出する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記抽出手段は、前記処理対象領域の画像特徴量及び文字特徴量のいずれかまたは両方を抽出する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記画像特徴量は、色特徴量、輝度特徴量、テクスチャ特徴量、形状特徴量のいずれか１つ、或いは、それらの組み合わせである
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記文字特徴量は、文字コードである
   ことを特徴とする請求項４に記載の画像処理装置。
7. 前記検索手段による検索結果を表示する表示手段と、
   前記検索手段による検索結果として、前記表示手段に複数の比較先画像が表示された場合、該複数の比較先画像から所望の画像を選択する選択手段と
   を更に備えることを特徴とする請求項１または２に記載の画像処理装置。
8. 前記比較元画像が複数のページ画像から構成されている場合、該複数のページ画像から所望のページ画像を指定する指定手段を更に備え、
   前記抽出手段は、前記指定手段で指定されたページ画像を含む処理対象領域の特徴量を抽出する
   ことを特徴とする請求項１または２に記載の画像処理装置。
9. 前記処理手段は、前記検索手段で検索された画像を、指定された印刷条件で印刷する
   ことを特徴とする請求項２に記載の画像処理装置。
10. 前記検索結果の画像に対する処理の種類を指示する指示手段を更に備え、
    前記処理の種類は、印刷、配信、蓄積、編集のいずれかである
    ことを特徴とする請求項２に記載の画像処理装置。
11. 前記比較元画像に複数のページ画像が存在するか否かを判定する第１判定手段と、
    前記第１判定手段による判定の結果、前記比較元画像に複数のページ画像が存在する場合、前記比較元画像に含まれるページ画像とのページ数を判定する第２判定手段とを更に備え、
    前記抽出手段は、前記第２判定手段で判定されたページ数に基づいて決定される処理対象領域毎に、その処理対象領域の特徴量を抽出する
    ことを特徴とする請求項１または２に記載の画像処理装置。
12. 前記第１判定手段は、前記比較元画像中に含まれるページ番号を検出し、前記ページ番号が特定領域内で等間隔に存在しているか否かを判定することで、前記比較元画像に複数のページ画像が存在するか否かを判定する
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記第１判定手段は、前記比較元画像の最右端余白または最左端余白と、それ以外の中間余白を検出し、検出した中間余白が、前記最右端余白または前記最左端余白よりも大きいか否かを判定することで、前記比較元画像に複数のページ画像が存在するか否かを判定する
    ことを特徴とする請求項１１に記載の画像処理装置。
14. 前記第１判定手段の判定結果を表示する表示手段と、
    前記判定結果を修正する修正手段と
    を更に備えることを特徴とする請求項１１に記載の画像処理装置。
15. 前記比較先画像を入力する入力手段と、
    前記入力手段で入力される比較先画像に含まれるページ画像のページ数を指定する指定手段とを更に備え、
    前記抽出手段は、前記指定手段で指定されたページ数に基づいて決定される処理対象領域毎に、その処理対象領域の特徴量を抽出し、
    前記記憶手段は、前記比較先画像と、前記抽出手段で抽出した特徴量とを対応づけて記憶する
    ことを特徴とする請求項１に記載の画像処理装置。
16. 前記比較先画像を入力する入力手段と、
    前記比較先画像に複数のページ画像が存在するか否かを判定する第１判定手段と、
    前記第１判定手段による判定の結果、前記比較元画像に複数のページ画像が存在する場合、前記比較元画像に含まれるページ画像とのページ数を判定する第２判定手段とを更に備え、
    前記抽出手段は、前記第２判定手段で判定されたページ数に基づいて決定される処理対象領域毎に、その処理対象領域の特徴量を抽出し、
    前記記憶手段は、前記比較先画像と、前記抽出手段で抽出した特徴量とを対応づけて記憶する
    ことを特徴とする請求項１に記載の画像処理装置。
17. 印刷物を電子的に読み取ることによって得た電子データを比較元画像として入力する入力工程と、
    前記比較元画像に含まれるページ画像の数に基づいて、前記比較元画像に含まれるページ画像を含む処理対象領域の特徴量を抽出する抽出工程と、
    前記抽出工程で抽出した特徴量を用いて、記憶媒体に比較先画像として記憶されている複数の電子データから、前記比較元画像に対応する比較先画像を検索する検索工程と、
    を備えることを特徴とする画像処理装置の制御方法。
18. 画像処理の制御をコンピュータで実行させるためのコンピュータプログラムであって、
    印刷物を電子的に読み取ることによって得た電子データを比較元画像として入力する入力工程と、
    前記比較元画像に含まれるページ画像の数に基づいて、前記比較元画像に含まれるページ画像を含む処理対象領域の特徴量を抽出する抽出工程と、
    前記抽出工程で抽出した特徴量を用いて、記憶媒体に比較先画像として記憶されている複数の電子データから、前記比較元画像に対応する比較先画像を検索する検索工程と、
    を備えることを特徴とするコンピュータプログラム。

Images