JP2004326491A - 画像処理方法 - Google Patents

Abstract

【課題】紙文書の画像等種々の形態のイメージデータを、検索および再利用が容易な電子ファイルとして取り扱い可能とする。
【解決手段】入力画像について、入力画像特定のための情報をユーザに入力させる。
【選択図】 図３

Description

【０００１】
【発明が属する技術分野】
本発明は画像処理方法に関する。
【０００２】
【従来の技術】
近年、環境問題が叫ばれる中、オフィスでのペーパーレス化が急速に進んでいる。
【０００３】
［第１従来例］
ペーパーレス化の方法には、例えば、バインダ等で蓄積された紙文書をスキャナ等で読み取り、ラスターデータのイメージとして、ポータブルドキュメントフォーマット（ＰＤＦフォーマット）等のコンパクトなファイルに変換して、画像記憶手段に格納するものがある（例えば特許文献１）。
【０００４】
［第２従来例］
ペーパーレス化の方法の第２は、機能が拡張された記録装置、ＭＦＰ（マルチファンクション複合機）を用い、画像記憶装置に文字や画像のオリジナルデータファイルを格納しておき、オリジナルデータファイルを印刷して紙文書に記録する際に、オリジナルデータファイルが存在する画像記憶装置内のポインタ情報を、紙文書の表紙や印刷情報中に付加情報として記録するものがある（例えば特許文献２）。これによって、ポインタ情報から直ちにオリジナルデータファイルにアクセスし、オリジナルデータファイルの編集、印刷等の再利用が可能であり、紙文書保有量を削減し得る。
【０００５】
【特許文献１】
特開２００１−３５８８６３号公報
【特許文献２】
特開平１０−２８５３７８号公報
【０００６】
【発明が解決しようとする課題】
第１従来例は、スキャナで読み取った画像をコンパクトな情報量のＰＤＦファイルとして保存可能であるが、プリントされた文書から保存されているファイルを検索することができず、保存されている文書を再利用することは難しかった。
【０００７】
第２従来例は、オリジナルデータファイルへのポインタ情報を持たない文書ファイルの場合は、オリジナルデータファイルを検索することができない。
【０００８】
本発明はこのような問題点を解消すべく創案されたもので、紙文書をスキャンするなどして得たイメージデータに基づいて、オリジナルデータファイルを検索するものであって、特に、入力画像に対応するオリジナルデータファイルを検索する際に、より高精度に検索することを目的とする。
【０００９】
また、オリジナルデータファイルが見つからなかった場合は、該入力画像をベクトルデータ化してデータベースに格納する。
【００１０】
【課題を解決するための手段】
【００１１】
本発明に係る、画像処理方法は、入力画像に対応するオリジナルデータファイルを検索するための画像処理方法であって、ユーザにより入力された情報に基づいて前記入力画像に関する第１の検索情報を取得する第１検索情報取得ステップと、前記入力画像に含まれる特徴データを第２の検索情報として取得する第２検索情報取得ステップと、前記第１の検索情報と前記第２の検索情報とを用いて、前記入力画像に対応するオリジナルデータファイルを検索する検索ステップと、を有する。これによって、紙文書に対応するオリジナルデータファイルを検索する際の検索性能が向上する。
【００１２】
【発明の実施の形態】
次に本発明に係る画像処理方法の一実施形態を図面に基づいて説明する。
【００１３】
図１は、本発明に係る画像処理方法の第１実施形態を実施する画像処理システムを示すブロック図、図２は、図１におけるＭＦＰを示すブロック図、図３は、本発明に係る画像処理方法の一実施形態を示すフローチャ−ト、図４は、図３の画像処理方法により処理される原稿と処理結果の画像を示す図、図５は、ブロックセレクション処理で得られるブロック情報および入力ファイル情報を示す表、図６は、原稿の画像からポインタ情報を抽出する処理を示すフローチャート、図７は、ポインタ情報を含む原稿の画像を示す図、図８は、図３のポインタ情報に基づくファイル検索処理を示すフローチャート、図９は、図３の文字領域のベクトル化の処理を示すフローチャート、図１０は、図３のファイル検索の処理を示すフローチャート、図１１は、図９のベクトル化の処理における角抽出の処理を示す図、図１２は、図９のベクトル化の処理における輪郭線まとめの処理を示す図、図１３は、図９のベクトル化で生成されたベクトルデータのグループ化の処理を示すフローチャート、図１４は、図１３の処理でグループ化されたベクトルデータに対する図形要素検出の処理を示すフローチャート、図１５は、ベクトル化処理結果のデータを示すマップ、図１６は、図３のアプリデータ変換の処理を示すフローチャート、図１７は、図１６の文書構造ツリー生成の処理を示すフローチャート、図１８は、文書構造ツリー生成処理の対象となる文書を示す図、図１９は、図１７の処理によって生成される文書構造ツリーを示す図、図２０は、図３のポインタ情報付加の処理を示すフローチャート、である。
【００１４】
［画像処理システム］
図１において、本発明に係る画像処理方法の一実施形態を実施する画像処理システムは、オフィス１０とオフィス２０とをインターネット１０４で接続した環境において使用される。
【００１５】
オフィス１０内に構築されたＬＡＮ１０７には、記録装置としてのＭＦＰ（マルチファンクション複合機）１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、クライアントＰＣ（外部記憶手段）１０２、文書管理サーバ１０６、文書管理サーバ１０６のためのデータベース１０５が接続されている。
【００１６】
オフィス２０内にはＬＡＮ１０８が構築され、ＬＡＮ１０８には文書管理サーバ１０６、および文書管理サーバ１０６のためのデータベース１０５が接続されている。
【００１７】
ＬＡＮ１０７、１０８にはプロキシサーバ１０３が接続され、ＬＡＮ１０７、１０８はプロキシサーバ１０３を介してインターネットに接続される。
【００１８】
ＭＦＰ１００は紙文書から読み取った入力画像に対する画像処理の一部を担当し、処理結果としてのイメージデータはＬＡＮ１０９を通じてマネージメントＰＣ１０１に入力される。マネージメントＰＣ１０１は、画像記憶手段、画像処理手段、表示手段、入力手段等を含む通常のコンピュータであり、機能的にはこれら構成要素の一部がＭＦＰ１００と一体化して、画像処理システムの構成要素となっている。なお、本実施形態では、マネージメントＰＣにおいて、下記に記載の検索処理などが実行されるものとするが、マネージメントＰＣで行われる処理をＭＦＰで実行するようにしても構わない。
【００１９】
さらにＭＦＰ１００は、ＬＡＮ１０９によってマネージメントＰＣ１０１に直接接続されている。
【００２０】
［ＭＦＰ］
図２において、ＭＦＰ１００は、図示しないオートドキュメントフィーダ（ＡＤＦ）を有する画像読み取り部１１０を備え、画像読み取り部１１０は束状の或いは１枚の原稿の画像を光源で照射し、反射画像をレンズで固体撮像素子上に結像する。固体撮像素子は所定解像度（例えば６００ｄｐｉ）および所定濃度レベル（例えば８ビット）の画像読み取り信号を生成し、画像読み取り信号からラスターデータよりなるイメージデータが構成される。
【００２１】
ＭＦＰ１００は、記憶装置１１１および記録装置１１２を有し、通常の複写機能を実行する際には、イメージデータをデータ処理装置１１５によって画像処理して記録信号に変換する。複数枚複写の場合には、１頁分の記録信号を一旦記憶装置１１１に記憶保持した後、記録装置１１２に順次出力して、複写紙上に記録画像を形成する。
【００２２】
ＭＦＰ１００は、ＬＡＮ１０７との接続のためのネットワークＩＦ１１４を有し、クライアントＰＣ１０２が出力したイメージデータを、記録装置１１２によって記録し得る。クライアントＰＣ１０２から出力されたイメージデータはＬＡＮ１０７からネットワークＩＦ１１４を経てデータ処理装置１１５で記録可能な記録信号に変換された後、ＭＦＰ１００において、記録紙上に記録画像として記録される。
【００２３】
ＭＦＰ１００は、ＭＦＰ１００に設けられたキー操作部（入力装置１１３）、あるいはマネージメントＰＣ１０１の入力装置（キーボード、ポインティングデバイス等）を通じて操作される。これらの操作のために、データ処理装置１１５は内部の制御部（図示せず。）によって所定の制御を実行する。
【００２４】
ＭＦＰ１００は表示装置１１６を有し、操作入力の状態と、処理すべきイメージデータとを、表示装置１１６によって表示し得る。
【００２５】
記憶装置１１１はネットワークＩＦ１１７を介して、マネージメントＰＣ１０１から直接制御し得る。ＬＡＮ１０９は、ＭＦＰ１００とマネージメントＰＣ１０１との間のデータの授受、制御信号授受に用いられる。
【００２６】
［画像処理方法の全体の流れ］
本発明に係る画像処理方法の実施形態は図３の各ステップにより実行される。
【００２７】
ステップＳ３０１：ＭＦＰ１００の画像読み取り部１１０を動作させて、１枚の原稿をラスター状に走査し、所定解像度および所定濃度レベルの、画像読み取り信号を取得する。画像読み取り信号はデータ処理部１１５によって前処理され、入力画像の１頁分のイメージデータとして、記憶装置１１１に保存される。次にステップＳ３０２に進む。
【００２８】
ステップＳ３０２：画像読み取りと同時に、操作画面１１６においてユーザに入力画像特定のための情報入力を促し、ユーザが情報を入力するか否かを判断する。ユーザが情報を入力するときはステップＳ３０３に進み、ユーザが情報を入力しないときはステップＳ３０４にジャンプする。
【００２９】
ステップＳ３０３：ユーザがオリジナルデータファイル特定のための情報をマニュアル入力する。入力される情報は、入力画像のキーワード、入力画像に対応するオリジナルデータファイルのデータサイズ、オリジナルデータファイルの作成日付等、その他入力画像検索に有効な情報である。
【００３０】
ステップＳ３０４（ブロックセレクション（領域分割）ステップ）：マネージメントＰＣ１０１によって、記憶装置１１１に格納されたイメージデータの領域を、文字あるいは線画を含む文字・線画領域と、ハーフトーンの写真領域、不定形の画像領域その他に分ける。さらに文字・線画領域について、主に文字を含む文字領域と、主に表、図形等を含む線画領域とを分離し、線画領域は表領域と図形領域に分離する。なお、本実施形態では連結画素を検知し、該連結画素の外接矩形領域の形状・サイズ・画素密度等を用いて、属性毎の領域に分割するものとするが、その他の領域分割手法を用いても構わない。
【００３１】
文字領域については、文字段落ごとの纏まった塊をブロックとして矩形ブロック（文字領域矩形ブロック）にセグメント化し、線画領域では、表、図形等の個々のオブジェクト（表領域矩形ブロック、線画領域矩形ブロック）ごとに矩形ブロックにセグメント化する。
【００３２】
ハーフトーンで表現される写真領域は、画像領域矩形ブロック、背景領域矩形ブロック等のオブジェクトごとに、矩形ブロックにセグメント化する。
【００３３】
これらの矩形ブロックの情報を「領域分割情報」という。
【００３４】
ステップＳ３０５：入力画像にオリジナルデータファイルのポインタ情報が埋め込まれているか否かの判定を行うため、ＯＣＲ、ＯＭＲ処理を行う。
【００３５】
原稿画像中に付加情報として記録された２次元バーコード、あるいはＵＲＬに該当するオブジェクトを検出し、ＯＣＲによってＵＲＬを文字認識し、ＯＭＲによって２次元バーコードを解読して入力画像のオリジナルデータファイルが格納されている記憶装置内のポインタ情報を検出する。
【００３６】
ポインタ情報を付加する手段は２次元バーコードに限定されるものではなく、隣接文字列間隔の変化として情報を埋め込む方法、ハーフトーンの画像に埋め込む方法等、直接視認されない、いわゆる電子透かしによる方法等がある。
【００３７】
ステップＳ３０６（ポインタ情報抽出ステップ）：ステップＳ３０５におけるＯＣＲ、ＯＭＲ、もしくは電子透かしの情報から、ポインタ情報を抽出する。
【００３８】
ステップＳ３０７：ステップＳ３０６でポインタ情報が取得されたか否か判断する。ポインタ情報が取得されたときは、オリジナルデータファイルに直接アクセスすべく、ステップＳ３０８に分岐する。
【００３９】
ステップＳ３０６でポインタ情報が抽出されなかったときはステップＳ３０９に進む。
【００４０】
ステップＳ３０８：ポインタ情報が抽出されたときは、そのポインタ情報を用いてオリジナルデータファイル（電子ファイル）を検索する。オリジナルデータファイルは、電子ファイルの形態で、図１のクライアントＰＣ１０２のハードディスク内、文書管理サーバ１０６内のデータベース１０５内、ＭＦＰ１００に設けられた記憶装置１１１等に格納されており、ステップＳ３０６で得られたアドレス情報（ポインタ情報）に従ってこれらの記憶装置内を検索する。検索結果としてオリジナルデータファイルがみつからなかったとき、あるいは抽出されたオリジナルデータファイルがラスターデータファイルあるいは、ＢＭＰ、ｔｉｆｆに代表される、ラスターデータを符号化したイメージデータファイルであったときは、ステップＳ３０９に分岐する。オリジナルデータファイルを抽出できたときは、ステップＳ３１５にジャンプする。
【００４１】
ステップ３０９（文書検索処理ステップ）：ポインタ情報が抽出されなかったとき、ポインタ情報に基づきオリジナルデータファイルが抽出されなかったとき、あるいは抽出されたオリジナルデータファイルがイメージデータファイルであったときは、ステップＳ３０３でマニュアル入力された検索情報あるいはステップＳ３０５のＯＣＲ処理で抽出された重要単語等に基づいて、データベース１０５のキーワード検索や全文検索を実行し、データベースのファイルとの類似度（検索スコア）を求める。また、ブロックセレクション処理で抽出されたオブジェクト属性やレイアウト情報、また検索情報としてのファイルサイズ、作成日付等に関してデータベースのファイルとの類似度（検索スコア）を求める。
【００４２】
ステップＳ３１０：ステップＳ３０９の検索の結果は各検索条件について重み付けをした検索スコアの累積和（総合検索スコア）を算出する。所定値よりも高い類似度のファイルが複数抽出されたときは、スコアの高い順、すなわち類似度の高い順に、候補データファイルとして操作画面１１６においてサムネイル等で表示し、ユーザの選択を促す。ユーザが入力操作によって候補データファイルの中からオリジナルデータファイルの特定を行ったときに、データファイルを特定する。候補データファイルが１個で総合検索スコアが高い場合、ステップＳ３１０をバイパスして自動的にステップＳ３１１にジャンプするようにしてもよい。
【００４３】
ステップＳ３１１：ステップＳ３０９あるいはステップＳ３１０で１個のオリジナルデータファイルが特定されたか否か判断する。１個のデータファイルが特定されたときはステップＳ３１５にジャンプし、データファイルが抽出されなかったとき、あるいは抽出されたデータファイルがイメージデータファイルのときはステップＳ３１２に進む。
【００４４】
ステップＳ３１２（ベクトル化ステップ）：ベクトル化処理により各特定領域のイメージデータをベクトルデータに変換する。
【００４５】
ベクトル化の方法は、以下（ａ）〜（ｆ）等が存在する。
（ａ）特定領域が文字領域のとき、さらにＯＣＲによる文字画像のコード変換を行ったり、あるいは文字のサイズ、スタイル、字体を認識し、原稿を走査して得られた文字に可視的に忠実なフォントデータに変換する。
（ｂ）特定領域が文字領域であり、かつＯＣＲによる認識が不可能であったとき、文字の輪郭を追跡し、輪郭情報（アウトライン）を線分のつながりとして表現する形式に変換する。
（ｃ）特定領域が図形領域のとき、図形オブジェクトの輪郭を追跡し、輪郭情報を線分のつながりとして表現する形式に変換する。
（ｄ）ｂ、ｃの線分形式のアウトライン情報をベジエ関数などでフィッティングして、関数情報に変換する。
（ｅ）ｃの図形オブジェクトの輪郭情報から、図形の形状を認識し、円、矩形、多角形、等の図形定義情報に変換する。
（ｆ）特定領域が図形領域であって、特定領域の表形式のオブジェクトの場合、罫線や枠線を認識し、所定のフォーマットの帳票フォーマット情報に変換する。
【００４６】
以上の方法以外に、ラスターデータを所定のコマンドやコード情報に置きえる種々のベクトル化処理が考えられる。
【００４７】
ステップＳ３１３：ステップＳ３１０のベクトルデータをそのまま使用して、アプリケーションデータ形式に変換し、出力する。通常、データ形式は使用するアプリケーションに依存し、目的に応じたファイル形式に変換する必要がある。
【００４８】
編集等再利用可能なアプリケーションデータ形式とは、ワードプロセッサ、表計算ソフトウエア等のアプリケーションソフトウエアであり、例えば、マイクロソフト・コーポレーションのワードプロセッサＷＯＲＤ（登録商標）や表計算アプリケーションソフトウエアＥＸＣＥＬ（登録商標）などがある。これらのアプリケーションはそれぞれ使用する目的が異なっており、目的に応じたファイル形式が定義され、その形式でファイル（データ）を保存する。
【００４９】
より汎用的なファイル形式としては、マイクロソフト・コーポレーションのＲＴＦ（リッチ・テキスト・ファイル）形式、近年使用されるようになったＳＶＧ（Ｓｃａｌａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｐｈｉｃｓ）形式、あるいは単純にテキストデータのみを扱うプレーンテキスト形式、などが知られており、これらは対応するアプリケーションにおいて共通に使用可能である。
【００５０】
ステップＳ３１４：ステップＳ３１３で生成されたベクトル化された領域のベクトルデータ、およびその他の領域のイメージデータを電子ファイルとして記憶装置１１１に格納する。イメージデータは例えばＪＰＥＧ等の形式で格納される。
【００５１】
ステップＳ３１５：データの格納場所を示すアドレスを出力する。ステップＳ３１４でデータを記憶装置１１１に格納したときは、該記憶装置１１１に格納したデータのアドレスが出力され、ステップＳ３０８またはＳ３１１でオリジナルデータファイルが抽出されたときはオリジナルデータファイルのアドレスを出力する。
【００５２】
ステップＳ３１６：データベース１０５、記憶装置１１１のデータに関してはあらかじめインデックスファイルが生成されており、以上の処理において格納場所が判明し、あるいは新たな格納場所に格納されたデータについて、これらの格納場所をインデックスファイルに追加する。
【００５３】
さらに、インデックスファイルには、ステップＳ３０３で入力された単語や、ステップＳ３１３で自動抽出された単語が登録される。これによって、次回、検索を行う際の検索性能が向上する。
【００５４】
インデックスファイルにおいて、ステップＳ３０８、Ｓ３１１でオリジナルデータファイルが抽出されたときにも、ステップＳ３０３で入力された単語は追加登録される。これによって、ポインタ情報を使用できないような状況でも検索性能が向上する。
【００５５】
ステップＳ３１７：検出されあるいは生成された電子ファイルの内容について印刷等の記録出力であるかユーザに確認し、記録出力であるときはステップＳ３１８に進み、記録出力以外の出力であるときはステップＳ３２０にジャンプする。
【００５６】
ステップＳ３１８：電子ファイル等にポインタ情報を付加する。ポインタ情報付加は、２次元バーコードにより出力画像に付加する方法、文字列中やハーフトーン画像中に電子透かしを埋め込む方法等、種々の公知方法により実行可能である。
【００５７】
これによって印刷された画像が読み込まれたとき、直ちにポインタ情報を取得でき、オリジナルデータファイルにアクセスし得る。
【００５８】
ステップＳ３１９：ステップＳ３１８のポインタ情報に加えて、電子ファイルに関連した情報を出力画像に付加する。情報付加の方法はステップＳ３１８と同様である。これによって、ポインタ情報が使用できない状況においても効率的にオリジナルデータファイルを検索し得る。
【００５９】
ステップＳ３２０：以上の処理により得られた電子ファイルを用いて、文書の加工、蓄積、伝送、記録等の種々の処理を行う。生成され、あるいは取得された電子ファイルは、イメージデータファイルに比較してデータサイズがコンパクトであり、蓄積効率向上、伝送時間短縮、表示・記録品質向上の効果が得られる。
【００６０】
次に図３の主要なステップについて詳細に説明する。
【００６１】
［ブロックセレクションステップ］
ステップＳ３０２（ブロックセレクションステップ）においては、図４右半部の画像４２に示すように、入力画像を属性ごとに矩形ブロックに分割する。前述のように、矩形ブロックの属性としては、文字（ＴＥＸＴ）／図面（ＰＩＣＴＵＲＥ）／線画（Ｌｉｎｅ）／表（Ｔａｂｌｅ）／写真（ＰＨＯＴＯ）等がある。
【００６２】
ブロックセレクションステップにおいては、まず入力画像を白黒に２値化し、黒画素輪郭で囲まれる画素塊を抽出する。
【００６３】
さらに、このように抽出された黒画素塊の大きさを評価し、大きさが所定値以上の黒画素塊の内部にある白画素塊に対する輪郭追跡を行う。白画素塊に対する大きさ評価、内部黒画素塊の追跡というように、内部の画素塊が所定値以上である限り、再帰的に内部画素塊の抽出、輪郭追跡を行う。
【００６４】
画素塊の大きさは、例えば画素塊の面積によって評価される。
【００６５】
このようにして得られた画素塊に外接する矩形ブロックを生成し、矩形ブロックの大きさ、形状に基づき属性を判定する。
【００６６】
例えば、縦横比が１に近く、大きさが一定の範囲の矩形ブロックは文字領域矩形ブロックの可能性がある文字相当ブロックとし、近接する文字相当ブロックが規則正しく整列しているときに、これら文字相当ブロックを纏めた新たな矩形ブロックを生成し、新たな矩形ブロックを文字領域矩形ブロックとする。
【００６７】
また扁平な画素塊を線画領域矩形ブロック、一定大きさ以上でかつ四角形の白画素塊を整列よく内包する黒画素塊を表領域矩形ブロック、不定形の画素塊が散在している領域を写真領域矩形ブロック、それ以外の不定形の画素塊を画像領域矩形ブロックとする。
【００６８】
ブロックセレクションステップでは、このようにして生成された矩形ブロックのそれぞれについて、図５に示す、属性等のブロック情報および入力ファイル情報を生成する。
【００６９】
図５において、ブロック情報には各ブロックの属性、位置の座標Ｘ、座標Ｙ、幅Ｗ、高さＨ、ＯＣＲ情報が含まれる。属性は１〜５の数値で与えられ、１は文字領域矩形ブロック、２は図面領域矩形ブロック、３は表領域矩形ブロック、４は線画領域矩形ブロック、５は写真領域矩形ブロックを示す。座標Ｘ、座標Ｙは入力画像における各矩形ブロックの始点のＸ、Ｙ座標（左上角の座標）である。幅Ｗ、高さＨは矩形ブロックのＸ座標方向の幅、Ｙ座標方向の高さである。ＯＣＲ情報は入力画像におけるポインタ情報の有無を示す。
【００７０】
さらに入力ファイル情報として矩形ブロックの個数を示すブロック総数Ｎが含まれる。
【００７１】
これらの矩形ブロックごとのブロック情報は、特定領域でのベクトル化に利用される。またブロック情報によって、特定領域とその他の領域を合成する際の相対位置関係を特定でき、入力画像のレイアウトを損なわずにベクトル化領域とラスターデータ領域を合成することが可能となる。
【００７２】
［ポインタ情報抽出ステップ］
ステップＳ３０７（ポインタ情報抽出ステップ）は図６の各ステップによって実行される。図７は、ポインタ情報抽出ステップの処理対象となる原稿３１０を示し、原稿３１０はデータ処理装置１１５内のページメモリ（図示せず。）に格納される。原稿３１１には、文字領域矩形ブロック３１２、３１３、画像領域矩形ブロック３１４、２次元バーコード（ＱＲコード）のシンボル３１１が記録されている。
【００７３】
ステップＳ７０１：まず、記憶装置１１１のページメモリに格納された原稿３１０の入力画像をＣＰＵ（図示せず。）で走査して、ブロックセレクションステップの処理結果から、２次元バーコードシンボル３１１の位置を検出する。
【００７４】
ＱＲコードシンボルは、４隅のうちの３隅に、特定の位置検出要素パターンが設けられ、位置検出要素パターンを検出することにより、ＱＲコードシンボルを検出し得る。
【００７５】
ステップＳ７０２：次に、位置検出パターンに隣接する形式情報を復元し、シンボルに適用されている誤り訂正レベルおよびマスクパターンを得る。
【００７６】
ステップＳ７０３：次にシンボルの型番（モデル）を決定する。
【００７７】
ステップＳ７０４：ステップＳ７０２の形式情報から得られたマスクパターンを使って、ＱＲコードのシンボルの符号化領域ビットパターンをＸＯＲ演算し、ＱＲコードのシンボルのマスク処理を解除する。
【００７８】
ステップＳ７０５：ステップＳ７０３で得られたモデルに基づいて配置規則を取得し、この配置規則に基づいて、シンボルキャラクタを読取り、メッセージのデータ及び誤り訂正コード語を復元する。
【００７９】
ステップＳ７０６：復元されたメッセージについて、誤り訂正コード語に基づいて、誤りがあるかどうかの検出を行う。誤りが検出されたときは、訂正のためにステップＳ７０７に分岐する。
【００８０】
ステップＳ７０７：復元されたメッセージを訂正する。
【００８１】
ステップＳ７０８：誤り訂正されたデータより、モード指示子および文字数指示子に基づいて、データコード語をセグメントに分割し、データコード語を復元する。
【００８２】
ステップＳ７０９：検出された仕様モードに基づいてデータコード文字を復号し、結果を出力する。
【００８３】
２次元バーコードに組み込まれたデータは、オリジナルデータファイルのポインタ情報を表しており、例えばファイルサーバー名およびファイル名からなるパス情報で構成される。あるいは、対応するファイルへのＵＲＬ等や、ファイルが格納されたデータベース１０５内あるいは記憶装置１１１内でのファイルＩＤ等で構成される。
【００８４】
本実施形態ではポインタ情報を２次元バーコードの形で付与した原稿３１０について説明したが、種々のポインタ情報の記録形態を採用し得る。
【００８５】
例えば、所定のルールに従った文字列によってポインタ情報を直接文字列で記録し、ブロックセレクションステップによって文字列の矩形ブロックを検出してもよい。検出された文字列を認識することによりポインタ情報を取得し得る。
【００８６】
あるいは文字領域矩形ブロック３１２や文字領域矩形ブロック３１３において、透かし情報として隣接文字列の間隔に視認し難い程度の変調を加えて印刷出力されている文書をスキャンして得たイメージデータから、該文字列間隔変調の情報によってポインタ情報を表現し得る。このような透かし情報は、後述する文字認識処理を行う際に各文字の間隔を検出することによって検出でき、ポインタ情報を取得し得る。また写真領域矩形ブロック３１４の中に電子透かしとしてポインタ情報を付加する事も可能である。
【００８７】
［ポインタ情報による電子ファイル検索］
図３のステップ３０８、Ｓ３１１における、ポインタ情報による電子ファイル検索は図８の各ステップにより実行される。
【００８８】
ステップＳ９０１：ポインタ情報に含まれるアドレスに基づいて、ファイルサーバを特定する。クライアントＰＣ１０２、データベース１０５、文書管理サーバ１０６、記憶装置１１１を内蔵するＭＦＰ１００のうちの少なくともいずれかがファイルサーバとして使用される。アドレスは、ＵＲＬや、サーバ名およびファイル名よりなるパス情報である。
【００８９】
ステップＳ９０２：ステップＳ９０１によって特定されたファイルサーバに対して、アドレスを転送する。
【００９０】
ステップＳ９０３：ステップＳ９０１で特定されたファイルサーバは、ステップＳ９０２で転送されたアドレスを受信し、このアドレスに基づいてオリジナルデータファイルを検索する。
【００９１】
ステップＳ９０４：ステップＳ９０３のファイル検索によってオリジナルデータファイルを抽出できたか否か判断する。ファイルを抽出できたときはステップＳ９０５に進み、ファイルを抽出できなかったときはステップＳ９０６に進む。
【００９２】
ステップＳ９０５：図３に関連して説明したように、ファイルのアドレスをＭＦＰ１００に通知し、ユーザがオリジナルファイルデータの取得を希望するときはオリジナルデータファイルをＭＦＰ１００に転送する。これによって処理を終了する。
【００９３】
ステップＳ９０６：ステップＳ９０３でファイルを抽出できなかったときはその旨をＭＦＰ１００に通知し、処理を終了する。
【００９４】
［ファイル検索処理］
図３のステップＳ３０９のファイル検索処理は、入力画像にポインタ情報が含まれていなかった場合、またはポインタ情報から電子ファイルを抽出できなかった場合に行われる。ファイル検索処理は、キーワード検索処理、全文検索処理、レイアウト検索処理、条件絞り込み検索処理等、複数の検索方法の組み合わせにより実行される。
【００９５】
キーワード検索処理は、検索対象のイメージデータの検索キーを用いて、データベース内の各電子ファイルに関連したキーワードがあらかじめ登録されているインデックスファイルを検索（一致検索あるいは曖昧一致検索）する処理である。
【００９６】
なお、検索キーには、ステップＳ３０３でユーザによりマニュアル入力された単語と、ステップＳ３０５のＯＣＲ処理で入力画像から抽出した文字中の単語、電子透かしに埋め込まれた単語等が用いられる。
【００９７】
全文検索処理は、キーワード検索処理の検索キーによって、オリジナルデータファイルのテキスト情報全文に対し検索を行う処理であり、抽出された検索キーの個数が多いほど類似度が高いと判定される。
【００９８】
条件絞り込み検索は、ステップＳ３０３でマニュアル入力されたサイズ情報、日付情報等の条件に基づいて電子ファイルを絞り込む検索処理である。
【００９９】
レイアウト検索処理については、図１０を参照しつつ詳細に説明する。
【０１００】
［レイアウト検索処理］
レイアウト検索処理は、図１０の各ステップによって実行される。
【０１０１】
ここでは、ステップＳ３０２の結果、抽出された各矩形ブロック及び入力画像データが、図５に示すブロック情報および入力ファイル情報を備えるものとする。
【０１０２】
ブロック情報では、例えば、矩形ブロックは座標Ｘの小さい順に配列（Ｘ座標が同じブロックについては更にＹ座標の小さい順で配列）され、ブロック１、ブロック２、ブロック３、ブロック４、ブロック５，ブロック６の座標Ｘは、Ｘ１＜＝Ｘ２＜＝Ｘ３＜＝Ｘ４＜＝Ｘ５＜＝Ｘ６の大小関係になっている。これらの情報を使用して、データベース内から、入力画像に類似したファイルのレイアウト検索の処理は、図１０の各ステップによって実行される。ここで、データベースファイルは、図５と同様の情報を備えることを前提とする。フローチャートの流れは、ブロック情報および入力ファイル情報と、データベース中のファイルとを順次比較するものである。
【０１０３】
ステップＳ１１０１：後述する類似率などの初期化を行う。
【０１０４】
ステップＳ１１０２：次に、入力画像におけるブロック総数Ｎとの差が所定値以内、すなわちデータベース内のデータファイルにおいて、Ｎ−ΔＮ＜ｎ＜Ｎ＋ΔＮなるｎ個のブロック総数を持つデータファイルであるか判断する。条件に合致するデータファイルが検索抽出されたときにはステップＳ１１０３に移行して当該検索抽出されたデータファイル内の矩形ブロックの情報と入力画像内のブロックとを順次比較していく。一方、ブロック総数の差が大きいときはステップＳ１１１４にジャンプする。矩形ブロックの情報比較においては、ステップＳ１１０３〜Ｓ１１０９によって、属性類似率、サイズ類似率、ＯＣＲ類似率をそれぞれ算出し、これら類似率に基づいてステップＳ１１１１において、該比較対象のデータファイルの総合類似率を算出する。
【０１０５】
ステップＳ１１０３：入力画像のブロック属性と、ステップＳ１１０２で抽出されたデータベースファイルのブロック属性を比較する。ブロック属性が一致したときはステップＳ１１０４に進み、ブロック属性が一致しなかったときは、ステップＳ１１１０に進み、入力画像の全ブロックについての比較が終了したか判断する。
【０１０６】
ステップＳ１１０４：ステップＳ１１０３で比較された、ブロック情報の属性について属性類似率を更新する。属性類似率の算出方法は、任意の方法を用いることが可能であるが、例えば、｛（属性一致ブロック数）／（総ブロック数）｝に基づいて算出するものとする。
【０１０７】
ステップＳ１１０５：入力画像のブロック情報のサイズ（幅Ｗ、高さＨ）と、ステップＳ１１０２で抽出されたデータベースファイルのサイズ（幅ｗ、高さｈ）を比較する。サイズの差が所定範囲、すなわちＷ−ΔＷ＜ｗ＜Ｗ＋ΔＷでありかつＨ−ΔＨ＜ｈ＜Ｈ＋ΔＨであるか否か判断する。所定範囲内のときはステップＳ１１０６に進み、所定範囲内でなかったときはステップＳ１１１０に進み、入力画像の全ブロックについての比較が終了したか判断する。
【０１０８】
ステップＳ１１０６：ステップＳ１１０５で比較されたブロック情報のサイズについてサイズ類似率を更新する。サイズ類似率の算出方法は、任意の方法を用いることが可能であるが、例えば、｛１−（サイズ差）／（入力イメージデータの該ブロックサイズ）｝で各ブロックのサイズ類似率を求めて、更に、該データファイルについてサイズ類似度の平均値を求めることにより算出するものとする。
【０１０９】
ステップＳ１１０７：入力画像のブロック情報、およびステップＳ１１０２で抽出されたデータファイルのブロック情報にＯＣＲ情報が「有」か否かを判断する。両者がＯＣＲ情報「有」であったときはステップＳ１１０８に進み、ＯＣＲ情報「無」のときはステップＳ１１１０に進み、入力画像の全ブロックについての比較が終了したか判断する。
【０１１０】
ステップＳ１１０８：入力画像のブロック情報のＯＣＲ情報と、ステップＳ１１０２で抽出されたデータファイルのＯＣＲ情報を比較する。
【０１１１】
ステップＳ１１０９：ステップＳ１１０８で比較されたＯＣＲ情報についてＯＣＲ情報類似率を算出する。ＯＣＲ情報類似率の算出方法は、任意の方法を用いることが可能であるが、例えば、各ブロックの認識結果文字同士を比較し、認識結果の一致率を求めるなどして求めることとする。
【０１１２】
ステップＳ１１１０：入力画像に含まれる全てのブロックについて、当該データファイルの各ブロックとの比較処理が終了したか否かを判断する。全ての矩形ブロックの処理が終了したときはステップＳ１１１１に進み、未処理の矩形ブロックが残っているときはステップＳ１１１５を経て、次のブロックの比較処理を行うためにステップＳ１１０３に戻る。
【０１１３】
ステップＳ１１１１：属性類似率、サイズ類似率、ＯＣＲ類似率に基づいて総合類似率を算出する。総合類似率の算出方法は、例えば、各類似率に所定の重み付けを行って、和をとることにより算出される。
【０１１４】
ステップＳ１１１２：総合類似率が予め設定された閾値Ｔｈより高いか否か判断する。総合類似率が閾値Ｔｈより高ければステップＳ１１１３に進み、総合類似率が閾値Ｔｈより高くないときはステップＳ１１１４に進む。
【０１１５】
ステップＳ１１１３：ステップＳ１１１２で総合類似率が閾値より高いと判断されたデータベースのデータファイルを類似候補として保存する。
【０１１６】
ステップＳ１１１４：データベースの全てのデータファイルについて処理が終了したか否か判断する。全てのデータベースファイルの処理が終了したときはそのまま処理を終了し、未処理のデータベースファイルが残っているときはステップＳ１１１６を経てステップＳ１１０１に戻る。
【０１１７】
ステップＳ１１１５：データファイルの個々のブロック情報と、入力画像のブロック情報の全てを比較するように、比較対象のブロックを次のブロックに進める。
【０１１８】
ステップＳ１１１６：データベースの各データファイルが順次比較されるように、次のデータファイルを比較対象にする。
【０１１９】
図１０の各ステップにおいて、Ｎ、Ｗ、Ｈは、入力画像のブロック総数、各ブロック幅、各ブロック高さであり、ΔＮ、ΔＷ、ΔＨは、入力画像のブロック情報を基準とした許容範囲示す。ｎ、ｗ、ｈは、データベースファイルのブロック総数、各ブロック幅、各ブロック高さである。
【０１２０】
なお、不図示ではあるが、ステップＳ１１０５にてサイズ比較時に、座標Ｘ、座標Ｙの位置情報の比較などを行ってもよい。
【０１２１】
以上の複数の検索方式による検索結果は、各々類似度スコアとして数値化され、最終的な検索結果は各スコアに重み付けした合計値を、総合検索類似度として評価する。重み付けの方法は、ユーザがステップＳ３０３で入力した情報に基づく検索結果を重くし、あるいは過去の検索結果の統計処理によって有意とされたスコアを重くし、あるいは重み入力用のユーザインターフェースを設け、ユーザが任意に重み設定する方法であってもよい。
【０１２２】
総合検索類似度は所定の閾値と比較され、閾値よりも高いスコアの電子ファイルが検索対象候補とされる。複数候補が抽出されたときは、ステップＳ３１０において候補選択の処理を行う。
【０１２３】
［ベクトル化ステップ］
ステップＳ３１２（ベクトル化ステップ）では、ファイルサーバにオリジナルデータファイルが存在しないときに、図４のイメージデータ４１を、各矩形ブロックごとにベクトル化する。矩形ブロックが文字領域矩形ブロックであるときには、ベクトル化された各文字について文字認識処理を実行する。
【０１２４】
ベクトル化処理は図９の各ステップにより実行される。
【０１２５】
ステップＳ１００１：特定領域が文字領域矩形ブロックであるか否か判断し、文字領域矩形ブロックであればステップＳ１００２以下のステップに進み、パターンマッチングの一手法を用いて認識を行い、対応する文字コードを得る。特定領域が文字領域矩形ブロックでないときは、ステップＳ１０１２の処理に移行する。
【０１２６】
ステップＳ１００２：特定領域に対し横書き、縦書きの判定（組み方向判定）をおこなうために、特定領域内で画素値に対する水平・垂直の射影を取る。
【０１２７】
ステップＳ１００３：ステップＳ１００２の射影の分散を評価する。水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判断する。
【０１２８】
ステップＳ１００４：ステップＳ１００３の評価結果に基づき、組み方向を判定し、行の切り出しを行い、その後文字を切り出して文字画像を得る。
【０１２９】
文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、切り出された行に対する垂直方向の射影から、文字を切り出す。縦書きの文字領域に対しては、水平と垂直について逆の処理を行う。行、文字切り出しに際して、文字のサイズも検出し得る。
【０１３０】
ステップＳ１００５：ステップＳ１００４で切り出された各文字について、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルを生成する。特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴ベクトルとする方法がある。
【０１３１】
ステップＳ１００６：ステップＳ１００５で得られた観測特徴ベクトルと、あらかじめ字種ごとに求められている辞書特徴ベクトルとを比較し、観測特徴ベクトルと辞書特徴ベクトルとの距離を算出する。
【０１３２】
ステップＳ１００７：ステップＳ１００６で算出された距離を評価し、最も距離の近い字種を認識結果とする。
【０１３３】
ステップＳ１００８：ステップＳ１００７における距離評価において、最短距離が所定値よりも大きいか否か判断する。距離が所定値以上の場合は、辞書特徴ベクトルにおいて、形状が類似する他の文字に誤認識している可能性が高い。そこで距離が所定値以上の場合は、ステップＳ１００７の認識結果を採用せず、ステップＳ１０１１の処置に進む。距離が所定値より小のときは、ステップＳ１００７の認識結果を採用し、ステップ１００９に進む。
【０１３４】
ステップＳ１００９（フォント認識ステップ）：文字認識の際に用いる、字種数ぶんの辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数用意しておき、パターンマッチングの際に、文字コードとともにフォント種を出力することで、文字フォントを認識し得る。
【０１３５】
ステップＳ１０１０：文字認識およびフォント認識によって得られた文字コードおよびフォント情報を用いて、各々あらかじめ用意されたアウトラインデータを用いて、各文字をベクトルデータに変換する。なお、入力画像がカラーの場合は、カラー画像から各文字の色を抽出してベクトルデータとともに記録する。
【０１３６】
ステップＳ１０１１：文字を一般的な線画と同様に扱い、該文字をアウトライン化する。すなわち誤認識を起こす可能性の高い文字については、可視的にイメージデータに忠実なアウトラインのベクトルデータを生成する。
【０１３７】
ステップＳ１１１２：特定領域が文字領域矩形ブロックでないときは、画像の輪郭に基づいてベクトル化の処理を実行する。
【０１３８】
以上の処理により、文字領域矩形ブロックに属するイメージ情報をほぼ形状、大きさ、色が忠実なベクトルデータに変換出来る。
【０１３９】
［文字領域以外の領域のベクトル化］
ステップＳ１０１２の文字領域矩形ブロック以外の領域、すなわち図面領域矩形ブロック、線画領域矩形ブロック、表領域矩形ブロック等と判断されたときは、特定領域内で抽出された黒画素塊の輪郭をベクトルデータに変換する。
【０１４０】
文字領域以外の領域のベクトル化においては、まず線画等を直線および／または曲線の組み合わせとして表現するために、曲線を複数の区間（画素列）に区切る「角」を検出する。角とは曲率が極大となる点であり、図１１の曲線上の画素Ｐｉが角か否かの判断は以下のように行う。
【０１４１】
すなわち、Ｐｉを起点とし、曲線に沿ってＰｉから両方向に所定画素（ｋ個とする。）ずつ離れた画素Ｐｉ−ｋ、Ｐｉ＋ｋを線分Ｌで結ぶ。画素Ｐｉ−ｋ、Ｐｉ＋ｋ間の距離をｄ１、線分Ｌと画素Ｐｉとの距離をｄ２、曲線の画素Ｐｉ−ｋ、Ｐｉ＋ｋ間の弧の長さをＡとするとき、ｄ２が極大となるとき、あるいは比（ｄ１／Ａ）が閾値以下となるときに画素Ｐｉを角と判断する。
【０１４２】
角によって分割された画素列を、直線あるいは曲線で近似する。直線への近似は最小二乗法等により実行し、曲線への近似は３次スプライン関数などを用いる。画素列を分割する角の画素は近似直線あるいは近似直線における、始端または終端となる。
【０１４３】
さらにベクトル化された輪郭内に白画素塊の内輪郭が存在するか否かを判断し、内輪郭が存在するときはその輪郭をベクトル化し、内輪郭の内輪郭というように、再帰的に反転画素の内輪郭をベクトル化する。
【０１４４】
以上のように、輪郭の区分線近似を用いれば、任意形状の図形のアウトラインをベクトル化することができる。元原稿がカラーの場合は、カラー画像から図形の色を抽出してベクトルデータとともに記録する。
【０１４５】
図１２に示すように、ある注目区間で外輪郭ＰＲｊと、内輪郭ＰＲｊ＋１あるいは別の外輪郭が近接している場合、２個あるいは複数の輪郭線をひとまとめにし、太さを持った線として表現することができる。例えば、輪郭Ｐｊ＋１の各画素Ｐｉから輪郭ＰＲｊ上で最短距離となる画素Ｑｉまでの距離ＰｉＱｉを算出し、ＰＱｉのばらつきがわずかである場合には、注目区間を画素Ｐｉ、Ｑｉの中点Ｍｉの点列に沿った直線または曲線で近似し得る。近似直線、近似曲線の太さは、例えば距離ＰｉＱｉの平均値とする。
【０１４６】
線や線の集合体である表罫線は、太さを持つ線の集合とすることにより、効率よくベクトル表現することができる。
【０１４７】
輪郭まとめの処理の後、全体の処理を終了する。
【０１４８】
なお写真領域矩形ブロックについては、ベクトル化せず、イメージデータのままとする。
【０１４９】
［図形認識］
以上の線図形等のアウトラインをベクトル化した後、ベクトル化された区分線を図形オブジェクトごとにグループ化する。
【０１５０】
図１３の各ステップは、ベクトルデータを図形オブジェクトごとにグループ化する処理を示す。
【０１５１】
ステップＳ１５０１：まず各ベクトルデータの始点、終点を算出する。
【０１５２】
ステップＳ１５０２（図形要素検出）：ステップＳ１５０１で求められた始点、終点情報を用いて、図形要素を検出する。図形要素とは、区分線が構成している閉図形であり、検出に際しては、始点、終端近傍において連結ベクトルの端点を捜す。すなわち、閉形状を構成する各ベクトルはその両端にそれぞれ連結するベクトルを有しているという原理を応用する。
【０１５３】
ステップＳ１５０３：次に図形要素内に存在する他の図形要素、もしくは区分線をグループ化し、一つの図形オブジェクトとする。また、図形要素内に他の図形要素、区分線が存在しない場合は図形要素を図形オブジェクトとする。
【０１５４】
［図形要素の検出］
ステップＳ１５０２（図形要素検出）の処理は、図１４の各ステップによって実行される。
【０１５５】
ステップＳ１６０１：まず、ベクトルデータより両端に連結していない不要なベクトルを除去し、閉図形を構成するベクトルを抽出する。
【０１５６】
ステップＳ１６０２：次に閉図形を構成するベクトルについて、いずれかのベクトルの端点（始点または終点）を開始点とし、一定方向、例えば時計回りに、順にベクトルを探索する。すなわち、他端点において他のベクトルの端点を探索し、所定距離内の最近接端点を連結ベクトルの端点とする。閉図形を構成するベクトルを１まわりして開始点に戻ったとき、通過したベクトルを全て一つの図形要素を構成する閉図形としてグループ化する。また、閉図形内部にある閉図形構成ベクトルも全てグループ化する。さらにまだグループ化されていないベクトルの始点を開始点とし、同様の処理を繰り返す。
【０１５７】
ステップＳ１６０３：最後に、ステップＳ１６０１で除去された不要ベクトルのうち、ステップＳ１６０２で閉図形としてグループ化されたベクトルに端点が近接しているベクトルを検出し、一つの図形要素としてグループ化する。
【０１５８】
以上の処理によって図形ブロックを、再利用可能な個別の図形オブジェクトとして扱う事が可能になる。
【０１５９】
以上のベクトル化処理は、通常、入力画像全体に対して行う必要性は低く、ユーザが指定した特定領域のみをベクトル化だけに対して行えば充分な場合が多い。
【０１６０】
ユーザが指定する特定領域のみに対してベクトル化処理を行うことにより、処理のパフォーマンスを向上し、かつユーザが所望する部分のみを効率よくベクトル化して、次のステップの検索処理に利用したり、もしくはイメージ情報のうちの必要な部分だけの再編集／再利用をする効果を提供することが可能になる。
【０１６１】
［アプリデータへの変換処理］
図３のブロックセレクションステップ（ステップＳ３０４）の後、ベクトル化（ステップＳ３１２）した結果のデータを用いて、ステップＳ３１３のアプリデータへの変換処理を実行する。ステップＳ３１２のベクトル化処理結果は図１５に示す中間データの形式、いわゆるドキュメント・アナリシス・アウトプット・フォーマット（ＤＡＯＦ）と呼ばれる形式で保存されている。
【０１６２】
図１５において、ＤＡＯＦは、ヘッダ１７０１、レイアウト記述データ部１７０２、文字認識記述データ部１７０３、表記述データ部１７０４、画像記述データ部１７０５よりなる。
【０１６３】
ヘッダ１７０１には、処理対象の入力画像に関する情報が保持される。
【０１６４】
レイアウト記述データ部１７０２には、入力画像中の矩形ブロックの属性ＴＥＸ（文字）、ＴＩＴＬＥ（タイトル）、ＣＡＰＴＩＯＮ（キャプション）、ＬＩＮＥ（線画）、ＰＩＣＴＵＲＥ（画像）、ＦＲＡＭＥ（枠）、ＴＡＢＬＥ（表）、ＰＨＯＴＯ（写真）等の情報と、これら属性が認識された各矩形ブロックの位置情報が保持される。
【０１６５】
文字認識記述データ部１７０３には、ＴＥＸＴ、ＴＩＴＬＥ、ＣＡＰＴＩＯＮ等の文字領域矩形ブロックを文字認識して得られる文字認識結果が保持される。
【０１６６】
表記述データ部１７０４には、表領域矩形ブロックＴＡＢＬＥの表構造の詳細が格納される。
【０１６７】
画像記述データ部１７０５には、図面領域矩形ブロックＰＩＣＴＵＲＥや線画領域矩形ブロックＬＩＮＥ等のブロックにおけるイメージデータが、入力画像データから切り出して保持される。
【０１６８】
このようなＤＡＯＦは中間データとしてのみならず、それ自体ファイル化され保存されることもあり、このファイル状態では、一般的な文書作成アプリケーションソフトウエアのオブジェクトにおける再利用は不可能である。そこで、ＤＡＯＦをアプリケーションデータに変換する。
【０１６９】
アプリデータへの変換処理は図１６の各ステップにより実行される。
【０１７０】
ステップＳ１８０１：ＤＡＯＦ形式のデータを入力する。
【０１７１】
ステップＳ１８０２：アプリデータの元となる文書構造ツリー生成を行う。
【０１７２】
ステップＳ１８０３：文書構造ツリーを元に、ＤＡＯＦ内の実データを取得し、実際のアプリデータを生成する。
【０１７３】
ステップＳ１８０３の文書構造ツリー生成処理は図１７の各ステップにより実行される。図１７の処理における全体制御の基本ルールとして、処理の流れはミクロブロック（単一矩形ブロック）からマクロブロック（矩形ブロックの集合体）へ移行する。以後「矩形ブロック」は、ミクロブロックおよびマクロブロック両者を意味するものとする。
【０１７４】
ステップＳ１９０１：矩形ブロック単位で、縦方向の関連性に基づいて、矩形ブロックを再グループ化する。図１７の処理は繰り返し実行されることがあるが、処理開始直後はミクロブロック単位での判定となる。
【０１７５】
ここで、関連性とは、距離が近い、ブロック幅（横方向の場合は高さ）がほぼ同一であることなどの特徴によって定義される。また、距離、幅、高さなどの情報はＤＡＯＦを参照し、抽出する。
【０１７６】
図１８の入力画像では、最上部で、矩形ブロックＴ１、Ｔ２が横方向に並列されている。矩形ブロックＴ１、Ｔ２の下には横方向セパレータＳ１が存在し、横方向セパレータＳ１の下に矩形ブロックＴ３、Ｔ４、Ｔ５、Ｔ６、Ｔ７が存在する。
【０１７７】
矩形ブロックＴ３、Ｔ４、Ｔ５は、横方向セパレータＳ１下側の領域における左半部において上から下に、縦方向に配列され、矩形ブロックＴ６、Ｔ７は、横方向セパレータＳ１下側の領域における右半部において上下に配列されている。
【０１７８】
ステップＳ１９０１の縦方向の関連性に基づくグルーピングの処理を実行する。これによって、矩形ブロックＴ３、Ｔ４、Ｔ５が１個のグループ（矩形ブロック）Ｖ１にまとめられ、矩形ブロックＴ６、Ｔ７が１個のグループ（矩形ブロック）Ｖ２にまとめられる。グループＶ１、Ｖ２は同一階層となる。
【０１７９】
ステップＳ１９０２：縦方向のセパレータの有無をチェックする。セパレータは、ＤＡＯＦ中でライン属性を持つオブジェクトであり、アプリケーションソフトウエア中で明示的にブロックを分割する機能をもつ。セパレータを検出すると、処理対象の階層において、入力画像の領域を、セパレータを境界として左右に分割する。図１８では縦方向のセパレータは存在しない。
【０１８０】
ステップＳ１９０３：縦方向のグループ高さの合計が入力画像の高さに等しくなったか否か判断する。すなわち縦方向（例えば上から下へ。）に処理対象の領域を移動しながら、横方向のグルーピングを行うとき、入力画像全体の処理が終了したときには、グループ高さ合計が入力画像高さになることを利用し、処理の終了判断を行う。グルーピングが終了したときはそのまま処理終了し、グルーピングが終了していなかったときはステップＳ１９０４に進む。
【０１８１】
ステップＳ１９０４：横方向の関連位に基づくグルーピングの処理を実行する。これによって、矩形ブロックＴ１、Ｔ２が１個のグループ（矩形ブロック）Ｈ１にまとめられ、矩形ブロックＶ１、Ｖ２が１個のグループ（矩形ブロック）Ｈ２にまとめられる。グループＨ１、Ｈ２は同一階層となる。ここでも、処理開始直後はミクロブロック単位での判定となる。
【０１８２】
ステップＳ１９０５：横方向のセパレータの有無をチェックする。セパレータを検出すると、処理対象の階層において、入力画像の領域を、セパレータを境界として上下に分割する。図１８では横方向のセパレータＳ１が存在する。
【０１８３】
以上の処理結果は図１９のツリーとして登録される。
【０１８４】
図１９において、入力画像Ｖ０は、最上位階層にグループＨ１、Ｈ２、セパレータＳ１を有し、グループＨ１には第２階層の矩形ブロックＴ１、Ｔ２が属する。
【０１８５】
グループＨ２には、第２階層のグループＶ１、Ｖ２が属し、グループＶ１には、第３階層の矩形ブロックＴ３、Ｔ４、Ｔ５が属し、グループＶ２には、第３階層の矩形ブロックＴ６、Ｔ７が属する。
【０１８６】
ステップＳ１９０６：横方向のグループ長合計が入力画像の幅に等しくなったか否か判断する。これによって横方向のグルーピングに関する終了判断を行う。横方向のグループ長がページ幅となっている場合は、文書構造ツリー生成の処理を終了する。横方向のグループ長がページ幅となっていないときは、ステップＳ１９０１に戻り、再びもう一段上の階層で、縦方向の関連性チェックから繰り返す。
【０１８７】
図１８、図１９のツリー構造の段階で、横方向の分割幅がページ幅になっているので、そのまま処理を終了し、最後にページ全体を表す最上位階層のＶ０を文書構造ツリーに付加する。
【０１８８】
文書構造ツリーが完成した後、その情報を元にステップＳ１８０３においてアプリデータの生成を行う。
【０１８９】
図１８、図１９に基づくアプリデータによる、アプリケーションソフトウエアの処理の例は以下のとおりである。
【０１９０】
まず、グループＨ１が横方向に２個の矩形ブロックＴ１、Ｔ２を有するので、２カラムとし、Ｔ１のＤＡＯＦを参照し、その内部情報（文字認識結果の文章、画像等）を出力する。その後、カラムを変え、Ｔ２の内部情報を出力し、続いてセパレータＳ１を出力する。
【０１９１】
次グループＨ２の処理に移る。グループＨ２は横方向に２個の矩形ブロックＶ１、Ｖ２を有するので、２カラムとして出力する。グループＶ１については、矩形ブロックＴ３、Ｔ４、Ｔ５の順にその内部情報を出力し、その後カラムを変え、グループＶ２の矩形ブロックＴ６、Ｔ７の内部情報を出力する。
【０１９２】
以上によりアプリデータへの変換処理が実行される。
【０１９３】
［ポインタ情報の付加］
ステップＳ３１８のポインタ情報付加の処理は、抽出されあるいは生成されたファイルを記録する際に、記録紙にポインタ情報を付加する処理である。ポインタ情報を参照することによって、電子ファイルを容易に抽出し得る。
【０１９４】
図２０のフローチャートにおいて、ポインタ情報を２次元バーコード（ＪＩＳＸ０５１０に基づくＱＲコードシンボル等）を付加する処理を説明する。
【０１９５】
図７に関連して説明したように、２次元バーコードは、対応する電子ファイルを取得し得る場所を示す情報よりなる。
【０１９６】
ステップＳ２２０１：ＱＲコードシンボルに変換すべきポインタ情報を示す文字を識別すべき、ポインタ情報を分析するとともに、誤り検出及び誤り訂正レベルを設定し、ポインタ情報を収容し得る最小型番を選択する。
【０１９７】
ステップＳ２２０２：ステップＳ２２０１で分析したポインタ情報を所定ビット列に変換し、必要に応じて、ポインタ情報のモード（数字、英数字、８ビットバイト、漢字等）を示す指示子、および終端パターンを付加する。さらに、このように得られたデータをビットコード語に変換する。
【０１９８】
ステップＳ２２０３：ステップＳ２２０２で生成したビットコード語列を、型番および誤り訂正レベルに応じて、所定数のブロックに分割し、各ブロックごとに誤り訂正コード語を生成する。さらに誤り訂正コード語をビットコード語列の後付加する。
【０１９９】
ステップＳ２２０４：ステップＳ２２０３で生成した各ブロックのビットコード語を接続し、各ブロックに誤り訂正コード語を付加する。さらに必要に応じて、各ブロックの訂正コードの後に剰余コード語を付加する。以上によりコード語モジュールが生成される。
【０２００】
ステップＳ２２０５：所定のマトリクスに、位置検出パターン、分離パターン、タイミングパターン、位置合わせパターン、およびコード語モジュールを配列する。
【０２０１】
ステップＳ２２０６：ステップＳ２２０５で生成されたマトリクスにおけるシンボル符号化領域に対して、最適なマスクパターンを選択し、マトリクスとマスクパターンのＸＯＲ演算によってモジュールを生成する。
【０２０２】
ステップＳ２２０７：ステップＳ２２０６で生成されたモジュールに対して、形式情報、型番情報を生成し、ＱＲコードシンボルを完成する。
【０２０３】
このようなアドレス情報が組み込まれたＱＲコードシンボルは、クライアントＰＣ１０２からの要求により、電子ファイルをＭＦＰ１１２で印刷する際に、データ処理装置１１５内で記録可能なラスタデータに変換され、印刷画像における所定位置に画像形成される。
【０２０４】
ステップＳ３０６に関連して説明したように、画像形成された印刷画像を画像読み取り装置１１０で読み取ることにより、ポインタ情報が取得でき、電子ファイルの格納場所を検出し得る。
【０２０５】
なお以上の実施形態においては、画像読み取り装置１１０等から入力された入力画像の処理について説明したが、記憶媒体に格納されたラスターデータあるいはその符号化データよりなるイメージデータ、通信手段によって供給されたイメージデータ等、入力画像以外のイメージデータについても、本発明は有効である。
【０２０６】
本発明に係る画像処理方法を実施する手段は図１、図２に記載した画像処理システムに限定されるものではなく、専用の画像処理装置、汎用コンピュータ等種々の手段を採用し得る。
【０２０７】
汎用コンピュータにおいて実行する際には、画像処理方法の各ステップを汎用コンピュータに実行させるためプログラムコードを含むコンピュータ実行可能なプログラムを、汎用コンピュータに読み込ませる。
【０２０８】
汎用コンピュータが画像処理を実行するためのプログラムは、汎用コンピュータに内蔵されたＲＯＭや、汎用コンピュータが読み取り得る記憶媒体から読み込まれ、あるいはネットワークを通じてサーバ等から読み込まれる。
【０２０９】
また本発明の趣旨と範囲は、本発明の特定の説明と図に限定されるものではなく、本願特許請求の範囲に述べられた内容の様々な修正および変更に及ぶことは当業者にとって理解されるであろう。
【０２１０】
本発明の実施態様の例を以下に示す。
【０２１１】
［実施態様１］ 入力画像に対応するオリジナルデータファイルを検索するための画像処理方法であって、ユーザにより入力された情報に基づいて前記入力画像に関する第１の検索情報を取得する第１検索情報取得ステップと、前記入力画像に含まれる特徴データを第２の検索情報として取得する第２検索情報取得ステップと、前記第１の検索情報と前記第２の検索情報とを用いて、前記入力画像に対応するオリジナルデータファイルを検索する検索ステップと、を有することを特徴とする画像処理方法。
【０２１２】
［実施態様２］ 更に、前記第１の検索情報を、前記オリジナルデータファイルを検索するためのインデックスとしてインデックスファイルに登録するインデックス登録ステップを有することを特徴とする実施態様１に記載の画像処理方法。
【０２１３】
［実施態様３］ 前記第１の検索情報は、検索のためのキーワードであることを特徴とする実施態様１に記載の画像処理方法。
【０２１４】
［実施態様４］ 前記第１の検索情報は、前記オリジナルデータファイルのデータサイズであることを特徴とする実施態様１に記載の画像処理方法。
【０２１５】
［実施態様５］ 前記第１の検索情報は、前記オリジナルデータファイルの日付情報であることを特徴とする実施態様１に記載の画像処理方法。
【０２１６】
［実施態様６］ 前記第２の検索情報は、前記入力画像内のポインタ情報に基づいて抽出される前記オリジナルデータファイルの格納場所に関する情報であることを特徴とする実施態様１に記載の画像処理方法。
【０２１７】
［実施態様７］ 前記第２の検索情報は、前記入力画像内の文字領域について文字認識処理を行うことによって得た、文字認識結果の文字コードであることを特徴とする実施態様１に記載の画像処理方法。
【０２１８】
［実施態様８］ 前記第２の検索情報は、前記入力画像を領域分割して得た各ブロックの特徴データであることを特徴とする実施態様１に記載の画像処理方法。
【０２１９】
［実施態様９］ 更に、前記検索ステップでオリジナルデータファイルが検索できなかった場合、前記入力画像をベクトルデータに変換するベクトル化ステップを有することを特徴とする実施態様１に記載の画像処理方法。
【０２２０】
［実施態様１０］ 前記ベクトルデータに変換された入力画像を、アプリケーションソフトウエアで取り扱い得る形式に変換するステップをさらに備えることを特徴とする実施態様９に記載の画像処理方法。
【０２２１】
［実施態様１１］ 前記ベクトルデータに変換された入力画像をデータベースに格納する格納ステップを更に有することを特徴とする実施態様９に記載の画像処理方法。
【０２２２】
［実施態様１２］ 前記第１の検索情報を、前記格納ステップでデータベースに格納されたベクトルデータの画像を検索するためのインデックスとして、インデックスファイルに登録するインデックス登録ステップを有することを特徴とする実施態様１０に記載の画像処理方法。
【０２２３】
［実施態様１３］ 更に、前記検索されたオリジナルデータファイルを出力する出力ステップを有し、前記出力ステップでは、当該出力されるオリジナルデータファイルにポインタ情報を付加して出力することを特徴とする実施態様１に記載の画像処理方法。
【０２２４】
［実施態様１４］ 前記ポインタ情報を電子透かしとして前記オリジナルデータファイルに付加することを特徴とする実施態様１３記載の画像処理方法。
【０２２５】
［実施態様１５］ 前記検索ステップでは、キーワード検索、全文検索、レイアウト検索の少なくともいずれかを用いて、前記オリジナルデータファイルを検索することを特徴とする実施態様１記載の画像処理方法。
【０２２６】
［実施態様１６］ 入力画像に対応するオリジナルデータファイルを検索するための画像処理システムであって、ユーザにより入力された情報に基づいて前記入力画像に関する第１の検索情報を取得する第１検索情報取得手段と、前記入力画像に含まれる特徴データを第２の検索情報として取得する第２検索情報取得手段と、前記第１の検索情報と前記第２の検索情報とを用いて、前記入力画像に対応するオリジナルデータファイルを検索する検索手段と、を有することを特徴とする画像処理システム。
【０２２７】
［実施態様１７］ 実施態様１乃至１５のいずれかに記載の画像処理方法の各ステップを汎用コンピュータに実行させるためのプログラムコードを含むコンピュータ実行可能なプログラム。
【０２２８】
［実施態様１８］ 実施態様１７記載のコンピュータ実行可能なプログラムが格納されたコンピュータ読み取り可能な記憶媒体。
【０２２９】
【発明の効果】
本発明によれば、紙文書に対応するオリジナルデータファイルを検索する際の検索性能が向上する。
【図面の簡単な説明】
【図１】本発明に係る画像処理方法の第１実施形態を実施する画像処理システムを示すブロック図である。
【図２】図１におけるＭＦＰを示すブロック図である。
【図３】本発明に係る画像処理方法の一実施形態を示すフローチャ−トである。
【図４】図３の画像処理方法により処理される原稿と処理結果の画像を示す図である。
【図５】ブロックセレクション処理で得られるブロック情報および入力ファイル情報を示す表である。
【図６】原稿の画像からポインタ情報を抽出する処理を示すフローチャートである。
【図７】ポインタ情報を含む原稿の画像を示す図である。
【図８】図３のポインタ情報に基づくファイル検索処理を示すフローチャートである。
【図９】図３の文字領域のベクトル化の処理を示すフローチャートである。
【図１０】図３のファイル検索の処理を示すフローチャートである。
【図１１】図９のベクトル化の処理における角抽出の処理を示す図である。
【図１２】図９のベクトル化の処理における輪郭線まとめの処理を示す図である。
【図１３】図９のベクトル化で生成されたベクトルデータのグループ化の処理を示すフローチャートである。
【図１４】図１３の処理でグループ化されたベクトルデータに対する図形要素検出の処理を示すフローチャートである。
【図１５】ベクトル化処理結果のデータを示すマップである。
【図１６】図３のアプリデータ変換の処理を示すフローチャートである。
【図１７】図１６の文書構造ツリー生成の処理を示すフローチャートである。
【図１８】文書構造ツリー生成処理の対象となる文書を示す図である。
【図１９】図１７の処理によって生成される文書構造ツリーを示す図である。
【図２０】図３のポインタ情報付加の処理を示すフローチャートである。
【符号の説明】
１００ ＭＦＰ
１０５ データベース
１０６ 文書管理サーバ
１１０ 画像読み取り装置
１１１ 記憶装置
１１２ 記憶装置
１１５ データ処理装置

Claims (1)

1. 入力画像に対応するオリジナルデータファイルを検索するための画像処理方法であって、
   ユーザにより入力された情報に基づいて前記入力画像に関する第１の検索情報を取得する第１検索情報取得ステップと、
   前記入力画像に含まれる特徴データを第２の検索情報として取得する第２検索情報取得ステップと、
   前記第１の検索情報と前記第２の検索情報とを用いて、前記入力画像に対応するオリジナルデータファイルを検索する検索ステップと、
   を有することを特徴とする画像処理方法。

Images