[go: up one dir, main page]

JP7484198B2 - 文書処理装置およびプログラム - Google Patents

文書処理装置およびプログラム Download PDF

Info

Publication number
JP7484198B2
JP7484198B2 JP2020016610A JP2020016610A JP7484198B2 JP 7484198 B2 JP7484198 B2 JP 7484198B2 JP 2020016610 A JP2020016610 A JP 2020016610A JP 2020016610 A JP2020016610 A JP 2020016610A JP 7484198 B2 JP7484198 B2 JP 7484198B2
Authority
JP
Japan
Prior art keywords
document
image
comparison
target
page
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020016610A
Other languages
English (en)
Other versions
JP2021124843A (ja
Inventor
潔 寺口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2020016610A priority Critical patent/JP7484198B2/ja
Priority to US16/908,714 priority patent/US11875588B2/en
Priority to CN202010769263.4A priority patent/CN113221607A/zh
Publication of JP2021124843A publication Critical patent/JP2021124843A/ja
Application granted granted Critical
Publication of JP7484198B2 publication Critical patent/JP7484198B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/93Document management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/416Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/418Document matching, e.g. of document images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Document Processing Apparatus (AREA)
  • Image Analysis (AREA)

Description

本発明は、文書処理装置およびプログラムに関する。
文書を改訂や修正した場合等、複数の文書を比較して差分を抽出することが求められる場合がある。
特許文献1には、複数ページを有する2つの電子文書に対して、各ページを画像に変換し、画像化された各ページを比較することにより、ページごとの画像間の差分を抽出することが開示されている。
特開2015-132885号公報
画像比較では、文書において画像により表される内容が同一であっても、画像の位置やサイズの変更、画像中のオブジェクトの位置やサイズの変更等があった場合には画像の差異として検出されるため、文書に対する差分判定を誤る場合があった。
本発明は、画像を含む文書の比較において、単純な画像の比較により差分判定を行う場合と比較して、画像を含む文書の内容に基づいて文書の差分を判定可能とすることを目的とする。
請求項1に係る本発明は、プロセッサを備え、前記プロセッサは、処理対象の複数の文書のうち、一の文書である対象文書と他の一の文書である比較文書とから画像が配置された画像領域を抽出し、前記画像領域に対して画像認識処理を行い、前記画像認識処理により得られた、前記対象文書と前記比較文書の前記画像領域に描画されたオブジェクトに関する情報を比較し、前記オブジェクトに関する情報の比較の結果および、前記対象文書と前記比較文書とにおける当該オブジェクトに関する情報の相違を文書の変更として検出するかを規定する判定規則に基づき、当該対象文書と当該比較文書とが文書として同一であるか否かの判定を行うことを特徴とする、文書処理装置である。
請求項2に係る本発明は、前記プロセッサは、前記対象文書および前記比較文書における相対応する前記画像領域に描画された相対応する前記オブジェクトの差異に基づき、当該対象文書と当該比較文書とが文書として同一であるか否かの判定をすることを特徴とする、請求項1に記載の文書処理装置である。
請求項3に係る本発明は、前記プロセッサは、前記対象文書および前記比較文書における相対応する前記画像領域における相対応する前記オブジェクトの位置の差異を、当該対象文書と当該比較文書とが文書として同一であるか否かの判定に適用しないことを特徴とする、請求項2に記載の文書処理装置である。
請求項4に係る本発明は、前記プロセッサは、前記対象文書および前記比較文書における相対応する前記画像領域における相対応する前記オブジェクトのサイズの差異を、当該対象文書と当該比較文書とが文書として同一であるか否かの判定に適用しないことを特徴とする、請求項2に記載の文書処理装置である。
請求項5に係る本発明は、前記プロセッサは、前記画像領域の画像に基づき同一の文書と判定した前記対象文書および前記比較文書における当該画像の差異の情報を出力することを特徴とする、請求項1に記載の文書処理装置である。
請求項6に係る本発明は、前記プロセッサは、前記画像領域の画像に基づき同一文書と判定した前記対象文書および前記比較文書のうち、当該対象文書の画像領域の画像を表示した画面に、当該比較文書における対応する画像領域の画像との差異を示唆する表示を付加することを特徴とする、請求項5に記載の文書処理装置である。
請求項7に係る本発明は、前記プロセッサは、前記処理対象の文書の種類に応じて、当該処理対象の文書の種類に対応付けられた前記判定規則を適用して、前記対象文書と前記比較文書とが文書として同一であるか否かの判定を行うことを特徴とする、請求項1に記載の文書処理装置である。
請求項8に係る本発明は、前記プロセッサは、前記判定規則を設定するためのユーザインターフェイス画面を表示装置に表示させ、ユーザによる設定操作を受け付けて、前記処理対象の文書の種類に対応づけられた前記判定規則を生成することを特徴とする、請求項7に記載の文書処理装置である。
請求項9に係る本発明は、コンピュータに、処理対象の複数の文書のうち、一の文書である対象文書と他の一の文書である比較文書とから画像が配置された画像領域を抽出する処理と、前記画像領域に対して画像認識処理を行う処理と、前記画像認識処理により得られた、前記対象文書と前記比較文書の前記画像領域に描画されたオブジェクトに関する情報を比較する処理と、前記オブジェクトに関する情報の比較の結果、および、前記対象文書と前記比較文書とにおける当該オブジェクトに関する情報の相違を文書の変更として検出するかを規定する判定規則に基づき、当該対象文書と当該比較文書とが文書として同一であるか否かの判定を行う処理と、を実行させることを特徴とする、プログラムである。
請求項1の発明によれば、画像を含む文書の比較において、単純な画像の比較により差分判定を行う場合と比較して、画像を含む文書の内容に基づいて文書の差分を判定することができる。
請求項の発明によれば、単に画像領域の画像を比較する場合と比較して、画像に表現されたオブジェクトの種類の比較結果に基づいて文書の差分を判定することができる。
請求項の発明によれば、単に画像領域の画像を比較する場合と比較して、オブジェクトの位置のみが異なる場合に文書の差分としない判定が可能となる。
請求項の発明によれば、単に画像領域の画像を比較する場合と比較して、オブジェクトのサイズのみが異なる場合に文書の差分としない判定が可能となる。
請求項の発明によれば、単に文書の差分の判定結果を出力する場合と比較して、同一内容の文書における画像の差異を確認することができる。
請求項の発明によれば、単に文書の差分の判定結果を出力する場合と比較して、同一内容の文書における画像の差異を直感的に確認することができる。
請求項の発明によれば、特定の判定規則を固定的に用いて文書の差分の判定を行う場合と比較して、文書の種類に応じて異なる判定規則を適用することができる。
請求項の発明によれば、特定の判定規則を固定的に用いて文書の差分の判定を行う場合と比較して、ユーザにより個別に設定された判定規則を適用することができる。
請求項の発明によれば、本発明のプログラムがインストールされたコンピュータにおいて、画像を含む文書の比較において、単純な画像の比較により差分判定を行う場合と比較して、画像を含む文書の内容に基づいて文書の差分を判定することができる。
本実施形態による情報処理システムの全体構成を示す図である。 サーバのハードウェア構成例を示す図である。 文書処理サーバの機能構成を示す図である。 端末装置の構成例を示す図である。 文書処理サーバの動作を示すフローチャートである。 図5に示した文書解析処理の内容を示すフローチャートである。 図6に示したページ判定処理の内容を示すフローチャートである。 図7に示したページ比較処理の内容を示すフローチャートである。 図8に示した領域判定処理の内容を示すフローチャートである。 図8に示した領域判定処理の他の例を示すフローチャートである。 画像領域の差分の判定に用いられる判定規則の設定画面の構成例を示す図である。 対象文書と比較文書の例を示す図である。 判定結果提示画面の表示例を示す図である。 判定結果提示画面の他の表示例を示す図である。 文書処理サーバが対象文書および比較文書のページ画像を解析して得られる解析情報の例を示す図である。
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
<全体構成>
図1は、本実施形態による情報処理システムの全体構成を示す図である。本実施形態の情報処理システムは、文書管理サーバ100と、文書処理サーバ200と、端末装置300とを備えて実現される。
文書管理サーバ100は、処理対象の文書を管理し保持するサーバである。文書処理サーバ200は、複数の文書を解析し、文書間の差分を判定するサーバである。文書管理サーバ100および文書処理サーバ200は、ネットワーク上のサーバであり、例えば、インターネット上のクラウドサービス等として実現しても良い。また、図1に示す構成では文書管理サーバ100と文書処理サーバ200とを別個のサーバとしたが、文書管理サーバ100および文書処理サーバ200の機能を一のサーバの機能として構成しても良い。また、文書管理サーバ100および文書処理サーバ200を、各々の機能に応じて、複数のサーバにより分散して構成しても良い。以下、文書管理サーバ100および文書処理サーバ200を区別しない場合、サーバ100、200と記載する。
端末装置300は、ユーザの操作により、ネットワークを介して文書管理サーバ100や文書処理サーバ200に接続し、各サーバ100、200に対して要求を送信したり、各サーバ100、200から情報を受信して出力したりする装置である。端末装置300としては、例えば、パーソナルコンピュータやタブレット型端末等の情報処理装置が用いられる。
<サーバのハードウェア構成>
図2は、サーバ100、200のハードウェア構成例を示す図である。サーバ100、200は、コンピュータにより実現される。サーバ100、200を実現するコンピュータは、演算手段であるCPU(Central Processing Unit)101と、記憶手段であるRAM(Random Access Memory)102、ROM(Read Only Memory)103、記憶装置104とを備える。RAM102は、主記憶装置(メイン・メモリ)であり、CPU101が演算処理を行う際の作業用メモリとして用いられる。ROM103にはプログラムや予め用意された設定値等のデータが保持されており、CPU101はROM103から直接プログラムやデータを読み込んで処理を実行することができる。記憶装置104は、プログラムやデータの保存手段である。記憶装置104にはプログラムが記憶されており、CPU101は記憶装置104に格納されたプログラムを主記憶装置であるRAM102に読み込んで実行する。また、記憶装置104には、CPU101による処理の結果が格納され、保存される。記憶装置104としては、例えば磁気ディスク装置やSSD(Solid State Drive)等が用いられる。
文書管理サーバ100は、例えば、CPU101がプログラムを実行することにより、文書の管理および管理対象の文書の送受信等の機能を実現する。また、管理対象の文書は、例えば上述した記憶装置104に格納される。また、文書処理サーバ200は、例えば、CPU101がプログラムを実行することにより、文書を解析し、差分を判定するための各種の機能を実現する。以下に、文書処理サーバ200の各機能について説明する。
<文書処理サーバ200の機能構成>
図3は、文書処理サーバ200の機能構成を示す図である。文書処理サーバ200は、文書情報管理機能210、文書処理制御機能220、変換機能230、領域分離機能240、画像認識機能250、テキスト抽出機能260、画像比較機能270、文書差分判定機能280、判定規則生成機能281および出力機能290の各機能を有する。
文書情報管理機能210は、文書管理サーバ100に格納されている処理対象のコンテンツである文書に関する情報を管理する機能である。管理情報としては、例えば、基本情報、文書種別、格納場所等の情報が挙げられる。また、文書情報管理機能210は、処理対象の文書に関して、後述するページごとの画像認識処理が行われた場合、処理結果の情報を管理する。
文書処理制御機能220は、文書情報管理機能210に管理されている情報に基づき、文書管理サーバ100に格納されている処理対象の文書を特定し、取得する機能である。本実施形態では、複数の文書の差分を行うため、取得される処理対象の文書は、一つの基準となる文書(以下、「対象文書」と呼ぶ)と、一つ以上の比較対象の文書(以下、「比較文書」と呼ぶ)となる。また、文書処理制御機能220は、文書処理のための変換機能230、領域分離機能240、画像認識機能250、テキスト抽出機能260を呼び出し、処理を実行させる。
変換機能230は、処理対象の対象文書および比較文書をそれぞれページごとに分け、各ページを画像に変換する機能である。これにより、処理対象の各文書は、各々、ページごとの画像の集合となる。
領域分離機能240は、処理対象の各文書のページごとに、変換機能230で変換されたページの画像を、文字が表示されたブロック領域(以下、「文字領域」と呼ぶ)と、画像が表示されたブロック領域(以下、「画像領域」と呼ぶ)とに分離する機能である。
画像認識機能250は、変換機能230で変換された各文書のページごとの画像および領域分離機能240で分離された各ページの画像領域に対して画像認識処理を行う機能である。また、画像認識機能250は、画像認識処理により、各画像領域に表示された画像オブジェクト(以下、単にオブジェクトと記す)の種別および位置情報を抽出する機能である。
テキスト抽出機能260は、領域分離機能240で分離された各ページの文字領域を解析し、各文字領域に表示された文字とその位置情報を抽出する機能である。文字領域に表示された文字の抽出には、例えば、既存のOCR(Optical Character Recognition)処理を用いて良い。
画像比較機能270は、対象文書および比較文書の対応するページの画像を比較する機能である。また、画像比較機能270は、対象文書および比較文書の対応するページの対応する画像領域の画像を比較する機能である。対応する画像領域の特定には、画像領域に付された付加テキストを利用しても良い。付加テキストとは、画像のタイトルや説明のためのテキストである。例えば、「第○図」「○○チャート」等のテキストである。この付加テキストは、例えば、画像領域に隣接する文字領域からテキスト抽出機能260で読み取る等の手段により得られる。
画像比較機能270は、まず、対応するページの画像や対応する画像領域の画像に関して、同一か否かを判断する機能である。また、画像比較機能270は、同一でないと判断した画像に対して、対象文書および比較文書の対応するページの対応する画像領域に描画された個々のオブジェクトを比較する機能である。具体的には、画像比較機能270は、オブジェクトの種別、位置、サイズ等の相違を判断する。
オブジェクトの種別の判断において、判断の程度は、文書処理サーバ200の仕様や利用目的、差分の検出対象である文書の種類等に応じて個別に定められる。例えば、建築物に関してビルディングか一戸建ての住居かを識別すれば良い場合、ビルディングの種類が異なることを識別する必要がある場合等で異なる程度の判断が求められる。また、オブジェクトの種別の判断は、画像認識機能250の認識性能にも影響を受ける。認識性能が向上すれば、オブジェクトの種別に関して、より詳細な識別が可能となる。
オブジェクトの位置は、例えば、ページ上や画像領域上に設定した座標を用いて特定される。具体例を挙げると、画像領域の基準位置(例えば、画像領域の左上の位置)の座標を原点(0,0)として、各オブジェクトの位置を、画像領域内の各オブジェクトの基準位置(例えば、オブジェクトの左上の位置)の座標値で特定し得る。
オブジェクトのサイズは、上述したオブジェクトの基準位置と、オブジェクトの形状に応じて特定される特徴点との間の距離で特定される。また、オブジェクトの基準位置と特徴点との位置関係に基づき、オブジェクトの形状を特定し得る。オブジェクトの形状に応じた特徴点の特定は、既存の種々のアルゴリズムを用いて行って良い。
文書差分判定機能280は、画像比較機能270による比較の結果および文書の差分の判定規則に基づき、文書の差分の判定を行う機能である。判定規則は、差分の判定対象である文書の種類に応じて用意される。すなわち、異なる種類の文書の差分を判定する場合に、異なる判定規則が用いられる場合がある。判定規則の詳細については後述する。
判定規則生成機能281は、文書差分判定機能280による文書の差分の判定に用いられる判定規則を生成する機能である。判定規則生成機能281は、判定規則を設定するためのユーザインターフェイスである設定画面を生成し、生成した設定画面をユーザの端末装置300へ送って、端末装置300の表示装置に表示させる。そして、設定画面上で行われたユーザによる設定操作を受け付けて、文書の種類に対応づけられた判定規則を生成する。生成された判定規則は、対応する文書が判定対象となった場合に、文書差分判定機能280により参照される。
出力機能290は、文書差分判定機能280の判定結果を出力する機能である。本実施形態では、判定規則に応じて、対象文書および比較文書の対応するページの画像や画像領域の画像が相異なる場合でも、画像に基づく差分の無い同一の文書として判定される場合がある。この場合、出力機能290は、判定結果において、同一文書と判定した複数の文書における画像の差異の情報を出力する。出力機能290は、判定結果の出力方法の一例として、判定結果を示す判定結果提示画面を生成し、生成した判定結果提示画面をユーザの端末装置300へ送って、端末装置300の表示装置に表示させる。出力機能290は、この判定結果提示画面において、対象文書および比較文書の対応する画像の差異を示唆する表示を行っても良い。判定結果提示画面の詳細については後述する。
<判定規則の例>
文書差分判定機能280による判定に用いられる判定規則について、さらに説明する。判定規則は、文書における画像領域の画像の変更をどの粒度で文書の変更として検出するかを規定する規則である。言い換えれば、判定規則は、画像領域の画像に差異があっても文書としては差分とみなさない(同一と判定する)場合における画像の差異の程度を規定する。例えば、次のような判定規則が考えられる。ここでは、画像領域に表示される個々のオブジェクトに対して判定規則が適用されるものとする。
(判定規則1)オブジェクトの種別が一致する場合は、同一と判定する。
(判定規則2)オブジェクトの種別および相対的な位置関係が一致する場合は、同一と判定する。
(判定規則3)オブジェクトの種別およびサイズが一致する場合は、同一と判定する。
上記の判定規則による判定例を挙げると、まず、判定規則1、2、3の何れを適用しても、複数の文書における相対応する画像領域に描画された相対応するオブジェクトの種類が異なる場合、文書差分判定機能280は、そのオブジェクトが同一でないと判断し、対象文書と比較文書との差分として判定する。そして、判定規則1を適用した場合、相対応するオブジェクトの種類が一致すれば、これらのオブジェクトの位置やサイズが異なっていても、文書差分判定機能280は、オブジェクトが同一と判断し、対象文書と比較文書との差分として判定しない。
また、判定規則2を適用すると、相対応するオブジェクトの種類が一致しても、これらのオブジェクトの相対的な位置関係が異なる場合、文書差分判定機能280は、そのオブジェクトが同一でないと判断し、対象文書と比較文書との差分として判定する。一方、相対応するオブジェクトの種類が一致し、これらのオブジェクトの相対的な位置関係が一致するならば、これらのオブジェクトのサイズが異なっていても、文書差分判定機能280は、オブジェクトが同一と判断し、対象文書と比較文書との差分として判定しない。
また、判定規則3を適用すると、相対応するオブジェクトの種類が一致しても、これらのオブジェクトのサイズが異なる場合、文書差分判定機能280は、そのオブジェクトが同一でないと判断し、対象文書と比較文書との差分として判定する。一方、相対応するオブジェクトの種類が一致し、これらのオブジェクトのサイズが一致するならば、これらのオブジェクトの相対的な位置関係が異なっていても、文書差分判定機能280は、オブジェクトが同一と判断し、対象文書と比較文書との差分として判定しない。
文書差分判定機能280は、処理対象の文書の種類に応じて、文書の種類に対応付けられた判定規則を適用して、文書の差分の判定を行う。文書の種類の例としては、契約書、領収書、手順書、説明資料などが挙げられる。例えば、処理対象の文書が建築物件の説明資料であり、文書には間取り図を表示した画像領域が存在する場合を考える。一般に、間取り図では、オブジェクトの種類および位置関係の何れかが異なると、異なる図として認識される。一方、オブジェクトの種類および位置関係が同一であれば、表示サイズが異なっていても、同一の間取りを示す図として認識される。そこで、この文書の場合は、上述した判定規則2を適用して判定を行うことが考えられる。
<端末装置300の構成>
図4は、端末装置300の構成例を示す図である。端末装置300は、制御部310と、表示部320と、入力部330とを備える。端末装置300は、例えば、パーソナルコンピュータ等の情報処理装置により実現される。図4に示す構成は、例示に過ぎず、端末装置300の構成は図示の構成に限定されない。例えば、処理に用いられる各種のデータや処理結果を保持する記憶装置や、制御部310により制御される各種の機能を実現する周辺装置を有していても良い。
制御部310は、端末装置300を制御する装置であり、CPU311と、RAM312と、ROM313とを備える。RAM312は、主記憶装置であり、CPU311が演算処理を行う際の作業用メモリとして用いられる。ROM313にはプログラムや予め用意された設定値等のデータが保持されており、CPU311はROM313からプログラムやデータを読み込んで処理を実行する。
表示部320は、操作画面や情報提示画面等の画面を表示する装置である。表示部320は、文書処理サーバ200による文書の差分の判定結果を提示する判定結果提示画面や新たな判定規則を生成するためのユーザインターフェイス画面等を表示する。表示部320としては、例えば、液晶ディスプレイ等が用いられる。
入力部330は、ユーザによる入力操作を受け付ける装置である。入力部330は、表示部320に表示されたユーザインターフェイス画面等の操作画面にしたがってユーザが行う操作を受け付ける。入力部330としては、例えば、キーボードやマウス等のデバイスが用いられる。また、入力部330としてタッチセンサを用い、表示部320である液晶ディスプレイと組み合わせて、ユーザインターフェイスとしてのタッチパネルを構成しても良い。
<文書処理サーバ200の動作>
図5は、文書処理サーバ200の動作を示すフローチャートである。なお、以下では、比較文書から対象文書が生成されたものとして、生成された対象文書と、元となった比較文書との差分を判定する動作を説明する。なお、以下の説明では画像領域に表示された画像に基づく差分の判定について説明し、文字領域に基づく差分については説明を省略する。文字領域に基づく差分については、例えば、文字領域からテキストを読み取り、読み取ったテキストの内容を比較する既存の手法が適用される。
文書処理サーバ200は、対象文書および比較文書の指定を受け付けると(S501)、文書管理サーバ100から指定された文書を取得すると共に、文書情報管理機能210により管理している該当文書の情報を読み出す(S502)。そして、文書処理サーバ200は、文書処理制御機能220、画像比較機能270および文書差分判定機能280により、対象文書の種類に応じて判定規則を特定し(S503)、文書解析処理を実行する(S504)。
次に、文書処理サーバ200は、画像比較機能270および文書差分判定機能280により、文書解析処理の結果に基づき、対象文書と比較文書の差分を判定する。差分があると判定される場合(S505でYES)、文書処理サーバ200は、文書差分判定機能280により、その差分の情報を取得し(S506)、出力機能290により、取得された差分情報を含む判定結果を出力する(S507)。
一方、文書に差分無しと判定される場合(S505でNO)、文書処理サーバ200は、画像比較機能270および文書差分判定機能280により、文書解析処理の結果に基づき、対象文書および比較文書における画像領域の画像に差異があるか否かを判定する。差異があると判定された場合(S508でYES)、文書処理サーバ200は、文書差分判定機能280により、その差異の情報を取得し(S509)、出力機能290により、取得された差異の情報と共に、文書の差分無しとの判定結果を出力する(S510)。
一方、画像領域の画像に差異が無いと判定された場合(S508でNO)、文書処理サーバ200は、出力機能290により、文書の差分無しとの判定結果を出力する(S511)。したがって、文書処理サーバ200から出力される判定結果は、文書の差分有りとの判定結果、画像の差異の情報を含む文書の差分無しとの判定結果、画像の差異の情報を含まない文書の差分無しとの判定結果の3種類の何れかである。
図6は、図5に示した文書解析処理(S504)の内容を示すフローチャートである。文書解析処理は、図5を参照して説明したメイン処理のサブルーチンとして実行され、以下の処理が対象文書の全ページに対して実行される(S601)。文書処理サーバ200は、文書処理制御機能220の制御により、対象文書の中の1ページを処理対象のページ(以下、「対象ページ」と呼ぶ)として特定し、変換機能230、領域分離機能240、画像認識機能250、テキスト抽出機能260を用いて対象ページの解析を実行する(S602)。この解析により、対象ページが画像化され、画像化された対象ページが画像領域と文字領域とに分離され、分離された画像領域が画像認識され、文字領域からテキストが抽出される。また、比較文書の各ページも画像化される。そして、文書処理サーバ200は、画像比較機能270および文書差分判定機能280により、対象ページと比較文書の各ページとを比較して、対象ページと同一内容とみなされるページ(以下、「整合ページ」と呼ぶ)が存在するか否かを判定するページ判定処理を実行する(S603)。
ページ判定処理の結果、対象ページに対する整合ページが無いと判定された場合(S604でNO)、文書処理サーバ200は、文書差分判定機能280により、対象ページを新規ページとして設定する(S605)。一方、ページ判定処理の結果、対象ページに対する整合ページがあると判定された場合(S604でYES)、文書処理サーバ200は、画像比較機能270により、対象ページおよび整合ページにおける対応する画像の差分情報があるか否かを判定する。画像の差分情報が無い場合(S606でNO)、文書処理サーバ200は、文書差分判定機能280により、対象ページを更新の無いページとして設定する(S607)。そして、画像の差分情報がある場合(S606でYES)、文書処理サーバ200は、文書差分判定機能280により、対象ページを更新のあるページとして設定する(S608)。
S602~S608の処理が対象文書の全ページに対して行われた後、文書処理サーバ200は、文書差分判定機能280により、比較文書に、対象文書の何れのページにも対応しないページがあるか否かを判定する。そのようなページがある場合(S609でYES)、文書処理サーバ200は、文書差分判定機能280により、比較文書の該当ページを対象文書において削除されたページとして設定する(S610)。そして、文書処理サーバ200は、文書差分判定機能280により、対象文書の各ページの設定情報および画像の差分情報を解析結果としてメイン処理へ返す(S611)。一方、対象文書の何れのページにも対応しない比較文書のページが無い場合(S609でNO)、文書処理サーバ200は、文書差分判定機能280により、対象文書の各ページの設定情報および画像の差分情報を解析結果としてメイン処理へ返す(S611)。
図7は、図6に示したページ判定処理(S603)の内容を示すフローチャートである。ページ判定処理は、図6を参照して説明した文書解析処理の一部として、以下の処理が対象文書の全ページに対して実行される(S701)。文書処理サーバ200は、画像比較機能270により、図6のS602で特定された対象ページの画像と比較文書の各ページの画像とを比較する(以下、ページ全体の画像を「ページ画像」と呼ぶ)。対象ページのページ画像と比較対象として着目した比較文書のページ(以下、「着目ページ」と呼ぶ)のページ画像とが一致する場合(S702でYES)、文書処理サーバ200は、文書差分判定機能280により、この着目ページを整合ページとして設定する(S707)。
一方、対象ページのページ画像と着目ページのページ画像とが一致しない場合(S702でNO)、文書処理サーバ200は、文書処理制御機能220の制御により、変換機能230、領域分離機能240、画像認識機能250、テキスト抽出機能260を用いて着目ページの解析を実行する(S703)。この解析により、着目ページが画像領域と文字領域とに分離され、分離された画像領域が画像認識され、文字領域からテキストが抽出される。そして、文書処理サーバ200は、文書処理制御機能220、画像比較機能270および文書差分判定機能280により、対象ページおよび着目ページに対するページ比較処理を実行する(S704)。
次に、文書処理サーバ200は、画像比較機能270および文書差分判定機能280により、ページ比較処理の結果に基づき、対象ページと着目ページの差分を判定する。差分無しと判定される場合(S705でNO)、これらのページの画像領域に表示される画像には差異が存在するので、文書処理サーバ200は、文書差分判定機能280により、対象ページおよび着目ページに含まれる画像領域の差分情報を取得し(S706)、この着目ページを整合ページとして設定する(S707)。
これに対し、対象ページと着目ページとに差分があると判定される場合(S705でYES)、この着目ページは、対象ページに対する整合ページとして設定されない。文書処理サーバ200は、対象文書の全てのページに対してページ判定処理を行うと、ページ判定処理を終了し、図6のS604へ進む。なお、対象文書の全てのページに対して整合ページとして設定されなかった比較文書のページは、図6のS610で削除されたページとされる。
図8は、図7に示したページ比較処理(S704)の内容を示すフローチャートである。ページ比較処理は、図7を参照して説明したページ判定処理のサブルーチンとして実行され、以下の処理が対象ページに含まれる全画像領域に対して実行される(S801)。文書処理サーバ200は、文書処理制御機能220の制御により、対象ページの中の一つの画像領域を処理対象の画像領域(以下、「対象画像領域」と呼ぶ)として特定し、画像認識機能250を用いて画像認識処理を実行する(S802)。この画像認識処理により、対象画像領域に表示されたオブジェクトに関する種別、位置、サイズ等の情報が取得される。そして、文書処理サーバ200は、画像比較機能270により、対象画像領域と比較文書の着目ページ(図7参照)の画像領域とを比較して、対象画像領域と同一内容とみなされる画像領域(以下、「整合領域」と呼ぶ)が存在するか否かを判定する領域判定処理を実行する(S803)。
領域判定処理の結果、対象画像領域に対する整合領域が無いと判定された場合(S804でNO)、文書処理サーバ200は、画像比較機能270により、対象画像領域を新規領域として設定する(S805)。一方、領域判定処理の結果、対象画像領域に対する整合領域があると判定された場合(S804でYES)、文書処理サーバ200は、画像比較機能270により、対象画像領域および整合領域に表示された対応するオブジェクトの差分情報があるか否かを判定する。オブジェクトの差分情報が無い場合(S806でNO)、文書処理サーバ200は、画像比較機能270により、対象画像領域を更新の無い領域として設定する(S807)。そして、オブジェクトの差分情報がある場合(S806でYES)、文書処理サーバ200は、画像比較機能270により、対象画像領域を更新のある領域として設定する(S808)。
S802~S808の処理が対象ページの全画像領域に対して行われた後、文書処理サーバ200は、画像比較機能270により、着目ページに、対象ページの何れの画像領域にも対応しない画像領域があるか否かを判定する。そのような画像領域がある場合(S809でYES)、文書処理サーバ200は、画像比較機能270により、着目ページの該当領域を対象ページにおいて削除された画像領域として設定する(S810)。そして、文書処理サーバ200は、画像比較機能270により、対象ページの各画像領域の設定情報およびオブジェクトの差分情報を解析結果としてページ判定処理へ返す(S811)。一方、対象ページの何れの画像領域にも対応しない着目ページの画像領域が無い場合(S809でNO)、文書処理サーバ200は、画像比較機能270により、対象ページの各画像領域の設定情報およびオブジェクトの差分情報を解析結果としてページ判定処理へ返す(S811)。
図9は、図8に示した領域判定処理(S803)の内容を示すフローチャートである。領域判定処理は、図8を参照して説明したページ比較処理の一部として、以下の処理が対象ページの全画像領域に対して実行される(S901)。文書処理サーバ200は、文書処理制御機能220の制御により、着目ページの画像領域に対し、画像認識機能250を用いて画像認識処理を実行する(S902)。この画像認識処理により、画像領域に表示されたオブジェクトに関する種別、位置、サイズ等の情報が取得される。なお、この画像認識処理は最初の対象ページに対する動作においてのみ行い、画像認識処理により得られたオブジェクトの情報は、例えば図2に示した記憶装置104に保持し、他の対象ページに対する動作において利用するようにしても良い。
次に、文書処理サーバ200は、画像比較機能270により、対象画像領域に表示されたオブジェクトと着目ページの画像領域に表示されたオブジェクトとを比較する。ここで、オブジェクトの比較に関して、図5のS503で特定された判定規則が用いられる。したがって、対象文書の種類に応じて、オブジェクトの比較の内容が異なる。図9に示す動作例では、上述した判定規則1「オブジェクトの種別が一致する場合は、同一と判定する。」を用いることとする。したがって、この動作例では、オブジェクトの種類が一致するか否かのみが判定される。
対象画像領域に表示されたオブジェクトの種類と着目ページにおいて比較対象として着目した画像領域(以下、「着目領域」と呼ぶ)に表示されたオブジェクトの種類とが一致する場合(S903でYES)、文書処理サーバ200は、画像比較機能270により、この着目領域を整合領域として設定する(S904)。一方、対象画像領域に表示されたオブジェクトの種類と着目領域に表示されたオブジェクトの種類とが一致しない場合(S903でNO)、この着目領域は、整合領域として設定されない。文書処理サーバ200は、対象ページの全ての画像領域に対して着目ページの画像領域との比較を行うと、対象ページに対する領域判定処理を終了し、図8のS804へ進む。なお、対象ページの全ての画像領域に対して整合領域として設定されなかった着目ページの画像領域は、図8のS810で削除された画像領域とされる。
図10は、図8に示した領域判定処理(S803)の他の例を示すフローチャートである。図10に示す動作例は、対象画像領域に表示されたオブジェクトと着目ページの画像領域に表示されたオブジェクトとの比較の内容が、図9に示した動作例と異なる。したがって、図10のS1001、S1002は、図9のS901、S902と同様である。ここでは、オブジェクトの比較において、上述した判定規則2「オブジェクトの種別および相対的な位置関係が一致する場合は、同一と判定する。」を用いる。したがって、この動作例では、オブジェクトの種類が一致するか否かと、オブジェクトの位置が一致するか否かとが判定される。
対象画像領域に表示されたオブジェクトの種類と着目領域に表示されたオブジェクトの種類とが一致し(S1003でYES)、種類が一致するオブジェクトの相対的な位置関係が一致する場合(S1004でYES)、文書処理サーバ200は、画像比較機能270により、この着目領域を整合領域として設定する(S1005)。一方、オブジェクトの種類が一致しない場合(S1003でNO)、および、オブジェクトの種類は一致するが、種類が一致するオブジェクトの相対的な位置関係が一致しない場合(S1003でYES、S1004でNO)、この着目領域は、整合領域として設定されない。文書処理サーバ200は、対象ページの全ての画像領域に対して着目ページの画像領域との比較を行うと、対象ページに対する領域判定処理を終了し、図8のS804へ進む。そして、対象ページの全ての画像領域に対して整合領域として設定されなかった着目ページの画像領域は、図8のS810で削除された画像領域とされる。
<画像領域の判定例>
図11は、画像領域の差分の判定に用いられる判定規則の設定画面の構成例を示す図である。図3を参照して説明したように、判定規則は、処理対処の文書の種類に応じて用意することができ、新規の判定規則を文書処理サーバ200の判定規則生成機能281により生成し得る。判定規則を生成する場合、例えば、判定規則生成機能281により制御される設定画面を端末装置300に送信して表示部320に表示させ、ユーザによる操作を受け付けて行う。
図11に示す設定画面410は、文書種別設定欄411と、規則設定欄412とを有する。文書種別設定欄411は、生成される判定規則の適用対象となる文書の種類を特定する情報が設定される。図11に示す例では、文書種別設定欄411に設定可能な文書の種類の一覧が提示されている。図では、「契約書」、「領収書」、「物件間取り」、「プレゼン資料」の4種類が提示されている。また、各項目にはラジオボタンが表示されており、4種類の文書の中から一つを選択できるようになっている。
規則設定欄412は、適用する判定規則の内容を特定する情報が設定される。図11に示す例では、選択可能な規則が列挙され、各規則にチェックボックスが表示されている。ユーザは、チェックボックスをチェックすることにより、文書種別設定欄411で特定された種類の文書に対して適用する判定規則を選択できるようになっている。
文書処理サーバ200は、判定規則生成機能281により、文書種別設定欄411および規則設定欄412に対して行われた操作により設定された情報に基づき、判定規則を生成する。生成された判定規則は、文書差分判定機能280による判定において、文書種別設定欄411で選択された種類の対象文書と比較文書との差分を判定するために適用される。
図12は、対象文書と比較文書の例を示す図である。図12(A)は対象文書の例を示す図、図12(B)は図12(A)の対象文書に対する比較文書の一例を示す図、図12(C)は図12(A)の対象文書に対する比較文書の他の一例を示す図、図12(D)は図12(A)の対象文書に対する比較文書の他の一例を示す図である。図12(A)~(D)に示す各文書には、各々、タイトルが記載された文字領域、図の説明が記載された文字領域、画像が記載された画像領域がある。
図12(A)の対象文書と図12(B)の比較文書1とを比較すると、二つの文字領域は一致しており、画像領域の画像はオブジェクトの種類(「雲」、「ビルディング」、「顔」)も相対的な位置関係も同一であるが、画像領域のサイズが異なっている。文書処理サーバ200がこれらの文書の差分を判定する場合、上述した判定規則1「オブジェクトの種別が一致する場合は、同一と判定する。」を適用すると、二つの文書は一致し、文書の差分無しと判定される。そして、画像領域のサイズが異なることを示す画像領域の差分情報が取得される。同様に、上述した判定規則2「オブジェクトの種別および相対的な位置関係が一致する場合は、同一と判定する。」を適用した場合も、二つの文書は一致し、文書の差分無しと判定され、画像領域のサイズが異なることを示す画像領域の差分情報が取得される。これに対し、上述した判定規則3「オブジェクトの種別およびサイズが一致する場合は、同一と判定する。」を適用すると、二つの文書は差分有りと判定され、画像領域のサイズが異なることを示す画像領域の差分情報が取得される。
図12(A)の対象文書と図12(C)の比較文書2とを比較すると、二つの文字領域は一致しており、画像領域のサイズが同一である。また、画像領域の画像はオブジェクトの種類は同一であるが、一部のオブジェクト(「ビルディング」および「顔」)の相対的な位置が異なっている。文書処理サーバ200がこれらの文書の差分を判定する場合、上述した判定規則1「オブジェクトの種別が一致する場合は、同一と判定する。」を適用すると、二つの文書は一致し、文書の差分無しと判定される。そして、オブジェクトの位置が異なることを示す画像領域の差分情報が取得される。これに対し、上述した判定規則2「オブジェクトの種別および相対的な位置関係が一致する場合は、同一と判定する。」を適用すると、二つの文書は差分有りと判定され、オブジェクトの位置が異なることを示す画像領域の差分情報が取得される。また、上述した判定規則3「オブジェクトの種別およびサイズが一致する場合は、同一と判定する。」を適用すると、二つの文書は一致し、文書の差分無しと判定され、オブジェクトの位置が異なることを示す画像領域の差分情報が取得される。
図12(A)の対象文書と図12(D)の比較文書3とを比較すると、タイトルの文字領域は一致しており、図の説明の文字領域のテキストが異なっている。そして、画像領域に表示された画像が異なっている。文書処理サーバ200がこれらの文書の差分を判定する場合、判定規則1、2、3の何れを適用しても二つの文書は差分有りと判定される。そして、対象文書の画像領域には比較文書3の画像領域には表示されていないオブジェクト(「顔」)が表示されていること、両文書の画像領域に表示されている同じ種類のオブジェクトの一つ(「ビルディング」)は画像領域における相対的な位置関係が異なることを示す、画像領域の差分情報が取得される。
図13は、判定結果提示画面の表示例を示す図である。図13に示す判定結提示画面果420は、ページ構成提示欄421と、ページ表示欄422と、削除ページ提示欄423とを有する。図13に示す例では、ある文書が更新され、更新後の文書を対象文書、更新前の文書を比較文書として差分を判定した様子が示されている。また、この差分の判定は、上述した判定規則1「オブジェクトの種別が一致する場合は、同一と判定する。」を適用して行われたものとする。
ページ構成提示欄421には、対象文書のページ構成と、各ページの判定結果が表示される。対象文書のページ構成は、ページ番号を並べて表示して示され、各ページの判定結果は、各ページ番号に判定結果を示す文字を表示して示されている。図13に示す例では、対象文書が4ページで構成され、第1ページおよび第4ページは比較文書との間で差分が無く(図では、「変更なし」と記載)、第2ページは対象文書に新たに追加されたページであり(図では、「追加」と記載)、第3ページは比較文書の対応するページから内容が変更されたページであること(図では、「内容変更」と記載)を示している。また、図13に示す例では、第1ページのページ番号が強調表示され、ページ表示欄422に第1ページが表示されていることを示している。
ページ表示欄422には、対象文書の中のユーザが選択したページの画像が表示される。図13に示す例では、ページ構成提示欄421に強調表示された第1ページの画像が表示されている。ここで、対象文書の第1ページの画像は、図12(A)に示した対象文書の画像であるものとする。そして、比較文書の第1ページの画像は、図12(B)に示した比較文書1の画像であるものとする。
ここで、ページ表示欄422に表示される画像には、対象文書と比較文書との差分を示す表示が行われる。図13に示す例では、図12(A)の対象文書と図12(B)の比較文書1との差分が示されている。これらの文書に関しては、図12(A)、(B)を参照して説明したように、画像領域に表示されるオブジェクトの種類も相対的な位置関係も同一であるが、画像領域のサイズが異なっている。このため、図13のページ表示欄422に表示された対象文書の第1ページでは、対象文書の画像領域422aに重ねて、比較文書1の画像領域に対応する領域422bの表示(図中、破線で表示)を行い、比較文書1に対して、対象文書では画像領域がどのように変化したかを視覚的に把握できるようにしている。
また、ページ構成提示欄421の表示とページ表示欄422の表示とを参酌すると、ページ表示欄422の表示によれば、対象文書の画像領域と比較文書の画像領域の内容が異なっているが、ページ構成提示欄421の表示によれば、これらの文書は「変更なし」とされている。ここでは、上述したように差分の判定に判定規則1が用いられたため、画像領域の表示が上記のように変更されたとしても、文書としては変更なしと判断された。
削除ページ提示欄423には、比較文書のページのうち、対象ページに対応するページが存在しないページを示す情報が表示される。この例では、削除ページ提示欄423に示されるページは、更新により削除されたページであることを意味する。図13に示す例では、該当するページが存在せず、削除ページ提示欄423にページの情報が表示されていない。したがって、対象文書への更新において引用文書から削除されたページが無いことが示されている。
図14は、判定結果提示画面の他の表示例を示す図である。この例では、更新前の比較文書の第1ページの画像が、図12(C)に示した比較文書2の画像であるものとする。図14に示す例において、各表示欄421、422、423の表示内容は、図13に示した例と同一である。しかしながら、更新前の比較文書が異なるため、ページ表示欄422に表示された第1ページの画像における対象文書と比較文書との差分を示す表示が、図13に示した例とは異なっている。
図14に示す例では、図12(A)の対象文書と図12(C)の比較文書2との差分が示されている。これらの文書に関しては、図12(A)、(C)を参照して説明したように、画像領域のサイズおよび画像領域に表示されるオブジェクトの種類は同一であるが、一部のオブジェクトの相対的な位置が異なっている。このため、図14のページ表示欄422に表示された対象文書の第1ページでは、対象文書の画像領域422aにおいて、位置が変更されたオブジェクト(「ビルディング」および「顔」)の移動を示す矢印442cを表示し、比較文書2に対して、対象文書では画像領域がどのように変化したかを視覚的に把握できるようにしている。矢印は、例えば、移動したオブジェクトの特定の点の位置(例えば基準位置)を用い、比較文書の画像領域におけるオブジェクトの基準位置を始点、対象文書の画像領域におけるオブジェクトの基準位置を終点として表示される。
図15は、文書処理サーバ200が対象文書および比較文書のページ画像を解析して得られる解析情報の例を示す図である。図15に示す解析情報には、「文書名」、「ページ番号」、「位置情報」、「領域タイプ」、「領域内容」の各情報が記録されている。「文書名」は、ページ画像に示されるページが含まれる文書のファイル名である。「ページ番号」は、ページ画像に示されるページのページ番号である。「位置情報」は、ページ画像において、文書処理サーバ200の領域分離機能240により分離された各領域(画像領域および文字領域)の位置を示す情報である。ここでは、各領域は全て長方形(正方形を含む)とし、長方形領域の各頂点の位置を、ページ画像に設定された座標系における座標値で示した情報が記載されている。「領域タイプ」には、ページ画像から分離された領域が画像領域か文字領域かを示す情報が記録されている。画像領域であれば「イメージ」と記録され、文字領域であれば「テキスト」と記録されるものとする。「領域内容」には、各領域の内容を示す情報が記録されている。画像領域の「領域内容」には、画像領域から抽出されたオブジェクトの情報が記録され、文字領域の「領域内容」には、文字領域に記載されたテキストが記録される。
ページ画像に設定される座標系および座標値の標記についてさらに説明する。ページ画像は長方形であり、このページ画像に設定される座標系を、左上角を原点(0,0)とする直交座標とし、右方向へ伸びる横軸をx軸、下方向へ伸びる縦軸をy軸とする。また、y軸は、原点からの距離を負の値で示す。この座標系において、上記の長方形領域(画像領域および文字領域)は、各頂点の座標値を表す要素列[x1,y1,x2,y2]で示される。長方形領域には4つの頂点があり、この要素列を用いると、左上の頂点の座標値[x1,y1]、右上の頂点の座標値[x2,y1]、左下の頂点の座標値[x1,y2]、右下の頂点の座標値[x2,y2]となるものとする。例えば、図15の1行目に示された領域は、位置情報[20、-20、60、-40]で位置が示されている。したがって、この領域において、左上の頂点の位置は座標値[20、-20]の位置であり、右上の頂点の位置は座標値[60、-20]の位置であり、左下の頂点の位置は座標値[20、-40]の位置であり、右下の頂点の位置は座標値[60、-40]の位置である。
また、画像領域(領域タイプ「イメージ」)に表示されたオブジェクトの位置は、画像領域の基準位置に対する各オブジェクトの基準位置で示される。画像領域の基準位置は、長方形領域である画像領域の左上の頂点の位置とする。オブジェクトの基準位置は、例えば、オブジェクトを内包し、画像領域の各辺に平行な辺を有する長方形(正方形を含む)の左上の頂点の位置とする。画像領域の基準位置に対する各オブジェクトの基準位置は、画像領域に対して設定された座標系における座標値で示される。この座標系は、画像領域の基準位置を原点(0,0)とする直交座標とし、右方向へ伸びる横軸をx軸、下方向へ伸びる縦軸をy軸とする。また、y軸は、原点からの距離を負の値で示す。
図15に示した画像領域に表示されたオブジェクトの情報は、要素列[種別、x座標値、y座標値]で示されている。「種別」は、文書処理サーバ200の画像認識機能250で特定されたオブジェクトの種別を示す情報である。「x座標値」および「y座標値」は、画像領域に対して設定された座標系におけるx座標値およびy座標値である。例えば、図15の3行目の画像領域の「領域内容」に示される三つのオブジェクトのうちの一つであるオブジェクト[雲,10,-10]は、オブジェクトの種別が「雲」であり、このオブジェクトの位置は、画像領域に設定された座標系における座標値[10,-10]で示される。
したがって、図15に示す解析情報の例からは、以下のような内容が読み取れる。まず、「サンプル.ppt」というファイル名の文書の第1ページから第3ページについて記録されており、各ページには二つの文字領域と一つの画像領域とが存在することが示されている。第1ページと第2ページとを参照すると、二つの文字領域の内容「タイトル」および「図の説明 雲と人とビルが写っています。」は同一である。また、画像領域のサイズは同一であり、画像領域に表示されたオブジェクトの種類および画像領域における位置は同一であるが、ページにおける画像領域の位置(「位置情報」の要素列を参照)が異なっている。一方、第1ページと第3ページとを参照すると、一の文字領域の内容「タイトル」は同一であるが、他の文字領域の内容は、第3ページでは「図の説明 雲とビルが写っています。」となっており、内容が異なっている。また、ページにおける画像領域の位置および画像領域のサイズは同一である。そして、画像領域に表示されたオブジェクトのうち、「雲」は位置が同一であるが、「ビル」は位置が異なっている。また、第1ページの画像領域に表示されているオブジェクト「人」は、第3ページには表示されていない。
以上、本発明の実施形態について説明したが、本発明の技術的範囲は上記実施形態には限定されない。例えば、上記の実施形態では、画像領域の画像認識処理の結果として得られる複数の文書の画像領域の差異と、文書の差分の判定との関係を説明したが、文字領域から得られるテキストの内容を参酌して文書の差分の判定に反映させても良い。また、図11に示した判定規則の設定画面の構成、図13および図14に示した判定結果提示画面の構成、図15に示した解析情報は、何れも例示に過ぎず、図示の構成に限定されるものではない。その他、本発明の技術思想の範囲から逸脱しない様々な変更や構成の代替は、本発明に含まれる。
100…文書管理サーバ、101…CPU、102…RAM、103…ROM、200…文書処理サーバ、210…文書情報管理機能、220…文書処理制御機能、230…変換機能、240…領域分離機能、250…画像認識機能、260…テキスト抽出機能、270…画像比較機能、280…文書差分判定機能、281…判定規則生成機能、290…出力機能、300…端末装置、310…制御部、311…CPU、312…RAM、313…ROM、320…表示部、330…入力部

Claims (9)

  1. プロセッサを備え、
    前記プロセッサは、
    処理対象の複数の文書のうち、一の文書である対象文書と他の一の文書である比較文書とから画像が配置された画像領域を抽出し、
    前記画像領域に対して画像認識処理を行い、
    前記画像認識処理により得られた、前記対象文書と前記比較文書の前記画像領域に描画されたオブジェクトに関する情報を比較し、
    前記オブジェクトに関する情報の比較の結果および、前記対象文書と前記比較文書とにおける当該オブジェクトに関する情報の相違を文書の変更として検出するかを規定する判定規則に基づき、当該対象文書と当該比較文書とが文書として同一であるか否かの判定を行うことを特徴とする、文書処理装置。
  2. 前記プロセッサは、前記対象文書および前記比較文書における相対応する前記画像領域に描画された相対応する前記オブジェクトの差異に基づき、当該対象文書と当該比較文書とが文書として同一であるか否かの判定することを特徴とする、
    請求項に記載の文書処理装置。
  3. 前記プロセッサは、前記対象文書および前記比較文書における相対応する前記画像領域における相対応する前記オブジェクトの位置の差異を、当該対象文書と当該比較文書とが文書として同一であるか否かの判定に適用しないことを特徴とする、
    請求項に記載の文書処理装置。
  4. 前記プロセッサは、前記対象文書および前記比較文書における相対応する前記画像領域における相対応する前記オブジェクトのサイズの差異を、当該対象文書と当該比較文書とが文書として同一であるか否かの判定に適用しないことを特徴とする、
    請求項に記載の文書処理装置。
  5. 前記プロセッサは、前記画像領域の画像に基づき同一の文書と判定した前記対象文書および前記比較文書における当該画像の差異の情報を出力することを特徴とする、
    請求項1に記載の文書処理装置。
  6. 前記プロセッサは、前記画像領域の画像に基づき同一文書と判定した前記対象文書および前記比較文書のうち、当該対象文書の画像領域の画像を表示した画面に、当該比較文書における対応する画像領域の画像との差異を示唆する表示を付加することを特徴とする、
    請求項に記載の文書処理装置。
  7. 前記プロセッサは、前記処理対象の文書の種類に応じて、当該処理対象の文書の種類に対応付けられた前記判定規則を適用して、前記対象文書と前記比較文書とが文書として同一であるか否かの判定を行うことを特徴とする、
    請求項1に記載の文書処理装置。
  8. 前記プロセッサは、
    前記判定規則を設定するためのユーザインターフェイス画面を表示装置に表示させ、
    ユーザによる設定操作を受け付けて、前記処理対象の文書の種類に対応づけられた前記判定規則を生成することを特徴とする、請求項に記載の文書処理装置。
  9. コンピュータに、
    処理対象の複数の文書のうち、一の文書である対象文書と他の一の文書である比較文書とから画像が配置された画像領域を抽出する処理と、
    前記画像領域に対して画像認識処理を行う処理と、
    前記画像認識処理により得られた、前記対象文書と前記比較文書の前記画像領域に描画されたオブジェクトに関する情報を比較する処理と、
    前記オブジェクトに関する情報の比較の結果および、前記対象文書と前記比較文書とにおける当該オブジェクトに関する情報の相違を文書の変更として検出するかを規定する判定規則に基づき、当該対象文書と当該比較文書とが文書として同一であるか否かの判定を行う処理と、
    を実行させることを特徴とする、プログラム。
JP2020016610A 2020-02-03 2020-02-03 文書処理装置およびプログラム Active JP7484198B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020016610A JP7484198B2 (ja) 2020-02-03 2020-02-03 文書処理装置およびプログラム
US16/908,714 US11875588B2 (en) 2020-02-03 2020-06-22 Document processing apparatus and non-transitory computer readable medium storing program
CN202010769263.4A CN113221607A (zh) 2020-02-03 2020-07-31 文档处理装置、存储介质及文档处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020016610A JP7484198B2 (ja) 2020-02-03 2020-02-03 文書処理装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2021124843A JP2021124843A (ja) 2021-08-30
JP7484198B2 true JP7484198B2 (ja) 2024-05-16

Family

ID=77085869

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020016610A Active JP7484198B2 (ja) 2020-02-03 2020-02-03 文書処理装置およびプログラム

Country Status (3)

Country Link
US (1) US11875588B2 (ja)
JP (1) JP7484198B2 (ja)
CN (1) CN113221607A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230274569A1 (en) * 2022-02-25 2023-08-31 Open Text Holdings, Inc. Systems and methods for intelligent zonal recognition and automated context mapping

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009277185A (ja) 2008-05-19 2009-11-26 Canon Inc 管理装置、管理方法及びプログラム
JP2012022601A (ja) 2010-07-16 2012-02-02 Fuji Xerox Co Ltd 文書処理装置及びプログラム
US20130246914A1 (en) 2012-03-15 2013-09-19 Accenture Global Services Limited Document management systems and methods
JP2016024528A (ja) 2014-07-17 2016-02-08 富士フイルム株式会社 情報処理装置、プログラム、及びデジタル検版方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0844827A (ja) * 1994-07-27 1996-02-16 Ricoh Co Ltd デジタル複写機
US5999647A (en) * 1995-04-21 1999-12-07 Matsushita Electric Industrial Co., Ltd. Character extraction apparatus for extracting character data from a text image
JP3178305B2 (ja) * 1995-06-29 2001-06-18 オムロン株式会社 画像処理方法及び装置並びにそれを搭載した複写機,スキャナ及びプリンター
US6137905A (en) * 1995-08-31 2000-10-24 Canon Kabushiki Kaisha System for discriminating document orientation
US6104833A (en) * 1996-01-09 2000-08-15 Fujitsu Limited Pattern recognizing apparatus and method
US6188790B1 (en) * 1996-02-29 2001-02-13 Tottori Sanyo Electric Ltd. Method and apparatus for pre-recognition character processing
US6327387B1 (en) * 1996-12-27 2001-12-04 Fujitsu Limited Apparatus and method for extracting management information from image
JP3606500B2 (ja) * 1997-01-31 2005-01-05 株式会社リコー 矩形分類方法
US6562077B2 (en) * 1997-11-14 2003-05-13 Xerox Corporation Sorting image segments into clusters based on a distance measurement
JP4071328B2 (ja) * 1997-11-18 2008-04-02 富士通株式会社 文書画像処理装置および方法
JP2001297303A (ja) * 2000-02-09 2001-10-26 Ricoh Co Ltd 文書画像認識方法、装置及びコンピュータ読み取り可能な記録媒体
US6674900B1 (en) * 2000-03-29 2004-01-06 Matsushita Electric Industrial Co., Ltd. Method for extracting titles from digital images
US7031553B2 (en) * 2000-09-22 2006-04-18 Sri International Method and apparatus for recognizing text in an image sequence of scene imagery
JP4067957B2 (ja) * 2002-12-20 2008-03-26 富士通株式会社 境界検出方法、プログラム、及び画像処理装置
JP4227432B2 (ja) * 2003-02-13 2009-02-18 キヤノン株式会社 画像処理方法
JP4533273B2 (ja) * 2005-08-09 2010-09-01 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム
US8176004B2 (en) * 2005-10-24 2012-05-08 Capsilon Corporation Systems and methods for intelligent paperless document management
JP2008059527A (ja) * 2006-09-04 2008-03-13 Ricoh Co Ltd 画像処理装置およびプログラム
JP2009087270A (ja) * 2007-10-02 2009-04-23 Fuji Xerox Co Ltd 画像処理装置及びプログラム
JP4633773B2 (ja) * 2007-10-03 2011-02-16 富士通株式会社 文書画像処理装置および方法
JP5538812B2 (ja) * 2009-10-23 2014-07-02 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9514103B2 (en) * 2010-02-05 2016-12-06 Palo Alto Research Center Incorporated Effective system and method for visual document comparison using localized two-dimensional visual fingerprints
CN101807207B (zh) * 2010-03-22 2011-10-26 北京大用科技有限责任公司 一种基于内容差异比较的文档共享方法
JP4954316B2 (ja) * 2010-06-17 2012-06-13 シャープ株式会社 ドキュメント作成装置、ドキュメント作成方法、ドキュメント作成プログラム及び記録媒体
JP2012033031A (ja) * 2010-07-30 2012-02-16 Canon Inc 文書作成・編集支援方法および文書作成・編集支援装置
US8996350B1 (en) * 2011-11-02 2015-03-31 Dub Software Group, Inc. System and method for automatic document management
JP5942628B2 (ja) 2012-06-20 2016-06-29 マツダ株式会社 生産ラインの設計支援方法及び生産ラインの設計支援装置
US9355312B2 (en) * 2013-03-13 2016-05-31 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
JP6451052B2 (ja) * 2014-01-09 2019-01-16 富士ゼロックス株式会社 画像処理装置及びプログラム
JP6885319B2 (ja) * 2017-12-15 2021-06-16 京セラドキュメントソリューションズ株式会社 画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009277185A (ja) 2008-05-19 2009-11-26 Canon Inc 管理装置、管理方法及びプログラム
JP2012022601A (ja) 2010-07-16 2012-02-02 Fuji Xerox Co Ltd 文書処理装置及びプログラム
US20130246914A1 (en) 2012-03-15 2013-09-19 Accenture Global Services Limited Document management systems and methods
JP2016024528A (ja) 2014-07-17 2016-02-08 富士フイルム株式会社 情報処理装置、プログラム、及びデジタル検版方法

Also Published As

Publication number Publication date
CN113221607A (zh) 2021-08-06
US11875588B2 (en) 2024-01-16
JP2021124843A (ja) 2021-08-30
US20210240977A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
US10346560B2 (en) Electronic blueprint system and method
JP6403766B2 (ja) 画像内に描かれたテキストの翻訳の提示
JP5665125B2 (ja) 画像処理方法、及び、画像処理システム
US9529438B2 (en) Printing structured documents
US11269950B2 (en) Analysis for framework assessment
JP6020191B2 (ja) 表示制御装置及びプログラム
US20230078878A1 (en) Systems and methods for coordinate-based search
KR20210121515A (ko) 이미지 내 텍스트 색상과 배경 색상을 추출하여 제공하는 방법, 시스템, 및 컴퓨터 프로그램
JP7290391B2 (ja) 情報処理装置及びプログラム
JP7484198B2 (ja) 文書処理装置およびプログラム
US20140359451A1 (en) Computer-readable non-transitory storage medium with image processing program stored thereon, image processing device, and image processing system
JP2009252185A (ja) 情報検索装置、情報検索方法、制御プログラム及び記録媒体
CN113449732A (zh) 信息处理装置、图像读取装置、记录介质、信息处理方法
JP7586581B2 (ja) 製品の共通特徴を比べて比較結果を提供する方法、システム、およびコンピュータプログラム
JP7134814B2 (ja) システム、ページデータ出力方法、及びプログラム
JP2020067721A (ja) 情報処理装置、サーバ、電子文書の表示方法、電子文書の配信方法、電子文書生成システムおよびプログラム
JP7504674B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2021064209A (ja) 情報処理装置及び情報処理プログラム
JP7366474B1 (ja) 戸籍解析システム
US20220019835A1 (en) Image processing system, apparatus, method, and storage medium
JP2014119939A (ja) 情報処理装置、情報処理方法、プログラム、情報処理システム
EP4254224A1 (en) Information processing system and program
JP2013054658A (ja) 情報処理装置、制御方法、プログラム
JP7041868B2 (ja) 表示装置及び表示方法並びに表示システム
JP2023020180A (ja) 画像管理装置、画像管理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240415

R150 Certificate of patent or registration of utility model

Ref document number: 7484198

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150