JP4232679B2 - 画像形成装置およびプログラム - Google Patents

Description

本発明は、見開き原稿の左右または上下のページの画像を別々に形成する機能を有する画像形成装置に関する。

見開き原稿の左右または上下のページを読み取って、ページ毎に原稿画像を複写または画像データを生成して保存（以降、「スキャン」と称する）する、いわゆる「ページ連写」の機能を持つ複写機が知られている。ページ連写機能においては、複写機は、読み取った画像を左右または上下に２分割し、それぞれ別々の用紙に印刷する。あるいは、スキャン機能を持つ複写機であれば、２分割した画像の各々を表す画像データを生成して保存する。

ところで、ページ連写機能を用いて読み取った画像をページ順に並べ替えるための技術が提案されている。例えば、特許文献１に記載の電子ファイリング装置では、製本された原稿を最終ページから順番に読み取った場合には、読み取り順に対して降順で各画像にページ番号を与え、このページ番号と画像とを対応付けて記憶する。このようにして、原稿のページ順と読み取り順が異なる場合でも、本来のページ順で原稿の画像を格納することができるようになる。
特開平８−２２５３５号公報

しかしながら、特許文献１に記載の技術では、原稿の綴じ方に応じて原稿画像の格納順を表す指示をユーザが装置に入力するという作業を強いられていた。
本発明は、上述した背景の下になされたものであり、見開き原稿の各ページの画像を別々に形成するページ連写機能を備えた画像形成装置において、ページの順序を判定し、その順序に従って画像形成または画像データの格納を行うことのできる技術の提供を目的とする。

上述の課題を解決するために、本発明は、原稿を読み取って原稿画像データを生成する画像読取手段と、指示を入力する指示入力手段と、前記原稿画像データで表される原稿画像のレイアウトを解析するレイアウト解析手段と、見開き原稿の左右または上下のページの画像を別々に形成することの指示が前記指示入力手段により入力されたときに、前記レイアウト解析手段による解析結果に基づいて左右または上下のページの順序を定める連写順序決定手段と、前記原稿画像を左右または上下に２分割した分割画像を表す分割画像データを生成し、前記連写順序決定手段で定められた順序に従って該分割画像データを出力する画像分割手段と、前記画像分割手段から出力された分割画像データに対して予め定められた処理を行う処理手段とを有することを特徴とする画像形成装置を提供する。

上記の構成を有する画像形成装置は、まず、画像読取手段が見開き原稿を読み取って原稿画像データを生成する。見開き原稿の左右または上下のページの画像を別々に形成することの指示が入力されたときに、レイアウト解析手段が原稿画像のレイアウトを解析する。次に、連写順序決定手段がレイアウトの解析結果に基づいて左右または上下のページの順序を定める。次に、画像分割手段が原稿画像を左右または上下に２分割した分割画像を表す分割画像データを生成し、連写順序決定手段で定められた順序に従って分割画像データを出力する。そして、処理手段が画像分割手段から出力された分割画像データに対して予め定められた処理を行う。

また、本発明は、見開き原稿を読み取って原稿画像データを生成するステップと、前記見開き原稿の左右または上下のページの画像を別々に形成することの指示が入力されたときに、原稿画像のレイアウトを解析し、該レイアウトの解析結果に基づいて左右または上下のページの順序を定めるステップと、前記原稿画像を左右または上下に２分割した分割画像を表す分割画像データを生成し、前記順序に従って前記分割画像データを出力するステップと、出力された分割画像データに対して予め定められた処理を行うステップとを有する画像形成方法を提供する。

また、本発明は、コンピュータ装置を、原稿を読み取って原稿画像データを生成する画像読取手段と、指示を入力する指示入力手段と、前記原稿画像データで表される原稿画像のレイアウトを解析するレイアウト解析手段と、見開き原稿の左右または上下のページの画像を別々に形成することの指示が前記指示入力手段により入力されたときに、前記レイアウト解析手段による解析結果に基づいて左右または上下のページの順序を定める連写順序決定手段と、前記原稿画像を左右または上下に２分割した分割画像を表す分割画像データを生成し、前記連写順序決定手段で定められた順序に従って該分割画像データを出力する画像分割手段と、前記画像分割手段から出力された分割画像データに対して予め定められた処理を行う処理手段として機能させるためのプログラムを提供する。

本発明によれば、見開き原稿の各ページの画像を別々に形成するページ連写機能を備えた画像形成装置において、ページの順序を判定し、その順序に従って画像形成または画像データの格納を行うことができる。

以下、図面を参照して、本発明の実施の形態について説明する。
＜構成＞
図１は、本実施形態にかかる画像形成装置１０の構成を示す図である。ＲＯＭ（Read Only Memory）１０２には、画像形成装置１０の制御に用いるプログラムやデータが記憶されており、ＣＰＵ（Central Processing Unit）１０１は、ＲＯＭ１０２に記憶されたプログラムを読み出してＲＡＭ（Random Access Memory）１０３に展開して実行することによって画像形成装置１０各部の動作を制御する。画像蓄積手段１１７は、例えばハードディスクドライブであり、画像データ等を蓄積する。画像処理手段１１８の構成については後述する。ＣＰＵ１０１、ＲＡＭ１０３、画像蓄積手段１１７、画像処理手段１１８は高速なデータ伝送を可能とするバス１１５に接続されている。

一方、バス１１６には、各種の周辺機器が接続されている。表示手段１０５は、例えば液晶パネル、ＣＲＴ（Cathode Ray Tube）等であり、操作メニューの表示などを行う。指示入力手段１０７は、キーボード、マウス、デジタイザなどからなり、画像形成装置１０を操作するための指示を入力することができる。スキャナ（画像読取手段）１０９は、原稿を読み取って、多階調の画像を表す多値画像データを生成する。プリンタ（処理手段）１１１は、電子写真方式、インクジェット方式などにより、画像データに基づいて画像を記録シート表面に形成する。表示手段１０５、指示入力手段１０７、スキャナ１０９、プリンタ１１１は、それぞれインターフェース１０６、１０８、１１０、１１２を介してバス１１６に接続されている。さらに、バス１１６は、インターフェース１１４を介してネットワーク１１３に接続されており、これによって、画像形成装置１０は外部との間でデータの送受信を行うことができる。バス１１５とバス１１６とは、バスブリッジ１０４によって接続されている。

図２は、画像処理手段１１８の構成を示す図である。以下に示す手段は、ＣＰＵ１０１がプログラムを実行することにより仮想的に形成されるモジュールである。
解像度変換手段２０１は、スキャナ１０９で生成された原稿画像データを受け取り、この原稿画像データの解像度を後段のレイアウト解析手段２０３におけるレイアウト解析に必要な情報量を有する最低限の解像度まで低下させる。この処理によって、後段の処理を高速に実行することが可能となる。
線分抽出手段２０２は、線分を構成する画素を画像データから抽出して線分画像データを生成する手段である。具体的には、線分抽出手段２０２は、解像度変換手段２０１で解像度を低下させた原稿画像データを受け取り、この原稿画像データから線分を構成する画素を抽出する。以下、線分を構成する画素を抽出する方法の概略について説明する。

まず、多値画像の２値化を行う。２値化においては、まず、注目画素を取り囲む一定範囲の領域に含まれる画素の画素値の平均値を求める。次に、注目画素の画素値とこの平均値との差が所定の閾値以上である場合には、注目画素の画素値を「１」とし、所定の閾値未満である場合には注目画素の画素値を「０」とする。文字、線画、表などは線分によって構成されているため、それらを構成する画素と背景の画素との画素値が明確に異なっている場合がほとんどである。これに対して写真や絵柄などは、種々の階調を有する画素から構成されているから、注目画素と周辺画素との画素値の差が少ない。従って、適正な閾値を設定しておくことによって、線分と線分以外（写真や絵柄）とを判別することができる。

すべての画素についてこの処理を行った後、公知のラベリング処理によって連結画素の抽出を行う。連結画素の抽出においては、２値化された画像データを構成する画素を順次走査し、画素値「１」を有する画素が出現したならば、当該画素の周囲８近傍について画素値「１」を有する画素が存在するか否かを調べ、画素値「１」を有する互いに隣接する画素に同一のラベル値を与える。
さらに、同一のラベル値が与えられた画素群に外接する外接矩形を作成し、この外接矩形の大きさが所定の閾値以下である場合にはこの画素群を構成する画素の画素値を「０」に変更する。これによって、ノイズの除去が行われる。
本実施形態においては、このようにして同一のラベル値が与えられた画素群を線分とみなし、これらの線分によって構成される画像を線分画像と呼ぶ。また、この線分画像を表す画像データを線分画像データと呼ぶ。
上述した線分の抽出方法については、例えば、特開２００２−１７５５３２号公報にその詳細が記載されている。

レイアウト解析手段２０３は、線分画像データで表される線分画像のレイアウトを解析し、線分画像の構成要素を文字列からなる文章領域と、線画からなる線画領域と、表からなる表領域とに分類する手段である。本実施形態では、公知のレイアウト解析方法を用いる。レイアウト解析では、例えば、上述のようにして抽出された線分画像を構成する連結画素の各々の位置、大きさ、形状、画素の密度、画素の射影分布などの特徴量を計測し、予め定められた閾値等のルールに従って、これらの連結画素を分類する。レイアウト解析の手法については、例えば、特開平９−９１４５０号公報などにその詳細が記載されている。

また、レイアウト解析手段２０３は、文書の天地を判定する正立手段を有する。具体的には、レイアウト解析手段２０３によって抽出された文章領域に対して、公知の文字認識手段２０４を用いて複数の方向について文字認識を行う。文字認識による認識率が最も高い方向に基づいて原稿画像の天地を判定する。
また、レイアウト解析手段２０３は、文書の見開き方向を判定する見開き方向判定手段を有する。見開き原稿のページ間の境界部分は他の部分よりもスキャナ１０９の光源から照射された光が当たりにくいため、原稿画像にはこの境界部分に帯状または直線状の暗部が形成される。見開き方向判定手段は、正立手段で天地が判定された原稿画像からこの暗部を抽出し、暗部が延在する方向に基づいて見開き方向を判定する。これによって、当該見開き原稿が上下に見開かれた原稿であるのか、左右に見開かれた原稿であるのかを判定することができる。

また、レイアウト解析手段２０３は、文章領域からページ番号を抽出するページ番号抽出手段を有する。具体的には、文章領域に分類された領域からページ番号の候補となる文字列を抽出する。ページ番号は、通常、各ページの外側（綴じられていない側）の下または上の隅角部、あるいは各ページ下部中央等に書き込まれているから、これらの部分に存在する文字列を抽出し、この文字列をページ番号候補とする。そして、この文字列を文字認識手段２０４によって認識し、この文字列がページ番号であるか否かを判定する。この判定は、この文字列が数字であるか否か、左右または上下のページの数字が連続しているか否かを判定することによって行う。
上述した線分抽出手段２０２、レイアウト解析手段２０３によって要素抽出手段が構成されている。

自然言語解析手段２０５は、公知の形態素解析や構文解析の手法を用いて、各文章領域間に前後関係があるか否かを判定し、互いに前後関係を持つ文章領域を抽出する。例えば、連続した文章が分割されて２つの文章領域を構成し、各々が別々のページにレイアウトされる場合、通常は、前半の文章領域は前のページに、後半の文章領域は後のページにレイアウトされる。あるいは、見出しに付けられた章番号、図表のタイトルに付けられた図表番号などによっても前後関係を判定することができる。本実施形態では、この関係を用いて見開き原稿を構成する２つのページの順序を判定する。

連写順序決定手段２０６は、上述したレイアウト解析手段２０３、文字認識手段２０４、自然言語解析手段２０５による解析結果に基づいて、見開き原稿を構成する２つのページの順序を決定し、この順序を表すデータを生成する。順序の決定の処理については、後述する動作の説明において詳述する。
画像分割手段２０７は、原稿画像を左右または上下に２分割した分割画像を表す分割画像データを生成し、この分割画像データをプリンタ１１１に供給する手段である。

＜動作＞
次に、上記の構成からなる画像形成装置１０の動作について説明する。なお、以下で説明する動作はＣＰＵ１０１がプログラムを実行することによって行われるから、動作の主体をＣＰＵ１０１として説明する。
図３は、ＣＰＵ１０１が実行する処理のフローを示す図である。ここでは、既にユーザがページ連写を行うことの指示を指示入力手段１０７を用いて入力し、スキャナ１０９によって見開き原稿が読み取られ、原稿画像データが生成されているものとして説明する。

まず、ステップＳ０１では、ＣＰＵ１０１は、解像度変換手段２０１により、スキャナ１０９で生成された原稿画像データの解像度変換を行う。ＣＰＵ１０１は、スキャナ１０９で生成された原稿画像データを受け取り、この原稿画像データの解像度を後段のレイアウト解析手段２０３におけるレイアウト解析に必要な情報量を有する最低限の解像度まで低下させる。この処理によって、後段の処理を高速に実行することが可能となる。
図４（ａ）は、見開き原稿の画像の例を示す図である。この例では、左ページの上部に写真が、下部には左右のページにまたがる線画が、右ページの右下部には表がレイアウトされている。そして、その他の領域には複数の塊の文章がレイアウトされている。

次に、ステップＳ０２では、ＣＰＵ１０１は、解像度変換手段２０１で解像度を低下させた原稿画像データを受け取り、線分抽出手段２０２により、線分を構成する画素を原稿画像データから抽出して線分画像データを生成する。
図４（ｂ）は、上述した線分抽出によって抽出された線分画像の例である。同図に示されるように、線分画像においては、左ページの上部にレイアウトされている写真の画像が除去されている。

次にステップＳ０３では、ＣＰＵ１０１は、レイアウト解析手段２０３を用いて、線分画像データで表される線分画像のレイアウトを解析し、線分画像の構成要素を文字列からなる文章領域と、線画からなる線画領域と、表からなる表領域とに分類する。
図４（ｃ）は、線分画像のレイアウト解析の結果を示す図である。同図において、Ｐａｒａｇ１、Ｐａｒａｇ２、Ｐａｒａｇ３、Ｐａｒａｇ４、Ｐａｒａｇ５、Ｐａｒａｇ６はいずれも文章領域である。このうち、Ｐａｒａｇ３、Ｐａｒａｇ４、Ｐａｒａｇ６は写真や図表のキャプションであるが、このようなキャプションも文章領域として分類する。Ｆｉｇ１は線画からなる線画領域である。Ｔａｂｌｅ１は表からなる表領域である。

ステップＳ０４では、ＣＰＵ１０１は、正立手段を用いて見開き原稿の天地を判定し、原稿画像を読める方向（正立方向）に回転する。そして、ステップＳ０５では、見開き方向判定手段を用いて、見開き原稿の見開き方向を判定する。これによって、当該見開き原稿が左右に見開かれた原稿であるのか、上下に見開かれた原稿であるのかが判定される。見開き原稿が左右に見開かれた原稿である場合には（ステップＳ０５：ＹＥＳ）、ステップＳ０６に進む。上下に見開かれた原稿である場合には（ステップＳ０５：ＮＯ）、ステップＳ１３に進む。ステップＳ１３では、ＣＰＵ１０１は、ページの順序を表すデータを生成する。上下に見開かれた原稿の場合、図５に示すように、縦書きか横書きかに関わらず、また、日本語、英語といった言語の種類に関わらず、上のページが前のページとなる。従って、この場合、ページの順序は、上のページが前のページである。

ステップＳ０６では、ＣＰＵ１０１は、ページ番号抽出手段を用いて、ページ番号候補となる文字列が存在するか否かを判定する。ページ番号候補の文字列がある場合には（ステップＳ０６：ＹＥＳ）、ステップＳ０７に進み、ページ番号候補の文字列がない場合には（ステップＳ０６：ＮＯ）、ステップＳ０９に進む。ステップＳ０７では、ＣＰＵ１０１は、ページ番号候補の文字列を文字認識手段２０４によって認識する。そして、ステップＳ０８では、認識された文字列がページ番号であるか否かを判定する。ページ番号である場合には（ステップＳ０８：ＹＥＳ）、ステップＳ１３に進み、ページ番号に基づいてページの順序を表すデータを生成する。ページ番号でない場合には（ステップＳ０８：ＮＯ）、ステップＳ０９に進む。

ステップＳ０９では、ＣＰＵ１０１は、レイアウト解析手段２０３で抽出された文章領域の中に縦書きの文章領域が存在するか否かを判定する。ここで、縦書きの文章領域が存在する場合とは、縦書きの文章領域のみである場合と、縦書きと横書きの文章領域が混在する場合の両者が含まれる。縦書きの文章領域のみである場合は、常に右側のページが前のページである。また、図６に示すように縦書きと横書きの文章が混在する場合、一般に、右側のページが前のページであることが多い。従って、縦書きの文章領域が存在する場合には（ステップＳ０９：ＹＥＳ）、ステップＳ１３に進み、右側のページを前のページとしてページの順序を表すデータを生成する。縦書きの文章領域が存在しない場合には（ステップＳ０９：ＮＯ）、ステップＳ１０に進む。ただし、縦書きと横書きが混在する場合の判定は、上記の例に限定されるものではなく、実際の文書のページ順に応じて、ユーザが予め決定し、画像形成装置１０に記憶させておくようにしてもよい。

ステップＳ１０では、ＣＰＵ１０１は、自然言語解析手段２０５を用いて、各文章領域間の前後関係を判定する。ステップＳ１１では、文章領域間の前後関係に基づいてページの順序を判定する。互いに前後関係を有する文章領域が２つのページに分かれて存在している場合には（ステップＳ１１：ＹＥＳ）、ステップＳ１３へ進み、文章領域の前後関係に基づいてページの順序を表すデータを生成する。ページの順序が判定できない場合には、ステップＳ１２に進む。

ステップＳ１２では、ＣＰＵ１０１は、予め定められたルールに基づいて、ページの順序を決定し、ステップＳ１３に進み、ページの順序を表すデータを生成する。ここで、予め定められたルールとは、例えば、右側のページを前のページとするといったルールである。このルールは、ユーザが文書の種類に応じて予め決定し、画像形成装置１０に記憶させておくようにしてもよい。

ステップＳ１４では、ＣＰＵ１０１は、ステップＳ１４で生成されたページの順序を表すデータと原稿画像データとを画像分割手段２０７に供給する。画像分割手段２０７は、ページの順序を表すデータに従って原稿画像を左右または上下に２分割した分割画像を表す分割画像データを生成し、この分割画像データをプリンタ１１１に供給する。プリンタ１１１は、分割画像データに基づいて画像を形成する。

以上説明したように、本実施形態によれば、見開き原稿の左右のページの画像を別々に形成する、いわゆるページ連写を行う際に、ページの順序を判定し、その順序に従って画像形成または画像データの格納を行うことができる。
ページの順序の判定には、見開き方向、ページ番号、縦書き／横書き、文章領域相互の前後関係といった判定手法を階層的に用いるから正確な判定を行うことができ、また、無駄な判定処理が生じることがない。

＜変形例＞
以上説明した形態に限らず、本発明は種々の形態で実施可能である。例えば、上述の実施形態を以下のように変形した形態でも実施可能である。
上述の実施形態においては、文字認識によって原稿画像の天地の判定を行っているが、原稿画像の天地の判定には、レイアウト解析結果を用いてもよい。例えば、見出しの位置、図表とそのタイトルとの位置関係などの特徴量によって天地を判定することが可能である。

上述の実施形態においては、連写順序決定手段２０６で決定された順序に従ってプリンタ１１１を用いて画像を形成しているが、この画像を形成するのに用いる画像データを画像蓄積手段１１７に記憶させるようにしてもよい。あるいは、プリンタ１１１を用いた画像形成を行わずに、画像データを画像蓄積手段１１７に記憶させるようにしてもよい。また、画像蓄積手段１１７は、ネットワーク１１３を介して画像形成装置１０に接続された記憶装置であってもよい。
上述の実施形態においては、ＣＰＵ１０１がプログラムを実行することによって処理を行うようにしているが、同様の機能を実装したハードウェアによって画像形成装置１０を構成してもよい。

本発明の画像形成装置１０の構成を示す図である。 画像処理手段１１８の構成を示す図である。 ＣＰＵ１０１が実行する処理のフローを示す図である。 見開き原稿の画像の例を示す図である。 上下に見開かれた原稿の例を示す図である。 左右に見開かれた原稿の例を示す図である。

符号の説明

１０…画像形成装置、１０１…ＣＰＵ、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…バスブリッジ、１０５…表示手段、１０７…指示入力手段、１０９…スキャナ、１１１…プリンタ、１１３…ネットワーク、１０６、１０８、１１０、１１２、１１４…インターフェース、１１５、１１６…バス、１１７…画像蓄積手段、１１８…画像処理手段、２０１…解像度変換手段、２０２…線分抽出手段、２０３…レイアウト解析手段、２０４…文字認識手段、２０５…自然言語解析手段、２０６…連写順序決定手段、２０７…画像分割手段。

Claims (3)

1. 原稿を読み取って原稿画像データを生成する画像読取手段と、
   指示を入力する指示入力手段と、
   前記原稿画像データで表される原稿画像のレイアウトを解析するレイアウト解析手段と、
   見開き原稿の左右または上下のページの画像を別々に形成することの指示が前記指示入力手段により入力されたときに、前記レイアウト解析手段による解析結果に基づいて左右または上下のページの順序を定める連写順序決定手段と、
   前記原稿画像を左右または上下に２分割した分割画像を表す分割画像データを生成し、前記連写順序決定手段で定められた順序に従って該分割画像データを出力する画像分割手段と、
   前記画像分割手段から出力された分割画像データに対して予め定められた処理を行う処理手段と、
   前記原稿画像の天地を判定する正立手段と、
   前記原稿画像のページ間の境界を認識して見開き方向を判定する見開き方向判定手段と、
   前記原稿画像からページ番号の候補となる文字列を抽出して、該文字列がページ番号であるか否かを判定するページ番号抽出手段と、
   見開き原稿の各ページの文章領域の相互の前後関係を判定する自然言語解析手段と
   を有し、
   前記連写順序決定手段は、
   見開き原稿の左右または上下のページの画像を別々に形成することの指示が前記指示入力手段により入力された場合に、前記正立手段によって前記原稿画像の天地を判定し、前記見開き方向判定手段によってページ間の境界を認識して見開き方向を判定し、
   前記見開き原稿が上下に見開かれた原稿である場合には、上のページを前のページと定め、前記見開き原稿が左右に見開かれた原稿である場合には、前記ページ番号抽出手段を用いてページ番号の判定を行い、
   ページ番号が抽出された場合には、該ページ番号に基づいてページの順序を定め、ページ番号が抽出されなかった場合には、前記レイアウト解析手段により縦書きの文章領域が存在するか否かを判定し、縦書きの文章領域が存在する場合には右のページを前のページと定め、
   横書きの文章領域のみ存在する場合には前記文章領域相互の前後関係を前記自然言語解析手段により判定し、左右のページに分かれて存在する文章領域相互の前後関係が判定できた場合にはこの判定結果に基づいてページの順序を定める
   ことを特徴とする画像形成装置。
2. 前記連写順序決定手段は、左右のページに分かれて存在する文章領域相互の前後関係が判定できなかった場合には、予め定められたルールに基づいてページの順序を定める
   ことを特徴とする請求項１に記載の画像形成装置。
3. コンピュータ装置を、
   原稿を読み取って原稿画像データを生成する画像読取手段と、
   指示を入力する指示入力手段と、
   前記原稿画像データで表される原稿画像のレイアウトを解析するレイアウト解析手段と、
   見開き原稿の左右または上下のページの画像を別々に形成することの指示が前記指示入力手段により入力されたときに、前記レイアウト解析手段による解析結果に基づいて左右または上下のページの順序を定める連写順序決定手段と、
   前記原稿画像を左右または上下に２分割した分割画像を表す分割画像データを生成し、前記連写順序決定手段で定められた順序に従って該分割画像データを出力する画像分割手段と、
   前記画像分割手段から出力された分割画像データに対して予め定められた処理を行う処理手段と、
   前記原稿画像の天地を判定する正立手段と、
   前記原稿画像のページ間の境界を認識して見開き方向を判定する見開き方向判定手段と、
   前記原稿画像からページ番号の候補となる文字列を抽出して、該文字列がページ番号であるか否かを判定するページ番号抽出手段と、
   見開き原稿の各ページの文章領域の相互の前後関係を判定する自然言語解析手段として機能させるためのプログラムであって、
   前記連写順序決定手段は、
   見開き原稿の左右または上下のページの画像を別々に形成することの指示が前記指示入力手段により入力された場合に、前記正立手段によって前記原稿画像の天地を判定し、前記見開き方向判定手段によってページ間の境界を認識して見開き方向を判定し、
   前記見開き原稿が上下に見開かれた原稿である場合には、上のページを前のページと定め、前記見開き原稿が左右に見開かれた原稿である場合には、前記ページ番号抽出手段を用いてページ番号の判定を行い、
   ページ番号が抽出された場合には、該ページ番号に基づいてページの順序を定め、ページ番号が抽出されなかった場合には、前記レイアウト解析手段により縦書きの文章領域が存在するか否かを判定し、縦書きの文章領域が存在する場合には右のページを前のページと定め、
   横書きの文章領域のみ存在する場合には前記文章領域相互の前後関係を前記自然言語解析手段により判定し、左右のページに分かれて存在する文章領域相互の前後関係が判定できた場合にはこの判定結果に基づいてページの順序を定める
   プログラム。

Images