JP2008083898A - 情報処理システムおよび情報処理プログラム - Google Patents

Abstract

【課題】文書部品を用いてその文書部品を表示するまたは文書を検索することができるようにした情報処理システムを提供する。
【解決手段】情報処理システムの文書取得手段は、文書を取得し、文書部品抽出手段は、前記文書取得手段によって取得した文書を構成する文書部品を抽出し、文書部品表示手段は、前記文書部品抽出手段によって抽出した文書部品を表示画面に応じて変形して、該文書部品の表示を行う。
【選択図】図１

Description

本発明は、情報処理システムおよび情報処理プログラムに関する。

電子的な文書（スキャナにより入力された画像である文書、文書生成アプリケーションにより生成された文書などを含む）のデータベース中から、操作者が望む文書を効率良く検索したい要求がある。文書に含まれるキーワードが分かっている場合は、キーワードによる検索が可能である。
しかし、含まれる画像のイメージは思いつくが、適切なキーワードが思いつかない場合には、含まれる画像をキーとして文書を検索した方が検索効率が良い。また、キーワードで検索を行ったが、該当文書が多数存在する場合は、各文書の中身を確認して、所望の文書を探し出す必要がある。これらの時には、文書に含まれる画像をキーとして文書の検索または、候補文書の絞込みを行うと効率が良い。

これらに関連する技術として、例えば、特許文献１には、縮小画像で表示された類似画像であっても容易に識別ができる画像表示装置、画像表示方法、画像表示プログラムおよび画像表示プログラムを格納した記録媒体を提供することを課題とし、文書ファイルを取得する文書ファイル取得手段と、文書ファイル取得手段により取得した文書ファイルにかかる画像の縮小画像を生成する縮小画像生成手段と、ディスプレイに表示された前記縮小画像がポインタ指定された場合に、文書ファイルにかかる画像上の処理領域を決定する処理領域決定手段と、処理領域内の情報を前記文書ファイルから抽出する処理領域内情報抽出手段と、処理領域内情報抽出手段が抽出した処理領域内情報を所定の大きさでディスプレイに表示する処理領域内情報表示手段とを備えていることが開示されている。

また、例えば、特許文献２には、画像検索におけるユーザインターフェースを向上させた情報処理装置を提供することを課題とし、ウェブ・ブラウザに表示された電子文書から第１キーワード及び第２キーワードが抽出され、ユーザがウェブ・ブラウザ上の画像を選択するとプルダウンメニューが表示され、更に、その中の「画像検索」を選択すると、該キーワード群によって電子文書が検索され、その電子文書に含まれる画像が抽出され、ＧＵＩに所定の大きさのサムネール画像、画像の名称、該画像が表示され、ＧＵＩ上の表示コントロールボタンで表示結果を操作したり、画像を選択して保持したりすることができることが開示されている。

また、例えば、特許文献３には、文字検索や画像検索における検索結果表示技術に係り、操作者が検索キーを含むページを抽出し、当該ページにおける検索キーに適合するオブジェクトの配置等を容易に視認できる検索システム、検索方法および検索プログラムを提供することを課題とし、検索キー指定手段と、検索キーに適合するオブジェクトが含まれたページを検索対象から抽出する検索手段と、前記オブジェクト部分が他の部分と識別できるように特徴付けられてなる縮小簡易画像を生成する縮小簡易画像生成手段と、縮小簡易画像生成手段により生成した縮小簡易画像を表示する機能を備えた縮小簡易画像表示手段とを備えていることが開示されている。

また、例えば、特許文献４には、多数頁で構成される文書の全頁構成を一目で確認できるようにすることを目的とし、ファイル格納手段によって複数頁の画像データとその各画像データの縮小画像データとインデックスデータからなる文書ファイルを格納し、検索手段のインデックスデータによる検索時、表示手段に対して、第１の表示制御手段が検索した文書ファイルの名称とその文書ファイルの頁数に応じたセルに分割したアイコンを、第２の表示制御手段がそのアイコンの選択された頁を含む前後数頁分のセルに分割したアイコンを、第３の表示制御手段がそのアイコンの選択された文書ファイルの指定されたセルに対応する頁の縮小画像データを、第４の表示制御手段がそのアイコンの選択された文書ファイルの指定されたセルに対応する頁の画像データを、それぞれ表示させることが開示されている。
特開２００５−０１７５９２号公報 特開２００３−０６７３８２号公報 特開２００４−１５７６６８号公報 特開平０６−１６２０８４号公報

本発明は、このような背景技術の状況の中でなされたもので、文書を構成している文書部品を用いてその文書部品を表示またはその文書部品を用いた文書の検索をすることができなかったことを課題とし、文書部品を用いてその文書部品を表示するまたは文書を検索することができるようにした情報処理システムおよび情報処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
［１］ 文書を取得する文書取得手段と、
前記文書取得手段によって取得した文書を構成する文書部品を抽出する文書部品抽出手段と、
前記文書部品抽出手段によって抽出した文書部品を表示画面に応じて変形して、該文書部品の表示を行う文書部品表示手段
を具備することを特徴とする情報処理システム。

［２］ 文書を取得する文書取得手段と、
前記文書取得手段によって取得した文書を構成する文書部品を抽出する文書部品抽出手段と、
前記文書部品抽出手段によって抽出した文書部品間の類似している度合いに応じて、表示する文書部品を選択して表示する文書部品表示手段
を具備することを特徴とする情報処理システム。

［３］ 前記文書部品表示手段は、前記文書部品抽出手段によって抽出した文書部品間で表示が重複している場合は、該重複している文書部品のうち表示面側に位置している文書部品を表示する
ことを特徴とする［１］または［２］に記載の情報処理システム。

［４］ 文書を検索する場合の検索語を受け付ける検索語受付手段と、
前記検索語受付手段によって受け付けた検索語に基づいて、文書を検索する第一の文書検索手段と、
前記第一の文書検索手段によって検索した文書内の検索語に関連する文書部品を抽出する関連文書部品抽出手段と、
前記関連文書部品抽出手段によって抽出した文書部品に基づいて、文書を検索する第二の文書検索手段
を具備することを特徴とする情報処理システム。

［５］ 検索対象となる文書を記憶する文書記憶手段と、
文書の検索方法を指定する検索方法指定手段と、
前記検索方法指定手段によって指定された検索方法が画像を用いた検索である場合は、前記文書記憶手段によって記憶された文書から文書を構成する文書部品を抽出する文書部品抽出手段と、
前記文書部品抽出手段によって抽出した文書部品を表示画面に応じて変形して、該文書部品の表示を行う文書部品表示手段と、
前記文書部品表示手段によって表示された文書部品を操作者の操作に応じて、検索の画像として受け付ける検索画像受付手段と、
前記検索画像受付手段によって受け付けた検索の画像を、前記文書記憶手段内を検索する画像検索手段と、
前記画像検索手段によって検索した文書を表示する文書表示手段
を具備することを特徴とする情報処理システム。

［６］ コンピュータに、
文書を取得する文書取得機能と、
前記文書取得機能によって取得した文書を構成する文書部品を抽出する文書部品抽出機能と、
前記文書部品抽出機能によって抽出した文書部品を表示画面に応じて変形して、該文書部品の表示を行う文書部品表示機能
を実現させることを特徴とする情報処理プログラム。

［７］ コンピュータに、
文書を取得する文書取得機能と、
前記文書取得機能によって取得した文書を構成する文書部品を抽出する文書部品抽出機能と、
前記文書部品抽出機能によって抽出した文書部品間の類似している度合いに応じて、表示する文書部品を選択して表示する文書部品表示機能
を実現させることを特徴とする情報処理プログラム。

［８］ コンピュータに、
文書を検索する場合の検索語を受け付ける検索語受付機能と、
前記検索語受付機能によって受け付けた検索語に基づいて、文書を検索する第一の文書検索機能と、
前記第一の文書検索機能によって検索した文書内の検索語に関連する文書部品を抽出する関連文書部品抽出機能と、
前記関連文書部品抽出機能によって抽出した文書部品に基づいて、文書を検索する第二の文書検索機能
を実現させることを特徴とする情報処理プログラム。

請求項１の情報処理システムによれば、本構成を有していない場合に比較して、表示画面に多くの文書部品を表示することができるので、文書を構成している文書部品を用いたその文書部品の表示またはその文書部品を用いた文書の検索をすることができる。

請求項２の情報処理システムによれば、本構成を有していない場合に比較して、同一マークの文書部品を、その出現している数だけ表示するのではなく、そのマークを１つだけ表示することができるようになり、操作者に対するわずらわしさを減少させた文書を構成している文書部品を用いたその文書部品の表示またはその文書部品を用いた文書の検索をすることができる。

請求項３の情報処理システムによれば、本構成を有していない場合に比較して、請求項１または２の情報処理システムによる効果に加えて、操作者が見ている文書部品と同じものが表示対象となり、文書内で見たままの文書部品を対象とすることができ、操作性、利便性がより一層向上する。

請求項４の情報処理システムによれば、本構成を有していない場合に比較して、一般的な検索語を用いて検索した後に、その検索語によって説明している文書部品を用いた検索をすることができる。

請求項５の情報処理システムによれば、本構成を有していない場合に比較して、文書を検索したい場合に、紙として手元にある文書を画像入力装置によって読み込み、その文書部品を効率的に表示し、選択された文書画像を用いて検索することができ、検索する際の自由度が一層向上する。

請求項６の情報処理プログラムによれば、本構成を有していない場合に比較して、表示画面に多くの文書部品を表示することができるので、文書を構成している文書部品を用いたその文書部品の表示またはその文書部品を用いた文書の検索をすることができる。

請求項７の情報処理プログラムによれば、本構成を有していない場合に比較して、同一マークの文書部品を、その出現している数だけ表示するのではなく、そのマークを１つだけ表示することができるようになり、操作者に対するわずらわしさを減少させた文書を構成している文書部品を用いたその文書部品の表示またはその文書部品を用いた文書の検索をすることができる。

請求項８の情報処理プログラムによれば、本構成を有していない場合に比較して、一般的な検索語を用いて検索した後に、その検索語によって説明している文書部品を用いた検索をすることができる。

以下、図面に基づき本発明の好適な一実施の形態を説明する。
図１、図２は、本発明の一実施の形態の概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはプログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、プログラム、システムおよび方法の説明をも兼ねている。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散または並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続を含む。
また、システムとは、複数のコンピュータ、ハードウェア、装置等がネットワーク等で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。

図１に示す本実施の形態は、文書からその文書を構成する文書部品を抽出し、文書部品を用いたその後の検索等のために効率よく表示するものである。
本実施の形態は、図１に示すように、文書取得モジュール１１０、文書部品抽出モジュール１２０、文書部品表示モジュール１３０を有しており、さらに、文書部品表示モジュール１３０は、再配置モジュール１３２、表示順序変更モジュール１３４、共通部品非表示モジュール１３６を有している。
文書取得モジュール１１０は、文書部品抽出モジュール１２０と接続されており、文書を取得する。ここでの文書とは、電子的な文書であり、より具体的には、スキャナにより入力された画像である文書、文書生成アプリケーション（例えば、ワープロ等）により生成された文書などを含む。そして、取得するとは、スキャナを用いて取得すること、文書データベースから文書を取得すること、通信回線を介して、外部のシステムから取得すること等を含む。また、取得する文書は、１ページであってもよいし、複数ページの文書であってもよい。

文書部品抽出モジュール１２０は、文書取得モジュール１１０、文書部品表示モジュール１３０と接続されており、文書取得モジュール１１０によって取得した文書を構成する文書部品を抽出する。ここで、文書部品（以下、オブジェクトともいう。）とは、例えば、文章からなる文字領域、写真のような自然画からなる画像領域、直線、円等の比較的簡単な図形等の人工的な画像からなる図形領域、文字とその文字を囲む線からなる表領域等がある。ここでの抽出には、文書部品を文書から抽出するだけでなく、その文書部品の属性（文字、画像、図形、表等）をも抽出する。
抽出の方法は、文書が文書生成アプリケーションにより生成されたものであるならば、文書部品の領域およびその文書部品の属性を抽出することによって行う。スキャナ等により入力された画像である文書であるならば、画像に対する領域分離を行う。ここでの領域分離は、画像から空白等で区切られた領域を分離することによって行われる。もちろん他の既存の方法で領域を分離してもよい。そして、その領域の属性の識別は、分離した領域内の特徴（黒画素塊の大きさ、その形状、一定領域内の黒画素数、黒画素塊の配置等）を抽出し、特徴空間内でのその位置によって識別するが、その他の既存の方法であってもよい。
文書部品の抽出結果（文書部品そのもの、その属性を含む）を、文書部品表示モジュール１３０に渡す。

文書部品表示モジュール１３０は、文書部品抽出モジュール１２０と接続されており、文書部品抽出モジュール１２０より文書部品の抽出結果を受け取り、再配置モジュール１３２、表示順序変更モジュール１３４、共通部品非表示モジュール１３６を有している。文書部品表示モジュール１３０は、再配置モジュール１３２、表示順序変更モジュール１３４、共通部品非表示モジュール１３６を用いて、次のことを行う。
文書部品表示モジュール１３０は、文書部品抽出モジュール１２０によって抽出した文書部品を表示画面に応じて変形して、該文書部品の表示を行う。例えば、複写機などの装置内に実現している時は、装置に備え付けの表示画面の大きさに基づいて、該文書部品の表示を行う。パーソナルコンピュータなどのアプリケーションプログラムとして実現している時は、パーソナルコンピュータのオペレーティングシステムなどから表示に使用するウィンドウサイズを取得し、取得したウィンドウサイズに応じて該文書部品の表示を行う。予めユーザの希望を記憶し、ユーザの希望と表示画面に合わせて該文書部品の表示を行っても良い。表示画面に合わせて文書部品の表示をするには、例えば、１つの文書部品を表示画面の大きさに合わせて拡大縮小処理を行って表示する、予め定めた数の文書部品を表示画面に収まるように拡大縮小処理を行って表示する、文書部品内の文字が一定の大きさ（例えば、８ポイント等）になるように拡大縮小処理を行って、表示画面に合わせて表示する数を決定する等がある。
また、文書部品表示モジュール１３０は、文書部品抽出モジュール１２０によって抽出した文書部品間の類似している度合いに応じて、表示する文書部品を選択して表示する。
さらに、文書部品表示モジュール１３０は、文書部品抽出モジュール１２０によって抽出した文書部品間で表示が重複している場合は、該重複している文書部品のうち表示面側（つまり、上位側または前面側）に位置している文書部品を表示するようにしてもよい。

再配置モジュール１３２は、文書部品表示モジュール１３０によって表示される文書部品の表示構成を変更する。例えば、抽出された文書部品のサイズを変更せず、多くの文書部品が１つの表示画面に収まるように文書部品を配置するようにしてもよい。具体的には、カタログ等の文書で文書部品である写真等が重複している場合があり、その重複の度合いを検知し、例えば、該重複している写真のうち表示面側に位置している写真が後方（つまり、下位側）に位置している写真の所定閾値（例えば、９０％）以上を隠している場合、その表示面側に位置している写真のみを表示する。
また、再配置モジュール１３２は、抽出された文書部品を所定縮小率以下の縮小率で縮小し、または、そのサイズが所定サイズ以下になるように縮小し、多くの文書部品が１つの表示画面に収まるように文書部品を配置するようにしてもよい。
また、再配置モジュール１３２は、抽出された各々の文書部品を表示画面に収まる最大サイズまで拡大し、文書部品表示モジュール１３０は１ページに１つの文書部品が存在するページを表示するようにしてもよい。

表示順序変更モジュール１３４は、文書部品表示モジュール１３０によって表示される文書部品の順番を変更する。例えば、具体的には、文書部品抽出モジュール１２０によって抽出された文書部品のうち、サイズが大きな文書部品から順に出力するよう表示順を変更するようにしてもよい。
また、表示順序変更モジュール１３４は、文書部品抽出モジュール１２０によって抽出された文書部品を、その文書における出現順に出力するよう表示順を変更するようにしてもよい。
共通部品非表示モジュール１３６は、所定属性の文書部品のうち、１つの文書に複数個共通に含まれる文書部品は、複数回表示しないようにする。例えば、文書の各ページのフッター、ヘッダー等に表示されている商標等の同一マークの文書部品を、その出現している数だけ表示するのではなく、そのマークを１つだけ表示することができる。そのために、共通部品非表示モジュール１３６は、１つの文書内の文書部品のうち、画像の属性である文書部品同士の類似度を検出する。この類似度の検出は、文書部品の画像をサイズ変換して一律のサイズにした後に排他的論理和演算（ＥＯＲ）を行い、黒画素数が一定の閾値よりも少ないものは類似度が高いと判断する、画像色の類似度により判断する、その他の特徴を抽出して、その特徴空間における類似度を検出するようにしてもよい。

図２に示す本実施の形態は、文書部品等を用いて、文書データベースから文書を検索するものである。
本実施の形態は、図２に示すように、検索方法指定モジュール２１０、キーワード受付モジュール２２０、キーワード検索モジュール２３０、関連文書部品抽出モジュール２４０、キー画像受付モジュール２５０、キー画像検索モジュール２６０、検索結果表示モジュール２７０、文書ＤＢ２８０を有している。
検索方法指定モジュール２１０は、キーワード受付モジュール２２０、キー画像受付モジュール２５０と接続されており、文書の検索方法を指定する。ここで、指定できる検索方法は、例えば、（１）キーワードを用いた検索、（２）キー画像を用いた画像検索、（３）キーワード検索の後にキー画像検索、の３つである。

キーワード受付モジュール２２０は、検索方法指定モジュール２１０、キーワード検索モジュール２３０と接続されており、検索方法指定モジュール２１０によって指定された検索方法がキーワード（検索語）を用いた検索である場合に実行される。操作者によるキーボード等の操作によって入力されたテキストを検索用のキーワードとして受け付ける。受け付けたキーワードをキーワード検索モジュール２３０へ渡す。
キーワード検索モジュール２３０は、キーワード受付モジュール２２０、関連文書部品抽出モジュール２４０、検索結果表示モジュール２７０、文書ＤＢ２８０と接続されており、キーワード受付モジュール２２０によって受け付けたキーワードに基づいて、文書ＤＢ２８０に記憶されている文書を検索する。つまり、文書ＤＢ２８０内の各文書には索引語が付けられており、キーワードと一致する索引語を有している文書が検索結果となる。その検索結果を検索結果表示モジュール２７０、関連文書部品抽出モジュール２４０へ渡す。

関連文書部品抽出モジュール２４０は、キーワード検索モジュール２３０、キー画像受付モジュール２５０と接続されており、キーワード検索モジュール２３０によって検索した文書内のキーワードに関連する文書部品を抽出する。つまり、キーワード検索モジュール２３０によって検索した文書であって、その文書内にキーワードに関連する文書部品、例えば、そのキーワードの位置的に周辺にある文書部品（その文書部品の説明である可能性が高い）を抽出する。このとき、単にキーワードとの距離によって文書部品を抽出しても良いし、文書の段組みなどを解析することにより、文書のレイアウトを加味したキーワードと文書部品の距離により、関連する文書部品を抽出しても良い。または、そのキーワードが含まれている段落（文書部品）内に、文書部品のタイトルが含まれている場合は、その文書部品を抽出する。キーワードが含まれている段落内に複数の文書部品のタイトルが含まれている場合は、全ての文書部品を抽出しても良いし、同じ文書タイトルが複数回出現する場合は、出現回数順に優先順位をつけて文書部品を抽出しても良い。また、文書部品自体にキーワードが含まれている場合は、そのキーワードが含まれている文書部品を抽出するようにしてもよい。そして、キー画像受付モジュール２５０へ抽出した文書部品を渡す。

キー画像受付モジュール２５０は、検索方法指定モジュール２１０、関連文書部品抽出モジュール２４０、キー画像検索モジュール２６０と接続されており、検索方法指定モジュール２１０によって指定された検索方法が画像を用いた検索である場合に実行される。
検索に用いる画像が操作者によって予め指定されていない場合は、図１で示した実施の形態を呼び出して実行させるようにしてもよい。その場合、文書取得モジュール１１０は、検索用の文書部品（画像）を取得するための文書を取得する。文書部品抽出モジュール１２０は、文書取得モジュール１１０によって取得した文書を構成する文書部品を抽出する。文書部品表示モジュール１３０は、文書部品抽出モジュール１２０によって抽出した文書部品を表示画面に応じて変形して、該文書部品の表示を行う。そして、キー画像受付モジュール２５０は、文書部品表示モジュール１３０によって表示された文書部品を操作者の操作に応じて、検索の画像として受け付ける。
また、キー画像受付モジュール２５０は、関連文書部品抽出モジュール２４０によって検索した文書内のキーワードに関連する文書部品を受け付けることも行う。
そして、受け付けた文書部品（画像）をキー画像（検索用の画像）としてキー画像検索モジュール２６０へ渡す。

キー画像検索モジュール２６０は、キー画像受付モジュール２５０、検索結果表示モジュール２７０、文書ＤＢ２８０と接続されており、キー画像受付モジュール２５０によって受け付けたキー画像に基づいて、文書ＤＢ２８０内の文書を検索する。ここでの画像検索は、類似画像検索を用いる。具体的には、予め文書ＤＢ２８０内の文書の画像の文書部品に対して特徴抽出を行っておき、文書ＤＢ２８０内にその結果を文書部品に対応付けて記憶しており、キー画像に対しても同様の特徴抽出を行い、その特徴空間における類似度（空間内での距離）により検索対象の文書部品（画像）を求める。そして、その検索結果を検索結果表示モジュール２７０へ渡す。
検索結果表示モジュール２７０は、キーワード検索モジュール２３０、キー画像検索モジュール２６０と接続されており、キーワード検索モジュール２３０またはキー画像検索モジュール２６０によって検索した文書を表示する。また、検索結果をキー画像との類似度が高い順に表示するようにしてもよい。
文書ＤＢ２８０は、キーワード検索モジュール２３０、キー画像検索モジュール２６０と接続されており、検索対象となる文書およびその文書と対応して索引語または文書部品（画像）の特徴を記憶する。そして、キーワード検索モジュール２３０、キー画像検索モジュール２６０から検索され、その検索結果（文書）を渡す。

次に作用・働き（動作）を説明する。
図３を用いて、図１に示した実施の形態による処理を説明する。つまり、文書から文書部品を抽出し、その文書部品を用いたその後の検索等のために表示する処理について説明する。
ステップＳ３０２では、文書取得モジュール１１０が文書を取得する。ここで、取得する文書は、例えば、図４に示すように、複数ページからなり、各ページは複数の文書部品から構成されている。図４に示すページ１では、属性が画像のオブジェクトが２つあり、属性が文字のオブジェクトが２つある。

ステップＳ３０４では、文書部品抽出モジュール１２０が、ステップＳ３０２で取得した文書からオブジェクトを抽出する。図４に示す文書では、属性が画像のオブジェクトをＭ個、属性が文字のオブジェクトをＫ個抽出する。
ステップＳ３０６では、ステップＳ３０４で抽出したオブジェクトの表示方法を判断する。オブジェクトのサイズを変更しない場合はステップＳ３０８へ進み、オブジェクトを拡大する場合はステップＳ３１０へ進み、オブジェクトを縮小する場合はステップＳ３１２へ進む。この判断は、操作者にどのように表示するかを選択させてもよいし、あらかじめシステムとして定めておいてもよい。なお、ここでは表示するオブジェクトは属性が画像であるオブジェクトとする。

ステップＳ３０８では、文書部品表示モジュール１３０が、表示画面に表示するオブジェクトを再配置する。図５を用いて説明する。図５（Ａ）は、図４に示した文書から画像のオブジェクトのみを取り出したものである。つまり、図４に示した文書とは異なり、１ページ目内には、画像のオブジェクトを３つ配置している。そして、図５（Ｂ）に、実際の画面表示例を示す。つまり、表示画面５１０内に図５（Ａ）で示したように再配置した画像のオブジェクトを表示し、その表示するページの移動は、改ページボタン５１１、改ページボタン５１２に対する操作者の操作によって行われる。

ステップＳ３１０では、文書部品表示モジュール１３０が、表示画面に表示するオブジェクトを拡大する。図６を用いて説明する。図６（Ａ）は、図４に示した文書から画像のオブジェクトを１つずつ取り出したものである。つまり、図４に示した文書とは異なり、ページ毎に、画像のオブジェクトを１つ配置している。そして、図６（Ｂ）に、実際の画面表示例を示す。つまり、表示画面内に図６（Ａ）で示した画像のオブジェクトを、その表示画面の大きさに合わせて拡大して表示している。つまり、１枚の画像オブジェクトの全体が表示され、かつ最大のサイズとなるように拡大している。

ステップＳ３１２では、文書部品表示モジュール１３０が、表示画面に表示するオブジェクトを縮小する。図７を用いて説明する。図７（Ａ）は、図４に示した文書から画像のオブジェクトを取り出したものである。つまり、図４に示した文書とは異なり、１ページ内に、画像のオブジェクト全てを配置している。そして、図７（Ｂ）に、実際の画面表示例を示す。つまり、表示画面内に図７（Ａ）で示した画像のオブジェクトを、その表示画面の大きさに合わせて縮小して表示している。つまり、全ての画像オブジェクトが表示されるサイズとなるように縮小している。ここでの縮小は、多くのオブジェクトが１つの表示画面に収まるように縮小しているが、この他に、オブジェクトを所定縮小率以下の縮小率で縮小し、または、そのサイズが所定サイズ以下になるように縮小するものであってもよい。また、１ページに収まらない場合（収めようとすると、所定の大きさよりもオブジェクトが小さくなってしまう場合）には、複数ページに収めるようにしてもよい。
ステップＳ３１４では、ステップＳ３０８、ステップＳ３１０、ステップＳ３１２の処理が終了したオブジェクトを表示する。これについては、図５（Ｂ）、図６（Ｂ）、図７（Ｂ）を用いて既に説明した。また、この後、図２で示した実施の形態で行う検索のためにオブジェクトの中からキー画像を、操作者に選択してもらってもよい。

図８から図１１を用いて、図２に示した実施の形態による処理を説明する。つまり、文書部品、検索語を用いて、文書データベースから文書を検索する
図８は、図２に示した実施の形態による全体の処理例を示したフローチャートである。
ステップＳ８０２では、検索方法指定モジュール２１０が、操作者の操作に応じて、文書の検索方法を指定する。ここで、指定できる文書の検索方法は、キーワードを用いた検索と画像を用いた検索である。キーワードを用いた検索が指定された場合はステップＳ８０４へ進み、画像を用いた検索が指定された場合はステップＳ８１０へ進む。

ステップＳ８０４では、キーワード受付モジュール２２０によってキーワードが受け付けられ、キーワード検索モジュール２３０がそのキーワードを用いて文書ＤＢ２８０を検索する。
ステップＳ８０６では、キーワード検索モジュール２３０は、ステップＳ８０４による検索結果を表示し、操作者に対して、絞込み検索が必要であるか否かを尋ねる。操作者からの返答によって、絞込み検索が必要である場合はステップＳ８０２に戻り、必要でない場合は検索を終了する（ステップＳ８０８）。

ステップＳ８１０では、キー画像受付モジュール２５０が、キー画像があるか否かを操作者に尋ねる。操作者からの応答によって、キー画像がある場合はステップＳ８１４へ進み、キー画像がない場合はステップＳ８１２へ進む。
ステップＳ８１２では、キー画像を操作者に選択してもらい、そのキー画像を得る。なお、ステップＳ８１２は図１で示した実施の形態による処理であり、図３のフローチャートを用いて既に説明した。
ステップＳ８１４では、キー画像検索モジュール２６０がキー画像を用いて文書ＤＢ２８０内の該当する文書を検索する。
ステップＳ８１６では、キー画像検索モジュール２６０は、ステップＳ８１４による検索結果を表示し、操作者に対して、絞込み検索が必要であるか否かを尋ねる。操作者からの返答によって、絞込み検索が必要である場合はステップＳ８０２に戻り、必要でない場合は検索を終了する（ステップＳ８１８）。

図９は、図２に示した実施の形態によるキー画像を用いた検索処理例を示したフローチャートである。なお、図８で示したステップＳ８１０からステップＳ８１６をより具体的に説明したものである。
ステップＳ９０２では、ステップＳ８１０と同様であり、キー画像受付モジュール２５０が、キー画像があるか否かを操作者に尋ねる。操作者からの応答によって、キー画像がある場合はステップＳ９０６へ進み、キー画像がない場合はステップＳ９０４へ進む。

ステップＳ９０４では、ステップＳ８１２と同様であり、キー画像を操作者に選択してもらい、そのキー画像を得る。なお、ステップＳ９０４は図１で示した実施の形態による処理であり、図３のフローチャートを用いて既に説明した。
ステップＳ９０６では、キー画像検索モジュール２６０がキー画像に類似した画像（文書部品）を含む文書を検索する。
ステップＳ９０８では、検索結果表示モジュール２７０がステップＳ９０６で検索した結果を表示する。
ステップＳ９１０では、検索結果表示モジュール２７０が、操作者による操作によって、ステップＳ９０８で表示した文書の中から最終的な文書を決定する。

図１０は、図１に示した実施の形態によるキー画像を抽出した後に、図２に示した実施の形態によるキー画像を用いた検索処理例を示したフローチャートである。
ステップＳ１００２では、文書取得モジュール１１０が文書を取得し、その後に、操作者によって文書を選択するようにする。
ステップＳ１００４では、文書部品抽出モジュール１２０がステップＳ１００２で選択された文書からオブジェクトを抽出し、文書部品表示モジュール１３０がそのオブジェクトのうち属性が画像であるオブジェクトを表示する。

ステップＳ１００６では、ステップＳ１００４で表示されたオブジェクトのうち、操作者による操作によってキー画像が選択された（つまり、操作者がキー画像を発見した）か否かを判断する。キー画像が選択された場合はステップＳ１００８へ進み、そうでない場合はステップＳ１００２へ戻り、キー画像が選択されるまで繰り返される。
ステップＳ１００８では、キー画像が含まれている文書がそもそも操作者が検索しようとしている文書であるか否かを、操作者の操作に応じて判断する。そうである場合は検索を終了し（ステップＳ１０１２）、そうでない場合はステップＳ１０１０へ進む。
ステップＳ１０１０では、キー画像を用いた検索を行う。つまり、図８で示したステップＳ８１４、ステップＳ８１６の処理または図９で示したステップＳ９０６、ステップＳ９０８、ステップＳ９１０の処理と同様である。

図１１は、図２に示した実施の形態によるキーワードを用いた検索処理の後に、キー画像を用いた検索処理例を示したフローチャートである。検索方法指定モジュール２１０でキーワード検索の後にキー画像検索を行うことが指定された場合の処理である。
ステップＳ１１０２では、キーワード検索モジュール２３０がキーワードを用いて文書ＤＢ２８０内の文書を検索する。
ステップＳ１１０４では、検索結果表示モジュール２７０が、ステップＳ１１０２による検索結果を操作者に表示し、その検索結果から文書を選択してもらう。
ステップＳ１１０６では、ステップＳ１１０４で選択した文書のキーワード付近にある属性が画像であるオブジェクトを含めて表示する。
ステップＳ１１０８では、ステップＳ１１０６で表示した文書が操作者にとって検索の目的とした文書であるか否かを問い合わせる。その結果、目的とした文書であるならば検索を終了（ステップＳ１１１０）し、そうでなければステップＳ１１１２へ進む。

ステップＳ１１１２では、ステップＳ１１０６で表示した画像の中にキー画像があるか否かを操作者に指定してもらう。その結果、キー画像があるのであればステップＳ１１１４へ進み、そうでなければステップＳ１１０４へ戻り、キー画像が指定されるまで、または目的としている文書が見つかるまで繰り返す。
ステップＳ１１１４では、キー画像検索モジュール２６０が、ステップＳ１１１２で指定されたキー画像を用いて文書ＤＢ２８０内の文書を検索する。
ステップＳ１１１６では、ステップＳ１１１４による検索結果を表示し、目的とした文書があるか否かを操作者に指定してもらう。その結果、目的とした文書が見つかったのであれば検索を終了（ステップＳ１１１８）し、見つからなかったならばステップＳ１１２０へ進む。
ステップＳ１１２０では、検索キー（検索方法）が文字であるか画像であるかを操作者に指定してもらう。文字である場合（キーワードによる検索が指定された場合）はステップＳ１１０２へ戻り、画像である場合（キー画像を用いた画像検索が指定された場合）はステップＳ１１０４へ戻り、目的としている文書が見つかるまで繰り返す。

図１２を参照して、本実施の形態の画像処理システムのハードウェア構成例について説明する。図１２に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成される画像処理システムであり、スキャナ等のデータ読み取り部１２１７と、プリンタなどのデータ出力部１２１８を備えたハード構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２０１は、上述の実施の形態において説明した各種のモジュール、すなわち、文書部品抽出モジュール１２０、文書部品表示モジュール１３０、キーワード検索モジュール２３０、キー画像検索モジュール２６０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２０２は、ＣＰＵ１２０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２０３は、ＣＰＵ１２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス１２０４により相互に接続されている。

ホストバス１２０４は、ブリッジ１２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１２０６に接続されている。

キーボード１２０８、マウス等のポインティングデバイス１２０９は、操作者により操作される入力デバイスである。ディスプレイ１２１０は、液晶表示装置またはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などから成り、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１２１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ１２０１によって実行するプログラムや情報を記録または再生させる。ハードディスクには、文書取得モジュール１１０が取得した文書、文書ＤＢ２８０に格納される文書などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ１２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体１２１３に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース１２０７、外部バス１２０６、ブリッジ１２０５、およびホストバス１２０４を介して接続されているＲＡＭ１２０３に供給する。リムーバブル記録媒体１２１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート１２１４は、外部接続機器１２１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１２１４は、インタフェース１２０７、および外部バス１２０６、ブリッジ１２０５、ホストバス１２０４等を介してＣＰＵ１２０１等に接続されている。通信部１２１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部１２１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１２１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図１２に示す画像処理システムのハードウェア構成は、１つの構成例を示すものであり、本実施の形態の画像処理システムは、図１２に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えばＡＳＩＣ等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１２に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（多機能複写機とも呼ばれ、スキャナ、プリンタ、複写機、ファックス等の機能を有している）などに組み込まれていてもよい。

なお、説明したプログラムについては、記録媒体に格納することも可能であり、また、そのプログラムを通信手段によって提供することもできる。その場合、例えば、上記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えることもできる。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、上記のプログラムまたはその一部は、上記記録媒体に記録して保存や流通等させることが可能である。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に乗せて搬送することも可能である。
さらに、上記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。

本実施の形態の概念的なモジュール構成図である。 本実施の形態の概念的なモジュール構成図である。 本実施の形態による処理例を示すフローチャートである。 取得する文書の例を示す説明図である。 画像オブジェクトの再配置の表示例を示す説明図である。 画像オブジェクトの拡大表示例を示す説明図である。 画像オブジェクトの縮小表示例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

符号の説明

１１０…文書取得モジュール
１２０…文書部品抽出モジュール
１３０…文書部品表示モジュール
１３２…再配置モジュール
１３４…表示順序変更モジュール
１３６…共通部品非表示モジュール
２１０…検索方法指定モジュール
２２０…キーワード受付モジュール
２３０…キーワード検索モジュール
２４０…関連文書部品抽出モジュール
２５０…キー画像受付モジュール
２６０…キー画像検索モジュール
２７０…検索結果表示モジュール
２８０…文書ＤＢ

Claims (8)

1. 文書を取得する文書取得手段と、
   前記文書取得手段によって取得した文書を構成する文書部品を抽出する文書部品抽出手段と、
   前記文書部品抽出手段によって抽出した文書部品を表示画面に応じて変形して、該文書部品の表示を行う文書部品表示手段
   を具備することを特徴とする情報処理システム。
2. 文書を取得する文書取得手段と、
   前記文書取得手段によって取得した文書を構成する文書部品を抽出する文書部品抽出手段と、
   前記文書部品抽出手段によって抽出した文書部品間の類似している度合いに応じて、表示する文書部品を選択して表示する文書部品表示手段
   を具備することを特徴とする情報処理システム。
3. 前記文書部品表示手段は、前記文書部品抽出手段によって抽出した文書部品間で表示が重複している場合は、該重複している文書部品のうち表示面側に位置している文書部品を表示する
   ことを特徴とする請求項１または２に記載の情報処理システム。
4. 文書を検索する検索語を受け付ける検索語受付手段と、
   前記検索語受付手段によって受け付けた検索語に基づいて、文書を検索する第一の文書検索手段と、
   前記第一の文書検索手段によって検索した文書内の検索語に関連する文書部品を抽出する関連文書部品抽出手段と、
   前記関連文書部品抽出手段によって抽出した文書部品に基づいて、文書を検索する第二の文書検索手段
   を具備することを特徴とする情報処理システム。
5. 検索対象となる文書を記憶する文書記憶手段と、
   文書の検索方法を指定する検索方法指定手段と、
   前記検索方法指定手段によって指定された検索方法が画像を用いた検索である場合は、前記文書記憶手段によって記憶された文書から文書を構成する文書部品を抽出する文書部品抽出手段と、
   前記文書部品抽出手段によって抽出した文書部品を表示画面に応じて変形して、該文書部品の表示を行う文書部品表示手段と、
   前記文書部品表示手段によって表示された文書部品を操作者の操作に応じて、検索の画像として受け付ける検索画像受付手段と、
   前記検索画像受付手段によって受け付けた検索の画像を、前記文書記憶手段内を検索する画像検索手段と、
   前記画像検索手段によって検索した文書を表示する文書表示手段
   を具備することを特徴とする情報処理システム。
6. コンピュータに、
   文書を取得する文書取得機能と、
   前記文書取得機能によって取得した文書を構成する文書部品を抽出する文書部品抽出機能と、
   前記文書部品抽出機能によって抽出した文書部品を表示画面に応じて変形して、該文書部品の表示を行う文書部品表示機能
   を実現させることを特徴とする情報処理プログラム。
7. コンピュータに、
   文書を取得する文書取得機能と、
   前記文書取得機能によって取得した文書を構成する文書部品を抽出する文書部品抽出機能と、
   前記文書部品抽出機能によって抽出した文書部品間の類似している度合いに応じて、表示する文書部品を選択して表示する文書部品表示機能
   を実現させることを特徴とする情報処理プログラム。
8. コンピュータに、
   文書を検索する場合の検索語を受け付ける検索語受付機能と、
   前記検索語受付機能によって受け付けた検索語に基づいて、文書を検索する第一の文書検索機能と、
   前記第一の文書検索機能によって検索した文書内の検索語に関連する文書部品を抽出する関連文書部品抽出機能と、
   前記関連文書部品抽出機能によって抽出した文書部品に基づいて、文書を検索する第二の文書検索機能
   を実現させることを特徴とする情報処理プログラム。

Images