WO2007013399A1

WO2007013399A1 - 検索装置及び検索方法

Info

Publication number: WO2007013399A1
Application number: PCT/JP2006/314572
Authority: WO
Inventors: Shinji Todaka
Original assignee: Canon Kabushiki Kaisha
Priority date: 2005-07-28
Filing date: 2006-07-24
Publication date: 2007-02-01
Also published as: CN101233511A; JP2007034847A; CN101233511B; US8326090B2; US20070041668A1

Abstract

　ユーザが容易でわかりやすい方法で、文書の検索キーとなる画像の指定や入力を行えるようにする。すなわち、原稿画像を読み取って（Ｓ７００１）得た画像データ内にある画像領域を抽出し（Ｓ７００４）、抽出した画像領域に対応する画像を、表示手段に一覧表示させる（Ｓ７００８）。ユーザが入力手段によって、該一覧表示された画像の少なくとも１つをユーザが選択したのに応じて（Ｓ７００９）、選択された画像を検索キーとして用いて検索を行う（Ｓ７０１０）。

Description

明細書

検索装置及び検索方法

技術分野

[0001] 本発明は、検索装置及び検索方法に関する。より詳細には、スキャナ等で読み取つた文書データの情報を格納する機能を備えた検索装置において、保存された文書データから目的の文書データを検索する際に、文書データに含まれる画像データをキーとして目的の文書データを検索する技術に関するものである。

背景技術

[0002] 近年のオフィス環境では、業務の複雑化、情報量の増加に伴って管理しなければならない文書が急激に増加している。このため、大量の文書の中から目的とする文書を検索する必要がますます大きくなつてきている。文書の情報を一旦電子データ化して文書データとして格納しておけば、目的の文書を検索するのに、文書検索装置や文書検索システムが使用できる。

[0003] 文書検索の手法としては、文書データに関連付けされた情報 (属性データ)を検索する文書属性検索や、文書データ中に含まれた文字列を検索するための全文検索、文書データ中に含まれた画像データを検索する画像データ検索などの様々な手法が提案されている。

[0004] これらの検索手法を実行するには、検索キーを検索装置 (検索エンジン）に入力する必要がある。この場合、属性検索や全文検索のように文字列をキーとする検索手法と異なり、画像データをキーとする画像検索では、いかに容易でわ力りやすい手法でユーザが検索キーを指定あるいは入力できるかが課題となっている。

[0005] このような手法の一例として、特許文献 1に記載された画像記憶装置では、予めエリァを指定した文書をスキャナでスキャンすることによって検索キーを得ている。また、特許文献 2に記載された画像記憶装置では、スキャナでスキャンされて得た文書データを画面上に表示し、検索キーとなるエリアをマウス等で指定することによって検索キーを抽出している。更に、特許文献 3に記載された類似画像検索装置では、予め検索キーとして用いる画像データを登録しておき、登録した画像データの中から検索キーを指定する。

特許文献 1：特開平 5 - 274367号公報

特許文献 2：特開平 5 - 274368号公報

特許文献 3：特開平 10— 340272号公報

発明の開示

発明が解決しょうとする課題

[0006] しかしながら、特許文献 1に記載された画像記憶装置で、検索キーとして登録するエリアを予め指定するには、元の文書にエリア情報を書き込む必要がある。これはュ一ザにとってわずらわ U、操作が必要なだけでなぐ元の文書をきれ!、なまま保存するためにはコピーをとつておく必要がある。

[0007] また、特許文献 2に記載された画像記憶装置で、ユーザが画面上でキーとなるエリァを指定するためには、エリアを指定するためのペンデバイスやマウスなどの操作手段が必要である。このような操作手段は、スキャナ機能、コピー機能及びプリント機能等を有する複合機のような OA機器には通常備えられていない。このため、画像検索以外では利用されない操作手段を新たに付加する必要があり、その取り付け場所や収納方法に関して新たな問題が生じる。また、表示領域が十分大きい場合において

、複数の検索キーを抽出するといつた操作を行う場合には、複数回のエリア指定といつたユーザにとってはわずらわしい操作を行う必要がある。

[0008] 更に、特許文献 3に記載された類似画像検索装置では、ユーザが検索キーとして登録する画像データを自由に選択することが出来ず、検索の精度が低下する可能性がある。

[0009] 本発明は、以上のような状況に鑑みてなされたものであり、ユーザにとって容易でわかりやすい方法で、検索キーとなる画像データの指定や入力を行えるようにすることを目的とする。

[0010] 本発明の別の目的は、文書データの限られた表示領域でも、検索キーとなる画像データの指定や入力が容易に行えるようにすることである。

課題を解決するための手段

[0011] 上記目的を達成する本発明の一態様としての検索装置は、保存された複数のデータカ所定の検索キーに基づいて所望のデータを検索する検索装置であって、原稿画像を読み取って画像データを得る読み取り手段と、

前記画像データ内にある画像領域を抽出する領域抽出手段と、

情報を表示するための表示手段と、

指示を入力するための入力手段と、

前記領域抽出手段で抽出された前記画像領域に対応する複数の画像を前記表示手段に一覧表示させる一覧表示手段と、を備え、

前記一覧表示された複数の画像の少なくとも 1つを前記入力手段によって選択するとき、選択された前記画像を検索キーとして用いて検索を行うように構成されてヽる

[0012] 上記目的を達成する本発明の別の態様としての検索方法は、保存された複数のデ一タカ所定の検索キーに基づいて所望のデータを検索する検索方法であって、原稿画像を読み取って画像データを得る読み取り工程と、

前記画像データ内にある画像領域を抽出する領域抽出工程と、

前記領域抽出工程で抽出した画像領域に対応する画像を、情報を表示するための表示手段に一覧表示させる一覧表示工程と、

指示を入力するための入力手段によって、該一覧表示された画像の少なくとも 1つを選択するのに応じて、選択された画像を検索キーとして用いて検索を行う画像検索工程と、備えている。

[0013] すなわち、本発明では、保存されたデータ力所定の検索キーに基づいてデータを検索する検索装置において、原稿画像を読み取って得た画像データ内にある画像領域を抽出し、抽出した画像領域に対応する画像を、ユーザに情報を表示するための表示手段に一覧表示させ、ユーザが指示を入力するための入力手段によって、該一覧表示された画像の少なくとも 1つをユーザが選択したのに応じて、選択された画像を検索キーとして用いて検索を行う。

[0014] このような構成により、原稿内にある画像が抽出され、それが一覧表示され、その中力もユーザが選択した画像を検索キーとして検索が実行される。

[0015] 従って、ユーザにとって容易でわかりやすい手法で検索キーとなる画像の指定や入力が可能となり、ユーザの利便性が向上する。

[0016] また、上記の目的は、上記の検索方法をコンピュータ装置に実行させるコンビユータプログラム、及び該コンピュータプログラムを記憶した記憶媒体によっても達成される。

発明の効果

[0017] 本発明によれば、原稿内にある画像が画像データとして抽出され、それらの画像データが一覧表示される。このように、一覧表示された画像データの中からユーザが選択した画像データを検索キーとして検索が実行される。

[0018] 従って、ユーザにとって容易でわかりやすい手法で検索キーとなる画像データの指定ゃ入力が可能となり、ユーザの利便性が向上する。

[0019] 本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

図面の簡単な説明

[0020] 添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。

[0021] [図 1]本発明に係る文書検索装置の実施形態の全体の構成を説明するブロック図である。

[図 2]図 1に示す文書検索装置ののメインユニットのハードウェア構成を説明するプロック図である。

[図 3]本発明に係る文書検索装置の概観を示す図である。

[図 4]本発明に係る文書検索装置のメインユニットのソフトウェア構成を示す図である

[図 5]本発明に係る文書管理装置のソフトウェア構成を示す図である。

[図 6]本発明に係る文書管理装置の検索処理において、操作部に表示される画面の遷移の一例を示す図である。

[図 7]本発明に係る文書管理装置において、画像検索を選択してから検索を実行するまでにメインユニットで実行される処理を示すフローチャートである。 [図 8]本発明に係る文書管理装置において、キーワード検索を選択して力も検索を実行するまでにメインユニットで実行される処理を示すフローチャートである。

発明を実施するための最良の形態

[0022] 以下に、添付図面を参照して、本発明の好適な実施の形態を例示的に詳しく説明する。ただし、以下の実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。

[0023] 図 1は、本発明に係る文書検索装置の実施形態の全体の構成を説明するブロック図である。

[0024] 本実施形態の文書検索装置 1000は、画像入力デバイスとしてスキャナ 1002、画像出力デバイスとしてプリンタ 1003、ユーザインターフェース部として操作部 1004を備えている。更に、それらを制御するメインユニット 1001、文書データの保存、管理、検索機能を備えた文書管理システム 1005から構成されている。スキャナ部 1002、プリンタ部 1003、操作部 1004はそれぞれメインユニット 1001に対応するインターフエースを介し、内部バス（図示せず)で接続される。

[0025] また、メインユニット 1001は LAN1010などのネットワーク伝送手段、及び公衆回線 1020に接続されている。さらに文書管理システム 1005も LAN1010に接続され、文書管理システム 1005はメインュ-ット 1001と LAN 1010を介してデータ、コマンド等の通信を行う。文書管理システム 1005を文書検索装置 1000の内部に設けるのに代えて、 LAN1010を介して外部に接続され、文書管理システム 1005と同じ機能をする外部サーバとするようにしてもよ、。

[0026] 本実施形態で示す文書検索装置 1000は、ユーザに一つの装置として認識されるように構成されており、文書検索機能以外にも、複写 (コピー)機能、ファクシミリ機能、プリンタ機能、文書保管機能を備えた、複合機 (MFP)として構成されている。

[0027] 図 2は、図 1で示した文書検索装置のメインユニット 1001のハード構成を説明するブロック図である。図 1との参照番号の対応を説明すると、 1001力 000、 1002力 070、 1003力 2080、 1004力 2050、 1005力 2060、 1010力 2020、 1020力 2010 にそれぞれ対応している。

[0028] 図 2において、メインユニット 2000は文書データ、画像情報やデバイス情報の入出力を行う為のコントローラであり、接続された画像入力デバイスであるスキャナ 2070 や画像出力デバイスであるプリンタ 2080を介してスキャンやプリント等の機能を実現する。また、 LAN2020を介して文書管理システム 2060や PC (図示せず）等の外部機器と通信して、文書の保管、読み出しや検索等の機能を実現すると共に、公衆回線 (PSTN) 2010にも接続されファクシミリ機能を実現している。それらの機能をユーザに提供するためのユーザインターフェース (UI)として操作部 2050が接続されてヽる。

[0029] CPU2001は、メインユニット 2000全体を制御するコントローラである。 RAM2002 は、 CPU2002が動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリとしても使用される。 ROM2003は、ブート ROMであり、システムのブートプログラムが格納されている。 HDD2004は、ハードディスクドライブであり、システムソフトウェア、画像データやその画像データに関連する属性データおよびその他のユーザデータ等を格納する。後述する文書検索のための操作フローは、例えば、 HDD2004に格納されたシステムソフトウェアを実行することによって実現される。

[0030] 操作部 IZF2006は、操作部 2050とのインターフェース部であり、操作部 2050に設けた表示装置 6000に表示する画像データを操作部 2050に対して出力する。また、操作部 2050からユーザが入力した情報を、 CPU2001に伝える役割を担う。

[0031] Network2007は、 LAN2020に接続され、 LAN2020上に接続された文書管理システム 2060や PC等の外部機器と情報の入出力を行う。本文書検索装置 1000は、ネットワーク通信プロトコルとして TCP/IPをサポートし、文書管理システム 2060も、 TCP/IP通信プロトコルに従って通信を行うものとする。

[0032] MODEM2008は、公衆回線（PSTN) 2010に接続され、ファクシミリ機能を用いて公衆回線 2010上に配置されたファクシミリ装置（図示せず）と画像データの通信を行う。以上のデバイスがシステムバス 2009に接続されて配置される。

[0033] Image Bus IZF2005は、システムバス 2009と画像データを高速で転送する画像バス 2030と接続される、データ構造を変換するバスブリッジである。画像バス 2030 は、 PCIバスまたは IEEE1394バスで構成される。 [0034] 画像バス 2030上には以下のデバイスが配置される。すなわち、ラスターイメージプ口セッサ（RIP) 2031は、 LAN2020上に接続された PC等から入力される PDLコードをビットマップイメージに展開する。デバイス IZF部 2032は、画像入出力デバイスであるスキャナ 2070やプリンタ 2080とメインユニットコントローラ 2000を接続し、画像データの同期系 Z非同期系の変換を行う。

[0035] スキャナ画像処理部 2033は、スキャナ 2070から入力された画像データに対して、補正、加工、編集等の処理を行う。また入力された画像データがカラーイメージか白黒イメージかを、画像データの彩度信号から判断しその結果を保持する機能を有する。

[0036] プリンタ画像処理部 2034は、プリンタから出力する画像データに対して、補正、加ェ、編集等の処理を行う。画像回転部 2035は、スキャナ画像処理部 2033と連携して、スキャナ 2070からの画像の読み込みと同時に、読み込まれた画像データを回転して RAM2002に格納したり、 RAM2002にある画像データの回転処理を行う。更【こ、 HDD2004ちしく ίま RAM2002【こある画像データを、プリンタ画像処理咅 2034 と連携して回転させながら印字出力させることができる。

[0037] 解像度変換部 2037は、 RAM2002にある画像データの解像度を変換処理し、再度 RAM2002に格納する。色空間変換部 2038は、マトリクス演算により、例えば RA Μ2002にある YUV画像データを Lab画像データに変換し、再度 RAM2002に格納する。階調変換部 2039は、例えば RAM2002にある 8ビット、 256階調の画像データを、誤差拡散処理などの手法により 1ビット、 2階調の画像データに変換し、再度 RAM2002に格納する。画像圧縮伸長部 2036は、多値画像データに対して〖お PE G、 2値画像データに対して ίお BIG、 MMR、 MR、 MH等のフォーマットに従って圧縮 Z伸張処理を行う。

[0038] 画像回転部 2035、解像度変換部 2037、色空間変換部 2038、階調変換部 2039 、画像圧縮伸長部 2036はそれぞれ連結して動作することが可能であり。例えば RA M2002にある画像データを回転させると同時に解像度変換する場合は、両処理をー且 RAM2002に格納することなしに行うことができる。

[0039] 図 3は、本実施形態の文書検索装置 1000の概観を示す図である。図 1で説明したように、本実施形態の文書検索装置 1000は、複写機能、ファクシミリ機能、プリンタ機能、文書管理機能を備えた複合機としてユーザに提供されて、る。

[0040] 画像入力デバイスであるスキャナ部 3001は、原稿となる紙等の記録媒体上の画像を照射し、 CCDラインセンサを走査することで、画像をラスタイメージデータとして電気信号に変換する。原稿用紙を原稿フィーダ 3002のトレイにセットし、ユーザが操作部 3006から読み取りの開始を指示することにより、図 2で示したメインユニットコント口ーラ CPU2001がスキャナ 2070に指示を与える。これに応じて原稿フィーダ 3002は原稿用紙を 1枚ずつ搬送し、原稿の読み取り動作を開始する。

[0041] 画像出力デバイスであるプリンタ部 3003は、ラスタイメージデータを用紙上に印字画像として出力する部分であり、その方式は問わない。例えば、感光体ドラムや感光体ベルトを用いた電子写真方式や、微小ノズルアレイ力インクを吐出して用紙上に直接画像データを印字するインクジェット方式等の、ずれでもよヽ。

[0042] プリント動作は、コントローラである CPU2001からの指示によって開始する。プリンタ部 3003は、異なる用紙サイズまたは異なる用紙向きを選択できるように複数の給紙段 3004を有しており、それに対応した用紙カセットをセットして使用する。また、排紙トレイ 3005は、印字し終わった用紙を受け取るものであり、コントローラである CPU 2001からの指示によってソート、ステープル等の後処理を行うことも可能である。

[0043] 図 1で示したメインユニット 1001および文書管理システム 1005は、装置内部に配置され、外観上力確認できない。

[0044] 図 4は、本実施形態の文書検索装置 1000のメインユニットのソフトウェア構成を示す図である。本構成図で示すソフトウェアは、図 2で示した HDD2004に格納されている。

[0045] 4001は、操作部 2050を制御する UI制御マネージャであり、ユーザの指示を下層のモジュールに伝えたり、下層力もの情報を操作部 2050の表示装置 6000に表示したりするための制御を行う。 4002は、ネットワークを介して指示や情報を受け取ったり、メインユニットからの指示や情報を送信したりする制御を行うネットワーク制御マネージャである。

[0046] 4003、 4004は、 UI制御マネージャ 4001からの指示を受け、後述する各部のマネ一ジャにコピージョブ、送信ジョブを実行させるためのコピーアプリケーション部、送信アプリケーション部である。

[0047] 4005は、文書管理システム 1005と通信を行って、文書管理機能を提供する文書管理アプリケーション部である。後述する検索処理の制御は、本文書管理アプリケーシヨン部 4005によって行われる。また文書管理アプリケーション部 4005は、文書データに含まれる画像データよりテキスト情報を抽出するための OCRエンジン 4006、及び文書データに含まれる画像データより所望の領域の画像データを抽出するためのブロックセレクション（BS)エンジン 4007と接続されて!、る。

[0048] 本実施形態の BSエンジン 4007は、画像データ内にある画像エリア及び文字エリァを識別し、それらのエリアの種別、画像データ内における位置、サイズ等の情報を生成する。また、 BSエンジン 4007は、画像エリア及び文字エリア以外の種々の属性ブロック (表ブロック、線画ブロック、背景ブロック等）の判定を行い、それぞれの属性毎にブロック (エリア）の抽出も可能である。

[0049] 4008は、下層の各部のマネージャの機器依存部分を吸収するための共通インタ一フェース部である。 4009は、共通インターフェース部 4008から受け取ったジョブ情報を整理し、下層の機器に密着した複数のマネージャ (4010〜4014)に伝達するジョブマネージャである。受け取ったジョブがローカルコピーであれば、ジョブマネージャ 4009は、スキャンマネージャ 4011とプリントマネージャ 4010を制御する。

[0050] また、受け取ったジョブがファクシミリ送信ジョブであれば、ジョブマネージャ 4009は、スキャンマネージャ 4011と文書保管のためにファイルマネージャ 4014とファタシミリマネージャ 4012を制御する。更に、受け取ったジョブが LIPSや PostScript等の PDL プリントジョブであれば、ジョブマネージャ 4009は、 PDLマネージャ 4013とファイルマネージャ 4014とプリントマネージャ 4010を制御する。このようにジョブマネージャ 4 009は、受け取ったジョブに応じて各マネージャの起動、同期、終了等の処理を制御する。

[0051] 図 5は、図 1で示した本実施形態の文書検索装置 1000内に配置されている文書管理システム 1005のソフトウェア構成を示す図である。文書管理システム 1005は、文書の保管、取得、検索といった機能をメインユニット 1001に提供する。なお、図 5の 5 004及び 5005は、図 4の 4006及び 4007と同じ咅分をそれぞれ示して! /、る。

[0052] 5001は、ネットワーク制御部であり、メインユニット 2000のネットワーク制御マネージャ 4002と通信のための制御を行う。 5002は検索制御部であり、メインユニット 200 0から依頼された検索のための処理を行ったり、保管された文書データの検索用インデッタス作成のための処理を行う。

[0053] 5003は、イメージ文書処理部であり、サムネイル画像データの作成や必要に応じて画像変換といった処理を行う。また、登録された文書データに応じて検索用のインデッタスを文書データから抽出する処理を行う。つまり、文書管理システム 1005に登録される文書データは、イメージ文書処理部 5003によって所定のフォーマットに変換される。そして、画像データに関しては、ブロックセレクション（BS)エンジン 5005を利用して、文書データに含まれる画像エリアが抽出される。一方、テキスト（文字)データに関しては、 OCRエンジン 5004を用いて、文書データに含まれる画像データからインデックスデータ及び固定文字情報が抽出される。

[0054] 5006は、文書管理制御部であり、文書管理に関するすべての処理の振り分けを行つている。 5007は、文書管理システム側で使用するテンポラリデータの格納場所である。

[0055] 5008は、データベース制御部であり、データベースに保存する各種データを作成し、ボリュームデータベース 5009、属性データベース 5010、全文検索用データべ一ス 5011、画像検索用データベース 5012に対応する各種データを保存する処理を行う。また、データベース制御部 5008は、メインユニット 1001からの要求に応じてそれぞれのデータベース力データを読み出し、メインユニットに渡す文書データを作成する処理を行う。

[0056] ボリュームデータベース 5009は、文書データの実体が保存されるデータベースである。なお、ボリュームデータベースは概念的なものであって、実体が文書管理システム 1005の OS上のファイルシステムであっても問題はない。属性データベース 501 0は、文書データの名前や作成日付、コメントなどの属性に関する情報が保存されるデータベースである。全文検索用データベース 5011は、登録された文書データから OCRエンジン 5004によって抽出されたインデックスデータや固定文字情報が登録されるデータベースである。メインユニット 1001で全文検索が指示されると、全文検索データベース 5011内での検索が行われる。画像検索用データベース 5012は、登録された文書データからブロックセレクションに BSエンジン 5005によって抽出された画像エリアの特徴が文書データに関連付けて登録されるデータベースである。メインユニット 1001で画像検索が指示されると、検索対象画像データの特徴にしたがって画像検索用データベース 5012が検索され、関連付けされた文書データが検出される。

[0057] 図 6は、本実施形態における検索処理において、操作部 2050に備えられた表示部 6000に表示される画面の遷移の一例を示す図である。本図を用いて本実施形態での検索処理のフローについて説明する。

[0058] 6001は最初に表示される基本画面である。本実施形態における操作部 2050は、表示装置 6000にタツチパネルを使用しており、画面上に表示されたボタンを押すことで対応する機能が実行される。本例では、コピー、送信、検索を含む 10の機能に対応した複数のボタンが表示されている。本例では、検索に関しては、基準による検索（Searchwith Criteria)と、原稿の検索（Searchfor Original)との 2つの機能に対応したボタン 6050、 6060が表示されている。ここで、基準による検索とは、検索キーとして指定された画像やキーワードを含む文書データを検索することを意味する。一方、原稿の検索とは、読み取った 1ページの原稿画像と全体が一致する文書データを検索することを意味する (複数ページの原稿を読み取らせた場合、全ページの原稿画像が一致する文書データを検索)。

[0059] 6002は、基本画面 6001で基準による検索（Searchwith Criteria)ボタン 6050力 S押された後に表示される画面である。この画面において、画像検索（ImageSearch)か、キーワード検索（KeywordSearch via OCR)のいずれかをボタン 6070、 6080で選択する。

[0060] 6002の画面で画像検索が選択された場合は、 6013の画面が表示され、検索キーとして使用する画像データを抽出するための原稿の入力待ちのステータスになる。

[0061] 画面 6013が表示された状態で、ユーザが原稿をセットして読み取り開始 (ScanStar t)ボタンを押すと、原稿が読み込まれ、読み込まれた画像データ力も BSエンジンによって画像エリアが抽出される。抽出された画像エリアは縮小画像 (サムネイル）として 6014の画面に表示される。本例では 3つの縮小画像が表示されている。ユーザは検索キーとして使用する画像データをこの画面 6014で選択し、検索開始 (SearchSta rt)ボタンを押して検索を実行させる。選択するためには縮小画像として表示されて!ヽるエリアをタツチするだけでよぐ選択中であることを示すために、例えば縮小画像の左上に設けられたチェックボックスにマークが表示される。本実施形態においては、検索キーとして複数の画像データを選択することも可能であり、その場合には、複数の画像データの論理積 (AND)で検索するか、複数の画像データの論理和（OR)で検索するのかを選択可能である。

[0062] ユーザが検索開始ボタンを押すと、メインユニット 1001から文書管理システム 1005 に対して画像検索の指示が発行され、文書管理システム 1005は検索を実行してその結果をメインユニット 1001に対して返す。結果を返されたメインユニット 1001は、 6 015で示す画面に検索結果を表示する。この画面 6015には、検索結果として、文書名、一致率 (類似度)、更新日、格納場所等の情報がリストで表示されている。ユーザはこの画面 6015から所望の文書データを選択して、印刷、送信等の操作を実行することがでさる。

[0063] 一方、画面 6002で、キーワード検索が選択された場合は、 6023の画面が表示され、キーワードを抽出するための原稿の入力待ちのステータスになる。

[0064] 画面 6013が表示された状態で、ユーザが原稿をセットして読み取り開始 (ScanStar t)ボタンを押すと、原稿が読み込まれ、読み込まれた画像データカゝら OCRエンジンによってキーワードが抽出される。抽出されたキーワードは 6024の画面に一覧表示される。ユーザは検索キーとして使用するキーワードをこの画面 6024で選択し、検索開始 (SearchStart)ボタンを押して検索を実行させる。選択するためにはキーワードとして表示されているエリアをタツチするだけでよぐ選択中であることを示すために、例えばキーワードの左に設けられたチェックボックスにマークが表示される。本実施形態においては、検索キーとして複数のキーワードを選択することも可能であり、その場合には、複数のキーワードの論理積 (AND)で検索する力、複数のキーワードの論理和（OR)で検索するのかを選択可能である。 [0065] ユーザが検索開始ボタンを押すと、メインユニット 1001から文書管理システム 1005 に対してキーワード検索の指示が発行され、文書管理システム 1005は検索を実行してその結果をメインュ-ット 1001に対して返すことになる。結果を返されたメインュ- ット 1001は、 6025で示す画面に検索結果を表示する。この画面 6025〖こは、検索結果として、文書名、一致率 (類似度)、更新日、格納場所等の情報がリストで表示されている。ユーザはこの画面 6025から所望の文書データを選択して、印刷、送信等の操作を実行することができる。

[0066] 図 7は、本実施形態の文書検索装置 1000において、画像検索を選択してから検索を実行するまでにメインユニットで実行される処理を示すフローチャートである。ここで行われる処理は、図 6において、画面 6013及び画面 6014が表示された状態での処理に相当する。

[0067] 画像検索が選択され、検索キーとする画像を抽出する原稿をセットして読み取り開始が指示されると、メインユニット 2000はスキャナ部 2070を起動して、原稿の読み取り処理を実行する（ステップ S7001)。ここで読み取った画像データは、 HDD2004 に一時的に保存される。

[0068] 次に、保存された画像データに対してブロックセレクション (BS)を実行する (ステツプ S7002)。この処理は文書管理アプリケーション 4005の指示により、 BSエンジン 4 007で実行される。ブロックセレクションの結果、画像エリアがあるかどうかを判断し（ステップ S7003)、画像エリアがなければ処理を終了する。一方、画像エリアがあった場合は、保存された画像データカゝら対応する画像エリアを抽出して RAM2002に保存しておく（ステップ S7004)。

[0069] 次に、抽出した画像エリアから画像特徴を抽出する (ステップ S7005)。この処理では、画像のエッジ情報や、色情報、配置パターン等を画像の特徴として抽出し、ファィルとして HDD2004に保存しておく。本実施形態では、 HDD2004に保存する際のファイル名としては、 AREA01.xml、 AREA02.xmlというように所定の名称の後に番号を連番でつけたものとする。メインユニット 2000から文書管理システム 2060へ画像検索指示を発行するときには、この画像特徴の情報を検索キーとして検索指示を発行する。こうすることにより、画像データそのものを検索キーとして渡すよりも転送するデータ量を低減することが可能になる。この画像特徴の抽出処理は、文書管理アプリケーシヨン 4005で実行される。

[0070] その後、抽出した画像データの縮小画像 (サムネイル)を作成して HDD2004に保存する（ステップ S7006)。ここでも保存する名前としては、 AREA01.jpg、 AREA02.jpg というように、所定の名称の後に番号を連番でつけたものとする。本実施形態では、 1 つの画像エリア毎に処理が行われるので、このようにすると、ステップ S7005で作成した画像特徴情報と縮小画像とを関連付けることが可能になる。

[0071] そして、次の画像エリアがあるかどうかを判断し (ステップ S7007)、まだ画像エリアがある場合には、ステップ S7004に戻り、以降の処理を繰り返す。次の画像エリアがない場合には、全ての画像エリアに対する処理が終了したと判断し、ステップ S7006 にお、て保存した縮小画像を画面 6014で一覧表示する（ステップ S7008)。

[0072] ユーザが検索キーとして使用する画像データを選択して検索開始が指示されると（ステップ S7009)、メインユニット 2000は選択された画像データに対応する画像特徴情報を検索キーとして文書管理システム 2060へ画像検索指示を発行し (ステップ S7 010)、処理を終了する。

[0073] 図 8は、本実施形態の文書検索装置 1000において、キーワード検索を選択してから検索を実行するまでにメインユニットで実行される処理を示すフローチャートである。ここで行われる処理は、図 6において、画面 6023及び画面 6024が表示された状態での処理に相当する。

[0074] キーワード検索が選択され、キーワードを抽出する原稿をセットして読み取り開始が指示されると、メインユニット 2000はスキャナ部 2070を起動して、原稿の読み取り処理を実行する（ステップ S8001)。ここで読み取った画像データは、 HDD2004に一時的に保存される。

[0075] 次に、保存された画像データに対してブロックセレクション (BS)を実行する (ステツプ S8002)。この処理は文書管理アプリケーション 4005の指示により、 BSエンジン 4 007で実行される。ブロックセレクションの結果、文字エリアがあるかどうかを判断し（ステップ S8003)、文字エリアがなければ処理を終了する。一方、文字エリアがあった場合は、保存された画像データから対応する文字エリアを抽出して RAM2002に保存しておく（ステップ S8004)。

[0076] その後、抽出した文字エリアを OCRにかけて文字列を抽出する (ステップ S8005) 。この処理は OCRエンジン 4006によって実行される。更に、抽出した文字列に対して形態素解析処理を施して名詞を取り出し、取り出した名詞の出現頻度や出現位置など力も優先順位をつけてリストイ匕してキーワード一覧として HDD2004に保存しておく。既に保存されているキーワードがあれば、そこに追加する形で保存を実行する (ステップ S8006)。このキーワードの抽出処理は文書管理アプリケーション 4005で実行される。

[0077] そして、次の文字エリアがあるかどうかを判断し (ステップ S8007)、まだ文字エリアがある場合には、ステップ S8004に戻り、以降の処理を繰り返す。次の文字エリアがない場合には、全てのエリアに対する処理を終了したと判断し、ステップ S8006にお V、て保存したキーワード一覧を画面 6024で表示する（ステップ S8008)。

[0078] ユーザが検索キーとして使用するキーワードを選択して検索開始が指示されると（ステップ S8009)、メインユニット 2000は選択されたキーワードを検索キーとして文書管理システム 2060へ全文検索指示を発行し (ステップ S8010)、処理を終了する。

[0079] 以上説明したように、本実施形態では、読み取った原稿内の画像データに対応した縮小画像の一覧が表示され、ユーザはその中から検索キーとして使用する画像データを容易に選択することが出来る。

[0080] 従って、ユーザに容易でわかりやすい手法で検索キーとなる画像データの指定や入力が可能となり、ユーザの利便性が向上する。

[0081] <その他の実施形態 >

上記実施形態で説明した構成や処理フロー、操作画面等は、あくまで一例であり、本発明の目的を達成できるものであれば、構成や処理の手順を変更あるいは修正しても良い。

[0082] 例えば、上記実施形態では、読み取った原稿にある画像エリアに対応した縮小画像 (サムネイル)を表示する。し力しながら、表示領域のサイズと画像エリアの数ゃサィズとの関係から一覧表示が可能であれば、そのままのサイズで表示しても良い。この場合、一覧表示が可能力否かを判定し、可能でない場合には、一覧表示できるサィズまで各画像を縮小するようにしたり、一覧表示する画像の数に応じて縮小率を変更するようにしてちょい。

[0083] 更に、上記実施形態では操作部に備える表示装置が、表示画面上にタツチパネルを有するものとした力タツチパネル以外の操作手段 (キーやボタン等）によって一覧表示された画像から検索に使用する画像を選択する構成としても良い。

[0084] また、画像データのフォーマットについても上記実施形態で例示したものに限定されず、適宜適切なものを使用できる。

[0085] また、上記実施形態では画像データを検索キーとする場合と文字を検索キーとする場合とで区別するようにしたが、これに限ることなぐ画像データと文字列の論理和、論理積による検索も可能である。

[0086] また、画像、文字の検索キーに加え、操作部力さらに検索条件 (文書の作成日時

、更新日時、格納場所、文書名、ファイル種別、文字列など)を付加することによりより精度の高ヽ検索を行えるようにしてもょ、。

[0087] また、原稿内の画像、文字を検索キーとするのに加え、ブロックセレクションの結果で得た他の属性 (表、線画、背景)を検索キーとしてもよい。

[0088] 以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成される文書検索システムに適用しても良いし、また、一つの機器からなる文書検索装置に適用しても良い。

[0089] 例えば、上記実施形態では、本発明を、スキャナ機能、コピー機能、プリンタ機能、ファクシミリ機能を有する複合機に適用したものについて説明した。これらの機能のうち、コピー機能やファクシミリ機能及びプリンタ機能は必須ではない。従って、スキヤナ (読取装置）と、メインユニット及び操作部に対応するコンピュータ等の情報処理装置とで構成されるシステムでも本発明を実施できる。この場合、上記実施形態における文書管理システムは、該コンピュータ装置の内部に設けても、ネットワークを介して接続される外部装置としても良い。

[0090] 文書管理システムを外部装置とする場合、それを複数設け、検索の際、どの外部装置力も検索する力を指定可能としてもょ、し、検索可能な全ての外部装置力も検索するようにしてちょい。 [0091] また、検索キーの抽出は、スキャナ機能で原稿を読み取った画像の画像データとした力それ以外の画像データでもよい。例えば、ファクシミリ受信した画像データや L AN2020等のネットワークを介して電子メール機能や FTP機能で受信した画像データ、 Webサーノから受信したデータに含まれる画像データ力も抽出してもよい。また、印刷クライアントから受信した印刷データでもよい。そして、それらを HDD2004に保存しておき、操作部 2050からユーザに選択させ、検索キーの抽出を行えばよい。

[0092] なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接或いは遠隔力供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを読み出して実行することによつても達成され得る。上記実施形態では、図 7及び図 8のフローチャートに対応したプログラムである。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。

[0093] 従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

[0094] その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、 OSに供給するスクリプトデータ等、プログラムの形態を問わない。

[0095] プログラムを供給するための記録媒体としては、様々なものが使用できる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、 MO、 C D— ROM、 CD-R, CD-RW,磁気テープ、不揮発性のメモリカード、 ROM, DV D (DVD-ROM, DVD—R)などである。

[0096] その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページ力もハードディスク等の記録媒体にダウンロードすることによつても供給できる。その場合、ダウンロードされるのは、本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルであってもよ、。

[0097] また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページ力ダウンロードすることによつても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファィルを複数のユーザに対してダウンロードさせる wwwサーバも、本発明のクレームに含まれるものである。

[0098] また、本発明のプログラムを暗号化して CD— ROM等の記憶媒体に格納してユーザに配布する形態としても良い。その場合、所定の条件をクリアしたユーザに対し、ィンターネットを介してホームページから暗号ィ匕を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムが実行可能な形式でコンビユータにインストールされるようにする。

[0099] また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される形態以外の形態でも実現可能である。例えば、そのプログラムの指示に基づき、コンピュータ上で稼動している OSなど力実際の処理の一部または全部を行な、、その処理によっても前述した実施形態の機能が実現され得る

[0100] さらに、記録媒体力読み出されたプログラム力コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるようにしてもよい。この場合、その後で、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わる CPUなどが実際の処理の一部または全部を行な！、、その処理によって前述した実施形態の機能が実現される。

[0101] 本発明は上記実施の形態に制限されるものではなぐ本発明の精神及び範囲から離脱することなぐ様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

[0102] 本願は、 2005年 7月 28日提出の日本国特許出願特願 2005— 219441を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims

請求の範囲

[1] 保存された複数のデータから所定の検索キーに基づいて所望のデータを検索する検索装置であって、

原稿画像を読み取って画像データを得る読み取り手段と、

情報を表示するための表示手段と、

指示を入力するための入力手段と、

前記一覧表示された前記複数の画像の少なくとも 1つを前記入力手段によって選択するとき、選択された前記画像を検索キーとして用いて検索を行うように構成されて!、ることを特徴とする検索装置。

[2] 前記画像データのサイズを縮小する縮小手段を更に備え、

前記一覧表示手段は、前記画像抽出手段で抽出した画像領域に対応する前記画像の縮小画像を前記表示手段に一覧表示させることを特徴とする請求項 1に記載の検索装置。

[3] 画像の情報を検索キーとして検索を行う画像検索モードと、文字列を検索キーとして検索を行うキーワード検索モードとの 2つの検索モードを有し、

指定された前記画像領域内の文字情報を抽出する OCR手段と、

抽出された文字情報力所定の規則に従ってキーワードを抽出するキーワード抽出手段と、を更に備え、

前記キーワード検索モードが指定されたときに、前記領域抽出手段は、前記画像データ内にある文字領域を抽出し、

前記一覧表示手段は、前記領域抽出手段で抽出した前記文字領域に対して、前記 OCR手段及び前記キーワード抽出手段を用いて前記キーワードを抽出し、抽出された前記キーワードを前記表示手段に一覧表示させ、

該一覧表示された前記キーワードの少なくとも 1つを前記入力手段によって選択するとき、選択された前記キーワードを検索キーとして用いて検索を行うように構成されていることを特徴とする請求項 1又は 2に記載の検索装置。

[4] 前記検索キーとして選択された前記画像の特徴情報を用いて検索を行うことを特徴とする請求項 1から 3のいずれか 1項に記載の検索装置。

[5] 前記特徴情報は、画像のエッジ情報、色情報、及び配置パターンの少なくともいずれかを含むことを特徴とする請求項 4に記載の検索装置。

[6] 前記表示手段は表示画面を有し、前記入力手段は該表示画面上に設けられたタツチパネルを含むことを特徴とする請求項 1から 5のいずれか 1項に記載の検索装置。

[7] 少なくとも読み取り機能とプリント機能とを有する複合機であることを特徴とする請求項 1から 6のいずれか 1項に記載の検索装置。

[8] 保存された複数のデータ力所定の検索キーに基づいて所望のデータを検索する検索方法であって、

原稿画像を読み取って画像データを得る読み取り工程と、

指示を入力するための入力手段によって、該一覧表示された画像の少なくとも 1つを選択するのに応じ、選択された画像を検索キーとして用いて検索を行う画像検索工程と、備えることを特徴とする検索方法。

[9] 請求項 8に記載の検索方法の各工程をコンピュータ装置によって実行させるプログラムコードを含むコンピュータプログラム。

[10] 請求項 9に記載のコンピュータプログラムを格納したコンピュータ可読記憶媒体。