JP2008040753A - Image processor and method, program and recording medium - Google Patents
Image processor and method, program and recording medium Download PDFInfo
- Publication number
- JP2008040753A JP2008040753A JP2006213612A JP2006213612A JP2008040753A JP 2008040753 A JP2008040753 A JP 2008040753A JP 2006213612 A JP2006213612 A JP 2006213612A JP 2006213612 A JP2006213612 A JP 2006213612A JP 2008040753 A JP2008040753 A JP 2008040753A
- Authority
- JP
- Japan
- Prior art keywords
- image
- partial image
- keyword
- partial
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、テキスト検索における検索結果の表示技術に関し、ユーザが入力した検索キーワードに応じてテキスト検索を行う検索機能、検索結果を表示する表示画面の作成機能を備えた画像処理装置、方法、プログラムおよび記録媒体に関し、例えば、複写機の複合機、ファイルサーバ、画像処理プログラム等に好適な技術に関する。 The present invention relates to a search result display technique in text search, and relates to an image processing apparatus, method, and program having a search function for performing a text search according to a search keyword input by a user, and a display screen creation function for displaying the search result. The present invention relates to a technique suitable for, for example, a multifunction peripheral of a copying machine, a file server, and an image processing program.
紙文書をスキャナ等の入力デバイスを使用して電子化する例えば電子ファイリング等の装置があるが、専ら紙文書を大量に扱う業務用途として使用されていた。近年、スキャナの低価格化やスキャン機能を搭載したMFP(Multi Function Printer)の普及、またe−文書法等の法制化により一般的なオフィスにおいてもそのハンドリングの良さや利便性が認知され、紙文書をスキャンして電子化する機会が増えている。また、電子化された文書画像データや写真画像データ、PC等のアプリケーションによって作成された文書データ等をデータベース(以下DB)化して一元管理する画像DBの用途も増加している。例えば、紙文書の原本が保存されていても、管理や検索のし易さから画像DBを構築する場合もある。 There are devices such as electronic filing that digitize paper documents using an input device such as a scanner, but they have been used exclusively for business purposes dealing with a large amount of paper documents. In recent years, MFPs (Multi Function Printers) equipped with lower scanner prices and scanning functions have become popular, and the legislation such as the e-document method has been recognized for its good handling and convenience in general offices. Opportunities to scan and digitize documents are increasing. In addition, the use of an image DB for centralizing and managing digitized document image data, photographic image data, document data created by an application such as a PC as a database (hereinafter referred to as DB) is also increasing. For example, even if an original paper document is stored, an image DB may be constructed for ease of management and search.
このような画像DBは、サーバ装置を設置して多数の人がアクセスする大規模なものから、個人のPC内にDBを構築するパーソナルな用途まで様々である。近年のMFPでは、内臓のHDDに文書を蓄積する機能を備えており、MFPをベースとして画像DBを構築する例もある。また、画像DBには、大量の画像から所望の画像を検索するための検索機能を備えたものがある。現在主流の検索機能は、OCR(Optical Character Reader)処理した文字認識結果や文書データから抽出したテキスト情報等をキーワードとして、全文検索または類義語や概念検索等を行うのが一般的である。 Such image DBs vary from large-scale ones where a server device is installed and accessed by a large number of people to personal uses for constructing a DB in a personal PC. Recent MFPs have a function of storing documents in a built-in HDD, and there is an example in which an image DB is constructed based on the MFP. Some image DBs have a search function for searching a desired image from a large number of images. Currently, the mainstream search function generally performs full-text search or synonym or concept search using a keyword recognition result obtained from OCR (Optical Character Reader) processing, text information extracted from document data, or the like as a keyword.
このようにして検索された文書画像の検索結果は、通常、何らかの表示手段を介してユーザに提示される。このような表示手法(ここではハードウェア的な意味ではなく、表示画面を作成するソフトウェア的な意味)には、以下の3通りの手法がある。
・方式1:文書ファイル名や作成日等の文書情報をテキスト形式で一覧表示する方法
・方式2:キーワードにヒットした文書画像データを縮小画像としたサムネイル一覧によって表示する方法
・方式3:キーワードにヒットした周囲テキストをテキスト情報として表示する方法
方式1は、表示画面のサイズが小さく、処理能力が低い機器等で使用される方法であり、方式2は、現状の文書画像DB等で使用される方法であり、方式3は、インターネットの検索等で用いられる方法である。
The search result of the document image searched in this way is usually presented to the user via some display means. There are the following three methods for such a display method (in this case, not a hardware meaning but a software meaning for creating a display screen).
Method 1: A method of displaying document information such as document file names and creation dates in a text format. Method 2: A method of displaying a thumbnail list using reduced document image data hitting a keyword. Method 3: A keyword. Method of displaying hit surrounding text as
上記した従来の表示手法では、検索結果の画面のみからユーザが所望の文書画像を見つけ出すことが難しく、その結果、検索にヒットした個々の文書画像データをビューア等の画面を用いて表示し、検索対象画像を探さなければならず、検索時の操作性が悪いという問題があった。 In the conventional display method described above, it is difficult for the user to find a desired document image only from the search result screen. As a result, each document image data hit in the search is displayed using a screen such as a viewer, and the search is performed. There was a problem that the target image had to be searched and the operability during the search was poor.
例えば、方式1では、ファイル名や作成日等の文書情報を予め知っていなければ文書を探せないため、それらの情報をユーザが知らない場合にはビューアで確認する必要がある。また、方式2では、特徴的な概観を持つ文書画像データならば探索が可能となるが、ヒットした文書画像が同様な概観を持つものが多い場合、例えば、論文や帳票、特許等の定型もしくは定型に近い文書画像が大量にヒットしている場合には、結局ビューアで確認する必要がある。さらに、方式3では、サムネイル等の画像の概観を認識する情報がないため直感的な判断がしにくく、各々のテキスト情報を読む必要があることから操作が煩わしく、少量のテキスト情報からは検索対象画像であるかの判断ができず、結局、ビューアで確認するケースが多くなる(表示するテキスト情報を増やせば一覧性が悪化する)。そして、画像DBの規模が大きくなり、キーワード検索によるヒット数が増加するほど、上記した問題が顕著になる。
For example, in the
そこで、このような課題に対して特許文献1の検索システムがある。特許文献1では、検索キーに適合するテキストオブジェクトを他の部分と識別できるように特徴付けられてなる縮小簡易画像を生成し、表示することにより、当該テキストオブジェクトの出現頻度を一目で視認でき、また、段落中のオブジェクトの出現位置により文書でのオブジェクトの使われ方が推測でき、文書内容が判別できる。
Therefore, there is a search system disclosed in
しかし、上記した方法では、文書画像の概観とキーワードの位置が分かるが、その文書画像の内容を把握することは難しい。一般的に文書画像検索は、ユーザの探したい文書が存在し、その既知の文書を検索する場合と、情報を得たいために未知の文書を検索する場合に大別されるが、上記した方法は、未知の文書の検索には使用できない。また、例えば、ほとんど文字で構成される文書画像のページが上記した方法で表示されても、それが検索対象の画像であるか否かを判断することは難しい。 However, in the above method, the outline of the document image and the position of the keyword can be understood, but it is difficult to grasp the contents of the document image. Generally, a document image search is roughly divided into a case where a user wants to search for a document and searching for the known document and a case of searching for an unknown document in order to obtain information. Cannot be used to retrieve unknown documents. Also, for example, even if a page of a document image composed mostly of characters is displayed by the method described above, it is difficult to determine whether or not it is a search target image.
本発明は上記した問題点に鑑みてなされたもので、
本発明の目的は、ユーザが入力したキーワードに基づいて文書画像DBのキーワード検索を実施し、検索結果の表示画面を生成する機能を有する画像処理装置において、検索結果の一覧表示上での文書画像の視認性を向上させ、一覧表示上のみで検索対象画像を探し出すことが可能となり、文書画像DBにおけるキーワード検索の操作性を向上させた画像処理装置、方法、プログラムおよび記録媒体を提供することにある。
The present invention has been made in view of the above problems,
An object of the present invention is to provide a document image on a list display of a search result in an image processing apparatus having a function of performing a keyword search of a document image DB based on a keyword input by a user and generating a display screen of the search result. To provide an image processing apparatus, method, program, and recording medium that can improve the visibility of images, search for a search target image only on a list display, and improve the operability of keyword search in the document image DB. is there.
本発明は、画像データベースに蓄積されている文書画像データを検索する機能を有する画像処理装置であって、文書画像を部分画像に分割する画像分割手段と、キーワードによる検索キーを受け付け、前記文書画像をページ単位に検索するキーワード検索手段と、前記キーワード検索にヒットした1以上の文書画像を表示する表示画面を生成する表示画面制御手段と、前記画像分割した部分画像を選択する部分画像選択手段を備え、前記表示画面は、各々のページ単位に、ページの概観を示すサムネイルと、ヒットしたキーワードを含むテキスト情報と、前記部分画像選択手段により選択された部分画像を配置することを最も主要な特徴とする。 The present invention is an image processing apparatus having a function of searching document image data stored in an image database, receiving an image dividing means for dividing a document image into partial images, a search key based on a keyword, and the document image A keyword search means for searching for each page, a display screen control means for generating a display screen for displaying one or more document images hit by the keyword search, and a partial image selection means for selecting the divided partial images. The display screen includes a thumbnail showing the overview of the page, text information including the hit keyword, and a partial image selected by the partial image selection means for each page. And
本発明によると、検索結果の一覧表示上での文書画像のサムネイル、検索キーにヒットしたテキスト情報、代表部分画像を同時に表示することにより、サムネイルによって画像の概観を容易に把握でき、テキスト情報によって検索キー前後の文書内容を容易に把握でき、また、代表部分画像によってサムネイルでは確認できない代表部分画像の詳細の視認性を向上させているので、曖昧な記憶を頼りに既知の文書画像を検索する場合や、未知の情報を得るために文書画像を検索する場合でも、検索にヒットした文書画像の内容理解を助け、一覧表示上のみで検索対象画像を探し出すことが可能となり、文書画像DBにおけるキーワード検索の操作性が向上する。 According to the present invention, by simultaneously displaying the thumbnail of the document image on the search result list display, the text information that hits the search key, and the representative partial image, an overview of the image can be easily grasped by the thumbnail, and the text information The document contents before and after the search key can be easily grasped, and the visibility of details of representative partial images that cannot be confirmed with thumbnails by the representative partial images has been improved, so a known document image can be searched by relying on ambiguous memory. Even when searching for a document image to obtain unknown information, it is possible to help understand the content of the document image that has been hit by the search, and to search for the search target image only on the list display. Improved search operability.
本発明によると、表示部分画像の選択に際して、その文章内容を端的に表す可能性の高いタイトル部を示す部分画像を選択しているので、文書内容の理解が容易になる。 According to the present invention, when the display partial image is selected, the partial image indicating the title portion that is highly likely to express the sentence content is selected, so that the document content can be easily understood.
本発明によると、表示部分画像の選択に際して、本文領域以外の写真、図形、表等の部分画像を選択しているので、直感的に文書内容を把握できる。 According to the present invention, when selecting a display partial image, a partial image such as a photograph, a figure, or a table other than the body area is selected, so that the contents of the document can be grasped intuitively.
本発明によると、検索キーのヒットした部分画像を代表部分画像として選択しているので、サムネイルと照合することによって検索キーのヒットした部分が文書画像中のどの部分に相当するのかを容易に把握できる。また、実画像上で文字の概観(フォントスタイルやフォントの大きさ)等が分かるので、文書内容を容易の把握できる。 According to the present invention, since the partial image hit with the search key is selected as the representative partial image, it is easy to grasp which portion in the document image the hit portion of the search key corresponds to by comparing with the thumbnail. it can. In addition, since the outline of the characters (font style and font size) can be understood on the actual image, the document contents can be easily grasped.
本発明によると、表示部分画像の選択に際して、キーワード検索にヒットした部分画像の近傍の部分画像を選択しているので、検索キーワードと関連する部分画像を選択することができ、検索キーワードによる文書画像の内容理解が容易になる。 According to the present invention, when selecting a display partial image, since a partial image in the vicinity of the partial image hit in the keyword search is selected, a partial image related to the search keyword can be selected, and a document image based on the search keyword can be selected. Understanding of the contents becomes easier.
本発明によると、代表部分画像の選択に際して、大きなサイズの部分画像を選択しているので、文書画像の内容を端的に表す部分画像を選択することができ、文書画像の内容理解が容易になる。 According to the present invention, when selecting a representative partial image, since a partial image of a large size is selected, it is possible to select a partial image that directly represents the contents of the document image and to facilitate understanding of the contents of the document image. .
本発明によると、検索キーがヒットした部分画像に含まれる図形、写真、表等のオブジェクトを示すキーワードを検索し、そのキーワードに基づいて代表部分画像を選択しているので、検索キーワードと関連する部分画像を選択することができ、検索キーワードによる文書画像の内容理解が容易になる。 According to the present invention, a keyword indicating an object such as a figure, a photograph, or a table included in a partial image whose search key is hit is searched, and a representative partial image is selected based on the keyword. A partial image can be selected, and the contents of the document image can be easily understood by the search keyword.
以下、発明の実施の形態について図面により詳細に説明する。 実施例1:
図1は、本発明の実施例1のシステム構成を示す。図1において、100はパーソナルコンピュータ(以下PC)、PDAや携帯電話等のモバイル端末等のクライアント装置である。101はモニタ等の表示デバイス、102はユーザ指示の解釈、サーバ110との通信、表示デバイス101の制御を行うアプリケーションプログラム、103はユーザからの指示入力手段であるキーボードやマウス等の入力デバイス、104はLANやインターネット等の外部通信路である。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Example 1:
FIG. 1 shows a system configuration of
110はクライアントからのコマンドに応じて画像分類を行い、分類結果をクライアント100へ出力するサーバ装置、111は外部通信路104とのインターフェース(以下I/F)、112は画像DB113へ登録する登録画像データ、113は登録画像112を所定サイズ以下に変倍してサムネイル画像を生成するサムネイル生成処理部、114は登録画像112のレイアウト解析処理を実施し、画像を分割して部分画像(以下オブジェクト)を生成する画像分割処理部、115は画像分割処理部114で生成されたオブジェクトの属性を識別する属性識別処理部、116はオブジェクト画像中から、文字コードを抽出する文字コード抽出処理部、117は画像DB120へ登録されている文書画像データ毎の情報を蓄積する画像情報DBである。なお、情報とは例えば、登録画像データのファイル名、作成日、画像データ、サムネイル画像データ、オブジェクト画像データとの紐付け情報(紐付け情報とは例えば、画像DB120に蓄積される時に各データ固有に付されたIDやファイル名等)、各オブジェクト毎の属性、ページ内のオブジェクトの位置情報、オブジェクトに含まれるテキスト情報(文字コード)等である。
110 is a server device that performs image classification according to a command from the client and outputs the classification result to the
118はクライアント100によって指定され入力されるテキスト情報からなる検索キー、119は検索キー118に対応するオブジェクトや文書画像をオブジェクト情報DBに蓄積されている情報から検索し、検索結果を出力するキーワード検索処理部、120は登録画像112の画像データ、登録画像112のサムネイル画像データ、画像分割処理部114で生成された登録画像112のオブジェクト画像を蓄積する画像DB、121はキーワード検索処理部119の検索結果およびオブジェクト選択処理部の選択結果に応じてクライアント100へ表示するための表示画面を生成する表示画面制御処理部、122はクライアント100の表示デバイス101上へ表示される表示画面データ、123はキーワード検索処理部119の検索結果に応じてクライアント100へ表示するためのオブジェクトを選択するオブジェクト選択処理部である。なお、図中の点線は、画像登録時のデータの流れを表し、実線はキーワード検索処理を行って表示画面を生成する時のデータの流れを表している。
118 is a search key composed of text information designated and input by the
図2は、サーバ装置110の構成を示す。図2において、201はプログラムに応じた演算や処理を行うCPU、202はプログラムのコードや画像の符号データ等のデータを一時的に記憶、保持するワーク領域として使用される揮発性のメモリ、203は画像データやプログラム等を保存、蓄積するためのハードディスク(以下HDD)であり、画像DB120、画像情報DB117を保持する。204はモニタ205へ表示するためのデータバッファとなるビデオメモリである。ビデオメモリ204に書き込まれた画像データは、定期的にモニタ205へ表示される。206はマウスやキーボード等の入力デバイス、207はインターネットやLAN等の外部通信路104を介してデータを送受信する外部I/F、208は各々の構成要素を接続するバスである。
FIG. 2 shows the configuration of the
本実施例では、サーバ装置110がサーバコンピュータにより構成され、画像検索等の処理がソフトウェによって実現する例を示す。すなわち、サーバ内の処理は図示しないアプリケーションプログラムによって実現される。本発明の実施形態はこれに限定されず、MFP等の装置内にハードウェアによって処理を行うように構成しても良いし、また、サーバ、クライアント構成を採らずに、例えば1つのPCやMFP等の機器内に、図1を構成するようにしても良い。
In the present embodiment, an example in which the
以下、本実施例における、画像登録時の動作と画像の検索動作時の検索結果の表示について説明する。 Hereinafter, an operation at the time of image registration and display of a search result at the time of an image search operation in the present embodiment will be described.
図3は、実施例1の画像登録動作のフローチャートである。図1(破線は登録時の動作を示す)、図3を参照して画像登録動作を説明する。 FIG. 3 is a flowchart of the image registration operation according to the first embodiment. The image registration operation will be described with reference to FIG. 1 (broken lines indicate the operation during registration) and FIG.
ステップS001において、ユーザはクライアント装置100からアプリケーションプログラム102を介してサーバ装置110へ画像データの登録の指示と登録する登録画像データ112を指示する。
In step S001, the user instructs the
ステップS002において、登録画像データ112は、外部通信路104を介してサーバ装置110へファイル名、作成日等のファイル情報と共に入力され、外部I/F111を経由して画像DB120へID番号を付与して登録される。同時に、サムネイル生成処理部113では、登録画像112を変倍処理して所定のサイズ以下のサムネイル画像を生成し、画像DB120へID番号を付与して登録する。なお、登録画像データ112が複数ページを有する画像データである場合には、ページ単位でサムネイルを生成する。
In step S002, the registered
ステップS003において、登録画像データ112は、画像分割処理部114へ入力され、公知のレイアウト解析処理によって同一属性毎の領域に分割してオブジェクト画像データを生成する。なお、この際に画像データのオブジェクトの座標データも抽出する。生成されたオブジェクト画像データは画像DB120へオブジェクト画像データ毎にID番号を付与して登録されるとともに属性識別処理部115へ出力される。
In step S003, the registered
ステップS004において、生成されたオブジェクト画像データはオブジェクト画像毎に属性識別処理部115へ入力され、公知のレイアウト解析処理によってオブジェクト毎に属性が識別される。
In step S004, the generated object image data is input to the attribute
なお、上記したステップS003、S004におけるレイアウト解析処理は、OCR処理の前処理等で使用され、様々な手法があり、それら公知の手法を用いれば良い。例えば、文書画像の背景色を特定し、背景色を用いて該文書画像から背景領域以外の画素を抽出し、該画素を統合して連結成分を生成し、該連結成分を少なくとも形状特徴を用いて所定の領域に分類して、文字領域や写真領域を識別する技術がある(特開2001−297303号公報を参照)。また、文字領域識別の別の例として、適応的な2値化処理を行った後、外接矩形の形状を利用して、文字領域を識別する技術もある(特開平7−73271号公報を参照)。さらに、入力画像の黒領域の隣接関係を解析して長方形に分離し(画像分割処理)、この長方形の大きさや黒領域の分布密度に基づいて入力画像の文字、写真、図形、表の各領域を識別する技術(属性識別処理)もある(特開平7−221968号公報を参照)。 Note that the layout analysis processing in steps S003 and S004 described above is used in the pre-processing of the OCR processing, and there are various methods, and these known methods may be used. For example, the background color of the document image is specified, pixels other than the background region are extracted from the document image using the background color, the connected components are generated by integrating the pixels, and at least the shape feature is used for the connected components. There is a technique for classifying a character area and a photographic area by classifying them into predetermined areas (see Japanese Patent Laid-Open No. 2001-297303). As another example of character region identification, there is a technique for identifying a character region using a circumscribed rectangle after performing an adaptive binarization process (see JP-A-7-73271). ). Furthermore, the adjacent relationship of the black area of the input image is analyzed and divided into rectangles (image division processing), and the character, photo, figure, and table areas of the input image are based on the size of the rectangle and the distribution density of the black area. There is also a technique (attribute identification process) for identifying (see Japanese Patent Application Laid-Open No. 7-221968).
上記した従来技術を用いる(または組み合わせる)ことによって、文字領域や写真領域、図形領域、表領域等の属性毎の画像領域分割(オブジェクト化)およびその属性判定が可能となる。また、その際に文字領域の位置やサイズ、文字の大きさ等をもとにしてタイトル領域の識別を行い、文字領域と区別して判定するように構成する。 By using (or combining) the above-described conventional techniques, it is possible to divide an image area (objectification) for each attribute such as a character area, a photographic area, a graphic area, and a table area, and determine the attribute. At this time, the title area is identified based on the position and size of the character area, the size of the character, etc., and is determined separately from the character area.
なお、分割されたオブジェクトの属性識別の他の例としては、例えば、分割された領域のヒストグラムや周波数的な特徴量等を取得して、予め特徴量と属性の関係を学習させたニューラルネットワークやサポートベクタマシン等のパターン認識手法を使用しても良い。また、レイアウト解析処理の前にその精度を高める目的で入力画像に対してスキュー補正や裏移り除去等の前処理を行うようにすればさらに好適である。 In addition, as another example of attribute identification of the divided object, for example, a neural network in which a histogram of a divided area, a frequency feature amount, etc. are acquired and a relationship between the feature amount and the attribute is learned in advance is used. A pattern recognition method such as a support vector machine may be used. Further, it is more preferable to perform pre-processing such as skew correction and back-off removal on the input image for the purpose of improving the accuracy before layout analysis processing.
図4(1)の原稿に対して、レイアウト解析を行った結果の例を図4(2)に示す。 FIG. 4B shows an example of the result of layout analysis performed on the document shown in FIG.
ステップS005において、オブジェクト画像データを文字コード抽出処理部116へ入力し、オブジェクト内に文字が含まれている場合は、OCR処理等を実施して文字認識して文字コードを抽出する。なお、入力された登録画像データが、スキャン画像等のビットマップデータの場合はOCR処理が必要となるが、文字コードを含む文書データ等の場合はデータからの文字コードをそのまま抽出すれば良い。
In step S005, the object image data is input to the character code
ステップS006において、ステップS002〜S005で生成、抽出された、以下の画像情報データを画像情報DB117へ登録する。
・ファイル名、作成日
・画像データID
・サムネイル画像データID
・オブジェクト画像データID
・オブジェクト座標
・オブジェクト属性
・オブジェクトから抽出された(文字コードによる)テキスト情報
なお、画像情報DB117は、一般的なRDB(リレーショナルデータベース)を使用することにより、上記した情報の登録、管理、検索等の処理を簡易に実現できる。また、画像DB120と画像情報DB117は上述の機能を満たせば、同じDBに例えばXML(eXtensible Markup Langage)等の言語を使用し、階層的なデータ構造等を構築して蓄積しても良く、また、異なるサーバに別々なDBとして蓄積してもよい。また、画像登録については、スキャナやデジタルカメラ等の画像入力装置から直接、画像データをサーバ装置110へ登録するようにしても良い。
In step S006, the following image information data generated and extracted in steps S002 to S005 is registered in the
・ File name, creation date ・ Image data ID
・ Thumbnail image data ID
-Object image data ID
-Object coordinates-Object attributes-Text information extracted from the object (by character code) The
図5は、実施例1における、画像検索動作のフローチャートである。図1、図5を参照して画像検索動作を説明する。 FIG. 5 is a flowchart of an image search operation in the first embodiment. The image search operation will be described with reference to FIGS.
ステップS101において、ユーザは、クライアント装置100においてアプリケーションプログラム102を使用して、検索キーを指定して画像検索をサーバ装置110へ指示する。ここでの検索キーは単語等のキーワードを想定する。この時の指示手段は、例えば図6に示すような検索キー指定画面をクライアント装置100の表示デバイス101上へ表示する。図6において、301はキーワード入力ウインドウ、302は検索を指示する検索ボタン、303は検索をキャンセルするキャンセルボタンである。
In step S <b> 101, the user uses the
ユーザは、入力デバイス103のキーボード等を使用し、キーワード入力ウインドウ301へ検索キーワードを入力し、入力デバイス103のマウス等のポインティングデバイスを使用し、検索ボタン302をクリックすることにより、サーバ110側に画像分類指示が外部通信路104を介して転送される。
The user inputs a search keyword into the
ステップS102において、サーバ装置110は、検索指示と共に検索キーを受信すると、キーワード検索処理部119では画像情報DB117に蓄積されたオブジェクトのテキスト情報に対してキーワード検索処理を実施する。キーワード検索処理は、検索キーで指定されたキーワードと完全に合致するもののみを検索する方法と、キーワードの類義語や連想される言葉等を含めて検索する方法、また自然文を検索キーとしてそこから抽出した単語をキーとして検索する方法等があるが、本発明はいずれの方法でもよく、またクライアント装置100側でそれらを指定するように構成しても良い。
In step S102, when the
キーワード検索処理部119では、画像情報DB117から検索にヒットしたオブジェクトに関する以下の情報を表示画面制御処理部121へ出力する。
・ファイル名、作成日
・画像データID
・サムネイル画像データID
・オブジェクト画像データID
・オブジェクト座標
・オブジェクト属性
・オブジェクトから抽出された(文字コードによる)テキスト情報
ステップS103において、オブジェクト選択処理部123では、キーワード検索処理部119の検索結果に応じて表示対象ページ(キーワード検索にヒットしたオブジェクトを含むページ)に含まれるオブジェクトから表示するオブジェクトを選択する。選択方法の詳細については後述する。
The keyword
・ File name, creation date ・ Image data ID
・ Thumbnail image data ID
-Object image data ID
-Object coordinates-Object attribute-Text information extracted from object (by character code) In step S103, the object
ステップS104において、表示画面制御処理部121では、キーワード検索処理部119の検索結果およびオブジェクト選択処理部123の選択結果に応じて検索結果表示画面122のレイアウトを決定する。次いで、画像DB120から、表示する画像データ、画像データのサムネイル、オブジェクト画像データを入力し、また画像情報DB117からキーワード検索にヒットしたテキスト情報を入力し、検索結果表示画面122を生成し、外部I/F111より外部通信路104を経由してクライアント100へ送信する。
In step S104, the display screen
なお、上記したような表示画面の作成方法やサーバクライアント間の通信方法には種々の手法があるが、一般的によく使用される手法としてサーバ装置110をWebサーバとしてWorldWideWebベースの技術を使用することにより実現可能となる。そして、表示画面122はHTML(HyperTextMarkupLangage)によって記述され、アプリケーション102は一般的なWebブラウザを使用すれば良い。
There are various methods for creating the display screen and for communication between server clients as described above. As a commonly used method, the World Wide Web-based technology is used with the
図7は、検索結果表示画面の一例を示す。図7の表示画面をページ詳細表示画面と呼ぶこととする。図7において、311は表示画面をページ詳細表示画面への切り換えを指示するラジオボタン、312は一般的なサムネイル表示を指示するラジオボタン、313は検索結果を表示するフレーム、314はページ(単位の)表示領域、315はフレームをスクロールするためのスライダである。
FIG. 7 shows an example of a search result display screen. The display screen in FIG. 7 is referred to as a page detail display screen. In FIG. 7, 311 is a radio button for instructing switching of the display screen to the page detail display screen, 312 is a radio button for instructing general thumbnail display, 313 is a frame for displaying search results, 314 is a page (unit )
このように、実施例1の詳細表示画面は、検索にヒットしたページ単位に表示領域314を設けて、それをスライダ315でスクロールしながら、キーワード検索した結果表示画面から検索対象画像を探す例を示す。
As described above, the detailed display screen of the first embodiment is an example in which the
また、図8は、ページ表示領域314に、図4に示す画像の「属性」をキーワードとして検索した結果を表示した例を示す。図8において、321はファイル名、322は検索にヒットした画像データの該当ページのサムネイル画像、323は画像データから抽出したタイトル、324は選択された代表オブジェクト、325はキーワード検索にヒットしたテキストデータである。
FIG. 8 shows an example in which the
この例では、テキストデータ325を文字コードのデータ(以下テキストデータと略す。ビットマップの文字画像は文字画像と記す)とした例を示す。これにより、クライアント100のアプリケーション102によって文字コードが解釈され、ユーザは表示画面上で文字として読むことができる。この部分は、画像データの必要な部分の文字画像を切り出して表示しても良いが、大きさが不揃いになり、また、画像データであるためユーザが読み易く体裁を整える操作が煩雑になるなどデメリットがあるため、テキストデータの方がよい。また、テキストデータでは、キーワード部分を強調したり、色づけする等の文字装飾操作も容易である。さらに、テキスト部に実際のオブジェクト画像データのリンクを付けておき、マウス等のポインティングデバイス等でクリックするとオブジェクト画像データが表示されるようにしても良い。
This example shows an example in which the
実施例1はページ単位での表示形態を示しているが、キーワードによる検索では、ページ単位を検索対象とする場合が多い。例えば、最終的にユーザが検索対象ページを含む複数ページからなる文書が必要な場合は、まずページ単位で検索対象画像を探し、そのページから文書へたどり着く手段があれば良いので、多くの場合、上記したような方法で問題はない。仮に、ユーザがキーワード検索からダイレクトに複数ページからなる文書を必要とする場合には、サムネイル画像322に表示するサムネイルを先頭ページのサムネイルとし、あるいは先頭ページのサムネイルを並べて表示しても良い。
The first embodiment shows a display form in units of pages. However, in a search using a keyword, there are many cases where a page unit is a search target. For example, when a user finally needs a document consisting of a plurality of pages including a search target page, it is only necessary to first search for a search target image in units of pages and reach a document from the page. There is no problem with the method described above. If the user needs a document consisting of a plurality of pages directly from a keyword search, the thumbnail displayed on the
ステップS105において、クライアント装置100では、表示デバイス101上に表示画面122を表示する。
In step S <b> 105, the
次に、オブジェクト選択処理部の動作を説明する。実施例1では、以下の条件によりオブジェクトを選択している。図9は、オブジェクト選択処理のフローチャートを示す。
・タイトルが存在すればタイトルオブジェクトを選択する(ステップS201)。
・本文、タイトルオブジェクト以外の図形、写真、表等のオブジェクトから、キーワードがヒットしたオブジェクトの最近傍のオブジェクトを一つ選択する(ステップS202、S203)。
Next, the operation of the object selection processing unit will be described. In the first embodiment, an object is selected under the following conditions. FIG. 9 shows a flowchart of the object selection process.
If a title exists, a title object is selected (step S201).
One object closest to the object hit by the keyword is selected from objects other than the body text and title object, such as graphics, photos, and tables (steps S202 and S203).
例えば、「請求の範囲」がキーワードの場合、図4(2)では、本文1のオブジェクトがヒットしたオブジェクトであり、その最近傍オブジェクトの図形オブジェクトが選択される。
For example, when “claim” is a keyword, in FIG. 4B, the object of
なお、実施例1では、タイトル以外の選択オブジェクトが1つの例を示したが、複数選択しても良い。また、近傍オブジェクトの選択において、予め、図形、写真、表オブジェクトに、近傍の文字主体のオブジェクトから得られるテキスト情報を関連付け、キーワード検索によってそれらのオブジェクトが自動的に選択されるように構成しても良い。また、実施例1では、属性単位に画像領域を分割する画像分割手法を示したが、例えば、図10の破線で示すように画像を等分割して、分割した領域を代表オブジェクトとして表示しても良い。この場合は、図11に示すような表示画面となるため、文書画像の内容を正確に提示する精度が低下するが、属性を判定する必要がなくなるためサーバ装置の処理が軽減される。 In the first embodiment, an example in which there is one selection object other than the title is shown, but a plurality of selection objects may be selected. In addition, when selecting nearby objects, text information obtained from nearby text-based objects is associated with graphics, photos, and table objects in advance, and these objects are automatically selected by keyword search. Also good. In the first embodiment, an image division method for dividing an image area into attribute units is shown. For example, as shown by a broken line in FIG. 10, an image is equally divided and the divided area is displayed as a representative object. Also good. In this case, since the display screen as shown in FIG. 11 is obtained, the accuracy of accurately presenting the contents of the document image is reduced, but the processing of the server device is reduced because the attribute need not be determined.
以上、説明したように本実施例によれば、ユーザが入力したキーワードに基づいて文書画像DBのキーワード検索を実施して、検索結果の表示画面を生成する機能を有する画像処理装置において、検索結果の一覧表示上での文書画像のサムネイル、検索キーにヒットしたテキスト情報、代表オブジェクトを同時に表示することにより、サムネイルによって画像の概観を容易に把握でき、テキスト情報によって検索キー前後の文書内容を容易に把握でき、また、代表オブジェクトによってサムネイルでは確認できない代表オブジェクトの詳細の視認性を向上させているので、曖昧な記憶を頼りに既知の文書画像を検索する場合や、未知の情報を得るために文書画像を検索する場合でも、検索にヒットした文書画像の内容理解を助け、一覧表示上のみで検索対象画像を探し出すことが可能となり、文書画像DBにおけるキーワード検索の操作性が向上する。 As described above, according to the present embodiment, in the image processing apparatus having the function of performing a keyword search of the document image DB based on the keyword input by the user and generating a display screen of the search result, By displaying thumbnails of document images on the list display, text information that hits the search key, and representative objects at the same time, the overview of the image can be easily grasped by thumbnails, and the document contents before and after the search key can be easily determined by text information. In addition, the visibility of the details of representative objects that cannot be confirmed with thumbnails is improved by the representative object, so when searching for a known document image relying on ambiguous memory, or to obtain unknown information Even when searching for document images, it helps to understand the contents of document images that have been found in the search, and Search target image it is possible to find out in the body, thereby improving the operability of the keyword search in the document image DB.
また、代表オブジェクトの選択に際して、その文章の内容を端的に表す可能性の高いタイトルオブジェクトを選択しているので、文書内容の理解が容易になる。また、代表オブジェクトの選択に際して、本文領域以外の写真、図形、表等の領域を選択しているので、直感的に文書内容を把握できる。また、代表オブジェクトの選択に際して、キーワード検索にヒットしたオブジェクトの近傍オブジェクトを選択しているので、検索キーワードに関連したオブジェクトを選択することができ、検索キーワードによる文書画像の内容理解が容易になる。 In addition, when selecting a representative object, a title object that is highly likely to express the content of the sentence is selected, so that it is easy to understand the document content. In addition, when selecting a representative object, a region such as a photo, figure, or table other than the body region is selected, so that the contents of the document can be grasped intuitively. In addition, when selecting a representative object, an object in the vicinity of the object hit in the keyword search is selected, so an object related to the search keyword can be selected, and the contents of the document image can be easily understood by the search keyword.
実施例2:
実施例2は、オブジェクト選択手段が実施例1のものと異なる。他の構成要素は実施例1と同様である。
Example 2:
The second embodiment is different from the first embodiment in object selection means. Other components are the same as those in the first embodiment.
実施例2では、以下の条件により、オブジェクトを選択する。図13は、実施例2のオブジェクト選択処理のフローチャートを示す。
・タイトルが存在すればタイトルオブジェクトを選択する(ステップS301)。
・検索キーがヒットしたオブジェクトを選択する(ステップS302)。
・本文、タイトルオブジェクト以外の図形、写真、表等のオブジェクトから、最大サイズのオブジェクトを一つ選択する(ステップS303)。
In the second embodiment, an object is selected under the following conditions. FIG. 13 is a flowchart of object selection processing according to the second embodiment.
If a title exists, a title object is selected (step S301).
Select an object whose search key is hit (step S302).
One object of the maximum size is selected from objects other than the body text and title object, such as graphics, photos, and tables (step S303).
図4の画像に対する、実施例2の処理結果の例を図12に示す。例えば、「請求の範囲」がキーワードの場合、図4(2)では、本文1のオブジェクトがヒットしたオブジェクトであり、図12に示すように、ヒットしたオブジェクト326が画像データとして選択される。また、最大サイズの写真オブジェクト324が選択される。
An example of the processing result of the second embodiment for the image of FIG. 4 is shown in FIG. For example, when “claim” is a keyword, in FIG. 4B, the object of
以上、説明したように本実施例によれば、検索キーがヒットしたオブジェクトを代表表示オブジェクトとして選択しているので、サムネイルと照合することによって検索キーがヒットした部分が文書画像中のどの部分に相当するかを容易に把握できる。また、実画像上での文字の概観(フォントスタイルやフォントの大きさ)等が容易に分かる。また、代表オブジェクトの選択に際して、オブジェクトのサイズにより選択しているので、文書画像の内容を端的に表すオブジェクトを選択することができ、文書画像の内容理解が容易になる。 As described above, according to the present embodiment, since the object whose search key is hit is selected as the representative display object, the portion where the search key is hit by comparing with the thumbnail is the part in the document image. You can easily grasp whether it corresponds. In addition, an overview of characters on the actual image (font style and font size) can be easily understood. Further, since the representative object is selected according to the size of the object, an object that directly represents the contents of the document image can be selected, and the contents of the document image can be easily understood.
実施例3:
実施例3は、オブジェクト選択手段が実施例1のものと異なる。他の構成要素は実施例1と同様である。
Example 3:
The third embodiment is different from the first embodiment in object selection means. Other components are the same as those in the first embodiment.
実施例3では、以下の条件により、オブジェクトを選択する。図14は、実施例3のオブジェクト選択処理のフローチャートを示す。
・タイトルが存在すればタイトルオブジェクトを選択する(ステップS401)。
・検索キーがヒットしたオブジェクトのテキスト情報から、「表」「Fig」「図」「写真」等の図形、写真、表等のオブジェクトを示すキーワードを検索し(ステップS403)、ヒットした場合(ステップS404でYes)、図形、写真、表等のオブジェクトのキャプション(本実施例の場合は、図形、写真、表オブジェクトに含まれるものとする)を対象としてヒットしたキーワードでキーワード検索を実施してオブジェクトを選択する(ステップS407)。なお、処理結果の例は実施例1と同様である(ただし、本文3に「図」キーワードが存在する場合)。
In the third embodiment, an object is selected under the following conditions. FIG. 14 is a flowchart illustrating object selection processing according to the third embodiment.
If a title exists, a title object is selected (step S401).
A keyword indicating an object such as a figure, a photograph, a table or the like such as “table”, “FIG”, “figure”, “photograph”, or the like is searched from the text information of the object hit by the search key (step S403). (Yes in S404), keyword search is performed with a keyword hit for the caption of an object such as a graphic, photo, or table (in this example, it is included in the graphic, photo, or table object), and the object Is selected (step S407). The example of the processing result is the same as that in the first embodiment (provided that the “text” keyword is present in the text 3).
以上、説明したように本実施例によれば、検索キーがヒットしたオブジェクトに含まれる図形、写真、表等のオブジェクトを示すキーワードを検索し、そのキーワードに基づいて代表オブジェクトを選択しているので、検索キーワードに関連するオブジェクトの選択が可能となり、検索キーワードによる文書画像の内容理解が容易になる。 As described above, according to the present embodiment, a keyword indicating an object such as a figure, a photograph, or a table included in an object whose search key is hit is searched, and a representative object is selected based on the keyword. The object related to the search keyword can be selected, and the contents of the document image can be easily understood by the search keyword.
100 クライアント装置
101 表示デバイス
102 アプリケーションプログラム
103 入力デバイス
104 外部通信路
110 サーバ装置
111 インターフェース
112 登録画像データ
113 サムネイル生成処理部
114 画像分割処理部
115 属性識別処理部
116 文字コード抽出処理部
117 画像情報DB
118 検索キー
119 キーワード検索処理部
120 画像DB
121 表示画面制御処理部
122 表示画面データ
123 オブジェクト選択処理部
DESCRIPTION OF
121 Display Screen
Claims (18)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006213612A JP2008040753A (en) | 2006-08-04 | 2006-08-04 | Image processor and method, program and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006213612A JP2008040753A (en) | 2006-08-04 | 2006-08-04 | Image processor and method, program and recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008040753A true JP2008040753A (en) | 2008-02-21 |
Family
ID=39175684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006213612A Pending JP2008040753A (en) | 2006-08-04 | 2006-08-04 | Image processor and method, program and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008040753A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009223509A (en) * | 2008-03-14 | 2009-10-01 | Canon Inc | Image processor, image processing method and computer program |
JP2010267021A (en) * | 2009-05-13 | 2010-11-25 | Canon Inc | Information processor and information processing method |
JP2019532434A (en) * | 2016-10-13 | 2019-11-07 | イーベイツ インコーポレイテッドEbates Inc. | Wish list user interface in web browser to notify users of price changes |
JP2020014239A (en) * | 2019-09-26 | 2020-01-23 | オリンパス株式会社 | Device, control method of device, system, and program |
US11361339B2 (en) | 2017-10-31 | 2022-06-14 | Rakuten Group, Inc. | System, method, and computer program for providing notification of a cashback reward from a shopping portal using online screen and email analysis |
US11568468B2 (en) | 2019-08-08 | 2023-01-31 | Rakuten Group, Inc. | System, method, and computer program for providing similar product recommendations for non-merchant publishers based on publisher preferences |
US11720575B2 (en) | 2015-01-16 | 2023-08-08 | Rakuten Group, Inc. | Computer database access system and method for categorizing by style ranking |
US12217267B2 (en) | 2012-11-01 | 2025-02-04 | Rakuten Group, Inc. | System, method, and computer program for providing a multi-merchant electronic shopping cart for a shopping service |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1125113A (en) * | 1997-07-07 | 1999-01-29 | Ricoh Co Ltd | Image retrieving device, generating method for key text for image retrieval, program for functioning computer as device therefor, and computer readable record medium recording program for executing method with computer |
JP2004070809A (en) * | 2002-08-08 | 2004-03-04 | Ntt Advanced Technology Corp | Web information browsing apparatus, web information display method, and program therefor |
JP2004157668A (en) * | 2002-11-05 | 2004-06-03 | Ricoh Co Ltd | Retrieval system, retrieval method and retrieval program |
-
2006
- 2006-08-04 JP JP2006213612A patent/JP2008040753A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1125113A (en) * | 1997-07-07 | 1999-01-29 | Ricoh Co Ltd | Image retrieving device, generating method for key text for image retrieval, program for functioning computer as device therefor, and computer readable record medium recording program for executing method with computer |
JP2004070809A (en) * | 2002-08-08 | 2004-03-04 | Ntt Advanced Technology Corp | Web information browsing apparatus, web information display method, and program therefor |
JP2004157668A (en) * | 2002-11-05 | 2004-06-03 | Ricoh Co Ltd | Retrieval system, retrieval method and retrieval program |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009223509A (en) * | 2008-03-14 | 2009-10-01 | Canon Inc | Image processor, image processing method and computer program |
US8412705B2 (en) | 2008-03-14 | 2013-04-02 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer-readable storage medium |
JP2010267021A (en) * | 2009-05-13 | 2010-11-25 | Canon Inc | Information processor and information processing method |
US12217267B2 (en) | 2012-11-01 | 2025-02-04 | Rakuten Group, Inc. | System, method, and computer program for providing a multi-merchant electronic shopping cart for a shopping service |
US11720575B2 (en) | 2015-01-16 | 2023-08-08 | Rakuten Group, Inc. | Computer database access system and method for categorizing by style ranking |
JP2019532434A (en) * | 2016-10-13 | 2019-11-07 | イーベイツ インコーポレイテッドEbates Inc. | Wish list user interface in web browser to notify users of price changes |
US10970755B2 (en) | 2016-10-13 | 2021-04-06 | Ebates Performance Marketing, Inc. | System, method, and computer program for providing a wish list user interface within a web browser that alerts users to changes in multifactor-based prices |
JP2021106007A (en) * | 2016-10-13 | 2021-07-26 | イーベイツ インコーポレイテッドEbates Inc. | Wish list user interface in web browser for notifying user of price change |
JP7198853B2 (en) | 2016-10-13 | 2023-01-04 | 楽天グループ株式会社 | A wishlist user interface within a web browser that notifies users of price changes |
US11361339B2 (en) | 2017-10-31 | 2022-06-14 | Rakuten Group, Inc. | System, method, and computer program for providing notification of a cashback reward from a shopping portal using online screen and email analysis |
US11568468B2 (en) | 2019-08-08 | 2023-01-31 | Rakuten Group, Inc. | System, method, and computer program for providing similar product recommendations for non-merchant publishers based on publisher preferences |
JP2020014239A (en) * | 2019-09-26 | 2020-01-23 | オリンパス株式会社 | Device, control method of device, system, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8726178B2 (en) | Device, method, and computer program product for information retrieval | |
CN101178725B (en) | Device and method for information retrieval | |
JP2007286864A (en) | Image processor, image processing method, program, and recording medium | |
US8482808B2 (en) | Image processing apparatus and method for displaying a preview of scanned document data | |
JP4785655B2 (en) | Document processing apparatus and document processing method | |
US20060143154A1 (en) | Document scanner | |
JP2012059248A (en) | System, method, and program for detecting and creating form field | |
US9529438B2 (en) | Printing structured documents | |
US7610274B2 (en) | Method, apparatus, and program for retrieving data | |
US8612429B2 (en) | Apparatus, system, and method for information search | |
JP2008040753A (en) | Image processor and method, program and recording medium | |
JP2011008752A (en) | Document operation system, document operation method and program thereof | |
JP2008234658A (en) | Course-to-fine navigation through whole paginated documents retrieved by text search engine | |
JP2007317034A (en) | Image processing apparatus, image processing method, program, and recording medium | |
US20120030234A1 (en) | Method and system for generating a search query | |
EP2806336A1 (en) | Text prediction in a text input associated with an image | |
JP4533273B2 (en) | Image processing apparatus, image processing method, and program | |
JP2009200699A (en) | Image processor and image processing method | |
JP2006004298A (en) | Document processing apparatus, documents processing method, and document processing program | |
JP2008129793A (en) | Document processing system, apparatus and method, and recording medium with program recorded thereon | |
JP2008052496A (en) | Image display device, method, program and recording medium | |
JP6262708B2 (en) | Document detection method for detecting original electronic files from hard copy and objectification with deep searchability | |
JP2010092383A (en) | Electronic document file search device, electronic document file search method, and computer program | |
JP4278134B2 (en) | Information retrieval apparatus, program, and recording medium | |
JP6601143B2 (en) | Printing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090512 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110413 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110613 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110817 |