[go: up one dir, main page]

JP6983687B2 - Devices, methods, and programs for setting information related to scanned image data. - Google Patents

Devices, methods, and programs for setting information related to scanned image data. Download PDF

Info

Publication number
JP6983687B2
JP6983687B2 JP2018016604A JP2018016604A JP6983687B2 JP 6983687 B2 JP6983687 B2 JP 6983687B2 JP 2018016604 A JP2018016604 A JP 2018016604A JP 2018016604 A JP2018016604 A JP 2018016604A JP 6983687 B2 JP6983687 B2 JP 6983687B2
Authority
JP
Japan
Prior art keywords
character string
image data
area
string area
scanned image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018016604A
Other languages
Japanese (ja)
Other versions
JP2019134364A5 (en
JP2019134364A (en
Inventor
広次 丹羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018016604A priority Critical patent/JP6983687B2/en
Publication of JP2019134364A publication Critical patent/JP2019134364A/en
Publication of JP2019134364A5 publication Critical patent/JP2019134364A5/ja
Application granted granted Critical
Publication of JP6983687B2 publication Critical patent/JP6983687B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Character Input (AREA)
  • Facsimiles In General (AREA)

Description

本発明は、スキャンして得られたスキャン画像データに関連する情報を設定する技術に関する。 The present invention relates to a technique for setting information related to scanned image data obtained by scanning.

従来、紙文書をスキャンして得られた画像データ(以下、スキャン画像データともいう)に対して文字認識処理(OCR処理)を行い、認識された文字を用いて、そのスキャン画像データのファイル名を設定する技術が知られている。特許文献1には、スキャン画像データをプレビュー画面に表示して、ユーザが選択した文字列領域に対してOCR処理を実行して認識結果を取得し、その認識結果に基づいてスキャン画像データのファイル名を設定することが記載されている。また、近年では、過去にスキャンした文書とフォーマットが類似する文書(以下、類似フォーマットの文書ともいう)をスキャンした場合に、ユーザが過去に選択した文字列領域に基づいてスキャン画像データのファイル名を設定することが検討されている。 Conventionally, character recognition processing (OCR processing) is performed on image data obtained by scanning a paper document (hereinafter, also referred to as scanned image data), and the recognized characters are used as the file name of the scanned image data. The technology to set is known. In Patent Document 1, the scanned image data is displayed on the preview screen, OCR processing is performed on the character string area selected by the user to acquire the recognition result, and the scan image data file is based on the recognition result. It is stated that the name is set. Further, in recent years, when a document having a format similar to that of a document scanned in the past (hereinafter, also referred to as a document having a similar format) is scanned, the file name of the scanned image data is based on the character string area selected in the past by the user. Is being considered.

特開昭62−51866号公報Japanese Unexamined Patent Publication No. 62-51866

しかしながら、類似フォーマットの文書であっても、文字列領域の位置や大きさが異なる場合があり、その結果、不要な文字列も取得してしまうことがあった。 However, even if the document has a similar format, the position and size of the character string area may be different, and as a result, an unnecessary character string may be acquired.

本発明は、このような問題に鑑みてなされたものであり、類似フォーマットの文書を処理する際に、ユーザが文字列領域を選択する手間を省きつつ、適切な文字列を取得することを目的とする。 The present invention has been made in view of such a problem, and an object of the present invention is to obtain an appropriate character string while saving the user the trouble of selecting a character string area when processing a document having a similar format. And.

本発明の一実施形態において、文書をスキャンして得られたスキャン画像データに関連する情報を設定するためのシステムは、処理対象のスキャン画像データを解析して1または複数の文字列領域を抽出する解析手段と、前記処理対象のスキャン画像データに類似する過去のスキャン画像データがある場合、前記解析手段で抽出された文字列領域と、前記類似する過去のスキャン画像データに関連する情報を設定する際に用いられた文字列領域と、前記類似する過去のスキャン画像データに関連する情報を設定する際に用いられなかった文字列領域とに基づいて、前記処理対象のスキャン画像データに関連する情報を設定する際に用いるべき文字列領域を特定する特定手段と、を備え、前記特定手段は、前記解析手段で抽出された文字列領域のうち、前記類似する過去のスキャン画像データに関連する情報を設定する際に用いられた文字列領域と前記類似する過去のスキャン画像データに関連する情報を設定する際に用いられなかった文字列領域との両方に対応すると判定された文字列領域について分割を行い、分割後の文字列領域に基づいて、前記処理対象のスキャン画像データに関連する情報を設定する際に用いるべき文字列領域を特定することを特徴とする。 In one embodiment of the invention, the system for setting information related to the scanned image data obtained by scanning the document analyzes the scanned image data to be processed and extracts one or a plurality of character string regions. When there is an analysis means to be processed and past scan image data similar to the scan image data to be processed, the character string area extracted by the analysis means and information related to the similar past scan image data are set. Related to the scanned image data to be processed based on the character string area used in the process and the character string area not used in setting the information related to the similar past scanned image data. A specific means for specifying a character string area to be used when setting information is provided, and the specific means is related to the similar past scanned image data among the character string areas extracted by the analysis means. About the character string area determined to correspond to both the character string area used when setting the information and the character string area not used when setting the information related to the similar past scanned image data. It is characterized in that the division is performed and the character string area to be used when setting the information related to the scanned image data to be processed is specified based on the character string area after the division .

本発明によると、類似フォーマットの文書を処理する際に、ユーザが文字列領域を選択する手間を省きつつ、適切な文字列を取得することができる。 According to the present invention, when processing a document having a similar format, it is possible to acquire an appropriate character string while saving the user the trouble of selecting a character string area.

システム全体図である。It is an overall system view. MFPのソフトウェア構成図である。It is a software block diagram of the MFP. スキャン画像データを生成してアップロードする処理を示すフローチャートである。It is a flowchart which shows the process of generating and uploading scan image data. MFPのスキャン設定画面を示す図である。It is a figure which shows the scan setting screen of the MFP. 画像解析処理を示すフローチャートである。It is a flowchart which shows the image analysis process. 選択文字列領域の復元情報生成処理を示すフローチャートである。It is a flowchart which shows the restoration information generation processing of a selection character string area. 復元候補領域の分割処理を示すフローチャートである。It is a flowchart which shows the division process of a restoration candidate area. MFPのプレビュー画面を示す図である。It is a figure which shows the preview screen of the MFP. ファイル名生成処理を示すフローチャートである。It is a flowchart which shows the file name generation process. MFPのアップロード設定画面を示す図である。It is a figure which shows the upload setting screen of the MFP. MFPのプレビュー画面を示す図である。It is a figure which shows the preview screen of the MFP. MFPのプレビュー画面を示す図である。It is a figure which shows the preview screen of the MFP. 復元候補領域の分割処理を示すフローチャートである。It is a flowchart which shows the division process of a restoration candidate area. MFPのプレビュー画面を示す図である。It is a figure which shows the preview screen of the MFP.

以下、図面を参照して本発明の実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。また、以下の実施形態で説明されている特徴の組み合わせの全てが、本発明に必須のものとは限らない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The following embodiments do not limit the invention according to the claims. In addition, not all combinations of features described in the following embodiments are essential to the present invention.

<第1の実施形態>
図1は、本実施形態に係る画像処理システムの全体構成を示すブロック図である。画像処理システムは、MFP(Multifunction Peripheral)101と、ファイルサーバ102とを備える。MFP101とファイルサーバ102は、ネットワーク(例えば、LAN:Local Area Network)100を介して互いに通信可能に接続されている。本実施形態では、MFP101とファイルサーバ102とで画像処理システムを構成しているが、ファイルサーバ102の機能をMFP101が併有する構成であってもよい。
<First Embodiment>
FIG. 1 is a block diagram showing an overall configuration of an image processing system according to the present embodiment. The image processing system includes an MFP (Multifunction Peripheral) 101 and a file server 102. The MFP 101 and the file server 102 are communicably connected to each other via a network (for example, LAN: Local Area Network) 100. In the present embodiment, the image processing system is configured by the MFP 101 and the file server 102, but the MFP 101 may also have the functions of the file server 102.

MFP101は、スキャン機能、FAX機能、及びコピー機能などの複数の機能を有する複合機であり、画像処理装置の一例である。MFP101は、制御部210、操作部220、プリンタ221、スキャナ222、及びモデム223を有する。制御部210は、MFP101全体の動作を制御する。 The MFP 101 is a multifunction device having a plurality of functions such as a scan function, a fax function, and a copy function, and is an example of an image processing device. The MFP 101 includes a control unit 210, an operation unit 220, a printer 221, a scanner 222, and a modem 223. The control unit 210 controls the operation of the entire MFP 101.

CPU211は、ROM212に記憶された制御プログラムを読み出して、読取、印刷、通信などの各種制御を行う。RAM213は、CPU211の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、MFP101は、1つのCPU211が1つのメモリ(RAM213またはHDD214)を用いて後述するフローチャートに示す処理を実行するものとするが、複数のCPUや複数のRAMまたはHDDを協働させて実行するようにしてもよい。 The CPU 211 reads the control program stored in the ROM 212 and performs various controls such as reading, printing, and communication. The RAM 213 is used as a temporary storage area for the main memory, work area, etc. of the CPU 211. In the MFP 101, one CPU 211 uses one memory (RAM 213 or HDD 214) to execute the processes shown in the flowchart described later, but the MFP 101 executes the processes in cooperation with a plurality of CPUs and a plurality of RAMs or HDDs. You may do so.

HDD214は、画像データや各種プログラムを記憶する。操作部I/F215は、操作部220と制御部210を接続するインタフェースである。操作部220は、タッチパネル機能を有する液晶表示部やボタンボードなどを備えており、ユーザによる操作、入力、指示を受け付ける受付手段としての役割を担う。 HDD 214 stores image data and various programs. The operation unit I / F 215 is an interface for connecting the operation unit 220 and the control unit 210. The operation unit 220 includes a liquid crystal display unit having a touch panel function, a button board, and the like, and plays a role as a reception means for receiving operations, inputs, and instructions by the user.

プリンタI/F216は、プリンタ221と制御部210を接続するインタフェースである。プリンタ221で印刷される画像データは、プリンタI/F216を介して制御部210からプリンタ221へ転送され、プリンタ221により記録媒体上に印刷される。 The printer I / F 216 is an interface for connecting the printer 221 and the control unit 210. The image data printed by the printer 221 is transferred from the control unit 210 to the printer 221 via the printer I / F 216, and is printed on the recording medium by the printer 221.

スキャナI/F217は、スキャナ222と制御部210を接続する。スキャナ222は、原稿上の画像を読み取って画像データ(すなわち、スキャン画像データ)を生成し、スキャナI/F217を介して制御部210に入力する。MFP101は、スキャナ222で生成された画像データを、プリンタ221で印刷する他に、ファイル送信またはメール送信することができる。 The scanner I / F217 connects the scanner 222 and the control unit 210. The scanner 222 reads an image on a document to generate image data (that is, scanned image data), and inputs the image data to the control unit 210 via the scanner I / F 217. The MFP 101 can print the image data generated by the scanner 222 by the printer 221 as well as send a file or send an e-mail.

モデムI/F218は、モデム223と制御部210を接続するインタフェースである。モデム223は、PSTN(Public Switched Telephone Networks)110を介して、不図示のファクシミリ装置との間における画像データのファクシミリ通信を実行する。ネットワークI/F219は、制御部210(すなわち、MFP101)をネットワーク100に接続するインタフェースである。MFP101は、ネットワークI/F219を用いてネットワーク100上の外部装置(ファイルサーバ102など)に画像データや情報を送信したり、各種情報を受信したりする。 The modem I / F 218 is an interface for connecting the modem 223 and the control unit 210. The modem 223 performs facsimile communication of image data with a facsimile machine (not shown) via a PSTN (Public Switched Telephone Network) 110. The network I / F 219 is an interface for connecting the control unit 210 (that is, the MFP 101) to the network 100. The MFP 101 uses the network I / F 219 to transmit image data and information to an external device (file server 102, etc.) on the network 100, and to receive various information.

ファイルサーバ102は、電子化された文書ファイルの保存や管理を行う外部サーバの一例である。ファイルサーバ102は、制御部310を有する。制御部310は、ファイルサーバ102全体の動作を制御する。CPU311は、ROM312に記憶された制御プログラムを読み出して各種制御処理を実行する。RAM313は、CPU311の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD314は、画像データや各種プログラムを記憶する。 The file server 102 is an example of an external server that stores and manages an electronic document file. The file server 102 has a control unit 310. The control unit 310 controls the operation of the entire file server 102. The CPU 311 reads out the control program stored in the ROM 312 and executes various control processes. The RAM 313 is used as a temporary storage area for the main memory, work area, etc. of the CPU 311. The HDD 314 stores image data and various programs.

ネットワークI/F315は、制御部310(すなわち、ファイルサーバ102)をネットワーク100に接続するインタフェースである。ファイルサーバ102は、ネットワークI/F315を介してネットワーク100上の他の装置との間で各種情報を送受信する。 The network I / F315 is an interface for connecting the control unit 310 (that is, the file server 102) to the network 100. The file server 102 transmits and receives various information to and from other devices on the network 100 via the network I / F 315.

図2は、本実施形態に係るMFP101のソフトウェア構成図である。MFP101のソフトウェアは、ネイティブ機能部410と追加アプリケーション420の大きく2つに分けられる。ネイティブ機能部410に含まれる各部は、MFP101に標準的に備えられたものである。一方、追加アプリケーション420は、MFP101に追加インストールされたアプリケーションである。追加アプリケーション420は、Java(登録商標)をベースとしたアプリケーションであり、MFP101への機能追加を容易に実現できる。なお、MFP101には図示しない他の追加アプリケーションがインストールされていても良い。 FIG. 2 is a software configuration diagram of the MFP 101 according to the present embodiment. The software of the MFP 101 can be roughly divided into two, a native function unit 410 and an additional application 420. Each part included in the native function part 410 is provided as standard in the MFP 101. On the other hand, the additional application 420 is an application additionally installed on the MFP 101. The additional application 420 is an application based on Java (registered trademark), and can easily realize the addition of functions to the MFP 101. Other additional applications (not shown) may be installed in the MFP 101.

アプリケーション表示部423は、MFP101の操作部220のタッチパネル機能を有する液晶表示部に、ユーザによる操作、入力、指示を受け付けるためのUI(User Interface)画面を表示する。UI画面の詳細については後述する。 The application display unit 423 displays a UI (User Interface) screen for receiving operations, inputs, and instructions by the user on the liquid crystal display unit having the touch panel function of the operation unit 220 of the MFP 101. The details of the UI screen will be described later.

スキャン指示部421は、アプリケーション表示部423を介して入力されたユーザからの情報を受けて、入力情報に含まれるスキャン設定や転送設定と共に、スキャン部411にスキャン処理を要求する。また、後述するアプリケーション転送部424が、画像データの転送先であるファイルサーバ102のフォルダパスの情報を一時的に保存する。 The scan instruction unit 421 receives information from the user input via the application display unit 423, and requests the scan unit 411 to perform a scan process together with the scan settings and transfer settings included in the input information. Further, the application transfer unit 424, which will be described later, temporarily stores the information of the folder path of the file server 102, which is the transfer destination of the image data.

スキャン部411は、スキャン指示部421からのスキャン設定を含んだスキャン要求を受けて、スキャン処理を実行する。スキャン部411は、スキャナI/F217を介してスキャナ222によって、原稿を読み取って画像データを生成し、画像データと転送設定を転送部412に渡す。 The scan unit 411 receives a scan request including scan settings from the scan instruction unit 421 and executes a scan process. The scanning unit 411 reads the original by the scanner 222 via the scanner I / F 217 to generate image data, and passes the image data and the transfer setting to the transfer unit 412.

転送部412は、スキャン部411から受け取った画像データを、同じくスキャン部411から受け取った転送設定に従って転送する。画像データの転送先としては、ファイルサーバ102、ネットワーク100上のPC(不図示)等を設定可能である。なお、本実施形態では、スキャン部411が生成した画像データを一旦全て追加アプリケーション420に転送するように設定されているものとする。また、転送部412は、FTP(File Transfer Protocol)クライアント機能を有しており、FTPサーバ機能を有するアプリケーション受信部422に対してFTPで画像データを転送することができる。 The transfer unit 412 transfers the image data received from the scan unit 411 according to the transfer setting also received from the scan unit 411. As the image data transfer destination, a file server 102, a PC on the network 100 (not shown), or the like can be set. In this embodiment, it is assumed that all the image data generated by the scanning unit 411 is once set to be transferred to the additional application 420. Further, the transfer unit 412 has an FTP (File Transfer Protocol) client function, and can transfer image data by FTP to an application receiving unit 422 having an FTP server function.

アプリケーション受信部422は、転送部412から内部転送された画像データを受信し、アプリケーション転送部424に渡す。 The application receiving unit 422 receives the image data internally transferred from the transfer unit 412 and passes it to the application transfer unit 424.

アプリケーション転送部424は、受信した画像データを画像解析部425に渡す。 The application transfer unit 424 passes the received image data to the image analysis unit 425.

画像解析部425は、画像データに対して文字列領域の判定、文字列領域の分割、及び文字列の認識などを行うことができる。画像解析部425は、判定した文字列領域と、帳票情報保持部428に保存された帳票情報の文字列領域とを比較し、類似する帳票情報に基づいて、画像データに関連する情報(例えば、ファイル名等)の設定に用いる文字列領域情報を抽出することができる。画像解析部425は、画像データから抽出した文字列領域情報を、アプリケーション転送部424に渡す。 The image analysis unit 425 can determine the character string area, divide the character string area, recognize the character string, and the like with respect to the image data. The image analysis unit 425 compares the determined character string area with the character string area of the form information stored in the form information holding unit 428, and based on similar form information, information related to the image data (for example, for example. It is possible to extract the character string area information used for setting (file name, etc.). The image analysis unit 425 passes the character string area information extracted from the image data to the application transfer unit 424.

また、アプリケーション転送部424は、受信した画像データ、抽出した文字列領域情報、及び、ユーザが選択した文字列領域の選択情報を、アプリケーション表示部423に渡す。 Further, the application transfer unit 424 passes the received image data, the extracted character string area information, and the selection information of the character string area selected by the user to the application display unit 423.

アプリケーション表示部423は、アプリケーション転送部424から受信した画像データ、文字列領域情報、及び、選択情報を、プレビュー表示部426に渡す。 The application display unit 423 passes the image data, the character string area information, and the selection information received from the application transfer unit 424 to the preview display unit 426.

プレビュー表示部426は、操作部220のタッチパネル機能を有する液晶表示部に、ユーザによる操作、入力、指示を受け付けるためのファイル名設定に関するUI画面を表示する。表示するUI画面の詳細については後述する。 The preview display unit 426 displays a UI screen related to file name setting for receiving operations, inputs, and instructions by the user on the liquid crystal display unit having the touch panel function of the operation unit 220. The details of the UI screen to be displayed will be described later.

アップロード指示部427は、操作部220の液晶表示部に、フォルダパス設定に関するUI画面を表示する。フォルダパス設定に関するUI画面の詳細については後述する。また、アップロード指示部427は、UI画面に入力されたフォルダパスを受け取り、アプリケーション転送部424に渡す。 The upload instruction unit 427 displays a UI screen related to the folder path setting on the liquid crystal display unit of the operation unit 220. The details of the UI screen related to the folder path setting will be described later. Further, the upload instruction unit 427 receives the folder path input on the UI screen and passes it to the application transfer unit 424.

また、アプリケーション転送部424は、アップロード指示部427が受け取ったフォルダパスに、プレビュー表示部426から受け取った文字列をフォルダやファイル名として追加する。そして、アプリケーション転送部424は、ファイルサーバ102に画像データを転送(送信)する。 Further, the application transfer unit 424 adds the character string received from the preview display unit 426 as a folder or file name to the folder path received by the upload instruction unit 427. Then, the application transfer unit 424 transfers (transmits) the image data to the file server 102.

アプリケーション転送部424は、転送が終了すると、アプリケーション表示部423に転送が終了したことを通知する。アプリケーション表示部423は、アプリケーション転送部424からの通知を受けて、表示内容を更新する。 When the transfer is completed, the application transfer unit 424 notifies the application display unit 423 that the transfer is completed. The application display unit 423 updates the display content in response to the notification from the application transfer unit 424.

また、アプリケーション転送部424は、SMB(Server Message Block)クライアント機能を有している。これにより、アプリケーション転送部424は、SMBサーバ機能を有するファイルサーバ102に対してSMBを用いてファイル及びフォルダ操作を行うことができる。なお、SMBの他に、WebDAV(Distributed Authoring and Versioning protocol for the WWW)や、FTP(File Transfer Protocol)等を使用してもよい。また、SMTP(Simple Mail Transfer Protocol)等を使用してもよい。また、ファイル送信目的以外のSOAP(Simple Object Access Protocol)やREST(Representational State Transfer)等も使用可能である。 Further, the application transfer unit 424 has an SMB (Server Message Block) client function. As a result, the application transfer unit 424 can perform file and folder operations on the file server 102 having the SMB server function by using the SMB. In addition to SMB, WebDAV (Distributed Instruction and Versioning protocol for the WWW), FTP (File Transfer Protocol), or the like may be used. Moreover, you may use SMTP (Simple Mail Transfer Protocol) or the like. In addition, SOAP (Simple Object Access Protocol), REST (Representational State Transfer), and the like can be used for purposes other than file transmission.

図3は、MFP101がスキャン画像データを生成してファイルサーバ102にアップロードする処理を示すフローチャートである。フローチャートに示す各動作(ステップ)は、MFP101のCPU211がHDD214に記憶された制御プログラムを読み出して実行することにより実現される。 FIG. 3 is a flowchart showing a process in which the MFP 101 generates scan image data and uploads it to the file server 102. Each operation (step) shown in the flowchart is realized by the CPU 211 of the MFP 101 reading and executing the control program stored in the HDD 214.

以下では、図3のフローチャートを3回実施する例を説明する。実施1回目では、帳票情報保持部428がスキャン対象の文書の類似文書情報を保持していない状態でスキャン処理を行う場合の処理について説明する。続いて、実施2回目では、帳票情報保持部428が実施1回目の文書情報を保持しており、実施1回目でスキャン処理した文書に類似する文書をスキャン処理する場合について説明する。したがって、実施2回目では、帳票情報保持部428に保持された文書情報を用いて、スキャン画像データから適切な文字情報が取得される。そして、実施3回目では、実施1回目の文書に類似する文書をスキャン処理するが、スキャン画像データにおいて、隣接する2つの文字列領域が1つの文字列領域として判定されてしまう場合の処理について説明する。 Hereinafter, an example in which the flowchart of FIG. 3 is performed three times will be described. In the first implementation, a process in which the form information holding unit 428 performs the scanning process in a state where the similar document information of the document to be scanned is not held will be described. Subsequently, in the second implementation, the case where the form information holding unit 428 retains the document information of the first implementation and scans a document similar to the document scanned in the first implementation will be described. Therefore, in the second implementation, appropriate character information is acquired from the scanned image data by using the document information held in the form information holding unit 428. Then, in the third implementation, a document similar to the document of the first implementation is scanned, but the processing in the case where two adjacent character string areas are determined as one character string area in the scanned image data will be described. do.

<実施1回目>
まず、実施1回目の処理について、図3を参照して説明する。
<First implementation>
First, the first process will be described with reference to FIG.

ステップS301では、アプリケーション表示部423が、操作部220の液晶表示部にスキャン設定画面を表示する。ユーザは、表示されたスキャン設定画面を介して、スキャン部411に行わせるスキャン処理の設定を行う。 In step S301, the application display unit 423 displays the scan setting screen on the liquid crystal display unit of the operation unit 220. The user sets the scan process to be performed by the scan unit 411 via the displayed scan setting screen.

図4は、本実施形態に係るスキャン設定画面400の一例を示す。スキャン設定画面400は、5つのスキャン設定ボタン401乃至405を有する。[カラー設定]ボタン401は、原稿スキャン時のカラーまたはモノクロ設定を受け付ける。[解像度設定]ボタン402は、原稿スキャン時の解像度設定を受け付ける。[両面読み取り設定]ボタン403は、原稿スキャン時の両面読み取り設定を受け付ける。[原稿混載設定]ボタン404は、原稿スキャン時にサイズが異なる原稿をまとめてスキャンするかどうかの設定を受け付ける。[画像形式設定]ボタン405は、スキャン画像データの画像形式を受け付ける。ユーザがこれらのスキャン設定ボタン401乃至405を用いて設定を行う際には、MFP101がサポートしている範囲で設定項目の候補が表示される。ユーザは、表示された候補から所望の設定項目を選択する。なお、上述した設定ボタンは一例であって、これら全ての設定ボタンが存在しなくてもよいし、これら以外の設定ボタンが存在してもよい。ユーザは、このようなスキャン設定画面400を介して、スキャン処理についての詳細な設定を行なうことができる。[キャンセル]ボタン406は、スキャン設定を中止する場合に用いるボタンである。[スキャン開始]ボタン407は、原稿台等にセットした原稿に対するスキャン処理の開始を指示するためのボタンである。 FIG. 4 shows an example of the scan setting screen 400 according to the present embodiment. The scan setting screen 400 has five scan setting buttons 401 to 405. The [Color setting] button 401 accepts a color or monochrome setting at the time of document scanning. The [Resolution setting] button 402 accepts the resolution setting at the time of document scanning. The [Double-sided scanning setting] button 403 accepts the double-sided scanning setting at the time of document scanning. The [Original mixed loading setting] button 404 accepts a setting for whether or not to scan documents of different sizes at the same time when scanning the originals. The [Image Format Setting] button 405 accepts the image format of the scanned image data. When the user makes a setting using these scan setting buttons 401 to 405, candidate setting items are displayed within the range supported by the MFP 101. The user selects a desired setting item from the displayed candidates. The above-mentioned setting buttons are an example, and all of these setting buttons may not exist, or setting buttons other than these may exist. The user can make detailed settings for the scan process through such a scan setting screen 400. The [Cancel] button 406 is a button used to cancel the scan setting. The [scan start] button 407 is a button for instructing the start of the scan process for the document set on the platen or the like.

ステップS302では、アプリケーション表示部423は、[スキャン開始]ボタン407が押下されたか、[キャンセル]ボタン406が押下されたかを判定する。[スキャン開始]ボタン407が押下されたと判定すると、アプリケーション表示部423は、スキャン設定ボタン401乃至405で選択された設定で、スキャン指示部421に対してスキャン処理を実行させる。[キャンセル]ボタン406が押下されたと判定すると処理を終了する。 In step S302, the application display unit 423 determines whether the [scan start] button 407 is pressed or the [cancel] button 406 is pressed. When it is determined that the [scan start] button 407 is pressed, the application display unit 423 causes the scan instruction unit 421 to execute the scan process with the settings selected by the scan setting buttons 401 to 405. When it is determined that the [Cancel] button 406 is pressed, the process ends.

ステップS303では、スキャン指示部421は、スキャン部411にスキャン処理を指示し、原稿をスキャンする。原稿をスキャンして生成されたスキャン画像データは、ステップS304において、転送部412を通じてアプリケーション受信部422にFTPで内部転送される。 In step S303, the scan instruction unit 421 instructs the scan unit 411 to perform a scan process and scans the document. The scanned image data generated by scanning the original is internally transferred by FTP to the application receiving unit 422 through the transfer unit 412 in step S304.

ステップS305では、画像解析部425が、アプリケーション受信部422からの指示にしたがって、スキャン画像データの画像解析(レイアウト解析処理やOCR処理)を行う。画像解析部425は、例えば、スキャン画像データのヒストグラムを抽出したり、画素の塊を抽出したりして、文字列領域や図形領域など、スキャン画像データのレイアウトを解析する。文字列領域は、文字列と推認される領域(画像領域)である。文字列領域は、一文字の領域も含む。 In step S305, the image analysis unit 425 performs image analysis (layout analysis processing and OCR processing) of the scanned image data according to the instruction from the application receiving unit 422. The image analysis unit 425 analyzes the layout of the scanned image data such as a character string area and a graphic area by, for example, extracting a histogram of the scanned image data or extracting a block of pixels. The character string area is an area (image area) presumed to be a character string. The character string area also includes an area of one character.

図5は、ステップS305の画像解析処理の詳細を示すフローチャートである。 FIG. 5 is a flowchart showing the details of the image analysis process in step S305.

ステップS501では、画像解析部425は、アプリケーション受信部422から受け取ったスキャン画像データを、解析できる形態にして読み込む。 In step S501, the image analysis unit 425 reads the scanned image data received from the application receiving unit 422 into a form that can be analyzed.

ステップS502では、画像解析部425は、読み込んだスキャン画像データを、領域判定や文字列解析しやすい状態に補正する。具体的には、画像解析部425は、スキャン時にずれた文書の傾きがなくなるようにスキャン画像の傾きを補正したり、文書の方向を検知してスキャン画像を回転させたりする。 In step S502, the image analysis unit 425 corrects the read scanned image data to a state in which area determination and character string analysis are easy. Specifically, the image analysis unit 425 corrects the tilt of the scanned image so that the tilt of the document displaced at the time of scanning disappears, or detects the direction of the document and rotates the scanned image.

ステップS503では、画像解析部425は、ステップS502で補正したスキャン画像データを解析して文字列領域を判定し、文字列領域の情報(以下、文字列領域情報という)を抽出する。表1は、文字列領域情報の一例を示す。 In step S503, the image analysis unit 425 analyzes the scanned image data corrected in step S502 to determine a character string area, and extracts information on the character string area (hereinafter referred to as character string area information). Table 1 shows an example of character string area information.

Figure 0006983687
Figure 0006983687

上記表1において、[番号]は、特定された各文字列領域を一意に示す番号である。この例では、1から9までの通し番号が、認識された順番に付けられている。[領域のX座標]は、特定された各文字列領域の左上隅のX座標を示す。[領域のY座標]は、特定された各文字列領域の左上隅のY座標を示す。以後、文字列領域に対して“座標”と言う場合は、特に断らない限り、文字列領域の左上隅の位置座標のことを意味するものとする。[領域の幅]は、特定された各文字列領域の左辺から右辺までの距離を示す。[領域の高さ]は、特定された各文字列領域の上辺から下辺までの距離を示す。本実施形態では、[領域のX座標]、[領域のY座標]、[領域の幅]、及び[領域の高さ]はいずれもピクセルで示すが、ポイントやインチ等で示してもよい。文字列領域情報は、CSVまたはXMLのフォーマットで取得されるものとするが、他のフォーマットでもよい。 In Table 1 above, [number] is a number uniquely indicating each specified character string area. In this example, serial numbers from 1 to 9 are assigned in the order in which they are recognized. [Area X coordinate] indicates the X coordinate of the upper left corner of each specified character string area. [Y coordinate of area] indicates the Y coordinate of the upper left corner of each specified character string area. Hereinafter, when the term "coordinates" is used with respect to the character string area, it means the position coordinates of the upper left corner of the character string area unless otherwise specified. [Area width] indicates the distance from the left side to the right side of each specified character string area. [Area height] indicates the distance from the upper side to the lower side of each specified character string area. In the present embodiment, the [X coordinate of the area], the [Y coordinate of the area], the [width of the area], and the [height of the area] are all indicated by pixels, but may be indicated by points, inches, or the like. The character string area information shall be acquired in the CSV or XML format, but other formats may be used.

ステップS504では、画像解析部425は、ステップS503で抽出した文字列領域情報と、後述するステップS318の処理により帳票情報保持部428に保存された各帳票情報の文字列領域情報とを比較する。すなわち、画像解析部425は、過去に類似原稿を処理したことがあるかどうか判定する。画像解析部425は、過去に処理した類似原稿において以前にユーザが選択した選択文字列領域を、今回スキャンして得られたスキャン画像データ(処理対象のスキャン画像データ)上に復元するために必要な情報(以下、復元情報という)を生成する。選択文字列領域とは、以前に処理した過去の類似原稿において、後述するステップS308の処理によりユーザが選択した文字列領域のことである。選択文字列領域の復元とは、後述するステップS307のプレビュー画面の表示時に、復元情報に基づいて特定された文字列領域を予め選択状態とし、その文字列領域に含まれる文字列を今回のスキャン画像データに関連する情報として設定することである。例えば、特定された文字列領域に含まれる文字列は、今回のスキャン画像データのファイル名に適用することができる。以下、本実施形態では、スキャン画像データに関連する情報としてファイル名を例に説明する。 In step S504, the image analysis unit 425 compares the character string area information extracted in step S503 with the character string area information of each form information stored in the form information holding unit 428 by the process of step S318 described later. That is, the image analysis unit 425 determines whether or not a similar document has been processed in the past. The image analysis unit 425 is necessary to restore the selected character string area previously selected by the user in the similar document processed in the past on the scanned image data (scanned image data to be processed) obtained by scanning this time. Information (hereinafter referred to as restoration information) is generated. The selected character string area is a character string area selected by the user by the processing of step S308 described later in the past similar manuscript processed before. Restoration of the selected character string area means that the character string area specified based on the restoration information is selected in advance when the preview screen of step S307 described later is displayed, and the character string included in the character string area is scanned this time. It is to be set as information related to image data. For example, the character string included in the specified character string area can be applied to the file name of the scanned image data this time. Hereinafter, in the present embodiment, a file name will be described as an example of information related to the scanned image data.

図6は、ステップS504の選択文字列領域の復元情報生成処理の詳細を示すフローチャートである。 FIG. 6 is a flowchart showing the details of the restoration information generation processing of the selected character string area in step S504.

ステップS601では、画像解析部425は、ステップS503で抽出した文字列領域情報と、帳票情報保持部428に保存された各帳票情報の文字列領域情報とを比較して、類似する帳票情報が存在するかどうかを判定する。実施1回目では、帳票情報保持部428に帳票情報(すなわち、過去に処理した原稿の文字列領域情報)が保存されていないため、ステップS602においてNoと判定され、復元情報生成処理を終了する。すなわち、画像解析部425は。選択文字列領域の復元情報を生成せずに、処理を終了する。次いで、処理は、図3のステップS306へ進む。図6に記載の他の処理(すなわち、ステップS603乃至S605の処理)については後述する。 In step S601, the image analysis unit 425 compares the character string area information extracted in step S503 with the character string area information of each form information stored in the form information holding unit 428, and similar form information exists. Determine if you want to. In the first implementation, since the form information (that is, the character string area information of the manuscript processed in the past) is not stored in the form information holding unit 428, it is determined as No in step S602, and the restoration information generation process is terminated. That is, the image analysis unit 425. The process ends without generating the restore information of the selected character string area. Then, the process proceeds to step S306 of FIG. Other processes described in FIG. 6 (that is, the processes of steps S603 to S605) will be described later.

ステップS306では、アプリケーション転送部424は、画像解析部425がステップS503で抽出した文字列領域情報を取得する。アプリケーション転送部424は、画像解析部425がHDD214に一旦保存した文字列領域情報を取得するようにしてもよい。 In step S306, the application transfer unit 424 acquires the character string area information extracted by the image analysis unit 425 in step S503. The application transfer unit 424 may allow the image analysis unit 425 to acquire the character string area information once stored in the HDD 214.

ステップS307では、プレビュー表示部426が、アプリケーション表示部423を介してアプリケーション転送部424から取得したスキャン画像データ及び文字列領域情報を用いて、操作部220の液晶表示部にプレビュー画面を表示する。ユーザは、プレビュー画面を介して、スキャン画像データに関連する情報(例えば、スキャン画像データのファイル名)を入力することができる。 In step S307, the preview display unit 426 displays the preview screen on the liquid crystal display unit of the operation unit 220 by using the scanned image data and the character string area information acquired from the application transfer unit 424 via the application display unit 423. The user can input information related to the scanned image data (for example, a file name of the scanned image data) via the preview screen.

図8は、プレビュー画面800の一例を示す。プレビュー画面800は、スキャン画像データのファイル名表示領域801、ファイル名のフォーマット等を設定するためのボタン802、及びスキャン画像データをプレビュー表示するためのプレビュー表示領域810を有する。また、[戻る]ボタン830、及び[次へ]ボタン831を有する。 FIG. 8 shows an example of the preview screen 800. The preview screen 800 has a file name display area 801 for the scanned image data, a button 802 for setting the file name format, and a preview display area 810 for previewing the scanned image data. It also has a [Back] button 830 and a [Next] button 831.

プレビュー表示領域810は、スキャン画像データを表示するとともに、スキャン画像データの表示状態を変更するボタン811乃至814、及び文字列領域815乃至823を含む。 The preview display area 810 includes buttons 811 to 814 for displaying the scanned image data and changing the display state of the scanned image data, and character string areas 815 to 823.

[画面上部スクロール]ボタン811がユーザによって選択(タッチ)されると、プレビュー表示部426は、プレビュー表示領域810に表示されているスキャン画像データの領域を上方向に向かってスクロールする。[画面下部スクロール]ボタン812がユーザによって選択(タッチ)されると、プレビュー表示部426は、プレビュー表示領域810に表示されているスキャン画像データの領域を下方向に向かってスクロールする。[画面拡大]ボタン813がユーザによって選択(タッチ)されると、プレビュー表示部426は、プレビュー表示領域810に表示されているスキャン画像データの領域を拡大表示する。[画面縮小]ボタン814がユーザによって選択(タッチ)されると、プレビュー表示部426は、プレビュー表示領域810に表示されているスキャン画像データの領域を縮小表示する。 When the [Scroll at the top of the screen] button 811 is selected (touched) by the user, the preview display unit 426 scrolls the area of the scanned image data displayed in the preview display area 810 upward. When the [Scroll at the bottom of the screen] button 812 is selected (touched) by the user, the preview display unit 426 scrolls the area of the scanned image data displayed in the preview display area 810 downward. When the [Screen Enlargement] button 813 is selected (touched) by the user, the preview display unit 426 enlarges and displays the area of the scanned image data displayed in the preview display area 810. When the [Screen reduction] button 814 is selected (touched) by the user, the preview display unit 426 reduces and displays the area of the scanned image data displayed in the preview display area 810.

プレビュー表示部426は、文字列領域815乃至823を、画像解析部425が取得した文字列領域情報に従って、プレビュー表示領域810に表示する。文字列領域情報は、上記表1に示したように、スキャン画像データ上での文字列領域の位置を示している。文字列領域815乃至823は、文字列領域情報に従って、スキャン画像データのスクロール位置や拡大縮小を考慮した位置に表示される。文字列領域815乃至823は、ユーザによって選択可能である。ユーザがいずれかの文字列領域を選択すると、プレビュー表示部426は、選択された文字列領域に対して文字認識処理(OCR処理:Optical Character Recognition処理)を行う。プレビュー表示部426は、文字認識処理によって、選択された文字列領域(画像領域)に含まれている文字(テキストデータ)を抽出する。 The preview display unit 426 displays the character string areas 815 to 823 in the preview display area 810 according to the character string area information acquired by the image analysis unit 425. As shown in Table 1 above, the character string area information indicates the position of the character string area on the scanned image data. The character string areas 815 to 823 are displayed at positions considering scroll positions and enlargement / reduction of the scanned image data according to the character string area information. The character string areas 815 to 823 can be selected by the user. When the user selects any of the character string areas, the preview display unit 426 performs character recognition processing (OCR processing: Optical Character Recognition processing) on the selected character string area. The preview display unit 426 extracts characters (text data) included in the selected character string area (image area) by the character recognition process.

文字認識処理は、例えば、文字列領域に含まれている画素群と、予め登録されている辞書とをマッチング処理することで、文字(テキストデータ)を認識する処理である。かかる文字認識処理は、処理に時間を要する場合がある。そのため、本実施形態では、画像解析によって抽出された文字列領域に逐次的に文字認識処理を行わずに、ユーザが所望する文字列領域に対して文字認識処理を行うことで、処理の高速化を図っている。 The character recognition process is, for example, a process of recognizing a character (text data) by matching a pixel group included in a character string area with a dictionary registered in advance. Such character recognition processing may take time. Therefore, in the present embodiment, the character recognition process is performed on the character string area desired by the user without sequentially performing the character recognition process on the character string area extracted by the image analysis, thereby speeding up the processing. I am trying to.

プレビュー表示部426は、ユーザによって選択された文字列領域から抽出した文字(テキストデータ)を、ファイル名表示領域801に設定する。なお、ファイル名表示領域801がタッチ(選択)されると、プレビュー表示部426は、ソフトウェアキーボード(不図示)を表示し、ユーザがソフトウェアキーボードを操作することによって、ファイル名の編集を可能にすることができる。 The preview display unit 426 sets the character (text data) extracted from the character string area selected by the user in the file name display area 801. When the file name display area 801 is touched (selected), the preview display unit 426 displays a software keyboard (not shown), and the user can edit the file name by operating the software keyboard. be able to.

実施1回目で最初に表示されるプレビュー画面800では、図8(a)に示すように、いずれの文字列領域も選択状態ではない。 In the preview screen 800 that is first displayed in the first implementation, as shown in FIG. 8A, none of the character string areas is in the selected state.

図3に戻り、ステップS308では、プレビュー表示部426は、プレビュー画面800を介して入力されたユーザ操作に従って、スキャン画像データのファイル名を生成する。 Returning to FIG. 3, in step S308, the preview display unit 426 generates a file name of the scanned image data according to the user operation input via the preview screen 800.

図9は、ステップS308のファイル名生成処理の詳細を示すフローチャートである。 FIG. 9 is a flowchart showing the details of the file name generation process in step S308.

ステップS901では、プレビュー表示部426は、ユーザが操作部220の液晶表示部(すなわち、プレビュー画面800)にタッチしたかどうかを判定する。タッチされたと判定すると、ステップS902へ進み、プレビュー表示部426は、タッチされた位置の座標を取得する。タッチされていないと判定するとステップS901へ戻る。 In step S901, the preview display unit 426 determines whether or not the user has touched the liquid crystal display unit (that is, the preview screen 800) of the operation unit 220. If it is determined that the touch has been made, the process proceeds to step S902, and the preview display unit 426 acquires the coordinates of the touched position. If it is determined that the touch is not made, the process returns to step S901.

ステップS903では、プレビュー表示部426は、タッチされた位置の座標がプレビュー表示領域810に表示されている文字列領域と重なるか判定する。重なるか否かの判定は、タッチされた位置の座標が、プレビュー表示領域810内の文字列領域815乃至823の座標領域内にあるかどうかで判定する。重なると判定すると、ステップS904へ進み、重なっていないと判定するとステップS909へ進む。なお、ステップS909では、[次へ]ボタン831もしくは[戻る]ボタン830が押下されたと判定されれば処理を終了して、図3に戻り、ステップS309へ進む。一方、押下されてないと判定されればステップS901へ戻る。 In step S903, the preview display unit 426 determines whether the coordinates of the touched position overlap with the character string area displayed in the preview display area 810. The determination of whether or not they overlap is determined by whether or not the coordinates of the touched positions are within the coordinate areas of the character string areas 815 to 823 in the preview display area 810. If it is determined that they overlap, the process proceeds to step S904, and if it is determined that they do not overlap, the process proceeds to step S909. In step S909, if it is determined that the [Next] button 831 or the [Back] button 830 is pressed, the process ends, the process returns to FIG. 3, and the process proceeds to step S309. On the other hand, if it is determined that the button is not pressed, the process returns to step S901.

ステップS904では、画像解析部425は、タッチされた位置の座標が重なった文字列領域に対してOCR処理を行い、当該文字列領域に含まれている文字列を取得する。取得した文字列は、解析結果としてプレビュー表示部426へ渡す。 In step S904, the image analysis unit 425 performs OCR processing on the character string area where the coordinates of the touched positions overlap, and acquires the character string included in the character string area. The acquired character string is passed to the preview display unit 426 as an analysis result.

ステップS905では、プレビュー表示部426は、ファイル名表示領域801に表示中のファイル名を取得する。ファイル名表示領域801に何も表示されていない場合には、ファイル名は取得できないため、次に進む。 In step S905, the preview display unit 426 acquires the file name displayed in the file name display area 801. If nothing is displayed in the file name display area 801, the file name cannot be acquired, and the process proceeds to the next step.

ステップS906では、プレビュー表示部426は、ステップS905で取得したファイル名の末尾に区切り文字を追加する。本実施形態では、区切り文字としてアンダーバー(“_”)を使用するが、その他の文字を使用してもよい。なお、ステップS905でファイル名を取得できなかった場合は、区切り文字を追加せずに次に進む。 In step S906, the preview display unit 426 adds a delimiter to the end of the file name acquired in step S905. In this embodiment, the underscore (“_”) is used as the delimiter, but other characters may be used. If the file name could not be obtained in step S905, the process proceeds to the next step without adding the delimiter.

ステップS907では、プレビュー表示部426は、ステップS906で追加した区切り文字に続けて、ステップS904で解析結果として取得した文字列領域の文字列を追加する。なお、ステップS905でファイル名を取得できなかった場合には、ステップS906で区切り文字も追加されないため、ステップS904で取得した文字列が、ファイル名として最初の文字列となる。 In step S907, the preview display unit 426 adds the character string of the character string area acquired as the analysis result in step S904, following the delimiter added in step S906. If the file name cannot be acquired in step S905, the delimiter is not added in step S906, so that the character string acquired in step S904 becomes the first character string as the file name.

ステップS908では、プレビュー表示部426は、ステップS907で生成した文字列をファイル名としてファイル名表示領域801に設定し、ステップS909へ戻る。 In step S908, the preview display unit 426 sets the character string generated in step S907 as the file name in the file name display area 801 and returns to step S909.

なお、実施1回目では、ステップS901乃至S908を繰り返し、文字列領域815、816、817が順に選択されたものとする。図8(b)は、その場合のプレビュー画面800を示す。なお、ユーザによって選択された文字列領域に、転送先のファイルサーバでファイル名に使用できない文字が含まれている場合、プレビュー表示部426は、文字列をファイル名表示領域801に設定する際に、該当する文字を除去しても良い。図8(b)のプレビュー画面800では、文字列領域817に含まれるスラッシュ(“/”)が除去されている。除去対象の文字列は、予めMFP101に記憶しておいてもよいし、外部装置から当該文字列に関する情報を取得するようにしてもよい。 In the first implementation, steps S901 to S908 are repeated, and it is assumed that the character string areas 815, 816, and 817 are selected in order. FIG. 8B shows a preview screen 800 in that case. If the character string area selected by the user contains characters that cannot be used in the file name on the transfer destination file server, the preview display unit 426 sets the character string in the file name display area 801. , The corresponding character may be removed. In the preview screen 800 of FIG. 8B, the slash (“/”) included in the character string area 817 is removed. The character string to be removed may be stored in the MFP 101 in advance, or information about the character string may be acquired from an external device.

以上説明したように、ステップS308のファイル名生成処理が行われる。 As described above, the file name generation process in step S308 is performed.

次いで、図3に戻り、ステップS309では、プレビュー表示部426は、上述したステップS909での操作内容を判定する。具体的には、プレビュー表示部426は、ステップS909で[次へ]ボタン831が押下されたのか、それとも、[戻る]ボタン830が押下されたのかを判定する。[次へ]ボタン831が押下されたと判定すると、ステップS310へ進み、[戻る]ボタン830が押下されたと判定すると、ステップS301へ戻る。 Next, returning to FIG. 3, in step S309, the preview display unit 426 determines the operation content in step S909 described above. Specifically, the preview display unit 426 determines whether the [Next] button 831 is pressed or the [Back] button 830 is pressed in step S909. If it is determined that the [Next] button 831 is pressed, the process proceeds to step S310, and if it is determined that the [Back] button 830 is pressed, the process returns to step S301.

ステップS310では、プレビュー表示部426は、ファイル名表示領域801に設定されているファイル名を取得する。プレビュー表示部426は、取得したファイル名をアップロード指示部427へ渡す。 In step S310, the preview display unit 426 acquires the file name set in the file name display area 801. The preview display unit 426 passes the acquired file name to the upload instruction unit 427.

ステップS311では、アップロード指示部427は、アップロード設定画面を操作部220の液晶表示部に表示する。ユーザは、アップロード設定画面を介して、アプリケーション転送部424に行わせるファイルサーバ102への外部転送(アップロード)に関する設定を行うことができる。 In step S311 the upload instruction unit 427 displays the upload setting screen on the liquid crystal display unit of the operation unit 220. The user can make settings related to external transfer (upload) to the file server 102 to be performed by the application transfer unit 424 via the upload setting screen.

図10は、アップロード設定画面1000の一例を示す。アップロード設定画面1000において、フォルダパス入力欄1001は、外部転送先であるファイルサーバ102のフォルダパス設定を受け付ける。ユーザがフォルダパス入力欄1001をタップすると、アップロード指示部427は、ソフトウェアキーボード(不図示)を表示する。ユーザは、表示されたソフトウェアキーボードを介して、フォルダパス入力欄1001にフォルダパスを入力する。図10の例では、フォルダパス入力欄1001に文字列“2017_09_10”が入力されている。フォルダパスの設定を終了する指示を受けると、アップロード指示部427は、設定されたフォルダパスを取得し、ソフトウェアキーボードを閉じる。なお、フォルダパスの設定は、フォルダパス入力欄1001以外から設定可能であってもよい。例えば、MFP101が保持するアドレス帳からフォルダパスを設定可能なようにしても良い。 FIG. 10 shows an example of the upload setting screen 1000. On the upload setting screen 1000, the folder path input field 1001 accepts the folder path setting of the file server 102 which is the external transfer destination. When the user taps the folder path input field 1001, the upload instruction unit 427 displays a software keyboard (not shown). The user inputs the folder path in the folder path input field 1001 via the displayed software keyboard. In the example of FIG. 10, the character string “2017_09_10” is input in the folder path input field 1001. Upon receiving the instruction to end the setting of the folder path, the upload instruction unit 427 acquires the set folder path and closes the software keyboard. The folder path may be set from other than the folder path input field 1001. For example, the folder path may be set from the address book held by the MFP 101.

ステップS312では、アップロード指示部427は、アップロード設定画面1000の[アップロード]ボタン1021が押下されたのか、それとも、[戻る]ボタン1020が押下されたのかを判定する。[アップロード]ボタン1021が押下されたと判定すると、ステップS313へ進み、[戻る]ボタン1020が押下されたと判定すると、ステップS307へ戻る。 In step S312, the upload instruction unit 427 determines whether the [upload] button 1021 on the upload setting screen 1000 has been pressed or the [back] button 1020 has been pressed. If it is determined that the [upload] button 1021 is pressed, the process proceeds to step S313, and if it is determined that the [back] button 1020 is pressed, the process returns to step S307.

ステップS313では、アップロード指示部427は、HDD214等のメモリに予め記憶されたファイルサーバ設定を取得する。ファイルサーバ設定には、ファイルサーバ102のホスト名、フォルダパスの起点、ファイルサーバ102にログインするためのユーザ名及びパスワードが含まれる。アップロード指示部427は、取得したファイルサーバ設定、ステップS311で取得したフォルダパス設定、及びステップS310で取得したファイル名を、アプリケーション転送部424へ渡す。 In step S313, the upload instruction unit 427 acquires the file server settings stored in advance in the memory of the HDD 214 or the like. The file server settings include the host name of the file server 102, the origin of the folder path, the user name and the password for logging in to the file server 102. The upload instruction unit 427 passes the acquired file server setting, the folder path setting acquired in step S311, and the file name acquired in step S310 to the application transfer unit 424.

ステップS314では、アプリケーション転送部424は、スキャン画像データの格納先となる格納先パスを生成する。格納先パスは、ファイルサーバ設定に含まれるファイルサーバ102のホスト名とフォルダパスの起点に、ステップS311で取得したフォルダパスを加えて生成される。これにより、例えば“\\server01\Share\2017_09_10”という格納先パスが生成される。 In step S314, the application transfer unit 424 generates a storage destination path for storing the scanned image data. The storage destination path is generated by adding the folder path acquired in step S311 to the host name of the file server 102 and the starting point of the folder path included in the file server settings. As a result, for example, the storage path "\\ server01 \ Share \ 2017_09_10" is generated.

ステップS315では、アプリケーション転送部424は、ファイルサーバ102にアクセスする。アプリケーション転送部424は、ステップS313で取得したファイルサーバ設定に含まれるユーザ名とパスワードをファイルサーバ102に送信し、ファイルサーバ102によるユーザ認証の結果を受信する。 In step S315, the application transfer unit 424 accesses the file server 102. The application transfer unit 424 sends the user name and password included in the file server settings acquired in step S313 to the file server 102, and receives the result of user authentication by the file server 102.

ステップS316では、アプリケーション転送部424は、受信したユーザ認証の結果に基づいて、ユーザ認証が成功したか(ファイルサーバ102にログインできたか)否かを判定する。ユーザ認証が成功した場合はステップS317に進み、ユーザ認証が失敗した場合は処理を終了する。 In step S316, the application transfer unit 424 determines whether or not the user authentication is successful (whether or not the file server 102 can be logged in) based on the received user authentication result. If the user authentication is successful, the process proceeds to step S317, and if the user authentication fails, the process ends.

ステップS317では、アプリケーション転送部424が、ステップS314で生成した格納先パスが示すフォルダに、スキャン画像データを外部転送(アップロード)する。 In step S317, the application transfer unit 424 externally transfers (uploads) the scanned image data to the folder indicated by the storage destination path generated in step S314.

ステップS318では、画像解析部425は、ステップS306でスキャン画像から取得した文字列領域情報と、ステップS308でプレビュー画面上でユーザが選択した文字列領域の情報(すなわち、選択情報)を、帳票情報保持部428に保存する。表2は、帳票情報保持部428に保存する文字列領域情報および選択情報の一例を示す。 In step S318, the image analysis unit 425 uses the character string area information acquired from the scanned image in step S306 and the character string area information (that is, selection information) selected by the user on the preview screen in step S308 as form information. It is stored in the holding unit 428. Table 2 shows an example of the character string area information and the selection information stored in the form information holding unit 428.

Figure 0006983687
Figure 0006983687

表2において、[帳票No]は、保存する帳票情報ごとに一意の番号が割り当てられる。表2は、1種類目の帳票情報を示しているので「1」が割り当てられている。また、表2は、文字列領域情報に加えて、選択情報を保存する。すなわち、選択情報は、[帳票No]が「1」のスキャン画像データに対応付けて保持される。また、選択情報は、ステップS308でユーザがプレビュー画面上で選択した文字列領域の順番を表している。また、選択情報における「‐」は、該当する文字列領域がユーザによって選択されていないことを表している。 In Table 2, [Form No.] is assigned a unique number for each form information to be saved. Since Table 2 shows the first type of form information, "1" is assigned. Further, Table 2 stores the selection information in addition to the character string area information. That is, the selection information is held in association with the scanned image data in which the [form No.] is "1". Further, the selection information represents the order of the character string area selected by the user on the preview screen in step S308. Further, "-" in the selection information indicates that the corresponding character string area has not been selected by the user.

<実施2回目>
次に、実施2回目について説明する。実施2回目では、実施1回目でスキャンされた原稿と類似する原稿がスキャンされ、図3のフローチャートを参照して上述した処理が実施されるものとする。以下では、実施1回目と異なる処理を主に説明し、実施1回目と同様の処理については説明を省略する。また、実施2回目のプレビュー画面は、図11を参照して説明する。
<Second implementation>
Next, the second implementation will be described. In the second implementation, a document similar to the original scanned in the first implementation is scanned, and the above-described processing is performed with reference to the flowchart of FIG. Hereinafter, the processing different from that of the first implementation will be mainly described, and the description of the same processing as that of the first implementation will be omitted. Further, the preview screen for the second implementation will be described with reference to FIG.

表3は、図3のステップS305における画像解析処理、すなわち、図5のステップS503において、画像解析部425がスキャン画像データから抽出した文字列領域情報の一例を示す。 Table 3 shows an example of the character string region information extracted from the scanned image data by the image analysis unit 425 in the image analysis process in step S305 of FIG. 3, that is, in step S503 of FIG.

Figure 0006983687
Figure 0006983687

次に、図6のステップS601では、画像解析部425は、ステップS503で抽出した文字列領域情報と、帳票情報保持部428に保存された各帳票情報の文字列領域情報とを比較する。そして、画像解析部425は、各帳票情報の中から、文字列領域の重なりが多い帳票情報を類似帳票情報として判定する。ここでは、帳票情報保持部428には、表2に示す帳票情報が保存されているものとする。この場合、表2に示す帳票Noが「1」である帳票情報の文字列領域と、表3に示す文字列領域との差分は、番号「8」の領域の幅のみである。その他の文字列領域は、表2と表3で同じ位置(X座標及びY座標)にあり、同じ大きさ(幅及び高さ)を有する。したがって、画像解析部425は、帳票Noが「1」である帳票情報を類似帳票情報と判定する(すなわち、類似帳票が存在すると判定する)。類似帳票が存在すると判定されたため、ステップS602においてYesと判定され、ステップS603へ進む。なお、帳票の類似判定は、例えば、比較対象とする文字列領域の総数に対して、互いに重なる文字領域の数の割合(類似度)が、予め定めた閾値以上であるかどうかに基づいて行うことができる。 Next, in step S601 of FIG. 6, the image analysis unit 425 compares the character string area information extracted in step S503 with the character string area information of each form information stored in the form information holding unit 428. Then, the image analysis unit 425 determines from each form information the form information having many overlaps in the character string area as the similar form information. Here, it is assumed that the form information shown in Table 2 is stored in the form information holding unit 428. In this case, the difference between the character string area of the form information in which the form number shown in Table 2 is "1" and the character string area shown in Table 3 is only the width of the area of the number "8". The other character string regions are at the same position (X coordinate and Y coordinate) in Table 2 and Table 3 and have the same size (width and height). Therefore, the image analysis unit 425 determines that the form information whose form number is "1" is similar form information (that is, it is determined that a similar form exists). Since it is determined that a similar form exists, it is determined as Yes in step S602, and the process proceeds to step S603. The similarity determination of the form is performed, for example, based on whether or not the ratio (similarity) of the number of overlapping character areas to the total number of character string areas to be compared is equal to or higher than a predetermined threshold value. be able to.

ステップS603では、画像解析部425は、類似帳票情報に含まれる選択情報に基づいて、今回のスキャン画像データに含まれる文字列領域の中から復元候補領域を決定する。具体的には、画像解析部425は、表3に示す文字列領域のうち、表2の類似帳票情報において「選択情報」に番号が格納されている文字列領域と最も重なる文字列領域を特定し、復元候補領域と決定する。ここでは、表3に示す番号「1」、「8」、「7」の文字列領域が、それぞれ類似帳票の選択情報「1」、「2」、「3」を有する文字列領域と最も重なる領域(すなわち、復元候補領域)であると特定される。 In step S603, the image analysis unit 425 determines a restoration candidate area from the character string area included in the scan image data this time, based on the selection information included in the similar form information. Specifically, the image analysis unit 425 identifies a character string area that most overlaps with the character string area in which the number is stored in the "selection information" in the similar form information in Table 2 among the character string areas shown in Table 3. And determine the restoration candidate area. Here, the character string areas of the numbers "1", "8", and "7" shown in Table 3 most overlap with the character string areas having the selection information "1", "2", and "3" of the similar form, respectively. It is identified as a region (ie, a restoration candidate region).

ステップS604では、画像解析部425は、復元候補領域である各文字列領域の分割処理を行う。図7は、ステップS604における文字列領域分割処理の詳細を示すフローチャートである。 In step S604, the image analysis unit 425 divides each character string area, which is a restoration candidate area. FIG. 7 is a flowchart showing the details of the character string area division process in step S604.

ステップS701では、画像解析部425は、ステップS603で決定した復元候補領域が、類似帳票で選択されなかった文字列領域、すなわち、表2の類似帳票情報において「選択情報」に番号が格納されていない文字列領域と重なるかどうか判定する。以下では、類似帳票で選択されなかった文字列領域を、非選択文字列領域(または、非選択の文字列領域)ともいう。具体的には、画像解析部425は、表3に示す番号「1」、「8」、「7」の文字列領域(すなわち、復元候補領域)が、表2に示す類似帳票の番号「2」乃至「6」および「9」の文字列領域(すなわち、非選択文字列領域)と重なるかどうかを判定する。表2と表3の例では、復元候補領域と非選択文字列領域は重ならないため、続くステップS702ではNoと判定され、文字列領域分割処理を終了し、図6のステップS605へ進む。すなわち、復元候補領域と、類似帳票の非選択文字列領域とが重ならない場合、文字列領域(復元候補領域)の分割処理は行われない。図7に記載のその他の処理(すなわち、ステップS703、S704の処理)については、実施3回目の例で説明する。 In step S701, the image analysis unit 425 stores a number in the "selection information" in the character string area in which the restoration candidate area determined in step S603 is not selected in the similar form, that is, in the similar form information in Table 2. Determine if it overlaps with a non-existent string area. In the following, the character string area not selected in the similar form is also referred to as a non-selected character string area (or a non-selected character string area). Specifically, in the image analysis unit 425, the character string areas (that is, restoration candidate areas) of the numbers "1", "8", and "7" shown in Table 3 are the numbers "2" of the similar form shown in Table 2. "To" 6 "and" 9 ", it is determined whether or not it overlaps with the character string area (that is, the non-selected character string area). In the examples of Tables 2 and 3, since the restoration candidate area and the non-selected character string area do not overlap, it is determined as No in the following step S702, the character string area division process is terminated, and the process proceeds to step S605 of FIG. That is, if the restoration candidate area and the non-selected character string area of the similar form do not overlap, the character string area (restoration candidate area) is not divided. The other processes shown in FIG. 7 (that is, the processes of steps S703 and S704) will be described with reference to the third example.

ステップS605では、画像解析部425は、選択文字列領域の復元に必要な復元情報を生成する。具体的には、ステップS603で取得した復元候補領域の文字認識を行う。実施1回目では、ステップS306において、画像解析部425は、表1に示すような文字列領域ごとの座標と大きさ(すなわち、文字列領域情報)を、アプリケーション転送部424に渡していた。一方、実施2回目では、画像解析部425は、文字列領域情報に選択情報と文字認識結果(「領域内文字列」)を加えた表4に示す復元情報を、画像解析データとしてアプリケーション転送部424に渡す。 In step S605, the image analysis unit 425 generates the restoration information necessary for restoring the selected character string area. Specifically, character recognition of the restoration candidate area acquired in step S603 is performed. In the first implementation, in step S306, the image analysis unit 425 passed the coordinates and size (that is, character string area information) for each character string area as shown in Table 1 to the application transfer unit 424. On the other hand, in the second implementation, the image analysis unit 425 uses the restoration information shown in Table 4, which is obtained by adding the selection information and the character recognition result (“character string in the area”) to the character string area information, as image analysis data in the application transfer unit. Pass it to 424.

Figure 0006983687
Figure 0006983687

ステップS307では、プレビュー表示部426が、アプリケーション転送部424から取得したスキャン画像データ及び文字列領域情報(ここでは、復元情報)を用いて、操作部220の液晶表示部にプレビュー画面を表示する。すなわち、実施2回目では、プレビュー表示部426は、復元候補領域の復元情報に基づいて、以前にユーザによって選択された文字列領域が選択された状態で、プレビュー画面を表示する。 In step S307, the preview display unit 426 displays the preview screen on the liquid crystal display unit of the operation unit 220 by using the scan image data and the character string area information (here, restoration information) acquired from the application transfer unit 424. That is, in the second implementation, the preview display unit 426 displays the preview screen in a state where the character string area previously selected by the user is selected based on the restoration information of the restoration candidate area.

図11は、実施2回目のステップS307において表示されるプレビュー画面1100の一例を示す。プレビュー画面1100は、図8のプレビュー画面800と同様に、ファイル名表示領域1101、フォーマット等設定ボタン1102、プレビュー表示領域1110、[戻る]ボタン1130、及び[次へ]ボタン1131を有する。また、プレビュー表示領域1110は、[画面上部スクロール]ボタン1111、[画面下部スクロール]ボタン1112、[画面拡大]ボタン1113、及び[画面縮小]ボタン1114を有する。これらのボタンは、図8のプレビュー画面800と同様であるため、説明は省略する。また、プレビュー表示領域1110は、スキャン画像の文字列領域1115乃至1123を表示する。 FIG. 11 shows an example of the preview screen 1100 displayed in the second step S307 of the implementation. Similar to the preview screen 800 of FIG. 8, the preview screen 1100 has a file name display area 1101, a format setting button 1102, a preview display area 1110, a [back] button 1130, and a [next] button 1131. Further, the preview display area 1110 includes a [screen upper scroll] button 1111, a [screen lower scroll] button 1112, a [screen enlargement] button 1113, and a [screen reduction] button 1114. Since these buttons are the same as the preview screen 800 of FIG. 8, the description thereof will be omitted. Further, the preview display area 1110 displays the character string areas 1115 to 1123 of the scanned image.

ステップS308では、プレビュー表示部426は、図9を参照して上述したファイル名生成処理を行う。プレビュー表示部426は、表4に示したように、実施2回目では、画像解析部425から文字列領域の選択情報と文字認識結果を取得している。プレビュー表示部426は、ユーザの操作を受け付ける前に、選択情報「1」、「2」、「3」に対応する文字列領域が、番号順に選択されたものとして、ステップS901乃至S908の処理を行い、スキャン画像データのファイル名を生成する。実施2回目では、ユーザが操作を行う前から、図11に示したように、ファイル名の生成に使用にする文字列領域1115、1116、及び1117が予め選択状態となっている。また、選択状態となった文字列領域1115、1116、及び1117に含まれる文字列が、今回のスキャン画像データのファイル名としてファイル名表示領域1101に表示されている。これにより、ユーザによる文字列領域選択の手間を省きつつ、今回のスキャン画像データに適切なファイル名を設定することができる。 In step S308, the preview display unit 426 performs the file name generation process described above with reference to FIG. As shown in Table 4, the preview display unit 426 acquires the selection information of the character string area and the character recognition result from the image analysis unit 425 in the second implementation. Before accepting the user's operation, the preview display unit 426 performs the processing of steps S901 to S908 assuming that the character string areas corresponding to the selection information "1", "2", and "3" are selected in numerical order. And generate the file name of the scanned image data. In the second implementation, as shown in FIG. 11, the character string areas 1115, 1116, and 1117 used for generating the file name are in the selected state in advance before the user performs the operation. Further, the character strings included in the selected character string areas 1115, 1116, and 1117 are displayed in the file name display area 1101 as the file name of the scanned image data this time. This makes it possible to set an appropriate file name for the scanned image data this time while saving the user the trouble of selecting the character string area.

なお、実施2回目では、実施1回目の帳票に類似する帳票が処理対象となるため、ステップS308の処理においてファイル名に使用する文字列領域に変更が無い場合は、ステップS318では文字列領域情報等を帳票情報保持部428に保存しない。一方、ステップS308でファイル名に使用する文字列領域に変更があった場合は、帳票情報保持部428に保存している情報のうち、少なくとも選択情報を修正するようにしてもよい。 Since the form similar to the form of the first implementation is the processing target in the second implementation, if there is no change in the character string area used for the file name in the processing of step S308, the character string area information in step S318. Etc. are not saved in the form information holding unit 428. On the other hand, when the character string area used for the file name is changed in step S308, at least the selection information among the information stored in the form information holding unit 428 may be modified.

<実施3回目>
次に、実施3回目について説明する。実施3回目では、実施1回目の原稿に類似する原稿がスキャンされるものとするが、実施2回目とは異なり、処理対象のスキャン画像データの復元候補領域が、過去のスキャン画像データの非選択文字列領域と重なる場合について説明する。また、実施3回目においても、図3のフローチャートを参照して上述した処理が実施される。以下では、実施1回目及び実施2回目と異なる処理を主に説明し、実施1回目及び実施2回目と同様の処理については説明を省略する。また、実施3回目のプレビュー画面は、図12を参照して説明する。
<Third implementation>
Next, the third implementation will be described. In the third implementation, a document similar to the original in the first implementation is scanned, but unlike the second implementation, the restoration candidate area of the scanned image data to be processed is a non-selection of the past scanned image data. The case where it overlaps with the character string area will be described. Further, also in the third implementation, the above-mentioned processing is performed with reference to the flowchart of FIG. In the following, the processes different from the first and second implementations will be mainly described, and the same processes as the first and second implementations will be omitted. Further, the preview screen for the third implementation will be described with reference to FIG.

表5は、図3のステップS305における画像解析処理、すなわち、図5のステップS503において、画像解析部425がスキャン画像データから抽出した文字列領域情報の一例を示す。 Table 5 shows an example of the character string region information extracted from the scanned image data by the image analysis unit 425 in the image analysis process in step S305 of FIG. 3, that is, in step S503 of FIG.

Figure 0006983687
Figure 0006983687

次に、図6のステップS601では、画像解析部425は、ステップS503で抽出した文字列領域情報と、帳票情報保持部428に保存された各帳票情報の文字列領域情報とを比較する。そして、画像解析部425は、各帳票情報の中から、文字列領域の重なりが多い帳票情報を類似帳票情報として判定する。ここでは、帳票情報保持部428には、表2に示す帳票情報が保存されているものとする。この場合、画像解析部425は、表2に示す帳票Noが「1」である帳票情報を類似帳票情報と判定する。類似帳票が存在すると判定されたため、ステップS602においてYesと判定され、ステップS603へ進む。 Next, in step S601 of FIG. 6, the image analysis unit 425 compares the character string area information extracted in step S503 with the character string area information of each form information stored in the form information holding unit 428. Then, the image analysis unit 425 determines from each form information the form information having many overlaps in the character string area as the similar form information. Here, it is assumed that the form information shown in Table 2 is stored in the form information holding unit 428. In this case, the image analysis unit 425 determines that the form information in which the form number shown in Table 2 is "1" is similar form information. Since it is determined that a similar form exists, it is determined as Yes in step S602, and the process proceeds to step S603.

ステップS603では、画像解析部425は、類似帳票情報に含まれる選択情報に基づいて、今回のスキャン画像データに含まれる文字列領域の中から復元候補領域を決定する。具体的には、画像解析部425は、表5に示す文字列領域のうち、表2の類似帳票情報において「選択情報」に番号が格納されている文字列領域と最も重なる文字列領域を特定し、復元候補領域と決定する。ここでは、表5に示す番号「1」、「8」、「7」の文字列領域が、それぞれ類似帳票の選択情報「1」、「2」、「3」を有する文字列領域と最も重なる領域(すなわち、復元候補領域)であると特定される。 In step S603, the image analysis unit 425 determines a restoration candidate area from the character string area included in the scan image data this time, based on the selection information included in the similar form information. Specifically, the image analysis unit 425 identifies a character string area that most overlaps with the character string area in which the number is stored in the "selection information" in the similar form information in Table 2 among the character string areas shown in Table 5. And determine the restoration candidate area. Here, the character string areas of the numbers "1", "8", and "7" shown in Table 5 most overlap with the character string areas having the selection information "1", "2", and "3" of the similar form, respectively. It is identified as a region (ie, a restoration candidate region).

ステップS604では、画像解析部425は、復元候補領域である各文字列領域の分割処理を行う。図7は、ステップS604における文字列領域分割処理の詳細を示すフローチャートである。 In step S604, the image analysis unit 425 divides each character string area, which is a restoration candidate area. FIG. 7 is a flowchart showing the details of the character string area division process in step S604.

ステップS701では、画像解析部425は、ステップS603で決定した復元候補領域が、類似帳票の非選択文字列領域と重なるか判定する。具体的には、画像解析部425は、表5に示す番号「1」、「8」、「7」の文字列領域(すなわち、復元候補領域)が、表2に示す類似帳票の番号「2」乃至「6」および「9」の文字列領域(すなわち、非選択文字列領域)と重なるかどうか判定する。表2と表5の例では、表5の番号「8」の文字列領域と、類似帳票の番号「9」の文字列領域が重なる(文字列領域の重なりについては、図12を参照して後述する)。したがって、ステップS702では、画像解析部425はYesと判定し、ステップS703に進む。 In step S701, the image analysis unit 425 determines whether the restoration candidate area determined in step S603 overlaps with the non-selected character string area of the similar form. Specifically, in the image analysis unit 425, the character string areas (that is, restoration candidate areas) of the numbers "1", "8", and "7" shown in Table 5 are the numbers "2" of the similar form shown in Table 2. "To" 6 "and" 9 ", it is determined whether or not it overlaps with the character string area (that is, the non-selected character string area). In the examples of Tables 2 and 5, the character string area of the number "8" in Table 5 and the character string area of the similar form number "9" overlap (for the overlap of the character string areas, refer to FIG. 12). Will be described later). Therefore, in step S702, the image analysis unit 425 determines Yes and proceeds to step S703.

ステップS703では、画像解析部425は、ステップS701の処理により、非選択文字列領域を含むと判定された番号「8」の文字列領域を分割するための座標(以下、分割座標ともいう)を決定する。画像解析部425は、表5の例では、番号「8」の文字列領域の右端(領域のX座標+領域の幅)から、表2の類似帳票の番号「9」の文字列領域の幅分(すなわち、45ピクセル)左に移動した座標を分割座標とする。すなわち、番号「8」の文字列領域において、以下の式(1)により分割座標(X座標)が決定される。
分割座標(214)=領域のX座標(35)+幅(224)−差分(45)・・・(1)
In step S703, the image analysis unit 425 obtains coordinates (hereinafter, also referred to as division coordinates) for dividing the character string area of the number “8” determined to include the non-selected character string area by the process of step S701. decide. In the example of Table 5, the image analysis unit 425 has the width of the character string area of the similar form number “9” in Table 2 from the right end (X coordinate of the area + the width of the area) of the character string area of the number “8”. The coordinates moved to the left by a minute (that is, 45 pixels) are defined as the division coordinates. That is, in the character string area of the number "8", the division coordinates (X coordinates) are determined by the following equation (1).
Divided coordinates (214) = X coordinates of the area (35) + width (224) -difference (45) ... (1)

なお、非選択文字列領域が復元候補領域の左側に含まれる場合は、復元候補領域の左端から非選択文字列領域の幅分右に移動した座標を分割座標としても良い。また、ステップS503で行う文字列領域の判定方法によっては、文字列領域に加えて、1文字ずつの領域を取得するようにしてもよい。その場合、類似帳票の幅の長さをそのまま用いるのではなく、文字と文字の中間点になるよう長さを伸縮させても良い。 When the non-selected character string area is included on the left side of the restoration candidate area, the coordinates moved to the right by the width of the non-selected character string area from the left end of the restoration candidate area may be used as the divided coordinates. Further, depending on the method for determining the character string area performed in step S503, an area for each character may be acquired in addition to the character string area. In that case, instead of using the width of the similar form as it is, the length may be expanded or contracted so as to be the midpoint between the characters.

ステップS704では、画像解析部425は、ステップS703で決定した分割座標を用いて、復元候補領域である文字列領域を分割する。すなわち、画像解析部425は、表5の番号「8」の文字列領域を、X座標35、Y座標166、幅179(224−45)、高さ30の領域と、X座標214、Y座標166、幅45、高さ30の2つの領域に分割する。画像解析部425は、分割を行った後、表5の番号「8」の文字列領域の幅を更新する。また、画像解析部425は、非選択文字列領域に対応する文字列領域を番号「9」として表5に追加し、図7の処理を終了する。 In step S704, the image analysis unit 425 divides the character string region, which is a restoration candidate region, using the division coordinates determined in step S703. That is, the image analysis unit 425 uses the character string area of the number "8" in Table 5 as an area of X coordinate 35, Y coordinate 166, width 179 (224-45), height 30, and X coordinate 214 and Y coordinate. It is divided into two areas of 166, width 45 and height 30. After performing the division, the image analysis unit 425 updates the width of the character string area of the number "8" in Table 5. Further, the image analysis unit 425 adds the character string area corresponding to the non-selected character string area to Table 5 as the number "9", and ends the process of FIG. 7.

図6に戻り、ステップS605では、画像解析部425は、選択文字列領域の復元に必要な復元情報を生成する。具体的には、画像解析部425は、ステップS704で分割した復元候補領域(すなわち、選択文字列領域)の文字認識を行う。実施3回目では、ステップS306において、画像解析部425は、分割処理を行った後の復元候補領域(すなわち、選択文字列領域)に対して文字認識を行う。画像解析部425は、選択情報と文字認識結果(「領域内文字列」)を加えた表6に示す復元情報を、画像解析データとしてアプリケーション転送部424に渡す。 Returning to FIG. 6, in step S605, the image analysis unit 425 generates the restoration information necessary for restoring the selected character string area. Specifically, the image analysis unit 425 performs character recognition of the restoration candidate area (that is, the selected character string area) divided in step S704. In the third implementation, in step S306, the image analysis unit 425 performs character recognition on the restoration candidate area (that is, the selected character string area) after the division processing. The image analysis unit 425 passes the restoration information shown in Table 6 including the selection information and the character recognition result (“character string in the area”) to the application transfer unit 424 as image analysis data.

Figure 0006983687
Figure 0006983687

ステップS307では、プレビュー表示部426が、アプリケーション転送部424から取得したスキャン画像データ及び文字列領域情報(ここでは、復元情報)を用いて、操作部220の液晶表示部にプレビュー画面を表示する。すなわち、実施3回目では、プレビュー表示部426は、復元候補領域から非選択文字列領域を分割し、分割した復元候補領域が選択された状態で、プレビュー画面を表示する。 In step S307, the preview display unit 426 displays the preview screen on the liquid crystal display unit of the operation unit 220 by using the scan image data and the character string area information (here, restoration information) acquired from the application transfer unit 424. That is, in the third implementation, the preview display unit 426 divides the non-selected character string area from the restoration candidate area, and displays the preview screen in a state where the divided restoration candidate area is selected.

図12は、実施3回目のプレビュー画面1200の一例を示す。プレビュー画面1200は、図8のプレビュー画面800と同様に、ファイル名表示領域1201、フォーマット等設定ボタン1202、プレビュー表示領域1210、[戻る]ボタン1230、及び[次へ]ボタン1231を有する。また、プレビュー表示領域1210は、[画面上部スクロール]ボタン1211、[画面下部スクロール]ボタン1212、[画面拡大]ボタン1213、及び[画面縮小]ボタン1214を有する。これらのボタンは、図8のプレビュー画面800と同様であるため、説明は省略する。また、プレビュー表示領域1210は、スキャン画像の文字列領域1215乃至1226、および重複領域1250を表示する。 FIG. 12 shows an example of the preview screen 1200 for the third implementation. Similar to the preview screen 800 of FIG. 8, the preview screen 1200 has a file name display area 1201, a format setting button 1202, a preview display area 1210, a [back] button 1230, and a [next] button 1231. Further, the preview display area 1210 includes a [screen upper scroll] button 1211, a [screen lower scroll] button 1212, a [screen enlargement] button 1213, and a [screen reduction] button 1214. Since these buttons are the same as the preview screen 800 of FIG. 8, the description thereof will be omitted. Further, the preview display area 1210 displays the character string areas 1215 to 1226 of the scanned image and the overlapping area 1250.

図12(a)は、仮にステップS703、及びS704の領域分割処理を行わなかった場合に、プレビュー表示部426が操作部220の液晶表示部に表示するプレビュー画面1200を示す。重複領域1250は、表5の番号「8」の文字列領域1216において、類似帳票の番号「9」の文字列領域が重なる領域を示している。 FIG. 12A shows a preview screen 1200 displayed on the liquid crystal display unit of the operation unit 220 by the preview display unit 426 if the area division processing of steps S703 and S704 is not performed. The overlapping area 1250 indicates an area in which the character string areas of the similar form number “9” overlap in the character string area 1216 of the number “8” in Table 5.

図12(b)は、復元候補領域から非選択文字列領域を分割した後のプレビュー画面1200を示す。図12(b)では、図12(a)の文字列領域1216が、2つの文字列領域1225、1226に分割されている。文字列領域1225は、選択文字列領域として処理され、選択状態で表示される。また、文字列領域1226は、非選択文字列領域として処理され、非選択状態で表示される。 FIG. 12B shows a preview screen 1200 after dividing the non-selected character string area from the restoration candidate area. In FIG. 12B, the character string area 1216 of FIG. 12A is divided into two character string areas 1225 and 1226. The character string area 1225 is processed as a selected character string area and displayed in the selected state. Further, the character string area 1226 is processed as a non-selected character string area and displayed in a non-selected state.

ステップS308では、プレビュー表示部426は、図9を参照して上述したファイル名生成処理を行う。プレビュー表示部426は、表6に示したように、実施3回目では、画像解析部425から分割処理後の文字列領域の選択情報と文字認識結果を取得している。プレビュー表示部426は、ユーザ操作を受け付ける前に、選択情報「1」、「2」、「3」に対応する文字列領域が、番号順に選択されたものとして、ステップS901乃至S908の処理を行い、スキャン画像データのファイル名を生成する。実施3回目では、ユーザが操作を行う前から、図12(b)に示したように、ファイル名の生成に使用する文字列領域1215、1225、及び1217が予め選択状態となる。また、選択状態となった文字列領域1215、1225、及び1217に含まれる文字列が、今回のスキャン画像データのファイル名としてファイル名表示領域1201に表示される。一方、復元候補領域から分割された非選択文字列領域に対応する文字列領域1226は、非選択状態となる。すなわち、文字列領域1226は、最初にプレビュー画面が表示される段階では、ファイル名として使用されない。これにより、ユーザによる選択の手間を省きつつ、適切なファイル名を設定することができる。 In step S308, the preview display unit 426 performs the file name generation process described above with reference to FIG. As shown in Table 6, the preview display unit 426 acquires the selection information of the character string area after the division process and the character recognition result from the image analysis unit 425 in the third implementation. Before accepting the user operation, the preview display unit 426 performs the processes of steps S901 to S908 assuming that the character string areas corresponding to the selection information "1", "2", and "3" are selected in numerical order. , Generate the file name of the scanned image data. In the third implementation, as shown in FIG. 12B, the character string areas 1215, 1225, and 1217 used for generating the file name are selected in advance before the user performs the operation. Further, the character strings included in the selected character string areas 1215, 1225, and 1217 are displayed in the file name display area 1201 as the file name of the scanned image data this time. On the other hand, the character string area 1226 corresponding to the non-selected character string area divided from the restoration candidate area is in the non-selected state. That is, the character string area 1226 is not used as a file name when the preview screen is first displayed. This makes it possible to set an appropriate file name while saving the trouble of selection by the user.

上述したように、本実施形態では、実施1回目で保存された帳票情報の文字列領域情報を用いて、実施3回目のように隣接する2つの文字列領域が1つの文字列領域として判定された場合に当該文字列領域を分割して、適切なファイル名を設定することができる。しかし、帳票情報保持部428に類似帳票情報が保存されていない状態で、実施3回目のような隣接する2つの文字列領域が1つの文字列領域と判定される場合がある。その場合、ユーザは、当該文字列領域を選択した後、不要な文字列を削除する。このように、文字列領域を選択した後、文字列の削除を行った場合は、ステップS318の処理において、画像解析部425は、削除した文字列の領域を特定し、選択した文字列領域と削除した文字列の領域を分割して、保存するようにしてもよい。すなわち、実施3回目と同様の文書をスキャンし、図12(a)に示したプレビュー画面1200が表示された場合、文字列領域1215、1216、1217を選択すると、ファイル名は“見積書_東京特許株式会社御中_20171015”と設定される。その後、ユーザが、“御中”という文字列を削除したとする。その場合は、文字列領域1216を、“東京特許株式会社”という文字列を含む領域と、“御中”という文字列を含む領域に分割して、表6に示すような文字領域情報を帳票情報保持部428に保存してもよい。 As described above, in the present embodiment, using the character string area information of the form information saved in the first implementation, two adjacent character string areas are determined as one character string area as in the third implementation. In this case, the character string area can be divided and an appropriate file name can be set. However, in a state where similar form information is not stored in the form information holding unit 428, two adjacent character string areas as in the third implementation may be determined as one character string area. In that case, the user selects the character string area and then deletes an unnecessary character string. In this way, when the character string is deleted after the character string area is selected, in the process of step S318, the image analysis unit 425 specifies the area of the deleted character string, and the selected character string area is used. The area of the deleted character string may be divided and saved. That is, when the same document as the third implementation is scanned and the preview screen 1200 shown in FIG. 12A is displayed, when the character string areas 1215, 1216, and 1217 are selected, the file name is "estimate_Tokyo". It is set as "Patent Co., Ltd. _20171015". After that, it is assumed that the user deletes the character string "middle". In that case, the character string area 1216 is divided into an area including the character string "Tokyo Patent Co., Ltd." and an area including the character string "Middle", and the character area information as shown in Table 6 is used as form information. It may be stored in the holding unit 428.

なお、本実施形態では、画像処理を行って抽出した文字列を、スキャン画像データのファイル名として使用したが、その他の目的で使用してもよい。例えば、抽出した文字列に対応する電話番号を特定して、スキャン画像データをその電話番号を使用してファクス送信してもよい。また、抽出した文字列に対応するメールアドレスを特定して、スキャン画像データをそのメールアドレスを使用してメール送信してもよい。 In the present embodiment, the character string extracted by performing the image processing is used as the file name of the scanned image data, but it may be used for other purposes. For example, the telephone number corresponding to the extracted character string may be specified, and the scanned image data may be faxed using the telephone number. Further, the e-mail address corresponding to the extracted character string may be specified, and the scanned image data may be sent by e-mail using the e-mail address.

<第2の実施形態>
次に、本発明の第2の実施形態について説明する。上述した第1の実施形態との差異は、文字列領域分割処理(図6のステップS604)、およびプレビュー画面である。文字列領域分割処理の詳細は、図13のフローチャートを参照して説明する。また、本実施形態におけるプレビュー画面は、図14を参照して説明する。その他の構成について、第1の実施形態と同様であるものは説明を省略する。なお、本実施形態では、表2に示した文字列領域情報が、帳票情報保持部428に保存されているものとする。
<Second embodiment>
Next, a second embodiment of the present invention will be described. The difference from the first embodiment described above is the character string area division process (step S604 in FIG. 6) and the preview screen. The details of the character string area division process will be described with reference to the flowchart of FIG. Further, the preview screen in the present embodiment will be described with reference to FIG. The description of other configurations similar to those of the first embodiment will be omitted. In this embodiment, it is assumed that the character string area information shown in Table 2 is stored in the form information holding unit 428.

表7は、図2のステップS305における画像解析処理、すなわち、図5のステップS503において、画像解析部425がスキャン画像データから抽出した文字列領域情報の一例を示す。 Table 7 shows an example of the character string region information extracted from the scanned image data by the image analysis unit 425 in the image analysis process in step S305 of FIG. 2, that is, in step S503 of FIG.

Figure 0006983687
Figure 0006983687

次に、図6のステップS601では、画像解析部425は、ステップS503で抽出した文字列領域情報と、帳票情報保持部428に保存された各帳票情報の文字列領域情報とを比較する。そして、画像解析部425は、各帳票情報の中から、文字列領域の重なりが多い帳票情報を類似帳票情報として判定する。ここでは、画像解析部425は、表2に示す帳票No.が「1」である帳票情報を類似帳票情報と判定する。類似帳票が存在すると判定されたため、ステップS602においてYesと判定され、ステップS603へ進む。 Next, in step S601 of FIG. 6, the image analysis unit 425 compares the character string area information extracted in step S503 with the character string area information of each form information stored in the form information holding unit 428. Then, the image analysis unit 425 determines from each form information the form information having many overlaps in the character string area as the similar form information. Here, the image analysis unit 425 has the form No. 2 shown in Table 2. The form information in which is "1" is determined to be similar form information. Since it is determined that a similar form exists, it is determined as Yes in step S602, and the process proceeds to step S603.

ステップS603では、画像解析部425は、類似帳票情報に含まれる選択情報に基づいて、今回のスキャン画像データに含まれる文字列領域の中から復元候補領域を決定する。具体的には、画像解析部425は、表7に示す文字列領域のうち、表2の類似帳票情報において「選択情報」に番号が格納されている文字列領域と最も重なる文字列領域を特定し、復元候補領域と決定する。ここでは、表7に示す番号「1」、「8」、「7」の文字列領域が、それぞれ類似帳票の選択情報「1」、「2」、「3」を有する文字列領域と最も重なる領域(すなわち、復元候補領域)であると特定される。 In step S603, the image analysis unit 425 determines a restoration candidate area from the character string area included in the scan image data this time, based on the selection information included in the similar form information. Specifically, the image analysis unit 425 identifies a character string area that most overlaps with the character string area in which the number is stored in the "selection information" in the similar form information in Table 2 among the character string areas shown in Table 7. And determine the restoration candidate area. Here, the character string areas of the numbers "1", "8", and "7" shown in Table 7 most overlap with the character string areas having the selection information "1", "2", and "3" of the similar form, respectively. It is identified as a region (ie, a restoration candidate region).

ステップS604では、画像解析部425は、復元候補領域である各文字列領域の分割処理を行う。図13は、本実施形態におけるステップS604の文字列領域分割処理の詳細を示すフローチャートである。 In step S604, the image analysis unit 425 divides each character string area, which is a restoration candidate area. FIG. 13 is a flowchart showing the details of the character string area division process in step S604 in the present embodiment.

ステップS1301では、画像解析部425は、ステップS603で決定した復元候補領域が、類似帳票の非選択文字列領域と重なるか判定する。具体的には、画像解析部425は、表7に示す番号「1」、「8」、「7」の復元候補領域が、類似帳票の番号「2」乃至「6」および「9」の非選択文字列領域と重なるかどうか判定する。表2と表7の例では、復元候補領域と非選択文字列領域は重ならないため、続くステップS1302ではNoと判定され、ステップS1310に進む。なお、本実施形態における復元候補領域と非選択文字列領域との関係は、図14を参照して後述する。 In step S1301, the image analysis unit 425 determines whether the restoration candidate area determined in step S603 overlaps with the non-selected character string area of the similar form. Specifically, in the image analysis unit 425, the restoration candidate areas of the numbers "1", "8", and "7" shown in Table 7 are not the numbers "2" to "6" and "9" of the similar form. Determine if it overlaps with the selected character string area. In the examples of Tables 2 and 7, since the restoration candidate area and the non-selected character string area do not overlap, it is determined as No in the following step S1302, and the process proceeds to step S1310. The relationship between the restoration candidate area and the non-selected character string area in the present embodiment will be described later with reference to FIG.

ステップS1310では、画像解析部425は、復元候補領域の周辺領域に存在する文字列領域の個数と、類似帳票情報において当該周辺領域に存在する文字列領域の個数を比較する。周辺領域とは、例えば、文字列領域の左右一定幅の領域を指す。表2と表7の文字列領域情報を比較すると、表7に示す番号「8」の復元候補領域の周辺領域に含まれる文字列領域の個数は1つであるのに対し、当該周辺領域に含まれる表2の類似帳票の文字列領域の個数は2個(番号「8」と「9」の文字列領域)である。すなわち、復元候補領域の周辺領域に存在する文字列領域の個数は減少している。したがって、続くステップS1311では、Yesと判定され、ステップS1303へ進む。なお、文字列領域の個数が変化しない場合は、文字列領域を分割せずに処理を終了し、図6のステップS605に進む。このように、本実施形態では、復元候補領域の周辺領域に含まれる文字列領域の個数に基づいて、当該周辺領域に過去のスキャン画像データの非選択文字列領域が含まれているかどうか判定する。 In step S1310, the image analysis unit 425 compares the number of character string areas existing in the peripheral area of the restoration candidate area with the number of character string areas existing in the peripheral area in the similar form information. The peripheral area refers to, for example, an area having a constant width on the left and right of the character string area. Comparing the character string area information in Table 2 and Table 7, the number of character string areas included in the peripheral area of the restoration candidate area of the number "8" shown in Table 7 is one, whereas the peripheral area has one. The number of character string areas of similar forms in Table 2 included is two (character string areas of numbers "8" and "9"). That is, the number of character string areas existing in the peripheral area of the restoration candidate area is decreasing. Therefore, in the following step S1311, it is determined as Yes, and the process proceeds to step S1303. If the number of character string areas does not change, the process ends without dividing the character string area, and the process proceeds to step S605 in FIG. As described above, in the present embodiment, it is determined whether or not the non-selected character string area of the past scanned image data is included in the peripheral area based on the number of character string areas included in the peripheral area of the restoration candidate area. ..

ステップS1303では、画像解析部425は、ステップS1311で文字列領域の個数が減少したと判定された番号「8」の文字列領域(すなわち、復元候補領域)を分割するための座標を決定する。画像解析部425は、表7の例では、番号「8」の文字列領域の右端から、類似帳票の番号「9」の文字列領域の幅分(すなわち、45ピクセル)左に移動した座標を分割座標とする。なお、番号「9」の文字列領域は、「選択情報」に番号が格納されていない文字列領域である。 In step S1303, the image analysis unit 425 determines the coordinates for dividing the character string area (that is, the restoration candidate area) of the number "8" determined in step S1311 that the number of character string areas has decreased. In the example of Table 7, the image analysis unit 425 moves the coordinates from the right end of the character string area of the number "8" to the left by the width of the character string area of the similar form number "9" (that is, 45 pixels). Use the division coordinates. The character string area of the number "9" is a character string area in which the number is not stored in the "selection information".

ステップS1304では、画像解析部425は、ステップS1303で決定した分割座標を用いて、復元候補領域である文字列領域を分割する。すなわち、画像解析部425は、表7の番号「8」の文字列領域を、X座標34、Y座標166、幅30(75−45)、高さ30の領域と、X座標64(34+30)、Y座標166、幅45、高さ30の2つの領域に分割する。画像解析部425は、分割を行った後、表7の番号「8」の文字列領域の幅を更新し、分割された新たな文字列領域を番号「9」として表7に追加する。 In step S1304, the image analysis unit 425 divides the character string region, which is a restoration candidate region, using the division coordinates determined in step S1303. That is, the image analysis unit 425 uses the character string area of the number "8" in Table 7 as an area of X coordinate 34, Y coordinate 166, width 30 (75-45), height 30 and X coordinate 64 (34 + 30). , Y coordinate 166, width 45, height 30. After performing the division, the image analysis unit 425 updates the width of the character string area of the number "8" in Table 7, and adds the new divided character string area to the table 7 as the number "9".

図6に戻り、ステップS605では、画像解析部425は、選択文字列領域の復元に必要な復元情報を生成する。本実施形態では、ステップS306において、画像解析部425は、ステップS1304の分割処理後の文字列領域に対して文字認識を行い、選択情報と文字認識結果を加えた表8に示す復元情報を、画像解析データとしてアプリケーション転送部424に渡す。 Returning to FIG. 6, in step S605, the image analysis unit 425 generates the restoration information necessary for restoring the selected character string area. In the present embodiment, in step S306, the image analysis unit 425 performs character recognition on the character string area after the division processing in step S1304, and adds the selection information and the character recognition result to the restored information shown in Table 8. It is passed to the application transfer unit 424 as image analysis data.

Figure 0006983687
Figure 0006983687

ステップS307では、プレビュー表示部426が、アプリケーション転送部424から取得したスキャン画像データ及び文字列領域情報(ここでは、復元情報)を用いて、操作部220の液晶表示部にプレビュー画面を表示する。すなわち、本実施形態では、プレビュー表示部426は、復元候補領域から非選択文字列領域を分割し、分割した復元候補領域が選択された状態で、プレビュー画面を表示する。 In step S307, the preview display unit 426 displays the preview screen on the liquid crystal display unit of the operation unit 220 by using the scan image data and the character string area information (here, restoration information) acquired from the application transfer unit 424. That is, in the present embodiment, the preview display unit 426 divides the non-selected character string area from the restoration candidate area, and displays the preview screen in a state where the divided restoration candidate area is selected.

図14は、本実施形態のプレビュー画面1400の一例を示す。プレビュー画面1400は、図8のプレビュー画面800と同様に、ファイル名表示領域1401、フォーマット等設定ボタン1402、プレビュー表示領域1410、[戻る]ボタン1430、及び[次へ]ボタン1431を有する。また、プレビュー表示領域1410は、[画面上部スクロール]ボタン1411、[画面下部スクロール]ボタン1412、[画面拡大]ボタン1413、及び[画面縮小]ボタン1414を有する。これらのボタンは、図8のプレビュー画面800と同様であるため、説明は省略する。また、プレビュー表示領域1410は、スキャン画像の文字列領域1415乃至1423、1460、1461を表示する。さらに、図14(a)には、文字列領域1415乃至1417のそれぞれの周辺領域1451乃至1453と、類似帳票に存在する文字列領域1450を示している。 FIG. 14 shows an example of the preview screen 1400 of the present embodiment. Like the preview screen 800 of FIG. 8, the preview screen 1400 has a file name display area 1401, a format setting button 1402, a preview display area 1410, a [back] button 1430, and a [next] button 1431. Further, the preview display area 1410 includes a [screen upper scroll] button 1411, a [screen lower scroll] button 1412, a [screen enlargement] button 1413, and a [screen reduction] button 1414. Since these buttons are the same as the preview screen 800 of FIG. 8, the description thereof will be omitted. Further, the preview display area 1410 displays the character string areas 1415 to 1423, 1460, 1461 of the scanned image. Further, FIG. 14A shows the peripheral areas 1451 to 1453 of the character string areas 1415 to 1417 and the character string area 1450 existing in the similar form.

図14(a)は、仮にステップS1303、S1304の領域分割処理を行わなかった場合に、プレビュー表示部426が操作部220の液晶表示部に表示するプレビュー画面1400を示す。図14(a)では、「(株)雅」という文字列と「御中」という文字列を含む文字列領域1416が選択状態となっており、「(株)雅御中」という文字列がファイル名表示領域1401に設定されたファイル名に適用されている。なお、文字列領域1416は、類似帳票の非選択文字列領域と重ならないため、上述した第1の実施形態の処理方法では、分割対象の文字列領域とはならない。 FIG. 14A shows a preview screen 1400 displayed on the liquid crystal display unit of the operation unit 220 by the preview display unit 426 if the area division processing of steps S1303 and S1304 is not performed. In FIG. 14A, the character string area 1416 including the character string "Masa Co., Ltd." and the character string "Middle" is selected, and the character string "Masa Gochu Co., Ltd." is the file name. It is applied to the file name set in the display area 1401. Since the character string area 1416 does not overlap with the non-selected character string area of the similar form, it does not become the character string area to be divided by the processing method of the first embodiment described above.

図14(b)は、復元候補領域から非選択文字列領域を分割した後のプレビュー画面1400を示す。図14(b)では、文字列領域1416が、2つの文字列領域1460、1461に分割されている。文字列領域1460は、選択文字列領域として処理され、選択状態で表示される。また、文字列領域1461は、非選択文字列領域として処理され、非選択状態で表示される。すなわち、文字列領域1416は、周辺領域に非選択文字列領域に対応する文字列領域を含むため、分割される。 FIG. 14B shows a preview screen 1400 after dividing the non-selected character string area from the restoration candidate area. In FIG. 14B, the character string area 1416 is divided into two character string areas 1460 and 1461. The character string area 1460 is processed as a selected character string area and displayed in the selected state. Further, the character string area 1461 is processed as a non-selected character string area and displayed in a non-selected state. That is, the character string area 1416 is divided because the peripheral area includes the character string area corresponding to the non-selected character string area.

ステップS308では、プレビュー表示部426は、図9を参照して上述したファイル名生成処理を行う。本実施形態では、プレビュー表示部426は、表8に示したように、画像解析部425から分割処理後の文字列領域の選択情報と文字認識結果を取得している。プレビュー表示部426は、ユーザ操作を受け付ける前に、選択情報「1」、「2」、「3」に対応する文字列領域が、番号順に選択されたものとして、ステップS901乃至S908の処理を行い、スキャン画像データのファイル名を生成する。本実施形態では、ユーザが操作を行う前から、図14(b)に示したように、ファイル名の生成に使用する文字列領域1415、1460、及び1417が予め選択状態となる。また、選択状態となった文字列領域1415、1460、及び1417に含まれる文字列が、今回のスキャン画像データのファイル名としてファイル名表示領域1401に表示される。一方、復元候補領域から分割された非選択文字列領域に対応する文字列領域1461は、非選択状態となる。すなわち、文字列領域1461は、最初にプレビュー画面が表示される段階では、ファイル名として使用されない。これにより、ユーザによる選択の手間を省きつつ、適切なファイル名を設定することができる。 In step S308, the preview display unit 426 performs the file name generation process described above with reference to FIG. In the present embodiment, as shown in Table 8, the preview display unit 426 acquires the selection information of the character string area after the division processing and the character recognition result from the image analysis unit 425. Before accepting the user operation, the preview display unit 426 performs the processes of steps S901 to S908 assuming that the character string areas corresponding to the selection information "1", "2", and "3" are selected in numerical order. , Generate the file name of the scanned image data. In the present embodiment, as shown in FIG. 14B, the character string areas 1415, 1460, and 1417 used for generating the file name are selected in advance before the user performs the operation. Further, the character strings included in the selected character string areas 1415, 1460, and 1417 are displayed in the file name display area 1401 as the file name of the scanned image data this time. On the other hand, the character string area 1461 corresponding to the non-selected character string area divided from the restoration candidate area is in the non-selected state. That is, the character string area 1461 is not used as a file name when the preview screen is first displayed. This makes it possible to set an appropriate file name while saving the trouble of selection by the user.

<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
<Other embodiments>
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

Claims (10)

文書をスキャンして得られたスキャン画像データに関連する情報を設定するためのシステムであって、
処理対象のスキャン画像データを解析して1または複数の文字列領域を抽出する解析手段と、
前記処理対象のスキャン画像データに類似する過去のスキャン画像データがある場合、前記解析手段で抽出された文字列領域と、前記類似する過去のスキャン画像データに関連する情報を設定する際に用いられた文字列領域と、前記類似する過去のスキャン画像データに関連する情報を設定する際に用いられなかった文字列領域とに基づいて、前記処理対象のスキャン画像データに関連する情報を設定する際に用いるべき文字列領域を特定する特定手段と、を備え、
前記特定手段は、前記解析手段で抽出された文字列領域のうち、前記類似する過去のスキャン画像データに関連する情報を設定する際に用いられた文字列領域と前記類似する過去のスキャン画像データに関連する情報を設定する際に用いられなかった文字列領域との両方に対応すると判定された文字列領域について分割を行い、分割後の文字列領域に基づいて、前記処理対象のスキャン画像データに関連する情報を設定する際に用いるべき文字列領域を特定することを特徴とするシステム
A system for setting information related to scanned image data obtained by scanning a document.
An analysis means that analyzes the scanned image data to be processed and extracts one or more character string areas,
When there is past scan image data similar to the scan image data to be processed, it is used when setting the character string area extracted by the analysis means and the information related to the similar past scan image data. When setting the information related to the scanned image data to be processed based on the character string area and the character string area not used when setting the information related to the similar past scanned image data. With a specific means to specify the character string area to be used for
The specific means has the same past scan image data as the character string area used for setting information related to the similar past scan image data in the character string area extracted by the analysis means. The character string area determined to correspond to both the character string area that was not used when setting the information related to is divided, and the scanned image data to be processed is based on the divided character string area. A system characterized by specifying a character string area to be used when setting information related to .
前記特定手段は、前記解析手段で前記処理対象のスキャン画像データから抽出された文字列領域の情報と、前記過去のスキャン画像データの文字列領域の情報とを比較することによって前記処理対象のスキャン画像データに類似する過去のスキャン画像データがあるかどうか判定することを特徴とする請求項1に記載のシステムThe specifying unit includes information of a character string region that has been extracted from the scanned image data of the processing target in the analysis means, by comparing the information of the character string region of the past of the scanned image data, the processed The system according to claim 1, wherein it is determined whether or not there is past scanned image data similar to the scanned image data. 前記特定手段は、前記解析手段で前記処理対象のスキャン画像データから抽出された文字列領域の座標と大きさを示す情報と、前記過去のスキャン画像データの文字列領域の座標と大きさを示す情報とを比較することによって、前記処理対象のスキャン画像データに類似する過去のスキャン画像データがあるかどうか判定することを特徴とする請求項2に記載のシステムThe specific means indicates information indicating the coordinates and size of the character string area extracted from the scanned image data to be processed by the analysis means, and the coordinates and size of the character string area of the past scanned image data. The system according to claim 2, wherein it is determined whether or not there is past scanned image data similar to the scanned image data to be processed by comparing with the information . 前記特定手段は、前記解析手段で前記処理対象のスキャン画像データから抽出された文字列領域のうち、前記類似する過去のスキャン画像データに関連する情報を設定する際に用いられた文字列領域に重なる文字列領域を候補領域とし、当該候補領域のうち、前記類似する過去のスキャン画像データに関連する情報を設定する際に用いられなかった文字列領域に重なる候補領域について分割を行い、当該分割後の候補領域と、前記類似する過去のスキャン画像データに関連する情報を設定する際に用いられなかった文字列領域に重ならない候補領域とに基づいて、前記処理対象のスキャン画像データに関連する情報を設定する際に用いるべき文字列領域を特定することを特徴とする請求項1乃至3のいずれか1項に記載のシステム。 The specific means is a character string area used for setting information related to the similar past scan image data among the character string areas extracted from the scan image data to be processed by the analysis means. The overlapping character string area is set as a candidate area, and among the candidate areas, the candidate area that overlaps with the character string area that was not used when setting the information related to the similar past scan image data is divided, and the division is performed. It is related to the scanned image data to be processed based on the later candidate area and the candidate area that does not overlap with the character string area that was not used when setting the information related to the similar past scanned image data. The system according to any one of claims 1 to 3, wherein a character string area to be used when setting information is specified. 前記特定手段は、更に、前記類似する過去のスキャン画像データに関連する情報を設定する際に用いられなかった文字列領域に重ならない候補領域のうち、当該候補領域の周辺領域の個数が減少している候補領域について分割を行い、当該分割後の候補領域と、前記類似する過去のスキャン画像データに関連する情報を設定する際に用いられなかった文字列領域に重ならず且つ周辺領域の個数が減少しなかった候補領域とに基づいて、前記処理対象のスキャン画像データに関連する情報を設定する際に用いるべき文字列領域を特定することを特徴とする請求項4に記載のシステム。 The specific means further reduces the number of peripheral areas of the candidate area among the candidate areas that do not overlap the character string area that was not used when setting the information related to the similar past scanned image data. The number of peripheral areas that do not overlap the candidate area after the division and the character string area that was not used when setting the information related to the similar past scanned image data. The system according to claim 4, wherein the character string area to be used when setting the information related to the scanned image data to be processed is specified based on the candidate area in which is not reduced. 前記特定手段は、前記解析手段で抽出された文字列領域のうち、前記類似する過去のスキャン画像データに関連する情報を設定する際に用いられた文字列領域と前記類似する過去のスキャン画像データに関連する情報を設定する際に用いられなかった文字列領域との両方に対応すると判定された文字列領域を、前記類似する過去のスキャン画像データに関連する情報を設定する際に用いられなかった文字列領域の幅に基づいて分割することを特徴とする請求項1乃至5のいずれか1項に記載のシステムThe specific means has the same past scan image data as the character string area used for setting information related to the similar past scan image data in the character string area extracted by the analysis means. The character string area determined to correspond to both the character string area that was not used when setting the information related to the above is not used when setting the information related to the similar past scanned image data. The system according to any one of claims 1 to 5, wherein the data is divided based on the width of the character string area. 前記スキャン画像データを表示画面に表示するとともに、前記特定手段により特定された文字列領域を選択状態にして表示するように制御する表示制御手段を、更に備えることを特徴とする請求項1乃至6のいずれか1項に記載のシステムClaims 1 to 6 further include display control means for displaying the scanned image data on a display screen and controlling the character string area specified by the specific means to be displayed in a selected state. The system according to any one of the above. 前記処理対象のスキャン画像データに関連する情報は、前記処理対象のスキャン画像データのファイル名であり、前記特定手段で特定された文字列領域の文字認識結果を前記ファイル名に用いることを特徴とする請求項1乃至7のいずれか1項に記載のシステムInformation relating to the scanned image data of the processing target, the Rukoto using Ri filename der scanned image data of the processing target, the character recognition result of the character string regions identified in the particular unit to the file name The system according to any one of claims 1 to 7, wherein the system is characterized . 文書をスキャンして得られたスキャン画像データに関連する情報を設定するための方法であって、
処理対象のスキャン画像データを解析して1または複数の文字列領域を抽出する解析ステップと、
前記処理対象のスキャン画像データに類似する過去のスキャン画像データがある場合、前記解析ステップで抽出された文字列領域と、前記類似する過去のスキャン画像データに関連する情報を設定する際に用いられた文字列領域と、前記類似する過去のスキャン画像データに関連する情報を設定する際に用いられなかった文字列領域とに基づいて、前記処理対象のスキャン画像データに関連する情報を設定する際に用いるべき文字列領域を特定する特定ステップと、を備え、
前記特定ステップでは、前記解析ステップで抽出された文字列領域のうち、前記類似する過去のスキャン画像データに関連する情報を設定する際に用いられた文字列領域と前記類似する過去のスキャン画像データに関連する情報を設定する際に用いられなかった文字列領域との両方に対応すると判定された文字列領域について分割を行い、分割後の文字列領域に基づいて、前記処理対象のスキャン画像データに関連する情報を設定する際に用いるべき文字列領域を特定することを特徴とする方法
A method for setting information related to scanned image data obtained by scanning a document.
An analysis step that analyzes the scanned image data to be processed and extracts one or more character string areas,
When there is past scan image data similar to the scan image data to be processed, it is used when setting the character string area extracted in the analysis step and the information related to the similar past scan image data. When setting the information related to the scanned image data to be processed based on the character string area and the character string area not used when setting the information related to the similar past scanned image data. With a specific step to specify the string area to be used for
In the specific step, among the character string areas extracted in the analysis step, the past scan image data similar to the character string area used when setting the information related to the similar past scan image data. The character string area determined to correspond to both the character string area that was not used when setting the information related to is divided, and the scanned image data to be processed is based on the divided character string area. A method characterized by identifying a string area to be used when setting information related to .
コンピュータを、請求項1乃至8のいずれか1項に記載のシステムの各手段として機能させるためのプログラム。 A program for making a computer function as each means of the system according to any one of claims 1 to 8.
JP2018016604A 2018-02-01 2018-02-01 Devices, methods, and programs for setting information related to scanned image data. Active JP6983687B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018016604A JP6983687B2 (en) 2018-02-01 2018-02-01 Devices, methods, and programs for setting information related to scanned image data.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018016604A JP6983687B2 (en) 2018-02-01 2018-02-01 Devices, methods, and programs for setting information related to scanned image data.

Publications (3)

Publication Number Publication Date
JP2019134364A JP2019134364A (en) 2019-08-08
JP2019134364A5 JP2019134364A5 (en) 2021-03-11
JP6983687B2 true JP6983687B2 (en) 2021-12-17

Family

ID=67547638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018016604A Active JP6983687B2 (en) 2018-02-01 2018-02-01 Devices, methods, and programs for setting information related to scanned image data.

Country Status (1)

Country Link
JP (1) JP6983687B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7391672B2 (en) * 2020-01-21 2023-12-05 キヤノン株式会社 Image processing system, control method and program for digitizing documents

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728935A (en) * 1993-07-07 1995-01-31 Oki Electric Ind Co Ltd Document image processor
JP2016111482A (en) * 2014-12-04 2016-06-20 キヤノン株式会社 Image processing device and control method of image processing device
US9854121B2 (en) * 2014-04-18 2017-12-26 Canon Kabushiki Kaisha Image processing apparatus for generating a digitized document by using image data and method for controlling the same
JP2016018454A (en) * 2014-07-09 2016-02-01 キヤノン株式会社 Image processing system and controlling method thereof

Also Published As

Publication number Publication date
JP2019134364A (en) 2019-08-08

Similar Documents

Publication Publication Date Title
JP6983675B2 (en) Devices, methods, programs, and systems for setting information related to scanned images
JP7034730B2 (en) Devices, methods, and programs for setting information related to scanned images
JP6953230B2 (en) A device for setting a file name, etc. on a scanned image, its control method, and a program.
JP6891073B2 (en) A device for setting a file name, etc. on a scanned image, its control method, and a program.
JP6968647B2 (en) A device for setting a file name for a scanned image, its control method, and a program.
JP4922021B2 (en) Image processing apparatus, program, and preview image display method
US11144189B2 (en) Determination and relocation of movement targets based on a drag-and-drop operation of a thumbnail across document areas
JP6849387B2 (en) Image processing device, image processing system, control method of image processing device, and program
US8203722B2 (en) Image processing apparatus, image forming apparatus, and output-format setting method
JP7062388B2 (en) A device for setting a file name, etc. on a scanned image, its control method, and a program.
JP2007188054A (en) Image forming apparatus, program, and item setting processing method
JP7094733B2 (en) Image processing device, program, image processing method
JP6762722B2 (en) Information processing equipment, control methods, and programs
JP7077127B2 (en) Devices, methods, and programs for setting information related to scanned image data.
JP2020184276A (en) Image processing device, image processing method, and program
JP2016194786A (en) Function performance device, function performance method, and storage medium
JP6983687B2 (en) Devices, methods, and programs for setting information related to scanned image data.
JP7030505B2 (en) Devices, methods, and programs for setting information related to scanned images
JP2019068323A (en) Device for setting file name for scanned image, control method thereof, and program
JP2019201356A (en) Image processing apparatus, program, and image processing method
JP7150967B2 (en) Apparatus, method, and program for setting information related to scanned images
JP2021026604A (en) Image processing device, image processing method and program
US11483449B2 (en) Computer-readable medium, information processing device, and method for rearranging image data
JP2020145632A (en) Image processing apparatus, image processing system, and program
US20250039323A1 (en) Storage medium, method of controlling image processing apparatus, and image processing apparatus

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211124

R151 Written notification of patent or utility model registration

Ref document number: 6983687

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151