[go: up one dir, main page]

JP7552050B2 - OCR image acquisition system and OCR image acquisition method - Google Patents

OCR image acquisition system and OCR image acquisition method Download PDF

Info

Publication number
JP7552050B2
JP7552050B2 JP2020054205A JP2020054205A JP7552050B2 JP 7552050 B2 JP7552050 B2 JP 7552050B2 JP 2020054205 A JP2020054205 A JP 2020054205A JP 2020054205 A JP2020054205 A JP 2020054205A JP 7552050 B2 JP7552050 B2 JP 7552050B2
Authority
JP
Japan
Prior art keywords
image
document
document image
determination
ocr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020054205A
Other languages
Japanese (ja)
Other versions
JP2021157249A (en
Inventor
亮介 小井戸
佑亮 谷津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Holdings Inc
Original Assignee
Toppan Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Holdings Inc filed Critical Toppan Holdings Inc
Priority to JP2020054205A priority Critical patent/JP7552050B2/en
Publication of JP2021157249A publication Critical patent/JP2021157249A/en
Application granted granted Critical
Publication of JP7552050B2 publication Critical patent/JP7552050B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Character Input (AREA)
  • Image Analysis (AREA)

Description

本発明は、OCR用画像取得システム及びOCR用画像取得方法に関する。 The present invention relates to an image acquisition system for OCR and an image acquisition method for OCR.

近年、携帯電話やスマートフォンなどのユーザ端末によって、免許証、マイナンバーカード及びマイナンバー通知カードなどの身分証明書を撮像した画像データと、当該画像データを文字認識処理(OCR(Optical Character Recognition)処理)することで得られるテキスト文字情報とを用いることにより、銀行の口座開設などの各種申し込み手続が電子的に行なわれるようになってきている。
ユーザ端末の撮像装置により撮像した文書画像データのOCR処理を行なう技術として、例えば、特許文献1に記載された装置がある。
In recent years, various application procedures, such as opening a bank account, have come to be carried out electronically by using image data captured by a user terminal such as a mobile phone or smartphone of an identification document, such as a driver's license, an individual number card, or an individual number notification card, and text character information obtained by subjecting the image data to character recognition processing (OCR (Optical Character Recognition) processing).
2. Description of the Related Art As a technique for performing OCR processing on document image data captured by an imaging device of a user terminal, for example, there is a device described in Japanese Patent Laid-Open No. 2003-233996.

上記特許文献1に開示される技術においては、例えば、身分証明書を連続して撮像して得られる、当該身分証明書の各々の文書画像データに対してOCR処理を行ない、身分証明書に含まれる、契約書に必要となる読取り対象の項目の文字や数値などの文字情報を取得する。
そして、取得した各項目の文字情報により、申し込み手続の際に必要となる入力フォームの記入欄に対して記載して、ユーザに対応した申し込み書の生成を行なう。
In the technology disclosed in Patent Document 1, for example, an identification card is successively photographed, and OCR processing is performed on the document image data of each identification card, to obtain character information such as letters and numbers of items to be read that are included in the identification card and are required for a contract.
Then, the acquired text information for each item is used to fill in the fields of the input form required for the application procedure, thereby generating an application form suited to the user.

特許第6364051号公報Patent No. 6364051

上述したOCR処理においては、例えば、認識対象の文書を撮像した複数の文書画像データの各々をOCR処理して、同一の認識結果が得られた文書画像データの数を計数し、所定の設定数以上の文書画像データから取得されたテキスト文字をOCR処理における文字認識処理の認識結果として出力する。
このため、上記OCR処理を行なうため、ユーザ端末からOCR処理を行なう申込受付サーバに複数の文書画像データを送信する必要がある。
In the above-mentioned OCR processing, for example, each of a plurality of document image data obtained by capturing an image of a document to be recognized is subjected to OCR processing, the number of document image data for which the same recognition result is obtained is counted, and text characters obtained from a predetermined set number or more of document image data are output as the recognition result of the character recognition processing in the OCR processing.
Therefore, in order to perform the OCR process, it is necessary to transmit a plurality of document image data from the user terminal to the application reception server that performs the OCR process.

しかしながら、送信された文書画像データの各々の画像の形態(撮像状態)によっては文字認識が行えずに上記認識結果が得られない場合があり、撮像をやり直し、ユーザ端末から複数の文書画像データを申込受付サーバに送信し直すことになる。
例えば、ユーザが撮像する際、身分証明書の全体が撮像されていない、撮像画像が小さすぎるなどのOCR処理が行えない品質の撮像画像を、文書画像データとして送信した場合、OCR処理において上記認識結果を得ることができない。
この結果、大容量のデータの送信を複数回繰返すことにより、ユーザ端末及び申込受付サーバ間の通信網におけるトラフィックが増大してしまう。
However, depending on the form (imaging state) of each image in the transmitted document image data, character recognition may not be possible and the above recognition result may not be obtained, so the image may need to be re-captured and the multiple document image data may need to be re-sent from the user terminal to the application reception server.
For example, if a user takes an image and sends it as document image data, because the image quality is such that OCR processing cannot be performed, for example, because the entire identification card is not captured or the image is too small, the above recognition result cannot be obtained in OCR processing.
As a result, the traffic in the communication network between the user terminal and the application reception server increases due to the large volume of data being transmitted multiple times.

また、上述した文書画像データの品質の問題により、文書画像データの送信が複数回繰返されるため、OCR処理を行なう回数も増加することになり、申込受付サーバにおけるOCR処理の負荷も増大する。
上述した通信網のトラフィックの増大と、申込受付サーバの負荷の増大とにより、申し込み手続の処理が遅延することで、インターネットを利用した申込みの手続に時間を要することになり、インターネットを介した申込み処理におけるユーザの満足度が低下してしまう。
Furthermore, due to the problem of the quality of the document image data described above, the document image data is repeatedly transmitted multiple times, which increases the number of times OCR processing is performed, and increases the load of OCR processing on the application reception server.
The above-mentioned increase in communication network traffic and the increased load on the application reception server cause delays in the processing of application procedures, which in turn increases the time required to process applications over the Internet, resulting in a decrease in user satisfaction with application processing via the Internet.

本発明は、このような事情に鑑みてなされたもので、OCR処理を行なうサーバに対する文字認識処理が行えない文書画像データの送信を抑制し、かつサーバにおけるOCR処理による負荷を低減させるOCR用画像取得システム及びOCR用画像取得方法を提供することを目的とする。 The present invention has been made in consideration of the above circumstances, and aims to provide an OCR image acquisition system and an OCR image acquisition method that suppress the transmission of document image data that cannot be processed by character recognition to a server that performs OCR processing, and reduce the load caused by OCR processing on the server.

この発明は上述した課題を解決するためになされたもので、本発明のOCR用画像取得システムは、文字認識処理の対象である文書の文書画像の取得を行ない、OCR処理を行なうサーバに対して、取得した前記文書画像を送信するOCR用画像取得システムであり、前記文字認識処理を行なう前記文書画像の取得処理を行なう際にダウンロードされ、ウェブブラウザをプラットフォームとして動作する画像取得アプリケーションに含まれるモジュール群であり、当該モジュール群が、撮像装置に文書を撮像させて前記文書画像を生成する文書画像撮像モジュールと、前記文書画像が所定の判定ルールに対応した画像の形態として撮像されているか否かの判定を行なう画像形態判定モジュールと、前記判定において前記形態を満たしている文書画像を、前記サーバに送信する前記文書画像として選択する文書画像選択モジュールとを備え、前記ダウンロードされる画像取得アプリケーションに内包する判定ルールテーブルが身分証明書毎に設けられており、前記判定を行うことは、前記文書画像から判別される身分証明書に対応する判定ルールテーブルを参照し、文書画像データが判定ルールに対応した形態であるか否かの判定を行なうことを含み、前記判定ルールテーブルの判定ルールは、前記身分証明書の種類毎に、画像の形態の規定を含み、文書画像における文字画像の文字認識処理が可能か否かの判定が、当該文書画像における他の画像領域に比較してより高い確度で行える文書画像の最外枠の画像領域の形態に対する規定である The present invention has been made to solve the above-mentioned problems, and an image acquisition system for OCR of the present invention is an image acquisition system for OCR that acquires a document image of a document that is a target of character recognition processing, and transmits the acquired document image to a server that performs OCR processing, and is a group of modules included in an image acquisition application that is downloaded when performing the acquisition process of the document image for the character recognition processing and operates using a web browser as a platform, the group of modules being a document image capture module that causes an imaging device to capture an image of the document and generate the document image, an image form determination module that determines whether the document image has been captured in an image form corresponding to a predetermined determination rule, and a module that determines whether the document image has been captured in an image form corresponding to a predetermined determination rule, and and a document image selection module that selects a document image that satisfies the above conditions as the document image to be transmitted to the server, and a judgment rule table contained in the downloaded image acquisition application is provided for each identification card, and making the judgment includes referring to a judgment rule table corresponding to the identification card identified from the document image and determining whether the document image data has a form that corresponds to the judgment rule, and the judgment rules in the judgment rule table include image form specifications for each type of identification card, and are specifications for the form of the outermost image area of a document image that allows for a higher accuracy in determining whether character recognition processing of a character image in a document image is possible compared to other image areas in the document image .

本発明のOCR用画像取得システムは、前記判定ルールが、文書画像における文字画像の文字認識処理が可能か否かの判定が、当該文書画像における他の画像領域に比較してより高い確度で行える所定の画像領域の形態に対する規定であることを特徴とする。 The OCR image acquisition system of the present invention is characterized in that the judgment rule is a provision for the shape of a specified image area that allows a judgment as to whether character recognition processing of a character image in a document image is possible or not to be performed with a higher degree of accuracy than other image areas in the document image.

本発明のOCR用画像取得システムは、前記画像形態判定モジュールが、前記文書画像の前記文書の種別を判別し、前記文書画像とともに前記サーバに送信することを特徴とする。 The OCR image acquisition system of the present invention is characterized in that the image morphology determination module determines the document type of the document image and transmits it to the server together with the document image.

本発明のOCR用画像取得システムは、前記文書の種別の各々に対して、当該種別毎の前記文書の特徴的な形態に対応して前記判定ルールが設定されていることを特徴とする。 The OCR image acquisition system of the present invention is characterized in that the judgment rules are set for each of the document types in accordance with the characteristic forms of the documents of each type.

本発明のOCR用画像取得方法は、文字認識処理の対象である文書の文書画像の取得を行ない、OCR処理を行なうサーバに対して、取得した前記文書画像を送信するOCR用画像取得方法であり、前記文字認識処理を行なう前記文書画像の取得処理を行なう際にダウンロードされ、ウェブブラウザをプラットフォームとして動作する画像取得アプリケーションに含まれる、文書画像撮像モジュール、画像形態判定モジュール及び文書画像選択モジュールの各々を用いて、前記文書画像撮像モジュールが、撮像装置に文書を撮像させて前記文書画像を生成する文書画像撮像過程と、前記画像形態判定モジュールが、前記文書画像が所定の判定ルールに対応した画像の形態として撮像されているか否かの判定を行なう画像形態判定過程と、前記文書画像選択モジュールが、前記判定において前記形態を満たしている文書画像を、前記サーバに送信する前記文書画像として選択する文書画像選択過程とを含み、前記ダウンロードされる画像取得アプリケーションに内包する判定ルールテーブルが身分証明書毎に設けられており、前記画像形態判定過程には、前記文書画像から判別される身分証明書に対応する判定ルールテーブルを参照し、文書画像データが判定ルールに対応した形態であるか否かの判定を行なうことを含み、前記判定ルールテーブルの判定ルールは、前記身分証明書の種類毎に、画像の形態の規定を含み、文書画像における文字画像の文字認識処理が可能か否かの判定が、当該文書画像における他の画像領域に比較してより高い確度で行える文書画像の最外枠の画像領域の形態に対する規定である The OCR image acquisition method of the present invention is an OCR image acquisition method for acquiring a document image of a document to be subjected to character recognition processing, and transmitting the acquired document image to a server that performs OCR processing, and the method includes the steps of: a document image acquisition module, an image form determination module, and a document image selection module, which are included in an image acquisition application that is downloaded when performing the document image acquisition processing for performing the character recognition processing and operates using a web browser as a platform; a document image acquisition step in which the document image acquisition module causes an imaging device to capture a document and generate the document image; an image form determination step in which the image form determination module determines whether the document image has been captured in an image form corresponding to a predetermined determination rule; and a document image selection module. and a document image selection process in which the downloaded image acquisition application module selects a document image that satisfies the form in the determination as the document image to be transmitted to the server, a determination rule table contained in the downloaded image acquisition application is provided for each identification card, and the image form determination process includes referencing a determination rule table corresponding to the identification card identified from the document image and determining whether or not the document image data has a form that corresponds to the determination rule, and the determination rules in the determination rule table include image form specifications for each type of identification card, and are specifications for the form of the outermost image area of the document image that allow for a determination of whether or not character recognition processing of a character image in the document image is possible with a higher accuracy than other image areas in the document image .

この発明によれば、OCR処理を行なうサーバに対する文字認識処理が行えない文書画像データの送信を抑制し、かつサーバにおけるOCR処理による負荷を低減させるOCR用画像取得システム及びOCR用画像取得方法を提供することができる。 This invention provides an OCR image acquisition system and an OCR image acquisition method that suppress the transmission of document image data that cannot be processed by character recognition to a server that performs OCR processing, and that reduces the load caused by OCR processing on the server.

本発明の実施形態によるOCR用画像取得システムの構成例を示す概念図である。1 is a conceptual diagram showing an example of the configuration of an image acquisition system for OCR according to an embodiment of the present invention. 本実施形態のOCR用画像取得システムにより得られた文書画像データに基づく、申込書の入力フォームの生成を説明する図である。11 is a diagram for explaining generation of an application input form based on document image data obtained by the OCR image acquisition system of this embodiment. FIG. 本実施形態のOCR用画像取得システムによる身分証明書の文書画像データの取得の処理の動作例を示すフローチャートである。10 is a flowchart showing an example of the operation of a process for acquiring document image data of an identification card by the OCR image acquisition system of the present embodiment.

本発明のOCR用画像取得システムは、銀行の口座開設などの各種申し込み手続をインターネットを利用して行う場合、免許証、マイナンバーカード及びマイナンバー通知カードなどの身分証明書をユーザの操作により撮像する。
そして、本発明のOCR用画像取得システムは、この身分証明書が撮像された画像データである文書画像データのなかから、OCR処理が可能な形態の文書画像データを選択し、選択された文書画像データを、申し込みの受付を行う申込受付サーバに送信する。これにより、ユーザのユーザ端末から申込受付サーバに対して、OCR処理に適さない形態の文書画像を送信することがなくなり、通信網のトラフィックを抑制し、かつ申込受付サーバがOCR処理の前に行なう前処理の負荷を低減させることができる。
When various application procedures such as opening a bank account are carried out over the Internet, the OCR image acquisition system of the present invention captures images of identification documents such as driver's licenses, My Number cards, and My Number notification cards in response to user operations.
The OCR image acquisition system of the present invention then selects document image data suitable for OCR processing from the document image data, which is image data of the identification card, and transmits the selected document image data to the application reception server that accepts the application. This prevents the user terminal of the user from transmitting document images in a format unsuitable for OCR processing to the application reception server, thereby reducing traffic on the communication network and reducing the load of pre-processing that the application reception server performs before OCR processing.

以下、図面を参照して、本発明の実施の形態について説明する。図1は、本発明の実施形態によるOCR用画像取得システムの構成例を示す概念図である。この図1において、ユーザ端末100及び申込受付サーバ200とがインターネットを含む通信網300により接続されている。
ユーザ端末100はユーザの所有するスマートフォンなどの端末である。申込受付サーバ200は、例えば、銀行口座の開設、スポーツクラブへの入会などの申込みの申請を受け付けるサーバである。
ユーザ端末100は、OCR用画像取得システム1、ウェブブラウザ(web(World Wide Web)browser)2及び表示部3を備えている。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. Fig. 1 is a conceptual diagram showing an example of the configuration of an OCR image acquisition system according to an embodiment of the present invention. In Fig. 1, a user terminal 100 and an application reception server 200 are connected by a communication network 300 including the Internet.
The user terminal 100 is a terminal such as a smartphone owned by a user. The application reception server 200 is a server that receives applications for, for example, opening a bank account, joining a sports club, and the like.
The user terminal 100 includes an OCR image acquisition system 1 , a web browser (World Wide Web) 2 , and a display unit 3 .

本実施形態におけるOCR用画像取得システム1は、利用者が所有するユーザ端末100に備えられているウェブブラウザをプラットフォームとして動作する画像取得アプリケーションにより形成される。すなわち、画像取得アプリケーションは、ウェブブラウザ上で起動することにより、ユーザ端末100のメモリ上において複数のモジュール(モジュール群)として展開され、OCR用画像取得システム1の機能が実現される。また、画像取得アプリケーションのプログラムは、ユーザがユーザ端末100により申請処理を行なう(文字認識処理を行なう必要が生じた)度に、申込受付サーバ200から各ユーザ端末100にダウンロードされ、ユーザ端末100の記憶部に書き込まれて記憶され、申請処理が終了した後に上記記憶部から消去される。
OCR用画像取得システム1は、データ入出力モジュール11、撮像制御モジュール12、画像形態判定モジュール13、文書画像選択モジュール14及び判定ルールテーブル15を備えている。
The OCR image acquisition system 1 in this embodiment is formed by an image acquisition application that operates on a platform of a web browser provided in the user terminal 100 owned by the user. That is, the image acquisition application is launched on the web browser, and is deployed as a plurality of modules (module group) on the memory of the user terminal 100, thereby realizing the functions of the OCR image acquisition system 1. In addition, the image acquisition application program is downloaded from the application reception server 200 to each user terminal 100 every time a user performs an application process using the user terminal 100 (every time a need arises to perform character recognition processing), written and stored in the memory unit of the user terminal 100, and erased from the memory unit after the application process is completed.
The OCR image acquisition system 1 includes a data input/output module 11 , an imaging control module 12 , an image form determination module 13 , a document image selection module 14 , and a determination rule table 15 .

データ入出力モジュール11は、ウェブブラウザ2を介して、申込受付サーバ200との間のデータの送受信を行う。
撮像制御モジュール12は、撮像ガイド枠を表示部3に表示させ、この撮像ガイド枠内に身分証明書が包含される状態でユーザに撮像の操作をさせ、文書の撮像画像である文書画像データを取得する。
ここで、撮像制御モジュール12は、ユーザ端末100の搭載する撮像装置(不図示)を駆動して、身分証明書の撮像画像の所定の周期による連写を行わせて、複数枚(例えば、15枚)の文章画像データ(動画のフレーム画像としてもよい)を取得する。
例えば、身分証明書が免許証及びマイナンバーカードの各々の場合には、裏と表との文書画像データを取得し、マイナンバー通知カードの場合には、表の文書画像データを取得する。
The data input/output module 11 transmits and receives data to and from the application reception server 200 via the web browser 2 .
The imaging control module 12 displays an imaging guide frame on the display unit 3, and has the user perform an imaging operation with the identification card contained within this imaging guide frame, thereby acquiring document image data which is an image of the document.
Here, the imaging control module 12 drives an imaging device (not shown) installed in the user terminal 100 to take continuous images of the identification card at a predetermined period, thereby acquiring multiple (e.g., 15) pieces of text image data (which may also be frame images of a video).
For example, if the identification card is a driver's license or a My Number card, document image data of the front and back is obtained, and if the identification card is a My Number notification card, document image data of the front is obtained.

画像形態判定モジュール13は、文書画像データにおける文書の画像部分である文書オブジェクト画像の形態が、予め設定された所定の判定ルールに対応しているか否かの判定を行う。本実施形態においては、上記判定ルールが、文書画像データにおける文字画像の文字認識処理が可能か否かの判定が、この文書画像データの文書オブジェクト画像における他の画像領域に比較してより高い確度で行える文書オブジェクト画像の所定の画像領域(後述する最外枠)の形態に対する規定として設定されている。
ここで、所定の判定ルールとは、ダウンロードした画像取得アプリケーションのプログラムに判定ルールテーブル15として内包されており、少なくとも、文書オブジェクト画像の最外枠の形状(文書の平面視での輪郭の形状)が四角形(頂点が4つ)か否か、文書オブジェクト画像の最外枠の線(例えば、文字画像の近傍にある線分)が検知されるか、文書オブジェクト画像の輪郭である四角形の内角が所定の角度範囲内か否か(台形形状などの形状変形の程度の判定)、文書オブジェクト画像の最外枠の線(例えば、文字画像の近傍にある線分)が湾曲している(歪んでいる)か否か、文書オブジェクト画像の文書画像データに示る面積比率が所定の比率以上であるか否か(の文書オブジェクト画像のサイズの判定)、などである。
また、所定の判定ルールには、文書オブジェクト画像の最外枠における色相が予め設定した色相範囲であるか否か、彩度が予め設定した彩度範囲であるか否か、明度が予め設定した明度範囲であるか否かなども含んでもよい。
The image form determination module 13 determines whether the form of a document object image, which is an image portion of a document in the document image data, corresponds to a predetermined determination rule that has been set in advance. In this embodiment, the determination rule is set as a regulation for the form of a predetermined image area (an outermost frame to be described later) of the document object image, which allows a determination of whether character recognition processing of a character image in the document image data is possible or not with a higher accuracy than other image areas in the document object image of the document image data.
Here, the predetermined judgment rules are included as judgment rule table 15 in the downloaded image acquisition application program, and include at least whether the shape of the outermost frame of the document object image (the shape of the outline of the document when viewed in a plane) is a rectangle (with four vertices), whether the lines of the outermost frame of the document object image (e.g., line segments near a character image) are detected, whether the inner angles of the rectangle that is the outline of the document object image are within a predetermined angle range (determination of the degree of shape deformation such as a trapezoid), whether the lines of the outermost frame of the document object image (e.g., line segments near a character image) are curved (distorted), and whether the area ratio of the document object image shown in the document image data is a predetermined ratio or more (determination of the size of the document object image), etc.
In addition, the specified judgment rules may also include whether the hue in the outermost frame of the document object image is within a predetermined hue range, whether the saturation is within a predetermined saturation range, and whether the brightness is within a predetermined brightness range.

すなわち、文書オブジェクト画像が四角形でない場合、撮像ガイド枠から外れており、OCR処理を行う際の文書画像を取得するための情報が欠落していることを示している。輪郭の線が検知されない場合、文書オブジェクト画像の範囲が抽出できないため、文書画像の台形補正などを行うことができないことを意味している。四角形の内角については、斜めに撮像されて台形形状に変形しており、所定の角度を外れている場合、台形補正をしても文字画像がOCR処理できる程度の品質とならないことを示している。輪郭の線が湾曲している場合、文字画像も歪んでおり、OCR処理が可能な品質で撮像されていないことを示している。面積比率が所定の比率未満の場合、文書画像がOCR処理における文字認識が可能な大きさで撮像されていないことを示している。
また、文書オブジェクト画像の最外枠における色相が予め設定された色相範囲でない場合、彩度が予め設定された彩度範囲でない場合、及び明度が予め設定された明度範囲でない場合の各々は、文書オブジェクト画像がOCR処理を行うことが可能な鮮明さを有する文字画像として撮像されていないことを示している。
That is, if the document object image is not rectangular, it is outside the imaging guide frame, and information for acquiring the document image when performing OCR processing is missing. If the contour line is not detected, it means that the range of the document object image cannot be extracted, and therefore keystone correction or the like cannot be performed on the document image. The inner corners of the rectangle are imaged obliquely and deformed into a trapezoidal shape, and if they are outside the specified angle, it indicates that even if keystone correction is performed, the character image will not be of a quality sufficient for OCR processing. If the contour line is curved, the character image is also distorted, and it indicates that the image is not imaged with a quality that allows OCR processing. If the area ratio is less than the specified ratio, it indicates that the document image is not imaged with a size that allows character recognition in OCR processing.
In addition, when the hue in the outermost frame of the document object image is not within a predetermined hue range, when the saturation is not within a predetermined saturation range, and when the brightness is not within a predetermined brightness range, each of these cases indicates that the document object image has not been captured as a character image with sufficient clarity to perform OCR processing.

文書画像選択モジュール14は、画像形態判定モジュール13の撮像した各文章画像データの判定結果を確認し、上記判定ルールに対応している文書画像データを選択し、それ以外の文書画像データを削除する。
そして、文書画像選択モジュール14は、選択した文書画像データを、データ入出力モジュール11及びウェブブラウザ2を介して申込受付サーバ200に対して送信する。
The document image selection module 14 checks the judgment results of the image form judgment module 13 for each captured document image data, selects document image data that meets the judgment rules, and deletes other document image data.
Then, the document image selection module 14 transmits the selected document image data to the application reception server 200 via the data input/output module 11 and the web browser 2 .

申込受付サーバ200は、ユーザ端末100から供給される文書画像データの各々のOCR処理を行なう前に、文書オブジェクト画像の形状の台形補正や、サイズ調整、回転などの前処理を行う。
そして、申込受付サーバ200は、前処理が終了した文書オブジェクト画像が免許証、マイナンバーカード及びマイナンバー通知カードのいずれの文書の画像であるかの判定を行う。
申込受付サーバ200は、例えば、文書画像データにおける文書オブジェクト画像が免許証の画像であると判定した場合、免許証のテンプレート画像と文書オブジェクト画像とを比較し、申請書に必要な項目の文字画像を抽出し、OCR処理(文字認識処理)を行って文字画像を取得する。
Before performing OCR processing on each piece of document image data supplied from the user terminal 100, the application reception server 200 performs preprocessing such as keystone correction of the shape of the document object image, size adjustment, and rotation.
Then, the application reception server 200 determines whether the document object image after the preprocessing is an image of a driver's license, a My Number card, or a My Number notification card.
For example, if the application reception server 200 determines that the document object image in the document image data is an image of a driver's license, it compares the template image of the driver's license with the document object image, extracts character images of the items required for the application form, and performs OCR processing (character recognition processing) to obtain the character images.

ここで、文字画像は、文書オブジェクト画像に対してOCR処理を行うことで得られた情報であり、項目を示す画像と項目のデータを示す文字の画像を含む。項目を示す画像は、氏名や住所などの項目の欄外に印刷された名称の文字列の画像である。項目のデータを示す画像は、欄の内部に印刷された個人データの画像であり、例えば、文字(数字、記号などを含む)文字列の画像である。 The character image here is information obtained by performing OCR processing on the document object image, and includes an image showing an item and an image of characters showing the data for the item. The image showing an item is an image of a character string of a name printed outside the margin of an item such as name or address. The image showing the data for an item is an image of personal data printed inside the margin, for example, an image of a character string (including numbers, symbols, etc.).

そして、申込受付サーバ200は、前処理が終了した文書オブジェクト画像の各々のOCR処理を行ない、各項目の文書画像が3個以上の文章画像データにおいて同一のテキスト文字に変換された場合、そのテキスト文字を文字画像のテキストへの変換結果とする。
ここで、本実施形態においては、OCR処理が可能であると判定された文書画像データのみが送信されるため、テキスト文字を変換結果として決定する際、従来に対して同一のテキスト文字に変換された文書画像の枚数を低減させることが可能であり、例えば、従来が3個以上であれば2個以上と数を減少させることにより、申込受付サーバ200のOCR処理における負荷を低減させる構成とすることができる。
Then, the application reception server 200 performs OCR processing on each of the document object images after preprocessing, and if the document image of each item is converted into the same text character in three or more sentence image data, the text character is regarded as the result of the conversion of the character image into text.
Here, in this embodiment, only document image data that is determined to be capable of OCR processing is transmitted, and therefore when determining text characters as the conversion result, it is possible to reduce the number of document images converted into the same text characters compared to the conventional method. For example, by reducing the number from three or more in the conventional method to two or more, it is possible to reduce the load on the OCR processing of the application reception server 200.

ユーザ端末100のデータ入出力モジュール11は、申し込みの入力フォームの所定の欄に対して、申込受付サーバ200におけるOCR処理によって文書画像データの文字画像からテキスト文字に変換された、申し込みに必要な項目のデータを書き込む(後述の図2(c)における表示領域501及び表示領域502)。
また、このとき、申込受付サーバ200は、文書オブジェクト画像510を入力フォームに張り付ける合成処理を行うが、この合成処理の際に文書オブジェクト画像510(身分証明書の画像)における機微情報の部分510Bを視認できない形態とする(例えば、黒塗りや白抜き、あるいは文字画像を消去など、以下マスクすると称する)。
The data input/output module 11 of the user terminal 100 writes data for the items required for the application, which has been converted from the character image of the document image data to text characters by OCR processing in the application reception server 200, into the designated fields of the application input form (display area 501 and display area 502 in Figure 2 (c) described below).
At this time, the application reception server 200 performs a compositing process to paste the document object image 510 into the input form, but during this compositing process, the sensitive information portion 510B in the document object image 510 (image of the identification document) is made invisible (for example, by blacking out or whitening out the portion, or erasing the text image, hereinafter referred to as masking).

図2は、本実施形態のOCR用画像取得システムにより得られた文書画像データに基づく、申込書の入力フォームの生成を説明する図である。
図2(a)は、画像取得アプリケーションが、申込受付サーバ200からダウンロードされて、ウェブブラウザ上で起動された際に、撮像制御モジュール12が表示部3の表示画面3Sに表示する身分証明書の撮像を促す画像の例である。
図2(a)において、表示領域501は、身分証明書の文書画像データがOCR処理され、ユーザの名前の文字列が表示される領域である。表示領域502は、身分証明書の文書画像データがOCR処理され、ユーザの住所の文字列が表示される領域である。
また、ボタン503は、身分証明書の撮像を行う際に、ユーザが押下(タッチ)することが可能に表示されたボタンである。
FIG. 2 is a diagram for explaining the generation of an application input form based on document image data obtained by the OCR image acquisition system of this embodiment.
Figure 2 (a) is an example of an image that the imaging control module 12 displays on the display screen 3S of the display unit 3 when the image acquisition application is downloaded from the application reception server 200 and launched on a web browser to prompt the user to capture an image of an identification card.
2A, a display area 501 is an area where the document image data of an identification card is OCR-processed to display the character string of the user's name, and a display area 502 is an area where the document image data of an identification card is OCR-processed to display the character string of the user's address.
Moreover, a button 503 is a button that is displayed so that the user can press (touch) when taking an image of the identification card.

図2(b)は、撮像制御モジュール12が、図2(a)におけるボタン503をユーザが押下した際に表示部3の表示画面3Sに表示する、身分証明書の撮像処理を行う画像の例である。撮像制御モジュール12は、表示部3の表示画面3Sに撮像ガイド枠504を表示する。ユーザは、この撮像ガイド枠504内に身分証明書の文書オブジェクト画像600が包含される位置に、ユーザ端末100をかざして、身分証明書の撮像を行なう。
ボタン507は、ユーザ端末100の撮像装置に対して、身分証明書の撮像を行わせるためのシャッターボタンである。撮像制御モジュール12は、上記ボタン507(シャッターボタン)が押下(タッチ)されることにより、所定の複数枚の文章画像データを取得する。
Fig. 2B is an example of an image in which the imaging control module 12 performs imaging processing of an identification card, which is displayed on the display screen 3S of the display unit 3 when the user presses the button 503 in Fig. 2A. The imaging control module 12 displays an imaging guide frame 504 on the display screen 3S of the display unit 3. The user holds the user terminal 100 over a position where the document object image 600 of the identification card is contained within the imaging guide frame 504, to capture an image of the identification card.
The button 507 is a shutter button for causing the imaging device of the user terminal 100 to capture an image of the identification card. When the button 507 (shutter button) is pressed (touched), the imaging control module 12 acquires a predetermined number of pieces of text image data.

図2(c)は、文書画像データがOCR処理が行われた後に、申込受付サーバ200が生成した入力フォームの画像の例である。撮像制御モジュール12は、申込受付サーバ200から入力フォームが供給された際、図2(c)の入力フォームを表示部3の表示画面3Sに表示する。
図2(b)において、表示領域501は、身分証明書の文書画像データがOCR処理され、ユーザの名前の文字列が表示される領域である。表示領域501には、文書画像データのOCR処理によって、ユーザの名前を示す文字画像からテキスト文字に変換された、ユーザの名前の文字列が表示される。
2C is an example of an image of an input form generated by the application reception server 200 after the document image data has been subjected to OCR processing. When the input form is supplied from the application reception server 200, the imaging control module 12 displays the input form of FIG. 2C on the display screen 3S of the display unit 3.
2B, a display area 501 is an area where the document image data of the identification card is OCR-processed and the character string of the user's name is displayed. The character string of the user's name is displayed in the display area 501 after being converted from a character image showing the user's name to text characters by the OCR processing of the document image data.

表示領域502は、身分証明書の文書画像データがOCR処理され、ユーザの住所の文字列が表示される領域である。表示領域502には、文書画像データのOCR処理によって、ユーザの住所を示す文字画像からテキスト文字に変換された、ユーザの住所の文字列が表示される。
また、文書オブジェクト画像は、文書画像から抽出し、前処理で補正された形状の文書オブジェクトの画像であり、入力フォーマットに張り付けられて(合成されて)表示される。この文書オブジェクト画像の機微情報の記載された部分510Bは、例えば、黒く塗りつぶされ、あるいは白抜きとされてマスクされている。
The display area 502 is an area where the document image data of the identification card is OCR processed and the character string of the user's address is displayed. The character string of the user's address is displayed in the display area 502 after being converted from a character image showing the user's address into text characters by the OCR processing of the document image data.
The document object image is an image of a document object extracted from a document image and corrected in a preprocessing, and is pasted (combined) into the input format for display. The portion 510B of the document object image containing sensitive information is masked, for example, by filling it in black or leaving it white.

上述した構成により、本実施形態によれば、OCR用画像取得システムが文書画像データをユーザ端末100に搭載された撮像装置により撮像し、撮像された複数の文書画像データにおける文書オブジェクト画像の各々が、文字認識が可能な形態で撮像されているか否かの判定を行い、可能な形態で撮像された文書画像データのみを申込受付サーバ200に対して送信するため、撮像ガイド枠504に包含されていないにも関わらず誤って撮像したり、身分証明書を撮像する際の撮像角度が不適正であったり、文書オブジェクト画像のサイズが小さいなどのOCR処理により文字認識が可能でない文書画像データを従来のように送信したり、OCR処理が行えない場合に身分証明書を再度撮像して文書画像データを再送信したりすることが低減され、通信網300におけるトラフィックを無駄に増加させることを抑制することが可能となり、通信網300に対する通信の負荷を低減することができる。 With the above-mentioned configuration, according to this embodiment, the OCR image acquisition system captures document image data using an imaging device mounted on the user terminal 100, determines whether each of the document object images in the captured multiple document image data is captured in a form that allows character recognition, and transmits only the document image data captured in a form that allows character recognition to the application reception server 200. This reduces the occurrence of erroneous capture of document image data that is not included in the imaging guide frame 504, the occurrence of an inappropriate imaging angle when imaging an identification card, the occurrence of document image data that is not character-recognizable by OCR processing due to a small size of the document object image, or the occurrence of re-imaging an identification card and re-transmitting the document image data when OCR processing cannot be performed, making it possible to suppress unnecessary increases in traffic on the communication network 300 and reducing the communication load on the communication network 300.

また、本実施形態によれば、文字認識が可能な形態で撮像されている文書画像データが供給されることで、申込受付サーバ200が従来のように文字認識が行えない品質に対する文書画像データに対して前処理、及びOCR処理を行う必要がなくなるため、申込受付サーバ200におけるOCR処理における負荷を低減させることができる。 In addition, according to this embodiment, by supplying document image data captured in a format that allows character recognition, the application reception server 200 does not need to perform preprocessing and OCR processing on document image data of a quality that does not allow character recognition as in the past, thereby reducing the load on the application reception server 200 in OCR processing.

また、本実施形態によれば、ウェブブラウザ上において画像取得アプリケーションが、OCR用画像取得システム1における各モジュールに展開されて動作し、OCR処理における前処理の一部を代行して行うため、画像形態判定モジュール13が行う文書オブジェクト画像の形態の判定処理を、申込受付サーバ200との間における判定に必要なデータの送受信を行わずに実行することが可能となり、申込受付サーバ200とウェブブラウザ2との間におけるデータの送受信を行なう必要がなくなり、文書画像選択モジュール14の文書画像データの選択して申込受付サーバ200へ送信するまでの時間が短縮されることで、文書画像データの取得からOCR処理までを短時間で行うことができ、ユーザが身分証明書を撮像してから、図2(c)の入力フォームの画像の取得するまでのリアルタイムに実行することができる。 In addition, according to this embodiment, the image acquisition application on the web browser is deployed and operates in each module in the OCR image acquisition system 1, and performs part of the pre-processing in the OCR process on behalf of the application. This makes it possible to execute the document object image form determination process performed by the image form determination module 13 without transmitting data necessary for the determination between the application reception server 200 and the application reception server 200. This eliminates the need to transmit and receive data between the application reception server 200 and the web browser 2, and shortens the time it takes for the document image selection module 14 to select document image data and send it to the application reception server 200. This shortens the time from obtaining document image data to OCR processing, and allows the process to be executed in real time from when the user captures an image of his/her identification card to when the image of the input form in FIG. 2(c) is obtained.

また、本実施形態によれば、OCR処理により文字認識が可能な文書画像データの取得を行うアプリケーションを、申し込みの処理ごとに申込受付サーバ200からダウンロードして、ユーザ端末100のウェブブラウザ上で実行させる形態として構成しているため、OSをプラットフォームとして動作するアプリケーションがバージョンアップなどのユーザの手間をかける必要があるのに比較して、常に最新のバージョンの文書取得アプリケーションを容易に申込受付サーバ200から提供できる。 In addition, according to this embodiment, an application that acquires document image data that can be recognized by OCR processing is downloaded from the application reception server 200 for each application process and executed on the web browser of the user terminal 100. Therefore, compared to applications that run on the OS platform, which require the user to take the trouble of upgrading, the latest version of the document acquisition application can always be easily provided from the application reception server 200.

図3は、本実施形態のOCR用画像取得システムによる身分証明書の文書画像データの取得の処理の動作例を示すフローチャートである。以下の説明においては、銀行口座を開設する際における免許証の文書画像データの取得を例として説明する。
ステップS101:ユーザは、スマートフォンをユーザ端末100として、通信網300におけるインターネットを介して、銀行口座の開設を行うため、銀行の申込受付サーバ200に対してアクセスする。
3 is a flowchart showing an example of the operation of the process of acquiring document image data of an identification card by the OCR image acquisition system of this embodiment. In the following description, the acquisition of document image data of a driver's license when opening a bank account will be described as an example.
Step S101: A user uses a smartphone as a user terminal 100 to access a bank's application reception server 200 via the Internet in a communication network 300 in order to open a bank account.

ステップS102:ユーザは、申込受付サーバ200が表示する口座開設の説明のページにおける画像取得アプリケーションのダウンロードのボタンを押下(タッチ)する。
これにより、ウェブブラウザ2が画像取得アプリケーションをダウンロードし、ユーザ端末100の記憶部(不図示)に対して、画像取得アプリケーションのプログラムを書き込んで記憶させる。
Step S102: The user presses (touches) the button for downloading the image capture application on the page for explaining how to open an account displayed by the application reception server 200.
As a result, the web browser 2 downloads the image capture application, and writes and stores the image capture application program in a storage unit (not shown) of the user terminal 100 .

ステップS103:ユーザは、申込受付サーバ200に対して送信する文書画像データを取得するため、画像取得アプリケーションを起動する。
このとき、ウェブブラウザ2は、画像取得アプリケーションをメモリ上に展開し、データ入出力モジュール11、撮像制御モジュール12、画像形態判定モジュール13、文書画像選択モジュール14及び判定ルールテーブルの各々を生成する。
そして、撮像制御モジュール12は、図2(a)に示す、免許証の撮像を促す画面を、ユーザ端末100における表示部3の表示画面3Sに表示する。
Step S103: The user starts an image acquisition application to acquire document image data to be sent to the application reception server 200.
At this time, the web browser 2 loads an image acquisition application on the memory, and generates a data input/output module 11, an imaging control module 12, an image form determination module 13, a document image selection module 14, and a determination rule table.
Then, the imaging control module 12 displays a screen prompting the user to take an image of the driver's license, as shown in FIG. 2A, on the display screen 3S of the display unit 3 in the user terminal 100.

ステップS104:ユーザは、免許証の画像を撮像するため、図2(a)におけるボタン503を押下する。
これにより、撮像制御モジュール12は、ボタン503が押下されたことを検出した場合、図2(b)に示す身分証明書の撮像処理を行う画像を、表示部3の表示画面3Sに表示する。
Step S104: The user presses the button 503 in FIG. 2A to capture an image of the driver's license.
Thus, when the imaging control module 12 detects that the button 503 has been pressed, it displays an image of the identification card obtained by imaging processing shown in FIG. 2B on the display screen 3S of the display unit 3.

ユーザは、表示部3の表示画面3Sにおける撮像ガイド枠504内に、免許証の文書オブジェクト画像600が包含されるように、すなわち、免許証の外周のすべてが撮像ガイド枠504内に収まるように、免許証の撮像位置を調整する。
そして、ユーザは、撮像ガイド枠504内に文書オブジェクト画像が包含されたことを確認し、ボタン507を押下する。
撮像制御モジュール12は、ボタン507が押下したことを検出した場合、所定の周期で複数枚、例えば15枚の文書の撮像画像を撮像装置により撮像する。
The user adjusts the imaging position of the license so that the document object image 600 of the license is contained within the imaging guide frame 504 on the display screen 3S of the display unit 3, i.e., so that the entire outer periphery of the license fits within the imaging guide frame 504.
Then, the user confirms that the document object image is enclosed within the imaging guide frame 504 and presses the button 507 .
When the imaging control module 12 detects that the button 507 has been pressed, it captures a plurality of images, for example, 15 images of a document at a predetermined cycle using the imaging device.

ステップS105:画像形態判定モジュール13は、文書画像データの文書オブジェクト画像の形態が判定ルールテーブル15における各判定ルールを満たしているか否かの判定を行う。
そして、画像形態判定モジュール13は、文書画像データの文書オブジェクト画像の形態が判定ルールの規定から外れていない場合、この文書画像データに適正を示すフラグを付加する。
一方、画像形態判定モジュール13は、文書画像データの文書オブジェクト画像の形態が判定ルールの規定から外れている場合、この文書画像データに不適正を示すフラグを付加する。
Step S 105 : The image form determination module 13 determines whether or not the form of the document object image of the document image data satisfies each determination rule in the determination rule table 15 .
If the form of the document object image of the document image data does not deviate from the provisions of the determination rules, the image form determination module 13 adds a flag indicating suitability to the document image data.
On the other hand, if the form of the document object image of the document image data does not comply with the determination rules, the image form determination module 13 adds a flag indicating inappropriateness to the document image data.

ステップS106:文書画像選択モジュール14は、文書画像データに付与されたフラグを確認し、適性を示している(判定ルールに対応している)か否かの判定を行う。
このとき、文書画像選択モジュール14は、フラグが適性の場合に処理をステップS107へ進め、一方、フラグが不適性の場合に処理をステップS110へ進める。
Step S106: The document image selection module 14 checks the flag added to the document image data, and determines whether or not the flag indicates suitability (corresponds to the determination rule).
At this time, if the flag is appropriate, the document image selection module 14 advances the process to step S107, whereas if the flag is inappropriate, the document image selection module 14 advances the process to step S110.

ステップS107:文書画像選択モジュールS109は、文書画像選択モジュール14がフラグが適性として選択した文書画像データを、データ入出力モジュール11を介して申込受付サーバ200に対して送信する。 Step S107: The document image selection module S109 transmits the document image data selected by the document image selection module 14 as having a suitable flag to the application reception server 200 via the data input/output module 11.

ステップS108:文書画像選択モジュール14は、撮像制御モジュール12が撮像した全ての文書画像データ、すなわち15枚全ての文書画像データにおける文書オブジェクト画像に対する選択の処理が行われた(選択処理が終了した)か否かの判定を行う。
このとき、文書画像選択モジュール14は、撮像制御モジュール12が撮像した全ての文書画像データに対する選択の処理が終了した場合、処理をステップS109へ進める。
一方、文書画像選択モジュール14は、撮像制御モジュール12が撮像した全ての文書画像データに対する選択の処理が終了していない場合、次の文章画像データの選択処理を行うために処理をステップS105へ進める。
Step S108: The document image selection module 14 determines whether the selection process has been completed for the document object images in all document image data captured by the imaging control module 12, i.e., all 15 sheets of document image data (selection process has been completed).
At this time, if the document image selection module 14 has completed the selection process for all document image data captured by the imaging control module 12, the document image selection module 14 advances the process to step S109.
On the other hand, if the document image selection module 14 has not yet completed the selection process for all document image data captured by the imaging control module 12, the document image selection module 14 advances the process to step S105 to perform the selection process for the next document image data.

ステップS109:申込受付サーバ200は、ユーザ端末100の文書画像選択モジュール14から供給される文書画像の各々に対して前処理を行った後、OCR処理を行って必要な項目の文字画像をテキストに変換する。
そして、申込受付サーバ200は、必要な項目の欄に文字列を記述し、前処理した文書オブジェクト画像を合成して、図2(c)に示す入力フォームを生成し、生成した入力フォームをユーザ端末100に対して送信する。
Step S109: The application reception server 200 performs preprocessing on each of the document images supplied from the document image selection module 14 of the user terminal 100, and then performs OCR processing to convert character images of necessary items into text.
Then, the application reception server 200 enters character strings in the required item fields, synthesizes the preprocessed document object image, generates the input form shown in Figure 2 (c), and sends the generated input form to the user terminal 100.

ステップS110:データ入出力モジュール11は、申込受付サーバ200から供給される入力フォームを受信し、ユーザ端末100における表示部3の表示画面3Sに表示する。
これにより、ユーザは、表示部3の表示画面3Sに表示された入力フォームを確認し、この入力フォームを使用して、銀行口座の開設を申込受付サーバ200に対して申請する。
そして、データ入出力モジュール11は、上述した申請処理が終了した後、ユーザ端末100の記憶部における画像取得アプリケーションのプログラムを消去する。
Step S 110 : The data input/output module 11 receives the input form supplied from the application reception server 200 , and displays it on the display screen 3 S of the display unit 3 in the user terminal 100 .
This allows the user to check the input form displayed on the display screen 3S of the display unit 3, and use this input form to apply to the application reception server 200 for opening a bank account.
After the above-mentioned application process is completed, the data input/output module 11 erases the image acquisition application program from the memory unit of the user terminal 100 .

ステップS111:文書画像選択モジュールS109は、文書画像選択モジュール14がフラグが適性でないとされた文書画像データを削除し、申込受付サーバ200に送信する処理を行わない。 Step S111: The document image selection module S109 deletes the document image data whose flag has been determined to be inappropriate by the document image selection module 14, and does not transmit the document image data to the application reception server 200.

上述した実施形態においては、申込受付サーバ200が、ユーザ端末100から供給される、判定ルールに対応した形態の文書画像データに対してOCR処理の前処理を行うように構成しているが、このOCR処理の前処理も文書画像選択モジュールが行い、申込受付サーバ200がOCR処理のみを行なう構成としてもよい。 In the above-described embodiment, the application reception server 200 is configured to perform pre-processing of OCR processing on document image data supplied from the user terminal 100 in a form corresponding to the judgment rules, but this pre-processing of OCR processing may also be performed by the document image selection module, and the application reception server 200 may be configured to perform only OCR processing.

また、本実施形態において、身分証明書の種別毎のフォーマットのテンプレート(参照画像)、あるいは身分証明書の種別の読取り処理の判定基準などの種別判別情報を、画像取得アプリケーションに内包させてダウンロードすることにより、上記種別判別情報に基づき、文書画像データにおける文書オブジェクト画像の身分証明書の種別を判別し、判別した身分証明書の種別の情報を付加した文書画像データを申込受付サーバに送信する構成としてもよい。 In addition, in this embodiment, type discrimination information such as a template (reference image) of the format for each type of identification card or a criterion for the reading process of the type of identification card may be included in the image acquisition application and downloaded, so that the type of identification card of the document object image in the document image data is determined based on the type discrimination information, and the document image data to which the information on the determined type of identification card is added is transmitted to the application reception server.

また、本実施形態において、ダウンロードする画像取得アプリケーションに内包する判定ルールテーブルが身分証明書毎に設けられており、上述した文書画像データから判別した身分証明書に対応する判定ルールテーブルを参照して、文書画像データが判定ルールに対応した形態であるか否かの判定を行なう構成としてもよい。この構成の場合、判定ルールは、身分証明書の種別毎に、文書オブジェクト画像における文字画像の文字認識が可能か否かの判定が他の部分に比較して高い、または文書において最も高い確度で行える部分(領域)における線の状態(かすれ、歪みなど)や、欄の四角形の内角の角度あるいはシンボル的なマークの状態(かすれ、歪みなど)、色相・度・明度の状態などの画像の形態の規定を含んでいる。
また、本実施形態においては、一例として最外枠、欄の枠を形成する罫線、あるいはシンボル的なマークを用いて説明しているが、形態が予め既知である画像領域であれば、判定の精度を容易に高めることができるためいずれの画像領域を用いてもよい。
In this embodiment, a determination rule table included in the downloaded image acquisition application may be provided for each identification card, and the determination rule table corresponding to the identification card identified from the document image data may be referenced to determine whether the document image data is in a form corresponding to the determination rule. In this configuration, the determination rule includes, for each type of identification card, the definition of the image form such as the state of lines (faintness, distortion, etc.) in the part (area) where the determination of whether character recognition of the character image in the document object image is possible or not is higher than other parts, or where the determination can be made with the highest accuracy in the document, the angle of the inner corners of the rectangle in the column or the state of a symbolic mark (faintness, distortion, etc.), and the state of hue, saturation , and brightness.
In addition, in this embodiment, the outermost frame, the lines forming the column frame, or a symbolic mark are used as examples, but any image area may be used as long as the shape of the image area is known in advance, as this makes it easy to improve the accuracy of the judgment.

また、本実施形態において、画像形態判定モジュール13が非適性と判定した文書画像データが多く、適性と判定した文書画像データの数が、申込受付サーバ200のOCR処理における文字認識の結果の判定に用いる文書画像データの数に満たない場合、撮像処理の追加を促す通知を表示部3の表示画面3Sに表示する構成としてもよい。 In addition, in this embodiment, if there is a large amount of document image data that the image morphology determination module 13 has determined to be inappropriate and the number of document image data that has been determined to be appropriate is not sufficient to cover the number of document image data used to determine the results of character recognition in the OCR process of the application reception server 200, a notification encouraging additional imaging processing may be displayed on the display screen 3S of the display unit 3.

また、図1におけるOCR用画像取得システム1の機能を実現するための画像取得アプリケーションのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより文章画像データにおける文書オブジェクト画像の形態が判定ルールに対応しているか否かの判定処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。 In addition, an image acquisition application program for realizing the functions of the OCR image acquisition system 1 in FIG. 1 may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read into a computer system and executed to perform a determination process as to whether or not the form of the document object image in the text image data corresponds to the determination rule. Note that the term "computer system" here includes hardware such as the OS and peripheral devices.

また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
Furthermore, if the WWW system is used, the "computer system" also includes the home page providing environment (or display environment).
In addition, "computer-readable recording medium" refers to portable media such as flexible disks, optical magnetic disks, ROMs, and CD-ROMs, as well as storage devices such as hard disks built into computer systems. Furthermore, "computer-readable recording medium" also includes devices that dynamically hold a program for a short period of time, such as communication lines when transmitting a program via a network such as the Internet or a communication line such as a telephone line, and devices that hold a program for a certain period of time, such as volatile memory inside a computer system that serves as a server or client in such cases. Furthermore, the above program may be one that realizes part of the above-mentioned functions, or may be one that can realize the above-mentioned functions in combination with a program already recorded in the computer system.

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The above describes an embodiment of the present invention in detail with reference to the drawings, but the specific configuration is not limited to this embodiment and includes designs that do not deviate from the gist of the present invention.

1…OCR用画像取得システム
2…ウェブブラウザ
3…表示部
3S…表示画面
11…データ入出力モジュール
12…撮像制御モジュール
13…画像形態判定モジュール
14…文書画像選択モジュール
15…判定ルールテーブル
100…ユーザ端末
200…申込受付サーバ
300…通信網
Reference Signs List 1 OCR image acquisition system 2 Web browser 3 Display unit 3S Display screen 11 Data input/output module 12 Imaging control module 13 Image form determination module 14 Document image selection module 15 Determination rule table 100 User terminal 200 Application reception server 300 Communication network

Claims (4)

文字認識処理の対象である文書の文書画像の取得を行ない、OCR処理を行なうサーバに対して、取得した前記文書画像を送信するOCR用画像取得システムであり、
前記文字認識処理を行なう前記文書画像の取得処理を行なう際にダウンロードされ、ウェブブラウザをプラットフォームとして動作する画像取得アプリケーションに含まれるモジュール群であり、当該モジュール群が、
撮像装置に文書を撮像させて前記文書画像を生成する文書画像撮像モジュールと、
前記文書画像が所定の判定ルールに対応した画像の形態として撮像されているか否かの判定を行なう画像形態判定モジュールと、
前記判定において前記形態を満たしている文書画像を、前記サーバに送信する前記文書画像として選択する文書画像選択モジュールと
を備え、
前記ダウンロードされる画像取得アプリケーションに内包する判定ルールテーブルが身分証明書毎に設けられており、
前記判定を行うことは、前記文書画像から判別される身分証明書に対応する判定ルールテーブルを参照し、文書画像データが判定ルールに対応した形態であるか否かの判定を行なうことを含み、
前記判定ルールテーブルの判定ルールは、前記身分証明書の種類毎に、画像の形態の規定を含み、文書画像における文字画像の文字認識処理が可能か否かの判定が、当該文書画像における他の画像領域に比較してより高い確度で行える文書画像の最外枠の画像領域の形態に対する規定である
OCR用画像取得システム。
An OCR image acquisition system that acquires a document image of a document to be subjected to character recognition processing, and transmits the acquired document image to a server that performs OCR processing,
a group of modules included in an image acquisition application that is downloaded when performing the document image acquisition process for performing the character recognition process and that operates using a web browser as a platform, the group of modules comprising:
a document image capturing module that captures an image of a document using an imaging device to generate the document image;
an image form determination module for determining whether the document image is captured in an image form corresponding to a predetermined determination rule;
a document image selection module that selects a document image that satisfies the form in the determination as the document image to be transmitted to the server;
a determination rule table included in the downloaded image acquisition application is provided for each identification card;
making the determination includes referring to a determination rule table corresponding to the identification card to be determined from the document image and determining whether or not the document image data is in a form corresponding to the determination rule;
The determination rules in the determination rule table include definitions of the form of an image for each type of identification document, and are definitions for the form of an outermost frame image area of a document image that allows a determination of whether character recognition processing of a character image in the document image is possible with a higher degree of accuracy than other image areas in the document image.
Image acquisition system for OCR.
前記画像形態判定モジュールが、
前記文書画像の前記文書の種別を判別し、前記文書画像とともに前記サーバに送信する
ことを特徴とする請求項1に記載のOCR用画像取得システム。
The image morphology determination module:
2. The OCR image acquisition system according to claim 1, further comprising: determining a type of the document of the document image and transmitting the determined type of the document together with the document image to the server.
前記文書の種別の各々に対して、当該種別毎の前記文書の特徴的な形態に対応して前記判定ルールが設定されている
ことを特徴とする請求項1または請求項に記載のOCR用画像取得システム。
3. The OCR image acquisition system according to claim 1 , wherein the determination rule is set for each of the document types in accordance with a characteristic form of the document of each of the document types.
文字認識処理の対象である文書の文書画像の取得を行ない、OCR処理を行なうサーバに対して、取得した前記文書画像を送信するOCR用画像取得方法であり、
前記文字認識処理を行なう前記文書画像の取得処理を行なう際にダウンロードされ、ウェブブラウザをプラットフォームとして動作する画像取得アプリケーションに含まれる、文書画像撮像モジュール、画像形態判定モジュール及び文書画像選択モジュールの各々を用いて、
前記文書画像撮像モジュールが、撮像装置に文書を撮像させて前記文書画像を生成する文書画像撮像過程と、
前記画像形態判定モジュールが、前記文書画像が所定の判定ルールに対応した画像の形態として撮像されているか否かの判定を行なう画像形態判定過程と、
前記文書画像選択モジュールが、前記判定において前記形態を満たしている文書画像を、前記サーバに送信する前記文書画像として選択する文書画像選択過程と
を含み、
前記ダウンロードされる画像取得アプリケーションに内包する判定ルールテーブルが身分証明書毎に設けられており、
前記画像形態判定過程には、前記文書画像から判別される身分証明書に対応する判定ルールテーブルを参照し、文書画像データが判定ルールに対応した形態であるか否かの判定を行なうことを含み、
前記判定ルールテーブルの判定ルールは、前記身分証明書の種類毎に、画像の形態の規定を含み、文書画像における文字画像の文字認識処理が可能か否かの判定が、当該文書画像における他の画像領域に比較してより高い確度で行える文書画像の最外枠の画像領域の形態に対する規定である
OCR用画像取得方法。
A method for acquiring an image for OCR, comprising: acquiring a document image of a document to be subjected to character recognition processing; and transmitting the acquired document image to a server that performs OCR processing,
A document image capturing module, an image form determination module, and a document image selection module are included in an image capture application that is downloaded when performing the document image capture process for performing the character recognition process and operates using a web browser as a platform,
a document image capturing step in which the document image capturing module causes an image capturing device to capture an image of a document and generate the document image;
an image form determination step in which the image form determination module determines whether the document image is captured in an image form corresponding to a predetermined determination rule;
a document image selection process in which the document image selection module selects a document image that satisfies the form in the determination as the document image to be transmitted to the server;
a determination rule table included in the downloaded image acquisition application is provided for each identification card;
The image form determination step includes referring to a determination rule table corresponding to the identification document to be determined from the document image and determining whether the document image data is in a form corresponding to the determination rule;
The determination rules in the determination rule table include definitions of the form of an image for each type of identification document, and are definitions for the form of an outermost frame image area of a document image that allows a determination of whether character recognition processing of a character image in the document image is possible with a higher degree of accuracy than other image areas in the document image.
Image acquisition method for OCR.
JP2020054205A 2020-03-25 2020-03-25 OCR image acquisition system and OCR image acquisition method Active JP7552050B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020054205A JP7552050B2 (en) 2020-03-25 2020-03-25 OCR image acquisition system and OCR image acquisition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020054205A JP7552050B2 (en) 2020-03-25 2020-03-25 OCR image acquisition system and OCR image acquisition method

Publications (2)

Publication Number Publication Date
JP2021157249A JP2021157249A (en) 2021-10-07
JP7552050B2 true JP7552050B2 (en) 2024-09-18

Family

ID=77917807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020054205A Active JP7552050B2 (en) 2020-03-25 2020-03-25 OCR image acquisition system and OCR image acquisition method

Country Status (1)

Country Link
JP (1) JP7552050B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023109651A (en) * 2022-01-27 2023-08-08 フリー株式会社 Program, system, terminal device, method and information processing device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016541049A (en) 2013-11-15 2016-12-28 グーグル インコーポレイテッド Client-side filtering of card OCR images
JP2020030821A (en) 2019-08-14 2020-02-27 大日本印刷株式会社 Specification device, specification method and computer program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016541049A (en) 2013-11-15 2016-12-28 グーグル インコーポレイテッド Client-side filtering of card OCR images
JP2020030821A (en) 2019-08-14 2020-02-27 大日本印刷株式会社 Specification device, specification method and computer program

Also Published As

Publication number Publication date
JP2021157249A (en) 2021-10-07

Similar Documents

Publication Publication Date Title
JP4019063B2 (en) Optical terminal device, image processing method and system
US20100176201A1 (en) Optical reader having an imager
US8717615B2 (en) Method and apparatus for requesting printing of panoramic image in mobile device
JPWO2007018233A1 (en) How to open an account
JP2003223647A (en) Automatic image disposing method and device
KR102330637B1 (en) System, server, method and recording medium for providing augmented reality photocard
CN105574428B (en) Examine device, approval system and the measures and procedures for the examination and approval
JP5515464B2 (en) Image processing apparatus, photographing / editing apparatus, image processing method, image processing program, and recording medium storing the program
JP5024028B2 (en) Image conversion apparatus, image providing system, photographing / editing apparatus, image conversion method, image conversion program, and recording medium recording the program
JP7552050B2 (en) OCR image acquisition system and OCR image acquisition method
JP4911903B2 (en) Display device, display system, display method, and program
KR102003221B1 (en) System for generating note data and method for generating note data using the system
CN101330554A (en) Image processing device and method
US10306095B2 (en) Image processing apparatus and method
US7605938B2 (en) System and method for printing out image data and text data
JP4793107B2 (en) PHOTOGRAPHIC PRINTING DEVICE, PHOTOGRAPHIC PRINTING DEVICE CONTROL METHOD, IMAGE EDITING PROGRAM, AND RECORDING MEDIUM CONTAINING THE SAME
US20190176483A1 (en) Image to script converter
JP2020091748A (en) Terminal device, program, and image management method
JP6492964B2 (en) ID card creation device and ID card creation system
JP5218687B2 (en) Image conversion apparatus, image providing system, photographing / editing apparatus, image conversion method, image conversion program, and recording medium recording the program
JP5804430B2 (en) Book information processing apparatus, book information processing method, and program
JP2006251944A (en) Account opening system, account opening method and program
JP2019120984A (en) Business form data management apparatus, business form data management method
KR102827463B1 (en) Artificial intelligence-based photo kiosk with smartphone interworking function
JP7709053B2 (en) Information processing device, information processing system, control method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231124

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20240209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240819

R150 Certificate of patent or registration of utility model

Ref document number: 7552050

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150