JP7160432B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、プログラムに関する。

スキャナ等を用いて取得した文書等が記載された帳票の画像をＯＣＲ（Optical Character Recognition）処理し、文書を読み取る画像処理装置がある。帳票の書式が様々である場合にはこのような画像処理装置では帳票の様式定義の情報を予め記憶しておき、読取対象領域を特定することでＯＣＲ処理の精度を高めている。これに関連する技術が特許文献１に開示されている。

特開２０１６－４８４４４号公報

ところで上述のような画像処理装置においては新たに取得した帳票の画像のグループを特定し、特定したグループに応じた処理を行う。一例としては、通関業務で用いられる帳票画像が所定のグループで特定される帳票画像と判定される場合には、通関士に対して当該帳票画像に基づく通関業務の作業を依頼する。また帳票画像が所定のグループで特定される帳票画像と判定されなかった場合には帳票画像を作成するキーパンチャーなどの作業者に対して、通関業務で用いられる帳票画像として適切な画像となるよう文字情報の登録などを再度行うよう依頼する。このような処理が行われる装置においては、帳票の画像のグループを特定する処理は当該画像の機械学習結果を用いて行う。しかしながらこの機械学習の精度が低い帳票の画像や機械学習を行っていない帳票の画像はグループを特定することができない。このようなグループを特定することができない帳票の画像は機械学習のための作業者（上述のキーパンチャーなど）による作業が必要であるが、当該作業は労力がかかるため、作業者が優先して行う作業として当該作業者に提示する必要がある。

そこでこの発明は、上述の課題を解決する画像処理装置、画像処理方法、プログラムを提供することを目的としている。

本発明の第１の態様によれば、画像処理装置は、夜間バッチ処理において帳票画像の光学読取結果として生成された帳票画像データを取得する取得部と、前記夜間バッチ処理において前記帳票画像データのグループ種別が特定可能かを判定するグループ特定部と、前記夜間バッチ処理において前記帳票画像データのグループ種別を判定不能と判定した場合にグループ種別の確認作業の必要な帳票画像データと判定する作業対象判定部と、前記確認作業の必要な帳票画像データと、当該グループ種別を判定不能と判定された前記帳票画像データの前記グループ種別を機械学習させるために作業者により利用される学習指示画面とを前記夜間バッチ処理において記録した記録部から、それら帳票画像データと学習指示画面とを前記夜間バッチ処理の後の作業開始の情報の入力を検知した後に取得して、当該帳票画像データと学習指示画面とを含む作業データを生成し、前記確認作業の必要な帳票画像データの作業者への出力の前に、出力先の前記作業者の端末へ前記作業データを出力する作業データ生成部と、を備えることを特徴とする。

本発明の第２の態様によれば、画像処理方法は、画像処理装置が、夜間バッチ処理において帳票画像の光学読取結果として生成された帳票画像データを取得し、前記画像処理装置が、前記夜間バッチ処理において前記帳票画像データのグループ種別が特定可能かを判定し、前記画像処理装置が、前記夜間バッチ処理において前記帳票画像データのグループ種別を判定不能と判定した場合にグループ種別の確認作業の必要な帳票画像データと判定し、前記画像処理装置が、前記確認作業の必要な帳票画像データと、当該グループ種別を判定不能と判定された前記帳票画像データの前記グループ種別を機械学習させるために作業者により利用される学習指示画面とを前記夜間バッチ処理において記録した記録部から、それら帳票画像データと学習指示画面とを前記夜間バッチ処理の後の作業開始の情報の入力を検知した後に取得して、当該帳票画像データと学習指示画面とを含む作業データを生成し、前記確認作業の必要な帳票画像データの作業者への出力の前に、出力先の前記作業者の端末へ前記作業データを出力することを特徴とする。

本発明の第３の態様によれば、プログラムは、画像処理装置のコンピュータを、夜間バッチ処理において帳票画像の光学読取結果として生成された帳票画像データを取得する取得手段、前記夜間バッチ処理において前記帳票画像データのグループ種別が特定可能かを判定するグループ特定手段、前記夜間バッチ処理において前記帳票画像データのグループ種別を判定不能と判定した場合にグループ種別の確認作業の必要な帳票画像データと判定する作業対象判定手段、前記確認作業の必要な帳票画像データと、当該グループ種別を判定不能と判定された前記帳票画像データの前記グループ種別を機械学習させるために作業者により利用される学習指示画面とを前記夜間バッチ処理において記録した記録部から、それら帳票画像データと学習指示画面とを前記夜間バッチ処理の後の作業開始の情報の入力を検知した後に取得して、当該帳票画像データと学習指示画面とを含む作業データを生成し、前記確認作業の必要な帳票画像データの作業者への出力の前に、出力先の前記作業者の端末へ前記作業データを出力する作業データ生成手段、として機能させることを特徴とする。

本発明によれば、グループを特定することができない帳票の画像の確認のための作業を、作業者が優先して行う作業として出力することができる。

本発明の一実施形態による含む画像処理システムの概要を示す図である。 本発明の一実施形態による画像処理装置のハードウェア構成を示す図である。 本発明の一実施形態による画像処理装置の機能ブロックを示す第一の図である。 本発明の一実施形態による文書帳票の一例を示す図である。 本発明の一実施形態によるデータベースが記憶するデータテーブルの概要を示す図である。 本発明の一実施形態による画像処理装置の処理フローを示す第一の図である。 本発明の一実施形態による画像処理装置の処理フローを示す第二の図である。 本発明の一実施形態による画像処理装置の機能ブロックを示す第二の図である。 本発明の一実施形態による画像処理装置の処理フローを示す第三の図である。 本発明の一実施形態による画像処理装置の処理フローを示す第四の図である。 本発明の一実施形態による画像処理装置の機能ブロックを示す第三の図である。 本発明の一実施形態による画像処理装置の処理フローを示す第五の図である。 本発明の一実施形態による画像処理装置の処理フローを示す第六の図である。 本発明の一実施形態による画像処理装置の最小構成を示す図である。

以下、本発明の一実施形態による画像処理装置を図面を参照して説明する。
図１は本実施形態による画像処理装置を含む画像処理システムの概要を示す図である。
図１で示すように画像処理システム１００は画像処理装置１、画像読取装置２、記録装置３、データベース４により構成される。
画像処理装置１は画像読取装置２と通信ケーブルにより接続されている。画像読取装置２は光学的に文書帳票などの画像データを取得して画像処理装置１へ出力する。画像処理装置１は文書帳票の画像データをＯＣＲ処理し文字認識する。画像処理装置１は文字認識結果を記録装置３に出力し、記録装置３がその文字認識結果をデータベースに記録する。データベース４は画像処理装置１と記録装置３とに接続されている。データベース４は記録装置３から過去に登録された複数の文書帳票の画像データとその画像データに含まれる文字列のうち記録対象となる文字列を示す記録文字列の対応関係を記憶している。記録文字列が示す文字列は文書帳票に記述される文字列のうちデータベース４に記録、保存しておくべき重要な文字列である。画像処理システム１００を利用する作業者は予め、記録装置３を用いて過去に登録された複数の文書帳票の画像データとその画像データに含まれる文字列のうちの記録文字列をデータベース４に登録しておく。

そして記録装置３には文書帳票の画像データとその画像データに含まれる文字列の情報のうち記録対象となる文字列を示す記録文字列の情報との対応関係が、多くの文書帳票について十分に記録されているものとする。このような状態において、画像処理装置１は処理を行う。

図２は画像処理装置のハードウェア構成を示す図である。
画像処理装置１は図２で示すように、ＣＰＵ（Central Processing Unit）１１、ＩＦ（Interface）１２、通信モジュール１３、ＲＯＭ（Read Only Memory）１４、ＲＡＭ（Random Access Memory）１５、ＨＤＤ（Hard Disk Drive）１６などの構成を備えたコンピュータである。通信モジュール１３は画像読取装置２、記録装置３、データベース４との間で無線通信を行うものであっても、有線通信を行うものであってもよく、それら２つの機能を有していてもよい。

図３は画像処理装置の機能ブロックを示す第一の図である。
画像処理装置１のＣＰＵ１１は記憶するプログラムを実行することにより、制御部１０１、取得部１０２、特徴量抽出部１０３、読取対象特徴量生成部１０４、記録部１０５の機能を備える。

制御部１０１は、他の機能部を制御する。
取得部１０２は、文書帳票の画像データを取得する。
特徴量抽出部１０３は、複数の文書帳票の画像データの認識処理結果に基づいて、文書帳票の画像データに含まれる記録文字列の特徴を示す第一特徴量を文書帳票の画像データ毎に抽出する。
読取対象特徴量生成部１０４は、文書帳票の画像データに対応する第一特徴量を用いて記録文字列の読取対象特徴量を生成する。
記録部１０５は、新たな文書帳票の画像データの読取対象特徴量を用いて、新たな文書帳票の画像データから読み取った文字列の情報のうちの記録文字列を抽出して記録する。

このような処理により画像処理装置１は新たな文書帳票の画像データに含まれる記録するべき文字列情報の記録の労力を軽減する。

図４は文書帳票の一例を示す図である。
この図が示すように文書帳票には、その文書を作成した企業のマーク、作成日、作成担当者、文書内容が、その文書帳票に特有のフォーマットで記述されている。文書内容は、例えば文書帳票が発注票であれば発注した商品名やその発注個数などの情報の組が１つまたは複数を示す。作業者はある１つの文書帳票に基づいて、その文書帳票に記述されている文字列のうち記録すべき特定の記録文字列を、記録装置３を用いてデータベース４へ記録する。具体的には作業者は文書帳票を見ながら記録装置３がデータベース４に記録すべき特定の記録文字列を入力する。また作業者は文書帳票の画像データを画像読取装置２に読み込ませる。文書帳票は作業者の操作に基づいて画像読取装置２が読み取り画像処理装置１へ出力する。そして記録装置３は作業者の操作と画像処理装置１の制御とに基づいて、１つの文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録すべき特定の記録文字列を対応付けてデータベース４に記録する。図４の例においては、日付５１、発注先５２、商品名５３、数量５４、金額５５が記録すべき特定の記録文字列である。文書帳票５には作業者によって記録されない非記録文字列等のその他の情報も印字されている。当該情報は例えば文書帳票を発行した発注者の名称５０１、発注者のエンブレム画像５０２、文書帳票のタイトル５０３、挨拶文５０４などである。

図５はデータベースが記憶するデータテーブルの概要を示す図である。
図５で示すようにデータベース４は文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録すべき特定の記録文字列を対応付けて記録テーブルに記憶する。

図６は画像処理装置の処理フローを示す第一の図である。
次に画像処理装置１の処理フローについて順を追って説明する。
まずデータベース４にはある文書帳票についての画像データと、その文書帳票に記述されている特定の記録文字列の組み合わせが、その同じ文書帳票複数枚分記録されている。例えば図４で示す文書帳票５についての特定の記録文字列情報が同じ文書帳票複数枚分記録されているとする。このような状態で作業者が画像処理装置１を起動し、当該画像処理装置１へ処理開始を指示する。

画像処理装置１の取得部１０２はデータベース４から文書帳票５の画像データとその画像データに対応する記録文字列の情報を読み取る（ステップＳ６０１）。取得部１０２は画像データと記録文字列とを特徴量抽出部１０３へ出力する。特徴量抽出部１０３は画像データをＯＣＲ処理して画像データ中の全ての文字列と当該文字列の範囲を示す画像データ内の座標を検出する（ステップＳ６０２）。なお文字列は複数の文字によって構成される文字の纏まりである。特徴量抽出部１０３は他の文字との間隔などによってその１つの纏まりの範囲を解析し、その範囲に含まれる１つまたは複数の文字を文字列として抽出すると共に、その画像データ内の文字列の範囲を示す座標を検出する。文字列として含まれる文字は、表意文字、表音文字などの記号、マーク、アイコン画像などを含んでよい。

特徴量抽出部１０３はＯＣＲ処理により画像データから抽出した文字列と、画像データと共にデータベース４から読み取った記録文字列とを比較する。特徴量抽出部１０３はＯＣＲ処理により画像データから抽出した文字列のうち、記録文字列の文字情報と一致した画像データ中の文字列と、その文字列に含まれる文字の属性と、その範囲の座標とを特定する（ステップＳ６０３）。文字の属性は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また文字列の範囲の座標には文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報である。特徴量抽出部１０３はそれら特定した情報を含む特徴量を複数枚の同じ文書帳票５について生成する（ステップＳ６０４）。

特徴量は特徴量抽出部１０３によって文書帳票５における記録文字列ごとに生成される。読取対象特徴量生成部１０４はそれら複数枚の同じ文書帳票５における特徴量を取得し、記録文字列に対応する各特徴量に含まれる文字の属性、文字列の範囲を示す座標を解析してそれぞれ１つの特徴量を生成する。この特徴量の解析は機械学習などの処理により行う。読取対象特徴量生成部１０４が機械学習などの解析により生成した特徴量を第一特徴量と呼ぶ。つまり読取対象特徴量生成部１０４は同じ文書帳票５の複数枚を用いて、その文書帳票５における記録文字列それぞれの第一特徴量を生成する（ステップＳ６０５）。第一特徴量は記録文字列を認識するための特徴量であり、文字の属性、文字列の範囲を示す座標を含む。読取対象特徴量生成部１０４は文書帳票５における１つ又は複数の記録文字列それぞれの第一特徴量を、文書帳票５の識別子に紐づけてデータベース４に記録する（ステップＳ６０６）。

例えば読取対象特徴量生成部１０４は、文書帳票５に含まれる記録文字列である日付５１、発注先５２、商品名５３、数量５４、金額５５それぞれの、文字属性、文字列の範囲を示す座標などを示す各第一特徴量を、文書帳票５の識別子に紐づけてデータベース４に記録する。

以上の処理により画像処理装置１は、作業者の記録文字列を記録する労力を軽減するために利用する情報（第一特徴量）を機械学習等により生成してデータベース４に蓄積することができる。これにより画像処理装置１は新たな文書帳票についての画像データに基づいて記録文字列を自動でデータベース４に記録していくことができる。以下、その処理について説明する。

図７は本実施形態による画像処理装置の処理フローを示す第二の図である。
作業者は新たな文書帳票を画像読取装置２に読み取らせる操作を行う。これにより画像読取装置２は文書帳票の画像データを生成して画像処理装置１へ出力する。画像処理装置１の取得部１０２は画像データを取得する（ステップＳ７０１）。取得部１０２は画像データを特徴量抽出部１０３へ出力する。特徴量抽出部１０３は画像データをＯＣＲ処理して、文字列と、文字列に含まれる文字の特徴と、その文字列の範囲の画像データ中の座標を検出する（ステップＳ７０２）。特徴量抽出部１０３はそれら検出した情報を含む第三特徴量を、画像データ中の文字列ごとに生成する（ステップＳ７０３）。つまり第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。その後、特徴量抽出部１０３はデータベース４から、処理対象画像データの文書帳票についての１つまたは複数の第一特徴量を読み出す（ステップＳ７０４）。特徴量抽出部１０３は記録部１０５へ第三特徴量と第一特徴量を出力する。

記録部１０５は画像データ中の１つまたは複数の文字列についての第三特徴量と、１つ又は複数の第一特徴量とを取得する。記録部１０５は各第一特徴量に含まれる文字列の範囲を示す座標を用いて、各第一特徴量が示す当該座標に対応する座標を有する第三特徴量が全て存在するかを判定する（ステップＳ７０５）。各第一特徴量の座標に対応する座標を有する第三特徴量が全て存在する場合には、記録文字列に対応する文書帳票内の全ての記載事項に文字の記載が存在する。一方、各第一特徴量の座標に対応する座標を有する第三特徴量が全て存在しない場合には、文書帳票内の何れかの記載事項に文字の記載が無い状態である。

ステップＳ７０５でＹｅｓの場合、記録部１０５は、第一特徴量に含まれる文字属性と、座標に基づいて特定された対応する第三特徴量に含まれる文字属性がそれぞれ一致するかどうかを判定する（ステップＳ７０６）。また記録部１０５は、第一特徴量に含まれる文字属性が、第三特徴量に含まれる文字属性との一致度が所定の閾値以上かを判定する（ステップＳ７０６－２）。

記録部１０５は、ステップＳ７０６－２の判定において一致度が閾値以上である場合には、現在処理している画像データから生成した１つまたは複数の第三特徴量が示す座標に基づく記録文字列の範囲に矩形枠を表示した確認画面を生成する。記録部１０５は帳票画像を用いた業務を行う業務作業者に出力する確認画面を記憶する第一フォルダを作成して、そのフォルダに確認画面を記録する。業務作業者は、例えば文書帳票が通関業務で用いられる帳票である場合には通関士であってよい。記録部１０５はその確認画面をモニタに出力する（ステップＳ７０７）。業務作業者はこの確認画面に表示された矩形領域を確認して、画像処理装置１が記録しようとする記録文字列を確認することができる。これにより業務作業者は記録文字列に不足が無いかを確認することができる。確認画面にはＯＫまたはＮＧの何れかのボタンのアイコン画像が表示されている。このボタンのアイコン画像のうちＯＫのボタンを選択することにより業務作業者は記録文字列としての選択に不足がないことを指示することができる。他方、ボタンのアイコン画像のうちＮＧのボタンを選択することにより業務作業者は記録文字列としての選択に不足があることを指示することができる。業務作業者は、自信に与えられた他の業務（通関業務など）の作業を、確認画面を用いて行うようにしてよい。

なお確認画面をモニタに出力する理由を、図４を用いて説明する。図４では、記録文字列のうち商品名５３が６つ記入されている。過去の文書帳票においても６つの商品名５３の記入が最大だった場合、新たな文書帳票に対して、商品名５３は１～６個の範囲内で自動的に記録文字列と判定される。したがって、例えば新たな帳票では商品名５３が７つ記載されていた場合、１～６個目までの部分については、ステップＳ７０５、Ｓ７０６いずれもＹｅｓとなるため、画像処理装置１は７個目の文字列を記録せずに終了してしまう。このような事象が改善されるように、画像処理装置１は、ステップＳ７０７で記録文字列を記録する前に、確認画面を表示して、業務作業者に対して、記録して終了してよいかの確認を行う。

記録部１０５は業務作業者のボタンのアイコン画像の押下に応じて、記録文字列の選択に不足が無いかを判定する（ステップＳ７０８）。記録部１０５は不足が無い場合には、第三特徴量に含まれる文字列を、文書帳票の識別情報に対応付けて記録テーブルに記録する（ステップＳ７０９）。

例えば、文書帳票の画像データ中から第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３が取得できたとする。そして第三特徴量ａ３が予めデータベースに記録されている第一特徴量ａ１と、第三特徴量ｂ３が第一特徴量ｂ１と、第三特徴量ｃ３が第一特徴量ｃ１と、第三特徴量ｄ３が第一特徴量ｄ１とそれぞれ特徴量が一致したとする。この場合、記録部１０５は、第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３それぞれに含まれる文字列を、文書帳票の記録テーブルに記録する。

上述のステップＳ７０５でＮｏの場合、またはステップＳ７０６でＮｏの場合、またはステップＳ７０８でＮｏの場合、記録部１０５は、第一特徴量が示す当該座標に対応する座標を有する第三特徴量が存在しなかった場合の処理を行う。具体的には記録部１０５は、帳票画像の再確認を行う確認作業者に対する作業フォルダを生成する。そして記録部１０５は、画像データ中の対応する座標の第三特徴量が存在しなかった第一特徴量の座標の範囲に入力欄を設けた帳票画像の入力用画像データを生成して作業フォルダに記録する。その後、制御部１０１は確認作業者の指示に基づいて作業フォルダに記録された入力用画像データを当該確認作業者が作業する端末等に出力する（ステップＳ７１０）。確認作業者は例えばキーパンチャーなどの作業を行う者であってよい。入力用画像データはＨＴＭＬやＸＭＬなどのマークアップ言語で記述されたデータであってよい。作業者はこの入力用画像データを見ながら、画像処理装置１のキーボード等の入力装置を操作して、モニタに表示されている入力用画像データ内の入力欄に記録文字列を入力する。当該入力用画像データには保存ボタンが表示されており、保存ボタンの押下操作をすると記録部１０５は既に文書帳票について取得した第三特徴量の他、新たに入力用画像データの入力欄に入力された文字列を含む第三特徴量を生成する（ステップＳ７１１）。記録部１０５は帳票画像データの識別子と入力欄に入力された文字列とを対応付けてデータベース４に記録する。画像処理装置１は図６で示した処理フローを再度実施することにより第一特徴量が更新され、自動的に記録できる文字列の範囲を拡張することができる。これにより、次に同じ文書帳票を処理したときには、自動的に文字列を記録できるようになり、作業者が文字列を入力する手間を省くことができる。記録部１０５は、全ての第三特徴量それぞれに含まれる文字列を、文書帳票の記録テーブルに記録する（ステップＳ７１２）。

このような処理によれば、画像処理装置１は予め作業者が記録しておいた文書帳票の画像データと記録文字列によって、新たに入力させた文書帳票の画像データにおける記録文字列を自動的に記録することができる。したがって画像処理装置１は文書帳票における記録文字列の記録の作業者の労力を軽減することができる。
また文書帳票に記録文字列が記載されていない場合でも、本来、記載されているべき記録文字列に対応する記載事項が記載されていない場合には画像処理装置１は入力用画像データを出力する。これにより文書帳票において記載すべき記載事項に対して入力していない誤りが見つかると共に、その記載事項が示す記録文字列を容易に記録することができる。

図８は本実施形態による画像処理装置の機能ブロックを示す第二の図である。
この図が示すように画像処理装置１は、図３で示した各機能部に加え、さらにグループ分類部１０６、グループ特定部１０７の機能を有する。画像処理装置１のハードウェア構成は図２で示した構成と同様である。

図９は本実施形態による画像処理装置の処理フローを示す第三の図である。
データベース４には異なる複数の文書帳票についての画像データと、各文書帳票に記述されている特定の記録文字列の組み合わせが、その文書帳票ごとに多数記録されている。例えば図４で示す異なる文書帳票５それぞれについての特定の記録文字列情報が複数枚分記録されているとする。このような状態で作業者が画像処理装置１を起動し、当該画像処理装置１へ処理開始を指示する。

画像処理装置１の取得部１０２はデータベース４から文書帳票５の画像データとその画像データに対応する記録文字列の情報を全て読み込んだかを判定する（ステップＳ９０１）。Ｎｏの場合、取得部１０２はデータベース４から文書帳票５の画像データとその画像データに対応する記録文字列の情報を読み取る（ステップＳ９０２）。取得部１０２は画像データと記録文字列とを特徴量抽出部１０３へ出力する。特徴量抽出部１０３は画像データをＯＣＲ処理して画像データ中の全ての文字列とその画像データ内の座標を検出する（ステップＳ９０３）。なお文字列は複数の文字によって構成される文字の纏まりである。特徴量抽出部１０３は他の文字との間隔などによってその１つの纏まりの範囲を解析し、その範囲に含まれる１つまたは複数の文字を文字列として抽出すると共に、その画像データ内の文字列の範囲を示す座標を検出する。文字列として含まれる文字は、表意文字、表音文字などの記号、マーク、アイコン画像などを含んでよい。

特徴量抽出部１０３はＯＣＲ処理により画像データから抽出した文字列と、画像データと共にデータベース４から読み取った記録文字列とを比較する。特徴量抽出部１０３はＯＣＲ処理により画像データから抽出した文字列のうち、記録文字列の文字情報と一致した画像データ中の文字列と、その文字列に含まれる文字の属性と、その範囲の座標とを特定する（ステップＳ９０４）。文字の属性は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また文字列の範囲の座標には文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報である。特徴量抽出部１０３はそれら特定した情報を含む特徴量を１つの文書帳票５について生成する（ステップＳ９０５）。

特徴量は特徴量抽出部１０３によって文書帳票５における記録文字列ごとに生成される。読取対象特徴量生成部１０４はそれら複数枚の文書帳票５における特徴量を取得し、対応する記録文字列毎に当該特徴量に含まれる文字の属性、文字列の範囲を示す座標を解析してそれぞれ１つの特徴量を生成する。票５この特徴量の解析は機械学習などの処理により行う。上述したように読取対象特徴量生成部１０４が機械学習などの解析により生成した特徴量を第一特徴量と呼ぶ。つまり読取対象特徴量生成部１０４は同じ文書帳票５の複数枚を用いて、その文書帳における記録文字列それぞれの第一特徴量を生成する（ステップＳ９０６）。第一特徴量は記録文字列を認識するための特徴量であり、文字の属性、文字列の範囲を示す座標を含む。読取対象特徴量生成部１０４は文書帳票５における１つ又は複数の記録文字列それぞれの第一特徴量を、文書帳票５の識別子に紐づけてデータベース４に記録する（ステップＳ９０７）。

例えば読取対象特徴量生成部１０４は、文書帳票５に含まれる記録文字列である日付５１、発注先５２、商品名５３、数量５４、金額５５それぞれの、文字属性、文字列の範囲を示す座標などを示す各第一特徴量を、文書帳票５の識別子に紐づけてデータベース４に記録する。

特徴量抽出部１０３はまた、記録文字列に含まれる文字情報と一致しない画像データ中の非記録文字列と、その非記録文字列に含まれる文字の属性と、その範囲の座標とを特定する（ステップＳ９０８）。特徴量抽出部１０３はそれら特定した情報を含む特徴量を文書帳票５について生成する（ステップＳ９０９）。

特徴量は特徴量抽出部１０３によって文書帳票５における非記録文字列ごとに生成される。読取対象特徴量生成部１０４はそれら複数枚の同じ文書帳票５における特徴量を取得し、非記録文字列に対応する各特徴量に含まれる文字の属性、文字列の範囲を示す座標を解析してそれぞれ１つの特徴量を生成する。これを第二特徴量と呼ぶ。つまり読取対象特徴量生成部１０４は同じ文書帳票５の複数枚を用いて、その文書帳票５における非記録文字列それぞれの第二特徴を生成する（ステップＳ９１０）。第二特徴量は非記録文字列を認識するための特徴量であり、文字の属性、文字列の範囲を示す座標を含む。読取対象特徴量生成部１０４は文書帳票５における１つ又は複数の非記録文字列それぞれの第二特徴量を、文書帳票５の識別子に紐づけてデータベース４に記録する（ステップＳ９１１）。

例えば読取対象特徴量生成部１０４は、文書帳票５に含まれる非記録文字列である発注者の名称５０１、発注者のエンブレム画像、文書帳票のタイトル５０３、挨拶文５０４などを示す各第二特徴量を、文書帳票５の識別子に紐づけてデータベース４に記録する。

データベース４には異なる複数の文書帳票５の画像データとその画像データに対応する記録文字列の情報が記録されている。画像処理装置１の取得部１０２は全ての文書帳票５についての画像データと記録文字列の情報を読み込むまでステップＳ９０１～ステップＳ９１１の処理を繰り返す。そしてステップＳ９０１において全て読み込んだと判定したとする（ステップＳ９０１Ｙｅｓ）。

その場合、グループ分類部１０６が文書帳票５の画像データに含まれる第二特徴量に基づいて、文書帳票５をグループ分けする（ステップＳ９１２）。グループは、例えば文書帳票のフォーマット毎の纏まりを意味する。例えばグループ分類部１０６は、各文書帳票５を、第二特徴量に含まれる非記録文字列の一致度や、エンブレム画像の一致度、非記録文字列の座標範囲の一致度などに基づいてグループ分けする。グループ分類部１０６はこのグループ分けの処理において文書帳票５のグループ識別子を決定する。グループ分類部１０６は全ての文書帳票５についてグループ分けが終了したかを判定する（ステップＳ９１３）。

グループ分類部１０６は全ての文書帳票５のグループ分けが完了していない場合にはステップＳ９１２の処理を繰り返す。グループ分類部１０６は、全ての文書帳票５のグループ分けが完了した場合には、文書帳票５の識別子とその文書帳票５に付与されたグループ識別子とを対応付けてデータベース４のグループテーブルに記録する（ステップＳ９１４）。

そして読取対象特徴量生成部１０４はあるグループに属する１つまたは複数の文書帳票５の各第一特徴量および各第二特徴量をデータベース４から読み取り、グループに属する文書帳票５の各第一特徴量および各第二特徴量に対応する各グループ第一特徴量、各グループ第二特徴量を生成する（ステップＳ９１５）。各グループ第一特徴量はグループに属する文書帳票５の各第一特徴量の平均等の値であってもよい。同様に各グループ第二特徴量はグループに属する文書帳票５の各第二特徴量の平均等の値であってもよい。各グループ第一特徴量、各グループ第二特徴量は、各第一特徴量の平均、各第二特徴量の平均でなくとも、所定の統計処理や機械学習等の手法を用いて、グループに属する１つ又は複数の文書帳票５の記録文字列や非記録文字列を特定できるよう算出された特徴量であれば、どのようなもの手法を用いて、各グループ第一特徴量、各グループ第二特徴量を生成してもよい。読取対象特徴量生成部１０４は、グループそれぞれについて各グループ第一特徴量、各グループ第二特徴量を算出し、グループの識別子に対応付けてデータベース４に記録する（ステップＳ９１６）。

以上の処理により画像処理装置１は、作業者の記録文字列を記録する労力を軽減するために必要な情報を文書帳票のグループ毎に生成してデータベース４に蓄積することができる。これにより画像処理装置１は新たな文書帳票についての画像データに基づいて記録文字列を自動でデータベース４に記録していくことができる。以下、その処理について説明する。

図１０は本実施形態による画像処理装置の処理フローを示す第四の図である。
作業者は新たな文書帳票を画像読取装置２に読み取らせる操作を行う。これにより画像読取装置２は文書帳票の画像データを生成して画像処理装置１へ出力する。画像処理装置１の取得部１０２は画像データを取得する（ステップＳ１００１）。取得部１０２は画像データを特徴量抽出部１０３へ出力する。特徴量抽出部１０３は画像データをＯＣＲ処理して、文字列と、文字列に含まれる文字の特徴と、その文字列の範囲の画像データ中の座標を検出する（ステップＳ１００２）。特徴量抽出部１０３はそれら検出した情報を含む第三特徴量を、画像データ中の文字列ごとに生成する（ステップＳ１００３）。第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。

次にグループ特定部１０７が、データベース４からあるグループ第二特徴量のうち新たな文書帳票のグループ特定に利用するグループ第二特徴量を読み取る。当該グループ第二特徴量は例えば文書帳票の画像データに表示される発注者のエンブレム画像５０２に対応する特徴量であってよい。グループ特定部１０７はあるグループ第二特徴量に示す情報が、ステップＳ１００１で取得した文書帳票の画像データから特定できるかどうかを判定する。グループ特定部１０７は全てのグループについてのグループ第二特徴量を用いて同様の処理を行う。グループ特定部１０７はデータベース４から読み取ったグループ第二特徴量に一致する情報が新たに読み込んだ文書帳票の画像データから特定できた場合、そのグループ第二特徴量を有するグループを、新たに読み込んだ文書帳票の画像データのグループと特定する（ステップＳ１００４）。その後、グループ特定部１０７はデータベース４からそのグループについての１つまたは複数のグループ第一特徴量を読み出す（ステップＳ１００５）。グループ特定部１０７は記録部１０５へ第三特徴量と１つまたは複数のグループ第一特徴量を出力する。グループ第一特徴量はそのグループに属する文書帳票内の１つまたは複数の記録文字列を特定するための特徴量である。

記録部１０５は画像データ中の１つまたは複数の文字列についての第三特徴量と、１つまたは複数のグループ第一特徴量とを取得する。記録部１０５は各グループ第一特徴量に含まれる文字列の範囲を示す座標を用いて、各グループ第一特徴量が示す当該座標に対応する座標を有する第三特徴量が全て存在するかを判定する（ステップＳ１００６）。各グループ第一特徴量の座標に対応する座標を有する第三特徴量が全て存在する場合には、記録文字列に対応する文書帳票内の全ての記載事項に文字の記載が存在する。一方、各グループ第一特徴量の座標に対応する座標を有する第三特徴量が全て存在しない場合には、文書帳票内の何れかの記載事項に文字の記載が無い状態である。

ステップＳ１００６でＹｅｓの場合、記録部１０５は、グループ第一特徴量に含まれる文字属性と、座標に基づいて特定された対応する第三特徴量に含まれる文字属性がそれぞれ一致するかどうかを判定する（ステップＳ１００７）。

記録部１０５は、ステップＳ１００７の判定結果がＹｅｓとなり文字属性が一致する場合、現在処理している画像データにおいて１つまたは複数の第三特徴量が示す座標に基づく記録文字列の範囲に矩形枠を表示した確認画面を生成する。記録部１０５はその確認画面をモニタに出力する（ステップＳ１００８）。作業者はこの確認画面に表示された矩形領域を確認して、画像処理装置１が記録しようとする記録文字列を確認することができる。これにより作業者は記録文字列に不足が無いかを確認することができる。確認画面にはＯＫまたはＮＧの何れかのボタンのアイコン画像が表示されている。このボタンのアイコン画像のうちＯＫのボタンを選択することにより作業者は記録文字列としての選択に不足がないことを指示することができる。他方、ボタンのアイコン画像のうちＮＧのボタンを選択することにより作業者は記録文字列としての選択に不足があることを指示することができる。

記録部１０５は作業者のボタンのアイコン画像の押下に応じて、記録文字列の選択に不足が無いかを判定する（ステップＳ１００９）。記録部１０５は不足が無い場合には、第三特徴量に含まれる文字列を、文書帳票の識別情報に対応付けて記録テーブルに記録する（ステップＳ１０１０）。

例えば、文書帳票の画像データ中から第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３が取得できたとする。そして第三特徴量ａ３が予めデータベースに記録されているグループ第一特徴量ｇ１１と、第三特徴量ｂ３がグループ第一特徴量ｇ１２と、第三特徴量ｃ３がグループ第一特徴量ｇ１３と、第三特徴量ｄ３がグループ第一特徴量ｇ１４とそれぞれ特徴量が一致したとする。この場合、記録部１０５は、第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３それぞれに含まれる文字列を、文書帳票の記録テーブルに記録する。

上述のステップＳ１００６でＮｏの場合、またはステップＳ１００７でＮｏの場合、またはステップＳ１００９でＮｏの場合、記録部１０５は、グループ第一特徴量が示す当該座標に対応する座標を有する第三特徴量が存在しなかった場合の処理を行う。具体的には記録部１０５は、画像データ中の対応する座標の第三特徴量が存在しなかったグループ第一特徴量の座標の範囲に入力欄を設けた帳票画像の入力用画像データを生成してモニタに出力する（ステップＳ１０１１）。入力用画像データはＨＴＭＬやＸＭＬなどのマークアップ言語で記述されたデータであってよい。作業者はこの入力用画像データを見ながら、画像処理装置１のキーボード等の入力装置を操作して、モニタに表示されている入力用画像データ内の入力欄に記録文字列を入力する。当該入力用画像データには保存ボタンが表示されており、保存ボタンの押下操作をすると記録部１０５は既に文書帳票について取得した第三特徴量の他、新たに入力用画像データの入力欄に入力された文字列を含む第三特徴量を生成する（ステップＳ１０１２）。記録部１０５は帳票画像データの識別子と入力欄に入力された文字列とを対応付けてデータベース４に記録する。画像処理装置１は図６で示した処理フローを再度実施することにより第一特徴量が更新され、自動的に記録できる文字列の範囲を拡張することができる。これにより、次に同じ文書帳票を処理したときには、自動的に文字列を記録できるようになり、作業者が文字列を入力する手間を省くことができる。記録部１０５は、全ての第三特徴量それぞれに含まれる文字列を、文書帳票の記録テーブルに記録する（ステップＳ１０１３）。

このような処理によれば、画像処理装置１は予め作業者が記録しておいた複数の異なる文書帳票の画像データと記録文字列によって、新たに入力させた文書帳票の種別によらずにその文書帳票の画像データにおける記録文字列を自動的に記録することができる。したがって画像処理装置１は文書帳票における記録文字列の記録の作業者の労力を軽減することができる。
また文書帳票に記録文字列が記載されていない場合でも、本来、記載されているべき記録文字列に対応する記載事項が記載されていない場合には画像処理装置１は入力用画像データを出力する。これにより文書帳票において記載すべき記載事項に対して入力していない誤りが見つかると共に、その記載事項が示す記録文字列を容易に記録することができる。

新たに読み込んだ画像データの文書帳票に対応するグループが存在しない場合のグループ分類の為の確認作業等は、作業者に労力がかかるため、作業に適切タイミングで作業者に提示して作業を指示することが望ましい。一例としては、画像処理装置１は、新たに読み込んだ画像データの文書帳票に対する作業のうち、その文書帳票のグループが特定できていない場合の作業を、一日の作業の最初に指示する。以下このような指示を行う場合の処理について説明する。

図１１は本実施形態による画像処理装置の機能ブロックを示す第三の図である。
画像処理装置１は、図８で示した各機能部に加え、さらに作業対象判定部１０８、作業データ生成部１０９の機能を有する。画像処理装置１のハードウェア構成は図２で示した構成と同様である。

画像処理装置１は、帳票画像の光学読取結果として生成された帳票画像データを取得し、帳票画像データのグループ種別が特定可能かを判定する。画像処理装置１は、帳票画像データのグループ種別を判定不能と判定した場合にグループ種別の確認作業の必要な帳票画像データと判定する。例えば画像処理装置１は、帳票画像データの機械学習結果に基づいて帳票画像データのグループ種別が特定可能かを判定する。画像処理装置１は、確認作業の必要な帳票画像データの作業者への出力が確認作業の不要な帳票画像データの作業者への出力の前に行う作業データを生成する。そして画像処理装置１は、作業者からの確認作業における操作に基づいて確認作業の必要な帳票画像データが属するグループ種別の分類を行う。画像処理装置１は当該分類を機械学習等の処理によって行ってよい。

図１２は本実施形態による画像処理装置の処理フローを示す第五の図である。
上述と同様に、データベース４には異なる複数の文書帳票についての画像データと、各文書帳票に記述されている特定の記録文字列の組み合わせが、その文書帳票ごとに多数記録されている。例えば図４で示す異なる文書帳票５それぞれについての特定の記録文字列情報が複数枚分記録されているとする。このような状態で作業者は、次の作業日に作業をするための多くの文書帳票の読み込みを画像読取装置２に指示し、また画像処理装置１に画像読取装置２の読み込んだ文書帳票の画像データの処理を行うよう指示する。

これにより画像読取装置２は文書帳票の画像データを生成して画像処理装置１へ出力する。画像読取装置２は例えば１万枚などの多くの文書帳票を夜間バッチ処理により読み込み、その結果生成した画像データを記録装置３に記録するよう指示する。記録装置３は夜間バッチ処理により読み込まれて生成された各画像データをデータベース４に記録する。そして画像処理装置１の取得部１０２は夜間バッチ処理によりデータベース４に記録された画像データを１つ取得する（ステップＳ１２０１）。取得部１０２はその画像データを特徴量抽出部１０３へ出力する。特徴量抽出部１０３は画像データをＯＣＲ処理して、文字列と、文字列に含まれる文字の特徴と、その文字列の範囲の画像データ中の座標を検出する（ステップＳ１２０２）。特徴量抽出部１０３はそれら検出した情報を含む第三特徴量を、画像データ中の文字列ごとに生成する（ステップＳ１２０３）。第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。

次にグループ特定部１０７が、データベース４からあるグループ第二特徴量のうち新たな文書帳票のグループ特定に利用するグループ第二特徴量を読み取る。当該グループ第二特徴量は例えば文書帳票の画像データに表示される発注者のエンブレム画像５０２に対応する特徴量であってよい。グループ特定部１０７はあるグループ第二特徴量に示す情報が、ステップＳ１２０１で取得した文書帳票の画像データから特定できるかどうかを判定する。グループ特定部１０７は全てのグループについてのグループ第二特徴量を用いて同様の処理を行う。そしてグループ特定部１０７はデータベース４から読み取ったグループ第二特徴量に一致する情報が、新たに読み込んだ文書帳票の画像データから特定できたかを判定する。グループ特定部１０７は新たに読み込んだ文書帳票の画像データのグループを判定する（ステップＳ１２０４）。

グループ特定部１０７はデータベース４から読み取ったグループ第二特徴量に一致する情報が新たに読み込んだ文書帳票の画像データから特定でき、これによりグループが判定できた場合、そのグループ第二特徴量を有するグループを、新たに読み込んだ文書帳票の画像データのグループと特定する（ステップＳ１２０５）。グループ特定部１０７は新たに読み込んだ文書帳票の画像データのグループが判定できたことを示すグループ判定結果を生成する。このグループ特定部１０７の処理は文書帳票の画像データの機械学習結果に基づいて画像データのグループ種別が特定可能かを判定する処理の一態様である。その後、グループ特定部１０７はデータベース４からそのグループについての１つまたは複数のグループ第一特徴量を読み出す（ステップＳ１２０６）。グループ特定部１０７は記録部１０５へ第三特徴量と１つまたは複数のグループ第一特徴量を出力する。グループ第一特徴量はそのグループに属する文書帳票内の１つまたは複数の記録文字列を特定するための特徴量である。

記録部１０５は画像データ中の１つまたは複数の文字列についての第三特徴量と、１つまたは複数のグループ第一特徴量とを取得する。記録部１０５は各グループ第一特徴量に含まれる文字列の範囲を示す座標を用いて、各グループ第一特徴量が示す当該座標に対応する座標を有する第三特徴量が全て存在するかを判定する（ステップＳ１２０７）。各グループ第一特徴量の座標に対応する座標を有する第三特徴量が全て存在する場合には、記録文字列に対応する文書帳票内の全ての記載事項に文字の記載が存在する。一方、各グループ第一特徴量の座標に対応する座標を有する第三特徴量が全て存在しない場合には、文書帳票内の何れかの記載事項に文字の記載が無い状態である。

ステップＳ１２０７でＹｅｓの場合、記録部１０５は、グループ第一特徴量に含まれる文字属性と、座標に基づいて特定された対応する第三特徴量に含まれる文字属性がそれぞれ一致するかどうかを判定する（ステップＳ１２０８）。

記録部１０５は、ステップＳ１２０８の判定結果がＹｅｓとなり文字属性が一致する場合、現在処理している画像データにおいて１つまたは複数の第三特徴量が示す座標に基づく記録文字列の範囲に矩形枠を表示した確認画面を生成する（ステップＳ１２０９）。記録部１０５はその確認画面と、グループ判定結果と、文書帳票の画像データと、文書帳票ＩＤとを対応付けた作業情報を、データベース４に記録する（ステップＳ１２１０）。

上述のステップＳ１２０４でＮｏの場合、グループ特定部１０７は新たに読み込んだ文書帳票の画像データのグループが判定できなかったことを示すグループ判定結果を生成する。そして記録部１０５は、グループが判定できなかった文書帳票を学習させるために作業者が利用する学習指示画面を生成する（ステップＳ１２１１）。記録部１０５は学習指示画面と、グループ判定結果と、文書帳票の画像データと、文書帳票ＩＤとを対応付けた作業情報を、データベース４に記録する（ステップＳ１２１２）。

また上述のステップＳ１２０７でＮｏの場合、またはステップＳ１２０８でＮｏの場合、記録部１０５は、グループ第一特徴量が示す当該座標に対応する座標を有する第三特徴量が存在しなかった場合の処理を行う。具体的には記録部１０５は、画像データ中の対応する座標の第三特徴量が存在しなかったグループ第一特徴量の座標の範囲に入力欄を設けた帳票画像の入力用画面を生成する（ステップＳ１２１３）。そして記録部１０５は、入力用画面と、グループ判定結果と、文書帳票の画像データと、文書帳票ＩＤとを対応付けた作業情報を、データベース４に記録する（ステップＳ１２１４）。

取得部１０２は夜間バッチ処理として記録された全ての文書帳票の画像データを読み込んだかに基づいて終了するかを判定する（ステップＳ１２１５）。取得部１０２は全ての文書帳票の画像データを読み込んだ場合には処理を終了する。取得部１０２は全ての文書帳票の画像データを読み込んでいない場合にはステップＳ１２０１からの処理を繰り返す。

図１３は本実施形態による画像処理装置の処理フローを示す第六の図である。
作業者は夜間バッチ処理によって夜間にデータベース４に蓄積された作業情報を用いて作業を行う。まず画像処理装置１は作業者から作業開始を入力する（ステップＳ１３０１）。画像処理装置１の作業対象判定部１０８は、夜間バッチ処理によってデータベース４に記録されている作業情報の中から、グループが判定できなかったことを示すグループ判定結果に紐づく作業情報を特定する（ステップＳ１３０２）。この作業対象判定部１０８の処理は、グループ種別の確認作業の必要な作業情報を判定する処理の一態様である。作業対象判定部１０８はグループが判定できなかったことを示すグループ判定結果に紐づく作業情報に、優先度の高い作業番号を順に割り当てる（ステップＳ１３０３）。次に作業対象判定部１０８は、グループが判定できたことを示すグループ判定結果に紐づく作業情報を特定する（ステップＳ１３０４）。作業対象判定部１０８はグループが判定できたことを示すグループ判定結果に紐づく作業情報に、グループが判定できなかったことを示すグループ判定結果に紐づく作業情報よりも低い優先度の作業番号を順に割り当てる（ステップＳ１３０５）。作業対象判定部１０８はグループが判定できたことを示すグループ判定結果に紐づく作業情報のうち、ステップＳ１２０７やステップＳ１２０８においてＮｏと判定された後に生成された作業情報を特定し、それらの作業情報の作業番号を、グループが判定できた他の作業情報の作業番号よりも優先度高く割り当ててもよい。以上の処理により、グループが判定できなかったことにより文書帳票の学習が必要な作業情報に優先度の高い作業番号が割り当てられる。またグループが判定できた作業情報のうち、作業者の入力作業が必須となる作業情報に優先度の高い作業番号が割り当てられる。なお作業対象判定部１０８は、グループが判定できなかったことを示すグループ判定結果に紐づく作業情報が、所定の時間帯に作業者の端末に出力されるようにすればよい。例えば、作業対象判定部１０８は、優先度の高い作業情報に出力時間が設定され、この出力時間に基づく出力順序を作業情報に割り当てるようにしてもよい。

作業データ生成部１０９は夜間バッチ処理によってデータベース４に記録された作業情報を作業番号順に作業者が利用する端末に出力する作業データを生成する（ステップＳ１３０６）。作業データ生成部１０９は作業データに基づいて、作業者の操作に応じて作業番号順に、作業情報を出力する（ステップＳ１３０７）。これにより作業者が利用する端末には作業情報として、まずグループが判定できなかった文書帳票についての学習指示画面が出力される。学習指示画面には、学習開始ボタンが表示される。作業者がこの学習開始ボタンを押下すると、上述のステップＳ９０１～ステップＳ９１６の処理により文書帳票の機械学習に基づくグループ分けの処理が行われる。

また作業データ生成部１０９は作業番号に基づいてステップＳ１２１３で生成した入力用画像を作業者の端末に出力する。入力用画像データはＨＴＭＬやＸＭＬなどのマークアップ言語で記述されたデータであってよい。作業者はこの入力用画像データを見ながら、画像処理装置１のキーボード等の入力装置を操作して、モニタに表示されている入力用画像データ内の入力欄に記録文字列を入力する。当該入力用画像データには保存ボタンが表示されており、保存ボタンの押下操作をすると記録部１０５は既に文書帳票について取得した第三特徴量の他、新たに入力用画像データの入力欄に入力された文字列を含む第三特徴量を生成する。記録部１０５は帳票画像データの識別子と入力欄に入力された文字列とを対応付けてデータベース４に記録する。画像処理装置１は図６で示した処理フローを再度実施することにより第一特徴量が更新され、自動的に記録できる文字列の範囲を拡張することができる。これにより、次に同じ文書帳票を処理したときには、自動的に文字列を記録できるようになり、作業者が文字列を入力する手間を省くことができる。記録部１０５は、全ての第三特徴量それぞれに含まれる文字列を、文書帳票の記録テーブルに記録する。

また作業データ生成部１０９は作業番号に基づいてステップＳ１２０９で生成した確認画面を作業者の端末に出力する。作業者はこの確認画面に表示された矩形領域を確認して、画像処理装置１が記録しようとする記録文字列を確認することができる。これにより作業者は記録文字列に不足が無いかを確認することができる。確認画面にはＯＫまたはＮＧの何れかのボタンのアイコン画像が表示されている。このボタンのアイコン画像のうちＯＫのボタンを選択することにより作業者は記録文字列としての選択に不足がないことを指示することができる。他方、ボタンのアイコン画像のうちＮＧのボタンを選択することにより作業者は記録文字列としての選択に不足があることを指示することができる。

記録部１０５は作業者のボタンのアイコン画像の押下に応じて、記録文字列の選択に不足が無いかを判定する。記録部１０５は不足が無い場合には、第三特徴量に含まれる文字列を、文書帳票の識別情報に対応付けて記録テーブルに記録する。

例えば、文書帳票の画像データ中から第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３が取得できたとする。そして第三特徴量ａ３が予めデータベースに記録されているグループ第一特徴量ｇ１１と、第三特徴量ｂ３がグループ第一特徴量ｇ１２と、第三特徴量ｃ３がグループ第一特徴量ｇ１３と、第三特徴量ｄ３がグループ第一特徴量ｇ１４とそれぞれ特徴量が一致したとする。この場合、記録部１０５は、第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３それぞれに含まれる文字列を、文書帳票の記録テーブルに記録する。

上述の処理において作業データ生成部１０９はグループが判定できなかったことを示すグループ判定結果に紐づく作業情報のうち、機械学習のために必要な数の文書帳票の画像データに対応する作業情報のみに優先度の高い作業番号を割り当ててもよい。例えば、グループが判定できなかったことを示すグループ判定結果に紐づく作業情報が１０００個であった場合、そのうちの機械学習に必要な２０個の作業情報のみに優先度の高い作業番号を割り当てて、残りの９８０個の作業情報については作業者による確認なしに自動的に上述のステップＳ９０１～ステップＳ９１６の処理により文書帳票の機械学習に基づくグループ分けの処理が行われてよい。

具体的には作業データ生成部１０９は、グループが判定できなかったことを示す優先度の高い作業番号に紐づく作業情報の数を検出する。作業データ生成部１０９は検出した数が機械学習に必要な数よりも多い場合には、グループ分類の機械学習に必要な数を決定する。この数は予め作業データ生成部１０９が既知の数であってもよいし、作業情報としての作業対象である文書帳票の識別子や学習項目などによって定まる値であってもよい。作業データ生成部１０９はグループ分類の機械学習に必要な数の作業情報の学習指示画面を、作業者の操作に基づいて作業番号順に作業者の端末に出力する。作業データ生成部１０９は、作業者の端末に出力する学習指示画面の出力数をこのような処理により削減することにより、作業者の確認作業を軽減することができる。

また作業データ生成部１０９は作業対象である文書帳票の識別子や学習項目の違い毎に作業情報を分類し、その分類単位毎に、グループ分類の機械学習に必要な数を決定してもよい。この場合、作業データ生成部１０９は、分類単位毎に、グループ分類の機械学習に必要な数の作業情報を作業番号の順番に作業者の端末に出力する。例えば、作業情報１０００個に、帳票画像の項目Ｂ１についての機械学習が不十分な作業情報５００個と、帳票画像の項目Ｂ２についての機械学習が不十分な作業情報５００個とが含まれているとする。作業データ生成部１０９は帳票画像の項目Ｂ１についての機械学習が不十分な作業情報のうちグループ分類の機械学習に必要な数の２０個と、帳票画像の項目Ｂ２についての機械学習が不十分な作業情報のうちグループ分類の機械学習に必要な数の２０個の作業番号の優先度が最も高い作業情報として順に出力する。

なお、画像処理装置１の処理の他の例としては、作業者が予め文書帳票のグループを画像処理装置１に登録しておいてもよい。例えば作業者は、過去において文書帳票の画像データを登録する際、文書帳票の種類に合わせてグループ識別子を入力しておき文書帳票の画像データと紐づけてデータベース４に登録しておく。これにより、同一グループ内に画像処理装置１の処理誤り等により異種の帳票が混じることがなくなり、精度のよい第一特徴量を抽出することができる。なおこの場合、登録時は作業者が文書帳票のグループを入力するが、新たな帳票に対しては、ステップＳ１００４と同じく、第二特徴量を用いてグループ特定する。

また、画像処理装置１の処理の他の例としては、画像処理装置１は第二特徴量を用いて文書帳票をグループ分けするだけでなく、第一特徴量を用いて、また第二特徴量と共に第一特徴量を用いて、文書帳票をグループ分けするようにしてもよい。第一特徴量は記録文字列であるが、同じ種類の文書帳票であれば、記録文字列の座標やその文字属性は同じであると考えられ、第一特徴量を用いて帳票をグループ分けすることが可能となる。最初のグループ分けを作業者が行い、新たな文書帳票に対してはステップＳ１００４の処理により第一特徴量を用いてグループ分けすることにより、ＯＣＲ処理において精度よく記録文字列を読み取ることが可能となる。
この場合、取得部１０２が、複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった記録文字列とを取得する。そしてグループ分類部１０６が第一特徴量に基づいて帳票画像データをグループ分けする。そして、読取対象特徴量生成部１０４は、グループに含まれる帳票画像データに対応する第一特徴量を用いて当該グループごとの記録文字列の読取対象特徴量を生成する。

上述のステップＳ１００４において第二特徴量に基づいて新たな帳票のグループを特定している。しかしながら、別の処理態様として、画像処理装置１はグループを特定する処理を行わずに、作業者により設定された全グループに対して、１グループごとに順に特定して第一特徴量を読み出し、第三特徴量と一致する個数をカウントする。正しいグループの場合には最も多く第一特徴量と第三特徴量とが一致するはずなので、画像処理装置１は一致個数が最も多いときの特定グループの第三特徴量それぞれに含まれる文字列をステップＳ１００８において記録する。これにより、グループを特定しなくても記録文字列を記録することができる。
この場合、取得部１０２が、複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった記録文字列とを取得する。そして、特徴量抽出部は、取得部１０２の取得した帳票画像データを認識処理した結果に基づいて、記録文字列の特徴を示す第一特徴量または記録文字列以外の認識情報を示す第二特徴量を抽出する。読取対象特徴量生成部１０４は、予め設定された所定のグループに含まれる帳票画像データに対応する第一特徴量または第二特徴量の少なくとも一方を用いて当該グループごとの記録文字列の読取対象特徴量を生成する。

図１１は画像処理装置の最小構成を示す図である。
この図が示すように画像処理装置１は、少なくとも取得部１０２と、グループ特定部１０７と、作業対象判定部１０８と、を備えればよい。
取得部は、帳票画像の光学読取結果として生成された帳票画像データを取得する。
グループ特定部１０７は、帳票画像データのグループ種別が特定可能かを判定する。
作業対象判定部１０８は、帳票画像データのグループ種別を判定不能と判定した場合にグループ種別の確認作業の必要な帳票画像データと判定する。

上述の各装置は内部に、コンピュータシステムを有している。そして、各装置に上述した各処理を行わせるためのプログラムは、それら装置のコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムを各装置のコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した各処理部の機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１・・・画像処理装置
２・・・画像読取装置
３・・・記録装置
４・・・データベース
５・・・文書帳票
１０１・・・制御部
１０２・・・取得部
１０３・・・特徴量抽出部
１０４・・・読取対象特徴量生成部
１０５・・・記録部
１０６・・・グループ分類部
１０７・・・グループ特定部
１０８・・・作業対象判定部
１０９・・・作業データ生成部

Claims (7)

1. 夜間バッチ処理において帳票画像の光学読取結果として生成された帳票画像データを取得する取得部と、
   前記夜間バッチ処理において前記帳票画像データのグループ種別が特定可能かを判定するグループ特定部と、
   前記夜間バッチ処理において前記帳票画像データのグループ種別を判定不能と判定した場合にグループ種別の確認作業の必要な帳票画像データと判定する作業対象判定部と、
   前記確認作業の必要な帳票画像データと、当該グループ種別を判定不能と判定された前記帳票画像データの前記グループ種別を機械学習させるために作業者により利用される学習指示画面とを前記夜間バッチ処理において記録した記録部から、それら帳票画像データと学習指示画面とを前記夜間バッチ処理の後の作業開始の情報の入力を検知した後に取得して、当該帳票画像データと学習指示画面とを含む作業データを生成し、前記確認作業の必要な帳票画像データの作業者への出力の前に、出力先の前記作業者の端末へ前記作業データを出力する作業データ生成部と、
   を備える画像処理装置。
2. 前記作業者からの前記確認作業における前記学習指示画面の操作に基づいて前記確認作業の必要な帳票画像データが属する前記グループ種別の分類を行うグループ分類部と、
   をさらに備える請求項１に記載の画像処理装置。
3. 前記グループ特定部は前記帳票画像データの機械学習結果に基づいて前記帳票画像データのグループ種別が特定可能かを判定する
   請求項１または請求項２に記載の画像処理装置。
4. 前記作業データ生成部は、前記確認作業の必要な帳票画像データの出力順序と、前記確認作業の不要な帳票画像データの出力順序とが、前記確認作業の必要な帳票画像データの作業者への出力が前記確認作業の不要な帳票画像データの前記作業者への出力の前に行われる順序となる前記作業データを生成する
   請求項１から請求項３の何れか一項に記載の画像処理装置。
5. 前記作業データ生成部は、前記確認作業の必要な帳票画像データのうち機械学習に必要な数の帳票画像データの作業者への出力を、他の帳票画像データの前記作業者への出力の前に行う前記作業データを生成する
   請求項１から請求項３の何れか一項に記載の画像処理装置。
6. 画像処理装置が、夜間バッチ処理において帳票画像の光学読取結果として生成された帳票画像データを取得し、
   前記画像処理装置が、前記夜間バッチ処理において前記帳票画像データのグループ種別が特定可能かを判定し、
   前記画像処理装置が、前記夜間バッチ処理において前記帳票画像データのグループ種別を判定不能と判定した場合にグループ種別の確認作業の必要な帳票画像データと判定し、
   前記画像処理装置が、前記確認作業の必要な帳票画像データと、当該グループ種別を判定不能と判定された前記帳票画像データの前記グループ種別を機械学習させるために作業者により利用される学習指示画面とを前記夜間バッチ処理において記録した記録部から、それら帳票画像データと学習指示画面とを前記夜間バッチ処理の後の作業開始の情報の入力を検知した後に取得して、当該帳票画像データと学習指示画面とを含む作業データを生成し、前記確認作業の必要な帳票画像データの作業者への出力の前に、出力先の前記作業者の端末へ前記作業データを出力する
   画像処理方法。
7. 画像処理装置のコンピュータを、
   夜間バッチ処理において帳票画像の光学読取結果として生成された帳票画像データを取得する取得手段、
   前記夜間バッチ処理において前記帳票画像データのグループ種別が特定可能かを判定するグループ特定手段、
   前記夜間バッチ処理において前記帳票画像データのグループ種別を判定不能と判定した場合にグループ種別の確認作業の必要な帳票画像データと判定する作業対象判定手段、
   前記確認作業の必要な帳票画像データと、当該グループ種別を判定不能と判定された前記帳票画像データの前記グループ種別を機械学習させるために作業者により利用される学習指示画面とを前記夜間バッチ処理において記録した記録部から、それら帳票画像データと学習指示画面とを前記夜間バッチ処理の後の作業開始の情報の入力を検知した後に取得して、当該帳票画像データと学習指示画面とを含む作業データを生成し、前記確認作業の必要な帳票画像データの作業者への出力の前に、出力先の前記作業者の端末へ前記作業データを出力する作業データ生成手段、
   として機能させるプログラム。

Images