JP5042562B2 - 画像処理装置、手書き情報認識方法、手書き情報認識プログラム - Google Patents

Description

本発明は、スキャンした原稿のデータから手書き情報を認識する画像処理装置、手書き情報認識方法、手書き情報認識プログラムに関し、特に、原稿のデータから該データに対する処理の指令を示す手書きの指令情報を認識する画像処理装置、手書き情報認識方法、手書き情報認識プログラムに関する。

従来、用紙（原稿）に手書きで記載された文字、図形等を電気的なデータに変換する場合は、スキャナ等で原稿を読み取って、画像データを生成する技術が一般に知られている。また、文字については、光学的に文字認識するＯＣＲ（Optical Character Reader）処理によって、スキャナ等を使用して画像として読み取った文字を解析し、テキストの文字データに変換する技術も知られている。具体的には、このようなスキャナ等で読み取った画像データや、文字認識した文字データについて保存等の所望の処理を行う場合には、利用者が所望する処理を行うに時に、そのファイルを指定して処理を実行するという入力作業を行っていた。例えば、文字データを保存する場合には、所望する保存先を検索し、そのファイルを指定して保存するという入力作業を行っていた。

ここで、上述のようにデータを保存する際のファイルの検索、指定、保存等の様々なコマンドを手書きで入力可能とした技術が公開されている（特許文献１参照）。この特許文献１では、利用者によりスタイラスペンを使用してタブレットに手書きの文字のストロークが入力され、そのストロークの始点から終点までの全座標間の距離と、スタイラスペンの移動速度を計算することで、種々のコマンドを認識し実行するものである。また、手書きで入力を行う手書き入力手段としては、小型携帯端末などに備わっているタッチパッド等、圧力を感知もしくは磁力により入力を受け付けるものがある。

特開平６−４２０５号公報

しかしながら、上述した特許文献１では、タブレットによる入力方法であるため、スキャナ等を備えた画像処理装置において画像データ等を保存する場合には、従来通りのファイルの検索、指定、実行等の煩雑で面倒な入力作業を行わなければならなかった。また、タッチパッド等による手書き入力手段では、既存の画像処理装置に利用することができないため、新たに装置自体を導入することとなり、費用が高くなってしまう。

本発明は、上記に鑑みてなされたものであって、原稿に手書きで記載された文字、図形等のデータに対し所望の処理を行うことができ、かつ既存の画像処理装置を利用することで初期費用を軽減することができる画像処理装置、手書き情報認識方法、手書き情報認識プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、スキャンした原稿から生成された画像データに対する指令内容を示す指令文字と前記指令内容とを対応付けて登録した指令情報テーブルを記憶する記憶手段と、前記画像データに対して文字認識処理および画像解析処理を施して、前記画像データに対する指令である旨を示す手書きの指令図形と前記指令図形の近傍にある手書きの前記指令文字とを含む手書き情報を認識し、前記手書き情報から前記指令文字を取得する手書情報認識手段と、前記手書情報認識手段によって取得された前記指令文字と、前記記憶手段に記憶されている前記指令情報テーブルに登録されたデータ保存の指令を示す保存指令文字とを照合する照合手段と、を備え、前記手書情報認識手段は、前記画像データに対して前記文字認識処理を施す文字認識処理手段と、前記文字認識処理手段によって前記画像データを文字認識した結果、文字認識が不可能な前記画像データ中の画像領域に画像解析処理を施して、前記手書き情報における前記指令図形を抽出する指令図形抽出手段と、を備え、前記文字認識処理手段は、さらに、前記指令図形抽出手段によって抽出された前記指令図形の近傍に対して前記文字認識処理を施して、前記手書き情報における手書きの前記指令文字を認識して、認識された前記指令文字を取得することを特徴とする画像処理装置である。

また、本発明は、スキャンした原稿から生成された画像データに対する指令内容を示す指令文字と前記指令内容とを対応付けて登録した指令情報テーブルを記憶する記憶手段と、前記画像データに対して文字認識処理を施す文字認識処理手段と、前記文字認識処理手段によって前記画像データを文字認識した結果、文字認識が不可能な前記画像データ中の画像領域に画像解析処理を施して、前記画像データに対する所望の処理の指令である旨を示す手書きの指令図形と前記指令図形の近傍にある手書きの前記指令文字とを含む手書き情報から前記指令図形を抽出する指令図形抽出手段と、を備え、前記文字認識処理手段は、さらに、前記指令図形抽出手段によって抽出された前記指令図形の近傍に対して前記文字認識処理を施して、前記手書き情報における手書きの前記指令文字を認識して、認識された前記指令文字を取得し、前記文字認識処理手段によって取得された前記指令文字と、前記記憶手段に記憶されている前記指令情報テーブルに登録された前記指令文字をと照合する照合手段と、を備えることを特徴とする画像処理装置である。

また、本発明は、前記照合手段は、前記文字認識処理手段によって取得された前記指令文字と、前記記憶手段に記憶されている前記指令情報テーブルに登録されたデータ保存の指令を示す保存指令文字とを照合することを特徴とする画像処理装置である。

また、本発明は、前記指令図形は、指令である旨を示す手書きの略円形で囲まれた囲み図形であり、前記指令図形抽出手段は、前記文字認識処理手段によって前記画像データを文字認識した結果、文字認識が不可能な前記画像データ中の画像領域に画像解析処理を施して、前記囲み図形を抽出し、前記文字認識処理手段は、さらに、前記指令図形抽出手段によって抽出された前記囲み図形の内部に対して前記文字認識処理を施して、前記囲み図形の内部にある手書きの前記指令文字を認識して、認識された前記指令文字を取得すること、を特徴とする画像処理装置である。

また、本発明は、前記記憶手段は、データの保存先を示す管理識別情報と前記保存先を対応付けて登録した管理情報テーブルを、さらに記憶し、前記文字認識処理手段は、さらに、前記指令図形抽出手段によって抽出された前記囲み図形の内部と近傍に対して前記文字認識処理を施し、前記囲み図形の内部にある手書きの前記指令文字と前記囲み図形の近傍にある手書きの前記管理識別情報とを認識して、認識された前記指令文字と前記管理識別情報とを取得し、前記照合手段は、さらに、前記文字認識処理手段によって取得された前記管理識別情報と、前記記憶手段に記憶されている前記管理情報テーブルに登録された前記管理識別情報とを照合すること、を特徴とする画像処理装置である。

また、本発明は、スキャンした原稿から生成された画像データに対して文字認識処理を施す文字認識処理ステップと、前記文字認識処理ステップによって前記画像データを文字認識した結果、文字認識が不可能な前記画像データ中の画像領域に画像解析処理を施して、前記画像データに対する所望の処理の指令である旨を示す手書きの指令図形と前記指令図形の近傍にある前記画像データに対する指令内容を示す手書きの指令文字とを含む手書き情報から前記指令図形を抽出する指令図形抽出ステップと、を含み、前記文字認識処理ステップは、さらに、前記指令図形抽出ステップによって抽出された前記指令図形の近傍に対して前記文字認識処理を施して、前記手書き情報における手書きの前記指令文字を認識して、認識された前記指令文字を取得し、前記文字認識処理ステップによって取得された前記指令文字と、記憶手段に記憶されている前記指令文字と前記指令内容とを対応付けた指令情報テーブルに登録された前記指令文字をと照合する照合ステップと、を含むことを特徴とする手書き情報認識方法である。

また、本発明は、請求項６に記載の手書き情報認識方法をコンピュータに実行させる手書き情報認識プログラムである。

本発明によれば、記憶手段が、スキャンした原稿から生成された画像データに対する指令内容を示す指令文字と指令内容とを対応付けて登録した指令情報テーブルを記憶し、手書情報認識手段が、画像データに対して文字認識処理および画像解析処理を施して、画像データに対する指令である旨を示す手書きの指令図形と指令図形の近傍にある手書きの指令文字とを含む手書き情報を認識し、手書き情報から指令文字を取得し、照合手段が、手書情報認識手段によって取得された指令文字と、記憶手段に記憶されている指令情報テーブルに登録されたデータ保存の指令を示す保存指令文字とを照合し、手書情報認識手段における文字認識処理手段が、画像データに対して文字認識処理を施し、手書情報認識手段における指令図形抽出手段が、文字認識処理手段により画像データを文字認識した結果、文字認識が不可能な画像データ中の画像領域に画像解析処理を施して、手書き情報における指令図形を抽出し、文字認識処理手段が、指令図形抽出手段により抽出された指令図形の近傍に対して文字認識処理を施して、手書き情報における手書きの指令文字を認識して、認識された指令文字を取得する。このように、スキャンした原稿の画像データに文字認識処理および画像解析処理を施し、原稿に記載された指令図形を抽出し、指令図形の近傍にある指令文字を取得することで、画像データに対する処理の指令が認識されるため、画像データの指令の入力操作をすることなく、原稿に手書きで記載された文字、図形等の画像データに対する所望の処理を行うこと、具体的には、画像データを所望する保存先へ簡易に保存することができる。また、オフィス等に設置された既存の画像処理装置を利用することで初期費用を軽減することができるという効果を奏する。

また、本発明によれば、記憶手段が、スキャンした原稿から生成された画像データに対する指令内容を示す指令文字と指令内容とを対応付けて登録した指令情報テーブルを記憶し、文字認識処理手段が、画像データに対して文字認識処理を施し、指令図形抽出手段が、文字認識処理手段によって画像データを文字認識した結果、文字認識が不可能な画像データ中の画像領域に画像解析処理を施して、画像データに対する所望の処理の指令である旨を示す手書きの指令図形と指令図形の近傍にある手書きの指令文字とを含む手書き情報から指令図形を抽出し、文字認識処理手段が、指令図形抽出手段によって抽出された指令図形の近傍に対して文字認識処理を施して、手書き情報における手書きの指令文字を認識して、認識された指令文字を取得し、照合手段が、文字認識処理手段によって取得された指令文字と、記憶手段に記憶されている指令情報テーブルに登録された指令文字をと照合する。このように、スキャンした原稿の画像データに文字認識処理および画像解析処理を施し、原稿に記載された指令図形を抽出し、指令図形の近傍にある指令文字を取得することで、画像データに対する処理の指令が認識されるため、画像データの指令の入力操作をすることなく、原稿に手書きで記載された文字、図形等の画像データに対する所望の処理を行うことができる。また、オフィス等に設置された既存の画像処理装置を利用することで初期費用を軽減することができるという効果を奏する。

また、本発明によれば、照合手段が、文字認識処理手段によって取得された指令文字と、記憶手段に記憶されている指令情報テーブルに登録されたデータ保存の指令を示す保存指令文字とを照合する。このように、スキャンした原稿の画像データに文字認識処理および画像解析処理を施し、原稿に記載された指令図形を抽出し、指令図形の近傍にある指令文字を取得することで、画像データの処理の指令が認識されるため、画像データの指令の入力操作をすることなく、原稿に手書きで記載された文字、図形等の画像データに対する所望の処理を行うこと、具体的には、画像データを所望する保存先へ簡易に保存することができる。また、オフィス等に設置された既存の画像処理装置を利用することで初期費用を軽減することができるという効果を奏する。

また、本発明によれば、指令図形は、指令である旨を示す手書きの略円形で囲まれた囲み図形であり、指令図形抽出手段が、文字認識処理手段によって画像データを文字認識した結果、文字認識が不可能な画像データ中の画像領域に画像解析処理を施して、囲み図形を抽出し、文字認識処理手段が、指令図形抽出手段によって抽出された囲み図形の内部に対して文字認識処理を施して、囲み図形の内部にある手書きの指令文字を認識して、認識された指令文字を取得する。このように、スキャンした原稿の画像データに文字認識処理および画像解析処理を施し、原稿に記載された囲み図形を抽出し、囲み図形の内部にある指令文字を取得することで、画像データに対する処理の指令が認識されるため、画像データの指令の入力操作をすることなく、原稿に手書きで記載された文字、図形等の画像データに対する所望の処理を行うこと、具体的には、画像データを所望する保存先へ簡易に保存することができる。また、オフィス等に設置された既存の画像処理装置を利用することで初期費用を軽減することができるという効果を奏する。

また、本発明によれば、記憶手段が、データの保存先を示す管理識別情報と保存先を対応付けて登録した管理情報テーブルを記憶し、文字認識処理手段が、指令図形抽出手段によって抽出された囲み図形の内部と近傍に対して文字認識処理を施し、囲み図形の内部にある手書きの指令文字と囲み図形の近傍にある手書きの管理識別情報とを認識して、認識された指令文字と管理識別情報とを取得し、照合手段が、文字認識処理手段によって取得された管理識別情報と、記憶手段に記憶されている管理情報テーブルに登録された管理識別情報とを照合する。このように、スキャンした原稿の画像データに文字認識処理および画像解析処理を施し、原稿に記載された囲み図形を抽出し、囲み図形の内部にある指令文字と囲み図形の近傍にある管理識別情報とを取得することで、画像データに対する処理の指令および保存先の管理識別情報が認識されるため、画像データの指令の入力操作をすることなく、原稿に手書きで記載された文字、図形等の画像データに対する所望の処理を行うこと、具体的には、画像データを所望する管理識別情報の保存先へ簡易に保存することができる。また、オフィス等に設置された既存の画像処理装置を利用することで初期費用を軽減することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる画像処理装置、手書き情報認識方法、手書き情報認識プログラムの最良な実施の形態を詳細に説明する。以下の実施の形態では、本発明の画像処理装置を、スキャナ機能や、コピー、ファクシミリ、プリンタなどの複数の機能を一つの筐体に収納した複合機（ＭＦＰ：Multi Function Printer）に適用した例を示す。但し、ＭＦＰに限られず、複写機、ファクシミリ、デジタルカメラ、携帯電話等、スキャナやカメラ等の画像取得手段を有し、かつＯＣＲ処理および画像解析処理を行うものであれば、本発明を適用することができる。

本実施の形態におけるデータ管理システムは、画像処理装置とファイルサーバと表示装置により構成されており、画像処理装置は、手書きで記載された原稿から手書きコマンドを取得し、その手書きコマンドから取得した指令情報と、原稿の画像データとをファイルサーバに送信し、ファイルサーバにおいて指令情報に従ってその画像データの処理を行うものである。ここで、手書きコマンドとは、原稿の画像データに対しての指令である旨を示す手書きの指令図形と、指令図形の近傍に記載された指令内容を示す手書きの指令文字とを示す。

図１は、本実施の形態にかかるデータ管理システムの構成を示すブロック図である。図１に示すように、本実施の形態にかかるデータ管理システムは、ＭＦＰ１００、ファイルサーバ２００、および表示装置３００によって構成されている。また、ＭＦＰ１００とファイルサーバ２００と表示装置３００は、無線ＬＡＮ（Local Area Network）などのネットワーク４００を介して接続されている。

まず、ＭＦＰ１００の詳細について説明する。ＭＦＰ１００は、原稿をスキャンして、スキャンした原稿の画像データを生成して印刷するものであり、操作パネル１４０と、スキャナ部１３０と、プリンタ部１５０と、指令情報記憶部１２０と、記憶部１２１と、読取処理部１０１と、手書情報認識部１０２と、照合部１０５と、表示入力処理部１０６と、画像処理部１０７と、印刷処理部１０８と、送受信部１０９とから主に構成されている。

操作パネル１４０は、さらに、種々の画面が表示可能な表示部１４１を備えており、印刷に関する設定情報等の入力を行う入力画面を表示部１４１に表示するとともに、その表示された入力画面や操作キー（図示せず）から利用者による設定情報等の入力が行われるものである。

スキャナ部１３０は、利用者によって載置された手書きの情報を含む原稿を、ＣＣＤ（Charge Coupled Device）によりスキャンして読み取るものである。

プリンタ部１５０は、後述する画像処理部１０７によって生成された印刷用の画像データを紙媒体等に印刷するものである。

指令情報記憶部１２０（記憶手段）は、スキャナ部１３０によってスキャンした原稿の画像データに対し、ＭＦＰ１００、または後述するファイルサーバ２００において行わせる処理の指令内容を示す指令文字と、その指令内容とを対応付けて登録した指令情報テーブルを記憶するメモリなどの記憶媒体である。図２は、記憶部１２０に記憶されている指令情報テーブルの一例を示す図である。図２に示すように、指令情報テーブルは、指令文字（Ｍ、Ｓ、Ｄ等）と、指令内容（データの保存、データをメールで送信、データを廃棄等）とを対応させて記憶している。すなわち、例えば、「Ｍ」という指令文字は、データを保存するという指令内容を示すことになる。なお、本実施の形態では、この「Ｍ」の指令文字を保存指令文字と称する。

記憶部１２１は、後述する読取処理部１０１よって生成されたスキャンした原稿の画像データや、後述する画像処理部１０７によって生成された印刷用の画像データを記憶するメモリなどの記憶媒体である。

読取処理部１０１は、スキャナ部１３０から載置された原稿をスキャンする制御を行い、スキャンした原稿の画像データを生成するものである。

手書情報認識部１０２は、読取処理部１０１によって生成されたスキャンした原稿の画像データに対して、光学的に文字認識をするＯＣＲ処理（文字認識処理）および画像解析処理を施す。そして、手書情報認識部１０２は、指令である旨を示す手書きの囲み図形（指令図形）と、囲み図形の内部ある指令文字と、囲み図形の近傍にあるデータの保存先を示す管理番号（管理識別情報）とを含む手書き情報を認識し、その手書き情報から指令文字と管理番号を取得するものである。

ここで、囲み図形とは、利用者によって原稿に手書きで記載された略円形で囲まれた図形であり、ＭＦＰ１００やファイルサーバ２００において処理する指令である旨を示す指令図形である。この囲み図形は、利用者の手により記載したものであるため、正円ではなく、おおよそ円形に囲まれた図形である。また、囲み図形は完全に閉じた図形ではなく、一部開放されていてもおおよそ円形に囲まれた図形であればよい。

手書情報認識部１０２は、文字認識処理部１０３と指令図形抽出部１０４とを主に備えており、さらに具体的な手書情報認識部１０２における処理を以下に説明する。

文字認識処理部１０３は、読取処理部１０１によって生成したスキャンした原稿の画像データに対してＯＣＲ処理を施すものである。また、文字認識処理部１０３は、さらに、後述する指令図形抽出部１０４によって抽出された囲み図形の内部と近傍に対して、再度ＯＣＲ処理を施し、囲み図形の内部にある指令文字と囲み図形の近傍にある管理番号とを文字認識して、文字認識された指令文字と管理番号を取得するものである。

指令図形抽出部１０４は、文字認識処理部１０３によってスキャンした原稿の画像データに対してＯＣＲ処理を施して文字認識した結果、文字認識が不可能な画像データ中の画像領域である文字認識不可領域の近傍のピクセルに対して画像解析を行って、囲み図形を抽出するものである。

上記のように、原稿に手書きで記載された手書きコマンドがある場合に、手書情報認識部１０２に備えられた文字認識処理部１０３と指令図形抽出部１０４による処理によって、囲み図形と、囲み図形の内部に記載された指令文字とからなる手書きコマンドが認識される。ここで、例えば、特定の文字を手書きコマンドと定め、原稿に記載された特定の文字を手書きコマンドとして認識する構成にすると、この特定の文字は、最初のＯＣＲ処理の段階で文字認識されてしまうので、指令文字であるか単なるメモ書きであるかの判断ができない。また、特定の囲み図形等を手書きコマンドと定め、原稿に記載された特定の囲み図形を手書きコマンドとして認識する構成としても、同様に、この特定の囲み図形は、最初のＯＣＲ処理の段階で英語の「Ｏ」などとして文字認識されてしまう可能性があるため、特定の囲み図形であるかメモ書きの文字であるかの判断ができない。従って、本実施の形態では、囲み図形によって何らかの指令が手書きで原稿に記載されていることを認識した上で、その囲み図形の内部に記載された指令文字を取得することによって指令内容を認識できるようにするため、囲み図形と指令文字の両者を手書きコマンドとして扱い、これを文字認識処理部１０３と指令図形抽出部１０４によって認識する構成としている。

また、原稿の一部分に保存等の処理を行いたい記載部分がある場合、利用者は、その保存等の処理を行いたい記載部分を手書きで囲み、その近傍にハサミのように線と円で構成される単純な記号を手書きで記載する。そして、手書情報認識部１０２に備えられた文字認識処理部１０３と指令図形抽出部１０４が、記載部分を囲んでいる図形と、その記載部分を囲んでいる図形の近傍に記載されたハサミ等の単純な記号とを手書きコマンドとして認識し、図形に囲まれた記載部分をトリミングして取得し、そのトリミングされた記載部分に対してのみ保存等の処理を行うよう構成してもよい。このように、ハサミ等の単純化された記号は、設定等の操作方法を覚えるよりも、より直感的な操作が可能になる。また、言語に頼らない手書きコマンドによる指示なので、ユニバーサルデザイン性が高くなる。

照合部１０５は、文字認識処理部１０３によって取得された囲み図形の内部にある指令文字と、指令情報記憶部１２０に記憶されている指令情報テーブルにおける指令文字とを照合するものである。

表示入力処理部１０６は、入力画面を操作パネル１４０の表示部１４１に表示したり、利用者から入力された設定情報等を受け付ける制御を行うものである。

画像処理部１０７は、記憶部１２１に一時的に保存されたスキャンした原稿の画像データから、プリンタ部における印刷用の画像データを生成する処理等を行うものである。

印刷処理部１０８は、画像処理部１０７において生成された印刷用の画像データをプリンタ部１５０により印刷するなどの制御を行うものである。

送受信部１０９は、照合部１０５による指令文字の照合が成功した場合、その指令文字と、管理番号と、ＯＣＲ処理を施した画像データとをファイルサーバ２００に送信するものである。

次に、ファイルサーバ２００の詳細について説明する。ファイルサーバ２００は、ＭＦＰ１００からの情報等を受信し、処理を行うものである。また、ファイルサーバ２００は、表示装置３００からの要求に応じて、ファイルサーバ２００に記憶されている情報を表示装置３００に送信するものである。ファイルサーバ２００は、管理情報記憶部２１０と、送受信部２０１とから主に構成されている。

管理情報記憶部２１０は、ＭＦＰ１００の指令情報記憶部１２０と同様に、指令情報テーブル（図２参照）を記憶するメモリなどの記憶媒体である。また、管理情報記憶部２１０は、画像データが保存されている保存先のファイルを示す管理番号と、保存先とを対応付けて記憶した管理情報テーブルを記憶している。図３は、管理情報記憶部２１０に記憶されている管理情報テーブルの一例を示す図である。図３に示すように、管理情報テーブルは、管理番号（２００５０９３０−１、２００６０１１７−１等）と、保存先（電子ペーパ１用フォルダ、電子ペーパ２用フォルダ等）とを対応させて記憶している。すなわち、例えば、「電子ペーパ１用フォルダ」には、２００５０９３０−１等の管理番号のデータが保存されていることになる。また、管理情報記憶部２１０は、後述する送受信部２０１によってＭＦＰ１００から受信したＯＣＲ処理を施した画像データを保存するものである。

送受信部２０１は、指令文字と、管理番号と、ＯＣＲ処理を施した画像データとをＭＦＰ１００から受信するものである。また、表示装置３００から画像データの要求を受信し、その要求に応じて、管理情報記憶部２１０に記憶されている画像データと、その画像データの保存先の管理番号を表示装置３００に送信するものである。

次に、表示装置３００の詳細について説明する。表示装置３００は、利用者が容易に携帯可能な大きさと重量で構成されており、ファイルサーバ２００から受信した情報を表示するものである。図４は、表示装置３００の構成を示す模式図である。図４に示すように、表示装置３００は、表示部３１１を有する電子ペーパ３１０と制御部３２０とから主に構成されている。

電子ペーパ３１０は、１０分の数ミリ程度の厚さで、電気的な手段でデータの表示および消去が可能な表示部３１１を有している。また、電子ペーパ３１０は、紙媒体に印刷するハードコピーが有する「見易さ、持ち運び易さ」に加え、表示部の画面に写し出すソフトコピーが有する「デジタル情報との結合・書き換え性」や省紙資源を実現するものと期待されている反射型表示媒体であり、従来の画像表示装置にはない極薄、柔軟性という特性がある。

制御部３２０は、記憶部３３０と、送受信部３２１と、表示制御部３２２とを主に備えている。

記憶部３３０は、後述する送受信部３２１によってファイルサーバ２００から受信した画像データと管理番号を記憶するメモリ等の記憶媒体である。

送受信部３２１は、ファイルサーバ２００に画像データの要求を送信し、ファイルサーバ２００からその要求に応じた画像データと、その画像データの保存先の管理番号を受信して、記憶部３３０に記憶する処理を行うものである。

表示制御部３２２は、送受信部３２１によって受信した画像データと管理番号を、電子ペーパ３１０の表示部３１１に表示する制御を行うものである。

次に、以上のように構成されたデータ管理システムによるデータ管理処理について説明するが、最初にデータ管理処理の前提処理を説明した後、データ管理処理について説明する。なお、ここでは、指令内容の一つであるデータの保存の処理に関してのみ説明し、他の指令内容であるデータのメール送信、データの廃棄等に関しては省略する。

まず、表示装置３００における送受信部３２１は、表示部３１１に表示したい画像データの要求をファイルサーバ２００に送信する。そして、ファイルサーバ２００における送受信部２０１はその要求を受信して、要求された画像データとその画像データの保存先の管理番号を管理情報記憶部２１０から取得して表示装置３００に送信する。

次に、表示装置３００における送受信部３２１は、ファイルサーバ２００から画像データと管理番号を受信して、記憶部３３０に記憶する。そして、表示制御部３２２は、記憶部３３０に記憶された画像データと管理番号を表示部３１１に表示する。

表示装置３００における電子ペーパ３１０は容易に携帯可能な薄型ディスプレイであるため、例えば、会議等の場合には、その会議に必要な資料をファイルサーバ２００から受信して、会議の進行に合わせた画像データと管理番号を適宜表示するなどして活用できる。そして、利用者は、表示装置３００の表示部３１１に表示された画像データと管理番号を見ながら、普通の用紙である原稿に、その表示された画像データに関連する必要な情報を手書きのメモで取る。

図５は、利用者が表示装置３００を見ながら原稿にメモを取っている状態の一例を示す図である。図５に示すように、利用者は、テーブルに置かれた表示装置３００、または左ページにある表示装置３００に表示された画像データと管理番号を見ながら、原稿５００にメモを取っている状態である。

利用者は、原稿５００に記載したメモ書きを、表示装置３００に表示されている画像データと一緒に保存して管理する場合、原稿５００のいずれか位置に囲み図形を記載し、さらに、囲み図形の内部に保存指令文字、囲み図形の近傍に保存先の管理番号を記載しておく。図６は、囲み図形、保存指令文字、および管理番号が記載された原稿の一例を示す図である。図６に示すように、原稿５００には、メモ書きが記載されており、さらに、拡大した図で示すように、原稿５００のいずれかの位置に、略円形の囲み図形５０１と、囲み図形の内部に保存指令文字（Ｍ）５０２と、囲み図形の近傍に管理番号（２００５０９３０−１）５０３が記載されている。そして、利用者は、囲み図形と、保存指令文字（Ｍ）と、管理番号とが記載された原稿を、ＭＦＰ１００の所定の位置に載置する。

以上のようなデータ管理処理の前提処理が行われた後、データ管理システムによるデータ管理処理が行われる。図７は、本実施の形態にかかるデータ管理システムによるデータ管理処理の手順を示すフローチャートである。

まず、利用者によって、原稿が所定の位置に載置されると、スキャナ部１３０は載置された原稿をスキャンする（ステップＳ７０１）。読取処理部１０１は、スキャナ部１３０によりスキャンした原稿から画像データを生成する（ステップＳ７０２）。

次に、文字認識処理部１０３は、読取処理部１０１によって生成された画像データに対して、ＯＣＲ処理を施す（ステップＳ７０３）。文字認識処理部１０３は、ＯＣＲ処理を施した画像データ中に、文字認識が不可能な文字認識不可領域があるか否かを判断する（ステップＳ７０４）。文字認識不可領域がなかった場合（ステップＳ７０４：Ｎｏ）、手書きの文字を含めた全ての文字が文字認識された文字データとなり、処理を抜ける。

一方、文字認識不可領域があった場合（ステップＳ７０４：Ｙｅｓ）、指令図形抽出部１０４は、文字認識不可領域の近傍のピクセルに対して画像解析を行い（ステップＳ７０５）、画像解析した文字認識不可領域に囲み図形があるか否かの判断をする（ステップＳ７０６）。画像解析した文字認識不可領域に囲み図形があった場合（ステップＳ７０６：Ｙｅｓ）、指令図形抽出部１０４は、その囲み図形を抽出する。この囲み図形の抽出によって、スキャンした原稿から生成された画像データに何らかの指令が記載されていることになる。

そして、文字認識処理部１０３は、指令図形抽出部１０４により抽出された囲み図形の内部と、囲み図形の近傍に対して、再度ＯＣＲ処理を施す（ステップＳ７０７）。文字認識処理部１０３は、囲み図形の内部において指令文字の文字認識が成功したか否かの判断をする（ステップＳ７０８）。囲み図形の内部において指令文字の文字認識が成功した場合（ステップＳ７０８：Ｙｅｓ）、文字認識処理部１０３は、文字認識された指令文字を取得する（ステップＳ７０９）。

次に、照合部１０５は、文字認識処理部１０３によって文字認識された指令文字と、指令情報記憶部１２０に記憶されている指令文字とを照合し、文字認識された指令文字が保存指令文字であるか否かの判断をする（ステップＳ７１０）。照合部１０５による照合によって、文字認識された指令文字が保存指令文字であった場合（ステップＳ７１０：Ｙｅｓ）、文字認識処理部１０３は、囲み図形の近傍において管理番号の文字認識が成功したか否かの判断をする（ステップＳ７１１）。

そして、文字認識処理部１０３により囲み図形の近傍において管理番号の文字認識が成功した場合（ステップＳ７１１：Ｙｅｓ）、送受信部１０９は、保存指令文字と、管理番号と、ＯＣＲ処理を施した画像データとをファイルサーバ２００に送信する（ステップＳ７１２）。

ステップＳ７０６に戻って、指令図形抽出部１０４により画像解析した文字認識不可領域に囲み図形がなかった場合（ステップＳ７０６：Ｎｏ）と、ステップＳ７０８において、文字認識処理部１０３により囲み図形の内部において指令文字の文字認識が成功しなかった場合（ステップＳ７０８：Ｎｏ）と、ステップＳ７１０において、照合部１０５による照合により文字認識された指令文字が保存指令文字でなかった場合（ステップＳ７１０：Ｎｏ）と、ステップＳ７１１において、文字認識処理部１０３により囲み図形の近傍において管理番号の文字認識が成功しなかった場合（ステップＳ７１１：Ｎｏ）のいずれもの場合、その文字認識不可領域には、画像データの保存指令に関する情報の全てが記載されていなことになり、文字認識処理部１０３は、他の文字認識不可領域があるか否かを判断する（ステップＳ７１３）。

そして、他の文字認識不可領域があった場合（ステップＳ７１３：Ｙｅｓ）、再度ステップＳ７０５からの処理を繰り返す。一方、他の文字認識不可領域がなかった場合（ステップＳ７１３：Ｎｏ）、その画像データには、画像データの保管指令がないことになり処理を終了する。

また、ステップＳ７１２において、送受信部１０９によってファイルサーバ２００に送信された保存指令文字と、管理番号と、ＯＣＲ処理を施した画像データは、ファイルサーバ２００における送受信部２０１が受信する。そして、管理情報記憶部２１０から受信した保存指令文字の内容を取得し、受信した管理番号の保存先に、受信した画像データを保存することで、同じ管理番号のデータを管理することができる。

このように、ＭＦＰ１００は、所定の位置に載置された原稿をスキャンして、スキャンした原稿の画像データに対してＯＣＲ処理および画像解析処理を行うことで、原稿の画像データから、囲み図形と囲み図形の内部にある保存指令文字とからなる手書きコマンドと、囲み図形の近傍にある管理番号とを取得し、保存指令文字と管理番号とＯＣＲ処理を施した画像データをファイルサーバ２００に送信する。そして、ファイルサーバ２００は、受信した保存指令文字に従って、受信した画像データを受信した管理番号のファイルに保存し管理する。

このため、画像データの保存指令の入力操作をすることなく、原稿に手書きで記載された文字、図形等の画像データを、ファイルサーバ２００における所望する保存先の管理番号のファイル、すなわち、表示装置３００に表示された管理番号と同じファイルに簡易に保存することができ、表示装置３００に表示された画像データと関連付けて管理することができる。また、電気的なタブレットと比較し格段に記載し易い紙媒体と、従来から使い慣れた筆記用具を使用することができるため、保存指令文字等を記載するのが容易となる。さらに、近年、オフィス等に普及されている既存のＭＦＰのスキャナをそのまま利用することができるため、新たな設備を導入することなく初期費用を軽減することができる。

図７を参照して説明したデータ管理処理では、原稿から保存指令文字を取得し、画像データの保存の処理に関してのみ説明したが、他の指令文字を取得した場合は、その指令文字に対応する他の指令内容に従って処理を行う。例えば、スキャンした原稿の画像データから指令文字「Ｄ」を取得した場合、対応する指令内容は「データを廃棄」であるため（図２参照）、ファイルサーバ２００は、ＭＦＰ１００から受信した管理番号のファイルを削除する処理を行う。また、例えば、スキャンした原稿の画像データから指令文字「Ｓ」を取得した場合、対応する指令内容は「データをメールで送信」であるため（図２参照）、ＭＦＰ１００が予め定めた相手先にＯＣＲ処理を施した画像データを送信する。

本実施の形態におけるＭＦＰ１００は、原稿をスキャンして読み取るスキャナ部１３０を備える構成となっているが、原稿をスキャンして読み取るスキャナ装置をＭＦＰとは別個に設け、スキャナ装置によって読み取った原稿の画像データをＭＦＰに送信し、ＭＦＰは、受信した画像データに対して処理を行うように構成してもよい。

本実施の形態にかかるＭＦＰ１００は、画像等を記憶する記憶部１２１等と、スキャナ部１３０等の制御、ＯＣＲ処理、画像解析等を行う読取処理部１０１や手書情報認識部１０２等の処理部とで構成されているが、画像等を記憶する記憶装置と、制御等を行う処理装置とによって構成し、原稿のスキャン、ＯＣＲ処理、読取処理等をファイルサーバ２００に設けるよう構成してもよい。この場合は、ファイルサーバ２００側で原稿をスキャンしてＯＣＲ等の処理を施し、ＭＦＰ１００側で画像データを保存する構成にすればよい。

また、本実施の形態では、ＭＦＰ１００が指令情報テーブル（図２参照）を記憶し、ファイルサーバ２００は、同様の指令情報テーブルと管理情報テーブル（図３参照）とを記憶している構成となっているが、ＭＦＰ１００が、指令情報テーブルと管理情報テーブルとを記憶し、ファイルサーバ２００は該両テーブルを記憶しない構成としてもよい。この場合は、ＭＦＰ１００において、読み取った指令文字の指令内容と保存先を検索し、読み取った画像データとともにファイルサーバ２００に送信して、ファイルサーバ２００が処理を行うよう構成すればよい。これにより、ＭＦＰ１００の構成が簡易になる。

もしくは、ＭＦＰ１００が、指令情報テーブルと管理情報テーブルとを記憶し、さらに、ファイルサーバ２００の機能も有する構成にしてもよい。すなわち、ファイルサーバ２００がなく、読み取った指令文字の指令内容と保存先を検索し、ＭＦＰ１００で記憶（管理）するよう構成すればよい。

また、ＭＦＰ１００は、指令情報テーブルと管理情報テーブルを記憶せず、ファイルサーバ２００が該両テーブルを記憶する構成にしてもよい。この場合は、指令文字と読み取った画像データをファイルサーバ２００に送信し、ファイルサーバ２００が指令内容や保存先を検索し、保存等の処理を行うように構成すればよい。

本実施の形態では、原稿に記載された囲み図形と指令文字をＯＣＲ処理および画像解析処理によって認識することによって、画像データに対する指令を認識しているが、原稿に記載された予め定めた特定の色に対してＯＣＲ処理および画像解析等することによって、画像データに対する指令を認識するように構成してもよい。

図８は、本実施の形態にかかるＭＦＰ１００のハードウェア構成を示すブロック図である。本図に示すように、このＭＦＰ１００は、コントローラ１０とエンジン部（Engine）６０とをＰＣＩ（Peripheral Component Interconnect）バスで接続した構成となる。コントローラ１０は、ＭＦＰ１００全体の制御と描画、通信、図示しない操作部からの入力を制御するコントローラである。エンジン部６０は、ＰＣＩバスに接続可能なプリンタエンジンなどであり、たとえば白黒プロッタ、１ドラムカラープロッタ、４ドラムカラープロッタ、スキャナまたはファックスユニットなどである。なお、このエンジン部６０には、プロッタなどのいわゆるエンジン部分に加えて、誤差拡散やガンマ変換などの画像処理部分が含まれる。

コントローラ１０は、ＣＰＵ１１と、ノースブリッジ（ＮＢ）１３と、システムメモリ（ＭＥＭ−Ｐ）１２と、サウスブリッジ（ＳＢ）１４と、ローカルメモリ（ＭＥＭ−Ｃ）１７と、ＡＳＩＣ（Application Specific Integrated Circuit）１６と、ハードディスクドライブ（ＨＤＤ）１８とを有し、ノースブリッジ（ＮＢ）１３とＡＳＩＣ１６との間をＡＧＰ（Accelerated Graphics Port）バス１５で接続した構成となる。また、ＭＥＭ−Ｐ１２は、ＲＯＭ（Read Only Memory）１２ａと、ＲＡＭ(Random Access Memory)１２ｂとをさらに有する。

ＣＰＵ１１は、ＭＦＰ１００の全体制御をおこなうものであり、ＮＢ１３、ＭＥＭ−Ｐ１２およびＳＢ１４からなるチップセットを有し、このチップセットを介して他の機器と接続される。

ＮＢ１３は、ＣＰＵ１１とＭＥＭ−Ｐ１２、ＳＢ１４、ＡＧＰ１５とを接続するためのブリッジであり、ＭＥＭ−Ｐ１２に対する読み書きなどを制御するメモリコントローラと、ＰＣＩマスタおよびＡＧＰターゲットとを有する。

ＭＥＭ−Ｐ１２は、プログラムやデータの格納用メモリ、プログラムやデータの展開用メモリ、プリンタの描画用メモリなどとして用いるシステムメモリであり、ＲＯＭ１２ａとＲＡＭ１２ｂとからなる。ＲＯＭ１２ａは、プログラムやデータの格納用メモリとして用いる読み出し専用のメモリであり、ＲＡＭ１２ｂは、プログラムやデータの展開用メモリ、プリンタの描画用メモリなどとして用いる書き込みおよび読み出し可能なメモリである。

ＳＢ１４は、ＮＢ１３とＰＣＩデバイス、周辺デバイスとを接続するためのブリッジである。このＳＢ１４は、ＰＣＩバスを介してＮＢ１３と接続されており、このＰＣＩバスには、ネットワークインターフェース（Ｉ／Ｆ）部なども接続される。

ＡＳＩＣ１６は、画像処理用のハードウェア要素を有する画像処理用途向けのＩＣ（Integrated Circuit）であり、ＡＧＰ１５、ＰＣＩバス、ＨＤＤ１８およびＭＥＭ−Ｃ１７をそれぞれ接続するブリッジの役割を有する。このＡＳＩＣ１６は、ＰＣＩターゲットおよびＡＧＰマスタと、ＡＳＩＣ１６の中核をなすアービタ（ＡＲＢ）と、ＭＥＭ−Ｃ１７を制御するメモリコントローラと、ハードウェアロジックなどにより画像データの回転などをおこなう複数のＤＭＡＣ（Direct Memory Access Controller）と、エンジン部６０との間でＰＣＩバスを介したデータ転送をおこなうＰＣＩユニットとからなる。このＡＳＩＣ１６には、ＰＣＩバスを介してＦＣＵ（Fax Control Unit）３０、ＵＳＢ（Universal Serial Bus）４０、ＩＥＥＥ１３９４（the Institute of Electrical and Electronics Engineers 1394）インターフェース５０が接続される。操作パネル１４０はＡＳＩＣ１６に直接接続されている。

ＭＥＭ−Ｃ１７は、コピー用画像バッファ、符号バッファとして用いるローカルメモリであり、ＨＤＤ（Hard Disk Drive）１８は、画像データの蓄積、プログラムの蓄積、フォントデータの蓄積、フォームの蓄積を行うためのストレージである。

ＡＧＰ１５は、グラフィック処理を高速化するために提案されたグラフィックスアクセラレーターカード用のバスインターフェースであり、ＭＥＭ−Ｐ１２に高スループットで直接アクセスすることにより、グラフィックスアクセラレーターカードを高速にするものである。

なお、本実施形態のＭＦＰ１００で実行される手書き情報認識プログラムは、ＲＯＭ等に予め組み込まれて提供される。

本実施形態のＭＦＰ１００で実行される手書き情報認識プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態のＭＦＰ１００で実行される手書き情報認識プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＭＦＰ１００で実行される手書き情報認識プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施の形態のＭＦＰ１００で実行される手書き情報認識プログラムは、上述した各部（読取処理部１０１、文字認識処理部１０３、指令図形抽出部１０４、照合部１０５、表示入力処理部１０６、画像処理部１０７、印刷処理部１０８、送受信部１０９）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭから手書き情報認識プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、読取処理部１０１、文字認識処理部１０３、指令図形抽出部１０４、照合部１０５、表示入力処理部１０６、画像処理部１０７、印刷処理部１０８、送受信部１０９が主記憶装置上に生成されるようになっている。

本実施の形態にかかるデータ管理システムの構成を示すブロック図である。 記憶部１２０に記憶されている指令情報テーブルの一例を示す図である。 管理情報記憶部２１０に記憶されている管理情報テーブルの一例を示す図である。 表示装置３００の構成を示す模式図である。 利用者が表示装置３００を見ながら原稿にメモを取っている状態の一例を示す図である。 囲み図形、保存指令文字、および管理番号が記載された原稿の一例を示す図である。 本実施の形態にかかるデータ管理システムによるデータ管理処理の手順を示すフローチャートである。 本実施の形態にＭＦＰ１００のハードウェア構成を示すブロック図である。

符号の説明

１００ ＭＦＰ
１０１ 読取処理部
１０２ 手書情報認識部
１０３ 文字認識処理部
１０４ 指令図形抽出部
１０５ 照合部
１０６ 表示入力処理部
１０７ 画像処理部
１０８ 印刷処理部
１０９ 送受信部
１２０ 指令情報記憶部
１２１ 記憶部
１３０ スキャナ部
１４０ 操作パネル
１４１ 表示部
１５０ プリンタ部
２００ ファイルサーバ
２０１ 送受信部
２１０ 管理情報記憶部
３００ 表示装置
３１０ 電子ペーパ
３１１ 表示部
３２０ 制御部
３２１ 送受信部
３２２ 表示制御部
３３０ 記憶部
４００ ネットワーク
５００ 原稿
５０１ 囲み図形
５０２ 指令文字
５０３ 管理番号

Claims (7)

1. スキャンした原稿から生成された画像データに対する指令内容を示す指令文字と前記指令内容とを対応付けて登録した指令情報テーブルを記憶する記憶手段と、
   前記画像データに対して文字認識処理および画像解析処理を施して、前記画像データに対する指令である旨を示す手書きの指令図形と前記指令図形の近傍にある手書きの前記指令文字とを含む手書き情報を認識し、前記手書き情報から前記指令文字を取得する手書情報認識手段と、
   前記手書情報認識手段によって取得された前記指令文字と、前記記憶手段に記憶されている前記指令情報テーブルに登録されたデータ保存の指令を示す保存指令文字とを照合する照合手段と、
   を備え、
   前記手書情報認識手段は、
   前記画像データに対して前記文字認識処理を施す文字認識処理手段と、
   前記文字認識処理手段によって前記画像データを文字認識した結果、文字認識が不可能な前記画像データ中の画像領域に画像解析処理を施して、前記手書き情報における前記指令図形を抽出する指令図形抽出手段と、を備え、
   前記文字認識処理手段は、さらに、前記指令図形抽出手段によって抽出された前記指令図形の近傍に対して前記文字認識処理を施して、前記手書き情報における手書きの前記指令文字を認識して、認識された前記指令文字を取得することを特徴とする画像処理装置。
2. スキャンした原稿から生成された画像データに対する指令内容を示す指令文字と前記指令内容とを対応付けて登録した指令情報テーブルを記憶する記憶手段と、
   前記画像データに対して文字認識処理を施す文字認識処理手段と、
   前記文字認識処理手段によって前記画像データを文字認識した結果、文字認識が不可能な前記画像データ中の画像領域に画像解析処理を施して、前記画像データに対する所望の処理の指令である旨を示す手書きの指令図形と前記指令図形の近傍にある手書きの前記指令文字とを含む手書き情報から前記指令図形を抽出する指令図形抽出手段と、を備え、
   前記文字認識処理手段は、さらに、前記指令図形抽出手段によって抽出された前記指令図形の近傍に対して前記文字認識処理を施して、前記手書き情報における手書きの前記指令文字を認識して、認識された前記指令文字を取得し、
   前記文字認識処理手段によって取得された前記指令文字と、前記記憶手段に記憶されている前記指令情報テーブルに登録された前記指令文字をと照合する照合手段と、
   を備えることを特徴とする画像処理装置。
3. 前記照合手段は、前記文字認識処理手段によって取得された前記指令文字と、前記記憶手段に記憶されている前記指令情報テーブルに登録されたデータ保存の指令を示す保存指令文字とを照合することを特徴とする請求項２に記載の画像処理装置。
4. 前記指令図形は、指令である旨を示す手書きの略円形で囲まれた囲み図形であり、
   前記指令図形抽出手段は、前記文字認識処理手段によって前記画像データを文字認識した結果、文字認識が不可能な前記画像データ中の画像領域に画像解析処理を施して、前記囲み図形を抽出し、
   前記文字認識処理手段は、さらに、前記指令図形抽出手段によって抽出された前記囲み図形の内部に対して前記文字認識処理を施して、前記囲み図形の内部にある手書きの前記指令文字を認識して、認識された前記指令文字を取得すること、
   を特徴とする請求項１または３に記載の画像処理装置。
5. 前記記憶手段は、データの保存先を示す管理識別情報と前記保存先を対応付けて登録した管理情報テーブルを、さらに記憶し、
   前記文字認識処理手段は、さらに、前記指令図形抽出手段によって抽出された前記囲み図形の内部と近傍に対して前記文字認識処理を施し、前記囲み図形の内部にある手書きの前記指令文字と前記囲み図形の近傍にある手書きの前記管理識別情報とを認識して、認識された前記指令文字と前記管理識別情報とを取得し、
   前記照合手段は、さらに、前記文字認識処理手段によって取得された前記管理識別情報と、前記記憶手段に記憶されている前記管理情報テーブルに登録された前記管理識別情報とを照合すること、
   を特徴とする請求項４に記載の画像処理装置。
6. スキャンした原稿から生成された画像データに対して文字認識処理を施す文字認識処理ステップと、
   前記文字認識処理ステップによって前記画像データを文字認識した結果、文字認識が不可能な前記画像データ中の画像領域に画像解析処理を施して、前記画像データに対する所望の処理の指令である旨を示す手書きの指令図形と前記指令図形の近傍にある前記画像データに対する指令内容を示す手書きの指令文字とを含む手書き情報から前記指令図形を抽出する指令図形抽出ステップと、を含み、
   前記文字認識処理ステップは、さらに、前記指令図形抽出ステップによって抽出された前記指令図形の近傍に対して前記文字認識処理を施して、前記手書き情報における手書きの前記指令文字を認識して、認識された前記指令文字を取得し、
   前記文字認識処理ステップによって取得された前記指令文字と、記憶手段に記憶されている前記指令文字と前記指令内容とを対応付けた指令情報テーブルに登録された前記指令文字をと照合する照合ステップと、
   を含むことを特徴とする手書き情報認識方法。
7. 請求項６に記載の手書き情報認識方法をコンピュータに実行させる手書き情報認識プログラム。

Images