JP5742399B2

JP5742399B2 - 画像処理装置及びプログラム

Info

Publication number: JP5742399B2
Application number: JP2011084803A
Authority: JP
Inventors: 瑾郭; 大西　健司; 健司大西
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2011-04-06
Filing date: 2011-04-06
Publication date: 2015-07-01
Anticipated expiration: 2031-04-06
Also published as: JP2012221118A; CN102739951A; US8805077B2; KR20120114153A; AU2011250829B2; KR101579876B1; CN102739951B; AU2011250829A1; US20120257833A1

Description

本発明は、画像処理装置及びプログラムに関する。

下記特許文献１には、画像から検出された複数の直線で構成される領域の形状に関する特徴に基づいて、その領域が検出対象の矩形領域である確からしさを示す情報を生成すること、生成した情報に基づいて、検出対象の矩形領域を検出すること、が記載されている。

特開２０１０−０６２７２２号公報

本発明の目的は、撮像手段により撮像された被写体の画像を含む撮像画像のうちで被写体の画像に対応する領域である被写体領域を検出する場合における、被写体領域の検出精度を従来よりも向上させることである。

上記課題を解決するための請求項１の発明は、撮像手段により撮像された被写体の画像を含む撮像画像に基づいて、前記被写体の画像に対応する領域である被写体領域の輪郭を構成する直線の候補を複数特定する直線候補特定手段と、前記直線候補特定手段により特定された候補が前記被写体領域の輪郭を構成する直線となる確からしさを表す直線確度情報を、前記撮像画像に基づいて特定される、当該候補との間の距離が基準距離以内である位置の特徴量に基づいて算出する直線確度算出手段と、前記直線候補特定手段により特定された複数の候補のうちから選出される所定数の候補により囲まれる領域である注目領域が前記被写体領域である確からしさを表す領域確度情報を、該所定数の候補の各々の直線確度情報に基づいて算出する領域確度算出手段と、前記領域確度算出手段により算出された領域確度情報に基づいて前記被写体領域を検出する被写体領域検出手段と、を含むことを特徴とする画像処理装置である。

また、請求項２の発明は、請求項１の発明において、前記直線確度算出手段は、前記直線候補特定手段により特定された候補との間の距離が前記基準距離以内である位置の特徴量を取得し、取得した特徴量の均一性に関する評価情報に基づいて当該候補の直線確度情報を算出すること、を特徴とする。

また、請求項３の発明は、請求項２の発明において、ある位置の前記特徴量は、該ある位置のエッジ強度、該ある位置のエッジ勾配の勾配方向、又は、該ある位置の前記撮像画像の画素値が表す色空間距離、であることを特徴とする。

また、請求項４の発明は、請求項１の発明において、前記直線確度算出手段は、前記直線候補特定手段により特定された候補との間の距離が前記基準距離以内である位置の特徴量を取得し、予め定められた条件を満足する特徴量を有する位置の数に基づいて当該候補の直線確度情報を算出することを特徴とする。

また、請求項５の発明は、請求項１の発明において、前記直線確度算出手段は、前記直線候補特定手段により特定された候補との間の距離が前記基準距離以内である位置の特徴量を取得し、予め定められた条件を満足する特徴量を有する位置の分布に関する情報に基づいて当該候補の直線確度情報を算出することを特徴とする。

また、請求項６の発明は、請求項４又５の発明において、ある位置の前記特徴量は、該ある位置がエッジ位置であるか否かを示し、前記条件を満足する特徴量は、エッジ位置であることを示すことを特徴とする。

また、請求項７の発明は、請求項１の発明において、前記領域確度算出手段は、前記注目領域を構成する隣接する２つの辺の各々につき、前記撮像画像に基づいて定まる、当該辺との間の距離が閾値距離以内にある位置の特徴量を取得し、取得した特徴量と、前記所定数の候補の各々の直線確度情報と、に基づいて領域確度情報を算出することを特徴とする。

また、請求項８の発明は、請求項７の発明において、前記領域確度算出手段は、前記２つの辺のうちの一方について取得した特徴量と、他方について取得した特徴量と、の類似度に関する情報を生成し、生成した情報と、前記所定数の候補の各々の直線確度情報と、に基づいて領域確度情報を算出することを特徴とする。

また、請求項９の発明は、請求項７又は８の発明において、前記領域確度算出手段は、
前記注目領域を構成する隣接する２つの辺の各々につき、当該辺との間の距離が前記閾値距離以内にある位置のエッジ強度、又は、当該辺との間の距離が前記閾値距離以内にある位置の撮像画像における画素値、を取得することを特徴とする。

また、請求項１０の発明は、請求項１の発明において、前記領域確度算出手段は、前記注目領域内の位置の前記撮像画像における画素値を取得し、取得した画素値と、前記所定数の候補の各々の直線確度情報と、に基づいて領域確度情報を算出することを特徴とする。

また、請求項１１の発明は、請求項１０の発明において、前記領域確度算出手段は、取得した画素値の均一性に関する評価情報と、前記所定数の候補の各々の直線確度情報と、に基づいて領域確度情報を算出することを特徴とする。

また、請求項１２の発明は、請求項１の発明において、前記領域確度算出手段は、前記注目領域内に含まれる、文字を表す文字画像を検出し、検出した文字画像の数と、前記所定数の候補の各々の直線確度情報と、に基づいて領域確度情報を算出することを特徴とする。

また、上記課題を解決するための請求項１３の発明は、撮像手段により撮像された被写体の画像を含む撮像画像に基づいて、前記被写体の画像に対応する領域である被写体領域の輪郭を構成する直線の候補を複数特定する直線候補特定手段、前記直線候補特定手段により特定された候補が前記被写体領域の輪郭を構成する直線となる確からしさを表す直線確度情報を、前記撮像画像に基づいて特定される、当該候補との間の距離が基準距離以内である位置の特徴量に基づいて算出する直線確度算出手段、前記直線候補特定手段により特定された複数の候補のうちから選出される所定数の候補により囲まれる領域である注目領域が前記被写体領域である確からしさを表す領域確度情報を、該所定数の候補の各々の直線確度情報に基づいて算出する領域確度算出手段、前記領域確度算出手段により算出された領域確度情報に基づいて前記被写体領域を検出する被写体領域検出手段、としてコンピュータを機能させるプログラムである。

請求項１及び１３の発明によれば、撮像手段により撮像された被写体の画像を含む撮像画像のうちで被写体の画像に対応する領域である被写体領域を検出する場合における、被写体領域の検出精度を従来よりも向上させることが可能になる。

請求項２の発明によれば、本構成を有しない場合に比して、被写体領域の検出精度をより向上させることができる。

請求項３の発明によれば、本構成を有しない場合に比して、被写体領域の検出精度をより向上させることができる。

請求項４の発明によれば、本構成を有しない場合に比して、被写体領域の検出精度をより向上させることができる。

請求項５の発明によれば、本構成を有しない場合に比して、被写体領域の検出精度をより向上させることができる。

請求項６の発明によれば、本構成を有しない場合に比して、被写体領域の検出精度をより向上させることができる。

請求項７の発明によれば、本構成を有しない場合に比して、被写体領域の検出精度をより向上させることができる。

請求項８の発明によれば、本構成を有しない場合に比して、被写体領域の検出精度をより向上させることができる。

請求項９の発明によれば、本構成を有しない場合に比して、被写体領域の検出精度をより向上させることができる。

請求項１０の発明によれば、本構成を有しない場合に比して、被写体領域の検出精度をより向上させることができる。

請求項１１の発明によれば、本構成を有しない場合に比して、被写体領域の検出精度をより向上させることができる。

請求項１２の発明によれば、本構成を有しない場合に比して、被写体領域の検出精度をより向上させることができる。

画像処理装置の構成を例示する図である。ホワイトボードを例示する図である。撮像画像を例示する図である。被写体領域を例示する図である。画像処理装置にて実現される機能群を示す機能ブロック図である。第１のエッジ画像を例示する図である。第２のエッジ画像を例示する図である。第３のエッジ画像を例示する図である。合成エッジ画像を例示する図である。直線候補が特定されたときの様子を概念的に示す図である。

以下、本発明の実施形態の例について図面に基づき詳細に説明する。

［画像処理装置］
図１は、本発明の実施形態に係る画像処理装置２の構成を例示する図である。画像処理装置２は、例えばパーソナルコンピュータであり、制御部４と、主記憶６と、操作部８と、表示部１０と、ハードディスク１２と、を備える。また、これらの他にも、ネットワークとデータ授受を行うためのネットワークインタフェース、及び、外部機器（例えば、デジタルカメラ）とデータ授受を行うためのＩ／Ｏインタフェースなどが備えられる。

制御部４は、例えばマイクロプロセッサであり、主記憶６に記憶されるプログラムに従って情報処理を実行する。主記憶６は、ＲＡＭ及びＲＯＭを含む。主記憶６には上記プログラムが格納される。このプログラムは、ＤＶＤ（登録商標）−ＲＯＭ等のコンピュータ読取可能な情報記憶媒体から読み出されて主記憶６に格納されてもよいし、ネットワーク等の通信網から供給されて主記憶６に格納されてもよい。主記憶６には、情報処理の過程で必要となる各種データも格納される。

操作部８は、例えばマウス及びキーボードであり、利用者が画像処理装置２を操作するためのインタフェースであり、例えばマウス及びキーボード等である。操作部８は、利用者が行った操作の内容を表す情報を制御部４に出力する。表示部１０は、例えば液晶ディスプレイであり、制御部４によって入力される情報を表示する。

ハードディスク１２は、各種情報を記憶するための記憶媒体であり、デジタルカメラ（撮像手段）により撮像されたカラーの画像を表す基礎画像が格納される。この基礎画像は、被写体を撮影したデジタルカメラからＩ／Ｏインタフェースを介して供給される。ここでは、基礎画像は、各画素（位置）の画素値を含む。画素値は、複数の色成分値、すなわち、輝度成分Ｙの値（以下、Ｙ値）、第１色差成分Ｃｂの値（以下、Ｃｂ値）、及び第２色差成分Ｃｒの値（以下、Ｃｒ値）を含む。

ここでは、デジタルカメラにより壁面に設置されたホワイトボード１４が撮影される。図２に、ホワイトボード１４を例示した。同図に示すように、ホワイトボード１４は、横長の矩形形状を有する。ここでは、同図に示すように、ホワイトボード１４には、アルファベット文字「Ｘ」、「Ｙ」、「Ｚ」とが描かれている。

［機能ブロック］
この画像処理装置２では、ユーザが予め定められた被写体抽出操作を行った場合に基礎画像が読み出され、撮像画像が生成されるようになっている。撮像画像は、基礎画像の縮小画像を表し、各画素（位置）の画素値を含む。基礎画像と同様に、画素値は、Ｙ値と、Ｃｂ値と、Ｃｒ値と、を含む。

図３に、撮像画像を例示した。ここでは、ホワイトボード１４に向かって右側の位置からホワイトボード１４を撮影した場合を想定している。同図に示すように、撮像画像には、ホワイトボード１４の画像が含まれる。ハッチングされている部分は壁面を表している。なお、撮像画像には、ｘ座標軸とｙ座標軸とが設定されており、各画素は座標値により特定される。なお、画像サイズが異なるものの、上述の基礎画像も図３に示す撮像画像と同様の画像となる。

また、この画像処理装置２では、ユーザが被写体抽出操作を行った場合に、撮像画像が生成されるだけでなく、ホワイトボード１４の画像に対応する被写体領域１６が撮像画像のうちで検出され、この被写体領域１６に基づいてホワイトボード１４を正面から見たときの画像が生成され表示部１０に表示されるようになっている。図４に、被写体領域１６を例示した。

この画像処理装置２では、被写体抽出操作が行われた場合における被写体領域１６の検出精度の向上が図られている。以下、この点について説明する。

図５は、画像処理装置２にて実現される機能群を示す機能ブロック図である。同図に示すように、画像処理装置２では、エッジ検出部１８と、合成部２０と、線候補特定部２４と、直線確度算出部２６と、領域候補選出部２８と、領域確度算出部３０と、領域選択部３２と、幾何変換パラメータ算出部３４と、幾何変換処理部３６と、を含む。これらの機能は、制御部４が、被写体抽出操作が行われた場合に上記プログラムに従って動作することによって実現される。

［エッジ検出部］
エッジ検出部１８は、まず、撮像画像に対して色分解処理を行うことによって撮像画像を３つの色成分に分解し、第１の色分解画像と第２の色分解画像と第３の色分解画像からなる３つの色分解画像を生成する。各々の色分解画像は、各画素の画素値を含む。第１の色分解画像に含まれる任意の画素の画素値は、撮像画像の当該画素の画素値に含まれるＹ値を表す。第２の色分解画像に含まれる任意の画素の画素値は、撮像画像の当該画素の画素値に含まれるＣｂ値を表す。第３の色分解画像に含まれる任意の画素の画素値は、撮像画像の当該画素の画素値に含まれるＣｒ値を表す。

こうして、３つの色分解画像を生成すると、エッジ検出部１８は、各色分解画像に対してエッジ検出処理を実行する。

すなわち、エッジ検出部１８は、まず、各色分解画像について、各画素におけるエッジ勾配の勾配方向θ及びエッジ強度Ｉを算出する。

より詳しくは、エッジ検出部１８は、色分解画像ごとに、Ｓｏｂｅｌフィルタを用いて、各画素におけるｘ方向のエッジ勾配Ｇｘ及びｙ方向のエッジ勾配Ｇｙを算出し、任意の画素における勾配方向θ及びエッジ強度Ｉを、その画素におけるエッジ勾配Ｇｘ及びエッジ勾配Ｇｙに基づいて算出する。なお、勾配方向θ及びエッジ強度Ｉは、以下の数式で表される。

θ＝ｔａｎ^−１（Ｇｙ／Ｇｘ）
Ｉ＝（Ｇｘ^２＋Ｇｙ^２）^１／２

その結果、第１の色分解画像の各画素における勾配方向θを表す第１のエッジ勾配画像と、第２の色分解画像の各画素における勾配方向θを表す第２のエッジ勾配画像と、第３の色分解画像の各画素における勾配方向θを表す第３のエッジ勾配画像と、が生成される。第１のエッジ勾配画像に含まれる任意の画素の画素値は、第１の色分解画像の当該画素における勾配方向θを表し、第２のエッジ勾配画像に含まれる任意の画素の画素値は、第２の色分解画像の当該画素における勾配方向θを表し、第３のエッジ勾配画像に含まれる任意の画素の画素値は、第３の色分解画像の当該画素における勾配方向θを表す。

また、第１の色分解画像の各画素におけるエッジ強度Ｉを表す第１のエッジ強度画像、第２の色分解画像の各画素におけるエッジ強度Ｉを表す第２のエッジ強度画像、及び第３の色分解画像の各画素におけるエッジ強度Ｉを表す第３のエッジ強度画像も生成される。第１のエッジ強度画像に含まれる任意の画素の画素値は、第１の色分解画像の当該画素におけるエッジ強度Ｉを表し、第２のエッジ強度画像に含まれる任意の画素の画素値は、第２の色分解画像の当該画素におけるエッジ強度を表し、第３のエッジ強度画像に含まれる任意の画素の画素値は、第３の色分解画像の当該画素におけるエッジ強度Ｉを表す。

そして、エッジ検出部１８は、３つのエッジ強度画像及び３つのエッジ勾配画像に基づいて、各色分解画像についてエッジ画素（エッジ位置）を検出する。

すなわち、エッジ検出部１８は、第１のエッジ強度画像及び第１のエッジ勾配画像に基づいて、第１の色分解画像についてエッジ画素を検出する。具体的には、エッジ検出部１８は、キャニー法を用いて、第１の色分解画像のうちからエッジ画素を検出する。ここで、エッジ画素とは、勾配方向のエッジ強度が局所的に最大となる画素のことである。そして、第１のエッジ画像を生成する。第１のエッジ画像は二値画像であり、第１のエッジ画像の各画素値は、「０」又は「１」の値を示す。エッジ画素の画素値は「１」となり、エッジ画素でない画素の画素値は「０」となる。図６Ａに、第１のエッジ画像を例示した。

同様に、エッジ検出部１８は、第２のエッジ強度画像及び第２のエッジ勾配画像に基づいて、第２の色分解画像についてエッジ画素を検出し、二値画像である第２のエッジ画像を生成する。第２のエッジ画像の各画素値は「０」または「１」の値を示す。エッジ画素の画素値は「１」となり、エッジ画素でない画素の画素値は「０」となる。図６Ｂに、第２のエッジ画像を例示した。

同様に、エッジ検出部１８は、第３のエッジ強度画像及び第３のエッジ勾配画像に基づいて、第３の色分解画像についてエッジ画素を検出し、二値画像である第２のエッジ画像を生成する。第３のエッジ画像の各画素値は「０」または「１」の値を示す。エッジ画素の画素値は「１」となり、エッジ画素でない画素の画素値は「０」となる。図６Ｃに、第３のエッジ画像を例示した。

［合成部］
合成部２０は、第１のエッジ画像と、第２のエッジ画像と、第３のエッジ画像と、をＯＲ合成した合成エッジ画像を生成する。画素値が「１」である画素が、エッジ画素（エッジ位置）となる。図７に合成エッジ画像を例示した。

また、合成部２０は、第１のエッジ強度画像、第２のエッジ強度画像、及び第３のエッジ強度画像を合成した合成エッジ強度画像を生成する。合成エッジ強度画像の任意の画素の画素値（エッジ強度）は、第１のエッジ強度画像と第２のエッジ強度画像と第３のエッジ強度画像とのうち当該画素の画素値が表すエッジ強度Ｉが最大のエッジ強度画像、における当該画素のエッジ強度Ｉを表している。合成エッジ強度画像を生成する際、合成部は、各画素について、第１のエッジ強度画像の画素値が表すエッジ強度Ｉと、第２のエッジ強度画像の画素値が表すエッジ強度Ｉと、第３のエッジ強度画像の画素値が表すエッジ強度Ｉと、のうちで最大のエッジ強度を特定することとなる。

また、合成部２０は、第１のエッジ勾配画像と、第２のエッジ勾配画像と、第３のエッジ勾配画像と、を合成した合成エッジ勾配画像を生成する。合成エッジ強度画像の任意の画素の画素値（勾配方向）は、第１のエッジ強度画像の当該画素の画素値が表すエッジ強度Ｉが最大である場合、第１のエッジ勾配画像の当該画素の画素値が表す勾配方向θを示し、第２のエッジ強度画像の当該画素の画素値が表すエッジ強度Ｉが最大である場合、第２のエッジ勾配画像の当該画素の画素値が表す勾配方向θを示し、第３のエッジ強度画像の当該画素の画素値が表すエッジ強度Ｉが最大である場合、第３のエッジ勾配画像の当該画素の画素値が表す勾配方向θを示す。合成エッジ勾配画像を生成する際、合成部２０は、各画素について、第１のエッジ強度画像と第２のエッジ強度画像と第３のエッジ強度画像とのうちで当該画素の画素値が表すエッジ強度Ｉが最大となるエッジ強度画像ＭＡＸを特定するとともに、エッジ強度画像ＭＡＸが第「Ｎ」（Ｎ＝１〜３）のエッジ強度画像であれば、第「Ｎ」のエッジ勾配画像の当該画素の画素値が表す勾配方向θを特定することとなる。

なお、ノイズの影響を避けるため、合成エッジ強度画像のうちにエッジ強度Ｉが閾値強度以下である画素（以下、削除対象画素と呼ぶ）が存在する場合、削除対象画素の画素値が、合成エッジ画像、合成エッジ強度画像、及び合成エッジ勾配画像、から削除される。

［直線候補特定部］
そして、直線候補特定部２４（直線候補特定手段）は、合成エッジ画像が表すエッジ画素の各々をハフ変換することによって、被写体領域１６の領域の輪郭を構成する直線の候補となる直線候補lを複数特定する。

例えば、直線候補特定部２４は、合成エッジ画像が表すエッジ画素の各々をハフ変換して、エッジ画素の数だけ曲線ｒ（θ）を求める。ここで、曲線ｒ（θ）は以下の数式で表される。
ｒ（θ）＝ｘ０×ｃｏｓθ＋ｙ０×ｓｉｎθ

なお、ｘ０は、エッジ画素のｘ座標値であり、ｙ０は、エッジ画素のｙ座標値である。

そして、直線候補特定部２４は、−πから＋πまでの角度範囲を「Ｍ」（Ｍは正の整数）等分してなる「Ｍ」個の注目角度範囲ごとに、所定数以上の曲線が交わる交点のハフ空間における座標値（ハフ変換の結果）を特定し、特定した座標値から直線候補ｌを特定する。

なお、直線候補特定部２４は、必ずしもすべての注目角度範囲について交点の座標値の特定を行わなくてもよい。例えば、直線候補特定部２４は、「Ｍ」個の注目角度範囲のうち、合成エッジ勾配画像が表す勾配方向θに応じた注目角度範囲について交点の座標値の特定を行うようにしてよい。例えば、直線候補特定部２４は、注目角度範囲ごとに、当該注目角度範囲内の角度を示す勾配方向θが合成エッジ勾配画像にて出現する出現数をカウントし、出現数が「１」〜「Ｌ」（「Ｌ」は例えば「４」）番目に多い注目角度範囲について交点の座標値を特定するようにしてよい。また、例えば、直線候補特定部２４は、予め定められた「Ｌ」個の注目画素の各々の合成エッジ勾配画像における勾配方向θを特定し、特定したエッジ勾配方向θを含む注目角度範囲について交点の座標値を特定するようにしてもよい。こうすれば、ノイズの影響を軽減しつつ、高速に直線候補ｌが特定されるようになる。

図８に、直線候補が特定されたときの様子を概念的に示した。１の実践が、１つの直線候補ｌを表している。

［直線確度算出部］
そして、直線確度算出部２６（直線確度算出手段）は、直線候補ｌごとに、当該直線候補が被写体領域１６の輪郭を構成する直線となる確からしさを示す直線確度Ｐ１を算出する。

具体的には、直線確度算出部２６は、任意の直線候補ｌ（以下、直線候補ｌｘと記載する）の直線確度Ｐ１を算出する場合、直線候補ｌｘの近傍の画素の合成エッジ強度画像におけるエッジ強度Ｉと、直線候補ｌｘの近傍の画素の合成エッジ勾配画像における勾配方向θと、直線候補ｌｘの近傍の画素の撮像画像における画素値と、に基づいて直線確度Ｐ１を算出する。

より詳しくは、直線確度算出部２６は、直線候補ｌｘとの間の距離が基準距離Ｓ以下である画素（以下、基準画素と記載する）全部のエッジ強度Ｉを合成エッジ強度画像から読み出し、読み出したエッジ強度Ｉの均一性に関する評価情報を生成する。すなわち、直線確度算出部２６は、読み出したエッジ強度Ｉの分散の逆数Ｄ１を評価情報として算出する。また、直線確度算出部２６は、基準画素全部の勾配方向θを合成エッジ勾配画像から読み出し、読み出した勾配方向θの均一性に関する評価情報を生成する。すなわち、直線確度算出部２６は、読み出した勾配方向θの分散、又は、読み出した勾配方向θと直線候補ｌｘの法線方向又は延伸方向との差の分散、の逆数Ｄ２を評価情報として算出する。

また、直線確度算出部２６は、基準画素全部の画素値を撮像画像から読み出し、読み出した画素値に含まれるＹ値、Ｃｂ値、及びＣｒ値により表される色空間距離、の均一性に関する評価情報を生成する。すなわち、直線確度算出部２６は、読み出した画素値の各々により表される色空間距離を算出し、算出した色空間距離の分散の逆数Ｄ３を評価情報として算出する。

Ｄ１〜Ｄ３は、どれも基準画素の特徴量の均一性を示している。すなわち、Ｄ１は、基準画素のエッジ強度Ｉの均一性を示し、Ｄ２は、基準画素の勾配方向θの均一性を示し、Ｄ３は、基準画素の色空間距離の均一性を示している。

また、直線確度算出部２６は、基準画素全部の画素値を合成エッジ画像から読み出し、読み出した画素値のうち「１」を示す基準画素、すなわち、エッジ画素となっている基準画素の個数を特定し、特定した個数の基準画素の総数に対する割合Ｒを算出する。また、直線確度算出部２６は、合成エッジ画像から読み出した基準画素の画素値に基づいて、直線候補ｌｘ上をスキャンした場合に、連続して出現する「画素値「１」を示す基準画素（エッジ画素となっている基準画素）」の個数Ｃを特定する。個数Ｃは、エッジ画素となっている基準画素の分布に関する情報を示している。

そして、直線確度算出部２６は、逆数Ｄ１、逆数Ｄ２、逆数Ｄ３、割合Ｒ、及び個数Ｃに基づいて、直線候補ｌｘの直線確度Ｐ１を算出する。本実施形態の場合、直線確度算出部２６は、逆数Ｄ１、逆数Ｄ２、逆数Ｄ３、割合Ｒ、及び個数Ｃを、所定の重み付け係数を掛けて足し合わせることにより、直線確度Ｐ１を算出する。

被写体領域１６の輪郭を構成する直線近傍の画素の特徴量（勾配方向θ、エッジ強度Ｉ、色空間距離）はほぼ均一である。そのため、直線候補ｌｘの近傍の画素の特徴量の均一性が高いほど、直線候補ｌｘが被写体領域１６の輪郭を構成する直線である可能性は高いと考えられる。この点、この画像処理装置２では、基準画素の特徴量の均一性を考慮して直線確度Ｐ１が算出される。そのため、基準画素の特徴量の均一性を考慮して直線候補ｌｘが被写体領域１６の輪郭を構成する直線である可能性が評価されるようになり、後に行われる被写体領域１６の検出が高い精度で行われ易くなる。

また、被写体領域１６の輪郭を構成する直線近傍の画素の大部分はエッジ画素になる。そのため、直線候補ｌｘの近傍の画素の多くがエッジ画素であれば、直線候補ｌｘが被写体領域１６の輪郭を構成する直線である可能性は高いと考えられる。この点、この画像処理装置２では、直線候補ｌｘの近傍にあるエッジ画素の数や、直線候補ｌｘの近傍にあるエッジ画素の連なりの長さを考慮して直線確度Ｐ１が算出される。そのため、これらを考慮して直線候補ｌｘが被写体領域１６の輪郭を構成する直線である可能性が評価されるようになり、後に行われる被写体領域１６の検出が高い精度で行われ易くなる。

［領域候補選出部］
次に、領域候補選出部２８は、直線候補特定部２２により特定された複数の直線候補ｌのうちから直線確度Ｐ１が「１」〜「Ｑ」（「Ｑ」は例えば「１０」）番目に大きい直線候補ｌを選出し、選出した「Ｑ」本の直線候補ｌのうちから選出される４本の直線候補ｌにより囲まれる四角形の領域を被写体領域１６の候補となる領域候補Ｋとして選出する。なお、領域候補Ｋは、４本の直線候補ｌの組み合わせの数だけ選出される。

そして、領域確度算出部３０（領域確度算出手段）が、領域候補選出部２８により選出された領域候補Ｋの各々につき、当該領域候補が被写体領域１６となる確からしさを示す領域確度Ｐ２を、当該領域候補Ｋを構成する直線候補ｌの直線確度Ｐ１に基づいて算出する。

本実施形態の場合、領域確度算出部３０は、任意の領域候補Ｋ（以下、領域候補Ｋｘ）の領域確度Ｐ２を算出する場合、まず、領域候補Ｋｘを構成する４本の直線候補ｌの各々の直線確度の平均を指数Ｅ１として算出する。

また、領域確度算出部３０は、領域候補Ｋｘの外接矩形の短辺と長辺の比を指数Ｅ２として算出する。なお、領域確度算出部３０は、領域候補Ｋｘにおける、基準角度（例えば、５度）以下の角度を有する頂点の有無、を指数Ｅ２としてよい。

また、領域確度算出部３０は、領域候補Ｋｘを構成する隣接する２つの辺の各々について、特徴平均を算出し、算出した２つの特徴平均の類似度を、指数Ｅ２として算出する。

例えば、領域確度算出部３０は、隣接する２つの辺のうちの一の辺（以下、辺ｅと記載する）について特徴平均を算出する場合、両辺の交点との間の距離と辺ｅとの間の距離との双方が基準距離Ｓ以下である画素（以下、第２基準画素と記載する）の画素値（すなわち、エッジ強度Ｉ）を、合成エッジ強度画像から読み出し、読み出したエッジ強度Ｉの平均を特徴平均として算出する。或いは、領域確度算出部３０は、第２基準画素の画素値を撮像画像から読み出し、読み出した画素値に含まれるＹ値、Ｃｂ値、及びＣｒ値のうちのいずれかの平均を特徴平均として算出する。或いは、領域確度算出部３０は、撮像画像のグレースケール画像を生成するとともに、第２基準画素の画素値をグレースケール画像から読み出し、読み出した画素値の平均を特徴平均として算出する。

さらに、領域確度算出部３０は、領域候補Ｋｘに含まれる画素の画素値を撮像画像から読み出し、読み出した画素値の均一性に関する評価情報を生成する。例えば、領域確度算出部３０は、読み出した画素値の各々に含まれるＹ値の分散の逆数を、評価情報である指数Ｅ３として算出する。なお、領域確度算出部３０は、読み出した画素値の空間周波数を指数Ｅ３として算出してよい。

さらに、領域確度算出部３０は、ＯＣＲ処理を行うことにより、撮像画像に含まれる、文字を表す文字画像を、領域候補Ｋｘ内で検出し、検出した文字画像の数を指数Ｅ４として設定する。

そして、領域確度算出部３０は、指数Ｅ１〜Ｅ４を、指数Ｅ１〜Ｅ４のそれぞれに所定の重み付け計数を掛けて足し合わせることにより、領域候補Ｋｘの領域確度Ｐ２を算出する。

このように、領域候補Ｋｘを構成する直線候補ｌのそれぞれの直線確度Ｐ１を考慮して領域確度Ｐ２が算出される。そのため、領域候補Ｋｘを構成する直線候補ｌのそれぞれの直線確度Ｐ１を領域候補Ｋｘが被写体領域１６である可能性が評価されるようになり、後に行われる被写体領域１６の検出が高い精度で行われ易くなる。

また、被写体領域１６の輪郭を構成する隣接する２辺の近傍の画素の特徴はほぼ類似する。そのため、領域候補Ｋｘを構成する隣接する２辺の近傍の画素の特徴が類似していれば、領域候補Ｋｘが被写体領域１６である可能性は高いと考えられる。この点、この画像処理装置２では、領域候補Ｋｘを構成する隣接する２辺の近傍の画素の特徴の類似性を考慮して領域確度Ｐ２が算出される。そのため、領域候補Ｋｘを構成する隣接する２辺の近傍の画素の特徴の類似性を考慮して領域候補Ｋｘが被写体領域１６である可能性が評価されるようになり、後に行われる被写体領域１６の検出が高い精度で行われ易くなる。

また、被写体がホワイトボード１４である場合、被写体領域１６内部の画素はほぼ均一の特徴を有する。そのため、領域候補Ｋｘ内部の画素がほぼ均一の特徴を有していれば、領域候補Ｋｘが被写体領域１６である可能性は高いと考えられる。この点、この画像処理装置２では、領域候補Ｋｘ内部の画素それぞれの特徴の均一性を考慮して領域確度Ｐ２が算出される。そのため、領域候補Ｋｘ内部の画素それぞれの特徴の均一性を考慮して領域候補Ｋｘが被写体領域１６である可能性が評価されるようになり、後に行われる被写体領域１６の検出が高い精度で行われ易くなる。

また、被写体がホワイトボード１４である場合、被写体領域１６の内部には多数の文字画像が含まれる場合が多い。そのため、領域候補Ｋｘに多くの文字画像が含まれていれば、領域候補Ｋｘが被写体領域１６である可能性は高いと考えられる。この点、この画像処理装置２では、領域候補Ｋｘ内部の文字画像の数を考慮して領域確度Ｐ２が算出される。そのため、領域候補Ｋｘ内部の文字画像の数を考慮して領域候補Ｋｘが被写体領域１６である可能性が評価されるようになり、後に行われる被写体領域１６の検出が高い精度で行われ易くなる。

［領域選択部］
以上のようにして、各領域候補Ｋの領域確度Ｐ２の算出が完了すると、領域選択部３２（被写体領域検出手段）は、領域確度Ｐ２が最も大きい領域候補Ｋを検出し、被写体領域１６として選択する。

［幾何変換パラメータ算出部］
被写体領域１６が検出されると、幾何変換パラメータ算出部３４は、被写体領域１６を拡大し、拡大した被写体領域１６（以下、拡大被写体領域と記載する）の４つの頂点の座標値を算出する。

なお、ホワイトボード１４の画像が上述した基礎画像において占める領域が、拡大被写体領域となる。

そして、幾何変換パラメータ算出部３４は、算出した各頂点の座標値と、基礎画像に対して予め設定されている矩形領域の各頂点の座標値と、を比較することにより、拡大被写体領域を上記矩形領域へと幾何変換するための幾何変換パラメータを算出する。幾何変換パラメータは、いわゆる射影変換の変換パラメータである。

［幾何変換処理部］
そして、幾何変換処理部３６は、基礎画像から拡大被写体領域の画像、すなわち、基礎画像に含まれるホワイトボード１４の画像を切り出した後、切り出した画像を、幾何変換パラメータ算出部３４により算出された幾何変換パラメータに従って幾何変換し、幾何変換後の画像を表示部１０に表示させる。その結果、ホワイトボード１４を正面から見たときの画像が表示部１０に表示される。

なお、本発明の実施形態は、上記実施形態だけに限らない。

例えば、領域確度算出部３０は、領域候補Ｋｘの外接矩形の短辺と長辺の比ではなく、領域候補Ｋｘのうちの最長辺と領域候補Ｋｘのうちの最短辺との比、を指数Ｅ２として算出してもよい。

また、被写体は、ホワイトボード１４でなくてもよく、例えば、紙媒体であってもよい。

２画像処理装置、４制御部、６主記憶、８操作部、１０表示部、１２ハードディスク、１４ホワイトボード、１６被写体領域、１８エッジ検出部、２０合成部、２４直線候補特定部、２６直線確度算出部、２８領域候補選出部、３０領域確度算出部、３２領域選択部、３４幾何変換パラメータ算出部、３６幾何変換処理部。

Claims

撮像手段により撮像された被写体の画像を含む撮像画像に基づいて、前記被写体の画像に対応する領域である被写体領域の輪郭を構成する直線の候補を複数特定する直線候補特定手段と、
前記直線候補特定手段により特定された候補が前記被写体領域の輪郭を構成する直線となる確からしさを表す直線確度情報を、前記撮像画像に基づいて特定される、当該候補との間の距離が基準距離以内である位置の特徴量に基づいて算出する直線確度算出手段と、
前記直線候補特定手段により特定された複数の候補のうちから選出される所定数の候補により囲まれる領域である注目領域が前記被写体領域である確からしさを表す領域確度情報を、該所定数の候補の各々の直線確度情報に基づいて算出する領域確度算出手段と、
前記領域確度算出手段により算出された領域確度情報に基づいて前記被写体領域を検出する被写体領域検出手段と、
を含み、
前記領域確度算出手段は、
前記注目領域を構成する隣接する２つの辺の各々につき、前記撮像画像に基づいて定まる、当該辺との間の距離が閾値距離以内にある位置の特徴量を取得し、前記２つの辺のうちの一方について取得した特徴量と、他方について取得した特徴量と、の類似度に関する情報を生成し、生成した情報と、前記所定数の候補の各々の直線確度情報と、に基づいて領域確度情報を算出すること、
を特徴とする画像処理装置。
前記直線確度算出手段は、
前記直線候補特定手段により特定された候補との間の距離が前記基準距離以内である位置の特徴量を取得し、取得した特徴量の均一性に関する評価情報に基づいて当該候補の直線確度情報を算出すること、
を特徴とする請求項１に記載の画像処理装置。
ある位置の前記特徴量は、該ある位置のエッジ強度、該ある位置のエッジ勾配の勾配方向、又は、該ある位置の前記撮像画像の画素値が表す色空間距離、であること、
を特徴とする請求項２に記載の画像処理装置。
前記直線確度算出手段は、
前記直線候補特定手段により特定された候補との間の距離が前記基準距離以内である位置の特徴量を取得し、予め定められた条件を満足する特徴量を有する位置の数に基づいて当該候補の直線確度情報を算出すること、
を特徴とする請求項１に記載の画像処理装置。
前記直線確度算出手段は、
前記直線候補特定手段により特定された候補との間の距離が前記基準距離以内である位置の特徴量を取得し、予め定められた条件を満足する特徴量を有する位置の分布に関する情報に基づいて当該候補の直線確度情報を算出すること、
を特徴とする請求項１に記載の画像処理装置。
ある位置の前記特徴量は、該ある位置がエッジ位置であるか否かを示し、
前記条件を満足する特徴量は、エッジ位置であることを示すこと、
を特徴とする請求項４又は５に記載の画像処理装置。
前記領域確度算出手段は、
前記注目領域を構成する隣接する２つの辺の各々につき、当該辺との間の距離が前記閾値距離以内にある位置のエッジ強度、又は、当該辺との間の距離が前記閾値距離以内にある位置の撮像画像における画素値、を取得すること、
を特徴とする請求項１に記載の画像処理装置。
前記領域確度算出手段は、
前記注目領域内の位置の前記撮像画像における画素値を取得し、取得した画素値と、前記所定数の候補の各々の直線確度情報と、に基づいて領域確度情報を算出すること、
を特徴とする請求項１に記載の画像処理装置。
前記領域確度算出手段は、
取得した画素値の均一性に関する評価情報と、前記所定数の候補の各々の直線確度情報と、に基づいて領域確度情報を算出すること、
を特徴とする請求項８に記載の画像処理装置。
前記領域確度算出手段は、
前記注目領域内に含まれる、文字を表す文字画像を検出し、検出した文字画像の数と、前記所定数の候補の各々の直線確度情報と、に基づいて領域確度情報を算出すること、
を特徴とする請求項１に記載の画像処理装置。
撮像手段により撮像された被写体の画像を含む撮像画像に基づいて、前記被写体の画像に対応する領域である被写体領域の輪郭を構成する直線の候補を複数特定する直線候補特定手段、
前記直線候補特定手段により特定された候補が前記被写体領域の輪郭を構成する直線となる確からしさを表す直線確度情報を、前記撮像画像に基づいて特定される、当該候補との間の距離が基準距離以内である位置の特徴量に基づいて算出する直線確度算出手段、
前記直線候補特定手段により特定された複数の候補のうちから選出される所定数の候補により囲まれる領域である注目領域が前記被写体領域である確からしさを表す領域確度情報を、該所定数の候補の各々の直線確度情報に基づいて算出する領域確度算出手段、
前記領域確度算出手段により算出された領域確度情報に基づいて前記被写体領域を検出する被写体領域検出手段、
としてコンピュータを機能させ、
前記領域確度算出手段は、
前記注目領域を構成する隣接する２つの辺の各々につき、前記撮像画像に基づいて定まる、当該辺との間の距離が閾値距離以内にある位置の特徴量を取得し、前記２つの辺のうちの一方について取得した特徴量と、他方について取得した特徴量と、の類似度に関する情報を生成し、生成した情報と、前記所定数の候補の各々の直線確度情報と、に基づいて領域確度情報を算出する、
プログラム。