[go: up one dir, main page]

JP2010205067A - 領域抽出装置、領域抽出方法及び領域抽出プログラム - Google Patents

領域抽出装置、領域抽出方法及び領域抽出プログラム Download PDF

Info

Publication number
JP2010205067A
JP2010205067A JP2009051139A JP2009051139A JP2010205067A JP 2010205067 A JP2010205067 A JP 2010205067A JP 2009051139 A JP2009051139 A JP 2009051139A JP 2009051139 A JP2009051139 A JP 2009051139A JP 2010205067 A JP2010205067 A JP 2010205067A
Authority
JP
Japan
Prior art keywords
region
temporary initial
temporary
initial
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009051139A
Other languages
English (en)
Inventor
Yusuke Omori
裕介 大森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2009051139A priority Critical patent/JP2010205067A/ja
Priority to US12/712,465 priority patent/US8620076B2/en
Publication of JP2010205067A publication Critical patent/JP2010205067A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

【課題】効果の高い初期領域を探すことで正確に所望の領域を抽出することができる。
【解決手段】画像を取得し(ステップS10)、入力された画像に撮影された物体の中心と仮定する位置に仮初期点を設定し(ステップS12)、仮初期点を中心とした大きさの異なる複数の仮初期領域を設定する(ステップS14)。複数の仮初期領域のうち、所望の仮初期領域を選択し、選択した仮初期領域の前景と背景とのそれぞれについてヒストグラムを生成、正規化し(ステップS16)、正規化されたヒストグラムに基づいて分離度を算出する(ステップS18)。全ての仮初期領域に対して算出された分離度のうち最も値が大きい分離度が算出された仮初期領域を初期領域と決定し(ステップS24)、この初期領域を用いて領域抽出を行う(ステップS26)。
【選択図】 図6

Description

本発明は領域抽出装置、領域抽出方法及び領域抽出プログラムに係り、特に初期領域に基づいて所望の領域を抽出する領域抽出装置、領域抽出方法及び領域抽出プログラムに関する。
特許文献1には、被写体の写った主画像と、被写体を除いた副画像についてエッジデータを抽出し、主画像と副画像との各エッジデータの差分強度の閾値処理を行って差分エッジデータを算出し、算出された差分エッジデータの外郭輪郭線を抽出し、この外郭輪郭線をつなぎ合わせて初期領域の抽出を行う方法が記載されている。
特許文献2には、出現頻度が高い画素を見つけて、その近傍から似ている画素の含まれる領域を抽出することで、特定の色(例えば肌色)を有する領域を抽出する方法が記載されている。
特許文献3には、平滑化画素値の大きさや分布形状が所定の条件を満たす(例えば、凸状になっている)ような画素群を初期領域として抽出する方法が記載されている。
特開平10−320566号公報 特開平04−5382号公報 特開平07−41664号公報
所望の領域を抽出するということは、各ピクセルについて、前景に属するのか背景に属するのかを判断する、または前景に属するのか背景に属するのかの確率を計算するということである。
特許文献1〜3に記載の発明は、全て、初期領域の決定を伴って領域抽出をする方法である。各ピクセルが前景に属するか背景に属するかを判断する時に、初期領域の決定を伴って領域抽出をする方法をとる場合、初期領域をどう与えるかという決定が非常に大きな影響を与えることになる。
例えば、特許文献1に記載の発明では、背景画像もしくは所望の領域の近くに、所望の領域以外のエッジが存在する場合には、所望の領域を抽出できないという問題点がある。
また、特許文献2に記載の発明では、必ずしも出現頻度が高いものが所望の領域を満たすとは限らないので、所望の領域が出現頻度が高い画素値をもたない場合には、所望の領域を抽出できないという問題点がある。
特許文献3に記載の発明では、画素の分布が所定の条件を満たすところが所望の領域で無い場合には、所望の領域を抽出できないという問題点がある。
本発明はこのような事情に鑑みてなされたもので、効果の高い初期領域を探すことで、正確に所望の領域を抽出することができる領域抽出装置、領域抽出方法及び領域抽出プログラムを提供することを目的とする。
請求項1に記載の領域抽出装置は、画像を取得する取得手段と、前記取得した画像中に複数の仮の初期領域を設定する仮初期領域設定手段と、前記設定した仮の初期領域の内側の全画素の画素値と、外側の全画素の画素値とがどの程度異なるかを示す指標である分離度を前記仮の初期領域毎に算出する分離度算出手段と、前記算出された分離度が最も高い仮の初期領域を初期領域として設定する初期領域設定手段と、前記設定された初期領域に基づいて領域抽出処理を行う領域抽出手段と、を備えたことを特徴とする。
請求項1に記載の領域抽出装置によれば、画像を取得し、取得した画像中に複数の仮の初期領域を設定し、仮の初期領域の内側の全画素の画素値と、外側の全画素の画素値とがどの程度異なるかを示す指標である分離度を仮の初期領域毎に算出し、算出された分離度が最も高い仮の初期領域を初期領域として設定して領域抽出処理を行う。これにより、初期領域を適切に設定できるため、領域抽出を上手く行うことができる。
請求項2に記載の領域抽出装置は、請求項1に記載の領域抽出装置において、前記取得した画像全体をぼかす処理を行う手段を備え、前記仮初期領域設定手段は、前記画像全体をぼかす処理が行われた画像中に複数の仮の初期領域を設定することを特徴とする。
請求項2に記載の領域抽出装置によれば、取得した画像全体をぼかす処理を行い、ぼかす処理が行われた画像中に複数の仮の初期領域を設定することで、仮初期領域を少し広くしたのと同様の効果が得られる。
請求項3に記載の領域抽出装置は、請求項1又は2に記載の領域抽出装置において、前記分離度算出手段は、前記仮の初期領域の内側の全画素の画素値に基づいて横軸を画素値とする第1の正規化ヒストグラムと、前記仮の初期領域の外側の全画素の画素値に基づいて横軸を画素値とする第2の正規化ヒストグラムとを生成するヒストグラム生成手段と、前記第1、第2の正規化ヒストグラムの各画素値毎の差の絶対値の総和を分離度として算出する手段と、を有することを特徴とする。
請求項3に記載の領域抽出装置によれば、仮の初期領域の内側の全画素の画素値の正規化ヒストグラム(第1の正規化ヒストグラム)と、前記仮の初期領域の外側の全画素の画素値の正規化ヒストグラム(第2の正規化ヒストグラム)とを生成し、第1、第2の正規化ヒストグラムの各画素値毎の差の絶対値の総和を分離度として算出することにより、画素値の分布が最も異なる、すなわち前景と背景が最も大きく異なる仮初期領域を初期領域として設定することができる。
請求項4に記載の領域抽出装置は、請求項1又は2に記載の領域抽出装置において、前記分離度算出手段は、前記仮の初期領域の内側及び外側について画素値の確率分布モデルを作成する手段と、前記仮の初期領域の内側の確率分布モデルと外側の確率分布モデルとの分離度を算出する手段と、を有することを特徴とする。
請求項4に記載の領域抽出装置によれば、仮の初期領域の内側及び外側について画素値の確率分布モデルを作成し、確率分布モデルの分離度を算出することで、分離度が最も高い、すなわち確率分布が最も異なる仮初期領域を初期領域として設定することができる。。
請求項5に記載の領域抽出装置は、請求項1から4のいずれかに記載の領域抽出装置において、前記画素値は、RGB色空間、HSV色空間等の所定の色空間上の値であることを特徴とする。
請求項6に記載の領域抽出装置は、請求項1から5のいずれかに記載の領域抽出装置において、前記仮初期領域設定手段は、前記取得した画像中に任意の点を設定する点設定手段と、前記設定した任意の点を中心とした所定の領域を仮の初期領域として設定する領域設定手段と、を有することを特徴とする。
請求項7に記載の領域抽出装置は、請求項6に記載の領域抽出装置において、前記点設定手段は、前記取得した画像の中心を前記任意の点として設定することを特徴とする。
請求項7に記載の領域抽出装置によれば、画像の中心を任意の点として設定し、任意の点を中心とした所定の領域を仮の初期領域として設定することで、画像の中心に抽出対象が配置されている場合に効率よく仮初期領域を設定できる。
請求項8に記載の領域抽出装置は、請求項6に記載の領域抽出装置において、前記取得した画像からエッジを検出する手段と、前記検出されたエッジの重心を算出する手段と、を備え、前記点設定手段は、前記算出した点群の重心を前記任意の点として設定することを特徴とする。
請求項8に記載の領域抽出装置によれば、取得した画像からエッジを検出し、エッジの重心を任意の点として設定し、任意の点を中心とした所定の領域を仮の初期領域として設定することで、背景に強いエッジが無い場合に効率よく仮初期領域を設定できる。
請求項9に記載の領域抽出装置は、請求項6から8のいずれかに記載の領域抽出装置において、前記仮初期領域設定手段は、前記任意の点を中心とした大きさの異なる矩形領域又は円形領域を前記複数の仮の初期領域として設定することを特徴とする。
請求項9に記載の領域抽出装置によれば、任意の点を中心とした大きさの異なる矩形領域又は円形領域を複数の仮の初期領域として設定することで、処理を早く行うことができる。
請求項10に記載の領域抽出装置は、請求項1から9のいずれかに記載の領域抽出装置において、前記領域抽出手段は、グラフカットアルゴリズムを用いて領域抽出を行うことを特徴とする。
請求項11に記載の領域抽出方法は、画像を取得するステップと、前記取得した画像中に複数の仮の初期領域を設定するステップと、前記設定した仮の初期領域の内側と外側とがどの程度異なるかを示す指標である分離度を前記仮の初期領域毎に算出するステップと、前記算出された分離度が最も高い仮の初期領域を初期領域として設定するステップと、前記設定された初期領域に基づいて領域抽出処理を行うステップと、を備えたことを特徴とする。
請求項12に記載の領域抽出方法は、請求項11に記載の領域抽出方法において、前記複数の仮の初期領域を設定するステップは、(1)前記取得した画像中に任意の点を設定するステップと、(2)前記設定した任意の点を中心とした所定の領域を仮の初期領域として設定するステップと、(3)前記設定した任意の点を中心とし、前記所定の領域と大きさが異なる領域を仮の初期領域として設定するステップと、を有することを特徴とする。
請求項12に記載の領域抽出方法によれば、任意の点を中心とした大きさが異なる複数の領域を仮の初期領域として設定することができる。
請求項13に記載の領域抽出方法は、請求項12に記載の領域抽出方法において、前記複数の仮の初期領域を設定するステップは、(4)前記任意の点を変更するステップと、(5)前記(2)から(4)に示すステップを繰り返し行うステップと、を有することを特徴とする。
請求項13に記載の領域抽出方法によれば、複数の任意の点について、任意の点を中心とした大きさが異なる複数の領域を仮の初期領域として設定することができる。
請求項14に記載の領域抽出方法は、請求項12に記載の領域抽出方法において、前記画像を取得するステップと、前記取得した画像中に複数の仮の初期領域を設定するステップとの間に(6)前記取得した画像中に複数の点を設定するステップと、(7)前記設定した点を中心とした所定の領域を、仮の初期領域として前記複数の点毎に設定するステップと、(8)前記複数の点毎に設定された仮の初期領域毎に、当該仮の初期領域の内側と外側との分離度を算出するステップと、を有し、前記(1)のステップは、前記(8)のステップで算出された分離度が最も大きい仮の所期領域の中心の点を前記任意の点とすることを特徴とする。
請求項14に記載の領域抽出方法によれば、取得した画像中に複数の点を設定し、設定した点を中心とした所定の領域を仮の初期領域として複数の点毎に設定し、仮の初期領域毎に仮の初期領域の内側と外側との分離度を算出し、分離度が一番大きい仮の初期領域を求め、この仮の初期領域の中心の点を中心とした大きさが異なる複数の領域を仮の初期領域として設定し、分離度を仮の初期領域毎に算出し、算出された分離度が最も高い仮の初期領域を初期領域として設定して領域抽出処理を行う。これにより、最適な初期領域を確実に見つけることができる。
請求項15に記載の領域抽出プログラムは、請求項11から14のいずれかに記載の領域抽出方法を演算装置に実行させる。
本発明によれば、効果の高い初期領域を探すことで、正確に所望の領域を抽出することができる。
本発明の第1の実施の形態の領域抽出装置1の概略図である。 仮初期点と仮初期領域の設定方法を説明する図である。 画像と、仮初期点と、仮初期領域との関係を示す図である。 画素値について説明する図である。 図3に示す場合における画素値のヒストグラムを示す図であり、(a)は仮初期領域の内側の画素値のヒストグラムであり、(b)は仮初期領域の外側の画素値のヒストグラムである。 領域抽出装置1の処理の流れを示すフローチャートである。 仮初期点と仮初期領域の設定方法を説明する図である。 図3に示す場合における画素値のヒストグラムを示す図であり、(a)は仮初期領域の内側の画素値のヒストグラムであり、(b)は仮初期領域の外側の画素値のヒストグラムである。 ヒストグラムの例である。
<第1の実施の形態>
図1は、第1の実施の形態に係る領域抽出装置1の全体構造の概略図である。領域抽出装置1は、主として、制御部10と、画像入力部11と、出力部12と、仮初期点設定部13と、仮初期領域設定部14と、初期領域決定部15と、領域抽出部16とで構成される。
制御部10は、領域抽出装置1の全体の動作を統括制御する制御手段として機能するとともに、各種の演算処理を行う演算手段として機能する。また、制御部10はメモリ領域を有し、メモリ領域には制御部10が実行する制御プログラムであるファームウェア等が保存されている。
画像入力部11は、デジタルカメラ、PC、携帯機器等の外部機器や記憶媒体に記憶されている画像を図示しないインターフェースを介して取得し、制御部10へ入力する。
出力部12は、領域抽出部16により所望の領域が抽出された画像を外部機器等へ出力する。
仮初期点設定部13は、制御部10を介して画像入力部11により入力された画像中の任意の点を仮初期点として設定する。本実施の形態では、図2に示すように、入力された画像に撮影された被写体(物体)の中心と仮定する位置に仮初期点を設定する。物体の中心と仮定する位置を算出する方法としては、主として、以下の2通りの方法が考えられるが、物体の位置をある程度推定する方法として公知となっているその他の方法を用いてもよい。
(1)画像の真ん中に物体があると仮定して、画像の中心の座標の点を物体の中心と仮定する方法。この方法は、商品画像(販売対象である商品のみが撮影されている画像)など画像の中心に抽出対象が配置されている場合に効果的である。
(2)エッジがたくさん集中している場所が物体のある場所であると考え、所定の閾値以上の強さを持っているエッジを検出し、検出したエッジを点群とし、当該点群の重心を物体の中心と仮定する方法。この方法は、背景に強いエッジが無い場合に効果的である。
仮初期領域設定部14は、仮初期点設定部13により設定された仮初期点を中心とした領域を仮初期領域として設定する。本実施の形態では、図2に例示するように、仮初期点を中心とし、大きさの異なる複数の仮初期領域R1、R2、R3、R4を設定する。このように、仮初期領域を単純な形状にすることにより、処理を高速化することができる。なお、図2においては、四角形の領域を仮初期領域とした例を示すが、四角形以外の多角形、円形、楕円形等の仮初期領域を設定してもよい。例えば、円形の場合には、半径を変えることにより大きさの異なる複数の仮初期領域を設定することができる。高速に処理が行える点は、四角形以外の場合も四角形の場合と同じである。
初期領域決定部15は、仮初期領域設定部14により設定された複数の仮初期領域の中から、最も適切な仮初期領域を初期領域と決定する。初期領域を決定する基本的な考え方は、仮初期領域設定部14が仮説的に設定した複数の仮初期領域が初期領域として妥当かどうかを確かめるということを各仮初期領域毎に繰り返して、一番妥当である仮初期領域を初期領域として選ぶという考え方である。
本実施の形態では、初期領域決定部15は、各仮初期領域毎に分離度を算出し、その分離度に基づいて仮初期領域が初期領域として妥当かどうかを確かめる。以下、分離度を算出する方法について、図3を用いて説明する。
図3は、赤色の立方体の物体(実際の前景)が略中央に撮影された画像であり、背景(何も撮影されていない部分)の部分は青色である。図3はカラー画像であるため、図3の各画素は、R、G、Bのそれぞれについて0〜255の156階調の画素値を有する。したがって、各画素の画素値は、図4に示すように、256階調を1/16の16階調に圧縮したR、G、Bの3次元座標上の点(r、g、b)として表現される(r:Rの画素値、g:Gの画素値、b:Bの画素値、0≦r、g、b≦15)。
図3は商品画像であるため、仮初期点設定部13は画像の略中心に仮初期点を設定し、仮初期領域設定部14は所定の大きさの四角形の仮初期領域を設定する。仮に、仮初期領域の内側を前景とみなし、仮初期領域の外側を背景とみなし、この前景とみなした領域、背景とみなした領域のそれぞれについて、(0,0,0)を0、(15,0,0)を15近辺、(0,15,0)を2048近辺、(0,0,15)を3410近辺、(15,15,15)を4095とする1次元座標上に各画素の画素値(r、g、b)をプロットすると、図5に示すように、横軸を画素値とするヒストグラム(通常、ヒストグラムは、各値毎の出現頻度に比例する面積をもつ柱を並べた棒グラフとして表現するが、本実施の形態においては、各棒の先端を結んだ曲線として表現する)が作成される。
図3に示す例において、前景とみなした領域は、物体と、背景の一部とで構成される。したがって、図5(a)に示す前景のヒストグラムにおいては、Rを示す15近辺に高い山が現れ、Bを示す3410近辺に低い山が現れる。それに対し、背景とみなした領域は、背景のみで構成される。したがって、図5(b)に示す背景のヒストグラムにおいては、Bを示す3410近辺に高い山が現れる。
前景とみなした領域及び背景とみなした領域のヒストグラムを生成したら、それぞれのヒストグラムを正規化する。そして、正規化後の前景とみなした領域のヒストグラムの出現頻度と、正規化後の背景とみなした領域のヒストグラムの出現頻度との差分を0〜4095の各画素値毎に算出し、その差分の絶対値の総和を求める。ヒストグラムを正規化した後に出現頻度の差分を算出しているため、総和は0〜1の値として算出される。この総和が、前景と背景との分離度を示す値である。分離度が0の場合は前景とみなした領域と背景とみなした領域とが一致していることを示し、分離度が1に近づくほどより前景とみなした領域と背景とみなした領域とが異なっていることを示す。
初期領域決定部15は、各仮初期領域毎に求められた分離度が最も大きい仮所期領域を最も適切な仮初期領域とし、これを初期領域と決定する。
領域抽出部16は、初期領域決定部15が決定した初期領域を用いて領域抽出を行う。領域抽出を行う方法としては、特開2007−307358に記載されているようなグラフカットアルゴリズムや、その他のセグメンテーションの方法を利用することができる。
このようにして構成された領域抽出装置1の作用について説明する。図6は、領域抽出装置1の処理の流れを示すフローチャートである。
画像入力部11は、外部機器等から画像を取得し、制御部10へ入力する(ステップS10)。制御部10は、画像を仮初期点設定部13に入力し、仮初期点設定部13は、入力された画像に撮影された物体の中心と仮定する位置に仮初期点を設定する(ステップS12)。
制御部10は、仮初期点設定部13により仮初期点が設定された画像を取得し、仮初期領域設定部14に入力する。仮初期領域設定部14は、ステップS11において設定された仮初期点を中心とした複数の仮初期領域を設定する(ステップS14)。本実施の形態では、立方体の物体が撮影されているため、あらかじめ想定した領域パターン、すなわち四角形の大きさの異なる複数の仮初期領域を設定する。
制御部10は、仮初期領域設定部14により複数の仮初期領域が設定された画像を取得し、初期領域決定部15に入力する。初期領域決定部15は、ステップS12で設定された複数の仮初期領域のうち、所望の仮初期領域を選択し、選択した仮初期領域の前景と背景とのそれぞれについてヒストグラムを生成し、正規化する(ステップS16)。そして、初期領域決定部15は、正規化されたヒストグラムに基づいて分離度を算出する(ステップS18)。
制御部10は、ステップS14で設定された仮初期領域の全てに対して分離度が算出されたか否かを判断する(ステップS20)。
ステップS14で設定された仮初期領域の全てに対して分離度が算出されていない(ステップS20でNO)場合には、制御部10はまだ分離度が算出されていない仮初期領域を新たに選択し(ステップS22)、初期領域決定部15は新たに選択された(まだ分離度が算出されていない)仮初期領域の前景と背景とのそれぞれについてヒストグラムの生成と正規化(ステップS16)及び分離度の算出(ステップS18)を行う。
ステップS14で設定された仮初期領域の全てに対して分離度が算出された(ステップS20でYES)場合には、初期領域決定部15は、ステップS12で設定された複数の仮初期領域の中で最も妥当性が高いものを初期領域に決定する(ステップS24)。すなわち、初期領域決定部15は、ステップS18において算出された全ての仮初期領域についての分離度のうち最も値が大きい分離度が算出された仮初期領域を初期領域と決定する。
制御部10は、ステップS24で決定した初期領域を領域抽出部16に入力し、領域抽出部16はこの初期領域を用いて領域抽出を行う(ステップS26)。
本実施の形態によれば、複数設定した仮初期領域の中から最適な初期領域を決定するため、領域抽出アルゴリズムを動作させる際に有利な、すなわち適切な初期条件を設定することができる。これにより、初期領域が上手く設定できないために領域抽出をうまく行うことができないという不具合を防止することができる。そのため、初期領域の設定を手作業で行う等の手間がかかるという問題の発生を防止することができる。
また、本実施の形態によれば、仮初期領域の内側を前景とみなし、外側を背景とみなし、これらの分離度を算出することで、この仮初期領域が効果的に前景(物体)と背景を分離する初期領域であるかどうかを確実に判断することができる。
なお、本実施の形態では、入力した画像に対して複数の仮初期領域を設定したが、入力した画像全体をぼかし、ぼかした画像について仮初期領域を設定するようにしてもよい。これにより、仮初期領域を少し広くしたのと同様の効果が得られる。
また、本実施の形態では、画像中の任意の点を仮初期点として設定し、任意の点を中心とした大きさの異なる複数の仮初期領域を設定したが、異なる複数の仮初期領域が設定されるのであれば、仮初期点及び仮初期領域の設定方法はこれに限らない。図7に示すように、複数の仮初期点(数は9個に限定されるものではない)を設定し、仮初期点を中心とする同じ大きさの仮初期領域を各仮初期点毎に設定してもよい。
また、図2に示す仮初期領域の設定方法と、図7に示す仮初期領域の設定方法とを組み合わせてもよい。例えば、まず図7に示すように、複数の仮初期点を設定し、仮初期点を中心とする同じ大きさの仮初期領域を各仮初期点毎に設定し、各仮初期領域毎に分離度を算出する。そして、図2に示すように、分離度が最も大きい仮初期領域の中心にある仮初期点を中心として、大きさの異なる複数の仮初期領域を設定するようにしてもよい。また、複数の仮初期点に対してそれぞれ異なる大きさの複数の仮初期領域を設定するようにしてもよい。
また、本実施の形態では、図5に示すような1次元のヒストグラムを生成したが、各色毎に異なるヒストグラムを生成するようにしてもよい。図8は、図3に示すような背景(何も撮影されていない部分)の部分は青色であり、赤色の立方体の物体(実際の前景)が略中央に撮影された画像の略中心に仮初期点を設定し、立方体の物体が含まれるような四角形の仮初期領域を設定した場合に、仮初期領域の内側及び外側のR、G、B毎のヒストグラムである。この場合は、R,G,Bの全ての出現頻度の和が1となるように、仮初期領域の内側及び外側のヒストグラムをそれぞれ正規化する。正規化したヒストグラムの0〜255の各値毎の出現頻度の差分の総和をR、G、Bの各色毎に算出し、R、G、Bの各色毎に算出された出現頻度の差分の総和を足した値を分離度として算出すればよい。
また、本実施の形態では、0〜255の全ての画素値を用いてヒストグラムを生成したが、例えば1つおきに間引いた画素値(例えば、画素値0,2,4・・・の画素のみ)のみを用いてヒストグラムを作成してもよい。これにより、より高速に処理を行うことができる。
また、本実施の形態では、R、G、Bの画素値を用いてヒストグラムを生成したが、R、G、Bの画素値には限らず、例えばHSVの画素値を用いてもよい。
また、本実施の形態では、カラー画像を例に説明したが、白黒(グレースケール)の画像(例えば、夜間にフラッシュ撮影により撮影された画像)の場合には、明度の値を画素値として本発明を適用することができる。
また、本実施の形態では、正規化したヒストグラムは、分離度を算出することのみに用いたが、正規化したヒストグラムの形状の情報を用いるようにしてもよい。例えば、対象となる画像が花などの自然界の画像である場合には、図9(a)に示すようななだらかな形のヒストグラムとなり、対象となる画像がアニメなどの人工の画像である場合には、図9(b)に示すような急峻な形のヒストグラムとなる。したがって、自然界の画像を解析しているのに急峻な形のヒストグラムが生成された場合には、エラーと判断することで、間違った判断を減らすことができる。
また、本実施の形態では、正規化したヒストグラムに基づいて分離度を算出したが、分離度を算出する方法はこれに限らない。例えば、仮初期領域の内側の画素値及び外側の画素値のそれぞれについて確率分布モデルを作成し、それに基づいて分離度を算出するようにしてもよい。確率分布モデルとしては、例えばガウス混合分布モデルを用いることができるが、この方法には限定されない。また、確率分布モデルの分離度を算出する方法としては、確率分布モデルどうしの距離計算方法として一般的に知られている様々な方法を利用することができる。
本発明は、デジタルカメラ、PC、携帯機器などの装置として提供してもよいし、サーバと端末とが含まれたシステムとして提供してもよい。また、装置やシステムに限らず、装置やシステムに適用するプログラムとして提供することもできる。
1、2、3:領域抽出装置、10:制御部、11:画像入力部、12:出力部、13:仮初期点設定部、14:仮初期領域設定部、15:初期領域決定部、16:領域抽出部

Claims (15)

  1. 画像を取得する取得手段と、
    前記取得した画像中に複数の仮の初期領域を設定する仮初期領域設定手段と、
    前記設定した仮の初期領域の内側の全画素の画素値と、外側の全画素の画素値とがどの程度異なるかを示す指標である分離度を前記仮の初期領域毎に算出する分離度算出手段と、
    前記算出された分離度が最も高い仮の初期領域を初期領域として設定する初期領域設定手段と、
    前記設定された初期領域に基づいて領域抽出処理を行う領域抽出手段と、
    を備えたことを特徴とする領域抽出装置。
  2. 前記取得した画像全体をぼかす処理を行う手段を備え、
    前記仮初期領域設定手段は、前記画像全体をぼかす処理が行われた画像中に複数の仮の初期領域を設定することを特徴とする請求項1に記載の領域抽出装置。
  3. 前記分離度算出手段は、
    前記仮の初期領域の内側の全画素の画素値に基づいて横軸を画素値とする第1の正規化ヒストグラムと、前記仮の初期領域の外側の全画素の画素値に基づいて横軸を画素値とする第2の正規化ヒストグラムとを生成するヒストグラム生成手段と、
    前記第1、第2の正規化ヒストグラムの各画素値毎の差の絶対値の総和を分離度として算出する手段と、
    を有することを特徴とする請求項1又は2に記載の領域抽出装置。
  4. 前記分離度算出手段は、
    前記仮の初期領域の内側及び外側について画素値の確率分布モデルを作成する手段と、
    前記仮の初期領域の内側の確率分布モデルと外側の確率分布モデルとの分離度を算出する手段と、
    を有することを特徴とする請求項1又は2に記載の領域抽出装置。
  5. 前記画素値は、RGB色空間、HSV色空間等の所定の色空間上の値であることを特徴とする請求項1から4のいずれかに記載の領域抽出装置。
  6. 前記仮初期領域設定手段は、
    前記取得した画像中に任意の点を設定する点設定手段と、
    前記設定した任意の点を中心とした所定の領域を仮の初期領域として設定する領域設定手段と、
    を有することを特徴とする請求項1から5のいずれかに記載の領域抽出装置。
  7. 前記点設定手段は、前記取得した画像の中心を前記任意の点として設定することを特徴とする請求項6に記載の領域抽出装置。
  8. 前記取得した画像からエッジを検出する手段と、
    前記検出されたエッジの重心を算出する手段と、を備え、
    前記点設定手段は、前記算出した点群の重心を前記任意の点として設定することを特徴とする請求項6に記載の領域抽出装置。
  9. 前記仮初期領域設定手段は、前記任意の点を中心とした大きさの異なる矩形領域又は円形領域を前記複数の仮の初期領域として設定することを特徴とする請求項6から8のいずれかに記載の領域抽出装置。
  10. 前記領域抽出手段は、グラフカットアルゴリズムを用いて領域抽出を行うことを特徴とする請求項1から9のいずれかに記載の領域抽出装置。
  11. 画像を取得するステップと、
    前記取得した画像中に複数の仮の初期領域を設定するステップと、
    前記設定した仮の初期領域の内側と外側とがどの程度異なるかを示す指標である分離度を前記仮の初期領域毎に算出するステップと、
    前記算出された分離度が最も高い仮の初期領域を初期領域として設定するステップと、
    前記設定された初期領域に基づいて領域抽出処理を行うステップと、
    を備えたことを特徴とする領域抽出方法。
  12. 前記複数の仮の初期領域を設定するステップは、
    (1)前記取得した画像中に任意の点を設定するステップと、
    (2)前記設定した任意の点を中心とした所定の領域を仮の初期領域として設定するステップと、
    (3)前記設定した任意の点を中心とし、前記所定の領域と大きさが異なる領域を仮の初期領域として設定するステップと、
    を有することを特徴とする請求項11に記載の領域抽出方法。
  13. 前記複数の仮の初期領域を設定するステップは、
    (4)前記任意の点を変更するステップと、
    (5)前記(2)から(4)に示すステップを繰り返し行うステップと、
    を有することを特徴とする請求項12に記載の領域抽出方法。
  14. 前記画像を取得するステップと、前記取得した画像中に複数の仮の初期領域を設定するステップとの間に
    (6)前記取得した画像中に複数の点を設定するステップと、
    (7)前記設定した点を中心とした所定の領域を仮の初期領域として前記複数の点毎に設定するステップと、
    (8)前記複数の点毎に設定された仮の初期領域毎に、当該仮の初期領域の内側と外側との分離度を算出するステップと、を有し、
    前記(1)のステップは、前記(8)のステップで算出された分離度が最も大きい仮の所期領域の中心の点を前記任意の点とすることを特徴とする請求項12に記載の領域抽出方法。
  15. 請求項11から14のいずれかに記載の領域抽出方法を演算装置に実行させることを特徴とする領域抽出プログラム。
JP2009051139A 2009-03-04 2009-03-04 領域抽出装置、領域抽出方法及び領域抽出プログラム Pending JP2010205067A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009051139A JP2010205067A (ja) 2009-03-04 2009-03-04 領域抽出装置、領域抽出方法及び領域抽出プログラム
US12/712,465 US8620076B2 (en) 2009-03-04 2010-02-25 Region extraction apparatus and region extraction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009051139A JP2010205067A (ja) 2009-03-04 2009-03-04 領域抽出装置、領域抽出方法及び領域抽出プログラム

Publications (1)

Publication Number Publication Date
JP2010205067A true JP2010205067A (ja) 2010-09-16

Family

ID=42678303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009051139A Pending JP2010205067A (ja) 2009-03-04 2009-03-04 領域抽出装置、領域抽出方法及び領域抽出プログラム

Country Status (2)

Country Link
US (1) US8620076B2 (ja)
JP (1) JP2010205067A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013246674A (ja) * 2012-05-28 2013-12-09 Nippon Telegr & Teleph Corp <Ntt> 図形検出処理装置、図形検出処理方法及び図形検出処理プログラム
JP2015075920A (ja) * 2013-10-09 2015-04-20 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2016122367A (ja) * 2014-12-25 2016-07-07 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9536317B2 (en) 2013-01-17 2017-01-03 Fujifilm Corporation Region segmentation apparatus, recording medium and method

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010205067A (ja) * 2009-03-04 2010-09-16 Fujifilm Corp 領域抽出装置、領域抽出方法及び領域抽出プログラム
US8897553B2 (en) 2011-12-13 2014-11-25 The Nielsen Company (Us), Llc Image comparison using color histograms
US8750613B2 (en) 2011-12-13 2014-06-10 The Nielsen Company (Us), Llc Detecting objects in images using color histograms
US8897554B2 (en) 2011-12-13 2014-11-25 The Nielsen Company (Us), Llc Video comparison using color histograms
WO2014159726A1 (en) * 2013-03-13 2014-10-02 Mecommerce, Inc. Determining dimension of target object in an image using reference object
US10339410B1 (en) * 2016-01-13 2019-07-02 Snap Inc. Color extraction of a video stream
US10089721B2 (en) * 2016-09-08 2018-10-02 Sony Corporation Image processing system and method for object boundary smoothening for image segmentation
CN118365607B (zh) * 2024-04-18 2024-11-22 深圳市聚创立电子科技有限公司 基于嵌入式计算终端的smt产线焊点检测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11296659A (ja) * 1998-04-13 1999-10-29 Sharp Corp 画像処理装置
JPH11344310A (ja) * 1998-06-01 1999-12-14 Fuji Xerox Co Ltd 画像解析装置および方法
JP2005309772A (ja) * 2004-04-21 2005-11-04 Omron Corp 文字成分抽出装置
JP2006260401A (ja) * 2005-03-18 2006-09-28 Toshiba Corp 画像処理装置、方法、およびプログラム
JP2007307358A (ja) * 2006-04-17 2007-11-29 Fujifilm Corp 画像処理方法および装置ならびにプログラム
JP2008102946A (ja) * 1999-10-22 2008-05-01 Toshiba Corp 画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システム
JP2008262560A (ja) * 2008-04-07 2008-10-30 Toshiba Corp 映像検索方法及び映像検索装置
JP2008547097A (ja) * 2005-06-17 2008-12-25 マイクロソフト コーポレーション イメージセグメンテーション

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3019836A1 (de) * 1980-05-23 1982-01-21 Siemens AG, 1000 Berlin und 8000 München Verfahren zum automatischen erkennen von bild- und text- oder graphikbereichen auf druckvorlagen
DE3650496T2 (de) * 1985-04-17 1996-10-31 Hitachi Ltd Bildverarbeitungsgerät
US5068788A (en) * 1988-11-29 1991-11-26 Columbia Scientific Inc. Quantitative computed tomography system
JP2602457B2 (ja) 1990-04-20 1997-04-23 株式会社ユーシン シリンダ錠
US5134871A (en) 1989-10-20 1992-08-04 U-Shin Ltd. Cylinder lock
JP2808773B2 (ja) * 1990-01-09 1998-10-08 株式会社日立製作所 階調変換自動化装置
FR2670979A1 (fr) * 1990-12-21 1992-06-26 Philips Electronique Lab Procede de segmentation binaire locale d'images numerisees, par seuillage d'histogramme.
JP3381800B2 (ja) 1993-07-26 2003-03-04 東洋紡績株式会社 金属メッキされた難燃性ポリアミド成形物
DE4445386C1 (de) * 1994-12-20 1996-05-02 Ibm Verfahren und Vorrichtung zur Trennung einer Vordergrundinformation von einer Hintergrundinformation in einer Vorlage
JP3221291B2 (ja) * 1995-07-26 2001-10-22 ソニー株式会社 画像処理装置、画像処理方法、ノイズ除去装置及びノイズ除去方法
US5862249A (en) * 1995-12-01 1999-01-19 Eastman Kodak Company Automated method and system for determination of positional orientation of digital radiographic images
JPH10320566A (ja) 1997-05-19 1998-12-04 Canon Inc 画像処理装置、画像処理方法及びその方法を記憶した記憶媒体
US6453069B1 (en) * 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image
US5845009A (en) * 1997-03-21 1998-12-01 Autodesk, Inc. Object tracking system using statistical modeling and geometric relationship
US6256416B1 (en) * 1998-11-13 2001-07-03 Xerox Corporation Blocking signature detection for identification of JPEG images
US6219450B1 (en) * 1998-11-13 2001-04-17 Xerox Corporation Blocking signature detection for identification JPEG images
US6195457B1 (en) * 1998-11-13 2001-02-27 Xerox Corporation Blocking signature detection for identification of JPEG images
US6385342B1 (en) * 1998-11-13 2002-05-07 Xerox Corporation Blocking signature detection for identification of JPEG images
JP2001188910A (ja) 1999-10-22 2001-07-10 Toshiba Corp 画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システム
GB2367966B (en) * 2000-10-09 2003-01-15 Motorola Inc Method and apparatus for determining regions of interest in images and for image transmission
GB2377333A (en) * 2001-07-07 2003-01-08 Sharp Kk Segmenting a pixellated image into foreground and background regions
EP1353516A1 (en) * 2002-04-08 2003-10-15 Mitsubishi Electric Information Technology Centre Europe B.V. A method and apparatus for detecting and/or tracking one or more colour regions in an image or sequence of images
JP2004005383A (ja) 2002-04-19 2004-01-08 Sony Corp 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置並びに肖像写真撮影装置
US7298898B2 (en) * 2003-04-15 2007-11-20 Honeywell International Inc. System and method for image segmentation
US7391895B2 (en) * 2003-07-24 2008-06-24 Carestream Health, Inc. Method of segmenting a radiographic image into diagnostically relevant and diagnostically irrelevant regions
KR100506095B1 (ko) * 2003-11-17 2005-08-03 삼성전자주식회사 지능형 시스템에 있어서 표식검출방법 및 장치
US7889895B2 (en) * 2003-12-12 2011-02-15 Agency For Science, Technology And Research Method and apparatus for identifying pathology in brain images
US7705908B2 (en) * 2003-12-16 2010-04-27 Eastman Kodak Company Imaging method and system for determining camera operating parameter
US7609888B2 (en) * 2005-07-01 2009-10-27 Microsoft Corporation Separating a video object from a background of a video sequence
JP2007041664A (ja) 2005-08-01 2007-02-15 Olympus Corp 領域抽出装置および領域抽出プログラム
US7379593B2 (en) * 2005-12-21 2008-05-27 Xerox Corporation Method for image segmentation from proved detection of background and text image portions
US7885463B2 (en) * 2006-03-30 2011-02-08 Microsoft Corp. Image segmentation using spatial-color Gaussian mixture models
US20090003698A1 (en) * 2007-04-26 2009-01-01 Heligon Limited Segmentaton of digital images
EP2151801B1 (en) * 2008-04-11 2016-05-11 Panasonic Intellectual Property Corporation of America Image processing device, method, and storage medium
JP4912374B2 (ja) * 2008-09-10 2012-04-11 富士フイルム株式会社 顔イラスト画生成方法及び顔イラスト画生成装置
JP2010205067A (ja) * 2009-03-04 2010-09-16 Fujifilm Corp 領域抽出装置、領域抽出方法及び領域抽出プログラム
JP2012058845A (ja) * 2010-09-06 2012-03-22 Sony Corp 画像処理装置および方法、並びにプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11296659A (ja) * 1998-04-13 1999-10-29 Sharp Corp 画像処理装置
JPH11344310A (ja) * 1998-06-01 1999-12-14 Fuji Xerox Co Ltd 画像解析装置および方法
JP2008102946A (ja) * 1999-10-22 2008-05-01 Toshiba Corp 画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システム
JP2005309772A (ja) * 2004-04-21 2005-11-04 Omron Corp 文字成分抽出装置
JP2006260401A (ja) * 2005-03-18 2006-09-28 Toshiba Corp 画像処理装置、方法、およびプログラム
JP2008547097A (ja) * 2005-06-17 2008-12-25 マイクロソフト コーポレーション イメージセグメンテーション
JP2007307358A (ja) * 2006-04-17 2007-11-29 Fujifilm Corp 画像処理方法および装置ならびにプログラム
JP2008262560A (ja) * 2008-04-07 2008-10-30 Toshiba Corp 映像検索方法及び映像検索装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013246674A (ja) * 2012-05-28 2013-12-09 Nippon Telegr & Teleph Corp <Ntt> 図形検出処理装置、図形検出処理方法及び図形検出処理プログラム
US9536317B2 (en) 2013-01-17 2017-01-03 Fujifilm Corporation Region segmentation apparatus, recording medium and method
JP2015075920A (ja) * 2013-10-09 2015-04-20 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9679386B2 (en) 2013-10-09 2017-06-13 Casio Computer Co., Ltd. Image processing device capable of segmenting an image into plural areas
JP2016122367A (ja) * 2014-12-25 2016-07-07 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US8620076B2 (en) 2013-12-31
US20100226574A1 (en) 2010-09-09

Similar Documents

Publication Publication Date Title
JP2010205067A (ja) 領域抽出装置、領域抽出方法及び領域抽出プログラム
EP3048579B1 (en) Structure analysis method for recovering missing structures in an image after object removal
US9652855B2 (en) Image processing apparatus that identifies image area, and image processing method
JP5974589B2 (ja) 画像処理装置およびプログラム
JP2015211471A (ja) 画像処理装置及び方法
US10026002B2 (en) Object detection apparatus, method for detecting object, and learning apparatus
JP6497162B2 (ja) 画像処理装置および画像処理方法
CN114119695B (zh) 一种图像标注方法、装置及电子设备
CN104239873A (zh) 图像处理装置及处理方法
CN111062331B (zh) 图像的马赛克检测方法、装置、电子设备及存储介质
US20170309024A1 (en) Image processing device, image processing method, and computer-readable recording medium
JP6338429B2 (ja) 被写体検出装置、被写体検出方法及びプログラム
KR20130078130A (ko) 가우시안 혼합 모델 및 알지비 클러스터링을 이용한 오브젝트 분할방법
CN110176021A (zh) 结合亮度校正的显著性信息的水平集图像分割方法及系统
Suryawibawa et al. Herbs recognition based on Android using OpenCV
JP2013037539A (ja) 画像特徴量抽出装置およびそのプログラム
KR20160127206A (ko) 홍채영역에서의 속눈썹 제거 시스템 및 그 방법
JP2017500662A (ja) 投影ひずみを補正するための方法及びシステム
CN104573085A (zh) 图像检索方法、图像检索装置和终端
JP6546385B2 (ja) 画像処理装置及びその制御方法、プログラム
KR101643550B1 (ko) 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법
JP2008084109A (ja) 目開閉判定装置及び目開閉判定方法
JP2011170554A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
CN108133210B (zh) 一种图像格式识别方法及装置
JP6613625B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110818

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120808

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121019