JP3008235B2

JP3008235B2 - 被写体抽出装置

Info

Publication number: JP3008235B2
Application number: JP04242459A
Authority: JP
Inventors: 修司小野
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1991-09-12
Filing date: 1992-09-11
Publication date: 2000-02-14
Anticipated expiration: 2015-02-14
Also published as: JPH05274438A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像情報処理の際に、
画像から所定の被写体を抽出する被写体抽出装置に関す
るものである。

【０００２】

【従来の技術】人間が画像を見て、その中に何があるか
を認識する。この動作は２つのステップに分解できると
いわれる。視点を動かし、認識対象を視野の中心に捕ら
え、同時に物体の大きさを把握する「発見・抽出」の動
作を行なう第１のステップ、そして注視点に存在する物
体が何であるかを、記憶や知識と照らし合わせて「判
別」する第２のステップである。人間は通常、この２つ
のステップを繰り返しながら、外界の情報を獲得してい
る。

【０００３】これに対し、マッチングに代表される、従
来の画像処理によるパターン認識技術においては、第２
のステップに重きがおかれ、第１の「発見・抽出」の部
分については、人間が介在して対象の切り出しや大きさ
の正規化を行なってやる必要があったり、郵便番号の自
動読みとり機に代表されるように、あらかじめ位置決め
された位置に対象物体を置かなければならなかったりと
いった制限があるものがほとんどであった。また、大き
さや位置の変化に強いパターン認識手法としては、不変
量に基づいて判別を行なう各種の方法が提案されてい
る。たとえば、セントラルモーメントを用いる方法、フ
ーリエ記述子を用いる方法、平均２乗誤差を用いる方法
などがあるが、これらの方法は、認識のために複雑な積
分演算や座標変換を行なう必要があり、どこに対象物体
があるのかわからない場合や、扱う画像が大きい場合に
は、膨大な計算量が必要となってしまう。また、これら
の方法は、画像中に複数の物体が存在する場合には、互
いの存在がノイズとなって認識結果を誤らせてしまう可
能性もあり、実用上、十分な方法ではない。

【０００４】対象物体の大きさや位置のずれに強いその
他の認識モデルとして、ネオコグニトロンがある（福
島：位置ずれに影響されないパターン認識機構の神経回
路モデル−ネオコグニトロン、電子通信学会論文誌A,J6
2-A(10),pp658-665,Oct.1979）。ネオコグニトロンは、
パターンマッチングを対象物体の微小部分に対して行な
い、その位置ずれを階層構造に依って、何段かに分けて
吸収しながら行なうという原理によるものである。この
ため、正確な認識とずれの吸収を両立させるためには、
おのずと限界が生じる。通常、ネオコグニトロンでは、
大きさに対しては４倍程度の変動しか許容できないとい
われる（永野：大きさに不変な特徴抽出をするニューラ
ルネット、コンピュートロール，NO.29,pp26-31 ）。同
様に、位置ずれに対しても対象物体の大きさの２〜３倍
程度しか許容できない。最近になって提案された選択的
注意の機構を組み込んだネオコグニトロンにおいても、
この許容能力は同様である。

【０００５】一方で、人間の視覚機能が、どのようにし
てこの第１のステップを実行しているかは、未だに解明
されていないが、視点の動作の様子に関しては、かなり
解明されつつある（樋渡：生体系における視聴覚情報処
理、情報処理,Vol.23,No.5,pp451-459(1982)、あるいは
外山：視覚系の構造と機能、情報処理,Vol.26,No.2,pp1
08-116(1985)等）。眼球運動には、サッケード運動、追
従運動、固視微動などがある事が知られている。これら
の運動をシミュレートするようなモデルもいくつか提案
されているが、画像の微分値の大きい方へ移動する（中
野：パターン識別学習システム、映像情報(I) ，1987/
1,pp31-37、あるいは白鳥ら：擬似網膜マスクによるサ
ッケード運動のシミュレーション、テレビ学技報 ITEJ
Tec.Rep.Vol.14,No.36,pp25-30, ICS ’90-54,AIPS’90
-46,June,1990)、明度の高い方へ移動する（平原ら：注
視点特定のためのニューラルネット、テレビ学技報 ITE
J Tec.Rep.Vol.14,No.33,pp25-30, VAI ’90-28,June,1
990)、あるいは輪郭の曲率の大きな点に移動する（乾
ら：特開平2-138677号公報）等、余りに単純で、いずれ
も人間の視覚機能をうまく模倣しているとはとてもいい
がたいものであった。

【０００６】さらに、認識対象を捕らえ、その全体を含
む領域を抽出するためには、対象物体の部分的な特徴に
のみ捕らわれることなく、対象全体の中心において視点
の運動が安定（停止）することが必要であるが、前述し
た既存の各種モデルでは、いずれもこのような動作を行
なわせることはできていない。例えば前述した白鳥らの
擬似網膜マスクによる方法では、視点は物体の輪郭線の
回りを行ったり来たりするだけで安定せず、また乾らの
モデルでは、視点はいつまでたっても物体のごく一部分
の特徴点しか捕らえることができない。また、ほとんど
の手法は、物体の背景が単純であることを暗黙の前提条
件として必要としており、一般写真のような自然画像に
対してほとんど適用できないものである。

【０００７】以上のように、位置ずれや大きさの変化を
人間が介在して吸収したり、あらかじめ位置や大きさの
正規化されていることが前提条件となっている場合に
は、良好な認識が可能な様々な手法が存在するが、認識
のために画像から対象とする被写体全体を、そっくり抽
出する優れた手法は存在しない。

【０００８】

【発明が解決しようとする課題】上述したように、人間
は認識すべき対象をあらかじめ外界の画像から適当な大
きさで抽出してから、効率的に認識処理を行っている。
これに対し、従来提案されてきた方法は、１つの処理系
で、外界画像中の対象物を認識しようとするため、非常
に複雑な手順や、膨大な時間が必要だったり、あるい
は、抽出部分に人間が介在する必要があったり、画像の
背景が単純である必要があったり、という問題があり、
十分実用に耐えられるものではなかった。これらの問題
はいずれも、認識すべき対象物体を外界の画像中から抽
出する有効な方法が存在せず、認識システムの判別部に
大きな負担をかけるような構造になっていたためであ
る。

【０００９】また、これらの方法は、対象被写体が画像
中に複数存在する場合、一度抽出した被写体を再度抽出
してしまうことがあり、これは未抽出の対象被写体の抽
出を妨げ、抽出の効率を低下させるという不都合を生じ
ている。

【００１０】本発明は上記事情に鑑み、与えられた画像
から適切に精度良く所定の被写体を抽出することのでき
る被写体抽出装置を提供することを目的とするものであ
る。

【００１１】さらに本発明は、与えられた画像中に対象
とする被写体が複数存在する場合であっても、同じ被写
体を再度抽出することなく、効率良く被写体の抽出を行
う被写体抽出装置を提供することを目的とするものであ
る。

【００１２】

【課題を解決するための手段】本発明による第１の被写
体抽出装置は、画像から所定被写体候補を抽出するため
の抽出領域を決定する被写体抽出装置において、前記画
像全体のポテンシャル場のマップを作成し、該マップ中
のポテンシャルの極小点を基準として、前記所定被写体
の大きさおよび／または形状に応じて抽出領域を決定す
る手段を備えたことを特徴とするものである。

【００１３】また、本発明による第２の被写体抽出装置
は、画像から所定の大きさを有する注目領域の範囲の画
像を切り出す手段と、この切り出された画像もしくはこ
の画像を複素対数座標変した画像の全体の動き、画像内
に含まれる所定被写体候補の色および／または画像内に
含まれる所定被写体候補の輪郭線の傾きに基づいて、所
定被写体候補の色、輪郭線などの成分の注目領域中心点
に対する方位と強度とを方位ベクトルとして求める手段
と、この方位ベクトルを合成してポテンシャル場の傾斜
ベクトルを求める手段と、このポテンシャル場の傾斜ベ
クトルを画像全体に記録することによりポテンシャル場
のマップを作成する手段と、このポテンシャル場のマッ
プの極小点を基準として、所定被写体候補の大きさおよ
び／または形状に応じて抽出領域を決定する手段とを備
えたようにしたことを特徴とするものである。

【００１４】また、ここで「ポテンシャル場」について
説明する。人間が、画像を見る際には、画像を見まわし
て、その画像の中にある所定の被写体（例えば、空を背
景とした人間の顔の画像であれば、その顔）の中心に視
点を移動して、その部分が顔であるということを認識す
る。画像上においては、所定被写体から離れた位置で
は、視点を所定被写体に向けて大きく動かす必要があ
り、所定被写体の近傍では、わずかに視点を動かせば所
定被写体に到達し、その所定被写体において視点は安定
する。すなわち、視点を移動する方向と量を視点移動ベ
クトルとすると、この視点移動ベクトルは視点が現在あ
る位置からみた視点安定点の方向と、移動量を示すもの
であり、視点安定点、すなわち所定被写体の中心点にお
いては、視点移動ベクトルは０となる。ここで画像に視
点安定度の「場」というものがあると考えると、視点安
定点ではその「場」は平坦であり、視点移動の必要な不
安定点では「場」は傾いている。このように、視点移動
ベクトルは「場」の傾きを表現していると見なすことが
でき、視点の移動は「場」のポテンシャルの低い方へと
移動する動作に等しいと見なすことができる。この視点
安定度の「場」を「ポテンシャル場」として、以後用い
ることとする。

【００１５】また、画像全体について算出された各ポテ
ンシャル場の傾斜ベクトルに基づいて前記画像全体のポ
テンシャル場のマップを作成するということは、ポテン
シャル場の傾斜ベクトルを人間の視点移動ベクトルと対
応させて、このポテンシャル場の傾斜ベクトルの矢印の
向いている方向にポテンシャル場が傾いているものとみ
なし、所定被写体候補の中心点においてポテンシャル場
の傾斜ベクトルは０、すなわちポテンシャル場が極小点
となるように場の傾きを画像全体について記録すること
をいう。このようにして作成されたマップを見れば画像
のある場所の視点が、その後どのような軌跡を描いて、
極小点に落ち込んでいくかが一目瞭然に理解できる。こ
の極小点を基準として所定被写体の大きさおよび／また
は形状に応じて抽出領域を決定するのである。

【００１６】さらに、上述した方位ベクトルを合成する
際に、必要があれば位相シフトもしくは重み付けを加え
るようにしてもよい。

【００１７】さらに本発明による第３の被写体抽出装置
は、所定被写体候補を抽出した後、画像中の所定被写体
候補が抽出された領域についてマスキング等の方法によ
り、再抽出防止処理を施す再抽出防止手段を備えたこと
を特徴とするものである。

【００１８】なお、本発明の被写体抽出装置における所
定被写体候補の抽出の各種具体的な態様は、請求項１か
ら32に記載した通りのものであり、課題を解決するため
の手段としてここにその内容を繰返すのは冗長となるの
で、ここでは省略する。

【００１９】

【作用】本発明による被写体抽出装置は、画像から所定
被写体候補を抽出するための抽出領域を決定する被写体
抽出装置において、所定被写体候補の抽出を行う画像全
体のポテンシャル場のマップを作成し、このマップ中の
ポテンシャルの極小点を基準として、所定被写体候補の
大きさおよび／または形状に応じて抽出領域を決定する
ようにしたものである。このため、特定の被写体のみで
なく、いかなる形状の所定被写体をも抽出することが可
能であり、また、画像における所定被写体候補の背景が
複雑であっても所定被写体候補を抽出することができ
る。

【００２０】なお、具体的な手段として、画像から所定
の大きさを有する注目領域の範囲の画像を切り出手段
と、切り出された画像から所定被写体候補の輪郭線を検
出して、この輪郭線が注目領域の中心点を囲む同心円の
円周方向に対して所定角度傾いた成分から方位ベクトル
を求める手段と、必要があれば所定角度の位相シフトも
しくは重みを加えてからこの方位ベクトルを合成してポ
テンシャル場の傾斜ベクトルを求めて、このポテンシャ
ル場の傾斜ベクトルを画像全体について求めてポテンシ
ャル場のマップを作成する手段と、このマップ中のポテ
ンシャル場の極小点を基準として所定被写体候補の大き
さおよび／または形状に応じて抽出領域を決定する手段
とを備えるようにしてもよい。さらに、切り出した画像
を複素対数座標変換しても、実空間座標における場合と
同様にポテンシャル場のマップを求め、所定被写体候補
を抽出することが可能である。

【００２１】さらに、画像から所定の大きさを有する注
目領域の範囲の画像を切り出して、この切り出された画
像から所定被写体候補の色と略一致する色の領域を検出
して、この領域の方位と距離とを求め、この方位と距離
とからポテンシャル場の傾斜ベクトルを求めてポテンシ
ャル場のマップを作成し、このマップ中のポテンシャル
場の極小点を基準として所定被写体候補の大きさおよび
／または形状に応じて抽出領域を決定するようにしても
よい。

【００２２】ここで、所定被写体候補の色と略一致する
とは、図54に示すような色度図上において、所定被写体
候補の色度値と注目領域の大きさの範囲で切り出された
画像の任意の点における色度値との距離があるしきい値
よりも小さい場合のことをいう。すなわち、ある点にお
ける色度値が、所定被写体候補の色度値と色度図上にお
いて所定のしきい値を越えて離れている場合は、その点
からなる領域は抽出されず、所定のしきい値よりも小さ
い場合は、その点からなる領域を抽出するものである。

【００２３】また、切り出された画像を複素対数座標変
換しても、実空間座標における場合と同様にポテンシャ
ル場のマップを求め、所定被写体候補を抽出することが
可能である。

【００２４】さらに、抽出された各領域のうち、所定被
写体候補の色との一致度が大きい領域と該領域の近傍の
領域とを互いに協調させることによって色との一致度が
大きい領域を強調するとともに、この色との一致度が大
きい領域とこの領域とは離れた位置にある所定被写体候
補の色との一致度が小さい領域とを互いに競合させるこ
とによってこの色との一致度が小さい領域を消去し、こ
の強調された領域の複素対数座標上での方位を方位ベク
トルとして検出し、ポテンシャル場のマップを作成する
ようにすれば、所定被写体候補の色との一致度が大きい
領域をより抽出し易くなるために好ましい。

【００２５】このように、所定被写体候補を抽出するよ
うにすれば、特定の被写体のみではなく、いかなる形状
の所定被写体候補をも抽出することが可能であり、ま
た、画像における所定被写体候補の背景が複雑であって
も所定被写体候補を抽出することができる。さらに、画
像の全面に対して処理を行う必要が無くなるため、演算
時間を短縮することができる。

【００２６】さらに、所定の時間差を有する複数の時刻
における注目領域の範囲の画像を切り出し、まずこれら
画像間の被写体の輪郭線の差分を算出し、この差分に基
づいて注目領域内での面内平行方向の画像の動きを検出
するようにし、これと同時に、注目領域の範囲の各画像
を複素対数座標変換し、この複素対数座標変換された画
像から、被写体の放射方向の輪郭線の差分を算出して画
像の面内回転方向の動きを、被写体の円環方向の輪郭線
の差分を算出して画像の放射方向の動きをそれぞれ検出
するようにし、さらに、検出された面内平行方向、面内
回転方向および／または放射方向の画像の動きに基づい
て、背景の動きを補償し、この背景の動きが補償された
画像から背景とは異なる動きをしている物体の輪郭線を
検出して、この輪郭線が複素対数座標の円環方向に対し
て所定角度傾いた成分から方位ベクトルを求め、必要が
あれば所定角度の位相シフトもしくは重みを加えてから
この方位ベクトルを合成してポテンシャル場の傾斜ベク
トルを求めて、このポテンシャル場の傾斜ベクトルを画
像全体に記録してポテンシャル場のマップを求め、この
マップの極小点を基準として物体の大きさおよび／また
は形状に応じて所定被写体候補を抽出するための抽出領
域を決定するようにしてもよい。

【００２７】このように所定被写体候補を抽出すること
により、注目領域内において所定被写体候補だけが動い
ている場合だけでなく、画像全体が動いている場合でも
背景の動きを補償し、ポテンシャル場のマップを求め
て、所定被写体候補だけを抽出することが可能である。
また、画像における所定被写体候補の背景が複雑であっ
ても所定被写体候補を抽出することができる。さらに、
画像の全面に対して処理を行う必要が無くなるため、演
算時間を短縮することができる。

【００２８】また、切り出された画像を複素対数座標変
換しても、実空間座標における場合と同様に所定被写体
候補を抽出することが可能である。

【００２９】また、上述したように、輪郭線に基づいた
所定被写体候補の抽出と、色に基づいた所定被写体候補
の抽出とを同時に行うようにすれば、所定被写体候補の
抽出をより正確に抽出することができる。

【００３０】さらに、上述したように、輪郭線に基づい
た所定被写体候補の抽出と、動きに基づいた所定被写体
候補の抽出とを同時に行うようにしても、所定被写体候
補の抽出をより正確に抽出することができる。

【００３１】さらに、輪郭線に基づいた所定被写体候補
の抽出と、色に基づいた所定被写体候補の抽出と、動き
に基づいた所定被写体候補の抽出とを同時に行うように
すれば、所定被写体候補をより一層正確に抽出すること
が可能となるため好ましい。

【００３２】このようにして抽出領域を決定するように
すれば、注目領域はポテンシャル場の傾きにより、所定
被写体候補の極小点、すなわち、所定被写体候補の中心
点を求めることができ、極めて精度良く、効率的に所定
被写体候補の抽出を行うことができる。

【００３３】また、上述した所定被写体候補を抽出する
方法は、特定の被写体のみではなく、いかなる形状の所
定被写体候補をも抽出することが可能であり、また、画
像における所定被写体候補の背景が複雑であっても所定
被写体候補を抽出することができる。

【００３４】また、切り出された画像を複素対数座標変
換しても、実空間座標における場合と同様にポテンシャ
ル場のマップを求め、所定被写体候補を抽出することが
可能である。

【００３５】また、本発明による別の被写体抽出装置
は、画像から所定被写体候補の抽出後、画像の所定被写
体候補が抽出された領域について再抽出防止処理を施す
ようにしたため、同一画像中に所定被写体候補が複数存
在する場合でも、一度抽出した所定被写体候補を再度抽
出してしまうことを防ぐことができる。

【００３６】

【実施例】以下、本発明の実施例について、図面を参照
して説明する。

【００３７】図１は、本発明による被写体抽出方法の第
１実施例の基本的概念を示すブロック図である。なお、
本実施例は、ニューラルネットワークを用いてポテンシ
ャル場の傾斜ベクトルを決定し、このポテンシャル場の
傾斜ベクトルに基づいてポテンシャル場のマップを作成
して、このポテンシャル場のマップから所定被写体の候
補を抽出して、抽出した所定被写体候補を、この所定被
写体候補が所定被写体であるか否かを判定する被写体認
識に用いるものとする。

【００３８】図１に示すように、本実施例はニューラル
ネットワークを用いて所定被写体候補の輪郭線、色およ
び動きに基づいて、画像全体についてのポテンシャル場
の傾斜ベクトルを算出するニューラルネット部３と、ニ
ューラルネット部３において算出されたポテンシャル場
の傾斜ベクトルに基づいて画像全体のポテンシャル場の
マップを作成し、このマップのポテンシャルの極小点を
基準として、所定被写体候補の大きさおよび／または形
状に応じて抽出領域を決定する抽出領域決定部４とから
なる。

【００３９】まずニューラルネット部３において、画像
上に注目領域の中心点位置および注目領域のサイズを設
定して、画像から注目領域の範囲の画像を取り込み、次
いで所定被写体候補の動き、輪郭線および色に基づいて
ポテンシャル場の傾斜ベクトルを算出し、このポテンシ
ャル場の傾斜ベクトルを合成し、この合成したポテンシ
ャル場の傾斜ベクトルに基づいて、ポテンシャル場のマ
ップが作成される。ポテンシャル場のマップが作成され
ると、このマップのポテンシャンの極小点を基準として
所定被写体候補の大きさおよび／または形状に応じて所
定被写体候補が切り出され、すなわち抽出され、判定を
行う判別部に引き渡される。

【００４０】なお、上述したニューラルネット部３にお
いては、人間が視点を移動する方向と同様の方向にポテ
ンシャル場の傾斜ベクトルが向かうようにニューラルネ
ットワークが構成される。人間の視点の移動は例えば、
人間が図２に示すような図形を眺める場合を考えると、
過去の研究により注視点は物体の輪郭や端点上に長時間
留まるという報告がなされており、注視点は図２(b) の
点線で囲んだＳ部に留まるものである。また、眺めた物
体を一つの塊として認識する瞬間には、注視点は輪郭線
上にはなく、輪郭線で囲まれた中心部分に留まることが
経験上認識されている。例えば図２(a) のような図形を
眺めた場合は注視点は点線で囲んだＳ部に留まる。すな
わち、人間の視点は、輪郭線に囲まれた物体の中心点、
あるいは、線分の交点や多角形の頂角において安定する
ということがいえる。よって、注目領域周辺にのみ被写
体が存在するときには、まずその被写体の方向にポテン
シャル場の傾斜ベクトルが向き、ある程度被写体に近づ
いた後は、その被写体の中心もしくは頂角等へと傾斜ベ
クトルが向くようなポテンシャル場の傾斜ベクトルを出
力するというような機能を有するように、ニューラルネ
ットワークを構成すればよい。

【００４１】次にニューラルネット部３における物体の
輪郭線に基づくポテンシャル場の傾斜ベクトルの算出に
ついて説明する。

【００４２】図３は、この所定被写体候補の輪郭線に基
づいてポテンシャル場の傾斜ベクトルを算出する機能を
有するニューラルネットワークの構成を表す図である。
このニューラルネットワークの入力は時刻ｔにおける所
定の大きさの注目領域から入力される外界の画像であ
る。また、出力は、注目領域に対しどちらの方向がより
安定するかという方位、また、その場所において注目領
域がどれくらい不安定かという不安定度である。これが
二次元のベクトル、すなわちポテンシャル場の傾斜ベク
トルとなる。

【００４３】本実施例におけるニューラルネットワーク
の基本構造は階層型であるが、一部の層内ｅ１，ｅ２層
では相互結合もしているため複合型ともいえる。また、
階層型として有名なバックプロパゲーションモデルで
は、各層間の各ニューロン同士はすべて互いに結合して
いる構造がとられるのに対し、このニューラルネットワ
ークでは、各層同士で位置が対応するニューロンと、そ
の近傍のニューロンとの間にのみ結合が限定されている
局所結合型になっている。このため、各層間のシナプス
数を相当低減でき、演算時間の短縮を実現できる。ま
た、相互結合層内の各ニューロン間の結合も同様に、位
置的に近いものどうしの間にのみ存在する。このような
局所的な結合構造は、人間の眼の網膜から脳の１次視覚
野にかけてみられる神経回路と同様の構造となってい
る。

【００４４】次に、このニューラルネットワークの各層
の機能について説明する。このニューラルネットワーク
は画像をニューラルネットワークに入力するａ層、入力
された画像の複素対数座標変換（対数極座標変換）を行
うｂ層、放射方向の各輪郭線を検出するｃ１，ｃ２層、
放射方向の輪郭線の端点を検出するｄ層、円環方向の輪
郭線を選択する相互結合回路網層であるｅ１層および、
放射方向の輪郭線を選択する相互結合回路網層であるｅ
２層、所定被写体候補の円環方向の輪郭線成分と注目領
域中心点との偏心度検出層であるｆ１層、所定被写体候
補の放射方向の輪郭線成分と注目領域中心点との偏心度
検出層であるｆ２層、所定被写体候補の円環方向の方位
ベクトル検出層であるｇ１層、所定被写体候補の放射方
向の方位ベクトル検出層であるｇ２層、検出された円環
方向の方位ベクトルを合成する方位ベクトル合成層であ
るｈ１層、検出された放射方向の方位ベクトルを合成す
る方位ベクトル合成層であるｈ２層、およびポテンシャ
ル場の傾斜ベクトルを出力するｉ層から構成されてい
る。なお、本実施例のニューラルネットワークにおいて
は、ｂ層以降の各層間あるいは各層内のシナプス結合
は、空間不変（スペースインバリアント）とした。これ
は、モデルシミュレーションや並列処理の実行容易性を
考慮したためで、必ずしも空間不変である必要はない。
しかし、空間不変としておくことで、各ニューロンの出
力は、シナプス結合マトリックスと前段のニューロン層
マトリックスとのコンボリューション（シナプス結合パ
ターンとのマッチング）演算結果を、非線形関数に通し
たものに相当するので、ニューラルネットワークのシミ
ュレーションを計算機上で行う場合、計算的な扱いが非
常に楽になる。

【００４５】まず、このニューラルネットワークに入力
された画像は、ｂ層において注目領域の中心点を極とし
て複素対数座標変換される。このｂ層において画像を複
素対数座標変換することで、ｂ層以降のニューラルネッ
トワークの動作を画像データの配列と空間不変なシナプ
ス結合データ配列とのコンボリューションとして計算的
に扱うことができることになる。

【００４６】ここで、図４に、様々な図形が複素対数座
標変換された結果を示す。複素対数座標変換では、極す
なわち注目領域中心点が所定被写体候補の中心にあれ
ば、図４(a) に示すように同心円状の曲線が水平の直線
に、図４(b) に示すように放射状の線が垂直な直線に、
また三角形は図４(c) に示すような形に変換される。

【００４７】ここで、変換前の空間座標上の点Ｗ（ｘ，
ｙ）を、数学的に複素表現でｚ＝ｘ＋ｉｙ (1) とすれば、複素対数座標変換された点Ｗ′はＷ′＝ｌｎ（ｚ）＝ｌｎ（｜ｚ｜）＋ｊθ_Z (2) となる。ここでｚ＝（ｘ²＋ｙ²）^1/2 (3) θ_Z＝tan ^-1（ｙ／ｘ） (4) である。すなわち、複素対数座標変換は複素対数座標に
おける距離軸が注目領域中心点からの距離の対数値、方
位軸が注目領域中心点の周囲の角度となるように変換す
ることである。

【００４８】複素対数座標変換された画像はｃ１，ｃ２
層において、複素対数座標上でそれぞれ円環方向、放射
方向の各輪郭線が抽出される。

【００４９】ここで、複素対数座標の円環方向とある
が、これは複素対数座標の方位軸方向を意味するもので
ある。すなわち、複素対数座標の方位軸は実空間座標の
原点（本発明においては注目領域の中心点）をとりまく
角度を表わしており、実空間座標において原点を中心と
する円は複素対数座標では方位軸に平行な直線となる。
したがって複素対数座標の方位軸を円環方向としたもの
である。また、複素対数座標の距離軸は実空間座標の原
点からの距離を表わしており、実空間座標において原点
を通る放射状の直線は複素対数座標では距離軸に平行な
直線となる。したがって、複素対数座標の距離軸を方位
軸に平行な円環方向に対して放射方向と呼ぶこととす
る。

【００５０】ｄ層においては、放射方向の輪郭線が抽出
されたｃ２層の画像から、ある所定被写体候補が手前に
存在する別の物体に遮ぎられた場合にその境界で発生す
る放射方向の輪郭線端点を抽出する。ｅ１，ｅ２層は、
それぞれ円環方向、放射方向の輪郭線が選択されるよう
な局所相互重み結合を有する相互結合層であり、ｅ１層
において、ｃ１層で検出された円環方向の輪郭線のうち
円環方向に連続性の高い線分、強度の大きな線分が強調
され、独立した線分や弱い輪郭線は消去される。また、
ｅ２層においては、ｃ２層で検出された放射方向の輪郭
線のうち放射方向に連続性の高い線分、強度の大きな輪
郭線が強調され、独立した線分や弱い輪郭線は消去され
る。

【００５１】次いで、ｆ１層において、ｅ１層の相互結
合層で選択された円環方向の輪郭線から円環方向に対し
てある一定角度傾いた成分が抽出される。すなわち、図
５に示すような円環方向の輪郭線51に対して右上がりの
傾き成分抽出用シナプス結合52および左上がりの傾き成
分抽出用シナプス結合53で重み付けられた信号として伝
達される。この傾き成分抽出用シナプス結合52，53は、
＋成分が並んでいる方向の輪郭線を強め合い、＋と−の
両成分に渡る輪郭線を打ち消し合ってしまうため、この
ようなシナプス結合で円環方向の輪郭線51を重み付けら
れた信号として伝達すると、輪郭線の右上がりの傾き成
分51a および左上がりの傾き成分51b が抽出される。な
お、本実施例においては、傾き成分抽出用シナプス結合
52，53により円環方向輪郭線が複数対数座標の円環方向
に対して20〜30度傾いた成分が抽出される。

【００５２】一方で、ｆ２層において、ｅ２層の相互結
合層で選択された放射方向の輪郭線から円環方向に対し
てある一定角度傾いた成分が抽出される。すなわち、図
６に示すような放射方向の輪郭線54に対して左上がりの
傾き成分抽出用シナプス結合55および右上がりの傾き成
分抽出用シナプス結合56で重み付けられた信号として伝
達され、輪郭線の左上がりの傾き成分54a および右上が
りの傾き成分54b が抽出される。なお、本実施例におい
ては、傾き成分抽出用シナプス結合55，56により放射方
向輪郭線が複数対数座標の円環方向に対して60〜70度傾
いた成分が抽出される。

【００５３】次に、以上のようにして求められた輪郭線
の成分からのポテンシャル場の傾斜ベクトルの求め方に
ついて説明する。なお、ここでは簡単のため、ｅ１層以
降におけるポテンシャル場の傾斜ベクトルの合成につい
て、まず説明する。

【００５４】図７は本発明の第１実施例によるニューラ
ルネットワークの図３におけるｅ１層、ｆ１層、ｇ１
層、ｈ１層およびｉ層の部分を抽出し、より詳細に示し
た図である。

【００５５】図７に示すように、各層間はシナプス結合
によって結合されている。ｅ１層およびｆ１層は、ニュ
ーロンが２次元状に整列した構造になっている。ｅ１層
内で興奮しているニューロンの分布は、ｅ１層内のシナ
プス相互結合によって選択された、所定被写体候補の輪
郭線の円環方向の成分に相当している。

【００５６】ｅ１層からｆ１Ａ層へと興奮信号を伝達す
るシナプス結合62の重み係数は、ｅ１層内の興奮の分布
のうち、左上がりの傾き成分61のみを伝達しやすいよう
に設定されている。このため、図７においては、ｆ１Ａ
層では、傾き成分61の位置に相当するニューロン群63の
みが興奮する。次いで、ｆ１Ａ層から、方位ベクトルを
検出するために、ｇ１Ａ層へと興奮信号が伝達される。
ｇ１Ａ層は１次元に配列されたニューロン層で、ｆ１Ａ
層の同一方位にあるニューロン群からの信号を受けるよ
うにシナプス結合によって結合されている。この結果、
ニューロン群63の方位に対応する、ｇ１Ａ層のニューロ
ン64が興奮する。このニューロン64の方位と興奮の強さ
が方位ベクトルを表すものである。この際、より好まし
くは、ニューロン群63の方位とニューロン64の方位と
が、一定角度βだけずれる、すなわち位相シフトするよ
うにｆ１Ａ層とｇ１Ａ層との結合を設定するのがよい。
なお、位相シフトにかえて、図８に示すように、ｆ１Ａ
層とｇ１Ａ層との結合は、注目領域から離れた位置に相
当するｆ１Ａ層のニューロンからの結合重みほど、大き
くなるように重みＷを加えるようにしてもよい。また、
位相シフトと重みＷとを併用するようにすれば、より好
ましい。

【００５７】同様に、右上がりの傾き成分60の興奮もｆ
１Ｂ層からｇ１Ｂ層へと伝達され、方位ベクトルを表す
ニューロン66が興奮する。この場合も好ましくは、位相
シフトβおよび／または重みＷとを加えるとよい。

【００５８】次に、このようにしてｇ１Ａ層およびｇ１
Ｂ層において求められた方位ベクトルはｈ１層において
合成されてｉ層においてポテンシャル場の傾斜ベクトル
が決定される。このポテンシャル場の傾斜ベクトルの合
成は極座標上で行なっても実空間座標上で行なってもか
まわないものであり、図７では実空間座標上で合成した
場合を示す。ニューロン64，66からの興奮は、逆複素対
数座標変換されながらｉ層に伝達される。ｉ層では各方
位ベクトルの重心が求められ、これが合成されたポテン
シャル場の傾斜ベクトルとして出力される。なお、ここ
でｉ層への入力は、主要被写体の中心へ向かう方位ベク
トルの検出とその合成のみを説明してきたが、実際には
ｉ層には、主要被写体の輪郭の集中点に向かう方位ベク
トルも入力され、後述するように適切に合成される。

【００５９】以下、上述した方法により、注目領域が所
定被写体候補の位置に近づくにつれて変化するポテンシ
ャル場の傾斜ベクトルが求められる状態について説明す
る。図９は注目領域の中心点と所定被写体候補とが、様
々な距離にある場合のポテンシャル場の傾斜ベクトルの
求められる状態を複素対数座標と実空間座標とを対応さ
せて表した図である。なお、ここでは簡単のため所定被
写体候補を円形として、この円に向かうポテンシャル場
の傾斜ベクトルの求め方について説明する。

【００６０】まず、図９(a) に示すように、注目領域73
に所定被写体候補71の１部分が入っている場合、図９
(a) の複素対数座標において、複素対数座標変換された
所定被写体候補71′の輪郭線のうち一定角度αおよび−
α傾いた成分がｆ１層において検出される。この一定角
度αは、ｆ１層において抽出された円環方向の輪郭線が
円環方向に対してなす角度であり、円環方向に対して右
上がりを正、左上がりを負としたものである。この一定
角度αおよび−α傾いた成分がｇ１層において方位ベク
トル74，74（実空間座標においては方位ベクトル72，7
2）として検出される。ここで、ポテンシャル場の傾斜
ベクトルがより一層所定被写体候補中心点Ｏに向き易く
するため一定角度αの方位ベクトルに対しては＋βの、
一定角度−αの方位ベクトルに対しては−βの位相シフ
トを加えるとともに、注目領域中心点から一定角度α，
−α傾いた成分までの距離に応じた重みを加え、実空間
座標における方位ベクトル74′，74′を得る。方位ベク
トル74′，74′が得られると、ｈ１層においてこれらの
合成ベクトルが求められ、この合成ベクトルがポテンシ
ャル場の傾斜ベクトル75となる。

【００６１】次に、図９(b) に示すように、所定被写体
候補71と注目領域中心点Ｑとがある程度近づいている、
すなわち注目領域73内に所定被写体候補71が入っている
場合、一定角度αおよび−α傾いた点はそれぞれ２つず
つ検出され、これに従い方位ベクトル74も４種類検出さ
れる。この場合も、図９(a) に示した場合と同様に、そ
れぞれの方位ベクトル74に対して位相シフト＋βおよび
−βと、重み付けを加えてポテンシャル場の傾斜ベクト
ル75が得られる。

【００６２】以下、図９(c) に示す状態においても同様
にポテンシャル場の傾斜ベクトル75が得られ、注目領域
中心点Ｑと所定被写体候補71の中心点Ｏが一致した状態
においてはポテンシャル場の傾斜ベクトルは０となる。

【００６３】なお、上述した位相シフトβの値は、ポテ
ンシャル場の傾斜ベクトル75が所定被写体候補71の方向
に向かうように、０度以上90−α度未満に設定される
（90−α度を越えるとポテンシャル場の傾斜ベクトル75
が所定被写体候補71とは反対方向に向いてしまうた
め）。

【００６４】また、上述した方位ベクトル74，72に加え
る重みは、前述した輪郭線の一定角度αおよび−α傾い
た成分から注目領域中心点までの距離に応じて設定さ
れ、ポテンシャル場の傾斜ベクトル75が所定被写体候補
の中心点を向くように、距離が離れているほど大きな重
みで結合される。

【００６５】なお、上述した一定角度αの値であるが、
注目領域中心点Ｑが所定被写体候補の外側にある場合
は、αは０度以上90度以下であれば必ずα点が存在する
（αが90度のときは方位ベクトルは所定被写体候補に接
し、α点は１点のみとなる）。逆に、注目領域中心点Ｑ
が所定被写体候補の内側にあるときには、注目領域中心
点Ｑと所定被写体候補の中心点Ｏとの距離およびαの値
によってはα点が存在しない場合がある。実験から所定
被写体候補が円の場合はαが25度のとき、注目領域中心
点Ｑと所定被写体候補の中心点Ｏとの距離が所定被写体
候補の半径の60％程度になると、α点は存在しなくな
る。さらに、αが45度のときは、注目領域中心点Ｑと所
定被写体候補の中心点Ｏとの距離が所定被写体候補の半
径の80％程度で、α点は存在しなくなる。したがって、
αが小さいほど所定被写体候補の中心点Ｏの近くでも注
目領域中心点Ｑへ向かうベクトルの出力が可能である
が、実際の所定被写体候補は厳密な円ではなく種々多様
な形状をしているため、抽出する所定被写体候補に応じ
てαを設定するのが好ましく、経験的にいって自然画像
に関してはαを20〜30度前後に設定するのが好ましい。

【００６６】次に、ｆ２層、ｇ２層およびｈ２層におけ
るポテンシャル場の傾斜ベクトルの決定について説明す
る。

【００６７】図10は注目領域の中心点と所定被写体候補
とが様々な距離にある場合のポテンシャル場の傾斜ベク
トルの求められる状態を複素対数座標と実空間座標とを
対応させて表した図である。

【００６８】まず、図10(a) に示すように、注目領域73
に所定被写体候補76の一部分が入っているときは、図10
(a) の複素対数座標において、複素対数座標変換された
所定被写体候補76′の輪郭線のうち一定角度α′および
−α′傾いた成分がｆ２層において検出される。この一
定角度α′は、ｆ２層において抽出された放射方向の輪
郭線が円環方向に対してなす角度であり、円環方向に対
して右上がりを正、左上がりを負としたものである。こ
の一定角度α′および−α′傾いた成分がｇ２層におい
て方位ベクトル77として検出される。ここで、ポテンシ
ャル場の傾斜ベクトルをより一層所定被写体候補76の輪
郭線の交点Ｔに向き易くするため一定角度α′の方位ベ
クトルに対しては＋β′の、一定角度−α′の方位ベク
トルに対しては−β′の位相シフトを加えるとともに、
重みを加え、実空間座標における方位ベクトル77′を得
る。方位ベクトル77′が得られると、ｈ２層においてこ
れらの合成ベクトルが求められ、この合成ベクトルがポ
テンシャル場の傾斜ベクトル78となり、ｉ層において出
力される。

【００６９】以下、図10(b) ，(c) および(d) に示す状
態においても同様にポテンシャル場の傾斜ベクトル78が
得られ、注目領域中心点Ｑと所定被写体候補76の輪郭線
の交点Ｔが一致した状態でにおいてポテンシャル場の傾
斜ベクトルは０となる。

【００７０】ここで、上述した一定角度α′の値である
が、頂角の角度が小さく、しかもα′の値が小さい値の
ときは、α′点は２つ、−α′点も２つ存在する。とこ
ろが、α′がある値より大きくなるとα′点は１つ（−
α′点も１つ）しか存在しなくなるがα′が90度未満で
あれば、少なくとも１つのα′点は存在する。α′点が
２つ存在するような条件下では、単に注目領域中心点か
らα′点に向かう方向ベクトルを合成したものが注目領
域を頂角へと移動させるポテンシャル場の傾斜ベクトル
であるが、問題となるのはα′点が１つしか存在しない
かまたは全く存在できない場合である。実験により、一
定角度α′の値が小さいと被写体の頂角が大きくなる程
α′点が存在しなくなってしまう。したがって、どのよ
うな大きさの頂角に対しても注目領域が頂角に向って移
動するためには、まずα′点が存在しなければならな
い。そこで、一定角度α′の値は、90度に近い値が好ま
しいといえる。

【００７１】また、位相シフトβ′の値であるが、図11
に示すように注目領域中心点Ｑと頂角とが同一水平線上
にあり、頂角は水平線を挟んで上下に対称に広がり、か
つα′点が１つしか存在しないような場合には、方位ベ
クトル77の合成ベクトルであるポテンシャル場の傾斜ベ
クトル78は、頂角とは反対の方向を向いてしまう。この
ため図12に示すような位相シフトβ′を加えて、ポテン
シャル場の傾斜ベクトル78が頂角の方向を向くようにす
るには、少なくとも方位ベクトル77が注目領域中心点Ｑ
を通る垂線79の右側に達するまで位相シフトβ′を加え
てやればよい。このβ′の値は、 β′＞α′−Ｃ／２かつ０＜β′＜90° （但しＣは検出しようとしている頂角の値であり、０＜
Ｃ＜360 °）に設定される。

【００７２】このようにして、適当な位相シフトと重み
付けを加えることにより、所定被写体候補76の輪郭線が
いかなる角度で交わっている場合にもその交点へと向か
うポテンシャル場の傾斜ベクトルを求めることができ
る。

【００７３】以上のようにして求められたｈ１層におけ
るポテンシャル場の傾斜ベクトルおよびｈ２層における
ポテンシャル場の傾斜ベクトルはｉ層により適切に合成
されて出力される。以下、ｉ層の機能について説明す
る。

【００７４】上述したｈ１層において決定されるポテン
シャル場の傾斜ベクトルおよびｈ２層において決定され
るポテンシャル場の傾斜ベクトルは、情況によりそれぞ
れ異なる場合がある。例えば、注目領域中心点が所定被
写体の外側にある場合には、上述した２種類のポテンシ
ャル場の傾斜ベクトルは同方向のベクトルとなるが、所
定被写体のごく近傍や所定被写体の内部においては２種
類のポテンシャル場の傾斜ベクトルは異なるものとなっ
てくる。このため、ｈ１層およびｈ２層で決定されるそ
れぞれのニューラルネットワークの出力をバランスよく
利用すれば、目的とする所定被写体に応じたポテンシャ
ル場の傾斜ベクトルを求めることができる。例えば、所
定被写体の部分的な特徴形状をとらえて、学習等に利用
したい場合には、ｉ層においてｈ２層のニューラルネッ
トワークの出力を重視し、また、所定被写体の全体をと
らえたい場合には、ｉ層においてｈ１層のニューラルネ
ットワークの出力を重視する等すればよい。

【００７５】上述した所定被写体候補の輪郭線に基づく
注目領域移動ベクトルの算出と並行して、所定被写体候
補の動きに基づく注目領域移動ベクトルの算出も行われ
る。

【００７６】動画の場合には、背景に対して動いている
物体が所定被写体候補となり得る可能性が高い。そこ
で、背景をキャンセルし、動いている物体のみを抽出し
て注目領域を移動させることにより的確に所定被写体候
補の抽出を行うことができる。

【００７７】以下、ニューラルネットワーク部３におけ
る物体の動きに基づく注目領域移動ベクトルの算出につ
いて説明する。

【００７８】図13は、物体の動きに基づいてポテンシャ
ル場の傾斜ベクトルの算出の基本的概念を表すブロック
図である。なお、本実施例にニューラルネットワークを
用いて画像から所定被写体候補であるヨットの候補を抽
出するものとする。

【００７９】図13に示すように、本実施例はニューラル
ネットワークのステップＡにおいて、画像上に注目領域
の中心点位置を設定して画像から注目領域の範囲の画像
を取り込み、次いでステップＢにおいて画像の動き、す
なわち画像の面内平行方向、面内回転方向および／また
は放射方向の動きを検出し、ステップＣにおいて背景の
動きをキャンセル（補償）する。さらに、ステップＤに
おいて、背景と異なる動きをしている物体、すなわち所
定被写体候補を検出し、ステップＥにおいてこの異なる
動きをしている物体に向かうポテンシャル場の傾斜ベク
トルを算出するものである。

【００８０】ここで、画像の動きについて説明する。画
像の動きは、以下の３種類の動きに相当するものであ
る。すなわち、 (1) 視線に垂直な面内での画像面に平行な動き（眼球運
動、または画像入力器（カメラ等）が視線方向と垂直に
移動するような動作に相当） (2) 注視点を中心に拡大または縮小する動き（画像入力
器が視線方向に沿って外界に近づくまたは遠ざかる動作
に相当） (3) 視線を軸に右または左に回転する動き（画像入力器
が視線方向を軸として回転する動作に相当）に相当するものである。逆に、どのような動きもこの３
種類の動きに分類できるものである。

【００８１】図14は、上述した画像の動きを検出するニ
ューラルネットワークの一構成を表す図である。

【００８２】このニューラルネットワークの入力は、所
定の大きさの注目領域から入力される外界の画像であ
る。また、出力は画像の移動方向を表す信号である。な
お、上述した平行な動きは実空間においてスペースイン
バリアントであるため、動きの検出は実空間で行うのが
好ましい。一方、拡大または縮小する動き、回転する動
きについては、実空間ではスペースバリアントだが、複
素対数座標空間に変換してやるとスペースインバリアン
トとして扱うことができるため、これらの動きの検出は
複素対数座標空間で行うのが好ましい。

【００８３】次に、このニューラルネットワークの各層
の機能について説明する。このニューラルネットワーク
は、画像の平行な動きを検出するニューラルネットワー
ク10と、拡大または縮小の動きおよび回転の動きを検出
するニューラルネットワーク20とに分けられる。また、
本実施例におけるニューラルネットワークの基本構造は
階層型である。画像の平行な動きを検出するニューラル
ネットワーク10は、所定の大きさの注目領域を有し、こ
の注目領域の大きさに画像を切り出してニューラルネッ
トワークに入力するＡ１層、切り出した画像に時間遅れ
を加えるＡ２層、Ａ１層において切り出された画像中に
存在する被写体の輪郭線を検出するＣ１層、Ａ２層にお
ける画像中に存在する被写体の輪郭線を検出するＣ２
層、Ｃ１層において輪郭線が検出された画像とＣ２層に
おいて輪郭線が検出された画像との差分を求めるＤ１
層、Ｄ１層において求められた差分から、所定の方向の
成分だけを抽出するＥ１，Ｅ２，Ｅ３，Ｅ４層およびＥ
１，Ｅ２，Ｅ３，Ｅ４層において抽出された輪郭線の成
分に基づいて、画像の動きを平行な動きの方位として出
力するＦ１層とから構成されている。

【００８４】一方、ニューラルネットワーク20は、所定
の大きさの注目領域を有し、この注目領域の大きさに画
像を切り出してニューラルネットワークに入力するＡ３
層、切り出した画像に時間遅れを加えるＡ４層、Ａ３層
において切り出された画像を複素対数座標変換するＢ１
層、Ａ４層における画像を複素対数座標変換するＢ２
層、Ｂ１層において複素対数座標変換された画像中に存
在する被写体の輪郭線を検出するＣ３層、Ｂ２層におい
て複素対数座標変換された画像中に存在する被写体の輪
郭線を検出するＣ４層、Ｃ３層において輪郭線が検出さ
れた画像とＣ２層において輪郭線が検出された画像との
差分を求めるＤ２層、Ｄ２層において求められた差分か
ら、放射方向の成分だけを抽出するＥ５，Ｅ６層、Ｄ２
層において求められた差分から円環方向の成分だけを抽
出するＥ７，Ｅ８層、Ｅ５，Ｅ６層において抽出された
輪郭線の成分に基づいて、画像の動きを拡大または縮小
の動き、すなわち放射方向の方位として出力するＦ２
層、Ｅ７，Ｅ８層において抽出された輪郭線の成分に基
づいて、画像の動きを回転の動きの方位として出力する
Ｆ３層とから構成されている。

【００８５】なお、本実施例のニューラルネットワーク
においては、Ｂ層以降の各層間あるいは各層内のシナプ
ス結合は、空間不変（スペースインバリアント）とし
た。これは、モデルシミュレーションや並列処理の実行
容易性を考慮したためで、必ずしも空間不変である必要
はない。しかし、空間不変としておくことで、各ニュー
ロンの出力は、シナプス結合マトリックスと前段のニュ
ーロン層マトリックスとのコンボリューション（シナプ
ス結合パターンとのマッチング）演算結果を、非線形関
数に通したものに相当するので、ニューラルネットワー
クのシミュレーションを計算機上で行う場合、計算的な
扱いが非常に楽になる。なお、本実施例のニューラルネ
ットワークでは正のニューロン信号と、正と負のシナプ
ス結合を使用する。すなわち、正の信号が正の結合を通
じて伝達されると、正の興奮信号として伝達され、負の
結合を通じて伝達されると負の興奮信号として伝達され
るようなニューラルネットワークモデルであるが、ニュ
ーロン信号は正に限定されるものではなく、ニューロン
信号として、正の興奮と負の興奮とがあり、シナプス結
合にも正と負の結合があり、負の信号が負の結合を通じ
て伝達されると、正の興奮信号として伝達されるような
ニューロンモデルを使用してもよいことはもちろんであ
る。

【００８６】まず、ニューラルネットワーク10の機能に
ついて説明する。最初に、Ａ１層において、図15(a) に
示す時刻ｔにおける所定の大きさの注目領域の範囲の画
像11Ａが切り出される。一方、Ａ２層において、図15
(b) に示す時刻ｔ＋αにおける所定の大きさの注目領域
の範囲の画像11Ｂが切り出される。ここで時刻ｔ＋αに
おける画像11Ｂは、カメラ等の画像入力器の動きとは逆
の画面に平行な動きが加わったものであり、画像11Ｂは
画像11Ａと比較して画像が下から上（画像入力器は上か
ら下）に動いている。なお、図15(a) ，(b) において
は、各画像の白部は信号強度が大きく、黒部は信号強度
が小さいことを表している。次いでＣ１層，Ｃ２層にお
いて、それぞれＡ１層，Ａ２層において切り出された画
像11Ａ，11Ｂ中に存在する被写体の輪郭線が検出され
る。すなわち、図16に示すような輪郭線抽出シナプス結
合12により画像11Ａ，11Ｂが重み付けられた信号として
伝達されれ、図17(a) ，(b) の画像13Ａ，13Ｂに示すよ
うな画像11Ａ，11Ｂの輪郭線が検出される。

【００８７】次いでＤ１層においてＣ１層で輪郭線が検
出された画像13Ａと、Ｃ２層で輪郭線が検出された画像
13Ｂとの差分、すなわち（画像13Ａ−画像13Ｂ）が行わ
れ、図18に示す画像14が得られる。すなわち、Ｄ１層で
は、Ｃ１層におけるニューロン信号を正の重みで受け取
り、Ｃ２層におけるニューロン信号をすべて負の重みで
受けるようになっている。なお、図18における斜線部
は、信号値が０であることを表している。さらに、Ｅ
１，Ｅ２，Ｅ３，Ｅ４層において、画像面に平行な方向
の動き検出シナプス結合により重み付けられた信号とし
て伝達され、それぞれの方向を表す成分が抽出される。
なお、ここでは簡単のため、図19に示す下から上成分抽
出シナプス結合15と右から左成分抽出シナプス結合16と
により、下から上方向および右から左方向の動きの２成
分のみを抽出するものとする。この下から上成分抽出シ
ナプス結合15と右から左成分抽出シナプス結合16とによ
り画像14の重み付けられた信号として伝達された結果
を、それぞれ図20(a) の画像17Ａ、図20(b) の画像17Ｂ
に示す。Ｅ１，Ｅ２，Ｅ３，Ｅ４層において抽出された
輪郭線の動き成分はＦ１層に入力される。次いでＦ１層
からＦ１′、Ｆ１″層へかけてのニューラルネットワー
クによってどの方向の動きがあったかが検出され、画像
面に平行な方向の動きの方位として出力される。すなわ
ち、本実施例においては、図20(a) の画像17Ａに示すよ
うに、下から上成分が最も信号強度が高くなることか
ら、下から上の動きがあったことを示すニューロンから
は大きな信号が出力され、右から左方向への動きがあっ
たことを示すニューロンからは信号が出力されない。

【００８８】次いで、ニューラルネットワーク20の機能
について説明する。

【００８９】まず、カメラ等の画像入力器が画像に接近
しながら、画像の切り出しを行った場合について説明す
る。

【００９０】まず、最初に、Ａ３層において、図21(a)
に示す時刻ｔにおける所定の大きさの注目領域の範囲の
画像21Ａが切り出される。一方、Ａ４層において、図21
(b)に示す時刻ｔ＋αにおける所定の大きさの注目領域
の範囲の画像21Ｂが切り出される。ここで時刻ｔ＋αに
おける画像21Ｂは、カメラ等の画像入力器の接近する動
きによって画像が拡大する動きが加わったものであり、
画像21Ｂは画像21Ａと比較して画像が拡大している。次
いでＢ１層，Ｂ２層おいてそれぞれＡ３層，Ａ４層にお
いて切り出された画像21Ａ，21Ｂの複素対数座標変換が
なされ、図22(a) ，(b) に示す画像22Ａ，22Ｂを得る。

【００９１】次いでＣ３層，Ｃ４層において、それぞれ
Ｂ１層，Ｂ２層において複素対数座標変換された画像22
Ａ，22Ｂ中に存在する被写体の輪郭線が検出される。す
なわち、図16に示した輪郭線抽出シナプス結合12により
画像22Ａ，22Ｂは重み付けられた信号として伝達され、
図23(a) ，(b) の画像23Ａ，23Ｂに示すような画像22
Ａ，22Ｂの輪郭線が検出される。

【００９２】次いでＤ２層においてＣ３層で輪郭線が検
出された画像23Ａと、Ｃ４層で輪郭線が検出された画像
23Ｂとの差分、すなわち（画像23Ａ−画像23Ｂ）が行わ
れ、図24に示す画像24が得られる。さらに、Ｅ５，Ｅ６
層において、放射方向の動き検出シナプス結合により重
み付けられた信号として伝達され、それぞれの方向を表
す成分が抽出される。すなわち、図25に示す拡大方向成
分抽出シナプス結合25と縮小方向成分抽出シナプス結合
26とにより、拡大、縮小による画像の放射方向の動きの
成分を抽出するものである。この拡大方向成分抽出シナ
プス結合25と縮小方向成分抽出シナプス結合26とにより
画像24の重み付けられた信号として伝達された結果を、
それぞれ図26(a) の画像27Ａ、図26(b) の画像27Ｂに示
す。Ｅ５，Ｅ６層において抽出された輪郭線の動き成分
はＦ２層に入力さる。次いでＦ２層からＦ２′層、Ｆ
２″層にかけてのニューラルネットワークによってどの
方向の動き画合ったかが検出され、放射方向の動きの方
位として出力される。すなわち、本実施例においては、
図26(a) ，(b) の画像27Ａ，27Ｂに示すように拡大方向
成分の強度が高く縮小方向成分がほとんどないことか
ら、拡大方向への動きがあったことを示すニューロンか
らは大きな信号が出力され、縮小方向への動きがあった
ことを示すニューロンからは信号が出力されない。

【００９３】次いで画像入力器が、その注目領域の中心
点のまわりに回転をしながら画像取り込みを行った場合
について説明する。

【００９４】まず、最初に、Ａ３層において、図27(a)
に示す時刻ｔにおける所定の大きさの注目領域の範囲の
画像31Ａが切り出される。一方、Ａ４層において、図27
(b)に示す時刻ｔ＋αにおける所定の大きさの注目領域
の範囲の画像31Ｂが切り出される。ここで時刻ｔ＋αに
おける画像31Ｂは、カメラ等の画像入力器の回転する動
きにより回転の動きが加わったものであり、画像31Ｂは
画像31Ａと比較して画像が注目領域の中心点のまわりを
右回転している。次いでＢ１層，Ｂ２層おいてそれぞれ
Ａ３層，Ａ４層において切り出された画像31Ａ，31Ｂの
複素対数座標変換がなされ、図28(a) ，(b) に示す画像
32Ａ，32Ｂを得る。次いでＣ３層，Ｃ４層において、そ
れぞれＢ１層，Ｂ２層において複素対数座標変換された
画像32Ａ，32Ｂ中に存在する被写体の輪郭線が検出され
る。すなわち、図16に示した輪郭線抽出シナプス結合12
により画像32Ａ，32Ｂは重み付けられた信号として伝達
され、図29(a) ，(b) の画像33Ａ，33Ｂに示すような画
像32Ａ，32Ｂの輪郭線が検出される。

【００９５】次いでＤ２層においてＣ３層で輪郭線が検
出された画像33Ａと、Ｃ４層で輪郭線が検出された画像
33Ｂとの差分、すなわち（画像33Ａ−画像33Ｂ）が行わ
れ、図30に示す画像34が得られる。さらに、画像34はＥ
７，Ｅ８層において、回転方向の動き検出シナプス結合
により重み付けられた信号として伝達され、それぞれの
回転方向を表す成分が抽出される。すなわち、図31に示
す右回転方向成分抽出シナプス結合35と左回転方向成分
抽出シナプス結合36とにより、下から上方向および右か
ら左方向の動きの２成分のみを抽出するものとする。こ
の右回転方向成分抽出シナプス結合35と左回転方向成分
抽出シナプス結合36とにより画像34の重み付けられた信
号として伝達された結果を、それぞれ図32(a) の画像37
Ａ、図32(b) の画像37Ｂに示す。Ｅ７，Ｅ８層において
抽出された輪郭線の動き成分はＦ３層に入力される。次
いでＦ３層からＦ３′層、Ｆ３″層にかけてのニューラ
ルネットワークによってどちらの回転方向の動き成分が
あったかが検出され、面内回転方向の動きの方位として
出力される。すなわち、本実施例においては、図32(a)
，(b) の画像37Ａ，37Ｂに示すように右回転方向成分
の強度が高く左回転方向成分がほとんどないことから、
右回転の動きがあったことを示すニューロンからは大き
な信号が出力され、左回転の動きがあったことを示すニ
ューロンからは信号が出力されない。

【００９６】なお上述したＦ１層からＦ１″層、Ｆ２層
からＦ２″層およびＦ３層からＦ３″層における差分輪
郭線成分からの画像の動きの検出は、差分輪郭線の情報
を、パーセプトロン型のニューラルネットワークに繰り
返し入力し、同時に正しい判断を教師信号として与えて
学習させることにより達成できる。そしてこれにより画
像の動きの検出が可能なニューラルネットワークに成長
させ、さまざまな画像からの差分輪郭線から、動きに関
する正しい検出結果を出力として得ることができる。

【００９７】以上のようにして求められた画像全体の動
きから、ステップＣにおいて、時間差αをもつ２つの画
像間に存在する画像全体、すなわち背景の動きの差成分
をキャンセル（補償）することができる。すなわち、検
出された画像の動きの方向と量とに応じて、検出された
動きとは逆方向の動きを加えてやればよい。この背景の
動きをキャンセルするためのフローチャートを図33に示
す。例えば、図15(b)，図21(b) ，図27(b) の画像11
Ｂ，21Ｂ，31Ｂに示した画像に、それぞれの動きの検出
結果である信号Ｓ₁，Ｓ₂，Ｓ₃を、この動きとは逆の
方向に加えてやれば、いずれの画像からも、画像全体す
なわち背景の動きがキャンセルされた画像を得ることが
できる。

【００９８】次いで、ステップＤにおいて、ステップＣ
において画像全体すなわち背景の動きをキャンセルした
時刻ｔ＋αの画像と時刻ｔにおける画像との差分がさら
に求められる。これによって背景の動きとは異なる動き
をしている物体のみが抽出される。すなわち、図34(a)
に示すように、背景の動きがキャンセルされた時刻ｔに
おける画像から輪郭線成分を抽出した画像41Ａ、図34
(b) に示す背景の動きがキャンセルされた時刻ｔ＋αに
おける画像から輪郭線成分を抽出した画像41Ｂとの差分
を求めれば、図35に示すような画像42を得ることができ
る。この画像42中に存在する物体すなわち、本実施例の
画像中におけるヨットが、背景とは異なる動きをしてい
る物体であり、この物体が所定被写体候補となる。

【００９９】次いで、ステップＥにおいて、この背景と
は異なる動きをしている所定被写体候補に向かうポテン
シャル場の傾斜ベクトルが算出される。図36はステップ
Ｅにおける注目領域の移動を行うためのフローチャート
を表す図である。ステップＥにおいては、ステップＤに
おいて背景と異なる物体、すなわち所定被写体候補が複
数ある場合に、最も所定被写体らしい所定被写体候補を
絞り込み、次いでこの絞り込まれた所定被写体候補に向
かうポテンシャル場の傾斜ベクトルを算出するものであ
る。図37は、所定被写体候補の動きに基づいてポテンシ
ャル場の傾斜ベクトルを求めるためのニューラルネット
ワークの一構成を表す図である。このニューラルネット
ワークの構成は図３に示したニューラルネットワークと
同一であるため、対応する記号に「′」を付し、詳細な
説明は省略する。なお、このニューラルネットワークへ
の入力は、図35に示す画像、すなわち背景とは異なる動
きをしている物体（所定被写体候補）の輪郭線の画像で
ある。また、出力は、注目領域に対しどちらの方向がよ
り安定するかという方位、また、その場所において注目
領域がどれくらい不安定かという不安定度すなわち、ポ
テンシャル場の傾斜ベクトルである。

【０１００】このような所定被写体候補の輪郭線および
動きに基づくポテンシャル場の傾斜ベクトルの算出と並
行して、所定被写体候補の色に基づくポテンシャル場の
傾斜ベクトルの算出も行われる。

【０１０１】図38は所定被写体候補の色に基づいてポテ
ンシャル場の傾斜ベクトルを求めるニューラルネットワ
ークの一構成を表わす図である。

【０１０２】このニューラルネットワークの入力は、本
発明による輪郭線に基づいてポテンシャル場の傾斜ベク
トルを算出する実施例と同様に、時刻ｔにおける所定の
大きさの注目領域から入力される外界の画像である。ま
た、出力は、注目領域に対しどちらの方向がより安定す
るかという方位、また、その場所において注目領域がど
れくらい不安定かという不安定度、すなわちポテンシャ
ル場の傾斜ベクトルである。

【０１０３】本実施例におけるニューラルネットワーク
の基本構造は、動きに基づいてポテンシャル場の傾斜ベ
クトルを算出するニューラルネットワークおよび輪郭線
に基づいてポテンシャル場の傾斜ベクトルを算出するニ
ューラルネットワークと同様に階層型であるが、ｅ″層
では相互結合もしているため複合型ともいえる。

【０１０４】次に、このニューラルネットワークの各層
の機能について説明する。このニューラルネットワーク
は上述した所定被写体候補の動きに基づくポテンシャル
場の傾斜ベクトルの算出および輪郭線に基づくポテンシ
ャル場の傾斜ベクトルの算出の実施例と同様に、大きく
３つのステップに分けられている。

【０１０５】画像上に注目領域中心点の位置を設定し、
この画像から注目領域の範囲の画像を取り込むステップ
は、所定の大きさの注目領域を有しこの注目領域の大き
さに画像を切り出してニューラルネットワークに入力す
るａ″層、および入力された画像の複素対数座標変換
（対数極座標変換）を行うｂ″層から構成される。

【０１０６】入力された画像から所定被写体候補を絞り
込むステップは、所定被写体候補の色と略一致する領域
のニューロンを検出し、各領域の所定被写体候補の色の
一致度を検出するｃ″，ｄ″，ｅ″層、色の一致度が高
く形状、大きさともに所定被写体により近い領域を選択
する相互結合回路網層であるｆ″層から構成される。

【０１０７】所定被写体候補と注目領域との位置ずれ検
出と、注目領域移動量の算出を行うステップは、所定被
写体候補の色と略一致する領域のニューロン群の領域の
方位と距離の検出層であるｇ″層、検出された方位と距
離とに基づいて、ポテンシャル場の傾斜ベクトルを出力
するｉ″層から構成されている。なお、本実施例のニュ
ーラルネットワークにおいては、上述した実施例と同様
にｂ″層以降の各層間あるいは各層内のシナプス結合
は、空間不変（スペースインバリアント）とした。

【０１０８】まず、ａ″層において、所定の大きさの注
目領域の範囲の画像が切り出される。ａ″層において
は、注目領域の中心点ほどニューロンが高密度に存在す
る。ａ″層において取り込まれた画像はｂ″層におい
て、注目領域の中心点を極として複素対数座標変換され
る。このｂ″層において、画像を複素対数座標変換する
ことで、ｂ″層以降の処理を空間不変なシナプス結合と
のコンボリューションで実現できることになる。

【０１０９】図39に、図38に示すニューラルネットワー
クのｂ″層において様々な図形が複素対数座標変換され
た結果を示す。複素対数座標変換では、所定被写体候補
が極すなわち注目領域中心点の近くに存在する場合には
相対的に大きく、遠くに存在する場合には相対的に小さ
く変換される。ｂ″層のニューロンは変換された画像パ
ターンの強度に対応して興奮する。

【０１１０】複素対数座標変換された画像に対応するニ
ューロンの興奮パターンを現すｃ″層からｄ″層、ｅ″
層にかけてのニューラルネットワークによって、所定被
写体候補の色と略一致する領域が抽出され、この領域と
所定被写体候補の色との一致度が検出され、一致度に応
じてｅ″層のニューロンが興奮する。ここで所定被写体
候補の色と略一致する領域のニューロンを抽出するよう
なシナプス結合は、あらかじめバックプロパゲーション
法などによって学習されたものを使用する。

【０１１１】本実施例では、所定被写体候補色との一致
度を検出するニューラルネットワークとして、３層構造
のニューラルネットワークを使用した一例について詳細
に説明する。

【０１１２】図55は本発明の実施例によるニューラルネ
ットワークの図38におけるｃ″層、ｄ″層およびｅ″層
という部分だけを抽出し、より詳細に示した図である。

【０１１３】ｃ″層からｅ″層をこの部分だけのものと
して見るとこれは、ｃ″層を入力層、ｄ″層を中間層、
ｅ″層を出力層とする３層のニューラルネットワークに
ほかならない。

【０１１４】ここでｃ″層への入力信号は前段のニュー
ロン層の各ニューロンからの色情報である。ｃ″層では
まず、前段のニューロン層からの色情報を光の３原色
（赤、緑、青）に分解し、それぞれの色情報を各１個の
ニューロンが受け取りそれぞれの入力とする。したがっ
てｃ″層では一画素につき３個のニューロンが割り当て
られているのである。ｃ″層に入力された信号は、シナ
プス結合によって重み付けされて次段のｄ″層へと伝達
される。なおｃ″層からｄ″層へのシナプス結合の重み
をＷ_1ij（ｉはｃ″層のニューロン、ｊはｄ″層のニュ
ーロン）で表す。

【０１１５】ｄ″層は中間層と呼ばれるニューロン層
で、一般に素子数は実行させる処理の複雑度に応て適宜
選択されるが、ここでは１画素につき５個のニューロン
を割り当てるものとする。したがって一画素につき３個
のニューロンから５個のニューロンへの信号伝達が１５
個のシナプス結合によって実行される。

【０１１６】続いて、ｄ″層からｅ″層へと信号伝達が
行なわれる。ｅ″層は３層のニューラルネットワークの
出力層に相当する。このニューラルネットワークは、所
定被写体候補色との一致度を検出するものであり、ある
１画素の所定被写体候補色との一致度は１個のニューロ
ンの興奮度として表現できるので、１画素について１個
のニューロンが割り当てられる。したがってｄ″層から
ｅ″層への信号伝達は１画素あたり５個のシナプス結合
によって実行される。なおｄ″層からｅ″層へのシナプ
ス結合の重みをＷ_2ij（ｉはｄ層のニューロン、ｊはｅ
層のニューロン）で表す。

【０１１７】実際には上記の様なニューロンやシナプス
の結合は画素の数だけ存在しており、このようなｃ″層
からｅ″層へのニューラルネットワークの信号伝達を、
各画素ごとに同時に並列に実行することが可能である。
なおこのニューラルネットワークでは、実行する処理が
各画素で同一であるため、各画素ごとのニューロンの特
性はもちろんシナプス結合の重みも同一のものを使用す
る。

【０１１８】上記のような、所定被写体候補色との一致
度を検出する動作を実行させるためのシナプス結合は、
ニューラルネットワークの学習によって得ることが可能
である。例として、人間の顔の肌色を所定被写体候補の
色とし、ある母集団から抽出した肌色の度数分布が色の
一致度に比例すると定義した場合の、シナプス重みの値
を表１に示す。

【０１１９】

【表１】

【０１２０】学習はバックプロパゲーション法と呼ばれ
る方法を用いて行なうことが可能である。まず、肌色を
始めとする各種の色の３原色値を入力データとし、肌色
の度数分布から決めた色の一致度を教師データとして、
ニューラルネットワークに繰り返し呈示し、実際にニュ
ーラルネットワークが出力してきた値と教師データとの
差に応じて、差が小さくなる方向に徐々にシナプス結合
の重みを書き換えることで学習させ、最終的に与えられ
た入力に対し教師データどおりの値を出力するようにさ
せるのである。

【０１２１】この、ニューラルネットワークの出力に基
づいて求められた肌色との一致度を図54に示した色度図
に色の等高線として表す。ここで最も肌色に近い色の場
合は、一致度は1.0 となり、以下、肌色から離れるにつ
れて一致度は小さくなる。ここで、色の３原色値のデー
タを色度図上ｘ，ｙ座標として表す演算は以下の式によ
って行われる。

【０１２２】ｘ＝（1.1302+1.6387r/(r+g+b)+0.6215g/(r+g+b)/ (6.7846-3.0157r/(r+g+b)-0.3857g/(r+g+b) (6) ｙ＝（0.0601+0.9399r/(r+g+b)+4.5306g/(r+g+b)/ (6.7846-3.0157r/(r+g+b)-0.3857g/(r+g+b) (7) 但し、ｒ：赤の色値ｇ：緑の色値ｂ：青の色値このようにして学習されたシナプス結合の重みを用い
て、ｃ″層からｅ″層のニューラルネットワークで、所
定被写体候補の色と抽出された領域との一致度を検出
し、一致度をｅ″層のニューロンの興奮として出力する
ことができる。

【０１２３】さらに続くｆ″層は、所定被写体候補と色
の一致度が高く、しかも形状・大きさともに所定被写体
候補として最も適当である領域が選択されるような競合
協調のともに所定被写体候補として最も適当である領域
が選択されるような競合協調の局所相互重み結合を有す
る相互結合層である。ｆ″層内で各ニューロンは図42の
シナプス結合パターン80に示すように、自分の近くのニ
ューロンとは正の重みで、少し離れたニューロンとは負
の重みでシナプス結合されている。このような内部相互
結合によって興奮信号がやりとりされた結果、ｆ層では
ｄ層で興奮している所定被写体候補の色との一致度が高
いニューロンからの信号を受けたニューロンのうち、所
定の形状・大きさを持ち、しかも高い興奮強度すなわ
ち、色の一致度を有するニューロン群の領域が選択され
発火し、孤立した領域や色の一致度の低い領域のニュー
ロンは発火しない。すなわち、図56に示すｅ層において
抽出された領域81，82，83のうち、領域81の肌色との一
致度が前述した色度図において1.0 、領域82の一致度が
0.9 、領域83の一致度が0.2 であったとすると、領域83
は、領域81および領域82と比べて、肌色との一致度が小
さいため、領域81および領域82と領域83とが競合した際
に抑制されて消されてしまう。一方、領域81と領域82と
は、肌色との一致度は領域81の方が大きいため、領域81
と領域82とが競合することにより、領域82は消されてし
まう。また、領域81は肌色との一致度が大きいため、領
域81内のニューロン同士が協調し合い、より領域81にお
けるニューロンの興奮状態は大きくなる。このため、
ｅ″層において競合協調がなされた結果、領域81のみが
選択されることとなる。

【０１２４】またここで、ｅ層における領域81，82，83
の肌色との一致度が全て同じであった場合は、シナプス
結合80の形状・大きさに最も適合する領域が選択され
る。例えば、シナプス結合80の正の重みの部分の形状と
大きさが、領域81の形状と大きさと略一致しているよう
な場合は、領域82，83は協調競合の結果、消去されてし
まい、領域81のみが選択されることとなる。

【０１２５】さらに、ｅ″層における領域81，82，83の
肌色との一致度が全て同じであり、かつ各領域の形状と
大きさが略一致しているような場合には、ｅ″層のニュ
ーロンに対して図56に示すような重みを加えておく。す
なわち、注目領域の半径の30〜40％程度の領域のニュー
ロンからの結合重みが最も大きくなるような重みＷを加
えておく。このような重みを加えることによって、図56
に示すような位置にある領域81，82，83のうち、重みの
最も大きい部分の近傍に存在する領域81のみが選択され
るのである。

【０１２６】次に、以上のようにして選択された所定被
写体候補の色と一致度が高いニューロン群の発火領域の
成分からのポテンシャル場の傾斜ベクトルの求め方につ
いて説明する。

【０１２７】図41は本発明の実施例によるニューラルネ
ットワークの図38におけるｆ″層、ｇ″層およびｉ″層
の部分を抽出し、より詳細に示した図である。

【０１２８】図41に示すように、各層間はシナプス結合
によって結合されている。ｆ″層は、ニューロンが２次
元状に整列した構造になっている。ｆ″層内で興奮して
いるニューロンの分布は、ｆ″層内のシナプス相互結合
によって選択された、所定被写体候補の色との一致度が
高く、しかも形状、大きさともに所定被写体として最も
適当である領域の成分に相当している。

【０１２９】ｆ″層から、方位ベクトルを検出するため
に、ｇ″層へと興奮信号が伝達される。ｇ″層は１次元
に配列されたニューロン層で、ｆ″層の同一方位にある
ニューロン群からの信号を受けるようにシナプス結合に
よって結合されている。この結果、ニューロン群85の方
位と距離に対応する、ｇ″層のニューロン86が興奮す
る。このニューロン86の方位と興奮の強さが方位と距離
を表すものである。

【０１３０】次に、このようにしてｇ″層において求め
られた方位と距離はｉ″層において合成されてポテンシ
ャル場の傾斜ベクトルが決定される。このポテンシャル
場の傾斜ベクトルの合成は極座標上で行っても実空間座
標上で行ってもかまわないものであり、図41では実空間
座標上で合成した場合を示す。ニューロン86からの興奮
は、逆複素対数座標変換されながらｉ″層に伝達され
る。ｉ″層では各方位ベクトルの重心が求められ、これ
が合成されたポテンシャル場の傾斜ベクトルとして出力
される。

【０１３１】ここで、前述した協調競合を行わないニュ
ーラルネットワークにより注目領域移動ベクトルを求め
る場合、複数のベクトルが検出されることがある。この
際、ｅ″層のニューロンに対して前述した図56に示すよ
うな重み、すなわち、注目領域中心点からの距離に応じ
た重みを加えるようにして、１つの注目領域移動ベクト
ルを選択すればよい。

【０１３２】また、協調競合を行っても複数の注目領域
移動ベクトルが検出された場合も、ｅ″層のニューロン
に図56に示すような重みを加えるようにして、１つのベ
クトルのみを選択すればよい。これにより、複数のベク
トルが検出されても、最も適切な所定被写体候補に向か
う注目領域移動ベクトルを検出でき、また１つの注目領
域移動ベクトルしか検出できなかった場合も、注目領域
と所定被写体候補との距離が大きければ、注目領域移動
ベクトルの大きさは小さくなる。

【０１３３】以下、上述した色に基づく方法により、注
目領域が所定被写体候補の位置に近づくにつれて変化す
るポテンシャル場の傾斜ベクトルが求められる状態につ
いて説明する。

【０１３４】図42，43および44は注目領域の中心点と所
定被写体候補とが、様々な距離にある場合のポテンシャ
ル場の傾斜ベクトルの求められる状態を複素対数座標と
実空間座標とを対応させて表した図である。

【０１３５】まず、図42に示すように、所定被写体候補
71が注目領域中心点Ｑを含まない場合、所定被写体候補
71は１つのかたまりとして複素対数座標変換され、図42
の複素対数座標において、所定被写体候補の色と略一致
する領域として検出される。さらに、競合協調の相互結
合回路網であるｆ″層において所定被写体候補71′を絞
り込むと、局所的に所定被写体候補の色との一致度が高
く、しかも適当な大きさを有する被写体候補領域のみが
唯一または複数選択される（本実施例においては１
つ）。次いで、選択された領域の方位と距離とから、ポ
テンシャル場の傾斜ベクトル75が検出され出力される。
このポテンシャル場の傾斜ベクトル75は、所定被写体候
補71に向いている。

【０１３６】次に、図43に示すように、所定被写体候補
71と注目領域中心点Ｑとが、ある程度近づいて、注目領
域71内に所定被写体候補71が入っている場合、複素対数
変換された所定被写体候補71′は、全ての方位に広が
る、所定被写体候補の色との一致度が高い領域として検
出される。この状況で、競合協調の相互結合回路網によ
って所定被写体候補71′を絞り込むと、全方位に広がっ
た同一候補の領域同士が抑制し合い、結果として、所定
被写体候補71′の外縁と注目領域中心点Ｑとの距離が最
大となっている方位のニューロン群だけが興奮でき、こ
のニューロン群を含む領域87が検出される。次いで、そ
の検出された領域87の方位と興奮強度から方位と距離が
検出され、ポテンシャル場の傾斜ベクトル75が出力され
る。このポテンシャル場の傾斜ベクトル75は、所定被写
体候補71の中心に向いている。

【０１３７】最後に、図44に示すように、所定被写体候
補71が注目領域中心点Ｑとほぼ同じ場所にまで近づいて
いる場合、複素対数変換された所定被写体候補71′は、
全ての方位に均等に広がる、所定被写体候補の色と略一
致する領域として検出される。この状況で、競合協調の
相互結合回路網によって所定被写体候補71を絞り込む
と、全方位に均等に広がった同一候補の領域同士が競合
し合い抑制し合うので、結果として、どの方位の領域も
興奮できない。したがって、次いで検出される方位と距
離は全て０になる。さらに同様に、ポテンシャル場の傾
斜ベクトルも長さ０になる。

【０１３８】次いで上述した所定被写体候補の動きに基
づいてポテンシャル場の傾斜ベクトルを求めるニューラ
ルネットワーク、所定被写体候補の輪郭線の傾きに基づ
いてポテンシャル場の傾斜ベクトルを求めるニューラル
ネットワークおよび所定被写体候補の色に基づいてポテ
ンシャル場の傾斜ベクトルを求めるニューラルネットワ
ークの３つのニューラルネットワークにより求められた
３種類のポテンシャル場の傾斜ベクトルは、求めるべき
所定被写体候補に合わせて適切に合成され、最終的なポ
テンシャル場の傾斜ベクトルが求められる。

【０１３９】上述したポテンシャル場の傾斜ベクトルを
与えられた画像全体について求めて、各ポテンシャル場
の傾斜ベクトルを画像に記録することによってポテンシ
ャル場のマップを得ることができる。

【０１４０】ポテンシャル場は、前述したように人間の
眼の視点安定点の場であり、これを、前述した所定被写
体候補の抽出のためのニューラルネットワークで考える
と、ポテンシャル場は注目領域中心点の安定点の場とみ
なすことができる。すなわち、注目領域中心点の安定点
である所定被写体候補の中心においてはポテンシャル場
は平坦であり、注目領域の移動が必要な不安定点におい
ては、ポテンシャル場は傾いているとみなすことができ
る。この場合、ポテンシャル場の傾きを表現しているも
のは、前述した抽出のニューラルネットワークで求めら
れたポテンシャル場の傾斜ベクトルの方向である。この
ため、与えられた画像の全面を前述したニューラルネッ
トワークの注目領域で走査しながら、画像上の各地点で
のポテンシャル場の傾斜ベクトルを画像に記録していく
ことで、画像のポテンシャル場のマップを作成すること
ができる。

【０１４１】図45は、上述のようにして求めたポテンシ
ャル場の傾斜ベクトルを、画像に記録することにより作
成したポテンシャル場のマップを表す図である。

【０１４２】画像104 には楕円105 ，三角形106 および
四角形107 が映し込まれている。この画像104 全体のポ
テンシャル場の傾斜ベクトルを、前述したニューラルネ
ットワークにより算出し、このポテンシャル場の傾斜ベ
クトルが求められた位置と対応する画像104 の各位置に
おいて画像104 に記録すると、ポテンシャル場のマップ
が得られる。図45において、ポテンシャル場の傾斜ベク
トルは、楕円105 ，三角形106 および四角形107 それぞ
れの中心点Ｐ₁，Ｐ₂およびＰ₃へと向っている。この
ポテンシャル場の傾斜ベクトルの方向をポテンシャル場
の傾きとみなせば、ポテンシャル場のマップは、楕円10
5 ，三角形106 および四角形107 それぞれの中心点
Ｐ₁，Ｐ₂およびＰ₃において極小点となる。

【０１４３】図46にポテンシャル場の傾きを表わすグラ
フを示す。図46は、図45における画像104 を注目領域73
で走査し、注目領域73の中心点Ｎのポテンシャル場の傾
斜ベクトル75が四角形107 の中心点Ｐ₃に向っている様
子を示している。

【０１４４】図46の上半分のグラフ108 は前述のように
してポテンシャル場の傾きを求め、画像104 のI-I 線で
ポテンシャル場の断面をとりポテンシャル場の２次元グ
ラフとして表わしたものである。

【０１４５】グラフ108 には３つの極小点Ｐ₁′，
Ｐ₂′およびＰ₃′があり、それぞれが画像104 におけ
る楕円105 の中心点Ｐ₁、三角形106 の中心点Ｐ₂およ
び四角形107 の中心点Ｐ₃と対応している。また、グラ
フ108 の点Ｎ′は画像104 の注目領域73の中心点Ｎと対
応している。このように画像104 全体のポテンシャル場
の傾きを求めてポテンシャルマップを作成すれば、画像
上のいかなる地点に注目領域が設定された場合にも、最
短距離を通って場の極小点、すなわち所定被写体候補の
中心点に注目領域を移動することができ、この極小点を
基準として所定被写体候補の大きさおよび／または形状
に応じてこの所定被写体候補を抽出してやれば、極めて
効率的な所定被写体候補の抽出を行うことが可能であ
る。この所定被写体候補の抽出の後、ポテンシャルマッ
プにおける抽出された所定被写体候補の領域にマスキン
グを施すことによって一度抽出された所定被写体候補の
再抽出を防止することができる。このマスキングは、例
えばポテンシャル場のマップとマスキングのフレームと
を重ねておき、マップにおける所定被写体候補を抽出し
た部分と対応するマスキングのフレームの領域の画像信
号の値を０もしくは１とすることによってポテンシャル
場のマップのマスキングがなされ、一度抽出した所定被
写体候補の再抽出防止が可能となる。

【０１４６】次に、本発明による被写体抽出方法の第２
実施例について説明する。

【０１４７】本発明による被写体抽出方法の第２実施例
は、所定被写体候補の動きに基づいて、ポテンシャル場
の傾斜ベクトルを求める実施例においては、抽出された
背景とは異なる動きをする所定被写体候補の輪郭線を、
所定被写体候補の輪郭線の傾きおよび所定被写体候補の
色に基づいてポテンシャル場の傾斜ベクトルを求める本
実施例においては、時刻ｔにおける所定の大きさの注目
領域の範囲で切り出した画像を複素対数座標変換しない
で実空間座標状のニューロン配列をしたニューラルネッ
トワークを用いてポテンシャル場の傾斜ベクトルを求め
るものである。

【０１４８】図47は本発明の第１ステップの第２実施例
による所定被写体候補の中心に注目領域中心点を移動さ
せることによって所定被写体候補の抽出を行うニューラ
ルネットワークの１例を表わす図である。まず、所定被
写体候補の動きに基づいてポテンシャル場の傾斜ベクト
ルを求める実施例において求められた、背景とは異なる
動きをする所定被写体候補の輪郭線および所定被写体候
補の輪郭線に基づいてポテンシャル場の傾斜ベクトルを
求めるために、注目領域の範囲の画像を入力するニュー
ラルネットワークについて説明する。本発明の第２実施
例のニューラルネットワークは、与えられた画像110 か
ら所定の大きさの注目領域の範囲に画像を切り出す（所
定被写体候補の動きに基づいてポテンシャル場の傾斜ベ
クトルを求める場合は、図26に示すような背景とは異な
る動きをする所定被写体候補の輪郭線の画像42）入力層
120 、切り出した画像（または入力された画像）から所
定被写体候補の円弧状の輪郭線を検出する輪郭線検出層
121 、切り出した画像から所定被写体候補の放射状の輪
郭線を検出する輪郭線検出層121 ′、放射状の輪郭線の
端点を検出する端点検出層122 、連続する円弧状の輪郭
線を選択する相互結合層123 、連続する放射状の輪郭線
を選択する相互結合層123 ′、選択された円弧状の輪郭
線から注目領域中心点を囲む同心円の円周方向に対して
所定角度傾いた輪郭線の成分を全て抽出する傾き成分抽
出層124 、選択された放射状の輪郭線から注目領域中心
点を囲む同心円の円周方向に対して所定角度傾いた輪郭
線の成分を全て抽出する傾き成分抽出層124 ′、抽出さ
れた円弧状の輪郭線の傾き成分から所定被写体候補の注
目領域中心点を囲む同心円の円周方向に対する方位ベク
トルである方位と強度とを検出する方位ベクトル検出層
125 、抽出された放射状の輪郭線の傾き成分から所定被
写体候補の注目領域中心点を囲む同心円の円周方向に対
する方位ベクトルである方位と強度とを検出する方位ベ
クトル検出層125′、検出された円弧状の輪郭線の成分
の方位と強度とから方位ベクトルを合成する方位ベクト
ル合成層126 、検出された放射状の輪郭線の成分の方位
と強度とから方位ベクトルを合成する方位ベクトル合成
層126 ′および合成された各方位ベクトルからポテンシ
ャル場の傾斜ベクトルを決定するポテンシャル場の傾斜
ベクトル出力層127 のニューロン層からなる。すなわち
入力層120 は図28または図33における複素対数座標でポ
テンシャル場の傾斜ベクトルを求めるニューラルネット
ワークのａ，ａ′層と、輪郭線検出層121 ，121 ′はｃ
１，ｃ１′層，ｃ２，ｃ２′層と、端点検出層122 は
ｄ，ｄ′層と、相互結合層123 ，123 ′はｅ１，ｅ１′
層，ｅ２，ｅ２′層と、傾き成分抽出層124 ，124 ′は
ｆ１，ｆ１′層，ｆ２，ｆ２′層と、方位ベクトル検出
層125 ，125 ′はｇ１，ｇ１′層，ｇ２，ｇ２′層と、
方位ベクトル合成層126 ，126 ′はｈ１，ｈ１′層，ｈ
２，ｈ２′層と、そしてポテンシャル場の傾斜ベクトル
出力層127 はｉ，ｉ′層とそれぞれ対応している。

【０１４９】まず入力層120 において、所定の大きさの
注目領域の範囲の画像が切り出されて外界から取り込ま
れる（または、図35に示す画像42が入力される）。入力
層120 において取り込まれた画像は輪郭線検出層121 ，
121 ′において円弧状および放射状の輪郭線が検出され
る。円弧状および放射状の輪郭線が検出されると、次い
で端点検出層122 においては、放射状の輪郭線が検出さ
れた輪郭線検出層122′の画像から、ある所定被写体候
補が手前に存在する別の物体に遮ぎられた場合にその境
界で発生する放射状の輪郭線の端点を抽出する。次いで
相互結合層123，123 ′において連続する円弧状および
放射状の輪郭線が選択される。次に傾き成分抽出層124
，124 ′において、選択された輪郭線から注目領域中
心点を囲む同心円の円周方向に対して所定角度傾いた輪
郭線の成分が全て抽出される。

【０１５０】ここで、相互結合層123 から傾き成分抽出
層124 へのシナプス結合の重みは傾き成分抽出層124aお
よび124bにおいてそれぞれ図48(a) および(b) に示すよ
うになっており、図48(a) の輪郭線検出シナプス結合13
0 は注目領域中心点を取り囲む同心円群の円周方向に対
して右上りに、図48(b) の輪郭線検出シナプス結合131
は左上がりにそれぞれ一定角度α，−α傾いており、か
つそのシナプス結合のサイズは、注目領域中心点に近い
ほど結合範囲が狭くなるようなシナプス結合群130 ，13
1 となっている。そして、このシナプス結合群により、
所定被写体候補の円弧状の輪郭線が注目領域の中心点を
中心とする円周に沿った方向に対して所定の角度傾いた
部分を検出するものである。例えば図49に示すような位
置に円形の所定被写体候補132 が存在する場合には、相
互結合層123 で選択された所定被写体候補の輪郭線132
のうち、右上がりの傾き成分がシナプス結合群130 の中
のシナプス結合130aにより検出され、左上がりの傾き成
分がシナプス結合群131 の中のシナプス結合131aにより
検出される。このようにして検出された各傾き成分の方
位と強度のうち右上がりの傾き成分の方位と強度が方位
ベクトル検出層125aにおいて、左上がりの傾き成分の方
位と強度が方位ベクトル検出層125bにおいてそれぞれ検
出される。次いで方位ベクトル合成層126 において、方
位ベクトル検出層125a，125bにおいて検出された方位と
強度とから方位ベクトルが合成される。このようにして
合成された方位ベクトルはポテンシャル場の傾斜ベクト
ル出力層127 へと伝達され、ポテンシャル場の傾斜ベク
トルとして出力される。

【０１５１】一方、相互結合層123 ′から傾き成分抽出
層124 ′へのシナプス結合の重みは傾き成分抽出層124
a′および124b′についてそれぞれ図50(a) および(b)
に示すようになっており、図50(a) の輪郭線検出シナプ
ス結合130 ′は注目領域中心点を取り囲む同心円群の円
周方向に対して左上りに、図50(b) の輪郭線検出シナプ
ス結合121 ′は右上がりにそれぞれ一定角度α′，−
α′傾いておりかつそのシナプス結合のサイズは、注目
領域中心点に近いほど結合範囲が狭くなるようなシナプ
ス結合群130 ′，131 ′となっている。そして、このシ
ナプス結合群により、所定被写体候補の放射状の輪郭線
が注目領域の中心点を中心とする円周に沿った方向に対
して所定の角度傾いた部分を検出するものである。例え
ば図51に示すような位置に所定被写体候補132 ′の輪郭
線の交点が存在する場合には、相互結合層123 ′で選択
された所定被写体候補の輪郭線132 ′のうち、左上がり
の傾き成分がシナプス結合群130 ′の中のシナプス結合
130a′により検出され、右上がりの傾き成分がシナプス
結合群131 ′の中のシナプス結合131a′により検出され
る。このようにして検出された各傾き成分の方位と強度
のうち左上がりの傾き成分の方位と強度が方位ベクトル
検出層125a′において、右上がりの傾き成分の方位と強
度が方位ベクトル検出層125b′においてそれぞれ検出さ
れる。次いで方位ベクトル合成層126 ′において、方位
ベクトル検出層125a′，125b′において検出された方位
と強度とから方位ベクトルが合成される。このようにし
て合成された方位ベクトルはポテンシャル場の傾斜ベク
トル出力層127 へと伝達され、ポテンシャル場の傾斜ベ
クトルとして出力される。

【０１５２】このようにして方位ベクトル合成層126 ，
126 ′において合成されたポテンシャル場の傾斜ベクト
ルは注目領域中心点が置かれた情況によりそれぞれ異な
るものであるが、前述した本発明による第１実施例と同
様に、ポテンシャル場の傾斜ベクトル出力層127 におい
て２種類のポテンシャル場の傾斜ベクトルの出力をバラ
ンス良く利用することにより、いかなる情況においても
所定の位置に注目領域を移動することが可能となる。

【０１５３】また、動きに基づくポテンシャル場の傾斜
ベクトルおよび輪郭線の傾きに基づくポテンシャル場の
傾斜ベクトルの算出と並行して、所定被写体候補の色に
基づくポテンシャル場の傾斜ベクトルの算出も行われ
る。

【０１５４】図52は本発明の実施例による所定被写体候
補の中心に注目領域中心点を移動させることによって所
定被写体候補の抽出を行うニューラルネットワークの１
例を表わす図である。図52に示すニューラルネットワー
クは、与えられた画像140 から所定の大きさの注目領域
の範囲に画像を切り出す入力層150 、切り出した画像か
ら所定被写体候補の色と略一致する領域のニューロンを
抽出し、この領域と所定被写体候補の色との一致度を検
出するニューラルネットワーク層151 ，152 ，153 、所
定の大きさと強度をもつ色領域を選択する相互結合層15
4 、選択された色領域の方位と強度とを検出する方位ベ
クトル検出層155 、その方位ベクトルを合成して、注目
領域の移動ベクトルが出力するポテンシャル場の傾斜ベ
クトル出力層156 のニューロン層からなる。

【０１５５】すなわち入力層150 は図38における複素対
数座標でポテンシャル場の傾斜ベクトルを求めるニュー
ラルネットワークのａ″層と、ニューラルネットワーク
層151 ，152 ，153 はｃ″、ｄ″、ｅ″層と、相互結合
層154 はｆ″層と、方位ベクトル検出層155 はｇ″層
と、ポテンシャル場の傾斜ベクトル出力層156 はｉ″層
とそれぞれ対応している。

【０１５６】まず入力層150 において、所定の大きさの
注目領域の範囲の画像が切り出されて外界から取り込ま
れる。入力層150 において取り込まれた画像は、所定被
写体候補の色と略一致する色の領域のニューラルネット
ワーク層151 において、所定被写体候補の色と略一致す
る色の領域が抽出され、この領域と所定被写体候補との
色の一致度が検出される。所定被写体候補の色との一致
度が検出されると、次いで相互結合層154 において所定
被写体候補の色との一致度が高い領域のニューロン群が
選択される。次に選択された所定被写体候補の色と略一
致する色の領域のうち、形状、大きさともに所定被写体
候補として最も適当であるとして選択された領域のニュ
ーロン群の成分が抽出される。

【０１５７】ここで、相互結合層154 の内部の、所定の
大きさと強度をもつ色領域を選択する相互結合のシナプ
ス結合の重みは、図53に示すようになっており、図53の
所定被写体候補と色の一致度が高いニューロン群検出シ
ナプス結合160 は、注目領域中心点に近いほど結合範囲
が狭くなるようなシナプス結合群160 となっている。そ
して、このシナプス結合群により、所定被写体候補と色
の一致度が高いニューロン群を検出するものである。次
いで、方位ベクトル検出層155 において検出された方位
と距離はポテンシャル場の傾斜ベクトル出力層157 へと
伝達され、ポテンシャル場の傾斜ベクトルとして出力さ
れる。

【０１５８】次いで上述した所定被写体候補の輪郭線に
基づいてポテンシャル場の傾斜ベクトルを求めるニュー
ラルネットワーク、所定被写体候補の動きに基づいてポ
テンシャル場の傾斜ベクトルを求めるニューラルネット
ワークおよび所定被写体候補の色に基づいてポテンシャ
ル場の傾斜ベクトルを求めるニューラルネットワークの
３つのニューラルネットワークにより求められた３種類
のポテンシャル場の傾斜ベクトルは、求めるべき所定被
写体候補に合わせて適切に合成され、最終的なポテンシ
ャル場の傾斜ベクトルが求められる。

【０１５９】上述したように、画像全体についてのポテ
ンシャル場の傾斜ベクトルが出力されて、図45，46と同
様のポテンシャル場のマップが作成され、本発明の第１
実施例と同様に所定被写体候補を正規化して切り出して
判定部に送り、この所定被写体候補が所定被写体である
か否かの判定がなされる。

【０１６０】また、所定被写体候補を抽出した後に、本
発明の第１実施例と同様にマスキングを施して、一度抽
出した所定被写体候補は再度抽出することのないように
しててもよい。

【０１６１】なお、上述した本発明による第１および第
２実施例においては、所定被写体候補を抽出した後に、
この所定被写体候補が所定被写体であるか否かを判定す
るようにしているが、所定被写体候補の抽出後にこの所
定被写体候補を所定被写体として、ニューラルネットワ
ークの学習に用いるようにしてもよい。本発明によって
抽出した所定被写体候補は正規化されており、また所定
被写体である可能性も高いため、効率良くニューラルネ
ットワークの学習を行うことができる。

【０１６２】また、上述した本発明による第１および第
２実施例においては、ニューラルネットワークを用いて
ポテンシャル場の傾斜ベクトルを決定しているが、とく
にニューラルネットワークを用いる必要はなく、いかな
る手法を用いてもよいことはもちろんである。

【０１６３】また、本発明による被写体抽出方法は、い
かなる所定被写体の抽出にも用いることができる。この
場合、ポテンシャル場の傾斜ベクトルの決定にニューラ
ルネットワークを用いて、所定の被写体に適した構成を
とれば、効率的に抽出を行うことができる。

【０１６４】また、上記実施例においては、画像からの
注目領域の範囲の画像の切り出しからポテンシャル場の
傾斜ベクトル決定までのステップにニューラルネットワ
ークを用いているが、とくにポテンシャル場の傾斜ベク
トル決定までのステップに用いる必要はなく、被写体抽
出の少なくとも１つのステップに用いればよい。また、
ポテンシャル場のマップの作成、所定被写体の切り出し
をニューラルネットワークを用いて行うようにしてもよ
いことはもちろんである。

【０１６５】また、上述した本発明による実施例におい
ては、ニューラルネットワークを用いて所定被写体候補
の抽出を行っているが、とくにニューラルネットワーク
を用いる必要はなく、いかなる手法を用いてもよいこと
はもちろんである。

【０１６６】また、上述した所定被写体候補の動きに基
づいてポテンシャル場の傾斜ベクトルを求める実施例に
おいては、画像の上下左右方向の動きを検出する際には
実空間座標上で、放射方向と面内回転方向の動きを検出
する際には、画像を複素対数座標変換してから検出を行
っているが、画像の動きを検出する際には、とくに複素
対数座標変換する必要はなく、実空間座標上で行っても
かまわないものである。また、画像の上下左右方向の動
きを検出する際に、複素対数座標変換して検出を行うよ
うにしてもよい。また、上述した所定被写体候補の動き
に基づいてポテンシャル場の傾斜ベクトルを求める実施
例においては、画像の上下左右方向、面内回転方向およ
び放射方向の３種の動きを検出するようにしているが、
とくに画像の動きが一定の場合（例えば上下左右方向の
動きのみ）は、１種の動き（例えば上下左右方向のみ）
を検出するようにしてもよい。

【０１６７】また、上記実施例においては、本発明の被
写体抽出方法を人の顔またはヨットの抽出のために用い
ているが、抽出はこれらに限定されるものではなく、い
かなる所定被写体の抽出にも用いることができる。この
場合、抽出にニューラルネットワークを用いて、抽出を
行う被写体に適した構成で学習を行えば、人の顔または
ヨットの抽出と同じように効率的に抽出を行うことがで
きる。

【０１６８】さらに、上述した実施例においては、所定
被写体候補の動き、輪郭線および色の３種類の特徴に基
づいて求められた３種類のポテンシャル場の傾斜ベクト
ルを合成して最終的なポテンシャル場の傾斜ベクトルを
求めるようにしているが、とくにこれには限定されず、
所定被写体候補の輪郭線と色とから、所定被写体候補の
輪郭線と動きとから、または所定被写体候補の動きと色
とからポテンシャル場の傾斜ベクトルを求めるようにし
てもよい。さらに、所定被写体候補の動き、輪郭線、色
のうち任意の１つのみに基づいてポテンシャル場の傾斜
ベクトルを求めるようにしてもよい。

【０１６９】

【発明の効果】以上詳細に説明したように、本発明によ
る被写体抽出装置は、画像から効率良く所定被写体候補
を抽出することができるため、判別や学習等の抽出の次
のステップへの負担が著しく軽減され、本発明を用いた
システムの能力を向上させることが可能となる。

【０１７０】また、本発明による被写体抽出装置は、注
目領域の向かう方向を２種類設定し、それぞれの方向を
独立に検出することができる。このため、それぞれの方
向に注目領域を移動させるニューラルネットワークの出
力をバランスよく利用することにより、判別、学習等の
目的に応じた自由度の高い被写体の抽出が可能となる。

【０１７１】さらに、上述したように画像全体のポテン
シャル場の傾きを求めてポテンシャルマップを作成すれ
ば、ただちに場の極小点、すなわち所定被写体候補の中
心点を求めることができ、この極小点を基準として所定
被写体候補の大きさおよび／または形状に応じてこの所
定被写体候補を抽出してやれば、極めて効率的な所定被
写体候補の抽出を行うことが可能である。

【０１７２】さらに、本発明による被写体抽出装置は、
同一画像中に複数の所定被写体候補が存在する場合で
も、一度抽出した所定被写体候補を再度抽出してしまう
ことを防止することができるため、画像から高精度に所
定被写体候補を抽出することができ、効率良く所定被写
体候補を抽出することが可能となる。

【０１７３】さらに、ニューラルネットワークを用いて
再抽出防止処理を行えば、本発明を用いたシステムの能
力を向上させることが可能となる。

【０１７４】また、本発明による被写体抽出装置は、所
定被写体候補という注目領域内の限定された領域のみ
を、抽出のための演算対象とすることができるため、画
像サイズがいかに大きくなろうとも演算規模の巨大化を
防止することができる。

【図面の簡単な説明】

【図１】本発明による被写体抽出方法のフローチャート
を表す図

【図２】人間の視点が図形のどの部分において安定する
かを説明するための図

【図３】本発明の所定被写体候補の輪郭線に基づいてポ
テンシャル場の傾斜ベクトルを算出する実施例による所
定被写体候補の抽出を行うニューラルネットワークの一
例を表す図

【図４】様々な図形が複素対数座標変換された結果を示
す図

【図５】円環方向の輪郭線から円環方向に対してある一
定角度傾いた成分が抽出される状態を表わす図

【図６】放射方向の輪郭線から円環方向に対してある一
定角度傾いた成分が抽出される状態を表わす図

【図７】本発明の第１実施例によるニューラルネットワ
ークの図３におけるｅ１層、ｆ１層、ｇ１層、ｈ１層お
よびｉ１層部分を抽出した図

【図８】ニューロンの出力に加える重み付けを表わす図

【図９】注目領域が所定被写体候補の中心点へ移動する
状態を複素対数座標と実空間座標とを対応させて表した
図

【図１０】注目領域が所定被写体候補の輪郭線の交点へ
移動する状態を複素対数座標と実空間座標とを対応させ
て表した図

【図１１】注目領域の中心点が所定被写体候補の内側か
ら輪郭線の交線に向かう場合の注目領域の移動方向の決
定方法を表わす図

【図１２】位相シフトを加えることによって注目領域の
移動方向を決定する方法を表わす図

【図１３】本発明による被写体抽出方法の第１のステッ
プである所定被写体候補の抽出を行う実施例の基本的概
念を示すブロック図

【図１４】本発明による被写体抽出方法の第１のステッ
プである所定被写体候補の動きに基づいて所定被写体候
補の抽出を行うニューラルネットワークにおける画像の
背景の動きを検出する部分を表わす図

【図１５】時刻ｔおよび時刻ｔ＋αにおける画像を表す
図

【図１６】輪郭線抽出シナプス結合を表す図

【図１７】時刻ｔおよび時刻ｔ＋αにおける画像の輪郭
線を表す図

【図１８】時刻ｔおよび時刻ｔ＋αにおける画像の輪郭
線の差分を表す図

【図１９】下から上方向への動き成分抽出シナプス結合
と右から左への動き成分抽出シナプス結合を表す図

【図２０】輪郭線の平行方向の動き成分が抽出された画
像を表す図

【図２１】時刻ｔおよび時刻ｔ＋αにおける画像を表す
図

【図２２】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像を表す図

【図２３】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像の輪郭線を表す図

【図２４】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像の輪郭線の差分を表す図

【図２５】拡大方向成分抽出シナプス結合と縮小方向成
分抽出シナプス結合を表す図

【図２６】輪郭線の放射方向の動き成分が抽出された画
像を表す図

【図２７】時刻ｔおよび時刻ｔ＋αにおける画像を表す
図

【図２８】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像を表す図

【図２９】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像の輪郭線を表す図

【図３０】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像の輪郭線の差分を表す図

【図３１】右回転方向成分抽出シナプス結合と左回転方
向成分抽出シナプス結合を表す図

【図３２】輪郭線の回転方向の動き成分が抽出された画
像を表す図

【図３３】画像の背景の動きをキャンセルするためのフ
ローチャートを表す図

【図３４】背景の動きがキャンセルされた時刻ｔと時刻
ｔ＋αにおける画像を表す図

【図３５】背景の動きがキャンセルされた画像を表す図

【図３６】所定被写体候補の抽出の基本的概念を表す図

【図３７】所定被写体候補の動きに基づいてポテンシャ
ル場の傾斜ベクトルを求めるためのニューラルネットワ
ークの一構成を表す図

【図３８】本発明の実施例による所定被写体候補の色に
基づいて所定被写体候補の抽出を行うニューラルネット
ワークの一例を表わす図

【図３９】様々な図形が複素対数座標変換された結果を
示す図

【図４０】色の一致度の高い領域が選択されるような競
合協調の局所相互重み結合を表わす図

【図４１】本発明の第１実施例によるニューラルネット
ワークの図３８におけるｅ層、ｇ層およびｉ層部分を抽
出した図

【図４２】注目領域が所定被写体候補の中心点へ移動す
る状態を複素対数座標と実空間座標とを対応させて表し
た第１の図

【図４３】注目領域が所定被写体候補の中心点へ移動す
る状態を複素対数座標と実空間座標とを対応させて表し
た第２の図

【図４４】注目領域が所定被写体候補の中心点へ移動す
る状態を複素対数座標と実空間座標とを対応させて表し
た第３の図

【図４５】楕円，三角形，および四角形が映し込まれた
画像のポテンシャル場のマップを表わす図

【図４６】ポテンシャル場の傾きを表わす図

【図４７】本発明の第１ステップの第２実施例による注
目領域中心点を所定被写体候補の中心へ移動させること
によって所定被写体候補の抽出を行うニューラルネット
ワークの１例を表わす図

【図４８】本発明の第１ステップの第２実施例によるニ
ューラルネットワークの各層のシナプス結合の重みを表
わす図

【図４９】本発明の第１ステップの第２実施例により、
注目領域中心点と所定被写体候補の偏心度が検出される
状態を表わす図

【図５０】本発明の第１ステップの第２実施例による注
目領域中心点を所定被写体候補の輪郭線の交線へ移動さ
せるニューラルネットワークの各層のシナプス結合の重
みを表わす図

【図５１】本発明の第１ステップの第２実施例の注目領
域中心点を所定被写体候補の輪郭線の交線へ移動させる
ことにより注目領域中心点と所定被写体候補の偏心度が
検出される状態を表わす図

【図５２】本発明の第２実施例による注目領域中心点を
所定被写体候補の中心へ移動させることによって所定被
写体候補の抽出を行うニューラルネットワークの１例を
表わす図

【図５３】本発明の第２実施例による注目領域中心点を
所定被写体候補の色と略一致する領域へ移動させるニュ
ーラルネットワークの各層のシナプス結合の重みを表わ
す図

【図５４】色度図を表す図

【図５５】本発明の第２実施例による注目領域中心点を
所定被写体候補の中心へ移動させることによって所定被
写体へ向かう色場の傾斜ベクトルの検出を行うニューラ
ルネットワークの１例を表す図

【図５６】本発明の第２実施例によるニューラルネット
ワークの各層のシナプス結合の重みを表す図

【符号の説明】

３探索ニューラルネット部４抽出領域決定部 11Ａ，11Ｂ，11Ｃ時刻ｔにおける画像 12 輪郭線抽出シナプス結合 14，24，34 時刻ｔにおける画像と時刻ｔ＋αにおけ
る画像の差分を表す画像 42 背景の動きがキャンセルされた画像 71，76 所定被写体候補 74，74′，77，77′ 方位ベクトル 75，78 ポテンシャル場の傾斜ベクトル 60 所定被写体候補の輪郭線のうち円環方向に連続性
の高い成分 61，64，65，66，85，86 ニューロン 62，63 シナプス結合 73 注目領域 105 楕円 106 三角形 107 四角形 108 ポテンシャル場の傾きを表わすグラフＱ注目領域中心点Ｏ所定被写体の中心点Ｐ₁，Ｐ₂，Ｐ₃ 所定被写体候補の中心点Ｐ₁′，Ｐ₂′，Ｐ₃′ ポテンシャル場の極小点

Claims

(57)【特許請求の範囲】

【請求項１】画像から所定被写体候補を抽出するため
の抽出領域を決定する被写体抽出装置において、前記画像全体のポテンシャル場のマップを作成し、該マ
ップ中のポテンシャルの極小点を基準として、前記所定
被写体候補の大きさおよび／または形状に応じて抽出領
域を決定する手段を備えたことを特徴とする被写体抽出
装置。
【請求項２】画像から所定被写体候補を抽出するため
の抽出領域を決定する被写体抽出装置において、前記画像から所定の大きさを有する注目領域の範囲の画
像を切り出す手段と、該切り出された画像から前記所定被写体候補の所定方向
の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた前記輪郭線の成
分を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを方位ベクトルとして検出する手段と、該各方位ベクトルを合成して前記注目領域の中心点を原
点とする実空間座標上でポテンシャル場の傾斜ベクトル
とする手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
所定被写体候補の大きさおよび／または形状に応じて抽
出領域を決定する手段とを備えたことを特徴とする被写
体抽出装置。
【請求項３】前記輪郭線を検出する手段は、前記所定
被写体候補の所定方向の輪郭線の検出を、前記切り出さ
れた画像を前記注目領域の中心点を極として複素対数座
標変換した後に行う手段であり、前記輪郭線の成分を抽出する手段は、前記輪郭線の成分
の抽出を、前記複素対数座標変換された画像において検
出された輪郭線から前記複素対数座標の円環方向に対し
て所定角度傾いた該輪郭線の成分を全て抽出することに
より行う手段であり、前記方位ベクトルを検出する手段は、該抽出された各成
分の前記複素対数座標上での方位と強度とを検出するこ
とにより、前記方位ベクトルを検出する手段であること
を特徴とする請求項２記載の被写体抽出装置。
【請求項４】前記輪郭線を検出した後に、該検出され
た輪郭線のうち、前記所定方向と略同一方向に連続性が
高い輪郭線および／または強度が大きい輪郭線を互いに
協調させることによって強調するとともに、前記各輪郭
線と前記方向に連続性が低い輪郭線および／または強度
が小さい輪郭線とを互いに競合させることによって該連
続性が低い輪郭線および／または強度が小さい輪郭線を
消去する手段をさらに備え、前記輪郭線の成分を抽出する手段は、該強調された輪郭
線から前記注目領域の中心点を囲む同心円の円周方向に
対して所定角度傾いた前記輪郭線の成分を全て抽出する
手段であることを特徴とする請求項２または３記載の被
写体抽出装置。
【請求項５】前記方位ベクトルを合成する手段は、前
記方位ベクトルの合成を、前記各方位に所定角度の位相
シフトを加えて行う手段であることを特徴とする請求項
２から４のいずれか１項記載の被写体抽出装置。
【請求項６】前記方位ベクトルを合成する手段は、前
記方位ベクトルの合成を、前記注目領域の中心点と前記
輪郭線の成分との距離に応じて前記方位ベクトルに重み
を加えて行う手段であることを特徴とする請求項２から
５のいずれか１記載の被写体抽出装置。
【請求項７】画像から所定被写体候補を抽出するため
の抽出領域を決定する被写体抽出装置において、前記画像から所定の大きさを有する注目領域の範囲の画
像を切り出す手段と、該切り出された画像から前記所定被写体候補の色と略一
致する色の領域を抽出する手段と、該抽出された各領域の、注目領域の中心点を基準とした
方位と距離とを検出する手段と、該方位と距離とから前記注目領域の中心点を原点とする
実空間座標上でポテンシャル場の傾斜ベクトルを検出す
る手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
所定被写体候補の大きさおよび／または形状に応じて抽
出領域を決定する手段とを備えたことを特徴とする被写
体抽出装置。
【請求項８】前記色の領域を抽出する手段、前記方位
と距離とを検出する手段および前記ポテンシャル場の傾
斜ベクトルを検出する手段のうち少なくとも１つは、前
記領域の抽出、前記方位と距離の検出および前記傾斜ベ
クトルの検出を複素対数座標上で行うことを特徴とする
請求項７記載の被写体抽出装置。
【請求項９】前記被写体の色と略一致する色の領域の
うち、互いに近接する色との一致度が大きい領域同士を
協調させることによって前記色との一致度が大きい領域
を強調する手段と、前記色との一致度が大きい領域と、該領域とは離れた位
置にある前記色との一致度が小さい領域との競合によっ
て、前記色との一致度が小さい領域を消去する手段と、該色との一致度が大きい領域と該領域とは離れた位置に
ある前記色との一致度が大きい領域とを互いに競合さ
せ、前記色との一致度が大きい領域であって、かつ領域
としての大きさや形状がより適当である領域を残し、領
域としての大きさや形状がより不適当な領域を消去する
ことによって、前記注目領域の範囲の中で最も適当な領
域を被写体領域として選択する手段とをさらに備え、前記方位と距離とを検出する手段は、該選択された被写
体領域の方位と距離とを注目領域の中心点を基準として
検出する手段であることを特徴とする請求項７または８
記載の被写体抽出装置。
【請求項１０】前記強調および消去を行うにあたり、
前記注目領域の中心点と前記各領域との距離に応じて重
みを加える手段をさらに備えたことを特徴とする請求項
９記載の被写体抽出装置。
【請求項１１】画像から所定被写体候補を抽出するた
めの抽出領域を決定する被写体抽出装置において、前記画像に、所定の大きさを有する注目領域を設定し、
所定の時間差を有する複数の時刻における前記注目領域
の範囲の画像を切り出し、該切り出された複数の画像に
ついて該各画像中に存在する被写体の輪郭線を検出し、
該輪郭線が検出された前記各画像間の差分を算出し、該
算出された差分に基づいて前記注目領域内での面内平行
方向の前記画像の動きを検出する手段と、前記各画像中に存在する被写体の前記注目領域の中心点
を中心とする放射方向の輪郭線を検出し、該放射方向の
輪郭線が検出された前記各画像間の差分を算出し、該算
出された差分に基づいて前記注目領域内での面内回転方
向の前記画像の動きを検出する手段と、前記各画像中に存在する被写体の円環方向の輪郭線を検
出し、該円環方向の輪郭線が検出された前記各画像間の
差分を算出し、該算出された差分に基づいて前記注目領
域内での放射方向の前記画像の動きを検出する手段と、前記検出された面内平行方向、面内回転方向または放射
方向の前記画像の動きに基づいて、前記切り出された前
記注目領域の範囲の各画像から背景の動きの成分を補償
した複数の画像を作成する手段と、前記背景の動きの成分が補償された前記複数の画像間の
差分を算出することにより、前記背景とは異なる動きを
している物体の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを方位ベクトルとして検出する手段と、該各方位ベクトルを合成して前記注目領域の中心点を原
点とする実空間座標上でポテンシャル場の傾斜ベクトル
とする手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
所定被写体候補の大きさおよび／または形状に応じて抽
出領域を決定する手段とを備えたことを特徴とする被写
体抽出装置。
【請求項１２】前記面内回転方向の前記画像の動きを
検出する手段および／または前記放射方向の前記画像の
動きを検出する手段は、前記各画像中に存在する被写体
の前記注目領域の中心点を中心とする放射方向の輪郭線
を検出および／または円環方向の輪郭線を検出を、前記
切り出された画像を前記注目領域の中心点を極として複
素対数座標変換した後に行い、該複素対数座標変換された画像において検出された輪郭
線から前記注目領域内での面内回転方向の前記画像の動
きおよび／または放射方向の前記画像の動きを検出する
手段であることを特徴とする請求項１１記載の被写体抽
出装置。
【請求項１３】前記物体の輪郭線を検出する手段は、
前記物体の輪郭線の検出を、前記背景の動きの成分が補
償された前記複数の画像間の差分を示す画像を前記注目
領域の中心点を極として複素対数座標変換した後に行う
手段であり、前記輪郭線の成分を抽出する手段は、前記輪郭線の成分
の抽出を、前記複素対数座標変換された画像において検
出された輪郭線から前記複素対数座標の円環方向に対し
て所定角度傾いた該輪郭線の成分を全て抽出することに
より行う手段であり、前記方位ベクトルを検出する手段は、該抽出された各成
分の前記複素対数座標上での方位と強度とを検出するこ
とにより、前記方位ベクトルを検出する手段であること
を特徴とする請求項１１または１２記載の被写体抽出装
置。
【請求項１４】前記輪郭線を検出した後に、該検出さ
れた輪郭線のうち、前記所定方向と略同一方向に連続性
が高い輪郭線および／または強度が大きい輪郭線を互い
に協調させることによって強調するとともに、前記各輪
郭線と前記方向に連続性が低い輪郭線および／または強
度が小さい輪郭線とを互いに競合させることによって該
連続性が低い輪郭線および／または強度が小さい輪郭線
を消去する手段をさらに備え、前記輪郭線の成分を抽出する手段は、該強調された輪郭
線から前記注目領域の中心点を囲む同心円の円周方向に
対して所定角度傾いた前記輪郭線の成分を全て抽出する
手段であることを特徴とする請求項１１，１２または１
３記載の被写体抽出装置。
【請求項１５】前記方位ベクトルを合成する手段は、
前記方位ベクトルの合成を、前記各方位ベクトルに所定
角度の位相シフトを加えて行う手段であることを特徴と
する請求項１１から１４のいずれか１項記載の被写体抽
出装置。
【請求項１６】前記方位ベクトルを合成する手段は、
前記方位ベクトルの合成を、前記注目領域の中心点と前
記輪郭線の成分との距離に応じて前記方位ベクトルに重
みを加えて行う手段であることを特徴とする請求項１１
から１５のいずれか１項記載の被写体抽出装置。
【請求項１７】画像から所定被写体候補を抽出するた
めの抽出領域を決定する被写体抽出装置において、前記画像から所定の大きさを有する注目領域の範囲の第
１の画像を切り出す手段と、該切り出された第１の画像に含まれる物体の輪郭線を検
出する手段と、所定時間経過後、前記画像から前記注目領域の範囲の第
２の画像を切り出す手段と、該切り出された第２の画像に含まれる物体の輪郭線を検
出する手段と、前記第１の画像から検出された前記輪郭線と、前記第２
の画像から検出された前記輪郭線との差分を算出する手
段と、該算出された差分に基づいて前記背景の動きを検出する
手段と、該検出された前記背景の動きを前記画像から差し引いて
前記背景とは異なる動きをした物体を検出する手段と、該物体を前記所定被写体候補と認識する手段と、前記注目領域を前記画像全体に走査させて、該画像全体
についての前記所定被写体候補に向かうポテンシャル場
の傾きをポテンシャル場の傾斜ベクトルとして検出する
手段と、該画像全体について検出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
所定被写体候補の大きさおよび／または形状に応じて抽
出領域を決定する手段とを備えたことを特徴とする被写
体抽出装置。
【請求項１８】画像から所定被写体候補を抽出するた
めの抽出領域を決定する被写体抽出装置において、前記画像から所定の大きさを有する注目領域の範囲の画
像を切り出す手段と、該切り出された画像から前記所定被写体候補の所定方向
の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第１の方位ベクトルとして検出する手段と、該各方位ベクトルを第１の移動ベクトルとして合成する
手段と、前記切り出された画像から前記所定被写体候補の色と略
一致する色の領域を抽出する手段と、該抽出された領域の前記注目領域中心点を基準とした方
位と距離とを検出する手段と、該方位と距離とを第２の移動ベクトルとして合成する手
段と、前記第１および第２の各移動ベクトルを合成して前記注
目領域の中心点を原点とする実空間座標上でポテンシャ
ル場の傾斜ベクトルとする手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
所定被写体候補の大きさおよび／または形状に応じて抽
出領域を決定する手段とを備えたことを特徴とする被写
体抽出装置。
【請求項１９】前記輪郭線を検出する手段および前記
色の領域を抽出する手段は、前記所定被写体候補の所定
方向の輪郭線の検出および前記所定被写体候補の色と略
一致する色の領域の抽出を、前記切り出された画像を前
記注目領域の中心点を極として複素対数座標変換した後
に行う手段であり、前記輪郭線の成分を抽出する手段は、前記輪郭線の成分
の抽出を、前記複素対数座標変換された画像において検
出された輪郭線から前記複素対数座標の円環方向に対し
て所定角度傾いた該輪郭線の成分を全て抽出することに
より行う手段であり、前記第１の方位ベクトルを検出する手段は、該抽出され
た各成分の前記複素対数座標上での方位と強度とを検出
することにより、前記第１の方位ベクトルを検出する手
段であり、前記方位と距離とを検出する手段は、前記抽出された各
領域の前記複素対数座標上での方位と距離とを検出する
手段であることを特徴とする請求項１８記載の被写体抽
出装置。
【請求項２０】前記輪郭線を抽出した後に、該検出さ
れた輪郭線のうち、前記所定方向と略同一方向に連続性
が高い輪郭線および／または強度が大きい輪郭線を互い
に協調させることによって強調するとともに、前記各輪
郭線と前記方向に連続性が低い輪郭線および／または強
度が小さい輪郭線とを互いに競合させることによって該
連続生が低い輪郭線および／または強度が小さい輪郭線
を消去する手段をさらに備え、前記輪郭線の成分を抽出する手段は、該強調された輪郭
線から前記注目領域の中心点を囲む同心円の円周方向に
対して所定角度傾いた前記輪郭線の成分を全て抽出する
手段であり、さらに前記被写体の色と略一致する色の領
域のうち、互いに近接する色との一致度が大きい領域同
士を協調させることによって前記色との一致度が大きい
領域を強調する手段と、前記色との一致度が大きい領域と、該領域とは離れた位
置にある前記色との一致度が小さい領域との競合によっ
て、前記色との一致度が小さい領域を消去する手段と、該色との一致度が大きい領域と該領域とは離れた位置に
ある前記色との一致度が大きい領域とを互いに競合さ
せ、前記色との一致度が大きい領域であって、かつ領域
としての大きさや形状がより適当である領域を残し、領
域としての大きさや形状がより不適当な領域を消去する
ことによって、前記注目領域の範囲の中で最も適当な領
域を被写体領域として選択する手段とを備え、前記方位と距離とを検出する手段は、該選択された被写
体領域の方位と距離とを注目領域の中心点を基準として
検出する手段であることを特徴とする請求項１８または
１９記載の被写体抽出装置。
【請求項２１】動きのある画像から所定被写体候補を
抽出するための抽出領域を決定する被写体抽出装置にお
いて、前記動きのある画像に、所定の大きさを有する注目領域
を設定し、所定の時間差を有する複数の時刻における前
記注目領域の範囲の画像を切り出し、該切り出された複
数の画像の１つから前記所定被写体候補の所定方向の輪
郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第１の方位ベクトルとして検出する手段と、該各方位ベクトルを第１の移動ベクトルとして合成する
手段と、前記切り出された複数の画像について該各画像中に存在
する被写体の輪郭線を検出し、該輪郭線が検出された前
記各画像間の差分を算出し、該算出された差分に基づい
て前記注目領域内での面内平行方向の前記画像の動きを
検出する手段と、前記各画像中に存在する被写体の前記注目領域の中心点
を中心とする放射方向の輪郭線を検出し、該放射方向の
輪郭線が検出された前記各画像間の差分を算出し、該算
出された差分に基づいて前記注目領域内での面内回転方
向の前記画像の動きを検出する手段と、前記各画像中に存在する被写体の円環方向の輪郭線を検
出し、該円環方向の輪郭線が検出された前記各画像間の
差分を算出し、該算出された差分に基づいて前記注目領
域内での放射方向の前記画像の動きを検出する手段と、前記検出された面内平行方向、面内回転方向または放射
方向の前記画像の動きに基づいて、前記切り出された前
記注目領域の範囲の各画像から背景の動きの成分を補償
した複数の画像を作成する手段と、前記背景の動きの成分が補償された前記複数の画像間の
差分を算出することにより、前記背景とは異なる動きを
している物体の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第２の方位ベクトルとして検出する手段と、該各方位ベクトルを第２の移動ベクトルとして合成する
手段と、前記第１および第２の各移動ベクトルを合成して前記注
目領域の中心点を原点とする実空間座標上でポテンシャ
ル場の傾斜ベクトルとする手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
所定被写体候補の大きさおよび／または形状に応じて抽
出領域を決定する手段とを備えたことを特徴とする被写
体抽出装置。
【請求項２２】前記面内回転方向の前記画像の動きを
検出する手段および／または前記放射方向の前記画像の
動きを検出する手段は、前記各画像中に存在する被写体
の前記注目領域の中心点を中心とする放射方向の輪郭線
の検出および／または円環方向の輪郭線の検出を、前記
切り出された画像を前記注目領域の中心点を極として複
素対数座標変換した後に行うとともに、前記所定被写体候補の所定角度傾いた輪郭線の検出を、
前記切り出された画像の１つを前記注目領域の中心点を
極として複素対数座標変換した後に行う手段であり、前記背景の動きの成分が補償された画像からの前記輪郭
線の成分を抽出する手段および前記切り出された複数の
画像の１つからの前記輪郭線の成分を抽出する手段は、
前記背景の動きの成分が補償された画像からの前記輪郭
線の成分の抽出および前記切り出された複数の画像の１
つからの前記輪郭線の成分の抽出を、前記複素対数座標
変換された画像において検出された輪郭線から前記複素
対数座標の円環方向に対して所定角度傾いた該輪郭線の
成分を全て抽出することにより行う手段であり、前記第１および第２の方位ベクトルを検出する手段は、
該抽出された各成分の前記複素対数座標上での方位と強
度とを検出することにより前記第１および第２の方位ベ
クトルを検出する手段であることを特徴とする請求項２
１記載の被写体抽出装置。
【請求項２３】前記第１および第２の方位ベクトルを
検出する際の前記輪郭線を検出した後に、該検出された
輪郭線のうち、前記所定方向と略同一方向に連続性が高
い輪郭線および／または強度が大きい輪郭線を互いに協
調させることによって強調するとともに、前記各輪郭線
と前記方向に連続性が低い輪郭線および／または強度が
小さい輪郭線とを互いに競合させることによって該連続
性が低い輪郭線および／または強度が小さい輪郭線を消
去する手段をさらに備え、前記輪郭線の成分を抽出する各手段は、該強調された輪
郭線から前記注目領域の中心点を囲む同心円の円周方向
に対して所定角度傾いた前記輪郭線の成分を全て抽出す
る手段であり、前記第１および第２の方位ベクトルを検出する手段は、
前記強調された前記領域の前記注目領域の中心点を基準
とした方位を前記第１および第２の方位ベクトルとして
検出する手段であることを特徴とする請求項２１または
２２記載の被写体抽出装置。
【請求項２４】動きのある画像から所定被写体候補を
抽出するための抽出領域を決定する被写体抽出装置にお
いて、前記動きのある画像に、所定の大きさを有する注目領域
を設定し、所定の時間差を有する複数の時刻における前
記注目領域の範囲の画像を切り出し、該切り出された複
数の画像の１つから前記所定被写体候補の所定方向の輪
郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第１の方位ベクトルとして検出する手段と、該各方位ベクトルを第１の移動ベクトルとして合成する
手段と、前記切り出された複数の画像について該各画像中に存在
する被写体の輪郭線を検出し、該輪郭線が検出された前
記各画像間の差分を算出し、該算出された差分に基づい
て前記注目領域内での面内平行方向の前記画像の動きを
検出する手段と、前記各画像中に存在する被写体の前記注目領域の中心点
を中心とする放射方向の輪郭線を検出し、該放射方向の
輪郭線が検出された前記各画像間の差分を算出し、該算
出された差分に基づいて前記注目領域内での面内回転方
向の前記画像の動きを検出する手段と、前記各画像中に存在する被写体の円環方向の輪郭線を検
出し、該円環方向の輪郭線が検出された前記各画像間の
差分を算出し、該算出された差分に基づいて前記注目領
域内での放射方向の前記画像の動きを検出する手段と、前記検出された面内平行方向、面内回転方向または放射
方向の前記画像の動きに基づいて、前記切り出された前
記注目領域の範囲の各画像から背景の動きの成分を補償
した複数の画像を作成する手段と、前記背景の動きの成分が補償された前記複数の画像間の
差分を算出することにより、前記背景とは異なる動きを
している物体の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第２の方位ベクトルとして検出する手段と、該各方位ベクトルを第２の移動ベクトルとして合成する
手段と、前記切り出された複数の画像の１つから前記所定被写体
候補の色と略一致する色の領域を抽出する手段と、該抽出された領域の前記注目領域中心点を基準とした方
位と距離とを検出する手段と、該方位と距離とをを第３の移動ベクトルとして検出する
手段と、前記第１、第２および第３の各移動ベクトルを合成して
前記注目領域の中心点を原点とする実空間座標上でポテ
ンシャル場の傾斜ベクトルとする手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
所定被写体候補の大きさおよび／または形状に応じて抽
出領域を決定する手段とを備えたことを特徴とする被写
体抽出装置。
【請求項２５】前記面内回転方向の前記画像の動きを
検出する手段および／または前記放射方向の前記画像の
動きを検出する手段は、前記各画像中に存在する被写体
の前記注目領域の中心点を中心とする放射方向の輪郭線
を検出および／または円環方向の輪郭線を検出を、前記
切り出された画像を前記注目領域の中心点を極として複
素対数座標変換した後に行うとともに、前記所定被写体候補の所定角度傾いた輪郭線の検出およ
び前記所定被写体候補の色と略一致する領域の検出を、
前記切り出された画像の１つを前記注目領域の中心点を
極として複素対数座標変換した後に行う手段であり、前記背景の動きの成分が補償された画像からの前記輪郭
線の成分を抽出する手段および前記切り出された複数の
画像の１つからの前記輪郭線の成分を抽出する手段は、
前記背景の動きの成分が補償された画像からの前記輪郭
線の成分の抽出および前記切り出された複数の画像の１
つからの前記輪郭線の成分の抽出を、前記複素対数座標
変換された画像において検出された輪郭線から前記複素
対数座標の円環方向に対して所定角度傾いた該輪郭線の
成分を全て抽出することにより行う手段であり、前記第１および第２の方位ベクトルを検出する手段は、
該抽出された各成分の前記複素対数座標上での方位と強
度とを検出することにより前記第１および第２の方位ベ
クトルを検出する手段であり、前記方位と距離とを検出する手段は、前記抽出された各
領域の前記複素対数座標上での方位と距離とを検出する
手段であることを特徴とする請求項２４記載の被写体抽
出装置。
【請求項２６】前記第１および第２の方位ベクトルを
検出する際の前記輪郭線を検出した後に、該検出された
輪郭線のうち、前記所定方向と略同一方向に連続性が高
い輪郭線および／または強度が大きい輪郭線を互いに協
調させることによって強調するとともに、前記各輪郭線
と前記方向に連続性が低い輪郭線および／または強度が
小さい輪郭線とを互いに競合させることによって該連続
性が低い輪郭線および／または強度が小さい輪郭線を消
去する手段をさらに備え、前記輪郭線の成分を抽出する各手段は、該強調された輪
郭線から前記注目領域の中心点を囲む同心円の円周方向
に対して所定角度傾いた前記輪郭線の成分を全て抽出す
る手段であり、さらに前記第３の方位ベクトルを検出す
る際の前記抽出された各領域のうち、互いに近接する色
との一致度が大きい領域同士を協調させることによって
前記色との一致度が大きい領域を強調する手段と、前記色との一致度が大きい領域と、該領域とは離れた位
置にある前記色との一致度が小さい領域との競合によっ
て、前記色との一致度が小さい領域を消去する手段と、該色との一致度が大きい領域と該領域とは離れた位置に
ある前記色との一致度が大きい領域とを互いに競合さ
せ、前記色との一致度が大きい領域であって、かつ領域
としての大きさや形状がより適当である領域を残し、領
域としての大きさや形状がより不適当な領域を消去する
ことによって、前記注目領域の範囲の中で最も適当な領
域を被写体領域として選択する手段とを備え、前記方位と距離とを検出する手段は、該選択された被写
体領域の方位と距離とを注目領域の中心点を基準として
検出する手段であることを特徴とする請求項２４または
２５記載の被写体抽出装置。
【請求項２７】画像から所定被写体候補を抽出するた
めの抽出領域を決定する被写体抽出装置において、前記画像から所定の大きさを有する注目領域の範囲の第
１の画像を切り出す手段と、該切り出された第１の画像に含まれる物体の輪郭線を明
暗の情報として検出する手段と、所定時間経過後、前記画像から前記注目領域の範囲の第
２の画像を切り出す手段と、該切り出された第２の画像に含まれる物体の輪郭線を明
暗の情報として検出する手段と、前記第１の画像から検出された前記輪郭線と、前記第２
の画像から検出された前記輪郭線との差分を算出する手
段と、該算出された差分に基づいて前記背景の動きを検出する
手段と、該検出された前記背景の動きを前記画像から差し引いて
前記背景とは異なる動きをした物体を検出する手段と、該物体を前記所定被写体候補と認識する手段と、前記切り出された第１の画像からの前記所定被写体候補
の所定方向の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第１の方位ベクトルとして検出する手段と、該各方位ベクトルを第１の移動ベクトルとして合成する
手段と、前記切り出された第１の画像から前記所定被写体候補の
色と略一致する色の領域を抽出する手段と、該抽出された各領域の前記注目領域中心点を基準とした
方位と距離とを検出する手段と、該方位と距離とをを第２の移動ベクトルとして検出する
手段と、前記第１および第２の各移動ベクトルを合成して前記注
目領域の中心点を原点とする実空間座標上でポテンシャ
ル場の傾斜ベクトルとする手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
所定被写体候補の大きさおよび／または形状に応じて抽
出領域を決定する手段とを備えたことを特徴とする被写
体抽出装置。
【請求項２８】前記輪郭線を検出する手段および前記
色の領域を抽出する手段は、前記所定被写体候補の所定
方向の輪郭線の検出および前記所定被写体候補の色と略
一致する領域の抽出を、前記切り出された第１の画像を
前記注目領域の中心点を極として複素対数座標変換した
後に行う手段であり、前記切り出された第１の画像からの前記輪郭線の成分を
抽出する手段は、前記切り出された第１の画像からの前
記輪郭線の成分の抽出を、前記複素対数座標変換された
画像において検出された輪郭線から前記複素対数座標の
円環方向に対して所定角度傾いた該輪郭線の成分を全て
抽出することにより行う手段であり、前記第１の方位ベクトルを検出する手段は、該抽出され
た各成分の前記複素対数座標上での方位と強度とを検出
することにより前記第１の方位ベクトルを検出する手段
であり、前記方位と距離とを検出する手段は、前記抽出された各
領域の前記複素対数座標上での方位と距離とを検出する
手段であることを特徴とする請求項２７記載の被写体抽
出装置。
【請求項２９】前記輪郭線を検出した後に、該検出さ
れた輪郭線のうち、前記所定方向と略同一方向に連続性
が高い輪郭線および／または強度が大きい輪郭線を互い
に協調させることによって強調するとともに、前記各輪
郭線と前記方向に連続性が低い輪郭線および／または強
度が小さい輪郭線とを互いに競合させることによって該
連続性が低い輪郭線および／または強度が小さい輪郭線
を消去する手段をさらに備え、前記輪郭線の成分を抽出する手段は、該強調された輪郭
線から前記注目領域の中心点を囲む同心円の円周方向に
対して所定角度傾いた前記輪郭線の成分を全て抽出する
手段であることを特徴とする請求項２７または２８記載
の被写体抽出装置。
【請求項３０】前記所定被写体候補を抽出後、該画像
の該所定被写体候補が抽出された領域について、再抽出
防止処理を施す再抽出防止手段をさらに備えたことを特
徴とする請求項１から２９のいずれか１項記載の被写体
抽出装置。
【請求項３１】前記再抽出防止手段は、前記再抽出防
止処理をニューラルネットワークを用いて行う手段であ
ることを特徴とする請求項３０記載の被写体抽出装置。
【請求項３２】前記再抽出防止手段は、前記再抽出防
止処理をポテンシャル場のマップにマスキング処理を施
すことにより行う手段であることを特徴とする請求項３
０または３１記載の被写体抽出装置。