[go: up one dir, main page]

JP3268953B2 - 追尾領域設定装置,動きベクトル検出回路およびそれを用いた被写体追尾装置 - Google Patents

追尾領域設定装置,動きベクトル検出回路およびそれを用いた被写体追尾装置

Info

Publication number
JP3268953B2
JP3268953B2 JP03820495A JP3820495A JP3268953B2 JP 3268953 B2 JP3268953 B2 JP 3268953B2 JP 03820495 A JP03820495 A JP 03820495A JP 3820495 A JP3820495 A JP 3820495A JP 3268953 B2 JP3268953 B2 JP 3268953B2
Authority
JP
Japan
Prior art keywords
detection
motion vector
field
detection block
tracking area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03820495A
Other languages
English (en)
Other versions
JPH08237535A (ja
Inventor
秀樹 松村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP03820495A priority Critical patent/JP3268953B2/ja
Priority to US08/606,992 priority patent/US5757422A/en
Priority to EP96102919A priority patent/EP0729036B1/en
Priority to DE69616111T priority patent/DE69616111T2/de
Publication of JPH08237535A publication Critical patent/JPH08237535A/ja
Application granted granted Critical
Publication of JP3268953B2 publication Critical patent/JP3268953B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は追尾領域設定装置,動
きベクトル検出回路およびそれを用いた被写体追尾装置
に関し、特にたとえば代表点マッチング法を利用する追
尾領域設定装置,動きベクトル検出回路およびそれを用
いた被写体追尾装置に関する。
【0002】
【従来の技術】図9および図10は、特開平2−117
276号公報に示された従来の被写体領域区分図であ
る。図9はカメラを固定して動きのある被写体を撮影し
た場合であり、(a)は撮影した画面の一例を、(b)
は直前のフィールドとの差であるオプティカルフロー
を、(c)はオプティカルフローのヒストグラムを、
(d)は被写体領域区分を示している。
【0003】図10は、撮影者が図9(d)の中心の人
物Bを追尾して撮影した場合であり、(a)はオプティ
カルフローを、(b)はオプティカルフローのヒストグ
ラムを、(c)は被写体領域区分を示している。
【0004】
【発明が解決しようとする課題】上述の図9に示す従来
技術では、特定の被写体だけを区別することが困難であ
った。一方、図10に示す従来技術では、手動で被写体
を設定しなければならず、作業が煩雑であった。それゆ
えに、この発明の主たる目的は、被写体を明確にかつ自
動的に区別できる、追尾領域設定装置,動きベクトル検
出回路およびそれを用いた被写体追尾装置を提供するこ
とである。
【0005】
【課題を解決するための手段】第1の発明は、画面内に
設定された複数の検出ブロックの前フィールド(フレー
ム)の代表点データと現フィールド(フレーム)の画素
データとの最小相関値に基づく部分動きベクトルを複数
の検出ブロック毎に求める第1相関手段、部分動きベク
トルと前フィールド(フレーム)の基準ベクトルとの
クトル相関値を複数の検出ブロック毎に求める第2相関
手段、ベクトル相関値と動き検出精度に応じて設定され
ている閾値と比較して閾値と一定の関係にある複数の
検出ブロックを追尾領域を構成する第1検出ブロック
して判定するブロック判定手段を備える、追尾領域設定
装置である。
【0006】第2の発明は、上述の追尾領域設定装置を
含み、さらに追尾領域の重心を求める重心検出手段、お
よび重心と画面の中央の位置とに基づいて動きベクトル
を発生する動きベクトル発生手段を備える、動きベクト
ル検出回路である。第3の発明は、被写体を撮像して映
像信号に変換する撮像手段、撮像手段を水平方向または
垂直方向に駆動する駆動手段、映像信号に基づいて動き
ベクトルを検出する動きベクトル検出手段、および動き
ベクトルに基づいて特定の被写体が画面の中央に位置す
るように駆動手段を制御する制御手段を備える被写体追
尾カメラ装置において、動きベクトル検出手段として上
述の動きベクトル検出回路を用いることを特徴とする、
被写体追尾装置である。
【0007】
【作用】第1基準ベクトル設定手段によって、初期フィ
ールド(フレーム)における特定の検出ブロックの代表
点データと次フィールド(フレーム)における特定の検
出ブロックの各画素データとの相関に基づいて基準ベク
トルを設定する。初期フィールド(フレーム)の次のフ
ィールド(フレーム)以降では、第1相関手段で、検出
ブロックの代表点データとその検出ブロックの各画素デ
ータとの最小相関値を求め、その最小相関値に基づいて
部分動きベクトルを求める。第1モード設定手段を用い
れば、画面内の全ての検出ブロックについてそれぞれ部
分動きベクトルが求められる(モード1)。一方、第2
モード設定手段を用いれば、初期フィールド(フレー
ム)の次のフィールド(フレーム)では特定の検出ブロ
ックとその1つ外側の検出ブロックとについてそれぞれ
部分動きベクトルが求められ、それ以降のフィールド
(フレーム)では追尾領域を構成する第1検出ブロック
とその第1検出ブロックの1つ外側の検出ブロックとに
ついてそれぞれ部分動きベクトルが求められる(モード
2)。第1モード設定手段を用いるか、第2モード設定
手段を用いるかは、モード切換手段によって選択され
る。
【0008】初期フィールド(フレーム)から数えて2
フィールド(フレーム)目以降では、第2相関手段によ
って部分動きベクトルと基準ベクトルとのベクトル相関
値を求める。求められたベクトル相関値と所定の(動き
検出精度に応じて設定されている)閾値との比較に基づ
いて、閾値と一定の関係にある(実施例では閾値以下
の)ベクトル相関値を有する検出ブロックを、追尾領域
を構成する第1検出ブロックとしてブロック判定手段で
判定する。この第1検出ブロックに基づいて追尾領域が
設定される。
【0009】なお、初期フィールド(フレーム)から数
えて2フィールド(フレーム)目以降では、第2基準ベ
クトル設定手段によって第1検出ブロックの代表点デー
タと各画素データとに基づいてフィールド(フレーム)
毎に基準ベクトルが設定・更新される。このようにして
設定された追尾領域の重心を重心検出手段によって求
め、その重心と画面の中央の位置とに基づいて動きベク
トルを動きベクトル発生手段によって発生させる。
【0010】さらに、この動きベクトル検出回路を被写
体追尾装置に用いる場合、動きベクトル検出回路によっ
て得られた動きベクトルを制御手段に与え、制御手段に
よって駆動手段が制御される。駆動手段は、撮像手段を
水平または垂直方向に駆動して、特定の被写体を画面の
中央に位置させる。
【0011】
【発明の効果】この発明によれば、追尾領域を明確かつ
自動的に設定できる。したがって、被写体を明確かつ自
動的にその他の領域と区別し、被写体を自動追尾でき
る。この発明の上述の目的,その他の目的,特徴および
利点は、図面を参照して行う以下の実施例の詳細な説明
から一層明らかとなろう。
【0012】
【実施例】図1に示す実施例の被写体追尾装置10はカ
メラ12を含む。カメラ12は被写体を撮像して映像信
号に変換し、その映像信号を動きベクトル検出回路14
に与える。動きベクトル検出回路14では、後で詳述す
るが、映像信号に基づいて追尾領域を設定しその追尾領
域の重心に基づいて動きベクトルを検出する。その動き
ベクトルが雲台制御回路16に与えられ、雲台制御回路
16は動きベクトルに基づいて駆動装置18に駆動信号
を出力する。駆動装置18は、駆動信号に基づいて雲台
20を駆動する。それに応じて、追尾領域の重心が画面
上の中央に位置するようにカメラ12が水平方向または
垂直方向に駆動され姿勢制御されることによって、被写
体が自動追尾される。
【0013】動きベクトル検出回路14は、たとえば図
2に示すように構成される。ここで、まず、動きベクト
ルの一般的な検出方法について述べる。動きベクトルは
代表点マッチング法などによって求めることができる。
たとえば、図3に示すように、水平方向にx画素、垂直
方向にy画素となる検出ブロックにおいて、図3(a)
に示すkフィールド目の検出ブロック中央の代表点デー
タの位置と、図3(b)に示すk+1フィールド目にお
いてその代表点データが移動した画素の位置との差を動
きベクトルとする。
【0014】この実施例では、動きベクトル発生回路8
4において、画面40の中央と重心検出回路82によっ
て求められた重心の位置との差を動きベクトルとして検
出する。次に、図2に示す動きベクトル検出回路14の
回路構成について説明する。動きベクトル検出回路14
は追尾領域決定装置22を含む。追尾領域決定装置22
はA/D変換器24を含む。A/D変換器24では、与
えられた映像信号が画素毎のディジタルデータに変換さ
れる。このディジタルデータは、たとえばY,R−Y,
B−Y信号をディジタル化したデータである。
【0015】また、映像信号は、タイミング発生回路2
6に含まれるH−SYNC分離回路28および水平アド
レスカウンタ30に与えられる。水平アドレスカウンタ
30では、映像信号に応じて横方向の画素数がカウント
され、H−SYNC分離回路28からの水平同期信号に
基づいて1ライン毎にリセットされる。水平アドレスカ
ウンタ30からの出力は水平デコーダ32に与えられ、
水平デコーダ32からは図4(b)および(c)に示す
合計10種類の水平信号H0ないしH2,H0′ないし
H2′,H0″が出力される。
【0016】また、映像信号は、V−SYNC分離回路
34および垂直アドレスカウンタ36に与えられる。垂
直アドレスカウンタ36では、映像信号に応じて縦方向
の画素数がカウントされ、1フィールド毎にV−SYN
C分離回路34からの垂直同期信号に基づいてリセット
される。垂直アドレスカウンタ36からの出力は垂直デ
コーダ38に与えられ、垂直デコーダ38からは図4
(b)および(c)に示す合計7種類の垂直信号V0お
よびV1,V0′およびV1′,V0″が出力される。
ここで、水平信号H0″および垂直信号V0″は検出ブ
ロック判定回路78の判定結果に応じて出力される設定
信号に基づいて設定される。
【0017】また、図4(a)には、カメラ12のビュ
ーファインダ12a内の画面40が示され、この画面4
0に設定される動きベクトル検出領域42は、この実施
例ではたとえばm×n=25×15=375個の検出ブ
ロック44に分割される。なお、特定の検出ブロック4
4aは、たとえば図4(a)に示すように動きベクトル
検出領域42の中央に設定される。
【0018】また、追尾領域設定装置22は、CPU4
6を含む。CPU46には、被写体追尾モードに設定す
るための追尾モードスイッチ48が接続される。目標と
する被写体が、たとえば画面40の中央部の検出ブロッ
ク44aの位置にくるようにカメラ12の方向を合わせ
ておき、追尾モードスイッチ48をオンにすると、CP
U46からは追尾動作開始信号が出力される。この追尾
動作開始信号はANDゲート50,52および54に入
力される。ただし、初期フィールドでは追尾動作開始信
号はANDゲート50だけに入力される。
【0019】また、CPU46にはモード切換スイッチ
56が接続される。モード切換スイッチ56によって、
動きベクトル検出領域42内の全ての検出ブロック44
を用いて追尾領域を設定するのか(モード1)、前フィ
ールドにおいて追尾領域を構成すると判断された検出ブ
ロック44(初期フィールドでは特定の検出ブロック4
4a)とその1つ外側の検出ブロック44だけを用いて
追尾領域を決定するのか(モード2)が設定され、その
モード信号がタイミング発生回路26に与えられる。タ
イミング発生回路26では、このモード信号に基づい
て、モード1のときには図4(b)に示す水平信号およ
び垂直信号が、モード2のときには図4(c)に示す水
平信号および垂直信号が、それぞれ出力される。
【0020】また、CPU46には、ROM58および
RAM60が接続される。ROM58には、追尾領域設
定装置22の動作を制御するためのプログラムが格納さ
れ、RAM60には、動作の結果得られたデータ等が格
納される。そして、映像信号のディジタルデータは、A
NDゲート50からのイネーブル信号に基づいてラッチ
回路62にラッチされ、ANDゲート52からのイネー
ブル信号に基づいてラッチ回路64にラッチされる。す
なわち、ラッチ回路62では、検出ブロック44の代表
点データがラッチされ、ラッチ回路64では、検出ブロ
ック44の各画素データがラッチされる。ラッチ回路6
2でラッチされた代表点データは、代表点メモリ66に
書き込まれ、次のフィールドでANDゲート54からの
イネーブル信号に基づいてラッチ回路68に読み出され
る。ラッチ回路68の代表点データとラッチ回路64の
各画素データとは相関器70に与えられる。ここで、ラ
ッチ回路68から与えられる代表点データはラッチ回路
64から与えられる各画素データより1フィールド前の
データである。相関器70では、後述のような相関演算
が行われ、最小相関値が得られる。
【0021】この最小相関値に基づいて1フィールド間
の被写体の部分動きベクトルが検出ブロック毎に求めら
れ、部分動きベクトルはセレクタ72を介して基準ベク
トル発生回路74または相関器76に与えられる。すな
わち、セレクタ72は追尾モードスイッチ48がオンさ
れたフィールドの次のフィールドにおいてのみ基準ベク
トル発生回路74側に接続され、そのとき求められた部
分動きベクトルだけが基準ベクトル発生回路74に与え
られる。このときの部分動きベクトルは、初期フィール
ドの特定の検出ブロック44aの代表点データとその特
定の検出ブロック44aの各画素データとに基づいて得
られた動きベクトルである。それ以外のフィールドでは
セレクタ72は相関器76側に接続され、各フィールド
毎に得られた最小相関値が相関器76に与えられる。
【0022】相関器76に与えられる部分動きベクトル
は、モード1では、動きベクトル検出領域42に含まれ
る全ての検出ブロック44毎に求められる動きベクトル
であり、モード2では、前フィールドにおいて追尾領域
を構成すると判断された検出ブロック44(初期フィー
ルドでは特定の検出ブロック44a)とそれの1つ外側
の検出ブロック44とについて求められた動きベクトル
である。相関器76では、与えられた部分動きベクトル
と基準ベクトル発生回路74からの基準ベクトルとにつ
いて後述するように相関値が求められる。その相関値は
検出ブロック判定回路78に与えられる。
【0023】検出ブロック判定回路78では相関値と所
定の閾値とが比較される。閾値は、要求される検出精度
に応じて設定され、高い精度を要求されるときは閾値は
小さく、低い精度で足りるときは閾値は大きく設定され
る。相関値が所定の閾値以下の検出ブロックだけが追尾
領域を構成する検出ブロックと判定される。したがっ
て、検出ブロック判定回路78によって追尾領域が最終
的に設定される。追尾領域は、たとえば図6(b)およ
び(c)においてそれぞれAで示すように設定される。
モード2では、その結果に応じた設定信号がタイミング
発生回路26に与えられる。この設定信号は各フィール
ド毎に出力され、それに応じて水平信号H0″および垂
直信号V0″が調整される。
【0024】検出ブロック判定回路78によって追尾領
域を構成すると判定された検出ブロック44の部分動き
ベクトルは累積演算器80に与えられる。そして累積演
算器80で後述するようにして部分動きベクトルのx成
分およびy成分がそれぞれ累積加算され、その平均値が
フィールド毎に基準ベクトル発生回路74に与えられ
る。すなわち、基準ベクトルはフィールド毎に更新され
る。
【0025】また、このように構成される追尾領域決定
装置22の検出ブロック判定回路78からの検出ブロッ
ク44のxy座標値は重心検出回路82に与えられる。
重心検出回路82では、追尾領域を構成する検出ブロッ
ク44の重心が検出され、その重心のデータは動きベク
トル発生回路84に与えられる。動きベクトル発生回路
84では、画面40の中央の位置と与えられた重心とに
基づいて動きベクトルを発生させ、その動きベクトルは
雲台制御回路16に与えられる。
【0026】このように構成される被写体追尾装置10
の主要な動作を、図7および図8を中心に説明する。図
7に示すステップS1においてA/D変換器24に映像
信号が入力されると、ステップS3において、モード1
であるかモード2であるかが判断される。モード1と判
断されれば、以下図7に示すフロー図が実行される。
【0027】モード1では、画面40内の動きベクトル
検出領域42に含まれる全ての検出ブロック44を用い
て動きベクトルが検出される。この場合には、図5に示
すように、同じ動きベクトルを有する2箇所の追尾領域
が設定される可能性がある。なお、図7に示す水平信号
および垂直信号は図4(b)に示す信号である。図7に
示すステップS5において、初期フィールドであるか否
かが判断される。“YES”であれば、ステップS7に
進む。そして、ステップS7において垂直信号V0が出
力され、ステップS9において水平信号H0が出力され
ると、ANDゲート50を通してラッチ回路62にイネ
ーブル信号が与えられる。すると、ステップS11にお
いて、ラッチ回路62によって画面40の中央部の検出
ブロック44aの代表点データがラッチされ、ステップ
S13において、ラッチされた代表点データが代表点メ
モリ66に格納され、次画素の処理へ進む。ステップS
7またはS9が“NO”のときも次画素の処理へ進む。
初期フィールドではステップS1ないしS13の処理が
繰り返される。
【0028】ステップS5が“NO”であれば、ステッ
プS15に進み、初期フィールドの次のフィールドか否
かが判断される。ステップS15が“YES”であれ
ば、直接ステップS17に進む。ステップS17におい
て垂直信号V0′が出力され、ステップS19において
水平信号H0′が出力されると、ANDゲート50から
ラッチ回路62にイネーブル信号が出力される。する
と、ステップS21において、ラッチ回路62によっ
て、画面40内のm×n個の全ての検出ブロック44の
代表点データがラッチされ、ステップS23では、代表
色メモリ66に格納される。すなわち、初期フィールド
から数えて2フィールド目における演算では画面40内
のm×n個の検出ブロック44を範囲として行われるの
で、ステップS17ないしS23では、その演算に利用
する代表点データが代表点メモリ66に格納され、ステ
ップS25に進む。なお、ステップS17またはS19
が“NO”であれば、直接ステップS25に進む。
【0029】次いで、ステップS25において垂直信号
V1が出力され、ステップS27において水平信号H1
が出力されると、ANDゲート52からラッチ回路64
にイネーブル信号が与えられる。すると、ステップS2
9において、画面40の中央部の検出ブロック44a内
のx×y個の各画素データがラッチされる。また、ステ
ップS25において垂直信号V1が出力され、さらにス
テップS31において水平信号H2が出力されると、A
NDゲート54を通してラッチ回路68にイネーブル信
号が与えられる。すると、ステップS33において、代
表点メモリ66から出力される前フィールドの代表点デ
ータがラッチ回路68によってラッチされる。
【0030】そして、ステップS35に進む。ステップ
S27が“NO”であれば直接ステップS31に、ステ
ップS25またはS31が“NO”であれば、それぞれ
ステップS35に直接進む。ステップS35において動
きベクトル検出領域42が終了したか否かが判断され、
“YES”であればステップS37に進む。ステップS
37において、ラッチ回路64からの各画素データとラ
ッチ回路68からの代表点データとについて相関器70
で相関値D1ijの演算が行われる。
【0031】前フィールドの検出ブロック44ijの代表
点データをRij00、現フィールドの検出ブロック44ij
の各画素データをSijxyとすると、相関値D1ijは、数
1で表され、相関値D1ijが最小となる画素のxy座標
値が求められる。
【0032】
【数1】D1ij=|Rij00−Sijxy| そして、そのxy座標値に基づいて1フィールド間の被
写体の部分動きベクトルが求められる。ステップS39
において、この部分動きベクトルがセレクタ72を通し
て基準ベクトル発生回路74に入力され、基準ベクトル
として基準ベクトル発生回路74に格納される。そし
て、次画素の処理へ進む。ステップS35が“NO”で
あれば、直接次画素の処理へ進む。
【0033】ステップS15が“NO”であれば、初期
フィールドから数えて2フィールド目以降であると判断
され、ステップS41に進む。ステップS41において
垂直信号V0′が出力され、ステップS43において水
平信号H0′が出力されると、ANDゲート50を通し
てラッチ回路62にイネーブル信号が与えられる。する
と、ステップS45において、画面40内のm×n個の
検出ブロック44の各代表点データがラッチ回路62に
よってラッチされ、ステップS47において、代表点メ
モリ66に格納され、ステップS49に進む。ステップ
S41またはS43が“NO”であれば、直接ステップ
S49に進む。
【0034】ステップS49において垂直信号V1′が
出力され、ステップS51において水平信号H1′が出
力されると、ANDゲート52を通してラッチ回路64
にイネーブル信号が与えられる。すると、ステップS5
3において、画面40内のm×n個の検出ブロック44
毎に各画素データがラッチ回路64によってラッチされ
る。
【0035】また、ステップS49において垂直信号V
1′が出力され、ステップS55において水平信号H
2′が出力されると、ANDゲート54を通してラッチ
回路68にイネーブル信号が与えられる。すると、ステ
ップS57において、代表点メモリ66から出力される
前フィールドのm×n個の検出ブロック44の各代表点
データがラッチ回路68によってラッチされる。
【0036】そして、ステップS59において、動きベ
クトル検出領域が終了したか否かが判断され、“YE
S”であればステップS61に進む。ステップS61に
おいて、ラッチ回路64からの画素データおよびラッチ
回路68からの代表点データがそれぞれ相関器70に入
力されて、相関値D1ijの演算が行われる。そして、相
関値D1ijが最小となるm×n個のxy座標値からm×
n個の部分動きベクトルが求められる。そして、ステッ
プS63において、m×n個の部分動きベクトルがセレ
クタ72を通して相関器76に入力され、前フィールド
で生成した基準ベクトルとの相関演算が行われる。
【0037】前フィールドで得られた基準ベクトルのx
成分をxt0、y成分をyt0、現フィールドの検出ブロッ
ク44ijの部分動きベクトルのx成分をxijt1、y成分
をy ijt1とすると、相関値D2ijは、数2で表される。
【0038】
【数2】D2ij=|xt0−xijt1|+|yt0−yijt1| この相関値D2ijは、ステップS63において、検出ブ
ロック判定回路78に入力され、相関値D2ijが所定の
閾値以下になるか否かが判断される。“YES”であれ
ば、ステップS67において、その検出ブロックは追尾
領域を構成する検出ブロックであると判定される。
【0039】このように追尾領域を構成すると判定され
た検出ブロック44のxy座標値は重心検出回路82に
入力されて、追尾領域の重心が求められる。たとえば、
図5に示す場合には、2箇所の被写体の中間に重心がく
る。そして、動きベクトル発生回路84にその重心のデ
ータが入力されて、重心と画面40の中央の位置との差
を、雲台20制御用の動きベクトルとして出力する。
【0040】また、ステップS69において、追尾領域
を構成すると判定された検出ブロック44の部分動きベ
クトルは累積演算器80にも入力される。そして、各検
出ブロック44の部分動きベクトルのx成分xijt1、y
成分yijt1はそれぞれ数3に示すように累積演算され
る。
【0041】
【数3】
【0042】そして、ステップS71において、この累
積演算値xt0′、yt0′を次のフィールドでの基準ベク
トルとして更新することによって、被写体の動き量や方
向の変化や、自動追尾によるカメラ12の回転などに対
応することができる。初期フィールドから数えて2フィ
ールド目以降では、ステップS41ないしS71の処理
が繰り返される。
【0043】図7に示す処理を毎フィールド繰り返し
て、被写体の移動を検出する。ステップS3に戻って、
ステップS3がモード2であれば以降図8の動作が行わ
れる。これは、図5に示す画面中央部の追尾領域を可変
することによって被写体を認識する場合である。なお、
図8に示す水平信号および垂直信号は図4(c)に示す
信号である。
【0044】まず、図8に示すステップS73において
初期フィールドか否かが判断される。“YES”であれ
ば、ステップS75において垂直信号V0が出力され、
ステップS77において水平信号H0が出力されると、
ANDゲート50を通してラッチ回路62にイネーブル
信号が出力される。すると、ステップS79において、
画面40の中央部の検出ブロック44aの代表点データ
がラッチ回路62によってラッチされる。そして、ステ
ップS81において、その代表点データは代表点メモリ
66に格納され、次画素の処理へ進む。ステップS75
またはS77が“NO”のときも次画素の処理へ進む。
初期フィールドではステップS73ないしS81の処理
が繰り返される。
【0045】そして、ステップS73が“NO”であれ
ばステップS83に進む。ステップS83において、初
期フィールドの次のフィールドであるか否かが判断され
る。ステップS83が“YES”、すなわち初期フィー
ルドの次のフィールドであればステップS83ないしS
107の処理が繰り返される。ステップS83が“YE
S”であれば、ステップS85において垂直信号V0′
が出力され、ステップS87において水平信号H0′が
出力されると、ANDゲート50を通してラッチ回路6
2にイネーブル信号が与えられる。すると、ステップS
89において、図6(a)に示す、画面40の中央部の
検出ブロック44aとその周辺の検出ブロック44との
合計9個の検出ブロックの代表点データがラッチ回路6
2によってラッチされる。この代表点データは、ステッ
プS91において、代表点メモリ66に格納され、ステ
ップS93に進む。すなわち、初期フィールドから数え
て2フィールド目での演算には画面40の中央部の検出
ブロック44aとその検出ブロック44aの1つだけ外
側の検出ブロック44までが利用されるが、これらの検
出ブロック44aおよび44の各代表点データが代表点
メモリ66に格納される。ステップS85またはS87
が“NO”であれば、それぞれ直接ステップS93に進
む。
【0046】ステップS93において垂直信号V1が出
力され、ステップS95において水平信号H1が出力さ
れると、ANDゲート52を通してラッチ回路64にイ
ネーブル信号が与えられる。すると、ステップS97に
おいて、画面40の中央部の検出ブロック44a内のx
×y個の各画素データがラッチ回路64によってラッチ
され、ステップS99に進む。ステップS95が“N
O”であれば直接ステップS99に進む。
【0047】また、ステップS93において垂直信号V
1が出力され、ステップS99において水平信号H2が
出力されると、ANDゲート54を通してラッチ回路6
8にイネーブル信号が与えられる。すると、ステップS
101において、代表点メモリ66から出力される前フ
ィールドの代表点データがラッチ回路68によってラッ
チされ、ステップS103に進む。ステップS93また
はS99が“NO”であれば、それぞれ直接ステップS
103に進む。
【0048】ステップS103において、動きベクトル
検出領域42が終了しているか否かが判断され、“YE
S”であればステップS105において、ラッチ回路6
4からの各画素データおよびラッチ回路68からの代表
点データがそれぞれ相関器70に入力されて、相関値の
演算が行われる。前フィールドの検出ブロック44ij
代表点データをRij00、現フィールドの検出ブロック4
ijの各画素データをSijxyとすると、相関値D1
ijは、数4によって表され、相関値D1ijが最小となる
画素のxy座標値が求められる。
【0049】
【数4】D1ij=|Rij00−Sijxy| そして、そのxy座標値に基づいて1フィールド間の被
写体の部分動きベクトルが求められる。ステップS10
7において、この部分動きベクトルがセレクタ72を通
して基準ベクトル発生回路74に入力され、基準ベクト
ルとして、基準ベクトル発生回路74に格納される。
【0050】ステップS83に戻り、ステップS83が
“NO”であればステップS109に進む。初期フィー
ルドから数えて2フィールド目では、ステップS109
ないしS139の処理が繰り返される。まず、ステップ
S109において垂直信号V0″が出力され、ステップ
S111において水平信号H0″(ともに図示せず)が
出力されると、ANDゲート50を通してラッチ回路6
2にイネーブル信号が与えられる。すると、ステップS
113において、図6(b)に示す領域(23個の検出
ブロック44)の各代表点データがラッチ回路62にラ
ッチされる。
【0051】すなわち、初期フィールドから数えて3フ
ィールド目での演算には、初期フィールドから数えて2
フィールド目において検出ブロック判定回路78で所定
の閾値以下と判定された検出ブロック44(図6(b)
より、この実施例では太線で示す7個の検出ブロック4
4から構成される追尾領域A)の1つだけ外側の検出ブ
ロック44までが利用され、その各検出ブロック44の
代表点データが代表点メモリ66に格納される。したが
って、ステップS109において出力される垂直信号V
0″およびステップS111において出力される水平信
号H0″は、検出ブロック判定回路78での判定結果に
応じて、フィールド毎に設定される。
【0052】次いで、ステップS117に進む。ステッ
プS109またはS111が“NO”であれば、それぞ
れステップS117に進む。ステップS117において
垂直信号V1′が出力され、ステップS119において
水平信号H1′が出力されると、ANDゲート52を通
してラッチ回路64にイネーブル信号が与えられる。す
ると、ステップS121において、図6(a)に示す、
画面40の中央部の9個の各検出ブロック44内のx×
y個の各画素データがラッチ回路64にラッチされる。
そしてステップS123に進む。ステップS119が
“NO”であれば直接ステップS123に進む。
【0053】また、ステップS117において垂直信号
V1′が出力され、ステップS123において水平信号
H2′が出力されると、ANDゲート54を通してラッ
チ回路68にイネーブル信号が与えられる。すると、ス
テップS125において、代表点メモリ66から出力さ
れる前フィールドの代表点データがラッチ回路68によ
ってラッチされ、ステップS127に進む。ステップS
117またはS123が“NO”であれば、それぞれ直
接ステップS127に進む。
【0054】ステップS127において、動きベクトル
検出領域42が終了したか否かが判断される。“YE
S”であればステップS129において、ラッチ回路6
4からの各画素データおよびラッチ回路68からの代表
点データは、それぞれ相関器70に入力されて、相関値
D1ijの演算が行われる。そして、相関値D1ijが最小
となる9個のxy座標値が求められ、それに基づいてそ
れぞれ部分動きベクトルが求められる。そして、ステッ
プS131において、図6(a)に示す9個の検出ブロ
ック44の各部分動きベクトルが、セレクタ72を通し
て相関器76に入力され、初期フィールドで生成された
基準ベクトルとの相関演算が行われる。
【0055】初期フィールドで得られた基準ベクトルの
x成分をxt0、y成分をyt0、現フィールドの検出ブロ
ック44ijの部分動きベクトルのx成分をxijt1、y成
分をyijt1とすると、相関値D2ijは、数5で表され
る。
【0056】
【数5】D2ij=|xt0−xijt1|+|yt0−yijt1| そして、ステップS133において、この相関値D2ij
は検出ブロック判定回路78に入力されて、所定の閾値
以下となるか否かが判断される。“YES”であればス
テップS135において、相関値D2ijが所定の閾値以
下となる検出ブロックは追尾領域を構成する検出ブロッ
クであると判定される。このように追尾領域を構成する
と判定された検出ブロック44のxy座標値は重心検出
回路82に入力されて、追尾領域(被写体と重なってい
る検出領域)の重心が求められる。この例では、図5に
示す画面40の中央部にある被写体の重心が求められ
る。
【0057】そして、動きベクトル発生回路84にその
重心のデータが入力され、重心と画面40の中央の差と
が雲台20の制御用の動きベクトルとして出力される。
また、ステップS137において、追尾領域を構成する
と判定された各検出ブロック44の部分動きベクトルは
累積演算器80にも入力されて、各検出ブロックの部分
動きベクトルのx成分xijt1、y成分yijt1はそれぞれ
数6に示すように累積演算される。
【0058】
【数6】
【0059】ステップS139において、この累積演算
値xt0′、yt0′を次のフィールドでの基準ベクトルと
して更新する。これによって、被写体の動き量や方向の
変化、自動追尾によるカメラの回転などに対応すること
ができる。そして、次のフィールド、すなわち初期フィ
ールドから数えて3フィールド目では、ステップS10
9ないしS139の動作によって、図6(c)に示すよ
うに、太線で示す11個の検出ブロック44から構成さ
れる追尾領域Aを設定することができる。そして、初期
フィールドから数えて4フィールド目には、図6(c)
に示す31個の検出ブロック44を用いて被写体の追尾
領域が設定される。図6からわかるように、フィールド
を追う毎に追尾領域が被写体の大きさないし形状に近づ
いていき、そして、特定の被写体の追尾領域が設定され
て、被写体を自動追尾することができる。初期フィール
ドから数えて2フィールド目以降の各フィールドでは、
ステップS109ないしS139の処理が繰り返され
る。
【0060】図8に示す処理を毎フィールド繰り返すこ
とによって、被写体の移動を検出することができる。こ
のように、現フィールドにおける追尾領域か否かの判定
範囲を、前フィールドにおいて設定された被写体の追尾
領域(初期フィールドでは特定の検出ブロック44a)
の1つ外側の検出ブロックまでの範囲に限定することに
よって、図5に示すように同じ動きベクトルをもつ被写
体をそれぞれ区別することができ、たとえば画面中央部
の被写体だけを特定して追尾することができる。
【0061】なお、上述の実施例では、「フィールド」
単位で説明したが、「フレーム」単位であってもこの発
明を同様に適用できることはいうまでもない。
【図面の簡単な説明】
【図1】この発明の一実施例を示すブロック図である。
【図2】この実施例の動きベクトル検出回路の一例を示
すブロック図である。
【図3】代表点マッチング法による動きベクトル検出を
説明するための図解図である。
【図4】検出ブロックの配置例および各水平信号および
垂直信号を示す図解図である。
【図5】検出された追尾領域の一例を示す図解図であ
る。
【図6】部分動きベクトルに基づいて設定された追尾領
域を示す図解図である。
【図7】この実施例の動作を示すフロー図である。
【図8】図7の動作の続きを示すフロー図である。
【図9】カメラを固定した場合の従来例を示す図解図で
ある。
【図10】撮影者がカメラを追尾させた場合の従来例を
示す図解図である。
【符号の説明】
10 …被写体追尾装置 12 …カメラ 14 …動きベクトル検出回路 16 …雲台制御回路 18 …駆動装置 20 …雲台 22 …追尾領域決定装置 24 …A/D変換器 26 …タイミング発生回路 40 …画面 42 …動きベクトル検出領域 44 …検出ブロック 44a …特定の検出ブロック 46 …CPU 48 …追尾モードスイッチ 50,52,54 …ANDゲート 56 …モード切換スイッチ 62,64,68 …ラッチ回路 66 …代表点メモリ 70,76 …相関器 72 …セレクタ 74 …基準ベクトル発生回路 78 …検出ブロック判定回路 80 …累積演算器 82 …重心検出回路 84 …動きベクトル発生回路

Claims (8)

    (57)【特許請求の範囲】
  1. 【請求項1】画面内に設定された複数の検出ブロックの
    前フィールド(フレーム)の代表点データと現フィール
    ド(フレーム)の画素データとの最小相関値に基づく部
    分動きベクトルを前記複数の検出ブロック毎に求める第
    1相関手段、 前記部分動きベクトルと前フィールド(フレーム)の
    準ベクトルとのベクトル相関値を前記複数の検出ブロッ
    ク毎に求める第2相関手段、 前記ベクトル相関値と動き検出精度に応じて設定されて
    いる閾値と比較して前記閾値と一定の関係にある複数
    の検出ブロックを追尾領域を構成する第1検出ブロック
    として判定するブロック判定手段を備える、追尾領域設
    定装置。
  2. 【請求項2】初期フィールド(フレーム)における特定
    の検出ブロックの代表点データと次フィールド(フレー
    ム)における前記特定の検出ブロックの各画素データと
    の相関に基づいて1つの基準ベクトルを求め、それを
    記基準ベクトルとして設定する第1基準ベクトル設定手
    段をさらに備える、請求項1記載の追尾領域設定装置。
  3. 【請求項3】前記第1検出ブロックのそれぞれの代表点
    データと各画素データとに基づいてフィールド(フレー
    ム)毎に前記基準ベクトルを設定する第2基準ベクトル
    設定手段をさらに備える、請求項1または2記載の追尾
    領域設定装置。
  4. 【請求項4】前記画面内に含まれる全ての検出ブロック
    を前記複数の検出ブロックとして用いる第1モード設定
    手段をさらに備える、請求項1ないし3のいずれかに記
    載の追尾領域設定装置。
  5. 【請求項5】初期フィールド(フレーム)の次のフィー
    ルド(フレーム)では特定の検出ブロックと前記特定の
    検出ブロックの1つ外側の検出ブロックとを、それ以降
    のフィールド(フレーム)では前記追尾領域を構成する
    前記第1検出ブロックとその第1検出ブロックの1つ外
    側の検出ブロックとを、それぞれ前記複数の検出ブロッ
    クとして用いる第2モード設定手段をさらに備える、請
    求項1ないし3のいずれかに記載の追尾領域設定装置。
  6. 【請求項6】前記画面内に含まれる全ての検出ブロック
    を前記複数の検出ブロックとして用いる第1モード設定
    手段、 初期フィールド(フレーム)の次のフィールド(フレー
    ム)では特定の検出ブロックと前記特定の検出ブロック
    の1つ外側の検出ブロックとを、それ以降のフィールド
    (フレーム)では前記追尾領域を構成する前記第1検出
    ブロックとその第1検出ブロックの1つ外側の検出ブロ
    ックとを、それぞれ前記複数の検出ブロックとして用い
    る第2モード設定手段、および前記第1モード設定手段
    と前記第2モード設定手段とを切り換えるモード切換手
    段をさらに備える、請求項1ないし3のいずれかに記載
    の追尾領域設定装置。
  7. 【請求項7】請求項1ないし6のいずれかに記載の追尾
    領域設定装置を含み、さらに前記追尾領域の重心を求め
    る重心検出手段、および前記重心と前記画面の中央の位
    置とに基づいて動きベクトルを発生する動きベクトル発
    生手段を備える、動きベクトル検出回路。
  8. 【請求項8】被写体を撮像して映像信号に変換する撮像
    手段、 前記撮像手段を水平方向または垂直方向に駆動する駆動
    手段、 前記映像信号に基づいて動きベクトルを検出する動きベ
    クトル検出手段、および前記動きベクトルに基づいて特
    定の被写体が画面の中央に位置するように前記駆動手段
    を制御する制御手段を備える被写体追尾カメラ装置にお
    いて、 前記動きベクトル検出手段として請求項7記載の動きベ
    クトル検出回路を用いることを特徴とする、被写体追尾
    装置。
JP03820495A 1995-02-27 1995-02-27 追尾領域設定装置,動きベクトル検出回路およびそれを用いた被写体追尾装置 Expired - Fee Related JP3268953B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP03820495A JP3268953B2 (ja) 1995-02-27 1995-02-27 追尾領域設定装置,動きベクトル検出回路およびそれを用いた被写体追尾装置
US08/606,992 US5757422A (en) 1995-02-27 1996-02-26 Tracking area determination apparatus and object tracking apparatus utilizing the same
EP96102919A EP0729036B1 (en) 1995-02-27 1996-02-27 Tracking area determination apparatus and object tracking apparatus utilizing the same
DE69616111T DE69616111T2 (de) 1995-02-27 1996-02-27 Nachführgebiet-Bestimmungsgerät und Objektnachführgerät mit Verwendung desselben

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03820495A JP3268953B2 (ja) 1995-02-27 1995-02-27 追尾領域設定装置,動きベクトル検出回路およびそれを用いた被写体追尾装置

Publications (2)

Publication Number Publication Date
JPH08237535A JPH08237535A (ja) 1996-09-13
JP3268953B2 true JP3268953B2 (ja) 2002-03-25

Family

ID=12518813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03820495A Expired - Fee Related JP3268953B2 (ja) 1995-02-27 1995-02-27 追尾領域設定装置,動きベクトル検出回路およびそれを用いた被写体追尾装置

Country Status (4)

Country Link
US (1) US5757422A (ja)
EP (1) EP0729036B1 (ja)
JP (1) JP3268953B2 (ja)
DE (1) DE69616111T2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09186927A (ja) * 1995-12-28 1997-07-15 Sony Corp 追尾装置および追尾方法
JP3108355B2 (ja) * 1996-02-02 2000-11-13 三洋電機株式会社 被写体追尾カメラ装置
KR100224752B1 (ko) 1997-06-11 1999-10-15 윤종용 표적 추적 방법 및 장치
JPH1144700A (ja) * 1997-07-25 1999-02-16 Sanyo Electric Co Ltd 速度測定装置、該装置を用いた自動追尾システム及び予想到達位置表示システム
JP3481430B2 (ja) * 1997-09-11 2003-12-22 富士通株式会社 移動体追跡装置
US6611562B1 (en) * 1998-11-25 2003-08-26 Sony Corporation Image processing device and image processing method, and computer-readable recorded medium
JP2003523647A (ja) * 1999-03-16 2003-08-05 セントラル リサーチ ラボラトリーズ リミティド 閉回路テレビジョン(cctv)カメラおよびシステム
US6671321B1 (en) * 1999-08-31 2003-12-30 Mastsushita Electric Industrial Co., Ltd. Motion vector detection device and motion vector detection method
US7742073B1 (en) 2000-11-01 2010-06-22 Koninklijke Philips Electronics N.V. Method and apparatus for tracking an object of interest using a camera associated with a hand-held processing device
AUPR676201A0 (en) * 2001-08-01 2001-08-23 Canon Kabushiki Kaisha Video feature tracking with loss-of-track detection
US6654049B2 (en) 2001-09-07 2003-11-25 Intergraph Hardware Technologies Company Method, device and computer program product for image stabilization using color matching
US20030126622A1 (en) * 2001-12-27 2003-07-03 Koninklijke Philips Electronics N.V. Method for efficiently storing the trajectory of tracked objects in video
FR2861204B1 (fr) * 2003-10-21 2009-01-16 Egregore Ii Procede de commande automatique de la direction de l'axe optique et du champ angulaire d'une camera electronique, notamment pour videosurveillance par poursuite automatique
US7650016B2 (en) * 2004-07-30 2010-01-19 Lockheed Martin Corporation System and method for tracking motion of an object image
US8073287B1 (en) * 2007-02-26 2011-12-06 George Mason Intellectual Properties, Inc. Recognition by parts using adaptive and robust correlation filters
JP4760918B2 (ja) * 2009-01-23 2011-08-31 カシオ計算機株式会社 撮像装置、被写体追従方法、及びプログラム
WO2012054830A1 (en) * 2010-10-21 2012-04-26 SET Corporation Method and system of video object tracking

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2609263B2 (ja) * 1986-03-19 1997-05-14 ブリティッシュ・ブロードキャスティング・コーポレーション テレビジョン画像における運動の測定方法及び装置
US5012270A (en) * 1988-03-10 1991-04-30 Canon Kabushiki Kaisha Image shake detecting device
US5034986A (en) * 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
GB2231751B (en) * 1989-04-27 1993-09-22 Sony Corp Motion dependent video signal processing
KR950006045B1 (ko) * 1990-05-21 1995-06-07 마쯔시다덴기산교 가부시기가이샤 움직임벡터검출장치 및 화상흔들림보정장치
EP0557007A2 (en) * 1992-02-15 1993-08-25 Sony Corporation Picture processing apparatus
GB2265065B (en) * 1992-03-02 1995-08-16 Sony Broadcast & Communication Motion compensated image processing
GB2277000B (en) * 1993-04-08 1997-12-24 Sony Uk Ltd Motion compensated video signal processing
JPH0795598A (ja) * 1993-09-25 1995-04-07 Sony Corp 目標追尾装置

Also Published As

Publication number Publication date
EP0729036B1 (en) 2001-10-24
EP0729036A2 (en) 1996-08-28
US5757422A (en) 1998-05-26
JPH08237535A (ja) 1996-09-13
DE69616111T2 (de) 2002-07-11
EP0729036A3 (en) 1997-03-26
DE69616111D1 (de) 2001-11-29

Similar Documents

Publication Publication Date Title
JP3268953B2 (ja) 追尾領域設定装置,動きベクトル検出回路およびそれを用いた被写体追尾装置
US5627586A (en) Moving body detection device of camera
JP3487436B2 (ja) ビデオカメラシステム
US8605942B2 (en) Subject tracking apparatus, imaging apparatus and subject tracking method
US9571724B2 (en) Apparatus, medium, and method for photographing based on face detection
CN103733607B (zh) 用于检测运动物体的装置和方法
KR101441333B1 (ko) 인체 부분 검출 장치 및 그 방법
US20010053292A1 (en) Image extracting apparatus and image extracting method
US6421462B1 (en) Technique for differencing an image
US6563528B2 (en) Video conference system
JP2006101186A (ja) カメラ
CN101398896A (zh) 用于成像设备的提取有强识别力的颜色特征的设备和方法
JP2002342762A (ja) 物体追跡方法
JP2001243478A (ja) 目標物体追尾装置
JP3774495B2 (ja) 画像情報抽出装置および方法
JP3296675B2 (ja) 被写体追尾装置および被写体追尾方法
JP3114888B2 (ja) カメラ制御装置
JP3075936B2 (ja) 動きベクトル検出回路およびそれを用いた被写体追尾カメラ装置
JPH09265538A (ja) 自動追尾装置
JP3192872B2 (ja) 動きベクトル検出回路およびそれを用いた被写体追尾カメラ装置
WO2023169282A1 (zh) 确定交互手势的方法、装置及电子设备
JPS6110372A (ja) カメラにおける自動追尾装置
JPH10188145A (ja) 自動ズーム監視装置
JPH10336506A (ja) 画像処理システム、追尾システム,追尾方法,記憶媒体
JPH06153047A (ja) ビデオカメラシステム

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20011211

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090118

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100118

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100118

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110118

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110118

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120118

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130118

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140118

Year of fee payment: 12

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140118

Year of fee payment: 12

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees