[go: up one dir, main page]

JP2017156219A - 追尾装置、追尾方法およびプログラム - Google Patents

追尾装置、追尾方法およびプログラム Download PDF

Info

Publication number
JP2017156219A
JP2017156219A JP2016039639A JP2016039639A JP2017156219A JP 2017156219 A JP2017156219 A JP 2017156219A JP 2016039639 A JP2016039639 A JP 2016039639A JP 2016039639 A JP2016039639 A JP 2016039639A JP 2017156219 A JP2017156219 A JP 2017156219A
Authority
JP
Japan
Prior art keywords
distribution
information
image
target
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016039639A
Other languages
English (en)
Inventor
山本 康平
Kohei Yamamoto
康平 山本
素子 加賀谷
Motoko Kagaya
素子 加賀谷
前野 蔵人
Kurato Maeno
蔵人 前野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2016039639A priority Critical patent/JP2017156219A/ja
Priority to US15/447,091 priority patent/US10429500B2/en
Publication of JP2017156219A publication Critical patent/JP2017156219A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28Details of pulse systems
    • G01S7/285Receivers
    • G01S7/292Extracting wanted echo-signals
    • G01S7/2921Extracting wanted echo-signals based on data belonging to one radar period
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35Details of non-pulse systems
    • G01S7/352Receivers
    • G01S7/354Extracting wanted echo-signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】偽像の判定精度を向上させる。【解決手段】画像センサによって検出された所定の空間に存在する1以上の物標の少なくとも相対速度および距離のいずれか一方を含む第1の情報を所定の運動モデルに従って補正し、前記第1の情報に関する第1の分布を決定する第1の物標追尾部と、反射波で測定するアクティブ型センサによって検出された前記所定の空間に存在する1以上の物標の少なくとも相対速度および距離のいずれか一方を含む第2の情報を所定の運動モデルに従って補正し、前記第2の情報に関する第2の分布を決定する第2の物標追尾部と、前記第1の分布と前記第2の分布との相関に基づいて、前記第1の分布と前記第2の分布とから得られる分布パラメータの組み合わせをマッチングするマッチング部と、前記分布パラメータの組み合わせに基づいて、前記第2の情報が偽像であるか否かを判定する偽像判定部と、を備える、追尾装置が提供される。【選択図】図1

Description

本発明は、追尾装置、追尾方法およびプログラムに関する。
特許文献1に記載の技術は、レーダおよび画像センサを組み合わせて、レーダデータおよび画像センサデータに含まれる物標候補が同一の物標であるか否かを判定し、同一であると判定した物標の位置や方位などの物標情報を推定している。判定方法として、画像センサデータから得られる物標の位置から横方向の閾値内にレーダの反応が存在するか、あるいは方位を比較して(および相対速度を比較して)判定する技術が開示されている。物標情報の推定では、レーダデータおよび画像センサデータの一方の物標情報を選択する、あるいは、重み付け和により2つの物標情報を統合する技術が開示されている。
特開2014−6123号公報
しかしながら、レーダの多重反射の影響によりレーダデータに偽像が存在すると、偽像の電力値が大きい場合や偽像が物標の横位置に近接する場合に、上記判定や上記推定を誤ってしまう問題点がある。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、偽像の判定精度を向上させることが可能な技術を提供することにある。
上記問題を解決するために、本発明のある観点によれば、画像センサによって検出された所定の空間に存在する1以上の物標の少なくとも相対速度および距離のいずれか一方を含む第1の情報を所定の運動モデルに従って補正し、前記第1の情報に関する第1の分布を決定する第1の物標追尾部と、反射波で測定するアクティブ型センサによって検出された前記所定の空間に存在する1以上の物標の少なくとも相対速度および距離のいずれか一方を含む第2の情報を所定の運動モデルに従って補正し、前記第2の情報に関する第2の分布を決定する第2の物標追尾部と、前記第1の分布と前記第2の分布との相関に基づいて、前記第1の分布と前記第2の分布とから得られる分布パラメータの組み合わせをマッチングするマッチング部と、前記分布パラメータの組み合わせに基づいて、前記第2の情報が偽像であるか否かを判定する偽像判定部と、を備える、追尾装置が提供される。
また、本発明の別の観点によれば、画像センサによって検出された所定の空間に存在する1以上の物標の少なくとも相対速度および距離のいずれか一方を含む第1の情報を所定の運動モデルに従って補正し、前記第1の情報に関する第1の分布を決定することと、反射波で測定するアクティブ型センサによって検出された前記所定の空間に存在する1以上の物標の少なくとも相対速度および距離のいずれか一方を含む第2の情報を所定の運動モデルに従って補正し、前記第2の情報に関する第2の分布を決定することと、前記第1の分布と前記第2の分布との相関に基づいて、前記第1の分布と前記第2の分布とから得られる分布パラメータの組み合わせをマッチングすることと、前記分布パラメータの組み合わせに基づいて、前記第2の情報が偽像であるか否かを判定することと、を備える、追尾方法が提供される。
また、本発明の別の観点によれば、コンピュータを、画像センサによって検出された所定の空間に存在する1以上の物標の少なくとも相対速度および距離のいずれか一方を含む第1の情報を所定の運動モデルに従って補正し、前記第1の情報に関する第1の分布を決定する第1の物標追尾部と、反射波で測定するアクティブ型センサによって検出された前記所定の空間に存在する1以上の物標の少なくとも相対速度および距離のいずれか一方を含む第2の情報を所定の運動モデルに従って補正し、前記第2の情報に関する第2の分布を決定する第2の物標追尾部と、前記第1の分布と前記第2の分布との相関に基づいて、前記第1の分布と前記第2の分布とから得られる分布パラメータの組み合わせをマッチングするマッチング部と、前記分布パラメータの組み合わせに基づいて、前記第2の情報が偽像であるか否かを判定する偽像判定部と、を備える追尾装置として機能させるためのプログラムが提供される。
以上説明したように本発明によれば、偽像の判定精度を向上させることが可能となる。
第1の実施形態に係る追尾装置の機能構成例を示す図である。 分布間の重複度の例を示す図である。 物標の運動モデルの例を説明するための図である。 第2の実施形態に係る追尾装置の機能構成例を示す図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。
(第1の実施形態)
まず、第1の実施形態について説明する。
[構成の説明]
図1は、第1の実施形態に係る追尾装置の機能構成例を示す図である。図1に示すように、第1の実施形態に係る追尾装置10Aは、レーダ101、信号処理部102、画像センサ103A、画像処理部104A、第1の物標追尾部105、第2の物標追尾部106、マッチング部107および偽像判定部108Aを備える。
レーダ101は、ミリ波などの電波を物標に向けて送信し、反射波を受信可能なCW型のレーダであり、複数の受信素子を有し、かつ、複数の発振周波数を段階的に切り替えて送信する機能を有する。なお、レーダ101は、複数の発振周波数を連続的に切り替えて送信することも可能であるが、その場合には、以下に示す各種の数式とは異なる数式が利用される。
信号処理部102は、受信信号を解析し、相対速度、距離および角度を算出する。
画像センサ103Aは、画像を連続的に撮影可能なセンサである。
画像処理部104Aは、画像センサ103Aによって検出された画像から物標数と物標の位置を検出し、物標の位置をレーダ座標系に補正する。
第1の物標追尾部105は、画像処理部104Aによって検出された物標の位置を運動モデルに従って追尾し、補正する。
第2の物標追尾部106は、信号処理部102によって検出された物標の位置を運動モデルに従って追尾し、補正する。
マッチング部107は、第1の物標追尾部105の出力する状態推定値を中心とする事後確率分布と、第2の物標追尾部106の出力する状態予測値を中心とする事前確率分布との分布間の相関を求め、追尾対象の対応付けを行う。
偽像判定部108Aは、物標ごとに得られるマッチング部107の出力分布を元に、信号処理部102から入力される物標候補が偽像か否かを判定する。
なお、レーダ101は、追尾装置10の内部に備えられていてもよいし、追尾装置10の外部に備えられていてもよい。また、画像センサ103Aは、追尾装置10の内部に備えられていてもよいし、追尾装置10の外部に備えられていてもよい。
[動作の説明]
まず、レーダ101は、受信信号を信号処理部102に入力する。信号処理部102は、受信信号を解析し、物標に対する相対速度v[m/s]、距離r[m]および角度(数式1)を公知の手法により算出する。例えば、信号処理部102は、FFTを利用してドップラー周波数f[Hz]を求め、送信波の波長(数式2)を利用して(数式3)により相対速度を求める。
Figure 2017156219
・・・(数式1)
Figure 2017156219
・・・(数式2)
Figure 2017156219
・・・(数式3)
また、例えば、信号処理部102は、発振周波数の差(数式4)と発振周波数間の信号位相差(数式5)を利用して、(数式6)により距離を求める。ただし、c[m/s]は光速である。
Figure 2017156219
・・・(数式4)
Figure 2017156219
・・・(数式5)
Figure 2017156219
・・・(数式6)
また、例えば、信号処理部102は、同一のドップラー周波数を有する受信素子間の信号位相差(数式7)を利用して、(数式8)により角度を求める。ただし、L[m]は受信アンテナの素子間隔である。
Figure 2017156219
・・・(数式7)
Figure 2017156219
・・・(数式8)
以上に例示した方法においては、検出対象の物標に対して、ドップラー周波数が1対1で対応する。すなわち、単一のドップラー周波数につき、相対速度、距離および角度が1セット得られる。しかし、通常の受信信号はノイズ成分を多く含むため、受信信号から代表的なドップラー周波数を選出するためには、ノイズを適切に処理する必要がある。信号処理部102は、CFAR回路を含み、ノイズに対して動的に信号強度に対する閾値を決定し、ドップラー周波数の代表値を選出する。信号処理部102は、CFAR回路の閾値を超えたドップラー周波数に対応する相対速度、距離および角度を出力し、マッチング部107に入力する。
ここで、移動する物標に接近した位置に反射物体が存在すると、多重反射が発生し得る。レーダ101のアンテナが多重反射波を受信すると、物標が存在しない方向から一定の信号強度とドップラー周波数を持った観測値(偽像)が得られる。多重反射波はCFAR回路の閾値を超える可能性があるため、偽像が発生し、複数の観測値が得られた場合、どの観測値が所望の物標情報なのかを判定する必要が生じる。
画像センサ103Aは、画像を連続的に撮影可能なセンサであり、出力画像を画像処理部104Aに入力する。
画像処理部104Aは、画像センサ103Aとレーダ101との位置関係を事前に計測しておくことで、画像センサ103の出力座標系をレーダ101の出力座標系と等価となるように補正を行い、背景差分やテンプレートマッチングなどの公知の方法によって物標の位置を特定する。画像処理部104Aは、特定した物標の位置からレーダ101の位置を基準とした距離および角度を算出し、検出した物標数とともに第1の物標追尾部105に入力する。
第1の物標追尾部105は、物標の相対速度、距離および角度を公知のカルマンフィルタやパーティクルフィルタなどを利用して追尾することができる。例えば、拡張カルマンフィルタ(EKF)を利用する場合の状態空間モデルは、時刻kの相対速度、距離および角度をベクトル(数式9)で表現すると、(数式10)および(数式11)のように書ける。ただし、(数式12)を観測値、(数式13)をシステムノイズの共分散行列、(数式14)を観測ノイズの共分散行列とする。
Figure 2017156219
・・・(数式9)
Figure 2017156219
・・・(数式10)
Figure 2017156219
・・・(数式11)
Figure 2017156219
・・・(数式12)
Figure 2017156219
・・・(数式13)
Figure 2017156219
・・・(数式14)
図3は、物標の運動モデルの例を説明するための図である。図3に示すように、物標20が等速直線運動を行い、レーダ101に対する水平方向(図3におけるX軸方向)への移動量を0と仮定すると、運動モデルは、(数式15)のように書ける。
Figure 2017156219
・・・(数式15)
以上に例示した手法によって物標の追尾が可能となる。第1の物標追尾部105は、マッチング部107に画像センサ103Aにおける追跡対象の物標cに関する状態推定値(数式16)と事後共分散行列(数式17)とを入力する。
Figure 2017156219
・・・(数式16)
Figure 2017156219
・・・(数式17)
第2の物標追尾部106は、偽像判定部108Aによって偽像ではないと判定された観測値を取り入れ、第1の物標追尾部105と同様の動作をし、追尾結果として状態推定値を出力する。また、第2の物標追尾部106は、次時刻の偽像判定のためにマッチング部107にレーダ101における追尾対象の物標iに関する状態予測値(数式18)と事前共分散行列(数式19)とを入力する。
Figure 2017156219
・・・(数式18)
Figure 2017156219
・・・(数式19)
マッチング部107は、第1の物標追尾部105から入力される値を事後分布(数式20)とし、第2の物標追尾部106から入力される値を予測分布(数式21)として、それら分布間の重複度Sc,iを求める。ただし、(数式22)は、平均と分散とによって表現されるガウス分布である。
Figure 2017156219
・・・(数式20)
Figure 2017156219
・・・(数式21)
Figure 2017156219
・・・(数式22)
重複度Sc,iは、ガウス分布積の結果である(数式23)〜(数式26)を利用して(数式27)により求まる分布間の相関の指標である。図2に示すように、重複度Sc,iは各分布の共有する領域の重み付き面積(図2における斜線部)とみなすことができる。ここでの重みとは、各分布の分散の大きさとなる。
Figure 2017156219
・・・(数式23)
Figure 2017156219
・・・(数式24)
Figure 2017156219
・・・(数式25)
Figure 2017156219
・・・(数式26)
Figure 2017156219
・・・(数式27)
次に、マッチング部107は、重複度Sc,iの和が最大となる場合を、物標数の階乗通りの中から選出し、レーダ101と画像センサ103とにおける同一の追尾対象としてマッチングする。マッチング部107は、マッチングされた組み合わせの分布パラメータ(数式28)および(数式29)を偽像判定部108Aに入力する。
Figure 2017156219
・・・(数式28)
Figure 2017156219
・・・(数式29)
偽像判定部108Aは、信号処理部102から入力されたCFAR回路の閾値を超えたドップラー周波数に対応する観測値(数式30)(相対速度、距離および角度)が偽像であるか否かを判定する。かかる判定において、偽像判定部108Aは、マハラノビス距離の2乗値(数式35)が任意の棄却確率(数式31)を持つ自由度3の分布(数式32)に従うとして、(数式33)が満たされる場合に、観測値が偽像ではないと判定し、(数式34)が満たされる場合に、観測値が偽像であると判定する。
Figure 2017156219
・・・(数式30)
Figure 2017156219
・・・(数式31)
Figure 2017156219
・・・(数式32)
Figure 2017156219
・・・(数式33)
Figure 2017156219
・・・(数式34)
Figure 2017156219
・・・(数式35)
偽像判定部108Aは、単一の観測値が偽像ではないと判定した場合は、当該観測値を第2の物標追尾部106に入力する。また、偽像判定部108Aは、2つ以上の観測値が偽像ではないと判定した場合は、マハラノビス距離が最小の観測値を第2の物標追尾部106に入力する。あるいは、偽像判定部108Aは、2つ以上の観測値が偽像ではないと判定した場合は、未検出として第2の物標追尾部106をスキップしてもよい。
以上の動作により、物標の追尾が達成される。最終的に出力される値は、第2の物標追尾部106より得られる状態推定値である。
[効果の説明]
第1の物標追尾部105および第2の物標追尾部106に用いることができるとして例示した運動モデル(数式15)は、物標の動きが等速直線的であり、レーダ101に対して水平方向の動きがない場合、次時刻のパラメータを高精度に予測することが可能であるという効果がある。
マッチング部107と偽像判定部108Aは、画像センサ103Aによって取得されるパラメータの性質と精度を考慮している。一般に、画像センサ103Aによって取得される相対速度は、レーダ101によって取得される相対速度と比較して精度が劣る。その理由は、画像センサ103Aの相対速度が物標の位置の時間微分近似に基づいて求められるためである。さらに、画像センサ103Aを用いた場合、遠方になるほど距離の計測精度が劣化する問題がある。しかし、画像センサ103Aを用いた場合、遠方においても物標の数は精度よく検出することができ、かつ、上記したレーダ101に発生するような偽像が発生しないため、安定性のある物標追尾が可能である。
上記した2つの処理部(信号処理部102および画像処理部104A)では、その安定性をレーダ101におけるマッチング方法と偽像判定方法に取り込んでいる。画像センサ103Aの状態推定値に関する事後分布とレーダ101の状態予測値の予測分布との積の計算によって、画像センサ103Aの有する前記安定性をレーダ101の状態予測に取り込むことができ、結果として「分布間の相関度の取得」と「観測値の出現分布の取得」を行うことが可能である。
分布間の相関度を基準にマッチングを行うことは、単純にレーダ101の予測値と画像センサ103Aの推定値との間の距離を求める場合よりも分布のバラつきを考慮しているため、マッチング精度を向上させることが期待できる。観測値の出現分布は、画像センサ103Aの有する偽像が生じないという性質とレーダ101が高い精度を有するという性質の両方を考慮しているため、偽像判定精度を向上させる効果が期待できる。
上記では、第1の実施形態における偽像判定部108Aにおいて、画像センサ103Aの事後分布とレーダ101の予測分布との積に関する分布を用いた。しかし、画像センサ103Aの事後分布またはレーダ101の予測分布のどちらか一方を考慮したい場合は、ガウス分布の加法性を利用して片方の分布を積の分布に足し合わせたガウス分布で(数式35)を計算してもよい。
(第2の実施形態)
続いて、第2の実施形態について説明する。
図4は、第2の実施形態に係る追尾装置の機能構成例を示す図である。図4に示すように、第2の実施形態に係る追尾装置10Bは、レーダ101、信号処理部102、画像センサ103B、画像処理部104B、第1の物標追尾部105、第2の物標追尾部106、マッチング部107および偽像判定部108Bを備える。以下では、第1の実施形態とは異なる、画像センサ103B、画像処理部104Bおよび偽像判定部108Bについて主に説明する。
画像センサ103Bによって撮影される画像には、物標の写り方が状況によって異なることが予想される。物標として車両を検出する場合を例として挙げれば、夕暮れ時などには、日照量の減少により得られる画像のSNRやコントラストの低下で車両形状を抽出するエッジが劣化する。また、夜間の車両検出などでライトを用いる方式も、夕暮れ時にはライトが付いていない車両が存在しやすいという事情があるために、車両が画像に暗く写りやすいことが予想される。また、夕暮れ時などには、周囲が暗くなり始めているという事情があるために、画像から車両のエッジが検出しにくいことが想定される。
そこで、第一の例では、レーダ101によって検出された観測値が物標以外を由来とする情報であると偽像判定部108Bによって判定される程度に基づき、画像処理部104Bが処理パラメータを動的に変更して画像処理を行う。そして、画像処理部104Bは、変更後の処理パラメータによる画像処理後の画像を第1の物標追尾部105に出力して、第1の物標追尾部105は、変更後の処理パラメータによる画像処理後の画像に基づいて物標を再度追尾する。これによって、レーダ101による検出精度がさらに向上することが期待される。
より具体的には、画像処理部104Bは、レーダ101によって検出された観測値が物標以外を由来とする情報である旨が偽像判定部108Bから入力されない場合には、当該観測値に対して第1の画像処理を行う。そして、画像処理部104Bは、第1の画像処理後の観測値を第1の物標追尾部105に出力する。
一方、画像処理部104Bは、レーダ101によって検出された観測値が物標以外を由来とする情報である旨が偽像判定部108Bから入力された場合には、当該観測値に対して第1の画像処理とは処理パラメータが異なる第2の画像処理を行う。そして、画像処理部104Bは、第2の画像処理後の観測値を第1の物標追尾部105に出力する。
ここで、処理パラメータは特に限定されない。例えば、処理パラメータは、画像処理部104Bから出力される画像の解像度であってもよいし、画像の輝度やコントラストであってもよいし、画像処理部104Bから出力される画像のフレームレートであってもよい。また、画像の輝度が閾値を超える画素が物標のエッジとして抽出される場合、処理パラメータは、エッジ抽出のための閾値であってもよい。すなわち、処理パラメータは、少なくとも、画像の解像度、輝度、フレームレート、エッジ抽出のための閾値のうちいずれか一つを含んでもよい。
例えば、処理パラメータが解像度である場合、解像度を上げる変更によって画像からエッジが検出されやすくしてもよい。処理パラメータが輝度である場合、輝度を上げる変更によって画像からエッジが検出されやすくしてもよい。処理パラメータがフレームレートである場合、フレームレートを上げる変更によって画像からエッジが検出されやすくしてもよい。あるいは、処理パラメータがエッジ抽出のための閾値である場合、エッジ検出のための閾値を下げる変更によって画像からエッジが検出されやすくしてもよい。
なお、処理パラメータを具体的にどのような値にするかは特に限定されない。例えば、条件ごとの処理パラメータを用意しておき、その時々に満たされている条件に対応する処理パラメータを利用するようにしてもよい。例えば、昼用の処理パラメータと夜用の処理パラメータとを用意しておき、昼の時間帯であれば、昼用の処理パラメータが利用され、夜の時間帯であれば、夜用の処理パラメータが利用されてもよい。
偽像判定部108Bは、第1の画像処理後の観測値に基づいて、レーダ101によって検出された観測値が物標以外を由来とする情報であると判定された場合に、当該観測値が物標以外を由来とする情報である旨を画像処理部104Bに出力する。一方、偽像判定部108Bは、第2の画像処理後の観測値に基づいて、レーダ101によって検出された観測値が物標以外を由来とする情報であると判定された場合に、当該観測値が偽像であると判定する。
また、第二の例では、レーダ101による検出率と画像センサ103Bによる検出率との乖離が閾値を超えた場合に、画像センサ103Bの検出精度が低下していることが想定される。そこで、偽像判定部108Bは、レーダ101による検出率と画像センサ103Bによる検出率との乖離が閾値を超えた場合に、画像センサ103Bのパラメータを変更する。そして、画像センサ103Bは、変更後のパラメータを用いて撮影を行う。これによって、レーダ101による検出精度がさらに向上することが期待される。
ここで、画像センサ103Bのパラメータは特に限定されない。例えば、画像センサ103Bのパラメータは、画像センサ103Bのホワイトバランスであってもよいし、画像センサ103Bの絞りであってもよい。すなわち、画像センサ103Bのパラメータは、少なくとも、画像センサ103Bのホワイトバランス、画像センサ103Bの絞りのうちいずれか一つを含んでもよい。
例えば、画像センサ103Bのパラメータがホワイトバランスである場合、ホワイトバランスの調整によって画像からエッジが検出されやすくしてもよい。画像センサ103Bのパラメータが絞りである場合、絞りを開く変更によって画像からエッジが検出されやすくしてもよい。
(変形例の説明)
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記においては、レーダ101が電波を放射するレーダとして説明したが、レーダ101は音波を放射するレーダで代用することもできる。かかる場合、上記における光速を音速に変更するなどといった手順が必要になる。また、本実施形態においては、レーダ101に限定されず、反射波で測定するあらゆるアクティブ型センサが適用され得る。
また、上記では、状態空間モデルとして極座標上のパラメータを用いる例を説明した。しかし、本実施形態においては、極座標上のパラメータを用いるモデル以外にも、相対速度、距離および角度を直交座標に変換して直交座標上で追尾を実行するような状態空間モデルを用いることも可能である。
また、上記では、画像センサ103の事後分布とレーダ101の予測分布の積を用いたが、画像センサ103の事後分布の代わりに、画像センサ103の予測分布を用いることも可能である。
なお、追尾装置10を構成する各ブロック(レーダ101と画像センサ103とを除く)は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)等から構成され、プログラムがCPUによりRAMに展開されて実行されることにより、その機能が実現され得る。このとき、プログラムが記録されたコンピュータによって読み取り可能な記録媒体も提供され得る。あるいは、追尾装置10を構成する各ブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
10(10A、10B) 追尾装置
101 レーダ
102 信号処理部
103(103A、103B) 画像センサ
104(104A、104B) 画像処理部
105 第1の物標追尾部
106 第2の物標追尾部
107 マッチング部
108(108A、108B) 偽像判定部
20 物標

Claims (12)

  1. 画像センサによって検出された所定の空間に存在する1以上の物標の少なくとも相対速度および距離のいずれか一方を含む第1の情報を所定の運動モデルに従って補正し、前記第1の情報に関する第1の分布を決定する第1の物標追尾部と、
    反射波で測定するアクティブ型センサによって検出された前記所定の空間に存在する1以上の物標の少なくとも相対速度および距離のいずれか一方を含む第2の情報を所定の運動モデルに従って補正し、前記第2の情報に関する第2の分布を決定する第2の物標追尾部と、
    前記第1の分布と前記第2の分布との相関に基づいて、前記第1の分布と前記第2の分布とから得られる分布パラメータの組み合わせをマッチングするマッチング部と、
    前記分布パラメータの組み合わせに基づいて、前記第2の情報が偽像であるか否かを判定する偽像判定部と、
    を備える、追尾装置。
  2. 前記マッチング部は、前記第1の分布と前記第2の分布との積に関する第3の分布に基づいて、前記分布パラメータの組み合わせを特定する、
    請求項1に記載の追尾装置。
  3. 前記追尾装置は、
    前記第2の情報が物標以外を由来とする情報である旨が入力されない場合には、前記第1の情報に対して第1の画像処理を行い、前記第1の画像処理を行った後の前記第1の情報を前記第1の物標追尾部に出力し、前記第2の情報が物標以外を由来とする情報である旨が入力された場合には、前記第1の情報に対して第1の画像処理とは処理パラメータが異なる第2の画像処理を行い、前記第2の画像処理を行った後の前記第1の情報を前記第1の物標追尾部に出力する画像処理部を備え、
    前記偽像判定部は、前記第1の画像処理を行った後の前記第1の情報に基づいて、前記第2の情報が物標以外を由来とする情報であると判定された場合に、前記第2の情報が物標以外を由来とする情報である旨を前記画像処理部に出力し、前記第2の画像処理を行った後の前記第1の情報に基づいて、前記第2の情報が物標以外を由来とする情報であると判定された場合に、前記第2の情報が偽像であると判定する、
    請求項1に記載の追尾装置。
  4. 前記処理パラメータは、少なくとも、画像の解像度、輝度、フレームレート、エッジ抽出のための閾値のうちいずれか一つを含む、
    請求項3に記載の追尾装置。
  5. 前記偽像判定部は、前記アクティブ型センサによる検出率と前記画像センサによる検出率との乖離が閾値を超えた場合に、前記画像センサのパラメータを変更する、
    請求項1に記載の追尾装置。
  6. 前記画像センサのパラメータは、少なくとも、ホワイトバランスおよび絞りのうちいずれか一つを含む、
    請求項5に記載の追尾装置。
  7. 前記偽像判定部は、前記第2の情報が偽像ではないと判定した場合、前記第2の情報を前記第2の物標追尾部に出力し、前記第2の情報が偽像であると判定した場合、前記画像センサによって検出された前記第1の情報を前記第2の物標追尾部に出力する、
    請求項1に記載の追尾装置。
  8. 前記第1の分布は、前記第1の物標追尾部における予測分布または事後分布であり、前記第2の分布は、前記第2の物標追尾部における予測分布である、
    請求項1に記載の追尾装置。
  9. 前記第1の分布、前記第2の分布および前記第3の分布は、いずれもガウス分布である、
    請求項2に記載の追尾装置。
  10. 前記偽像判定部は、前記第3の分布の指数部を用いて得られるマハラノビス距離を基準として、前記第2の情報が偽像であるか否かを判定する、
    請求項2に記載の追尾装置。
  11. 画像センサによって検出された所定の空間に存在する1以上の物標の少なくとも相対速度および距離のいずれか一方を含む第1の情報を所定の運動モデルに従って補正し、前記第1の情報に関する第1の分布を決定することと、
    反射波で測定するアクティブ型センサによって検出された前記所定の空間に存在する1以上の物標の少なくとも相対速度および距離のいずれか一方を含む第2の情報を所定の運動モデルに従って補正し、前記第2の情報に関する第2の分布を決定することと、
    前記第1の分布と前記第2の分布との相関に基づいて、前記第1の分布と前記第2の分布とから得られる分布パラメータの組み合わせをマッチングすることと、
    前記分布パラメータの組み合わせに基づいて、前記第2の情報が偽像であるか否かを判定することと、
    を備える、追尾方法。
  12. コンピュータを、
    画像センサによって検出された所定の空間に存在する1以上の物標の少なくとも相対速度および距離のいずれか一方を含む第1の情報を所定の運動モデルに従って補正し、前記第1の情報に関する第1の分布を決定する第1の物標追尾部と、
    反射波で測定するアクティブ型センサによって検出された前記所定の空間に存在する1以上の物標の少なくとも相対速度および距離のいずれか一方を含む第2の情報を所定の運動モデルに従って補正し、前記第2の情報に関する第2の分布を決定する第2の物標追尾部と、
    前記第1の分布と前記第2の分布との相関に基づいて、前記第1の分布と前記第2の分布とから得られる分布パラメータの組み合わせをマッチングするマッチング部と、
    前記分布パラメータの組み合わせに基づいて、前記第2の情報が偽像であるか否かを判定する偽像判定部と、
    を備える追尾装置として機能させるためのプログラム。
JP2016039639A 2016-03-02 2016-03-02 追尾装置、追尾方法およびプログラム Pending JP2017156219A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016039639A JP2017156219A (ja) 2016-03-02 2016-03-02 追尾装置、追尾方法およびプログラム
US15/447,091 US10429500B2 (en) 2016-03-02 2017-03-01 Tracking apparatus, tracking method, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016039639A JP2017156219A (ja) 2016-03-02 2016-03-02 追尾装置、追尾方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2017156219A true JP2017156219A (ja) 2017-09-07

Family

ID=59722163

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016039639A Pending JP2017156219A (ja) 2016-03-02 2016-03-02 追尾装置、追尾方法およびプログラム

Country Status (2)

Country Link
US (1) US10429500B2 (ja)
JP (1) JP2017156219A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019158870A (ja) * 2018-03-09 2019-09-19 タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited 移動対象のradarおよび超音波センサ・ベースのリアルタイム追跡
JP6797340B1 (ja) * 2020-03-24 2020-12-09 三菱電機株式会社 信号処理装置、レーダ装置および信号処理方法
KR102361816B1 (ko) * 2021-08-26 2022-02-14 한화시스템 주식회사 표적 탐지 방법 및 기록 매체

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11255959B2 (en) * 2017-06-02 2022-02-22 Sony Corporation Apparatus, method and computer program for computer vision
US20190244136A1 (en) * 2018-02-05 2019-08-08 GM Global Technology Operations LLC Inter-sensor learning
CN109410175B (zh) * 2018-09-26 2020-07-14 北京航天自动控制研究所 基于多子区图像匹配的sar雷达成像质量快速自动评价方法
KR102545105B1 (ko) * 2018-10-10 2023-06-19 현대자동차주식회사 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량
KR102545109B1 (ko) * 2018-12-04 2023-06-20 현대자동차주식회사 차량용 허위 타겟 제거 장치 및 그의 허위 타겟 제거 방법과 그를 포함하는 차량
RU2714672C1 (ru) * 2019-02-04 2020-02-19 Федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский государственный университет аэрокосмического приборостроения" Устройство для определения параметров движения цели
CN110146865B (zh) * 2019-05-31 2023-07-14 创新先进技术有限公司 用于雷达图像的目标识别方法及装置
WO2021056434A1 (zh) * 2019-09-27 2021-04-01 深圳市大疆创新科技有限公司 一种探测对象的检测方法、探测设备及毫米波雷达
EP4414740A1 (en) * 2023-02-13 2024-08-14 Aptiv Technologies AG Radar target classification

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0949873A (ja) * 1995-08-08 1997-02-18 Oki Electric Ind Co Ltd レーダ映像処理装置
JP2004117071A (ja) * 2002-09-24 2004-04-15 Fuji Heavy Ind Ltd 車外監視装置、及び、この車外監視装置を備えた走行制御装置
US20040227661A1 (en) * 2003-05-12 2004-11-18 Godsy Robert C. Doppler radar system for measuring range, speed, and relative direction of movement of an object
JP2006266927A (ja) * 2005-03-24 2006-10-05 Toyota Motor Corp 物体検出装置
JP2008046928A (ja) * 2006-08-17 2008-02-28 Fujitsu Ltd 追跡信頼度判定プログラム、追跡信頼度判定方法および追跡信頼度判定装置
JP2009237898A (ja) * 2008-03-27 2009-10-15 Daihatsu Motor Co Ltd 画像認識装置
JP2014153874A (ja) * 2013-02-07 2014-08-25 Denso Corp 物標認識装置
JP2014219403A (ja) * 2013-04-30 2014-11-20 バゼラブス ゲゼルシャフトミット ベシュレンクテル ハフツング 複数オブジェクトを追跡する方法及び装置
JP2015069568A (ja) * 2013-09-30 2015-04-13 富士重工業株式会社 フィルタリング装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5724955B2 (ja) 2012-06-22 2015-05-27 トヨタ自動車株式会社 物体検出装置、情報処理装置、物体検出方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0949873A (ja) * 1995-08-08 1997-02-18 Oki Electric Ind Co Ltd レーダ映像処理装置
JP2004117071A (ja) * 2002-09-24 2004-04-15 Fuji Heavy Ind Ltd 車外監視装置、及び、この車外監視装置を備えた走行制御装置
US20040227661A1 (en) * 2003-05-12 2004-11-18 Godsy Robert C. Doppler radar system for measuring range, speed, and relative direction of movement of an object
JP2006266927A (ja) * 2005-03-24 2006-10-05 Toyota Motor Corp 物体検出装置
JP2008046928A (ja) * 2006-08-17 2008-02-28 Fujitsu Ltd 追跡信頼度判定プログラム、追跡信頼度判定方法および追跡信頼度判定装置
JP2009237898A (ja) * 2008-03-27 2009-10-15 Daihatsu Motor Co Ltd 画像認識装置
JP2014153874A (ja) * 2013-02-07 2014-08-25 Denso Corp 物標認識装置
JP2014219403A (ja) * 2013-04-30 2014-11-20 バゼラブス ゲゼルシャフトミット ベシュレンクテル ハフツング 複数オブジェクトを追跡する方法及び装置
JP2015069568A (ja) * 2013-09-30 2015-04-13 富士重工業株式会社 フィルタリング装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019158870A (ja) * 2018-03-09 2019-09-19 タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited 移動対象のradarおよび超音波センサ・ベースのリアルタイム追跡
JP6797340B1 (ja) * 2020-03-24 2020-12-09 三菱電機株式会社 信号処理装置、レーダ装置および信号処理方法
KR102361816B1 (ko) * 2021-08-26 2022-02-14 한화시스템 주식회사 표적 탐지 방법 및 기록 매체

Also Published As

Publication number Publication date
US20170254896A1 (en) 2017-09-07
US10429500B2 (en) 2019-10-01

Similar Documents

Publication Publication Date Title
JP2017156219A (ja) 追尾装置、追尾方法およびプログラム
US11061102B2 (en) Position estimating apparatus, position estimating method, and terminal apparatus
Bartsch et al. Pedestrian recognition using automotive radar sensors
US9501839B1 (en) Methods and systems for detecting moving objects in a sequence of image frames produced by sensors with inconsistent gain, offset, and dead pixels
US10175348B2 (en) Use of range-rate measurements in a fusion tracking system via projections
US12080060B2 (en) Method and system for indoor multipath ghosts recognition
US20160334509A1 (en) Structured-light based multipath cancellation in tof imaging
US11360207B2 (en) Apparatus and method for tracking object based on radar image reconstruction
US9261593B1 (en) Higher order processing for synthetic aperture radar (SAR)
US20220179062A1 (en) Detection apparatus and method
US20120182173A1 (en) System and method for moving target detection
EP4050460A1 (en) Radar-based object tracking using a neural network
JP2008164545A (ja) 移動目標検出装置、移動目標検出方法および移動目標検出プログラム
CN111323756B (zh) 一种基于深度学习的航海雷达目标检测方法及装置
CN116263492A (zh) 用于识别由基于互易性的传感器欺骗产生的幽灵对象的雷达反欺骗系统
CN111323757B (zh) 一种航海雷达目标检测方法及装置
JP2016166802A (ja) 位置検出システム、位置検出装置、および位置検出方法
KR101770742B1 (ko) 클러터를 억제하는 표적 탐지 장치 및 그 방법
CN113625266A (zh) 应用雷达检测低速目标的方法、装置、存储介质和设备
RU2514154C1 (ru) Способ распознавания ложных целей, вызванных собственными помехами подвижного носителя
KR102211844B1 (ko) Ir-uwb 레이더 시스템에서의 벽 후방 다중표적위치 추정 방법 및 장치
US10942267B2 (en) Video object processing
JP2011185719A (ja) 追尾レーダ装置
JP2014174068A (ja) レーダ装置
CN118962616A (zh) 基于毫米波雷达与相机的目标检测方法、装置、车辆及介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181115

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190327

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200609

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201208