JP6595182B2 - マッピング、位置特定、及び姿勢補正のためのシステム及び方法 - Google Patents
マッピング、位置特定、及び姿勢補正のためのシステム及び方法 Download PDFInfo
- Publication number
- JP6595182B2 JP6595182B2 JP2015000217A JP2015000217A JP6595182B2 JP 6595182 B2 JP6595182 B2 JP 6595182B2 JP 2015000217 A JP2015000217 A JP 2015000217A JP 2015000217 A JP2015000217 A JP 2015000217A JP 6595182 B2 JP6595182 B2 JP 6595182B2
- Authority
- JP
- Japan
- Prior art keywords
- landmarks
- transform
- landmark
- subset
- estimate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 71
- 238000012937 correction Methods 0.000 title claims description 41
- 238000013507 mapping Methods 0.000 title description 12
- 230000009466 transformation Effects 0.000 claims description 82
- 238000006243 chemical reaction Methods 0.000 claims description 41
- 230000033001 locomotion Effects 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 14
- 230000004807 localization Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 33
- 238000005259 measurement Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000000844 transformation Methods 0.000 description 8
- 239000003795 chemical substances by application Substances 0.000 description 6
- 230000005484 gravity Effects 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
- G01S5/163—Determination of attitude
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/24—Character recognition characterised by the processing or recognition method
- G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
- G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Electromagnetism (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Automation & Control Theory (AREA)
- Geometry (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
Description
本出願は、2014年2月8日に出願された米国仮出願第61/937533号に対する優先権を主張し、それは参照することにより本明細書に明示的に組み込まれる。
一般的に、本明細書において開示されるシステム及び方法は、経路を移動するエージェント(例えば、車両、自律自動車、ロボット、ポータブルデバイスを有するユーザー)の姿勢補正のための立体ベースのマッピング及び位置特定方法を提供する。高密度ステレオ奥行データで構築されるエージェントの環境の小型軽量3Dローカルマップ、目印の2つのセット、及び精密化された変換推定を活用することにより、エージェントの経路の姿勢補正は、正確かつ迅速である。2つの操作モード、すなわち、調査モードと位置特定モードを含むものとして本明細書に記載される、方法及びシステム。しかしながら、2つのモードの機能及び構成要素は異なるアーキテクチャへと再組織化され得、及び/又は他のアーキテクチャ、モード、および実施形態において実装され得る。
調査モードの間、目印は車両の現在の移動経路に沿って抽出され、調査目印DB 126に保存される。調査モードは、プロバイダ(例えば、第三者)からの提供として又は消費者側(例えば、位置特定されるエージェント)に実装されることができる。調査目印DB 126は、位置特定の間に用いられる。調査モードは、図1の調査目印データベース(DB)126を構築するために第三者のサービスによって用いられた調査モードはこれから記述される。簡潔に言えば、調査モード過程の間、ローカル3次元(3D)地図は、複数のフレームにわたる高密度なステレオ視差画像を組み合わせることによる車両の周辺環境から構築される。対象物(例えば、目印)は地面表面の特定及び除去によりローカル3D地図から抽出される。これらの対象物及びこれらの対象物に関する情報は、その後、位置特定における更なる使用のためにディスク(例えば、図1の調査目印DB 126)に保存される。
3Dローカル地図206は目印分割210のために処理され、車両の環境における、地面表面、例えば車道及び歩道、及び抽出対象物(例えば、目印)例えば木及び交通標識を除去する。対象物はフィルターがかけられ、結果として現在観測可能な目印212のセットになる。結果として現在観測可能な目印212のセットは目印トラッキング214のために活用され、時間を通じて目印を追跡する。
現在観測可能な目印212のセットは、目印追跡214過程により、経時的に追跡される。目印追跡214は、本明細書に記述される方法及びシステムの調査モード及び位置特定モードにおいて実行される。調査モードにおいて、目印追跡214は目印がディスク(例えば調査目印DB 126)に書き込まれたトラックを追跡する。位置特定モードにおいて、目印追跡214は、ローカル3D地図206のサイズより遠い距離に及ぶ目印のトラックを追跡する。
位置特定は現在観測可能な目印のセットを記憶済みの目印(すなわち、以前に記憶された調査済み目印128のセット)に整合させることを含む。整合過程を援助するために、記憶済みの目印の幾つかの性質、例えば、重心、主軸、及び寸法が算出される。性質が算出される前に、目印はローカル3D占有グリッドよりも精度の高い解像度で形作られ、性質をより正確に算出する。一実施形態において、性質は新しい目印(すなわち、新しいIDを有する物)又は特質、更新済みのTRUE及び特質、保存済みのFALSEを有する物だけに算出される。
位置特定モードにおいては、車両の位置特定は、車両の経路に姿勢補正を算出及び適用するための目印整合及び目印変換を含む。車両を全地球フレームにおいて位置特定するために、位置特定モードの間観測された目印は調査モードの間ディスクに記憶された目印に整合される。
図3及び4は、1つの態様に従う、位置特定モードの間の例示的データフローの概略図である。図3及び4はこれから図1〜2を参照して詳細に記載される。一実施形態において、視覚的走行距離計測モジュール116は、移動経路及び車両の相対的姿勢に対する移動経路に沿った現在観測可能な目印のセットに従い、車両の相対的姿勢を決定する。例えば、図1及び2と共に上述のように、立体画像302及び車両の相対的姿勢304(例えば視覚的走行距離計測モジュール116によって決定される)はローカル3D地図306を生成するために用いられる。ローカル3D地図306は、目印分割310(例えば、図2の目印分割210と共に上述のように)を用いて処理され、結果として現在観測可能な目印312になる。従って、現在観測可能な目印312のセットは撮像デバイス112から得られた1つ以上の立体画像302から抽出される。
上述のように、姿勢補正を算出するために、目印変換322において、現在観測可能な目印312のセットと調査済み目印320のサブセットとの間における1つ以上の二次元(2D)変換推定が決定される。1つ以上の二次元変換推定は2D剛体変換である。2D剛体変換は単一回転及び2D転換からなる。具体的には、Xオフセット、Yオフセット及び回転方向における変換。
上述した、図1〜5に図示されるシステム100はこれから図6の方法を参照し記述される。上述の図1〜5におけるシステム及び構成要素は図6の方法で同様に実装され得るということが理解される。図6の方法は、1つの態様に従う、マッピング、位置特定、及び姿勢補正の例示的方法を図示する。ブロック602において、本方法は移動経路に沿った車両の現在位置及び現在位置に対する移動経路に沿った現在観測可能な目印のセットの決定を含む。現在観測可能な目印のセットは、撮像デバイスから得られる1つ以上の立体画像から抽出される。例えば、図1の位置決定ユニット110、具体的に低質位置決定ユニット142は、移動経路に沿った車両の現在位置を得ることができる。車両の現在位置は2次元(2D)車両の姿勢(例えば、少なくとも車両の位置の緯度及び経度)であることができる。現在観測可能な目印のセットは、例えば視覚的走行距離計測モジュール116によって、現在観測可能な目印のセットを撮像デバイス122及び3Dローカル地図から1つ以上の立体画像から抽出することにより図3と共に上述のように決定される。
車両におけるマッピング、位置特定、及び姿勢補正のためのシステム及び方法を実装する例示的例がこれから記述される。図10Aは姿勢補正適用前の地図1000の概略図である。ライン1002は車両の視覚的走行距離計測システム、例えば視覚的走行距離計測モジュール116によって決定される移動経路を図示する。ライン1004は実際に車両によって運転された移動経路(すなわち実際の経路)を図示する。上述のマッピング、位置特定、及び姿勢補正のための方法及びシステムを活用し、移動経路1002及び移動経路1004は車両の正確な移動経路を決定するために照合される。
102 コンピューティングデバイス
104 プロセッサ
106 メモリ
108 ディスク
110 位置決定ユニット
112 通信インターフェイス
114 バス
116 視覚的走行距離計測モジュール
118 位置特定モジュール
120 姿勢補正モジュール
Claims (17)
- 地図生成、位置特定、及び姿勢補正のためのコンピュータ実装方法であって、前記コンピュータに搭載されたプロセッサが、
移動経路に沿った車両の現在位置及び前記現在位置に対して移動経路に沿った現在観測可能な目印のセットを決定する工程であって、前記現在観測可能な目印のセットが、撮像デバイスから得られた1つ以上の立体画像から抽出される、工程と、
調査目印データベースに問い合わせて、前記車両の前記現在位置に対して調査済み目印のサブセットを特定する工程であって、前記調査目印データベースが、以前に記憶された調査済み目印のセットを含み、前記調査済み目印のサブセットは、前記以前に記憶された調査済み目印のセットの一部分である、工程と、
前記現在観測可能な目印のセットのそれぞれの目印の重心を決定する工程であって、前記調査済み目印のサブセットが、前記調査済み目印のサブセットにおけるそれぞれの目印の重心を含む、工程と、
前記現在観測可能な目印のセットと前記調査済み目印のサブセットとの間における1つ以上の二次元変換推定を決定する工程と、
前記1つ以上の二次元変換推定から、前記現在観測可能な目印のセットと前記調査済み目印のサブセットとの間の距離を最小化する最良の変換推定を特定する工程と、
前記最良の変換推定に基づいて前記車両の姿勢を補正する工程と、を実行する、コンピュータ実装方法。 - 1つ以上の二次元変換推定を決定する工程が、前記調査済み目印のサブセットのそれぞれの目印の重心及び前記現在観測可能な目印のセットのそれぞれの目印の重心を二次元に投影する工程を含む、請求項1に記載のコンピュータ実装方法。
- 前記最良の変換推定が、前記現在観測可能な目印のセットと前記調査済み目印のサブセットとの間の対応する重心の距離を最小化する、請求項2に記載のコンピュータ実装方法。
- 前記1つ以上の二次元変換推定を決定する工程が、深さレベルNについての離散有界空間における、前記現在観測可能な目印のセットと前記調査済み目印のサブセットとの間の1つ以上の変換尺度での1つ以上の二次元変換推定を決定する工程を含む、請求項1に記載のコンピュータ実装方法。
- 前記1つ以上の変換尺度が、粗い変換尺度から細かい変換尺度へと向上する、請求項4に記載のコンピュータ実装方法。
- 前記プロセッサが、それぞれの深さレベルNにおける1つ以上の二次元変換推定の変換コストに基づいてそれぞれの深さレベルNにおいて最良の変換推定の分類リストを生成する工程をさらに実行する、請求項4に記載のコンピュータ実装方法。
- 前記プロセッサが、前記分類リスト内のそれぞれの最良の変換推定と前記分類リスト内の隣接する最良の変換推定との比較に基づいて最良の変換推定の1つ以上のクラスタを決定する工程をさらに実行する、請求項6に記載のコンピュータ実装方法。
- 前記プロセッサが、前記1つ以上のクラスタのそれぞれの前記最良の変換推定に基づいて最良クラスタ変換推定を決定する工程をさらに実行し、前記車両の姿勢を補正する工程が、前記最良クラスタ変換推定に基づく、請求項7に記載のコンピュータ実装方法。
- 前記プロセッサが、前記現在観測可能な目印のセットと前記調査済み目印のサブセットとの間の1つ以上の変換尺度での1つ以上の二次元変換推定を決定する工程と、前記1つ以上の二次元変換推定のそれぞれの変換コストに基づいて1つ以上のクラスタを決定する工程と、前記1つ以上のクラスタから最良の変換推定を特定する工程と、をさらに実行する、請求項1に記載のコンピュータ実装方法。
- 地図生成、位置特定、及び姿勢補正のためのシステムであって、
プロセッサと、
前記プロセッサが、移動経路に沿った車両の現在位置及び前記現在位置に対する移動経路に沿った現在観測可能な目印のセットを決定することをもたらし、前記現在観測可能な目印のセットが、前記プロセッサと通信可能に結合された撮像デバイスから得られた1つ以上の立体画像から抽出される、視覚的走行距離計測モジュールと、
前記プロセッサが、前記プロセッサと通信可能に結合された調査目印データベースに問い合わせて、前記車両の前記現在位置に対する調査済み目印のサブセットを取得することをもたらし、前記調査目印データベースが、以前に記憶された調査済み目印のセットを含み、前記調査済み目印のサブセットは、前記以前に記憶された調査済み目印のセットの一部分である、位置特定モジュールと、
前記プロセッサが、前記現在観測可能な目印のセットと前記調査済み目印のサブセットとの間の1つ以上の二次元変換推定を決定し、前記1つ以上の二次元変換推定から前記現在観測可能な目印のセットと前記調査済み目印のサブセットとの間の距離を最小化する最良の変換推定を特定し、前記最良の変換推定に基づいて前記車両の姿勢を補正することをもたらす、姿勢補正モジュールと、を含み、
前記位置特定モジュールが、前記現在観測可能な目印のセットのそれぞれの目印の重心を決定し、前記調査済み目印のサブセットが前記調査済み目印のサブセットにおけるそれぞれの目印の重心を含む、
システム。 - 前記姿勢補正モジュールが、前記最良の変換推定を、前記現在観測可能な目印のセットと前記調査済み目印のサブセットとの間の対応する重心の距離を最小化する変換推定として特定する、請求項10に記載のシステム。
- 前記姿勢補正モジュールが、1つ以上の変換尺度での二次元尺度変換に基づいて前記現在観測可能な目印のセットと前記調査済み目印のサブセットとの間の変換推定のセットを決定し、前記1つ以上の変換尺度が、粗い変換尺度から細かい変換尺度へと向上する、請求項10に記載のシステム。
- 前記姿勢補正モジュールが、最良の変換推定の分類リストを生成し、前記変換推定のセットが、それぞれの推定の変換コストに基づいて、最良の変換推定の1つ以上のクラスタを決定する工程が、前記分類リストにおけるそれぞれの最良の変換推定と前記分類リストにおける隣接する最良の変換推定との比較に基づく、請求項12に記載のシステム。
- 前記姿勢補正モジュールが、前記1つ以上のクラスタのそれぞれの最良の変換推定に基づいて最良クラスタ変換推定を決定し、前記最良クラスタ変換推定に基づいて前記車両の姿勢を補正する、請求項13に記載のシステム。
- 非一過性コンピュータ可読記録媒体であって、
プロセッサにより実行されたとき、地図生成、位置特定、及び姿勢補正のための方法を実行する、命令を含み、前記方法が、
移動経路に沿った車両の現在位置及び前記現在位置に対する前記移動経路に沿った現在観測可能な目印のセットを決定する工程であって、前記現在観測可能な目印のセットが、撮像デバイスから得られた1つ以上の立体画像から抽出される、工程と、
前記現在位置を特定する問合せに基づいて調査目印データベースから調査済み目印のサブセットを受信する工程であって、前記問合せが、前記調査目印データベースで実行され、前記調査目印データベースが、以前に記憶された調査済み目印のセットを含み、前記調査済み目印のサブセットは、前記以前に記憶された調査済み目印のセットの一部分である、工程と、
前記現在観測可能な目印のセットのそれぞれの目印の重心を決定する工程であって、前記調査済み目印のサブセットが、前記調査済み目印のサブセットにおけるそれぞれの目印の重心を含む、工程と、
前記現在観測可能な目印のセットと前記調査済み目印のサブセットとの間における1つ以上の二次元変換推定を決定する工程と、
前記1つ以上の二次元変換推定から、前記現在観測可能な目印のセットと前記調査済み目印のサブセットとの間の距離を最小化する最良の変換推定を特定する工程と、
前記最良の変換推定に基づいて前記車両の姿勢を補正する工程と、を含む、非一過性コンピュータ可読記録媒体。 - 前記最良の変換推定が、前記現在観測可能な目印のセットと前記調査済み目印のサブセットとの間の対応する重心の距離を最小化する、請求項15に記載の非一過性コンピュータ可読記録媒体。
- 前記現在観測可能な目印のセットと前記調査済み目印のサブセットとの間の1つ以上の二次元変換推定が、1つ以上の深さレベルにおける1つ以上の変換尺度での1つ以上の二次元変換推定を決定する工程と、前記1つ以上の変換推定のそれぞれの変換コストに基づいて最良の変換推定を決定する工程と、を含む、請求項15に記載の非一過性コンピュータ可読記録媒体。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461937533P | 2014-02-08 | 2014-02-08 | |
US61/937,533 | 2014-02-08 | ||
US14/458,286 | 2014-08-13 | ||
US14/458,286 US9342888B2 (en) | 2014-02-08 | 2014-08-13 | System and method for mapping, localization and pose correction of a vehicle based on images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015148601A JP2015148601A (ja) | 2015-08-20 |
JP6595182B2 true JP6595182B2 (ja) | 2019-10-23 |
Family
ID=53775357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015000217A Expired - Fee Related JP6595182B2 (ja) | 2014-02-08 | 2015-01-05 | マッピング、位置特定、及び姿勢補正のためのシステム及び方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US9342888B2 (ja) |
JP (1) | JP6595182B2 (ja) |
CN (1) | CN104833370B (ja) |
DE (1) | DE102015201951A1 (ja) |
Families Citing this family (85)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9342888B2 (en) * | 2014-02-08 | 2016-05-17 | Honda Motor Co., Ltd. | System and method for mapping, localization and pose correction of a vehicle based on images |
EP3032221B1 (en) * | 2014-12-09 | 2022-03-30 | Volvo Car Corporation | Method and system for improving accuracy of digital map data utilized by a vehicle |
CN118816852A (zh) * | 2015-02-10 | 2024-10-22 | 御眼视觉技术有限公司 | 用于自主车辆导航的稀疏地图 |
KR20160102872A (ko) * | 2015-02-23 | 2016-08-31 | 한국전자통신연구원 | 보행정보 데이터베이스 구축방법 및 보행정보 데이터베이스를 이용한 보행 안내장치 및 그 방법 |
GB2536493B (en) * | 2015-03-20 | 2020-11-18 | Toshiba Europe Ltd | Object pose recognition |
CN114838733A (zh) * | 2015-09-25 | 2022-08-02 | 苹果公司 | 非固态对象监测 |
CN105300390B (zh) * | 2015-10-30 | 2018-02-16 | 奇瑞汽车股份有限公司 | 障碍物体运动轨迹的确定方法及装置 |
EP4194811A1 (en) * | 2015-11-10 | 2023-06-14 | Thales Defense & Security Inc. | Robust vision-inertial pedestrian tracking with heading auto-alignment |
CA3005894A1 (en) * | 2015-11-20 | 2017-05-26 | Magic Leap, Inc. | Methods and systems for large-scale determination of rgbd camera poses |
US9846822B2 (en) * | 2015-12-31 | 2017-12-19 | Dropbox, Inc. | Generating and utilizing normalized scores for classifying digital objects |
CN116659526A (zh) | 2016-03-15 | 2023-08-29 | 康多尔收购第二分公司 | 用于提供车辆认知的系统和方法 |
WO2017168472A1 (ja) * | 2016-03-30 | 2017-10-05 | パナソニックIpマネジメント株式会社 | 位置推定装置、位置推定方法及び制御プログラム |
US10078333B1 (en) * | 2016-04-17 | 2018-09-18 | X Development Llc | Efficient mapping of robot environment |
US9943959B2 (en) * | 2016-04-25 | 2018-04-17 | Disney Enterprises, Inc. | Map localizing with partially obstructed ranging devices for autonomous robots and vehicles |
JP6626410B2 (ja) * | 2016-06-03 | 2019-12-25 | 株式会社Soken | 自車位置特定装置、自車位置特定方法 |
WO2018009567A1 (en) | 2016-07-05 | 2018-01-11 | Nauto Global Limited | System and method for automatic driver identification |
WO2018031678A1 (en) * | 2016-08-09 | 2018-02-15 | Nauto Global Limited | System and method for precision localization and mapping |
US10650621B1 (en) | 2016-09-13 | 2020-05-12 | Iocurrents, Inc. | Interfacing with a vehicular controller area network |
EP3513265B1 (en) | 2016-09-14 | 2024-09-18 | Nauto, Inc. | Method for near-collision determination |
US10733460B2 (en) | 2016-09-14 | 2020-08-04 | Nauto, Inc. | Systems and methods for safe route determination |
CN107972027B (zh) * | 2016-10-25 | 2020-11-27 | 深圳光启合众科技有限公司 | 机器人的定位方法和装置、机器人 |
JP7290567B2 (ja) | 2016-11-07 | 2023-06-13 | ナウト,インコーポレイテッド | 運転者の注意散漫決定のためのシステム及び方法 |
US11761790B2 (en) * | 2016-12-09 | 2023-09-19 | Tomtom Global Content B.V. | Method and system for image-based positioning and mapping for a road network utilizing object detection |
US10282861B2 (en) | 2016-12-12 | 2019-05-07 | Here Global B.V. | Pose error estimation and localization using static features |
US10846541B2 (en) | 2017-01-04 | 2020-11-24 | Qualcomm Incorporated | Systems and methods for classifying road features |
US10410322B2 (en) | 2017-04-05 | 2019-09-10 | Here Global B.V. | Deep convolutional image up-sampling |
GB201706129D0 (en) | 2017-04-18 | 2017-05-31 | Blue Vision Labs Uk Ltd | Distributed device mapping |
US10761541B2 (en) * | 2017-04-21 | 2020-09-01 | X Development Llc | Localization with negative mapping |
CN107179080B (zh) * | 2017-06-07 | 2020-07-24 | 纳恩博(北京)科技有限公司 | 电子设备的定位方法和装置、电子设备、电子定位系统 |
US10339392B2 (en) * | 2017-06-15 | 2019-07-02 | Blackberry Limited | Method and system for rear status detection |
US10417816B2 (en) | 2017-06-16 | 2019-09-17 | Nauto, Inc. | System and method for digital environment reconstruction |
EP3638542B1 (en) | 2017-06-16 | 2022-01-26 | Nauto, Inc. | System and method for contextualized vehicle operation determination |
WO2018229550A1 (en) | 2017-06-16 | 2018-12-20 | Nauto Global Limited | System and method for adverse vehicle event determination |
US10466027B2 (en) | 2017-06-21 | 2019-11-05 | Fujitsu Ten Corp. Of America | System and method for marker placement |
US10035647B1 (en) * | 2017-06-28 | 2018-07-31 | Rubicon Global Holdings, Llc | Waste receptacle and system having visual indicator |
US10551509B2 (en) * | 2017-06-30 | 2020-02-04 | GM Global Technology Operations LLC | Methods and systems for vehicle localization |
DE102017211605A1 (de) * | 2017-07-07 | 2019-01-10 | Robert Bosch Gmbh | Verfahren zur Lokalisierung eines höher automatisierten Fahrzeugs (HAF), insbesondere eines hochautomatisierten Fahrzeugs, und ein Fahrerassistenzsystem |
US10223806B1 (en) * | 2017-08-23 | 2019-03-05 | TuSimple | System and method for centimeter precision localization using camera-based submap and LiDAR-based global map |
US10762673B2 (en) * | 2017-08-23 | 2020-09-01 | Tusimple, Inc. | 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map |
US10679075B2 (en) * | 2017-08-31 | 2020-06-09 | Nec Corporation | Dense correspondence estimation with multi-level metric learning and hierarchical matching |
CN108229305B (zh) * | 2017-11-21 | 2021-06-04 | 北京市商汤科技开发有限公司 | 用于确定目标对象的外接框的方法、装置和电子设备 |
US10514456B2 (en) * | 2017-11-29 | 2019-12-24 | Qualcomm Incorporated | Radar aided visual inertial odometry outlier removal |
CN110033489B (zh) * | 2018-01-12 | 2023-01-13 | 华为技术有限公司 | 一种车辆定位准确性的评估方法、装置及设备 |
US10726522B2 (en) * | 2018-01-24 | 2020-07-28 | Fotonation Limited | Method and system for correcting a distorted input image |
WO2019169031A1 (en) | 2018-02-27 | 2019-09-06 | Nauto, Inc. | Method for determining driving policy |
JP2019161266A (ja) * | 2018-03-07 | 2019-09-19 | シャープ株式会社 | 画像撮影装置の制御装置、画像撮影装置、制御プログラム、および画像撮影装置の制御方法 |
CN108986148B (zh) * | 2018-03-21 | 2021-10-26 | 南京邮电大学 | 实现多智能小车协同搜索识别并跟踪特定目标群体的方法 |
KR102508960B1 (ko) * | 2018-03-28 | 2023-03-14 | 현대모비스 주식회사 | 실시간 3차원 지도 구축 장치 및 방법 |
KR102275695B1 (ko) * | 2018-03-28 | 2021-07-09 | 현대모비스 주식회사 | 3차원 지도 구축에 있어 3차원 거리정보의 실시간 업데이트 장치 및 방법 |
WO2019204800A1 (en) * | 2018-04-20 | 2019-10-24 | WeRide Corp. | Method and system for generating high definition map |
US11035933B2 (en) | 2018-05-04 | 2021-06-15 | Honda Motor Co., Ltd. | Transition map between lidar and high-definition map |
WO2019231509A1 (en) * | 2018-05-31 | 2019-12-05 | The Charles Stark Draper Laboratory, Inc. | Lost-in-forest gps-denied positioning system |
US10852138B2 (en) * | 2018-06-14 | 2020-12-01 | Dell Products, L.P. | Scalabale simultaneous localization and mapping (SLAM) in virtual, augmented, and mixed reality (xR) applications |
US10970924B2 (en) * | 2018-06-17 | 2021-04-06 | Foresight Ai Inc. | Reconstruction of a scene from a moving camera |
GB2577134B (en) | 2018-09-10 | 2021-01-13 | Perceptual Robotics Ltd | Control and navigation systems |
WO2020053573A1 (en) | 2018-09-10 | 2020-03-19 | Perceptual Robotics Limited | Control and navigation systems, pose optimisation, mapping, and localisation techniques |
CN111060114A (zh) * | 2018-10-17 | 2020-04-24 | 宝马股份公司 | 用于生成高精度地图的特征图的方法和装置 |
CN110147094A (zh) * | 2018-11-08 | 2019-08-20 | 北京初速度科技有限公司 | 一种基于车载环视系统的车辆定位方法及车载终端 |
CN112424568B (zh) * | 2018-12-04 | 2024-09-03 | 北京嘀嘀无限科技发展有限公司 | 构建高清地图的系统和方法 |
KR102739836B1 (ko) * | 2018-12-11 | 2024-12-09 | 삼성전자주식회사 | 3차원 컬러 맵 기반의 측위 방법 및 장치 |
CN112136021B (zh) * | 2018-12-29 | 2024-07-26 | 北京嘀嘀无限科技发展有限公司 | 用于构建基于地标的高清地图的系统和方法 |
CN109871024A (zh) * | 2019-01-04 | 2019-06-11 | 中国计量大学 | 一种基于轻量级视觉里程计的无人机位姿估计方法 |
GB2596708B (en) * | 2019-03-07 | 2024-01-10 | Mobileye Vision Technologies Ltd | Aligning road information for navigation |
CN111750882B (zh) * | 2019-03-29 | 2022-05-27 | 北京魔门塔科技有限公司 | 一种导航地图在初始化时车辆位姿的修正方法和装置 |
CN110009675B (zh) * | 2019-04-03 | 2021-05-18 | 北京市商汤科技开发有限公司 | 生成视差图的方法、装置、介质及设备 |
CN112308913B (zh) * | 2019-07-29 | 2024-03-29 | 北京魔门塔科技有限公司 | 一种基于视觉的车辆定位方法、装置及车载终端 |
CN112308904B (zh) * | 2019-07-29 | 2024-07-02 | 北京初速度科技有限公司 | 一种基于视觉的建图方法、装置及车载终端 |
CN111791227B (zh) * | 2019-12-31 | 2022-03-11 | 深圳市豪恩声学股份有限公司 | 机器人手眼标定方法、装置及机器人 |
CN111310597B (zh) * | 2020-01-20 | 2023-07-25 | 北京百度网讯科技有限公司 | 车辆位姿矫正方法、装置、设备及存储介质 |
US11480434B2 (en) | 2020-02-04 | 2022-10-25 | Pony Ai Inc. | Initial localization |
SE2050258A1 (en) * | 2020-03-06 | 2021-09-07 | Scania Cv Ab | Machine learning based system, methods, and control arrangement for positioning of an agent |
US11692830B2 (en) * | 2020-03-26 | 2023-07-04 | Intel Corporation | Real-time localization error correction of autonomous vehicle |
CN111409104B (zh) * | 2020-03-27 | 2022-11-04 | 伯朗特机器人股份有限公司 | 工业机器人位姿特性中位姿特性漂移的测量方法 |
US11609344B2 (en) * | 2020-04-07 | 2023-03-21 | Verizon Patent And Licensing Inc. | Systems and methods for utilizing a machine learning model to determine a determined location of a vehicle based on a combination of a geographical location and a visual positioning system location |
US11747441B2 (en) * | 2020-07-29 | 2023-09-05 | Apple Inc. | Indoor/outdoor detection using wireless signals |
US12127085B2 (en) * | 2020-07-29 | 2024-10-22 | Aurora Operations, Inc. | Systems and methods for mitigating vehicle pose error across an aggregated feature map |
JP2023538946A (ja) * | 2020-08-25 | 2023-09-12 | コモンウェルス サイエンティフィック アンド インダストリアル リサーチ オーガナイゼーション | マルチエージェント地図生成 |
CN112802097B (zh) * | 2020-12-30 | 2024-07-12 | 深圳市慧鲤科技有限公司 | 一种定位方法、装置、电子设备及存储介质 |
EP4285325A4 (en) * | 2021-01-28 | 2024-12-25 | Visionary Machines Pty Ltd | SYSTEMS AND METHODS FOR COMBINING MULTIPLE DEPTH MAPS |
CN113175857B (zh) * | 2021-04-14 | 2024-10-25 | 中国人民解放军火箭军工程大学 | 定位装置及定位方法 |
CN113146634A (zh) * | 2021-04-25 | 2021-07-23 | 达闼机器人有限公司 | 机器人姿态的控制方法、机器人及存储介质 |
DE102021214476B4 (de) | 2021-12-16 | 2024-05-08 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Lokalisierungssystems eines Kraftfahrzeugs sowie Lokalisierungssystem |
CN114520799B (zh) * | 2021-12-27 | 2023-05-05 | 中国人民解放军战略支援部队信息工程大学 | 基于最小圆覆盖的城市内ip定位及误差估计方法及系统 |
DE102023205806A1 (de) * | 2023-06-21 | 2024-12-24 | Hitachi Astemo, Ltd. | Fahrzeugsteuervorrichtung, fahrzeug, vorhersagevorrichtung, system, verfahren und computerprogrammprodukt |
CN116843748B (zh) * | 2023-09-01 | 2023-11-24 | 上海仙工智能科技有限公司 | 一种远距二维码及其物体空间位姿获取方法及系统 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5961571A (en) | 1994-12-27 | 1999-10-05 | Siemens Corporated Research, Inc | Method and apparatus for automatically tracking the location of vehicles |
US6047234A (en) | 1997-10-16 | 2000-04-04 | Navigation Technologies Corporation | System and method for updating, enhancing or refining a geographic database using feedback |
US6272231B1 (en) * | 1998-11-06 | 2001-08-07 | Eyematic Interfaces, Inc. | Wavelet-based facial motion capture for avatar animation |
JP2001099668A (ja) * | 1999-09-30 | 2001-04-13 | Sony Corp | ナビゲーション装置 |
US7162338B2 (en) | 2002-12-17 | 2007-01-09 | Evolution Robotics, Inc. | Systems and methods for computing a relative pose for global localization in a visual simultaneous localization and mapping system |
JP4277717B2 (ja) * | 2004-03-17 | 2009-06-10 | 株式会社日立製作所 | 車両位置推定装置およびこれを用いた運転支援装置 |
JP4851874B2 (ja) * | 2006-07-11 | 2012-01-11 | 富士通株式会社 | 自己位置推定プログラム、自己位置推定方法および自己位置推定装置 |
JP4267657B2 (ja) * | 2006-10-31 | 2009-05-27 | 本田技研工業株式会社 | 車両周辺監視装置 |
US8174568B2 (en) | 2006-12-01 | 2012-05-08 | Sri International | Unified framework for precise vision-aided navigation |
US8073287B1 (en) * | 2007-02-26 | 2011-12-06 | George Mason Intellectual Properties, Inc. | Recognition by parts using adaptive and robust correlation filters |
JP2008309546A (ja) * | 2007-06-13 | 2008-12-25 | Pioneer Electronic Corp | 移動体位置情報補正装置及び移動体位置情報補正プログラム |
KR20150038622A (ko) * | 2007-08-29 | 2015-04-08 | 콘티넨탈 테베스 아게 운트 코. 오하게 | 특성 포인트에 의한 차량 위치의 보정 |
CN101952688A (zh) * | 2008-02-04 | 2011-01-19 | 电子地图北美公司 | 用于与传感器检测到的对象进行地图匹配的方法 |
JP2009250718A (ja) * | 2008-04-03 | 2009-10-29 | Nissan Motor Co Ltd | 車両位置検出装置及び車両位置検出方法 |
EP2199983A1 (en) * | 2008-12-22 | 2010-06-23 | Nederlandse Centrale Organisatie Voor Toegepast Natuurwetenschappelijk Onderzoek TNO | A method of estimating a motion of a multiple camera system, a multiple camera system and a computer program product |
WO2011012882A1 (en) | 2009-07-28 | 2011-02-03 | Bae Systems Plc | Estimating positions of a device and at least one target in an environment |
DE102010033479A1 (de) | 2010-08-05 | 2012-02-09 | Technische Universität Carolo-Wilhelmina Zu Braunschweig | Verfahren zur Lokalisierung eines mobilen Objekts in einer Umgebung und mobiles Objekt dafür |
CA2812723C (en) * | 2010-09-24 | 2017-02-14 | Evolution Robotics, Inc. | Systems and methods for vslam optimization |
GB201116958D0 (en) | 2011-09-30 | 2011-11-16 | Bae Systems Plc | Use of synthetic overhead images for vehicle localisation |
US8798840B2 (en) * | 2011-09-30 | 2014-08-05 | Irobot Corporation | Adaptive mapping with spatial summaries of sensor data |
US8766975B2 (en) * | 2012-07-19 | 2014-07-01 | Honeywell International Inc. | Method of correlating images with terrain elevation maps for navigation |
US9342888B2 (en) * | 2014-02-08 | 2016-05-17 | Honda Motor Co., Ltd. | System and method for mapping, localization and pose correction of a vehicle based on images |
-
2014
- 2014-08-13 US US14/458,286 patent/US9342888B2/en active Active
- 2014-12-25 CN CN201410826371.5A patent/CN104833370B/zh active Active
-
2015
- 2015-01-05 JP JP2015000217A patent/JP6595182B2/ja not_active Expired - Fee Related
- 2015-02-04 DE DE102015201951.9A patent/DE102015201951A1/de not_active Withdrawn
-
2016
- 2016-03-21 US US15/076,164 patent/US9443309B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US9342888B2 (en) | 2016-05-17 |
JP2015148601A (ja) | 2015-08-20 |
US20160203373A1 (en) | 2016-07-14 |
US9443309B2 (en) | 2016-09-13 |
CN104833370B (zh) | 2020-07-10 |
DE102015201951A1 (de) | 2015-08-27 |
US20150228077A1 (en) | 2015-08-13 |
CN104833370A (zh) | 2015-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6595182B2 (ja) | マッピング、位置特定、及び姿勢補正のためのシステム及び方法 | |
US11632536B2 (en) | Method and apparatus for generating three-dimensional (3D) road model | |
CN110163930B (zh) | 车道线生成方法、装置、设备、系统及可读存储介质 | |
CN111442776B (zh) | 顺序地面场景图像投影合成与复杂场景重构的方法及设备 | |
CN109186586B (zh) | 一种面向动态泊车环境的同时定位及混合地图构建方法 | |
CN110146910B (zh) | 一种基于gps与激光雷达数据融合的定位方法及装置 | |
CN106599108B (zh) | 一种三维环境中多模态环境地图构建方法 | |
US11567496B2 (en) | Method and apparatus for optimizing scan data and method and apparatus for correcting trajectory | |
CN110386142A (zh) | 用于自动驾驶车辆的俯仰角校准方法 | |
KR101711964B1 (ko) | 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템 | |
KR102218881B1 (ko) | 차량 위치 결정 방법 및 시스템 | |
CN111089597A (zh) | 基于图像和地图数据来定位的方法和装置 | |
WO2020043081A1 (zh) | 定位技术 | |
JP7289470B2 (ja) | 三次元空間に対応するマップを生成する車両、及びその方法 | |
CN113240734B (zh) | 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质 | |
JP2022542082A (ja) | ポーズ特定方法、ポーズ特定装置、コンピュータ可読記憶媒体、コンピュータ機器及びコンピュータプログラム | |
WO2020156923A2 (en) | Map and method for creating a map | |
KR20180059188A (ko) | 딥 러닝을 이용한 동적 장애물이 없는 배경 위주의 3차원 지도 생성 방법 | |
CN110827340B (zh) | 地图的更新方法、装置及存储介质 | |
JP7423500B2 (ja) | 情報処理装置、情報処理方法、プログラムおよび車両制御システム | |
US11461944B2 (en) | Region clipping method and recording medium storing region clipping program | |
CN113189610A (zh) | 地图增强的自动驾驶多目标追踪方法和相关设备 | |
KR102677731B1 (ko) | GNSS/INS와 HD Map를 이용한 단안카메라의 위치측정 및 맵핑 처리를 향상시키기 위한 시스템 및 방법 | |
CN113227713A (zh) | 生成用于定位的环境模型的方法和系统 | |
CN114358038A (zh) | 一种基于车辆高精度定位的二维码坐标标定方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180904 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180831 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190305 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190702 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190827 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190926 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6595182 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |