JP7147906B1 - パンタグラフ周辺支障物検出装置および検出方法 - Google Patents
パンタグラフ周辺支障物検出装置および検出方法 Download PDFInfo
- Publication number
- JP7147906B1 JP7147906B1 JP2021050943A JP2021050943A JP7147906B1 JP 7147906 B1 JP7147906 B1 JP 7147906B1 JP 2021050943 A JP2021050943 A JP 2021050943A JP 2021050943 A JP2021050943 A JP 2021050943A JP 7147906 B1 JP7147906 B1 JP 7147906B1
- Authority
- JP
- Japan
- Prior art keywords
- pantograph
- overhead wire
- image
- camera
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 77
- 230000002093 peripheral effect Effects 0.000 title claims abstract description 30
- 206010061876 Obstruction Diseases 0.000 title claims abstract description 14
- 238000012937 correction Methods 0.000 claims abstract description 39
- 239000002184 metal Substances 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 34
- 230000005856 abnormality Effects 0.000 claims description 10
- 208000025174 PANDAS Diseases 0.000 claims description 5
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 claims description 5
- 240000004718 Panda Species 0.000 claims description 5
- 235000016496 Panda oleosa Nutrition 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 240000002390 Pandanus odoratissimus Species 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 238000005259 measurement Methods 0.000 description 7
- 238000009434 installation Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 241001669679 Eleotris Species 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60M—POWER SUPPLY LINES, AND DEVICES ALONG RAILS, FOR ELECTRICALLY- PROPELLED VEHICLES
- B60M1/00—Power supply lines for contact with collector on vehicle
- B60M1/12—Trolley lines; Accessories therefor
- B60M1/28—Manufacturing or repairing trolley lines
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Manufacturing & Machinery (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Current-Collector Devices For Electrically Propelled Vehicles (AREA)
- Image Processing (AREA)
Abstract
Description
すなわち、本発明のパンタグラフ周辺支障物検出装置は、パンダグラフ周辺部を撮影する、基準カメラ、および第1補正カメラと、前記カメラからの画像を処理する画像処理装置と、を備え、前記画像処理装置は、レンズの歪みとステレオ平行化を補正するステレオ平行化部と、前記ステレオ平行化部により補正された画像を処理するデータ処理部と、を備え、前記データ処理部は、前記パンタグラフのテンプレートを設定するパンタグラフのテンプレート設定部と、背景を除去する背景除去部と、前記パンタグラフ位置の検出を行うパンタグラフ検出部と、各カメラ画像において物体の投影点のずれ量である視差を求める視差計算部と、前記視差に基づいて三次元座標を計算する三次元座標計算部と、架線などの線条を抽出する架線検出部と、架線支持金具を検出する架線支持金具検出部と、前記パンタグラフからの距離に基づいて支障物の判定を行う支障物判定部と、を備える。
この一態様では、架線支持金具と架線の結合異常を検知するので、支障物の検知に加え支障物以外の異常も適格に検知することができる。
この一態様では、基準カメラからみて第2補正カメラを第1補正カメラと90度異なる位置に配置するので、三次元座標計算の精度を向上することができる。
この一態様では、架線支持金具と架線の結合異常を検知するので、支障物の検知に加え支障物以外の異常も適格に検知することができる。
この一態様では、基準カメラからみて第2補正カメラを第1補正カメラと90度異なる位置に配置するので、三次元座標計算の精度を向上することができる。
(第1実施形態)
図1は、本発明の第1実施形態に係るパンタグラフ撮像用のカメラの設置を含むパンタグラフ周辺支障物検出装置の構成を示す模式図である。図1に示すように、本実施形態に係るパンタグラフ周辺支障物検出装置1は、パンダグラフ3の周辺部を撮影する、基準カメラ5、および第1補正カメラ7と、前記カメラ5、7からの画像を処理する画像処理装置11と、を備える。
図1、図3に示すように、基準カメラ5、第1補正カメラ7によって撮影されたパンタグラフ3周辺の映像は、画像処理装置11に送信される。画像処理装置11では、この受信した映像をステレオ平行化部13に送信し、レンズの歪み補正とx方向のステレオ平行化補正を行う。ここでステレオ平行化補正とは、各カメラ5、7間で同じ物体が画像座標(u,v)において同一v座標になるように補正を行うことである。これらの補正は事前に行うキャリブレーション作業により求めたカメラの内部パラメータと外部パラメータを使用して行う。以降の処理では、画像データは全てステレオ平行化補正済みの画像であることを前提とする。ステレオ平行化部13において、レンズの歪み補正とステレオ平行化補正を行って変換された画像は、データ処理部15に送られる。
データ処理部15では、支障物検知の事前処理として、パンタグラフ3のテンプレート画像をパンタグラフのテンプレート設定部17にて作成する。図5は基準カメラ5の画像例を示している。この基準カメラ5の画像からパンタグラフ3の画像部分を抽出したテンプレート画像を作成し登録する。
背景除去部19では、基準カメラ5の画像から背景や毎フレーム写るパンタグラフや架線33などの背景を除去した前景画像を作成する。背景除去手法として、統計的背景差分法により各画素単位で背景モデルを作成し、背景モデルと入力輝度値を比較することで背景判定を行う。背景除去部19によって背景を除去されることにより、図7に示す前景画像が得られる。
パンタグラフ検出部21では、基準カメラ5の画像に対して、ステップS01において事前に登録したパンタグラフのテンプレート画像とのテンプレートマッチングを行うことでパンタグラフ位置(u,v)[pix]の検出を行う。
視差計算部23では、基準カメラ5、第1補正カメラ7の画像において物体の投影点のずれ量(視差)を求める。視差を求める手法として、セミグローバルブロックマッチングを用いる。セミグローバルブロックマッチングでは、画像中の注目画素を中心とした小領域(ブロック)をテンプレートとして、テンプレートと類似した領域を他カメラの画像から探索する。なお建物の壁や地面など、画像上のテクスチャに特徴がなく、マッチングを行った際に一意に対応点が決まらない場合が存在する。この場合には周辺画素の視差が急激に前後するといった変化がないように考慮して対応点を決定する。この方法は大局的最適化手法と呼ばれている。
三次元座標計算部25では、ステップS04で得られた視差を用いて以下の計算式により三次元座標(x,y,z)を計算する。なお、bはカメラ間の距離、fは焦点距離である。これらのb、fは、定数でカメラの設置条件とカメラのレンズ固有の数値である。
架線検出部27では、支障物39として架線33を検知することがないように、図5に示す基準カメラ5の画像から架線33及び吊架線34などの線条を抽出した架線マスク画像を作成する。手順としては、基準カメラ5の画像に対し画像横方向にグレースケールトップハット処理(特許05811637号公報)と2値化を実行し、図6に示すように画像横方向に細い物体を抽出する。この段階でノイズがあったとしても、ラベリング処理を行いラベル領域のサイズでノイズを除去するため、図6のような画像が得られる。
架線支持金具検出部29では、支障物39として曲線引き金具や直線引き金具等の架線支持金具35を検出することがないように、図7に示すステップS02の背景除去処理で得られた前景画像から、架線支持金具マスク画像を作成する。手順として、前景画像に対し、画像縦方向にトップハット処理を行うことで、図8に示すように画像の縦方向に細い物体を抽出する。架線支持金具35は横方向にある程度のサイズがあるため、ラベリング処理によりラベル領域のサイズでノイズを除去することで図9のように架線支持金具を抽出することができる。
支障物判定部31では、パンタグラフ3から距離(離隔)[mm]から支障物39の判定を行う。パンタグラフ3との離隔を計算する範囲はパンタグラフ3からカメラ5、7までの間で行う。理由としてはパンタグラフ3よりz座標が離れているとパンタグラフ3が物体を遮蔽してしまい、物体が正確に写らないからである。動的に動くパンタグラフに合わせて位置が可変する、図10に示すような支障物の判定ゲージG(ダイナミックゲージ)を設定し、ダイナミックゲージGよりパンタグラフに近い位置に存在する物体を支障物39として判定する。パンタグラフ3からの離隔を計算する領域は、ステップS02の背景除去処理で得られた前景領域のみである。また、架線33、曲線引き金具、ハンガ等の架線金具36といった常設の鉄道設備を支障物39として判定してはいけない。そのため、以下の条件に該当する物体は支障物判定からは除外する。
(1)画像中の物体面積が小さい物体(背景除去で除去できなかったノイズなど)
(2)架線マスク領域との重複率が閾値以上の物体(架線金具等)
(3)曲線引き金具マスク領域
前景画像にマスク画像領域を追加すると図11のようになり、上記の条件に該当する領域を除外すると図12のようになる。図12の領域に対して支障物判定を行うと、樹木等の支障物が支障物39と判定される。
(1)基準カメラ5により得られた基準カメラ画像d1と第1補正カメラ7によって得られた第1補正カメラ画像d2とに、ステレオ平行化p1が行われ、平行化基準カメラ画像d3と平行化第1補正カメラ画像d4が生成される。
(2)平行化基準カメラ画像d3に、架線検出p2が行われ架線マスク画像d5が生成される。
(3)平行化基準カメラ画像d3と後述するテンプレート画像d7とに、パンタグラフ検出p3が行われパンタグラフ位置d6が得られる。
(4)平行化基準カメラ画像d3に、テンプレート設定p4が行われテンプレート画像d7が生成される。
(5)平行化基準カメラ画像d3に、背景除去p5が行われ前景画像d8が生成される。
(6)平行化基準カメラ画像d3と平行化第1補正カメラ画像d4とに、視差計算p6が行われ視差d9が得られる。
(7)前景画像d8に、架線支持金具検出p8が行われ架線金具マスク画像d10が生成される。
(8)視差d9を入力として、三次元座標計算p9が行われ、三次元座標d11が得られる。
(9)先の処理によって生成された架線マスク画像d5、パンタグラフ位置d6、前景画像d8、架線金具マスク画像d10、および三次元座標d11に、支障物判定p7が行われ、支障物判定結果d12が出力される。
以上のように、基準カメラ画像d1と第1補正カメラ画像d2とを起点の入力データとして、様々なデータの処理が行われ、最終的に支障物の判定結果が出力されるのである。
本実施形態と第1実施形態との違いは、図4のステップS07の架線支持金具検出処理において、架線支持金具検出部29が、架線支持金具35に異常があった場合に異常判定を可能にする処理が追加される点である。その他の構成は、第1実施形態と同等である。本実施形態で架線支持金具35の異常としては以下の場合が考えられる。
(1)架線33との結合部が外れる場合
(2)架線支持金具35の電柱37側が破損し、架線33のみに結合している場合
(1)の条件のときは架線33が垂れ下がるためパンタグラフ3との距離が離れる。そのため、パンタグラフ3との距離を閾値判定することで判別可能である。
(2)の場合は架線支持金具35が図13に示す正常な状態から図14に示す異常な状態となる。そのため、架線支持金具35の領域情報(直線近似した際の角度、重心位置、パンタグラフ3との位置関係)を用いて判定が可能である。本実施形態では、第1実施形態の作用効果に加え、架線支持金具35の異常を検知することができるので、架線支持金具の正常性を担保することができる。
図2は、本実施形態に係るパンタグラフ撮像用のカメラの設置を含むパンタグラフ周辺支障物検出装置100の構成を示す模式図である。本実施形態が第1実施形態、第2実施形態と違う点は、基準カメラ5と第1補正カメラ7とに加え第2補正カメラ9を備えることである。第2補正カメラ9は、基準カメラ5と第1補正カメラ7との位置を結ぶ線分を含むx軸に対して、基準カメラ5からみて直交する方向のy軸上に配置される。第1実施形態、第2実施形態では、x方向の平行ステレオであるため、画像上の横方向に長くテクスチャに特徴がない物体は三次元計測誤差が大きくなる傾向がある。本実施形態では、第1実施形態、第2実施形態の作用効果に加え、y方向の平行ステレオ構成を追加することで、各処理をそれぞれのステレオ構成で行い、支障物判定時に判定結果をアンドで判定することで、誤検出をより減らすことができる。
3 パンタグラフ
5 基準カメラ
7 第1補正カメラ
9 第2補正カメラ
11 画像処理装置
13 ステレオ平行化部
15 データ処理部
17 パンタグラフのテンプレート設定部
19 背景除去部
21 パンタグラフ検出部
23 視差計算部
25 三次元座標計算部
27 架線検出部
29 架線支持金具検出部
31 支障物判定部
33 架線
35 架線支持金具
Claims (6)
- パンダグラフ周辺部を撮影する、基準カメラ、および第1補正カメラと、
前記カメラからの画像を処理する画像処理装置と、を備え、
前記画像処理装置は、
レンズの歪みとステレオ平行化を補正するステレオ平行化部と、
前記ステレオ平行化部により補正された画像を処理するデータ処理部と、を備え、
前記データ処理部は、
前記パンタグラフのテンプレートを設定するパンタグラフのテンプレート設定部と、
背景を除去した前景画像を作成する背景除去部と、
前記パンタグラフ位置の検出を行うパンタグラフ検出部と、
各カメラ画像において物体の投影点のずれ量である視差を求める視差計算部と、
前記視差に基づいて三次元座標を計算する三次元座標計算部と、
架線などの線条を抽出し、架線マスク画像を作成する架線検出部と、
前記前景画像から架線支持金具を検出し、架線支持金具マスク画像を作成する架線支持金具検出部と、
前記前景画像に前記架線マスク画像、及び前記架線支持金具マスク画像を適用し、前記パンタグラフからの距離に基づいて支障物の判定を行う支障物判定部と、を備えるパンタグラフ周辺支障物検出装置。 - 前記架線支持金具検出部において、前記架線支持金具と前記架線の結合異常を検知する、請求項1に記載のパンタグラフ周辺支障物検出装置。
- 前記基準カメラと前記第1補正カメラとの位置を結ぶ線分に対して、前記基準カメラからみて直交する方向に配置された第2補正カメラと、を備える請求項1または2に記載のパンタグラフ周辺支障物検出装置。
- 基準カメラ、および第1補正カメラと、でパンダグラフ周辺部を撮影すること、
レンズの歪みとステレオ平行化を補正すること、
パンタグラフのテンプレートを設定すること、
背景を除去した前景画像を作成すること、
前記パンタグラフ位置の検出を行うこと、
各カメラ画像において物体の投影点のずれ量である視差を求めること、
前記視差に基づいて三次元座標を計算すること、
架線などの線条を抽出し、架線マスク画像を作成すること、
前記前景画像から架線支持金具を検出し、架線支持金具マスク画像を作成すること、
前記前景画像に前記架線マスク画像、及び前記架線支持金具マスク画像を適用し、前記パンタグラフからの距離に基づいて支障物の判定を行うこと、を含むパンタグラフ周辺支障物検出方法。 - 前記架線支持金具を検出することにおいて、前記架線支持金具と前記架線の結合異常を検知すること、を含む請求項4に記載のパンタグラフ周辺支障物検出方法。
- 前記基準カメラと前記第1補正カメラとの位置を結ぶ線分に対して、前記基準カメラからみて直交する方向に配置された第2補正カメラによりパンダグラフ周辺部を撮影すること、を含む請求項4または5に記載のパンタグラフ周辺支障物検出方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021050943A JP7147906B1 (ja) | 2021-03-25 | 2021-03-25 | パンタグラフ周辺支障物検出装置および検出方法 |
PCT/JP2022/011761 WO2022202508A1 (ja) | 2021-03-25 | 2022-03-16 | パンタグラフ周辺支障物検出装置および検出方法 |
TW111110710A TWI803250B (zh) | 2021-03-25 | 2022-03-23 | 集電弓周邊障礙物檢測裝置及檢測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021050943A JP7147906B1 (ja) | 2021-03-25 | 2021-03-25 | パンタグラフ周辺支障物検出装置および検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7147906B1 true JP7147906B1 (ja) | 2022-10-05 |
JP2022155594A JP2022155594A (ja) | 2022-10-14 |
Family
ID=83397151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021050943A Active JP7147906B1 (ja) | 2021-03-25 | 2021-03-25 | パンタグラフ周辺支障物検出装置および検出方法 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7147906B1 (ja) |
TW (1) | TWI803250B (ja) |
WO (1) | WO2022202508A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003341389A (ja) | 2002-05-27 | 2003-12-03 | Meidensha Corp | トロリー線の位置計測装置 |
JP2005121406A (ja) | 2003-10-15 | 2005-05-12 | Meidensha Corp | パンタグラフ検出装置 |
JP2006250775A (ja) | 2005-03-11 | 2006-09-21 | Meidensha Corp | パンタグラフ周辺支障物検出装置 |
JP2009281951A (ja) | 2008-05-26 | 2009-12-03 | Meidensha Corp | 画像処理による曲線引き金具測定装置 |
JP2017037450A (ja) | 2015-08-10 | 2017-02-16 | 日産自動車株式会社 | 段差検出装置及び段差検出方法 |
JP2018013985A (ja) | 2016-07-21 | 2018-01-25 | Kyb株式会社 | 物体検知装置 |
WO2018042481A1 (ja) | 2016-08-29 | 2018-03-08 | 株式会社日立製作所 | 撮影装置及び撮影方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110097591B (zh) * | 2019-04-29 | 2023-05-26 | 中国科学院上海微系统与信息技术研究所 | 弓网状态的检测方法 |
-
2021
- 2021-03-25 JP JP2021050943A patent/JP7147906B1/ja active Active
-
2022
- 2022-03-16 WO PCT/JP2022/011761 patent/WO2022202508A1/ja active Application Filing
- 2022-03-23 TW TW111110710A patent/TWI803250B/zh active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003341389A (ja) | 2002-05-27 | 2003-12-03 | Meidensha Corp | トロリー線の位置計測装置 |
JP2005121406A (ja) | 2003-10-15 | 2005-05-12 | Meidensha Corp | パンタグラフ検出装置 |
JP2006250775A (ja) | 2005-03-11 | 2006-09-21 | Meidensha Corp | パンタグラフ周辺支障物検出装置 |
JP2009281951A (ja) | 2008-05-26 | 2009-12-03 | Meidensha Corp | 画像処理による曲線引き金具測定装置 |
JP2017037450A (ja) | 2015-08-10 | 2017-02-16 | 日産自動車株式会社 | 段差検出装置及び段差検出方法 |
JP2018013985A (ja) | 2016-07-21 | 2018-01-25 | Kyb株式会社 | 物体検知装置 |
WO2018042481A1 (ja) | 2016-08-29 | 2018-03-08 | 株式会社日立製作所 | 撮影装置及び撮影方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2022202508A1 (ja) | 2022-09-29 |
JP2022155594A (ja) | 2022-10-14 |
TW202246728A (zh) | 2022-12-01 |
TWI803250B (zh) | 2023-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110687904B (zh) | 一种巡线机器人视觉导航巡检和避障方法 | |
US10169667B2 (en) | External environment recognizing device for vehicle and vehicle behavior control device | |
WO2017158958A1 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
CN105203552A (zh) | 一种360°踏面图像检测系统及其检测方法 | |
US20190279386A1 (en) | Information processing device, imaging device, apparatus control system, information processing method, and computer program product | |
JP6769477B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
EP3936369B1 (en) | Pantograph displacement measuring device, and trolley-wire hard-spot detection method | |
CN114577131B (zh) | 一种基于3d结构光相机的车身间隙检测方法及系统 | |
JP6816401B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
WO2014136976A1 (ja) | 架線位置計測装置及び方法 | |
JP2014009975A (ja) | ステレオカメラ | |
JPH11351862A (ja) | 前方車両検出方法及び装置 | |
US20190078876A1 (en) | Road surface displacement detection device and suspension control method | |
JP2017016584A (ja) | 物体検出装置、物体検出方法及びプログラム | |
JP6260026B2 (ja) | 画像処理による架線位置測定装置及び架線位置測定方法 | |
EP4082867A1 (en) | Automatic camera inspection system | |
JP7147906B1 (ja) | パンタグラフ周辺支障物検出装置および検出方法 | |
JP5832850B2 (ja) | 車線監視システム及び車線監視方法 | |
JP4440809B2 (ja) | パンタグラフ周辺支障物検出装置 | |
EP3287948B1 (en) | Image processing apparatus, moving body apparatus control system, image processing method, and program | |
JP5952759B2 (ja) | 架線位置計測装置及び方法 | |
CN110322508B (zh) | 一种基于计算机视觉的辅助定位方法 | |
JP3586938B2 (ja) | 車載用距離測定装置 | |
JP2798349B2 (ja) | 車両位置検出装置 | |
JP2017211791A (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220318 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220905 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7147906 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |