JP6875836B2 - ワイヤロープ計測装置及び方法 - Google Patents
ワイヤロープ計測装置及び方法 Download PDFInfo
- Publication number
- JP6875836B2 JP6875836B2 JP2016230838A JP2016230838A JP6875836B2 JP 6875836 B2 JP6875836 B2 JP 6875836B2 JP 2016230838 A JP2016230838 A JP 2016230838A JP 2016230838 A JP2016230838 A JP 2016230838A JP 6875836 B2 JP6875836 B2 JP 6875836B2
- Authority
- JP
- Japan
- Prior art keywords
- wire rope
- rope
- camera
- image
- diameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/08—Measuring arrangements characterised by the use of optical techniques for measuring diameters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/08—Measuring arrangements characterised by the use of optical techniques for measuring diameters
- G01B11/10—Measuring arrangements characterised by the use of optical techniques for measuring diameters of objects while moving
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
特許文献2は、投光器がロープ1本に対して1台必要なため非常に高価なものとなる。
特許文献3は、画像処理結果から実寸への換算には、ピクセルあたりの換算係数を予め算出するため、ロープの振動等でカメラとロープの距離が変動した場合には換算係数の再設定を行う必要がある。
図1は、エレベータ巻上機付近に設置されたワイヤロープ径計測装置を示すものである。
カメラ1,2は、エレベータロープ(以下、単にロープという)8を異なる方向から撮影し、背景照明3は背面から、前方照明4は前面からロープ8を照明する。
図中では、一例として、1本のロープ8を示しているが、エレベータ巻上機においては、複数本のロープ8を各カメラ1,2で撮影することも可能である。カメラ1,2で撮影する範囲を照明できれば、背景照明3又は前方照明4の一方は省略可能である。特許文献2では、投光器がロープ1本に対して1台必要であったのに対し、本発明では、複数本のロープ8を照明するために、背景照明3又は前方照明4の何れか1台の照明とすることも可能である。
解析装置5は、画像収録部51、画像処理部52及びロープ径算出部53を備える。解析装置5としては一般的なパーソナルコンピュータが使用でき、画像収録部51、画像処理部52及びロープ径算出部53はソフトウェアにより実現可能である。解析装置5には、記憶装置6が付随する。
画像処理部52は、カメラ1,2で撮影された画像である画像データaに対して、後述する通り、エッジ検出、ノイズ除去処理を行う。
解析装置5には、エレベータコントローラ7等の外部入力によってエレベータ(図示省略)の位置信号bが入力し、エレベータの位置とカメラ1,2の撮影ラインの同期を行う。カメラ1,2間では同期信号cが送受信される。
計測機器としてラインセンサカメラ1,2を用いることで、1台のカメラ1又は2で複数のエレベータロープ8を一度に計測することが可能であり、エリアカメラを用いる特許文献1に比較して、分解能、撮像周期の面においても優れているため、より精密な計測が可能である。
しかし、該当特許文献3は画像処理を行った結果から実寸への換算するための換算係数を予めピクセル単位で算出しておく必要がある。
また、カメラ特性である図2のボリューム歪像によって画像端の計測対象が太く撮影されてしまうため、換算係数を一意に定めることは出来ないという問題もあった。
また、通常、ロープ径の管理はロープの山部分に対して行うため、画像からロープの山についても検出を行うことが望ましい。
まず、以下では理論式としてボリューム歪像の補正方法を述べる。
ボリューム歪像は、図2に示すように、カメラ10を用いてロープ11,12などを撮影した場合に起こる現象であり、実空間A上では同一直径の計測対象であるロープ11,12をカメラ空間(カメラ10内の空間を言う)B内のイメージセンサ面13に投影した場合には、画像端のロープ12がカメラ中心dに位置するロープ11に比べて太く計測される現象である。
以下の式(1)、(2)は、カメラ10のイメージセンサ面13のロープ投影点u1,u2から計測対象のロープ外径点P1(x1,y1),P2(x2,y2)への直線式である。
即ち、ロープ投影点u1,u2は、ロープ外径点P1(x1,y1),P2(x2,y2)がカメラ10のイメージセンサ面13に投影されたものであるから、ロープ投影点u1,u2とロープ外径点P1(x1,y1),P2(x2,y2)を通る直線式を求めることは、式(1)、(2)に示す通り、ロープ投影点u1,u2と焦点(0,0)を結ぶ直線式を求めたことと同一となる。
即ち、式(1)、(2)で示す直線に対して垂直で、ロープ中心座標P0を通る二つの垂線を求めるのである。
そして、式(8)の第1式に示すように、垂線の長さd1,d2の和を以て、ロープ8の直径Dを算出するのである。
本実施例は、図1に示す装置構成よりなるロープ径計測装置において、ロープ径の算出を行うものである。
先ず、カメラ1,2で撮影した画像を画像データとして解析装置5に入力する(ステップS1)。
次いで、入力された画像データに対して、解析装置5の画像処理部52により、エッジ検出、ノイズ除去処理を行う(ステップS2)。
その後、解析装置5により、撮像が終了したか否か判断し(ステップS6)、撮像が終了していなければ、新しく撮影した画像の入力を行い(ステップS7)、ステップS2〜ステップS5を繰り返す一方、撮像が終了して入れば、終了する(ステップS8)。
それぞれの手順については、以下の通りである。
図5(a)に示すように、カメラ1,2で撮影した画像を画像データとして解析装置5に入力する。図5(a)では、黒色で塗りつぶしたロープ8の内側と、白色で塗りつぶしたロープ8の外側との境界がロープ8の外径Iである。
ここで、エレベータコントローラ7から取得した位置情報を用いてカメラ撮像周期を変動させることで、ロープ8の撮影ピッチを一定に撮影することが可能となる。
このピッチを一定に撮影した2台分のカメラ1,2の画像を入力する。
図5(b)に示すように、入力した画像からロープ8の外径(エッジ)を検出する。図5(b)では、ロープ8の内側とロープ8の外側との境界がロープ8のエッジJとして検出される。
ここで、ロープ8のエッジ検出手法としてパラボラフィッティングを用いたサブピクセル精度でのエッジ検出を行うことで、通常のエッジ検出より高精度にロープの外径が検出できる。
この時、算出したエッジに対して移動平均法を用いることでエッジに含まれる撮像ノイズの除去も行う。
左右のカメラ1,2の画像のロープ外径検出結果から計測対象ロープ8の中心座標を算出し、事前にキャリブレーションで求められているカメラ内部、外部パラメータを用いた三角測量の原理でカメラから対象のロープ中心までの距離を計測する。
ステップS2において検出したロープ8の外径と、ステップS3にて計測したロープまでの距離情報を用いてロープ8の直径の計測を行う。この点については、既に図3に基づいて説明した通り、その際に、ボリューム歪像の補正を行う。簡単に繰り返すと以下の通りである。
次いで、ロープ投影点u1,u2を通り、ロープの外径点P1,P2に接する直線として、式(1)、(2)で示すように、ロープ投影点u1,u2と焦点(0,0)を結ぶ直線式を求める。
そして、式(8)の第2式、第3式に示すように、二つの垂線の長さd1,d2として、式(1)、(2)で示す直線がロープ8に接する外径点P1,P2からロープ中心座標P0までの距離を各々算出し、式(8)の第1式に示すように、垂線の長さd1,d2の和を以て、ロープ8の直径Dを算出する。
なお、特許文献3では、ピクセルあたりの換算係数を予め算出するため、ロープの振動等でカメラとロープの距離が変動した場合には換算係数の再設定を行う必要があったが、本発明では、ステレオ方式による三角測量の原理を適用しているため、そのような換算係数の再設定は不要となる。
図5(d)に示すように、計測したロープの直径値からロープ山部分の検出を行う。即ち、検出されたロープ8の直径値Kは、画像撮像ラインに応じて一定振幅で変動することから、ロープ直径値Kの計測結果値の極大値を算出することによりロープ山部分Lを求める。
3,4 照明
5 解析装置
6 記憶装置
7 エレベータコントローラ
8,11,12 ワイヤロープ(ロープ)
13 カメライメージセンサ面
51 画像収録部
52 画像処理部
53 ロープ径算出部
81,82 撮影範囲
A 実空間
B カメラ空間
a 画像データ
b 位置信号
c 同期信号
d カメラ中心
F カメラの焦点距離
g,h 投影された大きさ
I ロープの外径
J ロープのエッジ
K ロープの直径値
L ロープ山部分
P0 ロープ中心座標
P1,P2 ロープ外径点
u1,u2 ロープ投影点
Claims (6)
- 1本又は2本以上のワイヤロープを異なる方向から撮影する2台のカメラと、
前記2台のカメラで撮影された画像である画像データを解析する解析装置を備えるワイヤロープ計測装置において、
前記解析装置は、前記画像データに対して、ステレオ方式による三角測量の原理を適用して、前記カメラに対する前記ワイヤロープの中心座標を求め、
前記ワイヤロープの中心座標に基づき、前記ワイヤロープの直径を算出する際に、ボリューム歪像の補正を行うことを特徴とするワイヤロープ計測装置。 - 請求項1において、前記ワイヤロープを照明する少なくとも1台の照明機器を備えることを特徴とするワイヤロープ計測装置。
- 請求項1又は2において、前記解析装置は、
前記ワイヤロープの外径が前記カメラのイメージセンサ面に投影された二つの投影点を求め、
前記ワイヤロープの外径に接する直線として、前記投影点と前記カメラの焦点を通る二つの直線を各々求め、
前記直線に対して垂直で、前記ワイヤロープの中心を通る二つの垂線を求め、
前記垂線の長さとして、前記直線が前記ワイヤロープの外径に接する点から前記ワイヤロープの中心までの距離を各々算出し、
前記垂線の長さの和を以て、前記ワイヤロープの直径を算出することにより、前記ボリューム歪像の補正を行うことを特徴とするワイヤロープ計測装置。 - 1本又は2本以上のワイヤロープを異なる方向から2台のカメラで撮影し、
撮影された画像である画像データを解析することにより、ステレオ方式による三角測量の原理により、前記カメラに対する前記ワイヤロープの中心座標を求め、
前記ワイヤロープの中心座標に基づき、前記ワイヤロープの直径を算出する際に、ボリューム歪像の補正を行うことを特徴とするワイヤロープ計測方法。 - 請求項4において、
前記ワイヤロープを少なくとも1台の照明機器により照明することを特徴とするワイヤロープ計測方法。 - 請求項4又は5において、
前記ボリューム歪像の補正は、
前記ワイヤロープの外径が前記カメラのイメージセンサ面に投影された二つの投影点を求め、
前記ワイヤロープの外径に接する直線として、前記投影点と前記カメラの焦点を通る二つの直線を各々求め、
前記直線に対して垂直で、前記ワイヤロープの中心を通る二つの垂線を求め、
前記垂線の長さとして、前記直線が前記ワイヤロープの外径に接する点から前記ワイヤロープの中心までの距離を各々算出し、
前記垂線の長さの和を以て、前記ワイヤロープの直径を算出することを特徴とするワイヤロープ計測方法。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016230838A JP6875836B2 (ja) | 2016-11-29 | 2016-11-29 | ワイヤロープ計測装置及び方法 |
EP23194094.1A EP4276407A3 (en) | 2016-11-29 | 2017-11-29 | Wire rope measuring device and wire rope measuring method |
CN201780073920.8A CN110268221B (zh) | 2016-11-29 | 2017-11-29 | 线绳测量装置和线绳测量方法 |
US16/465,033 US10684120B2 (en) | 2016-11-29 | 2017-11-29 | Wire rope measuring device and wire rope measuring method |
ES17817204T ES2954885T3 (es) | 2016-11-29 | 2017-11-29 | Dispositivo de medición de cuerdas de alambre y dispositivo de medición de cuerdas de alambre |
PCT/JP2017/042733 WO2018101297A1 (en) | 2016-11-29 | 2017-11-29 | Wire rope measuring device and wire rope measuring method |
EP17817204.5A EP3548838B1 (en) | 2016-11-29 | 2017-11-29 | Wire rope measuring device and wire rope measuring method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016230838A JP6875836B2 (ja) | 2016-11-29 | 2016-11-29 | ワイヤロープ計測装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018087732A JP2018087732A (ja) | 2018-06-07 |
JP6875836B2 true JP6875836B2 (ja) | 2021-05-26 |
Family
ID=60702927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016230838A Active JP6875836B2 (ja) | 2016-11-29 | 2016-11-29 | ワイヤロープ計測装置及び方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10684120B2 (ja) |
EP (2) | EP3548838B1 (ja) |
JP (1) | JP6875836B2 (ja) |
CN (1) | CN110268221B (ja) |
ES (1) | ES2954885T3 (ja) |
WO (1) | WO2018101297A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112930467B (zh) * | 2018-09-19 | 2023-08-22 | 布顿国际有限公司 | 用于对绳索或线缆的几何参数进行三维测量的方法和系统 |
IT202000001060A1 (it) * | 2020-01-21 | 2021-07-21 | Visiontek Eng S R L | Apparato di misura ottico tridimensionale per funi con dispositivo di illuminazione |
IT202000001057A1 (it) * | 2020-01-21 | 2021-07-21 | Visiontek Eng S R L | Apparato mobile di misura ottico tridimensionale per funi con dispositivo di attacco su fune |
JP7501186B2 (ja) | 2020-07-17 | 2024-06-18 | 株式会社明電舎 | エレベータロープの点検装置、エレベータロープの点検方法 |
CN112828552B (zh) * | 2021-01-29 | 2022-05-20 | 华中科技大学 | 一种法兰零件智能对接方法及系统 |
CN113125348B (zh) * | 2021-05-20 | 2024-10-01 | 长沙理工大学 | 一种工业卷扬钢丝绳断丝检测方法及装置 |
CN114923427A (zh) * | 2022-06-01 | 2022-08-19 | 南方电网科学研究院有限责任公司 | 一种架空导线外径测量方法、装置、设备及可读存储介质 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07139918A (ja) * | 1993-11-16 | 1995-06-02 | Nippon Telegr & Teleph Corp <Ntt> | 円柱中心位置・半径計測方法 |
US20030160974A1 (en) * | 2000-06-27 | 2003-08-28 | Michael Demeyere | Measurement of cylindrical objects through laser telemetry |
JP4370471B2 (ja) * | 2005-01-12 | 2009-11-25 | 株式会社日立ビルシステム | ワイヤーロープの径計測装置 |
JP2008214037A (ja) * | 2007-03-05 | 2008-09-18 | Toshiba Elevator Co Ltd | エレベータのワイヤロープ検査装置及びロープ外径測定方法 |
US8105442B2 (en) * | 2008-02-28 | 2012-01-31 | Welaptega Marine Limited | Tubular measurement system |
JP5397751B2 (ja) * | 2009-03-19 | 2014-01-22 | 株式会社ニコン | カメラおよび画像補正方法 |
JP5413096B2 (ja) | 2009-09-29 | 2014-02-12 | 株式会社明電舎 | ワイヤーロープ検査装置 |
JP5413148B2 (ja) | 2009-11-20 | 2014-02-12 | 株式会社明電舎 | ワイヤーロープ検査装置 |
JP5428798B2 (ja) | 2009-11-20 | 2014-02-26 | 株式会社明電舎 | ワイヤーロープ検査装置 |
JP5446849B2 (ja) | 2009-12-25 | 2014-03-19 | 株式会社明電舎 | ワイヤーロープ検査装置 |
PL2526376T3 (pl) * | 2010-01-20 | 2018-12-31 | Jrb Engineering Pty Ltd | Optyczny pomiar przewodu napowietrznego |
WO2013061952A1 (ja) * | 2011-10-24 | 2013-05-02 | 富士フイルム株式会社 | 円柱状物体の直径測定装置及び測定方法、測定プログラム |
CN104185786B (zh) | 2012-03-28 | 2016-06-29 | 三菱电机大楼技术服务株式会社 | 缆绳检查装置 |
JP6003331B2 (ja) * | 2012-07-23 | 2016-10-05 | 株式会社大林組 | 配筋情報取得方法 |
CN103499302B (zh) * | 2013-09-27 | 2015-11-25 | 吉林大学 | 基于结构光视觉成像系统的凸轮轴直径尺寸在线测量方法 |
WO2015111200A1 (ja) * | 2014-01-24 | 2015-07-30 | 三菱電機株式会社 | 工具形状測定装置および工具形状測定方法 |
CN204346368U (zh) * | 2015-01-07 | 2015-05-20 | 上海捷胜线缆科技有限公司 | 一种电线电缆结构的测量系统 |
JP6575087B2 (ja) * | 2015-03-19 | 2019-09-18 | 株式会社明電舎 | トロリ線摩耗測定装置 |
CN105066877B (zh) * | 2015-07-16 | 2017-11-14 | 北京工业大学 | 基于智能终端镜头的树木测量方法 |
CN105279372B (zh) * | 2015-09-29 | 2018-12-14 | 百度在线网络技术(北京)有限公司 | 一种确定建筑物高度的方法和装置 |
ITUB20160775A1 (it) * | 2016-02-16 | 2017-08-16 | Redaelli Tecna Spa | Dispositivo per la misura in continuo ed in automatico dei parametri geometrici di una fune |
-
2016
- 2016-11-29 JP JP2016230838A patent/JP6875836B2/ja active Active
-
2017
- 2017-11-29 EP EP17817204.5A patent/EP3548838B1/en active Active
- 2017-11-29 US US16/465,033 patent/US10684120B2/en active Active
- 2017-11-29 CN CN201780073920.8A patent/CN110268221B/zh active Active
- 2017-11-29 WO PCT/JP2017/042733 patent/WO2018101297A1/en unknown
- 2017-11-29 ES ES17817204T patent/ES2954885T3/es active Active
- 2017-11-29 EP EP23194094.1A patent/EP4276407A3/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
US20200003549A1 (en) | 2020-01-02 |
EP4276407A3 (en) | 2024-02-21 |
WO2018101297A1 (en) | 2018-06-07 |
EP4276407A2 (en) | 2023-11-15 |
CN110268221B (zh) | 2022-06-07 |
EP3548838B1 (en) | 2023-08-30 |
CN110268221A (zh) | 2019-09-20 |
ES2954885T3 (es) | 2023-11-27 |
EP3548838A1 (en) | 2019-10-09 |
US10684120B2 (en) | 2020-06-16 |
JP2018087732A (ja) | 2018-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6875836B2 (ja) | ワイヤロープ計測装置及び方法 | |
KR101461068B1 (ko) | 삼차원 계측장치, 삼차원 계측방법 및 기억매체 | |
US9074879B2 (en) | Information processing apparatus and information processing method | |
JPWO2011125937A1 (ja) | キャリブレーションデータ選択装置、選択方法、及び選択プログラム、並びに三次元位置測定装置 | |
JP4058421B2 (ja) | 振動計測装置及びその計測方法 | |
JP2012251997A (ja) | 三次元計測装置、三次元計測装置の制御方法、およびプログラム | |
JP2016217944A (ja) | 計測装置、および計測方法 | |
JP2008275366A (ja) | ステレオ3次元計測システム | |
JP2011033428A (ja) | パンタグラフ高さ測定装置 | |
JP2010230423A (ja) | 変位量測定装置及び同測定方法 | |
JP6091092B2 (ja) | 画像処理装置、及び画像処理方法 | |
JP2020129187A (ja) | 外形認識装置、外形認識システム及び外形認識方法 | |
JP2007205868A (ja) | 光学式形状検査装置及び方法 | |
JP5968370B2 (ja) | 三次元計測装置、三次元計測方法、及びプログラム | |
JP3855062B2 (ja) | 単調増加波形投影による連続物体の形状計測方法及び装置 | |
JP2008058279A (ja) | 距離画像生成装置、距離画像生成方法及びプログラム | |
JP2011075311A (ja) | 画像処理方法 | |
JP4435525B2 (ja) | ステレオ画像処理装置 | |
JP5156211B2 (ja) | 車両から信号機までの距離測定方法 | |
JP5981353B2 (ja) | 3次元計測装置 | |
JP4003274B2 (ja) | 距離測定装置 | |
JP5057134B2 (ja) | 距離画像生成装置、距離画像生成方法及びプログラム | |
JP5613603B2 (ja) | 原子炉内機器形状計測装置および原子炉内機器形状計測方法 | |
JP2002250625A (ja) | レーザ墨出し器の光線評価方法及びその装置 | |
JPH03158710A (ja) | 画像データ作成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190531 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190911 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210406 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210423 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6875836 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE Ref document number: 6875836 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |