JP7408334B2 - 画像処理装置及び移動体制御システム - Google Patents
画像処理装置及び移動体制御システム Download PDFInfo
- Publication number
- JP7408334B2 JP7408334B2 JP2019182980A JP2019182980A JP7408334B2 JP 7408334 B2 JP7408334 B2 JP 7408334B2 JP 2019182980 A JP2019182980 A JP 2019182980A JP 2019182980 A JP2019182980 A JP 2019182980A JP 7408334 B2 JP7408334 B2 JP 7408334B2
- Authority
- JP
- Japan
- Prior art keywords
- scanning
- information
- unit
- marker
- cell
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Artificial Intelligence (AREA)
- Toxicology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
例えば、特許文献1は、移動体が通過する通路にマーカーを配置し、移動体に設けられたカメラなどの撮像部で、そのマーカーを撮像することにより、移動体の動作を制御する技術について開示している。
特許文献1では、移動体に設けられた撮像部がマーカーを正面から撮像することができない場合には、画像処理を行うことにより、撮像部がマーカーを正面から撮像した場合に得られると想定される補正画像を生成している。
始めに、本発明の第1実施形態について説明する。
図1は、本発明の第1実施形態による移動体制御システム10の概要を示す図である。移動体制御システム10は、移動体20と、マーカー30aを備える。
移動体20は、車体21、照射部22、撮像部23、前輪タイヤ24a、後輪タイヤ24b、移動体制御装置200aを備える。
車体21は、例えば、直方体状の形状をしており、車体21の上面21aに荷物25を載せて、車体21の前面21bの方向に進むことができる。
照射部22は、赤外光L1を発光するLED(Light Emitting Diode)などである。照射部22は、車体21の前面21bに、リング状に配置され、図1の紙面と垂直な方向に、2つ設けられる。照射部22が発光する赤外光L1は、移動体20の前方に位置するマーカー30aなどに照射される。
前輪タイヤ24aは、独立した2つのキャスターからなり、それらの2つのキャスターは、モーターなどの動力源には接続されていない。また、後輪タイヤ24bは、独立した2つのキャスターからなり、それらの2つのキャスターには、それぞれ異なるモーターなどの動力源から動力が伝達される。なお、移動体制御装置200aは、後輪タイヤ24bを構成する2つのキャスターの回転速度差を制御することにより、移動体20の進行方向を制御する。
なお、ここでは、移動体20が、2つの前輪タイヤ24a及び2つの後輪タイヤ24bの合計4つのタイヤを備える場合について説明するが、それ以上のタイヤを、移動体20に設けるようにしてもよい。例えば、図1の後輪タイヤ24bの前方側だけでなく、後方側にも、前輪タイヤ24aと同様のタイヤ(つまり、独立した2つのキャスター)を更に設けることにより、移動体20が、合計6つのタイヤを備えるようにしてもよい。
移動体制御装置200aは、移動体20の動作(並進や旋回など)を制御する装置である。移動体制御装置200aは、移動体20の車体21の内部に組み込まれている。
移動体制御装置200aは、照射部22、撮像部23、画像処理部201a(画像処理装置とも称する)、駆動部27、制御部28を備える。
撮像部23は、図1で示した撮像部23である。撮像部23は、照射部22が照射した赤外光L1の反射光、例えば、マーカー30a(図1)からの反射光を撮像し、矩形の画像を生成する。
走査部202は、撮像部23が撮像した矩形の画像を、X軸方向(第1方向とも称する)及びY軸方向(第2方向とも称する)に走査し、走査した座標と、その座標の画素が、白(第1情報とも称する)と黒(第2情報とも称する)のいずれを示しているかに関するデータとを取得する。
なお、走査部202は、第1走査部202a、第2走査部202b、第3走査部202cを備える。
取得部204は、第3走査部202cによる走査結果や、第3判定部203cの判定結果に基づき、移動体20の動作を制御するための制御情報を、記憶部205aから読み出す。
記憶部205aは、メモリなどの記憶装置である。
駆動部27は、取得部204が取得した制御情報であって、記憶部205aに記憶されている制御情報に基づいて、並進(後輪タイヤ24bを構成する2つのキャスターの回転数)や、旋回(後輪タイヤ24bを構成する2つのキャスターのそれぞれの回転速度)などの移動体20の動作を制御する。
制御部28は、CPU(Central Processing Unit)などであり、移動体制御装置200aの各部や、画像処理部201aの各部を制御する。
図3では、マーカーID(例えば、0)に、所定動作(例えば、停止)、マーカー距離(例えば、1m)、回転角度(例えば、0度)などの制御情報が対応付けられている。なお、図3では、マーカーIDが、0から4までの制御情報のみを示しており、マーカーIDが、5から15までの制御情報の詳細については、図示を省略している。
例えば、取得部204が、記憶部205aから、マーカーIDが、0の情報を読み取って、駆動部27に出力した場合には、移動体20は、移動体20とマーカー30aとの距離が、マーカー距離(つまり、1m)だけ離れた位置を、回転することなく(つまり、回転角度0度)、次のマーカーを読み取るまで並進し、所定動作(つまり、停止)を行う。
マーカー30aは、3行×3列の行列状のパターンからなる。具体的には、マーカー30aは、1行1列目の反射セルC11と、1行2列目の吸光セルC12と、1行3列目の反射セルC13を備える。また、マーカー30aは、2行1列目の吸光セルC21と、2行2列目の反射セルC22と、2行3列目の吸光セルC23を備える。また、マーカー30aは、3行1列目の反射セルC31と、3行2列目の吸光セルC32と、3行3列目の反射セルC33とを備える。
なお、反射セルC11、C13、C22、C31、C33は、光の反射率が高い材料により形成される。また、吸光セルC12、C21、C23、C32は、光の反射率が低い材料により形成される。
始めに、第1走査部202aは、変数nを、0に設定する(図5AのステップS101)。
次に、第1走査部202aは、座標(X0,Yn)から、X軸の正の方向に走査する(図5AのステップS102)。
次に、第1判定部203aは、ステップS102で第1走査部202aの走査結果において、幅が略等しい白、黒、白のパターンが、含まれているか否かを判定する(図5AのステップS103)。なお、幅が略等しい白、黒、白のパターンとは、最初に検出された白の幅w1(後述する図6参照)を1とした場合に、その後に検出された黒の幅w2、白の幅w3が、w1×0.9より大きく、w1×1.1よりも小さいパターンなどのことである。なお、記号“×”は、乗算の演算子を示す。
つまり、第1走査部202aは、変数nに、1を加算し(図5AのステップS104)、再度、上述したステップS102の処理を行う。
つまり、第1判定部203aは、ステップS103で検出した白、黒、白のパターンを、マーカー30a(図4)の反射セルC11、吸光セルC12、反射セルC13であるとみなし、ステップS103で検出した白、黒、白のパターンを、スタートバーとして設定する(図5AのステップS105)。
次に、第1判定部203aは、幅w1の中心を示すX座標XS(後述する図6参照)を求める(図5AのステップS107)。
次に、第2走査部202bは、座標(XS,Yn)から、Y軸の正の方向に走査する(図5AのステップS108)。
白、黒、白のパターンが、含まれていないと、第2判定部203bが判定した場合には(図5AのステップS109でNO)、ステップS110の処理が行われる。
つまり、第2走査部202bは、変数nに、1を加算し(図5AのステップS110)、再度、上述したステップS102の処理を行う。
つまり、第2判定部203bは、ステップS109で検出した白、黒、白のパターンを、マーカー30a(図4)の反射セルC11、吸光セルC21、反射セルC31であるとみなし、ステップS109で検出した白、黒、白のパターンを、ストップバーとして設定する(図5AのステップS111)。
次に、第2判定部203bは、高さh2の中心を示すY座標Yn+1と、高さh3の中心を示すY座標Yn+2を求める(図5BのステップS113)。
また、座標(Xm+2,Yn+1)から座標(Xm+3,Yn+1)までのセルは、吸光セルC23に対応するため、黒と判定される。
また、座標(Xm+1,Yn+2)から座標(Xm+2,Yn+2)までのセルは、吸光セルC32に対応するため、黒と判定される。
また、座標(Xm+2,Yn+2)から座標(Xm+3,Yn+2)までのセルは、反射セルC33に対応するため、白と判定される。
ここでは、ステップS114で走査される反射セルC22、吸光セルC23、吸光セルC32、反射セルC33は、ステップS114では、白、黒、黒、白と判定されるため、ステップS115では、バイナリーコードとして、1001が読み取られ、10進数の9(=23×1+22×0+21×0+20×1)に変換される。
変換された10進数に対応するマーカーIDが存在しないと、第3判定部203cが判定した場合には(図5BのステップS116でNO)、ステップS117の処理が行われる。
つまり、第3判定部203cは、変数nに、1を加算し(図5BのステップS117)、再度、上述したステップS102の処理を行う。
つまり、取得部204は、ステップS115で変換された10進数に対応するマーカーIDに対応付けされた制御情報を、記憶部205aから読み出すことにより取得する(図5BのステップS118)。
ここでは、ステップS115で変換された10進数が、9であるため、取得部204は、マーカーIDが9に対応する制御情報であって、図3の所定動作、マーカー距離、回転角度の情報を取得する。
次に、駆動部27は、ステップS118で取得した制御情報に基づき、移動体20の動作(並進や旋回)を制御する(図5BのステップS120)。
駆動部27が、ステップS120の制御を行った後、上述のステップS101の処理が行われる。
図6は、撮像部23が撮像する画像50aの一例を示している。画像50aには、マーカー30a(図3)に対応する3行×3列の行列状のセルに対応する画像が含まれている。図6の左右方向は、X軸方向を示しており、図6の上下方向は、Y軸方向を示している。画像50aの上端かつ左端の座標(X,Y)は、(X0,Y0)である。
図5AのステップS106の処理では、第1判定部203aにより、ステップS103で検出した白、黒、白のパターンの境界位置であって、図6に示す境界位置であるX座標Xm、Xm+1、Xm+2、Xm+3が求められる。
また、図5AのステップS107の処理では、第1判定部203aにより、X座標XmとX座標Xm+1との差分の半分の値を求めることにより、幅w1の中心を示すX座標XSが求められる。
図5BのステップS112の処理では、第2判定部203bにより、ステップS108で検出した白、黒、白のパターンの境界位置に基づいて、反射セルC11に対応する白パターンの高さh1が求められ、吸光セルC21に対応する黒パターンの高さh2が求められ、反射セルC31に対応する白パターンの高さh3が求められる。
図7は、通路100が設けられた工場の概略平面図を示している。第1実施形態では、移動体20は、撮像部23により、マーカー31、32、33、34、35を撮像することにより、荷物25を、出発位置R1から目的位置R6まで、無人で運搬する。
なお、図7では、マーカー31、32、33、34、35を平面的に示しているが、これらのマーカー31、32、33、34、35は、通路100に面する壁や天井に、取り付けられる。
次に、移動体20の撮像部23は、マーカー31を読み取る。移動体20の画像処理部201aは、図5A及び図5Bのフローチャートの処理を行うことにより、マーカー31のマーカーIDが0であることを特定し、そのマーカーIDが0の場合の制御情報であって、移動体20の記憶部205aに記憶されている制御情報を取得する。移動体20の駆動部27は、取得した制御情報に基づき、移動体20を、出発位置R1から並進させた後、移動体20が次のマーカー32を読み取ることができる位置R2まで移動させる処理M1を行う。
また、移動体20に、GPS(Global Positioning System)を搭載しなくても、移動体20は、撮像部23により、マーカーを撮像して工場内を移動するため、電波の状況が悪く、GPSの電波を受信できないような状況においても、荷物25を移動体20に運搬させることができる。
上述した図6では、移動体20の撮像部23の正面に、マーカー30aが存在する場合に撮像された画像50aについて説明した。
しかし、例えば、移動体20の進行方向と、移動体20の撮像部23と、移動体20から見て通路100の左側の壁に取り付けられているマーカー30aとを結んだ線とのなす角度が、60度の場合には、撮像部23で撮像される画像は、図8の画像50bのようになる。つまり、図6で示した画像50aと比較して、図8で示す画像50bでは、マーカー30aのX軸方向の幅が短く撮像される。
しかし、図8に示す画像50bが撮像された場合であっても、図5A及び図5Bに示すフローチャートの処理を行うことにより、図6で示した画像50aが撮像された場合と同様に、第1走査部202aによる走査P11と、第2走査部202bによる走査P12と、第3走査部202cによる走査P13及びP14を行うことができ、マーカー30aに対応付けられた制御情報を読み取ることができる。
例えば、移動体20の進行方向と、移動体20の撮像部23と、移動体20から見て通路100の前方の天井に取り付けられているマーカー30aとを結んだ線とのなす角度が、45度の場合には、撮像部23で撮像される画像は、図9の画像50cのようになる。つまり、図6で示した画像50aと比較して、図9で示す画像50cでは、マーカー30aのY軸方向の高さが短く撮像される。
しかし、図9に示す画像50cが撮像された場合であっても、図5A及び図5Bに示すフローチャートの処理を行うことにより、図6で示した画像50aが撮像された場合と同様に、第1走査部202aによる走査P11と、第2走査部202bによる走査P12と、第3走査部202cによる走査P13及びP14を行うことができ、マーカー30aに対応付けられた制御情報を読み取ることができる。
これにより、移動体20からマーカー30aを撮像する角度の関係で、撮像された画像50bにおいて、X軸方向に短く撮像されている場合(図8参照)や、撮像された画像50cにおいて、Y軸方向に短く撮像されている場合(図9参照)であっても、それらの画像50b、50cから、移動体20がマーカー30aを正面から撮像した補正画像を生成する必要がなくなるため、画像処理部201aによる画像処理の速度を向上させることができる。
これにより、反射セルC11、吸光セルC12、反射セルC13を含むマーカー30aの検出精度を向上させることができる。例えば、反射セルC11の中央部に、小さな黒い汚れが付着しているような場合には、その小さな黒い汚れの水平方向の幅は、その水平方向両側の白い領域の幅よりも小さくなるため、小さな黒い汚れが付着した反射セルC11が、スタートバーであると認識されることを防ぐことができる。
水平方向(第1方向)に2回走査を行うことによりマーカー30aを検出する場合には、2回目の走査のY軸方向の位置が、反射セルC31の位置からずれてしまい、正しくマーカー30aを検出することができないおそれがあるという問題があるが、第1実施形態によれば、画像50aの水平方向(第1方向)に走査を行った後で、水平方向とは異なる垂直方向(第2方向)に走査を行うことによりマーカー30aの検出を行うため、そのような問題が生じることを回避することができる。
例えば、3行×3列のセルからなるマーカー30aを用いる場合であって、反射セルC11と反射セルC13のいずれかを、第1走査部202aによる走査と、第2走査部202bによる走査で共通して用いない場合には、第1走査部202aによる走査で3つのセルが用いられ、第2走査部202bによる走査で他の3つのセルが用いられるため、移動体20の動作を制御するための制御情報を識別するためのセルとしては、残りの3つのセルしか用いることはできず、23=8通りの制御情報しか用いることはできない。
しかし、反射セルC11を、第1走査部202aによる走査と、第2走査部202bによる走査で共通して用いることにより、第1走査部202aによる走査と、第2走査部202bによる走査で、合計5つのセルを用いることになるため、移動体20の動作を制御するための制御情報を識別するためのセルとしては、残りの4つのセルを用いることができ、24=16通りの制御情報を用いることができる。
なお、第2判定部203bは、第1走査部202aが水平方向に走査する反射セルC11ではなく反射セルC13を、第2走査部202bが垂直方向に走査する反射セルとして用いてもよい。
これにより、移動体20の動作を制御するための制御情報は、第1条件(図5AのステップS103)が満たされ、第2条件(図5AのステップS109)が満たされ、更に、第3領域(図6の領域A12及び領域B12で定まる領域)に所定情報が含まれると判定した場合に、取得部204により取得されるため、制御情報の検出精度を向上させることができる。
例えば、第2走査部202bが、反射セルC11の幅w1の右端から、垂直方向(第2方向)に走査するような場合には、第2走査部202bが、誤って、右に位置する吸光セルC12の領域を走査してしまうおそれがあるという問題がある。しかし、第1実施形態によれば、第2走査部202bが、反射セルC11の幅w1の中央から、第2領域を、垂直方向に走査するため、第2走査部202bが走査する位置が多少ずれたとしても、反射セルC11内の領域を走査することができ、そのような問題が生じることを回避することができる。
第1方向と第2方向がなす角度が小さい場合には、第1走査部202aが走査する領域と、第2走査部202bが走査する領域が近くなり、第1走査部202aによる走査結果と、第2走査部202bによる走査結果は類似したものとなるため、マーカー30aを正しく検出することができないおそれがあるという問題がある。しかし、第1実施形態によれば、第1方向と第2方向とのなす角度は90度であり、第1方向と第2方向のなす角度が最大となるため、第1走査部202aによる走査結果と、第2走査部202bによる走査結果が、類似したものとなることを避けることができ、そのような問題が生じることを回避することができる。
移動体20は、ヨー方向、ロール方向、ピッチ方向に回転する可能性があるが、移動体20は、荷物25を運搬するため、荷物25が落下しないように、通路100は、移動体20の右側の前輪タイヤ24a及び後輪タイヤ24bと、左側の前輪タイヤ24a及び後輪タイヤ24bが、同じ高さとなるように、通路100が設けられる可能性が高い。つまり、移動体20は、ロール方向に回転する可能性は低く、マーカー30aが水平方向に傾いて撮像される可能性は低い。第1実施形態によれば、マーカー30aが水平方向に傾いて撮像される可能性が低い水平方向を、マーカー30aを検出するための最初の処理となる第1走査部202aによる走査で用いるため、第1走査部202aは、安定した走査を行うことができ、マーカー30aの検出精度を高めることができる。
第1実施形態によれば、第1走査部202aが走査を行う第1領域と、第2走査部202bが走査を行う第2領域と、第3走査部202cが走査を行う第3領域は、矩形の領域に収まる。そのため、例えば、第3走査部202cが走査を行う第3領域が、矩形の外に配置されるような場合と比較して、マーカー30aをコンパクトにすることができ、第1~第3走査部202a~202cが走査する領域を狭めることができるため、走査の効率を高めることができる。
そのため、第1判定部203aにより第1条件が満たされたと判定した場合であって(図5AのステップS103でYES)、第2判定部203bにより第2条件が満たされたと判定した場合(図5AのステップS109でYES)、つまり、マーカー30aが検出された場合に、第3判定部203cは、マーカー30aに対応付けられたマーカーIDを特定することができる。
このような構成によれば、反射セルから得られる反射光の反射率は高く、吸光セルから得られる反射光の反射率は低いため、マーカーIDを特定するための2進数の0と1を誤判定する確率を小さくすることができる。
つまり、第1~第3走査部202a~202cが、画像50aとして、カラー画像よりも情報量の少ない白黒画像を走査することにより、カラー画像を走査して画像処理を行う場合と比較して、画像処理に要する負荷を軽減することができるようにしてもよい。
次に、本発明の第2実施形態について説明する。第2実施形態が、第1実施形態と同様の構成をとり、また、第1実施形態と同様の処理を行う部分については、それらの説明を省略する。
第2実施形態の移動体制御装置200b(図10)は、第1実施形態の移動体制御装置200a(図2)の画像処理部201a及び第2判定部203bの代わりに、画像処理部201b及び第2判定部203dを備えている。
ステップS106では、ステップS103で検出された白、黒、白のパターンの境界位置であるX座標Xm、Xm+1、Xm+2、Xm+3が求められる。第2判定部203dは、X座標Xm、Xm+1、Xm+2、Xm+3に基づき、幅w1(=Xm+1-Xm)、幅w2=Xm+2-Xm+1)、幅w3=Xm+3-Xm+2)を求める。そして、第2判定部203dは、幅w1、幅w2、幅w3の平均値waveを、wave=(w1+w2+w3)/3の式により求め(図11AのステップS130)、その後、ステップS107の処理が行われる。
つまり、第2判定部203dは、高さh2及びh3が、第1閾値TMINより大きく、第2閾値TMAXより小さいか否かを判定する(図11AのステップS131)。
なお、第1閾値TMINとして、例えば、TMIN=wave×0.7の値などが用いられる。また、第2閾値TMAXとして、例えば、TMAX=wave×1.3の値が用いられる。なお、マーカー30aの検出精度を向上させるために、TMIN=wave×0.8の値を用いるとともに、第2閾値TMAXとして、例えば、TMAX=wave×1.2の値を用いてもよい。
つまり、第1走査部202aは、変数nに、1を加算し(図11AのステップS132)、その後、ステップS102の処理が行われる。
これにより、反射セルC11、吸光セルC21、反射セルC31を含むマーカー30aの検出精度を向上させることができる。例えば、反射セルC11中央部に、小さな黒い汚れが付着しているような場合には、その小さな黒い汚れの垂直方向の幅は、その垂直方向両側の白い領域の幅よりも小さくなるため、小さな黒い汚れが付着した反射セルC11が、ストップバーであると認識されることを防ぐことができる。
これにより、反射セルC11、吸光セルC21、反射セルC31を含むマーカー30aの検出精度を、更に向上させることができる。
次に、本発明の第3実施形態について説明する。第3実施形態が、第1実施形態と同様の構成をとり、また、第1実施形態と同様の処理を行う部分については、それらの説明を省略する。
第3実施形態の移動体制御装置200c(図12)は、第1実施形態の移動体制御装置200a(図2)の画像処理部201a、第3走査部202c、第2判定部203b、第3判定部203c、記憶部205aの代わりに、画像処理部201c、第3走査部202d、第2判定部203e、第3判定部203f、記憶部205bを備えている。
図13では、マーカーID(例えば、0)に、所定動作(例えば、停止)、マーカー距離(例えば、1m)、回転角度(例えば、0度)などの制御情報が対応付けられている。なお、図13では、マーカーIDが、0から4までの制御情報のみを示しており、マーカーIDが、5から255までの制御情報の詳細については、図示を省略している。
例えば、取得部204が、記憶部205bから、マーカーIDが、0の情報を読み取って、駆動部27に出力した場合には、移動体20は、移動体20とマーカーとの距離が、マーカー距離(つまり、1m)だけ離れた位置を、回転することなく(つまり、回転角度0度)、次のマーカーを読み取るまで並進し、所定動作(つまり、停止)を行う。
マーカー30dは、5行×3列の行列状のパターンからなる。具体的には、マーカー30dは、1行1列目の反射セルC11と、1行2列目の吸光セルC12と、1行3列目の反射セルC13を備える。また、マーカー30dは、2行1列目の吸光セルC21と、2行2列目の反射セルC22と、2行3列目の吸光セルC23を備える。また、マーカー30dは、3行1列目の反射セルC31と、3行2列目の吸光セルC32と、3行3列目の反射セルC33とを備える。また、マーカー30dは、4行1列目の吸光セルC41と、4行2列目の反射セルC42と、4行3列目の吸光セルC43を備える。また、マーカー30dは、5行1列目の反射セルC51と、5行2列目の吸光セルC52と、5行3列目の反射セルC53とを備える。
なお、反射セルC11、C13、C22、C31、C33、C42、C51、C53は、光の反射率が高い材料により形成される。また、吸光セルC12、C21、C23、C32、C41、C43、C52は、光の反射率が低い材料により形成される。
つまり、第2判定部203eは、ステップS108で第2走査部202bの走査結果において、白、黒、白、黒、白のパターンが、含まれているか否かを判定する(図15AのステップS140)。
一方、白、黒、白、黒、白のパターンが含まれると、第2判定部203eが判定した場合には(図15AのステップS140でYES)、ステップS141の処理が行われる。
つまり、第2判定部203eは、ステップS140で検出した白、黒、白、黒、白のパターンを、マーカー30d(図14)の反射セルC11、吸光セルC21、反射セルC31、吸光セルC41、反射セルC51であるとみなし、ステップS140で検出した白、黒、白、黒、白のパターンを、ストップバーとして設定する(図15AのステップS141)。
次に、第2判定部203eは、高さh2の中心を示すY座標Yn+1と、高さh3の中心を示すY座標Yn+2と、高さh4の中心を示すY座標Yn+3と、高さh5の中心を示すY座標Yn+4と、を求める(図15BのステップS143)。
また、座標(Xm+2,Yn+1)から座標(Xm+3,Yn+1)までのセルは、吸光セルC23に対応するため、黒と判定される。
また、座標(Xm+1,Yn+2)から座標(Xm+2,Yn+2)までのセルは、吸光セルC32に対応するため、黒と判定される。
また、座標(Xm+2,Yn+2)から座標(Xm+3,Yn+2)までのセルは、反射セルC33に対応するため、白と判定される。
また、座標(Xm+2,Yn+3)から座標(Xm+3,Yn+3)までのセルは、吸光セルC43に対応するため、黒と判定される。
また、座標(Xm+1,Yn+4)から座標(Xm+2,Yn+4)までのセルは、吸光セルC52に対応するため、黒と判定される。
また、座標(Xm+2,Yn+4)から座標(Xm+3,Yn+4)までのセルは、反射セルC53に対応するため、白と判定される。
ここでは、ステップS144で走査される反射セルC22、吸光セルC23、吸光セルC32、反射セルC33、反射セルC42、吸光セルC43、吸光セルC52、反射セルC53は、ステップS144では、白、黒、黒、白、白、黒、黒、白と判定されるため、ステップS145では、バイナリーコードの10011001として読み取られ、10進数の153(=27×1+26×0+25×0+24×1+23×1+22×0+21×0+20×1)に変換される。
変換された10進数に対応するマーカーIDが存在しないと、第3判定部203fが判定した場合には(図15BのステップS146でNO)、ステップS147の処理が行われる。
つまり、第3判定部203fは、変数nに、1を加算し(図15BのステップS147)、ステップS102の処理を行う。
つまり、取得部204は、ステップS145で変換された10進数に対応するマーカーIDに対応付けされた制御情報を、記憶部205bから読み出すことにより取得する(図15BのステップS148)。
ここでは、ステップS145で変換された10進数が、153であるため、マーカーIDが153に対応する所定動作、マーカー距離、回転角度の情報を、取得部204は、制御情報として取得する。
次に、駆動部27は、ステップS148で取得した制御情報に基づき、移動体20の動作(並進や旋回)を制御する(図15BのステップS150)。
駆動部27が、ステップS150の制御を行った後、ステップS101の処理が行われる。
図16は、撮像部23が撮像する画像50dの一例を示している。画像50dには、マーカー30d(図14)に対応する5行×3列の行列状のセルに対応する画像が含まれている。図16の左右方向は、X軸方向を示しており、図16の上下方向は、Y軸方向を示している。画像50dの上端かつ左端の座標(X,Y)は、(X0,Y0)である。
図15AのステップS106の処理では、第1判定部203aにより、ステップS103で検出した白、黒、白のパターンの境界位置であって、図16に示す境界位置であるX座標Xm、Xm+1、Xm+2、Xm+3が求められる。
また、図15AのステップS107の処理では、第1判定部203aにより、X座標XmとX座標Xm+1との差分の半分の値を求めることにより、幅w1の中心を示すX座標XSが求められる。
図15BのステップS142の処理では、第2判定部203eにより、図15AのステップS108で検出した白、黒、白、黒、白のパターンの境界位置に基づいて、反射セルC11に対応する白パターンの高さh1が求められ、吸光セルC21に対応する黒パターンの高さh2が求められ、反射セルC31に対応する白パターンの高さh3が求められ、吸光セルC41に対応する黒パターンの高さh4が求められ、反射セルC51に対応する白パターンの高さh5が求められる。
垂直方向(第2方向)に、反射セルC11、吸光セルC21、反射セルC31、吸光セルC41、反射セルC51のパターンが含まれる確率は、第2方向に、第3反射セル、第2吸光セルのパターンが含まれる確率よりも小さい。よって、第3実施形態によれば、マーカー30d以外のパターンを、マーカーであると誤判定する可能性を小さくすることができる。
次に、本発明の第4実施形態について説明する。第4実施形態が、第3実施形態と同様の構成をとり、また、第3実施形態と同様の処理を行う部分については、それらの説明を省略する。
第4実施形態の移動体制御装置200d(図17)の画像処理部201dは、第3実施形態の移動体制御装置200c(図12)の記憶部205bの代わりに、記憶部205cを備えている。
また、第4実施形態の移動体制御装置200d(図17)の走査部202は、第3実施形態の走査部202(図12)が備える第1走査部202a、第2走査部202b、第3走査部202dではなく、第1走査部202a、第2走査部202b、第3走査部202e、第4操作部202fを備える。
また、第4実施形態の移動体制御装置200d(図17)の判定部203は、第3実施形態の判定部203(図12)が備える第1判定部203a、第2判定部203e、第3判定部203fではなく、第1判定部203a、第2判定部203e、第3判定部203g、第4判定部203hを備える。
図18では、マーカーID(例えば、0)に、所定動作(例えば、停止)、マーカー距離(例えば、1m)、回転角度(例えば、0度)などの制御情報が対応付けられている。なお、図18では、マーカーIDが、0から4までの制御情報のみを示しており、マーカーIDが、5から63までの制御情報の詳細については、図示を省略している。
例えば、取得部204が、記憶部205cから、マーカーIDが、0の情報を読み取って、駆動部27に出力した場合には、移動体20は、移動体20とマーカー30dとの距離が、マーカー距離(つまり、1m)だけ離れた位置を、回転することなく(つまり、回転角度0度)、次のマーカーを読み取るまで並進し、所定動作(つまり、停止)を行う。
次に、第4判定部203hは、ステップS160で第4走査部202fの走査結果において、幅が略等しい白、黒、白のパターンが、含まれているか否かを判定する(図19BのステップS161)。
つまり、第1走査部202aは、変数nに、1を加算し(図19BのステップS162)、図19AのステップS102の処理を行う。
つまり、第4判定部203hは、ステップS161で検出した白、黒、白のパターンを、マーカー30d(図14)の反射セルC51、吸光セルC52、反射セルC53であるとみなし、ステップS161で検出した白、黒、白のパターンを、ストップバーとして設定する(図19BのステップS163)。
つまり、取得部204は、ステップS165で変換された10進数に対応するマーカーIDに対応付けされた制御情報を、記憶部205cから読み出すことにより取得し(図19BのステップS166)、ステップS149の処理を行う。
図20は、撮像部23が撮像する画像50eの一例を示している。画像50eには、マーカー30d(図14)に対応する5行×3列の行列状のセルに対応する画像が含まれている。図20の左右方向は、X軸方向を示しており、図20の上下方向は、Y軸方向を示している。画像50eの上端かつ左端の座標(X,Y)は、(X0,Y0)である。
図19AのステップS106の処理では、第1判定部203aにより、ステップS103で検出した白、黒、白のパターンの境界位置であって、図20に示す境界位置であるX座標Xm、Xm+1、Xm+2、Xm+3が求められる。
図19BのステップS142の処理では、第2判定部203eにより、ステップS108で検出した白、黒、白、黒、白のパターンの境界位置に基づいて、反射セルC11に対応する白パターンの高さh1が求められ、吸光セルC21に対応する黒パターンの高さh2が求められ、反射セルC31に対応する白パターンの高さh3が求められ、吸光セルC41に対応する黒パターンの高さh4が求められ、反射セルC51に対応する白パターンの高さh5が求められる。
第4実施形態によりマーカー30dを検出する確率は、第3実施形態によりマーカー30dを検出する確率よりも小さい。よって、第4実施形態によれば、第3実施形態よりも、マーカー30d以外のパターンを、マーカーであると誤判定する可能性を小さくすることができる。
例えば、工場の通路に、重複しないマーカーIDが割り当てられたマーカーを取り付け、移動体20に受信部を設けることにより、移動体制御システムの管理者が、各マーカーIDに対応する制御情報を、移動体20の受信部に送信することにより、制御情報の内容を事後的に変更できるようにしてもよい。
あるいは、連続するマーカーIDが割り当てられたマーカーを、工場の通路に順番に取り付けておくとともに、マーカーIDと制御情報とを対応付けた表を、移動体20の記憶部205aに記憶しておいてもよい。そして、移動体20の撮像部23で、連続するマーカーIDが割り当てられたマーカーを、順番に撮像していき、それぞれのマーカーIDに対応付けられた制御情報に基づいて、移動体20の動作を制御するようにしてもよい。この場合、例えば、撮像部23が撮像した画像に、複数のマーカーが含まれていた場合には、画像中の面積が最も大きいマーカーを、画像処理対象のマーカーであると判定するようにしてもよい。
例えば、図4に示すマーカー30aにおいて、反射セルC11、C13、C31を、吸光セルに置き換え、吸光セルC12、C21を、反射セルに置き換え、マーカー30aの周囲を囲むように、反射セルに用いられる材料を塗布するようにしてもよい。この場合、例えば、移動体20の撮像部23が、枠状に塗布された反射パターンを検出した場合には、その枠の内部に配置されている反射セル又は吸光セルを検出するようにする。例えば、第1走査部202aによる第1走査により、1行1列目のセルとして吸光セルが検出され、1行2列目のセルとして反射セルが検出され、1行3列目のセルとして吸光セルが検出された場合に、スタートバーを検出したと判定してもよい。また、第2走査部202bによる第2走査により、1行1列目のセルとして吸光セルが検出され、2行1列目のセルとして反射セルが検出され、3行1列目のセルとして吸光セルが検出された場合に、ストップバーを検出したと判定してもよい。
Claims (6)
- 移動体の外部に照射した光の反射光に基づいて得られる画像の第1領域を、第1方向に走査する第1走査部と、
前記第1走査部による第1走査結果に基づき、第1条件が満たされるか否かについて判定する第1判定部と、
前記第1判定部が、前記第1条件が満たされると判定した場合に、前記画像の第2領域を、前記第1走査結果に基づいた走査開始位置より前記第1方向とは異なる第2方向に走査する第2走査部と、
前記第2走査部による第2走査結果に基づき、第2条件が満たされるか否かについて判定する第2判定部と、
前記第2判定部が、前記第2条件が満たされると判定した後に、前記画像の第3領域を走査する第3走査部と、
前記第3走査部により走査した前記第3領域に、所定情報が含まれるか否かを判定する第3判定部と、
を備え、
前記第1判定部は、
前記第1走査結果において、第1情報、第2情報、第1情報の順に検出され、かつ、それらの情報が検出された領域の各幅が、所定幅と略等しい場合に、前記第1条件が満たされたと判定し、
前記第2走査部は、
前記第1走査部が検出した前記第1情報のいずれかにおいて、前記第1情報が検出された領域の幅方向の中央を、前記走査開始位置として、前記画像の前記第2領域を前記第2方向に走査する
画像処理装置。 - 前記第2判定部は、
前記第2走査結果において、第1情報、第2情報、第1情報の順に検出された場合に、前記第2条件が満たされたと判定する
請求項1に記載の画像処理装置。 - 前記第2判定部は、
前記第2走査結果において、第1情報、第2情報、第1情報の順に検出され、かつ、それらの情報が検出された領域の各高さが、所定高さに略等しい場合に、前記第2条件が満たされたと判定する
請求項1に記載の画像処理装置。 - 前記第3判定部が、前記第3領域に前記所定情報が含まれると判定した場合に、前記移動体の動作を制御するための制御情報を取得する取得部と、を備える請求項1に記載の画像処理装置。
- 前記領域の各幅が、前記所定幅と略等しい場合とは、前記領域の各幅が、前記所定幅の0.9倍から前記所定幅の1.1倍の範囲にある場合である
請求項1に記載の画像処理装置。 - 行列状に配置される複数の第1情報及び複数の第2情報を含むマーカーと、
移動体と、
を備える移動体制御システムであって、
前記移動体は、
前記マーカーに光を照射する照射部と、
前記照射部が照射した前記光の反射光に基づき、画像を撮像する撮像部と、
前記画像の第1領域を、第1方向に走査する第1走査部と、
前記第1走査部による第1走査結果に基づき、第1条件が満たされるか否かについて判定する第1判定部と、
前記第1判定部が、前記第1条件が満たされると判定した場合に、前記画像の第2領域を、前記第1走査結果に基づいた走査開始位置より前記第1方向とは異なる第2方向に走査する第2走査部と、
前記第2走査部による第2走査結果に基づき、第2条件が満たされるか否かについて判定する第2判定部と、
前記第2判定部が、前記第2条件が満たされると判定した後に、前記画像の第3領域を走査する第3走査部と、
前記第3走査部により走査した前記第3領域に、所定情報が含まれるか否かを判定する第3判定部と、
を備え、
前記第1判定部は、
前記第1走査結果において、第1情報、第2情報、第1情報の順に検出され、かつ、それらの情報が検出された領域の各幅が、所定幅と略等しい場合に、前記第1条件が満たされたと判定し、
前記第2走査部は、
前記第1走査部が検出した前記第1情報のいずれかにおいて、前記第1情報が検出された領域の幅方向の中央を、前記走査開始位置として、前記画像の前記第2領域を前記第2方向に走査する移動体制御システム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019182980A JP7408334B2 (ja) | 2019-10-03 | 2019-10-03 | 画像処理装置及び移動体制御システム |
CN202080067296.2A CN114503045B (zh) | 2019-10-03 | 2020-09-23 | 图像处理装置以及移动体控制系统 |
US17/764,176 US11972317B2 (en) | 2019-10-03 | 2020-09-23 | Image processing device and mobile body control system |
DE112020004745.8T DE112020004745T5 (de) | 2019-10-03 | 2020-09-23 | Bildverarbeitungsvorrichtung und Mobilkörper-Steuersystem |
PCT/JP2020/035725 WO2021065598A1 (ja) | 2019-10-03 | 2020-09-23 | 画像処理装置及び移動体制御システム |
TW109133572A TWI854038B (zh) | 2019-10-03 | 2020-09-28 | 影像處理裝置及移動體控制系統 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019182980A JP7408334B2 (ja) | 2019-10-03 | 2019-10-03 | 画像処理装置及び移動体制御システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021060664A JP2021060664A (ja) | 2021-04-15 |
JP7408334B2 true JP7408334B2 (ja) | 2024-01-05 |
Family
ID=75336451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019182980A Active JP7408334B2 (ja) | 2019-10-03 | 2019-10-03 | 画像処理装置及び移動体制御システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11972317B2 (ja) |
JP (1) | JP7408334B2 (ja) |
CN (1) | CN114503045B (ja) |
DE (1) | DE112020004745T5 (ja) |
TW (1) | TWI854038B (ja) |
WO (1) | WO2021065598A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001291051A (ja) | 2000-04-06 | 2001-10-19 | Seiko Epson Corp | 二次元バーコードの読み取り方法及び装置、情報記録媒体 |
JP2019102047A (ja) | 2017-11-28 | 2019-06-24 | Thk株式会社 | 画像処理装置、移動ロボットの制御システム、移動ロボットの制御方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0969162A (ja) * | 1995-08-31 | 1997-03-11 | Mitsubishi Electric Corp | 車載用画像処理装置 |
ATE321310T1 (de) | 2000-04-06 | 2006-04-15 | Seiko Epson Corp | Verfahren und vorrichtung zum lesen von einem zwei-dimensionalen strichkode und datenspeichermedium |
JP4423524B2 (ja) * | 2000-07-24 | 2010-03-03 | ソニー株式会社 | 標識検出装置、標識検出方法および記録媒体 |
JP3879848B2 (ja) * | 2003-03-14 | 2007-02-14 | 松下電工株式会社 | 自律移動装置 |
JP2006033692A (ja) * | 2004-07-21 | 2006-02-02 | Ricoh Co Ltd | 属性識別装置及び方法 |
JP4375320B2 (ja) * | 2005-10-27 | 2009-12-02 | 株式会社日立製作所 | 移動ロボット |
US8622305B2 (en) * | 2008-07-23 | 2014-01-07 | Symbol Technologies, Inc. | Efficient multi-image bar code reader |
JP2014021624A (ja) | 2012-07-13 | 2014-02-03 | Sharp Corp | 自律走行装置、及び自律走行システム |
JP2016224854A (ja) * | 2015-06-03 | 2016-12-28 | シャープ株式会社 | 自律走行装置 |
JP2019042853A (ja) * | 2017-08-31 | 2019-03-22 | Thk株式会社 | 画像情報処理装置、把持システム、および画像情報処理方法 |
CN107729790B (zh) | 2017-09-27 | 2020-12-29 | 创新先进技术有限公司 | 二维码定位方法及装置 |
US10523880B2 (en) | 2017-09-28 | 2019-12-31 | Waymo Llc | Synchronized spinning LIDAR and rolling shutter camera system |
JP6981914B2 (ja) | 2018-04-09 | 2021-12-17 | 信越化学工業株式会社 | 熱伝導性シリコーン組成物及びその硬化物 |
-
2019
- 2019-10-03 JP JP2019182980A patent/JP7408334B2/ja active Active
-
2020
- 2020-09-23 WO PCT/JP2020/035725 patent/WO2021065598A1/ja active Application Filing
- 2020-09-23 CN CN202080067296.2A patent/CN114503045B/zh active Active
- 2020-09-23 US US17/764,176 patent/US11972317B2/en active Active
- 2020-09-23 DE DE112020004745.8T patent/DE112020004745T5/de active Pending
- 2020-09-28 TW TW109133572A patent/TWI854038B/zh active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001291051A (ja) | 2000-04-06 | 2001-10-19 | Seiko Epson Corp | 二次元バーコードの読み取り方法及び装置、情報記録媒体 |
JP2019102047A (ja) | 2017-11-28 | 2019-06-24 | Thk株式会社 | 画像処理装置、移動ロボットの制御システム、移動ロボットの制御方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114503045A (zh) | 2022-05-13 |
CN114503045B (zh) | 2023-12-15 |
US11972317B2 (en) | 2024-04-30 |
TWI854038B (zh) | 2024-09-01 |
TW202131126A (zh) | 2021-08-16 |
WO2021065598A1 (ja) | 2021-04-08 |
DE112020004745T5 (de) | 2022-06-30 |
JP2021060664A (ja) | 2021-04-15 |
US20220358303A1 (en) | 2022-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112654473B (zh) | 机器人清洁器及其控制方法 | |
US8209074B2 (en) | Robot and method for controlling the same | |
CN108692681B (zh) | 凹陷部检测装置、输送装置以及凹陷部检测方法 | |
US20180143003A1 (en) | Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue | |
US8675060B2 (en) | Machine vision based obstacle avoidance system | |
JP2017178567A (ja) | フォークリフト | |
KR101409987B1 (ko) | 이동 로봇의 자세 보정 방법 및 장치 | |
JP2004240940A (ja) | ロボット掃除機の位置認識標識の検出方法及びこの検出方法を適用したロボット掃除機 | |
WO2018173651A1 (ja) | 車載装置、荷役機、制御回路、制御方法、及びプログラム | |
KR20190093800A (ko) | 이동 로봇 및 이동 로봇의 제어방법 | |
CN111417911A (zh) | 图像处理装置、移动机器人的控制系统、移动机器人的控制方法 | |
KR102281346B1 (ko) | 로봇 청소기 및 그 제어방법 | |
CN113613536B (zh) | 机器人清扫器 | |
JP7408334B2 (ja) | 画像処理装置及び移動体制御システム | |
JP5874252B2 (ja) | 対象物との相対位置計測方法と装置 | |
US20210274987A1 (en) | Self-propelled vacuum cleaner | |
KR20190050874A (ko) | 인식정보를 인식하는 인식시스템, 인식 장치 및 인식 방법. | |
KR102348963B1 (ko) | 로봇 청소기 및 그 제어 방법 | |
JP2020010982A (ja) | 自走式掃除機 | |
JP5187068B2 (ja) | 3次元形状測定装置および3次元形状測定方法 | |
JP7488991B2 (ja) | 産業車両 | |
JP2000222563A (ja) | 障害物検出装置および障害物検出装置を搭載した移動体 | |
JP5418387B2 (ja) | 位置検出システム、方法、記憶媒体、及びプログラム | |
JP2014219824A (ja) | 移動ロボットシステム | |
CN114515124B (zh) | 清洁位置确定方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230630 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231101 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7408334 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |