JP5445848B2 - 物体形状評価装置 - Google Patents
物体形状評価装置 Download PDFInfo
- Publication number
- JP5445848B2 JP5445848B2 JP2010024484A JP2010024484A JP5445848B2 JP 5445848 B2 JP5445848 B2 JP 5445848B2 JP 2010024484 A JP2010024484 A JP 2010024484A JP 2010024484 A JP2010024484 A JP 2010024484A JP 5445848 B2 JP5445848 B2 JP 5445848B2
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- data
- edge
- points
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000011156 evaluation Methods 0.000 title claims description 106
- 238000005259 measurement Methods 0.000 claims description 406
- 238000000034 method Methods 0.000 claims description 60
- 230000008569 process Effects 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 34
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000013500 data storage Methods 0.000 claims description 15
- 238000003708 edge detection Methods 0.000 claims description 14
- 230000007547 defect Effects 0.000 description 136
- 238000012937 correction Methods 0.000 description 70
- 238000004364 calculation method Methods 0.000 description 30
- 238000003384 imaging method Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 20
- 230000007246 mechanism Effects 0.000 description 14
- 238000003860 storage Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000015654 memory Effects 0.000 description 10
- 230000009466 transformation Effects 0.000 description 10
- 238000005520 cutting process Methods 0.000 description 9
- 238000012854 evaluation process Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000002950 deficient Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000002411 adverse Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000003028 elevating effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
また、この構成によれば、測定点群と基準点群のいずれかの点群においてその点群に属する各点(測定点又は基準点)に対して隣接する点との距離である隣接点間距離に基づいて重み係数が割り当てられる。割り当てられた重み係数は、対応する測定点と基準点との間の距離を逐次収束させる逐次収束処理における逐次収束評価値を求める際に用いられ、隣接点間距離によって逐次収束評価値に及ぼす影響度が調整される。例えば、隣接点間距離が他に比べて大きくなっている測定点、あるいは、隣接点間距離が他に比べて大きくなっている基準点に対応している測定点ではわずかな測定点のずれが測定点と基準点との間の位置座標値の大きな差となってしまう可能性がある。これは、レーザビームなどによる測定面が測定基準面に対して直角に近い角度で湾曲していたり傾斜していたりしている場合、測定走査ピッチの僅かなずれが測定点の大きなずれを導き、基準点と測定点との間の位置対応が悪くなるからである。このような測定状況においては、隣接点間距離が大きな点に対してより小さな重み係数を割り当てて、その点が逐次収束評価値に及ぼす影響を抑制することで、測定点群と基準点群との間の適正な合同変換が実現できる。その結果、測定対象物の物体形状評価が適正に行われることになる。
この例では、測定対象物の表面の三次元位置データを得るために、三角測量に原理に基づいて三次元測定を行う光切断方式が用いられている(#01)。この光切断方式では、スリット光を測定対象物に照射し、測定対象物の表面形状に応じて湾曲する帯状の光をカメラで撮影し、その撮影画像内の結像位置から、点列のX、Y、Z値が演算される。このスリット光によって走査される測定対象物の全表面の測定点の三次元位置データが光切断画素位置情報として生成され、以下に述べる表面凹凸形状評価のための測定点データとしてワークメモリに展開される(#02)。
データ格納部8には、基準データ格納部81と欠陥情報格納部82と型修正情報格納部83が設けられている。基準データ格納部81は、測定対象物の表面形状を示す基準点データを格納する。基準データはエッジ基準点データと全基準点データとに区分けされている。全基準点データは、測定対象物の測定対象全面に渡って予め区分けされた所定ブロック毎に測定点に対応するように設定された理想的な仕上がり形状を示すデータである。エッジ基準点データは、その全基準点データから展開された基準点群から、その基準点群によって規定される外形形状におけるエッジに対応する基準点だけを取り出したものである。欠陥情報格納部82は、位置合わせが終了した状態で、基準点から所定以上に離れている測定点のうち所定の条件を満たすことで欠陥と判定された測定点の集まりに関する情報である欠陥情報を格納する。型修正情報格納部83は、後で詳しく説明されるが、表面欠陥評価の処理を通じて金型が修正された可能性がある部分に関する情報である型修正情報を格納する。
(1)三次元測定データ演算部34から測定点データを入力する、
(2)エッジ点群対応付け部53aによって対応付けられたエッジ測定点群とエッジ基準点群との位置合わせ結果をエッジ位置合わせデータとして生成する、
(3)このエッジ位置合わせデータに基づいて、全点群対応付け部53bによって対応付けられた全測定点群と全基準点群との位置合わせ結果を全位置合わせデータとして生成する、
(4)全位置合わせデータを欠陥評価モジュール6に出力する、
となる。
まず、コントローラ3の画像処理部33が、撮像部16から転送されてきた画像データを処理してその光切断線画素位置情報を生成する(#09)。この光切断線画素位置情報から、三次元測定データ演算部34は、画素位置とその画素位置から三角測量法に基づいて演算された3次元位置との関係を格納したテーブルを利用して、光切断線画素位置情報に基づき測定対象物の三次元座標値を読み出し、この値を測定点データとして各測定点に対応付けられたメモリアドレスに転送する(#10)。もちろん、テーブルを用いずに、その都度、光切断線画素位置情報を用いて三角測量法に基づく演算を行うことで三次元座標値を求めて測定点データとしてもよい。
di 2=xi 2+yi 2+zi 2となる。
隣接点間距離重み係数:γiは、重み関数をΓとすると、
γi=Γ(di 2)で求められる。
例えば、重み関数:Γを次のようなしきい値関数とすると好都合である。
di 2がしきい値:dth以上の時、γi=0.01
di 2がしきい値:dth未満の時、γi=1
しきい値:dthは基準点群や測定点群の特性によって適切に決めることにより、想定している位置座標と実際の位置座標との誤差が大きいことが予想される測定点とそれに対応する基準点とが逐次収束評価に及ぼす悪影響を抑制することができる。
ρi=Ρ(ei) で求められる。ここでも、重み関数:Ρを次のようなしきい値関数とすることができる;
|ei|が設定幅:Bi以下の時、
ρi=(Bi 2/2 )(1−(1−(ei/Bi)2)
|ei|が設定幅:Biを越える時、
ρi=(Bi 2/2 )。
J=(1/N)ΣH(ei,ρi,γi)
演算を簡単化するために、トータル重み係数:wiを各重み係数の乗算とすれば、
J=(1/N)ΣH(ei,wi)、wi=ρi×γi
となる。
まず、対応点間距離:eiが予め設定されている対応点間距離しきい値(第1しきい値):TA以上となる連続した測定点群を誤対応領域として抽出する。図2では、測定点S4、S5、S6が抽出されている。さらに、誤対応領域に属する測定点の分布密度が算定される。簡単に分布密度を算定するため、例えば、それらの測定点の隣接点間距離:diを用いることができる。つまり、隣接点間距離:diが予め設定されている隣接点間距離しきい
値(第2しきい値):TL以上となる測定点を近傍測定点とみなす。これにより、所定以上の分布密度を有する対応点(近傍測定点)が抽出されたことになる。さらに、この近傍測定点の数が予め設定されている近傍点数しきい値(第3しきい値):TC以上となるかどうかチェックされる。近傍測定点の数が近傍点数しきい値より大きい場合この近傍測定点群によって規定される領域、つまりこの近傍測定点群を含む表面領域が表面欠陥として判定される。
。
まず、第1の形態の形状違い判定ルーチン(#16A)は、図14に示されている。型修正以前の金型で製作される測定対象物の目標形状は基準点群に基づいて設定することができる。また、型修正後の金型で製作された測定対象物における型修正箇所における測定点群と基準点群とのずれは同じ箇所に発生する。従って、上記欠陥判定ルーチンによって判定された欠陥のうち、連続して同じ箇所に発生している欠陥は、型修正による目標形状とのずれであり、欠陥とはみなさず、それらを区別するのが、この形状違い判定ルーチン(#16A)の主旨である。そのため、まず、前回の測定対象物で判定された欠陥の特徴量を読み出すとともに(#500)、今回の測定対象物で判定された欠陥の特徴量を読み出す(#501)。前回と今回との実質的に同じ位置での欠陥がもつ欠陥特徴量、例えば欠陥の重心、等価楕円長軸長、等価楕円長軸角度、フィレ径等から選択された特徴量の所定範囲内で一致しているかどうかチェックされる(#502)。一致であれば(#502Yes分岐)、その欠陥箇所は型修正箇所であると判定し(#503)、不一致であれば(#502No分岐)、その欠陥箇所は型修正箇所ではないと判定して(#504)、このルーチンを終了する。
この欠陥・型修正箇所判定ルーチン(#21)は、図16に示されている。まず、まず型修正前の基準点データから、対応点間距離しきい値を用いて対応点間距離がしきい値以上となる測定点群の集合体(特定測定点群)を誤対応領域として抽出する(#700)。抽出された誤対応領域は、図13で示した欠陥判定処理と同様な処理により、欠陥検出が行われ、欠陥が見出されると、欠陥情報:E1として欠陥情報格納部82に記録される(#705)。なお、ここでのステップ#701から#704までは、上記欠陥判定処理のステップ#401から#404に対応しているので、ここでの説明は省略される。
また、アルミダイキャストのような金型製品の場合、金型の磨耗により形状が変わっても、逐次正常な製品の測定点データを基準点データとして登録変更することできる。これにより、型修正などで型の形状が変わり、型修正前の製品と型修正後の製品が混在しても、型修正箇所と欠陥を区別する処理を導入することで、高い信頼性の物体形状評価が得られる。
(1)エッジ基準点データは予め生成して基準データ格納部に格納するのではなく、使用する時に、全基準点データからエッジ検出フィルタ処理などで生成してもよい。
(2)上記実施形態では、位置合わせアルゴリズムとして重み演算付きのICPアルゴリズムを採用していたが、一般的なICPアルゴリズムを採用してもよいし、その他の位置合わせアルゴリズムを採用しても良い。
(3)上記実施形態では、隣接点間距離重み係数は位置合わせルーチンにおいて算出していたが、この隣接点間距離重み係数を基準点群の隣接点間距離に基づいて求める場合、予め算定しておいてテーブル化しておくことで演算速度が高速化する。
(4)上記実施の形態では、判定条件として予め設定された多くのしきい値が用いられていたが、このしきい値を予め設定されたものではなく、測定対象物の表面形状あるいは測定結果の統計学的な特性からしきい値が算定されるような構成を採用してもよい。
(5)上記実施形態では、隣接点間距離重み係数:γiを求める重み関数:Γを隣接点間距離:diに応じて決定される二値関数としていたが、以下の(a) 、(b) 、(c)に列挙するような、その他の重み関数:Γを用いることも可能である。
なお、ここで、計測分解能で正規化された隣接点間距離を次のように定義しておく、
Di2=(xi/△x)2+(yi/△y)2+ (zi/△z)2
ここで、△x:x方向の計測分解能 △y:y方向の計測分解能 △z:z方向の計測分
解能である。
(a) γi=Γ(p) =1/p2、ここでp=di 2 またはp=Di 2
(b) γi=Γ(p) =1/p、ここでp=di 2 またはp=Di 2
(c) γi=Γ(p) =1/exp(p)、ここでp=di 2 またはp=Di 2
以上のように、種々の隣接点間距離重み係数:γiを用いることができる。
図20には、重み係数を用いない通常のM推定ICP(黒ダイヤプロット線)、上述した実施の形態で用いた二値化関数での重み係数(白抜き四角プロット線)、そして上記(a) 、(b) 、(c) を用いて行われた繰り返し位置合わせの比較演算結果が示されている。(a)の重み係数は隣接点間距離の2乗の逆数であり、白抜き三角プロット線で示され、(b)の重み係数は隣接点間距離の逆数であり、ペケプロット線で示され、(c)の重み係数はexp関数で示され、黒丸プロット線で示されている。なお、図20の横軸は、位置合わせの繰り返し回数を示し、縦軸は比較評価のための評価値としての対応点平均距離に対応する値を示している。この比較演算結果から、(a)の隣接点間距離重み係数が最も良い評価値となっており、位置合わせでの照合誤差が小さい。その際、p=di 2 でなくp=Di 2を、つまり計測分解能で正規化された隣接点間距離を用いると分解能の影響を受けずにさらに照合誤差が小さくなることが期待できる。
5:表面評価モジュール(形状評価手段)
6:欠陥評価モジュール(形状評価手段)
7:基準データ変更モジュール
8:データ格納部
81:基準データ格納部
82:欠陥情報格納部
83:型修正情報格納部
50:位置合わせ処理手段
52:エッジ検出部
Claims (5)
- 測定対象物の形状に対応する多数の測定点の位置情報を含む測定点データを入力する測定データ入力部と、前記測定対象物の基準形状に対応する多数の基準点の位置情報を含む基準点データを格納する基準データ格納部と、対応する測定点と基準点との間の距離を逐次収束させる逐次収束処理に基づいて前記測定点と前記基準点とを位置合わせする位置合わせ処理手段と、前記位置合わせ処理手段による位置合わせ処理後の前記測定点データと前記基準点データとに基づいて前記測定対象物の形状を評価する形状評価手段とを含み、
前記位置合わせ処理手段は、測定点データから前記測定対象物のエッジに対応するエッジ点を検出するエッジ検出部によって生成されたエッジ点群と、前記基準データ格納部に格納されている前記測定対象物のエッジのためのエッジ基準点データであるエッジ基準点群とを位置合わせするエッジ位置合わせを行い、当該エッジ位置合わせによって得られたエッジ合同変換パラメータを用いて前記測定点データ全体の測定点が前記基準点に向かう位置合わせを行い、
隣接する前記測定点の間の隣接点間距離又は隣接する前記基準点の間の隣接点間距離に基づいて隣接点間距離重み係数を決定する重み係数決定手段を有し、当該隣接点間距離重み係数を前記逐次収束処理における逐次収束評価値を求める際に用いる物体形状評価装置。 - 前記エッジ合同変換パラメータを用いた前記測定点の基準点に向かう位置合わせの後に、さらに前記測定点データ全体の測定点とこれに対応する基準点との位置合わせを行う請求項1に記載の物体形状評価装置。
- 前記重み係数決定手段は、対応する前記測定点と前記基準点との間の対応点間距離に基づいて対応点間距離重み係数を決定し、当該対応点間距離重み係数を前記位置合わせ処理手段が前記逐次収束処理における逐次収束評価値を求める際に用いる請求項1又は2に記載の物体形状評価装置。
- 前記隣接点間距離重み係数は前記基準点の隣接点間距離に基づいて決定される請求項3に記載の物体形状評価装置。
- 前記測定点データは、スリット光によって照射された前記測定対象物の撮影画像を処理することによって得られた距離画像から取り出された三次元位置データである請求項1から4のいずれか一項に記載の物体形状評価装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010024484A JP5445848B2 (ja) | 2010-02-05 | 2010-02-05 | 物体形状評価装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010024484A JP5445848B2 (ja) | 2010-02-05 | 2010-02-05 | 物体形状評価装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011163822A JP2011163822A (ja) | 2011-08-25 |
JP5445848B2 true JP5445848B2 (ja) | 2014-03-19 |
Family
ID=44594695
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010024484A Expired - Fee Related JP5445848B2 (ja) | 2010-02-05 | 2010-02-05 | 物体形状評価装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5445848B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5867787B2 (ja) * | 2012-03-23 | 2016-02-24 | アイシン精機株式会社 | 欠陥抽出装置および欠陥抽出方法 |
JP6384171B2 (ja) * | 2014-07-23 | 2018-09-05 | アイシン精機株式会社 | 欠陥抽出装置及び欠陥抽出方法 |
JP2016217941A (ja) * | 2015-05-22 | 2016-12-22 | 株式会社東芝 | 3次元データ評価装置、3次元データ測定システム、および3次元計測方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5715166A (en) * | 1992-03-02 | 1998-02-03 | General Motors Corporation | Apparatus for the registration of three-dimensional shapes |
JP3465988B2 (ja) * | 1994-04-27 | 2003-11-10 | 松下電器産業株式会社 | 動き及び奥行き推定方法及びその装置 |
JPH11214289A (ja) * | 1998-01-29 | 1999-08-06 | Nikon Corp | 位置計測方法、及び該方法を用いる露光方法 |
JP4306006B2 (ja) * | 1999-03-30 | 2009-07-29 | コニカミノルタセンシング株式会社 | 3次元データ入力方法及び装置 |
JP2001082951A (ja) * | 1999-09-16 | 2001-03-30 | Armonicos:Kk | 非接触計測点データ位置合わせ装置、非接触計測点データ位置合わせ方法及び記録媒体 |
JP2001143073A (ja) * | 1999-11-10 | 2001-05-25 | Nippon Telegr & Teleph Corp <Ntt> | 物体の位置姿勢決定の方法 |
JP2003344040A (ja) * | 2002-05-24 | 2003-12-03 | Canon Inc | 誤差配分方法 |
JP4622265B2 (ja) * | 2004-03-01 | 2011-02-02 | ソニー株式会社 | 動きベクトル検出装置、および動きベクトル検出方法、並びにプログラム |
JP2007101197A (ja) * | 2005-09-30 | 2007-04-19 | Nachi Fujikoshi Corp | 物体探索装置,物体探索装置を備えるロボットシステム及び物体探索方法 |
JP2008002848A (ja) * | 2006-06-20 | 2008-01-10 | Tateyama Machine Kk | 棒状回転工具の欠陥検査装置と欠陥検査方法 |
JP2008014691A (ja) * | 2006-07-04 | 2008-01-24 | Japan Aerospace Exploration Agency | ステレオ画像計測方法とそれを実施する装置 |
JP4952267B2 (ja) * | 2007-01-19 | 2012-06-13 | コニカミノルタホールディングス株式会社 | 3次元形状処理装置、3次元形状処理装置の制御方法、および3次元形状処理装置の制御プログラム |
JP4309439B2 (ja) * | 2007-03-30 | 2009-08-05 | ファナック株式会社 | 対象物取出装置 |
JP5252184B2 (ja) * | 2008-03-13 | 2013-07-31 | アイシン精機株式会社 | 凹凸表面検査装置 |
JP2009294753A (ja) * | 2008-06-03 | 2009-12-17 | Toyota Motor Corp | 画像処理装置および画像処理方法 |
JP5049246B2 (ja) * | 2008-10-29 | 2012-10-17 | アイシン精機株式会社 | 物体形状評価装置 |
-
2010
- 2010-02-05 JP JP2010024484A patent/JP5445848B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011163822A (ja) | 2011-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105571502B (zh) | 搅拌摩擦焊接中焊缝间隙的测量方法 | |
JP5049246B2 (ja) | 物体形状評価装置 | |
CN112815843B (zh) | 一种3d打印过程中工件表面打印偏差的在线监测方法 | |
JP5109598B2 (ja) | 物品検査方法 | |
JP5403367B2 (ja) | 物体形状評価装置 | |
US11982522B2 (en) | Three-dimensional measuring device | |
TW201415010A (zh) | 檢查裝置、檢查方法及檢查程式 | |
CN114241061A (zh) | 线结构光成像的标定方法、标定系统和标定靶及使用其的测量系统 | |
JP5049247B2 (ja) | 表面欠陥評価装置 | |
CN114964007A (zh) | 一种焊缝尺寸视觉测量与表面缺陷检测方法 | |
JP7353757B2 (ja) | アーチファクトを測定するための方法 | |
JP5445848B2 (ja) | 物体形状評価装置 | |
Zhang et al. | Seam sensing of multi-layer and multi-pass welding based on grid structured laser | |
JP2008014700A (ja) | ワークの検査方法及びワーク検査装置 | |
JP7393737B2 (ja) | 画像検査装置及び画像検査方法 | |
JP5136108B2 (ja) | 三次元形状計測方法および三次元形状計測装置 | |
JP2017173142A (ja) | 画像処理装置、画像処理方法およびミクロジョイント切断システム | |
TWI480508B (zh) | 物體位置資訊的量測方法及裝置 | |
JP7153514B2 (ja) | 三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ | |
WO2020217970A1 (ja) | ワイヤ形状測定装置及びワイヤ三次元画像生成方法並びにワイヤ形状測定方法 | |
JP6347169B2 (ja) | 欠陥抽出装置及び欠陥抽出方法 | |
US20240362771A1 (en) | Visual inspection device, visual inspection method, image generation device, and image generation method | |
JP5867787B2 (ja) | 欠陥抽出装置および欠陥抽出方法 | |
JP7381312B2 (ja) | 破断面検査装置及び破断面検査方法 | |
KR102222898B1 (ko) | 레이저를 이용한 가공품 검사 장치 및 검사 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131003 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131211 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5445848 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |