JP6992030B2 - 画像生成装置、画像生成方法およびプログラム - Google Patents
画像生成装置、画像生成方法およびプログラム Download PDFInfo
- Publication number
- JP6992030B2 JP6992030B2 JP2019182532A JP2019182532A JP6992030B2 JP 6992030 B2 JP6992030 B2 JP 6992030B2 JP 2019182532 A JP2019182532 A JP 2019182532A JP 2019182532 A JP2019182532 A JP 2019182532A JP 6992030 B2 JP6992030 B2 JP 6992030B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion contrast
- layer
- value
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
Description
被検眼の略同一位置を測定光で複数回走査することにより得た前記被検眼の複数の断層像データ間の対応する画素データを用いてモーションコントラスト値を算出する工程と、
前記モーションコントラスト値と閾値とを比較して得た比較結果に基づいて、前記閾値以下のモーションコントラスト値を無効化する工程と、
前記モーションコントラスト値が算出される前に前記複数の断層像データの位置合わせを行う工程と、
前記複数の断層像データの平均化画像を用いてセグメンテーション処理を行うことにより、複数の層境界を検出する工程と、
前記無効化が行われた後に、前記検出された複数の層境界に基づいて分類された複数の層のうち少なくとも一つの層と前記モーションコントラスト値とに基づいて、前記被検眼のモーションコントラスト正面画像を生成する工程と、
前記少なくとも一つの層におけるモーションコントラスト値のヒストグラムにおけるノイズの分布と血流領域の分布とに応じて自動的に設定された初期値であって、前記複数の層のうち少なくとも一つの層を決定するための検者からの指示に応じて自動的に変更された初期値から、検者からの指示に応じて前記閾値を変更する工程と、
前記決定された少なくとも一つの層と、前記変更されることにより得た閾値を用いて再度比較して得た比較結果とに基づいて、前記被検眼のモーションコントラスト正面画像を再度生成する工程と、を有する。
本実施形態では、後述する制御部143が撮影された3次元光干渉信号から断層画像を生成し、モーションコントラストを算出する。そして、制御部143は、部位の構造情報を用いてノイズ閾値を調整し、明瞭化された3次元血流部位情報を取得する例を示す。
図1は、本実施形態における光干渉断層法を用いた画像形成装置の構成例を示す図である。図1に示す装置は、光干渉断層信号を取得する光干渉断層取得部100と制御部143を備える。制御部143は、信号処理部144、信号取得制御部145、表示部146および表示制御部149を備えて構成される。信号処理部144は、さらに画像生成部147とマップ生成部148とを備える。ここで、制御部143は例えばコンピュータであり、コンピュータに備えられたCPUが不図示の記憶装置に記憶されたプログラムを実行することで信号処理部144、信号取得制御部145、画像生成部147、マップ生成部148および表示制御部149としてとして機能する。
OCT装置100の構成について説明する。
本装置全体を制御するための制御部143について説明する。
次に、図2を用いて本実施形態のスキャンパターンの一例を説明する。
ステップS101において、信号取得制御部145は光干渉断層像取得部100を制御し、光干渉断層信号を取得する。処理の詳細説明は後述する。ステップS102において、制御部143は表示情報を生成する。処理の詳細説明を、後述する。以上のステップを実施して、本実施形態の画像形成方法の処理の手順を終了する。
次に、図4を用いて本実施形態のステップS101の干渉信号取得の具体的な処理の手順を説明する。ステップS109において、信号取得制御部145は図2のポジションyiのインデックスiを1に設定する。ステップS110において、OCT装置はスキャン位置をyiに移動する。ステップS119において、信号取得制御部145は繰り返しBスキャンのインデックスjを1に設定する。ステップS120において、OCT装置はBスキャンを実施する。
ステップS139において、信号取得制御部145は繰り返しBスキャンのインデックスjをインクリメントする。
次に、図5を用いて本実施形態のステップS102の3次元血流部位情報生成の具体的な処理を説明する。
モーションコントラストの性質によって最適な平滑化処理は異なるが、例えば以下のようなものが考えられる。
上述の第1の実施形態では、検査者が深さ方向の表示範囲を直接選択する形態を示したが、撮像対象である被検眼の眼底は図11に示すように層構造を有することが広く知られている。また、深さ方向の網膜層ごとに血管密度が異なることを考慮すると、層ごとに血流部位検出のための閾値を可変にすることが好ましい。第1の実施形態では使用しなかった図5ステップS300はこの層構造をセグメンテーションする工程であり、本実施形態では6層を検出することが可能である。すなわち、ステップS300における処理は断層像データから層を検出する工程の一例に相当する。なお、検出する層の数は6層に限定されるものではない。ここで、6層の内訳は、(1)神経線維層(NFL) 、(2)神経節細胞層(GCL)+内網状層(IPL)を合わせた層、(3)内顆粒層(INL)+外網状層(OPL) を合わせた層、(4)外顆粒層(ONL)+外境界膜(ELM)を合わせた層、(5)Ellipsoid Zone(EZ) + Interdigitation Zone(IZ)+ 網膜色素上皮(RPE)を合わせた層、(6)脈絡膜(Choroid)である。
第2の実施形態においては、3次元血流部位情報の明瞭化のために部位構造情報として輝度情報に基づいて算出されたセグメンテーション結果を用いた例を説明した。一方、本実施形態では、部位構造情報として光干渉断層の偏光情報を用いた部位構造情報取得の例を説明する。
偏光OCT装置800の構成について説明する。
ディテクタ841および842はいずれも差動検出器となっており、位相が180°反転した二つの干渉信号が入力すると、直流成分を除去し、干渉成分のみを出力する。
本装置全体を制御するための制御部143について説明する。
次に、信号処理部144における画像生成について説明する。信号処理部144はディテクタ841、842から出力された干渉信号に対して、画像生成部147において一般的な再構成処理を行う。この処理により、信号処理部144は、各偏光成分に基づいた2つの断層画像である、H偏光成分に対応する断層画像と、V偏光成分に対応する断層画像を生成する。
画像生成部147は、前述した2つの断層信号から輝度画像を生成する。輝度画像は従来のOCTにおける断層画像と基本的に同じもので(第1実施形態のステップS250と同様)、その画素値rはディテクタ141、142から得られるH偏光成分の断層信号AHおよびV偏光成分の断層信号AVから式1によって計算される。
<DOPU画像生成>
画像生成部147は、取得した断層信号AH、AVとそれらの間の位相差ΔΦから、各画素毎にストークスベクトルSを式2により計算する。
画像生成部147は、取得した断層信号AH、AVとそれらの間の位相差ΔΦから、各画素毎にストークスベクトルSを式2により計算する。
次に、本実施形態の画像形成方法の具体的な処理の手順を説明する。本実施形態での基本的な処理フローは、第1実施形態の処理フローと同じであるため、概要説明を省略する。ただし、ステップS250、ステップS300、ステップS320の詳細処理が異なるため、それぞれに対応する本実施形のステップS250A、ステップS300A、ステップS320Aについて、以下に詳細説明をする。
第3の実施形態においては、部位構造情報として光干渉断層の偏光情報を用いたRPEの構造情報取得の例を説明したが、本実施形態では、RNFLの構造情報取得の例を説明する。
画像生成部147は、互いに直行する偏光成分の断層画像からリターデーション画像を生成する。
信号処理部144は、複数のBスキャン像に対して得たリターデーション(Retardation)画像からリターデーションマップを生成する。
<複屈折マップ生成>
画像生成部147は、先に生成されたリターデーション画像の各Aスキャン画像において、ILMから網膜神経線維層(RNFL)の範囲でリターデーションδの値を線形近似し、その傾きを当該Aスキャン画像の網膜上の位置における複屈折として決定する。この処理を取得した全てのリターデーション画像に対して行うことで、複屈折を表すマップを生成する。そして、マップ生成部148は複屈折値を用いて、RNFLのセグメンテーションを行う。
次に、本実施形態の画像形成方法の具体的な処理の手順を説明する。本実施形態での基本的な処理フローは、第2の実施形態の処理フローと同じであるため、概要説明を省略する。ただし、ステップS250A、ステップS300A、ステップS320Aの詳細処理が異なるため、それぞれに対応する本実施形のステップS250B、ステップS300B、ステップS320Bについて、以下に詳細説明をする。
以上、実施例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
144 信号処理部
145 信号取得制御部
146 表示部
147 画像生成部
148 マップ生成部
149 表示制御部
Claims (18)
- 被検眼の略同一位置を測定光で複数回走査することにより得た前記被検眼の複数の断層像データ間の対応する画素データを用いてモーションコントラスト値を算出する工程と、
前記モーションコントラスト値と閾値とを比較して得た比較結果に基づいて、前記閾値以下のモーションコントラスト値を無効化する工程と、
前記モーションコントラスト値が算出される前に前記複数の断層像データの位置合わせを行う工程と、
前記複数の断層像データの平均化画像を用いてセグメンテーション処理を行うことにより、複数の層境界を検出する工程と、
前記無効化が行われた後に、前記検出された複数の層境界に基づいて分類された複数の層のうち少なくとも一つの層と前記モーションコントラスト値とに基づいて、前記被検眼のモーションコントラスト正面画像を生成する工程と、
前記少なくとも一つの層におけるモーションコントラスト値のヒストグラムにおけるノイズの分布と血流領域の分布とに応じて自動的に設定された初期値であって、前記複数の層のうち少なくとも一つの層を決定するための検者からの指示に応じて自動的に変更された初期値から、検者からの指示に応じて前記閾値を変更する工程と、
前記決定された少なくとも一つの層と、前記変更されることにより得た閾値を用いて再度比較して得た比較結果とに基づいて、前記被検眼のモーションコントラスト正面画像を再度生成する工程と、
を有することを特徴とする画像生成方法。 - 前記算出する工程は、モーションコントラスト値を前記算出に用いた複数の断層像データの対応する画素データの平均値を用いて正規化する工程をさらに有することを特徴とする請求項1に記載の画像生成方法。
- 前記検出された複数の層境界の少なくとも一つに基づいて、前記モーションコントラスト正面画像の深さ方向の表示範囲を設定する工程と、
前記設定された表示範囲に基づいて生成された前記モーションコントラスト正面画像を表示する工程と、を更に有し、
前記表示範囲の変更に応じて表示される前記モーションコントラスト正面画像が更新されることを特徴とする請求項1または2に記載の画像生成方法。 - 前記表示範囲を設定する工程は、前記検者からの指示に応じて前記設定された表示範囲を変更可能であり、該設定が可能な表示範囲を深さ方向の所定の幅に制限可能であることを特徴とする請求項3に記載の画像生成方法。
- 前記表示範囲を設定する工程は、前記分類された複数の層から任意の層を選択可能であるとともに、選択可能な層の数を制限可能であることを特徴とする請求項3または4に記載の画像生成方法。
- 前記閾値の変更に応じて、前記再度生成する工程と前記表示する工程とが繰返し実行されることを特徴とする請求項3乃至5の何れか1項に記載の画像生成方法。
- 前記表示範囲を設定する工程は、網膜上部層または網膜下部層の選択が可能であり、神経線維層(NFL)、神経節細胞層(GCL)、内網状層(IPL)、内顆粒層(INL)、外網状層(OPL)、外顆粒層(ONL)、外境界膜(ELM)のいずれかが選択された場合、少なくともEllipsoid Zone(EZ)、Interdigitation Zone(IZ)、RPE層および脈絡膜の1つを選択不能とし、内顆粒層(INL)、外網状層(OPL)、外顆粒層(ONL)、外境界膜(ELM)、Ellipsoid Zone(EZ)、Interdigitation Zone(IZ)、網膜色素上皮(RPE)層、脈絡膜のいずれかが選択された場合、少なくとも神経線維層(NFL)、神経節細胞層(GCL)、内網状層(IPL)、内顆粒層(INL)、外網状層(OPL)、外顆粒層(ONL)および外境界膜(ELM)の1つを選択不能とすることを特徴とする請求項3乃至6の何れか1項に記載の画像生成方法。
- 前記表示する工程において、前記表示されるモーションコントラスト正面画像上で指定された位置に対応する位置の断層像を3次元モーションコントラストから選択または生成して表示することを特徴とする請求項3乃至7の何れか1項に記載の画像生成方法。
- 前記複数の層の位置を示す情報が重畳された前記位置合わせが行われた複数の断層像データの平均化画像と、前記平均化画像に対応する前記略同一位置を示す情報が重畳された前記モーションコントラスト正面画像と、前記閾値の変更を受け付けるための情報とを並べて表示手段に表示させる工程を更に有し、
前記複数の層境界は、前記平均化画像を用いてセグメンテーション処理を行うことにより検出されることを特徴とする請求項1乃至8の何れか1項に記載の画像生成方法。 - 前記複数の断層データは、前記被検眼の動きに追従しながら前記略同一位置を前記測定光で複数回走査することにより得られることを特徴とする請求項1乃至9の何れか1項に記載の画像生成方法。
- 前記閾値の初期値は、前記閾値と比較されるモーションコントラスト値に対応する画像の周辺画素のモーションコントラスト値に基づいて決定されることを特徴とする請求項1乃至10の何れか1項に記載の画像生成方法。
- 所定領域のモーションコントラスト値のヒストグラムからモーション領域と非モーション領域を推定し、前記モーション領域のヒストグラムおよび前記非モーション領域のヒストグラムから前記閾値の初期値を決定する請求項1乃至11の何れか1項に記載の画像生成方法。
- 前記複数の断層像データは、前記被検眼の眼底の略同一位置を測定光で複数回走査することにより得られることを特徴とする請求項1乃至12の何れか1項に記載の画像生成方法。
- 前記少なくとも一つの断層像データを用いて得た画像は、偏光OCT画像であり、
前記偏光OCT画像を用いて前記セグメンテーションが行われ、
前記モーションコントラスト値を算出するための断層像データと共通の断層像データを用いて得た偏光情報を用いて偏光情報を示すマップが生成されることを特徴とする請求項1乃至13の何れか1項に記載の画像生成方法。 - 前記被検眼の眼底表面画像の運動解析に応じて、前記測定光が略同一位置を走査する回数が決定されることを特徴とする請求項1乃至14の何れか1項に記載の画像生成方法。
- 請求項1乃至15の何れか1項に記載の画像生成方法をコンピュータに実行させることを特徴とするプログラム。
- 被検眼の略同一位置を測定光で複数回走査することにより得た前記被検眼の複数の断層像データ間の対応する画素データを用いてモーションコントラスト値を算出する算出手段と、
前記モーションコントラスト値と閾値とを比較して得た比較結果に基づいて、前記閾値以下のモーションコントラスト値を無効化する無効化手段と、
前記モーションコントラスト値が算出される前に前記複数の断層像データの位置合わせを行う位置合わせ手段と、
前記複数の断層像データの平均化画像を用いてセグメンテーション処理を行うことにより、複数の層境界を検出する検出手段と、
前記無効化が行われた後に、前記検出された複数の層境界に基づいて分類された複数の層のうち少なくとも一つの層と前記モーションコントラスト値とに基づいて、前記被検眼のモーションコントラスト正面画像を生成する生成手段と、
前記少なくとも一つの層におけるモーションコントラスト値のヒストグラムにおけるノイズの分布と血流領域の分布とに応じて自動的に設定された初期値であって、前記複数の層のうち少なくとも一つの層を決定するための検者からの指示に応じて自動的に変更された初期値から、検者からの指示に応じて前記閾値を変更する変更手段と、を備え、
前記生成手段は、前記決定された少なくとも一つの層と、前記変更されることにより得た閾値を用いて再度比較して得た比較結果とに基づいて、前記被検眼のモーションコントラスト正面画像を再度生成することを特徴とする画像生成装置。 - 請求項17に記載の画像生成装置と、
前記被検眼を測定光で走査するための走査手段と、前記測定光を照射した前記被検眼からの戻り光と参照光との干渉光を検出する光検出手段とを有する光干渉断層撮像装置と、
を備えることを特徴とするシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019182532A JP6992030B2 (ja) | 2019-10-02 | 2019-10-02 | 画像生成装置、画像生成方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019182532A JP6992030B2 (ja) | 2019-10-02 | 2019-10-02 | 画像生成装置、画像生成方法およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015094339A Division JP6598502B2 (ja) | 2015-05-01 | 2015-05-01 | 画像生成装置、画像生成方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019217388A JP2019217388A (ja) | 2019-12-26 |
JP6992030B2 true JP6992030B2 (ja) | 2022-01-13 |
Family
ID=69094975
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019182532A Active JP6992030B2 (ja) | 2019-10-02 | 2019-10-02 | 画像生成装置、画像生成方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6992030B2 (ja) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003052634A (ja) | 2001-08-10 | 2003-02-25 | Matsushita Electric Works Ltd | 瞳孔縁抽出方法及びその装置並びに瞳孔縁抽出プログラム |
JP2009523563A (ja) | 2006-01-19 | 2009-06-25 | オプトビュー,インコーポレーテッド | 眼を光コヒーレンス断層撮影によって検査する方法 |
JP2013144048A (ja) | 2012-01-16 | 2013-07-25 | Canon Inc | 眼科撮像装置およびその制御方法 |
JP2013148482A (ja) | 2012-01-19 | 2013-08-01 | Nidek Co Ltd | 光コヒーレンストモグラフィー装置 |
WO2013167641A1 (en) | 2012-05-10 | 2013-11-14 | Carl Zeiss Meditec Ag | Analysis and visualization of oct angiography data |
JP2014061085A (ja) | 2012-09-20 | 2014-04-10 | National Institute Of Advanced Industrial & Technology | 瞳孔部分を近似する楕円の検出を行う方法 |
US20140160487A1 (en) | 2012-12-10 | 2014-06-12 | The Johns Hopkins University | Real-time 3d and 4d fourier domain doppler optical coherence tomography system |
US20140221827A1 (en) | 2011-06-07 | 2014-08-07 | California Institute Of Technology | Enhanced optical angiography using intensity contrast and phase contrast imaging methods |
JP2015511146A (ja) | 2012-02-03 | 2015-04-16 | オレゴン ヘルス アンド サイエンス ユニバーシティ | 生体内の光学的流れイメージング |
JP2016209198A (ja) | 2015-05-01 | 2016-12-15 | キヤノン株式会社 | 画像生成装置、画像生成方法およびプログラム |
-
2019
- 2019-10-02 JP JP2019182532A patent/JP6992030B2/ja active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003052634A (ja) | 2001-08-10 | 2003-02-25 | Matsushita Electric Works Ltd | 瞳孔縁抽出方法及びその装置並びに瞳孔縁抽出プログラム |
JP2009523563A (ja) | 2006-01-19 | 2009-06-25 | オプトビュー,インコーポレーテッド | 眼を光コヒーレンス断層撮影によって検査する方法 |
US20140221827A1 (en) | 2011-06-07 | 2014-08-07 | California Institute Of Technology | Enhanced optical angiography using intensity contrast and phase contrast imaging methods |
JP2013144048A (ja) | 2012-01-16 | 2013-07-25 | Canon Inc | 眼科撮像装置およびその制御方法 |
JP2013148482A (ja) | 2012-01-19 | 2013-08-01 | Nidek Co Ltd | 光コヒーレンストモグラフィー装置 |
JP2015511146A (ja) | 2012-02-03 | 2015-04-16 | オレゴン ヘルス アンド サイエンス ユニバーシティ | 生体内の光学的流れイメージング |
WO2013167641A1 (en) | 2012-05-10 | 2013-11-14 | Carl Zeiss Meditec Ag | Analysis and visualization of oct angiography data |
JP2014061085A (ja) | 2012-09-20 | 2014-04-10 | National Institute Of Advanced Industrial & Technology | 瞳孔部分を近似する楕円の検出を行う方法 |
US20140160487A1 (en) | 2012-12-10 | 2014-06-12 | The Johns Hopkins University | Real-time 3d and 4d fourier domain doppler optical coherence tomography system |
JP2016209198A (ja) | 2015-05-01 | 2016-12-15 | キヤノン株式会社 | 画像生成装置、画像生成方法およびプログラム |
JP6598502B2 (ja) | 2015-05-01 | 2019-10-30 | キヤノン株式会社 | 画像生成装置、画像生成方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2019217388A (ja) | 2019-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6598502B2 (ja) | 画像生成装置、画像生成方法およびプログラム | |
US10660515B2 (en) | Image display method of providing diagnosis information using three-dimensional tomographic data | |
JP6843521B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6598503B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP6632267B2 (ja) | 眼科装置、表示制御方法およびプログラム | |
JP6702764B2 (ja) | 光干渉断層データの処理方法、該方法を実行するためのプログラム、及び処理装置 | |
JP6602108B2 (ja) | 眼科装置、情報処理方法及びプログラム | |
JP7387812B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6682291B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6849776B2 (ja) | 情報処理装置及び情報処理方法 | |
JP7009265B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2016110917A1 (en) | Image processing apparatus and image processing method for polarization-sensitive optical coherence tomography | |
JP2017079886A (ja) | 血流計測装置 | |
JP2020039430A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7246862B2 (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム | |
JP6992030B2 (ja) | 画像生成装置、画像生成方法およびプログラム | |
JP2017202369A (ja) | 眼科画像処理装置 | |
JP2018191761A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6849780B2 (ja) | 眼科装置、表示制御方法およびプログラム | |
JP6992031B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP2021087817A (ja) | 画像処理装置及び画像処理方法 | |
JP2023128334A (ja) | 情報処理装置、光コヒーレンストモグラフィ装置、情報処理方法、及びプログラム | |
JP2024099210A (ja) | 光コヒーレンストモグラフィ装置、その制御方法、及びプログラム | |
JP2017131551A (ja) | 画像処理装置及び画像処理方法 | |
JP2017144047A (ja) | 撮影装置及びその駆動方法、並びに、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191025 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191025 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200917 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201013 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210420 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210604 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211208 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6992030 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |