[go: up one dir, main page]

JP2021524976A - カラーバーコード及びその色補正方法 - Google Patents

カラーバーコード及びその色補正方法 Download PDF

Info

Publication number
JP2021524976A
JP2021524976A JP2021512979A JP2021512979A JP2021524976A JP 2021524976 A JP2021524976 A JP 2021524976A JP 2021512979 A JP2021512979 A JP 2021512979A JP 2021512979 A JP2021512979 A JP 2021512979A JP 2021524976 A JP2021524976 A JP 2021524976A
Authority
JP
Japan
Prior art keywords
color
patch
barcode
area
white
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021512979A
Other languages
English (en)
Other versions
JP7290294B2 (ja
Inventor
▲デン▼立邦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Matview Intelligent Science & Technology Co Ltd
Original Assignee
Guangdong Matview Intelligent Science & Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Matview Intelligent Science & Technology Co Ltd filed Critical Guangdong Matview Intelligent Science & Technology Co Ltd
Publication of JP2021524976A publication Critical patent/JP2021524976A/ja
Application granted granted Critical
Publication of JP7290294B2 publication Critical patent/JP7290294B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06018Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
    • G06K19/06028Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding using bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046Constructional details
    • G06K19/0614Constructional details the marking being selective to wavelength, e.g. color barcode or barcodes only visible under UV or IR
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14131D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1439Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/146Methods for optical code recognition the method including quality enhancement steps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6077Colour balance, e.g. colour cast correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/626Detection of non-electronic marks, e.g. fluorescent markers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本発明は、順次配列されているスタート領域、データ領域及びチェック領域を含み、前記スタート領域は、カラーバーコードの開始位置を表すスタート色パッチを含み、前記データ領域は、カラーバーコードの符号化データを表すデータ色パッチを含み、前記チェック領域は、カラーバーコードの終了位置を表すチェック色パッチを含むカラーバーコードを開示し、前記スタート色パッチは、開始位置にある第1色パッチと、白色パッチである第2色パッチとを含む。本発明は、さらに、カラーバーコードの色補正方法及びコンピュータ読取可能な記憶媒体を提供する。本発明のカラーバーコードの色補正方法は、現在の画像情報中の白色パッチを取得してカラーバーコードの色を補正することにより、カラーバーコードの認識精度を向上させる。【選択図】図3

Description

本発明は、バーコード認識の技術分野に関し、特に、カラーバーコード及びその色補正方法に関する。
従来のバーコード技術は、符号化、印刷、認識、データ収集及び処理を一体化した技術であり、商品流通、図書管理、郵便管理などの多くの分野で非常に広く使用されている。また、小売業や消費市場の急速な拡大及び発展に伴い、ラベルやバーコードを必要とする場合が多くなる。
従来のバーコードは、幅の異なる複数のバーとスペース及びそれらに対応する文字を特定の符号化規則に従って配列して構成された図形標識であり、1組の情報を表現するために用いられる。バーコードのバー及びスペースで表す情報と、それらに対応する文字で表す情報とは同じであり、主に、バーとスペースの幅によって異なる定義の数字を表す。
従来のバーコードは、専用の読み取り装置を介してバーとスペースとの境界及び幅を識別することによって読み取りを行う必要があり、バーとスペースとの色コントラストが大きいほど良いため、大きい色コントラストが要求される。従って、背景を白色、バーを黒色とするのが理想的な色の組み合わせとなり、同時に、スキャン装置の感度や距離による影響も大きい。
バーコード中の対応する文字は、通常、1組のアラビア数字で構成されており、利用者が直接認識したり、データとしてキーボードを通じてコンピュータに入力したりするためのものであり、しかし、人による認識が間違いやすく、認識と入力の速度も遅く、効率が低い。また、従来のバーコードは、専用のスキャン装置や1つずつ手動スキャンして読み取って入力することが必要であるので、処理効率が低い。
従来技術の欠点を克服するために、本発明の第1目的は、カラーバーコードのホワイトバランス補正という技術的課題を解決できるカラーバーコードを提供することである。
本発明の第2目的は、カラーバーコードのホワイトバランス補正という技術的課題を解決できるカラーバーコードの色補正方法を提供することである。
本発明の第3の目的は、カラーバーコードのホワイトバランス補正という技術的課題を解決できるコンピュータ読取可能な記憶媒体を提供することである。
本発明の第1目的は、以下の技術的解決手段によって達成される。
本発明に係るカラーバーコードは、順次配列されているスタート領域、データ領域及びチェック領域を含み、前記スタート領域は、カラーバーコードの開始位置を表すスタート色パッチを含み、前記データ領域は、カラーバーコードの符号化データを表すデータ色パッチを含み、前記チェック領域は、カラーバーコードの終了位置を表すチェック色パッチを含むカラーバーコードであって、
前記スタート色パッチは、開始位置にある第1色パッチと、白色パッチである第2色パッチとを含む。
さらに、前記第1色パッチの数は2個であり、前記第1色パッチ及び前記第2色パッチは、第1色パッチ、第2色パッチ、第1色パッチという順で接続されてスタート色パッチを形成する。
さらに、前記第1色パッチは黒色パッチであり、前記第2色パッチの占める面積は、スタート色パッチの占める面積の50%である。
さらに、前記データ色パッチの符号化色は、対応する文字に対応つけられている。
さらに、前記文字は数字であり、数字0〜9の全ての数字が対応する符号化色に1対1で対応つけられることにより、前記数字が符号化色で表示される。
本発明の第2目的は、下記技術的解決手段によって達成される。
本発明に係るカラーバーコードの色補正方法は、
現在の画像情報を取得する画像取得ステップと、
現在の画像情報中の白色パッチを取得する枠選択ステップと、
白色パッチの色の平均値を算出し、現在の画像情報中のカラーバーコードに対してホワイトバランス補正を行うホワイトバランス補正ステップと、を含む。
さらに、前記現在の画像情報は、白色パッチを含むカラーバーコードを含み、
前記枠選択ステップは、具体的には、
カラーバーコードのスタート領域を枠選択するサブステップと、
スタート領域内のスタート色パッチに基づいて白色パッチを位置決めするサブステップと、を含む。
さらに、前記ホワイトバランス補正ステップは、具体的には、
白色パッチの各色チャンネルの輝度値の平均値Ravew、Gavew、Bavewを計算するサブステップと、
白色パッチの各色チャンネルのゲイン値を下記のゲイン式により計算するサブステップと、
Figure 2021524976
(ただし、Ymaxは、YCbCr色空間におけるY成分のカラーバーコード画像における最大値であり、Rgain、Ggain、及びBgainは、それぞれRチャネル、Gチャネル及びBチャネルのゲイン値である。)
カラーバーコードにおける補正後の各色チャンネルの色値R'、G'及びB'を下記のホワイトバランス式により計算するサブステップと、を含む。
Figure 2021524976
(ただし、R、G及びBは現在の色空間における値である。)
さらに、ホワイトバランス補正ステップの後に、
補正後のカラーバーコードにおける各データ色パッチの符号化色の平均値を抽出し、各データ色パッチのHSB色空間に基づく色情報を取得する色取得ステップと、
取得した各データ色パッチのHSB色空間に基づく色情報及びバーコード符号化規則に基づいてカラーバーコードの認識結果を取得するバーコード認識ステップと、をさらに含む。
また、本発明の第3目的は、下記技術的解決手段によって達成される。
本発明に係るコンピュータプログラムが記憶されたコンピュータ読取可能な記憶媒体は、
前記コンピュータプログラムがプロセッサによって実行される時、本発明の第2目的のいずれか1項に記載のカラーバーコードの色補正方法を実現する。
従来技術に比べて、本発明の有益な効果は次の通りである。
本発明のカラーバーコードの色補正方法は、現在の画像情報中の白色パッチを取得してカラーバーコードの色を補正することにより、カラーバーコードの認識精度を向上させる。
実施例1のカラーバーコードの概略図である。 実施例1のカラーバーコードの表示効果図である。 実施例3のカラーバーコードの色補正方法のフローチャートである。
以下、図面及び具体的な実施形態を参照しながら、本発明をさらに説明する。なお、矛盾しない限り、以下の説明における各実施例、又は各技術的特徴を任意に組み合わせて新たな実施例を形成することができる。
実施例1
図1に示すように、本実施例は、順次配列されているスタート領域、データ領域及びチェック領域を含むカラーバーコードを提供し、前記スタート領域は、カラーバーコードの開始位置を表すスタート色パッチを含み、前記スタート色パッチは、開始位置にある第1色パッチと、白色パッチである第2色パッチとを含む。白色パッチは、主に色補正のために設置されるが、より良い効果を実現するために、抽出される白色には十分な正確さが求められており、そのため、前記第1色パッチの数は2個であり、前記第1色パッチ及び前記第2色パッチは、第1色パッチ、第2色パッチ、第1色パッチという順で接続されてスタート色パッチを形成する。前記第1色パッチは黒色パッチであり、前記第2色パッチの占める面積は、スタート色パッチの占める面積の50%である。この第1色パッチの色は、赤色、青色などであってもよいが、これらの色のコントラストが黒色ほど強くないので、黒色を用いることが最も好ましい。
スタート領域:バーコードの第1桁の文字は、この文字が認識されたときにコード内容の正式な読み取りを開始するように読取装置に提示するためのものである。同時に、スタート領域は、バーコードの色補正にも使用され、特別に定義された色パッチと色値との組み合わせで表示される。色補正を容易にするために、本発明の比率スタート領域内のスタート色パッチは、黒色+白色+黒色の組み合わせの色パッチの形態で定義される。白色領域は、色補正の基準領域であり、その位置及び黒色領域に対する比率の大きさが一定であり、隣接する2つの黒色領域は、白色領域がより正確に位置決めされるように補助するためのものである。白色領域は、色パッチ全体の面積の50%を占め、それに隣接する2つの黒色領域は、それぞれ25%を占めているが、これらの割合に限定されず他の割合で比較することもできる。バーコードを認識する際に、各バーコードの正確な値を判断する必要がある。認識時の参照色領域として使用される白色の基準領域は、ピクセルレベルでの正確な切り抜きが必要であるため、白色領域の両側に隣接する領域として黒色のものを選択すると、黒色と白色の色差が最も強いので、それらの境界がより正確に認識され判断されることができ、このように設置することにより、基準領域が正確に位置決めされることができ、色判断の精度を確保する。
前記データ領域は、カラーバーコードの符号化データを表すデータ色パッチを含む。データ領域は、バーコードの主な内容であり、各種の数字、アルファベットに対応するように、符号化規則に従って各種の色値が設定された色パッチの組み合わせであり、バーコードを印刷する際に、対応する色パッチで表す数字又はアルファベット文字を表示するか否かを必要に応じて設定することができる。使用の際に、0〜9の数字の組み合わせを用いてバーコード符号化を行い、各数字のそれぞれに対応するように特定の色値を設定する。符号化規則は、適用される業界と物品の類別、ユーザーのニーズに基づいて制定される。
前記0〜9の数字は、符号化用の色のうち、ダークブルー、シアングリーン、パープル、イエロー、レッド、ピンク、オレンジ、ライトブルー、ブラウン、及びダークグリーンに1対1で対応するが、これは、その一実施形態に過ぎず、他の異なる色組み合わせで表示してもよい。しかし、色を選択する際には、できるだけ見分けしやすい色を選択し、カラーバーコードの開始及び終了の標識は、黒色(又は他の特定の色)と数字に対応する色値とが半々である形態であってもよい。カラーバーは、一定の幅を有するものであるため、黒色と数字に対応する色値とがそれぞれ半分の幅を占める形態で開始及び終了の標識を構成すると、判断しやすいので、黒色と数字に対応する色がそれぞれ半々の幅を占める矩形を用いて操作することが好ましい。カメラで撮影された画像には外部光源によって色差が発生しやすいため、より好ましくは、種類がより少ない色を選択する。そのため、10個の数字を10色で表すと、精度が大幅に向上する。実際の応用の場合、符号化の必要に応じて、アルファベットに対応するように色差の大きい色値を拡張として選択することも可能である。これにより、別の点から、認識の正確性を確保することができる。
前記チェック領域は、カラーバーコードの終了位置を表すチェック色パッチを含み、チェック領域は、特殊な構造を有し、バーコードの最後の文字であり、終了文字でもある。チェック領域は、すべてのバーコードがスキャンされたことをスキャン装置に通知し、チェック規則に従って読み取ったデータが正しいか否かをチェックすることを開始させるためのものである。チェック規則は、符号化規則に従って制定される。
図書館に適用される場合、0〜9という10個の数字の組み合わせで符号化して図書を分類管理して保管する。その符号化規則は次の通りである。
図書館のシナリオでは、数字9と、それに対応して使用された固定の黒色と数字9の色値との組み合わせとを用いてバーコードの第1桁のスタート領域とする。バーコードの第2桁、第3桁は各分館に対応し、第4桁、第5桁は図書の分類に対応し、第6桁、第7桁、第8桁、第9桁は図書保管本棚及び本棚上の保管位置のシーケンスに対応する。
第2〜9桁は、0〜9のいずれかの数字を図書管理保管規則に従って組み合わせて符号化し、符号化規則に従って指定された色値の、同一形状、同一幅及び大きさを有する色パッチを用いて表示する。もちろん、様々に変化した形状を有する色パッチを用いて表示することも可能であり、符号化規則に従った色値に対応つけられればよい。
第10桁は、チェック領域3である。第10桁は、前の9桁のバーコードの数値とチェック規則から算出され、かつ特定の黒色パッチとチェック領域3に対応する色値との組み合わせとして表示される。第10桁は、ここまで読み取ると認識が終了してチェックを開始するという旨をバーコードスキャン装置に提示するためのものである。
図書の側面には、番号が「901033584?」であるバーコードが貼られており、ここで、「9」はこの部品が図書という種類の物品に属することを示し、「01」はこの図書が保管されている分館に対応し、「03」は図書の分類を示し、「3584」は図書が保管されている本棚と保管位置のシーケンスを示し、「?」はチェック規則に従って算出されたものである。
バーコードの各桁、表す情報、及びチェックコードの計算方式は、下記の表1に示される。
Figure 2021524976
図書館でスキャン装置のカメラにより、スタート領域において5、或いは9以外の数字又はアルファベットに対応する色値及び色パッチのバーコードの組み合わせを読み取った場合、その物品は図書に属せず、誤って保管されていると判断し、取り外す必要があることを提示する。上記認識規則以外にも、チェック目的を達成できれば、他の認識方式を用いて判断してもよい。
本発明のカラーバーコードは、主に上記のいくつかの特徴によって表され、スタート領域、データ領域、及びチェック領域などの特徴のほかに、カラーバーコードの開始及び終了を表すための静止領域(quiet zone)をさらに含む。静止領域は、主にバーコード情報が正確に認識され、隣接する2つのバーコードが読取装置によって容易に区別されるようにするためのものであり、この領域とは、主にスタート領域の前の空白部分及びチェック領域の後の空白部分を指す。
上記各領域内の文字は、いずれも規則に従って指定された色パッチを使用して対応情報を表示しており、各文字の色パッチの大きさ、形状は一致してもよく、色パッチの形状は異なってもよく、カメラが一定の距離範囲内でバーコードにおける各種の色の組み合わせによる画像を明確に撮影できればよい。
一方、図2に示すバーコードをスキャンする時、スキャン結果に基づいて図書の類別、保管場所及び保管本棚、本棚上の具体的な位置を判断することができ、それにより、図書の分類管理保管が容易になる。図書の管理保管のほか、本発明の方法は、倉庫貨物、郵便速達の保管管理などの分野にも適用できる。
本発明が提供するカラーバーコードでは、各バーコードに含まれる「バー」の幅と形状は同じであってもよく、各バーに対応する数字は「バー」の色値で定義される。従来のバーコードでは、特有のスキャン装置しか認識できず、しかも毎回1種しか認識できないため、認識効率がある程度低下し、一方、本発明のバーコードは、カメラや通常の撮影装置で一括して読み取ることができ、データ処理効率が高く、専用のスキャン装置を必要とせず、使用がより便利になる。本発明のバーコードの認識は、色値に基づいて行われ、かつ、各バーコードは対応する開始位置と終了位置を有しているので、認識装置がより容易に区別することができ、これにより、大量でスキャンして認識することが可能になる。本実施例のカラーバーコードは、図書の管理保管に加えて、倉庫貨物、郵便速達の保管管理などの分野にも適用できる。
また、本バーコードは、色パッチで情報の読み取りと認識を実現するため、物品の幅にもかかわらず利用できる。従来のバーコードの場合、バーとスペースの異なる幅により対応する情報を表す必要があるため、スキャナーでスキャンして読み取るにはバーコードを広い面積と幅を有する物品に貼り付ける必要があるという欠点を有し、これに対し、本発明のバーコードは、細長い物品に適用することができ、上記欠点を克服し、応用範囲が広くなる。そして、本実施例は、色補正を設定することで、より高い認識精度が得られる。
実施例2
実施例1のように数字で符号化する方式に加えて、アルファベット26文字と組み合わせて符号化してもよい。アルファベット26文字を追加する場合、データチェックを行うために、26文字のそれぞれについて対応する数字を設定する必要がある。例えば、11〜36の数字を26文字に順次対応させ、文字ごとに、特定の色値を設定する。26文字に対応する具体的な数値を設定するのは、設定された符号化規則に従ってチェック領域を設置してバーコードのチェックを行うことを容易にするためである。色補正を設定することにより、より良好な認識精度が得られるため、より多くの色まで拡張すると、その認識精度も大幅に向上する。
アルファベット文字と数字との対応関係は、次の表2に示される。
Figure 2021524976
色値は、使用時に対応するアルファベット文字によって指定され、指定後は固定して使用され、勝手に変更することはできない。
実施例3
図3に示すように、本実施例は、ステップS1〜S5を含むカラーバーコードの色補正方法を提供する。
S1:現在の画像情報を取得する。ホワイトバランス補正を行うためのキーは、白色で色補正を行うことにあり、ここで、白色を取得する形態は2種類あり、1つはカラーバーコードに白色パッチが直接含まれていることであり、もう1つは白色パッチがカラーバーコードから独立した補助として認識されることである。本実施例では、カラーバーコードに白色パッチが含まれている形態で認識を行う。
本実施例では、現在の画像情報からカラーバーコードを分離するために、対応する認識モデルライブラリを事前に構築し、機械学習により大量のカラーバーコード画像を学習し、カラーバーコード認識モデルを事前に構築する必要がある。学習時には、大量の各種の角度、各種の光線下で撮影したカラーバーコード画像を取得し、前処理、特徴抽出、繰り返し認識訓練を行うことにより、カラーバーコード認識モデルを構築する。このようにすると、判断する際に、認識モデルと比較することにより、画像に含まれている複数のカラーバーコードを同時に判断し、各カラーバーコード画像を位置決めして補正することができる。カラーバーコード画像に対して、ノイズや干渉の除去、画像分割、正規化などの前処理を行うことにより、画像に対するサーバの処理認識性能を向上させる。画像内の無関係な情報を排除し、有用な実際情報を復元することで、関連する情報の検出性を高め、データを最大限に簡単化し、これにより、特徴抽出、マッチングや認識の信頼性を向上させる。前処理されたカラーバーコード画像に対して特徴抽出を行い、異なるカラーバーコード画像の空間密度の色、パターン配置形態の特徴に基づいて、バーコード画像を5×5の25個のセル領域に分割し、各セルにおけるポイント数とカラーバーコード画像の総ポイント数との比を計算し、25次元特徴ベクトルを得る。認識訓練を繰り返し行うことで、トレーニングセット(train set)の各バーコード画像から標準テンプレートを抽出し、標準特徴ライブラリを構築し、カラーバーコード認識モデルの構築を完了する。バーコードの種類ごとに数百個の標準テンプレートがあり、バーコードには方向性があるため、トレーニング時に、バーコード画像を開始方向から正しく配列した後に機械学習に提供する必要があり、前処理、特徴抽出後、トレーニングセットの各バーコード特徴ベクトルをファイルに保存する。トレーニング時に、各種のバーコードの正しい値を明示する必要がある。上記プロセスにおいて、モデル構築は完了する。
実際の処理を行う際に、まず、現在の画像情報を取得し、取得したカラーバーコード画像を前処理する。前処理プロセスは、主に、ノイズや干渉の除去、画像分割、正規化などを含み、前処理により画像に対するサーバの処理認識性能を向上させる。認識モデルと比較することにより、ピクチャーに含まれる各カラーバーコード画像領域を判断し、判断されたカラーバーコード領域に基づいて各カラーバーコード画像に対してバーコードの位置決め及び3D補正を行う。
バーコードの位置決め:前処理されたカラーバーコード画像に特徴抽出を行い、カラーバーコードを構成する、顕著な特徴を有する色、パターン、形状などの属性を見つけ出し、これらの幾何学的特徴量を算出し、これらの特徴量によりカラーバーコードを表現する特徴ベクトルを生成し、システムにおいて構築されたカラーバーコード認識モデルの特徴ベクトルと比較し、類似度が80%を超えると、カラーバーコード領域であると判断し、判断結果に基づいてこのカラーバーコード領域を位置決めする。
3D補正:撮影時の撮影角度、バーコードを貼り付けた物品の配置角度などにより、バーコード画像には、通常、ある程度の画像のゆがみ、又は、角度の回転や反転があるため、単一バーコード画像に対して3D補正を行う必要がある。空間マッピングにより、位置決めされた各単一バーコードの上下左右の4つの隅の4つの点を固定した後に投影を行い、各単一バーコード画像に対して方向回転、ねじれの補正を行い、バーコード画像をバーコードの開始方向から標準の矩形領域になるように配列し、標準形状及び大きさを有する単一バーコード画像を得る。
S2:現在の画像情報中の白色パッチを取得する。前記現在の画像情報は、白色パッチを含むカラーバーコードを含む。ステップS2は、具体的には、以下のサブステップを含む。
カラーバーコードにおけるスタート領域の枠選択:まず、スタート領域を位置決めし、その後、白色パッチを枠選択し、スタート領域内のスタート色パッチに基づいて白色パッチを位置決めする。各カラーバーコードの白色パッチを判断して枠選択し、白色パッチの色の平均値からカラーバーコードを撮影する時の光源の特性を算出し、カラーバーコード画像に対してホワイトバランス色補正を行い、補正後のカラーバーコードにおける各バーの色値を解析する。
ホワイトバランス色補正:異なる照明環境によって、収集された画像の色と実際の色との間にある程度の偏差が生じることがあり、例えば、緑色光源の下で撮影した画像は全体的に緑がかって寒く見え、赤色光源の下で撮影した画像は赤がかって暖かく見える。そのため、適切なカラーバランス(補正)アルゴリズムを選択して、照明環境が色表示に与える影響を排除する必要があり、このように、カメラで撮影したカラーバーコード画像に対してバーの色値を抽出する際に正確な結果を得ることができ、誤判断を避けることができる。
ホワイトバランス色補正を行う際に、まず、カラーバーコードの白色基準領域を枠選択する。カラーバーコードのスタート文字領域(すなわちバーコードの第1桁の文字領域)において、黒色パッチと白色パッチとの境界の色差のコントラストが最も強いところで白色パッチのエッジを判断して白色領域を枠選択し、選択した領域全体を1つの閾値の範囲だけ縮小して白色基準領域を得る。スタート文字領域は、黒色+白色+黒色の組み合わせの色パッチの形態が使用されており、白色パッチは、色補正を行うための基準領域として設置され、黒色領域は、白色領域をより正確に位置決めすることを補助するためのものである。枠選択された白色基準領域全体を縮小するのは、白色パッチと黒色パッチの境界に判断を妨げる異色画素点が発生するためであり、枠選択範囲を縮小することにより、これらの異色領域を避け、選択範囲をカラーバーコードの白色領域として確保し、判断の正確性を保証することができる。
S3:白色パッチの色の平均値を算出して環境光源の特性を判断し、現在の画像情報中のカラーバーコードに対してホワイトバランス補正を行う。前記ステップS3は、具体的には、
白色パッチの各色チャンネルの輝度値の平均値Ravew、Gavew、Bavewを計算するサブステップと、
白色パッチの各色チャンネルのゲイン値を下記のゲイン式により計算するサブステップと、
Figure 2021524976
(ただし、Ymaxは、YCbCr色空間におけるY成分のカラーバーコード画像における最大値であり、Rgain、Ggain、及びBgainは、それぞれRチャネル、Gチャネル及びBチャネルのゲイン値である。)、
カラーバーコードにおける補正後の各色チャンネルの色値R'、G'及びB'を下記のホワイトバランス式により計算するサブステップと、を含む。
Figure 2021524976
(ただし、R、G及びBは現在の色空間における値である。)
S4:補正後のカラーバーコードにおける各データ色パッチの符号化色の平均値を抽出し、各データ色パッチのHSB色空間に基づく色情報を取得する。
S5:取得した各データ色パッチのHSB色空間に基づく色情報及びバーコード符号化規則に基づいてカラーバーコードの認識結果を取得する。得られた色情報に基づいてカラーバーコードに関する情報を判断することができる。
物理的な意味では、グレーワールド法は、自然界のシーンの光線に対する平均反射の平均値が全体的に一定値であると仮定しており、この一定値は近似的に「グレー」である。所定のピクチャーのホワイトバランスアルゴリズムでは、グレーワールド法は、ピクチャー内の反射面が自然界のシーンの縮図として機能するのに十分に豊かであると仮定している。このピクチャーが古典的な光源の下で撮影された場合、その平均値はグレー値に等しくなる。このピクチャーが非古典的な光源の下で撮影された場合、その平均値はグレー値を超え又はグレー値未満である。グレー値に対する平均値のずれの程度は、既知の光源に対する未知の光源の特性を反映している。
画像形成理論によれば、純白色反射面では、光源がどの色であっても、最終的に反射された色は常に光源の色を完全に表現することができる。シーンにおいて純白色の部分があれば、これらの画素から光源情報を直接抽出することができる。
未知の環境光源の特性を算出する際に、カラーバーコードピクチャー中の白色基準領域から関連する統計特性を抽出し、未知の環境光源がカラーバーコードピクチャー全体にわたって一致していると仮定し、未知の光源の重要な統計量を推定するための方法として平均値をとる方法を利用する。
実施例4
実施例4は、プロセッサによって実行される時、実施例3のカラーバーコードの色補正方法を実現するプログラムを記憶するための読取可能なコンピュータ記憶媒体を開示する。
もちろん、本発明の実施例が提供するコンピュータ実行可能な命令を含む記憶媒体は、そのコンピュータ実行可能な命令が、上記方法の操作に限定されず、本発明の任意の実施例による方法における関連操作を実行することもできる。
当業者は、以上の実施例についての説明により、本発明がソフトウェア及び必要な汎用ハードウェアによって実現されてもよく、ハードウェアによって実現されてもよいが、多くの場合、前者が好ましい実施例であることを明確に理解することができる。このような知見に基づいて、本発明の技術的解決手段の本質的な部分又は先行技術に貢献する部分は、ソフトウェア製品の形態で具現化することができ、このコンピュータソフトウェア製品は、コンピュータのフロッピーディスク、読み取り専用メモリ(Read−Only Memory、ROM)、ランダムアクセスメモリ(Random Access Memory、RAM)、フラッシュメモリ(FLASH)、ハードディスク、又は光ディスクなどのコンピュータ読取可能な記憶媒体に記憶することができ、1つの電子装置(パーソナルコンピュータ、サーバ、又はネットワーク装置など)に本発明の様々な実施例に記載の方法を実行させるためのいくつかの命令を含む。
なお、上述したコンテンツ更新通知装置に基づく実施例では、それに含まれる各ユニット及びモジュールは、機能論理に従って分割されているものにすぎず、対応する機能を実現できるものであれば、上述した分割に限定されるものではなく、また、各機能ユニットの具体的な名称も、互いに容易に区別するために過ぎず、本発明の特許保護の範囲を限定するものではない。
上記実施形態は、本発明の好ましい実施形態に過ぎず、本発明の特許保護の範囲を制限することはできず、本発明に基づいて当業者が行った非実質的な変更や置換は、いずれも本発明が保護請求している範囲に属する。
1 スタート領域
2 データ領域
3 チェック領域
4 空白領域
アルファベット文字と数字との対応関係は、次の表2に示される。
Figure 2021524976
なお、上述したカラーバーコード及びその色補正方法に基づく実施例では、それに含まれる各ユニット及びモジュールは、機能論理に従って分割されているものにすぎず、対応する機能を実現できるものであれば、上述した分割に限定されるものではなく、また、各機能ユニットの具体的な名称も、互いに容易に区別するために過ぎず、本発明の特許保護の範囲を限定するものではない。

Claims (10)

  1. 順次配列されているスタート領域、データ領域及びチェック領域を含み、前記スタート領域は、カラーバーコードの開始位置を表すスタート色パッチを含み、前記データ領域は、カラーバーコードの符号化データを表すデータ色パッチを含み、前記チェック領域は、カラーバーコードの終了位置を表すチェック色パッチを含むカラーバーコードであって、
    前記スタート色パッチは、開始位置にある第1色パッチと、白色パッチである第2色パッチとを含む、ことを特徴とするカラーバーコード。
  2. 前記第1色パッチの数は2個であり、前記第1色パッチ及び前記第2色パッチは、第1色パッチ、第2色パッチ、第1色パッチという順で接続されてスタート色パッチを形成する、ことを特徴とする請求項1に記載のカラーバーコード。
  3. 前記第1色パッチは黒色パッチであり、前記第2色パッチの占める面積は、スタート色パッチの占める面積の50%である、ことを特徴とする請求項1に記載のカラーバーコード。
  4. 前記データ色パッチの符号化色は、対応する文字に対応つけられている、ことを特徴とする請求項1〜3のいずれか1項に記載のカラーバーコード。
  5. 前記文字は、数字であり、数字0〜9の全ての数字が対応する符号化色に1対1で対応つけられることにより、前記数字が符号化色で表示される、ことを特徴とする請求項4に記載のカラーバーコード。
  6. カラーバーコードの色補正方法であって、
    現在の画像情報を取得する画像取得ステップと、
    現在の画像情報中の白色パッチを取得する枠選択ステップと、
    白色パッチの色の平均値を算出し、現在の画像情報中のカラーバーコードに対してホワイトバランス補正を行うホワイトバランス補正ステップと、を含む、ことを特徴とするカラーバーコードの色補正方法。
  7. 前記現在の画像情報は、白色パッチを含むカラーバーコードを含み、
    前記枠選択ステップは、具体的には、
    カラーバーコードのスタート領域を枠選択するサブステップと、
    スタート領域内のスタート色パッチに基づいて白色パッチを位置決めするサブステップと、を含む、ことを特徴とする請求項6に記載のカラーバーコードの色補正方法。
  8. 前記ホワイトバランス補正ステップは、具体的には、
    白色パッチの各色チャンネルの輝度値の平均値Ravew、Gavew、Bavewを計算するサブステップと、
    白色パッチの各色チャンネルのゲイン値を下記のゲイン式により計算するサブステップと、
    Figure 2021524976
    (ただし、Ymaxは、YCbCr色空間におけるY成分のカラーバーコード画像における最大値であり、Rgain、Ggain、及びBgainは、それぞれRチャネル、Gチャネル及びBチャネルのゲイン値である。)
    カラーバーコードにおける補正後の各色チャンネルの色値R'、G'及びB'を下記のホワイトバランス式により計算するサブステップと、を含む、ことを特徴とする請求項6に記載のカラーバーコードの色補正方法。
    Figure 2021524976
    (ただし、R、G及びBは現在の色空間における値である。)
  9. ホワイトバランス補正ステップの後に、
    補正後のカラーバーコードにおける各データ色パッチの符号化色の平均値を抽出し、各データ色パッチのHSB色空間に基づく色情報を取得する色取得ステップと、
    取得した各データ色パッチのHSB色空間に基づく色情報及びバーコード符号化規則に基づいてカラーバーコードの認識結果を取得するバーコード認識ステップと、をさらに含む、ことを特徴とする請求項6〜8のいずれか1項に記載のカラーバーコードの色補正方法。
  10. コンピュータプログラムが記憶されたコンピュータ読取可能な記憶媒体であって、
    前記コンピュータプログラムがプロセッサによって実行される時、請求項6〜9のいずれか1項に記載のカラーバーコードの色補正方法を実現する、ことを特徴とするコンピュータ読取可能な記憶媒体。
JP2021512979A 2018-05-07 2018-10-23 カラーバーコードの色補正方法及びコンピュータ読取可能な記憶媒体 Active JP7290294B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810425908.5A CN108960382B (zh) 2018-05-07 2018-05-07 一种彩色条码及其颜色校准方法
CN201810425908.5 2018-05-07
PCT/CN2018/111414 WO2019214169A1 (zh) 2018-05-07 2018-10-23 一种彩色条码及其颜色校准方法

Publications (2)

Publication Number Publication Date
JP2021524976A true JP2021524976A (ja) 2021-09-16
JP7290294B2 JP7290294B2 (ja) 2023-06-13

Family

ID=64499772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021512979A Active JP7290294B2 (ja) 2018-05-07 2018-10-23 カラーバーコードの色補正方法及びコンピュータ読取可能な記憶媒体

Country Status (4)

Country Link
US (1) US11321598B2 (ja)
JP (1) JP7290294B2 (ja)
CN (1) CN108960382B (ja)
WO (1) WO2019214169A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023223867A1 (ja) * 2022-05-18 2023-11-23 ミネベアミツミ株式会社 マーカー検知装置、モニタリングシステム及びそれらの方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960382B (zh) * 2018-05-07 2021-10-01 广东数相智能科技有限公司 一种彩色条码及其颜色校准方法
CN109886009A (zh) * 2019-01-03 2019-06-14 广东智媒云图科技股份有限公司 一种多设备联动解锁方法、电子设备以及存储介质
CN112434543B (zh) * 2020-11-24 2022-02-01 山东大学 一种针对畸变彩色直接部件标记的图像重构方法及系统
JP2022142071A (ja) * 2021-03-16 2022-09-30 株式会社Ihiインフラシステム 測量装置、画像認識装置、画像認識用マーカー
CN113326907A (zh) * 2021-05-29 2021-08-31 海盐前方印刷有限公司 彩色可变条码制作生产方法
CN113375690B (zh) * 2021-06-17 2024-02-20 河南隧炬智能科技有限公司 一种用于地铁隧道病害移动检测的里程校准编码系统及施工方法
CN113470125B (zh) * 2021-07-21 2024-01-12 杭州万事利丝绸文化股份有限公司 一种对图案进行颜色搭配的方法及系统
CN113392670B (zh) * 2021-07-30 2024-09-17 新疆金牛能源物联网科技股份有限公司 卡带、卡带读取设备、设备配置装置及配置方法
CN114398920B (zh) * 2021-12-20 2025-04-15 深圳市光科全息技术有限公司 编码读取方法、编码方法以及编码读取装置
CN114295202B (zh) * 2021-12-29 2024-07-16 湖南汉状元教育科技有限公司 红外信息处理方法、装置、电子设备和可读存储介质
US11557136B1 (en) * 2022-02-23 2023-01-17 Scandit Ag Identity document verification based on barcode structure
CN114706788A (zh) * 2022-04-27 2022-07-05 深圳市瑞云科技有限公司 一种实景三维软件重建tiff格式文件的测试方法
CN115114944A (zh) * 2022-06-20 2022-09-27 武汉虹信技术服务有限责任公司 一种基于iOS的条形码扫码方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080000991A1 (en) * 2004-04-21 2008-01-03 Dong-In Yin System and Method for Encoding and Decoding Large Capacity 2-Dimensional Color Bar Code Which Can Be Color-Corrected
JP2008004101A (ja) * 2006-06-23 2008-01-10 Colorzip Media Inc カラーベースのイメージコードの色判別方法
CN107871151A (zh) * 2017-10-23 2018-04-03 广东数相智能科技有限公司 一种彩色条形码及其产生方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7423779B2 (en) * 2004-03-30 2008-09-09 Omnivision Technologies, Inc. Method and apparatus for automatic white balance
KR100677830B1 (ko) * 2005-01-18 2007-02-05 천지득 칼라코드 값의 인코딩, 디코딩 알고리즘을 이용한 인터넷서비스 방법 및 그 장치.
CN1885311A (zh) * 2006-05-29 2006-12-27 深圳矽感科技有限公司 二维码及其编解码方法
CN102129674B (zh) * 2010-12-17 2014-05-07 北京优纳科技有限公司 一种自适应彩色图像颜色平衡校正方法
CN102137272B (zh) * 2011-03-21 2012-11-28 西安理工大学 一种开放环境下的多相机间的颜色校准方法
CN102509143B (zh) * 2011-11-29 2014-10-29 哈尔滨工业大学 连续型大容量多进制条码显示与解析方法
CN102546101A (zh) * 2011-12-22 2012-07-04 哈尔滨工业大学 基于连接型多进制条码的无反馈光通路单向传输的方法
IN2014CN04345A (ja) * 2012-04-26 2015-09-04 Hewlett Packard Development Co
CN103200410B (zh) * 2013-04-01 2015-07-08 上海富瀚微电子股份有限公司 白平衡控制方法及其装置
KR102170686B1 (ko) * 2014-03-18 2020-10-27 한화테크윈 주식회사 화이트 밸런스 보정 장치 및 방법
CN103984975A (zh) * 2014-05-08 2014-08-13 我查查信息技术(上海)有限公司 基于彩色背景的特定条形码及其形成方法
CN106529633B (zh) * 2015-09-10 2019-11-15 阿里巴巴集团控股有限公司 二维码的生成方法、解码方法以及装置
CN106056021B (zh) * 2016-06-13 2019-01-25 上海交通大学 基于色相的容量可变彩色二维码流数据通信方法及系统
CN106878695A (zh) * 2017-02-13 2017-06-20 广东欧珀移动通信有限公司 白平衡处理的方法、装置和计算机设备
CN107798372B (zh) * 2017-11-24 2021-05-11 深圳市裕同包装科技股份有限公司 产品信息点阵图像的编码方法、解码方法及解码系统
CN108960382B (zh) * 2018-05-07 2021-10-01 广东数相智能科技有限公司 一种彩色条码及其颜色校准方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080000991A1 (en) * 2004-04-21 2008-01-03 Dong-In Yin System and Method for Encoding and Decoding Large Capacity 2-Dimensional Color Bar Code Which Can Be Color-Corrected
JP2008004101A (ja) * 2006-06-23 2008-01-10 Colorzip Media Inc カラーベースのイメージコードの色判別方法
CN107871151A (zh) * 2017-10-23 2018-04-03 广东数相智能科技有限公司 一种彩色条形码及其产生方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023223867A1 (ja) * 2022-05-18 2023-11-23 ミネベアミツミ株式会社 マーカー検知装置、モニタリングシステム及びそれらの方法

Also Published As

Publication number Publication date
US20210224623A1 (en) 2021-07-22
WO2019214169A1 (zh) 2019-11-14
CN108960382A (zh) 2018-12-07
CN108960382B (zh) 2021-10-01
US11321598B2 (en) 2022-05-03
JP7290294B2 (ja) 2023-06-13

Similar Documents

Publication Publication Date Title
JP2021524976A (ja) カラーバーコード及びその色補正方法
CN105009170B (zh) 物体识别设备、方法和存储介质
JP3601658B2 (ja) 文字列抽出装置及びパターン抽出装置
CN103069430B (zh) 二维码读取器及程序
CN111178355B (zh) 印章识别方法、装置和存储介质
CN106875546A (zh) 一种增值税发票的识别方法
JP2000172849A (ja) 画像処理装置及びパターン抽出装置
CN107862234A (zh) 一种彩色条形码的识别方法、电子设备及存储介质
CN108764352A (zh) 重复页面内容检测方法和装置
CN112990205B (zh) 手写字符样本的生成方法及装置、电子设备、存储介质
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN107066972A (zh) 基于多通道极值区域的自然场景文本检测方法
CN110619060B (zh) 一种条烟图像数据库构建方法及条烟防伪查询方法
CN110210467B (zh) 一种文本图像的公式定位方法、图像处理装置、存储介质
CN115410191A (zh) 文本图像识别方法、装置、设备和存储介质
Gyamfi et al. Pixel-based unsupervised classification approach for information detection on optical markup recognition sheet
JP6151908B2 (ja) 学習装置、識別装置、およびそのプログラム
CN118968480A (zh) 排卵试纸检测方法和装置、电子设备及存储介质
CN115797942B (zh) 一种宣传信息交互方法及系统
CN105868768A (zh) 一种识别图片是否带有特定标记的方法及系统
CN115270840A (zh) 一种点阵码鉴伪方法及系统
CN113627297A (zh) 图像识别方法、装置、设备及介质
CN113095102A (zh) 一种条形码区域的定位方法
JP2004094427A (ja) 帳票画像処理装置及び該装置を実現するためのプログラム
CN114863256B (zh) 图片换肤方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220601

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230207

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230207

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230221

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230524

R150 Certificate of patent or registration of utility model

Ref document number: 7290294

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150