[go: up one dir, main page]

JP4708186B2 - 2次元コード解読プログラム - Google Patents

2次元コード解読プログラム Download PDF

Info

Publication number
JP4708186B2
JP4708186B2 JP2005505873A JP2005505873A JP4708186B2 JP 4708186 B2 JP4708186 B2 JP 4708186B2 JP 2005505873 A JP2005505873 A JP 2005505873A JP 2005505873 A JP2005505873 A JP 2005505873A JP 4708186 B2 JP4708186 B2 JP 4708186B2
Authority
JP
Japan
Prior art keywords
image
data
cell
pattern
dimensional code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2005505873A
Other languages
English (en)
Other versions
JPWO2004097717A1 (ja
Inventor
豊 木内
浩司郎 猪股
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2005505873A priority Critical patent/JP4708186B2/ja
Publication of JPWO2004097717A1 publication Critical patent/JPWO2004097717A1/ja
Application granted granted Critical
Publication of JP4708186B2 publication Critical patent/JP4708186B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、記録装置からシート状記録媒体や固形物表面に出力された、もしくは、表示装置によりディスプレイに表示された2次元コードに関し、該2次元コードの画像データを、カメラやスキャナなどの撮像装置から取得し、コンピュータを用いて解析することによって、2次元コードに表現された所定のデジタル情報を復元することを可能にした2次元コード解読プログラムに関する。
2次元コードは、一般に、格子状に配列した複数のセルと、その周囲に配置した位置決めシンボルによって構成され、平面上にデジタル情報を表現することに使われる。通常、セルは白色の平面上に想定され、黒色のデータマークが印されたマークセルと、データマークが印されずに白色が露出した空白セルの2種類で構成される。これにより、セルの表示によって配置のパターンを形成してデジタル情報を表現する。例えば、マークセルを1に、空白セルを0に対応させて、1と0の2進データ列によるデジタル情報を平面上に表現する。
このように表示された2次元コードに対し、光学的な撮像装置を用いて画像データを取得し、該画像データを解析することでデジタル情報を復元する。解析にはコンピュータを用い、画像データ上のセルの位置を求め、その位置でセルの表示を判定する。これにより、セルの表示を明らかにして、2次元コードに表現された2進データ列を復元する。
その際、セルの位置は、特定の位置に固定して表示された位置決めシンボルを基準にして算出する方法が知られている。例えば、検出された2以上の位置決めシンボル間の距離と角度から画像データ中の2次元コードのサイズと傾きを求め、これを基にして各セルの位置を算出する方法が知られている(特許文献1、非特許文献1)。
また、セルの表示は、セルの概ね中心位置における諧調(濃度)の値から判定する方法が知られている。すなわち、セルの中心画素の諧調を事前に用意されたしきい値と比較して、しきい値より諧調が高いセルをマークセル、低いセルを空白セルと見なす。
2次元コードは、表示面に対して情報を2次元的に表現することで、従来のバーコードに比べて高密度に表示することができる。すなわち、2次元コードでは、範囲が限られた表示面においても容量の大きい情報を表示することができる。この特徴から、近年、2次元コードは多方面で利用されている。
例えば、文字情報、数値情報、画像情報、音声情報、暗号情報、コンピュータ上の命令コードなどのデジタル情報を、用紙などのシート状記録媒体や電子部品などの固形物表面に記録することに使われている。また、表示装置上に表示するとともに、撮像装置から取得して情報を復元することにより、装置間での情報の受け渡しに使われている。
特開平7−254037号公報 特開2000−235617号公報 特開平8−30977号公報 特開平5−54214号公報 特開平3−245283号公報 JIS X0510 2次元コードシンボル−QRコード−基本仕様書
近年、コンピュータの処理速度の向上や、記憶媒体の容量の増加などによる技術進歩により、従来に比べて大容量のデジタル情報が扱われるようになった。また、通信技術の進歩にともない、それらのデジタル情報を簡便に送受信できるネットワーク環境が整ってきた。そのため、時間的および地理的な条件に縛られることなく、様々な場面において情報をやり取りすることが可能となった。
2次元コードに対しても、容量の大きいデジタル情報を、高密度に表示することが求められている。また、このように高密度な2次元コードを、様々な場面において扱うことが求められている。これにより、我々の周囲に存在する情報を、より簡便に、さらに快適に取り扱うことが望まれている。
2次元コードの表示を高密度化するには、個々のセルのサイズを微小にして、単位面積あたりのセル数を増加する必要がある。しかし、セルのサイズを微小にするに従い、表示を判定する際の位置のずれが起こりやすくなるという問題がある。同時に、セルの表示が不明確になり、判定する際の諧調のずれが発生しやすいという問題がある。そのため、セルの表示を判定する際に判定エラーが発生し、デジタル情報を正確に復元することができない。
これらの位置および諧調のずれの原因としては、画像の入出力条件の変動によって生じる画像データ面内の乱れが考えられる。例えば、2次元コードの出力時において、出力装置による出力間隔のずれ、表示面の湾曲などが原因となる。また、入力時においては、カメラのレンズがもつ光学的な歪みや、撮像する際の撮像角度の傾きなどが原因となる。
セル表示を判定する際の位置ずれの問題を解決するため、セルを配置した領域(セル領域)の周囲にマークセルと空白セルを交互に配置したタイミングセルを表示し、タイミングセルの端部からデータセルの位置を補正する方法が知られている(特許文献1参照)。しかし、この方法においても、タイミングセルから離れたセルに対しては、上記のずれが生じやすいという問題がある。また、タイミングセルを表示することで、相対的に情報を表現するセルの数が減少するため、情報の高密度化に対して十分な方法とは言えない。
撮像条件の変動によって生じる諧調ずれの問題を解決するため、画像データ全体に対する諧調の平均を算出して、この値を用いて表示の判定のしきい値とする方法が知られている(非特許文献1参照)。この方法では、入出力条件の変動によって生じる画像全体の諧調変動を考慮して表示の判定を行うことができる。しかし、この方法では、面内に歪みが存在する場合には判定エラーが発生するため、上述の問題を解決する方法として十分であるとは言えない。
本発明は、上記の点に鑑みてなされたものであり、多様な条件に対応しながら、デジタル情報を正確に読み取ることを可能にした2次元コード解読プログラムを提供することを目的とする。
本発明に係る2次元コード解読プログラムは、2次元的に配置した複数のセルの各々に対して周囲を空白領域で囲まれたデータマーク領域を形成し、当該データマーク領域におけるデータマークの表示がセル毎に異なることでデジタル情報を表現する前記データマークと、前記セルに対して特定の位置に固定して表示される位置検出パターンとを有する2次元コードの解読プログラムであって、前記2次元コードを含む画像データにおいて、データマーク領域と当該データマーク領域の周囲の空白領域とで構成される照合パターンを用いて照合することにより、前記照合パターンと同じ画像パターンを検出し、当該画像パターンが検出される場合に周囲を空白領域で囲まれて表示される前記データマークがセルに有ると判定すること、を特徴とする。
検出される画像パターンは、画像データ中の複数の画素によって構成された2次元のパターンからなる。画像パターンを検出するにあたって、予め想定したパターン(照合パターン)によって画像データの一定範囲を照合し、照合された画像が所望のパターンであるかを判定する。判定の際には、画像データに表示された所定の画像から得られる画像情報を利用するとよい。これらの照合と判定を繰り返しながら画像データを走査することによって、デジタル情報が表示されたセル領域において、前記画像パターンを検出していくとよい(図10)。
画像データから検出する画像パターンは、周囲のセルから判別可能であればよい。すなわち、画像パターンには、セル上に表示されたデータマークを1つだけ含むものに限らず、複数のセルに表示された複数のデータマークの集合体によるパターンを含んでいてもよい。セル上に示されるデータマークはセルの全面積を占めていてもよく、この場合、連続して表示されたデータマークを個別に判別することはできないが、複数のセルによる集合体であればよく、例えば、周囲を空白セルで囲まれたマークセルであれば判別することができる(図28〜30)。判別可能な表示の組み合せは、通常、セル領域に複数存在し、これらを検出して利用する。
セル上のデータマークは周囲を空白な領域(空白領域)で囲まれることによって、各データマークは周囲のデータマークから判別が可能で、仮にデータマークが連続して表示された場合でも個別に検出することができる(図4、図5)。セル領域中の全てのデータマークを検出することによって、検出されなかったセルを空白セルと見なし、全てのセルの表示を明らかにすることが可能である。
セルに表示されるデータマークは、その領域(マーク領域)が特定のパターンを形成している。パターンとしては、四角形のパターン(図4)や円形(図6)などが考えられる。また、マーク領域は、空白領域との間に諧調のコントラストを持って表示され、マーク領域の方が諧調は高くてもよいし、逆に低くてもよい。
本発明に係る更なる2次元コード解読プログラムは、前記セルに対する表示として、データマーク領域と当該データマーク領域の周囲の空白領域との間のコントラストが大きい表示、及び、当該表示よりも前記コントラストが小さい表示が存在すること、前記照合パターンのデータマーク領域と空白領域に対応する画像データ上の各領域から諧調を取得し、これらの領域間のコントラストが大きい画像パターンを検出すること、前記画像パターンの検出によって特定されるセルの表示を基に2次元コードに表現されたデジタル情報を復元すること、を特徴とする。
画像データからデータマークを検出する際には、データマークのパターンを含む照合パターンによって画像を照合し、データマークとしての可否を判定するとよい。このとき、マーク領域と空白領域のコントラストに基づいて判定を行うとよい。すなわち、例えば、マーク領域の諧調が高く、空白領域の諧調が低いほどデータマークとしての適性が高いと見なして判定を行う。もしくは、予め想定した画像パターンの諧調に近いほどデータマークとして適性が高いと見なして判定を行ってもよい。判定される画像は3つ以上の領域によって構成されていてもよい(図18)。
照合された画像の各領域(マーク領域、空白領域)を代表する諧調の値としては、領域を構成する画素に対する平均や中央値など、所定の方法に基づいて算出する。その際、判定に要する時間を短縮するため、複数の画素を間引いて算出してもよい。
本発明に係る更なる2次元コード解読プログラムは、前記画像パターンを検出するプロセスは、前記照合パターンを用いて、前記画像データを走査しながら当該画像データ上の画像を照合するステップと、照合された前記画像データ上の画像を、前記照合パターンの各画像領域に対応して算出された諧調の値を判定式に代入して判定するステップを有すること、を特徴とする。
本発明に係る更なる2次元コード解読プログラムは、2次元的に配置した複数のセルの各々に対して周囲を空白領域で囲まれたデータマーク領域を形成し、当該データマーク領域におけるデータマークの表示がセル毎に異なることでデジタル情報を表現する前記データマークと、前記セルに対して特定の位置に固定して表示される位置検出パターンとを有する2次元コードの解読プログラムであって、各画素が複数の色成分を保持して構成された前記2次元コードを含むカラー画像データにおいて、データマーク領域と当該データマーク領域の周囲の空白領域で構成される照合パターンを用いて各画素が保持する色成分ごとに照合することにより、前記照合パターンと同じ画像パターンを検出し、当該画像パターンが検出される場合に周囲を空白領域で囲まれて表示される前記データマークがセルに有ると判定すること、を特徴とする。
カラー2次元コードの場合においても、モノクロ2次元コードの場合と同様、セルの表示を構成する全ての画像パターンを検出することによって、表示を明らかにすることができる。実施手順としては、画像パターンの検出から表示の判定まで色成分ごとに個別に行うとよい。もしくは、色成分ごとの位置情報を集約してセルの位置を求め、その位置で色成分ごとに判定を行ってもよい。このとき、画像パターンの検出、およびセル表示の判定は、各色成分において、モノクロ2次元コードと同じ方法を用いることができる。
カラー画像データにおいて、セルのカラー表示を構成するデータマークは、各画素が持つ色成分の組み合せによりカラーで表現される。例えば、画素が持つレッド、グリーン、ブルーの色成分を用いて、黒色、シアン、マゼンタ、イエロー、レッド、グリーン、ブルー、白色の8種類で表現するとよい。このとき、周囲の空白領域は、白色または黒色で表示するとよい。データマークに対して色成分ごとに諧調を用いてもよく、この場合、中間諧調によってカラーが表現される。
画像パターンの検出の際には、色成分ごとに周囲の領域とのコントラストを指標として画像の判定を行うとよい。例えば、空白領域が白色の場合には、マーク領域は減法混色によるものを検出するとよい。すなわち、各色成分において、シアン、マゼンタ、イエロー成分のデータマークを検出するとよい。一方、空白領域が黒色の場合には、マーク領域は加法混色の色成分によるもの、すなわち、レッド、グリーン、ブルー成分のデータマークを検出するとよい。
カラー2次元コードにおいて、色成分ごとに、モノクロ2次元コードと同じ方法を用いて解析することが可能である。このとき、画像パターンの検出において、色成分の組み合せからなる多数の表示に対して、色成分の回数だけ画像を走査すればよい。また、画像の判定において、複数の色成分の組み合せで構成された画像パターンに対して、色成分ごとに白黒の場合と同じ単純な方法を用いるとよい。画像の解析に際して、各画像データに対し、諧調の反転や、色変換などの所定の変換を事前に行ってもよい。
本発明に係る更なる2次元コード解読プログラムは、前記画像データにおいて特定の位置に表示された画像パターンを検出し、当該画像パターンの画像から前記データマークと同じ形状および大きさで表示される参照マークの画像情報を取得して、当該画像情報との対比によって前記照合パターンと同じ画像パターンを検出すること、を特徴とする。
画像情報の取得は、画像データ中に存在する画像パターン(2次元)を検出して行うとよい。これによって、精度の高い情報を効果的に取得することができる。すなわち、情報を取得する画像パターンの表示サイズが小さくても、位置のずれを原因とした誤差が含まれにくい。また、画像情報を同じ画像データ内から取得するため、入出力時に生じる画像の変動を考慮して、それぞれの画像データに即した判定ができる。画像情報としては、所定の画像から諧調の平均や中間値、標準偏差などを取得するとよい。
画像情報の取得にあたり、参照マークを表示してこの画像から情報を取得するとよい。参照マークの表示は、所定のセルに対して、予め定めた種類の表示を設定することによって行うとよい。このとき、判定される画像の近くに表示されるという利点を持つ。この参照マークのパターンは、情報を表現するデータマークと同じパターンで構成するとよい。これによって、パターンのサイズおよび形状の違いを原因とした情報のずれを生じ難くすることができる。
取得した画像情報は、セル上のデータマークを検出する際に利用することができる。すなわち、照合パターンによって画像を照合して、データマークとしての可否を判定する際の指標として利用するとよい。また、既に定められた位置において、セルの表示を判定する際の指標として利用してもよい。
参照マークは、該マークの画像から画像情報を得ることを目的として表示する。これにより、入出力時に生じる画像変動を考慮して、セル上のデータマークを検出することや、セルの表示を判定することに利用する。特に、複数種類の表示を持つカラー2次元コードの場合では、判定の際のしきい値は高い精度が要求されるため効果が大きい。また、セルの位置を決める際の基準位置として用いてもよい。
画像データでは、画像面内において形状の歪みが存在すると同時に、諧調の偏りが存在することがある。参照マークは、セル領域において、所定の間隔で複数表示することが望ましく、この場合、諧調のずれの影響を受けにくい。
参照マークとしては、全ての種類のセル表示(色、諧調)に対して用意するとよい。もしくは、情報を表現するセルの数を増やすため、出力装置が持つ色成分(例えば、シアン、マゼンタ、イエロー)の分だけ表示を行ってもよい。さらには、特に誤判定が起こりやすい色にだけ参照マークを用意してもよい。例えば、マゼンタとイエローだけ、もしくはマゼンタだけを表示してもよい。
プログラムを実行するコンピュータとしては、一般的に普及しているものでよく、パーソナルコンピュータ、ワークステーション、メインフレームなどコンピュータの他、携帯電話やPDAなどの電子機器に搭載したコンピュータであってもよい。また、このプログラムを実行するために特別に設けられたコンピュータであってもよい。
本発明に係る2次元コード解読プログラムによれば、各セル上に表示された画像パターンを個別に検出することによって、セルの表示が明らかになる。また、画像を判定する際に、参照マークの画像から取得した画像情報を利用するとよく、この場合、諧調のずれの影響を受け難い。
本発明に係る2次元コード解読プログラムを用いることによって、様々な要因によって生じる画像の乱れが存在する場合でも、2次元コードを高密度に表示し、該2次元コードからデジタル情報を正確に復元することができる。また、カラー2次元コードによって、デジタル情報をより高密度に表示した場合にも対応することができる。
これらのことから、本発明を用いることによって、デジタル情報を、簡便・快適に取り扱うことが可能となる。
(実施形態1)
以下、本発明の実施形態1について説明する。本実施形態における2次元コード読取方法の概要構成図を図1に示す。本実施形態における2次元コードの読取方法は、入力部100、解読部200、出力部300によって構成される。
入力部100では、記録媒体上に印された2次元コードの画像を光学的に取得して、該2次元コードの画像データをコンピュータに入力する。画像の取得には既知の装置を用いることができ、本実施形態において、カメラ付き携帯電話に付属したデジタルカメラ(50万画素)、およびフラットベッドスキャナ(600dpi)を用いた。
解読部200では、入力された画像データを、コンピュータを用いて解析してデジタル情報を解読する。2次元コードに表現されたデジタル情報としては、氏名、住所、電話番号などの個人情報や、商品名とそのホームページアドレスなどの広告情報、商品名とその金額、契約者名などの契約情報など、様々な内容の情報を含めることが出来る。
出力部300では、画像データの解読によって得られたデジタル情報を出力する。デジタル情報の出力には既知の方法を用い、解読された内容をディスプレイに表示したり、ハードディスク内にデータベースとして保存して利用する。
以下、解読部200の手段構成について記述する。解読部200は、図1に示すように位置決め手段210、画像情報取得手段220、画像パターン検出手段230、セル判定手段240、デコード手段250からなる。解読部200を構成する手段210〜250は、これらを実行するプログラムによってコンピュータ上で実現される。以下、これらの手段の内容について個別に記述する。
位置決め手段210では、入力部100から入力された画像データにおいて、特定の位置に表示された位置決めシンボルの画像を検出し、該位置決めシンボルとの位置関係によって2次元コードの位置を特定する。
画像情報取得手段220では、画像パターンの検出や、セル表示の判定に利用するための画像情報を取得する。本実施形態において、位置決めシンボルの画像に対して、マーク領域とその周囲の空白領域から諧調の平均を取得し、画像情報として利用した。
画像パターン検出手段230では、セル上に表示されたデータマークの画像パターンを検出する。すなわち、画像データにおいて画像を照合しながら走査し、後述の方法によって判定する。これにより、画像データからデータマークの画像パターンを検出する。画像パターン検出手段230の詳細については後述する。
セル判定手段240では、検出された複数の画像パターンの位置を基に、セルの位置を求め、その位置でセルの表示を判定する。セル判定手段240の詳細についても後述する。
デコード手段250では、明らかになったセルの表示を、予め定められた規則に基づいて、1と0からなる2進データ列に復元する。これにより、セルの表示がデコードされ、2次元コードで表現されたデジタル情報が復元される。
本実施形態における2次元コードの全体像を図2に示す。セルは記録媒体上にマトリックス状に配列され、本実施形態では12×12セルによって配列した。このとき、セルの数は、これより多くても少なくてもよい。また、各辺のセル数も縦と横が等しい正方形状場合に限らず、例えば図3に示すように、長方形状のものであってもよい。さらに、本実施形態のように、正方格子状に配列したセルに対して、正方形のマークを表示する場合に限らず、例えば図6に示すように、六角格子状に配列した六角形のセルに対して、円形のマークを表示してもよい。
本実施形態における2次元コードの拡大図を図4に示す。このように、セルの表示は、データマークを有するマークセル001とデータマークを有しない空白セル002からなる。マークセルは、図5に示すように、セル上において、データマーク003が印された領域(マーク領域)とデータマークが印されない領域(空白領域)によって構成される。セルに表示されたデータマークは、周囲に空隙を設けて印すことで周囲のデータマークと分離する。
位置決めシンボル010は、他のデータマークから区別され易いパターンによって構成され、2次元コードの基準位置として特定の位置に表示される。このとき、位置決めシンボルは、画像面内の歪みに対応するため複数存在することが望ましく、本実施形態では、図2に示すように、セル領域の4隅にそれぞれ配置した。図2では、セルの配列の内部に位置決めシンボルの領域を設けたが、例えば図3のように、セルの配列の外側に配置してもよい。
2次元コード表示方法の概要構成図を図7に示す。2次元コード表示方法は、本実施形態において、入力部400、生成部500、出力部600によって構成される。入力部400では、デジタル情報を表現する2進データ列を取得し、コンピュータ内に入力する。生成部500では、入力されたデータ列から2次元コードの画像データを生成する。出力部600では、画像データ中の2次元コードの画像を、記録媒体上やディスプレイ上に表示する。以下、生成部500を構成するエンコード手段510および画像データ生成手段520について記述する。
エンコード手段510では、入力部から得られるデータ列から、2次元コードにおける各セルの表示を決定する。このデータ列に対して、各桁を2次元的に配置したセルに割り当て、1をマークあり、0をマークなしとして定めた。
画像データ生成手段520では、エンコード手段で定めたセルの表示を、実際に出力装置から出力するための画像データを生成する。画像データ中のセルは、複数の画素によって構成され、本実施形態におけるセルと、そこで表示されるデータマークの画像を図8に示した。また、本実施形態において、画像データは、各画素が256階調であるものを用いた。諧調の値は、明るさを意味しており、黒色を0、白色を255として表す。
出力部600では、上記の画像データを、既知の出力装置を用いて出力する。本実施形態において、記録装置としてインクジェットプリンター(600dpiモード)を用いた。また、表示装置として液晶ディスプレイ(160dpi)を用いた。これにより、マーク領域を黒色に、周囲の空白領域には白色に表示した。記録装置としては、印刷機を用いて印刷してもよく、また電子写真方式のプリンターを用いてもよい。
記録媒体上に2次元コードを記録する場合、通常、セルは記録媒体自身の色である白色に想定され、該セル上に記録装置から黒色のデータマークを出力する。この場合、セルの表示はデータマークの有無の2種類(黒色、白色)によって表現される。
一方、表示装置は、通常、複数の発光体の集合によって構成され、この発光体の発光によって画像を表示する。このような表示装置に2次元コードを表示する場合、記録装置の場合と同様、白色に想定されたセル上に黒色のデータマークを表示するとよい。
もしくは、上記とは逆に、黒色に想定されたセルに白色のデータマークを表示してもよい。記録媒体へ出力する場合はセルを白色に設定し、表示装置に表示する場合にはセルを黒色に設定(画像を反転)して、両者を使い分けてもよい。
マーク領域の出力において、セルに対して、諧調を調整して白色と黒色の間の諧調(灰色)のデータマークを出力してもよい。この場合、セル上のデータマークは、予め定めた間隔による複数種類の諧調で表現される。例えば、出力諧調として、上述のマークあり(100%)とマークなし(0%)の他に、中間諧調(66%、33%)を持つとする。この場合、データ列の複数の桁を1つのセルに対応させて表示させる。例えば、2進データ列を2桁ずつ、00を0%諧調に、01を33%諧調に、10を66%諧調に、11を100%諧調に対応させてデータマークを出力する。
このとき、諧調は各出力装置に設けられた既知の方法によって形成すればよい。例えば、記録装置の場合には、インク(またはトナー)の出力による記録媒体上の面積諧調によって形成する。また、表示装置の場合には、画像を構成する複数の発光体の発光割合によって形成する。
本実施形態における2次元コード読取方法では、入力部100において2次元コードの画像を含む画像データが取得される。以下、この画像データの詳細について記述する。画像データは、各画素は濃度に応じた諧調を持つ。本実施形態では、画像データは256階調で、この場合、各画素は濃度に応じて0〜255の諧調をとり、白色領域の画素は255に近い値を、黒色領域の画素は0に近い値をとる。ただし、諧調の刻みは256階調に限らず、例えば1024階調であってもよい。
本実施形態における画像データとして、画像データの一部であるマークセルの画像を図9に示す。このように、入出力時に発生するノイズの影響などを受け、画像データは出力前の画像データから変動を持つ。すなわち、画素の諧調として完全な黒色(0)や完全な白色(255)にはならず、マーク領域では80程度、空白領域では200程度の諧調の値を持つ。
画像データを解析するのにあたって、画像データの諧調を反転してもよい。反転することによって、白色の領域が0、黒色の領域が255に近い値をとる。さらに、諧調を0〜1に正規化した上で画像パターンを検出してもよい。本実施形態では、画像データの諧調d’を、反転後正規化した0(白)〜1.0(黒)の諧調dを用いた。このとき、諧調dは、d=(255−d’)/255、によって算出される。
本実施形態における2次元コード読取方法では、このような画像データに対し、画像パターン検出手段230において、セルに表示されたデータマークの画像パターンを検出する。以下、画像パターン検出手段230について詳細に記述する。
画像パターン検出手段230では、マーク領域とその周囲の空白領域で構成された照合パターン008を照合しながら、画像データを走査する(図10)。照合された画像は判定され、データマークとして適合する場合には検出される。この一連のプロセスは、本実施形態において、図11のフローチャートに示した手順により実施した。
照合パターン008としては、5×5画素のセル上に3×3画素のマーク領域を想定したものを用いた。照合パターンによって照合された画像の判定には、画像パターンのマーク領域および空白領域の諧調の平均(DmおよびDv)を用いる。すなわち、DmとDvを判定式に代入し、条件を満たす場合にデータマークの画像であると見なす。本実施形態において、判定式としては数1を用いた。
数1のRmとRvは予め用意する定数で、本実施形態では、Rm=Rv=5、を用いた。また、Mm、Sm、Mv、Svは、判定に利用する画像情報で、画像情報取得手段によって画像データ内の画像から取得する。本実施形態では、位置決めシンボルの画像から画像情報を取得した。この他、他のデータマークと同じパターンからなる参照マークを所定のセルに表示して、この画像から取得してもよい(図12)。また、セル領域において乱れの少ないデータマークを先に検出し、該データマークの画像から画像情報を取得してもよい。この場合、得られた画像情報を用いて、未だ検出されていない他のデータマークを検出する。
画像情報としては、マーク領域において、諧調の平均Mmと標準偏差Sm、その周囲の空白領域において、諧調の平均Mvと標準偏差Svを求めた。各領域における諧調の平均Mと標準偏差Sは、公知の計算式(数2と数3)を用いて算出される。数2、数3において、nは画素数、iは画素番号、diは画素iの諧調、Σは各領域における画素の和、を意味する。
上記の方法によって、画像データに対して、画像の照合と判定を繰り返しながら画像を走査して、複数のデータマークの画像パターンを検出していくことができる。また、検出されたデータマークに対しては、位置決めシンボルとの位置関係から、そのデータマークが表示されるセルは特定される。これにより、マークが検出されたセルにおいて、その表示は明らかになる。
このようにして、全てのデータマークを検出することで、データマークが検出されないセルを空白セルと見なすことができる。この場合、画像パターン検出手段230によって全てのセルの表示が明らかになり、セル判定手段240は実施しなくてもよい。もしくは、画像パターン検出手段230では、比較的乱れの少ないものだけを検出してもよい。その場合、セル判定手段240において、検出された画像パターンの位置からセルの位置を算出し、該位置において表示を判定する。
位置決めシンボルの検出は、データマークの検出と同じ手順によって実施することができる。すなわち、照合パターンを照合しながら画像データを走査し、照合された画像を判定することによって検出される。位置決めシンボルを検出する際の画像の判定には、数1の左辺の値を適合性の指標として適用してもよい。数1では、左辺が小さい値をとるほど適合性が高いと見なす。図13に、位置決めシンボルの照合パターン011を示す。
本実施形態における位置決めシンボルの検出は、照合パターン011を照合して得られる諧調平均Dm、Dvを、数1に代入して行った。画像情報としては、予め用意した値(Mm=1、Sm=1、Mv=0、Sv=1)を用いた。また、係数Rm、RvにはRm=1、Rv=1を用いた。
本実施形態において、位置決めシンボルは、セル領域の周囲4隅に配置した(図2)。これら4種類の位置決めシンボルのそれぞれは、画像データ中に1つずつしか存在しない。そこで、位置決めシンボルとして、数1を満たす画像のうち最も適合性が高い画像、すなわち数1の左辺が最小の画像を選択した。これにより、4種類の位置決めシンボルを画像データから1つずつ検出した。
本実施形態における2次元コード読取方法では、検出された画像パターンを基に、セル判定手段240によりセルの表示を明らかにする。以下、セル判定手段240について詳細に記述する。
セル判定手段240では、検出された複数の画像パターンの位置を基準としてセルの位置を算出する。また、該位置において表示を判定する。これを繰り返し行うことによって、全てのセルの表示を明らかにする。この一連のプロセスは、本実施形態において、図14のフローチャートに示した手順により実施した。
セルの位置は、検出された複数のデータマークに対して回帰線を求め、これらの交点として算出した(図15)。本実施形態では、セルは正方格子状に配列されているから、行と列の各軸方向に配置したマークに対して回帰して求めた。
回帰線としては、セルからの距離で重み付けされた重み付き最小2乗法(数4)を用いて、直線に回帰した。数4において、iはセル番号、Σは軸方向の画素の和、を意味する。また、(X,Y)は画像データ上の位置座標、wiは重みの係数(数5)、を意味する。数5において、nはセルからの距離で、重みの係数wiは未検出セルに近いほど重みが大きい。算出された値(X,Y)は、小数点以下を四捨五入して整数値とした。
セルの表示の判定は、セルの中心に位置する画素の諧調を、しきい値と比較して行った。本実施形態において、しきい値は、先に検出されたデータマークの画像から画像情報を取得して用いた。すなわち、検出された全てのデータマークに対し、マーク領域と空白領域の諧調の平均を求め(MmとMv)、これらの中間値(=(Mm+Mv)/2)をしきい値とした。このとき、セルの中心画素の値が大きい(諧調が高い)場合にマークが存在するとし、逆に小さい(諧調が低い)場合にはマークが存在しないとした。この他、しきい値としては、所定のセルに表示した参照マークの画像や、位置決めシンボルの画像から取得してもよい。
一方、セルの表示を判定する方法としては、画像パターン検出手段230と同じ照合パターンを照合し、判定式を満たす場合にはデータマークが存在するとし、満たさない場合には存在しないとする。判定式としては、画像パターン検出手段230と同様、数1を用いることができる。ただし、判定は画像パターン検出手段230ほど厳しくせず、Rm、Rvはもっと大きい値(例えば、Rm=Rv=12)を用いるとよい。また、画像情報であるMm、Sm、Mv、Svは、上記と同様に、既に検出されたデータマークの画像から求めることができる。
本実施形態における2次元コード読取方法で用いた、画像を判定する際の判定式(数1)について詳細に記述する。数1では、画像パターンの各領域の諧調を、画像情報の平均と標準偏差を考慮して適合性を判定する。数1において、各領域の諧調(D)は、画像情報の平均(M)とほぼ同じ値を持つと考えられる。また、諧調の分布が正規分布に従うとすると、そのばらつきの幅は、画像情報の標準偏差(S)を用いてRSと表される(Rは許容範囲を定める定数)。このことから、−1<(D−M)/RS<1、を満たす場合、各領域の諧調(D)がマークの画像として許容される。そこで、各領域の範囲を組み合せて、判定式として数1を導いた。数1による適合の範囲を、図16に示す。図16において、各領域の諧調(DmとDv)がJ1の範囲に存在する場合に、マークの画像であると見なす。
一方、数1の左辺の値は、マークの画像を判定する際の適合性の指標として適用した。すなわち、照合された画像において、マーク領域の諧調Dmが高く、空白領域の諧調Dvが低いほど、数1の左辺は小さい値をとる。そこで、数1の左辺が小さい値をとるほど、マークの画像として適合性が高いと見なした。例えば、マークを検出する際に、同じマークに対して1画素だけずれた画像など、重複して数1を満たす場合がある。そのため、マークの検出にあたって、周囲の画像に対して適合性を調べ、それらの中から最も適合性の高い画像を選択した。
判定式としては、数1の代わりに数6を用いてもよい。数6では、数1と同様、各領域の諧調を代入して式を満たす場合にマークの画像であると見なす。数6による適合の範囲を、図17に示す。
マークの画像を検出する際、画像パターンは3つ以上の領域で構成されていてもよい。図18の例では、円形なパターンからなるデータマーク051に対して、3層で構成された画像パターンを示した。これに対し、上記と同様、各領域の諧調を判定式に代入して画像を判定する。判定式としては、例えば、数6を一般化して得られる数7を用いる。数7において、Nは画像パターンを構成する領域の数、iは各領域の番号を表す。画像情報としては、図18に示す位置決めシンボル052の画像から得ることができる。
(実施形態2)
以下、本発明の実施形態2について説明する。本実施形態は、2次元コードのセル表示をカラーで行うカラー2次元コードに関する。2次元コードの出力は、カラー用記録装置を用いて、記録媒体である用紙上に記録した。また、カラー用表示装置を用いて、ディスプレイ上に表示した。これらの出力にあたり、本実施形態では、カラーインクジェットプリンター(600dpi)およびカラー液晶ディスプレイ(160dpi、32ビットカラー)を用いた。
本実施形態におけるカラー2次元コードの例を図19に示す。図19の表示は、図20に示すセルの配列に対して、デジタル情報に基づいて構成されたカラーマークの組み合せを表示したものである。このとき、セルは、8×8セルの正方格子状に配列している。同様に、12×12セルの配列の例を、図21に表示する。
カラー2次元コードにおいて位置決めシンボルは、出力装置が持つ全ての色成分において、周囲の空白領域との間にコントラストを持って表示される。すなわち、空白領域が白色で表示される本実施形態においては、位置決めシンボルは黒色で表示される。このとき、記録装置から出力する場合には、マークの出力と同様、減法混色の色成分を組み合せて黒色(シアン+マゼンタ+イエロー)を出力してもよく、また、黒色のインク(またはトナー)を用いて出力してもよい。
セル表示を判定する際の画像情報を取得するため、セル上のデータマークと同じパターンからなる参照マークを所定のセルに表示する。本実施形態において、図22は、白色を除く全ての種類、すなわち黒色、シアン、マゼンタ、イエロー、レッド、グリーン、ブルーの7種類の参照マークを表示したものである。白色に対する画像情報は、画像データ中の空白領域から取得した。
一般に、出力装置は複数の色成分を持ち、これらの色成分の組み合せによってカラー画像を表現する。出力装置としては、印刷装置、インクジェットプリンター、電子写真装置などの記録装置を用いるとよい。これらは、通常、シアン、マゼンタ、イエローのインク(またはトナー)を重ねて出力し、減法混色でカラーを表現する。色成分は、上記の3種類以外のものを使ってもよい。出力装置は、この他、ディスプレイなどの表示装置を用いてもよい。この場合には、通常、レッド、グリーン、ブルーなどの発光体の発光によって加法混色でカラーを表現する。
セルのカラー表示は、出力装置が持つ色成分の組み合せによって、多くの種類を持つことができる。出力装置が記録装置の場合には、例えば、白色の用紙上にシアン、マゼンタ、イエローの画像パターンを重ねて出力することで、黒色、シアン、マゼンタ、イエロー、レッド、グリーン、ブルー、白色の8種類のセルを表現するとよい。また、出力装置が表示装置の場合には、レッド、グリーン、ブルーの発光体による発光を組み合せて、上記の8種類のセルを表現するとよい。セルの表示は、諧調を用いて表現されてもよく、この場合、さらに多くの種類が表現される。
記録装置から記録媒体上に出力する場合、セル上に表示されるカラーのデータマークは、記録装置が持つインク(またはトナー)による減法混色の色成分(シアン、マゼンタ、イエロー)を組み合せて出力するとよい。このとき、周囲の空白領域には出力しなくてもよく、従って用紙の地合の色である白色とするとよい。これにより、マーク領域は空白領域に対してコントラストを設けて表示される。ただし、一般的な記録装置では、減法混色の色成分の他に黒色のインク(またはトナー)を持っており、黒色を出力する場合にはこれを用いてもよい。
一方、表示装置上に表示する場合、セル上に表示されるカラーのデータマークは、加法混色の色成分を持つ発光体による発光を組み合せて表示するとよい。このとき、周囲の空白領域は、各色成分の発光体(レッド、グリーン、ブルー)を発光させて白色に表示するとよい。この場合、各色成分において、マーク領域は発光体を発光させずに、空白領域に対してコントラストを設けて表示するとよい。すなわち、マーク領域は、発光体の補色の色成分(シアン、マゼンタ、イエロー)で表示するとよい。一方、空白領域は、発光体を発光させずに黒色に表示してもよい。この場合には、マーク領域は発光体を発光させて、発光体の色成分(レッド、グリーン、ブルー)で表示するとよい。
2次元コードで表現されるデジタル情報は、通常、1と0の配列によるデータ列で構成される。2次元コード生成にあたり、このデータ列を分離して複数のデータ列を取得するとよい。データ列の分離は、色成分ごとに同数程度の配列が振り分けられればよく、例えば、出力装置が持つシアン、マゼンタ、イエローに対して順番に振り分けていくとよい。もしくは、最初の1/3の配列をシアンに、次の1/3の配列をマゼンタに、残りの1/3の配列をイエローに、まとめて振り分けてもよい。
分離して得られるデータ列は、モノクロ2次元コードの場合と同じ方法を用いて、色成分ごとに画像データを生成するとよい。これによって、複数の色成分の組み合せで構成されるカラー表示を生成することができる。すなわち、色成分ごとの画像データを統合して、カラー画像データを作成するとよい。また、各画像データに対して、諧調の反転や、色変換などの所定の変換を行ってもよい。
データマークの画像を検出する際の指標とするため、マーク領域と空白領域はコントラストを設けて表示するとよい。この場合、コントラストが不十分な場合には、条件の変動によって画像の乱れが生じた状況では、データマークを確実に検出することができない。また、セルの表示を判定する際にも正確な判定を行うことが難しい。
この問題を防止するため、データマークが黒色の単色で表示されるモノクロ2次元コードの場合には、マーク領域は少なくとも10%以上の諧調によって表示するとよい。さらに望ましくは、少なくとも30%以上の諧調によって表示することが好ましい。この現象は、データマークがカラーで表示されるカラー2次元コードの場合、判定の条件が厳しくなることでさらに顕著に発生する。カラーの場合には、マーク領域は少なくとも30%以上の諧調によって表示するとよい。さらに望ましくは、少なくとも50%以上の諧調によって表示することが好ましい。
同時に、データマークが複数種類の諧調で表現される場合、モノクロ2次元コードでは、それらの諧調の間に少なくとも10%以上の間隔を設けて表示するとよい。さらに望ましくは、少なくとも30%以上の間隔を設けて表示することが好ましい。カラー2次元コードでは、少なくとも30%以上の間隔を設けて表示するとよい。さらに望ましくは、少なくとも50%以上の間隔を設けて表示することが好ましい。
2次元コードの表示は、記録装置から用紙に出力する際のにじみ、表示装置に表示する際のぼけなど、様々な要因によって本来の画像に対する乱れを持ちうる。また、2次元コードを撮像する際に、撮像装置における光学系の歪み、撮像時の焦点ぼけなど、画像の乱れが生じうる。これらの乱れにより、画像データで表示されるデータマークは、サイズの拡大や縮小、位置のずれなどを含むことがある。この場合、画像が不明瞭になり、それぞれのデータマークを個別に検出することが難しくなる。また、サイズの拡大や位置のずれを原因として、データマークの影響が周囲のセルまで及び、判定エラーを引き起こす原因となりうる。この現象は、カラー2次元コードの場合に、表示の種類が多く判定に精度が要求される上、色ずれなどのカラー特有の問題を持つことから発生しやすい。
この問題を防止するため、データマーク間の空白領域の距離を少なくとも42μm以上離して表示するとよい。さらに望ましくは、解像度が低い場合も考慮して127μm以上離して表示するとよい。ここで言うデータマーク間の空白領域の距離とは、空白領域を隔てて連続した2つのデータマークの間に存在する空白領域の最短の距離を指す。また、データマーク間の空白領域の距離をデータマークの幅に比べて15%以上、100%以下とするとよい。さらに望ましくは、画像の変動が発生しやすい状況を考慮して、30%以上、80%以下とするとよい。ここで言うデータマークの幅とは、周囲を空白領域で囲まれたマーク領域の最大の幅を指す。
データマークの周囲に空白領域を設けて表現した場合、マーク領域(黒色、灰色、カラー)の面積が相対的に減少することになる。そのため、背景と同色の面積が増え、2次元コードは、周囲に対して違和感なく自然に表示される。このことは、表示が白色と黒色の2種類で表現される場合よりも、空白セルの割合が少ない多種類の表示を持つ場合に顕著に表れる。特に、カラー2次元コードの場合には、多様な色を用いてセルが表現されるため、この効果が顕著に表れる。
本実施形態における2次元コード読取方法の概要構成図を図23に示す。本実施形態における2次元コードの読取方法は、実施形態1と同様、入力部100、解読部200、出力部300によって構成される。入力部100および出力部300は、本実施形態ではカラー画像を扱う以外、実施形態1と同一である。
解読部200では、入力部100で取得されたカラー画像を解析し、2次元コードに表現されたデジタル情報を得る。解読部200は、位置決め手段210の前に画像データ分離手段260が、デコード手段250の後にデータ列統合手段270が、それぞれ設けてある以外は、実施形態1と同一である。
入力部100で取得されるカラーの画像データは、加法混色の場合、各画素の値を(レッドの諧調,グリーンの諧調,ブルーの諧調)と表される。256階調において、黒色は(0,0,0)、レッドは(255,0,0)、レッドの補色であるシアンは(0,255,255)、白色は(255,255,255)などとして表される。また、カラー画像は、シアン、マゼンタ、イエローの減法混色で表現されるものであってもよい。ここでは便宜上、各画素の諧調を0や255として表したが、実際の画像データではだれによる変動を含んでいる。
画像データ分離手段260は、このような画像データを、色成分ごとに分離するものである。これにより、各色成分において、それぞれが256階調の単色の画像データと同じ構成を持つ。そのため、各画像データに対して、モノクロ2次元コードにおける実施形態1と同じ方法を用いて、画像データを解析することができる。図24に、このときの概念図を示す。
一方、データ列統合手段270は、色成分ごとの画像データの解析によって取得されるデータ列に対し、それらを統合するものである(図24)。この統合は、デジタル情報を分離する際に用いた規則に基づいて行われる。これにより、カラー2次元コードに表現されたデジタル情報を解読することができる。ただし、上記における画像データの分離および統合は、概念上のものであり、画像データを3つのファイルに分離して解析してもよく、また、同じ画像データに対して、色成分ごとに解析するものであってもよい。
本実施形態における2次元コード表示方法の概要構成図を図25に示す。本実施形態における2次元コードの表示方法は、実施形態1と同様、入力部400、生成部500、出力部600によって構成される。入力部400および出力部600は、本実施形態ではカラー画像を扱う以外、実施形態1と同一である。
生成部500では、入力部400で取得されたデジタル情報から、2次元コードの画像データを生成する。生成部500は、エンコード手段510の前にデータ列分離手段530が、画像データ生成手段520の前に画像データ統合手段540が設けてある以外は、実施形態1と同一である。
データ列分離手段530は、入力部400から得られる2進データ列を、色成分ごとに分離するものである。これにより、各色成分においてデータ列の集まりが得られ、各データ列に対して実施形態1と同一の方法によって画像データを生成することができる。図26に、このときの概念図を示す。
画像データ統合手段540は、各色成分に対応した1成分ごとの画像データを生成し、これらをカラー画像データとして統合するものである(図26)。これにより、2進データ列によるデジタル情報から、カラー2次元コードを生成することができる。
一方、生成部500では、2進データ列を、セルの表示の種類に応じた進数のデータ列に変換し、これに基づいてセルを表示してもよい。すなわち、セルが8種類の表示(黒色、シアン、マゼンタ、イエロー、レッド、グリーン、ブルー、白色)を持つ場合、2進データを既知の計算式によって8進データに変換する。この8進データに対して、例えば、8を「黒色」、7を「シアン」、6を「マゼンタ」、…、0を「白色」として対応付けし、各桁の数(色)をセルに配分することによって表示する。
本実施形態におけるその他の事柄の説明は、上記実施形態1と同一であるため省略する。
(実施形態3)
以下、本発明の実施形態3について説明する。本実施形態における2次元コードは、セルの表示をデータマークの有無で構成し、このデータマークを周囲に空白領域を設けずに印す。すなわち、セルの全面積にデータマークを印す(図27)。このような2次元コードでは、データマークが連続する箇所において、隣接したデータマークどうしが繋がって印される。そのため、データマークの間に境界が存在せず、セル上のデータマークを個々に判別することができない。
一方、容量の大きいデジタル情報を表示する場合、2次元コードは無数のセルで構成され、セルに表示されるマークの様々な組み合せによって情報が表現される。そのため、データマークの配置の中には、マークセルとその周囲が空白セルで構成された配置が存在する。この配置のデータマークは、周囲が空白領域であるため他のマークから判別することができる。
本実施形態の2次元コード読取方法では、図28に示すように、周囲が空白セルで囲まれたデータマークの画像061を検出する。画像の照合には、照合パターン062を用いる。また、この場合とは逆に、周囲がデータマークで囲まれた空白セルの画像063を検出してもよい。この場合には、照合パターン064を用いる。検出された画像の位置を用いて、実施形態1と同様、セルの位置を算出する。この位置で表示を判定することで、全てのセルの表示を明らかにする。
上記の配置以外にも、図29に示すように、マークが2つ連続するとともに周囲を空白なセルで囲まれた配置071,073を検出してもよい。この場合、照合パターン072,074を用いる。また、マークが3つ連続するとともに周囲を空白なセルで囲まれた配置(図30)や、さらに多数のマークが連続した配置を検出してもよい。その他、これらを反転した配置の画像検出してもよい。
本実施形態におけるその他の事柄の説明は、上記第1および実施形態2と同一であるため省略する。
(実施例1)
本実施例は、実施形態1(モノクロ2次元コード)および実施形態2(カラー2次元コード)の構成において、マーク領域と空白領域のコントラストと、表示媒体の種類との関係において、本件の効果をデジタル情報の復元精度によって評価確認したものである。
マーク領域と空白領域のコントラストは、諧調が0%の空白領域に対してマーク領域を、5〜50%の6水準とした。また、表示媒体としては、インクジェットプリンター(600dpiモード)から用紙(普通紙)上に表示した場合と、液晶ディスプレイ(160dpi、32ビットカラー)上に表示した場合の2水準とした。このとき、デジタル情報が正確に復元された場合を○、正確に復元されなかった場合を×とした。
得られた結果は、図31に示す。このことから、次のことが確認された。
(1)マーク領域と空白領域のコントラストが大きい方が、デジタル情報の復元精度がよい。
(2)カラー2次元コードは、モノクロ2次元コードに比べて、デジタル情報の復元が難しい(条件が厳しい)。
(3)用紙に記録する場合は、液晶ディスプレイに表示する場合に比べて、デジタル情報の復元が難しい(条件が厳しい)。
以上のように、本実施例では、モノクロ2次元コードの場合、マーク領域が10%以上の場合の有効性が確認された。さらに望ましくは、30%以上であれば、用紙に記録した場合でもデジタル情報を正確に復元することができた。また、カラー2次元コードの場合、マーク領域が30%以上の場合の有効性が確認された。さらに望ましくは、50%以上であれば、用紙に記録した場合でもデジタル情報を正確に復元することができた。
同時に、データマークが複数の諧調で表現される場合についても評価確認を行った。上記において、マーク領域と空白領域のコントラストの替わりに、諧調の間の差を、5〜50%の6水準とした。得られた結果は、図31と同じであるため省略する。このことから、次のことが確認された。
(4)データマークが複数の諧調で表現される場合、諧調間の差が大きい方が、デジタル情報の復元精度がよい。
以上のように、モノクロ2次元コードの場合、諧調間の差が10%以上の場合の有効性が確認された。さらに望ましくは、30%以上であれば、用紙に記録した場合でもデジタル情報は正確に復元された。また、カラー2次元コードの場合、諧調間の差が30%以上の場合の有効性が確認された。さらに望ましくは、50%以上であれば、用紙に記録した場合でもデジタル情報は正確に復元された。
(実施例2)
本実施例は、実施形態2(カラー2次元コード)の構成において、データマーク間の空白領域の距離と、画像データを取得する撮像装置の種類との関係において、本件の効果をデジタル情報の復元精度によって評価確認したものである。
マーク間の空白領域の距離は、10〜254μmの6水準とした。また、撮像装置としては、フラットベッドスキャナ(600dpiモード)による高解像度の場合と、デジタルカメラ(50万画素)による低解像度の場合の2水準とした。このとき、デジタル情報が正確に復元された場合を○、正確に復元されなかった場合を×とした。
得られた結果は、図32に示す。このことから、次のことが確認された。
(1)データマーク間の空白領域の距離が広い方が、デジタル情報の復元精度がよい。
(2)低解像度の画像の方が、高解像度の画像に比べて、デジタル情報の復元が難しい(条件が厳しい)。
以上のように、データマーク間の空白領域の距離を少なくとも42μm以上離して表示することの有効性が確認された。さらに望ましくは、127μm以上であれば、低解像度の画像の場合でもデジタル情報は正確に復元された。
(実施例3)
本実施例は、実施形態2(カラー2次元コード)の構成において、データマーク間の空白領域の距離をデータマークの幅に比べた割合と、記録媒体の種類との関係において、本件の効果をデジタル情報の復元精度によって評価確認したものである。
空白領域の距離をデータマークの幅に比べた割合は、10〜125%の10水準とした。また、インクジェットプリンター(600dpiモード)を用いて、記録媒体の種類は光沢紙と普通紙の2水準とした。このとき、デジタル情報が正確に復元された場合を○、正確に復元されなかった場合を×とした。
得られた結果は、図33に示す。このことから、次のことが確認された。
(1)空白領域の距離をデータマークの幅に比べた割合は、特定の範囲内において、デジタル情報の復元精度がよい。
(2)普通紙上に表示した場合の方が、光沢紙上に表示した場合に比べて、デジタル情報の復元が難しい(条件が厳しい)。
以上のように、データマーク間の空白領域の距離をデータマークの幅に比べて15%以上及至100%以下として表示することの有効性が確認された。さらに望ましくは、30%以上及至80%以下とすれば、普通紙上に表示した場合でもデジタル情報は正確に復元された。
実施形態1における2次元コード読取方法の概要構成図である。 実施形態1における2次元コード全体を示した図である。 長方形状の2次元コード全体を示した図である。 実施形態1における2次元コードの一部を示した図である。 実施形態1におけるマークセルを示した図である。 六角形のセルからなる2次元コードを示した図である。 実施形態1における2次元コード作成方法の概要構成図である。 2次元コード作成時の画像データを画素単位で示した図である。 2次元コード読取時の画像データを画素単位で示した図である。 画像データから画像パターンを検出する様子を示した図である。 画像パターンを検出する際のフローチャートである。 セル上に表示された参照マークを示した図である。 位置決めシンボルの照合パターンを示した図である。 実施形態1におけるセル判定手段のフローチャートである。 回帰線の交点からセルの位置を算出する様子を示した図である。 判定式(数1)による判定の領域を示した図である。 判定式(数6)による判定の領域を示した図である。 3層で構成された照合パターンを示した図である。 実施形態2におけるカラーの二次元コードを表した図である。 カラーの二次元コードのフォームを表した図である。 実施形態2におけるカラーの二次元コードを表した図である。 セル上に表示されたカラーの参照マークを示した図である。 カラー2次元コード読取方法の概要構成図である。 カラー2次元コード読取方法を示した模式図である。 カラー2次元コード作成方法の概要構成図である。 カラー2次元コード作成方法を示した模式図である。 実施形態3における2次元コード全体を示した図である。 実施形態3における照合パターンを示した図である。 実施形態3における照合パターンを示した図である。 実施形態3における照合パターンを示した図である。 マーク/空白領域の諧調差に対する復元精度を表した図である。 マーク間の空白領域の距離に対する復元精度を表した図である。 データマークと空白の割合に対する復元精度を表した図である。
001,061…マークセル、002,063…空白セル、
003,005…セル上のデータマーク、004…セル上の空白領域、
006…画素、007…諧調、010…位置決めシンボル、
008,011,051,052,062,064…照合パターン、
021,022,023…カラーのデータマーク
041,042…画像情報算出用マーク、
071,073,081,083…連続した複数のマークセル、
072,074,082,084…複数のセルを含む画像パターン、
100…2次元コード入力部、110…入力手段、
120…記録媒体上の2次元コード、200…解読部、210…位置決め手段、
220…画像情報取得手段、230…画像パターン検出手段、
240…セル判定手段、250…デコード手段、260…画像データ分離手段、
270…データ列統合手段、300…出力部、310…出力手段、
400…入力部、410…入力手段、500…生成部、510…エンコード手段、
520…画像データ生成手段、530…データ列分離手段、
540…画像データ統合手段、600…出力部、610…出力手段、
J0…空白セルと判定する領域、J1…マークセルと判定する領域、
C…シアン色のデータマーク、M…マゼンダ色のデータマーク、
Y…イエロー色のデータマーク、R…赤色のデータマーク、
G…緑色のデータマーク、B…青色のデータマーク、K…黒色のデータマーク、
C1…シアンプレーン、M1…マゼンダプレーン、Y1…イエロープレーン

Claims (5)

  1. 2次元的に配置した複数のセルの各々に対して周囲を空白領域で囲まれたデータマーク領域を形成し、当該データマーク領域におけるデータマークの表示がセル毎に異なることでデジタル情報を表現する前記データマークと、前記セルに対して特定の位置に固定して表示される位置検出パターンとを有する2次元コードの解読プログラムであって、
    前記2次元コードを含む画像データにおいて、データマーク領域と当該データマーク領域の周囲の空白領域とで構成される照合パターンを用いて照合することにより、前記照合パターンと同じ画像パターンを検出し、当該画像パターンが検出される場合に周囲を空白領域で囲まれて表示される前記データマークがセルに有ると判定すること、
    を特徴とする2次元コード解読プログラム。
  2. 前記セルに対する表示として、データマーク領域と当該データマーク領域の周囲の空白領域との間のコントラストが大きい表示、及び、当該表示よりも前記コントラストが小さい表示が存在すること、
    前記照合パターンのデータマーク領域と空白領域に対応する画像データ上の各領域から諧調を取得し、これらの領域間のコントラストが大きい画像パターンを検出すること、
    前記画像パターンの検出によって特定されるセルの表示を基に2次元コードに表現されたデジタル情報を復元すること、
    を特徴とする請求項1に記載の2次元コード解読プログラム。
  3. 前記画像パターンを検出するプロセスは、前記照合パターンを用いて、前記画像データを走査しながら当該画像データ上の画像を照合するステップと、照合された前記画像データ上の画像を、前記照合パターンの各画像領域に対応して算出された諧調の値を判定式に代入して判定するステップを有すること、
    を特徴とする請求項2に記載の2次元コード解読プログラム。
  4. 2次元的に配置した複数のセルの各々に対して周囲を空白領域で囲まれたデータマーク領域を形成し、当該データマーク領域におけるデータマークの表示がセル毎に異なることでデジタル情報を表現する前記データマークと、前記セルに対して特定の位置に固定して表示される位置検出パターンとを有する2次元コードの解読プログラムであって、
    各画素が複数の色成分を保持して構成された前記2次元コードを含むカラー画像データにおいて、データマーク領域と当該データマーク領域の周囲の空白領域で構成される照合パターンを用いて各画素が保持する色成分ごとに照合することにより、前記照合パターンと同じ画像パターンを検出し、当該画像パターンが検出される場合に周囲を空白領域で囲まれて表示される前記データマークがセルに有ると判定すること、
    を特徴とする2次元コード解読プログラム。
  5. 前記画像データにおいて特定の位置に表示された画像パターンを検出し、当該画像パターンの画像から前記データマークと同じ形状および大きさで表示される参照マークの画像情報を取得して、当該画像情報との対比によって前記照合パターンと同じ画像パターンを検出すること、
    を特徴とする請求項4に記載の2次元コード解読プログラム。
JP2005505873A 2003-05-02 2004-04-23 2次元コード解読プログラム Expired - Lifetime JP4708186B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005505873A JP4708186B2 (ja) 2003-05-02 2004-04-23 2次元コード解読プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2003127340 2003-05-02
JP2003127340 2003-05-02
PCT/JP2004/005862 WO2004097717A1 (ja) 2003-05-02 2004-04-23 2次元コード読取方法、表示方法、および実行プログラム
JP2005505873A JP4708186B2 (ja) 2003-05-02 2004-04-23 2次元コード解読プログラム

Publications (2)

Publication Number Publication Date
JPWO2004097717A1 JPWO2004097717A1 (ja) 2006-07-13
JP4708186B2 true JP4708186B2 (ja) 2011-06-22

Family

ID=33410368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005505873A Expired - Lifetime JP4708186B2 (ja) 2003-05-02 2004-04-23 2次元コード解読プログラム

Country Status (3)

Country Link
US (1) US7938330B2 (ja)
JP (1) JP4708186B2 (ja)
WO (1) WO2004097717A1 (ja)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ439299A0 (en) 1999-12-01 1999-12-23 Silverbrook Research Pty Ltd Interface system
US20050212830A1 (en) * 1999-09-17 2005-09-29 Silverbrook Research Pty Ltd Method of accessing a connection address using a mobile device with a sensing means
US7999964B2 (en) * 1999-12-01 2011-08-16 Silverbrook Research Pty Ltd Printing on pre-tagged media
US7726764B2 (en) * 2005-05-09 2010-06-01 Silverbrook Research Pty Ltd Method of using a mobile device to determine a position of a print medium configured to be printed on by the mobile device
US7753517B2 (en) * 2005-05-09 2010-07-13 Silverbrook Research Pty Ltd Printhead with an optical sensor for receiving print data
US7645022B2 (en) * 2005-05-09 2010-01-12 Silverbrook Research Pty Ltd Mobile telecommunication device with a printhead, a capper and a locking mechanism for holding the capper in an uncapped position during printing
US7735993B2 (en) * 2005-05-09 2010-06-15 Silverbrook Research Pty Ltd Print medium having coded data and an orientation indicator
US7680512B2 (en) * 2005-05-09 2010-03-16 Silverbrook Research Pty Ltd Method of using a mobile device to print onto a print medium taking into account an orientation of a print medium
US7697159B2 (en) * 2005-05-09 2010-04-13 Silverbrook Research Pty Ltd Method of using a mobile device to determine movement of a print medium relative to the mobile device
US7284921B2 (en) * 2005-05-09 2007-10-23 Silverbrook Research Pty Ltd Mobile device with first and second optical pathways
JP5288691B2 (ja) * 2005-06-13 2013-09-11 豊 木内 2次元コード読取プログラム
JP4804125B2 (ja) * 2005-11-24 2011-11-02 キヤノン株式会社 2次元コード、2次元コード検出方法、および2次元コード検出装置
KR101177589B1 (ko) * 2006-04-19 2012-08-27 에이ㆍ티 코뮤니케이숀즈 가부시키가이샤 로고 부착 이차원 코드
KR100914515B1 (ko) * 2006-06-23 2009-09-02 주식회사 칼라짚미디어 색상 기반 이미지 코드의 색상 판별 방법
US20080192234A1 (en) * 2007-02-08 2008-08-14 Silverbrook Research Pty Ltd Method of sensing motion of a sensing device relative to a surface
US7673807B2 (en) * 2007-02-21 2010-03-09 Hewlett-Packard Development Company, L.P. Multiple resolution readable color array
CN103955726A (zh) * 2007-10-30 2014-07-30 吉田健治 代码图形
WO2009060942A1 (ja) * 2007-11-09 2009-05-14 B-Core Inc. 光学式認識コード及びそのマーキング方法及びその読み取り方法、並びに、光学式認識コードをマーキングした物品、並びに、色彩認識方法及びプログラム、並びに、色彩配列による自動認識コード及びそれが付された物品
US8430329B2 (en) * 2008-03-14 2013-04-30 Yutaka Kiuchi Two-dimensional code publishing program and two-dimensional code decoding program
JP5356701B2 (ja) * 2008-03-14 2013-12-04 豊 木内 2次元コード、及び、プログラム
JP5541672B2 (ja) * 2009-02-10 2014-07-09 キヤノン株式会社 装置、方法、プログラム
JP4790870B2 (ja) * 2009-02-27 2011-10-12 A・Tコミュニケーションズ株式会社 二次元コード表示装置、二次元コード表示方法、及びプログラム
US9396421B2 (en) 2010-08-14 2016-07-19 Rujan Entwicklung Und Forschung Gmbh Producing, capturing and using visual identification tags for moving objects
KR20120026350A (ko) * 2010-09-09 2012-03-19 삼성전자주식회사 데이터 파일 전송 방법 및 시스템
US20120200742A1 (en) * 2010-09-21 2012-08-09 King Jim Co., Ltd. Image Processing System and Imaging Object Used For Same
SG191666A1 (en) * 2010-09-21 2013-07-31 King Jim Co Ltd Image processing system and imaging object used for same
CN103064607A (zh) * 2011-10-20 2013-04-24 网秦无限(北京)科技有限公司 具有触摸屏的设备解锁的方法和系统
EP3509015B1 (en) * 2012-06-06 2021-01-27 Sodyo Ltd. A method for encoding information, a tangible medium having a symbol produced thereon using the method, and an information system
US10147214B2 (en) 2012-06-06 2018-12-04 Sodyo Ltd. Display synchronization using colored anchors
WO2014052667A1 (en) * 2012-09-26 2014-04-03 Smart Pj's Llc Machine recognizable code for use on fabric
US20140152947A1 (en) * 2012-12-05 2014-06-05 Shenzhen Chian Star Optoelectronics Technology Co., Ltd. Manufacturing device for liquid crystal panel and liquid crystal panel
US9142152B2 (en) * 2012-12-21 2015-09-22 Hewlett-Packard Development Company, L.P. Display diagnostics using two-dimensional barcodes
JP6132577B2 (ja) * 2013-02-13 2017-05-24 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
CN104834839B (zh) * 2014-02-11 2019-08-23 阿里巴巴集团控股有限公司 一种条码生成方法、基于条码的鉴权方法及相关终端
US9367782B2 (en) * 2014-05-29 2016-06-14 Konica Minolta Laboratory U.S.A., Inc. High capacity 2D color barcode and method for decoding the same
US9589217B2 (en) * 2014-07-09 2017-03-07 Xeroc Corporation Augmenting barcodes with secondary encoding for anti-counterfeiting
JP6090292B2 (ja) * 2014-12-02 2017-03-08 トヨタ自動車株式会社 マーカ生成装置、マーカ認識装置、及びプログラム
EP3251091B1 (en) 2015-01-28 2019-10-16 Sodyo Ltd. Hybrid visual tagging using customized colored tiles
US20160379029A1 (en) * 2015-06-23 2016-12-29 Konica Minolta Laboratory U.S.A., Inc. High capacity 2d color barcode design and processing method for camera based applications
US9576231B1 (en) 2015-09-02 2017-02-21 International Business Machines Corporation Interpreting a matrix code with increased information density
JP6219911B2 (ja) * 2015-11-24 2017-10-25 日鉄住金テックスエンジ株式会社 二次元コード、画像読取り装置、画像読取り方法及びプログラム
US10235547B2 (en) 2016-01-26 2019-03-19 Hand Held Products, Inc. Enhanced matrix symbol error correction method
US9674430B1 (en) * 2016-03-09 2017-06-06 Hand Held Products, Inc. Imaging device for producing high resolution images using subpixel shifts and method of using same
US9785851B1 (en) * 2016-06-30 2017-10-10 Huron Valley Steel Corporation Scrap sorting system
KR102660603B1 (ko) 2018-07-11 2024-04-25 소디오 리미티드 모자이크 이미지 센서를 사용한 고해상도의 기계 판독 가능 태그의 검출
CN109784121B (zh) * 2019-01-14 2022-09-23 新大陆数字技术股份有限公司 Dot-peen DPM码的识别方法及装置
US11418387B2 (en) * 2019-02-28 2022-08-16 Shoppertrak Rct Corporation Systems and methods for optical device configuration
EP3712814B1 (en) * 2019-03-20 2022-02-16 Alltec Angewandte Laserlicht Technologie GmbH Method and marking apparatus for applying a marking on an object
CN112149775B (zh) * 2020-09-30 2024-05-31 北京小龙潜行科技有限公司 可视化标签应用方法和装置
CN114926347A (zh) * 2021-09-23 2022-08-19 星宸科技股份有限公司 图像校正方法及处理器
US11438520B1 (en) * 2021-11-29 2022-09-06 Unity Technologies Sf Increasing dynamic range of a virtual production display

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0554214A (ja) * 1991-08-22 1993-03-05 Toppan Printing Co Ltd データの記録方法及びこの方法によりデータを印刷した印刷体
US5369261A (en) * 1992-02-12 1994-11-29 Shamir; Harry Multi-color information encoding system
JPH08115397A (ja) * 1994-10-14 1996-05-07 Olympus Optical Co Ltd 情報記録媒体、2次元コード、情報再生システム、及び情報再生方法
JPH08255207A (ja) * 1995-03-16 1996-10-01 Olympus Optical Co Ltd 二値化回路
JPH0981711A (ja) * 1995-09-20 1997-03-28 Olympus Optical Co Ltd 情報記録媒体、情報再生システム、及び情報記録システム
JPH10283446A (ja) * 1997-04-08 1998-10-23 Nippon I D Tec Kk 多色記録式マトリクスコード記録紙
JPH11213113A (ja) * 1998-01-23 1999-08-06 Olympus Optical Co Ltd データ記録方法
JP2000030016A (ja) * 1999-04-30 2000-01-28 Olympus Optical Co Ltd 情報記録媒体及び情報再生システム
JP2001195540A (ja) * 2000-01-07 2001-07-19 Omron Corp 情報読み取り装置および情報読み取り方法、並びに情報記録媒体
JP2001307014A (ja) * 2000-04-18 2001-11-02 Fujitsu Ltd 二次元コード抽出方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03245283A (ja) * 1990-02-23 1991-10-31 Nakane:Kk フィルター付再帰反射体による遠隔制御情報伝達システム
US5355001A (en) 1990-11-28 1994-10-11 Toppan Printing Co., Ltd. Method for recording data, and printed body printed by the method, and data recording medium, and method for reading data from data recording the medium
US5541396A (en) * 1991-07-19 1996-07-30 Rentsch; Frederic Method of representing binary data
JP2938338B2 (ja) 1994-03-14 1999-08-23 株式会社デンソー 二次元コード
JPH0830977A (ja) 1994-07-19 1996-02-02 Olympus Optical Co Ltd 情報記録媒体及び情報記録再生システム
JP2000235617A (ja) 1999-02-17 2000-08-29 Olympus Optical Co Ltd データ読取装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0554214A (ja) * 1991-08-22 1993-03-05 Toppan Printing Co Ltd データの記録方法及びこの方法によりデータを印刷した印刷体
US5369261A (en) * 1992-02-12 1994-11-29 Shamir; Harry Multi-color information encoding system
JPH08115397A (ja) * 1994-10-14 1996-05-07 Olympus Optical Co Ltd 情報記録媒体、2次元コード、情報再生システム、及び情報再生方法
JPH08255207A (ja) * 1995-03-16 1996-10-01 Olympus Optical Co Ltd 二値化回路
JPH0981711A (ja) * 1995-09-20 1997-03-28 Olympus Optical Co Ltd 情報記録媒体、情報再生システム、及び情報記録システム
JPH10283446A (ja) * 1997-04-08 1998-10-23 Nippon I D Tec Kk 多色記録式マトリクスコード記録紙
JPH11213113A (ja) * 1998-01-23 1999-08-06 Olympus Optical Co Ltd データ記録方法
JP2000030016A (ja) * 1999-04-30 2000-01-28 Olympus Optical Co Ltd 情報記録媒体及び情報再生システム
JP2001195540A (ja) * 2000-01-07 2001-07-19 Omron Corp 情報読み取り装置および情報読み取り方法、並びに情報記録媒体
JP2001307014A (ja) * 2000-04-18 2001-11-02 Fujitsu Ltd 二次元コード抽出方法

Also Published As

Publication number Publication date
US7938330B2 (en) 2011-05-10
WO2004097717A1 (ja) 2004-11-11
JPWO2004097717A1 (ja) 2006-07-13
US20070051813A1 (en) 2007-03-08

Similar Documents

Publication Publication Date Title
JP4708186B2 (ja) 2次元コード解読プログラム
US7673807B2 (en) Multiple resolution readable color array
JP5288691B2 (ja) 2次元コード読取プログラム
JP5952178B2 (ja) 大容量データの符号化および復号化のための4次元(4d)カラーバーコード
US8456699B2 (en) System and method for creating a data-bearing image
US8768052B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
WO2014077186A1 (ja) 二次元コード、二次元コードの作成システムおよび解析プログラム
TWI501159B (zh) QR code
JP5861503B2 (ja) 画像検査装置及び方法
JP2009017554A (ja) 自動読取システム、情報埋め込み装置、情報埋め込みプログラム、情報認識装置、情報認識プログラム及び自動読取印刷物
US7532738B2 (en) Print medium quality adjustment system, inspection watermark medium output device for outputting watermark medium to undergo inspection, watermark quality inspection device, adjusted watermark medium output device, print medium quality adjustment method and inspection watermark medium to undergo inspection
US7911653B2 (en) Device using low visibility encoded image to manage copy history
JP4140519B2 (ja) 画像処理装置、プログラムおよび記録媒体
US8797193B2 (en) Parallel test payload
JP5073079B2 (ja) 印刷装置、印刷制御装置、データ処理方法およびプログラム
JP7451159B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP3679571B2 (ja) 画像処理装置及び方法及び記憶媒体
JP2013009387A (ja) 印刷装置、印刷制御装置、データ処理方法およびプログラム
US8229223B2 (en) Image processor, image forming apparatus, image processing method and computer readable medium
JP4462322B2 (ja) 画像処理装置、画像形成装置、及びプログラム
JP2014120832A (ja) 画像処理装置及び画像処理プログラム
US20060140442A1 (en) Steganographic method
JP2000358153A (ja) 画像処理装置及び画像処理方法
JP2015039153A (ja) 画像処理装置、画像読み取り装置およびプログラム
JPH0380766A (ja) 画像の階調記録装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070416

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101201

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110316

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250