[go: up one dir, main page]

JP4897461B2 - レンダリングされた複合画像で複数のコード化されたソース画像の奥行きを識別する方法及びシステム - Google Patents

レンダリングされた複合画像で複数のコード化されたソース画像の奥行きを識別する方法及びシステム Download PDF

Info

Publication number
JP4897461B2
JP4897461B2 JP2006336098A JP2006336098A JP4897461B2 JP 4897461 B2 JP4897461 B2 JP 4897461B2 JP 2006336098 A JP2006336098 A JP 2006336098A JP 2006336098 A JP2006336098 A JP 2006336098A JP 4897461 B2 JP4897461 B2 JP 4897461B2
Authority
JP
Japan
Prior art keywords
image
composite image
narrowband
rendered
colorant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006336098A
Other languages
English (en)
Other versions
JP2007168433A (ja
Inventor
ピー ロース ロバート
ザン イェクィン
シャーマ ゴーラフ
ジェイ ハリントン スティーヴン
エイ クリーン ピーター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of JP2007168433A publication Critical patent/JP2007168433A/ja
Application granted granted Critical
Publication of JP4897461B2 publication Critical patent/JP4897461B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Printing Methods (AREA)

Description

本発明は、レンダリングされた画像内の画像コンテンツの奥行き知覚を可能にするためのシステムに関する。本願において、「レンダリング」とは広義のレンダリングであるデータの可視化を意味しており、数値等のデータとして与えられた物体や図形に関する情報を画像化することをいう。
平坦な基材等の用紙(本願において「用紙」は紙以外の印刷媒体も含まれる)、上に与えられる印刷画像のコンテンツは、一般に、二次元のものとして知覚され、奥行きを欠いている。しかしながら、こうした画像コンテンツを生成又は修正して特定の視覚的手がかりを与え、わずかな奥行き知覚を可能にすることが知られている。
米国特許第5483363号明細書 米国特許第6406062号明細書 米国特許第5619219号明細書
本発明は、レンダリングされた複合画像内において、複数のコード化されたソース画像のそれぞれの奥行きを識別する方法及びシステムを提供する。
本発明は、複数のソース画像をコード化し、複合画像内のコード化された複数のソース画像を組み合わせ、用紙上の選択された狭帯域着色剤を画像形状で堆積させることにより物理的形態で複合画像をレンダリングし、複数の狭帯域発光体を用いるレンダリングされた複合画像の制御された照明時に、レンダリングされた複合画像における異なった奥行きで、第1及び第2ソース画像の少なくとも1つを知覚することを可能にする方法及びシステムに向けられる。したがって、少なくとも1つの回復されたソース画像は、レンダリングされた複合画像内の画像コンテンツの一部又は全体に対する空間的格差を有するように知覚される。レンダリングされた複合画像のコンテンツ間の空間的格差のこのような知覚が、ここでは「奥行き識別」と考えられる。
各々のソース画像ピクセルを表す値を、複数の着色剤画像平面の1つ又はそれ以上の中の対応するピクセル値にマッピングすることによって、所定のソース画像をコード化することができる。複合画像は、そのような複数の着色剤画像平面の組み合わせによって定めることができ、複数の着色剤を用いて最終的にレンダリングされることになる、いずれかの数の異なるパターンのピクセルを有することができる。しかしながら、複合画像の主な特性は、幾つかの画像コンテンツがコード化され、特定のスペクトル吸収特性を有する第1の着色剤を用いてレンダリングされ、他の画像コンテンツは、第2の異なるスペクトル吸収特性を有する第2の着色剤を用いてレンダリングされるというものである。
一般に、短波長を吸収する着色剤を用いて書き込まれる画像コンテンツは、長波長を吸収する着色剤を用いて書き込まれる画像コンテンツより遠くにあるように知覚される。したがって、第1の画像平面を複合画像内に書き込み、これにより、複合画像内の特定のピクセルが主として長波長の光を吸収する着色剤を用いてレンダリングされ、第2の画像平面を複合画像内に書き込み、これにより、特定のピクセルが主として短波長の光を吸収する別の着色剤を用いてレンダリングされるように、エンコーダを用いることができる。次に、画像記録装置を用いて、用紙上に対応する複合画像をレンダリングすることができ、デコーダを用いて、それぞれ選択された長波長及び短波長を有する少なくとも2つの発光体により、レンダリングされた複合画像を同時に照明することができる。従って、そのように選択された着色剤を用いて、レンダリングされた複合画像を選択された相補的(complement:相互に補色となる関係をいう)着色剤に曝すことにより、第1の画像平面内にコード化された画像コンテンツが、第2の画像平面内にコード化された画像コンテンツに対して、前面に配置されたものとして知覚可能できる。或いは代替的に、第2の画像平面内にコード化された画像コンテンツは、第1の画像平面内にコード化された画像コンテンツに対して、背後に配置されたものとして知覚可能である。
複合画像は、複合画像ファイルとして格納又は伝送することができる。次に、識別された着色剤のアレイを使用して用紙上の複合画像をレンダリングする命令と共に複合ファイルをレンダリング装置に提供することによって、複合画像を物理的に実現でき、これにより、アレイは、奥行き識別を可能にするように選択された着色剤を含むようになる。したがって、レンダリング装置の1つの適切な実施形態は、デジタル・カラー・プリンタを含む。
複数の単色分離画像をソース画像として使用し、エンコーダを作動させて、そのような分離画像を組み合わせて複合画像にすることができる。このようにコード化された分離画像は、用紙上に堆積されることになるそれぞれの着色剤の量を制御し、レンダリングされた複合画像を生成する。
各ソース画像のピクセル・マッピングは、複合画像のコード化、レンダリング、又は復号化に及ぼす以下のもの、すなわち(a)複合画像をレンダリングするために選択された着色剤のスペクトル特性、こうしたスペクトル特性は、特定の用紙上で組み合わされたときに、これらの着色剤の相互作用を特に含む、及び(b)ソース画像を回復するために複合画像を照明するのに使用される狭帯域のスペクトル特性の相互作用を補償するための判断結果を用いることができる。
複数のソース画像を表す画像データ・ファイルを受け取り、ソース画像をコード化し、複合画像データ・ファイル内に提供される複合画像を形成するように作動可能なコンピュータの形態でエンコーダを設けることができる。エンコーダは、オプションとして、コンピュータに接続された複合画像ファイル格納装置又は伝送装置を含むことができる。
複合画像は、堆積された着色剤の単一の複雑なレンダリングされたパターンとして実現することができ、少なくとも2つの着色剤が、特定のスペクトル反射特性又はスペクトル吸収特性、特に狭帯域スペクトル吸収特性のために選択される。考察される着色剤は、シアン着色剤、マゼンタ着色剤、及びイエロー着色剤を含み、それぞれの相補的(補色となる)発光体は、可視スペクトルの赤色領域、緑色領域、及び青色領域を有する。
複合画像をレンダリングするためのサブシステムは、複合画像データ・ファイルを受け取り、対応する複合画像を用紙上に可視化するための画像記録装置を含むことができる。画像記録装置は、複合画像を用紙上に印刷するために、エンコーダ、又は複合画像ファイル格納装置及び/又は伝送装置に接続されたプリンタの形態で設けられる。プリンタは、指定された相補的発光体に曝されたときに外見上暗く見えるように選択された顔料、インク、又は染料の形態の着色剤を用いることができる。
レンダリングされた複合画像を、少なくとも2つの相補的発光体、すなわち、各々が、選択された着色剤のそれぞれのスペクトル反射特性又はスペクトル吸収特性に対応する選択されたスペクトルパワー分布を有する、1対の発光体を含む照明の場に曝すことによって、ソース画像を回復することができる。レンダリングされた複合画像が相補的発光体によって照明されるとき、レンダリングされた複合画像内で対応するソース画像の奥行き識別がなされる。
デコーダは、レンダリングされた複合画像を、放射エネルギーの少なくとも2つの選択可能帯域内に選択されたスペクトルパワー分布を有する入射光に曝すための照明装置を含むことができる。典型的な実施形態において、そうした選択可能帯域は、可視光スペクトルの長波長(L)、中波長(M)、及び短波長(S)域のうちの2つに対応する。1つの実施形態においては、デコーダを用いて、レンダリングされた複合画像を、第1及び第2の波長域内に配置されたスペクトルパワー分布を示す照明に曝すことができ、第1のソース画像が奥行き識別可能なように回復され、代替的に、デコーダは、レンダリングされた複合画像を、3つの波長域の第2及び第3のもの、又は3つの波長域の第1及び第3のものに配置されたスペクトルパワー分布を示す照明に曝すことができ、第2のソース画像が奥行き識別可能なように回復される。
2つの発光体を同時に適用することができ、代替的にスイッチ速度(切換え速度)で適用することができる。1つの望ましいスイッチ速度は、人間の視覚系の「フリッカ応答」より上の周波数である、およそ40Hzから60Hz又はそれより高いものある。幾つかの例において、例えば、1Hzから20Hzまでのような低いスイッチ速度は、知覚された奥行きの持続的メモリに対して人間の視覚系がもつ傾向のために、奥行き識別を引き出すのに十分に有効なものである。したがって、本明細書の説明においては、「同時」照明は、同時照明、又は、知覚される奥行きのメモリを維持するように、観察者の能力の範囲内のスイッチ速度で照明するように働くスイッチ型照明を含むように考えられる。したがって、「同時」は、画像の同時知覚を引き出すことができる照明を指すものと理解されたい。
デコーダは、手動制御、又は、コントローラによってもたらされる光源制御信号による制御に応答する光源を含むことができる。光源は、放射エネルギーの単一又は複数の選択可能な帯域における望ましいスペクトルパワー分布を提供するために、1つ又はそれ以上の光源を含むことができる。
コントローラは、光源制御信号の1つ又はそれ以上を生成するための制御プログラムに従って作動可能なコンピュータを含み、光源は、各々が、選択可能な強度及びスペクトルパワー分布を有する狭帯域発光体の照明の場を生成するように、光源制御信号に応答することができ、これにより用紙上のレンダリングされた複合画像を照明の場内に配置し、所望のスペクトルパワー分布を示す発光体に同時に曝すことができるようになる。
代替的に、デコーダは、空間的に別個の照明の場を提供できるように配置された複数の光源を含むことができる。レンダリングされた複合画像を、これら照明の場の間で迅速に移動させることができるので、レンダリングされた複合画像は、スイッチ速度に匹敵する速度で連続的に照明され、これによりレンダリングされた複合画像は、観察者の能力の範囲内のスイッチ速度で照明されるようになり、知覚された奥行きを記憶を維持する。
レンダリングされた複合画像は、周辺白色光のような広帯域照明条件に曝されたときに視覚混乱を示すように知覚されることがある。すなわち、レンダリングされた複合画像の外観が、ある程度、内部にコード化されたソース画像の1つ又はそれ以上に対する知覚可能な類似点を欠くことになる。考察されるシステムの特定の実施形態は、レンダリングされた複合画像を提供する際の有利な使用を見出すことができ、広帯域照明条件に曝されたとき、視覚的に混乱するように見えても、その後、広帯域照明がここに説明される制御された狭帯域照明と置き換えられたときに、1つ又はそれ以上の奥行き識別された画像を現すことができる。
本明細書の教示によると、着色剤は、用紙に色を与えるのに使用される染料、顔料、インク、トナー、又は他の薬剤を含むものと考えることができる。
複合画像は、複数の重ね合わされた(又は組み合わされた)着色剤画像平面の複合物として形成された画像を表す値のアレイと考えることができる。それぞれの画像平面内にソース画像をコード化することができ、結果として生じる画像平面を組み合わせて、複合画像を形成することができる。
発光体は、相対的なスペクトルパワー分布によって特定される入射光量と考えることができ、一般に、所定のスペクトルパワー分布において光出力を有する光源によってもたらされる。狭帯域発光体は、実質的にスペクトルの狭い領域に制限されるスペクトルパワー分布を有する発光体である。特に、所定の着色剤と相互作用するように設計された発光体は、相補的であると言われ、その逆も同様である。相補的発光体は、一般に、特定の着色剤のスペクトル吸収帯域内に実質的に集まるスペクトルパワー分布を示す。
この説明は、CMYK原色のような着色剤のアレイに従ってコード化された単色及び多色のソース画像の処理について言及する。しかしながら、当業者には、用いられるべき代替的なスペクトル・スキームがあることが明らかであろう。
コード化は、ソフトウェア、ハードウェア、又はソフトウェア及びハードウェアの組み合わせの実装のいずれかを用いて行うことができ、レンダリングは、プリンタのようなカラー・ハードコピー出力装置の形態のレンダリング装置を用いて行うことができ、復号化は、発光ダイオード(LED)のような2つ又はそれ以上の狭帯域光源として含むことができる制御された照明源を用いて行うことができる。
イエロー/青色を有する赤色狭帯域照明(すなわち、シアン/赤色)に曝されるレンダリングされた複合画像におけるシアン着色剤の使用は、最も大きい奥行き識別をもたらすことができる。マゼンタ/緑色を有するシアン/赤色がもたらすことができる奥行き識別はより少なく、マゼンタ/緑色を有するイエロー/青色がもたらすことができる奥行き識別はさらに少ないものである。
図1は、複数のソース画像をコード化し、複合画像を形成するための第1のモード、複合画像をレンダリングするための第2のモード、又はレンダリングされた複合画像を復号化し、観察者が見たときに複数のソース画像の少なくとも1つの奥行き識別を提供するための第3のモードで作動可能なシステム100を示す。
図1に示されるように、複数の別個のソース画像アレイ11−1、11−2、...11−Nが、発光体/着色剤の奥行き識別コード化サブシステム101に与えられる。複数の単色画像、又は単色画像と多色画像の組み合わせを受け取るように、画像入力装置20を装備することができる。画像入力装置20は、ランダム・アクセス・メモリに連結されたデジタル・スキャナのような画像キャプチャ装置、或いはコンピュータ・メモリ、或いは磁気又は光学記録媒体のような格納手段に連結された任意のタイプのアナログ又はデジタル・カメラを含むことができる。画像入力装置20は、ランダム・アクセス・メモリ、ビデオ・テープ、又はレーザ・コード化されたディスク等に以前に格納された画像を受け取るための、或いは、コンピュータ画像生成装置によって生成された画像又は適切な形式でコード化され、ネットワーク上で伝送された画像を受け取るための装置を含むこともできる。
この例における画像入力装置20が受け取ったそれぞれの画像アレイ内の複数のソース画像の説明に役立つ表示は、第1のソース画像アレイ11−1内に示される第1のソース画像12−1と、第2のソース画像アレイ11−2内に示される第2のソース画像12−2とを含む。随意的に、サブシステム101は、それぞれの画像アレイ内に示されるN個のソース画像を受け取ることができる。この示される実施形態において、絵で表した別個のソース画像が用いられており、観察者70が復号化し、見たときに、複数のソース画像(第2のソース画像12−2)の少なくとも1つが、残りの画像コンテンツの少なくとも一部について奥行き認識を有した状態で回復するように意図される。
ソース画像データは、画像入力装置20において受け取られ、少なくとも第1及び第2のソース画像の複合物の表示をコード化するエンコーダ30に与えられ、発光体/着色剤の奥行き認識エンコーダ(ICDDE)画像平面上に複合画像32を提供する。1つの実施形態において、このようなコード化は、あらゆるピクセル位置についてのマッピングを用いて、或いは、複合画像32への特定のピクセル以外の局所化された領域におけるマッピングによって進行し、各ソース画像内に配置された対応するピクセルの各々に必要な情報をコード化することができる。
次に、複合画像レンダリング・サブシステム102の作動により、複合画像を表すデータがレンダリング装置40に提供され、必要に応じて、電子情報を伝送又は格納するための種々の適切な手段のいずれか1つを用いて、こうした提供を行うことができる。レンダリング装置40は、狭帯域着色剤の所定アレイの適用によって、用紙44上に複合画像32を記録し、レンダリングされた複合画像42を形成する。これにより、レンダリングされた複合画像42が、用紙44上に固定される。なお。用紙44は、紙に限らず、印刷媒体である限り任意の材料でよい。
次に、周辺光を含む種々の照明条件において観察者70がレンダリングされた複合画像42を見ることができるようになる。レンダリングされた複合画像42は、ICDDE平面内にコード化されたデータを表すが、一般的には、従来の周辺光下で平坦な(すなわち奥行きを欠いている)特性を示す。一般的に、1つ又はそれ以上のソース画像の奥行き識別は、復号化サブシステム103が作動され、所望の奥行き識別を提供するのに十分な方法で選択的に複合画像42を照明するまで認識されない。
復号化システム103の作動時に、レンダリングされた複合画像42内の画像コンテンツの一部又は全てに対し、特定のソース画像(例えば、図1に示されるような、ソース画像12−1)の奥行きを識別することができる。図1に示される実施形態において、デコーダ50の発光体出力は、観察者70の面前に配置された用紙44に向けられる。次に、復号化された画像が、観察者70によって知覚され、これにより、用紙44上にあるレンダリングされた複合画像42内の画像コンテンツの一部又は全てに対して、特定のソース画像12−1の奥行き識別が知覚される。用紙44は、一般に、デコーダ50内で作動可能な発光体源の近くに配置されるので、レンダリングされた複合画像42内の着色剤のアレイは、選択された発光体の所定のスペクトルパワー分布に曝される。このように、レンダリングされた複合画像42が、選択された発光体によって制御可能かつ選択的に照明された結果、次に、1つ又はそれ以上の着色剤及びそれらの相補的発光体の前述した相互作用によって、かつ、この特定の相互作用に対する観察者70の視覚的応答のために、所望のソース画像が、観察者70によって奥行き識別される。特定のコード化されたソース画像の回復及びこの復号化中の奥行き識別の程度は、レンダリングされた複合画像42を構成するように選択された着色剤のアレイ(整列)、及び、デコーダ50によって提供される選択された発光体の特定の特性(強度、時間、及びスペクトルパワー分布のような)によって制御可能である。
図2は、コード化方法61、レンダリング方法62、及び復号化方法63の例示的な実施形態の単純化した概略図である。複数のソース画像をコード化する方法61において、第1の分離画像71及び第2の分離画像72内のソース画像を表す画像データが、複合画像データ・ファイルをレンダリング装置40に出力するエンコーダ30に提供される。レンダリング装置40は、内部に着色剤の複合アレイ92が組み込まれた用紙90を提供する。示される実施形態において、例えば、シアン・インク又はトナーのような長波長帯の発光体に対して相補的である第1の着色剤を用いて、分離画像71がコード化され、レンダリングされた複合画像92内に形成されたピクセルをもたらす。例えば、イエロー・インク又はトナーのような短波長帯の発光体に対して相補的である第2の着色剤を用いて、第2の分離画像72が同様にコード化され、レンダリングされた複合画像内にレンダリングされる。このようにコード化された複合画像は、これに応じて用紙90上に堆積されるシアン及びイエローの着色剤のパターンを指定し、レンダリングされた複合画像92を形成する。
レンダリングされた複合画像92を復号化する方法63においては、レンダリングされた複合画像92が、デコーダ50により照明される。レンダリングされた複合画像92の制御された照明51により、第1の分離画像71が、レンダリングされた複合画像92の残りのコンテンツの一部又は全てに対して特定の奥行きで知覚され、第2の分離画像72が、レンダリングされた複合画像92の残りのコンテンツの一部又は全てに対して別の奥行きで識別される。したがって、示される実施形態において、第1のソース画像71及び第2のソース画像72の奥行きが選択的に識別される。第1及び第2の発光体の同時操作によって制御された照明を行うことができ、これにより、第1の分離画像71及び第2の分離画像72の少なくとも1つの奥行きが識別される。前に説明したように、制御された照明をほぼ同時に(例えば、切り替え式に)操作することによっても、第1の分離画像71及び第2の分離画像72の少なくとも1つの奥行きを識別することができる。
図3は、画像処理ユニット130、並びに、関連周辺機器及びサブシステムが使用されている、図1のコード化サブシステム101の単純化した概略図を示す。画像入力端末120は、画像キャプチャ装置を含むことができる。入力端末120からの画像データは、コード化して複合画像を作成するために、処理用の画像処理ユニット(IPU)130に向けられる。
画像処理ユニット130は、入力画像データを、画像入力端末120から、又は、適切にプログラムされた汎用コンピュータ又は他のネットワーク・データソース(図示せず)のような別の適切な画像データ・ソースから受信し、該入力画像データをランダム・アクセス・メモリ(RAM)のような適切な記憶装置に格納する、画像メモリ132を含むことができる。プロセッサ134を介して入力画像データを処理し、それぞれのソース画像平面上に定められた複数のソース画像を表す画像データを提供することができる。
画像処理ユニット130の作動は、ソース画像データを上述のような複合画像ファイルにコード化するために、1つ又はそれ以上の画像処理関数138、139に従って進めることができる。処理には、必要であれば3成分カラー表示を(特定のプリンタ用の)4つ又はそれ以上の成分のカラー表示に変換するために実行することができる色変換を含めることができ、また、c及びdを整数値であるとして、cビットデジタル画像信号を特定のプリンタの駆動に適切なdビットデジタル画像信号に変換するハーフトナーを含めることができる。特定の実施形態において、付加的な関数には、色空間変換、色補正、全領域マッピング、及びアンダー・カラー・リムーバブル(UCR)/グレー成分置換(GCR)関数のうちの1つ又はそれ以上を含めることができる。制御信号及び複合画像出力データは、画像処理ユニット130からの出力のためにインターフェース136に供給される。
図4は、1つ又はそれ以上の奥行き識別されたソース画像を取得するために、コントローラ、並びに、関連周辺機器及びサブシステムが使用される、図1のデコーダ・サブシステム103の単純化した概略図である。図4は、用紙44上のレンダリングされた複合画像42を、少なくとも第1及び第2の所定の発光体161、162に曝すように作動可能な光源160に接続されたコントローラ150を示す。第1の所定の発光体161及び第2の所定の発光体162を用いて制御された照明を与えるように光源160が作動されると、特定の画像コンテンツ172は、レンダリングされたソース画像42内の残りの画像コンテンツ171に対して奥行き識別される。
コントローラ150は、手動で操作可能な発光体セレクタ・スイッチの形態として構成することができる。代替的に、示されるように、コントローラ150は、光源160の作動のプログラム可能な制御を提供する、光源160に接続されたインターフェース156を有するコンピュータ・ベースの制御装置の形で設けることができる。したがって、発光体161、162を有する照明の選択された場をもたらすために、光源160の選択的作動及び停止を生じさせる。こうした制御は、例えば、人間の操作者による光源160の手動操作によって、或いはコンピュータ又は類似した手段により与えられるプログラム可能な制御によって、達成することができる。
コントローラ150と光源160は、照明の場(フィールド)、発光体強度、発光体周波数等の作動、停止、又は順序付けのような様々なタスクを達成するように相互に作動可能である。コントローラ150の実施形態は、標準的なメモリ152及びプロセッサ154を備えたプログラム可能制御システムの作動からの恩恵を受ける。コントローラ150による光源160の作動は、特定の順序付けられた制御関数に従って進めることができ、それによって、例えば、光源160の制御された作動を提供し、各々が所定のスペクトルパワー分布を有する選択された発光体、選択された発光体の強度の制御されたばらつきの連続的又は同時の作動及び停止のような選択された特性に従って、又は発光体の特定のシーケンス、強度、又は持続時間のオペレータによる介入に従った対話型制御によって変動する照明の場が提供される。
図5、図6、図7、及び図8は、第1及び第2のソース画像が複合画像内にコード化され、複合画像はシアン及びイエローの着色剤でレンダリングされた、実際の複合画像の例であり、こうした第1及び第2のソース画像は、レンダリングされた複合画像が赤色及び青色の狭帯域発光体により同時に照明されたときに奥行き識別が可能になるものとして観察された。図5〜図8は、固体CMYKインクを使用し、画像色管理が使用不可にされた状態で作動し、適切な用紙材料として白色用紙が装備されたXEROX Phaser 8200DX(ゼロックス・コーポレーションの登録商標)カラー・レーザプリンタを用いて生成される、レンダリングされた複合画像である。
図5は、複合画像をコード化する際のカットアウト構成技術の使用を示す。このタイプのコード化においては、特定の背景画像コンテンツ(例えば、第2のソース画像内の)を表す着色剤値は、(例えば、第1のソース画像内に配置された)前景の画像コンテンツと同一場所に配置された場所において著しく減少される。図5のレンダリングされた複合画像は、シアン着色剤でレンダリングされた(野球選手の)第1のソース画像、及び、イエロー着色剤でレンダリングされた(スタジアムの)第2のソース画像を表す。この例示的な実施形態においては、スタジアム画像におけるイエロー・ピクセル値の特定の場所(すなわち、野球選手を表すシアン・ピクセル値と同一場所に配置されたイエロー値)がゼロに設定された。(カットアウト技術の他の実施形態においては、値を、ゼロ以外の著しく減少した値に設定できることに留意されたい。)
図6は、簡単なオーバーレイ構成技術が複合画像のコード化のために使用され、カットアウト調整が行われなかった、別のレンダリングされた複合画像である。例示的な実施形態においては、(野球選手の)第1のソース画像は、シアンでレンダリングされ、(スタジアムの)第2のソース画像はイエローでレンダリングされた。
図7は、コード化の際に反転され、次いでシアンでレンダリングされた(野球選手の)第1のソース画像のピクセル値を有する、別のレンダリングされた複合画像である。この例示的な実施形態において、野球選手は、反転されたシアンでレンダリングされ、スタジアム画像は、イエローでレンダリングされた。カットアウト技術によると、野球選手を表すピクセル値に対して同一場所に配置される、スタジアム画像内のイエロー値の特定の場所が、ゼロに設定された。
図8は、複合画像のコード化のために簡単なオーバーレイ構成技術が使用され、カットアウト調整が行われなかった、別のレンダリングされた複合画像である。この例示的な実施形態において、(野球選手の)第1のソース画像は、反転されたシアンでレンダリングされ、(スタジアムの)第2のソース画像はイエローでレンダリングされた。
オフセット・リソグラフィ、凸版印刷、グラビア印刷、電子写真、写真術、及び、種々の混合物において、通常3つ又は4つの定められた数の着色剤を使用する他のいずれかの色再現工程を含む種々の工程によるカラー印刷において、有益な使用が期待される。レンダリング装置の実施形態は、プリンタ以外の装置を含み、この装置は、複合画像データに従って、定められた着色剤のアレイを生成し、これを用紙上又は用紙内に堆積させ、又は統合することができるので、レンダリングされた着色剤のアレイは、入射する選択された狭帯域発光体の選択的な反射又は伝達を受けやすい。例えば、複合画像を、透明なフィルム上にレンダリングすることができ、適切な狭帯域発光体によって、用紙を背面から証明することができる。レンダリング装置の例は、インクジェット式、昇華型、及び電子写真式プリンタのようなハードコピー複写装置、リソグラフィ印刷システム、シルクスクリーン・システム、及び写真印刷装置、並びにペイント、化学薬品およびフィルム付着システムのような用紙表面上に色の別個の量を画像形状で堆積させるためのシステム、並びにプラスチック成形、テキスタイル製造、及びテキスタイル印刷システムのような用紙内の着色剤材料の統合のためのシステムを含む。
例示的な用紙の実施形態は、これらに限られるものではないが、木、紙、ボール紙のような材料、及び他のパルプ・ベース及び印刷包装製品、ガラス、プラスチック、金属、薄板状又は繊維状複合材、及びテキスタイルを含む。基本的なCMYK着色剤以外の狭帯域着色剤を用いることもできる。
種々の狭帯域光源は、フィルタ処理された日光、フィルタ処理された白熱光、又はフィルタ処理された蛍光灯、ソリッド・ステート・レーザ又はレーザ・ダイオードのようなコヒーレント光源を提供するための装置、ブラウン管、パネル型ディスプレイ、デジタル光弁、液晶ディスプレイ、プラズマ・ディスプレイ、又は発光ダイオード、或いは有機発光アレイを組み込むもののような投射装置又は画像表示装置を含むことができる。
本発明の実施形態は、本又はポスターのような印刷物内、ノベルティ品目内、及びそういった品目を生成するために消費者に販売されるソフトウェア内に、特に、複合画像を含ませることによって視覚的な刺激及び娯楽を提供するように考えられるものである。例えば、テレビ又は他の視覚表示システムのような放送用表示装置によって、ネットワーク接続された又は放送用伝送システムからのような遠隔源からこうした装置に向けられた表示制御信号によって、又は電子メール、インターネット・ウェブ・ページ、或いは類似した伝送又はデータ・パッケージ内に含まれる表示制御信号によって生成された照明の場に曝されたときに、引き続いて奥行きを識別するために、本発明を用いて作られるレンダリングされた複合画像を消費者に与えることができる。
本発明の実施形態は、周辺光が制御されている公演又は娯楽会場、又は人が集まる他の場所のような公共の場において特殊の視覚効果をもたらすために、或いは、ニュースの普及、娯楽、広告宣伝のような特定の情報源に、或いは商標又は製品取扱説明書のようなメッセージ又は表示に、映画、ギャラリー、又は美術館、或いはスポーツ、公共交通機関、及び商業会場で使用されるグラフィックス、技術品等に、或いは、標示、ポスター、広告板、又は壁面のような大型ディスプレイに観察者の関心を集めるために用いることができる。さらに他の実施形態は、印刷物、販売促進、新聞、定期刊行物、地図のような広告媒体手段、容器、ラベル、或いは他の包装又は出荷材料に、及び、壁又は床仕上げ材を含む建築材料、照明装置等に使用するように考えられる。
本発明の更に他の実施形態は、テキスタイル、衣服、及びファッション付属品等のような他の身の回り品に用いるように考えられる。複合画像を支持する品目は、土産物、本、ポスター、交換カード、又は玩具等において、教育的価値、芸術的価値、新規な価値、又は収集的な価値を有することができる。
本発明に従って構成された、複数のソース画像の発光体/着色剤奥行き識別コード化(ICDDE)と発光体/着色剤奥行き識別復号化(ICDDD)のための、並びに、内部に少なくとも1つのコード化されたソース画像を有する複合画像をレンダリングするためのシステムのブロック図である。 複合画像内の第1及び第2のソース画像をコード化し、少なくとも2つの着色剤を用いて複合画像をレンダリングし、レンダリングされた複合画像を復号化するための、図1のシステムの実施形態の単純化した概略図である。 画像処理ユニット及び関連周辺機器並びにサブシステムが用いられる、図1のコード化サブシステムの実施形態の単純化した概略図である。 コントローラ及び関連周辺機器並びにサブシステムが用いられる、図1の復号化サブシステムの実施形態の単純化した概略図である。 第1及び第2のソース画像が複合画像内にコード化され、コード化された複合画像が、シアン着色剤及びイエロー着色剤でレンダリングされた、レンダリングされた複合画像の実際の例を示す図であり、レンダリングされた複合画像が、赤色及び青色の狭帯域発光体によって同時に照明されたとき、第1及び第2のソース画像が、奥行き識別がしやすいことが観察された例を示す図である。 第1及び第2のソース画像が複合画像内にコード化され、コード化された複合画像が、シアン着色剤及びイエロー着色剤でレンダリングされた、レンダリングされた複合画像の実際の例を示す図であり、レンダリングされた複合画像が、赤色及び青色の狭帯域発光体によって同時に照明されたとき、第1及び第2のソース画像が、奥行き識別がしやすいことが観察された例を示す図である。 第1及び第2のソース画像が複合画像内にコード化され、コード化された複合画像が、シアン着色剤及びイエロー着色剤でレンダリングされた、レンダリングされた複合画像の実際の例を示す図であり、レンダリングされた複合画像が、赤色及び青色の狭帯域発光体によって同時に照明されたとき、第1及び第2のソース画像が、奥行き識別がしやすいことが観察された例を示す図である。 第1及び第2のソース画像が複合画像内にコード化され、コード化された複合画像が、シアン着色剤及びイエロー着色剤でレンダリングされた、レンダリングされた複合画像の実際の例を示す図であり、レンダリングされた複合画像が、赤色及び青色の狭帯域発光体によって同時に照明されたとき、第1及び第2のソース画像が、奥行き識別がしやすいことが観察された例を示す図である。
符号の説明
11−1、11−2、・・・11−N:第1のソース画像アレイ
12−1、12−2、・・・12−N:第2のソース画像アレイ
20:画像入力装置
30:エンコーダ
32:複合画像
40:レンダリング装置
42、92:レンダリングされた複合画像
44、90:用紙
50:デコーダ
70:観察者
101:コード化サブシステム
102:複合画像レンダリング・サブシステム
103:復号化サブシステム
136、156:インターフェース
150:コントローラ
160:光源

Claims (6)

  1. コード化された画像コンテンツを内部に有するレンダリングされた複合画像を提供し、前記画像コンテンツの奥行き識別を可能にする方法であって、
    可視スペクトル内の長波長光を有する第1の狭帯域発光体によって照明されたときに知覚される、複合画像内の第1のソース画像をコード化し、
    可視スペクトル内の短波長光を有する第2の狭帯域発光体によって照明されたときに知覚される、複合画像内の第2のソース画像をコード化し、
    前記複合画像をレンダリングし、第1の狭帯域着色剤の画像形状パターンの形で記録される前記第1のソース画像と、第2の狭帯域着色剤の画像形状パターンの形で記録される前記第2のソース画像とを有するレンダリングされた複合画像を用紙上に提供するステップと、を含み、
    前記第1の狭帯域発光体は、実質的に前記第1の狭帯域着色剤のスペクトル特性の相補物であるそれぞれのスペクトルパワー分布を有し、前記第2の狭帯域発光体は、実質的に前記第2の狭帯域着色剤のスペクトル特性の相補的であるそれぞれのスペクトルパワー分布を有しており、
    前記レンダリングされた複合画像は、該レンダリングされた複合画像を、前記第1及び第2の狭帯域発光体を組み込む同時照明に選択的に曝すときに、奥行き識別がしやすくなり、前記第1及び第2のソース画像の少なくとも1つは、該レンダリングされた複合画像の前記画像コンテンツに対して奥行き識別されるようになる、
    ことを特徴とする方法。
  2. 前記第1及び第2の狭帯域発光体の各々が、可視スペクトルの赤色領域、緑色領域、及び青色領域からなる群から選択されたそれぞれのスペクトル分布を有し、前記第1及び第2の狭帯域着色剤の各々が、シアン着色剤、マゼンタ着色剤、イエロー着色剤、及び黒色着色剤からなる群から選択される、ことを特徴とする請求項1に記載の方法。
  3. 前記第1のソース画像をコード化するステップ及び第2のソース画像をコード化するステップは、各々のソース画像ピクセルを表す値を、それぞれの着色剤の画像平面内の対応するピクセル値にマッピングするステップをさらに含む、ことを特徴とする請求項1に記載の方法。
  4. 前記マッピングされた値は、次のスペクトル特性、すなわち(a)前記複合画像をレンダリングするために選択された前記着色剤のスペクトル特性、及び(b)前記ソース画像を回復させるために用いられる前記狭帯域発光体のスペクトル特性の少なくとも1つに従って決定される、ことを特徴とする請求項3に記載の前記方法、
  5. コード化された画像コンテンツを有する内部にレンダリングされた複合画像を提供し、前記画像コンテンツの奥行き識別を可能にするためのシステムであって、
    それぞれの第1のスペクトルパワー分布を有する第1の相補的狭帯域発光体によって照明されたときに知覚される、複合画像内の第1のソース画像をコード化し、それぞれの第2のスペクトルパワー分布を有する第2の相補的狭帯域発光体によって照明されたときに知覚される、複合画像内の第2のソース画像をコード化するためのコード化サブシステムと、
    前記複合画像をレンダリングし、第1の狭帯域着色剤の画像形状パターンの形で記録される前記第1のソース画像と、第2の狭帯域着色剤の画像形状パターンの形で記録される前記第2のソース画像とを有するレンダリングされた複合画像を用紙上に提供するためのレンダリング・サブシステムと、を備え、
    前記第1のスペクトルパワー分布は、実質的に前記第1の狭帯域着色剤のスペクトル特性の相補物であり、前記第2のスペクトルパワー分布は、実質的に第2の狭帯域着色剤のスペクトル特性の相補物であり、
    前記レンダリングされた複合画像は、該レンダリングされた複合画像を、前記第1の狭帯域発光体と第2の狭帯域発光体とを組合せた同時照明に選択的に曝すときに、奥行き識別がしやすくなり、前記第1及び第2のソース画像の少なくとも1つが、該レンダリングされた複合画像の画像コンテンツに対して奥行き識別されるようになる、
    ことを特徴とするシステム。
  6. 前記レンダリングされた複合画像を、前記第1の相補的狭帯域発光体及び第2の相補的狭帯域発光体を含む証明の所定の場に曝すための復号化サブシステムをさらに備え、前記第1及び第2のソース画像が、奥行き識別可能なように回復できるようになった、ことを特徴とする請求項5に記載のシステム。
JP2006336098A 2005-12-20 2006-12-13 レンダリングされた複合画像で複数のコード化されたソース画像の奥行きを識別する方法及びシステム Expired - Fee Related JP4897461B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/311,950 US7525704B2 (en) 2005-12-20 2005-12-20 System for providing depth discrimination of source images encoded in a rendered composite image
US11/311,950 2005-12-20

Publications (2)

Publication Number Publication Date
JP2007168433A JP2007168433A (ja) 2007-07-05
JP4897461B2 true JP4897461B2 (ja) 2012-03-14

Family

ID=38172961

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006336098A Expired - Fee Related JP4897461B2 (ja) 2005-12-20 2006-12-13 レンダリングされた複合画像で複数のコード化されたソース画像の奥行きを識別する方法及びシステム

Country Status (2)

Country Link
US (1) US7525704B2 (ja)
JP (1) JP4897461B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090167843A1 (en) * 2006-06-08 2009-07-02 Izzat Hekmat Izzat Two pass approach to three dimensional Reconstruction
JP4931199B2 (ja) * 2006-09-29 2012-05-16 富士フイルム株式会社 電子内視鏡装置
US8147339B1 (en) * 2007-12-15 2012-04-03 Gaikai Inc. Systems and methods of serving game video
US8144927B2 (en) * 2008-01-31 2012-03-27 Max-Viz, Inc. Video image processing and fusion
US8233197B2 (en) * 2008-11-20 2012-07-31 Xerox Corporation Pantograph methods, apparatus and systems based on UCR/GCR
US9294751B2 (en) 2009-09-09 2016-03-22 Mattel, Inc. Method and system for disparity adjustment during stereoscopic zoom
US8564647B2 (en) 2010-04-21 2013-10-22 Canon Kabushiki Kaisha Color management of autostereoscopic 3D displays
CN103098459B (zh) * 2010-09-22 2016-11-09 富士胶片株式会社 立体摄像装置及阴影校正方法
JP5154685B1 (ja) * 2011-12-28 2013-02-27 楽天株式会社 画像提供装置、画像提供方法、画像提供プログラム、及びそのプログラムを記録するコンピュータ読み取り可能な記録媒体
US10620540B2 (en) * 2016-11-07 2020-04-14 Mohammad Reza Mollazadeh Sardroudi Encoded illustrations

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB168880A (en) 1920-08-30 1922-03-23 Nadine De Boudkowsky Process for obtaining, on the same support, different pictures rendered alternately visible by a modification of the lighting
US1768812A (en) 1926-11-27 1930-07-01 William J Whiting Method of producing light effects
US3234663A (en) 1963-04-01 1966-02-15 Bausch & Lomb Film coding method
US3287825A (en) 1965-02-18 1966-11-29 John W Ryan Code game
US3969830A (en) 1972-12-01 1976-07-20 Grasham James A Color encoding-decoding method
US4290675A (en) 1978-12-04 1981-09-22 Leo Beiser Anaglyph stereoscopy
US4586711A (en) 1983-05-10 1986-05-06 Glenn E. Weeks Matching card game employing randomly-coded monochromatic images
US4597634A (en) 1984-01-05 1986-07-01 Georgia Tech Research Institute Stereoscopic process and apparatus
US4717239A (en) 1984-01-05 1988-01-05 Georgia Tech Research Corporation Stereoscopic process and apparatus using diffractive optical elements
JPS6158787A (ja) * 1984-08-30 1986-03-26 Dainippon Printing Co Ltd 印刷物
US5002364A (en) 1986-03-04 1991-03-26 Georgia Tech Research Corp. Stereoscopic process and apparatus using different deviations of different colors
GB8623490D0 (en) * 1986-09-30 1986-11-05 Bass M L Display means for stereoscopic images
US4824144A (en) 1987-04-10 1989-04-25 Tasma Gerald W Color identification system
GB9019784D0 (en) 1990-09-10 1990-10-24 Amblehurst Ltd Security device
EP0611470B1 (en) 1991-11-05 1998-07-08 Printpack, Inc. Optical image encryption and decryption processes
GB2261789B (en) 1991-11-20 1995-07-19 Stephen Peter Ehrmann Erskine Improvements in or relating to the production of anaglyphs
US5369261A (en) 1992-02-12 1994-11-29 Shamir; Harry Multi-color information encoding system
US5398131A (en) 1992-08-13 1995-03-14 Hall; Dennis R. Stereoscopic hardcopy methods
US5371627A (en) 1992-10-23 1994-12-06 N.E. Thing Enterprises, Inc. Random dot stereogram and method for making the same
US6111598A (en) 1993-11-12 2000-08-29 Peveo, Inc. System and method for producing and displaying spectrally-multiplexed images of three-dimensional imagery for use in flicker-free stereoscopic viewing thereof
US5594841A (en) 1993-12-27 1997-01-14 Schutz; Stephen A. Stereogram and method of constructing the same
JP3359134B2 (ja) 1993-12-27 2002-12-24 キヤノン株式会社 色信号処理装置
US6002498A (en) 1994-06-15 1999-12-14 Konica Corporation Image processing method and image forming method
AU3119795A (en) 1994-07-27 1996-02-22 University Of Manchester Institute Of Science & Technology, The Producing or characterising colour images and measuring colour
US5619219A (en) 1994-11-21 1997-04-08 International Business Machines Corporation Secure viewing of display units using a wavelength filter
US5576528A (en) 1994-12-23 1996-11-19 Symbol Technologies, Inc. Color processing for bar code symbol compaction
US6590996B1 (en) 2000-02-14 2003-07-08 Digimarc Corporation Color adaptive watermarking
JPH09163382A (ja) 1995-12-07 1997-06-20 Toyo Ink Mfg Co Ltd 色ずれ修正方法及び装置
US6516094B1 (en) 1997-07-11 2003-02-04 Matsushita Electric Industrial Co., Ltd. Digital image coding method and digital image decoding method
US6406062B1 (en) 1998-05-20 2002-06-18 Global Commerce Group, Llc Hidden image game piece
US6186404B1 (en) 1998-05-29 2001-02-13 Welch Allyn Data Collection, Inc. Security document voiding system
US6561422B1 (en) 1999-05-03 2003-05-13 Hewlett-Packard Development Company System and method for high-contrast marking and reading
US6301044B1 (en) 2000-03-30 2001-10-09 Disney Enterprises, Inc. Apparel color and image effect system
US6891959B2 (en) 2000-04-19 2005-05-10 Digimarc Corporation Hiding information out-of-phase in color channels
US6993149B2 (en) 2001-09-25 2006-01-31 Digimarc Corporation Embedding digital watermarks in spot colors
US6763124B2 (en) 2000-04-19 2004-07-13 Digimarc Corporation Embedding digital watermarks in spot colors
US6832729B1 (en) 2001-03-23 2004-12-21 Zih Corp. Portable data collection device for reading fluorescent indicia
WO2003025845A1 (en) 2001-09-17 2003-03-27 Codemagic Machine-readable symbol and related method
US6766045B2 (en) 2002-03-11 2004-07-20 Digital Verification Ltd. Currency verification
US6722066B1 (en) 2002-03-25 2004-04-20 James Cheung Single and multiple illuminated images
US7136522B2 (en) 2002-10-09 2006-11-14 Xerox Corporation Systems for spectral multiplexing of source images to provide a composite image, for rendering the composite image, and for spectral demultiplexing of the composite image to animate recovered source images
US20040070588A1 (en) 2002-10-09 2004-04-15 Xerox Corporation Systems for spectral multiplexing of source images including a stereogram source image to provide a composite image, for rendering the composite image, and for spectral demultiplexing of the composite image
US7130488B2 (en) 2002-10-09 2006-10-31 Xerox Corporation Systems for spectral multiplexing of source images including a textured source image to provide a composite image, for rendering the composite image, and for spectral demultiplexing of the composite image
US7155068B2 (en) 2002-10-09 2006-12-26 Xerox Corporation Systems for spectral multiplexing of source images to provide a composite image, for rendering the composite image, and for spectral demultiplexing the composite image, which achieve increased dynamic range in a recovered source image
US7218785B2 (en) 2002-10-09 2007-05-15 Xerox Corporation Systems for spectral multiplexing of source images to provide a composite image, for rendering the composite image, and for spectral demultiplexing of the composite image
US7230738B2 (en) 2002-10-09 2007-06-12 Xerox Corporation System for spectral multiplexing of source image to provide a composite image with noise encoding to increase image confusion in the composite image, for rendering the composite image, and for spectral demultiplexing of the composite image

Also Published As

Publication number Publication date
US20070139520A1 (en) 2007-06-21
JP2007168433A (ja) 2007-07-05
US7525704B2 (en) 2009-04-28

Similar Documents

Publication Publication Date Title
JP4897461B2 (ja) レンダリングされた複合画像で複数のコード化されたソース画像の奥行きを識別する方法及びシステム
US7155068B2 (en) Systems for spectral multiplexing of source images to provide a composite image, for rendering the composite image, and for spectral demultiplexing the composite image, which achieve increased dynamic range in a recovered source image
US7218785B2 (en) Systems for spectral multiplexing of source images to provide a composite image, for rendering the composite image, and for spectral demultiplexing of the composite image
JP5214840B2 (ja) コンポジット画像を表示するため、および、コンポジット画像をスペクトラル逆多重して正規化されたカラー画像を得るために、コンポジット画像を提供するための、ソース画像のスペクトラル多重のためのシステム
JP5021158B2 (ja) コンポジット画像を供給するためにソース画像をスペクトル多重化し、そのコンポジット画像を表現し、このようなコンポジット画像を逆多重するためのシステムにおける光源−中性グレイ成分置換
US7230738B2 (en) System for spectral multiplexing of source image to provide a composite image with noise encoding to increase image confusion in the composite image, for rendering the composite image, and for spectral demultiplexing of the composite image
US7136522B2 (en) Systems for spectral multiplexing of source images to provide a composite image, for rendering the composite image, and for spectral demultiplexing of the composite image to animate recovered source images
US7130488B2 (en) Systems for spectral multiplexing of source images including a textured source image to provide a composite image, for rendering the composite image, and for spectral demultiplexing of the composite image
US20040070588A1 (en) Systems for spectral multiplexing of source images including a stereogram source image to provide a composite image, for rendering the composite image, and for spectral demultiplexing of the composite image
WO1991019955A1 (en) Method for producing an image on a substrate having the same spectral content with front and back illumination
JP4390136B2 (ja) 印刷で作成された網版画像
US7719549B2 (en) Color changing image with backlighting
US20080174660A1 (en) Light frequency based system and method for creating moving images
JP2007300658A (ja) 画像観察方法及び印刷物収納用具
WO2008027174A1 (en) Light frequency based system amd method for creating moving images
Zhang et al. i, United States Patent (10) Patent No.: US 7.269. 297 B2
RU2293375C2 (ru) Способ получения демонстрационного изображения с изменением цвета
JP2001125041A (ja) 光透過性印刷物及びビュワー
GB2425673A (en) 3D display using quantum dots

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111205

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111222

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees