[go: up one dir, main page]

JP4411547B2 - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP4411547B2
JP4411547B2 JP2006076353A JP2006076353A JP4411547B2 JP 4411547 B2 JP4411547 B2 JP 4411547B2 JP 2006076353 A JP2006076353 A JP 2006076353A JP 2006076353 A JP2006076353 A JP 2006076353A JP 4411547 B2 JP4411547 B2 JP 4411547B2
Authority
JP
Japan
Prior art keywords
image
lens
display
glasses
hoe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2006076353A
Other languages
English (en)
Other versions
JP2006209144A (ja
Inventor
洋 武川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006076353A priority Critical patent/JP4411547B2/ja
Publication of JP2006209144A publication Critical patent/JP2006209144A/ja
Application granted granted Critical
Publication of JP4411547B2 publication Critical patent/JP4411547B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

本発明はヘッドマウントディスプレイやヘッドアップディスプレイ等の画像表示装置に係り、特にリップマンブラッグ体積ホログラムシートを眼鏡レンズ内に設けることにより、眼鏡本来の機能を維持したまま拡大表示像と眼鏡レンズ越しの透過背景像とを融合してみることができるディスプレイ眼鏡に関する。
従来、携帯用ディスプレイ装置としては、個人用携帯端末ディスプレイ(PDA)の直視型小型液晶表示器、ヘッドアップディスプレイ(HUD)や図25に示すようなヘッドマウントディスプレイ(HMD)等、様々な装置が提案されている。
図25は、従来のヘッドマウントディスプレイ(HMD)を眼鏡をかけた人が使用した場合の光学部品の構成の一例を示している。図25において、1は電気的又は光学的な画像信号を実際の画像に変換して出力する画像出力装置である。2はハーフミラー、3は凹面ハーフミラー、4は眼鏡のレンズ、5は使用者の瞳(眼球)である。
前記各ハーフミラー2、3の反射率を50%とすると、画像出力装置1からの出射光はハーフミラー2にて45°反射され光量の50%が凹面ハーフミラー3に入射する。この凹面ハーフミラー3の反射により使用者に対して拡大された虚像が無限遠または有限の距離に結像される。ここで再び光量の50%が反射され、再度ハーフミラー2に入射し光量が50%に減衰された後使用者のかけている眼鏡のレンズ4に入射する。つまり、画像出力装置1からの出射光は、ハーフミラーを3回透過あるいは反射するため、その光量の12.5%が有効利用されることになる。背景からの光は、凹面ハーフミラー3とハーフミラー2を透過することにより25%に減衰されて表示虚像とともに使用者のかけている眼鏡のレンズ4を透過後、瞳5に入射する。
現在、特定の光学的機能(例えば眼鏡としての機能)を有しながら画像表示装置の出力画像の虚像と背景透過像とを融合して見るためには、例えば図25のように、画像表示装置以外にこの特定の光学的機能を提供する光学系に少なくとも1つ以上のハーフミラーおよび虚像を提供するためのレンズまたは凹面鏡(虚像光学系)を付加しなくてはならない。
また、ハーフミラーおよびレンズまたは凹面鏡を用いずにホログラフイックオプティカルエレメント(HOE)を用いることにより画像表示装置の出力画像の虚像と背景透過像を融合してみることは可能であるが、この場合他の特定の光学的機能を有していない。
例えば、従来のヘッドマウントディスプレイやヘッドアップディスプレイ等の携帯用ディスプレイ装置は、大きさ、重量とも使用者の負担となっており長時間の使用には耐え難い。また公共の場で装着するにも一般的な眼鏡とは形状、大きさがかけ離れているため周囲の使用者に対する容認度が低いことや、あるいは使用者の周囲に対する違和感が大きいなどの理由から、必ずしもいついつでもどこでもといった十分な使い勝手が実現されているわけではない。
これは、一つには目の屈折異常(近視、遠視、老視、乱視など)をもった人は眼鏡をかけた状態でこれらヘッドマウントディスプレイ、ヘッドアップディスプレイを装着しなくてはならないため、このためのクリアランス確保により小型化が困難となっているためである。また、個人の両眼間隔のばらつきを配慮して必要以上の出射瞳径を確保していることも影響している。
それから、一般に画像出力装置の画素数を増していくと、それに伴ってこの装置の面積も大きくなり高精細化と小型化は相反する。また、光路中にハーフミラーを使うことによる弊害としては、枚数が増えるとそのぶん表示虚像、透過背景像とも暗くなって行くということ、および光線の入射角と出射角が等しいため二重像が発生する、光学系の配置の自由度が低下するといったことが挙げられる。
本発明は、特定の光学的機能を保持しながら画像表示装置の出力画像の虚像と背景透過像を融合してみる場合に、特別にハーフミラーとレンズまたは凹面鏡などを用いることなく、リップマンブラッグ体積ホログラムシートを光学部品(眼鏡のレンズ)に敷設することにより、コンパクトにまた安価にこの機能を実現することを目的とする。
(1)本発明は上記課題を解決するために、眼鏡の柄に、画像情報発信源より送信された画像信号を受信する受信部と、前記受信部で受信された画像信号を解読するドライブ部と、前記ドライブ部で解読された画像を表示する画像出力装置と、前記受信部、ドライブ部、画像出力装置に各々電源を供給する電源部とを設けたものである。また、眼鏡のレンズに、リップマンブラッグ体積ホログラム(リップマンブラッグ体積ホログラムシート)を設け、かつ、眼鏡のレンズに対向するように液晶シャッタと明るさセンサとを設け、さらに、眼鏡のレンズまたはフレームに、使用者の視線が特定の範囲内にあるか否かを検出する視線検出センサを設けたものである。
そして、視線検出センサによって使用者の視線が特定の範囲内にあることが検出された場合に、画像出力装置からの出力画像を直接的にリップマンブラッグ体積ホログラムに入射させることにより、画像出力装置の出力画像の虚像を眼から所定距離隔てた部位に表示し、虚像と眼鏡のレンズを透過した透過背景像との合成像を少なくとも一眼に導くように構成し、かつ、明るさセンサによって背景の明るさを検出すると共に、検出された明るさに基づいて、虚像と透過背景像との明るさの比率が所定の範囲内となるように、眼鏡のレンズに入射する背景からの光の量を液晶シャッタによって調節するようにしたものである。
また、視線検出センサによって使用者の視線が特定の範囲内にあることが検出されなかった場合には、画像出力装置からの画像出力をオフ状態にすると共に、液晶シャッタの透過率を最大にするようにしたものである。
以上の構成により、ハーフミラー、レンズ、凹面鏡等を用いることなく、コンパクトにまた安価に特定の光学的機能を有しながら画像出力装置の出力画像の虚像と背景透過像を融合して見ることができる。またより使い勝手、携帯性が向上する。
(2)また前記リップマンブラッグ体積ホログラムシートは、眼鏡のレンズ内に挟み込んで保持するように構成しても良い。これにより、薄型化と同時にホログラムの耐候性、特に耐湿性を向上させることができる。
(3)また前記リップマンブラッグ体積ホログラムシートは、眼鏡のレンズに対して着脱自在に設けても良い。これにより装置の使用目的に応じた選択自由度が増す。
(4)また前記画像出力装置からの出射光を、反射減衰膜を被覆した眼鏡のレンズに入射させるように構成しても良い。
(5)また前記画像出力装置は、画像再生光学系の収差を打ち消すように、予め歪んだ画像を出力するように構成しても良い
以上の構成により、より視認性が向上し使い勝手が良くなる。
(6)さらに前記眼鏡には、リップマンブラッグ体積ホログラムシートで反射された光線の光軸中心距離を可変する両眼幅調整機構を設けても良い。これによって使用者の目の光軸とリップマンブラッグ体積ホログラムシートの光軸を一致させることができ、高倍率時にも良好な視認特性を得ることができる。
(1)本発明により、ハーフミラーとレンズまたは凹面鏡などを用いることなくリップマンブラッグ体積ホログラムシートを光学部品(眼鏡のレンズ)に付設することにより、コンパクトにまた安価に特定の光学的機能を有しながら画像出力装置の出力画像の虚像と背景透過像を融合してみることができる画像表示装置を実現できる。
(2)また、視野センサを用いることにより使い勝手が非常に良くなる。
(3)リップマンブラッグ体積ホログラムシートをレンズなどに挟み込むことにより、薄型化と同時にホログラムの耐候性(特に耐湿性)を向上させることができる。
(4)眼鏡の柄に、受信部、ドライブ部、画像出力装置、電源部を設け、眼鏡のレンズに、リップマンブラッグ体積ホログラムシートを設けて、ワイヤレス情報表示眼鏡を構成することにより、より使い勝手、携帯性を向上させることができる。
(5)本発明を駆使することにより、従来の眼鏡の機能を併せ持つディスプレイ端末をほとんど従来眼鏡と同一形状および重量で実現できる。
(6)また、従来眼鏡を装着して液晶表示器、ヘッドマウントディスプレイを見なければならなかった人も、屈折異常の矯正という眼鏡本来の機能を合わせ持っているためその必要はなくなり2役をこなす。
(7)両眼幅調整機構を設けることにより、高倍率時にも良好な視認特性が得られるとともに、光学系の出射瞳を小さくすることができ設計の自由度を増すことができる。
(8)また本発明の発展形としては、例えばリアルタイム音声認識装置と組み合わせた聴覚障害者のコミュニケーションツール(話し相手の顔を見ながら相手の言葉が空間に浮かんで表示される)、自動翻訳装置と組み合わせた実時間字幕作成装置(字幕のない外国語映画観賞用など)、カーナビと組み合わせた運転情報表示装置(目標物の表示など)、電子ブックプレーヤーと組み合わせた読書装置(満員電車内や寝転びながらの読書など手で本を持って読むのがつらいとき)等を作り出すことができる。
(9)本発明により、PDA表示装置(個人用携帯端末ディスプレイ)として現在一般的に使用されている直視型小型液晶表示器の弱点(小型化と視認性の相反、ユーザーへの低追従性、情報のプライバシー性の低さ)、ならびに現行HMDの問題点(大きさ、重量、形状、背景の視認性)を一掃した新しい情報端末ディスプレイをほんど従来眼鏡と同一形状及び重量で、しかも低コストで提供することができる。
(10)本発明を適用した情報表示眼鏡をかけていれば、常時ディスプレイをモニターできるので受信機能状態などのときに非常に便利である。また眼鏡フレームを複数揃えることで、個人個人の好みに応じたよりパーソナルな商品を得ることが可能になる。
以下図面を参照しながら本発明の実施の形態を説明する。図1は図25の光学部品構成のうち、凹面ハーフミラー3の変わりにリップマンブラッグ体積ホログラムシート(ホログラフィックオプティカルエレメント、以下HOEシートと称する)6を用い、しかも使用者の眼鏡のレンズ4と一体化したものである。
このHOEシート6は、シート内の屈折率の分布の仕方により、特定の角度で入射した光のうち特定の波長の光のみ反射(回折)しその他は透過するといういわゆる反射波長選択性と像拡大作用といったレンズ機能をもつ。この場合、図25の凹面ハーフミラー3と機能的には似ているが以下の2点が異なる。
1.波長選択された反射光(回折光)の反射率(回折効率)は、スペクトルのバンド幅が十分小さく(たとえば、LEDのような光源を使用した場合)、且つ厚さ20μm程度のHOEフィルムを使った場合は95%以上となる。尚HOEフィルムの厚さが7μm程度の場合は反射率(回折効率)80%以上となる。
2.凹面ハーフミラーがその形状により光線の偏向(この場合は虚像結像)を実現しているのに対し、ホログラムシート(HOEシート)はシート内の屈折率の分布の仕方によりこれを実現しているためシート形状は比較的任意に選ぶことができる。
このように、ホログラムシートを使うことにより、1.光の利用効率を上げられる。出力画像=50%弱、背景からの透過光=50%弱。2.凹面ハーフミラーを使うよりもコストダウンできる。3.眼鏡レンズと一体化することによりヘッドマウントディスプレイ(以下、HMDと称する)の小型化が可能になる、などの利点がある。
図2は図1の光学部品構成からハーフミラー2を除き、画像出力装置1からの出力画像を直接HOEシート6に入射させたものである。これは、ハーフミラーと異なりHOEシートによる反射の場合、入射角度と反射角度が必ずしも等しい必要がなく、シート内の屈折率の分布の仕方によりある程度自由に設計できることにより実現できるものである。これにより、画像出力装置1の配置など、光学部品のレイアウトの自由度を増すことができるうえ、ハーフミラーを使ったときにしばしば問題になる裏面での反射による二重像を防止することができる。また、部品点数が一つ削減できるので、小型軽量、コストダウンに非常に有効である。
図3には、本発明を適用した別の光学機器の一例として、画像出力装置1からの出力画像を対物レンズ7を透して入射する背景と融合して見ることができる一眼レフカメラまたは光学部品構成を示す。図3において、HOEシート6は接眼レンズ14に設けられている。まず対物レンズ7に入射した背景光ははね上げミラー8(双眼鏡の場合は固定ミラー)で反射され、ペンタプリズム9にて上下反転されたのち接眼レンズ14に入り、ハーフミラー2を透してその光量の50%が瞳5に入る。表示虚像は、図1のところで述べたようにこの背景像と合成され光量の50%が瞳5に入射する。
このような構成により、カメラの場合、シャッタースピード、絞り、露出情報などをファインダー内に見ることができ、また双眼鏡の場合、たとえば観察している方位、仰度などの情報を観察物と一緒に見ることができる。もちろん、この場合図2の例のようにハーフミラー2をなくして構成してもよい。
図4に本発明の他の実施の形態として情報表示眼鏡の全体構成を示す。本システムは大きく3つの要部で構成されている。すなわち、A:電気的もしくは光学的な画像信号を実際の画像に変換する信号/画像変換部(画像出力装置)、B:その画像出力を表示部まで画像そのものの形で伝送する像伝導管、C:像伝導管より伝送された画像を適宜画像処理して表示する表示部、である。
信号/画像変換部Aは本例の場合、光源21(バックライト)と、液晶表示板(透過型のカラー液晶表示板LCD)22と、拡散板(diffuser)23と、大小の凸レンズ等から成るファイバーカップリング用の縮小光学系24とで構成されている。
像伝導管Bは本例の場合、断面が4:3の長方形をしたコア形状をもつプラスチックファイバ(光ファイバ)25を使用している。外形寸法はΦ3.2mm、一本一本のファイバの径はΦ12μmm、解像度は60lp/mmとなっている。
表示部Cは本例の場合、眼鏡30の柄31のヒンジ33側に取り付けられたプリズムレンズ26と、眼鏡のフレーム32内のレンズ34に設けられたHOEシート27とで構成されている。このHOEシート(ホログラフィックコンバイナ:本例では、厚さ20μmm前後のフォトポリマーを使用)27は眼鏡のレンズ34に沿って取り付けられており、その上からマイラーフィルム(ポリエチレンテレフタレートフィルム)をコートすることにより固定および耐湿性の向上がはかられている。HOEシート27の材質としては、たとえば、フォトポリマー、ダイクロメートゼラチンなどがある。
前記像伝導管であるプラスチックファイバ25は眼鏡の柄31に沿って、その端部から前記プリズムレンズ26に至るまで柄31に設けられている。尚28は画像情報に加えて音声情報を得るために柄31に取り付けられたイヤホンであり、音声信号の伝送には導線(図示省略)を使用している。また35は眼鏡のパッドを示している。
上記のように構成された装置において、ビデオ信号(画像信号)が液晶表示板22によって画像変換され、光源21により照らされる。拡散板23は液晶表示板22のマトリックス配線パターンを観察者が認識しずらくするものであり、これにより液晶のパターンノイズのない良好な画像が観察できる。拡散板23を出射した光は、縮小光学系24によりおおよそ像伝導管Bのプラスチックファイバ25の径まで縮小され、ファイバにカップリングされる。
プラスチックファイバ25により伝導された画像はプリズムレンズ26により偏向および像拡大された後、HOEシート27に入射する。このHOEシートは前述したように反射波長選択性、像拡大作用(凹レンズ機能)を持ち合わす。すなわちある角度方向に特定の波長のみを反射し、他のスペクトルについては透過するという特徴を持つ。
このため観察者は、液晶表示板(LCD)22の画像を単色(例えば、緑)で見ながら、同時に周囲の視覚情報も見ることができる。(ただし、透過光のスペクトルには緑が欠落している。)もちろん、R,G,B3色をホログラム作製時に用いることにより、観察者はフルカラーの画像を見ることも可能である。この場合には、R,G,Bそれぞれの波長が透過光からは欠落するが、それぞれのバンド幅を小さくすることにより自然な色調で明るい背景を見ることができる。また、スペクトルの帯域幅を小さくすることは鮮明な像を得るためにも有利な条件となる。
加えて、HOEシート27のもう1つの特徴である像拡大作用により、たかだかプラスチックファイバ25のコアサイズしかない画像を、観察者に虚像を見せることで十分な視野まで拡大する。この様子を図5に示す。図5はHOEシートの像拡大作用を示しており、プラスティックイメージファイバー上に像(像高3mm)をレンズ、ミラーなどにより2倍(像高6mm)に拡大しこれをHOEシートに60°の角度で入射させる。このHOEシートにより、像は横倍率40倍(像高240mm)に虚像として拡大され、その位置はHOEから1000mm隔てた位置となっている。焦点距離は25mmとなっているためルーペ倍率は10倍である。出射瞳(EPD)は直径8mm以上あり、HOEシートから15〜20mm隔てて位置している。
図6は、図4の情報表示眼鏡を実際に使用者がかけたところを上方より見た様子を示している。図6において図4と同一部分は同一符号をもって示している。図6において5は使用者の眼球、40は虹彩、29は高分子合成膜である。像を伝送するイメージファイバー(プラスチックファイバ25)は眼鏡の柄31の内部を通っており、HOEシート27に入射する直前の像拡大(2倍)及び光の偏向はレンズ付プリズムミラー(プリズムレンズ26)によって行われている。なお、このイメージファイバー(プラスチックファイバ25)の出射NA(屈折率をnとしたときの開口率、NA=nsinθ)は0.5となっている。
前記HOEシート27とレンズとの取り付けは、例えば図7に図示するように眼鏡のレンズ34a,34bを貼り合わせることにより行い、その間にホログラムシート27a(厚さ数ミクロン〜数十ミクロン)を挟み込むという方法が考えられる。この場合、レンズ34a,34bどうしの接合にはUV硬化接着剤41などによる接着や、バイフォーカルレンズなどで使用されている融着などが考えられる。
またHOEシート27をレンズに沿う形に形成し、該HOEシートをレンズとマイラーフィルム(ポリエチレンテレフタレートフィルム)などの別部材との間に挟み込んで保持するようにしても良い。
図8には、画像出力装置としてレーザーダイオードアレイ43とスキャナ光学系としてガルバノメータ(ガルバノミラー)44を使用したディスプレイ眼鏡の一例を示す。この場合、左右独立して二組の画像出力装置、表示部およびHOEシート27を備えているため両眼視が可能であり、左右それぞれの画像出力装置に異なる画像を表示することにより立体視も可能となっている。
図8において眼鏡30は図4と同様に構成されており、左右の柄31,31には導線25b,25b、ドライブ回路42,42、レーザーダイオードアレイ(LEDarray)43,43、ガルバノメータ(galvanometric scanner)44,44が各々設けられている。また両眼のレンズ34,34にはHOEシート27,27が設けられている。
まず、左右それぞれのレーザーダイオードアレイ43,43とガルバノメータ44,44のドライブ回路42,42に画像信号が入力される。この信号にもとづいてレーザーダイオードアレイ43,43の各光源のon,offが行われ、それに同期してガルバノメータ44,44が駆動される。その結果、眼鏡のレンズ34,34に沿って設けられたHOEシート27,27上に走査された画像が投影されその反射光が瞳に入射することによって、使用者は背景と画像出力装置からの出力画像の拡大虚像を融合して見ることができる。音声信号は直接イヤホン28に送られ音声に変換される。なお、この眼鏡ディスプレイには使用者が掛けはずししやすいように首掛け用のチェーン45が設けられている。
図9は、図8のガルバノメータ44の代わりに、スキャナ光学系として音響光学効果素子(AOM:acousto optic modulator)54を使用したディスプレイ眼鏡の一例を示す。全体の動作原理は前記図8のスキャナ光学系としてガルバノメータ44を使用した例と同じである。音響光学効果素子54は、超音波55を媒質中に流し込むと光弾性効果により屈折率の疎密波を生じ、これにより回折格子と同様の働きを示すもので、この超音波の周波数を変えることにより回折格子のピッチを可変できる。回折格子のピッチが変わると、回折光56の偏向角も変わるので、これにより光線をスキャンすることができる。この音響光学効果素子54はガルバノメータやポリゴンミラーに比べて可動部がないことが特長である。 また、図10にはHOEシート取り外し可能タイプの情報表示眼鏡の一例を示す。HOEシート27にはクリップ60が取り付けられており、眼鏡のレンズ34またはフレーム32にこのクリップ60を挟むことにより脱着可能となっている。また、この例では画像を前記プラスチィックファイバ25にて伝導することなく、直接表示装置61を眼鏡の柄31の部分に取り付けている。
またHOEシートは図11のように保持しても良い。図11において円筒形(シリンドリカル)ポリカーボネート基板102に沿って接着、形成されたホログラムシート(HOEシート)27aは、該ポリカーボネート基板102とマイラーフィルム101(又は別部材)との間に挟まれて保持されている。
次にHOEと画像出力装置とを、眼鏡フレームに対して脱着可能に構成した例を図12に示す。図12において眼鏡の構成は図4、図10と同様である。102aはHOEと画像出力装置が取り付けられたポリカーボネート筐体であり、その一端は眼鏡のフレーム32の上端部に脱着自在に係止され、折曲部を経た他端部に形成されたシリンドリカル曲面102bは、フレーム32への装着時に該フレーム32に対向する部位に配置されるように構成されている。前記シリンドリカル曲面102bのフレーム32とは反対側の面にはHOE127がマイラーフィルム101に挟まれて保持されている。ポリカーボネート筐体102aの前記折曲部内側には、HOE127に画像を出力する液晶表示装置(LCD)103が設けられている。図12の構成によれば、HOE127と液晶表示装置103がポリカーボネート筐体102aに一体的に固定されているため、両者の位置決めを行う必要がなく使い勝手が良い。
図13は、HOEと画像出力装置とを眼鏡フレームに対して脱着可能に構成した他の例を示している。図13において眼鏡の構成は図4、図10と同様である。ポリカーボネート筐体102aの一端は眼鏡のフレーム32の上端部に脱着自在に係止され、折曲部を経た他端部は平面状に形成されるとともに、フレーム32への装着時に該フレーム32に対向する部位に配置されるように構成されている。前記ポリカーボネート筐体102aの他端部の、フレーム32とは反対側の面にはHOE127がマイラーフィルム101に挟まれて保持されている。104は、ポリカーボネート筐体102aの折曲部内側に設けられた液晶表示装置103からの出射光を、反射させてHOE127に導くミラーである。このように図13では、HOE127への入射光線の角度と、物側距離を変化させるためにミラー104を設け、一度ミラー104で反射した光をHOE127に入射している。図13の構成によれば、HOE127と液晶表示装置103とミラー104がポリカーボネート筐体102aに一体的に固定されているため、それらの位置決めを行う必要がなく使い勝手が良い。
本発明を適用した他の光学機器の一例としてHOEシートを使ったビデオカメラファインダーを図14に示す。図14において不透明なプラスチックから成るファインダー筐体105の内側には、液晶表示装置103、視度調整レンズ106およびHOE127が設けられている。液晶表示装置103から出射された光線はHOE127に入射しおおよそ平行光となって出射する。この出射光は視度調整レンズ106によって発散角が制御された後、瞳5に入射する。この図14の構成において、HOE127は不透明なプラスチックから成るファインダー筐体105に取り付けられており、透過背景像を見ることはできない。
また本発明を適用した他の例として、腕時計型の携帯端末装置を図15に示す。本体110の表示面には液晶表示装置103が設けられ、その上面にはHOE127がヒンジ111を軸として開閉自在に設けられている。112は腕用のバンドである。前記液晶表示装置103は時刻表示のみならず他の様々な文字、画像情報を表示するものである。前記HOE127を図15(a)のように閉じると、透過背景像として液晶表示装置103に表示された時刻を見ることができる。またHOE127を、ヒンジ111を中心に回転して図15(b)のように開くと、HOE127により反射拡大された像を見ることができる。このため液晶表示装置103により細かな像を表示しても、容易に見ることができる。
図16には、別例として画像受信装置を備えたワイヤレス情報表示眼鏡を示す。図16において眼鏡30は図4、図8、図10と同様に構成され、柄31には、画像信号受信回路71、ディスプレイドライブ回路72、フィールドエミッション表示装置73、バッテリ74およびアンテナ(図示省略)が設けられている。
上記のように構成された装置において、画像信号発信源(図示省略)から送信された画像信号は、柄31の部分に内臓されたアンテナおよび画像信号受信回路71により受信される。その受信された画像信号はディスプレイドライブ回路72によりデコードされ、フィールドエミッション表示装置73に送られ画像が表示される。この表示像がレンズ34の一部に設けられたHOEシート27により拡大反射され、使用者に視覚情報を提供する。なお、これら画像信号受信回路71、ディスプレイドライブ回路72、フィールドエミッション表示装置73は柄31に内臓されたバッテリ74により駆動される。このようにワイヤレス情報表示眼鏡を構成することにより、より使い勝手、携帯性が向上する。
図17には両眼幅調整機構付情報表示眼鏡の一例を示す。人間の両眼の光軸中心間の距離は個人差があり、少なくとも60mm〜70mm位のばらつきをもっている。このばらつきを吸収して良好な画像を見るためにはHOEシートからの反射光が15mm程度の出射瞳径をもつことが必要となるが、出射瞳の大きさと像倍率とは相反する関係にあり、高倍率(HOEの物側距離が短い)時には、通常出射瞳径は小さくなってしまう。そこで、高倍率時にも良好な視認特性を得るために、各人の目の光軸とHOEの光軸とを一致させられるように、両眼幅調整機構を設けることが重要になる。図17の情報表示眼鏡は以上の目的のために発明したものである。
図17において、フレーム32の上部にはねじ溝81と回転防止穴82aが設けられており、これに回転防止軸83aおよび図示形状の調整ねじ84が挿入されている。またこれとは別にパッド35の上部に、回転防止穴82bおよび回転防止軸83bが設けられている。調整ねじ84の中央部に設けられた回転調整つまみ85を回すことにより、HOEシート27の光軸中心距離を可変するように構成している。
また本発明のディスプレイ眼鏡には像表示の位置に次のような工夫がされている。まず図18、19に標準的な人間の視野特性を垂直、水平方向それぞれについて示す。図18は標準的な人間の垂直方向の視野特性を示し、この図によれば通常の視野は水平方向より10°〜15°下方に向いている(図示、立っているときの通常の視線から座っているときの通常の視線までの範囲)ことがわかる。図18において、Aは20才の焦点距離(最小)、Bは40才の焦点距離(最小)、Cはディスプレイ用の容認される最小の読み取り距離、Dは通常の見る距離(CRT)、Eはディスプレイ用の望ましい最小距離、Fは配置されるディスプレイの最大距離、Gは60才の焦点距離(最小)、Hはもしディスプレイが適合して設計される場合無限遠となること、を各々示している。
また図19は標準的な人間の水平方向の視野特性を示し、この図によれば、文字を認識できる視野は約20°(図示、文字認識限界の範囲)であることがわかる。
そこで本発明では図20に示すように、通常の視線(水平方向より10°下方とする)を中心として立体角20°以内には表示像を表示しないようにする。こうすることにより、図21に示すように通常の視線方向では表示像に妨げられることなく背景を見ることができ、表示像を見たい場合には図22に示すように視線を(この例では上方に)移動することにより、表示像(HOEシート27からの反射光)と背景とを融合して見ることができる。尚図21は背景像のみレンズを通して見る場合の説明図であり、図22は背景像と表示像を見る場合の説明図である。
あるいは、図23に示すように、HOEシートが取り付けられた眼鏡のフレームまたはレンズ90に視線検出センサ91を設け、使用者の視線が特定の範囲に入ったときのみ画像表示がなされるように構成することにより、より視認性を向上させ使い勝手が良いものとなる。また図23では、HOEシートが取り付けられた前記レンズ90に対向して設けた液晶シャッター92と明るさセンサ(光センサ:フォトダイオード)93を用い、背景の明るさを前記センサ93で感知し液晶シャッター92の透過率を自動的に調節することにより、使用者が容易に表示画像と背景を融合して見られるようにこれらの明るさの比率を適当な範囲に保つ機能も有している。前記液晶シャッター92は、着脱可能な少なくとも可視光波長域に対する遮光部材であり、このシャッター使用時には背景からの光の透過量を10%以下に減衰できる。
図23において、94はマイクロコンピュータ95の指令により液晶シャッター92の透過率を調節する液晶シャッタードライバ、96は入力される画像信号とマイクロコンピュータ95の指令によりディスプレイ97を駆動するディスプレイドライバである。尚前記ディスプレイ97は前記図8のレーザーダイオードアレイ43、ガルバノメータ44、図9の音響光学効果素子54、図16のフィールドエミッション表示装置73等で構成されている。
図23の装置の一連の動作フローチャートを図24に示す。まず画像表示OFF、液晶透過率最大である状態において、マイクロコンピュータ95が視線検出センサ91の出力を読み込む。そして検出された視線が特定の範囲以内であれば、明るさセンサ93の出力を読み込み、その明るさに応じて液晶シャッター92の透過率を液晶シャッタードライバ94によって調整し、画像表示をONとする。また前記検出された視線が特定の範囲以内でないときは、画像表示をOFFとし、液晶シャッター92の透過率は最大のままとする。
この場合、背景の明るさは変えずに表示画像の明るさを直接可変するか、もしくは表示装置の前に液晶シャッターを設けこの透過率を可変することにより行ってもよい。また、一時的に表示画像だけを見たいときには、眼鏡レンズ部にサングラス風のフィルタをして背景からの光を減らしたり、同じく眼鏡レンズ部に設けられた2枚の偏光板のそれぞれの光軸の交差角度を可変することにより背景からの光を調整してもよい。
なお、以上に挙げたディスプレイ眼鏡は正視の人用として眼鏡レンズの屈折力(度)を0としたものでも、レンズにカラーコーティング、UV反射コートなどの表面処理を施したものでももちろん良い。
(実施例)
前記表示部は、液晶ディスプレイ(LCD)やフィールドエミッションディスプレイ(FED)に限らず、LEDディスプレイ(LEDD)、レーザーディスプレイ(LDD)、デジタルマイクロミラーディスプレイ(DMD)、エレクトロルミネッセンスディスプレイ(ELD)を用いても良い。
また前記スキャナ光学系としては、ガルバノメータや音響光学効果素子に限らず、ポリゴンミラー又はリゾナントスキャナを用いても良い。
また前記光学部材はレンズに限らず、板ガラス、透明プラスチック板、不透明プラスチック板、反射減衰プレート、プリズム又はハーフミラー又は回折格子を用いても良い。
また本発明は眼鏡、カメラ、双眼鏡に適用するに限らず、前記光学部材を望遠鏡のレンズで構成し、前記表示部を望遠鏡の筐体またはレンズに設けても良く、また前記光学部材を顕微鏡のレンズで構成し、前記表示部を顕微鏡のフレームまたはレンズに設けても良い。この場合も前記同様の作用、効果が得られる。
本発明の一実施形態を示す構成図。 本発明の他の実施形態を示す構成図。 本発明を一眼レフカメラ又は双眼鏡に適用した実施形態を示す構成図。 本発明を適用し、情報表示眼鏡として構成した実施形態の一例を示す構成図。 HOEシートの像拡大作用を表す説明図。 本発明の情報表示眼鏡を使用者がかけたところを上方より見た様子を表す説明図。 本発明におけるHOEシートの取り付け方法の一例を示す要部断面図。 本発明を適用し、情報表示眼鏡として構成した実施形態の他の例を示す構成図。 本発明のスキャナ光学系の他の実施形態を示す要部構成図。 本発明の情報表示眼鏡において、HOEシートを着脱可能とした実施形態を示す構成図。 本発明におけるHOEシートの保持例を示し、(a)は正面図、(b)は側面図。 本発明の情報表示眼鏡において、HOEシートを着脱可能とした実施形態の他の例を示す構成図。 本発明の情報表示眼鏡において、HOEシートを着脱可能とした実施形態の他の例を示す構成図。 本発明をビデオカメラファインダーに適用した実施形態の構成図。 本発明を適用した腕時計型携帯端末装置の実施形態を示し、(a)はHOEを閉じたときの構成図、(b)はHOEを開いたときの構成図。 本発明の情報表示眼鏡をワイヤレス化した実施形態を示す構成図。 本発明の両眼幅調整機構付情報表示眼鏡の実施形態を示す要部構成図。 標準的な人間の垂直方向の視野特性を示す説明図。 標準的な人間の水平方向の視野特性を示す説明図。 表示像を認識できる人間の視野範囲を示す説明図。 通常の視線方向における背景と表示像の関係を表し、背景像のみレンズを通して見える場合の説明図。 視線を上方に移動したときの背景と表示像の関係を表し、背景像と表示像が見える場合の説明図。 本発明の視線検出センサおよび明るさセンサを設けた装置の一例を示す構成図。 図23の装置によって画像表示および液晶シャッターの透過率を制御する場合のフローチャート。 従来の画像表示装置の一例を示す構成図。
符号の説明
1…画像出力装置
4,34,34a,34b…レンズ
5…眼球(瞳)
6,27…HOEシート
21…光源
22…液晶表示板
23…拡散板
24…縮小光学系
25…プラスチックファイバ
26…プリズムレンズ
28…イヤホン
29…高分子合成膜
30…眼鏡
31…柄
40…虹彩
41…UV硬化接着剤
42…ドライブ回路
43…レーザーダイオードアレイ
44…ガルバノメータ
54…音響光学効果素子
60…クリップ
61…表示装置
71…画像信号受信回路
72…ディスプレイドライブ回路
73…フィールドエミッション表示装置
74…バッテリ
81…ねじ溝
82a,82b…回転防止穴
83a,83b…回転防止軸
84…調整ねじ
85…回転調整つまみ
91…視線検出センサ
92…液晶シャッター
93…明るさセンサ
94…液晶シャッタードライバ
95…マイクロコンピュータ
96…ディスプレイドライバ
97…ディスプレイ
101…マイラーフィルム
102…円筒形ポリカーボネート基板
103…液晶表示装置
104…ミラー
105…ファインダー筐体
106…視度調整レンズ
127…HOE

Claims (4)

  1. 柄と、前記柄に連結されたフレームと、前記フレームに設けられたレンズとを有する眼鏡を備え、
    前記眼鏡の柄に、画像情報発信源より送信された画像信号を受信する受信部と、前記受信部で受信された画像信号を解読するドライブ部と、前記ドライブ部で解読された画像を表示する画像出力装置と、前記受信部、ドライブ部、画像出力装置に各々電源を供給する電源部とを設けると共に、
    前記眼鏡のレンズに、リップマンブラッグ体積ホログラムを設け、かつ、前記眼鏡のレンズに対向するように液晶シャッタと明るさセンサとを設け、さらに、前記眼鏡のレンズまたはフレームに、使用者の視線が特定の範囲内にあるか否かを検出する視線検出センサを設け、
    前記視線検出センサによって使用者の視線が特定の範囲内にあることが検出された場合に、前記画像出力装置からの出力画像を直接的に前記リップマンブラッグ体積ホログラムに入射させることにより、前記画像出力装置の出力画像の虚像を眼から所定距離隔てた部位に表示し、前記虚像と前記眼鏡のレンズを透過した透過背景像との合成像を少なくとも一眼に導くようになされ、かつ、前記明るさセンサによって背景の明るさを検出すると共に、検出された明るさに基づいて、前記虚像と前記透過背景像との明るさの比率が所定の範囲内となるように、前記眼鏡のレンズに入射する背景からの光の量を前記液晶シャッタによって調節するようになされ
    前記視線検出センサによって使用者の視線が特定の範囲内にあることが検出されなかった場合には、前記画像出力装置からの画像出力をオフ状態にすると共に、前記液晶シャッタの透過率を最大にするようになされている
    画像表示装置。
  2. 前記リップマンブラッグ体積ホログラムは、前記眼鏡のレンズ内に挟み込まれ保持されている請求項1に記載の画像表示装置。
  3. 前記リップマンブラッグ体積ホログラムは、前記眼鏡のレンズに対して着脱自在に設けられている請求項1に記載の画像表示装置。
  4. 前記眼鏡には、リップマンブラッグ体積ホログラムで反射された光線の光軸中心距離を可変する両眼幅調整機構が設けられている請求項1に記載の画像表示装置
JP2006076353A 2006-03-20 2006-03-20 画像表示装置 Expired - Lifetime JP4411547B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006076353A JP4411547B2 (ja) 2006-03-20 2006-03-20 画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006076353A JP4411547B2 (ja) 2006-03-20 2006-03-20 画像表示装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP9108694A Division JPH10301055A (ja) 1997-04-25 1997-04-25 画像表示装置

Publications (2)

Publication Number Publication Date
JP2006209144A JP2006209144A (ja) 2006-08-10
JP4411547B2 true JP4411547B2 (ja) 2010-02-10

Family

ID=36965976

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006076353A Expired - Lifetime JP4411547B2 (ja) 2006-03-20 2006-03-20 画像表示装置

Country Status (1)

Country Link
JP (1) JP4411547B2 (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11829518B1 (en) 2004-07-28 2023-11-28 Ingeniospec, Llc Head-worn device with connection region
US11852901B2 (en) 2004-10-12 2023-12-26 Ingeniospec, Llc Wireless headset supporting messages and hearing enhancement
US11733549B2 (en) 2005-10-11 2023-08-22 Ingeniospec, Llc Eyewear having removable temples that support electrical components
US12535698B2 (en) 2005-10-11 2026-01-27 Ingeniospec, Llc Head-worn structure with fitness monitoring
US12044901B2 (en) 2005-10-11 2024-07-23 Ingeniospec, Llc System for charging embedded battery in wireless head-worn personal electronic apparatus
DE112008000051A5 (de) * 2007-01-25 2009-11-12 Rodenstock Gmbh Brille und Brillenglas zur Dateneinspiegelung
JP2009244869A (ja) * 2008-03-11 2009-10-22 Panasonic Corp 表示装置、表示方法、眼鏡型ヘッドマウントディスプレイ、及び自動車
JP5290092B2 (ja) 2009-08-31 2013-09-18 オリンパス株式会社 眼鏡型画像表示装置
JP5290091B2 (ja) 2009-08-31 2013-09-18 オリンパス株式会社 眼鏡型画像表示装置
JP2011059444A (ja) 2009-09-10 2011-03-24 Olympus Corp 眼鏡型画像表示装置
GB2476033A (en) * 2009-12-04 2011-06-15 Marcus Lewis Personal audio equipment device
CA2723360A1 (en) * 2009-12-09 2011-06-09 Xpand, Inc. Active 3d glasses with oled shutters
JP5646238B2 (ja) 2010-07-27 2014-12-24 オリンパス株式会社 画像表示装置
JP5458080B2 (ja) 2011-09-28 2014-04-02 株式会社東芝 表示装置
US9753284B2 (en) 2012-01-24 2017-09-05 Sony Corporation Display device
JP5957972B2 (ja) * 2012-03-07 2016-07-27 セイコーエプソン株式会社 虚像表示装置
JP6145966B2 (ja) 2012-05-09 2017-06-14 ソニー株式会社 表示装置
KR20140052294A (ko) 2012-10-24 2014-05-07 삼성전자주식회사 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 헤드-마운티드 디스플레이 장치
GB201302719D0 (en) * 2013-02-15 2013-04-03 Adlens Ltd Variable-power lens
JP6123342B2 (ja) 2013-02-20 2017-05-10 ソニー株式会社 表示装置
US10042186B2 (en) * 2013-03-15 2018-08-07 Ipventure, Inc. Electronic eyewear and display
JP6391952B2 (ja) 2014-03-17 2018-09-19 ソニー株式会社 表示装置及び光学装置
EP3146379A4 (en) 2014-05-23 2018-01-24 Nuviz, Inc. Helmet mounted display
JP2016066846A (ja) * 2014-09-24 2016-04-28 株式会社テレパシージャパン 画像表示装置を備えたウェアラブルデバイス
WO2016140058A1 (ja) 2015-03-04 2016-09-09 シャープ株式会社 音声信号再生装置、音声信号再生方法、プログラム、および記録媒体
JP6550850B2 (ja) * 2015-03-30 2019-07-31 セイコーエプソン株式会社 頭部装着型表示装置および体積ホログラフィック素子の製造方法
JP6892213B2 (ja) 2015-04-30 2021-06-23 ソニーグループ株式会社 表示装置及び表示装置の初期設定方法
US20160342835A1 (en) * 2015-05-20 2016-11-24 Magic Leap, Inc. Tilt shift iris imaging
US9939644B2 (en) * 2015-06-25 2018-04-10 Intel Corporation Technologies for controlling vision correction of a wearable computing device
WO2017005614A1 (en) * 2015-07-03 2017-01-12 Essilor International (Compagnie Generale D'optique) Methods and systems for augmented reality
JP2017049762A (ja) 2015-09-01 2017-03-09 株式会社東芝 システム及び方法
US10437071B2 (en) * 2015-10-12 2019-10-08 North Inc. Adjustable pupil distance wearable display
US10338384B2 (en) 2015-10-12 2019-07-02 North Inc. Spatially separated exit pupils in a head mounted display
CN105662698B (zh) * 2016-03-31 2018-01-09 宁波优视佳视力保健有限公司 一种眼部护眼仪
JP6210343B2 (ja) * 2016-04-13 2017-10-11 セイコーエプソン株式会社 虚像表示装置
WO2018013307A1 (en) * 2016-06-21 2018-01-18 Ntt Docomo, Inc. An illuminator for a wearable display
KR101894555B1 (ko) * 2016-09-07 2018-10-04 주식회사 레티널 반사 렌즈 모듈
KR101894556B1 (ko) * 2016-09-08 2018-10-04 주식회사 레티널 광학 장치
US20180182272A1 (en) 2016-12-23 2018-06-28 Intel Corporation Microelectromechanical system over-scanning for pupil distance compensation
JP2018037107A (ja) * 2017-11-27 2018-03-08 株式会社東芝 システム及び方法
JP7183611B2 (ja) * 2018-07-30 2022-12-06 セイコーエプソン株式会社 虚像表示装置
DE102019102586A1 (de) * 2019-02-01 2020-08-06 tooz technologies GmbH Lichtleitanordnung, Abbildungsoptik, Head Mounted Display und Verfahren zum Verbessern der Abbildungsqualität einer Abbildungsoptik
CN113631987A (zh) 2019-09-30 2021-11-09 株式会社Lg化学 头戴式显示器
CN111596461A (zh) * 2020-07-21 2020-08-28 瑞声通讯科技(常州)有限公司 一种基于小孔成像的离轴反射显示系统及显示设备
CN114153078B (zh) * 2021-11-26 2024-01-30 美特科技(苏州)有限公司 智能眼镜及其摄像装置
DE102022212478A1 (de) * 2022-11-23 2024-05-23 Robert Bosch Gesellschaft mit beschränkter Haftung Optikvorrichtung, optisches Element, optische Konstruktion, Bausatz und Verfahren zu einer Anpassung und/oder Individualisierung der optischen Konstruktion

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5880616A (ja) * 1981-11-09 1983-05-14 Mitsubishi Electric Corp ヘツドアツプデイスプレイ装置
DE3532120A1 (de) * 1985-09-10 1987-03-19 Ver Glaswerke Gmbh Windschutzscheibe mit einer reflektierenden einrichtung zur einspiegelung von optischen signalen in das gesichtsfeld des fahrers
US4867551A (en) * 1988-07-11 1989-09-19 Perera Kalukapuge T Display projection optical system for spectacles or sunglasses
JP2861162B2 (ja) * 1989-12-19 1999-02-24 株式会社島津製作所 ヘルメットマウント形ディスプレイ用バイザー
JP3273954B2 (ja) * 1991-03-12 2002-04-15 旭硝子株式会社 車両用ヘッドアップディスプレイ装置
JP3368614B2 (ja) * 1993-04-01 2003-01-20 セイコーエプソン株式会社 頭部装着型表示装置
JP3376023B2 (ja) * 1993-06-01 2003-02-10 キヤノン株式会社 立体画像表示方法及び画像表示装置
JP3483274B2 (ja) * 1993-06-30 2004-01-06 キヤノン株式会社 画像表示装置
JPH07154829A (ja) * 1993-11-25 1995-06-16 Matsushita Electric Ind Co Ltd 眼鏡型映像表示装置
JPH07281124A (ja) * 1994-04-11 1995-10-27 Canon Inc 画像表示装置
JPH0836143A (ja) * 1994-05-16 1996-02-06 Casio Comput Co Ltd ヘッドマウントディスプレイ装置
JP3630746B2 (ja) * 1994-12-05 2005-03-23 キヤノン株式会社 画像観察装置
JPH08169254A (ja) * 1994-12-19 1996-07-02 Asahi Glass Co Ltd ホログラフィックディスプレイ装置

Also Published As

Publication number Publication date
JP2006209144A (ja) 2006-08-10

Similar Documents

Publication Publication Date Title
JP4411547B2 (ja) 画像表示装置
JPH10301055A (ja) 画像表示装置
US8079713B2 (en) Near eye display system
JP3429320B2 (ja) 眼鏡及びフェースマスクに対するイメージコンバイニングシステム
CN102667912B (zh) 头戴式显示装置
US5812100A (en) Image display apparatus
EP0438362B1 (en) A spectacle type display apparatus displaying directly to retina
US8305297B2 (en) Spectacles-type image display device
US6816132B2 (en) Image display apparatus
US7492330B2 (en) Cap with display device
US20150316768A1 (en) Improvements in and relating to displays
US20100271587A1 (en) eyewear comprising at least one display device
JP2001514764A (ja) 二つの光景からの光を観察者の眼へ代替的に、あるいは同時に導くための光学系
JP2002287077A (ja) 映像表示装置
JPH10319240A (ja) ヘッドマウンテッドディスプレイ
JP2010139589A (ja) 映像表示装置およびヘッドマウントディスプレイ
TWI600925B (zh) 頭戴式顯示裝置
JP2016090910A (ja) 映像投射装置及びヘッドマウントディスプレイ
JP2002098929A (ja) 観察光学系および撮像光学系
JP2002072131A (ja) 観察光学系および撮像光学系
JP4835327B2 (ja) 映像表示装置、及び頭部装着式映像表示装置
JP2004145367A (ja) 画像表示装置
JP2003043409A (ja) 画像表示装置
JP2010145561A (ja) ヘッドマウントディスプレイ
JP2010243972A (ja) 映像表示装置およびヘッドマウントディスプレイ

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20081112

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090513

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090811

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091022

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091104

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121127

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131127

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term