[go: up one dir, main page]

JP3916147B2 - 3D image display device - Google Patents

3D image display device Download PDF

Info

Publication number
JP3916147B2
JP3916147B2 JP2002284871A JP2002284871A JP3916147B2 JP 3916147 B2 JP3916147 B2 JP 3916147B2 JP 2002284871 A JP2002284871 A JP 2002284871A JP 2002284871 A JP2002284871 A JP 2002284871A JP 3916147 B2 JP3916147 B2 JP 3916147B2
Authority
JP
Japan
Prior art keywords
pattern
sub
pixels
interval
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002284871A
Other languages
Japanese (ja)
Other versions
JP2004118140A (en
Inventor
誠人 奥井
真樹 小林
淳 洗井
智之 三科
文男 岡野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2002284871A priority Critical patent/JP3916147B2/en
Publication of JP2004118140A publication Critical patent/JP2004118140A/en
Application granted granted Critical
Publication of JP3916147B2 publication Critical patent/JP3916147B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、メガネを用いない視差映像方式による立体映像表示装置に関するものである。
【0002】
【従来の技術】
一般に、メガネを用いない視差映像方式のうちプロジェクション方式(投射装置を用いたもの)とホログラフイー方式を除いた多くの方式は、カラー液晶ディスプレイなどフラット面を有する表示部にレンチキュラーシート、パララックスバリア、ピンホール板もしくはレンズ板(以下、これらを総称してスクリーンという)のいずれか一つを組み合わせた視差映像方式によるものである。そして前記スクリーンはそれぞれ円筒レンズ、スリット列、ピンホールもしくはレンズ(以下、これらを総称してパターンという)を配置して構成したものである。
【0003】
これら視差映像方式は、いずれも両眼視差にもとづいて立体映像を再生し、二眼方式から三眼以上の多眼方式まで構成することが可能である。この二眼方式によれば左右眼に、二種の視差映像が入り立体形状を知覚することができ、多眼式によれば観測位置が変わるとそれに伴い左右眼に入る映像が変化し、より現実的な三次元空間に近い映像を知覚することが可能である。
【0004】
図6を用いて従来の視差映像方式の立体映像表示装置の構成ならびに立体表示の原理について説明する。図6は、スクリーンとしてパララックスバリアを用いた従来の立体映像表示装置10cの基本構成を示す構成図である。図6は、立体映像表示装置10cと立体映像を観測する観測者4を上方向から概観したもので、表示部66とパララックスバリア65は、ともに紙面に対して垂直にかつ両者が互いに一定の間隔で平行に配置されているものとする。そしてこの表示部66は、R(赤)G(緑)B(青)のサブピクセルが表面の縦横に多数規則的に配置して全体が構成されているものとする。またパララックスバリア65の表面には、パターンとして紙面垂直方向を長手方向として開口したスリット62が等間隔で刻まれている。
【0005】
ここで、パララックスバリア65(スクリーン)は、観測者4の左右の目に異なった映像(視差映像)が入るように表示部66上の映像を分割するものである。この分割はパララックスバリア65上のスリット62(パターン)が有する前記サブピクセルからの出射光の進行方向を限定する機能により、表示部66上の特定の画素が観測者4の左右どちらか一方の目に選択的に認識されることで実現される。
【0006】
なお、図6は視差映像の数が三つすなわち三眼式の場合を示しており観測位置には視点a,b,cの三つの視点が形成されている。ここで、表示部66には、撮影角度の異なる三つの映像(A、B、Cとする)が縦長の短冊状の画素(A12・・・An,B12・・・Bn,C12・・・Cn)に分割され、これら短冊が一定の順番に繰り返されて表示部66上に表示される。そしてスリット62は、前記短冊状の画素がA、B、Cの原映像として一定の映像視認領域である視点a、b、cに導かれるように配置されている。すなわち視点aからは表示部66上の映像Aだけが、視点bからは表示部66上の映像Bだけが、視点cからは表示部66上の映像Cだけが見えるように、スリット62が位置しているものとする。
【0007】
ここで、観測者4が視点cを右眼でとらえ視点bを左眼でとらえるように位置すると、映像Cと映像Bとが視差映像として観測者4の左右眼に入り、立体形状として認識されることとなる。次にこの状態から、観測者4が左方向に体を移動すると両眼に入る映像は左眼には視点a、右目には視点bへと変化することになる。これにより、体を左右に移動することにより回り込んだ立体映像の観測を可能とし、さらに視差映像の数を増やした多眼方式に拡張することにより、回り込み立体映像をより滑らかに観測することが可能となる。
【0008】
図7に示すのは、立体映像表示装置を構成するスクリーンとして、複数の円筒レンズ72が配置されたレンチキュラーシート75を用いたものである。この円筒レンズ72は、レンズの集光作用により表示部66上の特定の画素の観測範囲を一定の視点に限定させる点で、スリット62(図6)と同様の機能を有する。よってレンチキュラーシート75により構成される立体映像表示装置10dは、立体視の原理面において、前記した図6のパララックスバリアによるものと同等と言えるが光量が減少しない点で優れている。
【0009】
なお、詳細な説明は省略するが、立体映像装置を構成するスクリーンに、縦横に二次元的に配置されたピンホールまたはレンズいずれか一方をパターンとして用いたIP方式(Integral Photography)と呼ばれるものがある。この方式の特徴は、図6で説明したパララックスバリア方式や図7で説明したレンチキュラーシート方式が、左右方向からの回り込み映像を観測可能とするのに対し、これに加えて上下方向からの回り込み映像も観測可能とした点にある。
【0010】
以上述べた立体映像表示装置は、応用分野も広がりを見せてきているが画質評価の観点から見るとさまざまな課題があり色モアレ発生もその中の一つである。色モアレとは表示部上のRGBの配置とスクリーン上のパターン配置との干渉により、カラー表示が規則的な縞状の濃淡を伴って表示される現象で、映像を劣化させる要因の一つである。
【0011】
ここで、立体映像表示装置(10c,10d)の表示部66を構成する各画素は、規則的に配置したサブピクセル構造を持ち、パララックスバリア65、レンチキュラーシート75、ピンホール板もしくはレンズ板上の規則的に配置されたパターンをとおして視認される。この為、表示部66上の画素は本来RGBのサブピクセルが一括観測されて初めて所望の色が再現されるところ、観測者4と表示部66上の画素の位置関係により、一画素を構成するRGBのサブピクセルのうちいずれかが優先的に表示される場合がある。どの色のサブピクセルが優先表示されるかは、観測者4とサブピクセルとパターンとの位置関係で決定され、観測者4が静止もしくは移動しながら立体映像を観測すると、全体に周期的な縞状に変化する色モアレが観測され、画質低下の一因となる。
【0012】
この問題に対して従来は、レンチキュラーシート上の円筒レンズを画素単位ではなくサブピクセル単位に高精細化して同一視点からRGB三色とも見える方法をとっている。これによれば、円筒レンズからの出射光はすべてRGBいずれか一つの単色光とすることで、色モアレを抑制するものである。(例えば非特許文献1参照)
【0013】
また、表示部上でRGBを混合するため光学的に色を拡散する手段を用いているものもある。これによれば、表示部とスクリーンの間に光拡散板を配置することで、同一画素内の隣接するサブピクセルからの出射光は、スクリーン上のパターンに到達する前に混色される。そして混色された後にパターンの作用により光進行方向が定められるため、色モアレが発生しない。(例えば非特許文献2参照)
【0014】
【非特許文献1】
R.Borner,Displays20(1999),p57−64,Fig.4
【非特許文献2】
小林、洗井、奥井、岡野,「拡散板を用いたインテグラルフォトグラフィの色モアレ低減の検討」,2001年映像情報メディア学会冬季大会,P103,公演番号7−6
【0015】
【発明が解決しようとする課題】
しかし、前記したモアレ回避方法は、いずれも実施上いくつかの問題点を有している。前者のレンチキュラーシートを画素単位でなくサブピクセル単位に高精細化する方法は、円筒レンズの幅を液晶の画素寸法より小さくすることを要し、さらに加工精度も高水準のものが求められる。このようなレンズアレイの製造に用いられる金型を製造することは極めて困難といえる。後者の表示部上でRGBを混合し、光学的に色を散乱させる光散乱板等を液晶表示部とスクリーンの間にはさむ方法は、作製が容易な点で前者の方法より優れるが、表示映像の解像度を低下させる問題が生じる。このように、従来法によるモアレ回避手法では、製造上の課題や他の副次的問題により対策として十分なものとはいえなかった。
【0016】
本発明は、このような従来のモアレ回避手法が有していた問題を解決しようとするものであり、従来の立体映像表示装置に、新たな装置や部分を付加することなしに、解像度低下を招くことなく、カラー立体画像を表示する際の色モアレを低減することができる立体映像表示装置を提供することを目的とする。
【0017】
【課題を解決するための手段】
本発明は、前記した目的を達成するために創案されたものであり、まず請求項1に記載の立体映像表示装置は、色の三原色をそれぞれ発光する三つのサブピクセルを一定の間隔で一列に配置して形成した画素を、このサブピクセルが配置する方向と同じ方向に一定の画素間隔となるように、平面配置させて映像を表示する表示部と、この表示部の観測者側に配置され、前記サブピクセルから発光される光の進行方向を限定する複数のパターンを一定間隔で平面配置して前記映像を視差映像に分割するスクリーンとを備えた立体映像表示装置において、前記パターンとして前記光の一部を貫通させるスリット列又はピンホールを採用し、前記パターンを前記画素間隔の整数倍に前記画素間隔の半分を加えたパターン間隔となるように配置することとした。
【0018】
かかる構成によれば、立体映像表示装置を構成する表示部が一般的なRGBサブピクセル構造を有する場合等において、発生する色モアレの周期は取り得る値として最小の、パターン間隔の2倍となる。これにより、立体映像表示装置上に発生するモアレ縞の間隔は充分狭いものとなり、色モアレが認識されにくくなる。
【0019】
請求項2に記載の立体映像表示装置は、異なる色をそれぞれ発光する複数個のサブピクセルを一定のサブピクセル間隔で一列に配置して形成した画素を、このサブピクセルが配置する方向と同じ方向に一定の画素間隔となるように、平面配置させて映像を表示する表示部と、この表示部の観測者側に配置され、前記サブピクセルから発光される光の進行方向を限定する複数のパターンを一定間隔で平面配置して前記映像を視差映像に分割するスクリーンとを備えた立体映像表示装置において、前記パターンとして前記光の一部を貫通させるスリット列又はピンホールを採用し、前記パターンを前記画素間隔の整数倍に前記サブピクセル間隔の整数倍を加えたパターン間隔となるように配置することとした。
【0020】
かかる構成によれば、表示部の表面を構成する画素がm個のサブピクセルからなる場合において、発生する色モアレの周期はパターン間隔のm倍となり、さらにm個のサブピクセルが色毎に順番にパターンから観測されることとなる。これにより、立体映像表示装置上に発生するモアレ縞の間隔は充分狭くなり、色モアレは認識されにくくなる。
【0021】
請求項3に記載の立体映像表示装置は、請求項2に記載の立体映像表示装置において、前記画素を形成するサブピクセルの個数は3であることとし、このサブピクセルのそれぞれは色の三原色をそれぞれ発光するものであることとした。
【0022】
かかる構成によれば、立体映像表示装置を構成する表示部が一般的なRGBサブピクセル構造を有する場合において、発生する色モアレの周期はパターン間隔の三倍となり、さらに三個のサブピクセルが色毎に順番にパターンから観測される。これにより、立体映像表示装置上に発生するモアレ縞の間隔は充分狭くなり、色モアレは認識されにくくなる。
【0023】
請求項4に記載の立体映像表示装置は、請求項1乃至請求項3のいずれか一項に記載の立体映像表示装置において、特定の視点から前記表示部までの距離と、前記視点から前記スクリーンまでの距離との比率に基づいて、前記パターン間隔を補正した補正パターン間隔で、前記パターンを配置したことを特徴とする。
【0024】
かかる構成によれば、立体映像表示装置において表示部とスクリーンとの間隔を広めに設計した場合であっても、立体映像表示装置上に発生するモアレ縞の間隔は充分狭いものとなり、色モアレが認識されにくくなる。
【0025】
請求項5に記載の立体映像表示装置は、請求項1乃至請求項4のいずれか一項に記載の立体映像表示装置において、前記パターンとして、前記スリット列に替え、前記光を集光させる円筒レンズを採用することとした。
【0026】
かかる構成によれば、レンチキュラーシートをスクリーンとした立体映像表示装置において、立体映像表示装置上に発生するモアレ縞の間隔は充分狭くなり、色モアレは認識されにくくなる。
【0027】
請求項6に記載の立体映像表示装置は、請求項1乃至請求項4のいずれか一項に記載の立体映像表示装置において、前記パターンとして、前記ピンホールに替え、前記光を集光させるレンズを採用することとした。
【0028】
かかる構成によれば、レンズ板をスクリーンとした立体映像表示装置において、立体映像表示装置上に発生するモアレ縞の間隔は充分狭くなり、色モアレは認識されにくくなる。
【0029】
請求項7に記載の立体映像表示装置は、請求項1乃至請求項6のいずれか一項に記載の立体映像表示装置において、前記表示部は、同色のサブピクセルが縦方向に連続するように画素が配置する縦ストライプ構造をなすものであって、前記同色サブピクセルが連続する縦の配列方向と、前記パターンの縦の配列方向とが一定角度を有することとした。
【0030】
かかる構成によれば、同色サブピクセルが連続して形成する縦ストライプと、スリットもしくは円筒レンズがなす角度またはレンズもしくはピンホールの縦配列がなす角度とが、一定値を有することとなる。これにより、立体映像表示装置上で形成されるモアレ縞が傾斜し、色モアレは認識されにくくなる。
【0031】
【発明の実施の形態】
以下本発明の実施の形態について図面を参照して説明する。
(第一の実施の形態)
図1乃至図4を参照して本発明における第一の実施の形態について説明する。図1は、スクリーンとしてパララックスバリアを用いた場合の立体映像表示装置10aの構成を示す構成図である。立体映像表示装置10aは、表示部としてのカラー液晶ディスプレイ16とスクリーンとしてのパララックスバリア15から構成され、両者を上方向から見たものである。このカラー液晶ディスプレイ16およびパララックスバリア15は間隔gで平行に位置しており、特に図示しないフレームにより固定されている。
【0032】
パララックスバリア15上には紙面垂直方向を長手方向とする光学的隙間で一定の開口率を有するスリット12がパターンとして刻まれ、間隔sなる等間隔をもって平行に配置しているものとする。観測者4は、カラー液晶ディスプレイ16とパララックスバリア15の間隔gより充分離れた距離dをおいて、パララックスバリア15のスリット12を通じてカラー液晶ディスプレイ16の表面を観測していることとする。
【0033】
図2は、スクリーンとしてピンホール板を用いた場合の立体映像表示装置10bの構成を示す構成図である。本図は立体映像表示装置10bを構成するスクリーンとしてパララックスバリア15(図1)に代えて、ピンホール板25としたものを表す第一の実施の形態における他の適用例を斜視図として示した図である。ここでピンホール板25には、光学的に貫通し一定口径を有するピンホール22がパターンとして縦横等間隔に刻まれ、間隔sで二次元的に規則正しく配置しているものとする。なお、図2における、ピンホール板25、カラー液晶ディスプレイ16、観測者4の位置関係ならびに構成はそれぞれ図1におけるパララックスバリア15、カラー液晶ディスプレイ16、観測者4の関係と同じ為、構成の詳細な説明は省略することとする。
【0034】
図3は、表示部の一例として示すカラー液晶ディスプレイ16(図1、図2)の表面の画素構造を部分拡大して示したものである。図中R、G、Bとはそれぞれ赤、緑、青のカラーフィルタを表面に装着したサブピクセルであり、これら三色のサブピクセルが映像表示の基本単位である画素31を形成する。ここで、サブピクセルの配置間隔はサブピクセル間隔q、そして同色サブピクセルの配置間隔すなわち画素の配置間隔は画素間隔pであるとする。そしてR(赤)G(緑)B(青)のサブピクセルからなる画素31を縦方向に同色が連続する縦ストライプ構造となるように縦横多数規則的に配置し、カラー液晶ディスプレイ16の表面が構成されている。
【0035】
ここでカラー液晶ディスプレイ16(図1、図2)の表面上には、異なる複数の角度から撮影された映像が規則正しく整列して表示されているものとする。そしてこれら映像を構成するサブピクセルの出射光はパターン(スリット12(図1)またはピンホール22(図2))の作用により進行方向が限定され、同一撮影角度の映像毎に観測者4の近傍に視点を形成する。ここで図1においては三方向からの異なる映像がそれぞれ異なる視点a、b、cを形成した状態を示している。
【0036】
このように、パターン(スリット12(図1)またはピンホール22(図2))の機能はサブピクセルからの出射光の進行方向を限定し、スクリーン(パララックスバリア15(図1)またはピンホール板25(図2))全体としてカラー液晶ディスプレイ16に表示された映像を右目用及び左眼用の視差映像に分割する役割を有する。
【0037】
さらに、本実施の形態の立体映像表示装置10a及び同10bにおいては、カラー液晶ディスプレイ16を構成する画素の画素間隔pとスクリーンを構成するパターン(スリット12(図1)またはピンホール22(図2))のパターン間隔sは次式の関係を有することとする。(以下、本実施の形態におけるsの値をs1とする。)
【0038】
1=(n+0.5)p (n:整数) (1)
【0039】
この(1)式に示す関係を有することにより、パターン間隔s1は画素間隔pの整数倍にp/2を加えた値となり、発生する色モアレの周期をパターン間隔s1の2倍にする。これにより立体映像における色モアレが目立ちにくくなり、画質低下を抑制し本発明における解決課題が達成される。このことを以下検証する。
【0040】
最初に、図1を参照してモアレの視認性について以下、数式により検討する。まず、立体映像に発生したモアレ縞の周波数をfとし、その周期(間隔)をrとすると次式が得られる。
【0041】
f=1/r (2)
【0042】
ところで、(2)式において周波数fが大きい程、すなわち周期rが小さい程、観測者4から見た立体映像の明暗や色変化の繰り返しである色モアレは認識されにくい。ここで、観察位置から見込んだ表示部上の間隔すなわち、観測者4からの視線の延長線がパララックスバリア15の隣接するスリット12を経由しカラー液晶ディスプレイ16上に結ぶ交点の間隔をs´とする。すると、色モアレの周波数fは、(3)式に示すように、空間周波数(1/s´)の任意の整数倍と同色のサブピクセルの繰り返し周波数1/pの差としてあらわされる。
【0043】
【数1】

Figure 0003916147
【0044】
(3)式よりfはさまざまな値をとるわけであるが、ここでfが取り得る最大値はパララックスバリア15を視点よりカラー液晶ディスプレイ16上へ投影したサンプリング周波数の1/2である。これは一定間隔をもって配置されたスリット12によりRGBのサブピクセルを観測することが一種の標本化といえるためである。
【0045】
これにより、カラー液晶ディスプレイ16と観測者4との距離d、パララックスバリア15との間隔g、画素間隔pとしたとき、fの上限値、そのときの観察位置から見込んだ表示部上の間隔s1´、ならびにパターン(スリット)間隔s1の関係は次式により定まる。
【0046】
【数2】
Figure 0003916147
【0047】
ここで、立体映像表示装置10aにおけるほとんどのケースでg≪dの関係があることを考慮すると、パターン間隔s1が画素間隔pの整数倍にp/2を加えた値を有すること、すなち(1)式の関係をみたすことで、発生する色モアレの周期はパターン間隔s1の2倍となり色モアレは充分目立たなくなることが言える。そして、カラー液晶ディスプレイ16(表示部)とパララックスバリア15(スクリーン)との間隔gが無視できない場合は、観測者4の視点から表示部までの距離と、スクリーンまでの距離との比率に基づいた補正項(1−g/d)を有する(6)式の関係を間隔s1(補正パターン間隔)が満たすことで同上の効果が得られることとなる。なお、以上の検討はパターンがスリットである前提で行ったが、他に円筒レンズ、ピンホール、またはレンズであっても同様である。
【0048】
次に、図4(a)を参照して、色モアレの視認性について具体的に検証する。図4(a)は、画素間隔pとパターン(ピンホール)間隔s1が(1)式の関係を満たしn=2の場合、発生する色モアレを説明する図である。なお、図4(a)は、図3で示したカラー液晶ディスプレイ16にスクリーンとしてピンホール板を、同色のサブピクセルの配列方向と、ピンホールの縦配列方向とが一致するように設置したものとする。そして図中、各種マーク(41R、41G、41B)は、観測者がピンホールを介してのカラー液晶ディスプレイ16表面を観測したとき、観測者の視線が捕らえたカラー液晶ディスプレイ16上の中心点を示したものである。
【0049】
ここで、マーク41Gに着目すると、縦方向に形成されている同色のマーク41Gの列は一定の間隔2s1で水平方向に繰り返し形成されていることがわかる。すなわち、(1)式を満たすことで、発生する色モアレの周期は取り得る値として最小の、パターン間隔s1の2倍となる。これはモアレ縞の間隔として充分狭いものであり、これにより色モアレは認識しにくいものとなり高画質の立体映像が表示されることとなる。
【0050】
以上、第一の実施の形態において立体映像表示装置を構成する表示部としてカラー液晶ディスプレイを例示して説明したが、これに代わりPDPのようなカラーフィルタを備えた他のディスプレイ、三原色LEDを配列したカラーLEDパネル、カラーフィルタを備えた液晶パネルによるプロジェクタ等であってもよい。
【0051】
(第二の実施の形態)
次に図1及び図5(a)を参照して本発明における第二の実施の形態について説明する。なお、本実施の形態における立体映像装置10a(図1)の基本構成は、第一の実施の形態におけるものと同じであるので説明は省略する。第二の実施の形態において第一の実施の形態との装置構成上の相違点は、画素間隔pとパターン(スリット)間隔s2が(1)式に代わり次式の関係を有する点である。
【0052】
2=(n+k/3)p (k=1,2、n:整数) (7)
【0053】
(7)式で示す関係を有することによりパターン間隔s2は画素間隔pの整数倍にサブピクセル間隔q(図3)または2qを加えた値となる。これにより第一の実施の形態では、スリット間隔の二倍であった色モアレの周期が、本実施形態ではスリット間隔の三倍となり、RGBの三種のサブピクセルが色ごと順番にスリット12を通して観測者に視認されることになる。
【0054】
以下、画素間隔pとパターン間隔s2が(7)式をみたすことにより、前記の作用が得られることを数式にて検証する。ここで、RGBの三色のサブピクセルが色毎順番に観測される為には観測者4からの視線延長線上、隣接するスリット12を経由してカラー液晶ディスプレイ16上に結ぶ交点の空間周波数1/s2´がその値の1/3もしくはその整数倍になればよい。よって(3)式は次式のように置き換えられる。
【0055】
【数3】
Figure 0003916147
【0056】
この(8)式は、g≪dの関係があることを考慮すると、さらに展開され式(7)が得られることとなる。
【0057】
次に、図5(a)を参照して色モアレの視認性について具体的に検証する。図5(a)は、画素間隔pとパターン間隔s2が(7)式の関係を満たす場合、観測者の視点がとらえたカラー液晶ディスプレイ上の中心点をマーク(51R、51G、51B)で示し、発生する色モアレを説明する図である。図5(a)は(5)式がn=2、k=1の場合を示しており、パターン間隔がs1からs2に変更された点を除き、図4(a)と同様である。図5(a)より明らかなように同色マークの繰り返し間隔(周期)はパターン間隔s2の三倍となり、RGBのサブピクセルが色毎に順番に観測されるのがわかる。
【0058】
本実施の形態における効果を以下述べる。先に示した第一の実施の形態(図4(a))の場合は、たとえば一色のサブピクセル41Gに着目した場合、緑(G)色列の明暗の繰り返し間隔が取り得る値として最小の2s1となるものを例示したものである。この場合、観察位置が固定されていればGの発色によるモアレ縞の周期は最小となり色モアレは認識されにくく高画質の立体映像が得られる一方、観測位置を水平方向に移動させるとモアレ縞を構成する色が変化する現象が生じる場合がある。
【0059】
そこで、モアレ縞の周期を若干大きくして、前記現象を回避する条件を示したのが(7)式で表すところの、画素間隔pとパターン間隔s2の関係である。すなわちパターン間隔s2が画素間隔pの(n+1/3)倍または(n+2/3)倍の関係を有することで色モアレの周期がパターン間隔s2の三倍となる。そしてRGBのサブピクセルが色毎順番にスリットから観測され、観測位置を変えた場合にモアレ縞の構成色の見え方が変化する現象がなく、さらに色モアレが目立たず高品質の立体映像が表示されることとなる。
【0060】
以上、第二の実施の形態における、画素がRGBの三つのサブピクセルで構成されている場合について説明したが、これを一般化し、一つの画素がm個のサブピクセルで構成されている場合について以下説明する。この場合、(3)式は次のように展開される。
【0061】
【数4】
Figure 0003916147
【0062】
ここで、立体映像表示装置10aにおけるほとんどのケースでg≪dの関係があることを考慮すると、パターン間隔sは画素間隔pの整数倍にサブピクセル間隔qの整数倍を加えた値をとる。すなち(12)式の関係をみたすことで、表示部上の一つの画素がm個のサブピクセルで構成されている場合、色モアレの周期がパターン間隔sのm倍となる。そしてm個のサブピクセルが色毎に順番にスリットから観測され、観測位置を変えた場合にモアレ縞の構成色の見え方が変化する現象がなくさらに色モアレが目立たず、高品質の立体映像が表示されることとなる。そして、カラー液晶ディスプレイ16(表示部)とパララックスバリア15(スクリーン)との間隔gが無視できない場合は、観測者4の視点から表示部までの距離と、スクリーンまでの距離との比率に基づいた補正項(1−g/d)を有する(11)式の関係をとして間隔s(補正パターン間隔)が満たすことで同上の効果が得られることとなる。
【0063】
以上、第二の実施の形態において立体映像表示装置を構成するスクリーンとしてパララックスバリアを例示して説明したが、これに代わりレンチキュラーシート、レンズ板または、ピンホール板であってもよい。また、表示部としてカラー液晶ディスプレイを例示して説明したが、これに代わりPDPのようなカラーフィルタを備えた他のディスプレイ、三原色LEDを配列したカラーLEDパネル、カラーフィルタを備えた液晶パネルによるプロジェクタ等であってもよい。
【0064】
(第三の実施の形態)
次に図4(b)及び図5(b)を参照して本発明における第三の実施の形態について説明する。なお、本実施の形態における立体映像装置の基本構成は、第一の実施の形態における図1と同じであるので説明は省略する。また図4(b)及び図5(b)は、本実施の形態における立体映像表示装置の表示面を示すものであり、パターン(ピンホール)配列が一定の傾きを有している点を除いて、図4(a)及び図5(a)と同じである。
【0065】
図4(b)及び図5(b)では、特に同色マークの配置が斜め45°となるようにパターンの傾きθを設定したもので、観察者の視点が捕らえたカラーディスプレイ上の中心点をマーク(42R、42G、42B、52R、52G、52B)で示したものである。図4(b)は第一の実施の形態にて周期が2s1である色モアレを呈する場合であって、同色サブピクセル配列方向と、ピンホール縦配列方向との間においてθ=tan-1(p/2s1)なる傾きを有している。同様に図5(b)は、第二の実施の形態における、RGB三色のサブピクセルが一画素を形成している場合(m=3)であって、同色サブピクセル配列方向と、ピンホール縦配列方向との間においてθ=tan-1(p/3s2)なる傾きを有している。これらをまとめると以下のようになる。
【0066】
モアレ縞の傾きを45°にする条件
・第一の実施の形態の場合
θ=tan-1(p/2s1) (13)
・第二の実施の形態の場合
θ=tan-1(kp/ms2) (n,k:整数) (14)
(m:一画素を形成するサブピクセルの数)
【0067】
このように、表示部の同色サブピクセル配列方向とパターンの縦の配列方向との間に一定の傾斜を与えることで、モアレ縞の傾きを変える作用を有する。そして一例として傾きが45°となる場合を(13)、(14)式として示したが、この時のθ値近傍前後で値を変化させるとモアレ縞の傾きも45°を中心に前後する。さらに、本実施の形態では、ピンホールの縦横の配列が直交していないパターン配置を示しているが、実際上p/sの値が充分小さいことを考慮すれば、図4(a)または図5(a)に示した正方格子状パターンを有するスクリーンをわずかに傾けることで十分に同様の作用が得られる。
【0068】
このように、モアレ縞が傾斜する作用により、モアレ周期が同じであっても縦縞の場合に比べて色モアレを認識しにくい効果が得られる。すなわち、第一の実施の形態の場合においては、水平周波数がf=0.5(1/s1´)の縦状パターンのモアレは避けられないわけであるが、このパターンが斜めになればさらにモアレは認識しにくくなる。
【0069】
以上、第三の実施の形態においてピンホール板を用いた場合を一例として説明してきたが、これに代わりピンホールをレンズに置き代えたレンズ板であってもよい。また、ピンホールが縦方向に連続して配置していると考えれば、スリット列においても同様の効果が発揮されることは容易に想起でき、よって、スクリーンとしてレンチキュラーシートもしくはパララックスバリアを用いてもよい。そして、表示部としてカラー液晶ディスプレイを例示して説明したが、これに代わりPDPのようなカラーフィルタを備えた他のディスプレイ、三原色LEDを配列したカラーLEDパネル、カラーフィルタを備えた液晶パネルによるプロジェクタ等であってもよい。
【0070】
【発明の効果】
以上説明したとおり、本発明に係る立体撮像装置及び立体表示装置により以下に示す優れた効果を奏する。
請求項1の発明による立体映像表示装置においては、従来装置に新たな構成を付加することなしに、発生するモアレ縞の間隔を狭めることで、色モアレを目立ちにくくし、高画質の立体映像を表示することができる。
請求項2ならびに請求項3の発明による立体映像表示装置においては、請求項1における効果に加えて観測位置を移動してもモアレ縞の構成色が変化しない高画質の立体映像を表示することができる。
【0071】
請求項4の発明による立体映像表示装置においては、装置構成上、表示部とスクリーンとの間隔が広く設計された場合であっても、発生するモアレ縞の間隔を狭め、色モアレを目立ちにくくし、高画質の立体映像を表示することができる。請求項5の発明によれば、レンチキュラーシートまたはパララックスバリアをスクリーンとして用いた立体映像表示装置において高画質の立体映像が得られる。
請求項6の発明によれば、レンズ板またはピンホール板をスクリーンとして用いた立体映像表示装置において高画質の立体映像が得られる。
請求項7の発明による立体映像表示装置においては、従来装置に対して新たな構成を付加することなしに、発生するモアレ縞を傾斜させることで視覚的に色モアレを認識しにくくする効果を与え、高画質の立体映像を表示することができる。
【0072】
【図面の簡単な説明】
【図1】本発明において、スクリーンの一例として示す、パララックスバリアを用いた場合の立体映像表示装置の構成を示す構成図である。
【図2】本発明において、スクリーンの一例として示す、ピンホール板を用いた場合の立体映像表示装置の構成を示す構成図である。
【図3】本発明において、表示部の一例として示す、カラー液晶ディスプレイ表面の画素構造を部分拡大して示した図である。
【図4】(a)第一の実施の形態において、色モアレの視認性を具体的に検証する為の図である。
(b)第三の実施の形態において、s=(n+0.5)p、(n=2)である場合の、色モアレの視認性を具体的に検証する為の図である。
【図5】(a)第二の実施の形態において、色モアレの視認性を具体的に検証する為の図である。
(b)第三の実施の形態において、s=(n+1/3)p、(n=2)である場合の、色モアレの視認性を具体的に検証する為の図である。
【図6】従来の立体映像表示装置においてスクリーンとしてパララックスバリアを用いた場合の構成図である。
【図7】従来の立体映像表示装置においてスクリーンとしてレンチキュラーシートを用いた場合の構成図である。
【符号の説明】
4 観測者
10a,10b,10c,10d 立体映像表示装置
121,122,・・・12n スリット
15 パララックスバリア
16 カラー液晶ディスプレイ
22 ピンホール
25 ピンホール板
31 画素
621,622,・・・62n スリット
65 パララックスバリア
66 表示部
721,722,・・・72n 円筒レンズ
75 レンチキュラーシート[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a stereoscopic video display apparatus based on a parallax video system that does not use glasses.
[0002]
[Prior art]
In general, many of the parallax video methods that do not use glasses, except for the projection method (using a projection device) and the holographic method, have a lenticular sheet and a parallax barrier on a display portion having a flat surface such as a color liquid crystal display. This is based on a parallax video system in which any one of a pinhole plate and a lens plate (hereinafter collectively referred to as a screen) is combined. Each of the screens is formed by arranging a cylindrical lens, a slit array, a pinhole or a lens (hereinafter collectively referred to as a pattern).
[0003]
Each of these parallax video systems reproduces a stereoscopic video based on binocular parallax, and can be configured from a twin-lens system to a multi-lens system with three or more eyes. According to this two-lens method, two types of parallax images can be entered into the left and right eyes to perceive a three-dimensional shape, and according to the multi-lens method, when the observation position changes, the images that enter the left and right eyes change accordingly. It is possible to perceive an image close to a realistic three-dimensional space.
[0004]
The configuration of a conventional stereoscopic video display device using a parallax video system and the principle of stereoscopic display will be described with reference to FIG. FIG. 6 is a configuration diagram showing a basic configuration of a conventional stereoscopic image display apparatus 10c using a parallax barrier as a screen. FIG. 6 is an overview of the stereoscopic image display device 10c and the observer 4 observing the stereoscopic image from above. The display unit 66 and the parallax barrier 65 are both perpendicular to the paper surface and both are constant. It is assumed that they are arranged in parallel at intervals. The display unit 66 is configured as a whole by regularly arranging a number of R (red), G (green), and B (blue) subpixels vertically and horizontally on the surface. On the surface of the parallax barrier 65, slits 62 having a pattern perpendicular to the paper surface as the longitudinal direction are formed at equal intervals.
[0005]
Here, the parallax barrier 65 (screen) divides the video on the display unit 66 so that different video (parallax video) enters the left and right eyes of the observer 4. This division is based on the function of limiting the traveling direction of the emitted light from the sub-pixels of the slit 62 (pattern) on the parallax barrier 65, so that a specific pixel on the display unit 66 is either the left or right side of the observer 4 This is realized by selective recognition by the eyes.
[0006]
FIG. 6 shows a case where the number of parallax images is three, that is, a trinocular type, and three viewpoints a, b, and c are formed at the observation position. Here, on the display unit 66, three videos (A, B, and C) having different shooting angles are formed into vertically long strip-like pixels (A 1 A 2 ... A n , B 1 B 2 ... B n , C 1 C 2 ... C n These strips are repeated in a certain order and displayed on the display unit 66. The slit 62 is arranged so that the strip-like pixels are guided to the viewpoints a, b, and c which are constant video viewing areas as the original images of A, B, and C. That is, the slit 62 is positioned so that only the video A on the display unit 66 can be seen from the viewpoint a, only the video B on the display unit 66 can be seen from the viewpoint b, and only the video C on the display unit 66 can be seen from the viewpoint c. Suppose you are.
[0007]
Here, when the observer 4 is positioned so that the viewpoint c is viewed with the right eye and the viewpoint b is viewed with the left eye, the video C and the video B enter the left and right eyes of the observer 4 as parallax images and are recognized as a three-dimensional shape. The Rukoto. Next, from this state, when the observer 4 moves the body in the left direction, the image entering both eyes changes to the viewpoint a for the left eye and the viewpoint b for the right eye. As a result, it is possible to observe a stereoscopic video that has been moved around by moving the body to the left and right, and can be observed more smoothly by expanding to a multi-view system with an increased number of parallax images. It becomes possible.
[0008]
FIG. 7 shows a screen using a lenticular sheet 75 in which a plurality of cylindrical lenses 72 are arranged as a screen constituting a stereoscopic video display device. This cylindrical lens 72 has the same function as the slit 62 (FIG. 6) in that the observation range of a specific pixel on the display unit 66 is limited to a certain viewpoint by the light condensing action of the lens. Therefore, the stereoscopic image display device 10d constituted by the lenticular sheet 75 is equivalent to the above-described parallax barrier in FIG. 6 in terms of the principle of stereoscopic vision, but is excellent in that the amount of light does not decrease.
[0009]
Although detailed description is omitted, what is called an IP system (Integral Photography) using a pinhole or a lens two-dimensionally arranged in a vertical and horizontal direction as a pattern on a screen constituting a stereoscopic video device is omitted. is there. The feature of this method is that the parallax barrier method described in FIG. 6 and the lenticular sheet method described in FIG. The video can be observed.
[0010]
The stereoscopic image display apparatus described above has been expanding its application fields, but there are various problems from the viewpoint of image quality evaluation, and color moire is one of them. Color moire is a phenomenon in which color display is displayed with regular striped shading due to interference between the RGB arrangement on the display unit and the pattern arrangement on the screen. is there.
[0011]
Here, each pixel constituting the display unit 66 of the stereoscopic image display device (10c, 10d) has a regularly arranged sub-pixel structure, and is on a parallax barrier 65, a lenticular sheet 75, a pinhole plate, or a lens plate. It is visually recognized through the regularly arranged pattern. For this reason, a pixel on the display unit 66 originally constitutes one pixel depending on the positional relationship between the observer 4 and the pixel on the display unit 66 when a desired color is reproduced only after RGB subpixels are collectively observed. Some of the RGB sub-pixels may be preferentially displayed. Which color sub-pixel is preferentially displayed is determined by the positional relationship between the observer 4, the sub-pixel, and the pattern. When the observer 4 observes a stereoscopic image while moving still or moving, periodic stripes appear throughout. A color moire that changes in shape is observed, which contributes to a decrease in image quality.
[0012]
Conventionally, the cylindrical lens on the lenticular sheet has been refined in units of sub-pixels instead of in units of pixels, and a method in which all three colors of RGB can be viewed from the same viewpoint has been adopted. According to this, all the emitted light from the cylindrical lens is any one of RGB single color light, thereby suppressing color moire. (For example, see Non-Patent Document 1)
[0013]
In addition, there is also one that uses a means for optically diffusing colors in order to mix RGB on the display unit. According to this, by arranging the light diffusion plate between the display unit and the screen, the emitted light from the adjacent subpixels in the same pixel is mixed before reaching the pattern on the screen. Then, after the colors are mixed, the light traveling direction is determined by the action of the pattern, so that no color moire occurs. (For example, see Non-Patent Document 2)
[0014]
[Non-Patent Document 1]
R. Borner, Displays 20 (1999), p57-64, FIG. 4
[Non-Patent Document 2]
Kobayashi, Arai, Okui, Okano, “Examination of color moire reduction for integral photography using diffuser”, 2001 IEICE Winter Conference, P103, Performance No. 7-6
[0015]
[Problems to be solved by the invention]
However, any of the above-described moiré avoiding methods has some problems in practice. The former method of increasing the definition of the lenticular sheet not in units of pixels but in units of subpixels requires that the width of the cylindrical lens be smaller than the pixel dimensions of the liquid crystal, and further requires a high level of processing accuracy. It can be said that it is extremely difficult to manufacture a mold used for manufacturing such a lens array. The method of mixing RGB on the latter display unit and sandwiching a light scattering plate or the like that optically scatters the color between the liquid crystal display unit and the screen is superior to the former method in that it is easy to produce. The problem of lowering the resolution occurs. As described above, the conventional method of avoiding moire has not been sufficient as a countermeasure due to manufacturing problems and other secondary problems.
[0016]
The present invention is intended to solve the problem of the conventional moiré avoidance technique, and can reduce the resolution without adding a new device or part to the conventional stereoscopic image display device. It is an object of the present invention to provide a stereoscopic video display apparatus that can reduce color moire when displaying a color stereoscopic image without incurring.
[0017]
[Means for Solving the Problems]
The present invention was devised to achieve the above-described object, and first, the stereoscopic image display apparatus according to claim 1 has three sub-pixels that respectively emit three primary colors. Formed in a row at regular intervals Pixel In the same direction as this subpixel Constant pixel spacing So that Planar arrangement Let me A display unit that displays an image and a plurality of patterns that are arranged on the observer side of the display unit and that limit the traveling direction of light emitted from the sub-pixels are arranged in a plane at regular intervals to convert the image into a parallax image In a stereoscopic video display device comprising a screen to be divided, Adopting a slit row or pinhole that penetrates part of the light as the pattern, The pattern is arranged so as to be a pattern interval obtained by adding half of the pixel interval to an integral multiple of the pixel interval.
[0018]
According to such a configuration, when the display unit constituting the stereoscopic image display apparatus has a general RGB subpixel structure, the period of the generated color moire is the smallest possible value, twice the pattern interval. . Thereby, the interval between the moire fringes generated on the stereoscopic image display device is sufficiently narrow, and the color moire is hardly recognized.
[0019]
The stereoscopic video display device according to claim 2 Emits different colors Multiple subpixels at regular subpixel intervals In a row The pixel formed by arranging In the same direction as this subpixel Constant pixel spacing So that Planar arrangement Let me A display unit that displays an image and a plurality of patterns that are arranged on the observer side of the display unit and that limit the traveling direction of light emitted from the sub-pixels are arranged in a plane at regular intervals to convert the image into a parallax image In a stereoscopic video display device comprising a screen to be divided, Adopting a slit row or pinhole that penetrates part of the light as the pattern, The pattern is arranged to have a pattern interval obtained by adding an integer multiple of the sub-pixel interval to an integer multiple of the pixel interval.
[0020]
According to such a configuration, when the pixels constituting the surface of the display unit are composed of m subpixels, the period of the color moire generated is m times the pattern interval, and the m subpixels are sequentially arranged for each color. It will be observed from the pattern. Thereby, the interval between the moire fringes generated on the stereoscopic image display device is sufficiently narrow, and the color moire is hardly recognized.
[0021]
The stereoscopic video display device according to claim 3 is the stereoscopic video display device according to claim 2, wherein the number of sub-pixels forming the pixel is 3, and each of the sub-pixels has three primary colors. Each of them emits light.
[0022]
According to such a configuration, when the display unit constituting the stereoscopic video display device has a general RGB subpixel structure, the period of the color moire generated is three times the pattern interval, and the three subpixels are colored. Observed from the pattern in turn. Thereby, the interval between the moire fringes generated on the stereoscopic image display device is sufficiently narrow, and the color moire is hardly recognized.
[0023]
The stereoscopic video display device according to claim 4 is the stereoscopic video display device according to any one of claims 1 to 3, wherein a distance from a specific viewpoint to the display unit, and the screen from the viewpoint. The pattern is arranged at a correction pattern interval in which the pattern interval is corrected based on the ratio to the distance up to.
[0024]
According to such a configuration, even when the space between the display unit and the screen is designed to be wide in the stereoscopic video display device, the interval between the moire fringes generated on the stereoscopic video display device is sufficiently narrow, and the color moire is reduced. It becomes difficult to be recognized.
[0025]
The stereoscopic video display device according to claim 5 is the stereoscopic video display device according to any one of claims 1 to 4. ,in front As a pattern , Instead of the slit row, the light is condensed Cylindrical lens Adopt And
[0026]
According to such a configuration, the lenticular sea The In a 3D image display device using a screen, the interval between moire fringes generated on the 3D image display device is sufficiently narrow, and color moiré is difficult to recognize.
[0027]
The stereoscopic video display device according to claim 6 is the stereoscopic video display device according to any one of claims 1 to 4. ,in front As a pattern , Instead of the pinhole, collect the light lens Adopt It was decided.
[0028]
According to such a configuration, the lens Board In a 3D image display device using a screen, the interval between moire fringes generated on the 3D image display device is sufficiently narrow, and color moiré is difficult to recognize.
[0029]
The stereoscopic video display device according to claim 7 is the stereoscopic video display device according to any one of claims 1 to 6, wherein the display unit is configured so that sub-pixels of the same color are continuous in a vertical direction. It has a vertical stripe structure in which pixels are arranged, and the vertical arrangement direction in which the sub-pixels of the same color are continuous and the vertical arrangement direction of the pattern have a certain angle.
[0030]
According to such a configuration, the vertical stripe formed by the sub-pixels of the same color and the angle formed by the slit or the cylindrical lens or the angle formed by the vertical arrangement of the lenses or pinholes have a constant value. As a result, the moire fringes formed on the stereoscopic image display device are inclined, and the color moire is hardly recognized.
[0031]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
(First embodiment)
A first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a configuration diagram showing a configuration of a stereoscopic video display apparatus 10a when a parallax barrier is used as a screen. The stereoscopic image display device 10a includes a color liquid crystal display 16 serving as a display unit and a parallax barrier 15 serving as a screen, both viewed from above. The color liquid crystal display 16 and the parallax barrier 15 are positioned in parallel at a distance g, and are fixed by a frame (not shown).
[0032]
On the parallax barrier 15, it is assumed that slits 12 having a constant aperture ratio are engraved as a pattern with an optical gap whose longitudinal direction is the direction perpendicular to the paper surface, and are arranged in parallel at equal intervals of the interval s. It is assumed that the observer 4 is observing the surface of the color liquid crystal display 16 through the slit 12 of the parallax barrier 15 at a distance d sufficiently far from the distance g between the color liquid crystal display 16 and the parallax barrier 15.
[0033]
FIG. 2 is a configuration diagram showing the configuration of the stereoscopic video display device 10b when a pinhole plate is used as the screen. This figure shows, as a perspective view, another application example in the first embodiment in which the screen constituting the stereoscopic image display device 10b is a pinhole plate 25 instead of the parallax barrier 15 (FIG. 1). It is a figure. Here, it is assumed that pinholes 22 optically penetrating and having a constant diameter are engraved at regular intervals in the vertical and horizontal directions in the pinhole plate 25 and regularly arranged two-dimensionally at intervals s. 2, the positional relationship and configuration of the pinhole plate 25, the color liquid crystal display 16, and the observer 4 are the same as the relationship of the parallax barrier 15, the color liquid crystal display 16, and the observer 4 in FIG. Detailed description will be omitted.
[0034]
FIG. 3 shows a partially enlarged pixel structure on the surface of a color liquid crystal display 16 (FIGS. 1 and 2) shown as an example of a display unit. In the figure, R, G, and B are subpixels having red, green, and blue color filters mounted on the surface, respectively, and these three color subpixels form a pixel 31 that is a basic unit of video display. Here, it is assumed that the arrangement interval of the sub-pixels is the sub-pixel interval q, and the arrangement interval of the sub-pixels of the same color, that is, the arrangement interval of the pixels is the pixel interval p. Then, the pixels 31 composed of R (red), G (green), and B (blue) sub-pixels are regularly arranged in a vertical and horizontal manner so as to have a vertical stripe structure in which the same color continues in the vertical direction. It is configured.
[0035]
Here, on the surface of the color liquid crystal display 16 (FIGS. 1 and 2), it is assumed that images taken from a plurality of different angles are regularly arranged and displayed. The light emitted from the sub-pixels constituting these images is limited in the traveling direction by the action of the pattern (slit 12 (FIG. 1) or pinhole 22 (FIG. 2)), and is near the observer 4 for each image at the same shooting angle. Form a perspective. Here, FIG. 1 shows a state in which different images from three directions form different viewpoints a, b, and c, respectively.
[0036]
Thus, the function of the pattern (slit 12 (FIG. 1) or pinhole 22 (FIG. 2)) limits the traveling direction of the light emitted from the subpixel, and the screen (parallax barrier 15 (FIG. 1) or pinhole). The board 25 (FIG. 2) as a whole has a role of dividing the image displayed on the color liquid crystal display 16 into parallax images for the right eye and the left eye.
[0037]
Further, in the stereoscopic image display devices 10a and 10b of the present embodiment, the pixel interval p of the pixels constituting the color liquid crystal display 16 and the pattern (slit 12 (FIG. 1) or pinhole 22 (FIG. 2) constituting the screen. )) Pattern interval s has the following relationship. (Hereinafter, the value of s in this embodiment is expressed as s. 1 And )
[0038]
s 1 = (N + 0.5) p (n: integer) (1)
[0039]
By having the relationship shown in the equation (1), the pattern interval s 1 Is a value obtained by adding p / 2 to an integral multiple of the pixel interval p, and the period of the generated color moire is represented by the pattern interval s. 1 2 times. As a result, the color moire in the stereoscopic image becomes less conspicuous, and the problem to be solved in the present invention is achieved by suppressing the image quality deterioration. This will be verified below.
[0040]
First, with reference to FIG. 1, the visibility of moire will be examined below using mathematical formulas. First, when the frequency of moire fringes generated in a stereoscopic image is f and the period (interval) thereof is r, the following equation is obtained.
[0041]
f = 1 / r (2)
[0042]
By the way, in the equation (2), as the frequency f is larger, that is, as the period r is smaller, the color moiré that is a repetition of light and darkness and color change of the stereoscopic image viewed from the observer 4 is less recognized. Here, the interval on the display unit as viewed from the observation position, that is, the interval between the intersections of the line of sight line from the observer 4 connecting on the color liquid crystal display 16 via the adjacent slits 12 of the parallax barrier 15 is s ′. And Then, the frequency f of the color moire is expressed as a difference between the repetition frequency 1 / p of the subpixel of the same color as an arbitrary integral multiple of the spatial frequency (1 / s ′) as shown in the equation (3).
[0043]
[Expression 1]
Figure 0003916147
[0044]
Although f takes various values from the equation (3), the maximum value f can take here is ½ of the sampling frequency at which the parallax barrier 15 is projected onto the color liquid crystal display 16 from the viewpoint. This is because observing RGB sub-pixels with the slits 12 arranged at a constant interval is a kind of sampling.
[0045]
As a result, when the distance d between the color liquid crystal display 16 and the observer 4, the distance g between the parallax barrier 15 and the pixel distance p is set, the upper limit value of f and the distance on the display unit estimated from the observation position at that time. s 1 'And pattern (slit) interval s 1 Is determined by the following equation.
[0046]
[Expression 2]
Figure 0003916147
[0047]
Here, considering that there is a relationship of g << d in most cases in the stereoscopic video display device 10a, the pattern interval s. 1 Having a value obtained by adding p / 2 to an integral multiple of the pixel interval p, that is, by considering the relationship of the expression (1), the period of the color moire generated is the pattern interval s. 1 It can be said that the color moire is not sufficiently noticeable. If the distance g between the color liquid crystal display 16 (display unit) and the parallax barrier 15 (screen) is not negligible, it is based on the ratio of the distance from the viewpoint of the observer 4 to the display unit and the distance to the screen. The relationship of equation (6) having the correction term (1-g / d) 1 If the (correction pattern interval) is satisfied, the same effect can be obtained. In addition, although the above examination was performed on the premise that a pattern is a slit, it is the same even if it is a cylindrical lens, a pinhole, or a lens.
[0048]
Next, referring to FIG. 4A, the visibility of the color moire is specifically verified. FIG. 4A shows a pixel interval p and a pattern (pinhole) interval s. 1 Is a diagram for explaining the color moire that occurs when n satisfies the relationship of the expression (1) and n = 2. In FIG. 4A, a pinhole plate is installed as a screen on the color liquid crystal display 16 shown in FIG. 3 so that the arrangement direction of the sub-pixels of the same color and the vertical arrangement direction of the pinholes coincide. And In the figure, the various marks (41R, 41G, 41B) indicate the center point on the color liquid crystal display 16 captured by the observer's line of sight when the observer observes the surface of the color liquid crystal display 16 through the pinhole. It is shown.
[0049]
Here, paying attention to the mark 41G, the row of marks 41G of the same color formed in the vertical direction has a constant interval of 2s. 1 It can be seen that it is repeatedly formed in the horizontal direction. That is, when the expression (1) is satisfied, the period of the color moire generated is the smallest possible pattern interval s. 1 Twice as much. This is a sufficiently narrow interval between the moire fringes, so that the color moire is difficult to recognize and a high-quality stereoscopic image is displayed.
[0050]
As described above, the color liquid crystal display has been exemplified and described as the display unit constituting the stereoscopic image display device in the first embodiment. However, instead of this, another display having a color filter such as a PDP, the three primary color LEDs are arranged. The projector may be a color LED panel, a liquid crystal panel provided with a color filter, or the like.
[0051]
(Second embodiment)
Next, a second embodiment of the present invention will be described with reference to FIG. 1 and FIG. Note that the basic configuration of the stereoscopic video apparatus 10a (FIG. 1) in the present embodiment is the same as that in the first embodiment, and a description thereof will be omitted. In the second embodiment, the difference from the first embodiment in the device configuration is that the pixel interval p and the pattern (slit) interval s are different. 2 Is a point having the relationship of the following equation instead of the equation (1).
[0052]
s 2 = (N + k / 3) p (k = 1, 2, n: integer) (7)
[0053]
By having the relationship expressed by the equation (7), the pattern interval s 2 Is a value obtained by adding a sub-pixel interval q (FIG. 3) or 2q to an integer multiple of the pixel interval p. As a result, in the first embodiment, the period of the color moire, which was twice the slit interval, becomes three times the slit interval in this embodiment, and three types of RGB sub-pixels are observed through the slit 12 in order for each color. Will be visually recognized.
[0054]
Hereinafter, pixel interval p and pattern interval s 2 Is verified by the mathematical formula that the above-mentioned effect is obtained by satisfying the formula (7). Here, in order for the RGB sub-pixels of three colors to be observed in order for each color, the spatial frequency 1 of the intersection point connected to the color liquid crystal display 16 via the adjacent slit 12 on the line of sight extension from the observer 4. / S 2 It suffices that ′ is 1/3 of the value or an integral multiple thereof. Therefore, equation (3) is replaced as the following equation.
[0055]
[Equation 3]
Figure 0003916147
[0056]
This formula (8) is further expanded and formula (7) is obtained in consideration of the relationship g << d.
[0057]
Next, the visibility of the color moire will be specifically verified with reference to FIG. FIG. 5A shows a pixel interval p and a pattern interval s. 2 Is a diagram illustrating the color moire generated by indicating the center point on the color liquid crystal display captured by the observer's viewpoint as a mark (51R, 51G, 51B) when the relationship of the expression (7) is satisfied. FIG. 5A shows a case where the equation (5) is n = 2 and k = 1, and the pattern interval is s. 1 To s 2 Except for the point changed to, it is the same as FIG. As is clear from FIG. 5A, the repetition interval (cycle) of the same color mark is the pattern interval s. 2 It can be seen that RGB sub-pixels are observed in order for each color.
[0058]
The effects in this embodiment will be described below. In the case of the first embodiment described above (FIG. 4A), for example, when attention is paid to the sub-pixel 41G of one color, the minimum value that can be taken by the light / dark repetition interval of the green (G) color row is the smallest. 2s 1 This is an example. In this case, if the observation position is fixed, the period of the moire fringes due to the color development of G is minimized, and the color moire is difficult to recognize and a high-quality three-dimensional image is obtained. On the other hand, if the observation position is moved in the horizontal direction, There may be a phenomenon in which the color of the composition changes.
[0059]
Therefore, the condition for avoiding the above phenomenon by slightly increasing the period of the moire fringes is shown by the equation (7). The pixel interval p and the pattern interval s 2 It is a relationship. That is, the pattern interval s 2 Has a relationship of (n + 1/3) times or (n + 2/3) times the pixel interval p, so that the period of the color moire becomes the pattern interval s. 2 Will be three times as much. The RGB sub-pixels are observed from the slits in order of each color, and when the observation position is changed, the appearance of the constituent colors of the moire fringes does not change, and the color moire is not noticeable and high-quality stereoscopic images are displayed. Will be.
[0060]
The case where the pixel is configured with three RGB subpixels in the second embodiment has been described above, but this is generalized, and one pixel is configured with m subpixels. This will be described below. In this case, equation (3) is expanded as follows.
[0061]
[Expression 4]
Figure 0003916147
[0062]
Here, considering that there is a relationship of g << d in most cases in the stereoscopic image display device 10a, the pattern interval s takes a value obtained by adding an integer multiple of the sub-pixel interval q to an integer multiple of the pixel interval p. In other words, by considering the relationship of the expression (12), when one pixel on the display unit is composed of m sub-pixels, the period of the color moire is m times the pattern interval s. In addition, m subpixels are observed from the slit in order for each color, and when the observation position is changed, the appearance of the constituent colors of the moire fringes does not change, and the color moire is not noticeable. Will be displayed. If the distance g between the color liquid crystal display 16 (display unit) and the parallax barrier 15 (screen) is not negligible, it is based on the ratio between the distance from the viewpoint of the observer 4 to the display unit and the distance to the screen. If the interval s (correction pattern interval) is satisfied with the relationship of the expression (11) having the correction term (1-g / d), the same effect as described above can be obtained.
[0063]
As described above, in the second embodiment, the parallax barrier has been exemplified and described as the screen constituting the stereoscopic image display device. However, instead of this, a lenticular sheet, a lens plate, or a pinhole plate may be used. In addition, the color liquid crystal display has been exemplified and described as the display unit. However, instead of this, another display having a color filter such as a PDP, a color LED panel in which three primary color LEDs are arranged, and a projector using a liquid crystal panel having a color filter. Etc.
[0064]
(Third embodiment)
Next, a third embodiment of the present invention will be described with reference to FIGS. 4 (b) and 5 (b). Note that the basic configuration of the stereoscopic video apparatus in the present embodiment is the same as that in FIG. FIGS. 4B and 5B show the display surface of the stereoscopic image display apparatus according to the present embodiment, except that the pattern (pinhole) arrangement has a certain inclination. This is the same as FIG. 4 (a) and FIG. 5 (a).
[0065]
In FIGS. 4B and 5B, the inclination θ of the pattern is set so that the arrangement of the same color marks is inclined at 45 °, and the center point on the color display captured by the observer's viewpoint is shown. This is indicated by marks (42R, 42G, 42B, 52R, 52G, 52B). FIG. 4B shows the first embodiment with a period of 2 s. 1 In this case, θ = tan between the same color sub-pixel arrangement direction and the pinhole vertical arrangement direction. -1 (P / 2s 1 ). Similarly, FIG. 5B shows the case where the sub-pixels of three colors of RGB form one pixel in the second embodiment (m = 3), and the sub-pixel arrangement direction of the same color and the pinhole Θ = tan between the vertical arrangement direction -1 (P / 3s 2 ). These are summarized as follows.
[0066]
Conditions for the moire fringe inclination to be 45 °
・ In the case of the first embodiment
θ = tan -1 (P / 2s 1 (13)
・ In the case of the second embodiment
θ = tan -1 (Kp / ms 2 (N, k: integer) (14)
(M: number of sub-pixels forming one pixel)
[0067]
Thus, by giving a certain inclination between the same color sub-pixel arrangement direction of the display unit and the vertical arrangement direction of the pattern, there is an effect of changing the inclination of the moire fringes. As an example, the case where the inclination is 45 ° is shown as the equations (13) and (14). However, if the value is changed around the θ value at this time, the inclination of the moire fringe also changes around 45 °. Further, in the present embodiment, the pattern arrangement in which the vertical and horizontal arrangements of the pinholes are not orthogonal is shown. However, considering that the value of p / s is actually sufficiently small, FIG. 4A or FIG. A sufficiently similar effect can be obtained by slightly tilting the screen having the square lattice pattern shown in FIG.
[0068]
As described above, the effect that the moire fringes are inclined provides an effect of making it difficult to recognize the color moire compared to the case of the vertical stripes even if the moire period is the same. That is, in the case of the first embodiment, the horizontal frequency is f = 0.5 (1 / s 1 Although the moi) of the vertical pattern (') is unavoidable, the moire becomes more difficult to recognize if the pattern becomes oblique.
[0069]
As described above, the case where the pinhole plate is used in the third embodiment has been described as an example. However, instead of this, a lens plate in which the pinhole is replaced with a lens may be used. In addition, if it is considered that the pinholes are arranged continuously in the vertical direction, it can be easily recalled that the same effect is exhibited in the slit rows, and therefore, using a lenticular sheet or a parallax barrier as a screen. Also good. The color liquid crystal display has been described as an example of the display unit. However, instead of this, another display having a color filter such as a PDP, a color LED panel in which three primary color LEDs are arranged, and a projector using a liquid crystal panel having a color filter. Etc.
[0070]
【The invention's effect】
As described above, the stereoscopic imaging device and the stereoscopic display device according to the present invention have the following excellent effects.
In the stereoscopic image display device according to the first aspect of the present invention, by reducing the interval between the generated moire fringes without adding a new configuration to the conventional device, the color moire becomes less conspicuous and high-quality stereoscopic images can be displayed. Can be displayed.
In the stereoscopic image display device according to the second and third aspects of the invention, in addition to the effect of the first aspect, it is possible to display a high-quality stereoscopic image in which the constituent color of the moire fringe does not change even if the observation position is moved. it can.
[0071]
In the stereoscopic image display device according to the invention of claim 4, even if the interval between the display unit and the screen is designed wide due to the device configuration, the interval between the generated moire fringes is reduced to make the color moire less noticeable. High-quality stereoscopic video can be displayed. According to the invention of claim 5, a high-quality three-dimensional image can be obtained in a three-dimensional image display apparatus using a lenticular sheet or a parallax barrier as a screen.
According to the sixth aspect of the present invention, a high-quality three-dimensional image can be obtained in a three-dimensional image display device using a lens plate or a pinhole plate as a screen.
In the stereoscopic image display device according to the seventh aspect of the invention, the effect of visually recognizing the color moire is provided by inclining the generated moire fringes without adding a new configuration to the conventional device. High-quality stereoscopic video can be displayed.
[0072]
[Brief description of the drawings]
FIG. 1 is a configuration diagram illustrating a configuration of a stereoscopic video display device using a parallax barrier as an example of a screen in the present invention.
FIG. 2 is a configuration diagram showing a configuration of a stereoscopic video display device using a pinhole plate as an example of a screen in the present invention.
FIG. 3 is a partially enlarged view showing a pixel structure on the surface of a color liquid crystal display as an example of a display unit in the present invention.
FIG. 4A is a diagram for specifically verifying the visibility of color moire in the first embodiment.
(B) In the third embodiment, it is a diagram for specifically verifying the visibility of color moire when s = (n + 0.5) p and (n = 2).
FIG. 5A is a diagram for specifically verifying the visibility of color moire in the second embodiment;
(B) In the third embodiment, when s = (n + 1/3) p, (n = 2), it is a diagram for specifically verifying the visibility of the color moire.
FIG. 6 is a configuration diagram when a parallax barrier is used as a screen in a conventional stereoscopic video display device.
FIG. 7 is a configuration diagram when a lenticular sheet is used as a screen in a conventional stereoscopic image display device.
[Explanation of symbols]
4 observers
10a, 10b, 10c, 10d stereoscopic image display device
12 1 , 12 2 ... 12 n slit
15 Parallax Barrier
16 color liquid crystal display
22 pinhole
25 pinhole plate
31 pixels
62 1 62 2 ... 62 n slit
65 parallax barrier
66 Display section
72 1 , 72 2 ... 72 n Cylindrical lens
75 Lenticular sheet

Claims (7)

色の三原色をそれぞれ発光する三つのサブピクセルを一定の間隔で一列に配置して形成した画素を、このサブピクセルが配置する方向と同じ方向に一定の画素間隔となるように、平面配置させて映像を表示する表示部と、
この表示部の観測者側に配置され、前記サブピクセルから発光される光の進行方向を限定する複数のパターンを一定間隔で平面配置して、前記映像を視差映像に分割するスクリーンと、を備えて前記映像を立体映像として表示する立体映像表示装置において、
前記パターンとして前記光の一部を貫通させるスリット列又はピンホールを採用し、
前記パターンを前記画素間隔の整数倍に前記画素間隔の半分を加えたパターン間隔で配置したことを特徴とする立体映像表示装置。
Pixels formed by arranging three sub-pixels that emit light of the three primary colors in a row at regular intervals are arranged in a plane so as to have a constant pixel interval in the same direction as that of the sub-pixels. A display unit for displaying images;
A screen that is arranged on the observer side of the display unit and that lays out a plurality of patterns that limit the traveling direction of light emitted from the sub-pixels at a predetermined interval and divides the image into parallax images. In a stereoscopic video display device that displays the video as a stereoscopic video,
Adopting a slit row or pinhole that penetrates part of the light as the pattern,
3. A stereoscopic image display apparatus, wherein the pattern is arranged at a pattern interval obtained by adding half of the pixel interval to an integral multiple of the pixel interval.
異なる色をそれぞれ発光する複数個のサブピクセルを一定のサブピクセル間隔で一列に配置して形成した画素を、このサブピクセルが配置する方向と同じ方向に一定の画素間隔となるように、平面配置させて映像を表示する表示部と、
この表示部の観測者側に配置され、前記サブピクセルから発光される光の進行方向を限定する複数のパターンを一定間隔で平面配置して、前記映像を視差映像に分割するスクリーンと、を備えて前記映像を立体映像として表示する立体映像表示装置において、
前記パターンとして前記光の一部を貫通させるスリット列又はピンホールを採用し、
前記パターンを前記画素間隔の整数倍に前記サブピクセル間隔の整数倍を加えたパターン間隔で配置したことを特徴とする立体映像表示装置。
Pixels formed by arranging in a row a plurality of sub-pixels that emit different colors at a certain sub-pixel spacing, as the sub-pixel is a constant pixel spacing in the same direction as the direction of arrangement, plane arrangement a display unit that displays an image by,
A screen that is arranged on the observer side of the display unit and that lays out a plurality of patterns that limit the traveling direction of light emitted from the sub-pixels at a predetermined interval and divides the image into parallax images. In a stereoscopic video display device that displays the video as a stereoscopic video,
Adopting a slit row or pinhole that penetrates part of the light as the pattern,
A stereoscopic image display apparatus, wherein the pattern is arranged at a pattern interval obtained by adding an integer multiple of the sub-pixel interval to an integer multiple of the pixel interval.
前記画素を形成するサブピクセルの個数は3であることとし、このサブピクセルのそれぞれは色の三原色をそれぞれ発光するものであることを特徴とする請求項2に記載の立体映像表示装置。  3. The stereoscopic image display apparatus according to claim 2, wherein the number of sub-pixels forming the pixel is 3, and each of the sub-pixels emits three primary colors. 4. 特定の視点から前記表示部までの距離と、前記視点から前記スクリーンまでの距離との比率に基づいて、前記パターン間隔を補正した補正パターン間隔で、前記パターンを配置したことを特徴とする請求項1乃至請求項3のいずれか一項に記載の立体映像表示装置。  The pattern is arranged at a correction pattern interval obtained by correcting the pattern interval based on a ratio between a distance from a specific viewpoint to the display unit and a distance from the viewpoint to the screen. The stereoscopic image display apparatus according to any one of claims 1 to 3. 記パターンとして、前記スリット列に替え、前記光を集光させる円筒レンズを採用することを特徴とする請求項1乃至請求項4のいずれか一項に記載の立体映像表示装置。As before Symbol pattern, wherein instead of the slit row, three-dimensional display device according to any one of claims 1 to 4, characterized in employing a cylindrical lens for condensing the light. 記パターンとして、前記ピンホールに替え、前記光を集光させるレンズを採用することを特徴とする請求項1乃至請求項4のいずれか一項に記載の立体映像表示装置。As before Symbol pattern, wherein instead of the pinhole, the stereoscopic image display device according to any one of claims 1 to 4, characterized in employing a lens for focusing the light. 前記表示部は、同色サブピクセルが縦方向に連続するように画素を配置した縦ストライプ構造をなすものであって、
前記同色サブピクセルが連続する縦の配列方向と、前記パターンの縦の配列方向とが一定角度を有することを特徴とする請求項1乃至請求項6のいずれか一項に記載の立体映像表示装置。
The display unit has a vertical stripe structure in which pixels are arranged such that sub-pixels of the same color are continuous in the vertical direction,
7. The stereoscopic image display device according to claim 1, wherein a vertical arrangement direction in which the sub-pixels of the same color are continuous and a vertical arrangement direction of the pattern have a certain angle. .
JP2002284871A 2002-09-30 2002-09-30 3D image display device Expired - Fee Related JP3916147B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002284871A JP3916147B2 (en) 2002-09-30 2002-09-30 3D image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002284871A JP3916147B2 (en) 2002-09-30 2002-09-30 3D image display device

Publications (2)

Publication Number Publication Date
JP2004118140A JP2004118140A (en) 2004-04-15
JP3916147B2 true JP3916147B2 (en) 2007-05-16

Family

ID=32278307

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002284871A Expired - Fee Related JP3916147B2 (en) 2002-09-30 2002-09-30 3D image display device

Country Status (1)

Country Link
JP (1) JP3916147B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101590770B1 (en) * 2009-05-20 2016-02-02 삼성전자주식회사 Directional display apparatus without color moire and method thereof
JP2013038504A (en) 2011-08-04 2013-02-21 Sony Corp Imaging device, image processing method and program
JP2013050538A (en) 2011-08-30 2013-03-14 Sony Corp Display device and electronic apparatus
US9013472B2 (en) * 2011-11-08 2015-04-21 Innolux Corporation Stereophonic display devices
KR101990490B1 (en) 2012-06-18 2019-06-19 삼성디스플레이 주식회사 3 dimensional image display device and driving method thereof
KR101317882B1 (en) 2013-03-25 2013-10-18 (주)엔디스 Stereoscopic display apparatus
CN104978932A (en) 2015-07-16 2015-10-14 京东方科技集团股份有限公司 Pixel driving circuit, pixel driving method and display device
CN104991349B (en) * 2015-07-28 2017-06-30 京东方科技集团股份有限公司 A kind of display device and its method of work
JP7424786B2 (en) * 2019-02-27 2024-01-30 三星電子株式会社 3D image display device, 3D image display method, and 3D image generation and display system

Also Published As

Publication number Publication date
JP2004118140A (en) 2004-04-15

Similar Documents

Publication Publication Date Title
JP3966830B2 (en) 3D display device
US8384772B2 (en) Three-dimensional image display device and three-dimensional image display method
US8049962B2 (en) Controlling the angular extent of autostereoscopic viewing zones
JP4602960B2 (en) Display panel for 3D video display device and 3D video display device having the same
KR100559269B1 (en) Three-dimensional image display apparatus, method of distributing parallax image to the display apparatus, and method of displaying three-dimensional image on the display apparatus
CN100399105C (en) Stereoscopic image display apparatus and stereoscopic image display method
KR100637362B1 (en) Stereoscopic display device and image displaying method
JP5316909B2 (en) Stereoscopic image display device and display panel
JP5772688B2 (en) Autostereoscopic display device
JP4714116B2 (en) 3D image display apparatus and 3D image display method
US20080218433A1 (en) Optical sheet for three-dimensional image and three-dimensional image display device using the same
WO2012070103A1 (en) Method and device for displaying stereoscopic image
KR100480730B1 (en) A Display Apparatus for Three Dimensional Image
JP2004280052A (en) Picture display device, portable terminal device, display panel and picture display method
CN111323935A (en) N-viewpoint three-dimensional display device and driving method thereof
JP2010524309A (en) Method and configuration for three-dimensional display
CN102970558A (en) Three-dimensional image display apparatus
KR20150055442A (en) Three dimensional image display device
JP3916147B2 (en) 3D image display device
KR20120082364A (en) 3d image display device
JP2012212079A (en) Display device
JP4098612B2 (en) 3D image display device
JP2013182209A (en) Stereoscopic image display apparatus, stereoscopic image display method, and control device
JP2006330744A (en) Three-dimensional image display apparatus
JP2013068682A (en) Stereoscopic display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060628

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070202

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110216

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130216

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140216

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees