[go: up one dir, main page]

JP5354252B2 - 立体ディスプレイ製造システム、立体ディスプレイシステムおよび立体ディスプレイシステムの製造方法 - Google Patents

立体ディスプレイ製造システム、立体ディスプレイシステムおよび立体ディスプレイシステムの製造方法 Download PDF

Info

Publication number
JP5354252B2
JP5354252B2 JP2008125391A JP2008125391A JP5354252B2 JP 5354252 B2 JP5354252 B2 JP 5354252B2 JP 2008125391 A JP2008125391 A JP 2008125391A JP 2008125391 A JP2008125391 A JP 2008125391A JP 5354252 B2 JP5354252 B2 JP 5354252B2
Authority
JP
Japan
Prior art keywords
lens
light modulator
spatial light
coordinate system
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008125391A
Other languages
English (en)
Other versions
JP2009276410A (ja
Inventor
俊介 吉田
グリベール ロベルト ロペス
澄男 矢野
直己 井ノ上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Information and Communications Technology
Original Assignee
National Institute of Information and Communications Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Information and Communications Technology filed Critical National Institute of Information and Communications Technology
Priority to JP2008125391A priority Critical patent/JP5354252B2/ja
Publication of JP2009276410A publication Critical patent/JP2009276410A/ja
Application granted granted Critical
Publication of JP5354252B2 publication Critical patent/JP5354252B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、立体画像を提示する立体ディスプレイを備えた立体ディスプレイ製造システム、立体ディスプレイシステムおよび立体ディスプレイシステムの製造方法に関する。
立体画像を提示する立体ディスプレイとして、立体視ディスプレイがある。立体視ディスプレイは、視体積(視点を頂点として画像提示面を断面に持つ錐体)に含まれる物体を画像提示面に射影し、その画像提示面を通じて見えるであろう画像を両眼に提示することにより画像を立体視させる。
特に、インテグラル・フォトグラフィ(IP)は、裸眼で立体画像を観察可能にする技術の一つである。インテグラル・フォトグラフィでは、光線制御子として複数の凸レンズからなるレンズアレイをLCD(液晶ディスプレイ)等の空間光変調器上に配置し、各凸レンズ下の焦点位置に立体画像を再現するための要素画像を提示する。各要素画像の各画素から発する光は、凸レンズの効果により特定の方向にのみ向かうように放射される。空間光変調器上に配置されたレンズアレイは有機的に作用して離散的な光線の空間を作るため、任意視点からの視体積に応じた光線状態が再現される。
特開2006−287592号公報
上記のインテグラル・フォトグラフィにおいて、各要素画像の各画素から発する光が正確に特定の方向に向かうようにするためには、各画素の位置と光線制御子の位置とが厳密に対応する必要がある。空間光変調器の各画素と光線制御子との間で位置ずれが生じると、空間光変調器の各画素から発する光が、想定された方向と異なる方向に向かう。その場合、意図しない立体画像が提示される。
空間光変調器としてLCDを用いる場合、各画素の一辺の長さが例えば数百μmとなる。すなわち、数百μm以下(例えば数十μm)の精度で空間光変調器と光線制御子との位置合わせを行う必要がある。この位置合わせを手作業で行うことは不可能であり、専用の装置等が必要になる。それにより、製造コストが増大する。
特許文献1には、レンティキュラレンズアレイとLCDとの位置関係に基づいて、高速で立体視画像を生成する方法が示されている。この方法では、レンティキュラレンズアレイおよびLCDの製造時における詳細な仕様(LCDの画素ピッチ、レンズピッチ等)が既知であることが前提となる。また、レンティキュラレンズアレイとLCDとの位置関係については、観察者が試行錯誤によって微調整を行う必要があり、多大な時間および労力を要する。
本発明の目的は、光線制御子アレイと空間光変調器との厳密な位置合わせを必要とせずに適正な立体画像を提示することが可能な立体ディスプレイ製造システム、立体ディスプレイシステムおよび立体ディスプレイシステムの製造方法を提供することである。
)第の発明に係る立体ディスプレイ製造システムは、要素表示面により構成される立体ディスプレイと、立体ディスプレイの製造時に補正用画像を表示するように要素表示面を制御する補正用画像制御手段と、補正用画像が表示された状態の要素表示面を撮影する撮影手段と、撮影手段により得られた撮影画像に基づいて修正データを算出する修正データ算出手段と、修正データ算出手段により算出された修正データを記憶する記憶手段と、立体画像を提示するための立体画像データに基づいて立体画像を提示するように要素表示面を制御する立体画像制御手段とを備え、要素表示面は、光を発生する複数の画素により構成される空間光変調器と、複数の光線制御子からなり、空間光変調器の各画素から発生される光の方向を制御する光線制御子アレイとを含み、補正用画像制御手段は、空間光変調器の複数の画素のうち第1の方向に沿った1または複数の画素列を順に点灯させるとともに第1の方向に垂直な第2の方向に沿った1または複数の画素列を順に点灯させることにより要素表示面に複数種類の補正用画像を順に表示させ、撮影手段は、各補正用画像が要素表示面に表示されるごとに要素表示面を撮影し、修正データ算出手段は、撮影手段と空間光変調器との位置関係および撮影手段による複数種類の撮影画像上で空間光変調器の各画素に対応する最も光度が高い位置に基づいて、光線制御子アレイの各光線制御子の実際の位置を算出し、空間光変調器に対する光線制御子アレイの予め設定された位置と空間光変調器に対する光線制御子アレイの実際の位置とのずれ量を修正データとして算出し、立体画像制御手段は、立体画像の提示動作時に、記憶手段に記憶された修正データを用いて立体画像データを作成し、作成した立体画像データに基づいて立体画像を提示するように空間光変調器を制御するものである。
この立体ディスプレイ製造システムにおいては、立体ディスプレイの製造時に、要素表示面が補正用画像制御手段により制御され、空間光変調器の複数の画素のうち第1の方向に沿った1または複数の画素列が順に点灯するとともに第1の方向に垂直な第2の方向に沿った1または複数の画素列が順に点灯する。それにより、要素表示面に複数種類の補正用画像が順に表示される。第1の方向に沿った1または複数の画素列が点灯するごとに要素表示面が撮影手段により撮影される。また、第2の方向に沿った1または複数の画素列が点灯するごとに要素表示面が撮影手段により撮影される。それにより、複数種類の撮影画像が得られる。これらの撮影画像には、点灯する空間光変調器の画素から発せられる光の分布が現れる。
撮影手段と空間光変調器との位置関係および撮影手段による複数種類の撮影画像上で空間光変調器の各画素に対応する最も光度が高い位置に基づいて、光線制御子アレイの各光線制御子の実際の位置が算出される。上記のようにして得られた複数種類の撮影画像を用いることにより、第1の方向および第2の方向における各光線制御子の実際の位置を効率良く特定することができる。算出された各光線制御子の実際の位置に基づいて、空間光変調器に対する光線制御子アレイの予め設定された位置と空間光変調器に対する光線制御子アレイの実際の位置とのずれ量が修正データ算出手段により修正データとして算出される。算出された修正データは、記憶手段により記憶される。
立体ディスプレイによる立体画像の提示動作時には、記憶手段に記憶された修正データを用いて立体画像データが立体画像制御手段により作成される。そして、作成された立体画像データに基づいて立体画像を提示するように空間光変調器が立体画像制御手段により制御される。
このように、光線制御子アレイの予め設定された位置と実際の位置とのずれ量に応じて立体画像を提示するための立体画像データが作成される。したがって、光線制御子アレイと空間光変調器との厳密な位置合わせを行う必要がなく、光線制御子アレイの位置が予め設定された位置からずれている場合でも、適正な立体画像を提示することができる。
)光線制御子アレイの予め設定された位置を基準にX軸、Y軸およびZ軸が定められた座標系を第1の座標系とし、光線制御子アレイの実際の位置を基準にX軸、Y軸およびZ軸が定められた座標系を第2の座標系とし、第1の座標系のX軸方向、Y軸方向、Z軸方向およびZ軸周りの回転方向における第1の座標系と第2の座標系とのずれ量をそれぞれ示す変数を第1、第2、第3および第4のパラメータとした場合、光線制御子アレイの各光線制御子の位置が第1、第2、第3および第4のパラメータを用いて第1の座標系における理論座標で表され、修正データ算出手段は、撮影手段と空間光変調器との位置関係および撮影手段による複数種類の撮影画像上で空間光変調器の各画素に対応する最も光度が高い位置に基づいて、光線制御子アレイの各光線制御子の第1の座標系における座標を実測座標として算出し、各光線制御子の実測座標と理論座標との関係に基づいて第1、第2、第3および第4のパラメータの値を修正データとして算出してもよい。
この場合、第1の座標系と第2の座標系とのずれ量をそれぞれ示す第1、第2、第3および第4のパラメータの値が、理論座標と実測座標との関係に基づいて算出される。第1の座標系は、光線制御子アレイの予め設定された位置を基準にX軸、Y軸およびZ軸が定められる。第2の座標系は、光線制御子アレイの実際の位置を基準にX軸、Y軸およびZ軸が定められる。
これにより、算出された第1、第2、第3および第4のパラメータの値を修正データとして用いて立体画像データを作成することにより、適正な立体画像を確実に提示することができる。
)第の発明に係る立体ディスプレイシステムの製造方法において、立体ディスプレイシステムは、要素表示面により構成される立体ディスプレイと、修正データを記憶する記憶手段と、立体画像を提示するための立体画像データに基づいて立体画像を提示するように要素表示面を制御する立体画像制御手段とを含み、要素表示面は、光を発生する複数の画素により構成される空間光変調器と、複数の光線制御子からなり空間光変調器の各画素から発生される光の方向を制御する光線制御子アレイとを有し、立体画像制御手段は、立体画像の提示動作時に、記憶手段に記憶された修正データを用いて立体画像データを作成し、作成した立体画像データに基づいて立体画像を提示するように空間光変調器を制御し、製造方法は、空間光変調器の複数の画素のうち第1の方向に沿った1または複数の画素列を順に点灯させるとともに第1の方向に垂直な第2の方向に沿った1または複数の画素列を順に点灯させることにより要素表示面に複数種類の補正用画像を順に表示させる工程と、各補正用画像が要素表示面に表示されるごとに要素表示面を撮影手段により撮影することにより複数種類の撮影画像を得る工程と、撮影手段と空間光変調器との位置関係および撮影手段による複数種類の撮影画像上で空間光変調器の各画素に対応する最も光度が高い位置に基づいて、光線制御子アレイの各光線制御子の実際の位置を算出し、空間光変調器に対する光線制御子アレイの予め設定された位置と空間光変調器に対する光線制御子アレイの実際の位置とのずれ量を修正データとして算出する工程と、修正データを記憶手段に記憶させる工程とを備えるものである。
この製造方法においては、空間光変調器の複数の画素のうち第1の方向に沿った1または複数の画素列が順に点灯するとともに第1の方向に垂直な第2の方向に沿った1または複数の画素列が順に点灯することにより、要素表示面に複数種類の補正用画像が順に表示される。第1の方向に沿った1または複数の画素列が点灯するごとに要素表示面が撮影手段により撮影される。また、第2の方向に沿った1または複数の画素列が点灯するごとに要素表示面が撮影手段により撮影される。それにより、複数種類の撮影画像が得られる。これらの撮影画像には、点灯する空間光変調器の画素から発せられる光の分布が現れる。
撮影手段と空間光変調器との位置関係および撮影手段による複数種類の撮影画像上で空間光変調器の各画素に対応する最も光度が高い位置に基づいて、光線制御子アレイの各光線制御子の実際の位置が算出される。上記のようにして得られた複数種類の撮影画像を用いることにより、第1の方向および第2の方向における各光線制御子の実際の位置を効率良く特定することができる。算出された各光線制御子の実際の位置に基づいて、空間光変調器に対する光線制御子アレイの予め設定された位置と空間光変調器に対する光線制御子アレイの実際の位置とのずれ量が修正データとして算出される。算出された修正が、記憶手段により記憶される。
この場合、立体ディスプレイによる立体画像の提示動作時に、記憶手段に記憶された修正データを用いて立体画像制御手段が立体画像データを作成し、作成した立体画像データに基づいて立体画像を提示するように空間光変調器を制御することができる。
これにより、光線制御子アレイの予め設定された位置と実際の位置とのずれ量に応じて立体画像を提示するための立体画像データを作成することができる。したがって、光線制御子アレイと空間光変調器との厳密な位置合わせを行う必要がなく、光線制御子アレイの位置が予め設定された位置からずれている場合でも、立体ディスプレイにより適正な立体画像を提示することが可能になる。
本発明によれば、光線制御子アレイと空間光変調器との厳密な位置合わせを行う必要がなく、光線制御子アレイの位置が予め設定された位置からずれている場合でも、適正な立体画像を提示することができる。
(1)立体ディスプレイの構成
図1は本発明の一実施の形態に係る立体ディスプレイシステムにおける立体ディスプレイを示す模式的外観図である。
図1に示すように、立体ディスプレイ1は、複数の四角形の要素表示面2を結合することにより箱形に構成される。本実施の形態では、立体ディスプレイ1は、正方形の6枚の要素表示面2により立方体に構成される。要素表示面2で囲まれる仮想空間の球状領域(以下、仮想球と呼ぶ)Sに立体画像3が提示される。
図2は立体ディスプレイ1を構成する要素表示面2を示す模式的平面図である。図3は立体ディスプレイ1を構成する要素表示面2を示す模式的断面図である。
図2および図3に示すように、要素表示面2は、平面状の空間光変調器21および平面状のレンズアレイ22の積層構造により構成される。
空間光変調器21は、マトリクス状に色を提示することができるマトリクス表示素子からなる。この空間光変調器21は、マトリクス状に配列された複数の画素を有する。空間光変調器21として、例えば液晶ディスプレイ(LCD)、プラズマディスプレイ、有機エレクトロルミネッセンス(EL)ディスプレイ、無機ELディスプレイ、発光ダイオード(LED)アレイ、電界放出ディスプレイ(FED)または写真等を用いることができる。
レンズアレイ22は、光線の方向を制御することができる複数の凸レンズ(以下、単にレンズと呼ぶ)220からなり、空間光変調器21から様々な方向へ向かう光の状態を再現させる機能を有する。レンズアレイ22の複数のレンズ220は、マトリクス状に配置される。
レンズアレイ22の各レンズ220により空間光変調器21の複数の画素からの光線の方向が制御される。各レンズ220には、それぞれ画素群が割り当てられる。各レンズ220は、割り当てられた画素群のみからの光線の方向を制御することができるように配置される。
レンズアレイ22により制御可能な光線の数および光線の方向は、各レンズ220に割り当てられた画素の数、レンズ220と画素との距離、およびレンズ220の焦点距離等のレンズ220の光学的な設計等により決まる。
図3に示すように、レンズアレイ22のレンズ220は、空間光変調器21の画素Pm1,Pm2,Pm3,Pm4から種々の方向へ向かう光をそれぞれ点線で示す方向に制御する。
なお、光線制御子として、レンズアレイ22の代わりに複数のピンホールが規則的に形成されたピンホールアレイ、または回折格子アレイ等を用いてもよい。また、用途を限定すれば、レンティキュラレンズまたはパララックスバリア等を用いることもできる。
ここで、図4を用いてレンズ220による光の制御機能とピンホールによる光の制御機能との共通点を説明する。図4(a)は、レンズ220による光の制御機能を示し、図4(b)はピンホールによる光の制御機能を示す。
図4(a)に示すように、レンズ220と空間光変調器21との距離は、レンズ220の焦点距離fと等しくなるように調整される。この場合、画素Pm1から発せられる複数の光は、レンズ220を通過することにより、画素Pm1とレンズ220の主点(光学中心)220aとを結ぶ直線に平行な方向に制御される。また、画素Pm2から発せられる複数の光は、レンズ220を通過することにより、画素Pm2とレンズ220の主点220aとを結ぶ直線に平行な方向に制御される。
図4(b)に示すように、レンズアレイ22の代わりにピンホールPHが形成されたピンホールアレイを用いる場合には、画素Pm1から発せられる複数の光のうち、ピンホールPHを通る光のみが外部に射出される。また、画素Pm2から発せられる複数の光のうち、ピンホールPHを通る光のみが外部に射出される。したがって、ピンホールPHの位置が図4(a)のレンズ220の主点220aの位置と共通であれば、各画素から発せられる光は、レンズ220を用いた場合と同じ方向に向かう。
ただし、ピンホールPHを通過して外部に向かう光の量は、レンズ220を通過して外部に向かう光の量に比べて少ない。そのため、より明るい立体画像を提示するためにはレンズアレイ22を用いることが好ましい。
なお、図4においては、レンズ220およびピンホールPHによる光の制御機能について概念的に説明を行った。実際の光線制御は上記のような理想的な光線制御と若干異なるので注意を要する。
(2)立体画像データの作成方法
次に、立体ディスプレイ1に立体画像3を提示するための立体画像データの作成方法について説明する。図5は立体画像3を提示するための立体画像データの作成方法を説明するための図である。
要素表示面2の内側の仮想球内に視覚されるべき立体形状30を定義する。この立体形状30は立体形状データにより表される。立体形状30の表面の任意の点において、任意の方向へ向かう光線を考える。要素表示面2と立体形状30との間の位置関係はデータの定義により一意に求まる。
各光線が要素表示面2と交差する際の交点の位置(座標)、光線と要素表示面2との角度、および色を求める。また、各光線がどの要素表示面2のどの位置で交差するかを求める。最終的に、レンズアレイ22により上記の角度の方向へ向かう光線を再現するように、空間光変調器21の各画素に交点の色を表示するための立体画像データを作成する。
理想的には、立体形状30の全表面から全方向に向かう光線について上記の交点の位置、角度および色を求め、各要素表示面2に表示すべき画像を表す立体画像データを作成する。実際には、要素表示面1で囲まれる空間の仮想球を複数のボクセルに離散化するとともに、各ボクセルから発せられる光線の方向を離散化する。本実施の形態では、各ボクセルから発せられる光線の方向は、レンズアレイ22により離散化された方向に制御される。
要素表示面2の内側の仮想球の1つのボクセルが立体形状30の一部であれば、そのボクセルから離散化された方向に向かう光線を求める。このようにして、立体形状30の表面上の複数のボクセルの各々から離散化された複数の方向に向かう光線と要素表示面2との交点を求めるとともに、光線と要素表示面2との角度、およびボクセルの色を求め、それらの交点、角度および色に基づいて立体画像データを作成する。
例えば、図5に示すように、立体形状30の表面上の1つのボクセルb1から発せられる光線は、レンズアレイ22のレンズ220により点線の矢印の方向に向かうように制御される。これらの光線と要素表示面2との交点の画素にボクセルb1の色を表示させるように立体画像データを作成する。
また、立体形状30の表面上の他のボクセルb2から発せられる光線は、レンズアレイ22のレンズ220により実線の矢印の方向に向かうように制御される。これらの光線と要素表示面2との交点の画素にボクセルb2の色を表示させるように立体画像データを作成する。
上記の説明は、理解を容易にするために行ったが、実際には、レンズアレイ22の各レンズ220と空間光変調器21の画素数との関係により再現可能な光線が制限されるため、上記の説明とは逆のアルゴリズムが用いられる。すなわち、レンズアレイ22の各レンズ220により再現可能な光線を空間光変調器21の画素を経由して逆に辿り、提示すべき立体形状30との交点のボクセルの色を求め、その色を画素に表示させる色と決定する。
レンズアレイ22のレンズ220により再現可能な一本の光線が立体形状30の複数のボクセルと交差する場合には、より要素表示面2に近いボクセルの色が画素に表示すべき色と決定される。観察者から見て奥に位置する点は手前に位置する点により隠されるからである。例えば、図5に示すように、レンズアレイ22のレンズ220により再現可能な一本の光線が立体形状30の複数のボクセルb2,b3と交差する場合には、より要素表示面2に近いボクセルb3の色を画素に表示すべき色と決定する。
このようにして、立体形状30の表面上の各ボクセルの色を要素表示面1の複数の画素に表示させるための立体画像データが作成される。立体画像データに基づいて空間光変調器21の複数の画素に画像を表示させることにより、結果的に立体形状30からの光線が再現される。
図6は立体画像データに基づいて立体ディスプレイ1の空間光変調器21に表示される画像を説明するための図である。
例えば、観察点V1から立体形状を見た場合の画像が空間光変調器21の画素“A”に表示される。また、観察点V2から立体形状を見た場合の画像が空間光変調器21の画素“B”に表示される。それにより、観察者は眼を観察点V1から観察点V2に移動させた場合に、立体形状を異なる角度から見ることができる。
(3)立体ディスプレイシステムおよび立体ディスプレイ製造システム
立体ディスプレイシステムおよび立体ディスプレイ製造システムの構成について説明する。
図7は、立体ディスプレイシステムおよび立体ディスプレイ製造システムの構成を示すブロック図である。図7に示すように、立体ディスプレイシステム10は、立体ディスプレイ1、表示制御部5および記憶部6により構成される。立体ディスプレイ製造システムは、立体ディスプレイシステム10、撮影装置101および計測演算部102により構成される。撮影装置101および計測演算部102は、立体ディスプレイシステム10の製造時に用いられ、立体ディスプレイシステム10の使用時には必要ではない。
撮影装置101は、CMOS(相補性金属酸化膜半導体)デジタルカメラ、CCDカメラ、フィルムカメラ、面輝度計またはセンサ等からなる。撮影装置101は、立体ディスプレイ1の要素表示面2を撮影する。以下、撮影装置101により撮影された画像を撮影画像と呼ぶ。
記憶部6は、ハードディスクまたはメモリカード等のデータ記憶媒体からなり、仮想球内に提示すべき立体画像の形状を表す立体形状データ、立体ディスプレイ1の基本属性および撮影装置101の基本属性等を記憶する。ここで、立体ディスプレイ1の基本属性は、空間光変調器21の画素の大きさ、間隔および配置、レンズアレイ22のレンズ220の直径、間隔、配置、画角および焦点距離、ならびにレンズアレイ22と空間光変調器21との理想的な位置関係等を含む。また、撮影装置101の基本属性とは、撮影装置101の解像度、画角、焦点距離、位置および姿勢等を含む。
計測演算部102および表示制御部5は、CPU(中央演算処理装置)、および半導体メモリ等の記憶装置をそれぞれ含む。計測演算部102は、撮影装置101の撮影画像および記憶部6に記憶される種々の情報に基づいて後述の演算処理を行う。表示制御部5は、計測演算部102の演算結果および記憶部6に記憶される種々の情報に基づいて空間光変調器21の制御を行う。計測演算部102および表示制御部5の動作の詳細は後述する。
立体ディスプレイシステム10の表示制御部5および記憶部6は、立体ディスプレイ1内に設けられてもよく、あるいは立体ディスプレイ1の外部に設けられてもよい。計測演算部102は、例えばパーソナルコンピュータにより構成することができる。また、表示制御部5および記憶部6は、例えばパーソナルコンピュータにより構成することができる。
本実施の形態では、立体ディスプレイシステム10の製造時に、撮影装置101の撮影画像に基づいて空間光変調器21に対するレンズアレイ22の位置ずれが検出され、位置ずれに関する後述のパラメータが記憶部6に記憶される。そして、立体ディスプレイシステム10の動作(使用)時に、記憶部6に記憶されたパラメータに基づいて表示制御部5により空間光変調器21が制御される。それにより、レンズアレイ22が空間光変調器21に対して位置ずれしている場合にも、適正な立体画像を提示することができる。以下、その詳細について説明する。
(4)撮影装置による要素表示面の撮影
(4−1)観察点と光度との関係
観察点と光度との関係について説明する。図8は、観察点と光度との関係について説明するための模式図である。ここで、光度とは、各観測点で得られる光の強さをいう。
図8(a)には、空間光変調器21の画素Pm1〜Pm4、レンズ220および観察点V11〜V17の位置関係が示される。図8(b)には、画素Pm1,Pm3から発せられる光から得られる光度の分布が示される。なお、図8(b)においては、画素Pm1から発せられる光から得られる光度が点線で示され、画素Pm3から発せられる光から得られる光度が一点鎖線で示される。
図8(a)および図8(b)に示すように、画素Pm1から発せられる光から得られる光度は、画素Pm1とレンズ220の主点220aとを結ぶ直線上にある観察点V16において最も高くなる。同様に、画素Pm3から発せられる光から得られる光度は、画素Pm3とレンズ220の主点220aとを結ぶ直線上にある観察点V12において最も高くなる。
このように、空間光変調器21の各画素から発せられる光から得られる光度は、観察点によって変化し、各画素とレンズ220の主点220aとを結ぶ直線上において最も大きくなる。
(4−2)撮影装置とレンズとの位置関係
図9は、撮影装置101、レンズアレイ22および空間光変調器21の位置関係を示す模式図である。図9においては、撮影装置101の視野が仮想平面VPで示される。仮想平面VPは、撮影装置101の撮影画像に対応している。仮想平面VPを通って撮影装置101の撮影中心点Pcに向かう光が、撮影装置101の撮影画像上に現れる。
撮影装置101の撮影中心点Pcは、外部からの光を受ける中心点であり、例えば撮影装置101としてカメラを用いる場合、カメラレンズの光学中心が撮影中心点Pcとなる。
図9において、空間光変調器21の1つの画素Pm11のみを点灯させたときに、撮影装置101の撮影画像に高い光度を有する光点が現れたとする。この場合、撮影装置101の撮影中心点Pc、画素Pm11に対応するレンズ220の主点220a、および空間光変調器21の画素Pm11が共通の直線上にあると考えられる。撮影装置101の撮影画像上の光点は、画素Pm11と撮影中心点Pcとを結ぶ直線と仮想平面VPとの交差点Piに相当する。以下、撮影装置101の撮影画像上の光点に相当する仮想平面VP上の点を仮想光点と呼ぶ。
これにより、撮影装置101の撮影中心点Pcの位置と、撮影装置101の撮影画像上における光点(仮想平面VP上の仮想光点Pi)の位置および画素Pm11の位置の少なくとも一方とが求まれば、画素Pm11に対応するレンズ220の実際の位置を求めることができる。
(4−3)撮影画像上の光点の光度について
図10は、撮影装置101の撮影画像上における光度の分布について説明するための図である。図10(a)には、撮影装置101、レンズ220および空間光変調器21の位置関係が示される。図10(b)には、空間光変調器21の各画素を点灯させた際に撮影装置101の撮影画像上に現れる光度の分布を示す図である。図10(b)において、縦軸は光度を示し、横軸は撮影画像上の座標を示す。
図10(a)において、画素Pm11,Pm21は、撮影装置101の撮影中心点Pcとレンズ220の主点220aとを結ぶ直線上にあり、画素Pm9,Pm10,Pm12,Pm13,Pm19,Pm20,Pm22,Pm23は、撮影装置101の撮影中心点Pcとレンズ220の主点220aとを結ぶ直線からずれた位置にある。
この場合、図10(b)に示すように、画素Pm9,Pm10,Pm12,Pm13を点灯させたときに得られる光度より、画素Pm11を点灯させたときに得られる光度が高くなる。これにより、1つのレンズ220に対応する複数の画素のうち、最も高い光度が得られる1つの画素Pm11が特定される。
同様に、画素Pm19,Pm20,Pm22,Pm23を点灯させたときに得られる光度より、画素Pm21を点灯させたときに得られる光度が高くなる。これにより、1つのレンズ220に対応する複数の画素のうち、最も高い光度が得られる1つの画素Pm21が特定される。
さらに、全ての画素を1つずつ順に点灯させてその光度を測定することにより、全てのレンズ220に関して最も高い光度が得られる画素をそれぞれ1つずつ特定することができる。これにより、全てのレンズ220の実際の位置を求めることができる。
(5)座標系
(5−1)各座標系の定義
ここで、撮影装置座標系、撮影画像座標系、LCD座標系、レンズ座標系およびワールド座標系を定義する。図11は、撮影装置座標系、撮影画像座標系、LCD座標系、レンズ座標系およびワールド座標系の関係について説明するための模式図である。
撮影装置座標系Ccは、撮影装置101を基準に定められる。図11において、撮影装置101の撮影中心点Pcに撮影装置座標系Ccの原点Ocが定められる。また、撮影装置101が向けられた方向にZc軸が定められ、Zc軸に垂直な面上で互いに直交する方向にXc軸およびYc軸が定められる。撮影装置101の位置および姿勢は、Tsaiのアルゴリズム等によって求めることができる。
撮影画像座標系Ciは、仮想平面VPを基準に定められる。図11において、仮想平面VPの一頂点に撮影画像座標系Ciの原点Oiが定められ、仮想平面VPの互いに直交する一辺および他辺に沿う方向にXi軸およびYi軸が定められる。撮影画像座標系Ciは、撮影装置座標系Ccから撮影装置101の基本属性(焦点距離、画角および解像度等)を用いて一義的に求めることができる。また、仮想平面VP上に現れる仮想光点の位置は、撮影画像座標系Ciにおける座標で容易に表すことができる。
LCD座標系Clは、空間光変調器21を基準に定められる。図11において、空間光変調器21の一頂点にLCD座標系Clの原点Olが定められる。また、空間光変調器21の互いに直交する一辺および他辺に沿う方向にXl軸およびYl軸が定められ、その面に垂直な方向にZl軸が定められる。
本実施の形態では、Xl軸およびYl軸に沿って空間光変調器21の各画素が配置される。空間光変調器21の各画素の位置は、LCD座標系Clにおける座標で容易に表すことができる。
レンズ座標系Ceは、レンズアレイ22を基準に定められる。図11において、レンズアレイ22の一面上にレンズ座標系Ceの原点Oeが定められる。また、レンズアレイ22の一面上で互いに直交方向にXe軸およびYe軸が定められ、その面に垂直な方向にZe軸が定められる。
本実施の形態では、Xe軸およびYe軸に沿ってレンズアレイ22のレンズ220が配置される。レンズアレイ22の各レンズ220の位置は、レンズ座標系Ceで容易に表すことができる。
ワールド座標系Cwは、全ての座標系の基準として設定される。本実施の形態では、空間光変調器21とレンズアレイ22とが予め定められた理想的な位置関係にある状態でのレンズ座標系Ceに一致するようにワールド座標系Cwが定義される。空間光変調器21に対してレンズアレイ22が理想的な位置関係にある場合、レンズ座標系Ceの原点Oe、Xe軸、Ye軸およびZe軸が、ワールド座標系Cwの原点Ow、Xw軸、Yw軸およびZw軸に対応する。ここで、空間光変調器21とレンズアレイ22との理想的な位置関係とは、例えば設計上での空間光変調器21とレンズアレイ22との位置関係である。
なお、実際には、レンズアレイ22は厳密に理想的な位置に配置されないことが多いため、レンズ座標系Ceとワールド座標系Cwとの間にはずれが生じる。
(5−2)ワールド座標系への変換
(5−2−1)レンズ座標系
図12は、レンズ座標系Ceおよびワールド座標系Cwの関係を説明するための模式図である。図12に示すように、ワールド座標系Cwに対するレンズ座標系Ceのずれ量は、パラメータe,e,e,eθで表される。パラメータe、e、eは、ワールド座標系Cwの原点Owに対するレンズ座標系Ceの原点OeのXw軸方向のずれ量、Yw軸方向のずれ量およびZw軸方向のずれ量を表す。また、パラメータeθは、ワールド座標系CwのXw軸およびYw軸に対するレンズ座標系CeのXe軸およびYe軸の傾斜角を表す。ここで、空間光変調器21とレンズアレイ22との平行関係を保つことは比較的容易であるため、ワールド座標系CwのZw軸と、レンズ座標系CeのZe軸とが平行であるとすることができる。
この場合、レンズ座標系Ceとワールド座標系Cwとの関係が次式(1)で表される。ここで、Fはe,e,e,eθを変数とする関数である。
Figure 0005354252
関数Fにより、次式(2)で表されるように、(x,y,z)で表されるワールド座標系Cwの座標を、パラメータe,e,e,eθを用いることにより、(x,y,z)で表されるレンズ座標系Ceの座標に変換することができる。
Figure 0005354252
さらに、式(2)から算出される逆関数F−1により、レンズ座標系Ceの座標からワールド座標系Cwの座標に変換することができる。これにより、レンズアレイ22の各レンズ220の位置は、パラメータe,e,e,eθを用いてレンズ座標系Ceの座標からワールド座標系Cwの座標に変換することができる。
なお、パラメータeで表されるずれ量は、上記のように、パラメータe,e,eθで表されるずれ量に比べて実際には発生しにくい。したがって、以下においては、説明の簡略化のため、e=0とする。
(5−2−2)他の座標系
上記のように、ワールド座標系Cwは、空間光変調器21に対して予め定められたレンズアレイ22の理想的な位置を基準に定められる。そのため、LCD座標系Clとワールド座標系Cwとは一義的な関係を有し、LCD座標系Clをワールド座標系Cwに一義的に変換することができる。したがって、空間光変調器21の各画素の位置は、撮影画像座標系Ciの座標からワールド座標系Cwの座標に一義的に変換することができる。
また、上記のように、Tsaiのアルゴリズム等によって撮影装置101の位置および姿勢が求められる。撮影装置101と空間光変調器21との位置関係は一定であるので、撮影装置座標系CcとLCD座標系Clとは一義的な関係を有する。それにより、撮影装置座標系Ccをワールド座標系Cwに一義的に変換することができる。
撮影画像座標系Ciは、上記のように撮影装置座標系Ccから一義的に求めることができる。それにより、撮影画像座標系Ciをワールド座標系Cwに一義的に変換することができる。したがって、仮想平面VP上の仮想光点の位置は、撮影画像座標系Ciの座標からワールド座標系Cwの座標に一義的に変換することができる。
(6)計測演算部および表示制御部の動作
計測演算部102および表示制御部5の動作について説明する。図13〜図15は、計測演算部102の動作を示すフローチャートであり、図16は、表示制御部5の動作を示すフローチャートである。
まず、計測演算部102の動作について説明する。計測演算部102の動作は、立体ディスプレイシステム10の製造時に実行される。
図13に示すように、計測演算部102は、最初に撮影装置101の撮影画像に基づいてレンズ座標算出処理を行う(ステップS1)。次に、計測演算部102は、パラメータ算出処理を行う(ステップS2)。これにより、上記のパラメータe,e,e,eθの値が算出される。算出されたパラメータe,e,e,eθの値は、記憶部6に記憶される。これらのパラメータe,e,e,eθの値が修正データとして用いられる。
ステップS1のレンズ座標算出処理の詳細について説明する。図14に示すように、計測演算部102は、記憶部6から立体ディスプレイ1の基本属性および撮影装置101の基本属性を読み出す(ステップS11)。次に、計測演算部102は、レンズアレイ22のレンズ220の直径、間隔および配置、ならびに撮影装置101の位置および姿勢等に基づいて、撮影装置101の撮影画像上における各レンズ220の位置を暫定的に決定する(ステップS12)。
次に、計測演算部102は、表示制御部5に画素点灯信号を与える(ステップS13)。画素点灯信号に応答して、表示制御部5が空間光変調器21の1つの画素を点灯させる。この場合、点灯させる画素は、画素点灯信号により指定される。
次に、計測演算部102は、撮影装置101に撮影信号を与える(ステップS14)。撮影信号に応答して、撮影装置101が立体ディスプレイ1の要素表示面2を撮影する。この場合、撮影装置101の撮影画像上には、ステップS13で点灯させた画素から発せられる光による光度の分布が現れる。
次に、計測演算部102は、撮影装置101の撮影画像上に現れる光度の分布を光度分布データとして取得する(ステップS15)。次に、計測演算部102は、全ての画素について光度分布データを取得したか否かを判定する(ステップS16)。全ての画素について光度分布データを取得していない場合、計測演算部102は、ステップS13の処理に戻り、点灯させていない画素のうち1つの画素を点灯させる。
ステップS13〜S16の処理が繰り返されることにより、空間光変調器21の画素が順に1つずつ点灯し、各画素の点灯ごとに撮影装置101により要素表示面2が撮影される。それにより、全ての画素のついての光度分布データが取得される。なお、点灯させる画素の順番は、例えば画素の配列に沿って予め設定されてもよく、あるいはランダムであってもよい。
全ての画素について光度分布データを取得した場合、計測演算部102は、取得した光度分布データに基づいて、レンズアレイ22の1つのレンズ220に対応する複数の画素のうち最も高い光度が得られた画素を特定する(ステップS17)。
なお、撮影装置101の撮影画像上で最も光度が高い位置を特定する方法として、各撮影画像の光度分布を重ね合わせて積算分布の重心を求める方法、光度の総和を求めた際のピークを用いる方法、または光点が計算対象となる位置に出現する確率から重み付けを行って積算する方法等がある。
次に、計測演算部102は、その画素の位置および撮影装置101の撮影中心点Pcの位置に基づいて、1つのレンズ220の主点220aの座標(以下、レンズ座標と呼ぶ)をワールド座標系Cwで算出する(ステップS18)。
具体的には、ステップS11において、空間光変調器21の各画素の位置および撮影装置101の撮影中心点Pcの位置が、立体ディスプレイ1および撮影装置101の基本属性として記憶部6から読み出される。各画素の位置および撮影装置101の撮影中心点Pcの位置は、ワールド座標系Cwの座標で表すことができる。
レンズ220の主点220aは、ステップS17で特定された画素と撮影装置101の撮影中心点Pcとを結ぶ直線上にある。また、本実施の形態ではe=0であるので、Zw軸方向におけるレンズ座標は特定される。これにより、ワールド座標系Cwにおいて、ステップS17で特定された画素の座標および撮影装置101の撮影中心点Pcの座標からレンズ座標を求めることができる。
なお、レンズ座標は、撮影装置101の撮影中心点Pcの位置と撮影画像上に現れる光点の位置とに基づいて次のようにして求めることもできる。まず、撮影画像上に現れる光点の位置から仮想平面VP上における仮想光点Piの位置を求めることができる。上記のように、仮想光点Piの位置は、ワールド座標系Cwの座標で表すことができる。
レンズ220の主点220aは、ステップS17で特定された画素に対応する仮想光点Piと撮影装置101の撮影中心点Pcとを結ぶ直線上にある。それにより、ワールド座標系Cwにおいて、ステップS17で特定された画素に対応する仮想光点Piの座標および撮影装置101の撮影中心点Pcの座標からレンズ座標を求めることができる。
以下の説明において、ステップS18で算出されるワールド座標系Cwのレンズ座標をP で表す。また、各レンズ220に対応して1〜n(nは全てのレンズ220の数)の番号を付し、ステップS18で算出されるi番(1≦i≦n)のレンズ220のレンズ座標をiP で表す。
次に、計測演算部102は、全てのレンズ220についてレンズ座標P を算出したか否かを判定する(ステップS19)。全てのレンズ220についてレンズ座標P を算出していない場合、計測演算部102は、ステップS17の処理に戻る。
ステップS17〜S19の処理が繰り返されることにより、空間光変調器21の全てのレンズ220のレンズ座標P が算出される。なお、レンズ座標を算出するレンズ220の順番は、例えばレンズ220の配列に沿って予め設定されてもよく、あるいはランダムであってもよい。
全てのレンズ220についてレンズ座標P を算出すると、計測演算部102は、レンズ座標算出処理を終了する。
続いて、図13のステップS2のパラメータ算出処理について説明する。図15に示すように、計測演算部102は、レンズ220の配置および間隔等に基づいて、レンズ座標系Ceにおける各レンズ220のレンズ座標をそれぞれ取得する(ステップS31)。なお、レンズ220の配置および間隔は、図14のステップS11で記憶部6から読み出した立体ディスプレイ1の基本属性に含まれる。
以下の説明において、ステップS31で取得されるレンズ座標系Ceのレンズ座標をP で表す。また、ステップS31で算出されるi番のレンズ220のレンズ座標をiP で表す。
次に、計測演算部102は、記憶部6に記憶されるレンズアレイ22のずれ量を初期化する(ステップS32)。具体的には、前回のパラメータ算出処理で算出されたパラメータe,e,e,eθの値が所定の初期値に戻される。
次に、計測演算部102は、レンズアレイ22のずれ量の許容範囲を設定する(ステップS33)。立体ディスプレイ1の製造時に、手作業でレンズアレイ22の位置合わせを行う場合、実際に発生するレンズアレイ22のずれ量は一定の範囲内に限られる。ステップS33において、手作業でレンズアレイ22の位置合わせを行った場合に発生するずれ量の許容範囲が設定される。例えば、ずれ量の許容範囲は、レンズアレイ22のレンズピッチ以下に設定される。ここで、レンズピッチとは、隣接するレンズ220の主点220a間の距離をいう。
次に、計測演算部102は、パラメータe,e,e,eθを用いて、レンズ座標系Ceにおける各レンズ座標P をワールド座標系Cwにおけるレンズ座標P に変換する(上記式(2)参照。ステップS34)。ここで、レンズ座標P は、(x,y,z)で表され、レンズ座標P は、(x,y,z)で表される。
続いて、計測演算部102は、各レンズ220のレンズ座標P およびレンズ座標P に基づいて、パラメータe,e,e,eθの値を求める。例えば、最小二乗法を用いてずれ量を表すパラメータe,e,e,eθの妥当な値を求める。また、他の方法でパラメータe,e,e,eθの値を求めてもよい。例えば、全てのレンズ200に関して、レンズ座標P とレンズ座標P との差の絶対値の和を求め、ニュートン法のような反復計算によりパラメータe,e,e,eθの値を求めてもよい。以下、本例においては、最小二乗法を用いてパラメータe,e,e,eθの値を求める方法について説明する。
計測演算部102は、各レンズ220について、ステップS34で変換したレンズ座標P と、図14のステップS18で算出したレンズ座標P との距離εを算出する(ステップS35)。i番のレンズ220についての距離εiは、iP −iP で表される。
次に、計測演算部102は、レンズ220についての距離εの二乗総和S(下記式(3)参照)を算出する(ステップS36)。
Figure 0005354252
次に、計測演算部102は、二乗総和Sが最小となるパラメータe,e,e,eθの値を算出する(ステップS37)。数学的には、下記式(4)に示すように、二乗総和Sをパラメータe,e,e,eθで偏微分した関数がそれぞれ0となるように、修正データとしてパラメータe,e,e,eθの値を求める。
Figure 0005354252
しかしながら、三角関数または高次項を含む上式(4)を解析的に解くことは、比較的困難である。この場合、ニュートン法等を用いることにより、数値的に解を求めることができる。例えば、ステップS33で設定したずれ量の許容範囲内でパラメータe,e,e,eθに具体的な値を当てはめて計算を行うことにより、二乗総和Sが最小となるパラメータe,e,e,eθの値を特定する。
なお、撮影装置101の解像度およびレンズアレイ22の作製精度等による誤差を考慮して、上式(3)の代わりにレンズアレイ22の作製精度に応じて重みを付けた最小二乗法を用いてパラメータe,e,e,eθの値を求めてもよい。その場合、重みの例として、光度分布の分散、偏差、対称性、強度または総和等が挙げられる。
このようにして、パラメータe,e,e,eθの値を算出した後、計測演算部102は、パラメータ算出処理を終了する。
次に、表示制御部5の動作について説明する。表示制御部5の動作は、立体ディスプレイシステム10の製造時および立体ディスプレイシステム10の使用時に実行される。具体的には、立体ディスプレイシステム10の製造時にはステップS41〜S43の処理が行われ、立体ディスプレイシステム10の使用時にはステップS41,S42,S44〜S49の処理が行われる。
図16に示すように、表示制御部5は、記憶部6から立体形状データおよび立体ディスプレイ1の基本属性を読み出す(ステップS41)。
次に、表示制御部5は、計測演算部102から画素点灯信号が与えられているか否かを判定する(ステップS42)。画素点灯信号が与えられている場合、表示制御部5は、空間光変調器21を制御して画素点灯信号により指定される画素を点灯させる(ステップS43)。その後、表示制御部5は、ステップS42の処理に戻る。ステップS42,S43の処理が繰り返されるときに、計測演算部102による図14のレンズ座標算出処理および図15のパラメータ算出処理が実行される。
画素点灯信号が与えられていない場合、表示制御部5は、記憶部6に記憶されたパラメータe,e,e,eθの値を修正データとして読み出す(ステップS44)。
次に、表示制御部5は、1つのレンズ220(例えばi番のレンズ220)について、理想的な座標から実際の座標に修正する(ステップS45)。具体的には、ステップS41で記憶部6から読み出した立体ディスプレイ1の基本属性に基づいて理想的なレンズ座標を算出する。そのレンズ座標を、ステップS44で記憶部6から読み出したパラメータe,e,e,eθの値を用いて実際のレンズ座標に修正する。
次に、表示制御部5は、修正したレンズ座標、立体形状データ、およびレンズ220の画角等に基づいて、1つのレンズ220(例えばi番のレンズ220)に割り当てられた画素群に表示すべき画像のレンダリング(立体画像データの作成)を行う(ステップS46)。なお、レンズ220の画角は、ステップS41で記憶部6から読み出した立体ディスプレイ1の基本属性に含まれる。
次に、表示制御部5は、全てのレンズ220についてレンダリングを行ったか否かを判定する(ステップS47)。全てのレンズ220についてレンダリングを行っていない場合、表示制御部5は、ステップS45の処理に戻る。
全てのレンズ220についてレンダリングを行った場合、表示制御部5は、レンズ220毎にレンダリングした画像を1つの画像に統合する(ステップS48)。このようにして、修正データを用いて立体画像データが作成される。
そして、表示制御部5は、その画像を空間光変調器21に表示させる(ステップS49)。ステップS44〜S49により、作成された立体画像データに基づく立体画像が立体ディスプレイ1に提示される。
(7)本実施の形態の効果
このように、本実施の形態では、立体ディスプレイシステム10の製造時に、撮影装置101の撮影画像に基づいて計測演算部102によりレンズアレイ22の位置ずれに関するパラメータe,e,e,eθの値が求められる。
立体ディスプレイシステム10の動作(使用)時には、パラメータe,e,e,eθの値を用いて、各レンズ220の座標が設計上の座標から実際の座標に修正される。そして、修正された各レンズ220の座標に応じて立体画像を提示するための立体画像データが作成される。それにより、空間光変調器21に対するレンズアレイ22の位置が、設計上の位置からずれている場合でも、適正な立体画像を提示することができる。
(8)他の実施の形態
上記実施の形態では、計測演算部102によるレンズ座標算出処理において、空間光変調器21の画素を順に1つずつ点灯させ、各画素を点灯させた状態を全て撮影装置101により撮影する。本例では、空間光変調器21の画素を順に1つずつ点灯させる代わりに、補正用画像を空間光変調器21に表示させる。
(8−1)補正用画像
図17は、補正用画像の一例を示す平面図である。図17に示すように、補正用画像ID1,ID2においては、ストライプ状に空間光変調器21の画素が点灯される。
図17(a)〜図17(d)の補正用画像ID1における点灯画素ラインLI1は、LCD座標系ClのYl軸に平行かつ間隔をおいて配置された複数列の画素によって構成される。また、図17(e)〜図17(h)の補正用画像ID2における点灯画素ラインLI2は、LCD座標系ClのXl軸に平行かつ間隔をおいて配置された複数行の画素によって構成される。
点灯画素ラインLI1,LI2の間隔(周期)は、レンズアレイ22のレンズピッチより大きくなるように設定される。また、点灯画素ラインLI1,LI2の間隔に応じて、補正用画像ID1,ID2の数がそれぞれ決定される。
図17の例では、点灯画素ラインLI1,LI2が4画素周期で配置され、隣接する点灯画素ラインLI1,LI2間に3列分または3行分の未点灯の画素が配置される。すなわち、本例では、レンズピッチが4画素の長さより小さい。
この場合、図17(a)〜図17(d)に示すように、点灯画素ラインLI1の位置が互いに1画素分ずれた4種類の補正用画像ID1が用いられる。また、図17(e)〜図17(h)に示すように、点灯画素ラインLI2の位置が互いに1画素分ずれた4種類の補正用画像ID2が用いられる。このように、レンジピッチを画素ピッチで除した値に相当する数の補正用画像ID1,ID2がそれぞれ用いられる。
図18は、補正用画像ID1を空間光変調器21に表示させた場合に点灯画素ラインLI1から発せられる光が向かう方向を示す模式的側面図である。なお、図18には、点灯画素ラインLI1に垂直な面(LCD座標系ClにおけるXl−Zl平面)が模式的に示される。
図18に示すように、点灯画素ラインLI1の間隔がレンズピッチより大きいことにより、2つ以上の点灯画素ラインLI1から発せられる光が、共通のレンズ220の主点220aを通って撮影装置101に向かうことがない。そのため、1つのレンズ220を通して撮影装置101の撮影画像に現れる光は、1つの点灯画素ラインLI1から発せられた光に限られる。
図18において、光F3,F4は、撮影装置101の撮影画像に現れるが、光F1,F2,F5は、撮影装置101の撮影画像に現れない。
なお、補正用画像ID2を空間光変調器21に表示させた場合、点灯画素ラインLI2から発せられる光の方向は、点灯画素ラインLI2に垂直な面(LCD座標系ClにおけるYl−Zl平面)内において、図18に示す状態と同様になる。
(8−2)レンズアレイの位置合わせ
本実施の形態では、空間光変調器21に対するレンズアレイ22の位置合わせを手作業または製造用ロボットにより一定以上の精度で行う。具体的には、レンズアレイ22の全てのレンズ220に関して、理想的な位置から1レンズピッチ以上ずれないように位置合わせを行う。
一定の精度以上でレンズアレイ22の位置合わせを行う方法として、空間光変調器21の所定の領域の画素を点灯させ、その点灯する画素を基準としてレンズアレイ22の位置合わせを行う方法がある。
例えば、空間光変調器21の中央部および四隅において、1つのレンズ220とほぼ等しい面積分の画素を点灯させる。そして、レンズアレイ22の一面の中央部および四隅に配置されるレンズ220を点灯する画素の位置に合わせる。この場合、全てのレンズ220が理想的な位置から1レンズピッチ以上ずれないようにレンズアレイ22の位置合わせを容易に行うことができる。
(8−2)レンズ座標算出処理
図19は、補正用画像ID1,ID2を用いたレンズ座標算出処理のフローチャートである。図19のレンズ座標算出処理について、図14のレンズ座標算出処理と異なる点を説明する。
図19に示すように、計測演算部102は、ステップS11の処理を行った後、表示制御部5に全点灯信号を与える(ステップS51)。全点灯信号に応答して、表示制御部5が空間光変調器21の全ての画素を点灯させる。
次に、計測演算部102は、撮影装置101に撮影信号を与える(ステップS52)。撮影信号に応答して、撮影装置101が立体ディスプレイ1の要素表示面2を撮影する。撮影装置101の撮影画像上には、全ての画素を点灯させた状態での光度の分布が現れる。
次に、計測演算部102は、撮影装置101の撮影画像上に現れる光度の分布から、レンズアレイ22の各レンズ220の実際の位置を暫定的に決定する(ステップS53)。具体的には、撮影装置101の撮影画像から、光度の重心点(最も光度が高い位置)が特定される。その重心点に対応する仮想平面VP上の位置と、撮影装置101の撮影中心点Pcとを結ぶ直線上に、各レンズ220の主点220aがあると考えられる。
ここで、レンズアレイ22が空間光変調器に対して1レンズピッチ以上ずれている場合には、撮影装置101の撮影画像上に現れる光度の重心点がどのレンズ220に対応しているかを判断することができない。
そこで、本実施の形態では、全てのレンズ220が理想的な位置から1レンズピッチ以上ずれないようにレンズアレイ22の位置合わせが行われる。それにより、撮影装置101の撮影画像上に現れる光度の重心点から各レンズ220の実際の位置を暫定的に求めることができる。
次に、計測演算部102は、ステップS53で暫定的に決定した各レンズ220の位置に基づいて、各レンズ220に対応する画素を特定する(ステップS54)。
次に、計測演算部102は、表示制御部5に補正用画像表示信号を与える(ステップS55)。補正用画像表示信号に応答して、表示制御部5が空間光変調器21に補正用画像ID1,ID2のいずれか1つを表示させる。表示させる補正用画像の種類は、補正用画像表示信号より指定される。
次に、計測演算部102は、撮影装置101に撮影信号を与える(ステップS56)。撮影信号に応答して、撮影装置101が立体ディスプレイ1の要素表示面2を撮影する。
次に、計測演算部102は、全ての補正用画像ID1,ID2について撮影を行ったか否かを判定する(ステップS57)。上記のように、補正用画像ID1,ID2の数は、レンズアレイ22のレンズピッチと空間光変調器21の画素ピッチとの関係に応じて決定される。
全ての補正用画像ID1,ID2について撮影を行っていない場合、計測演算部102は、ステップS55の処理に戻る。全ての補正用画像ID1,ID2について撮影を行った場合、計測演算部102は、撮影装置101の撮影画像に基づいて、各レンズ220のワールド座標系Cwにおけるレンズ座標P を算出する(ステップS58)。
ステップS58におけるレンズ座標P の算出方法について詳細に説明する。本実施の形態では、複数の補正用画像ID1を空間光変調器21に表示させることにより、ワールド座標系CwのXw軸方向におけるレンズ220の主点220aの座標x が求められる。また、複数の補正用画像ID2を空間光変調器21に表示させることにより、ワールド座標系CwのYw軸方向におけるレンズ220の主点220aの座標y が求められる。
図20は、ワールド座標系CwのXw−Zw平面に沿った模式的側面図である。図20を用いて、ワールド座標系CwのXw軸方向におけるレンズ220の座標の算出方法について説明する。
なお、図20において、ワールド座標系CwのXw軸方向、Yw軸方向およびZw軸方向は、LCD座標系ClのXl軸方向、Yl軸方向およびZl軸方向にそれぞれ平行であり、ワールド座標系CwのXw−Zw平面は、LCD座標系ClのXl−Zl平面に平行である。
図20においては、i番のレンズ220の主点220aの理想的な位置がiP1で示され、i番のレンズ220の主点220aの実際の位置がiP2で示される。また、ワールド座標系CwのXw軸に沿った画素の行PAが示される。i番のレンズ220の主点220aと画素の行PAとは、共通のXw−Zw平面上にある。
上記のステップS54において、各レンズ220に対応する画素が特定される。図20においては、画素の行PAのうち領域RE内の画素がi番のレンズ220に対応付けられる。
上記のステップS55において、複数の補正用画像ID1が順に空間光変調器21に表示されることにより、画素の行PAに含まれる各画素が点灯画素ラインLI1として順に点灯する。その際に、領域RE内の画素のうち、画素Pm21が点灯した際に最も高い光度が得られたとする。
この場合、i番のレンズ220の主点220aは、Xw−Zw平面上において、画素Pm21と撮影装置101の撮影中心点Pcとを結ぶ直線上に位置すると考えられる。
ここで、Xw軸方向における画素Pm21とレンズ220の主点220aとの距離dxは、下記式(5)で表される。
Figure 0005354252
式(5)において、x は、LCD座標系ClのXl軸方向における画素Pm21の座標である。Hは、LCD座標系Clにおける座標をワールド座標系Cwにおける座標に変換するための関数である。
画素Pm21の座標x は、ステップS11(図19)の処理で記憶部6から読み出した基本属性、および用いた補正用画像の種類に基づいて容易に求められる。また、上記のように、LCD座標系Clとワールド座標系Cwとは一義的な関係を有し、LCD座標系Clにおける座標をワールド座標系Cwにおける座標に変換することができる。
また、レンズアレイ22と空間光変調器21との距離をLfとし、画素Pm21と撮影装置101の撮影中心点Pcとを結ぶ直線が空間光変調器21およびレンズアレイ22に対してなす角度をαxとすると、下記式(6)が成立する。
Figure 0005354252
式(6)において、x は、ワールド座標系CwのXw軸方向における撮影装置101の撮影中心点Pcの座標であり、z は、ワールド座標系CwのZw軸方向における撮影装置101の撮影中心点Pcの座標である。
距離Lfは、レンズ220の焦点距離に相当し、ステップS11(図19)の処理で記憶部6から立体ディスプレイ1の基本属性として読み出される。また、上記のように、撮影装置101の撮影中心点Pcの座標x ,z は、一義的に特定される。
式(5)および式(6)から、レンズ220の主点220aの座標x を求めることができる。
なお、eが0でないとする場合には、上式(6)において、LfをLf+eとし、z をz −eとする。
図20においては、複数の補正用画像ID1を空間光変調器21に表示させることにより、ワールド座標系CwのXw軸方向におけるレンズ220の主点220aの座標x を求める方法について説明したが、同様にして、複数の補正用画像ID2を空間光変調器21に表示させることにより、ワールド座標系CwのYw軸方向におけるレンズ220の主点220aの座標y を求めることができる。その場合、ワールド座標系CwのYw−Zw平面において図20と同様の原理を用いる。
また、ez=0とすると、ワールド座標系CwのZw軸方向におけるレンズ220の主点220aの座標z は特定される(z =0)。それにより、i番のレンズ220のレンズ座標iP が求められる。
このようにして、ワールド座標系Cwにおける各レンズ220のレンズ座標P を求めることができる。
(8−3)効果
本実施の形態では、全てのレンズ220が理想的な位置から1レンズピッチ以上ずれないようにレンズアレイ22の位置合わせを行うとともに、補正用画像ID1,ID2を用いて各レンズ220のレンズ座標を算出する。この場合、上記ように各画素を1つずつ点灯させて各レンズ220のレンズ座標を算出する場合と比べて、撮影装置101による撮影回数を大幅に削減することができる。それにより、立体ディスプレイシステム10の製造時に要する時間を大幅に短縮することができる。
(9)さらに他の実施の形態
一般的に、LCD等の表示装置の1ドットは、RGB(red, green, blue)の3つのサブピクセルにより構成される。3つのサブピクセルは、ストライプ状または三角形状に配置される。3つのサブピクセルがストライプ状に配置されている場合、Xl軸方向およびYl軸方向の一方における画素ピッチが他方における画素ピッチの3分の1程度になる。そのため、上記の補正用画像ID1,ID2を用いる場合、補正用画像ID1,ID2の一方が他方に対して3倍の種類必要になる。
上記実施の形態では、ピンホールアレイを用いた場合と同様に光が制御されるレンズアレイ22のモデルを考えたが、画素の位置がレンズ220の主点220aの直下の位置から離れるほど、焦点距離が変化したり、収差が大きくなり、誤差が大きくなる。したがって、レンズ220の厳密な光学的な特性を考慮したモデルに基づいて光が向かう方向を算出することにより、立体画像の質を一層向上することができる。
(10) 請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。
上記実施の形態においては、表示制御部5が補正用画像制御手段および立体画像制御手段の例であり、計測演算部102が修正データ算出手段の例であり、撮影装置101が撮影手段の例であり、記憶部6が記憶手段の例であり、レンズ220またはピンホールPHが光線制御子の例であり、レンズアレイ22またはピンホールアレイが光線制御子アレイの例である。また、ワールド座標系Cwが第1の座標系の例であり、レンズ座標系Ceが第2の座標系の例である。
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。
本発明は、種々の立体形状を提示する立体ディスプレイシステムの製造時および動作時に有効に利用することができる。
本発明の一実施の形態に係る立体ディスプレイシステムにおける立体ディスプレイを示す模式的外観図である。 立体ディスプレイを構成する要素表示面を示す模式的平面図である。 立体ディスプレイを構成する要素表示面を示す模式的断面図である。 レンズによる光の制御機能およびピンホールによる光の制御機能について説明するための図である。 立体画像を提示するための立体画像データの作成方法を説明するための図である。 立体画像データに基づいて立体ディスプレイの空間光変調器に表示される画像を説明するための図である。 立体ディスプレイシステムおよび立体ディスプレイ製造システムの構成を示すブロック図である。 観察点と光度との関係について説明するための模式図である。 撮影装置、レンズアレイおよび空間光変調器の位置関係を示す模式図である。 撮影装置の撮影画像上における光点の光度について説明するための図である。 撮影装置座標系、撮影画像座標系、LCD座標系、レンズ座標系およびワールド座標系の関係について説明するための模式図である。 レンズ座標系およびワールド座標系の関係を説明するための模式図である。 計測演算部の動作を示すフローチャートである。 計測演算部の動作を示すフローチャートである。 計測演算部の動作を示すフローチャートである。 表示制御部の動作を示すフローチャートである。 補正用画像の一例を示す平面図である。 補正用画像を空間光変調器に表示させた場合に点灯画素ラインから発せられる光が向かう方向を示す模式的側面図である。 補正用画像を用いたレンズ座標算出処理のフローチャートである。 ワールド座標系のXw−Zw平面に沿った模式的側面図である。
符号の説明
1 立体ディスプレイ
2 要素表示面
5 表示制御部
6 記憶部
10 立体ディスプレイシステム
21 空間光変調器
22 レンズアレイ
101 撮影装置
102 計測演算部
220 レンズ

Claims (3)

  1. 要素表示面により構成される立体ディスプレイと、
    前記立体ディスプレイの製造時に補正用画像を表示するように前記要素表示面を制御する補正用画像制御手段と、
    前記補正用画像が表示された状態の前記要素表示面を撮影する撮影手段と、
    前記撮影手段により得られた撮影画像に基づいて修正データを算出する修正データ算出手段と、
    前記修正データ算出手段により算出された前記修正データを記憶する記憶手段と、
    立体画像を提示するための立体画像データに基づいて立体画像を提示するように前記要素表示面を制御する立体画像制御手段とを備え、
    前記要素表示面は、
    光を発生する複数の画素により構成される空間光変調器と、
    複数の光線制御子からなり、前記空間光変調器の各画素から発生される光の方向を制御する光線制御子アレイとを含み、
    前記補正用画像制御手段は、前記空間光変調器の前記複数の画素のうち第1の方向に沿った1または複数の画素列を順に点灯させるとともに前記第1の方向に垂直な第2の方向に沿った1または複数の画素列を順に点灯させることにより前記要素表示面に複数種類の前記補正用画像を順に表示させ、
    前記撮影手段は、各補正用画像が前記要素表示面に表示されるごとに前記要素表示面を撮影し、
    前記修正データ算出手段は、前記撮影手段と前記空間光変調器との位置関係および前記撮影手段による複数種類の撮影画像上で前記空間光変調器の各画素に対応する最も光度が高い位置に基づいて、前記光線制御子アレイの各光線制御子の実際の位置を算出し、前記空間光変調器に対する前記光線制御子アレイの予め設定された位置と前記空間光変調器に対する前記光線制御子アレイの実際の位置とのずれ量を前記修正データとして算出し、
    前記立体画像制御手段は、立体画像の提示動作時に、前記記憶手段に記憶された前記修正データを用いて前記立体画像データを作成し、作成した立体画像データに基づいて立体画像を提示するように前記空間光変調器を制御することを特徴とする立体ディスプレイ製造システム。
  2. 前記光線制御子アレイの前記予め設定された位置を基準にX軸、Y軸およびZ軸が定められた座標系を第1の座標系とし、前記光線制御子アレイの実際の位置を基準にX軸、Y軸およびZ軸が定められた座標系を第2の座標系とし、
    前記第1の座標系のX軸方向、Y軸方向、Z軸方向およびZ軸周りの回転方向における前記第1の座標系と前記第2の座標系とのずれ量をそれぞれ示す変数を第1、第2、第3および第4のパラメータとした場合、前記光線制御子アレイの各光線制御子の位置が前記第1、第2、第3および第4のパラメータを用いて第1の座標系における理論座標で表され、
    前記修正データ算出手段は、前記撮影手段と前記空間光変調器との位置関係および前記撮影手段による複数種類の撮影画像上で前記空間光変調器の各画素に対応する最も光度が高い位置に基づいて、前記光線制御子アレイの各光線制御子の前記第1の座標系における座標を実測座標として算出し、前記各光線制御子の前記実測座標と前記理論座標との関係に基づいて前記第1、第2、第3および第4のパラメータの値を修正データとして算出することを特徴とする請求項記載の立体ディスプレイ製造システム。
  3. 立体ディスプレイシステムの製造方法であって、
    前記立体ディスプレイシステムは、要素表示面により構成される立体ディスプレイと、修正データを記憶する記憶手段と、立体画像を提示するための立体画像データに基づいて立体画像を提示するように前記要素表示面を制御する立体画像制御手段とを含み、
    前記要素表示面は、光を発生する複数の画素により構成される空間光変調器と、複数の光線制御子からなり前記空間光変調器の各画素から発生される光の方向を制御する光線制御子アレイとを有し、
    前記立体画像制御手段は、立体画像の提示動作時に、前記記憶手段に記憶された前記修正データを用いて前記立体画像データを作成し、作成した立体画像データに基づいて立体画像を提示するように前記空間光変調器を制御し、
    前記製造方法は、
    前記空間光変調器の前記複数の画素のうち第1の方向に沿った1または複数の画素列を順に点灯させるとともに前記第1の方向に垂直な第2の方向に沿った1または複数の画素列を順に点灯させることにより前記要素表示面に複数種類の補正用画像を順に表示させる工程と、
    各補正用画像が前記要素表示面に表示されるごとに前記要素表示面を撮影手段により撮影することにより複数種類の撮影画像を得る工程と、
    前記撮影手段と前記空間光変調器との位置関係および前記撮影手段による複数種類の撮影画像上で前記空間光変調器の各画素に対応する最も光度が高い位置に基づいて、前記光線制御子アレイの各光線制御子の実際の位置を算出し、前記空間光変調器に対する前記光線制御子アレイの予め設定された位置と前記空間光変調器に対する前記光線制御子アレイの実際の位置とのずれ量を前記修正データとして算出する工程と、
    前記修正データを前記記憶手段に記憶させる工程とを備えることを特徴とする立体ディスプレイシステムの製造方法。
JP2008125391A 2008-05-13 2008-05-13 立体ディスプレイ製造システム、立体ディスプレイシステムおよび立体ディスプレイシステムの製造方法 Expired - Fee Related JP5354252B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008125391A JP5354252B2 (ja) 2008-05-13 2008-05-13 立体ディスプレイ製造システム、立体ディスプレイシステムおよび立体ディスプレイシステムの製造方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008125391A JP5354252B2 (ja) 2008-05-13 2008-05-13 立体ディスプレイ製造システム、立体ディスプレイシステムおよび立体ディスプレイシステムの製造方法

Publications (2)

Publication Number Publication Date
JP2009276410A JP2009276410A (ja) 2009-11-26
JP5354252B2 true JP5354252B2 (ja) 2013-11-27

Family

ID=41441936

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008125391A Expired - Fee Related JP5354252B2 (ja) 2008-05-13 2008-05-13 立体ディスプレイ製造システム、立体ディスプレイシステムおよび立体ディスプレイシステムの製造方法

Country Status (1)

Country Link
JP (1) JP5354252B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10440344B2 (en) 2016-01-27 2019-10-08 Samsung Electronics Co., Ltd. Method and apparatus for correcting image error in naked-eye three-dimensional (3D) display

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5673008B2 (ja) * 2010-08-11 2015-02-18 ソニー株式会社 画像処理装置、立体画像表示装置および立体画像表示システム、ならびに立体画像表示装置の視差ずれ検出方法および立体画像表示装置の製造方法
JP5767500B2 (ja) * 2011-04-06 2015-08-19 日本放送協会 立体画像補正装置およびそのプログラム、ならびに、立体画像表示装置
CN103293683A (zh) * 2012-02-22 2013-09-11 鸿富锦精密工业(深圳)有限公司 柱状透镜式立体显示装置及其制造方法
JP5696107B2 (ja) * 2012-09-11 2015-04-08 株式会社東芝 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
CN103163722B (zh) * 2013-02-21 2016-05-04 中山大学 基于微显示芯片阵列的三维图像显示系统和方法
CN104155765B (zh) * 2013-05-15 2019-09-13 北京三星通信技术研究有限公司 在拼接式集成成像显示器中校正三维图像的方法和设备
CN105578175B (zh) * 2014-10-11 2018-03-30 深圳超多维光电子有限公司 立体显示装置检测系统及其检测方法
EP3024231A1 (en) * 2014-11-21 2016-05-25 Thomson Licensing A method, apparatus and system for correcting for errors of stereoscopic displays
KR102570277B1 (ko) * 2016-11-16 2023-08-24 삼성전자주식회사 3d 영상 장치의 왜곡 보정 방법 및 그 방법을 이용하는 장치
CN111953970B (zh) * 2020-08-28 2022-02-22 中国人民解放军陆军装甲兵学院 一种集成成像三维显示系统单元透镜位置测量方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4272464B2 (ja) * 2003-05-02 2009-06-03 日本放送協会 立体映像補正装置およびその方法
JP4764624B2 (ja) * 2004-12-07 2011-09-07 株式会社 日立ディスプレイズ 立体視表示装置及び立体視用画像生成方法
DE102005001503A1 (de) * 2005-01-07 2006-07-27 Seereal Technologies Gmbh Sweet-Spot-Einheit
JP4832833B2 (ja) * 2005-09-01 2011-12-07 株式会社バンダイナムコゲームス 配置レンズ諸元導出方法、プログラム、情報記憶媒体及び配置レンズ諸元導出装置
US20090002484A1 (en) * 2005-12-20 2009-01-01 Kkoninklijke Philips Electronics, N.V. Method and Apparatus for Correcting Misalignment of a Lenticular in a 3-D Television Receiver

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10440344B2 (en) 2016-01-27 2019-10-08 Samsung Electronics Co., Ltd. Method and apparatus for correcting image error in naked-eye three-dimensional (3D) display

Also Published As

Publication number Publication date
JP2009276410A (ja) 2009-11-26

Similar Documents

Publication Publication Date Title
JP5354252B2 (ja) 立体ディスプレイ製造システム、立体ディスプレイシステムおよび立体ディスプレイシステムの製造方法
US7834944B2 (en) Method for the orientation of a parallax barrier screen on a display screen
CN104778694B (zh) 一种面向多投影拼接显示的参数化自动几何校正方法
US9357206B2 (en) Systems and methods for alignment, calibration and rendering for an angular slice true-3D display
US10867407B2 (en) System and methods for extrinsic calibration of cameras and diffractive optical elements
US11825064B2 (en) Light field display method and system, storage medium and display panel
US20100245824A1 (en) Method for orienting a parallax barrier screen on a display screen
US7583307B2 (en) Autostereoscopic display
CN106097367B (zh) 一种双目立体相机的标定方法及装置
JP2009080578A (ja) 多視点データ生成装置、方法及びプログラム
CN106447727A (zh) 估计3d显示装置的参数的方法和使用其的3d显示装置
JP5633058B1 (ja) 3次元計測装置及び3次元計測方法
JP7141833B2 (ja) 画像処理装置および画像処理プログラム
CN112562014A (zh) 相机标定方法、系统、介质及装置
CN110337674A (zh) 三维重建方法、装置、设备及存储介质
US20210390739A1 (en) Camera intrinsic calibration
CN113534490B (zh) 基于用户眼球追踪的立体显示装置及立体显示方法
CN109782452B (zh) 立体影像产生方法、成像方法与系统
CN106791331B (zh) 基于透镜阵列成像的图像处理方法、装置及成像系统
JP2009223193A (ja) 三次元画像表示装置の製造装置、三次元画像表示装置の製造方法及びレンズ板
CN114967170B (zh) 基于柔性裸眼三维显示设备的显示处理方法及其装置
WO2014119555A1 (ja) 画像処理装置、表示装置及びプログラム
JP2014103502A (ja) 立体画像表示装置、その方法、そのプログラム、および画像処理装置
CN113597758B (zh) 用于校正柱状透镜失真的方法和装置
US11092818B2 (en) Device for displaying stereoscopic images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110427

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130521

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130814

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees