[go: up one dir, main page]

JP6234020B2 - 投影装置、投影装置の制御方法およびプログラム - Google Patents

投影装置、投影装置の制御方法およびプログラム Download PDF

Info

Publication number
JP6234020B2
JP6234020B2 JP2012229043A JP2012229043A JP6234020B2 JP 6234020 B2 JP6234020 B2 JP 6234020B2 JP 2012229043 A JP2012229043 A JP 2012229043A JP 2012229043 A JP2012229043 A JP 2012229043A JP 6234020 B2 JP6234020 B2 JP 6234020B2
Authority
JP
Japan
Prior art keywords
light
image
light emission
flicker
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012229043A
Other languages
English (en)
Other versions
JP2014081480A (ja
JP2014081480A5 (ja
Inventor
巽 栄作
栄作 巽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012229043A priority Critical patent/JP6234020B2/ja
Priority to US14/042,905 priority patent/US9482935B2/en
Publication of JP2014081480A publication Critical patent/JP2014081480A/ja
Publication of JP2014081480A5 publication Critical patent/JP2014081480A5/ja
Application granted granted Critical
Publication of JP6234020B2 publication Critical patent/JP6234020B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Projection Apparatus (AREA)
  • Liquid Crystal Display Device Control (AREA)

Description

本発明は、光源を発光させることで液晶パネル等のホールド型表示デバイスの画像を投影する投影装置等に関するものである。
従来、投影装置はホールド的な表示を行っている。ホールド的な表示とは、例えばフレーム周波数60Hzのフレーム時間16msにおいて同じ画像を表示し続ける表示をいう。
テレビのような直視型表示装置において動画を表示する場合に、ホールド的な表示を行なうと動画がぼやけて見えてしまう。その問題を解決するためにバックライトの点灯を制御するものがある。例えば黒挿入といわれる、黒挿入の時間を長くする技術を用いると、動画の切れを良くすることができる。しかし、黒挿入の時間が長くなるとフレーム周波数60Hzの画像を短い発光により表示されるため、フリッカーが発生してしまうという問題がある。
例えば特許文献2には、元画像を明るく中間画像を暗く発光させる表示装置が開示されている。このような表示装置では、上述した問題をある程度低減できるものの、中間画像の生成ミスが生じた場合に画像が乱れてしまうことがある。
また、例えば特許文献3には、必要な輝度に合わせてバックライトの点灯時間を延ばすような制御を行う映像表示装置が開示されている。
また、例えば特許文献4には、必要な輝度に合わせて中央に近い期間のバックライトの点灯時間を延ばすような制御を行う表示パネルが開示されている。
特開2011−28107号公報 特開2008−70838号公報 特開2002−215111号公報 特開2009−251069号公報
また、特許文献1には、発光輝度を明暗切り替えて発光させるホールド型画像表示装置が開示されている。このようなホールド型画像表示装置では、上述したような問題を低減できる。しかしながら、フレーム周波数60Hzの画像を短い発光により表示した場合にはフリッカーが発生し、フリッカーの発生を防止するために1フレーム中に2回短く発光させると動いている像が2重に見えてしまう。
また、特許文献1、2のように、画像を明暗の2種類にすると、120Hz成分に加えて60Hz成分によってフリッカーが発生するため、明暗差を大きくつけると60Hz成分が増加しフリッカーが強くなり視聴者が見づらくなってしまう。したがって、明暗差をつけることには限界がある。また、元画像と中間画像の形状の違いにより、表示されている対象物の周辺がチラチラして見えるという現象が発生してしまう。
また、特許文献3、4のように、画像を明るくするために長く発光させると、動画ボケといわれる尾引きが強く発生する。
投影装置においても動画を表示しようとすると、直視型表示装置と同様に動きボケやフリッカーが発生してしまう。しかしながら、上述した技術は、直視型表示装置に関する技術であるために、投影装置にそのまま適用することは困難である。
本発明は、上述したような問題点に鑑みてなされたものであり、光源を発光させることで表示部の画像を投影する投影装置においてフリッカーの発生や動画ボケの発生を低減させることを目的とする。
本発明の投影装置は、光源を発光させることで画像を表示させる投影装置であって、画像データを入力する入力手段と、前記入力手段により入力された画像データが示す階調値と、複数の画像投影モードごとに予め異なる値に設定された最大光束値のうち、前記複数の画像投影モードから前記投影装置に適用する画像投影モードとして選択された画像投影モードに対応する最大光束値と、に基づいてフリッカーの知覚されやすさを示すフリッカー情報を決定する評価手段と、前記入力手段により入力された画像データに応じた1フレームの画像に対応する時間内における前記光源の発光回数を、前記評価手段により前記階調値と前記最大光束値とに基づいて決定されたフリッカー情報に基づいて決定するように制御する制御手段と、を有することを特徴とする。
本発明によれば、上述したような問題点に鑑みてなされたものであり、光源を発光させることで表示部の画像を投影する投影装置においてフリッカーの発生や動画ボケの発生を低減させることができる。
第1の実施形態の投影装置の概略構成を示す図である。 第1の実施形態の投影装置の内部構成を示す図である。 第1の実施形態による発光状態を示す図である。 表示パッチの輝度とフリッカーの主観評価との関係の実験を説明するための図である。 表示パッチの2回の発光強度の比率とフリッカーの主観評価との関係の実験を説明するための図である。 第1実施形態の表示光束値と発光強度の比率との関係を示す図である。 第2の実施形態による発光状態を示す図である。 第3の実施形態の映像の見え方と他の映像の見え方を比較した図である。 第3の実施形態による発光状態を示す図である。 第5の実施形態の投影装置の概略構成を示す図である。 第5の実施形態による発光状態を示す図である。 第6の実施形態による発光状態を示す図である。 第7の実施形態の投影装置の概略構成を示す図である。 第7の実施形態による発光状態を示す図である。 第8の実施形態による発光状態を示す図である。 第9の実施形態による発光状態を示す図である。 第10の実施形態の投影装置の概略構成を示す図である。 第10の実施形態による発光状態を示す図である。 第11の実施形態による発光状態を示す図である。 第12の実施形態による発光状態を示す図である。
以下、本発明に係る実施形態について図面を参照して説明する。
(第1の実施形態)
図1は、第1の実施形態に係る投影装置の概略構成を示す図である。本実施形態の投影装置10は、光源にLEDを用いた液晶プロジェクターである。
11は光源としての白色のLEDである。12は集光補正光学系である。13は空間変調素子としての液晶パネルである。液晶パネル13は表示部の一例に対応する。14は投射レンズである。
LED11から照射され前方に拡散された光は、集光補正光学系12によって集光され平行光に変換される。平行光は液晶パネル13に入射され、液晶パネル13に表示されている画像によって変調された光が出力される。変調された光は投射レンズ14によって拡大され、図示しないスクリーンに投影される。
図2は、LEDと液晶パネルを使用した投影装置の内部構成を示す図である。
21は入力された映像を表示装置や視聴者設定に応じて画質を調整する画質調整回路である。22はAPL値を計算するAPL計算回路である。APL計算回路22は、フリッカーの起こり易さを示すフリッカー情報を検出する検出手段の一例に対応する。23は液晶パネル27およびLED26のタイミングを制御するタイミングコントローラである。タイミングコントローラ23は、制御手段の一例に対応する。
24はDAコンバータである。25はLED26を駆動するドライバである。26は光源としてのLEDである。27は空間変調素子としての液晶パネルである。28は液晶パネル駆動用のゲートドライバである。29は液晶パネル駆動用のソースドライバである。
次に、投影装置10の概略動作を説明する。
画質調整回路21は、投影装置10に入力された画像情報としての映像信号(YpbPr信号)に対して液晶パネル27の特性や視聴者の好みをパラメータとして画質調整を行い、最適の画像にしてRGB信号にて出力する。RGB信号は、APL計算回路22およびタイミングコントローラ23に出力される。APL計算回路22は、APL値を計算する。この処理は、APL値算出手段による処理の一例に対応する。ここで、APL値とは平均画像レベル(Average Picture Level)であって、表示する画像の全ピクセルの階調数を平均した値である。また、APL計算回路22は、APL値と、各種設定によって決まる最大光束値とから画面光束値を求める。この詳細は後述する。
タイミングコントローラ23は、液晶パネル27のソースドライバ29にRGB信号から電圧を指示するデジタル値に変換した階調データを送信する。また、タイミングコントローラ23は、ゲートドライバ28に60Hzでスキャンするようなタイミング信号を送信する。ゲートドライバ28およびソースドライバ29により、液晶パネル27のソース電極とゲート電極とが駆動され、図示しない共通電極も合わせて駆動されることで、液晶パネル27に映像が表示される。
次に、LED26の動作について説明する。
タイミングコントローラ23は、電流値設定用のDAコンバータ24に対してLED26に流す電流設定値に相当する電圧値を出力する。例えば、LED26の発光時の電流値として20mAを流すのであれば電流設定値に相当する電圧値を2Vとし、発光時の電流値として4mAを流すのであれば電流設定値に相当する電圧値を0.4Vとする。
図3は、第1の実施形態のLEDの発光状態を示す図である。図3では、横軸が時間経過を示し、縦軸が画面光束値を示している。図3には、画像が暗い時の1回目の光束31、画像が明るい時の1回目の光束32、画像が明るい時の2回目の光束33を示している。
LED11の発光によって生じた光束は、集光補正光学系12で若干減少し、液晶パネル13で表示の平均画像レベル(APL値)分だけ減少し、投射レンズ14でも若干減少して出力される。
元画像のAPL値が小さい時(画像が暗い時)は画面光束値が小さいので、フレーム周波数60Hzの1フレーム内で光束31による1回だけの短い発光を行なっても、フリッカーは発生しない。
元画像のAPL値が大きい時(画像が明るい時)は画面光束値が大きいので、フレーム周波数60Hzの1フレーム内で短い発光を行なうと、フリッカーが発生してしまうことがある。したがって、光束32、33のように2回発光させることで、フリッカーの発生を低減させる必要がある。
ここでは、フリッカーの発生を低減させるために、どれぐらいの明るさの表示から2回発光させる必要があるかを主観評価の結果から決定する。
図4は、表示パッチの輝度とフリッカーの主観評価の関係を実験した結果を示す図である。図4(a)は表示パッチの発光時間と発光強度の関係を示す図である。図4(b)は暗いパッチ41、明るいパッチ42を示す図である。図4(c)は主観評価結果を示すグラフ43である。
主観評価は5段階評価値とし、それぞれ評価の基準を以下のように設定した。
図4におけるフリッカーの主観評価値
5:全くフリッカーを感じない
4:わずかにフリッカーがあるのがわかる
3:我慢できる程度のフリッカーを感じる
2:我慢できない程度のフリッカーを感じる
1:フリッカーが強すぎて見ていられない
この実験では、十分にフリッカーが起こるように発光強度とパッチ面積を設定した。60Hzのフレーム周波数において発光時間を1msと設定し、パッチ面積を300cm2とした。
この表示条件では、表示パッチの輝度は表示パッチの階調を変化させることで行った。ここでは、暗いパッチ41から明るいパッチ42、具体的には0Cd/m2〜200Cd/m2まで変化するように階調を遷移させた。主観評価を実験した結果がグラフ43である。
この結果から、60Hzのフレーム周波数において、デューティ比の小さいインパルス状の発光では、70Cd/m2以下であれば主観評価値が許容限の4以上であり、フリッカーを許容できることがわかった。
投影装置10においては、スクリーンの面積と反射率によって、投影装置10における光束値とスクリーンにおける輝度との関係が以下のように決定される。
輝度=光束/(面積×π)×反射率
この式を置き換えると、
光束=輝度×面積×π/反射率
この関係から、平均的なスクリーンの値として、対角100インチで反射率80%とすると、光束=輝度×11.8となる。
また、より明るく見える設置状況として、対角80インチのスクリーンで反射率90%とすると、光束=輝度×6.7となる。
したがって、上述したように輝度が70Cd/m2以下の場合には、平均的には約800Lumen以下がフリッカーの許容範囲となる。また、設置条件には幅があるので、明るい条件を用いる場合には470Lumen≒約500Lumen以下がフリッカーの許容範囲になる。
次に、光束が500Lmennよりも大きい場合にはフリッカーの発生を低減させるために2回発光をする場合に、どれぐらいの発光強度(光束)の比率で発光させる必要があるかを別の主観評価の実験から決定する。
図5は、表示パッチの2回の発光強度の比率とフリッカーの主観評価の関係を実験した結果を示す図である。図5(a)では1回目の発光時間と発光強度51の関係と、2回目の発光時間と発光強度52の関係とを示している。図5(b)は表示パッチ53を示している。図5(c)は主観評価結果を示すグラフ54である。
1回目と2回目の発光強度による表示パッチの合計の積分輝度が200Cd/m2で一定になるようにして、1回目の発光強度51と2回目の発光強度52との比率を変化させた。表示パッチは面積を300mm2とし、全白表示とした。
主観評価結果により、1回目の発光強度と2回目の発光強度の比率が1.0:0.4以上の場合に主観評価値が4以上になり、フリッカーが許容できることがわかった。
ここで、後の計算を容易にするため、発光強度の比率1.0:0.4を正規化して、0.7:0.3と置き換える。この値は、積分輝度が200Cd/m2の場合の値であるために、上述と同様に明るい条件を用いる場合には、1340Lumen≒約1300Lumenの場合に、0.7:0.3とすればよいことがわかった。
以上のような主観評価の実験結果から、例えば以下のように2回の発光強度の比率を設定する。ここで、2回の発光による合計の表示光束値をD(Lumen)とおく。
(場合1)D≦500Lumen
1回目の発光強度:1.0
2回目の発光強度:0.0
(場合2)500Lumen<D<1300Lumen
1回目の発光強度:1.0−0.3×(D−500)/900
2回目の発光強度:0.3×(D−500)/900
(場合3)D≧1300Lumen
1回目の発光強度:0.7
2回目の発光強度:0.3
ここで、投影装置10の設定値およびモードによってLEDの最大発光強度が決定されると共に、絞りを絞ることによって最大光束値が決定される。
例えば、最大光束値が2000Lumenの投影装置10においてPCモードでは、明るさ設定によって、例えば1000から2000Lumenの間で設定ができる。また、映画モードでは、例えば300から1000Lumenの間で設定ができる。また、暗部コントラストを上げるために、APL値によって絞りを制御して、ダイナミック的に暗くすることもある。その場合には最大光束値が1000Lumenだとすると、最小光束値として例えば8分の1の明るさまで落とすとすると、125Lumenから1000Lumenの間で変化する。APL計算回路22は、APL値に最大光束値を乗算することで表示光束値を求める。この処理は、表示光束値算出手段による処理の一例に対応する。表示光束値は、フリッカー情報の一例であり、フリッカーの起こり易さを示す指標となる。
このように表示光束値が固定値であっても、ダイナミックな変化値であったとしても、そのときの表示光束値に応じて、1回目の発光強度と2回目の発光強度を制御する。
ここで、画面光束値とは瞬間的な光束値であり、積分した通常の光束値は、以下のようになる。
光束値=画面光束値/デューティ
デューティは発光時間の割合である。
なお、表示光束値は、画像内容によって変わる光束値であって以下のようになる。
表示光束値=画面光束値×APL
また、発光強度とは割合を示す値であり、最大発光強度に対する割合である。
図6は、第1実施形態における表示光束値と発光強度の比率との関係を示す図である。
図6では、横軸が表示光束値を示し、縦軸が1回目の発光強度を1.0としたときの2回目の発光強度の比率を示している。図6には、表示光束値から1回目の発光強度と2回目の発光強度の比率を決定する制御線61が示されている。制御線61のうち表示光束値が500Lumen〜1300Lumenの間は、上述した(場合1)と(場合3)との比率を線形に結んでいる。ただし、線形である限られず、曲線状であってもよい。
タイミングコントローラ23は、APL計算回路22により算出された表示光束値を、(場合1)〜(場合3)の制御式または図6の制御線61と照合することで、制御値として発光回数および発光強度の比率を取得する。タイミングコントローラ23は、取得した制御値を用いてLED26を制御する。具体的には、タイミングコントローラ23は、表示光束値が小さい場合にはLED26を1回のみ発光させ、表示光束値が大きい場合にはLED26を2回発光させる。また、タイミングコントローラ23は、表示光束値が大きい場合には表示光束値に応じて1回目の発光強度と2回目の発光強度の比率を変更する。このような処理を1フレーム毎に行うことで、表示される動画のフリッカーおよび動きボケが低減される。なお、上述した(場合1)〜(場合3)の制御式または図6に示す制御線61は、予めタイミングコントローラ23内に記憶されている。
このように本実施形態によれば、フリッカーの起こり易さに応じて1フレーム画像を表示している時間内におけるLEDの発光回数を制御することで、フリッカーの発生および動きボケの発生を低減させることができる。また、LEDを2回発光させる場合に、フリッカーの起こり易さに応じて1回目の発光強度と2回目の発光強度の比率を制御することで、確実にフリッカーの発生を低減することができる。
(第2の実施形態)
次に、第2の実施形態として、フレーム周波数60Hzの元画像から中間画像を生成し、フレーム周波数120Hzで表示する場合において、画像とLEDの発光との関係を説明する。本実施形態では、第1の実施形態の投影装置10を用いる。
図7は、第2の実施形態におけるLEDの発光状態を示す図である。
図7では、横軸が時間経過を示し、縦軸が画面光束値を示している。図7には、画像が暗い時の元画像における光束71、画像が明るい時の元画像における光束72、画像が明るい時の中間画像における光束73を示している。
元画像が暗い時は、第1の実施形態と同様に画面光束値が小さいので、フレーム周波数60Hzの1フレーム内で光束71による1回だけの短い発光を行なっても、フリッカーは発生しない。
一方、元画像が明るい時は、画面光束値が大きいので、フレーム周波数60Hzの1フレーム内で短い発光を行なうと、フリッカーが発生してしまうことがある。したがって、元画像の光束72および中間画像の光束73によって2回発光させることで、フリッカーの発生を低減させる必要がある。なお、中間画像は、タイミングコントローラ23が生成してもよく、図示しない画像生成回路等が生成してもよい。
第2の実施形態では、中間画像を用いるので、第1の実施形態に比べて動きボケが少ない画像を表示することができる。また、中間画像の生成ミスが生じたとしても、2回目の発光が全くないか、1回目の発光の40%程度に抑制されるので、視聴者は中間画像の生成ミスによる画像の乱れを感じにくくなる。
(第3の実施形態)
次に、第3の実施形態における映像の見え方について図8を参照して説明する。本実施形態では、第1の実施形態の投影装置10を用いる。図8は、本実施形態による映像の見え方と他の映像の見え方を比較した図である。
図8(a)は、インパルス発光したフレーム周波数60Hzの表示の見え方を示す図である。
図8(b)は、ホールド発光に黒挿入したフレーム周波数60Hzの表示の見え方を示す図である。
図8(c)は、ホールド発光で明暗をつけた2回点灯表示の見え方を示す図である。
図8(d)は、インパルス発光による2回点灯表示の見え方を示す図である。
図8(e)は、本実施形態による2回点灯表示の見え方を示す図である。
各図において、表示している物体は球状をしており、フレーム毎に右から左へと移動している。各図の縦軸は時間を示し、フレーム周波数60Hzの映像の場合、16.67ms毎に映像が切り替わる。視線の動きを矢印で示す。視線の動きに沿って合成した画像(視聴者に見えている画像)を、一番下に示す。
図8(a)において、81は球の映像がインパルス発光により1フレーム内で見えた形状である。82は球の映像がインパルス発光により数フレームの合成で見えた形状である。
図8(b)において、83は球の映像がホールド発光により1フレーム内で見えた形状である。84は球の映像がホールド発光により数フレームの合成で見えた形状である。
図8(c)において、85は球の映像が明るいホールド発光により1フレーム内で見えた形状である。86は球の映像が暗いホールド発光により1フレーム内で見えた形状である。87は球の映像がホールド発光により数フレームの合成で見えた形状である。
図8(d)において、88は球の映像がインパルス発光の1回目の発光により1フレーム内で見えた形状である。89は球の映像がインパルス発光の2回目の発光により1フレーム内で見えた形状である。90は球の映像がインパルス発光により数フレームの合成で見えた形状である。
図8(e)において、91は球の映像がインパルス発光の明るい発光により1フレーム内で見えた形状である。92は球の映像がホールド発光の暗い発光により1フレーム内で見えた形状である。93は球の映像が本実施形態による発光により数フレームの合成で見えた形状である。
図8(a)では、インパルス発光により、各フレーム毎に第1の発光時間だけを表示するものである。その各画像の見え方は形状81に示すように球状に近く、数フレーム合成して見える画像は形状82のように球状に近い。よって、物体の動きに対する見え方は最も良いものである。しかしながら、フレーム周波数60Hzでインパルス発光をするとフリッカーがひどく発生してしまうため、明るく表示することができない。
図8(b)では、ホールド発光により、各フレーム毎に第1の発光時間だけを表示するものである。発光時間は形状83に示すように長くなる(ホールド的発光表示)。これを視線の動き方向に数フレーム足し合わせると、形状84に示すように、楕円形に変形して見える。黒挿入をして、ホールド時間を半分にしているので、程度は多少よくなるものの変形してしまう。黒挿入の時間を更に長くすることで変形しなくなるが、逆にインパルス発光に近づいてしまうため、図8(a)と同じようになり、フリッカーがひどく発生してしまう。
フリッカーの発生を防ぐために、以下のように1フレーム内で2回の発光を行なう。
図8(c)では、第1の発光時間に対し明るいホールド発光によって見える形状85と、第2の発光期間に対し暗いホールド発光によって見える形状86とがある。それらを視線の動きに合わせて合成して見える形状87は、明るい楕円と尾引きのような暗い楕円とに見える。
図8(d)は、球状に見えるように、インパルス発光させたものである。
図8(d)では、1回目のインパルス発光によって見える形状88は、球に近く見える。2回目のインパルス発光によって見える形状89も球に近く見えるが、時間的に遅れて表示されるので、視線の動きから外れてしまう。それらを視線の動きに合わせて合成して見える形状90は、球を2重にしたような、いわゆる2重ブレと呼ばれ、画質品位的に良くない見え方である。
図8(e)は、本実施形態の見え方を示す。
図8(e)では、1回目の明るいインパルス発光によって見える形状91は、球に近く見える。2回目の暗いホールド発光によって見える形状92は、暗い楕円状になっている。それらを視線の動きに合わせて合成して見える形状93は、明るい球状の画像に、暗い楕円がつながっているものである。つまり、動いている形状と同じ形状が明るく見えて、後方に尾引きのような暗い映像がつながっているように見える。形状93の見え方は、形状84や形状87のように形状が変形しているものではなく、形状90のように2重に見えているものでもない。なお、形状93には、暗い尾引きが見えるが、物体の動きの見え方として自然であり視聴者に許容されやすい見え方である。
図9は、第3の実施形態におけるLEDの発光状態を示す図である。
図9では、横軸が時間経過を示し、縦軸が画面光束値を示している。図9には、1フレーム目の元画像における明るく短い光束95、1フレーム目の元画像における暗く長い光束96、2フレーム目の元画像における明るく短い光束97、2フレーム目の元画像における暗く長い光束98を示している。
図9に示すように、LED11の発光を1フレーム内で明るく短い発光と暗く長い発光とすることで、図8(e)に示すような表示が得られる。この表示は、物体の動きの見え方として、第1の実施形態に示したものよりも自然であり、視聴者に許容されやすい見え方である。
(第4の実施形態)
次に、第4の実施形態として第2の実施形態と第3の実施形態との両方を兼ね備えたものについて説明する。本実施形態では、第1の実施形態の投影装置10を用いる。
第4の実施形態では、第2の実施形態のように元画像と中間画像とを交互に表示し、LED11は第3の実施形態のように、明るく短い光束と暗く長い光束とを繰り返して表示する。すなわち、元画像の表示時に明るく短い光束として、中間画像の表示時に暗くて長い光束とする。
このように表示することで、元画像はくっきりと見え、中間画像はぼやけたようになるので、中間画像の生成ミスによる画像の乱れが目立たなくなる。また、合計として120Hzの発光になるので、フリッカーは発生しない。
第1〜第4の実施形態の投影装置10では、光源として白色のLED11を用いる場合について説明したが、この場合に限られない。例えば、光源としてRGBの3色のLEDを用いて、それぞれの色毎に3枚のLCD等の空間変調素子を用いる構成にしてもよく、第1〜第4の実施形態において説明した光源制御を行うことで、同様の効果を有する。
(第5の実施形態)
次に、第5の実施形態では光源にランプを用いた投影装置について説明する。光源にランプを用いる場合、光源にLEDを用いる場合と比べて光量を素早く制御することが困難である。以下では、光源にランプを用いた投影装置の構成および制御方法について説明する。
図10(a)は、第5の実施形態に係る投影装置の概略構成を示す図である。図10(b)は、回転ホイール102の構成を示す正面図である。本実施形態の投影装置100は、光源にランプを用いると共に回転ホイールを用いた液晶プロジェクターである。
101は光源としてのランプである。12は集光補正光学系である。13は空間変調素子としての液晶パネルである。102は回転モータ等により回転する回転ホイールである。14は投射レンズである。
図10(b)に示すように回転ホイール102は、狭いスリット間隔の透明部(第1の透過部)102aと、広いスリット間隔のハーフグレイ部(第2の透過部)102bとが円周方向に所定の間隔で形成されている。透明部102aはハーフグレイ部102bよりも光の透過率が大きい。回転ホイール102は、1回転で透明部102aとハーフグレイ部102bとが液晶パネル13と投射レンズ14との間を2回通過する2周期で構成されている。なお、2周期に限られず、3周期以上にすることで回転ホイール102の回転数を低く抑えることができる。タイミングコントローラ23は回転モータを介して回転ホイール102を表示のタイミングに合わせて回転させる。
ランプ101から照射され前方に拡散された光は、集光補正光学系12によって集光され平行光に変換される。平行光は液晶パネル13に入射され、液晶パネル13に表示されている画像によって変調された光が出力される。変調された光のうち回転ホイール102の透明部102aまたはハーフグレイ部102bを透過した光のみが投射レンズ14に出射される。そして、投射レンズ14によって拡大された光が、図示しないスクリーンに投影される。なお、投影装置100の内部構成は、図2に示す投影装置のLED等をランプ101等に置換することで構成することができる。
図11は、第5の実施形態における投影装置100の発光状態を示す図である。
図11では、横軸が時間経過を示し、縦軸が画面光束値を示している。図11には、1フレーム目の元画像における明るく短い光束111、1フレーム目の元画像における暗く長い光束112、2フレーム目の元画像における明るく短い光束113、2フレーム目の元画像における暗く長い光束114を示している。光束111、113が透明部102aを透過したものであり、光束112、114がハーフグレイ部102bを透過したものである。
ランプ101はLED11のように短時間での光量制御が困難である。そこで、本実施形態の投影装置100では、回転ホイール102を回転させることで、短く明るい発光状態と、長くて暗い発光状態を実現させる。したがって、本実施形態でも、図8(e)に示すような表示が得られる。
また、ランプ101は、LED11に比べて光量が大きいために、回転ホイール102で光量が減少する分を差し引いても、LED11を用いた投影装置よりも明るい投影が可能である。
(第6の実施形態)
次に、第6の実施形態における中間画像を使用した表示について説明する。本実施形態では、第5の実施形態の投影装置100を用いる。
図12は、第6の実施形態における投影装置100の発光状態を示す図である。
図12では、横軸が時間経過を示し、縦軸が画面光束値を示している。図12には、1フレーム目の元画像における明るく短い光束121、1フレーム目の中間画像における暗く長い光束122、2フレーム目の元画像における明るく短い光束123、2フレーム目の中間画像における暗く長い光束124を示している。光束121、123が透明部102aを透過したものであり、光束122、124がハーフグレイ部102bを透過したものである。
第6の実施形態では中間画像を使用しているので、第5の実施形態と比べて、動画ボケの少ない画像を表示することが可能である。
このように光源にランプ101を用いた投影装置100であっても、短く明るい発光状態と長くて暗い発光状態とを実現でき、長くて暗い発光により尾引きが見えるため、物体の動きの見え方として自然であると視聴者に感じさせることができる。
(第7の実施形態)
次に、第7の実施形態では光源にランプとLEDとの2つを用いたハイブリッド光源の投影装置130について説明する。
図13は、第7の実施形態に係る投影装置の概略構成を示す図である。本実施形態の投影装置130は、光源にランプ(第1の光源)とLED(第2の光源)とを用いた液晶プロジェクターである。
131は光源としての白色のLEDである。132は光源としてのランプである。133は2方向からの光を合成するプリズムである。12は集光補正光学系である。13は空間変調素子としての液晶パネルである。14は投射レンズである。投影装置130では、LED131とランプ132の両方の光を組み合わせることで、所望の条件の光束を得ることができる。具体的な光束について、以下に説明する。なお、投影装置130の内部構成は、図2に示す投影装置のLEDに並列させてランプ132等を追加することで構成することができる。
図14は、第7の実施形態における発光状態を示す図である。
図14では、横軸が時間経過を示し、縦軸が画面光束値を示している。図14には、1フレーム目の元画像に対するLEDの明るく短い光束141、ランプによる暗くて連続的な発光142、2フレーム目の元画像に対するLEDの明るく短い光束143を示している。LED131を発光するタイミングは、1フレーム内の前半に行なう必要がある。
タイミングコントローラ23は、ランプ132を全体の発光量の約1/3〜約4/5になるように常時発光させ、LED131を全体の発光量の約1/5〜約1/3になるように瞬間的に明るく発光させる。このように発光させることで、視聴者には両方の発光が足し合わされて見える。動いている表示部分ではLED131による切れの良い表示に続き、ランプ132による尾引きが足し合わされて見える。このような見え方は、物体の動きの見え方として自然であると視聴者に感じさせることができる。
このように見えるのは、LED131の発光するタイミングを1フレーム内の前半にしているためである。仮に、LED131の発光するタイミングを1フレーム内の後半にした場合には、ランプ132による尾引き成分が、動きの前側に見えてしまい、不自然に見えてしまう。
また、LED131の短い発光だけでは、フリッカーが発生してしまうが、ランプ132による連続的な発光によって、フリッカーの発生を低減することができる。
ここでは、図5の主観評価結果に基づいて、1フレームあたりのLED131の発光による光束とランプ132の発光による光束との比率は0.33:0.67を基本とする。ただし、タイミングコントローラ23は、動き特性を重視する場合には、LED:ランプ=0.67:0.33とし、フリッカーの抑制を重視する場合には、LED:ランプ=0.2:0.8というように変更することができる。
(第8の実施形態)
次に、第8の実施形態における中間画像を使用した表示について説明する。本実施形態では、第7の実施形態の投影装置130を用いる。
図15は、第8の実施形態における投影装置130の発光状態を示す図である。
図15では、横軸が時間経過を示し、縦軸が画面光束値を示している。図15には、1フレーム目の元画像におけるLEDの明るく短い光束151、ランプによる暗くて連続的な発光152、2フレーム目の元画像におけるLEDの明るく短い光束153、2フレーム目の中間画像におけるLEDの暗く短い光束154を示している。ここでは、2フレーム目の中間画像ごとに1回の割合で暗く短い発光を行っている。
図15に示すように、LED131の発光するタイミングは元画像において発光させ、中間画像では発光させないか、またはLED131を暗く発光させる。
第8の実施形態では中間画像を使用しているので、第7の実施形態と比べて、尾引きを小さくすることができる。また、第2、第6の実施形態と同様に、中間画像の生成ミスによる画像の乱れが目立たなくなる。また、図15に示す光束154のようにLED131を暗く発光させることで、第7の実施形態に比べて、更にフリッカーの発生を低減させることができる。
(第9の実施形態)
次に、第9の実施形態ではランプ光源の光束を脈動させてフリッカーの発生を低減させる場合について説明する。本実施形態では、第7の実施形態の投影装置130を用いる。
図16は、第9の実施形態における投影装置130の発光状態を示す図である。
図16では、横軸が時間経過を示し、縦軸が画面光束値を示している。図16には、1フレーム目の元画像におけるLEDの明るく短い光束161、ランプによる脈動的な発光162、2フレーム目の元画像におけるLEDの明るく短い光束163を示している。
図16に示すように、LED131の発光するタイミングは元画像において発光させ、中間画像では発光させない。また、図16に示すように、ランプ132は元画像では若干暗く、中間画像では若干明るくなるように脈動的に発光させる。
この脈動の比率を具体的に説明する。
例えばLED:ランプ=0.33:0.67の場合において、ランプの平均光束を0.67に対しランプの暗い光束:明るい光束=0.4:0.6とした場合は、ランプの暗い光束:明るい光束=0.27:0.4と置き換えられるので、以下の式となる。
LED+暗いランプによる光束=0.33+0.27=0.6
明るいランプによる光束=0.4
計算結果により、元画像と中間画像における光束の比率は、0.6:0.4、すなわち1.0:0.67なので、図5の主観評価結果を参照すると、フリッカーは発生しない。
例えばLED:ランプ=0.5:0.5の場合には、上述と同様に計算すると、元画像と中間画像における光束の比率は、0.7:0.3、すなわち1.0:0.42なので、図5の主観評価結果を参照すると、フリッカーは発生しない。
第9の実施形態では、ランプを脈動させて発光することで、LEDの発光によるフリッカーの発生を削減することができる。
上述した第7〜第9の実施形態では、ランプ132とLED131とを合わせて光源にすることで全体の光量を大きくすることが可能である。また、ランプ132が切れた場合等には緊急的にLED131のみによる投影が可能である。
(第10の実施形態)
次に、第10の実施形態では絞りの開閉をダイナミックに制御する投影装置170について説明する。
図17は、第10の実施形態に係る投影装置の概略構成を示す図である。本実施形態の投影装置170は、ランプと絞り機構を用いた液晶プロジェクターである。
101は光源としてのランプである。12は集光補正光学系である。13は空間変調素子としての液晶パネルである。171は導光レンズである。172は絞り機構である。14は投射レンズである。絞り機構172は、機械的な回転機構により開閉する絞りであってもよく、電磁絞りであってもよく、液晶等による光学的な絞りであってもよい。タイミングコントローラ23は絞り機構172を表示のタイミングに合わせて開閉する。なお、投影装置170の内部構成は、図2に示す投影装置のLED等をランプ101等に置換することで構成することができる。
図18は、第10の実施形態における投影装置170の発光状態を示す図である。
図18では、横軸が時間経過を示し、縦軸が画面光束値を示している。図18には、1フレーム目の元画像における明るく短い光束181、1フレーム目の元画像における暗く長い光束182、2フレーム目の元画像における明るく短い光束183、2フレーム目の元画像における暗く長い光束184を示している。ここでは、光束181、183では絞り機構172を全開させ、光束182、184では絞り機構172を3分の1開放させ、それ以外では絞り機構172を全閉させている。
ランプ101はLED11のような短時間での光量制御が困難である。そこで、本実施形態の投影装置170では、絞り機構172を用いることで、短く明るい発光状態と、長くて暗い発光状態を実現させる。すなわち、タイミングコントローラ23はフリッカーの起こり易さに応じて1フレーム画像を表示している時間内における絞り機構172の開閉を制御することで、ランプ101の発光回数や発光時間を制御する。したがって、図8(e)に示すような表示が得られる。
また、ランプ101は、LED11に比べて光量が大きいために、絞り機構172で光量が減少する分を差し引いても、LED11を用いた投影装置よりも明るい投影が可能である。
(第11の実施形態)
次に、第11の実施形態における中間画像を使用した表示について説明する。本実施形態では、第10の実施形態の投影装置170を用いる。
図19は、第11の実施形態における投影装置170の発光状態を示す図である。
図19では、横軸が時間経過を示し、縦軸が画面光束値を示している。図19には、1フレーム目の元画像における明るく短い光束191、1フレーム目の中間画像における暗く長い光束192、2フレーム目の元画像における明るく短い光束193、2フレーム目の中間画像における暗く長い光束194を示している。ここでは、光束191、193では絞り機構172を全開させ、光束192、194では絞り機構172を3分の1開放させ、それ以外では絞り機構172を全閉させている。
第11の実施形態では中間画像を使用しているので、第10の実施形態と比べて、動画ボケの少ない画像を表示することが可能である。
(第12の実施形態)
次に、第12の実施形態における発光状態について説明する。本実施形態では、第10の実施形態の投影装置170を用いる。
図20は、第12の実施形態における投影装置170の発光状態を示す図である。
図20では、横軸が時間経過を示し、縦軸が画面光束値を示している。図20には、1フレーム目の元画像における明るく短い光束201、一定レベルの発光による光束202、2フレーム目の元画像における明るく短い光束203を示している。ここでは、光束201では絞り機構172を全開させ、光束202では絞り機構172を5分の1開放させている。
タイミングコントローラ23は、表示する時間の全体に亘って、絞り機構172を5分の1程度開けておき、1フレームの前半部分において短い時間だけ絞り機構172を全開にする。
第12の実施形態ではランプ101と絞り機構172を用いることで、短く明るい発光状態と、非常に長くて暗い発光状態とを実現させる。したがって、LED11を用いることなく、第7の実施形態と同様の発光状態にすることができ、同様の効果が得られる。
以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更等が可能である。
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するプログラムを、ネットワークまたは各種記憶媒体を介して投影装置に供給し、投影装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
本発明はリアプロジェクター、フロントプロジェクター、映画投影装置等、ホールド型表示デバイスを光源によって投影する投影装置に利用することができる。
10:投影装置 11:LED 12:集光補正光学系 13:液晶パネル 14:投射レンズ 21:画質調整回路 22:APL計算回路 23:タイミングコントローラ 24:DAコンバータ 25:ドライバ 26:LED 101:投影装置 101:ランプ 102:回転ホイール 130:投影装置 131:LED 132:ランプ 133:プリズム 170:投影装置 171:レンズ 172:絞り機構

Claims (11)

  1. 光源を発光させることで画像を表示させる投影装置であって、
    画像データを入力する入力手段と、
    前記入力手段により入力された画像データが示す階調値と、複数の画像投影モードごとに予め異なる値に設定された最大光束値のうち、前記複数の画像投影モードから前記投影装置に適用する画像投影モードとして選択された画像投影モードに対応する最大光束値と、に基づいてフリッカーの知覚されやすさを示すフリッカー情報を決定する評価手段と、
    前記入力手段により入力された画像データに応じた1フレームの画像に対応する時間内における前記光源の発光回数を、前記評価手段により前記階調値と前記最大光束値とに基づいて決定されたフリッカー情報に基づいて決定するように制御する制御手段と、を有することを特徴とする投影装置。
  2. 前記制御手段は、フリッカーが知覚されやすいことを示すフリッカー情報が前記評価手段により決定された場合には、前記1フレームの画像に対応する時間内における前記光源の発光回数を2回にすると共に、前記フリッカー情報に応じて前記光源の1回目の発光における発光強度と2回目の発光における発光強度との比率を制御することを特徴とする請求項1に記載の投影装置。
  3. 前記制御手段は、前記光源の前記1回目の発光における発光強度に比べて前記2回目の発光における発光強度を小さくすることを特徴とする請求項2に記載の投影装置。
  4. 前記制御手段は、前記光源の前記1回目の発光における発光時間に比べて前記2回目の発光における発光時間を長くすることを特徴とする請求項2または3に記載の投影装置。
  5. 前記入力手段により入力された画像データから中間画像データを生成する生成手段を有し、
    前記評価手段により決定された前記画像データについてのフリッカー情報が、フリッカーが知覚されやすいことを示ている場合、
    前記制御手段は、前記画像データに応じた画像を表示する時間内において前記光源に1回目の発光をさせ、前記中間画像データに応じた中間画像を表示する時間内において前記光源に2回目の発光をさせる一方、
    前記評価手段により決定された前記画像データについてのフリッカー情報が、フリッカーが知覚されやすいことを示していない場合、
    前記制御手段は、前記画像データに応じた画像を表示する時間内において前記光源に発光をさせ、前記中間画像データに応じた中間画像を表示する時間内において前記光源を発光させないことを特徴とする請求項1ないし4の何れか1項に記載の投影装置。
  6. 前記評価手段は、
    前記入力手段によって入力された画像データに基づいて画像の階調値を平均したAPL値を算出するAPL値算出手段と、
    前記APL値算出手段により算出されたAPL値と、前記複数の画像投影モードから選択された画像投影モードに対応する最大光束値とに基づいて表示光束値を算出する表示光束値算出手段と、を有し、
    前記フリッカー情報は、前記表示光束値算出手段により算出された表示光束値であることを特徴とする請求項1ないし5の何れか1項に記載の投影装置。
  7. 前記制御手段は、前記表示光束値算出手段により算出された表示光束値が500Lumenよりも大きい場合に、前記1フレームの画像に対応する時間内における前記光源の発光回数を2回とし、前記表示光束値算出手段により算出された表示光束値が500Lumen以下である場合に、前記1フレームの画像に対応する時間内における前記光源の発光回数を1回にすることを特徴とする請求項6に記載の投影装置。
  8. 前記制御手段は、前記入力手段により入力された画像データに応じた画像を表示する時間内において前記光源に第1の発光と、前記第1の発光よりも発光時間が長い第2の発光をさせる場合において、前記第1の発光が前記第2の発光よりも明るくなるように前記光源による発光を制御することを特徴とする請求項1ないし7の何れか1項に記載の投影装置。
  9. 前記複数の画像投影モードには、PCモードと、前記PCモードより最大光束値が低い映画モードが少なくとも含まれることを特徴とする請求項1ないし8の何れか1項に記載の投影装置。
  10. 光源を発光させることで画像を表示させる投影装置の制御方法であって、
    画像データを入力する入力ステップと、
    前記入力ステップにより入力された画像データが示す階調値と、複数の画像投影モードごとに予め異なる値に設定された最大光束値のうち、前記複数の画像投影モードから前記投影装置に適用する画像投影モードとして選択された画像投影モードに対応する最大光束値と、に基づいてフリッカーの知覚されやすさを示すフリッカー情報を決定する評価ステップと、
    前記入力ステップにより入力された画像データに応じた1フレームの画像に対応する時間内における前記光源の発光回数を、前記評価ステップにより前記階調値と前記最大光束値とに基づいて決定されたフリッカー情報に基づいて決定するように制御する制御ステップと、を有することを特徴とする制御方法。
  11. 請求項10に記載の制御方法をコンピュータに実行させるためのプログラム。
JP2012229043A 2012-10-16 2012-10-16 投影装置、投影装置の制御方法およびプログラム Expired - Fee Related JP6234020B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012229043A JP6234020B2 (ja) 2012-10-16 2012-10-16 投影装置、投影装置の制御方法およびプログラム
US14/042,905 US9482935B2 (en) 2012-10-16 2013-10-01 Projection apparatus, method for controlling projection apparatus, and program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012229043A JP6234020B2 (ja) 2012-10-16 2012-10-16 投影装置、投影装置の制御方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2014081480A JP2014081480A (ja) 2014-05-08
JP2014081480A5 JP2014081480A5 (ja) 2015-11-26
JP6234020B2 true JP6234020B2 (ja) 2017-11-22

Family

ID=50785720

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012229043A Expired - Fee Related JP6234020B2 (ja) 2012-10-16 2012-10-16 投影装置、投影装置の制御方法およびプログラム

Country Status (1)

Country Link
JP (1) JP6234020B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017200104A (ja) * 2016-04-28 2017-11-02 キヤノン株式会社 プロジェクタおよびプロジェクタシステム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002148712A (ja) * 2000-11-14 2002-05-22 Seiko Epson Corp 投射型液晶表示装置
JP4079793B2 (ja) * 2003-02-07 2008-04-23 三洋電機株式会社 表示方法、表示装置およびそれに利用可能なデータ書込回路
JP2004354717A (ja) * 2003-05-29 2004-12-16 Seiko Epson Corp 表示装置および投射型表示装置
JP3742093B2 (ja) * 2004-02-19 2006-02-01 シャープ株式会社 映像表示装置
JP3816505B2 (ja) * 2004-02-19 2006-08-30 シャープ株式会社 映像表示装置および映像表示方法
JP5227502B2 (ja) * 2006-09-15 2013-07-03 株式会社半導体エネルギー研究所 液晶表示装置の駆動方法、液晶表示装置及び電子機器
JP2010141370A (ja) * 2007-04-11 2010-06-24 Taiyo Yuden Co Ltd 映像表示装置および方法およびこれに組み込まれる信号処理回路および液晶バックライト駆動装置
JP2009042603A (ja) * 2007-08-10 2009-02-26 Seiko Epson Corp プロジェクタ
JP5211732B2 (ja) * 2008-02-14 2013-06-12 ソニー株式会社 点灯期間設定方法、表示パネルの駆動方法、点灯条件設定装置、半導体デバイス、表示パネル及び電子機器
JP2010008871A (ja) * 2008-06-30 2010-01-14 Funai Electric Co Ltd 液晶表示装置
JPWO2011010357A1 (ja) * 2009-07-21 2012-12-27 Necディスプレイソリューションズ株式会社 絞り制御回路、プロジェクター装置、絞り制御プログラム及び絞り制御方法
JP2011028107A (ja) * 2009-07-28 2011-02-10 Canon Inc ホールド型画像表示装置及びその制御方法

Also Published As

Publication number Publication date
JP2014081480A (ja) 2014-05-08

Similar Documents

Publication Publication Date Title
JP4337673B2 (ja) 表示装置および方法、記録媒体、並びにプログラム
US8115728B2 (en) Image display device with reduced flickering and blur
JP5568088B2 (ja) 液晶表示装置および液晶表示装置に画像を表示する方法
JP5125215B2 (ja) 映像表示装置及び映像表示方法
JP6249688B2 (ja) 表示装置、表示方法およびプログラム
US9071800B2 (en) Display unit and displaying method for enhancing display image quality
WO2009096068A1 (ja) 画像表示装置および画像表示方法
JP5174957B2 (ja) 表示制御装置、液晶表示装置、プログラムおよびそのプログラムを記録した記録媒体
JP2009543113A (ja) 動作適応型の黒データの挿入
JP2005527854A (ja) デューティサイクルの変化におけるモーションブラーの減少
JP6050601B2 (ja) 液晶表示装置
CN109493787B (zh) 调整动态模糊效果的方法及显示系统
JP6257225B2 (ja) 表示制御装置、表示制御装置の制御方法、及びプログラム
JP3816505B2 (ja) 映像表示装置および映像表示方法
US20120113222A1 (en) Video signal processing apparatus, video signal processing method, and computer program
US9482935B2 (en) Projection apparatus, method for controlling projection apparatus, and program therefor
Chen et al. Mixed color sequential technique for reducing color breakup and motion blur effects
JP6234020B2 (ja) 投影装置、投影装置の制御方法およびプログラム
JP4038204B2 (ja) 映像表示装置
JP2009110020A (ja) 表示装置および方法、記録媒体、並びにプログラム
JP5204268B2 (ja) 液晶表示装置
JP6029295B2 (ja) バックライト制御装置、バックライト制御方法及びプログラム
JP2009134299A (ja) 表示装置および方法、記録媒体、並びにプログラム
JP2013186255A (ja) バックライト制御装置、バックライト制御方法及びプログラム
JP2010044194A (ja) 画像表示装置およびバックライト制御回路

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151007

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171024

R151 Written notification of patent or utility model registration

Ref document number: 6234020

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees