JP6967703B2 - 高速表示装置、高速表示方法及びリアルタイム計測投影装置 - Google Patents

Description

本開示は、動画を高速かつ高階調で表示するための装置及び方法並びに同装置を利用したリアルタイム計測投影装置に関する。

動画は、一連の静止画を２４ｆｐｓ或いは６０ｆｐｓの速度で表示することにより、対象があたかも連続的に動くような印象を与えるものである。観る者が視線を動かさずに動画を見た場合には、多くの場合違和感を生じさせることはない。しかしながら、３６０度視野のアトラクションや、移動する物体に対するプロジェクション・マッピングに於ける場合などのように、投影された高速で動く画像を、観る者の視線が追従したり、高速で移動する物体に動画を投影した場合には、画像の動きが間歇的に感ずるなどの違和感を生じさせる場合があることが知られている。

そこで、ＤＭＤ(デジタル・マイクロミラー・デバイス)等の高速投影素子を用いることにより、例えば１，０００ｆｐｓの速度（フレームレート）で動画を投影することが考えられる。しかしながら、画像をフルカラー（２４ｂｉｔカラー）で表示しようとすると、ＤＭＤの応答速度も不足であるし、画像描画に要する演算量が膨大となり、従来のＣｏｄｅｃやＧＰＵで対応することが困難となる。また、ＨＤＭＩ（登録商標）などの映像伝送規格も、そのような大量のデータの伝送に適さない。

特許文献１には、動画の各画素を時間的に分割された複数のセグメントからなり、各セグメントが複数のサブフィールドからなるものとして、各サブフィールドには輝度に対する重み付けがなされ、それぞれの画素についてどのサブフィールドを組み合わせるかに応じて所望の中間調が得られるようにする技術について記載されている。しかしながら、高階調を達成しようとすると比較的多数のセグメントを設定し、短時間で所要の演算及び伝送処理を行わなければならず、高フレームレートで動画を投影或いは表示しようとすると、市販されているデバイスでは、十分な高階調を達成することが困難である。

近年開発が進められている、移動する物体に対するプロジェクション・マッピングの分野では、ＤＭＤ（デジタル・マイクロミラー・デバイス）と、高速度カメラとを組み合わせて、Ｉｒパターン光で計測を行いながら１０００ｆｐｓの高速表示を行う装置が用いられる。この場合、表示パターン制御を高速で行う必要があり、例えば、ＤＭＤのミラーを時分割でＯＮ／ＯＦＦして映像の階調を作成することができる。しかしながら、Ｉｒパターン光を間に挿入しながら映像投影を行うような場合、画面全領域の更新が必要であるため、ＤＭＤの速度を持ってしても、１０００分の１秒間に構成できる階調数は少ない。例えばＲＧＢ３色を用い、階調を４ｂｉｔ表示とすると、１２ｂｉｔカラーとなるため、階調が不足する。また、Ｉｒパターン光を間に挿入しない場合であっても、移動する物体に高フレームレート動画を再生したい場合は、やはりフレーム境界で全画面を更新する必要があり、１０００分の１秒間に構成できる階調数は少なくなる。

本開示は、ＤＭＤなどの表示デバイスや伝送及び処理装置の限界による制約の下で、動画の再生を高速かつ高階調で行うことを目的とする。

特許第４００８１７８号公報

本開示の高速表示装置は、第１のビット数を有する元の階調値で表現される第１の映像情報を第１のフレームレートで入力する映像情報入力部と、元の階調値に対応して、第１のビット数よりも小さい第２のビット数を有する変動階調値をＭ（２以上の整数）個含むセットを生成する変動階調値出力部と、Ｍ個の変動階調値のセットに含まれる各変動階調値をＭ枚のフレームに分配することにより、第１のフレームレートのＭ倍に等しい第２のフレームレートを有する第２の映像情報を生成する映像情報出力部と、第２の映像情報に基づき映像を表示する表示部と、を備え、変動階調値のセットにおいてＭ個の変動階調値の総和と第１のビット数の階調値とが等しく、変動階調値出力部は、元の階調値のそれぞれに対応するＭ個の変動階調値のセットを生成する際に、０〜Ｍ−１までのいずれかの値Ｎを有する変動値をＮ＋１番目の変動階調値に対応して出力する変動値出力部と、変動値Ｎに対応して、元の階調値と変動値Ｎとの和を、変動値のセットを構成する変動値の数Ｍにより除し、得られた商の小数点以下を切り捨てることにより、Ｎ＋１番目の変動階調値を生成する画像減色部とを有する。

本開示によれば、高階調の映像を、複数のフレームに分配された変動階調値としての低階調の階調値を時間的に変化させて表現することから、例えば動く物体にあわせて表示内容を変化させる高フレームレートの映像が、内容は低階調の映像データであるにもかかわらず、その動きを追いながら観る者にとっては、あたかも高階調の映像として表示させることができる。そのため、伝送時点では低フレームレート（第１のフレームレート）の高階調（第１のビット数の階調）であった映像を、高フレームレート（第２のフレームレート）の低階調（第２のビット数の階調）の映像に変換するが、観る者にとっては、あたかも高速に運動する物体に追従する（高フレームレート）の高階調の映像として視認される。

本開示の或る側面によれば、変動階調値の各セットに於ける変動階調値が、可能な限りに於いて、少なくとも増減が１回ずつ出現するような順序をもって表示される。または、変動階調値の各セットに於ける各変動階調値の間の増減回数が最大となる順序をもってＭ個の変動階調値のセットに含まれる各変動階調値をＭ枚のフレームに分配することにより、第２の映像情報を生成する。

このようにすれば、変動階調値の増減が時間的に平滑されることとなり、違和感の発生を抑制することができる。

本開示の別の側面によれば、変動階調値出力部が、０〜Ｍ−１までの整数値からなる変動値を出力する変動値出力部と、各階調値を各変動値に加算することにより和を算出する変動値加算部と、和を当該変動値Ｍにより除し、得られた商の小数点以下を切り捨てる画像減色部とを有する。または、変動階調値出力部が、元の階調値のそれぞれに対応するＭ個の変動階調値のセットを生成する際に、０〜Ｍ−１までのいずれかの値Ｎを有する変動値をＮ＋１番目の変動階調値に対応して出力する変動値出力部と、変動値Ｎに対応して、元の階調値と変動値Ｎとの和を、変動値のセットを構成する変動値の数Ｍにより除し、得られた商の小数点以下を切り捨てることにより、Ｎ＋１番目の変動階調値を生成する画像減色部とを有する。

これによれば、比較的ばらつきの小さい変動階調値を簡単に算出することができる。

本開示の高速表示方法は、第１のフレームレート及び第１のビット数の階調を有する第１の映像情報を入力するステップと、第１のビット数の階調の各階調値に対応する和を有する、第１のビット数よりも小さい第２のビット数のＭ（２以上の整数）個の変動階調値のセットを生成するステップと、第１のフレームレートのＭ倍の第２のフレームレートを有し、第１の映像情報の各フレームについて、第１の映像情報の各階調値に対応するＭ個の変動階調値のセットからの値を、対応するＭ枚のフレームに分配することにより第２の映像情報を生成するステップと、第２の映像情報に基づき映像を表示するステップとを有する。

または、本開示の高速表示方法は、第１のビット数を有する元の階調値で表現される第１の映像情報を第１のフレームレートで入力するステップと、元の階調値に対応して、第１のビット数よりも小さい第２のビット数を有する変動階調値をＭ（２以上の整数）個含むセットを生成するステップと、Ｍ個の変動階調値のセットに含まれる各変動階調値をＭ枚のフレームに分配することにより、第１のフレームレートのＭ倍に等しい第２のフレームレートを有する第２の映像情報を生成するステップと、第２の映像情報に基づき映像を表示するステップとを備え、変動階調値のセットにおいてＭ個の変動階調値の総和と第１のビット数の階調値とが等しく、変動階調値を出力するステップが、元の階調値のそれぞれに対応するＭ個の変動階調値のセットを生成する際に、０〜Ｍ―１までのいずれかの値Ｎを有する変動値をＮ＋１番目の変動階調値に対応して出力するステップと、変動値Ｎに対応して、元の階調値と変動値Ｎとの和を変動値のセットを構成する変動値の数Ｍにより除し、得られた商の小数点以下を切り捨てることにより、Ｎ＋１番目の変動階調値を生成するステップとを有する。

本開示のリアルタイム計測投影装置は、第１のフレームレート及び第１のビット数の階調を有するコンテンツ画像からなる第１の映像情報が入力される映像情報入力部と、第１のビット数の階調の各階調値に対応する和を有する、第１のビット数よりも小さい第２のビット数のＭ個の変動階調値のセットを生成する変動階調値出力部と、第１のフレームレートのＭ倍の第２のフレームレートを有し、第１の映像情報の各フレームについて、第１の映像情報の各階調値に対応する、変動階調値出力部から得られたＭ個の変動階調値のセットからの値を、対応するＭ枚のフレームに分配することにより第２の映像情報を生成する映像情報処理部と、計測パターンを生成する計測パターン生成部と、第２の映像情報及び計測パターンを交互に出力させる映像出力部と、映像出力部の出力を投影対象に対して投影するための投影装置と、投影対象に投射された計測パターンの映像を撮影する撮影装置と、撮影装置により得られた計測パターンの映像を元の計測パターンに対して対比することにより得られた投影対象の位置に基づき、第２の映像情報を補正するための位置計算装置とを備える。

または、本開示のリアルタイム計測投影装置は、第１のビット数を有する元の階調値で表現される第１の映像情報を第１のフレームレートで第１の映像情報が入力される映像情報入力部と、元の階調値のそれぞれに対応して、第１のビット数よりも小さい第２のビット数を有する変動階調値をＭ（２以上の整数）個含むセットを生成する変動階調値出力部と、 Ｍ個の変動階調値のセットに含まれる各変動階調値をＭ枚のフレームに分配することにより、第１のフレームレートのＭ倍に等しい第２のフレームレートを有する第２の映像情報を生成する映像情報処理部と、計測パターンを生成する計測パターン生成部と、第２の映像情報及び計測パターンを交互に出力させる映像出力部と、映像出力部の出力を投影対象に対して投影するための投影装置と、投影対象に投射された計測パターンの映像を撮影する撮影装置と、撮影装置により得られた計測パターンの映像を元の計測パターンに対して対比することにより得られた投影対象の位置に基づき、第２の映像情報を補正するための位置計算装置とを備え、変動階調値の各セットにおいてＭ個の変動階調値の総和と第１のビット数の階調値とが等しく、変動階調値は、前記元の階調値のそれぞれに対応する前記Ｍ個の変動階調値のセットを生成する際に、０〜Ｍ―１までのいずれかの値Ｎを有する変動値をＮ＋１番目の変動階調値に対応して出力し、変動値Ｎに対応して、元の階調値と変動値Ｎとの和を変動値のセットを構成する変動値の数Ｍにより除し、得られた商の小数点以下を切り捨てることにより、Ｎ＋１番目の変動階調値を生成する。

これにより、投影対象の位置或いは形状の変化に高速で対応することができ、しかも高いフレームレートを実現することができる。特に、投影された高速で動く画像を、観る者の視線が追従したり、高速で移動する物体に動画を投影した場合でも、観る者に、画像の動きが間歇的に感ずるなどの違和感を生じさせことなく、高品質の画像の投影が可能となる。

本開示の好適実施例によれば、撮影装置による計測パターンの撮像時間及び第２の映像情報の投影時間の両者が、いずれも、撮影装置が計測パターンの映像を読み出し、位置計算装置に転送する時間より短く、撮影装置による計測パターンの撮像が、先行する第２の映像情報の投影の完了に先立って開始される。

一般に、撮像装置のコストは撮像結果の転送速度を短くすると増加するが、本技法を用いることで、撮像装置のコストを増加させること無しに、投影対象をタイムリーに計測しつつ、最大限のフレームレートを実現することができる。

本開示によれば、伝送及び処理装置の限界による制約の下で、動画の再生を高速かつ高階調で行うための高速表示方法及び装置並びに同装置を利用したリアルタイム計測投影装置が提供される。

図１は、リアルタイム計測投影装置の一実施態様を示すダイヤグラム図である。 図２は、リアルタイム計測投影装置に於ける距離計測及び投影処理に関わる表示パターン制御の一例を示すタイムチャートである。 図３は、リアルタイム計測投影装置の構成を示すブロック図である。 図４は、０〜２４０の８ｂｉｔ階調の階調値に対応する４ｂｉｔ階調の階調値（変動階調値）のセットの対応関係を示す図である。 図５は、低フレームレート、高階調の映像データを、高フレームレート、低階調の映像データに変換する様子を図式化して示す図である。 図６は、０〜２４０の８ｂｉｔ階調の階調値に対応する４ｂｉｔ階調の階調値（変動階調値）のセットの対応関係の別例を示す図である。 図７は、フライトシミュレータに応用した第３実施例を示す図である。 図８は、遠隔操作装置に応用した第４実施例を示す図である。 図９は、図３に示された実施例の変形例を示す図である。 図１０は、図３に示された実施の形態１の別の変形例を示す図である。 図１１は、図３に示された実施例の別の変形例を示す図である。 図１２は、図８に示された実施例の別の変形例を示す図である。

図１は、リアルタイム計測投影装置の一実施態様を示すダイヤグラム図である。図１に示されたリアルタイム計測投影装置１に於いて、投影装置３は、可視光ＬＥＤ光源４ａ及び赤外線ＬＥＤ光源４ｂを有し、それらの出射光をダイクロイックミラー５により合流させ、ＤＭＤ（デジタル・マイクロミラー・デバイス）６に入力する。ＤＭＤ６からの出射光はレンズ光学系７を介して投影対象２に投影される。演算装置８は、可視光ＬＥＤ光源４ａ及び赤外線ＬＥＤ光源４ｂを選択して励起し、かつＤＭＤ６に対する制御信号を供給することにより、所望の側の光源からの光を、必要に応じて変調し、投影対象２上の所定の点に向けて照射することができる。その結果、投影対象２に対して画素単位の２次元画像を投影することができ、所望に応じて多数の２次元画像を時系列的に投影し、それを動画として提供することができる。

特に、このリアルタイム計測投影装置１は、移動及び又は変形する投影対象２の距離情報を取得し、得られた距離情報に基づいて、投影対象２の変化に関わらず、投影装置３により投影される画像を観る者が歪みなく観ることができるようにされている。そのために、投影装置３により赤外線等の非可視光（非可視電磁波）により所定の計測パターンを投影対象２に投影し、その投影画像を取得するためにカメラ９が設けられている。カメラ９により得られた計測パターンの画像は、演算装置８により処理され、投影対象２の距離情報を算出する。投影装置３は算出された距離情報に基づいて、所要の映像コンテンツを補正、即ち座標変換し、座標変換された画像を可視光により投影対象２に投射する。それにより、観る者は、投影対象２の３次元的形状に関わらず、歪みなく映像コンテンツを観ることができる。映像コンテンツを投影する可視光が赤外線等による距離情報の取得を阻害する惧れを排除するために、カメラ９の前方に可視光カットフィルタ１０が設けられている。

図２は、リアルタイム計測投影装置１に於ける距離計測及び投影処理に関わる表示パターン制御の一例を示すタイムチャートである。この場合の処理は、約１ｍｓの処理サイクル（９６０ｆｐｓ）により実施される。最初の３７２μｓの間に対象物に対して計測用のＩｒ光を投影し、それに続く１ｍｓの間に、計測用の対象物からの反射光の読み出し転送を行う。得られたデータに基づき、対象物の３次元形状についての情報を算出し、次に投影されるべきコンテンツ画像の元画像に対して必要な座標変換を施し、投影されるべき最終画像を算出する。

各処理サイクルに於いて、Ｉｒ光の投影が終了すると同時に、最新の最終画像（コンテンツ画像）を、６２８μｓの間に対象物に対して投影する。通常カメラのフレームレートは読み出し転送時間で律速するが、露光時間を読み出し転送時間より短くすることで、フレームレートを低下させることなく、ＲＧＢの表示時間を確保することが可能となる。これはＲＧＢの表示時間を確保した分、カメラの露光調整範囲が制約されることにはなるが、カメラのコストを決定する読み出し転送時間を変えることなく、表示フレームレートを増加させることを実現しており、伝送及び処理装置の能力の限界を最大限に活用して、投影対象をタイムリーに計測しつつ、最大限のフレームレートを実現することができる。

このとき、ＲＧＢ３色のそれぞれについて順次投影されるが、各色の画像の階調は、それぞれ４サブフィールドからなる４つのセグメントにより表示され、即ち、４ｂｉｔ階調により表示されることになる。従って、ＲＧＢ３色を用いることから、１２ｂｉｔカラーであって、画像の質が、一般的なフルカラー（２４ｂｉｔカラー）のものに比較して劣ることとなる。

そこで以下のようにして、時間的な分割処理を行うことにより、より高い階調を表現し得るようにしており、その構成を図３及び図４を参照して以下に説明する。図３は、リアルタイム計測投影装置の構成を示すブロック図である。図４は、０〜２４０の８ｂｉｔ階調の階調値に対応する４ｂｉｔ階調の階調値（変動階調値）のセットの対応関係を示す表である。図３に示すように、計測パターン生成部２１にて生成された計測パターンは、映像出力部２２を介して投影装置２３により対象物２４に投影される。その投影画像を、高速度カメラからなる撮影装置２５により撮影し、投影画像の各点に於ける３次元的な位置が、位置計算装置２６により算出される。位置データからなる表示情報は、第２映像情報入力部２７に供給される。このとき、表示情報は、９６０ｆｐｓのフレームレートで生成される。

一方、コンテンツ画像からなる映像は映像再生装置２８により再生されるが、この映像は、２４ｂｉｔカラーからなり、６０ｆｐｓのフレームレートで再生される。この伝送のためには、従来方式例えばＨＤＭＩ（登録商標）方式を利用することができる。このコンテンツ画像からなる映像は第１映像情報入力部２９を介して、画像合成部３０に送られ、第２映像情報入力部２７からの情報と組み合わされ、当該対象物への投影に適する映像に変換される。この時点では、映像は、２４ｂｉｔカラー映像からなり、９６０ｆｐｓのフレームレートで伝送される。そのままでは、伝送及び投影処理が困難であるため、次のようにして減色処理を行う。

映像は、各色について、４ｂｉｔ階調の映像に減色される。このとき、図４に示されるように、０〜２４０まで設定された８ｂｉｔ階調（第１のビット数を有する元の階調値）の映像データは、０〜１５までの階調値からなる４ｂｉｔ階調（第１のビット数よりも小さい第２のビット数を有する変動階調値）の映像データに変換される。このとき、Ｍ＝１６個の変動値０〜１５により表される１６種類（４ｂｉｔ）の変換ルールを設定する。即ち変動値０では、８ｂｉｔ階調の階調値（元の階調値）２４０に対しては４ｂｉｔ階調の階調値（変動階調値）１５を割り当て、８ｂｉｔ階調の階調値２３９に対しては４ｂｉｔ階調の階調値１４を割り当て、それ以降、８ｂｉｔ階調の階調値が１６減じるごとに４ｂｉｔ階調の階調値を１ずつ減じる。例えば、８ｂｉｔ階調の階調値０〜１５に対しては４ｂｉｔ階調の階調値０が割り当てられる。このようなルールに基づき、与えられた８ｂｉｔ階調の階調値は、０〜１５までの変動値により表せられる１６変換ルールに基づいて１６個の４ｂｉｔ階調の階調値に変換される。

ここで、８ｂｉｔ階調の階調値を「元の階調値」、４ｂｉｔ階調の階調値を「変動階調値」と呼ぶものとする。第２のビット数である４ｂｉｔ階調の変動階調値の各セットにおいて、Ｍ＝１６個の変動階調値の総和と、第１のビット数である８ｂｉｔ階調を有する元の階調値とは、一定の相関関係を有する。例えば図４に示す元映像の階調値１０１に対応する変動階調値のセットにおいて、Ｍ＝１６個の変動値のうち１１個の変動値０〜１０に対してはそれぞれ変動階調値６が割り当てられ、残り５個の変動値１１〜１６に対してはそれぞれ変動階調値７が割り当てられる。これら１６個の変動階調値の総和は６×１１＋７×５＝６６＋３５＝１０１となり、元映像の階調値１０１と等しく、一定の相関関係を有する。このような関係は、他の元映像の階調値とそれに対応するＭ＝１６個の変動階調値の総和との間でも同様である。

なお、図４に示す例では、元映像の階調値とそれに対応するＭ＝１６個の変動階調値の総和は等しい関係にあるが、本発明では完全に等しい必要はなく、値の大小に対して一定の相関関係があればよい。すなわち、元映像の階調値かそれに対応するＭ＝１６個の変動階調値の総和のいずれかが一定の差又は割合で大きくてもよい。これら１６個の４ｂｉｔ階調の階調値のセットは、コンテンツ画像からなる映像情報の個々のフレームに対応する第２映像情報入力部２７からの映像情報のＭ＝１６枚のフレームに分配される。

言い替えれば、或るフレームに於いて、例えば元の階調値１０１を出力する場合には、変動階調値６を１１回出力し、変動階調値７を５回出力する。即ち、１０１＝６×１１＋７×５となり、４ｂｉｔ階調を出力するにもかかわらず、Ｍ＝１６フレーム内に於いて、変動階調値を必要に応じて変動させることにより、あたかも８ｂｉｔ階調が表示されたように見せることができる。ちなみに図４においては、変動階調値のセットを構成する数Ｍは１６個であるが、本発明ではＭ＝１６に限らず、他の値であってもよい。

変動階調値は、次のように算出することができる。元の階調値のそれぞれについて、各変動値を加算し、それを変動値のセットを構成する変動値の数Ｍ＝１６で除して、残余を切り捨てることにより、当該変動値についての変動階調値を算出することができる。例えば、元の階調値１０１に変動値Ｎ＝２を加算すると１０３が得られ、それを変動値のセットを構成する変動値の数Ｍ＝１６で除すると６．４３（＝（１０１＋２）／１６）が得られ、小数点以下を切り捨ててＮ＋１＝３番目の変動階調値６が得られる。この計算を全ての変動値について実行する。言い替えれば、元の階調値のそれぞれに対応するＭ＝１６個の変動階調値のセットを生成する際に、０〜Ｍ−１までのいずれかの値Ｎを有する変動値をＮ＋１番目の変動階調値に対応して出力し、その変動値Ｎに対応して、元の階調値と変動値Ｎとの和を、変動値のセットを構成する変動値の数Ｍにより除して、その結果得られる商の小数点以下を切り捨てることにより、Ｎ＋１番目の変動階調値を生成する。なお、本実施の形態において変動値Ｎは整数を用いているが、本発明の変動値Ｎは整数に限らず、例えば小数点形式であってもよい。

本実施例に於いては、コンテンツ映像の１６（２の４乗）倍のフレームレートで最終的な表示がなされ、階調値は１６（２の４乗）分の１に減色されている。しかしながら、一般に、２のＮ（１以上の整数）乗倍のフレームレートで最終的な表示を行い、階調値を２のＮ乗分の１に減色させることができる。或いは、更に一般化すると、２のべき乗倍の中間的な値Ｍ（２以上の整数）のフレームレートで表示を行い、階調値は１６（２の４乗）分の１に減色されるようにすることもできる。

図３のブロック図に示されるように、変動値出力部３１から順次供給される変動値を、変動値加算部３２にて元の階調値に加算し、画像減色部３３にて１６を除し、得られた商の小数点以下を切り捨てることにより、１２ｂｉｔカラー（４ｂｉｔ階調）で、９６０ｆｐｓの動画映像データが得られる。このようにして得られた映像データは、映像出力部２２を介して投影装置２３に供給される。このとき、計測光がコンテンツ画像のフレームと交互するように投影されることから、投影装置２３には１、９２０ｆｐｓの映像データが供給されることになる。

図５は、低フレームレート、高階調の映像データを、高フレームレート、低階調の映像データに変換する様子を図式化して示す図である。移動する物体に投影された画像が、星形からハート形に変化している。低フレームレートでは、２４ｂｉｔカラー映像で表されるが、高フレームレートでは、複数の１２ｂｉｔカラー映像を時間的に合成することにより、視覚的には、２４ｂｉｔカラー映像と同等の高階調映像が再生されることになる。その結果、投影する対象物が不規則かつ高速に運動する場合でも、違和感の生じない高階調の映像を投影することができる。

図６は、０〜２４０の８ｂｉｔ階調の階調値に対応する４ｂｉｔ階調の階調値（変動階調値）のセットの対応関係を示す表の別例である。上記した実施例では、変動値が大きさの昇順に出力されるように示されているが、本実施例では、変動値が不規則な順序で出現している。出現順序は、毎回変動するようなランダムな順序であって良いが、一定の不規則な順序で出現するようにしても良い。いずれにせよ、階調値の変化が突然に発生すると違和感を生じる可能性があることから、変動階調値が、少なくとも単調に増加する順序或いは単調に減少する順序でなければよく、例えば、少なくとも増減が１回ずつ出現するような出現順序とすると良い。または、変動階調値の各セットに於ける各変動階調値の間の増減回数が最大となる順序をもってＭ個の変動階調値のセットに含まれる各変動階調値をＭ枚のフレームに分配してもよい。そのようにして、階調値が時間的に平均化されることにより、違和感が生じ難くすることができる。

更に、元の階調値のそれぞれから変動階調値を求めるために、上記したような減色演算を行うのに代えて、図４或いは図６に示されるような、元の階調値のそれぞれに対応する１６個の変動階調値を配列したルックアップテーブルを用意し、それに基づいて、元の階調値のそれぞれに対応する変動階調値のセットを取り出すようにすることもできる。

図７は、フライトシミュレータに応用した第３実施例を示す図である。本実施例は、図３に示された実施例と同様な構成を備えており、そのような部分については、同様な符号を付して説明を省略する場合があることを了解されたい。この場合、操縦者が操縦桿３５などの操作部材を変位させると、それに応じて変化する外界の景色が第２映像情報入力部２７に供給され、第１映像情報入力部２９に供給される固定された映像に合成され、両画像が合成されてスクリーン３７上に投影される。このようにして、限られた構成を用いて、実質的に２４ｂｉｔカラー映像を高フレームレートで表示することができる。その結果、外界の景色の激しい変化があっても、違和感の生じない高階調の映像を表示できる。

図８は、遠隔操作装置に応用した第４実施例を示す図である。本実施例は、図３に示された実施例と同様な構成を備えており、そのような部分については、同様な符号を付して説明を省略する場合があることを了解されたい。この場合、操作者が、壁３８等により隔離された環境に置かれた対象物体を監視するための高速度カメラ３９と、対象物体を取り扱うためのアクチュエータ４０を操作するための操縦桿３５或いはジョイスティックなどの操作部材が設けられている。操作者側には、視点位置センサ３６が設けられている。高速度カメラ３９は、例えば、複数の方向から対象物を撮影することにより、対象物の３次元的な動画を取得することができる。

視点位置センサ３６からの位置情報が第２映像情報入力部２７に供給され、第１映像情報入力部２９に供給される対象物の映像に合成される。その結果、操作者は、見る方向を変えることにより、対象物を異なる方向から観察することができる。この場合も、対象物が不規則かつ高速に運動する場合でも、操作者に対して違和感の生じない高階調の映像を表示することができる。

図９は、図３に示された実施例の変形例を示す図である。図９に示されたリアルタイム計測投影装置は、図３に示された実施例と同様な構成を備えており、そのような部分については、同様な符号を付して説明を省略する場合があることを了解されたい。本実施例では、第２映像情報入力部２７からの位置データが、画像合成部３０に於いて、変動値加算部３２から出力された映像データに対して適用されている点に於いて、図３に示された実施例と相違し、他の構成については図３に示された実施例と同様である。

図１０は、図３に示された実施例の別の変形例を示す図である。図１０に示されたリアルタイム計測投影装置は、図３に示された実施例と同様な構成を備えており、そのような部分については、同様な符号を付して説明を省略する場合があることを了解されたい。本実施例では、第２映像情報入力部２７からの位置データが、画像合成部３０に於いて、画像減色部３３から出力された映像データに対して適用されている点に於いて、図３に示された実施例と相違し、他の構成については図３に示された実施例と同様である。

図１１は、図３に示された実施例の別の変形例を示す図である。図３に示されたシステムは、外部から高速なフレームレート映像を入力することが通常困難であるため、装置内に画像合成部３０を持つことで解決している。しかしながら、外部から十分なフレームレートの映像が入力できるインターフェースを備えるのであれば、図１１に示されるように、変動値出力部３１、変動値加算部１３２Ａおよび画像減色部３３のみを備えた表示装置３Ａであっても単独で効果を発揮する。この場合、映像再生装置２８からの映像出力を６０ｆｐｓ／２４ｂｉｔ色で入力する第１映像情報入力部２９、位置計算装置２６からの表示情報（位置データ）を１０００ｆｐｓで入力する第２映像情報入力部２７およびこれら２つの映像情報を合成し１０００ｆｐｓ／２４ｂｉｔ色で出力する画像合成部３０を備えた画像合成装置３Ｂが、表示装置３Ａの前段に設けられる。画像合成装置３Ｂの画像合成部３０から出力される映像情報は、表示装置３Ａの変動値加算部１３２Ａへと入力される。変動値加算部１３２Ａは、画像合成装置３Ｂから入力された映像情報に対して、変動値出力部３１より出力される変動値を加算する。変動値の加算処理自体は、図１〜図１０において説明したものと同様である。画像合成装置３Ｂは、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）で構成可能である。画像合成部３０から表示装置３Ａへの伝送路および表示装置３Ａから投影装置２３への伝送路として、例えばＰＣＩ Ｅｘｐｒｅｓｓ（登録商標）が用いられる。位置計算装置２６からの表示情報（位置データ）の伝送レートが１０００ｆｐｓで、画像合成部３０から出力される映像情報が１０００ｆｐｓ／２４ｂｉｔ色である理由は、本来人間に視覚させたい情報で一旦インターフェースを確立する事で、将来互換性を保ったまま画質を向上させることが可能ということにある。また、表示装置３Ａの映像出力部２２から投影装置２３への伝送レートが２０００ｆｐｓである理由は、カメラで計測するための赤外パターンを挿入するため、物理的なレートが倍になっているためである。映像としては１０００ｆｐｓであり、計測パターンが不要で映像のみの高速投影の場合は１０００ｆｐｓでも構わない。

図１２は、図８に示された実施例の別の変形例を示す図である。図１２の装置内には、図８に備わっている変動値加算部３２および画像減色部３３の代わりに、変動値加算部１３２Ｂが設けられてもよい。高速度カメラ３９Ａから出力される映像情報は、装置内の第１映像情報入力部２９および画像合成部３０を介して、変動値加算部１３２Ｂへと入力される。変動値加算部１３２Ｂは、画像合成部３０において第１映像情報入力部２９および第２の映像情報入力部２７からの各映像情報が合成された後に入力された映像情報に対して、変動値出力部３１より出力される変動値を加算する。変動値の加算処理自体は、図１〜図１０において説明したものと同様である。ただし図１２において、変動値加算部１３２Ｂと、視点位置センサ３６、第２映像情報入力部２７、第１映像情報入力部２９、画像合成部３０および変動値出力部３１は、必ずしも必須ではない。図１２の高速度カメラ３９Ａは、図８の高速度カメラとは少し異なり、変動値出力部１３９Ａと、その変動値出力部１３９Ａから出力される変動値を、高速度カメラ３９Ａで撮像された映像情報に加算する画像加算部１３９Ｂおよび画像減色部１３９Ｃを備える。画像加算部１３９Ｂは、画像合成装置３Ｂから入力された映像情報に対して、変動値出力部３１より出力される変動値を加算する。変動値の加算処理自体は、図１〜図１０において説明したものと同様である。

図８における変動階調値は、同様の確率分布を持つ乱数で置き換えることも可能である。また、それは映像信号がデジタル化される前のアナログ信号の段階でノイズを付与することによって代替することも可能である。

ＣＧ動画などでは映像は始めからデジタルであるが、イメージセンサで撮像される動画映像などは、イメージセンサ内では初めはアナログ量である。したがって、イメージセンサからの出力をデジタル化する前にアナログノイズの付与も可能であるし、デジタル化時の量子化ノイズもその量子化閾値に変動を加えれば制御が可能である。

特に、イメージセンサで撮像されるデータには暗電流ノイズや光ショットノイズが初めから含まれるため、これらが同様の確率分布となるように、シャッター速度やアナログゲインを調節して、必要なノイズ量に調節することによって、変動階調値を加算したのと同じ効果を得ることも可能である。

また、前述したようなイメージセンサ側にノイズ量コントロールできる機能を有した高速度カメラと組み合わせる場合、低遅延に高階調の映像を転送するのに適したシステムが構成可能である。この場合、変動値加算部３２と、画像減色部３３がイメージセンサ側に実装された構成となり、伝送する階調値も最小で１ｂｉｔまで減らすことが可能である。

以上、本発明を具体的実施形態について説明したが、本発明は上記実施形態に限定されることなく幅広く変形実施することができる。

１ リアルタイム計測投影装置
２ 投影対象
３ 投影装置
４ａ 可視光ＬＥＤ光源
４ｂ 赤外線ＬＥＤ光源
５ ダイクロイックミラー
６ ＤＭＤ（デジタル・マイクロミラー・デバイス）
７ レンズ光学系
８ 演算装置
９ カメラ
１０ 可視光カットフィルタ
２１ 計測パターン生成部
２２ 映像出力部
２３ 投影装置
２４ 対象物
２５ 撮影装置
２６ 位置計算装置
２７ 第２映像情報入力部
２８ 映像再生装置
２９ 第１映像情報入力部
３０ 画像合成部
３１ 変動値出力部
３２ 変動値加算部
３３ 画像減色部
３５ 操縦桿
３６ 視点位置センサ
３７ スクリーン
３８ 壁
３９ 高速度カメラ

Claims (6)

1. 第１のビット数を有する元の階調値で表現される第１の映像情報を第１のフレームレートで入力する映像情報入力部と、
   前記元の階調値に対応して、前記第１のビット数よりも小さい第２のビット数を有する変動階調値をＭ（２以上の整数）個含むセットを生成する変動階調値出力部と、
   前記Ｍ個の変動階調値のセットに含まれる各変動階調値をＭ枚のフレームに分配することにより、前記第１のフレームレートのＭ倍に等しい第２のフレームレートを有する第２の映像情報を生成する映像情報出力部と、
   前記第２の映像情報に基づき映像を表示する表示部と、を備え、
   前記変動階調値のセットにおいて前記Ｍ個の変動階調値の総和と前記第１のビット数の階調値とが等しく、
   前記変動階調値出力部は、前記元の階調値のそれぞれに対応する前記Ｍ個の変動階調値のセットを生成する際に、０〜Ｍ−１までのいずれかの値Ｎを有する変動値をＮ＋１番目の変動階調値に対応して出力する変動値出力部と、前記変動値Ｎに対応して、前記元の階調値と前記変動値Ｎとの和を、変動値のセットを構成する変動値の数Ｍにより除し、得られた商の小数点以下を切り捨てることにより、Ｎ＋１番目の変動階調値を生成する画像減色部とを有する、
   高速表示装置。
2. 前記変動階調値のセットに於ける各変動階調値の間の増減回数が最大となる順序をもって前記Ｍ個の変動階調値のセットに含まれる各変動階調値を前記Ｍ枚のフレームに分配することにより、前記第２の映像情報を生成する、
   請求項１に記載の高速表示装置。
3. 高速表示方法であって、
   第１のビット数を有する元の階調値で表現される第１の映像情報を第１のフレームレートで入力するステップと、
   前記元の階調値に対応して、前記第１のビット数よりも小さい第２のビット数を有する変動階調値をＭ（２以上の整数）個含むセットを生成するステップと、
   前記Ｍ個の変動階調値のセットに含まれる各変動階調値をＭ枚のフレームに分配することにより、前記第１のフレームレートのＭ倍に等しい第２のフレームレートを有する第２の映像情報を生成するステップと、
   前記第２の映像情報に基づき映像を表示するステップとを備え、
   前記変動階調値のセットにおいて前記Ｍ個の変動階調値の総和と前記第１のビット数の階調値とが等しく、
   変動階調値を出力するステップが、前記元の階調値のそれぞれに対応する前記Ｍ個の変動階調値のセットを生成する際に、０〜Ｍ―１までのいずれかの値Ｎを有する変動値をＮ＋１番目の変動階調値に対応して出力するステップと、前記変動値Ｎに対応して、前記元の階調値と前記変動値Ｎとの和を変動値のセットを構成する変動値の数Ｍにより除し、得られた商の小数点以下を切り捨てることにより、Ｎ＋１番目の変動階調値を生成するステップとを有する、
   高速表示方法。
4. 前記変動階調値の各セットに於ける各変動階調値の間の増減回数が最大となる順序をもって前記Ｍ個の変動階調値のセットに含まれる各変動階調値を前記Ｍ枚のフレームに分配することにより、前記第２の映像情報を生成する、
   請求項３に記載の高速表示方法。
5. リアルタイム計測投影装置であって、
   第１のビット数を有する元の階調値で表現される第１の映像情報を第１のフレームレートで第１の映像情報が入力される映像情報入力部と、
   前記元の階調値のそれぞれに対応して、前記第１のビット数よりも小さい第２のビット数を有する変動階調値をＭ（２以上の整数）個含むセットを生成する変動階調値出力部と、
   前記Ｍ個の変動階調値のセットに含まれる各変動階調値をＭ枚のフレームに分配することにより、前記第１のフレームレートのＭ倍に等しい第２のフレームレートを有する第２の映像情報を生成する映像情報処理部と、
   計測パターンを生成する計測パターン生成部と、
   前記第２の映像情報及び前記計測パターンを交互に出力させる映像出力部と、
   前記映像出力部の出力を投影対象に対して投影するための投影装置と、
   前記投影対象に投射された前記計測パターンの映像を撮影する撮影装置と、
   前記撮影装置により得られた前記計測パターンの映像を元の計測パターンに対して対比することにより得られた前記投影対象の位置に基づき、前記第２の映像情報を補正するための位置計算装置とを備え、前記変動階調値の各セットにおいて前記Ｍ個の変動階調値の総和と前記第１のビット数の階調値とが等しく、
   変動階調値は、前記元の階調値のそれぞれに対応する前記Ｍ個の変動階調値のセットを生成する際に、０〜Ｍ―１までのいずれかの値Ｎを有する変動値をＮ＋１番目の変動階調値に対応して出力し、前記変動値Ｎに対応して、前記元の階調値と前記変動値Ｎとの和を変動値のセットを構成する変動値の数Ｍにより除し、得られた商の小数点以下を切り捨てることにより、Ｎ＋１番目の変動階調値を生成する、
   リアルタイム計測投影装置。
6. 前記撮影装置による前記計測パターンの撮像時間及び前記第２の映像情報の投影時間の両者が、いずれも、前記撮影装置が前記計測パターンの映像を読み出し、前記位置計算装置に転送する時間より短く、前記撮影装置による前記計測パターンの撮像が、先行する第２ の映像情報の投影の完了に先立って開始されることを特徴とする、
   請求項５に記載のリアルタイム計測投影装置。

Images