JP6042583B2 - Ｅｄｒビデオのコンテンツ生成および支援ディスプレイ管理を行うためのワークフロー - Google Patents

Description

本願は、２０１３年１１月１３日に出願した米国特許仮出願第６１／９０３，７７８号に基づく優先権を主張するものであり、この出願の開示内容の全てを本願に援用する。

本発明は、広義には、ビデオ画像に関する。より具体的には、本発明のある実施形態は、エンハンスト（ｅｎｈａｎｃｅｄ）またはハイダイナミックレンジを有するビデオのコンテンツ生成および支援ディスプレイ管理を行うためのワークフローに関する。

本明細書において、用語「ダイナミックレンジ」（ＤＲ）は、画像においてある範囲の強度（例えば、輝度、ルマ）（例えば、最暗部（黒）から最明部（白）まで）を知覚する人間の心理視覚システム（ＨＶＳ）の能力に関連し得る。この意味では、ＤＲはシーン−リファード（ｓｃｅｎｅ−ｒｅｆｅｒｒｅｄ）の強度に関する。ＤＲはまた、ディスプレイデバイスが特定の幅を有する強度範囲を妥当にまたは近似的に描画する能力にも関連し得る。この意味では、ＤＲは、ディスプレイ−リファード（ｄｉｓｐｌａｙ−ｒｅｆｅｒｒｅｄ）の強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても（例えば、区別なく）使用できるものとする。

本明細書において、ハイダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚システム（ＨＶＳ）において１４〜１５桁ほどにわたるＤＲ幅に関する。例えば、しっかりと順応した、実質的に正常（例えば、統計的な意味、バイオメトリック的な意味、または、眼科的な意味の１つ以上において）な人間は、約１５桁にわたる強度範囲を有する。順応した人間は、ほんの少量の光子のうす暗い光源を知覚し得る。また、同じ人間が、砂漠、海または雪上における真昼の太陽の、目が痛くなるほどの明るい強度を知覚し得る（また、怪我をしないような短時間であるとしても太陽を見ることもできる）。ただし、この範囲は、「順応した人間」、例えば、そのＨＶＳをリセットして調節する時間を経た人間に当てはまるものである。

これに対して、人間が、広範囲の強度範囲を同時に知覚し得るＤＲは、ＨＤＲに対して幾分端折られ得る。本明細書において、エンハンストダイナミックレンジ（ＥＤＲ）または視覚ダイナミックレンジ（ＶＤＲ）という用語は、個別にまたは区別なく、ＨＶＳによって同時に知覚可能なＤＲに関連し得る。本明細書において、ＥＤＲは、５〜６桁にわたるＤＲに関連し得る。従って、真のシーンリファードのＨＤＲに対して幾分狭いものの、ＥＤＲは、広いＤＲ幅を示す。

ほとんどの家庭用デスクトップディスプレイは、２００〜３００ｃｄ／ｍ²またはニトの輝度をサポートしている。ほとんどの家庭用ＨＤＴＶは、３００〜１０００ｃｄ／ｍ²の範囲内である。従って、これらの従来のディスプレイは、ＨＤＲまたはＥＤＲに対して、ロ−ダイナミックレンジ（ＬＤＲ）（またはスタンダードダイナミックレンジ（ＳＤＲ）とも呼ばれる）の典型例である。キャプチャ機器（例えば、カメラ）およびＥＤＲディスプレイ（例えば、Ｄｏｌｂｙ ＬａｂｏｒａｔｏｒｉｅｓのプロフェッショナルリファレンスモニターＰＲＭ−４２００）両方の進化によってＥＤＲコンテンツの普及率が高まっており、ＥＤＲコンテンツは、カラーグレーディング（ｃｏｌｏｒ ｇｒａｄｅｄ）され、より高いダイナミックレンジ（例えば、１，０００ニトから５，０００ニト以上）をサポートするＥＤＲディスプレイ上に表示することが可能である。

本願発明者らの理解によれば、ディスプレイ装置においてサポートされるダイナミックレンジの範囲が広い（例えば、下は今日の映写機用の５０ニトから、未来のＥＤＲテレビ用の５，０００ニト以上まで）ことから、ＥＤＲビデオの適正なディスプレイ管理のためのＥＤＲ信号および関連メタデータのワークフローおよび配信のためのより向上した技術が望まれる。

本節に記載されている手法は、探求し得る手法ではあるが、必ずしもこれまでに着想または探求されてきた手法ではない。従って、特に反対の記載がない限り、本節に記載された手法のいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、特に反対の記載がない限り、１以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。

図１は、本発明の実施形態によるＥＤＲビデオ信号のカラーグレーディング（ｃｏｌｏｒ ｇｒａｄｉｎｇ）、配信および表示を行うためのワークフローの一例を示す図である 図２Ａは、本発明の実施形態によるＥＤＲビデオ信号のカラーグレーディング、配信および表示を行うためのワークフローの一例を示す図である。 図２Ｂは、本発明の実施形態によるＥＤＲビデオ信号のカラーグレーディング、配信および表示を行うためのワークフローの一例を示す図である。 図２Ｃは、本発明の実施形態によるＥＤＲビデオ信号のカラーグレーディング、配信および表示を行うためのワークフローの一例を示す図である。

同様の部材に同様の参照符号を付した添付図面の各図において、本発明のある実施形態を限定する事なく例示する。

ＥＤＲ信号のコンテンツ生成および支援ディスプレイ管理を行うためのワークフローの方法およびシステムを本明細書に記載する。以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。

概要
本明細書に記載の実施形態例は、ハイまたはエンハンストダイナミックレンジを有するビデオ信号のコンテンツ生成、配信および支援ディスプレイ管理を行うためのワークフローに関する。エンハンストダイナミックレンジ（ＥＤＲ）を有するビデオデータを、異なるダイナミックレンジ特性を有する第１および第２のリファレンスディスプレイに合わせてカラーグレーディングし、これにより、第１のカラーグレーディングされた出力、第２のカラーグレーディングされた出力、および、関連付けられた第１および第２のメタデータセットを生成する。第１のカラーグレーディングされた出力および２つのメタデータセットをエンコーダからデコーダに送信して、第２のリファレンスディスプレイとは異なり得るターゲットディスプレイ上に表示する。受信器において、デコーダは、第１および第２のメタデータセット間を補間して第３のメタデータセットを生成し、この第３のメタデータセットによって、ターゲットディスプレイ上に受信ビデオデータを表示するためのディスプレイ管理処理が実行される。

ある実施形態において、第２のメタデータセットを符号化することによって、第１および第２のメタデータセット間の差異を表すデルタメタデータとして送信してもよい。

ある実施形態において、第２のメタデータセットを、受信器に送信する前に、第４のメタデータセットに変換してもよい。

受信器において、２つのメタデータセット間の補間は、線形であっても非線形であってもよい。

ある実施形態において、受信器は、第３のメタデータセットを補間生成する代わりに、２つのメタデータセットおよびターゲットディスプレイのパラメータに基づいてマッピング関数を生成してもよい。

ある実施形態において、受信画像データをターゲットディスプレイにマッピングするマッピング関数は、２つのメタデータセットおよびターゲットディスプレイのパラメータから生成された別々のマッピング関数から補間してもよい。

ＥＤＲコンテンツ生成ワークフロー
概要
コンテンツ生成処理において、ある１つの「マスター」ソース（例えば、ある１つの映画）が与えられた場合、異なる市場および異なる再生環境をターゲットとして、このマスターから複数のバージョンを生成する場合が珍しくない。例えば、あるスタジオはある映画の３つのバージョンを生成し得る：映画館の投影機用のシネマバージョン、ＤＶＤ配信用の標準画質バージョン、および、Ｂｌｕ−Ｒａｙ配信用の高画質バージョン。これらのバージョンは、異なる解像度および異なるビデオ圧縮方式を利用し得るが、ほとんどの場合、これらが全てディレクターの元々の表現意図（ａｒｔｉｓｔｉｃ ｉｎｔｅｎｔ）に沿っている必要がある。

コンテンツ生成およびディスプレイ管理のワークフローが今日の比較的低いダイナミックレンジからエンハンストまたはハイダイナミックレンジに移行するにしたがい、従来のディスプレイと未来のディスプレイとにおいて輝度および色再現能力が広範囲にわたっていることは、あらゆる視聴者に対しディレクターの意図が一貫して損なわないようにしたいと願う全てのスタジオ（またはコンテンツクリエータ全般）にとって、難題となる。再現性が低いと、非常に気が散り、問題である。残念ながら、ＩＴＵ−Ｒ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＢＴ．７０９などの今日の放送規格は、限定的にしかビデオ信号の適正なディスプレイ管理をサポートしていない。

これらの問題に対応するべく、図１は、本発明のある実施形態によるビデオ信号のカラーグレーディング、配信および支援ディスプレイ管理を行うためのワークフローの一例を示す。図１に示すように、未加工ＥＤＲビデオデータ（１０２）が与えられると、カラリストは、第１のリファレンスディスプレイ（Ｄ１）を用いて、ディレクターの意図にマッチする第１のカラーグレーディング済バージョン（１０７）を作成する。ある実施形態において、第１のリファレンスディスプレイは、白黒レベル（例えば、ダイナミックレンジ）および色域に関して、可能な限り最高のディスプレイ性能を有し得る。第１のカラーグレーディング（１０５）の副産物として、第１のビデオメタデータセット（Ｍ１）（１１０）も生成される。本明細書中の定義において、用語「メタデータ」または「補助データ」は、符号化ビットストリームの一部として送信されるあらゆる補助的な情報に関し、下流側デバイス（例えば、受信器またはデコーダ）が復号化画像を描画することを支援し得るものである。このメタデータは、色空間または色域情報、ダイナミックレンジ情報（例えば、最小輝度値、中間調および最大輝度値、トーンマッピング情報、またはその他のディスプレイまたはコンテンツ関連情報（例えば、ディスプレイ特性およびカラーグレーディングの際の周囲光）などの情報を含み得るが、これらに限定はされない。ある実施形態において、対象となるメタデータは、リフト、ゲインおよびガンマ、全体彩度、および、ルマ依存の彩度のような輝度強度および色差強度関連パラメータを含み得る。これらのメタデータは、各フレームまたは１まとまりのフレーム（ビデオデータ（１０２）の１つのシーンまたは「ショット」など）を特徴付け得る。本明細書中、用語「シーン」は、ビデオ信号の中で色およびダイナミックレンジ特性が類似する一連の連続フレームに関し得る。

第１のカラーグレーディングされた出力（１０７）が与えられると、カラリストは「トリムパス（ｔｒｉｍ−ｐａｓｓ）」（１１５）を行い、これにより、第２のリファレンスディスプレイ（Ｄ２）用の第２のカラーグレーディングされたバージョン（１１７）を生成し得る。詳細は後述するが、このステップは、自動または半自動であってもよく、第２のメタデータセット（Ｍ２）（１２０）を生成する。第２のリファレンスディスプレイは、典型的には第１のリファレンスディスプレイよりも低いダイナミックレンジ特性を有する。

従来技術においては、第２のカラーグレーディングされたバージョン（１１７）は、第２のメタデータセット（１２０）と共に、配信媒体（例えば、ＤＶＤ）上への格納または視聴者への直接配信に適したフォーマットで符号化され得る。よって、符号化ビデオデータおよびメタデータの受信および復号化の際に、受信器は、ディスプレイ管理処理（１４０）を適用して、第２のカラーグレーディングされたバージョン（１１７）および第２のメタデータセット（１２０）のみに基づくターゲットディスプレイ（ＤＴ）用の最終出力（１４２）を生成し得る。

図１に示すように、また、他の実施形態でさらに詳細に後述するように、本発明のある実施形態においては、エンコーダは、第２のカラーグレーディングされたバージョンの代わりに、第１のカラーグレーディングされたバージョン（１０７）を送信するように選択してもよい。さらに、第１のメタデータセット（１１０）のある表現形式（１２７）をビデオデータ（１５４）および第２のメタデータセット（１２０）と共に送信して、受信器上におけるディスプレイ管理処理（１４０）をさらに支援してもよい。ある実施形態において、第１のメタデータセット（１１０）を、第１および第２のメタデータセット間の差異を表すデルタメタデータ（１２７）として符号化してもよい。これらのデルタメタデータと、受信ビデオデータ（１５４）および第２のメタデータセット（１２０）とによって、第２のリファレンスディスプレイおよびターゲットディスプレイ間のダイナミックレンジ特性がいかに互いに離れていたとしても、受信器（１４０）がはるかにより正確な表示データ（１４２）を生成することが可能となる。

別の実施形態においては、デルタメタデータを全く送信することなく、第１のメタデータセットを送信してもよい。

別の実施形態（図示せず）においては、デルタメタデータ（１２７）を、トリムパス処理（１１５）の一部として直接的に生成してもよい。すると、受信器においてステップ（１３５）で行われるように、第１のメタデータセットをデルタメタデータと組み合わせることによって第２のメタデータセット（１２０）が生成される。

別の実施形態においては、第１のメタデータセットをそのまま送信し、第２のメタデータセットを第１のメタデータセットに対するデルタメタデータとして送信する。さらに、いくつかの実施形態においては、さらなるメタデータセット（それぞれ異なるディスプレイを用いてさらなるカラーグレーディングされたパスから生成される）を利用可能としてもよい。例えば、特定のシーン（または映画全体）を、最大輝度が１００ニト、１，０００ニトまたは２，０００ニトのディスプレイ用にグレーディングしてもよい

カラーグレーディングワークフロー例
ワークフローの一例において、最大輝度が４，０００ニト、最小輝度が０．００５ニトの第１のリファレンスディスプレイを考える。第２のリファレンスディスプレイとしては、最大輝度が１００ニト、最小輝度が同じく０．００５ニトの典型的なＳＤＲテレビを考える。この例においては、限定はしないが、両ディスプレイは同じような色域を持っているものとする。

ブラインドがかけられた窓の前に人物の顔がある、日中の屋内シーンを考える。第１のリファレンスディスプレイ上では、カラリストは、ブラインドの向こう側にある太陽光をかなり明るくし、ブラインドを顕著に暗くしながら、かつ顔を自然なレベルにしておくことが可能である。第２のリファレンスディスプレイ上では、カラリストは、太陽光のレベルをかなり下げる（最大輝度が大幅に低いため）ことを余儀なくされ、そして、外とブラインドとの差をある程度保つために、その他のレベルは低減することになる。しかし、このステップにより、顔の輝度レベルも下がってしまうかもしれず、暗く見えてしまう。この場合、顔の色を調整するために、カラリストは、中間調を上げたりする。

受信器において、第２のメタデータセットしか利用可能でない場合、第２のディスプレイの特性に非常に近い特性を有するターゲットディスプレイは、適正な出力を描画するが、より良いダイナミックレンジ特性を有する（おそらく、第１および第２のリファレンスディスプレイの範囲の間のダイナミックレンジを有する）他のディスプレイは、間違いなく、顔を明るく描画し過ぎるであろう。

本発明においては、両メタデータセットに関するメタデータを保持するので、ターゲットディスプレイは、その仕様が第２のリファレンスディスプレイと比べていくら近似または乖離していようとも、より正確な描画を行うことができる。例えば、ディスプレイ管理処理によって、明るい領域の輝度を上げつつ、顔の適正な中間調を維持することになる。

メタデータ処理の実施形態例
図２Ａは、本発明のある実施形態における、ＥＤＲビデオ信号のカラーグレーディング、配信および表示を行うためのワークフローの一例を示す。図１に示すワークフローと同様に、ＥＤＲ生成されたマスターコンテンツ（例えば、１０２）を、まず、リファレンスディスプレイＤ１上でカラーグレーディングし、これにより、カラーグレーディングされた画像Ａ（１０７）を生成する。複数の配信フォーマットおよびディスプレイをサポートするために、画像Ａは、１つ以上の他のリファレンスディスプレイ用にもカラーグレーディングされ得る。画像ＡをディスプレイＤ２上でカラーグレーディングすると画像Ｂ（１１７）が生成される。ディスプレイＤ１上でのカラーグレーディング処理の一部として、カラーグレーディングされたデータＡおよびディスプレイに関するメタデータＭ１（１１０）も生成する。

第２のリファレンスディスプレイ（Ｄ２）上でのカラーグレーディング（１１５）は、一般的にトリムパスと呼ばれる。これは、典型的には半自動化されており、若干の修正入力（２１０）をカラリストが行う。例えば、ある実施形態において、カラーグレーディングされた画像Ｂは、画像データＡおよびメタデータＭ１を入力とする、ディスプレイＤ２用のディスプレイ管理処理の出力を表し得る。ＥＤＲビデオデータのディスプレイ管理処理の一例は、２０１３年４月９日に出願された「高ダイナミックレンジビデオ用のディスプレイ管理」という表題の米国特許仮出願第６１／８１０，１０４号（以下、「’１０４出願」と呼ぶ）に記載されている。この出願の開示内容の全てを本願に援用する。

カラリストの修正によって新しいメタデータＭ２（１２０）ができ、このメタデータＭ２（１２０）を用いて、Ｍ１メタデータだけの場合にディスプレイ管理処理が行うことが決定していた事を上書きすることができる。多くのシーンにおいては、カラリストによる修正が無いため、Ｍ２メタデータはＭ１と同じになり得る。

本実施形態において、エンコーダは、第１のカラーグレーディングされた画像（Ａ、１０７）と、第１のメタデータＭ１（１１０）と、第２のメタデータＭ２（１２０）とをパックにして受信器に送信する。先述のように、いずれのメタデータセットを、他方のセットおよびデルタメタデータセットを参照として送信されてもよい。

受信器において、デコーダは、以下のデータにアクセスできる。すなわち、第１のカラーグレーディングされた画像（Ａ、１０７）、２つのメタデータセット（１１０）、（１２０）、および、ターゲットディスプレイ（ＤＴ）のディスプレイパラメータセット（Ｐ、２１５）である。これらのデータを用いて、受信器は、エンコーダにおけるカラーグレーディング処理（１０５）および（１１５）によって表現される通りに、ディスプレイＤＴ上に表示した際にディレクターの意図を損なわないような新たな画像（Ｃ、２３５）を生成しなければならない。

上記’１０４出願に記載のように、ディスプレイ管理処理（例えば、２３０）の際に、非線形マッピング処理を適用して、受信信号（例えば、１０７）の強度（Ｉ）を、ターゲットディスプレイＤＴの制約内に収まる強度値にマッピングする。ターゲットディスプレイは、ＥＤＲディスプレイであっても、ＳＤＲディスプレイであってもよい。ターゲットディスプレイが、信号（１０７）を生成する際に用いたリファレンス制作用ディスプレイ（ｒｅｆｅｒｅｎｃｅ ｐｒｏｄｕｃｔｉｏｎ ｄｉｓｐｌａｙ）と同じ特性を有する場合は、変換は不要である。しかし、ターゲットディスプレイがリファレンス制作用ディスプレイのダイナミックレンジよりも低いまたは高いダイナミックレンジを有する場合は、マッピング処理によって、入力信号のダイナミックレンジをターゲットディスプレイのダイナミックレンジにマッピングする。

非線形マッピング変換の一例は、上記’１０４出願に記載され、また、本願において開示内容を全て援用する、２０１２年３月１５日に出願された「画像データ変換の方法および装置」という表題のシリアルナンバーＰＣＴ／ＵＳ２０１２／０２９１８９のＰＣＴ出願においてＡ．Ｂａｌｌｅｓｔａｄらによっても記載されている。Ｂａｌｌｅｓｔａｄの’１８９ＰＣＴ出願によれば、非線形マッピング用の変換関数の一例は、以下のように表され得る。

ここで、Ｃ₁、Ｃ₂およびＣ₃は定数であり、Ｙ_inはある色チャネル（例えば、Ｉチャネル）の入力値であり、Ｙ_outはその色チャネルの出力値であり、ｎおよびｍは、関数の傾きおよびロールオフを決定するパラメータである。この変換関数は、パラメータ化されたＳ字型のトーンカーブ関数の一例である。パラメータＣ₁、Ｃ₂およびＣ₃は、３つのアンカーポイントの定義に基づいて決定される。３つのアンカーポイントは、リファレンス（またはソース）ディスプレイの輝度特性（典型的には、入力メタデータから抽出される）および、ターゲットディスプレイ（例えば、２１５）の輝度特性（典型的には、ディスプレイ管理処理を行うプロセッサにとって既知である）に基づいて定義され得る。

各トーンマッピング曲線の特性は、シーン毎またはフレーム毎に適応され得る。可能なディスプレイの範囲が広いこと（例えば、５０ニトのデジタル映写機から未来の１０，０００ニトのディスプレイまで）を考えると、各受信メタデータセット（１１０および１２０）はそれ自体では、ディスプレイ管理処理（２３０）が最適化されたトーンマッピング曲線を生成するために、十分あるいは正確な情報を提供できないかもしれない。ある実施形態においては、新しいメタデータ補間ステップ（２２０）を用いることにより、Ｍ１メタデータ（１１０）およびＭ２メタデータ（１２０）を組み合わせ新しいメタデータセットＭ３（２２５）を生成してもよい。

ある実施形態において、メタデータ補間処理（２２０）は、いかなるターゲットディスプレイ（ＤＴ）のトーンマッピング曲線特性も、第１のリファレンスディスプレイ（Ｄ１）および第２のリファレンスディスプレイ（Ｄ２）の対応する特性によって定義される曲線上にあるという仮定に基づいていてもよい。例えば、ターゲットディスプレイ（２１５）および視聴環境（例えば、周囲光の輝度、２Ｄ対３Ｄ視聴等）のパラメータに関する情報を用いて、ある実施形態においては、ターゲットディスプレイのＭ３メタデータ（２２５）を、線形補間モデルを用いて既知の第１および第２のメタデータセット間を補間することによって生成し得る。

例えば、あるシーンにおける最小、最大および中間の階調値を表すＭ１メタデータを、Ｓｍｉｎ、ＳｍａｘおよびＳｍｉｄとする。同シーンの対応するＭ２メタデータをＴｍｉｎ、ＴｍａｘおよびＴｍｉｄとする。Ｎｍｉｎ、ＮｍａｘおよびＮｍｉｄがＭ３メタデータ中の対応する出力値を表すものとすると、ある実施形態においては、Ｍ３メタデータは以下のように算出される。
Ｎｍｉｎ ＝ （１−ａ）Ｓｍｉｎ ＋ ａＴｍｉｎ，
Ｎｍａｘ ＝ （１−ｂ）Ｓｍｉｎ ＋ ｂＴｍｉｎ （２）
Ｎｍｉｄ ＝ （１−ｃ）Ｓｍｉｎ ＋ ｃＴｍｉｎ
ここで、ａ、ｂおよびｃは、０から１の間の定数である。定数ａ、ｂおよびｃは、全て同じであってもよいし、異なっていてもよい。例えば、各定数は、既知のディスプレイパラメータの関数、例えば、ａ＝Ｔｐｅａｋ／Ｎｐｅａｋ（ここで、Ｔｐｅａｋは第２のディスプレイ（Ｄ２）のピーク輝度であり、Ｎｐｅａｋはターゲットディスプレイ（ＤＴ）のピーク輝度である）、に基づいて生成されてもよい。これらの定数を決定するために、他の代替的な関数を適用して決定してもよい。

他の実施形態において、高いピーク輝度を有するターゲットディスプレイは、低いピーク輝度を有するディスプレイと比べて必要な調整が大幅に少ないことが予期されるので、非線形補間モデル（例えば、人間の視覚システムの知覚特性に基づくもの）を用いてもよい。そのような線形または非線形補間は、様々なメタデータ値（ピーク輝度値、最小輝度値、中間調値など）に適用され得る。

例えば、上記と同じ表記を用いて、Ｎｍｉｎを算出するために（但し、他のメタデータ値についてもこれを繰り返してもよい）、以下のように定義する。
ｄｅｌｔａ ＝ Ｔｍｉｎ − Ｓｍｉｎ，
ｒａｔｉｏ ＝ Ｔｐｅａｋ／Ｎｐｅａｋ，
ｆａｌｌｏｆｆ ＝ ２， （３）
ｓｃａｌｅｆａｃｔｏｒ ＝ ｒａｔｉｏ^falloff，
Ｎｍｉｎ ＝ Ｓｍｉｎ ＋ ｓｃａｌｅｆａｃｔｏｒ＊ｄｅｌｔａ，
よって、ターゲットディスプレイがより明るくなる程、Ｍ２メタデータ（例えば、Ｔｍｉｎ）の効果は非線形的に低減する。ｆａｌｌｏｆｆファクタは、トリムパスディスプレイ（例えば、Ｄ２）の輝度および黒レベル特性によって調整され得る。当業者であれば、このステップにおいて他の代替的な補間関数を用いてもよいことが理解できるであろう。

いくつかの実施形態においては、線形および非線形モデルを組み合わせて、区分的線形または非線形補間関数を生成してもよい。例えば、あるデコーダが、１００〜２００ニトの入力範囲においては第１の補間関数を用い、２００．１ニトから４００ニトの入力範囲においてはそのデコーダが第２の補間関数を用いてもよい。さらに、第１の補間関数はメタデータセットＭ１およびＭ２に基づくものであり、第２の補間関数は他のメタデータ、例えば、Ｍ１およびＭ２’（ここで、Ｍ２’メタデータは、第３のリファレンスディスプレイ（Ｄ３）上において画像Ａのカラーグレーディングの際に生成されたものである）に基づくものであってもよい。カラーグレードパスに関するさらなるメタデータセットがエンコーダから受信される場合は、それらのメタデータを用いて補間処理の正確性を向上させてもよい。

図２Ａに戻って、メタデータＭ３（２２５）を生成した後、ディスプレイ管理処理（２３０）は、算出されたＭ３メタデータ（２２５）と、ターゲットディスプレイパラメータ（２１５）と、受信画像データＡ（１０７）とを用いて、画像Ｃ（２３５）を生成してもよい。

別の実施形態においては、補間を２つのメタデータセットに直接的に適用するのではなく、アンカーポイントまたはメタデータから生成される他のディスプレイ管理関連パラメータに適用してもよい。例えば、２つのメタデータセットおよびターゲットディスプレイパラメータを用いて２つの別々のマッピング関数を生成し、そして、２つの関数の間を補間して最終的なマッピング関数を作成してもよい。

いくつかの実施形態においては、メタデータ補間の代わりに、あるいはメタデータ補間に加えて、ピクセルデータ補間も適用してもよい。例えば、ディスプレイ管理処理（２３０）において、第１および第２のメタデータセットを別々に用いて第１および第２の出力画像を生成してもよい。そして、第１および第２の出力画像の画素値を補間することによって最終出力画像を生成し得る。

いくつかの実施形態においては、カラーグレーディングツールによって、カラリストが、カラーグレーディングされた画像Ａを第２のリファレンスディスプレイにマッピングするための最適なマッピング曲線を、手動で調整しエクスポートできるようにしてもよい。その曲線をＭ２メタデータの一部としてデコーダに送り、ターゲットディスプレイのための最適なマッピング曲線を補間するためのベースとして用いてもよい。

カラーアーティストまたはグレーディング担当者がよく用いるコントロール群は、しばしば、リフト／ゲイン／ガンマ（ＬＧＧ）および色相と彩度（ＨＳ）と呼ばれる。リフトは暗度を、ゲインは輝度を、ガンマは中間調を変化させる。

入力ｘ、リフト（Ｌ）、ゲイン（Ｇ）およびガンマパラメータがあった場合、ＬＧＧ修正された出力ｙは以下のように与えられる。

ある実施形態においては、図２Ｂに示すように、トリムパス（１１５）の際にカラリストが入力するＬＧＧ値を捕捉して、第２のメタデータセット（１２０）の一部として記録してもよい。同様に、カラリストによるさらなるローカル操作（「パワーウィンドウ」など）も、これを捕捉してデコーダに送信してもよい。これらのさらなる情報のため、デコーダにおいて、ディスプレイ管理処理は、新しいデータを有利に利用するように変化してもよい。例えば、図２Ｂに示すように、変換生成ユニット（２４０）はこの場合、２つのメタデータセット（Ｍ１ １１０、Ｍ２ １２０）およびターゲットディスプレイ（２１５）のパラメータを用いて、カラーグレーディングされた画像データＡ（１０７）をディスプレイＤＴ上において画像Ｃにマッピングするマッピング変換を生成してもよい。このマッピング関数が与えられると、ディスプレイ管理処理（２３０）の残りの部分は上述のように進行する。

それぞれ異なる処理性能を持つ様々な下流側デバイスをサポートするために、ある実施形態においては、メタデータを、階層の異なるレベルでパケット化および送信してもよい。例えば、
・ レベル０メタデータは、単に、輝度のｍｉｎ、ｍａｘおよびｍｉｄ値などのソースディスプレイの説明を含んでいてもよく、
・ レベル１メタデータは、コンテンツに関連するメタデータ（例えば、対象とするシーン、フレームまたは画像領域のｍｉｎ、ｍａｘおよびｍｉｄ値）を含んでいてもよく、
・ レベル２メタデータは、リファレンスディスプレイ上でのトリムパスに関連するメタデータ（例えば、ゲイン、リフトおよびガンマ値）を含んでいてもよく、
・ レベル３メタデータは、別のディスプレイへのトリムパスに関連するデータを含んでいてもよく、
・ 詳細は後述するが、さらなるレベルのメタデータとして、エンコーダにとってターゲットディスプレイの特性が既知である場合には（例えば、ＯＴＴ（ｏｖｅｒ ｔｈｅ ｔｏｐ）通信など）、オリジナルコンテンツメタデータデータの変換または、具体的なマッピング関数に関するデータを含んでいてもよい。

ハイエンドリファレンスディスプレイ（例えば、Ｄ１）用にカラーグレーディングされたＥＤＲ入力データ（例えば、Ｙ_I＝Ａ、１０７）を、異なるダイナミックレンジ（例えば、Ｙ_O＝Ｃ、２３５）を有するターゲットディスプレイ用の表示データにマッピングするためのマッピング関数を、Ｙ_O＝ｆ_m（Ｙ_I）とする。例えば、ｆ_m（Ｙ_I）は、等式（１）に基づいていてもよい。ある実施形態においては、ＬＧＧデータを用いてｆ_m（Ｙ_I）マッピングの出力を調整してもよい。例えば、所与の入力データＹ_Aに対して、表示データＹ_Cは以下のように求められ得る。
Ｙ_T ＝ ｆ_m（Ｙ_A） ， （４）
Ｙ_C ＝ ｆ_LGG（Ｙ_T），
ただし、ｆ_LGG（）は入力ＬＧＧパラメータの関数を表し、Ｙ_Tは中間画像データを表す。例えば、ある実施形態において、所与のゲイン（Ｇ）、ガンマおよびリフト（Ｌ）入力に対して、ｆ_LGG（）は以下のように表現されてもよい。

全てのデコーダが、変換生成ステップ（２４０）の演算要件を満たす処理能力を有しているわけではないので、ある実施形態においては、図２Ｃに示すように、デコーダの変換生成ステップ（２４０）によって行われるはずの処理の一部を行う新しいメタデータ変換ステップ（２５０）を、エンコーダは追加してもよい。例えば、ある実施形態においては、第２のメタデータセット（１２０）（例えば、ｍｉｄ、ｍａｘ、ｍｉｎおよびＬＧＧ値）が与えられると、第２のリファレンスディスプレイのために新しいメタデータセット（Ｍ４、２５５）（例えば、ｍｉｄ’、ｍａｘ’、ｍｉｎ’およびパワースロープ（ｐｏｗｅｒ−ｓｌｏｐｅ））を生成して、これを、オリジナルＭ２メタデータの代わりにデコーダに送信してもよい。

例えば、ｍｉｎ、ｍｉｄおよびｍａｘ値を含み、さらにカラリストからのリフト／ゲイン／ガンマデータをも含み得る、メタデータＭ２が与えられると、エンコーダは等式（４）を適用し、以下の式のように、カラーグレーディングされた画像ＡをディスプレイＤ２用のカラーグレーディングされた画像Ｂにマッピングするための等式（１）のマッピング関数（または、対応するルックアップテーブル）を生成してもよい。
Ｙ_T ＝ ｆ_m（Ｙ_A），
Ｙ_B ＝ ｆ_LGG（Ｙ_T）， （６）
当業者であれば理解できるように、いくつかの実施形態においては、等式（１）〜（６）に記載のようなマッピング関数は、ルックアップテーブルまたは他の同等な手段を用いて実現してもよい。

ここで、ｆ_m（）について、そのパラメータの１つ以上（例えば、等式（１）のｍ）を１つ以上のオフセットパラメータ（例えば、ｍ’＝ａ＋ｍ）で調整して、新しいマッピング関数ｆ_m’（）を生成することを考える。エンコーダにおいて、コンピュータは最小化アルゴリズム（例えば、Ｌｅｖｅｎｂｅｒｇ＿Ｍａｒｑｕａｒｔアルゴリズム）を実行して、例えばある距離基準に従って（例えば、最小二乗平均誤差を最小化するように）Ｙ_B'＝ｆ_m'（Ｙ_A）がＹ_Bに限りなく近くなるように、新しいｍｉｎ’、ｍｉｄ’およびｍａｘ’値を見つけるようにしてもよい。これにより、メタデータＭ４は、新しいｍｉｎ’、ｍｉｄ’およびｍａｘ’値を含み得る。メタデータＭ４は、ｆ_m’（）のパラメータ化された定義（例えば、Ｃ₁、Ｃ₂、Ｃ₃、ｎおよびｍ’）も含んでいてもよい。

他の実施形態において、例えば、変換生成ステップ（２４０）の際のデコーダ上の処理要件を最小化するために、パラメータａを、マッピング関数の他のパラメータ（例えば、Ｃ₁、Ｃ₂またはＣ₃）と関連付けてもよい。

ある実施形態において、メタデータＭ４は、トリムパス処理（１１５）の際に直接生成してもよい。

デコーダ側では、メタデータＭ１およびＭ４に対して、デコーダは、先述の技術のいずれかを適用して、画像データＡ（１０７）をターゲットディスプレイ（ＤＴ）にマッピングするマッピング関数を生成してもよい。例えば、メタデータＭ１およびＭ４間のメタデータ補間を適用して、新しいメタデータセット（Ｍ５）を生成してからマッピング関数を生成してもよいし、メタデータＭ１およびＭ４を用いてマッピング関数を直接補間してもよい。

インターネットを用いたＯＴＴ通信など特定の放送状況において、送信サーバが、送信（１３０）の前、且つ、カラーグレーディング処理（１０５、１１５）の後において、ターゲットディスプレイ特性（２１５）を既知な場合があり得る。その場合、ある実施形態においては、復号化ステップの一部（メタデータ補間（２２０）および変換生成（２４０）など）をエンコーダ自身が行ってもよい。その場合、メタデータＭ１およびＭ２を送信する代わりに、エンコーダは、ターゲットディスプレイ上において画像Ｃを生成するのに必要なメタデータＭ３または最適化されたマッピング関数を直接送信してもよい。

コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のコンフィギュラブルまたはプログラマブルロジックデバイス（ＰＬＤ）、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイス、および／または、このようなシステム、デバイスまたはコンポーネントを１つ以上含む装置、を用いて実施し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のようなエンハンストまたはハイダイナミックレンジを有するビデオのコンテンツ生成およびディスプレイ管理を行うためのワークフローに関する命令を実施し、制御し、または実行し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のエンハンストまたはハイダイナミックレンジを有するビデオのコンテンツ生成およびディスプレイ管理を行うためのワークフローに関する様々なパラメータまたは値のいずれも演算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。

本発明の特定の実装は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の１つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のようなＥＤＲビデオのコンテンツ生成およびディスプレイ管理を行うためのワークフローに関する方法を実施し得る。本発明は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む１セットのコンピュータ可読信号を格納する任意の媒体を含み得る。本発明によるプログラム製品は、様々な形態をとり得る。例えば、このプログラム製品は、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。

上記においてあるコンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）に言及している場合、そのコンポーネントへの言及（「手段」への言及を含む）は、そうでないと明記されている場合を除いて、当該コンポーネントの機能を果たす（例えば、機能的に均等である）あらゆるコンポーネント（上記した本発明の実施形態例に出てくる機能を果たす開示された構造に対して構造的に均等ではないコンポーネントも含む）を、当該コンポーネントの均等物として、含むものと解釈されるべきである。

均等物、拡張物、代替物、その他
ＥＤＲのコンテンツ生成およびディスプレイ管理を行うためのワークフローに関する実施形態例を上述した。この明細書中において、態様毎に異なり得る多数の詳細事項に言及しながら本発明の実施形態を説明した。従って、本発明が何たるか、また、本出願人が本発明であると意図するものを示す唯一且つ排他的な指標は、本願が特許になった際の請求の範囲（今後出されるあらゆる訂正を含む、特許となった特定請求項）である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項において明示されていない限定事項、要素、性質、特徴、利点または属性は、その請求項の範囲をいかなる意味においても限定すべきではない。従って、本明細書および図面は、限定的ではなく、例示的であるとみなされるものである。

Claims (17)

1. ビデオシーケンスにおけるエンハンストダイナミックレンジ（ＥＤＲ）画像のディスプレイ管理を支援する方法であって、デコーダにおいて、
   前記エンハンストダイナミックレンジ画像を表示することが可能な第１のディスプレイ上でカラーグレーディングされた第１の画像についての第１のメタデータセットを受け取り、
   前記第１のディスプレイよりも低いダイナミックレンジを有する第２のディスプレイ上でカラーグレーディングされた第２の画像のデルタメタデータセットを受け取り、前記第１および第２の画像は同一のシーンを表し、前記デルタメタデータセットは、前記第１の画像についての前記第１のメタデータセットと、前記第２の画像についての第２のメタデータセットとの差異を表しており、
   前記第１のメタデータセットおよび前記デルタメタデータセットを組み合わせることによって、前記第２のディスプレイ上でカラーグレーディングされた前記第２の画像についての前記第２のメタデータセットを生成し、
   前記第１の画像の画像データを受け取り、
   ターゲットディスプレイに用いられるパラメータセットにアクセスし、
   前記第１のメタデータセット、前記第２のメタデータセットおよび前記ターゲットディスプレイ用の前記パラメータセットを用いて、第３のメタデータセットを補間生成し、
   前記第１の画像の画像データ、前記第３のメタデータセットおよび前記ターゲットディスプレイの前記パラメータを用いて、前記第１の画像の画像データを前記ターゲットディスプレイにマッピングする、方法。
2. 前記第１のメタデータセットは前記第１のディスプレイのダイナミックレンジに関するディスプレイパラメータを含み、前記第２のメタデータセットは前記第２のディスプレイのダイナミックレンジに関するディスプレイパラメータを含む、請求項１に記載の方法。
3. 前記第１のメタデータセットは前記第１の画像の最小、最大および中間の階調値を含む、請求項１に記載の方法。
4. 前記第２のメタデータセットは前記第２の画像の最小、最大および中間の階調値を含む、請求項１に記載の方法。
5. 前記第２のメタデータセットは前記第２の画像の画像データを生成する際の周囲光の条件に関するデータを含む、請求項１に記載の方法。
6. ２つのメタデータ値間の補間ステップは、
   Ｎｖ＝（１−ａ）Ｓｖ＋ａＴｖ
   で表され、ここで、Ｎｖは補間値であり、Ｓｖは前記第１のメタデータセット中のメタデータ値であり、Ｔｖは前記第２のメタデータセット中のメタデータ値であり、ａは補間定数である、請求項１に記載の方法。
7. 前記補間定数ａは前記第２のディスプレイおよび前記ターゲットディスプレイのピーク輝度の関数として決定される、請求項６に記載の方法。
8. ２つのメタデータ値間の補間ステップは、
   

   

   で表され、ここで、Ｎｖは補間値であり、Ｓｖは前記第１のメタデータセット中のメタデータ値であり、Ｔｖは前記第２のメタデータセット中のメタデータ値であり、ｆはロールオフ率であり、Ｒｐｅａｋは前記ターゲットディスプレイおよび前記第２のディスプレイのピーク輝度値の関数である、請求項１に記載の方法。
9. Ｒｐｅａｋは前記ターゲットディスプレイのピーク輝度に対する前記第２のディスプレイのピーク輝度の比に基づいている、請求項８に記載の方法。
10. 前記第２のメタデータセットは前記第２の画像についてのリフト、ゲインおよびガンマ値をさらに含む、請求項４に記載の方法。
11. ビデオシーケンスにおけるエンハンストダイナミックレンジ（ＥＤＲ）画像のディスプレイ管理を支援する方法であって、デコーダにおいて、
    前記エンハンストダイナミックレンジ画像を表示することが可能な第１のディスプレイ上でカラーグレーディングされた第１の画像についての第１のメタデータセットにアクセスし、
    前記第１のディスプレイよりも低いダイナミックレンジを有する第２のディスプレイ上でカラーグレーディングされた第２の画像についての第４のメタデータセットにアクセスし、前記第１および第２の画像は同一のシーンを表しており、
    前記第１の画像の画像データを受け取り、
    ターゲットディスプレイに用いられるパラメータセットにアクセスし、
    前記第１のメタデータセット、前記第４のメタデータセットおよび前記ターゲットディスプレイのパラメータを用いて、マッピング関数を生成し、
    前記第１の画像の画像データ、前記生成したマッピング関数および前記ターゲットディスプレイのパラメータを用いて、前記第１の画像の画像データを前記ターゲットディスプレイにマッピングする、方法であって、
    前記第４のメタデータセットは、前記第２のディスプレイ上でカラーグレーディングされた第２の画像についての第２のメタデータセットを変換することによりエンコーダによって生成され、
    前記第４のメタデータセットの生成において、
    前記第２のメタデータセット中の１つ以上のメタデータ値を用いて、前記第１の画像の画像データを前記第２のディスプレイにマッピングする第１のディスプレイマッピング関数を生成し、
    前記第１のディスプレイマッピング関数および前記第１の画像の画像データを用いて、一時的な画像データを生成し、
    前記一時的な画像データおよび前記第２のメタデータセット中のリフト、ゲインおよびガンマデータに応じて前記第２の画像を生成し、
    前記第１のディスプレイマッピング関数のパラメータをオフセットで調整することによって、第２のディスプレイマッピング関数を生成し、
    最適化技術を用いて前記第４のメタデータセットおよび最適化されたオフセット値を生成し、前記第４のメタデータセットおよび前記最適化されたオフセット値は、前記第１の画像、前記第４のメタデータセットおよび前記最適化されたオフセット値が与えられた時に前記第２のディスプレイマッピング関数が第３の画像を生成するように生成され、最小化アルゴリズムによれば、前記第３の画像と前記第２の画像との距離はある画像距離基準において最小である、方法。
12. 前記マッピング関数の生成において、
    前記第１のメタデータセットおよび前記ターゲットディスプレイのパラメータを用いて第１のマッピング関数を生成し、
    前記第４のメタデータセットおよび前記ターゲットディスプレイのパラメータを用いて第２のマッピング関数を生成し、
    前記第１および第２のマッピング関数間を補間することによって前記マッピング関数を生成する、請求項１１に記載の方法。
13. 前記第２のマッピング関数は、最小、最大、および中間の輝度値と、前記第４のメタデータセット中の、リフト、ゲインおよびガンマ値との両方に応じて生成される、請求項１２に記載の方法。
14. 前記ターゲットディスプレイは前記第１のディスプレイまたは前記第２のディスプレイとは異なる、請求項１または１１に記載の方法。
15. 前記ターゲットディスプレイは前記第１のディスプレイおよび前記第２のディスプレイとは異なる、請求項１または１１に記載の方法。
16. プロセッサを備え、請求項１から１５に記載の方法のいずれかを実行するように構成された装置。
17. 請求項１から１５のいずれかに記載のコンピュータを用いる方法を実行するためのコンピュータが実行可能な命令を格納した非一時的なコンピュータ可読記憶媒体。
    

Images