JP6320440B2 - ハイダイナミックレンジ信号のための信号再構成 - Google Patents

Description

本出願は、２０１６年３月１日付け出願の米国特許仮出願Ｓｅｒ．Ｎｏ．６２／３０２，０７３号、２０１６年２月２５日付け出願の６２／３００，０１２号、２０１６年１月１３日付け出願の６２／２７８，３６２号、２０１５年８月１０日付け出願のＳｅｒ．Ｎｏ．６２／２０２，９８０号、および２０１５年８月４日付け出願の６２／２００，７９７号に基づく優先権を主張するものであり、これらの出願の開示内容の全てを本願に援用する。

本発明は、画像全般に関する。より具体的には、本発明の一実施形態は、下位互換性を改善するための、ハイダイナミックレンジを有する画像の信号再構成に関する。

本明細書において、用語「ダイナミックレンジ」（ＤＲ）は、人間の視覚システム（ＨＶＳ）が画像においてある範囲の強度（例えば、輝度、ルマ）（例えば、最暗部（黒）から最も明るい白（すなわち）まで）を知覚する能力に関連し得る。この意味では、ＤＲはシーン−リファード（ｓｃｅｎｅ−ｒｅｆｅｒｒｅｄ）の強度に関する。ＤＲはまた、ディスプレイデバイスが特定の幅を有する強度範囲を妥当にまたは近似的に描画する能力にも関連し得る。この意味では、ＤＲは、ディスプレイ−リファード（ｄｉｓｐｌａｙ−ｒｅｆｅｒｒｅｄ）の強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても（例えば、区別なく）使用できるものとする。

本明細書において、ハイダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚システム（ＨＶＳ）において１４〜１５桁ほどにわたるＤＲ幅に関する。実際において、人間が広範囲の強度範囲を同時に知覚し得るＤＲは、ＨＤＲに対して幾分端折られ得る。本明細書において、エンハンストダイナミックレンジ（ＥＤＲ）または視覚ダイナミックレンジ（ＶＤＲ）という用語は、個別にまたは区別なく、人間の視覚システム（ＨＶＳ）（眼球運動を含み、シーンまたは画像にわたってある程度の明順応変化を可能にする）が、あるシーンまたは画像中において知覚可能なＤＲに関する。本明細書において、ＥＤＲは、５〜６桁にわたるＤＲに関連し得る。従って、真のシーンリファードのＨＤＲに対しては幾分狭いものの、ＥＤＲは広いＤＲ幅を表し、ＨＤＲとも呼ばれ得る。

実際において、画像は１つ以上の色成分（例えばルマＹおよびクロマＣｂおよびＣｒ）を有しており、各色成分は、画素あたりｎビットの精度（例えばｎ＝８）で表される。線形輝度符号化（ｌｉｎｅａｒ ｌｕｍｉｎａｎｃｅ ｃｏｄｉｎｇ）を用いた場合、ｎ≦８の画像（例えばカラー２４ビットＪＰＥＧ画像）はスタンダードダイナミックレンジとされ、ｎ＞８の画像はエンハンストダイナミックレンジの画像とされる。ＥＤＲおよびＨＤＲ画像はまた、Ｉｎｄｕｓｔｒｉａｌ Ｌｉｇｈｔ ａｎｄ Ｍａｇｉｃが開発したＯｐｅｎＥＸＲファイルフォーマットなどの高精度の（例えば１６ビット）浮動小数点フォーマットを用いて、格納および配信され得る。

ある映像ストリームが与えられたとき、その符号化パラメータに関する情報は、典型的にはメタデータとしてビットストリーム中に埋め込まれる。本明細書において、「メタデータ」の語は、符号化ビットストリームの一部として送信され、デコーダが復号化画像を描画することを助ける、任意の補助的情報に関する。そのようなメタデータは、本明細書において記載されるような、色空間または色域情報、リファレンスディスプレイパラメータ、および補助的な信号パラメータなどを含むが、これらに限定されない。

ほとんどのコンシューマー用デスクトップディスプレイは現在、２００〜３００ｃｄ／ｍ²またはニトの輝度をサポートしている。ほとんどのコンシューマー用ＨＤＴＶは３００〜５００ニトの範囲であるが、新しいモデルは１０００ニト（ｃｄ／ｍ²）に達する。このような従来のディスプレイはしたがって、ＨＤＲやＥＤＲに対し、より低いダイナミックレンジ（ＬＤＲ）（またはスタンダードダイナミックレンジ（ＳＤＲ）とも呼ばれる）の典型例となる。キャプチャ機器（例えばカメラ）およびＨＤＲディスプレイ（例えばＤｏｌｂｙ ＬａｂｏｒａｔｏｒｉｅｓのＰＲＭ−４２００プロフェッショナルリファレンスモニター）両方の進化によって、ＨＤＲコンテンツの普及率が高まるにつれ、ＨＤＲコンテンツはカラーグレーディングされてより高いダイナミックレンジ（例えば１，０００ニトから５，０００ニト以上）をサポートするＨＤＲディスプレイ上に表示されることがある。一般的に、限定しないが、本開示の方法はＳＤＲよりも高い任意のダイナミックレンジに関連する。本発明者らの理解によれば、ハイダイナミックレンジ画像の符号化のための、改良された手法が望まれる。

本節に記載されているアプローチは、探求し得るアプローチではあるが、必ずしもこれまでに着想または探求されてきたアプローチではない。従って、特に反対の記載がない限り、本節に記載されたアプローチのいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、特に反対の記載がない限り、本節に基づいて、１以上のアプローチに関して特定される問題が、いずれかの先行技術において認識されたことがあると考えるべきではない。

本発明の一実施形態を、限定ではなく例示として、添付図面の各図により示す。これらの図において、類似の要素には同種の参照符号を付している。

図１は、映像配信パイプラインのためのプロセス例を示す。 図２は、ＩＰＴ−ＰＱ色空間への色変換のプロセス例を示す。 図３は、信号再構成および符号化のプロセス例を示す。 図４は、本発明の一実施形態における、ＳＴ ２０８４ ＩＰＴとＢＴ １８６６ ＩＰＴとの間の輝度再構成のためのトーンマッピング曲線例を示す。 図５は、本発明の一実施形態における色空間再構成を用いた、下位互換的な符号化および復号化のためのシステム例を示す。 図６は、本発明の一実施形態における、色回転・スケーリング行列を生成するためのプロセスフロー例を示す。 図７Ａは、本発明の一実施形態における、色相・彩度再構成関数を示す。 図７Ｂは、本発明の一実施形態における、色相・彩度再構成関数を示す。 図８は、本発明の一実施形態における、ＩＰＴ−ＰＱとＹＣｂＣｒ−ガンマ色空間との間の色相・彩度再構成の例を示す。 図９は、本発明の一実施形態におけるＥＥＴＦ関数の一例を示す。

ハイダイナミックレンジ（ＨＤＲ）画像の信号再構成および符号化を、本明細書に記載する。以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。

概要
本明細書に説明する実施形態例は、ハイダイナミックレンジ画像の再構成および符号化に関する。下位互換的な復号化を改善する方法において、エンコーダ中で、プロセッサは画像データベースにアクセスし、
第１の色空間における前記データベース内の画像の第１の色相値を算出し、
第２の色空間における前記データベース内の画像の第２の色相値を算出し、
色相コスト関数を最小にすることに基づき、色相回転角を算出し、ここで、前記色相コスト関数は第１の色相値と回転された第２の色相値との差分の尺度（ｄｉｆｆｅｒｅｎｃｅ ｍｅａｓｕｒｅ）に基づいており、
前記色相回転角に基づいて、色回転行列を生成する。

一実施形態において、前記第１の色空間はガンマベース（ｇａｍｍａ−ｂａｓｅｄ）のＹＣｂＣｒ色空間であり、前記第２の色空間はＰＱベース（ＰＱ−ｂａｓｅｄ）のＩＰＴ色空間である。

一実施形態において、前記色回転行列は、好適な色空間に基づき、再構成された色空間を生成するために用いられる。前記再構成された色空間を用いて画像は符号化され、前記色回転行列に関する情報が、前記エンコーダからデコーダへ伝えられる。

一実施形態において、再構成された色空間において符号化された入力画像をデコーダ中で再構築する方法であって、前記デコーダは、
再構成された色空間にある符号化された入力画像を受け取り、ここで、前記再構成された色空間は、好適な色空間のクロマ成分を回転させて、旧式の色空間の１つ以上のパラメータを近似することにより生成されており、
エンコーダから前記デコーダへと送信されたメタデータにアクセスし、ここで、前記メタデータは前記符号化された入力画像に対して関連付けられており、かつ前記メタデータは、
色回転・スケーリング行列が存在するか否かを示すフラグと、
前記フラグが色回転・スケーリング行列の存在を示している場合において、前記色回転・スケーリング行列用の複数の係数と、
を含んでおり、
前記符号化された入力画像を復号化することにより、前記再構成された色空間における復号化された画像を生成し、
前記再構成された色空間における前記復号化された画像と、前記色回転・スケーリング行列とに基づき、前記好適な色空間における復号化された画像を生成する。

別の実施形態において、エンコーダ中で、プロセッサは、
好適な色空間にある入力画像を受け取り、
色相回転関数にアクセスし、ここで前記色相回転関数は、前記好適な色空間にある入力画像中の１つの画素の色相値について、ある色相コスト条件にしたがえば旧式の色空間中の１つの色相値にマッチするような、回転された色相出力値を生成し、
前記入力画像と前記色相回転関数とに基づき、再構成された画像を生成し、
前記再構成された画像を符号化することにより、符号化された再構成画像を生成する。

別の実施形態において、デコーダ中で、プロセッサは、
再構成された色空間において符号化された入力画像にアクセスし、
前記入力画像に関連付けられたメタデータにアクセスし、ここで、前記メタデータは、前記入力画像を好適な色空間から前記再構成された色空間へと変換するために用いられる、色相回転関数に対して関連付けられたデータを含んでおり、ここで前記色相回転関数は、前記好適な色空間にある入力画像中の１つの画素の色相値について、ある色相コスト条件にしたがえば旧式の色空間中の１つの色相値にマッチするような、回転された色相出力値を生成し、入力画像と、前記色相回転関数に関連付けられたデータとに基づき、前記好適な色空間における出力画像を生成する。

映像供給処理パイプライン例
図１は、従来の映像配信パイプライン（１００）のプロセス例を示しており、映像のキャプチャから映像コンテンツの表示までの、様々な段を示している。映像フレームのシーケンス（１０２）を、画像生成ブロック（１０５）を用いてキャプチャまたは生成する。映像フレームは、デジタル的にキャプチャされるか（例えばデジタルカメラにより）あるいはコンピュータ（例えばコンピュータアニメーションを用いて）によって生成され、これにより映像データ（１０７）が得られる。あるいは映像フレーム（１０２）は、銀塩カメラによってフィルムに取得されてもよい。フィルムをデジタルフォーマットに変換することによって、映像データ（１０７）が得られてもよい。プロダクションフェーズ（１１０）において、映像データ（１０７）は編集され、映像プロダクションストリーム（１１２）を得る。

プロダクションストリーム（１１２）の映像データは次に、ブロック（１１５）のプロセッサに提供されて、ポストプロダクション編集を受ける。ポストプロダクション編集（１１５）は、画像の特定の領域の色または明るさを調節または変更することにより、映像制作者の制作意図にしたがって、画質を上げたり、その画像が特定の見え方をするようにすることを含み得る。これは、「カラータイミング」あるいは「カラーグレーディング」と呼ばれることがある。ブロック（１１５）において、その他の編集（例えば、シーン選択およびシーケンシング、画像クロッピング、コンピュータ生成された視覚的特殊効果の追加など）を行うことにより、プロダクションの、配信用の最終バージョン（１１７）を作成してもよい。ポストプロダクション編集（１１５）において、映像イメージは、リファレンスディスプレイ（１２５）上で視聴される。

ポストプロダクション（１１５）の後、最終プロダクションとしての映像データ（１１７）は、下流のテレビ受像機、セットトップボックス、映画館などの復号化・再生機器まで供給されるために、符号化ブロック（１２０）に供給されてもよい。いくつかの実施形態において、符号化ブロック（１２０）は、符号化されたビットストリーム（１２２）を生成するための、ＡＴＳＣ、ＤＶＢ、ＤＶＤ、ブルーレイおよびその他の供給フォーマットに規定されるような音声および映像エンコーダを有していてもよい。受信機において、符号化されたビットストリーム（１２２）は、復号化ユニット（１３０）により復号化されることにより、信号（１１７）と同一またはこれに近い近似を表す、復号化された信号（１３２）を生成し得る。受信機は、リファレンスディスプレイ（１２５）と全く異なる特性を有し得るターゲットディスプレイ（１４０）に取り付けられていてもよい。その場合、ディスプレイマネジメントブロック（１３５）を用いてディスプレイマッピング化信号（１３７）を生成することで、復号化された信号（１３２）のダイナミックレンジを、ターゲットディスプレイ（１４０）の特性にマッピングしてもよい。

ＩＰＴ−ＰＱ色空間
好適な実施形態において、限定しないが、処理パイプラインの一部、例えば、符号化（１２０）、復号化（１３０）、およびディスプレイマネジメント（１３５）を、ここにおいてＩＰＴ−ＰＱ色空間と呼ぶものの中で行い得る。ディスプレイマネジメント用途でのＩＰＴ−ＰＱ色空間の使用の一例を、Ｒ．Ａｔｋｉｎｓら「Ｄｉｓｐｌａｙ Ｍａｎａｇｅｍｅｎｔ ｆｏｒ Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｖｉｄｅｏ」ＷＩＰＯ公開ＷＯ ２０１４／１３０３４３に見出すことができる。その全文を本願において援用する。「Ｄｅｖｅｌｏｐｍｅｎｔ ａｎｄ ｔｅｓｔｉｎｇ ｏｆ ａ ｃｏｌｏｒ ｓｐａｃｅ（ｉｐｔ） ｗｉｔｈ ｉｍｐｒｏｖｅｄ ｈｕｅ ｕｎｉｆｏｒｍｉｔｙ」、Ｆ． ＥｂｎｅｒおよびＭ．Ｄ． Ｆａｉｒｃｈｉｌｄ、Ｐｒｏｃ．６^th Ｃｏｌｏｒ Ｉｍａｇｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ：Ｃｏｌｏｒ Ｓｃｉｅｎｃｅ， Ｓｙｓｔｅｍｓ， ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ、ＩＳ＆Ｔ、アリゾナ州スコッツデール、１９９８年１１月、ｐｐ．８−１３（以降Ｅｂｎｅｒ文献と呼ぶ。本願においてその全文を援用する）に記載されたＩＰＴ色空間は、人間の視覚システムにおける錐体間の色差のモデルである。この意味においては、ＹＣｂＣｒやＣＩＥ−Ｌａｂ色空間のようなものであるが、いくつかの科学研究において、これらの空間よりも人間の視覚処理をよりよく模擬するものであることが分かっている。ＣＩＥ−Ｌａｂと同様に、ＩＰＴは何らかの基準輝度に対して正規化された空間である。一実施形態において、正規化は、ターゲットディスプレイの最大輝度（例えば５，０００ニト）に基づく。

本明細書において、用語「ＰＱ」は知覚的量子化を指す。人間の視覚システムは、光レベルの増大に対して非常に非線形的に反応する。人間が刺激を見る能力は、その刺激の輝度、その刺激の大きさ、その刺激を構成する空間周波数、および、その刺激を見ている瞬間までに目が適応した輝度レベルに影響される。好適な実施形態において、知覚的量子化器関数は、線形入力グレイレベルを、人間の視覚システムにおけるコントラスト感度閾値によりマッチした出力グレイレベルにマッピングする。ＰＱマッピング関数の例は、Ｊ．Ｓ． Ｍｉｌｌｅｒらの米国特許Ｓｅｒ．Ｎｏ．９，０７７，９９４（‘９９４特許と呼ぶ）」に記載されており、この出願の全文を本願に援用する。その一部は、ＳＭＰＴＥ ＳＴ ２０８４：２０１４規格において、「Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｅｌｅｃｔｒｏ−ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ ｏｆ Ｍａｓｔｅｒｉｎｇ Ｒｅｆｅｒｅｎｃｅ Ｄｉｓｐｌａｙｓ」２０１４年８月１６日の名称で採用されている（全文を本願に援用する）。ある固定刺激サイズに対して、それぞれの輝度レベル（即ち、刺激レベル）について、最高感度の適応レベルおよび最高感度の空間周波数（ＨＶＳモデルによる）に応じて、その輝度レベルにおける最小可視コントラストステップを選択する。物理的な陰極線管（ＣＲＴ）装置の応答曲線を表しており、人間の視覚システムの応答の仕方に対して非常に大まかな類似性を偶然有し得る従来のガンマ曲線と比較して、‘９９４特許において決定されているＰＱ曲線は、比較的シンプルな関数モデルを用いながら人間の視覚システムの本当の視覚応答を模擬している。

図２は、一実施形態におけるＩＰＴ−ＰＱ色空間への色変換のための、プロセス例（２００）をより詳細に示す。図２に示すように、第１の色空間（例えばＲＧＢ）にある入力信号（２０２）が与えられたとき、知覚的に補正されたＩＰＴ色空間（ＩＰＴ−ＰＱ）における色空間変換は、以下のステップを含み得る。すなわち、
ａ）オプションのステップ（２１０）により、入力信号（２０２）の画素値（例えば０から４０９５）を、０と１の間のダイナミックレンジを有する画素値に正規化してもよい。
ｂ）入力信号（２０２）が（例えばＢＴ．１８６６またはＳＭＰＴＥ ＳＴ ２０８４に準拠して）ガンマ符号化またはＰＱ符号化されている場合、オプションのステップ（２１５）として、信号の電気光学伝達関数（ＥＯＴＦ）（信号メタデータにより提供される）を用いて、ソースディスプレイによる符号値から輝度への変換を、戻すか取り消してもよい。例えば、入力信号がガンマ符号化されている場合、このステップでは逆ガンマ関数を適用する。入力信号がＳＭＰＴＥ ＳＴ ２０８４に従いＰＱ符号化されているなら、このステップは逆ＰＱ関数を適用する。実際においては、予め算出された１−Ｄルックアップテーブル（ＬＵＴ）を用いて正規化ステップ（２１０）および逆非線形的符号化（２１５）を行うことにより、線形信号２１７を生成してもよい。
ｃ）ステップ（２２０）において、線形信号２１７を元の色空間（例えばＲＧＢ、ＸＹＺなど）からＬＭＳ色空間へと変換する。例えば、もし元の信号がＲＧＢならば、このステップは２つのステップを包含し得る。すなわち、ＲＧＢからＸＹＺへの色変換および、ＸＹＺからＬＭＳへの色変換である。一実施形態において、限定しないが、ＸＹＺからＬＭＳへの変換は、以下により与えられてもよい。

別の実施形態において、本願においてその全文を援用する２０１４年９月２６日付け出願の「Ｅｎｃｏｄｉｎｇ ａｎｄ ｄｅｃｏｄｉｎｇ ｐｅｒｃｅｐｔｕａｌｌｙ−ｑｕａｎｔｉｚｅｄ ｖｉｄｅｏ ｃｏｎｔｅｎｔ」の名称を有する米国仮特許出願Ｓｅｒ．Ｎｏ．６２／０５６，０９３（また２０１５年９月２４日付けでＰＣＴ／ＵＳ２０１５／０５１９６４としても出願）に記載されているように、ＸＹＺからＬＭＳへの変換の一部として以下のクロストーク行列

を導入することにより、ＩＰＴ−ＰＱ色空間での全体的な符号化効率はさらに増大され得る。例えば、ｃ＝０．０２について、クロストーク行列に式（１ａ）の３×３行列を乗算することにより、以下が得られる。

同様に、ｃ＝０．０４について、別の実施形態において、クロストーク行列に、元のＸＹＺからＬＭＳへの行列（例えば式（１ａ））を乗算することにより、以下が得られる。すなわち、

ｄ）Ｅｂｎｅｒ文献によれば、従来のＬＭＳからＩＰＴへの色空間変換は、まずＬＭＳデータに非線形のべき関数を適用し、次に線形変換行列を適用することを含む。データをＬＭＳからＩＰＴに変換したのちにＰＱ関数を適用することによりＩＰＴ−ＰＱドメインに入れることも可能であるが、好適な実施形態においては、ステップ（２２５）でのＬＭＳからＩＰＴへの非線形的符号化のための従来のべき関数に替えて、代わりにＬ、ＭおよびＳ成分の各々のＰＱ非線形的符号化を行う。
ｅ）ＬＭＳからＩＰＴへの線形変換（例えばＥｂｎｅｒ文献に定義される）を用いることにより、ステップ（２３０）は、信号２２２のＩＰＴ−ＰＱ色空間への変換を完了する。例えば、一実施形態において、Ｌ’Ｍ’Ｓ’からＩＰＴ−ＰＱへの変換は、以下によって与えられ得る。

別の実施形態において、実験からＩ’成分はＳ’成分に依存せずに導出することが好ましくあり得ることがわかっており、したがって式（２ａ）は、

となる。

ＩＰＴ−ＰＱ対ＹＣｂＣｒ−ガンマ
ＭＰＥＧ−１、ＭＰＥＧ−２、ＡＶＣ、ＨＥＶＣなどの既存のビデオ圧縮規格のほとんどは、ＹＣｂＣｒ色空間におけるガンマ符号化された画像用にテスト、評価、および最適化されている。しかし実験結果から、各色成分につき画素あたり１０ビット以上のハイダイナミックレンジ画像に対しては、ＩＰＴ−ＰＱ色空間がより良い表現フォーマットを提供し得ることがわかっている。ＨＤＲやさらに広色域の信号により適した色空間（例えばＩＰＴ−ＰＱ）で信号符号化すれば、よりよい全体的な画質は生み得るが、旧式のデコーダ（例えばセットトップボックスなど）が適正な復号化および色変換を行うことができない可能性がある。新しい色空間を知らないような機器であっても妥当な画（像）を生成できるように下位互換性を改善するため、発明者らの理解によれば、新規な信号再構成技術が必要である。

図３は、一実施形態における信号再構成および符号化のプロセス例を示す。図３に示すように、入力（３０２）を与えられると、順方向色再構成ブロック（３０５）は、必要に応じて色変換および／または再構成関数を適用することにより、好適な色空間（例えばＩＰＴ−ＰＱ−ｒ）における信号（３０７）を生成する。また再構成に関連するメタデータ（３０９）も生成し、これがエンコーダ（３１０）、デコーダ（３１５）、および逆方向色再構成（３２０）などの符号化パイプライン中の後のブロックに伝えられてもよい。

デコーダは、符号化された信号（３１５）を受け取ったあと、復号化（３１５）（ＨＥＶＣ復号化など）を適用して、復号化された信号（３１７）を生成する。好適なＨＤＲ−ＷＣＧ符号化色空間（例えばＩＰＴ−ＰＱ−ｒ）を知っているデコーダは、適正な逆方向または逆（ｂａｃｋｗａｒｄ ｏｒ ｒｅｖｅｒｓｅ）再構成（３２０）を適用することにより、適正な色空間（例えばＩＰＴ−ＰＱ）にある信号（３２２）を生成する。そして、信号（３２２）を、追加的な後処理、格納、または表示のために、ＹＣｂＣｒまたはＲＧＢに変換してもよい。

好適なＨＤＲ−ＷＣＧ符号化空間を知らない旧式のデコーダは、ＨＤＲ−ＷＣＧ空間を、旧式の色空間（例えばガンマ符号化されたＹＣｂＣｒ）として扱うかもしれない。しかし、順方向色再構成（３０５）のおかげで、デコーダの出力（３１７）に対し逆方向再構成その他の色変換が適用されていないにもかかわらず、出力（３１７）はなお妥当な画質を有し得る。

色再構成
限定するものではないが、ＩＰＴ−ＰＱ色空間を考える。一実施形態において、線形再構成行列（例えば３×３行列）を生成することにより、ＩＰＴ−ＰＱ信号における肌色（ｓｋｉｎ ｔｏｎｅｓ）を、ＹＣｂＣｒ−ガンマ信号における肌色に、知覚的にマッチさせる。このような色変換は、ＩＰＴ色空間でのほとんどの画像処理用途の性能に影響を与えない一方で、旧式の機器による色再生を大きく改善する。肌色に代えてあるいは肌色に加えて、群葉や空などの他の重要な色にマッチするように同様な変換行列を生成してもよい。一実施形態において、再構成行列は以下のように算出され得る。すなわち、

ａ）例えば反射率スペクトルなどの肌色カラーのデータベースをロードし、これらをＸＹＺなどの機器独立的な色空間に変換する。

ｂ）肌色のデータベースを、ＸＹＺから旧式の色空間フォーマット（例えばＹＣｂＣｒ，Ｒｅｃ．７０９）に変換する。このステップは例えば、以下のサブステップを含んでもよい。すなわち、
ｂ．１）データベースをＲＧＢに変換（Ｒｅｃ．７０９）、
ｂ．２）ＲＧＢ値（例えばＢＴ．１８８６に準拠）にガンマを適用することにより、ガンマ符号化されたＲ’Ｇ’Ｂ’信号を生成、
ｂ．３）Ｒ’Ｇ’Ｂ’信号をＹＣｂＣｒ−ガンマ値（例えばＲｅｃ．７０９に準拠）に変換、
ｂ．４）ＹＣｂＣｒ−ガンマ信号の色相（例えば

）値を算出、および
ｂ．５）ＹＣｂＣｒ−ガンマ信号の彩度値（例えば

）を算出。

ｃ）データベース中の肌色値を、好適なカラーフォーマット（例えば、ＩＰＴ−ＰＱ）で算出する。このステップは、以下のサブステップを含み得る。すなわち、
ｃ．１）ＸＹＺからＬＭＳへ変換、
ｃ．２）ＰＱ（例えばＳＴ ２０８４準拠）を適用することにより、ＬＭＳからＬ’Ｍ’Ｓ’へ、そしてＩ’Ｐ’Ｔ’へと変換、
ｃ．３）色相値（例えば

を算出、および
ｃ．４）彩度値（

）を算出。

ｄ）回転または再構成されたＩＰＴ−ＰＱ（例えばＩＰＴ−ＰＱ−ｒ）における肌色が、ＹＣｂＣｒ−ガンマにおける肌色と整合するように、ＩＰＴ値を回転するための回転行列を算出。一実施形態においてこのステップは、２つの色空間内のサンプルの、色相および彩度値に関するコスト関数を、最適化することにより算出される。例えば、一実施形態においてコスト関数は、旧式の色空間（例えばＹＣｂＣｒ）と、回転された好適なＨＤＲ色空間（例えばＩＰＴ−ＰＱ）との間の平均二乗誤差（ＭＳＥ）を表していてもよい。例えば、

が、色相に関連するコスト関数を表すとする。ここで、Ｈｕｅ_{ＩＰＴ−ＰＱ−ｒ}は、再構成された色（すなわち、ＩＰＴ−ＰＱ−ｒ）の色相を表しており、

と定義できる。ここで、すべての逆ｔａｎ関数は、（−π，π）で算出される。

一実施形態において、ある基準にしたがってコスト関数を最小にする角度「ａ」の値（これをａ’と表記する）を見出すための、当該分野において公知の最適化法を適用し得る。例えば、ＭＡＴＬＡＢ関数ｆｍｉｎｕｎｃ（ｆｕｎ，ｘ０）を、ｆｕｎ＝Ｃｏｓｔ_Hおよびｘ０＝０．１で適用してもよい。所与のａ’について、回転行列Ｒを、以下のように定義し得る。

一例として、サンプルデータベースに基づけば、一実施形態において、ａ’＝７１．７４度について、

である。

Ｒおよび元のＬ’Ｍ’Ｓ’からＩ’Ｐ’Ｔ’への行列であるＬＭＳ２ＩＰＴｍａｔ（例えば式（２）を参照）を与えられたとき、再構成されたＩＰＴ−ＰＱ−ｒ色空間への変換は、以下のように定義される新しいＬＭＳ２ＩＰＴｍａｔ−ｒ行列を用い得る。すなわち、
ＬＭＳ２ＩＰＴｍａｔ−ｒ＝Ｒ^T＊ＬＭＳ２ＩＰＴｍａｔ＝（（ＬＭＳ２ＩＰＴ ｍａｔ^T＊Ｒ））^T （７）
ここで、Ａ^Tは、行列Ａの転置行列を表す。

一実施形態において、肌色の色相を整合させることに加えて、彩度を整合させてもよい。これは、以下のステップを含み得る。すなわち、
ａ）Ｒを元のＩＰＴ−ＰＱデータに適用して、色回転されたクロマ値Ｐ_RおよびＴ_Rデータを生成する。
ｂ）彩度コスト関数、例えば元の色空間およびターゲット色空間における彩度値間のＭＳＥなど、を定義する。すなわち、

ここで、

ｃ）ｂ’が、Ｃｏｓｔ_Sを最適化するｂ値を表すとする。すると、スケーリングベクトル

をクロマ回転行列に適用することで、１つの色回転・スケーリング３×３行列

を形成し得る。

いくつかの実施形態において、色相コスト関数および彩度コスト関数（例えば式（３）および（８）を、１つの色相／彩度コスト関数にまとめ、ａ’とｂ’の両方について同時に解いてもよい。例えば、式（１１）より、一実施形態において、

について、式（４）は、

と変形し得、最適なａ’および最適なｂｉ’（ｉ＝１から４）スケーリング係数の両方について、式（３）を解くことができる。

例えば、一実施形態において、ａ’＝６５度およびｂ１’＝１．４、ｂ２’＝１．０、ｂ３’＝１．４、およびｂ４’＝１．０について、式（１２）より以下が得られる。

トーン再構成
提案した回転行列Ｒにより色再生を改善し得るが、しかし復号化された画像（３１７）は依然として、非線形的ＥＯＴＦ符号化関数間における差異（例えばＳＴ ２０８４とＢＴ １８６６など）のために、低いコントラストを有するように知覚されるかもしれない。一実施形態において、１−Ｄトーンマッピング曲線を輝度チャンネル（例えばＩ’）に適用することによって、コントラストを改善してもよい。このステップは、以下のサブステップを含み得る。すなわち、
ａ）トーンマッピング曲線（例えばＳ字状）を適用することにより、元のＨＤＲの最大明るさ（例えば４，０００ニト）の元のコンテンツから、ＳＤＲのターゲット明るさ（例えば１００ニト）へマッピング。そのようなＳ字関数の一例を、本願においてその全文を援用するＡ．ＢａｌｌｅｓｔａｄおよびＡ．Ｋｏｓｔｉｎの米国特許第８，５９３，４８０号「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｉｍａｇｅ Ｄａｔａ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ」に、見出すことができる。別の再構成関数の例がまた、本願においてその全文を援用するＷＩＰＯ公開ＷＯ２０１４／１６０７０５「Ｅｎｃｏｄｉｎｇ ｐｅｒｃｅｐｔｕａｌｌｙ−ｑｕａｎｔｉｚｅｄ ｖｉｄｅｏ ｃｏｎｔｅｎｔ ｉｎ ｍｕｌｔｉ−ｌａｙｅｒ ＶＤＲ ｃｏｄｉｎｇ」にも開示されている。Ｉ'_T＝ｆ（Ｉ'）がトーンマッピング関数ｆ（）の出力を表すとして、
ｂ）Ｉ'_Tを線形化（例えば逆ＰＱまたはガンマ関数を適用）することにより、線形Ｉ_Tデータを生成、および
ｃ）線形化されたＩ_T信号に対して旧式のＥＯＴＦ符号化（例えばＢＴ．１８６６）符号化を適用することにより、ガンマ符号化された輝度信号を生成。これは、圧縮されてエンコーダに送信される。

ＳＴ ２０８４（ＰＱ）およびＢＴ １８６６間におけるそのようなマッピングの一例を、図４に示す。この曲線は、より高いミッドトーンコントラスト、より低い黒部、およびより明るい（コントラストのより少ない）ハイライトを有している。これにより、トーンスケールを標準的なＳＤＲに対してより近く整合させ、もし入力が旧式の機器によって復号化されたとしても画像が視聴可能であるようになる。図４において、限定はしないが、入力値および出力値は（０，１）に正規化されている。

再構成情報は、エンコーダからパイプラインの残り部分に対して、メタデータとして伝えられ得る。再構成パラメータは、与えられた映像シーケンスについて可能なかぎり最高の性能を得るために、フレーム毎、シーン毎、またはシーケンス毎などの様々な時間関係で決定されてよい。

本説明ではＩＰＴ−ＰＱ色空間について述べているが、これらの手法は他の色空間およびカラーフォーマットについても等しく適用可能である。例えば、同様な手法を適用することにより、異なるバージョンのＹＣｂＣｒ間（例えば、Ｒｅｃ．７０９ ＹＣｂＣｒとＲｅｃ．２０２０ ＹＣｂＣｒなど）にわたって、下位互換性を改善することができる。このように、一実施形態において、本明細書に記載した信号再構成法を用いてＲｅｃ．２０２０ビットストリームを調節することにより、旧式のＲｅｃ．７０９デコーダを用いて復号化された際にも、よりよい色相・彩度出力を得ることができる。

図６は、一実施形態における、色回転・スケーリング行列を生成するための、プロセスフロー例を示す。ある画像データベース（６０５）を与えられると、ステップ（６１０）は、第１の（旧式）色空間（例えば、ＹＣｂＣｒ−ガンマ）において、データベース内の画像についての色相および彩度値を算出する。ステップ（６１５）は、第２の（好適な）色空間（例えば、ＩＰＴ−ＰＱ）において、データベース内の画像についての色相を算出する。

色相に関連するコスト関数（例えば式（３））を与えられると、ステップ（６２０）は、ある最小化コスト条件（例えば平均二乗誤差（ＭＳＥ））にしたがって最適である回転角ａ’を求める。この回転角ａ’は、旧式の色空間において算出された色相群と、回転された好適な色空間において算出された色相群との距離を最小にするものである。ステップ（６２５）において、ａ’の値を用いて色回転行列を生成する。

また、オプションとして彩度スケーラを算出してもよい。彩度コスト関数（例えば式８）を与えられると、ステップ（６３０）は、オプションとして、ある最小化コスト条件にしたがって（例えば第１の色空間にある信号の彩度と色回転された好適な色空間にあるスケーリングされた信号の彩度との間のＭＳＥなど）、最適なスケーラｂ’を求める（６４０、６４５）。

最後に、ステップ（６３５）において、回転角およびスケーラを組み合わせることにより、色回転・スケーリング行列（例えば式（１１））を生成する。

エンコーダにおいては、色回転・スケーリング行列を、好適な色空間にある入力データに適用することにより、再構成された色空間にあるデータを生成する。データは符号化（圧縮）され、色回転・スケーリング行列に関連する情報とともにデコーダに送信される。

デコーダにおいては、旧式のデコーダの場合、旧式の色空間において符号化されたものとしてデータを復号化するであろう。間違った色空間情報を用いているにもかかわらず、ダイナミックレンジは下がるものの、画像は依然として十分な質で視聴可能である。より新しくフル機能のデコーダは、受け取ったメタデータ情報（色回転・スケーリング行列）を利用して、画像データを好適な色空間において復号化することにより、視聴者にデータの持つハイダイナミックレンジをフルに提供し得る。

再構成情報用のＳＥＩメッセージシンタックス
上記のように、一実施形態において、回転（Ｒ）行列およびスケーリングベクトル（Ｓ）は、（２３０）におけるＬ’Ｍ’Ｓ’からＩ’Ｐ’Ｔ’への変換行列により吸収されてもよい。トーン再構成曲線は順方向色再構成（３０５）の一部分であってもよい。両方の場合において、適応的再構成情報（すなわち、行列およびトーンマッピング曲線）は、２０１５年７月１６日付け出願の米国特許仮出願Ｓｅｒ．Ｎｏ．６２／１９３３９０において提案されているシンタックスを用いて、エンコーダからデコーダに送信され得る。本願においてその全文を援用する。

別の実施形態において、図５に示すように、新たな色回転およびスケールブロック（５１０）をエンコーダ（５００Ａ）に追加してもよい。このブロックは、色変換（２００）（例えばＲＧＢからＩＰＴ−ＰＱ）の後に追加され得るが、好ましくは順方向再構成（３０５）の前に追加される。デコーダ（５００Ｂ）において、対応する逆色回転・スケーリングブロック（５１５）を、逆方向再構成ボックス（３２０）の後に追加してもよい。図５に示すように、オプションとしてのカラーフォーマット変換ボックス（例えば４：４：４から４：２：０（５０５）、または４：２：０から４：４：４（５２０））を、符号化および／または復号化パイプラインに必要に応じて追加してもよい。

シンタックス的には、３×３回転行列、または単に２×２行列を指定すればよい。なぜなら、典型的には輝度チャンネル（例えばＹまたはＩ）は変更されないままだからである。表１は、色回転・スケーリング行列を伝えるためのＳＥＩメッセージングの一例を提供する。ただし、信号送信はＳＥＩメッセージに限定されない。ＳＰＳ、ＰＰＳその他などの任意の高レベルシンタックスに挿入され得る。
表１：色回転・スケーリング行列のためのＳＥＩメッセージング例

ｃｏｌｏｕｒ＿ｒｏｔａｔｉｏｎ＿ｓｃａｌｅ＿ｍａｔｒｉｘ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しいことは、０から１の範囲（両端を含む）にあるｃおよびｉについて、シンタックス要素ｃｏｌｏｕｒ＿ｒｏｔａｔｉｏｎ＿ｓｃａｌｅ＿ｃｏｅｆｆｓ［ｃ］［ｉ］が存在することを示す。ｃｏｌｏｕｒ＿ｒｏｔａｔｉｏｎ＿ｓｃａｌｅ＿ｍａｔｒｉｘ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しいことは、０から１の範囲（両端を含む）にあるｃおよびｉについて、シンタックス要素ｃｏｌｏｕｒ＿ｒｏｔａｔｉｏｎ＿ｓｃａｌｅ＿ｃｏｅｆｆｓ［ｃ］［ｉ］が存在しないことを示す。

ｃｏｌｏｕｒ＿ｒｏｔａｔｉｏｎ＿ｓｃａｌｅ＿ｃｏｅｆｆｓ［ｃ］［ｉ］は、２×２色回転およびスケール行列係数の値を指定する。ｃｏｌｏｕｒ＿ｒｏｔａｔｉｏｎ＿ｓｃａｌｅ＿ｃｏｅｆｆｓ［ｃ］［ｉ］の値は、−２＾１５から２＾１５−１（両端を含む）の範囲になる。ｃｏｌｏｕｒ＿ｒｏｔａｔｉｏｎ＿ｓｃａｌｅ＿ｃｏｅｆｆｓ［ｃ］［ｉ］が存在しないときは、デフォルトの色回転およびスケール行列行列が用いられる。

一実施形態において、エンコーダおよびデコーダの両方が色回転・スケーリング行列を知っており（例えば新しい色空間を相互に定義することにより）、色回転行列をエンコーダからデコーダに信号送信する必要がない場合がある。別の実施形態においては、色回転・スケーリング行列は、ＩＰＴ−ＰＱとともにＶＵＩ（ビデオユーザビリティ情報）中において参照されてもよい。

多色相・彩度再構成
いくつかの実施形態において、多数の色相に対して再構成を適用することが有利である場合がある。これは、再構成された色空間を旧式の色にマッチさせる精度を増大させるが、デコーダにおいて追加的な演算というコストが発生する。例えばＮ個の色相（例えば肌色、空、草木など）について再構成を最適化する問題を考える。一実施形態において、前述した処理を繰り返すことにより、最適角度および彩度の組を、色相の関数として決定することができる。例えば、様々な色相群に対してデータベース画像を用いることにより、最適な（回転角、彩度スケール）値の組を生成し得る。例えば｛（ａ₁，ｂ₁），（ａ₂，ｂ₂），．．．，（ａ_N，ｂ_N）｝である。あるいはより一般的に、画素ｐについて

が最適なクロマ（色相）回転および彩度スケーリング値を示すとする。ここで、ｈ（ｐ）は画素ｐの色相の尺度を表す。例えば、ＩＰＴ−ＰＱ色空間について、ｆ_Hおよびｆ_S関数は、色相関数ｈ（ｐ）および彩度関数ｓ（ｐ）的に算出することが可能である。すなわち、

関数ｆ_H（ｈ（ｐ））およびｆ_S（ｈ（ｐ））は、当該分野において公知の様々な方法、例えばルックアップテーブルまたは区分的線形または非線形多項式として表現および格納されればよく、またメタデータとしてエンコーダからデコーダへと伝えられることができる。

ｆ_H（ｈ（ｐ））およびｆ_S（ｈ（ｐ））が与えられたとき、エンコーダは、各画素に対して以下の再構成関数

を適用することにより、適切な再構成された信号を生成する。例えば、ＩＰＴ−ＰＱ色空間について、画素ｐについての再構成されたＰ’およびＴ’色成分は、以下を用いて導出してもよい。すなわち、

デコーダにおいては、プロセスは逆である。例えば、ｆ_H（ｈ（ｐ））およびｆ_S（ｈ（ｐ））が与えられたとき、式（１４）および（１６）から、デコーダは、

を生成する。

デコーダにおける除算を避けるために、いくつかの実施形態において、エンコーダはｆ_S（ｈ（ｐ））の逆数（例えば１／ｂ（ｐ）値）を、デコーダに信号送信し得る。ＩＰＴ−ＰＱ空間における入力データに対し、元のデータを、

として生成し得る。

式（１７）より、逆再構成を適用して好適な色空間にあるデータを回復することは、三角関数演算を必要とする。いくつかの実施形態において、三角関数演算はルックアップテーブルを用いて行い得る。一例として、式（１８）より、式（１９）は以下のように書き換え得る。

これらの演算は、コサインおよびサイン関数を算出するために適切なルックアップテーブルを用いることにより、さらに簡素化することができる。

図７Ａは、旧式の色空間がＹＣｂＣｒ−ガンマである場合に、再構成されたＩＰＴ−ＰＱ−ｒ（これは旧式の機器にとっては、ＹＣｂＣｒとして見える）から色相を変換してＩＰＴ−ＰＱに戻す、逆方向再構成関数の一例を示す。図７Ｂは、彩度を調整するための、対応する逆方向再構成関数を示す。図８は、好適な色空間ＩＰＴ−ＰＱ（８２０）を調節して、旧式のＹＣｂＣｒ色空間（８１０）の特性にマッチさせる様子を示す。光線（８３０）は、回転およびスケーリングを表している。

別の実施形態において、ＰおよびＴ値を色相のコサインまたはサイン関数的に算出する代わりに、色相の他の何らかの関数（例えばｆ（ｔａｎ^-1（ｈ（ｐ））））に基づいて生成されたルックアップテーブルを有するより単純なデコーダを構築することもできる。例えば、所与の再構成された画素値成分Ｐ'_r（ｐ）およびＴ'_r（ｐ）について、一実施形態において、デコーダは、元の画素値を以下のように回復し得る。すなわち、

ここで、ｖ（）およびｗ（）は、再構成された色空間における画像が、旧式の色空間における色相および彩度の組にマッチするように生成された、色相に関連する関数を表す。ｖ（）およびｗ（）関数は、前述のようにメタデータを用いてエンコーダからデコーダへと伝えられてもよく、あるいはエンコーダおよびデコーダの両方が知っている、確立された符号化プロトコルまたは規格の一部であってもよい。

ＩＣ_TＣ_P色空間
ＩＣ_TＣ_PはＩＣｔＣｐ（またはＩＰＴ）とも呼ばれ、ハイダイナミックレンジおよび広色域（ｗｉｄｅ ｃｏｌｏｒ ｇａｍｕｔ：ＷＣＧ）信号を処理するために特に設計された、新しい提案としての色空間である。ＩＴＰ−ＰＱと同様に、Ｉ（Ｉｎｔｅｎｓｉｔｙ：強度）は、ＰＱ符号化された信号の明るさを表し、第３軸（Ｔｒｉｔａｎ Ａｘｉｓ）Ｃ_Tは、青−黄色の知覚に対応し、第１軸（Ｐｒｏｔａｎ Ａｘｉｓ）Ｃ_Pは、赤−緑の色知覚に対応する。上に述べたＩＰＴ−ＰＱの特徴に加えて、ＩＣ_TＣ_Pにおいては、
・前述のように、クロマを回転し肌色をＹＣｂＣｒにより近く整合
・ＸＹＺからＬＭＳへの行列が、ＷＣＧ画像についてのよりよい均一性および線形性のために最適化
・Ｌ’Ｍ’Ｓ’からＩＣｔＣｐへの行列が、ＨＤＲおよびＷＣＧ画像についての等輝度性（ｉｓｏｌｕｍｉｎａｎｃｅ）および安定性を改善するために最適化
されている。

本明細書において、用語「等輝度性」は、輝度（例えばＩＣｔＣｐのＩ、またはＹ’Ｃｂ’Ｃｒ’のＹ’）がいかによく輝度Ｙに対応するかの尺度を意味する。間接的にこれは、ある色空間がいかによくルマをクロマから分離するかを測っている。発明者の行った実験から、ＩＣｔＣｐのＩは、Ｙ’Ｃｂ’Ｃｒ’のＹ’よりも、よりルマに近く対応することがわかっている。

実装の観点から言えば、ＩＣ_TＣ_P色空間を用いることは、従来のガンマ符号化されたＹＣｂＣｒを用いるのと同じハードウェアおよび信号フローを必要とする。例えば、カメラパイプラインにおいてガンマ補正されたＹＣｂＣｒ（Ｙ’Ｃｂ’Ｃｒ’）を使用することを考える。ＸＹＺから開始して、プロセスは以下のステップを必要とする。
ａ）３×３行列を用い、ＸＹＺからＲＧＢ ＢＴ．２０２０へと変換、
ｂ）ステップａ）の出力に逆ＥＯＴＦ（またはＯＥＴＦ）を適用、および
ｃ）ステップｂ）の出力に３×３行列を適用。

図２に示したように、ＩＣ_TＣ_P色を用いることは、以下のステップを必要とする。
ａ）ステップ（２２０）にて、好適な実施形態においては以下の３×３行列を用いて、ＸＹＺからＬＭＳへ変換する。すなわち、

これは式（１ａ）のＸＹＺからＬＭＳへの３×３行列を、ｃ＝０．０４であるクロストーク行列と組み合わせることに相当する（式（１ｃ）も参照のこと）。
ｂ）ステップ（２２５）において、ＰＱ非線形性を適用することにより、前述のように信号（２２２）をＬ’Ｍ’Ｓ’に変換。
ｃ）ステップ（２３０）において、３×３行列を用いてＬ’Ｍ’Ｓ’からＩＣ_TＣ_Pへ変換。この３×３行列は好適な実施形態において、以下のように定義し得る。すなわち、

式（２３）は、式（１２ｂ）の回転行列に、式（２ｂ）の元のＬ’Ｍ’Ｓ’からＩ’Ｐ’Ｔ’への行列を乗算することに相当する。

別の実施形態において、ステップａ）からｃ）までを、以下のようにも表現し得る。

ここで、ＲＧＢ_BT.2020は、ＢＴ．２０２０における３つのＲＧＢ値を表し、ＥＯＴＦ^-1 _ST2084は、ＳＭＰＴＥ ＳＴ ２０８４に従ったＥＯＴＦの逆関数を表す。いくつかの実施形態において、ＥＯＴＦ^-1 _ST2084関数を、ハイブリッドログガンマ（Ｈｙｂｒｉｄ Ｌｏｇ−Ｇａｍｍａ：ＨＬＧ）関数などの、別の非線形的量子化関数により置き換えてもよい。完全な参考が必要であれば、適切な式を表２にも要約しておく。下付き文字Ｄは、ディスプレイ光を意味する。
表２：ＩＣ_TＣ_Pへの色変換

ＩＣ_TＣ_Pから元の色空間へと戻る変換は、同様なアプローチをたどる。一実施形態において、これは以下のステップを含み得る。すなわち、
ａ）ＩＣ_TＣ_PからＬ’Ｍ’Ｓ’へと変換。これは式（２３）の逆行列、すなわち

を用いて行う。
ｂ）Ｌ’Ｍ’Ｓ’信号から、信号のＥＯＴＦ関数（例えばＳＴ ２０８４の定義に準拠）を用いて、ＬＭＳへと変換。
ｃ）式（２２）の逆行列、例えば

を用いて、ＬＭＳからＸＹＺへと変換。

一実施形態において、対応するＬ’Ｍ’Ｓ’からＲＧＢへの行列、およびＩＣ_TＣ_PからＬ’Ｍ’Ｓ’への行列は、以下で与えられる。

リファレンスディスプレイ管理
ハイダイナミックレンジのコンテンツが、そのコンテンツのマスタリングのために用いられたリファレンスディスプレイよりも、低いダイナミックレンジを有するディスプレイ上で視聴されることもある。ＨＤＲコンテンツをより低ダイナミックレンジのディスプレイ上で視聴するためには、ディスプレイマッピングを行う必要がある。これは、ディスプレイにおけるＥＥＴＦ（電気−電気的伝達関数（ｅｌｅｃｔｒｉｃａｌ−ｅｌｅｃｔｒｉｃａｌ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ））の形をとり得る。これは典型的には、ディスプレイにＥＯＴＦを適用する前に適用される。この関数は、品良くハイライトと影とをロールオフするためのトゥとショルダー（ｔｏｅ ａｎｄ ｓｈｏｕｌｄｅｒ）を提供することにより、表現意図を保持することとディテールを維持することとの間のバランスを保つ。図９は、フルの０〜１０，０００ニトのダイナミックレンジから、０．１〜１，０００ニトの能力を有するターゲットディスプレイへのＥＥＴＦマッピングの一例を示す。このＥＥＴＦはＰＱ信号に導入され得る。プロットした点は、マッピングの効果を示す。すなわち、意図された光がどのように実際の表示光に変化するかを示している。

以下に、様々な黒および白輝度レベルを有するディスプレイに対しこのトーンマッピング関数を実装するための、数学的ステップを示す。このＥＥＴＦは、非線形ドメインにおいて、ＩＣ_TＣ_PまたはＹ’Ｃ’_BＣ’_Rのルマチャンネル、あるいはＲＧＢのチャンネルに対し個別に適用され得る。
ＥＥＴＦの計算：

トーンマッピング曲線の中央領域は、ソースからターゲットへの一対一対応として定義される。エルミートスプラインを用いて追加的なトゥ／ショルダーロールオフを計算することにより、ダイナミックレンジをターゲットディスプレイの能力まで減少させる。

スプラインのターニングポイント（トゥスタート（ＴＳ）およびショルダースタート（ＳＳ））を最初に定義する。これらは、ロールオフが始まる点である。ｍｉｎＬｕｍおよびｍａｘＬｕｍがターゲットディスプレイの最小および最大輝度値を表すとすると、

である。

正規化されたＰＱ符号語で表現されたソース入力信号であるＥ₁を与えられると、出力Ｅ₂は以下のように算出される。

エルミートスプライン式：

別の実施形態において、
ステップ１：

ステップ２：

エルミートスプライン式

ここで

得られたＥＥＴＦ曲線は、ＩＣ_TＣ_Pの強度Ｉチャンネル、またはＹ’Ｃ’_BＣ’_RのルマＹチャンネルに適用することができる。特記すべきオプションをいくつかあげておくと、
１）ＩＣ_TＣ_PのＩ−ＥＥＴＦを介して、ＩＣ_TＣ_Pの強度（Ｉ）チャンネルを処理

Ｉ₂＝ＥＥＴＦ（Ｉ₁）
・グレースケールをより正確に調節する
・カラーシフト無し
・彩度の変更が必要であり、以下の等式を用いてＣ_TおよびＣ_Pチャンネルに適用しなければならない。すなわち、

２）Ｙ’Ｃ’_BＣ’_RのＹ’−ＥＥＴＦを介して、Ｙ’Ｃ’_BＣ’_RのルマＹ’チャンネルを処理

Ｙ’₂＝ＥＥＴＦ（Ｙ’₁）
・グレースケールをより正確に調節する
・カラーシフトは限定的
・彩度の変更が必要であり、以下の等式を用いてＣ’_BおよびＣ’_Rチャンネルに適用しなければならない。すなわち、

コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のコンフィギュラブルまたはプログラマブルロジックデバイス（ＰＬＤ）、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイス、および／または、このようなシステム、デバイスまたはコンポーネントを１つ以上含む装置、を用いて実施し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のようなエンハンストダイナミックレンジを有する画像の信号再構成および符号化に関する命令を行い、制御し、または実行し得る。このコンピュータおよび／またはＩＣは、本明細書に記載の信号再構成および符号化プロセスに関する様々なパラメータまたは値のいずれを演算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。

本発明の特定の態様は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の１つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のようなＨＤＲ画像の信号再構成および符号化に関する方法を実装し得る。本発明は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む１セットの、コンピュータ読み取り可能な信号を格納する任意の非一時的媒体を含み得る。本発明によるプログラム製品は、様々な形態をとり得る。例えば、このプログラム製品は、フロッピーディスク、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。

上記においてあるコンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）に言及している場合、そのコンポーネントへの言及（「手段」への言及を含む）は、そうでないと明記されている場合を除いて、当該コンポーネントの機能を果たす（例えば、機能的に均等である）あらゆるコンポーネント（上記した本発明の実施形態例に出てくる機能を果たす開示構造に対して構造的に均等ではないコンポーネントも含む）を、当該コンポーネントの均等物として、含むものと解釈されるべきである。

均等物、拡張物、代替物、その他
ＨＤＲ画像の効率的な信号再構成および符号化に関する実施形態例を上述した。この明細書中において、各実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる１組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。

Claims (12)

1. ハイダイナミックレンジ画像の処理を改善する方法であって、以下を包含する、方法：
   プロセッサによって、ＲＧＢ ＢＴ．２０２０にあるハイダイナミックレンジ入力画像にアクセスすることと、
   前記入力画像に第１の３×３色変換行列を適用することにより、第１の色空間にある第１の画像を生成することであって、前記第１の３×３色変換行列は
   

   

   を包含し、
   前記第１の画像の各色成分に非線形関数を適用することにより、第２の色空間にある第２の画像を生成することであって、前記非線形関数は、ＳＭＰＴＥ ＳＴ ２０８４規格における電気光学伝達関数の逆関数にしたがって決定され、
   前記第２の画像に第２の３×３色変換行列を適用することにより、再構成されたターゲット色空間にある出力画像を生成することであって、前記第２の３×３色変換行列は、ある回転行列に、画像クロマデータを前記第２の色空間から前記ターゲット色空間へと変換するための元の色変換行列を乗算することにより、クロマ再構成なしに生成される。
2. ハイダイナミックレンジ画像の処理を改善する方法であって、以下を包含する、方法：
   プロセッサによって、ある入力色空間にあるハイダイナミックレンジ入力画像にアクセスすることと、
   前記入力画像を、ＸＹＺ色空間にある第１の画像へと色変換することと、
   第１の３×３色変換行列を前記第１の画像に適用することにより、第２の色空間にある第２の画像を生成することであって、前記第１の３×３色変換行列はおおよそ
   

   

   を包含し、
   前記第１の画像の各色成分に非線形関数を適用することにより、第２の色空間にある第２の画像を生成することであって、前記非線形関数は、ＳＭＰＴＥ ＳＴ ２０８４規格における電気光学伝達関数の逆関数にしたがって決定され、
   前記第２の画像に第２の３×３色変換行列を適用することにより、再構成されたターゲット色空間にある出力画像を生成することであって、前記第２の３×３色変換行列は、ある回転行列に、画像クロマデータを前記第２の色空間から前記ターゲット色空間へと変換するための元の色変換行列を乗算することにより、クロマ再構成なしに生成される。
3. 前記第２の３×３色変換行列は
   

   

   を包含する、請求項１または請求項２に記載の方法。
4. 前記元の色変換行列は
   

   

   を包含する、請求項１または請求項２に記載の方法。
5. 前記回転行列は
   

   

   を包含し、ここでａ’は回転角を表しており、ｂ１’、ｂ２’、ｂ３’、およびｂ４’はスケーラである、請求項１または請求項２に記載の方法。
6. ａ’＝６５度、ｂ１’＝１．４、ｂ２’＝１．０、ｂ３’＝１．４、およびｂ４’＝１．０である、請求項５に記載の方法。
7. 受信機において、再構成された色空間において符号化された入力画像を再構築する方法であって、以下を包含する、方法：
   再構成されたターゲット色空間にある入力画像を受け取ることと、
   第１の３×３色変換行列を適用することにより、第１の色空間にある第１の画像を生成することであって、前記第１の３×３色変換行列は、前記第１の色空間から前記再構成されたターゲット色空間へ変換するための出力３×３色変換行列の逆行列を包含し、前記出力３×３色変換行列を生成することは、ある回転行列に、画像データを前記第１の色空間から前記再構成されたターゲット色空間へと変換するための元の色変換行列を乗算することにより、クロマ再構成なしに生成することを包含し、
   前記第１の画像の各色成分に非線形関数を適用することにより、第２の画像を生成することであって、前記非線形関数は、ＳＭＰＴＥ ＳＴ ２０８４規格における電気光学伝達関数にしたがって決定され、
   前記第２の画像に第２の３×３色変換行列を適用することにより、ＲＧＢ ＢＴ．２０２０色空間にある出力画像を生成することであって、前記第２の３×３色変換行列はおおよそ
   

   

   を包含する。
8. 受信機において、再構成された色空間において符号化された入力画像を再構築する方法であって、以下を包含する、方法：
   再構成されたターゲット色空間にある入力画像を受け取ることと、
   第１の３×３色変換行列を適用することにより、第１の色空間にある第１の画像を生成することであって、前記第１の３×３色変換行列は、前記第１の色空間から前記再構成されたターゲット色空間への出力３×３色変換行列の逆行列を包含し、前記出力３×３色変換行列を生成することは、ある回転行列に、画像データを前記第１の色空間から前記再構成されたターゲット色空間へと変換するための元の色変換行列を乗算することにより、クロマ再構成なしに生成することを包含し、
   前記第１の画像の各色成分に非線形関数を適用することにより、第２の画像を生成することであって、前記非線形関数は、ＳＭＰＴＥ ＳＴ ２０８４規格における電気光学伝達関数にしたがって決定され、
   前記第２の画像に第２の３×３色変換行列を適用することにより、ＸＹＺ色空間にある第３の画像を生成することであって、前記第２の３×３色変換行列はおおよそ
   

   

   を包含し、
   前記第３の画像を、ＸＹＺ色空間から出力色空間へと色変換することにより、前記出力色空間にある出力画像を生成すること。
9. 前記再構成された色空間はＩＣｔＣｐ色空間を包含する、請求項７または請求項８に記載の方法。
10. 前記第１の３×３色変換行列は
    

    

    を包含する、請求項７または請求項８に記載の方法。
11. プロセッサを備え、請求項１から１０に記載の方法のうちいずれかを行うように構成された装置。
12. コンピュータ読み取り可能な非一時的記憶媒体であって、１つ以上のプロセッサを用いて請求項１から１０にしたがって方法を実行するための、コンピュータにより実行可能な命令を格納した、記憶媒体。
    

Images