JP2020109914A - 情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】比較的長い期間における輝度レベル分布の時間変化をユーザに容易に（直感的に）把握させることを可能する技術を提供する。【解決手段】本発明の情報処理装置は、動画の各時間位置における各画素の輝度レベルに関する情報を取得する取得手段と、前記情報に基づいて、前記時間位置を示す第１軸と、前記第１軸に交差する、前記輝度レベルを示す第２軸とを有し、且つ、対応する画素の有無または数を各座標で示すグラフを生成する生成手段と、を有することを特徴とする。【選択図】図４

Description

本発明は、情報処理装置および情報処理方法に関する。

広いダイナミックレンジ（広い輝度レンジ）を有する画像データの規格として、ＰＱ（Ｐｅｒｃｅｐｔｕａｌ Ｑｕａｎｔｉｚｅｒ）や、ＨＬＧ（Ｈｙｂｒｉｄ Ｌｏｇ−Ｇａｍｍａ）などの様々な規格が提案されている。これらの広いダイナミックレンジは「ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）」などと呼ばれる。一方、従来のダイナミックレンジ（ＨＤＲよりも狭いダイナミックレンジ）は「ＳＤＲ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）」などと呼ばれる。ＨＤＲの各輝度を使用することで、非常に暗い暗部から非常に明るい明部までの幅広い画像表現が可能となる。

ＨＤＲの規格には、例えば、米国ＣＴＡ（Ｃｏｎｓｕｍｅｒ Ｔｅｃｈｎｏｌｏｇｙ Ａｓｓｏｃｉａｔｉｏｎ）が策定したＨＤＲ１０がある。ＨＤＲ１０では、動画コンテンツ（動画）全体におけるピーク輝度（最大輝度）や最大フレーム平均輝度が、メタデータ（静的メタデータ）として規定されている。最大フレーム平均輝度は、複数のフレームにそれぞれ対応する複数のフレーム平均輝度（フレームに対応する画像（フレーム画像）の平均輝度）の最大輝度である。

ＨＤＲの規格には、米国ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）が策定したＳＴ２０９４−４０もある。ＳＴ２０９４−４０では、動画の一部期間ごとのピーク輝度や最大フレーム平均輝度が、メタデータ（動的メタデータ）として規定されている。具体的には、動画の各シーンや各フレームのピーク輝度や最大フレーム平均輝度が、動的メタデータとして規定されている。

ＨＤＲの規格には、ＩＴＵ（Ｉｎｔｅｒｎａｒｉｏｎａｌ Ｔｅｌｅｃｏｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）が策定したＢＴ．２４０８−１ Ｏｐｅｒａｔｉｏｎａｌ ｐｒａｃｔｉｃｅｓ ｉｎ ＨＤＲ ｔｅｌｅｖｉｓｉｏｎ ｐｒｏｄｕｃｔｉｏｎもある。ＢＴ．２４０８−１ Ｏｐｅｒａｔｉｏｎａｌ ｐｒａｃｔｉｃｅｓ ｉｎ ＨＤＲ ｔｅｌｅｖｉｓｉｏｎ ｐｒｏｄｕｃｔｉｏｎでは、輝度が大きく変化した場合のユーザへの影響についての考察、及び、ピーク輝度や平均輝度の変化を管理すべきである旨が述べられている。

ＨＤＲ画像（ＨＤＲを有する画像）の制作現場では、ＨＤＲの各輝度が使用できているかを確認するために、波形モニタや輝度ヒストグラムなどで各フレームの輝度分布を個別に表示する機能が使用されている。特許文献１には、フレーム間での輝度分布の変化をユーザに直感的に把握させるために、輝度ヒストグラムにおいてフレーム間で変化した箇所を他の箇所と異なる色などで描画する技術が開示されている。

さらに、業務用ディスプレイ装置などの装置には、フレームピーク輝度（フレーム画像のピーク輝度）の時間変化とフレーム平均輝度の時間変化とを示すグラフを表示する機能が搭載されることがある。ＨＤＲ画像の制作現場では、そのような機能を使用して、フレームピーク輝度の時間変化とフレーム平均輝度の時間変化とが確認および管理されている。

図１０は、フレームピーク輝度の時間変化とフレーム平均輝度の時間変化とを示す従来
のグラフィック画像の一例を示す。図１０のグラフィック画像１０００には、フレームピーク輝度の時間変化１００２とフレーム平均輝度の時間変化１００３とを示すグラフ１００１が描画されている。グラフ１００１の横軸は時間位置（フレーム）を示し、グラフ１００１の縦軸は輝度を示す。グラフィック画像１０００の右上部には、最終フレームのフレームピーク輝度とフレーム平均輝度の数値が描画されている。グラフィック画像１０００の左上部には、動画全体におけるピーク輝度（Ｍａｘｉｍｕｍ Ｃｏｎｔｅｎｔ Ｌｉｇｈｔ Ｌｅｖｅｌ）と最大フレーム平均輝度（Ｍａｘｉｍｕｍ Ｆｒａｍｅ Ａｖｅｒａｇｅ Ｌｉｇｈｔ Ｌｅｖｅｌ）の数値が描画されている。グラフィック画像１０００を表示している期間などの一部期間におけるピーク輝度や最大フレーム平均輝度の数値が描画されることもある。これらの情報は、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）データなどに含まれているメタデータ（ＨＤＲ１０やＳＴ２０９４−４０で規定されたメタデータ）から得ることができる。動画データ自体を解析することでも、これらの情報を得ることができる。

特開２０１０−１１３２８８号公報

特許文献１に開示の技術を用いれば、ユーザは、各フレームの輝度分布や、２フレームの期間などの比較的短い期間における輝度分布の変化を把握できる。しかしながら、ユーザは、動画全体の期間やシーンの期間などの比較的長い期間における輝度分布の変化を容易に把握できない。例えば、ユーザは、比較的長い期間の各時間位置にどの輝度（輝度レベル）を有する画素がどの程度存在するか等を短時間で把握できない。図１０のグラフィック画像１０００を表示すれば、ユーザは、フレームピーク輝度の時間変化１００２とフレーム平均輝度の時間変化１００３とを把握できる。しかしながら、ユーザは、各フレームの輝度分布（輝度レベル分布）や、輝度分布の時間変化を把握できない。

本発明は、比較的長い期間における輝度レベル分布の時間変化をユーザに容易に（直感的に）把握させることを可能する技術を提供することを目的とする。

本発明の第１の態様は、
動画の各時間位置における各画素の輝度レベルに関する情報を取得する取得手段と、
前記情報に基づいて、前記時間位置を示す第１軸と、前記第１軸に交差する、前記輝度レベルを示す第２軸とを有し、且つ、対応する画素の有無または数を各座標で示すグラフを生成する生成手段と、
を有することを特徴とする情報処理装置である。

本発明の第２の態様は、
動画の各時間位置における各画素の輝度レベルに関する情報を取得するステップと、
前記情報に基づいて、前記時間位置を示す第１軸と、前記第１軸に交差する、前記輝度レベルを示す第２軸とを有し、且つ、対応する画素の有無または数を各座標で示すグラフを生成するステップと、
を有することを特徴とする情報処理方法である。

本発明の第３の態様は、コンピュータを、上述した情報処理装置の各手段として機能させるためのプログラムである。

本発明によれば、比較的長い期間における輝度レベル分布の時間変化をユーザに容易に（直感的に）把握させることが可能となる。

本実施形態に係る表示装置の構成例を示すブロック図 本実施形態に係るグラフィック画像の一例を示す図 本実施形態に係る輝度分布の示し方の一例を示す図 本実施形態に係るグラフィック画像の一例を示す図 本実施形態に係るグラフィック画像の一例を示す図 本実施形態に係る設定情報の一例を示す図 本実施形態に係る表示装置の処理フロー例を示すフローチャート 本実施形態に係る階調値と画素数と輝度の対応関係の一例を示す図 本実施形態に係るグラフの一例を示す図 従来のグラフィック画像の一例を示す図 本実施形態に係るグラフィック画像の一例を示す図

以下、本発明の実施形態について説明する。表示装置が本実施形態に係る情報処理装置を内蔵する例を説明するが、本実施形態に係る情報処理装置は、表示装置とは別体の装置（パーソナルコンピュータなど）であってもよい。

図１は、本実施形態に係る表示装置の構成例を示すブロック図である。図１の表示装置１００は、入力部１０１、画像解析部１０２、画像処理部１０３、グラフィック合成部１０４、表示部１０５、表示制御部１０６、メモリ部１０７、及び、グラフィック生成部１０８を有する。

入力部１０１は、対象動画データを取得し、対象動画データを画像解析部１０２へ出力する。対象動画データは、例えば、ＨＤＲ１０、ＨＤＲ１０＋、ＰＱ、ＨＬＧなどに準拠したＨＤＲ（ハイダイナミックレンジ）動画データであり、動画（動画コンテンツ）を表す。対象動画データは、ガンマ２．２などに準拠したＳＤＲ（スタンダードダイナミックレンジ）動画データであってもよい。本実施形態では、入力部１０１は、対象動画（対象動画データによって表された動画）のフレーム毎に、フレーム画像データ（フレームに対応する画像（フレーム画像）を表す画像データ）を外部装置から取得する。そして、入力部１０１は、取得したフレーム画像データを画像解析部１０２へ出力する。入力部１０１は、例えば、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）や、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などの規格に準拠した入力端子である。外部装置は、撮像装置や再生装置などである。なお、表示装置１００は、動画データを記憶する記憶部を有してもよく、入力部１０１は、記憶部に記録された動画データを対象動画データとして記憶部から取得してもよい。

画像解析部１０２は、入力部１０１から出力された対象動画データを取得し、対象動画データを解析し、解析結果を表示制御部１０６へ出力し、対象動画データを画像処理部１０３へ出力する。

具体的には、画像解析部１０２は、対象動画データを解析し、対象動画の各時間位置（各フレーム）における各画素の輝度（絶対輝度；輝度レベル）に関する画素情報を、解析結果として取得する。本実施形態では、画像解析部１０２は、入力部１０１から出力されたフレーム画像データを解析する。画素情報は、入力部１０１から出力されたフレーム画像データの取り得る複数の階調値のそれぞれについて、当該フレーム画像データによって
表されたフレーム画像に存在する画素の数を示す。フレーム画像データの階調値が１０ビットの値（０〜１０２３）である場合には、画素情報は、０〜１０２３のそれぞれについて存在する画素の数を示す。

さらに、画像解析部１０２は、対象動画データから、対象動画データに対応するメタデータを取得し、取得したメタデータを解析結果として表示制御部１０６へ出力する。メタデータは、例えば、ＨＤＭＩで規定されているＩｎｆｏＦｒａｍｅに格納されたデータや、ＳＤＩで規定されているブランキング部に格納されたＡＮＣ（Ａｎｃｉｌｌａｒｙ）データなどである。

画像処理部１０３は、画像解析部１０２から出力された対象動画データに画像処理を施すことにより、処理動画データを生成する。そして、画像処理部１０３は、処理動画データをグラフィック合成部１０４へ出力する。

具体的には、表示制御部１０６から画像処理部１０３に、階調カーブ（階調値と輝度の対応関係；階調特性）が設定される。ＨＬＧやＰＱなどの階調カーブは、ＨＤＲ（ハイダイナミックレンジ）画像を表示（処理）するために設定される。ガンマ２．２などの階調カーブは、ＳＤＲ（スタンダードダイナミックレンジ）画像を表示（処理）するために設定される。表示制御部１０６から画像処理部１０３には、リミテッドレンジやフルレンジといった階調範囲も設定される。リミテッドレンジやフルレンジは、設定された輝度レンジ（ＨＬＧやＰＱなどの輝度レンジ；元レンジ）を割り当てる階調範囲である。リミテッドレンジは、対象動画データの取り得る階調値の範囲の一部であり、フルレンジは、対象動画データの取り得る階調値の範囲の全体である。画像処理部１０３は、設定された階調カーブや階調範囲に従って対象動画データの各階調値を変換する（階調変換処理）。

ここで、元レンジを圧縮して動画を表示するという機能（表示方法）がある。特に、ＨＤＲ画像を表示する場合には、このような機能が使用されることが多い。本実施形態では、表示制御部１０６から画像処理部１０３に、圧縮後の輝度レンジ（ＨＤＲレンジ）も設定される。画像処理部１０３は、設定されたＨＤＲレンジに応じて、元レンジの輝度に対応する階調値が、ＨＤＲレンジの輝度に対応する階調値に変換されるように、対象動画データの各階調値を変換する（マッピング処理）。ここで、ＨＬＧが設定され、元レンジが０〜１０００ｃｄ／ｍ^２の輝度レンジであり、０〜６００ｃｄ／ｍ^２のＨＤＲレンジが設定された場合を考える。この場合には、０〜６００ｃｄ／ｍ^２の輝度レンジの階調値は変換されず、６００ｃｄ／ｍ^２よりも高い輝度に対応する階調値は、６００ｃｄ／ｍ^２（上限輝度）に対応する階調値に変換される（クリップ処理）。

画像の輝度分布（輝度レベル分布）を確認するためのアシスト機能として、画素の色を当該画素の輝度に応じた変換色に変換する処理を各画素について行って画像を表示するというフォルスカラー機能（表示方法）がある。本実施形態では、表示制御部１０６から画像処理部１０３に、フォルスカラー機能の有効／無効も設定される。フォルスカラー機能が有効である場合には、輝度（輝度レンジ）と変換色の対応関係が表示制御部１０６から画像処理部１０３に通知される。画像処理部１０３は、通知された対応関係に従って対象動画データの各画素の色を変換色に変換する（色変換処理）。

グラフィック合成部１０４は、画像処理部１０３から出力された処理動画データ（各フレーム画像データ）に、グラフィック生成部１０８から出力されたグラフィックデータを合成することにより、合成動画データを生成する。そして、グラフィック合成部１０４は、合成動画データを表示部１０５へ出力する。グラフィック生成部１０８からグラフィックデータが出力されなかった場合には、グラフィック合成部１０４は、処理動画データを表示部１０５へ出力する。グラフィックデータは、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓ
ｐｌａｙ）画像などのグラフィック画像を表す画像データである。合成動画データは、処理動画（処理動画データによって表された動画）にグラフィック画像を重ねた動画（合成動画）を表す。

表示部１０５は、グラフィック合成部１０４から出力された動画データ（合成動画データまたは処理動画データ）に基づく動画を表示面に表示する。表示部１０５は、例えば、液晶パネルとバックライトユニットを有する液晶表示部や、有機ＥＬ表示パネルなどである。

表示制御部１０６は、表示装置１００の各ブロックの処理を制御する。メモリ部１０７は、プログラムやパラメータなどを記憶する。例えば、表示制御部１０６は、メモリ部１０７に格納されたプログラムを実行して表示装置１００の各ブロックの処理を制御する演算処理回路である。なお、表示制御部１０６は、表示装置１００に設けられた不図示のボタンなどに対してユーザが行った操作（ユーザ操作）に応じて、行われたユーザ操作に対応する操作情報を取得してもよい。そして、表示制御部１０６は、操作情報に応じて、制御の切り替えや、制御の詳細設定などを行ってもよい。

本実施形態では、表示制御部１０６は、画像解析部１０２から出力された解析結果（画素情報）や、表示装置１００に対するユーザ操作などに基づいて、画像処理部１０３やグラフィック生成部１０８の処理を制御する。具体的には、表示制御部１０６は、階調カーブ（ＨＬＧ、ＰＱ、ガンマ２．２など）、階調範囲（リミテッドレンジやフルレンジ）、ＨＤＲレンジ、フォルスカラー機能の有効／無効などの設定情報を、ユーザ操作（操作情報）に応じて決定する。そして、決定した設定情報を画像処理部１０３へ出力（設定）する。さらに、表示制御部１０６は、決定した設定情報と、画像解析部１０２から出力された解析結果とを、グラフィック生成部１０８へ出力（設定）する。なお、表示装置１００の起動直後では、設定情報の初期情報（所定の情報）が設定されたり、前回の設定が継続されたりする。

グラフィック生成部１０８は、グラフィックデータを生成し、グラフィック合成部１０４へ出力する。本実施形態では、グラフィック生成部１０８は、表示制御部１０６から出力された解析結果（画素情報）に基づいて、対象動画の時間位置（フレーム）を示す時間軸と、時間軸に交差する、対象動画の輝度を示す輝度軸とを有するグラフを生成する。具体的には、グラフィック生成部１０８は、解析結果と設定情報に基づいて、上記グラフが描画されたグラフィック画像を表すグラフィックデータを生成する。本実施形態では、上記グラフの各座標で、対応する画素の数が示される。つまり、上記グラフでは、対象動画の比較的長い期間における輝度分布の時間変化が示される。

図２は、本実施形態に係るグラフィック画像の一例を示す。図２は、階調カーブがＨＬＧであり、且つ、元レンジが０〜１０００ｃｄ／ｍ^２の輝度レンジである例を示す。図２のグラフィック画像２００には、対象動画のフレームピーク輝度の時間変化２０２とフレーム平均輝度の時間変化２０３とを示すグラフ２０１が描画されている。フレームピーク輝度は、フレーム画像のピーク輝度（最大輝度；最大輝度レベル；ピーク輝度レベル）であり、フレーム平均輝度は、フレーム画像の平均輝度（平均輝度レベル）である。グラフ２０１の横軸は時間軸であり、グラフ２０１の縦軸は輝度軸である。グラフィック画像２００の右上部には、最終フレームのフレームピーク輝度とフレーム平均輝度の数値が描画されている。グラフィック画像２００の左上部には、対象動画全体におけるピーク輝度（Ｍａｘｉｍｕｍ Ｃｏｎｔｅｎｔ Ｌｉｇｈｔ Ｌｅｖｅｌ）と最大フレーム平均輝度（Ｍａｘｉｍｕｍ Ｆｒａｍｅ Ａｖｅｒａｇｅ Ｌｉｇｈｔ Ｌｅｖｅｌ）の数値が描画されている。最大フレーム平均輝度は、複数のフレームにそれぞれ対応する複数のフレーム平均輝度の最大輝度である。グラフィック画像２００を表示している期間などの一部期
間におけるピーク輝度や最大フレーム平均輝度の数値が描画されることもある。これらの情報は、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）データなどに含まれているメタデータ（ＨＤＲ１０やＳＴ２０９４−４０で規定されたメタデータ）から得ることができる。動画データ自体を解析することでも、これらの情報を得ることができる。

本実施形態では、領域２０４を使って輝度分布の時間変化が示される。具体的には、領域２０４の各座標で、対応する画素の数が示される。なお、輝度分布からフレームピーク輝度を把握可能であるため、フレームピーク輝度の時間変化２０２は描画されなくてもよい。フレーム平均輝度の時間変化２０３、グラフィック画像２００の右上部の数値、グラフィック画像２００の左上部の数値などについても、描画が省略されてもよい。

図３は、本実施形態に係る輝度分布の示し方の一例を示す。本実施形態では、図３に示すように、画素の数を濃淡で示す。図３の例では、画素が少ない座標では淡く薄い色が描画され、画素が多い座標では濃い色が描画され、画素が存在しない座標では描画が行われない。例えば、画素が存在しない座標にＲＧＢの各値が（２５５，２５５，２５５）の白色を設定し、画素が少ない座標にＲＧＢの各値が（１９２，１９２，１９２）の灰色を設定し、画素が多い座標にＲＧＢの各値が（０，０，０）の黒色を設定しても良い。

図３は、ピーク輝度が４００ｃｄ／ｍ^２の場合の例を示す。図３の（Ａ）では、０〜５０ｃｄ／ｍ^２、５０〜１００ｃｄ／ｍ^２、１００〜２００ｃｄ／ｍ^２、及び、２００〜４００ｃｄ／ｍ^２の４つの輝度レンジのそれぞれに画素が存在する。そして、高輝度の画素に比べて低輝度の画素が多い。具体的には、０〜５０ｃｄ／ｍ^２の画素数が最も多く、５０〜１００ｃｄ／ｍ^２の画素数が１００〜２００ｃｄ／ｍ^２の画素数よりも多く、２００〜４００ｃｄ／ｍ^２の画素数が最も少ない。図３の（Ｂ）では、０〜４００ｃｄ／ｍ^２の輝度レンジに画素が存在し、各輝度の画素が均等に存在する。図３の（Ｃ）では、０ｃｄ／ｍ^２の画素と４００ｃｄ／ｍ^２の画素とのみが存在し、他の輝度の画素は存在しない。

なお、濃淡の決定方法は特に限定されない。例えば、フレーム画像の全画素数に対する画素数の比率が１０％以上である場合に最も濃い色が描画され、比率が低いほど描画される色が淡くなるように、フレーム画像の全画素数に対する画素数の比率に応じて濃淡を決定してもよい。画素数が１００個以上である場合に最も濃い色が描画され、画素数が少ないほど描画される色が淡くなるように、画素数に応じて濃淡を決定してもよい。画素数が１００個以上である場合に最も濃い色が描画され、画素数が９９個以下場合に最大の濃さに比率「画素数／１００」を乗算した濃さの色が描画されるように、画素数と比率に応じて濃淡を決定してもよい。

図４は、画素数を濃淡で示した状態のグラフィック画像の一例を示す。最初の４フレームでは、ピーク輝度までの輝度レンジ内の全ての輝度について、画素が存在し、画素数に応じた濃さの色が描画されている。５フレーム目以降では、中間輝度の画素が存在しておらず、高輝度の画素と低輝度の画素のみが存在し、高輝度と低輝度の部分で画素数に応じた濃さの色が描画されている。図４のグラフィック画像を表示することにより、ユーザは、対象動画の比較的長い期間における各フレームの輝度分布を濃淡で確認して、各フレームにどの輝度を有する画素がどの程度存在するかを容易に（直感的に）把握できる。

なお、図４では、発明の理解を容易にするために、各フレームの横幅を広く記載している。しかし、現実には、図１１のように、各フレームの横幅を狭くしたほうが、長時間における時間変化を一度に確認することができるので好ましい。図１１は、本実施形態に係るグラフィック画像の別の一例を示す図である。

なお、画素数を濃淡以外の色の変化で示してもよい。例えば、画素数が少ないほど青色に近く、且つ、画素数が多いほど赤色に近い色を描画してもよい。つまり、輝度軸方向及び／又は時間軸方向における画素数の変化をユーザが認識できるように、画素数に応じて、色相、彩度、及び明度の少なくともいずれか１つを異ならせればよい。例えば、グラフィック画像を白黒表示する場合には、画素数に応じて明度だけを異ならせればよい。

なお、対応する画素が存在し且つ所定レンジ内の輝度に対応する座標を所定色でさらに示してもよい。図５（Ａ），５（Ｂ）は、所定レンジ内の輝度に対応する座標を所定色で示した状態のグラフィック画像の一例を示す。図５（Ａ），５（Ｂ）では、図４と同様に画素数が濃淡で示されている。

図５（Ａ）は、対応する画素が存在し且つＨＤＲレンジ外の輝度に対応する座標を所定色（警告色）で着色した場合の例を示す。図５（Ａ）は、０〜４００ｃｄ／ｍ^２のＨＤＲレンジが設定されている場合の例を示す。図５（Ａ）では、対応する画素が存在し且つ４００ｃｄ／ｍ^２よりも高い輝度に対応する座標が警告色で着色されている（濃淡は維持されている）。図５（Ａ）のグラフィック画像を表示することにより、ユーザは、警告色で着色されている部分を確認して、ＨＤＲレンジ外の輝度が使用されていることを容易に（直感的に）把握できる。

図５（Ｂ）は、対応する画素が存在する座標をフォルスカラー機能の変換色（座標に対応する輝度に応じた変換色）で着色した場合の例を示す。図５（Ｂ）では、変換色として、０〜５０ｃｄ／ｍ^２に灰色が、５０〜１００ｃｄ／ｍ^２に緑色が、１００〜２００ｃｄ／ｍ^２に黄色が、２００〜４００ｃｄ／ｍ^２に橙色が、４００〜１０００ｃｄ／ｍ^２に赤色が対応付けられている。このため、対応する画素が存在し且つ０〜５０ｃｄ／ｍ^２に対応する座標は灰色で着色されている。なお、図５（Ａ）の場合と同様に、濃淡は維持されており、各色において画素数に応じて濃淡を変化させている。例えば、５０〜１００ｃｄ／ｍ^２の緑色のレンジでは、画素が少ない座標にＲＧＢの各値が（０，２５５，０）の緑色を設定し、画素が多い座標にＲＧＢの各値が（０，１００，０）の濃い緑色を設定しても良い。他の輝度に対応する座標についても、同様に当該他の輝度に応じた変換色で着色されている。図５（Ｂ）のグラフィック画像を表示することにより、ユーザは、各部分（各座標）の濃淡と色を確認して、輝度分布をより容易に（より直観的に）把握できる。

なお、フォルスカラー機能が有効の場合に図５（Ｂ）の着色が行われ、且つ、フォルスカラー機能が無効の場合に図５（Ｂ）の着色が行われないように、フォルスカラー機能の有効／無効に応じて、図５（Ｂ）の着色の有効／無効が切り替えられてもよい。フォルスカラー機能の有効／無効に拘わらずに、図５（Ｂ）の着色が行われてもよい。図５（Ａ），５（Ｂ）では輝度分布に対して着色を行っているが、フレームピーク輝度やフレーム平均輝度に対して輝度分布と同様の着色を行ってもよい。

なお、ユーザ操作などに応じて、輝度分布の描画（図２の領域２０４への濃淡の描画）の有効／無効、ＨＤＲレンジ外への着色（図５（Ａ））の有効／無効、フォルスカラー機能の変換色での着色（図５（Ｂ））の有効／無効などが切り替えられてもよい。図６は、本実施形態に係るグラフの生成に関する設定情報の一例を示すテーブルである。図６の例では、設定項目「分布表示」の設定情報として、輝度分布を描画する「ＯＮ」、または、輝度分布を描画しない「ＯＦＦ」が設定される。設定項目「フォルスカラー着色」の設定情報として、フォルスカラー機能が有効になったことに応じて（連動して）変換色での着色を行う「フォルスカラー連動」、変換色での着色を常に行う「ＯＮ」、または、変換色での着色を行わない「ＯＦＦ」が設定される。設定項目「レンジ外着色」の設定情報として、ＨＤＲレンジ外への着色を行う「ＯＮ」、または、ＨＤＲレンジ外への着色を行わない「ＯＦＦ」が設定される。表示制御部１０６は、表示装置１００に対するユーザ操作（
操作情報）などに応じて、これらの設定情報をグラフィック生成部１０８に設定する。

図７は、表示装置１００の処理フロー例を示すフローチャートである。例えば、フレームピーク輝度の時間変化などのグラフの生成（表示）が有効な状態で、入力部１０１によって取得されたフレーム画像データが更新され、画像解析部１０２の解析結果がグラフィック生成部１０８に通知されると、図７の処理フローが開始する。階調カーブ、階調範囲、ＨＤＲレンジ、フォルスカラー機能の有効／無効などの設定情報がユーザ操作によって変更され、変更後の設定情報がグラフィック生成部１０８に通知された場合にも、図７の処理フローが開始する。

ステップＳ７０１にて、グラフィック生成部１０８は、対象フレーム画像データ（処理対象のフレーム画像データ；画像解析部１０２から出力されたフレーム画像データ）のフレームピーク輝度やフレーム平均輝度を算出し、グラフに描画する。つまり、本実施形態では、複数のフレーム画像データが入力部１０１によって順次（フレーム毎に）取得され、複数のフレーム画像データに関する情報がグラフに順次描画される。

フレームピーク輝度やフレーム平均輝度の決定方法の具体例を説明する。

グラフィック生成部１０８は、表示制御部１０６から出力された解析結果（画素情報）と設定情報（階調カーブと階調範囲）に基づいて、対象フレーム画像データの各階調値を輝度に変換する。

図８は、画素情報（階調値と画素数の対応関係）、及び、階調値と変換後の輝度との対応関係の一例を示す。図８は、対象フレーム画像データによって表されたフレーム画像の解像度（水平方向の画素数×垂直方向の画素数）が１９２０×１０８０画素、つまりフレーム画像の総画素数が２０７３６００画素である場合の例を示す。図８は、対象フレーム画像データの階調値が１０ビットの値（０〜１０２３）である場合の例を示す。図８では、階調値９４０を有する画素の数が１０３６８００画素であり、階調値６４を有する画素の数が１０３６８００画素である。

ここで、階調カーブとしてＨＬＧが設定されており、階調値６４〜階調値９４０のリミテッドレンジが設定されているとする。このため、グラフィック生成部１０８は、階調値６４〜階調値９４０の階調範囲をＨＬＧの輝度レンジ（０ｃｄ／ｍ^２〜１０００ｃｄ／ｍ^２の輝度レンジ）に変換する。階調値６４〜階調値９４０の階調範囲において、階調値の変化に対する輝度の変化はＨＬＧに従う。さらに、グラフィック生成部１０８は、６４よりも小さい階調値を０ｃｄ／ｍ^２に変換し、９４０よりも大きい階調値を１０００ｃｄ／ｍ^２に変換する（クリップ処理）。

なお、図８に示すような複数のテーブル（複数の階調カーブのいずれかと複数の階調範囲のいずれかとの複数の組み合わせに対応する複数のテーブル）を予め用意し、階調カーブと階調範囲の設定情報に応じたテーブルを用いて上記変換を行ってもよい。上記複数の組み合わせに対応する複数の計算式のうち、階調カーブと階調範囲の設定情報に応じた計算式を用いた計算により上記変換を行ってもよい。

なお、図８では、ＨＬＧの輝度レンジとして０ｃｄ／ｍ^２〜１０００ｃｄ／ｍ^２の輝度レンジを用いたが、ＨＬＧで規定されている輝度は相対輝度であり、ＨＬＧの輝度レンジ（絶対輝度のレンジ）は変更可能である。例えば、ＨＬＧの輝度レンジは、０ｃｄ／ｍ^２〜２０００ｃｄ／ｍ^２の輝度レンジなどに変更可能である。ＨＬＧの輝度レンジが変わると、階調値と変換後の輝度との対応関係も変わる。

上記変換の後、グラフィック生成部１０８は、画素情報から、画素が存在し且つ最も大きい階調値を判断する。そして、グラフィック生成部１０８は、判断した階調値に対応する輝度（上記変換後の輝度）を、フレームピーク輝度として決定する。図８の例では、画素が存在し且つ最も大きい階調値は９４０であり、上記変換により階調値９４０は輝度１０００ｃｄ／ｍ^２に変換されている。このため、１０００ｃｄ／ｍ^２がフレームピーク輝度として決定される。

さらに、グラフィック生成部１０８は、各階調値について画素数と変換後の輝度との積（画素数×輝度）を算出し、算出結果（乗算値）の総和を算出する。これにより、全画素の輝度の総和が得られる。そして、グラフィック生成部１０８は、全画素の輝度の総和を総画素数で除算すること（全画素の輝度の総和／総画素数）により、フレーム平均輝度を算出する。図８の例では、「１０３６８００画素×１０００ｃｄ／ｍ^２＋１０３６８００画素×０ｃｄ／ｍ^２／２０７３６００画素」により、５００ｃｄ／ｍ^２がフレーム平均輝度として算出される。

図７の説明に戻る。ステップＳ７０２にて、グラフィック生成部１０８は、図６の設定項目「分布表示」の設定情報が「ＯＮ」であるか否かを判断する。「ＯＮ」の場合はステップＳ７０３へ処理が進む。「ＯＦＦ」の場合は、グラフに輝度分布が描画されず、本処理フローが終了する。

ステップＳ７０３にて、グラフィック生成部１０８は、図６の設定項目「フォルスカラー着色」の設定情報と、フォルスカラー機能の有効／無効とに基づいて、フォルスカラー機能の変換色での着色を行うか否かを判断する。変換色での着色を行う場合はステップＳ７０４へ処理が進み、変換色での着色を行わない場合はステップＳ７０５へ処理が進む。具体的には、図６の設定項目「フォルスカラー着色」の設定情報が「ＯＮ」の場合と、設定項目「フォルスカラー着色」の設定情報が「フォルスカラー連動」であり且つフォルスカラー機能が有効である場合とにおいて、ステップＳ７０４へ処理が進む。設定項目「フォルスカラー着色」の設定情報が「フォルスカラー連動」であり且つフォルスカラー機能が無効である場合と、設定項目「フォルスカラー着色」の設定情報が「ＯＦＦ」の場合とにおいて、ステップＳ７０５へ処理が進む。

ステップＳ７０４にて、グラフィック生成部１０８は、表示制御部１０６から出力された色情報（輝度と変換色の対応関係）と、ステップＳ７０１の変換結果（各輝度の画素数）とに基づいて、対象フレーム画像データの輝度分布をグラフに描画する。具体的には、輝度分布をフォルスカラー機能の変換色で着色して描画する。これにより、図５（Ｂ）に示すようなグラフィック画像が生成されて表示される。

ステップＳ７０５にて、グラフィック生成部１０８は、図６の設定項目「レンジ外着色」の設定情報が「ＯＮ」であるか否かを判断する。「ＯＮ」の場合はステップＳ７０６へ処理が進み、「ＯＦＦ」の場合はステップＳ７０７へ処理が進む。

ステップＳ７０６にて、グラフィック生成部１０８は、表示制御部１０６から出力されたＨＤＲレンジと、ステップＳ７０１の変換結果（各輝度の画素数）とに基づいて、対象フレーム画像データの輝度分布をグラフに描画する。具体的には、ＨＤＲレンジ外への着色を行って輝度分布を描画する。これにより、図５（Ａ）に示すようなグラフィック画像が生成されて表示される。

ステップＳ７０７にて、グラフィック生成部１０８は、ステップＳ７０１の変換結果（各輝度の画素数）に基づいて、着色を行わずに、対象フレーム画像データの輝度分布をグラフに描画する。これにより、図４に示すようなグラフィック画像が生成されて表示され
る。

なお、フレームピーク輝度、フレーム平均輝度、及び、輝度分布を１フレーム毎に描画（追加）して、グラフを１フレーム毎に更新する例を説明したが、そうでなくてもよい。例えば、フレームピーク輝度、フレーム平均輝度、及び、輝度分布を２フレーム毎に描画（追加）して、グラフを２フレーム毎に更新してもよい。これにより、グラフの更新頻度や情報の描画量を低減することができる。この場合は、フレームピーク輝度、フレーム平均輝度、及び、輝度分布が２フレーム毎に間引かれてもよい。つまり、フレームピーク輝度、フレーム平均輝度、及び、輝度分布は、１フレームに対応する情報であってもよい。フレームピーク輝度、フレーム平均輝度、及び、輝度分布は、２フレームの情報の平均であってもよい。

なお、１０ビットの対象動画データを１０ビットの精度で解析する例を説明したが、１０ビットの対象動画データを、１０ビットよりも低い精度で解析してもよい。例えば、８ビットの精度で、階調値０〜３の画素数や、階調値４〜６の画素数などをカウントしてもよい。

なお、輝度レベルとして絶対輝度を使用する例を説明したが、輝度レベルは絶対輝度に限られない。例えば、輝度レベルとして階調値を使用してもよい。その場合は、階調値から輝度への変換は行わず、フレーム画像のピーク階調値（最大階調値）をフレームピーク輝度として決定し、フレーム画像の平均階調値「ＡＰＬ（ＡｖｅｒａｇｅＰｉｃｔｕｒｅ
Ｌｅｖｅｌ）」をフレーム平均輝度として決定してもよい。輝度レベルの種類を適宜切り替えてもよい。ＨＤＲ画像を処理するための設定がされている場合、例えばＨＬＧやＰＱなどの階調カーブが設定されている場合に、輝度レベルとして絶対輝度を使用してもよい。そして、ＳＤＲ画像を処理するための設定がされている場合、例えばガンマ２．２などの階調カーブが設定されている場合に、輝度レベルとして階調値を使用してもよい。

なお、フレーム画像データを１フレーム毎に取得して、グラフを１フレーム毎に更新する例を説明したが、そうでなくてもよい。例えば、動画ファイル（対象動画データの全体）を取得し、全フレーム画像データを解析し、全フレーム画像データの輝度分布が描画されたグラフを一括で生成してもよい。１つの動画ファイルのみを取得してもよいし、順番に再生する複数の動画ファイルを取得してもよい。複数の動画ファイルを取得した場合は、複数の動画ファイルの輝度分布を示すグラフを生成してもよい。

図９は、動画ファイルに基づいて生成したグラフの一例を示す。図９は、ファイル名「ｖｉｄｅｏ＿００１．ｍｏｖ」，「ｖｉｄｅｏ＿００２．ｍｏｖ」の２つの動画ファイルを連続して再生する場合の例を示す。図９では、時間軸（タイムライン）上に２つの動画ファイルのファイル名が描画されている。そして、２つの動画ファイルのフレームピーク輝度、フレーム平均輝度、及び、輝度分布の時間変化が示されている。このようなグラフを表示することで、ユーザは、複数の動画ファイルの輝度分布の時間変化などを確認して、複数の動画ファイルを連続して再生した場合に好適な見え方で動画ファイルが切り替わるかなどを容易に（直感的に）把握できる。これにより、ユーザは各動画ファイルを好適に編集できる（編集の効率が向上する）。複数の動画ファイルは、例えば、連結して１つの動画ファイルとすることを想定した複数の動画ファイルである。

なお、対象動画データを解析して、フレームピーク輝度、フレーム平均輝度、及び、画素情報を取得する例を説明したが、そうでなくてもよい。フレームピーク輝度、フレーム平均輝度、及び、画素情報の少なくともいずれかの情報が、対象動画データに対応するメタデータに含まれている場合には、メタデータから情報を取得してもよい。その際、メタデータは、対象動画データに付加されたメタデータ（対象動画データに含まれたメタデー
タ）であってもよいし、対象動画データとは独立したメタデータ（メタファイル）であってもよい。

なお、画素数を濃淡で示す例を説明したが、画素の有無だけを２値で示してもよい。例えば、上記グラフにおいて、対応する画素が存在する座標で描画を行い、対応する画素が存在しない座標で描画を行わないようにしてもよい。画素の有無については、画素数が所定の閾値以上の場合は「有」とし、閾値未満の場合は「無」としてもよい。例えば、画素数が１０以上の場合は「有」とし、１０画素未満の場合は「無」としても良い。所定の閾値は、ユーザの設定により可変としてもよい。

以上述べたように、本実施形態によれば、動画の各時間位置における各画素の輝度（輝度レベル）に関する画素情報が取得される。そして、画素情報に基づいて、時間軸と輝度軸（輝度レベル軸）とを有するグラフとして、対応する画素の有無または数を各座標で示すグラフが生成される。これにより、比較的長い期間における輝度レベル分布の時間変化をユーザに容易に（直感的に）把握させることが可能となる。

なお、本実施形態（図１）の各ブロックは、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上のブロックの機能が、共通のハードウェアによって実現されてもよい。１つのブロックの複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つのブロックの２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各ブロックは、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部のブロックの機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

なお、本実施形態（上述した変形例を含む）はあくまで一例であり、本発明の要旨の範囲内で本実施形態の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：表示装置 １０２：画像解析部 １０８：グラフィック生成部

本発明の第１の態様は、
動画における画素の輝度レベルに関する情報を取得する取得手段と、
前記情報に基づいて、前記動画の時間位置を示す第１軸と前記輝度レベルを示す第２軸とを有するグラフを生成する生成手段と、
を有し、
前記生成手段は、前記グラフの各座標に、当該座標に対応する前記動画の時間位置における、当該座標に対応する前記輝度レベルの、前記画素の数に応じた色又は明るさを設定することにより、前記グラフを生成する
ことを特徴とする情報処理装置である。
本発明の第２の態様は、
動画のデータを取得する入力手段と、
前記動画における画素の輝度レベルに関する情報に基づいて、前記動画の時間位置を示す第１軸と前記輝度レベルを示す第２軸とを有するグラフを生成する生成手段と、
前記動画と前記グラフとを合成した合成動画を表示する表示手段と、
を有し、
前記生成手段は、前記グラフの各座標に、当該座標に対応する前記動画の時間位置における、当該座標に対応する前記輝度レベルの、前記画素の数に応じた色又は明るさを設定することにより、前記グラフを生成する
ことを特徴とする表示装置である。

本発明の第３の態様は、
動画における画素の輝度レベルに関する情報を取得する取得ステップと、
前記情報に基づいて、前記動画の時間位置を示す第１軸と前記輝度レベルを示す第２軸とを有するグラフを生成する生成ステップと、
を有し、
前記生成ステップでは、前記グラフの各座標に、当該座標に対応する前記動画の時間位置における、当該座標に対応する前記輝度レベルの、前記画素の数に応じた色又は明るさを設定することにより、前記グラフを生成する
ことを特徴とする情報処理方法である。
本発明の第４の態様は、
動画のデータを取得する取得ステップと、
前記動画における画素の輝度レベルに関する情報に基づいて、前記動画の時間位置を示す第１軸と前記輝度レベルを示す第２軸とを有するグラフを生成する生成ステップと、
前記動画と前記グラフとを合成した合成動画を表示する表示ステップと、
を有し、
前記生成ステップでは、前記グラフの各座標に、当該座標に対応する前記動画の時間位置における、当該座標に対応する前記輝度レベルの、前記画素の数に応じた色又は明るさを設定することにより、前記グラフを生成する
ことを特徴とする表示方法である。

本発明の第５の態様は、コンピュータを、上述した情報処理装置の各手段又は上述した表示装置の各手段として機能させるためのプログラムである。

Claims (14)

1. 動画の各時間位置における各画素の輝度レベルに関する情報を取得する取得手段と、
   前記情報に基づいて、前記時間位置を示す第１軸と、前記第１軸に交差する、前記輝度レベルを示す第２軸とを有し、且つ、対応する画素の有無または数を各座標で示すグラフを生成する生成手段と、
   を有することを特徴とする情報処理装置。
2. 前記生成手段は、対応する画素の数を各座標で示す前記グラフを生成する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記生成手段は、前記座標に対応する画素の数を当該座標の色で示す前記グラフを生成する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記生成手段は、対応する画素が存在し且つ所定レンジ内の輝度レベルに対応する座標を所定色でさらに示す前記グラフを生成する
   ことを特徴とする請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記動画の表示方法は、前記画素の色を当該画素の輝度レベルに応じた変換色に変換する処理を各画素について行って前記動画を表示する方法を含み、
   前記生成手段は、対応する画素が存在する座標を、対応する輝度レベルに応じた前記変換色で示す前記グラフを生成する
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記動画の表示方法は、前記輝度レベルのレンジを圧縮して前記動画を表示する方法を含み、
   前記所定レンジは、圧縮後のレンジ外のレンジである
   ことを特徴とする請求項４に記載の情報処理装置。
7. 前記生成手段は、前記座標に対応する画素の数に応じて当該座標の色相、彩度、及び、明度の少なくともいずれかを異ならせる
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記取得手段は、前記動画を表す動画データを解析して前記情報を取得する
   ことを特徴とする請求項１〜７のいずれか１項に記載の情報処理装置。
9. 前記取得手段は、前記動画に対応するメタデータから前記情報を取得する
   ことを特徴とする請求項１〜７のいずれか１項に記載の情報処理装置。
10. 前記生成手段は、前記動画の平均輝度レベルの時間変化をさらに示す前記グラフを生成する
    ことを特徴とする請求項１〜９のいずれか１項に記載の情報処理装置。
11. 前記生成手段は、前記動画の最大輝度レベルの時間変化をさらに示す前記グラフを生成する
    ことを特徴とする請求項１〜１０のいずれか１項に記載の情報処理装置。
12. 前記動画は、ＨＤＲ（ハイダイナミックレンジ）画像である
    ことを特徴とする請求項１〜１１のいずれか１項に記載の情報処理装置。
13. 動画の各時間位置における各画素の輝度レベルに関する情報を取得するステップと、
    前記情報に基づいて、前記時間位置を示す第１軸と、前記第１軸に交差する、前記輝度レベルを示す第２軸とを有し、且つ、対応する画素の有無または数を各座標で示すグラフを生成するステップと、
    を有することを特徴とする情報処理方法。
14. コンピュータを、請求項１〜１２のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images