JP2020507845A - 画像処理方法、装置、及び機械可読媒体 - Google Patents

Abstract

本出願の実施形態は、画像処理のための方法及び装置、ならびに機械可読媒体を提供する。方法は、パノラマビデオ画像を取得することであって、パノラマビデオ画像が、パースペクティブマッピングに基づいて判定され、パノラマビデオ画像が、一次パースペクティブ領域及び少なくとも１つの二次パースペクティブ領域を含む、取得することと、二次パースペクティブ領域内の高周波成分の分布情報に基づいて、二次パースペクティブ領域を少なくとも２つの小領域に分割することと、小領域のそれぞれのフィルタテンプレートを判定すること、及びそれぞれのフィルタテンプレートを用いて小領域をフィルタリングすることと、フィルタリングされたパノラマビデオ画像を判定することと、を含む。

Description

関連特許出願の相互参照
本出願は、２０１７年２月１５日に出願された「Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｍｅｔｈｏｄ，Ａｐｐａｒａｔｕｓ ａｎｄ Ｍａｃｈｉｎｅ−Ｒｅａｄａｂｌｅ Ｍｅｄｉａ」と題する中国特許出願第２０１７１００８１７３１．７号の外国優先権を主張し、その全体が参照により本明細書に組み込まれる。

本出願は、画像処理技術の分野に関する。

３６０度パノラマビデオは、ユーザのパースペクティブ全体をカバーし得る非常に広い範囲を表示し、したがって、標準的な平面ビデオの解像度よりもはるかに高い解像度を概して有する。３６０度パノラマビデオは、圧縮率と伝送の平滑性とのバランスを達成するために、マッピングされた後で符号化及び圧縮され得る。

現在、３６０度パノラマビデオは、マッピングされたパノラマビデオ画像を判定するために様々な手法でマッピングされ得る。手法のうちのいくつかが、領域マッピングである。領域マッピングでは、高いマッピング画素値を有する領域が、高い解像度を有し、低いマッピング画素値を有する領域が、低い解像度を有する。しかしながら、モデル再構築及び画像レンダリングがユーザ端末を用いて行われるとき、マッピングを通して低い画素値が取得されるため、低い解像度を有する領域は、それに対応してマッピングされた画像の高周波成分をより多く有する。

本概要は、発明を実施するための形態においてさらに後述される概念の抜粋を、簡潔な形式で導入するために提供される。本概要は、特許請求される主題の重要な特徴または本質的特徴の全てを特定することを意図するものではなく、特許請求される主題の範囲を判定する際の補助としてのみ使用されることを意図するものでもない。「技術」という用語は、上記の文脈により、及び本開示全体を通して認められるように、例えば、デバイス（複数可）、システム（複数可）、方法（複数可）、及び／またはコンピュータ可読命令を指してもよい。

本出願の実施形態は、画像処理の方法、装置、及び機械可読媒体を提供する。方法は、パノラマビデオ画像を取得することであって、パノラマビデオ画像が、パースペクティブマッピングに基づいて判定され、パノラマビデオ画像が、一次パースペクティブ領域及び少なくとも１つの二次パースペクティブ領域を含む、取得することと、二次パースペクティブ領域内の高周波成分の分布情報に基づいて、二次パースペクティブ領域を少なくとも２つの小領域に分割することと、小領域のそれぞれのフィルタテンプレートを判定すること、及びそれぞれのフィルタテンプレートを用いて小領域をフィルタリングすることと、フィルタリングされたパノラマビデオ画像を判定することと、を含む。

トランスコーディングエンド及びユーザ端末におけるパノラマビデオを説明する概略図である。 本出願の実施形態による、画像の領域フィルタリングを説明する概略図である。 本出願の実施形態による、画像処理装置を説明する構造ブロック図である。 本出願の実施形態による、ピラミッドマッピングの原理を説明する概略図である。 本出願の実施形態による、別の画像処理装置を説明する構造ブロック図である。 本出願の実施形態による、画像の別の領域フィルタリングを説明する概略図である。 本出願の実施形態による、フィルタテンプレートを説明する概略図である。 本出願の実施形態による、フィルタテンプレートを説明する概略図である。 本出願の実施形態による、フィルタテンプレートを説明する概略図である。 本出願の実施形態による、パノラマビデオ画像処理方法を説明するフローチャートである。 本出願の別の実施形態による、画像処理方法を説明するフローチャートである。 本出願の別の実施形態による、別の画像処理方法のフローチャートである。 本出願の実施形態による、装置の概略構造図である。

本出願の上記目的、特徴、及び利点をより理解可能にするために、本出願は、添付の図面及び特定の実施態様と併せて以下でさらに詳細に説明される。

本出願の概念は、多様な異なる様式で修正され、置換されることが容易である。特定の実施形態が、添付図面を通して示されており、本明細書において詳細に説明される。しかしながら、上記内容は、開示される特定の形態に本出願の概念を限定することを意図するものではないと理解されるべきである。これに対して、本出願の明細書及び添付の特許請求の範囲は、修正物、均等物、及び置換物の全ての形態をカバーすることを意図される。

本明細書において、「１つの実施形態」、「実施形態」、及び「特定の実施形態」は、例えば、説明される実施形態が特定の特徴、構造、または特性を含み得ることを表す。しかしながら、各実施形態は、その特定の特徴、構造、または特性を含んでもよく、または必ずしも含まなくてもよい。さらに、そのような語句は、必ずしも同一の実施形態を指すものではない。さらに、特定の特徴、構造、または特性が、実施形態に関連して説明されるとき、特徴、構造、または特性もまた、それが指定されるか否かに関わらず、当業者による既知の範囲内の他の実施形態に関係すると考えられ得る。さらに、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」という形式によって含まれるリスト内の項目は、次の考えられる項目、（Ａ）、（Ｂ）、（Ｃ）、（Ａ及びＢ）、（Ａ及びＣ）、（Ｂ及びＣ）、または（Ａ、Ｂ、及びＣ）を含み得ると理解されるべきである。同様に、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」という形式において列挙される項目は、（Ａ）、（Ｂ）、（Ｃ）、（Ａ及びＢ）、（Ａ及びＣ）、（Ｂ及びＣ）、または（Ａ、Ｂ、及びＣ）を意味し得る。

いくつかの状況下において、開示される実施形態は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の組み合わせとして実施され得る。開示される実施形態は、また、１つ以上の一時的または非一時的機械可読（例えば、コンピュータ可読）記憶媒体に含まれる、または記憶される命令として実施され得る。命令は、１つ以上のプロセッサによって実行され得る。機械可読記憶媒体は、記憶デバイス、機構、または機械によって読み取り可能な形式で情報を記憶もしくは伝送する別の物理構造（例えば、揮発性もしくは不揮発性メモリ、媒体ディスク、他の媒体、または他の物理構造のデバイス）として実施され得る。

添付図面において、いくつかの構造または方法の特徴が、特定の配列及び／または順序で表示され得る。しかしながら、これらの特定の配列及び／または順序は必須ではないことが好ましい。これに対して、いくつかの実施態様では、そのような特徴は、添付図面に示されるものとは異なる様式及び／または順序で配列され得る。さらに、特定の添付図面における構造または方法の特徴に含まれる内容は、その特徴が全ての実施形態において必要であることを示唆するものではない。さらに、これらの特徴は、いくつかの実施態様に含まれなくともよく、またはこれらの特徴が、他の特徴と統合されてもよい。

パノラマ画像は、概して、人間の眼の正常な有効パースペクティブ（おおよそ水平方向に９０度、及び垂直方向に７０度）を満たし、または眼の周辺パースペクティブ（おおよそ水平方向に１８０度、及び垂直方向に９０度）を含み、または３６０度の完全シーン範囲内にすらある、ショット画像を指す。３６０度パノラマビデオは、ユーザのパースペクティブ全体をカバーし得る非常に広い範囲を表示する。したがって、３６０度パノラマビデオは、仮想現実（ＶＲ）の分野におけるホットスポットサービスであり、それは、ユーザに没入型ビデオ視聴エクスペリエンスを提供し得る。図１は、トランスコーディングエンド及びユーザ端末においてパノラマビデオ１００を処理することのフローチャートを示す。トランスコーディングエンドは、３次元マッピングモデルを生成１０２し、マッピングを実行し、２次元平面上に展開１０４を実行し、展開された画像を符号化１０６する。符号化されたパノラマビデオ画像が、ユーザ端末に送信される。ユーザ端末は、画像を復号し（１０８）、次いで、復号された画像に基づいて、トランスコーディングエンドの同一の３次元マッピングモデルを再構築し（１１０）得る。次いで、ユーザがパノラマビデオを視聴することができるように、出力画像は、ユーザのリアルタイムパースペクティブに基づき、３次元マッピングモデルを用いてレンダリングされる（１１２）。トランスコーディングエンドに対応するデバイスは、サーバ、及びサーバエンドにおける他のデバイスを含んでもよいが、これらに限定されない。

トランスコーディングエンドにおけるサーバなどのデバイスは、３次元モデルに基づいてマッピングを実行してもよい。異なるモデルが、異なるマッピング方法に対応する。いくつかの３次元マッピングモデルが、パースペクティブに基づいて領域マッピングを実行してもよい。この種類のマッピングのプロセスの間、最も鮮明な画像が、ユーザの一次パースペクティブに提供される。言い換えると、このパースペクティブにおける画像が、最も高い解像度を有し、他のパースペクティブには、より低い解像度の画像が提供される。具体的には、マッピング解像度は、ユーザの一次パースペクティブから離れると徐々に低下し、マッピングされた画像の対応する高周波成分の増加とともに、ユーザの一次パースペクティブから遠く離れた領域が過度に小さな数のマッピング画素値を有することにつながる。その結果、ユーザの一次パースペクティブから離れたパノラマビデオ画像の部分が、モデル再構築及びレンダリングを通してユーザ端末により取得される画像において、重度のジグザグ効果を経験し、したがって、質の悪い視覚的ユーザエクスペリエンスをもたらす。高周波成分は、画像のエッジ及びプロファイルについての測定値であり、画像のエッジ及び詳細を形成する。言い換えると、高周波成分は、周波数ドメインに反映される画像内の明度またはグレースケールに劇的な変化がある位置である。

したがって、本出願の実施形態は、適応型フィルタリングを使用して、マッピング後にユーザの一次パースペクティブから離れた領域内で発生する高周波画像成分を減少させ、したがって、ユーザ端末のレンダリングに起因するジグザグ効果を緩和する。

図２は、本出願の実施形態による、画像の領域フィルタリングの概略図である。

図２は、マッピング後のパノラマビデオ画像（即ち、２次元平面展開ビュー）を示す。画像内で、４つの三角形の領域によって囲まれる菱形領域は、一次パースペクティブ領域１０であり、三角形の領域は、二次パースペクティブ領域である。言い換えると、パノラマビデオ画像は、１つの一次パースペクティブ領域１０、及び４つの二次パースペクティブ領域（即ち、２０〜５０）を含む。トランスコーディングエンドのサーバなどのデバイスは、各二次パースペクティブ領域をフィルタリングし、二次パースペクティブ領域の高周波成分に基づいて、二次パースペクティブ領域を少なくとも２つの小領域に分割する。二次パースペクティブ領域２０が、実施例として用いられる。二次パースペクティブ領域２０において高周波成分の分布が判定され、３つのポイントａ、ｂ及びｃが、高周波成分の分布に基づいて二次パースペクティブ領域２０の辺ｄｅ上の１／４、１／２、及び３／４に配置される。二次パースペクティブ領域を小領域Ａ〜Ｄに分割するように、辺ｄｆに対して平行な線が３つの点ａ、ｂ、及びｃにおいてそれぞれ作られる。各領域は、異なる数の高周波成分を有するため、異なる小領域は、異なるようにフィルタリングされる必要がある。その結果、フィルタテンプレートは、小領域毎に判定されてもよく、小領域は、対応するフィルタテンプレートを用いてフィルタリングされる。例えば、平均フィルタリングが、５×５テンプレートを用いて領域Ａに対して実行される。平均フィルタリングが、３×３テンプレートを用いて領域Ｂに対して実行される。ガウシアンフィルタリングが、３×３テンプレートを用いて領域Ｃに対して実行される。比較的高周波成分が少ない領域Ｄに対しては、フィルタリングは行われない。メディアンフィルタリングなどの平滑化処理を伴うフィルタリングは、実際の処理において他のテンプレートを用いてさらに実行され得る。高周波成分を含む画像は、領域フィルタリングを通して平滑化されてもよく、フィルタリングされたパノラマビデオ画像が判定されてもよく、したがって、ユーザ端末のレンダリング中のジグザグ効果を防止し、視覚的ユーザエクスペリエンスを向上させる。

パースペクティブは、概して、人間の眼によって見られ得る範囲である。本出願の実施形態では、一次パースペクティブ及び二次パースペクティブのそれぞれの範囲は、実際の要件に基づいて構成され、例えば、サーバエンド及び／またはユーザ端末のパラメータに基づいて判定される。例えば、ユーザ端末（例えば、ＶＲデバイス）のパースペクティブ範囲は、４５°である。一次パースペクティブ領域は、したがって４５°の範囲内の領域であり、他の領域は、二次パースペクティブ領域である。フィルタテンプレートは、フィルタリングによって使用されるテンプレートである。本出願の実施形態は、フィルタテンプレートを用いて平滑化フィルタリングを実行する。フィルタテンプレートの平滑度は、フィルタテンプレートのサイズ及び強度に基づいて判定される。サイズ及び強度は、必要に応じて判定されてもよい。例えば、サイズは、３×３または５×５であってもよく、強度は、フィルタテンプレートの係数に基づいて判定される。

本出願の実施形態は、画像処理装置３００を提供する。画像処理装置３００は、サーバなどのデバイスに適用され、トランスコーディングエンドに対応する。

図３は、本出願の実施形態による、画像処理装置３００の構造ブロック図を示し、画像処理装置３００は以下のモジュールを含み得る。

取得モジュール３０２は、パノラマビデオ画像を取得するように構成され、パノラマビデオ画像は、パースペクティブマッピングに基づいて判定され、パノラマビデオ画像は、一次パースペクティブ領域及び少なくとも１つの二次パースペクティブ領域を含む。

分割モジュール３０４は、二次パースペクティブ領域内の高周波成分の分布情報に基づいて、二次パースペクティブ領域を少なくとも２つの小領域に分割するように構成される。

フィルタリングモジュール３０６は、小領域のそれぞれのフィルタテンプレートを判定し、それぞれのフィルタテンプレートを用いて小領域をフィルタリングし、フィルタリングされたパノラマビデオ画像を判定するように構成される。

装置３００は、パースペクティブマッピングに基づいて３次元マッピングモデルを生成する。その場合に、パースペクティブは、視線と、ディスプレイなどの表示デバイスの垂直方向との間に形成される角度を参照してもよい。したがって、装置は、３次元マッピングモデルを使用して、パノラマビデオ画像を取得するために画像マッピング及び２次元展開を実行し得る。具体的には、パノラマビデオ画像は、パースペクティブマッピングに基づいて判定され、したがって、パノラマビデオ画像は、一次パースペクティブ領域及び少なくとも１つの二次パースペクティブ領域を含む。

装置３００は、それぞれの二次パースペクティブ領域の高周波成分に基づいて、例えば、領域内の高周波成分の数に従って、各二次パースペクティブ領域を少なくとも２つの小領域に分割し得る。１つの小領域内の高周波成分の数は、他の小領域の高周波成分の数よりも大きい。高周波成分の数の差に起因して、２つの小領域は、異なるフィルタテンプレートを用いてフィルタリングされる必要がある。小領域毎のフィルタテンプレートが判定されてもよく、平滑化フィルタリングは、それぞれのフィルタテンプレートを用いて、対応する小領域に対して実行されてもよい。領域内の高周波成分は、フィルタリングされたパノラマビデオ画像を取得するために、平滑化フィルタリングを通して有効に平滑化されてもよい。フィルタリングされたパノラマビデオ画像は、次いで、符号化及び圧縮されてもよく、次いで、それがユーザエンドに伝送される。

要するに、一次パースペクティブ領域及び少なくとも１つの二次パースペクティブ領域を含むパノラマビデオ画像が取得される。二次パースペクティブ領域は、次いで、二次パースペクティブ領域内の高周波成分に基づいて、少なくとも２つの小領域に分割される。領域処理は、高周波成分に基づいて実行される。言い換えると、小領域毎のフィルタテンプレートが判定され、小領域は、それぞれのフィルタテンプレートを用いてフィルタリングされる。対応する小領域内の高周波成分を平滑化するために、対応するフィルタリングが、異なる小領域内の高周波成分に基づいて実行される。したがって、ユーザ側でのレンダリング中にジグザグ効果を防止し、ユーザの通常の視聴に影響を及ぼすことなく、画像の品質を向上させる。

本出願の実施形態は、様々な種類のパースペクティブに基づくモデル構築、マッピング、及び展開に適用され得る。ピラミッドマッピング及び展開手法は、マッピング及び展開後のパノラマビデオ画像に対する処理を説明するための実施例として用いられる。

ピラミッドマッピング及び展開手法は、ユーザによって見られる異なる一次パースペクティブからマッピングされる異なる画像を使用する。言い換えると、マッピングされた画像の各チャネルは、ユーザのある一次パースペクティブにおいて最も鮮明な解像度を有し、マッピング解像度は、ユーザの一次パースペクティブから離れた位置において低下する。したがって、ピラミッドマッピング及び展開手法は、マッピングされた画像の各チャネル上でより低い解像度を有する、マッピング及び展開された画像を取得し得る。図４は、ピラミッドマッピングの原理の概略図である。ピラミッドマッピングモデルは、ユーザの一次パースペクティブに関する部分において高い解像度を提供し、マッピング解像度は、ユーザの一次パースペクティブから離れた領域において、徐々に低下する。ピラミッドマッピングモデルにおける長方形ピラミッドの頂点は、ユーザの視聴パースペクティブから最も遠くに離れている位置を表す。図２は、ピラミッドマッピングモデルを用いたマッピング及び展開後のパノラマビデオ画像を示す。図６は、ピラミッドマッピング及び２次元展開後の、別のパノラマビデオ画像の実施例を示す。

ピラミッドモデルは、マッピングされた画像の解像度を大いに低下させ得るが、マッピングされた画像の解像度が、ユーザの一次パースペクティブから離れると徐々に低下するため、ユーザの一次パースペクティブから離れた領域において以下の問題が発生する。第１に、最終的なレンダリングのプロセス中に、ユーザの一次パースペクティブから離れた高周波画像マッピングのサンプリング領域が、重度のジグザクレンダリング効果を引き起こすこととなる。第２に、画像の高周波成分の数の増加は、圧縮により必要とされるビットレートの増加をもたらし、符号化ビットレートの大部分が、ユーザの一次パースペクティブから遠く離れた高周波画像領域において消費され、したがって、一次パースペクティブ領域の符号化品質を劣化させ、一次パースペクティブ領域のシャープネスに影響を及ぼす。したがって、本出願の実施形態は、適応型フィルタリングを使用して、ピラミッドモデル及び類似の設計思想を有する他の適応型解像度マッピングについてのパノラマビデオトランスコーディング技術の問題を解決し得る。

本出願の実施形態における適応型フィルタリングは、領域的に異なるフィルタリング処理を実行し得る。二次パースペクティブ領域の高周波成分に基づいて、二次パースペクティブ領域を少なくとも２つの小領域に分割することは、二次パースペクティブ領域内の高周波成分の分布情報を判定することと、分布情報に基づいて、二次パースペクティブ領域を少なくとも２つの小領域に分割することと、を含んでもよい。言い換えると、ユーザの一次パースペクティブから離れた領域のマッピング解像度が、マッピング中に徐々に低下する場合、二次パースペクティブ領域内の高周波成分は、均一に分散されない。したがって、二次パースペクティブ領域内の高周波成分の分布情報が判定されてもよく、異なるフィルタリング処理が、異なる小領域に対して実行され得るように、二次パースペクティブ領域は、分布情報に基づいて少なくとも２つの小領域に分割されてもよい。実際の処理において、二次パースペクティブ領域は、高周波成分の数、ある角度、または領域の辺（複数可）などに従って、分布情報に基づき小領域に分割されてもよい。

図５は、本出願の実施形態による、別の画像処理装置３００の構造ブロック図を示す。画像処理装置３００は、具体的には以下のモジュールを含み得る。

取得モジュール３０２は、パースペクティブマッピングに基づいて判定されるパノラマビデオ画像を取得するように構成され、パノラマビデオ画像は、一次パースペクティブ領域及び少なくとも１つの二次パースペクティブ領域を含む。実施例では、トランスコーディングエンドの、サーバなどのデバイスの取得モジュール３０２は、パースペクティブマッピングに基づいて判定されるパノラマビデオ画像を取得し、パノラマビデオ画像内の一次パースペクティブ領域及び二次パースペクティブ領域を判定する。図２は、ピラミッドマッピング及び２次元展開後のパノラマビデオ画像の実施例を示し、それは、一次パースペクティブ領域１０及び二次パースペクティブ領域２０〜５０を含む。図６は、ピラミッドマッピング及び２次元展開後の別のパノラマビデオ画像の実施例を示し、それは、一次パースペクティブ領域１１及び二次パースペクティブ領域２１〜５１を含む。二次パースペクティブ領域の共通頂点は、最も高い高周波成分が位置する領域の頂点であってもよい。したがって、この種類の展開の実施例は、また、４つの二次パースペクティブ領域を単一の二次パースペクティブ領域に結合してもよい。

分割モジュール３０４は、二次パースペクティブ領域内の高周波成分の分布情報に基づいて、二次パースペクティブ領域を少なくとも２つの小領域に分割するように構成される。適応型マッピングの間、ユーザの一次パースペクティブからの距離が増加するにつれて、マッピングサンプリングが、徐々に増大する。したがって、分割モジュール３０４は、マッピング中のサンプリングレートに基づいて、二次パースペクティブ領域内の高周波成分の分布情報を判定し得る。言い換えると、二次パースペクティブ領域内で一次パースペクティブの位置から遠く離れた領域ほど、高周波成分の数が多くなる。これに対して、二次パースペクティブ領域内で一次パースペクティブの位置の近くの領域ほど、高周波成分の数が少なくなる。分割モジュール３０４は、二次パースペクティブ領域内の高周波成分の分布情報を判定してもよく、分布情報に基づいて二次パースペクティブ領域を少なくとも２つの小領域に分割してもよい。

分割モジュール３０４は、数分割サブモジュール３０４２、及び頂点分割サブモジュール３０４４を含む。

実施例において、数分割サブモジュール３０４２は、分布情報における高周波成分の数に基づいて、二次パースペクティブ領域を少なくとも２つの小領域に分割するように構成される。二次パースペクティブ領域内の高周波成分の分布情報が判定された後、数分割サブモジュール３０４２は、分布情報に基づいて、二次パースペクティブ領域の各位置領域内の高周波成分の数を判定し、高周波成分の数に基づいて二次パースペクティブ領域を少なくとも２つの小領域に分割するように構成されてもよい。例えば、１つ以上の閾値が設定されてもよく、２つ以上の小領域への分割が、閾値と領域内の高周波成分の数との比較に基づいて取得されてもよい。

図６に示されるように、二次パースペクティブ領域が、分布情報、即ち、ユーザの一次パースペクティブからの距離に従って判定される二次パースペクティブ領域内の高周波成分の数に基づいて、３つの小領域Ｅ、Ｆ、及びＧに分割されてもよい。Ｅは、ユーザの一次パースペクティブから最も遠くに離れた小領域であり、Ｇは、ユーザの一次パースペクティブに最も近い小領域である。例えば、高周波成分の数は、閾値と数との比較の仕方に従って、Ｎに設定されてもよく、閾値は、Ｔ１及びＴ２を含み、Ｔ１＞Ｔ２である。このように、Ｎ＞Ｔ１である小領域は、Ｅであり、Ｔ１≧Ｎ＞Ｔ２である小領域は、Ｆであり、Ｎ≧Ｔ２である小領域は、Ｇである。

別の実施例において、頂点分割サブモジュール３０４４は、分布情報に基づいて、二次パースペクティブ領域内の目標頂点が位置する辺を分割し、分割結果に基づいて二次パースペクティブ領域を少なくとも２つの小領域に分割するように構成される。その場合、目標頂点は、最も高い高周波成分を有する領域が位置する頂点を含む。目標頂点は、最も高い高周波成分を有する領域が位置する頂点を含む。例えば、図２に示されるように、一次パースペクティブ領域と重複しない４つの二次パースペクティブ領域内の頂点は、最も高い高周波成分を有する領域が位置する頂点である。

二次パースペクティブ領域内の高周波成分の分布情報が判定された後、頂点分割サブモジュール３０４４は、ある角度に従って、または二次パースペクティブ領域の辺に従って、分布情報に基づき領域分割を実行してもよい。二次パースペクティブ領域における解像度（即ち、高周波成分）は、概して連続的に、かつ徐々に変化する。例えば、図２における解像度は、４５度方向に沿って低下し、したがって、二次パースペクティブ領域は、４５度方向に基づいて小領域に分割され得る。代替的には、目標頂点が位置する辺が、ある規則に基づいて分割される。分割によって得られる交点から目標頂点の反対側まで、平行な直線が作られ、少なくとも２つの小領域が、焦点及び平行な直線に基づいて判定される。

フィルタリングモジュール３０６は、各小領域のフィルタテンプレートを判定し、それぞれのフィルタテンプレートを使用することによって小領域をフィルタリングし、フィルタリングされたパノラマビデオ画像を判定するように構成される。フィルタリングモジュール３０６は、テンプレート判定サブモジュール３０６２、及びフィルタリング処理サブモジュール３０６４を含む。

テンプレート判定サブモジュール３０６２は、小領域内のそれぞれの高周波成分に基づいて、小領域に対応するそれぞれのフィルタテンプレートを判定するように構成される。高周波成分の数が多いほど、フィルタテンプレートの平滑度は大きくなる。フィルタテンプレートの平滑度は、フィルタテンプレートのサイズ及び強度に基づいて判定され、強度は、フィルタテンプレートの係数に基づいて判定される。２つのフィルタテンプレートのサイズが同一であるとき、平滑度は、フィルタテンプレートの係数に基づいて判定される。小領域は、高周波成分の数による分割によって取得される。これに対応して、異なる平滑化フィルタリング処理が、高周波成分のそれぞれの数に基づき異なる小領域に対して実行される必要がある。テンプレート判定サブモジュール３０６２は、小領域内のそれぞれの高周波成分に基づいて、小領域に対応するそれぞれのフィルタテンプレートを判定するように構成され得る。高周波成分の数が多いほど、フィルタテンプレートの平滑度は大きくなる。フィルタテンプレートの平滑度は、フィルタテンプレートのサイズ及び強度に基づいて判定され、強度は、フィルタテンプレートの係数に基づいて判定される。言い換えると、より多くの高周波成分を有する小領域ほど、より大きなテンプレートサイズ及びより高い強度を有するフィルタ（即ち、フィルタテンプレート）を使用し、したがって、高周波成分を平滑化する効果を達成する。２つのフィルタテンプレートのサイズが同一であるとき、それぞれの平滑度は、フィルタテンプレートのそれぞれの係数に基づいて判定される。

フィルタリング処理サブモジュール３０６４は、フィルタテンプレートを使用して、小領域に対して以下のフィルタリング処理、ガウシアンフィルタリング、メディアンフィルタリング、及び平均フィルタリングのうちの少なくとも１つを実行するように構成される。小領域のそれぞれのフィルタテンプレートが判定された後、小領域は、それぞれのフィルタテンプレートに基づいてフィルタリングされる。その場合に、平滑化フィルタリングは、ガウシアンフィルタリング、メディアンフィルタリング、及び平均フィルタリングのうちの少なくとも１つを含む。線形または非線形平滑化フィルタリング方法などの他のローパスフィルタテンプレートもまた、使用されてもよく、それは、本実施形態において網羅的に列挙されておらず、本出願への限定として解釈されるべきではない。したがって、フィルタテンプレートは、二次パースペクティブ領域を分割することによって取得される小領域に対する以下のフィルタリング処理、ガウシアンフィルタリング、メディアンフィルタリング、及び平均フィルタリングのうちの少なくとも１つを実行するために使用され得る。具体的には、二次パースペクティブ領域を分割することによって取得される小領域について、異なる平滑化フィルタリング処理が、含まれる高周波成分にそれぞれ基づき、同一のサイズを有するテンプレートを使用することによって実行されてもよい。代替的には、同一または異なる平滑化フィルタリング処理が、異なるサイズを有するテンプレートを使用することによって実行されてもよい。フィルタリングされたパノラマビデオ画像は、フィルタリングによって取得されてもよい。フィルタリング処理の対応するカテゴリは、フィルタテンプレートの係数に基づいて判定されてもよい。

例えば、前述のフィルタリング手法を除いて、フィルタリングは、図７に示されるような３つの異なるフィルタテンプレートを使用して、図２の小領域に対して実行されてもよい。小領域Ａは、図７Ｃに示される５×５の平均フィルタテンプレートを使用してフィルタリングされてもよく、小領域Ｂは、図７Ｂに示される３×３の平均フィルタテンプレートを使用してフィルタリングされてもよく、小領域Ｃは、図７Ａに示される３×３のガウシアンフィルタテンプレートを使用してフィルタリングされてもよく、小領域Ｄに対しては、フィルタリングは実行されなくともよい。このようにして、二次パースペクティブ領域に対する適応型フィルタリング処理を実行する。

別の実施例について、図６の小領域は、図７に示されるような３つの異なるフィルタテンプレートを使用してフィルタリングされ得る。図７Ａは、３×３のガウシアンフィルタテンプレートを示す。図７Ｂは、３×３の平均フィルタテンプレートを示す。図７Ｃは、５×５の平均フィルタテンプレートを示す。３つのテンプレートの中でも、図７Ｃに示される平均フィルタテンプレートは、最も大きな平滑度を有し、図７Ａに示される平均フィルタテンプレートは、最も小さな平滑度を有する。したがって、小領域Ｅは、図７Ｃに示される５×５の平均フィルタテンプレートを使用してフィルタリングされてもよく、小領域Ｆは、図７Ｂに示される３×３の平均フィルタテンプレートを使用してフィルタリングされてもよく、小領域Ｇは、図７Ａに示される３×３のガウシアンフィルタテンプレートを使用してフィルタリングされてもよく、したがって、適応的にフィルタリングを達成する。上記説明が、領域の分割及びフィルタリングの単なる実施例であることは明らかである。実際の処理は、特定の状況に基づいて判定されてもよい。例えば、フィルタリングは、小領域Ｇに対して実行されなくともよい。

要するに、適応型解像度マッピング及びトランスコーディング中に、ユーザの一次パースペクティブから離れた領域において生成される、高周波成分の過剰な数のマッピングサンプルによって引き起こされる、符号化ビットレートの無駄及びレンダリング画像のジグザグ効果の問題について、本出願の実施形態は、一次パースペクティブから離れた二次パースペクティブ領域においてユーザのパースペクティブ角度に従って変化する適応型フィルタリング方法を設定して、高周波成分を含む画像を平滑化し、したがって高周波成分の強度を低下させる。

上記画像処理装置に基づいて、画像の領域フィルタリングは、説明用の実施例として用いられる。

図８は、本出願の実施形態による、画像処理方法８００のフローチャートを示す。

ブロック８０２：パースペクティブマッピングに基づいて判定されるパノラマビデオ画像が取得され、その場合に、パノラマビデオ画像は、一次パースペクティブ領域及び少なくとも１つの二次パースペクティブ領域を含む。

ブロック８０４：二次パースペクティブ領域は、二次パースペクティブ領域内の高周波成分の分布情報に基づいて、少なくとも２つの小領域に分割される。

ブロック８０６：小領域のそれぞれのフィルタテンプレートが判定され、小領域は、それぞれのフィルタテンプレートを使用することによってフィルタリングされる。

装置は、パースペクティブマッピングに基づいて３次元マッピングモデルを生成する。その場合に、パースペクティブは、視線と、ディスプレイなどの表示デバイスの垂直方向との間に形成される角度を参照してもよい。３次元マッピングモデルは、画像マッピング及び２次元展開を実行してパノラマビデオ画像を取得するために使用される。言い換えると、パノラマビデオ画像は、パースペクティブマッピングに基づいて判定され、したがって、パノラマビデオ画像は、一次パースペクティブ領域及び少なくとも１つの二次パースペクティブ領域を含む。各二次パースペクティブ領域は、二次パースペクティブ領域の高周波成分に基づいて、例えば、領域内の高周波成分の数に基づいて、少なくとも２つの小領域に分割されてもよい。領域において、１つの小領域内の高周波成分の数は、他の小領域の高周波成分の数よりも大きい。高周波成分のそれぞれの数の差に起因して、２つの小領域は、異なるフィルタテンプレートを用いてフィルタリングされる必要がある。小領域毎のフィルタテンプレートが判定されてもよく、平滑化フィルタリング処理は、それぞれのフィルタテンプレートを用いて、対応する小領域に対して実行されてもよい。領域内の高周波成分は、フィルタリングされたパノラマビデオ画像を取得するために、平滑化フィルタリングを通して有効に平滑化されてもよい。フィルタリングされたパノラマビデオ画像は、次いで、符号化及び圧縮されてもよく、次いで、符号化及び圧縮された画像が、ユーザエンドに伝送される。

要するに、一次パースペクティブ領域及び少なくとも１つの二次パースペクティブ領域を含むパノラマビデオ画像が取得される。二次パースペクティブ領域は、次いで、二次パースペクティブ領域内の高周波成分に基づいて、少なくとも２つの小領域に分割される。領域処理は、高周波成分に基づいて実行される。言い換えると、小領域毎のフィルタテンプレートが判定され、小領域は、それぞれのフィルタテンプレートを用いてフィルタリングされる。対応する小領域内の高周波成分を平滑化するために、対応するフィルタリングが、異なる小領域内の高周波成分に基づいて実行される。これによって、ユーザ側でのレンダリング中にジグザグ効果を防止し、視覚的ユーザエクスペリエンスを向上させる。

本出願の実施形態は、様々な種類のパースペクティブに基づくモデル構築、マッピング、及び展開に適用され得る。ピラミッドマッピング及び展開手法は、マッピング及び展開後のパノラマビデオ画像に対する処理を説明するための実施例として用いられる。ピラミッドマッピング及び展開手法は、ユーザによって見られる異なる一次パースペクティブからマッピングされる異なる画像を使用する。言い換えると、マッピングされた画像の各チャネルは、ユーザのある一次パースペクティブにおいて最も鮮明な解像度を有し、マッピング解像度は、ユーザの一次パースペクティブから離れた位置において低下する。したがって、ピラミッドマッピング及び展開手法は、マッピングされた画像の各チャネル上でより低い解像度を有するマッピング及び展開された画像を取得し得る。図４は、ピラミッドマッピングの原理の概略図である。ピラミッドマッピングモデルは、ユーザの一次パースペクティブに関する部分において高い解像度を有し、マッピング解像度は、ユーザの一次パースペクティブから離れた領域において、徐々に低下する。ピラミッドマッピングモデルにおける長方形ピラミッドの頂点は、ユーザの視聴パースペクティブから最も遠くに離れている位置を表す。図６は、ピラミッドマッピングモデルを用いたマッピング及び展開後のパノラマビデオ画像を示す。

ピラミッドモデルは、マッピングされた画像の解像度を大いに低下させ得るが、マッピングされた画像の解像度はユーザの一次パースペクティブから離れて徐々に低下するため、ユーザの一次パースペクティブから離れた領域において以下の問題が発生する。第１に、最終的なレンダリングのプロセス中に、ユーザの一次パースペクティブから離れた高周波画像マッピングのサンプリング領域が、重度のジグザクレンダリング効果を引き起こすこととなる。第２に、画像の高周波成分の数の増加は、圧縮により必要とされるビットレートの増加をもたらし、符号化ビットレートの大部分は、ユーザの一次パースペクティブから遠く離れた高周波画像領域において消費され、したがって、一次パースペクティブ領域の符号化品質を劣化させ、一次パースペクティブ領域のシャープネスに影響を及ぼす。したがって、本出願の実施形態は、適応型フィルタリングを使用して、ピラミッドモデル及び類似の設計思想を有する他の適応型解像度マッピングについてのパノラマビデオトランスコーディング技術の問題を解決し得る。

本出願の実施形態における適応型フィルタリングは、領域的に異なるフィルタリング処理を実行し得る。二次パースペクティブ領域の高周波成分に基づいて、二次パースペクティブ領域を少なくとも２つの小領域に分割することは、二次パースペクティブ領域内の高周波成分の分布情報を判定することと、分布情報に基づいて、二次パースペクティブ領域を少なくとも２つの小領域に分割することと、を含んでもよい。言い換えると、ユーザの一次パースペクティブから離れた領域のマッピング解像度が、マッピング中に徐々に低下する場合、二次パースペクティブ領域内の高周波成分は、均一に分散されない。したがって、二次パースペクティブ領域内の高周波成分の分布情報が判定されてもよく、異なるフィルタリング処理が、異なる小領域に対して実行され得るように、二次パースペクティブ領域は、分布情報に基づいて少なくとも２つの小領域に分割されてもよい。実際の処理において、二次パースペクティブ領域は、高周波成分の数、ある角度、または領域の辺（複数可）などに従って、分布情報に基づき小領域に分割されてもよい。

図９は、本出願の別の実施形態による、画像処理方法９００のフローチャートである。

ブロック９０２：パースペクティブマッピングに基づいて判定されるパノラマビデオ画像が取得され、その場合に、パノラマビデオ画像は、一次パースペクティブ領域及び少なくとも１つの二次パースペクティブ領域を含む。

実施例において、装置は、パースペクティブマッピングに基づいて判定されるパノラマビデオ画像を取得し、パノラマビデオ画像内の一次パースペクティブ領域及び二次パースペクティブ領域を判定する。図６は、ピラミッドマッピング及び２次元展開後の別のパノラマビデオ画像の実施例を示し、それは、一次パースペクティブ領域１１及び二次パースペクティブ領域２１〜５１を含む。二次パースペクティブ領域の共通頂点は、最も高い高周波成分が位置する領域の頂点であってもよい。したがって、この種類の展開の実施例は、また、４つの二次パースペクティブ領域を単一の二次パースペクティブ領域に結合してもよい。

ブロック９０４：二次パースペクティブ領域内の高周波成分の分布情報が、マッピング中のサンプリングレートに基づいて判定される。

適応型マッピングの間、ユーザの一次パースペクティブからの距離が増加するにつれて、マッピングサンプリングは、徐々に増大する。したがって、装置は、マッピング中のサンプリングレートに基づいて、二次パースペクティブ領域内の高周波成分の分布情報を判定し得る。言い換えると、二次パースペクティブ領域内で一次パースペクティブの位置から遠く離れた領域ほど、高周波成分の数が多くなる。これに対して、二次パースペクティブ領域内で一次パースペクティブの位置の近くの領域ほど、高周波成分の数が少なくなる。

ブロック９０６：二次パースペクティブ領域は、分布情報内の高周波成分の数に基づいて、少なくとも２つの小領域に分割される。

二次パースペクティブ領域内の高周波成分の分布情報が判定された後、装置は、分布情報に基づいて、二次パースペクティブ領域の各位置領域内の高周波成分の数を判定し、高周波成分の数に基づいて二次パースペクティブ領域を少なくとも２つの小領域に分割するように構成されてもよい。例えば、１つ以上の閾値が設定されてもよく、２つ以上の小領域への分割が、閾値と領域内の高周波成分の数との比較に基づいて取得されてもよい。図６に示されるように、二次パースペクティブ領域が、分布情報、即ち、ユーザの一次パースペクティブからの距離に従って判定される二次パースペクティブ領域内の高周波成分の数に基づいて、３つの小領域Ｅ、Ｆ、及びＧに分割されてもよい。Ｅは、ユーザの一次パースペクティブから最も遠くに離れた小領域であり、Ｇは、ユーザの一次パースペクティブに最も近い小領域である。例えば、高周波成分の数は、閾値と数との比較の仕方に従って、Ｎに設定されてもよく、閾値は、Ｔ１及びＴ２を含み、Ｔ１＞Ｔ２である。このように、Ｎ＞Ｔ１である小領域は、Ｅであり、Ｔ１≧Ｎ＞Ｔ２である小領域は、Ｆであり、Ｎ≧Ｔ２である小領域は、Ｇである。

ブロック９０８：小領域に対応するそれぞれのフィルタテンプレートは、小領域内のそれぞれの高周波成分に基づいて、判定される。

ブロック９１０：以下のフィルタリング処理、ガウシアンフィルタリング、メディアンフィルタリングフィルタリング、及び平均フィルタリングのうちの少なくとも１つが、それぞれのフィルタテンプレートを用いて二次パースペクティブ領域に含まれる小領域に対して実行される。

小領域は、高周波成分の数による分割によって取得される。これに対応して、異なる平滑化フィルタリング処理が、高周波成分のそれぞれの数に基づき異なる小領域に対して実行される必要がある。小領域に対応するそれぞれのフィルタテンプレートは、小領域内の高周波成分に基づいて、判定されてもよい。高周波成分の数が多いほど、フィルタテンプレートの平滑度は大きくなる。フィルタテンプレートの平滑度は、フィルタテンプレートのサイズ及び強度に基づいて判定され、強度は、フィルタテンプレートの係数に基づいて判定される。言い換えると、より多くの高周波成分を有する小領域ほど、より大きなテンプレートサイズ及びより高い強度を有するフィルタ（即ち、フィルタテンプレート）を使用し、したがって、高周波成分を平滑化する効果を達成する。２つのフィルタテンプレートのサイズが同一であるとき、それぞれの平滑度は、フィルタテンプレートのそれぞれの係数に基づいて判定される。

小領域のそれぞれのフィルタテンプレートが判定された後、装置は、それぞれのフィルタテンプレートに基づいて、小領域をフィルタリングする。その場合に、平滑化フィルタリングは、ガウシアンフィルタリング、メディアンフィルタリング、及び平均フィルタリングのうちの少なくとも１つを含む。線形または非線形平滑化フィルタリング方法などの他のローパスフィルタテンプレートもまた、使用されてもよく、それは、本実施形態において網羅的に列挙されておらず、本出願への限定として解釈されるべきではない。したがって、フィルタテンプレートは、二次パースペクティブ領域を分割することによって取得される小領域に対する以下のフィルタリング処理、ガウシアンフィルタリング、メディアンフィルタリング、及び平均フィルタリングのうちの少なくとも１つを実行するために使用され得る。具体的には、二次パースペクティブ領域を分割することによって取得される小領域について、異なる平滑化フィルタリング処理が、含まれる高周波成分にそれぞれ基づき、同一のサイズを有するテンプレートを使用することによって実行されてもよい。代替的には、同一または異なる平滑化フィルタリング処理が、異なるサイズを有するテンプレートを使用することによって実行されてもよい。フィルタリングされたパノラマビデオ画像は、フィルタリングによって取得されてもよい。フィルタリング処理の対応するカテゴリは、フィルタテンプレートの係数に基づいて判定されてもよい。

例えば、図６の小領域は、図７に示されるような３つの異なるフィルタテンプレートを使用してフィルタリングされ得る。図７Ａは、３×３のガウシアンフィルタテンプレートを示す。図７Ｂは、３×３の平均フィルタテンプレートを示す。図７Ｃは、５×５の平均フィルタテンプレートを示す。３つのテンプレートの中でも、図７Ｃに示される平均フィルタテンプレートは、最も大きな平滑度を有し、図７Ａに示される平均フィルタテンプレートは、最も小さな平滑度を有する。したがって、小領域Ｅは、図７Ｃに示される５×５の平均フィルタテンプレートを使用してフィルタリングされてもよく、小領域Ｆは、図７Ｂに示される３×３の平均フィルタテンプレートを使用してフィルタリングされてもよく、小領域Ｇは、図７Ａに示される３×３のガウシアンフィルタテンプレートを使用してフィルタリングされてもよく、したがって、適応的にフィルタリングを達成する。上記説明が、領域の分割及びフィルタリングの単なる実施例であることは明らかである。実際の処理は、特定の状況に基づいて判定されてもよい。例えば、フィルタリングは、小領域Ｇに対して実行されなくともよい。

図１０は、本出願の別の実施形態による、別の画像処理方法１０００のフローチャートである。

ブロック１００２：パースペクティブマッピングに基づいて判定されるパノラマビデオ画像が取得され、その場合に、パノラマビデオ画像は、一次パースペクティブ領域及び少なくとも１つの二次パースペクティブ領域を含む。

別の実施例では、装置は、パースペクティブマッピングに基づいて判定されるパノラマビデオ画像を取得し、パノラマビデオ画像内の一次パースペクティブ領域及び二次パースペクティブ領域を判定する。図２は、ピラミッドマッピング及び２次元展開後に取得されるパノラマビデオ画像の実施例を示し、それは、一次パースペクティブ領域１０及び二次パースペクティブ領域２０〜５０を含む。

ブロック１００４：二次パースペクティブ領域内の高周波成分の分布情報が、マッピング中のサンプリングレートに基づいて判定される。

ブロック１００６：二次パースペクティブ領域内の目標頂点が位置する辺が、分布情報に基づいて分割され、二次パースペクティブ領域は、分割結果に基づいて少なくとも２つの小領域に分割される。

目標頂点は、最も高い高周波成分を有する領域が位置する頂点を含む。例えば、一次パースペクティブ領域と重複しない、図２の４つの二次パースペクティブ領域内の頂点は、最も高い高周波成分を有する領域が位置する頂点である。二次パースペクティブ領域内の高周波成分の分布情報が判定された後、領域分割は、ある角度に従って、または二次パースペクティブ領域の辺に従って、分布情報に基づき実行されてもよい。二次パースペクティブ領域における解像度（即ち、高周波成分）は、概して連続的に、かつ徐々に変化する。例えば、図２における解像度は、４５度方向に沿って低下し、したがって、二次パースペクティブ領域は、４５度方向に基づいて小領域に分割され得る。代替的には、目標頂点が位置する辺が、ある規則に基づいて分割される。分割によって得られる交点から目標頂点の反対側まで、平行な直線が作られ、少なくとも２つの小領域が、焦点及び平行な直線に基づいて判定される。

ブロック１００８：小領域に対応するそれぞれのフィルタテンプレートは、小領域内のそれぞれの高周波成分に基づいて、判定される。

ブロック１０１０：以下のフィルタリング処理、ガウシアンフィルタリング、メディアンフィルタリングフィルタリング、及び平均フィルタリングのうちの少なくとも１つが、それぞれのフィルタテンプレートを用いて二次パースペクティブ領域に含まれる小領域に対して実行される。

例えば、前述のフィルタリング手法を除いて、フィルタリングは、図７に示されるような３つの異なるフィルタテンプレートを使用して、図２の小領域に対して実行されてもよい。小領域Ａは、図７Ｃに示される５×５の平均フィルタテンプレートを使用してフィルタリングされてもよく、小領域Ｂは、図７Ｂに示される３×３の平均フィルタテンプレートを使用してフィルタリングされてもよく、小領域Ｃは、図７Ａに示される３×３のガウシアンフィルタテンプレートを使用してフィルタリングされてもよく、小領域Ｄに対しては、フィルタリングは実行されなくともよい。このようにして、二次パースペクティブ領域に対する適応型フィルタリング処理を実行する。

要するに、適応型解像度マッピング及びトランスコーディング中に、ユーザの一次パースペクティブから離れた領域において生成される、高周波成分の過剰な数のマッピングサンプルによって引き起こされる、符号化ビットレートの無駄及びレンダリング画像のジグザグ効果の問題について、本出願の実施形態は、一次パースペクティブから離れた二次パースペクティブ領域におけるユーザのパースペクティブ角度に従って変化する適応型フィルタリング方法を設定して、高周波成分を含む画像を平滑化し、したがって、高周波成分の強度を低下させる。

第１に、適応型フィルタリング中の領域分割、テンプレート選択などは、一意ではなく、領域処理は、二次パースペクティブ領域がユーザの一次パースペクティブ領域からどのくらい離れているかに基づいて（マッピングサンプリングによって引き起こされる画像の高周波成分の重大性の度合いに対応して）、対応する適応型フィルタを用いて実行されてもよい。次に、適応型フィルタのテンプレートサイズ及び強度もまた、異なる領域に対して柔軟に設計される（例えば、図７に示されるような多様なフィルタテンプレート）。さらに、フィルタリングのための領域分割は、（ピラミッドまたは他の手法である）実際の適応型マッピングトランスコーディングアルゴリズムによって引き起こされるマッピングサンプリング高周波成分の特徴に従って適応的に設計され得る。領域のサイズ及び形状は、実際の状況に従って柔軟に判定され得る。

ユーザの一次パースペクティブからの二次パースペクティブ領域の距離に基づいて設計されるフィルタテンプレートのサイズ及び強度は、同一ではない。適応型フィルタリング方法は、概して、以下の２つの主要な原理を考慮して設計される必要がある。第１に、適応型フィルタリングは、ユーザの一次パースペクティブから離れる方向へ徐々に展開されるマッピングサンプリングによって引き起こされる、高周波成分の影響に適合する必要がある。ユーザの一次パースペクティブからはるか遠くに離れた位置ほど、高周波成分のマッピングサンプリングがより多く存在し、それに対応して適応型フィルタリングがより強くなる必要がある。これは、より大きなサイズ及びより平滑な係数のテンプレートを使用することによって、実施され得る。第２に、適応型フィルタリングアルゴリズムの設計は、平滑度の遷移を考慮する必要がある。小領域のために選択されたフィルタテンプレートは、フィルタリングの強度に対応して滑らかに遷移し、フィルタリングの急変更によって引き起こされる画像ぶれの増加をユーザが経験することを防止する必要がある。例えば、図７におけるフィルタテンプレートのサイズ及び係数は全て、滑らかに遷移する。

上記実施形態は全て、パノラマビデオ画像のための適応型フィルタリング処理を説明するための実施例として使用される。実際の処理の間、フィルタリング領域の数、フィルタリング領域の範囲、フィルタテンプレートの強度及びサイズなどを含む態様において、必要に応じて調整が適応的に行われてもよい。したがって、符号化ビットレートは、それにより上記適応型フィルタリング処理に基づいて、ユーザの一次パースペクティブに対して集中され得る。ユーザの一次パースペクティブの視聴解像度が改善され、ユーザの一次パースペクティブから離れた領域のジグザグ効果が、緩和され得る。したがって、ユーザが一次パースペクティブから離れた位置にパースペクティブを突然切り替えるときの、視覚的エクスペリエンスを改善する。

本出願の実施形態において、ユーザ端末は、マルチメディア機能性を有する端末デバイスを指す。これらのデバイスは、音声、ビデオ、データなどに関する機能をサポートする。本実施形態において、ユーザ端末は、スマートフォン、タブレットコンピュータ、スマートウェアラブルデバイス、ＶＲデバイスなどのスマートモバイル端末を含み得る。フィルタリングされた画像を取得した後、サーバなどのデバイスは、フィルタリングされた画像を符号化し、次いで、符号化された画像をユーザ端末に送信して、ユーザがユーザ端末上でパノラマビデオを視聴することを可能にし得る。

方法の実施形態は、説明のために一連のアクションの組み合わせとして説明されることに留意すべきである。しかしながら、いくつかの動作は、本出願の実施形態に従って、他の順序で、または並行して実行されてもよいため、本出願の実施形態は、本明細書で説明されたアクションの順序に限定されないことを、当業者は知るべきである。さらに、明細書に記載された実施形態は、全て好ましい実施形態であり、そこに含まれるアクションは、本出願の実施形態に必須でなくともよいことも、当業者は知るべきである。

本開示の実施形態は、任意の適当なハードウェアコンポーネント及び／またはソフトウェアコンポーネントを用いて、所望の構成を実行する装置として実施され得る。図１１は、例えば、図３及び図５に示される装置３００などの、本出願の多様な実施形態を実施するために使用され得る例示的な装置１１００を概略的に示す。

実施形態において、図１１は、例示的な装置１１００を示す。装置は、１つ以上のプロセッサ１１０２、（１つ以上の）プロセッサ１１０２に連結される少なくとも１つの制御モジュール（チップセット）１１０４、制御モジュール１１０４に連結されるメモリ１１０６、制御モジュール１１０４に連結される不揮発性メモリ（ＮＶＭ）／記憶デバイス１１０８、制御モジュール１０４に連結される１つ以上の入力／出力デバイス１１１０、及び制御モジュール１０６に連結されるネットワークインタフェース１１１２を含む。

プロセッサ１１０２は、１つ以上のシングルコアまたはマルチコアプロセッサを含み得る。プロセッサ１１０２は、汎用プロセッサ（複数可）、または専用プロセッサ（複数可）（グラフィックスプロセッサ、アプリケーションプロセッサ、及びベースバンドプロセッサなど）の任意の組み合わせを含み得る。いくつかの実施形態では、装置１１００は、トランスコーディングエンドにおけるサーバなどの、本出願の実施形態において説明されるデバイスとして使用され得る。

いくつかの実施形態では、装置１１００は、命令１１１４を記憶している１つ以上のコンピュータ可読媒体（例えば、メモリ１１０６またはＮＶＭ／記憶デバイス１０８）、及び１つ以上のコンピュータ可読媒体に連結され、モジュールを実施して本開示で説明されるアクションを実行するための命令１１１４を実行するように構成される、１つ以上のプロセッサ１１０２を含み得る。メモリ１１０６は、コンピュータ可読媒体の実施例である。

コンピュータ可読媒体は、揮発性または不揮発性型、着脱可能または着脱不可能な媒体を含んでもよく、それは、任意の方法または技術を用いて情報の記憶を達成してもよい。情報は、コンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータを含んでもよい。コンピュータ記憶媒体の実施例は、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、その他の種類のランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、高速フラッシュメモリ、もしくはその他の内部記憶技術、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、もしくはその他の光記憶、磁気カセットテープ、磁気ディスク記憶、もしくはその他の磁気記憶デバイス、または任意のその他の非伝送媒体を含むが、これらに限定されず、コンピュータ記憶媒体は、コンピューティングデバイスによってアクセスされ得る情報を記憶するために使用されてもよい。本明細書で定義されるように、コンピュータ可読媒体は、変調データ信号及び搬送波などの一時的媒体を含まない。

実施形態では、制御モジュール１１０４は、（１つ以上の）プロセッサ１１０２、及び／または制御モジュール１１０４と通信する任意の適当なデバイスもしくはコンポーネントのうちの、少なくとも１つのための任意の適当なインタフェースを提供するために、任意の適当なインタフェースコントローラを含み得る。

制御モジュール１１０４は、メモリ１１０６用のインタフェースを提供するために、メモリ制御モジュールを含んでもよい。メモリコントローラモジュールは、ハードウェアモジュール、ソフトウェアモジュール、及び／またはファームウェアモジュールであってもよい。

メモリ１１０６は、例えば、装置１１００のためのデータ及び／または命令１１１４をロードし、記憶するように構成され得る。実施形態において、メモリ１１０６は、任意の適当な揮発性メモリ、例えば、適当なＤＲＡＭを含んでもよい。いくつかの実施形態では、メモリ１０６は、ダブルデータレート４同期ダイナミックランダムアクセスメモリ（ＤＤＲ４ＳＤＲＡＭ）を含んでもよい。

実施形態において、制御モジュール１１０４は、ＮＶＭ／記憶デバイス１１０８及び（１つ以上の）入力／出力デバイス１１１０用のインタフェースを提供するために、１つ以上の入力／出力コントローラを含んでもよい。

例えば、ＮＶＭ／記憶デバイス１１０８は、データ及び／または命令１１１４を記憶するように構成されてもよい。ＮＶＭ／記憶デバイス１１０８は、任意の適当な不揮発性メモリ（例えば、フラッシュメモリ）を含んでもよく、及び／または任意の適当な（１つ以上の）不揮発性記憶デバイス（例えば、１つ以上のハードディスクドライブ（ＨＤＤ）、１つ以上のコンパクトディスク（ＣＤ）ドライブ、及び／または１つ以上のデジタル多用途ディスク（ＤＶＤ）ドライブ）を含んでもよい。

ＮＶＭ／記憶デバイス１１０８は、ＮＶＭ／記憶デバイス１１０８が装置１１００として物理的に取り付けられるデバイスの記憶リソースの一部を含んでもよく、またはデバイスの一部ではなくデバイスによってアクセスされてもよい。例えば、ＮＶＭ／記憶デバイス１１０８は、ネットワークを介して（１つ以上の）入力／出力デバイス１１１０によってアクセスされてもよい。

（１つ以上の）入力／出力デバイス１１１０は、任意の他の適当なデバイスと通信するために、装置１１００のためのインタフェースを提供してもよい。入力／出力デバイス１１１０は、通信コンポーネント、音声コンポーネント、センサコンポーネントなどを含んでもよい。ネットワークインタフェース１１１２は、１つ以上のネットワークを介して通信するために、装置１１００のためのインタフェースを提供してもよい。装置１１００は、１つ以上のワイヤレスネットワーク規格及び／またはプロトコルのうちのいずれかに従って、ワイヤレスネットワークの１つ以上のコンポーネントとワイヤレスに通信してもよく、例えば、ＷｉＦｉ、２Ｇ、３Ｇ、またはそれらの組み合わせなどの通信規格ベースのワイヤレスネットワークにアクセスすることによってワイヤレス通信を行ってもよい。

実施形態において、（１つ以上の）プロセッサ１１０２のうちの少なくとも１つが、制御モジュール１１０４の１つ以上のコントローラ（例えば、メモリコントローラモジュール）のロジックとともにパッケージ化されてもよい。実施形態において、（１つ以上の）プロセッサ１１０２のうちの少なくとも１つが、システムインパッケージ（ＳｉＰ）を形成するために制御モジュール１０４の１つ以上のコントローラのロジックとともにパッケージ化されてもよい。実施形態において、（１つ以上の）プロセッサ１０２のうちの少なくとも１つが、同一のダイ上に制御モジュール１１０４の１つ以上のコントローラのロジックとともに組み込まれてもよい。実施形態において、プロセッサ１１０２のうちの少なくとも１つが、システムオンチップ（ＳｏＣ）を形成するために同一のダイ上に制御モジュール１１０４の１つ以上のコントローラのロジックとともに組み込まれてもよい。

多様な実施形態では、装置１１００は、サーバ、デスクトップコンピューティングデバイス、モバイルコンピューティングデバイス（ラップトップコンピューティングデバイス、手持ちコンピューティングデバイス、タブレットコンピュータ、またはネットブックなど）、及び他の端末デバイスであってもよいが、これらに限定されない。多様な実施形態では、装置１１００は、より多くの、もしくはより少ないコンポーネント、及び／または異なるアーキテクチャを有してもよい。例えば、いくつかの実施形態では、装置１００は、１つ以上のカメラ、キーボード、液晶ディスプレイ（ＬＣＤ）スクリーン（タッチスクリーンディスプレイを含む）、不揮発性メモリポート、複数のアンテナ、グラフィックスチップ、特定用途向け集積回路（ＡＳＩＣ）、及びスピーカを含む。

本出願の実施形態は、方法及び装置を開示する。実施例１は、画像処理方法を含み、画像処理方法は、パノラマビデオ画像を取得することであって、パノラマビデオ画像が、パースペクティブマッピングに基づいて判定され、パノラマビデオ画像が、一次パースペクティブ領域及び少なくとも１つの二次パースペクティブ領域を含む、取得することと、二次パースペクティブ領域内の高周波成分の分布情報に基づいて、二次パースペクティブ領域を少なくとも２つの小領域に分割することと、小領域のそれぞれのフィルタテンプレートを判定すること、及びそれぞれのフィルタテンプレートを用いて小領域をフィルタリングすることと、フィルタリングされたパノラマビデオ画像を判定することと、を含む。

実施例２は、実施例１の方法を含み、マッピング中のサンプリングレートに基づいて、二次パースペクティブ領域内の高周波成分の分布情報を判定することを、さらに含む。

実施例３は、実施例１及び／または実施例２において説明した方法を含み、二次パースペクティブ領域内の高周波成分の分布情報に基づいて、二次パースペクティブ領域を少なくとも２つの小領域に分割することが、分布情報内の高周波成分の数に基づいて、二次パースペクティブ領域を少なくとも２つの小領域に分割することを含む。

実施例４は、実施例１〜実施例３のうちの１つ以上において説明した方法を含み、二次パースペクティブ領域内の高周波成分の分布情報に基づいて、二次パースペクティブ領域を少なくとも２つの小領域に分割することが、分布情報に基づいて二次パースペクティブ領域内の目標頂点が位置する辺を分割することと、分割結果に基づいて、二次パースペクティブ領域を少なくとも２つの小領域に分割することと、を含み、目標頂点が、最も高い高周波成分を有する領域が位置する頂点を含む。

実施例５は、実施例１〜実施例４のうちの１つ以上において説明した方法を含み、小領域のそれぞれのフィルタテンプレートを判定することが、小領域内のそれぞれの高周波成分に基づいて、小領域に対応するそれぞれのフィルタテンプレートを判定することを含み、高周波成分の数が多いほど、フィルタテンプレートの平滑度が大きくなる。

実施例６は、実施例１〜実施例５のうちの１つ以上において説明した方法を含み、フィルタテンプレートの平滑度が、フィルタテンプレートのサイズ及び強度に基づいて判定され、強度が、フィルタテンプレートの係数に基づいて判定され、２つのフィルタテンプレートのサイズが同一であるとき、平滑度がフィルタテンプレートの係数に基づいて判定される。

実施例７は、実施例１〜実施例６のうちの１つ以上において説明した方法を含み、それぞれのフィルタテンプレートが、小領域に対する以下のフィルタリング処理、ガウシアンフィルタリング、メディアンフィルタリング、平均フィルタリング、及び別のローパスフィルタリングのうちの少なくとも１つを実行するために使用される。

実施例８は、画像処理装置を含み、画像処理装置は、パノラマビデオ画像を取得するように構成される取得モジュールであって、パノラマビデオ画像が、パースペクティブマッピングに基づいて判定され、パノラマビデオ画像が、一次パースペクティブ領域及び少なくとも１つの二次パースペクティブ領域を含む、取得モジュールと、二次パースペクティブ領域内の高周波成分の分布情報に基づいて、二次パースペクティブ領域を少なくとも２つの小領域に分割するように構成される分割モジュールと、小領域のそれぞれのフィルタテンプレートを判定し、それぞれのフィルタテンプレートを用いて小領域をフィルタリングし、フィルタリングされたパノラマビデオ画像を判定するように構成される、フィルタリングモジュールと、を含む。

実施例９は、実施例８の装置を含み、分割モジュールは、マッピング中のサンプリングレートに基づいて、二次パースペクティブ領域内の高周波成分の分布情報を判定するように、さらに構成される。

実施例１０は、実施例８及び／または実施例９において説明した装置を含み、分割モジュールは、分布情報内の高周波成分の数に基づいて、二次パースペクティブ領域を少なくとも２つの小領域に分割するように構成される数分割サブモジュールを含む。

実施例１１は、実施例８〜実施例１０のうちの１つ以上において説明した装置を含み、分割モジュールは、分布情報に基づいて二次パースペクティブ領域内の目標頂点が位置する辺を分割し、分割結果に基づいて、二次パースペクティブ領域を少なくとも２つの小領域に分割するように構成される頂点分割サブモジュールを含み、目標頂点は、最も高い高周波成分を有する領域が位置する頂点を含む。

実施例１２は、実施例８〜実施例１１のうちの１つ以上において説明した装置を含み、フィルタリングモジュールは、小領域内のそれぞれの高周波成分に基づいて、小領域に対応するそれぞれのフィルタテンプレートを判定するように構成されるテンプレート判定サブモジュールを含み、高周波成分の数が多いほど、フィルタテンプレートの平滑度が大きくなり、フィルタテンプレートの平滑度は、フィルタテンプレートのサイズ及び強度に基づいて判定され、強度は、フィルタテンプレートの係数に基づいて判定され、２つのフィルタテンプレートのサイズが同一であるとき、平滑度はフィルタテンプレートの係数に基づいて判定される。

実施例１３は、実施例８〜実施例１２のうちの１つ以上において説明した装置を含み、フィルタリングモジュールは、それぞれのフィルタテンプレートを使用して、小領域に対して以下のフィルタリング処理、ガウシアンフィルタリング、メディアンフィルタリング、及び平均フィルタリングのうちの少なくとも１つを実行するように構成される、フィルタリング処理サブモジュールを含む。

実施例１４は、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるときに、実施例１〜７のうちの１つ以上の方法を装置に実行させる命令を記憶する１つ以上の機械可読媒体と、を含む装置を含む。

実施例１５は、１つ以上のプロセッサによって実行されるときに、実施例１〜７のうちの１つ以上の方法を装置に実行させる命令を記憶する１つ以上の機械可読媒体を含む。

いくつかの実施形態は、例示的及び説明的であるが、解決法または計算の多様な異なる種類の置換物及び／または均等物が、本出願の実施態様の範囲から逸脱することなく、同一の目的の実施形態によって示され、説明される実施態様を達成するために使用され得る。本出願は、本明細書において論じられる実施形態に対して行われる任意の修正または変更をカバーするように意図される。したがって、本明細書において説明される実施形態は、特許請求の範囲及びそれらの均等物のみによって定義されることは明らかである。

Claims (20)

1. パノラマビデオ画像を取得することであって、前記パノラマビデオ画像が、パースペクティブマッピングに基づいて判定され、前記パノラマビデオ画像が、一次パースペクティブ領域及び少なくとも１つの二次パースペクティブ領域を含む、前記取得することと、
   前記二次パースペクティブ領域内の高周波成分の分布情報に基づいて、前記二次パースペクティブ領域を少なくとも２つの小領域に分割することと、
   前記小領域のそれぞれのフィルタテンプレートを判定すること、及び前記それぞれのフィルタテンプレートを用いて前記小領域をフィルタリングすることと、
   を含む、方法。
2. マッピング中のサンプリングレートに基づいて、前記二次パースペクティブ領域内の前記高周波成分の前記分布情報を判定することをさらに含む、請求項１に記載の方法。
3. 前記分布情報が、前記高周波成分の数を含む、請求項１に記載の方法。
4. 前記二次パースペクティブ領域内の前記高周波成分の前記分布情報に基づいて、前記二次パースペクティブ領域を前記少なくとも２つの小領域に分割することが、前記分布情報に基づいて前記二次パースペクティブ領域内の目標頂点が位置する辺を分割することと、分割結果に基づいて、前記二次パースペクティブ領域を前記少なくとも２つの小領域に分割することと、を含み、
   前記目標頂点が、最も高い高周波成分を有する領域が位置する頂点を含む、請求項１に記載の方法。
5. 前記小領域の前記それぞれのフィルタテンプレートを判定することが、前記小領域内のそれぞれの高周波成分に基づいて、前記小領域に対応する前記それぞれのフィルタテンプレートを判定することを含み、
   高周波成分の数が多いほど、フィルタテンプレートの平滑度が大きくなる、請求項１に記載の方法。
6. 前記フィルタテンプレートの前記平滑度が、前記フィルタテンプレートのサイズ及び強度に基づいて判定され、
   前記強度が、前記フィルタテンプレートの係数に基づいて判定され、
   ２つのフィルタテンプレートのサイズが一致するとき、前記平滑度が前記フィルタテンプレートの前記係数に基づいて判定される、請求項５に記載の方法。
7. 前記それぞれのフィルタテンプレートが、前記小領域に対する以下のフィルタリング処理、ガウシアンフィルタリング、メディアンフィルタリング、平均フィルタリング、及び別のローパスフィルタリングのうちの少なくとも１つを実行するために使用される、請求項１に記載の方法。
8. １つ以上のプロセッサと、
   メモリと、
   前記メモリに記憶され、パノラマビデオ画像を取得するように、前記１つ以上のプロセッサによって実行可能な取得モジュールであって、前記パノラマビデオ画像が、パースペクティブマッピングに基づいて判定され、前記パノラマビデオ画像が、一次パースペクティブ領域及び少なくとも１つの二次パースペクティブ領域を含む、前記取得モジュールと、
   前記メモリに記憶され、前記二次パースペクティブ領域内の高周波成分の分布情報に基づいて、前記二次パースペクティブ領域を少なくとも２つの小領域に分割するように、前記１つ以上のプロセッサによって実行可能な分割モジュールと、
   前記メモリに記憶され、前記小領域のそれぞれのフィルタテンプレートを判定し、前記それぞれのフィルタテンプレートを用いて前記小領域をフィルタリングするように、前記１つ以上のプロセッサによって実行可能なフィルタリングモジュールと、
   を、備える装置。
9. 前記分割モジュールが、マッピング中のサンプリングレートに基づいて、前記二次パースペクティブ領域内の前記高周波成分の前記分布情報を判定するように、さらに構成される、請求項８に記載の装置。
10. 前記分布情報が、前記高周波成分の数を含む、請求項８に記載の装置。
11. 前記分割モジュールが、前記分布情報に基づいて前記二次パースペクティブ領域内の目標頂点が位置する辺を分割し、分割結果に基づいて、前記二次パースペクティブ領域を前記少なくとも２つの小領域に分割するように構成される、頂点分割サブモジュールを含み、
    前記目標頂点が、最も高い高周波成分を有する領域が位置する頂点を含む、請求項８に記載の装置。
12. 前記フィルタリングモジュールが、前記小領域内のそれぞれの高周波成分に基づいて、前記小領域に対応する前記それぞれのフィルタテンプレートを判定するように構成される、テンプレート判定サブモジュールを含み、高周波成分の数が多いほど、フィルタテンプレートの平滑度が大きくなり、
    前記フィルタテンプレートの前記平滑度が、前記フィルタテンプレートのサイズ及び強度に基づいて判定され、
    前記強度が、前記フィルタテンプレートの係数に基づいて判定され、
    ２つのフィルタテンプレートのサイズが一致するとき、前記平滑度が前記フィルタテンプレートの前記係数に基づいて判定される、請求項８に記載の装置。
13. 前記フィルタリングモジュールが、前記それぞれのフィルタテンプレートを使用して、前記小領域に対して以下のフィルタリング処理、ガウシアンフィルタリング、メディアンフィルタリング、及び平均フィルタリングのうちの少なくとも１つを実行するように構成される、フィルタリング処理サブモジュールを含む、請求項８に記載の装置。
14. １つ以上のプロセッサによって実行されるときに、
    パノラマビデオ画像を取得することであって、前記パノラマビデオ画像が、パースペクティブマッピングに基づいて判定され、前記パノラマビデオ画像が、一次パースペクティブ領域及び少なくとも１つの二次パースペクティブ領域を含む、前記取得することと、
    前記二次パースペクティブ領域内の高周波成分の分布情報に基づいて、前記二次パースペクティブ領域を少なくとも２つの小領域に分割することと、
    前記小領域のそれぞれのフィルタテンプレートを判定すること、及び前記それぞれのフィルタテンプレートを用いて前記小領域をフィルタリングすることと、
    を含む動作を、前記１つ以上のプロセッサに実行させる実行可能命令を記憶する、１つ以上のコンピュータ可読媒体。
15. 前記動作が、
    マッピング中のサンプリングレートに基づいて、前記二次パースペクティブ領域内の前記高周波成分の前記分布情報を判定することをさらに含む、請求項１４に記載の１つ以上のコンピュータ可読媒体。
16. 前記分布情報が、前記高周波成分の数を含む、請求項１４に記載の１つ以上のコンピュータ可読媒体。
17. 前記二次パースペクティブ領域内の前記高周波成分の前記分布情報に基づいて、前記二次パースペクティブ領域を前記少なくとも２つの小領域に分割することが、前記分布情報に基づいて前記二次パースペクティブ領域内の目標頂点が位置する辺を分割することと、分割結果に基づいて、前記二次パースペクティブ領域を前記少なくとも２つの小領域に分割することと、を含み、
    前記目標頂点が、最も高い高周波成分を有する領域が位置する頂点を含む、請求項１４に記載の１つ以上のコンピュータ可読媒体。
18. 前記小領域の前記それぞれのフィルタテンプレートを判定することが、前記小領域内のそれぞれの高周波成分に基づいて、前記小領域に対応する前記それぞれのフィルタテンプレートを判定することを含み、
    高周波成分の数が多いほど、フィルタテンプレートの平滑度が大きくなる、請求項１４に記載の１つ以上のコンピュータ可読媒体。
19. 前記フィルタテンプレートの前記平滑度が、前記フィルタテンプレートのサイズ及び強度に基づいて判定され、
    前記強度が、前記フィルタテンプレートの係数に基づいて判定され、２つのフィルタテンプレートのサイズが一致するとき、前記平滑度が前記フィルタテンプレートの前記係数に基づいて判定される、請求項１８に記載の１つ以上のコンピュータ可読媒体。
20. 前記それぞれのフィルタテンプレートが、前記小領域に対する以下のフィルタリング処理、ガウシアンフィルタリング、メディアンフィルタリング、平均フィルタリング、及び別のローパスフィルタリングのうちの少なくとも１つを実行するために使用される、請求項１４に記載の１つ以上のコンピュータ可読媒体。