JP4118059B2 - デジタル動画像処理のための方法及び装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、一般にデジタル画像処理の分野に関し、特に、動画像を処理するための技法に関する。
【０００２】
【従来の技術】
フィルムで撮影された全ての画像は、感光乳剤における銀塩の離散的な結晶のために、ある程度の「粒状性」を示す。静止画像写真では、この粒状性は、典型的な３×５プリントにおいて知覚することができない場合がある。動画形成では、粒状性組織のランダムな性質により、同じシーンの連続するフレームが「スパーク」又は「ボイル」する。
【０００３】
問題を更に悪化させるのは、動画が大きな倍率で表示されることであり、スクリーンの近くに座る映画館の観客にとって粒状性がより目に見えることである。小さなフィルム領域（たとえば、８ｍｍ，１６ｍｍ）は、より多くの倍率を必要とし、映画スクリーン全体に映画を表示するので、粒状が拡大される。さらに、画像の連鎖がプリントの取得からリリースまで発展するので、フィルム伝送のそれぞれの中間ステージに伴い雑音が累積する。
【０００４】
デジタル画像処理の出現により、複数のフレームにかかる同じ画像をサンプル抽出することにより、デジタル画像における雑音を低減するためのフィルタを設計することができる。多くの現代映画では、ある形式のデジタル中間画像を含んでおり、フィルムスキャナを使用して画像はデジタル形式となっている。コンピュータグラフィックのライブアクションショットへの挿入、及び各種特殊効果のために、デジタル中間ステージが必要とされる。映画の各フレームでの画素は、フィルムにプリントバックされる前に変更することができる。
【０００５】
１９９０年代では、動画像形成のデジタル効果は、伝統的な３５ｍｍフィルムプロセスの画質に適合するように調整される。続いて、デジタル効果プロセスは、長編のデジタル中間ステージに拡張される。これにより、光学的なフィルムプロセスの画質及び外観を保持しつつ、全体の映画の高速プロセスが可能となる。
【０００６】
システム分析によれば、デジタル中間画像の新たな生成を導入することにより、全体の映画館の画質での大幅な増加を提供する映画又はデジタル画像を映画館に配信する機会を有することが示されている。この好適なアプローチは、現在の３５ｍｍフィルムを使用しており、生産コスト及び映画館の設備における適度な変化に関与している。
【０００７】
結果的に、デジタル技術における進展を利用することにより、新たなアルゴリズム、並びに高速かつ高解像度の走査及び記録を使用して、フィルムに明確な優れた外観を与えることができる。実際に、３５ｍｍ形式から生成された画像をデジタル処理することにより、少なくとも７０ｍｍの画質を提供することが可能となる。同様に、アーチファクトについての前補償、及びデジタル電子プロジェクタにおける損失は、製造後に達成することができる。
【０００８】
【発明が解決しようとする課題】
フィルタ設計についての公知の技術は、動画系列のフィルタリングに適用することができる。問題は、望まない雑音を除去する一方で、望まれる画像コンテンツを元のままにするフィルタを設計することにある。プロセスは画像の「外観」を変化させるので、フィルタリングに対して、通常ある程度の「人口的な産物」が存在する。このため、より大きなフィルムフォーマットのような、所望の粒子応答（grain response）に匹敵するために、フィルタを調整するための技術が必要とされている。
【０００９】
【課題を解決するための手段】
本発明の目的は、より小さなフォーマット、たとえば３５ｍｍのフォーマットで生成された画像をデジタル処理することにより、より大きなフォーマットの画質、たとえば７０ｍｍの画質を提供することにある。
本発明の更なる目的は、到来画像の雑音特性又は粒子特性を保持しつつ、画像を鮮鋭化することにある。
本発明の更なる目的は、画像データ、特にデジタル形式で取得された画像データの背景の深さを電子的に修正することにある。
【００１０】
本発明は、上述した１つ又は複数の課題を克服するためにあてられる。要するに、本発明の１態様によれば、動画像信号をデジタル処理するための方法は、以下のステップを備えている。（ａ）動画フレームの系列から発生されるデジタル動画像信号を取得するステップ。（ｂ）フレームアベレージング技法を使用して、デジタル動画像信号における雑音を低減し、雑音処理された動画像信号を生成するステップ。（ｃ）所望の粒子応答を提供するために雑音を増加させる２次元カーネルで空間領域において設計された鮮鋭化フィルタにより、雑音処理された動画像信号を鮮鋭化することにより、出力デジタル動画像信号を生成するステップ。
【００１１】
本発明のこれら及び他の態様、目的、特徴及び効果は、好適な実施の形態の以下の詳細な記載及び特許請求の範囲により、及び添付図面を参照することにより、より明確に理解されるであろう。
【００１２】
【発明の実施の形態】
動画像処理のためのデジタル技法は公知であるので、本実施の形態での記載は、本発明による処理方法の部分を形成する要素、より直接に連携する要素にあてられる。本実施の形態で特に図示又は記載されない要素は、公知技術から選択される場合がある。記載される本実施の形態のある態様は、ソフトウェアで提供される場合がある。本発明の実現に有用であり、本実施の形態では特に図示、記載又は示唆されない以下の部材、ソフトウェアにおいて、本発明に従い図示又は記載されるシステムが与えられることは、慣習的であり、かかる技術分野における通常の技術の範囲にあたる。
【００１３】
基本的な信号処理フローは、図１のブロック図に示されており、はじめに、デジタル画像取得ステージ１０１を使用した画像の取得を備えている。このステージは、たとえば、ネガフィルムのような写真フィルム、又はデジタルカメラのいずれかが使用される場合がある。好適な実施の形態では、フルアパーチャ３５ｍｍムービーカメラが使用され、ステージ１０１に含まれる４Ｋスキャナにより走査されたフルアパーチャのネガティブが取得される。
【００１４】
フルアパーチャで撮影することによりフィルム領域が増加し、より多くの詳細がフィルムに取得される。標準開口からフルアパーチャへのムービーカメラの切替えは、当業者には公知である。（特に、この転換には３つのステップが含まれる。第１に、フィルムゲートのサイズを変化させる。第２に、レンズをフルアパーチャの中央に再度センタリングする。第３に、ビューファインダをフルアパーチャの領域を収容する。この変更は、従来の各種カメラで実行される場合がある。）
この切替えに続いて、フレームアベレージング技法を使用して、粒子低減ステージ１０２において粒子の低減が行われ、粒子に関して低減された画像データがデータ線１０上に生成される。好適な実施の形態では、動き補償されたノイズフィルタリングを使用することにより、フレームアベレージング粒子低減ステージ１０２において、雑音が除去される。
【００１５】
全体のシステムの応答における１つの要素は、ビューアにより知覚されるフィルム粒子である。スクリーン上の粒子は、カメラのネガフィルムにおける粒子から主に生じる。より大きなフィルムフォーマットでは、粒子は知覚的に小さく、スクリーンへのフィルムの倍率がより小さいので知覚されない。したがって、粒子は同じ程度に知覚されない。
【００１６】
７０ｍｍの粒子を３５ｍｍフォーマットで達成するためには、粒子の大きさが大幅に低減されることが要求される。動き補償された雑音除去技法を使用して、これを電子的に行うことは実用的である。フレームアベレージングによる動き補償を使用する考えは、これまでに提案されている（たとえば、Dubois, E. and Sabri, M.S., “Noise reduction in image sequences using motion compensated temporal filtering” IEEE Trans. Communication, vol.32, pp.826-831,1984,を参照されたい。参照により本実施の形態に組込まれる。）
動き補償された雑音除去の原理は、多数のフレームにわたり、シーンの同じ点の強度をデジタル形式で加算することである。複数のフレームにわたる同じ点でのシーンのデジタル値を決定することにより、原画像のシーンについて、より正確な表現を得ることができる。この取り組みは、シーンの様々な要素が異なる方向に動くので、同じ点は、それぞれのフレームにおける異なる位置にある。したがって、シーンにおけるそれぞれの点の動きは、複数のフレームにわたり追跡され、フレームグループにわたる対応するシーン点を識別する。
【００１７】
各種独特のフィルタリングアプローチは、動画系列について使用することができる。「サンプルがどこから収集されたか？」及び「フィルタリングされた画素値を生成するために使用されるのはどのようなサンプルか？」といった、２つの質問に答えることにより、フィルタの異なる置換が得られる。
【００１８】
第１の質問の回答では、画像科学者は、フィルタのサポート領域を通常言及する。このサポート領域は、どこからサンプルが収集されたかを示す空間及び時間領域を定義する。サポート領域は、１つのフレームについて通常１つの方形ウィンドウであるか、又は複数のフレームについてのウィンドウのシリーズである。
【００１９】
図２では、典型的な空間サポート領域１２０が１つのフレーム１２２内に示されている。サポート領域１２０は、所定の画素についてサンプルを収集するための空間領域を図示している。破線による方形内のそれぞれの画素は、グレイでマークされた現在の画素１２４のフィルタリング処理において考慮される。
【００２０】
図３（Ａ）及び図３（Ｂ）は、画像フレームの系列を通した拡張として、空間−時間のサポート領域１２０を図示している。特に、その領域を時間的に拡張する２つの方法を示している。図３（Ａ）は、フレーム間の画像の動きを説明していない、固定ウィンドウによる時間拡張を示している。図３（Ｂ）は、フレーム間の画像の動きを説明している、動き補償された時間的な拡張を示している。
【００２１】
図３（Ａ）から明らかなように、画像系列は、静止画像のスタックとして扱うことができる。サンプルは、現在のフレームの前後の両者に隣接するフレームと共に、現在のフレームにおけるローカルの空間近傍から収集される場合がある。しかし、シーンにおける物体の動きのために、隣接フレームにおけるウィンドウは、他の物体又は背景からのサンプルを含んでいる場合がある。動き補償フィルタリングは、基礎になる物体の動きに従い、隣接フレームにおけるウィンドウ（図３（Ｂ）において図示）を移動しようとする。動きが既知でない場合、固定ウィンドウが使用されることがある。
【００２２】
フィルタのサポートの選択に関して、異なるトレードオフが存在する。これらのトレードオフは、計算量からの要件と所望のフィルタリング特性である。空間的なサポートの大きさが増加するにつれてぼけるようになる。動きトラッキングなしに、ウィンドウを時間的な領域に拡張する場合、高速で移動する物体又はカメラパンのような大きな動きがぼける可能性がある。
【００２３】
フィルタリングのための最適な方法は、シーンにおけるそれぞれの物体及び領域を追跡して、それら追跡されたサンプルを使用してフィルタリングされた予測を形成することである。あいにく、動き補償は、ワーピング又はフィルタリングされた画像の歪みとして、動きによるアーチファクトが現れる傾向があるという可能性を生じる恐れがある。さらに、動き補償による雑音除去というこの技法は、ある周波数でのある粒子の信号がフィルムの外観を達成するために回復される必要がある程度に、粒子を低減させる作用を有している。
【００２４】
サンプルが一旦収集されると、アベレージングのようなフィルタリング方法が使用されて、フィルタリングされた画素値を計算する。広く使用されているフィルタリング方法は、k-nearest neighbors、シグマフィルタリング、及び適応重み付けアベレージングを含んでいる。さらに、あるフィルタから別のフィルタへの選択は、処理速度及び許容可能なフィルタリングアーチファクトに依存する。
【００２５】
ステージ１０２におけるフレームアベレージングの粒子低減に続いて、鮮鋭化機能１０４は、データ線１０５の粒子雑音がデータ線１０６の粒子雑音に類似するように、鮮鋭化された画像データを生成する。好適な実施の形態では、鮮鋭化機能は、たとえば、１１×１１のカーネル又は開口補正機能を有する複数のフィルタリングを実行するデジタルシャープニングモジュールである。
【００２６】
また、ラテラルインバージョン（lateral inversion）及び歪像のスケーリング（anamorphic scaling）を含む追加のデジタル機能が実行される場合がある。特に、デジタル取得を含んだ実施の形態については、背景の深さは、デジタル形式で修正される場合がある。結果的に得られるデータは、高速／高解像度のレコーダ１０７を使用して、フィルムに書込まれる。次いで、フィルムは、配布機能１０８において、スクリーン、ＴＶ、記憶又は伝送手段に配布される。
【００２７】
図１により示される信号処理フローにおいて表されている様々な機能のうち、本発明に関与する３つの特定の特徴が存在する。（１）パワースペクトルの見地から、所望の粒子応答に適合するためのフィルタを提供する。（２）周波数領域の代わりに、通常行われているように空間領域でのフィルタを提供する。及び（３）画像データにおける背景の深さを電子的に修正する。これらの特徴は、順に以下のように説明する。
【００２８】
１．パワースペクトルの観点から、所望の粒子応答に適合するためのフィルタを設計する。
【００２９】
粒子雑音に適合させる、又はアベレージングにより画像を鮮鋭化するという目標は、たとえばＮフレームにわたる、フレームアベレージングの粒子低減ステージ１０２において達成される。粒子はフレームのそれぞれについて独立であるので、Ｎの平方根により低減することができる。鮮鋭化（フィルタ）機能１０４は、所望の、たとえば同じ量により粒子雑音を増加するように設計される。これは、フィルタの１次元のインパルス応答を特定することにより行われる。インパルス応答は、画像ラインの走査線に沿って水平であり、画像に垂直に交差する。代替的に、加えて、直交及び他の方向性インパルス応答は、明示的に、又は許容範囲として、又は他の境界手段のいずれかで定義される場合がある。
【００３０】
２．周波数領域の代わりに、通常行われているように空間領域においてフィルタを設計し、空間領域において最適に実行する。
【００３１】
上記１次元のインパルス応答を信号、画質、システム及び／又は他の性能を考慮して定義したので、次いで２次元のカーネルが生成される。ここで、境界条件は、所望の１次元のインパルス応答が対応する（境界条件は、水平インパルス応答、垂直インパルス応答、或いは直交又は他の方向のインパルス応答のいずれかとすることができる。）図４において示されているように、境界条件確定ステージ２００において、これらの境界条件が一旦確立されると、粒子の周波数スペクトルに対応する周波数スペクトルでのフィルタのノイズパワーは、ノイズパワー計算ステージ２０２において計算することができる。次いで、Newton，Newton Raphson最適方法、又は共役な最適方法を使用し、Microsoft Excel又はMathCAD Matlabに見られるような解法プログラムを使用して、境界条件を満足して、粒子のスペクトル応答に対応する雑音のスペクトル応答を生成する係数生成ステージ２０４において２次元カーネル係数を見つける。図４におけるデータ線２０６により示されるように、これは、境界条件及び雑音特性を調節するための機会を提供する繰返し計算である。
【００３２】
図５は、境界条件の特定のセット下でのノイズパワーを最小にする、上記１次元から２次元への変換を計算する例示的な解法プログラムのための入力及び出力変数についてのスプレッドシートを示している。より詳細には、１次元のインパルス応答は、データ線２１０に数値により送出され、カーネルのノイズパワーは、データ線２１２に数値で送出され、結果的に得られる１１×１１のカーネル係数は、ボックス２１４内に示されている。
【００３３】
図６Ａ、図６Ｂ及び図６Ｃにおける３次元レンダリングは、カーネルの詳細を示しており、中央の係数の積極的な作用を含んでいる。この技法は、２又は３から６レンジでの中央の係数を有するフィルタとなる。
【００３４】
更なるアプローチは、粒子応答に適合させることよりもむしろ、雑音のスペクトル応答を最小にすることである。勿論、平均化されるフレーム数とフィルタの雑音のスペクトル応答とをトレードオフする可能性がある。また、シャープかつ粒子のない画像を生成することが望まれる場合があり、これらの要素は、雑音特性を設定し、次いで最適化手法を使用して所与の粒子の強権で最もシャープなフィルタを決定することによりトレードオフすることができる。
【００３５】
最適な鮮鋭さを確定することは、フィルタ及び粒子の低減が挿入され、次いで、たとえばBartenによるＳＱＩＲ法（Barten, Peter G.J., “A New Method for the Evaluation of Visible Resolution on a Display”, Proc, Of SID, Vol.28/3, 1987, pp.253-261,を参照されたい。参照により本明細書に組込まれる。）、又は他の鮮鋭さ及び／又は（知覚による及び／又は他の基準による）雑音方法を使用して視覚応答をモデリングする、全体システムをモデリングすることにより実行することができる。
【００３６】
また、この技法を使用して、システム内の異なる水平及び垂直応答について補償すること、及びシステム、サブシステム又は周波数応答又はインパルス応答の成分における幾つかの点が円形でないために生じる場合がある粒子の異方性又は等方性について補償することが可能である。
【００３７】
フィルタの所望の応答を決定することは、システムを通して画像を実行し、その画像に対するシステムの応答を決定することにより達成することができる。画像は、テストターゲット又は特定のシーンであってもよい。公知のシステム識別方法は、システムを通して実行する画像の応答を分析することができ、所望のシステム応答データを生成するように使用される場合がある。
【００３８】
次いで、この応答は、所望の応答と比較することができ、再び、最適化方法を使用して、所望の結果を生成する１次元フィルタを設計することができる。これは、たとえば、フィルタを内部に有する実際のシステムモデルと所望のシステム応答との間の平方誤差の総和の平方根を決定することで行われる。次いで、最適化方法は、空間領域で使用され、１次元フィルタ応答を計算することによりこの誤差を最小にする場合がある。
【００３９】
代替的に、同様にして、２次元フィルタ応答が決定される場合がある。この場合、試験信号に粒子雑音が含まれ、所望の信号の応答と共に雑音に対する所望の応答を決定し、雑オ及び信号の制約の両者を満足する空間領域内でフィルタを最適化する機会が存在する。
【００４０】
３．画像データの背景の深さを電子的に修正する。
【００４１】
背景の深さは、映画撮影技師が現実的に視聴者の注意を制御するようなやり方である。最も重要又は視聴者の注意に値する領域は、高い鮮鋭さにより示されている。画像は、関心のないシーンの部分が焦点外れとなるようなやり方で、カメラレンズを使用して取得される。電子カメラは、背景の短い深さ又は小さな深さを達成することに困難さを有しているために、電子的に背景の深さを制御可能なことは有利である。
【００４２】
図７を参照して、電子的に背景の深さを制御する１つの方法は、シーン分析ステージ３００においてシーンを分析することである。ここでは、エッジ焦点合わせステージ３０２において、焦点を僅かに外れたシーンのエッジを決定し、フィルタリングステージ３０４において、取得時に更に焦点外れとなって現れるように、適合可能なぼやけフィルタをそれらエッジに適用する。
【００４３】
僅かに焦点外れであるエッジを決定することは、エッジの立ち上がり距離を決定することにより、及びエッジのフーリエ分析又は周波数分析を実行して、異なる高調波の周波数の振幅応答位相応答のいずれか、又はその両者を識別することにより、行うことができる。画像処理が画像の焦点外れの程度を感知するように使用されるレンズの焦点外れの特性を知ることが必要である場合がある。
【００４４】
上述したアプローチは静止画像について良好に機能するが、動画像については追加のステップが必要とされる。このステップは、方向決定ステージ３０６において、カメラの露出時間の長さにより移動する不鮮明なエッジについての補償を含んでいる。
【００４５】
幸いなことに、粒子低減アベレージングステージ１０２と関連して既に説明された粒子低減アルゴリズムは、繰返し処理の副産物として、画像における全てのエッジについて動きベクトルを生成することができる。したがって、動きによるエッジへの補正を適用し、動きによる鮮鋭さ損失が除かれたエッジを生成することができる。別のアプローチは、動きの方向を決定して、動きの方向に対して平行な移動物体に関するエッジを選択することである。
【００４６】
好適な実施の形態を参照して、本発明を記載してきた。しかし、本発明の範囲を逸脱することなく、当業者により変形及び改造が実施されうることが理解されるであろう。たとえば、本発明の１目的は、３５mmフォーマットで生成された画像をデジタル処理により、たとえば７０ｍｍ画質であるより大きなフォーマット画質を提供することであるが、たとえば８ｍｍ又は１６ｍｍといった、より小さなフォーマットを改善することでも有効であり、それらの画質は１６ｍｍ又は３５ｍｍの画質のそれぞれに近づけることができる。
【図面の簡単な説明】
【図１】本発明による信号処理フローを例示する、全体システムのブロック図である。
【図２】図１において示される信号処理フローで使用されるフレームアベレージングフィルタについて、典型的なサポート領域を例示する図である。
【図３】図３（Ａ）及び図３（Ｂ）は、固定ウィンドウ延長部分及び動き補償拡張部分をそれぞれ含んでいる、図２において示されるサポート領域の拡張の２つの方法を示す図である。
【図４】フィルム粒子に対応する雑音スペクトル応答の計算に含まれるステージを例示する図である。
【図５】特定の境界条件のセットの下でノイズパワーを最小にしつつ、１次元又は２次元変換を計算するための例示的なプログラムのためのスプレッドシートを示す図である。
【図６】図６Ａ、図６Ｂ及び図６Ｃは、図５に従い計算されたカーネルの３次元ビューを示す図である。
【図７】視界の深さを判定するプロセスフローのブロック図である。
【符号の説明】
１０１：デジタル画像取得ステージ
１０２：粒子低減フレームアベレージステージ
１０３，１０５，１０６，２０６：データ線
１０４：鮮鋭化機能
１０７：フィルムレコーダ
１０８：配布機能
１２０：サポート領域
１２２：１フレーム
１２４：現在の画素
２００：境界確定ステージ
２０２：ノイズパワー計算ステージ
２０４：係数生成ステージ
２１０：１次元インパルス応答
２１２：カーネルのノイズパワー
２１４：１１×１１カーネル係数
３００：シーン分析ステージ
３０２：エッジ焦点合わせステージ
３０４：フィルタリングステージ
３０６：方向決定ステージ

Claims (4)

1. 動画像信号をデジタル処理するための方法であって、
   （ａ）動画フレームの系列から発生されるデジタル動画像信号を取得するステップと、
   （ｂ）フレームアベレージング技法を使用して、前記デジタル動画像信号における雑音を低減し、雑音処理された動画像信号を生成するステップと、
   （ｃ）所望の粒子応答を提供する２次元カーネルで空間領域において設計された鮮鋭化フィルタにより、前記雑音処理された動画像信号を鮮鋭化することにより出力デジタル動画像信号を生成するステップと、
   を備える方法。
2. 前記ステップ（ａ）は、動画フィルムカメラにより実行され、前記動画フレームの系列は、所定のフォーマットの動画フィルムで取得され、前記所定のフォーマットに対応する粒子応答に少なくとも相当する所望の粒子応答が得られる、
   請求項１記載の方法。
3. 前記ステップ（ｂ）は、動き補償されたフレームアベレージングの雑音除去技法を使用して、雑音の低減に作用するステップを備える、
   請求項１記載の方法。
4. 前記ステップ（ｃ）における前記鮮鋭化フィルタの設計は、前記鮮鋭化フィルタのインパルス応答に対応する境界条件を確定するステップと、前記所望の粒子応答の周波数スペクトルに対応する周波数スペクトルで、前記鮮鋭化フィルタのノイズパワーを計算するステップと、前記２次元カーネルについて、カーネル係数のセットを生成するステップと、
   を備える請求項１記載の方法。

Images