JP2004517384A - 動的な画像訂正および画像システム - Google Patents

Abstract

ディジタル画像の質を向上するための方法であって、各画素が画像の特性に対応する元の値を含むような、複数の画素から成るディジタルの元の画像を提供する段階と、ある画素の元の値と、その画素に隣接して、ある鋭さの閾値よりも元の値が低い画素の元の値とを平均化することにより、各画素の動的な画像マスクの値を計算する段階と、質の向上した画像を作るために数学的関数を用いて、対応する各画素に対する元の値に、動的な画像マスクの値を適用する段階とを備えることを特徴とする方法。

Description

【０００１】
【発明の属する技術分野】
本発明は、広く、画像システムと画像処理とに関し、特に、動的な画像訂正及び画像システムに関する。
【０００２】
【従来の技術および発明が解決しようとする課題】
本明細書は、以下の米国の暫定特許出願の利益の権利を主張する。第６０／２３４，５２０号、２０００年９月２１日出願、“Ｍｅｔｈｏｄ ｏｆ Ｇｅｎｅｒａｔｉｎｇ ａｎ Ｉｍａｇｅ Ｍａｓｋ ｆｏｒ Ｉｍｐｒｏｖｉｎｇ Ｉｍａｇｅ Ｄｅｔａｉｌ”、および、第６０／２３４，４０８号、２０００年９月２１日出願、“Ｍｅｔｈｏｄ ｏｆ Ａｐｐｌｙｉｎｇ Ａｎ Ｉｍａｇｅ Ｍａｓｋ Ｆｏｒ Ｉｍｐｒｏｖｉｎｇ Ｉｍａｇｅ Ｄｅｔａｉｌ”、および、第６０／２８５，５９１号、２００１年４月１９日出願、“Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ａｎｄ Ｓｏｆｔｗａｒｅ ｆｏｒ Ａｐｐｌｙｉｎｇ ａｎ Ｉｍａｇｅ Ｍａｓｋ ｆｏｒ Ｉｍｐｒｏｖｉｎｇ Ｉｍａｇｅ Ｄｅｔａｉｌ”、そして、これらは同じ譲受人である。
【０００３】
画像を取り込むのに、様々な方法が、共通して使用される。例えば、写真のフィルムは、フィルムに潜在的な画像を記録するために、目的の被写体から反射された光を向けて露出される。そして、このフィルムは、プリントやスライド（ｔｒａｎｓｐａｒｅｎｃｙ）を作って消費者に渡すために、現像して“ネガ”あるいは“ポジ”を作る。このネガあるいはポジあるいはプリントは、スキャンして、被写体のディジタルの表現（ｄｉｇｉｔａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を作る。代わりに、ディジタルカメラやビデオレコーダなどのディジタル機器は、被写体から反射された光を測定することで、目的の被写体のディジタルデータを直接取り込むのに使用することができる。
【０００４】
光の当て方は、画像を取り込むときに特に重要であり、また、画像の対象に正しい光が確かに当たることに注意する。もし、多すぎる光が、被写体から反射されると、取り込んだ画像は、露出過多になり、最終的に画像は、白っぽくなるだろう。もし、光が少なすぎると、取り込んだ画像は、露出不足になり、最終的に画像は、暗くなるだろう。同様に、もし、正しい角度で正しい光が与えられないと、例えば、画像の一部が光が明るく他の部分が陰になっている場合は、画像は、部分的に適正露出となるが、画像の残りの部分は、露出不足になるか露出過多になるだろう。従来のディジタル機器は、特に、画像が部分的に露出過多や露出不足になりがちである。
【０００５】
もし、画像取り込み処理の間に、被写体が露出過多あるいは露出不足になると、処理（あるいは現像）および／または印刷処理の時に、失敗を最小化することができる場合がある。典型的には、画像がフィルム上に取り込まれたときには、ネガには、写真をプリントした時に作り出せるものよりも多くの細部の表現が含まれており、従って、写真のプリントには、プリントすることのできる情報の一部だけが含まれている。同様に、ディジタル機器が直接取り込む画像は、しばしば、作り出したり出力したりするよりも非常にたくさんの画像の細部の表現を持っている。画像の細部の表現のどこを印刷するかをを正しく選べば、最終的な画像は、画像取り込みの際の失敗を補正することができる。しかし、画像のある部分がが露出不足であり、残りの部分が露出過多で或る場合には、特に、画像の露出不足の部分と露出過多の部分の両方を訂正するのは難しい。
【０００６】
露出過多や露出不足の領域の影響を少なくするための従来の訂正技術は、一般的に、人間の手で行い、非常に高価になることがある。従来の訂正技術の一つに、切り抜き（ｃｕｔｏｕｔ）フィルターを使うものがある。この方法では、画像は、大きな均等な領域に分割され、これらの領域の各々にフィルターが使われる。次に、図１を参照すると、そこでは、従来の切り抜きフィルター１１０が示されている。元の画像は、城のものである。元の画像では、空１６０には、細部の表現が無く、一方、城１２０は陰になっている。切り抜きフィルター１１０には、暗い空１６０と明るい城１２０があり、元の画像に使われると、合成された画像の中の空１６０は、さらに暗くなり、城１２０は、さらに明るくなり、従って、“全体の”画像の細部が改善される。
【０００７】
切り抜きフィルター１１０の欠点は、領域内の画像の細部が、選択された領域が全く均一でないと、正しく訂正されないが、均一であることは希なことである。その結果、各領域内の細部は、失われる。フィルターをかけるのに選択された領域の数は増加するかもしれないが、より多くの領域を選択することで、切り抜きフィルター１１０を生成するのに要する時間と労力が著しく増す。加えて、この技術、そして他の従来からの技術は、領域間の境界が視覚的に魅力に欠けるきらいがある。
【０００８】
【課題を解決するための手段】
本発明の一つの態様に従って、画像の質を向上させる方法が与えられる。一つの実施形態では、本方法は、元の画像の画像マスクを取得する段階を備えている。画像のマスクと元の画像は、各々、可変値を持った複数の画素を備える。複数のマスク画素が、元の画像の中でより速く変化する画素値の範囲に対応して、端部をより鋭くするように設定される。それらの画素は、さらに、元の画像の中で、やや速く変化する画素値の範囲に対応して、やや鋭い領域の範囲を形成するようにまとめられる。この方法は、さらに、画像マスクを元の画像と結合してマスクのかかった画像を得る段階を備えている。
【０００９】
本発明の他の実施形態は、コンピュータ読み取り可能な媒体に明白に埋め込まれたディジタルファイルに対して用意される。ディジタルファイルは、元の画像の画像マスクを取得する段階を備えた方法を実行することで得られる。この画像マスクと元の画像は、各々、可変値を持った複数の画素を備えている。複数のマスク画素が、元の画像の中でより速く変化する画素値の範囲に対応して、端部をより鋭くするように設定される。それらの画素は、さらに、元の画像の中で、やや速く変化する画素値の範囲に対応して、やや鋭い領域の範囲を形成するようにまとめられる。この方法は、さらに、画像マスクを元の画像と結合してマスクのかかった画像を得る段階を備えている。
【００１０】
追加される、本発明の実施形態では、命令のプログラムを明確に具現化するコンピュータ読み取り可能な媒体に対して用意される。命令のプログラムは、元の画像の画像マスクを取得することができる。画像マスクと元の画像は、各々、可変値を持った複数の画素を備えている。複数のマスク画素が、元の画像の中でより速く変化する画素値の範囲に対応して、端部をより鋭くするように設定される。それらの画素は、さらに、元の画像の中で、やや速く変化する画素値の範囲に対応して、やや鋭い領域の範囲を形成するようにまとめられる。命令のプログラムは、さらに、画像マスクを元の画像と結合して、マスクのかかった画像を得ることができる。
【００１１】
本発明のさらに他の実施形態は、画像から反射された光を画像を表す情報に変換する画像センサと、プロセッサに動作可能に結合されるメモリと、メモリ内に記録されてプロセッサが実行することができる命令のプログラムを備えたシステムに対して用意される。命令のプログラムは、プロセッサを操作して画像マスクを取得し、その画像マスクと画像を表す情報は、各々、可変値を持った複数の画素を含み、複数のマスク画素の値は、元の画像の中でより速く変化する画素値の範囲に対応して、端部をより鋭くするように設定され、また、元の画像の中で、やや速く変化する画素値の範囲に対応して、やや鋭い領域の範囲を形成するように設定される。命令のプログラムは、また、プロセッサを操作して画像マスクを画像を表す情報と結合して、マスクのかかった画像を取得する。
【００１２】
本発明の少なくとも一つの実施形態の利点は、再生可能な細部を改善するための画像を、ユーザーが介入せずに生成できることである。
本発明の少なくとも一つの実施形態のさらなる利点は、画像マスクを自動的に元の画像に加えて、画像マスク内に保存された画像の細部によって決まる再生可能なダイナミックレンジ内の、改善された画像の細部を備えた画像を生成することができる点である。
【００１３】
本発明の少なくとも一つの実施形態のさらに他の利点は、スキャンした画像内の画像の細部を改善するための計算が、従来の方法に比べて、処理のオーバーヘッドが少なく、ユーザーが介入しないことから、比較的速やかに実行することができることである。
【００１４】
本発明の他の目的、利点、特徴、特色、また、構造の関連要素の動作と機能、そして製造の部品の組合せと経済性は、添付する図面を参照して以下の説明と特許請求の範囲を考察すると、明らかになるであろうし、それらは全て本明細書の一部をなしており、様々な図面において、似た参照番号は対応する部品を示している。
【００１５】
【発明の実施の形態】
図２〜９は、質の向上した画像を持つ、動的な画像訂正および画像システムの方法を示した図である。以下に、より詳細に説明するように、動的な画像訂正の一実施形態では、画像の鋭い境界部を残したぼかしアルゴリズムを使用する動的な画像マスクを用いる。動的な画像マスクは、その後、画像に用いられる。いくつかの実施の際に、動的な画像マスクは、画像の中で再生可能な細部の量を増やすのに使用される。他の実施の際には、動的な画像マスクは、中間周波数を抑えて、境界の鋭さを残すのに使用される。この実施の場合は、動的な画像マスクは、電子ブラシを用いて部分的な領域に加えることができる。さらに他の実施の際には、動的な画像マスクの様々な実施例を、他の訂正と向上の機能のための訂正マップとして用いることができる。ディジタル画像訂正を利用するためのシステムには、様々な画像取り込みあるいは処理のシステムが含まれ、例としては、ディジタルカメラ、ビデオカメラ、スキャナ、画像処理ソフトウェア等がある。
【００１６】
次に、図２を参照すると、動的な画像訂正の一方法２００が説明される。この実施形態では、動的な画像訂正２００には、元の画像Ａから動的な画像マスクＢを生成する段階が含まれる。動的な画像マスクＢは、その後に、元の画像Ａと結合されて、質の向上した画像Ｃが生成される。一実施形態において、質の向上した画像Ｃは，元の画像に対して、再生可能なダイナミックレンジ内で、改善された画像の細部を持っている。例えば、元の画像Ａが、高いコントラストの露出過多の（明るい）領域と露出不足（陰）の領域を備えているような、表示あるいはプリントのために出力した際に、適切に表現されないだろう細部を含んでいるかも知れない。画像の細部を失わずに、陰の領域内の細部を明るくし、明るい領域内の明るさを減らすことは、有益であろう。本発明の少なくとも一つの実施形態では、この機能を自動的に実行する。これとは対照に、従来の方法で、単に元の画像を明るい領域とかげの領域に分割するのは、一般的に、複雑な画像を改善するのに十分ではない。一般的に画像には、コントラストのレベルが変化する、複雑で多様な領域が含まれており、その結果、従来の方法では一般的に不十分な結果しか得られない。
【００１７】
段階２１０において、元の画像Ａが与えられる。元の画像Ａは、被写体を電子的に表現したものであり、特定の位置あるいは画素に対応した、一つ或いは二つ以上の特性の値を含んでいる。各画素は、一つあるいは二つ以上の関連する値あるいは平面を持ち、それらは、被写体の上の特定の位置に関する情報を表している。元の画像Ａに対して、各画素に対応する値は、被写体の適切な特性の測定値であって良い。例えば、その値が、色や明るさや入射角やＸ線密度や特徴あるいは特徴の組合せを表す他の値を表すことができる。
【００１８】
元の画像Ａは、何か適切な方法で得ることができ、直接に通常の色付き画像に関連している必要は無い。ある実施例では、元の画像Ａを、スキャナを使って画像をディジタル化して得ている、例えば、フラットベッド、フィルムスキャナ等である。他の実施例では、元の画像Ａを得るのに、ディジタル機器、例えばディジタルカメラ、ビデオカメラ等を用いて、画像を直接に取り込んでいる。さらに他の実施例では、元の画像Ａを、磁気共鳴画像システムレーダーシステム等の画像機器を用いて取り込んでいる。この実施形態では、特性の値は、色には関連せず、画像を取った対象の他の特性に関連する。元の画像Ａは、またコンピュータ生成あるいは同様の技術によって、得られる。動的な画像訂正２００は、いかに元の画像Ａが得られたかには依らず、画像を表す一つ或いは二つ以上の値が元の画像Ａに含まれるかどうかに依っている。
【００１９】
段階２２０では、動的な画像マスクＢは、元の画像Ａから生成される。実施形態において、動的な画像マスクＢの画素値は、元の画像Ａの画素に関連して生成される。少なくとも一つの実施形態において、動的な画像マスクＢに対して生成された画素は、元の画像Ａの選択された画素の加重された平均値を用いて計算されるが、これについては、以下により詳細に説明する。動的な画像マスクＢに対して生成される画素は、本発明の趣旨と範囲とから逸脱せずに、いくつかの方法を用いて計算することができる。
【００２０】
動的な画像マスクＢは、鋭い端部の周囲の領域をぼかしながら、元の画像Ａにある鋭い端部を残す。実際には、元の画像Ａにある急激に変化する特性、すなわち、値やコントラストは、動的な画像マスクＢの鋭い端部を決定するのに使用される。同時に、元の画像Ａにあるやや急激に変化する値は、動的な画像マスクＢのぼかされた領域を生成するのに平均化することができる。実際には、元の画像Ａ上で実行される計算は、動的な画像マスクＢを作りだすが、これは元の画像Ａにある異なった画素間の境界を残す一方、類似した画素を含む範囲をぼかすが、これは、さらに図３で説明されるだろう。
【００２１】
動的な画像マスクＢは、しばしば、特性の各値に対して計算される。例えば、各画素に対して、赤と緑と青を持った元の画像の場合、赤の値は、赤色に対して動的な画像マスクＢのぼかしと端部のパラメータを計算するのに使用され、青の値は、青色に対して動的な画像マスクＢのぼかしと端部のパラメータを計算するのに使用される等々である。動的な画像マスクＢは、異なる特性あるいは平面を用いて、異なる特性に対する領域と境界とを確定する。例えば、各画素に対して、赤と緑と青を持った元の画像の場合、赤の値は、赤と緑と青の値の各々に与えられるぼかしと端部のパラメータを確定するのに使用することができる。同様に、計算された輝度の値は、その後に各画素の赤と緑の青の値に与えられるぼかしと端部のパラメータを計算するのに使用することができる。他の実施形態では、動的な画像マスクＢは、ある特性に対して計算されるだけである。上記と同じ例を用いて、赤と緑の色用の動的な画像マスクＢを計算することができるが、青色の値は、変更無しに結合されるが、これは、より詳細に以下で説明される。
【００２２】
段階２３０において、動的な画像マスクＢが元の画像Ａに与えられて、質の向上した画像Ｃを作る。動的な画像マスクＢは、一般的に、重ねの技術を使用して、元の画像Ａに与えられる。図７でさらに説明されるが、元の画像Ａの画素値と、動的な画像マスクＢの対応する画素値の間の除算のような数学的演算は、質の向上した画像Ｃの画素値を作るのに使用することができる。
【００２３】
一般的に、動的な画像マスクＢを作って与える処理は、情報処理システムによって実行される一組の命令の一部として実行される。段階２１０，２２０，２３０の処理は、ラボの技術者が実行する画像処理システム内で、あるいはスキャナやディジタルカメラやビデオレコーダ等に組み入れられて、写真ラボの技術者に助けてもらわずに顧客が使うことのできるシステム内で実行するか、あるいは画像取り込み機器の外部でコンピュータシステムによって実行することが可能である。少なくとも一つの実施形態では、上記処理は、ユーザーとのやりとりが最小で済むような情報処理システムによって実行される実行可能な命令のプログラムによって自動化される。
【００２４】
段階２４０では、質の向上したＣは、希望する形態で配付される。質の向上した画像Ｃが配付される形態には、ディジタルファイルあるいは写真プリントあるいはフィルムレコードが含まれるが、これらに限定されるものでは無い。ディジタルファイルは、大容量記憶機器、テープドライブ、ＣＤレコーダ、ＤＶＤレコーダおよび／または様々な形態の揮発性もしくは不揮発性メモリ上に記憶することができる。ディジタルファイルは、また、通信アダプターを用いて他のシステムに転送することができ、ここでファイルは、インターネット、イントラネット、へとｅメールとして送ること等ができる。ディジタルファイルは、また、顧客がフィルム現像技術者の助けを借りずに、自身の写真を再生して自身が選択した形態で印刷することのできる、画像処理店舗で検索することもできる。質の向上した画像Ｃは、画像として表示画面上に表示したり、コンピュータのプリンタを用いて印刷することもできる。質の向上した画像Ｃは、ネガフィルムあるいはポジ画像あるいは写真プリントなどのフィルムレコードの形態で表現することもできる。従来の写真処理では、画像が印刷されると、ダイナミックレンジの大部分が失われた。反対に、質の向上した画像Ｃは、一般的に、元の画像Ａから望ましい細部を含んでいるので、元の画像Ａからの画像の細部大部分が、プリントで再生されて、それで保存されたりできるダイナミックレンジに効果的に圧縮される。
【００２５】
次に、図３を参照すると、本発明の一実施形態に従って、元の画像とぼかした画像の図が示されている。元の画像Ａは、３０１−３２５の番号の付いた画素のような、複数の画素から成る。動的な画像マスクＢは、３５１−３７５の番号の付いた画素のような、対応する画素から成っており、元の画像Ａから計算される。より詳細に以下に説明するように、動的な画像マスクＢの画素値は、鋭い端部を捕らえる平均化機能を用いて計算される。
【００２６】
一般的に、鋭い端部は、ある鋭さの閾値あるいは利得（ｇａｉｎ）より大きな画素値間での偏差によって定義される。実際には、鋭さの閾値によって、画素は、平均化の計算の目的のための領域に区別される。いくつかの実施形態において、鋭さの閾値は、ユーザーによって変化する。他の実施形態において、鋭さの閾値は、ソフトウェアの中で固定されている。
【００２７】
動的な画像マスクＢに対して計算された画素は、鋭さの閾値と利得とを考慮して、元の画像Ａの画素の領域に対して取られた平均値に相当する。例えば、画素３１６は、画素３１３の周囲で実行される計算に相当する。一実施形態では、画素３０１−３２５が同じだとすると、すなわち違いが鋭さの閾値未満だとすると、画素３６３は、画素３１１−３１５と３０３と３０８と３１８と３２３の値を平均化することで計算される。他の実施形態では、画素３６３は、画素３０７−３０９と３１２−３１４と３１７−３１９を平均化することで計算される。平均化処理の適切な数あるいは選択処理は、本発明の範囲を逸脱せずに使用することができる。実施形態において、画素は、画素３１３からの相対距離に基づいた加重値を割り当てられる。この実施形態では、比較的近くの画素は、比較的遠くの画素よりも平均化の計算で大きな影響がある。
【００２８】
本発明の一実施形態において、動的な画像マスクＢは、次の式で表される加重関数を用いて計算される。
【数５】

【００２９】
加重関数Ｗ_Ｎは、画素値の各々に別々の値を当て得るのに使用することができる。０と１の間の一つの値Ｗ_Ｎが認められる。従って、もしＷ_Ｎの値が負の値として戻ってくると、加重された画素に対して戻ってきた加重値は、０である。上の最初の例を用いると、もし画素３１３が計算されていると、Ｗ_Ｎは、画素３１１−３１５と３０３と３０８と３１８と３２３の各々に加重値を与えるのに使用することができる。画素Ｎは、加重された画素のコントラスト値である。中央の画素は、中央画素の値であり、その周囲にぼかしが入れられる。利得は、鋭い端部に対するコントラストの閾値を決定するのに使用される閾値である。例えば、もし画素３６２が計算されて、画素３１３と画素３０８の間のコントラストにおける差が１５で、利得が１０に設定されるとすると、戻ってくるＷ_Ｎの値は、負の値である。従って、負の値はありえないので、画素３０８は、加重値０が割り当てられ、画素３６２の計算値からは画素３０８の値は影響を受けないままである。
【００３０】
加重された画素が中央画素から、より遠くにあるので、利得の値は、減らすことができる。利得の値を低くすることによって、画素Ｎと中央画素との間のコントラストが少々変化し、負のＷ_Ｎになり、０に加重される。従って、一実施形態では、画素が中央画素から遠くなると、利得は小さくなり、また、Ｗ_Ｎの値は負になって画素は０の加重されるようになることがより多くなる。利得の選択は、中央画素からの距離が増えるにつれて、ゆるやかに減るように選択されるのが望ましい。使用される利得の値は、希望する応用範囲に合わせることができるが、利得をゆっくりと変えることで、利得を急激に変えるよりも、細部が満足できるものになることが分かった。さらに、加重関数は、それ自身、本発明の範囲から逸脱すること無く、変更することができる。
【００３１】
一旦、周囲の画素の加重値が計算されると、それらの相対的な加重値によって乗算された、各画素値の和を計算することができる。その後、その和は、画素の加重平均を生成するための個々の加重値の和によって除算することができ、これは、動的な画像マスクＢの画素に対して使用することができる。中央画素に隣接する画素から計算された最小の加重値も、使用して、中央画素の周囲の各々で乗算することができる。隣接する画素の加重値で乗算することによって、中央画素の周囲のコントラストが急速に変化する場合、効果的に“消える”するようにぼかすことができる。例えば、もし、中央画素と隣接画素の間のコントラストにおける差が十分に大きくて、動的な画像マスクＢ内の鋭い端部を補償できる程だと、隣接がその加重値は０になり、他の全ての値を０にし、中央画素に今の値を維持させ、動的な画像マスクＢ内に効果的に鋭い端部を作るだろう。
【００３２】
動的な画像マスクＢを生成するのに実行される処理の本実施形態は、砂吹き（ｓａｎｄｂｌａｓｔｅｒ）に似たものにすることができる。砂吹きは、処理中の表面を柔らかくしたり、ぼかしたりするのに使用することができる。従って、上述したぼかしのアルゴリズムは、ここに砂吹きアルゴリズムと呼ぶ。砂吹きは、使用されるものに対して半径を持ち、砂吹きの半径の中心により近い構成要素に最も効果を発揮する。既述したぼかしアルゴリズムにおいて、半径は、中央画素から選択され測定される。砂吹きの強さは、変化が最大になるように調整することができる。既述したアルゴリズムにおける利得値は、ぼかしを強弱させるように変えることができる。少なくとも一つの実施形態において、好ましい半径は４であり、好ましい利得は４０である。
【００３３】
砂吹きアルゴリズムは、１次元の増加で実行することができる。例えば、画素３６２の相対を計算するのに、画素３１２の周囲の画素が考慮される。本発明の一実施形態において、平均化された画素値は、上述したように、隣接する垂直方向の画素と隣接する水平方向の画素値を用いて決定される。代わりに、ウィンドウを作って、水平方向と垂直方向の両方で、中央画素の回りの画素を会わせた平均値に与えることができる。原色画像は、たくさんの画像平面を創ることができ、ここでたくさんの平面には、各色用の平面、赤の平面、緑の平面、青の平面が含まれる。一実施形態において、砂吹きアルゴリズムが、一度に一つの平面にたいしてのみ実行される。代わりに、砂吹きアルゴリズムは、他の画像平面を考慮して計算し、中央画素に関連した画素値において異なる原色平面から計算することができる。しかし、一つの画像に対して多次元の計算を実行すると、処理時間が増加することに注意したい。加えて、画素３１１のように画像の端部近くの画素は、元の画像Ａの境界の外にある画素から要求される値を無視するかも知れない。一実施形態において、端部に沿った画像は、自身の値を用いて、砂吹きアルゴリズムの計算に対して、画像端部の外側の画素値を再生する。加えて、０を元の画像Ａの端部の外側にある値に対して使うことができる。
【００３４】
次に、図４を参照すると、本発明の少なくとも一実施形態に従った、輝度（ｉｎｔｅｎｓｉｔｙ）の行を横切る輝度のグラフが、砂吹きアルゴリズムが与えられる前と後で示されている。グラフ４５０は、コントラストの輝度を表す端部の周囲の元の画像Ａ内の輝度値を表している。グラフ４６０は、グラフ４５０と同じ画素間の、動的な画像マスクＢに対する輝度を表している。
【００３５】
２つの異なった輝度のレベルが、グラフ４５０に確認できる。低い輝度は、画素４５１−４５４の間で確認でき、高い輝度領域は画素４６５で確認できる。図３に描かれた中央画素の周囲の画素をぼかすのに使用される半径は、いかにぼかしが実行されるかの一因子である。もし大きすぎる半径が使用されると、少ししかぼかされない結果となる。例えば、もしぼかそうとしている画素が、画素４５１であり、半径が十分に大きいとすると、画素４５２のぼかし値は、大きく変わらないであろう。半径が十分に大きく設定されると、画素４５２は、画素４５１のような、その輝度以上の多くの画素で平均化される。また、画素４５２は、画素４５３のような、その輝度以下の多くの画素で平均化される。もし、半径が大きすぎると、画素４５２以上の輝度の画素と画素４５２以下の輝度の画素が一杯になり、画素４５２の輝度値は、高低両極端の間にあることから、画素４５２の値は変化しないままであろう。
【００３６】
少しだけぼかすことは、ぼかしの半径を非常に小さく選択することからも得られる。小さな半径を選択する際に、画素の輝度値のみが、選択された画素によって直接に考慮される。例えば、画素４５２を中央画素に選択する。もし、半径が非常に小さいと、画素４５１までを良しとし、画素４５３と４５４は、がそ４５２の周囲をぼかすには考慮されないだろう。半径の選び方は、どの位ぼかしが行われるかに対して劇的な効果がある。ぼかしの半径は、画素の十分な領域の平均を取るのに十分な大きさでなくてはならず、一方、十分にぼかすには十分小さくなくては成らない。一実施形態において、ぼかしの半径は、自動的に制御することができる。図５に示されるように、ぼかしは、ピラミッド型の分解を用いて、元の画像を大幅に削減した表現に対して実行される。ぼかしアルゴリズムを実行し、画像を大幅に削減することによって、ぼかしの効果的な半径は、画像の解像度が下がるにつれて、自動的に増加する。元の画像Ａを大幅に削減した表現は、元の画像Ａの解像度の半分が含まれうる。元の画像内の細部のいくらかは、大幅に削減した表現では、失われる。大幅に削減した画像を特定の半径でぼかすことは、元の画像内の２倍の半径を網羅することにつながる。
【００３７】
グラフ４６２は、砂吹きぼかしアルゴリズムを用いた、動的な画像マスクＡ内の輝度のグラフを示している。グラフから分かるように、ぼかしは、元の画像４６２内の画素４５２の輝度を、ぼかした表現内の画素４６２まで引き下げるのに十分である。別の輝度レベルにある画素４５５は、ぼかした表現内の画素４６５まで、輝度を上げられる。少なくとも一つの実施形態において、ぼかしは、端部に沿った画素に対して、消される。ぼかしを消すことによって、ぼかした表現内で保存される端部勘の鋭さが得られ、高いコントラストの輝度を持った領域間の端部を保存する。画素４５４は、端部に沿って存在し、そこでは、画素４５５のような近くの画素に対する輝度は、より高くなる。画素４５４の輝度は変わらず、画素４５４と、それより高い輝度の画素４５５のような画素の間とのコントラストの差を保存する。
【００３８】
次に、図５を参照すると、動的な画像マスクＢの他の実施形態を精製するための方法が示されている。この実施形態では、砂吹きアルゴリズムが、鋭い端部とぼかした領域とを持った、ぼけた画像を創るのに使用することができる。砂吹きぼかしアルゴリズムを組み込んだ画像マスクによって取り込まれる細部を改善するのに、ピラミッド型の分解が元の画像上で実行されるが、これは図５に示される。段階５１０において、元の画像Ａが受け取られる。
【００３９】
段階５３５において、画像の大きさが縮小される。少なくとも一つの実施形態において、画像の大きさは、半分に縮小される。この画像の大きさの縮小は、標準的な画像の大幅削減を用いて実行することができる。一実施形態において、大幅削減は、段階５１０から元の画像内の他のあらゆる画素を消すことによって実行される。
【００４０】
段階５２５において、ぼかした画像を創るのに、図３で説明した砂吹きアルゴリズムが、大幅削減した画像に対して実行される。図４に対して既に説明したように、大幅削減した画像には、元の画像Ａの半分の解像度が含まれる。元の画像Ａの細部のいくらかは、失われて、大幅削減された画像になる。大幅削減された画像に砂吹きアルゴリズムを実行することで、アルゴリズムによって網羅される効果的な半径は、元の画像内の半径の２倍に相当する。元の画像Ａから得られる細部のいくらかは、大幅削減された画像には、存在しないものなので、さらなるぼかしを砂吹きアルゴリズムで生じさせることができる。ここで説明した画像は、大幅削減されているので、効果的なぼかし半径と、ぼかされた細部とは、大幅削減された画像内の解像度の変化に反比例する。例えば、段階５２５において、段階５３５の縮小された画像に砂吹きアルゴリズムを実行すると、同じアルゴリズムを元の画像に対して実行するより有効半径が２倍になるが、一方、縮小された画像は、元の画像の半分の解像度となる。
【００４１】
段階５３６において、ぼかした画像は、もう一度、大幅削減される。段階５２６において、段階５３６から大幅削減された画像は、砂吹きアルゴリズムを用いてぼかされる。それに続く大幅削減の段階５３７−５３９と砂吹きの段階５２７−５２９は、前の段階の出力に対して連続的に実行される。段階５５０において、砂吹きの段階５２９からの、ぼかした画像は、大幅削減の段階５５０の大幅削減された出力から除去される。段階５６０において、段階５５０からの混合した出力が、アップサンプル（ｕｐｓａｍｐｌｅ）される。一実施形態において、画像は、画素の解像度が２倍に増加する。画像の大きさを増すことは、現在の画素の画素値を繰り返して、新しい画素を満たすことによって実行される。補間も、新しい画素の値を決定するために行われ、段階５５２において、段階５６０からアップサンプルされた画像が、段階５２８からのぼかした画像に加えられる。結合された画像情報が、段階５３８からの大幅削減された出力から除去される。段階５５２における計算は、失われた画像の細部を復元するのに実行される。アップサンプルの段階５６２−５６６に続いて実行される混合段階５５４と５５２は、マスクデータを生成するためのものである。段階５５８において、混合は、段階５６６からアップサンプルされた画像データと、段階５２５からのぼかされた画像データとを結合するのに使用される。段階５５８における混合器からの出力は、その後、アップサンプルされて、段階５８０で、受け取った画像の画像マスクを作り出す。動的画像マスクＢは、その後、段階５９０において、配付と使用に供される。
【００４２】
ぼかしを追加したり少なくしたりすることは、ここに記載したピラミッド型の分解の段階の間に実行することができるということを理解されたい。ぼかしアルゴリズムを元の画像上で実行しないことで、処理時間が著しく軽減されることに注意すべきである。大幅削減された画像に基づいた計算は、元の画像に基づかない計算よりも、高速にかつ少ないオーバーヘッドで実行することができ、細かな画像マスクを作ることができる。既述した方法を用いて作られる画像マスクには、元の画像Ａの中に見られる、急激に変化する境界部に基づく鋭い端部と、やや急激に変化する境界部の間のぼかされた領域とが含まれるのが好ましい。多少の段階は、本発明の範囲から逸脱することなく、ここに説明したピラミッド型の分解の一部として実行することができることも理解されたい。
【００４３】
既述した実施形態において、ピラミッド型の分解が、単一の画像色平面に沿って実行される。既述した段階において、さらに色平面を追加することもできることを理解されたい。さらに、異なる色平面あるいは明るさの平面からの情報が同時に処理される多次元処理も実行することができる。本発明の少なくとも一つの実施形態に従って、結果として得られる生成済み画像マスクは、単色のマスクであり、元の画像内の個々の画像色平面の輝度に自身を与えるのに使用される。単色画像平面は、別個の画像色平面から計算することができる。例えば、一実施形態において、単色画像マスクの値は、以下の式を使用して決定される。
【００４４】
ＯＵＴ＝ＭＡＸ（Ｒ，Ｇ）
ここで、ＯＵＴは、単色画像マスク内で計算される画素を表す。ＭＡＸ（Ｒ，Ｇ）は、赤の平面内の画素の輝度値と、緑の平面内の輝度値との間の最大輝度が、選択される関数である。青の平面からの輝度の８０％より多くを含む動的画像マスク画素の場合、式は、次を含むように付け足される。
ＯＵＴ＝ＯＵＴ＋５０％Ｂ
ここで、５０％Ｂは、青平面における輝度値の半分である。動的画像マスクＢは、また、黒の値と白の値の間の輝度のような、画像の輝度を表すのにも作られる。白のフルカラーの画像マスクを使用することができ、それらは、単色のマスクを使用するよりも多くの処理のオーバーヘッドを必要とするだろう。
【００４５】
次に図６を参照すると、図１に示した従来技術による切り抜きフィルターと対比して、動的な画像マスクＢが示されており、本発明の少なくとも一つの実施形態により作られた動的な画像マスクＢの代表的な特性を持っている。図６に示される動的な画像マスクＢは、一般的に、露見マスク（ｒｅｖｅｌａｔｉｏｎ ｍａｓｋ）６５０と呼ばれる。従来からの画像マスクが図１に示されているが（従来技術）、これは、一般的に従来型フィルター１１０と呼ばれる。
【００４６】
露見マスク６５０は、従来の画像マスクには失われている細部のいくつかを、いまだ持っている。端部は、急激に変化するコントラストの領域間で保存される。例えば、元の画像内のウィンドウ内部の細部を明るくするために生成された明るい領域６９０は、元の画像の中に示される壁の中の細部を暗くするために生成される、より暗い領域６８０に対する鋭いコントラストを示すために端部を変えないままである。端部は、急激に変化するコントラストの領域間で変わらないが、ぼかしは、領域内で遂行されるということに注意したい。元の画像の屋根の細部には、コントラストが徐々に移っていくような暗い範囲と明るい範囲とが含まれる。従来のフィルター１１０では、領域１２７が、屋根の塔の明るい範囲とのコントラストを維持するように生成される。従来のフィルター１１０が、元の画像を覆うと、その結果、画像は、暗い領域１２７と明るい領域１２０との間の急激なコントラスト差を示し、これは、元の画像の徐々に移っていく様子を維持しないだろう。比較すると、露見マスク６５０は、塔の領域６５５と、それより明るい領域６７０との間の輝度がぼんやりと移っていくことによって気付くことのできるような、徐々に移っていくコントラストを維持して、元の画像の屋根の輝度のコントラストが徐々に移っていくのを維持し、一方、暗い領域６５５とさらに暗い領域６６０との急激なコントラストを維持して、元の画像の背景の空を表現する。
【００４７】
次に図７を参照すると、本発明の一実施形態による、質の向上した画像Ｃを生成する方法が示されている。元の画像Ａに関する画像情報は、動的な画像マスクＢからの情報と自動的に結合される。結合されたデータは、質の向上した画像Ｃを作るのに使用される。
【００４８】
質の向上した画像Ｃは、画素単位に生成される。元の画像Ａに対応する各画素と動的画像マスクＢとは、結合されて、マスクされた画像７１０内の１画素になる。例えば、画素７１５からの画素データは、元の画像Ａのデータであり、これはディジタル画像マスクＢの画素７３５からの画素情報と結合され、この際、重ね合わせ関数（ｏｖｅｒｌａｙ ｆｕｎｃｔｉｏｎ）７２０のような数学的操作を用いて行われる。結合されたデータは、質の向上した画像Ｃの画素７１５を表すのに使用される。
【００４９】
重ね合わせ関数７２０は、元の画像Ａと動的画像マスクＢとの間の画素情報を重ね合わせるために使用される関数である。本発明の一実施形態において、重ね合わせ関数７２０は、数学的操作を含み、次の式によって定義される。
【数６】

【００５０】
ここで、ＯＵＴは、動的なマスクされた画像Ｂの中の画素値を表す。ＩＮは、元の画像Ａから取られた画素値を表す。ＭＡＳＫは、質の向上した画像Ｃ内の対応する画素を表す。例えば、画素７１４の出力値を作るのに、画素７１３の値が、画素７３４の値の３／４にオフセットを加えたもので除算される。オフセットの１／４は、０で除算することによって起こる誤りを防ぐように選択される。オフセットは、また、結果としてのマスクされた画像７１０の中の暗部を明るくするように選択することもできる。
【００５１】
一実施形態において、元の画像Ａに対する動的な画像マスクＢの応用例は、情報処理システム上で実行されるソフトウェアを通して実行される。上述したように、動的な画像マスクＢは、単色のマスクであって良い。動的な画像マスクＢは、画像の中の黒と白のレベルを制御するのに使用することもできる。グレイスケール（ｇｒａｙｓｃａｌｅ）のコントラストは、一つの画像内の広い範囲に渡るコントラストである。画像のコントラストは、一つの画像の中の細部のコントラストを表す。重ね合わせ関数７２０で使用されるＭＡＳＫとオフセットの値の比率の操作を通して、グレイスケールのコントラストと画像のコントラストは、質の向上した画像Ｃ３１０を最適に質を向上させるように変更することができる。本発明の一実施形態において、重ね合わせ関数７２０は、ユーザーによって作られる設定に従って、変更される。画像のコントラストとグレイスケールのコントラストを独立に制御するやり方を提供することができる。制御は、輝部の中の画像低コントラストと、暗部の中の画像高コントラストとを用いて、画像を作り出すことができる。加えて、関数を、動的な画像マスクＢの生成を制御するのに加えることができる。制御は、砂吹きアルゴリズム（図３で説明済み）を通して、影響した圧力（利得）と半径（領域）に対して使うことができる。加えて、画像のヒストグラムに対する制御は、画像のコントラストとグレイスケールのコントラストとに対する制御に対して使うことができる。正規化された画像は、ヒストグラムのレベル付けを、画像のコントラストを壊さずに実行できる場合に生成することができる。ここで説明した制御と関数とアルゴリズムは、情報処理システム内で実行することができる。画像処理店舗のような、他のシステムは、本発明の範囲の中で、質の向上した画像Ｃを作るのに使用することができるということを理解されるだろう。
【００５２】
図８Ａを参照すると、本発明の一実施形態によるしわ低減処理８００が示される。より詳細に以下に説明したように、しわ低減処理８００の実施形態は、高分解度の細部や低周波数コントラストを抑制せずに、中央の周波数を抑制するように動作する。結果として、細部を犠牲にせずに見た目の若々しさを得る。
【００５３】
図示された実施形態において、動的な画像マスクＢは、ブロック８０２で示されるように、元の画像Ａから計算される。実施形態において、動的な画像マスクＢは、図３で説明したように、５の半径と６４の利得を用いて計算される。その後、動的な画像マスクＢは、低域通過フィルター８０４を通過する。低域通過フィルター８０４は、“ソフト・フォーカス”フィルターというのが好ましい。一実施形態において、低域通過フィルター８０４は、１の半径のガウス平均と、３の半径のガウス平均との平均として計算される。低域通過フィルターの他の種類は、本発明の範囲から逸脱せずに使用することができる。
【００５４】
元の画像Ａは、また、高域通過フィルター８０６を通過する。一実施形態において、高域通過フィルター８０６は、１のぼかしのガウス平均と、３のぼかしのガウス平均との平均の逆数として計算される。高域通過フィルターの他の種類は、本発明の範囲を逸脱せずに、使用することができる。
【００５５】
低域通過フィルター８０４と高域通過フィルター８０６による結果は、その後、中間マスク８０８を作るために一緒に加えられる。中間マスク８０８は、その後、例えば、アプリケータ（ａｐｐｌｉｃａｔｏｒ）８１０を用いて元の画像Ａに適用して、質の向上した画像を作ることができる。実施形態において、アプリケータ８１０は、半径を変えることによって、中間マスク８０８を、ユーザーが指定した元の画像Ａの領域にのみ適用することのできる電子ブラシである。アプリケータ８１０の他の種類は、中間マスク８０８を元の画像Ａに適用するのに使用することができる。
【００５６】
図８Ｂ−１は、未処理の元の画像８２０を示しており、図８Ｂ−２は、画像８２０に、しわ低減処理８００を適用した後の同じ画像である。見て分かるように、離和低減処理８００によって、画像の微少な細部を犠牲にせず、また、細部を明らかにぼかすあるいはソフトにすることなく、画像の中の人間の年齢の成長可能な影響を低減している。これによって、より見て楽しい画像、そして最も大事なことに、画像の中の人間にとって喜ばしい画像が作られている。同じ処理を、似た結果を生み出すために、画像の他の部分に適用することができる。例えば、衣服に適用すると、しわ低減処理８００は、細部に影響せず、またぼかした感じにならずに、見た目に新しく折り目の付いたシャツやズボンを作り出している。しわ低減処理７００のいくつかの応用例と動的な画像マスクＢを図示したに過ぎないが、それらは、本発明の範囲から逸脱せずに、適切な目的あるいは組合せに対して使用することができることを理解されたい。
【００５７】
図９を参照すると、本発明の一つ或いは二つ以上の実施形態に使用される画像取り込みシステム９００が示されている。画像取り込みシステム９００には、画像を代表するデータを取り込んで、続いて、ここで始められる教示に従ってデータを処理することのできる何らかの機器が含まれる。例えば、画像取り込みシステム９００は、ディジタルカメラやビデオレコーダやスキャナや画像処理ソフトウェア等が含まれていて良い。画像取り込みシステム９００に、ディジタルカメラが含まれている実施形態が、図示が簡単なため、次に説明される。以下の説明は、本発明の範囲から逸脱せずに、画像取り込みシステム９００の他の実施形態に適用することができる。
【００５８】
画像取り込みシステム９００には、画像センサ９１０、アナログディジタル（Ａ／Ｄ）変換器９２０、カラーデコーダ（ｃｏｌｏｒ ｄｅｃｏｄｅｒ）９３０、色管理システム９４０、色記憶システム９５０および／または表示装置９６０が含まれるが、これらに限定されるものではない。少なくとも一つの実施形態において、画像取り込みシステム９００が、シリアルケーブル、プリンタケーブル、ユニバーサルシリアルケーブル、ネットワーク化された接続等を介して、プリンタ９８０に接続される。一実施形態において、画像センサ９１０は、画像を取り込み、その画像を画像を表す電子情報へと変換する。画像センサ９１０は、ディジタルカメラ上の画像センサ、例えば、電荷結合素子（ＣＣＤ）センサ、相補的金属酸化膜半導体センサ等を含むことができる。例えば、ＣＣＤセンサは、被写体から反射されたか送信された光子を、ＣＣＤセンサの各写真位置（ｐｈｏｔｏｓｉｔｅ）の場所に記憶される電荷に変換する。各写真位置の記憶された電荷は、その後、写真位置に関連した値を得るのに使用される。各写真位置は、得られる画像の画素に１体１対応する、あるいは、写真位置達は、一つ或いは二つ以上の画素の値を決定するのに結合して使用される。
【００５９】
一実施形態において、画像センサ９１０は、取り込んだ画像を表す電子情報をＡ／Ｄ変換器９２０にアナログ形態で送り、Ａ／Ｄ変換器９２０は、電子情報をアナログからディジタルの形態に変換する。代わりに、一実施形態では、画像センサ９１０は、画像を取り込み、ディジタル形態の画像を表す電子情報を出力する。この場合、Ａ／Ｄ変換器９２０は必要では無いことを理解されるだろう。
【００６０】
ＣＣＤのような、画像センサ上の写真位置は、しばしば、写真位置に当たる光の強さあるいは輝度を測るだけである。この場合、多くの方法が、写真位置の輝度値（すなわち白黒画像）を各写真位置に対応する色値に変換するのに使用することができる。例えば、色情報を得るための一つの方法は、ビームスプリッタを用いて、画像を二つ以上のセンサ上に集めるものである。この場合、各色センサは、色に関連するフィルターを持っている。例えば、画像センサ９１０は、３つのＣＣＤセンサを含んでいて良く、ここで一つのＣＣＤセンサは赤の光にフィルターがかけられ、他のＣＣＤセンサは緑の光にフィルターがかけられ、第３のセンサは、青の光にフィルターがかけられる。他の方法は、光源（画像）と画像センサ９１０との間に、独立した色フィルターを持った、回転式装置を使用するものである。各色フィルターは、画像センサ９１０の前で回転するので、色フィルターに対応する独立した画像が取り込まれる。例えば、回転式ディスクは、原色、赤、青、緑の各々に対するフィルターを持つことができる。この場合、ディスクは、赤のフィルターと青のフィルターと緑のフィルターを、順次、画像センサ９１０の前で回転させ、各フィルターが前で回転するにつれ、独立した画像が取り込まれるだろう。
【００６１】
代わりに、永久フィルター（ｐｅｒｍａｎｅｎｔ ｆｉｌｔｅｒ）を、独立した各写真位置の上に置くことができる。画像センサ９１０を、様々な異なる色に関連する異なる写真位置に分けることによって、取り込んだ要素の特定の場所あるいは画素に関連した実際の色が、補間される。例えば、使用される共通のパターンは、バイヤー（Ｂａｙｅｒ）フィルターパターンであり、その赤と緑の感光写真位置の行は、青と緑の写真位置の行で変更される。バイヤーフィルターパターンでは、青や赤の色に感光する写真位置よりも、緑色に感光する写真位置が、しばしば多いが、これは、人間の目が他の色よりも緑に対して感度が高いせいであり、それゆえ、人間の目に“自然の色”として受け取られるために、取り込んだ画像により多くの緑色の情報がなくてはならない。
【００６２】
従って、一実施形態では、カラーデコーダ９３０は、Ａ／Ｄ変換器９２０からの画像を表すディジタル出力を受け取り、輝度値（黒と白）による情報を色の値に変換する。例えば、画像センサ９１０は、上述したように、バイヤーフィルターパターンを利用することができる。この場合、Ａ／Ｄ変換器９２０からの黒と白のディジタル出力は、一つ或いは二つ以上の色画像を表すデータを生成するために補間あるいは処理することができる。例えば、カラーデコーダ９３０は、一つ或いは二つ以上のフルカラー画像、一つ或いは二つ以上も単色画像等を表すデータを生成することができる。
【００６３】
一実施形態において、カラーデコーダ９３０が生成する画像を表すデータを用いて、色管理システム９４０は、出力および／または記憶装置のためのデータを処理する。例えば、色管理システム９４０は、カラーデコーダ９３０からのデータのダイナミックレンジを狭くすることができる。これは、取り込んだ画像に関連するデータの量を減らすことで行われる。色管理９４０は、また、データを様々なフォーマットにすることができ、それは、Ｊｏｉｎｔ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＪＰＥＧ）フォーマット、タグイメージファイルフォーマット（ＴＩＦＦ）、ビットマップフォーマット等である。色管理システム９４０は、表示あるいは出力する画像を表すデータを揃える多くの他の処理あるいは方法、例えば、データを圧縮したり、アナログからディジタルフォーマットへデータを変換したり等を実行することができる。
【００６４】
色管理システム９４０が、画像を表すデータを処理した後、一実施形態では、データは記憶装置９５０に記憶され、および／または表示装置９６０上に表示される。記憶装置９５０は、ディジタルカメラ用の可搬性のあるフラッシュメモリや、ハードドライブやフロッピディスクのような保存ディスク等を含むことができる。表示装置９６０は、液晶表示装置（ＬＣＤ）、陰極線管（ＣＲＴ）表示装置、および取り込んだ画像を表示あるいはプレビューするのに使用される他の装置を含むことができる。代わりの実施形態では、ある画像を表すデータは、プリンタ９７０が印刷するためのプリンタドライバ９７０によって処理することができる。プリンタ９７０は、写真プリンタ、デスクトッププリンタ、コピー機、ファックス機、レーザープリンタ等を含むことができる。プリンタドライバ９７０は、物理的にも論理的にも、プリンタ９６０に接続されたコンピュータ上等のプリンタ９７０とひとまとめにすることができる。画像取り込みシステム９００の一つあるいは二つ以上の要素は、ステートマシン、組み合わせ論理回路、データ処理機上で実行可能なソフトウェア等として実現することができることが理解されよう。また、画像取り込みシステム９００の一つあるいは二つ以上の要素によって実行される方法あるいは処理は、単一の機器あるいはシステムによって実行することができることも理解されよう。例えば、カラーデコーダ９３０と色管理９４０は、モノリシックのマイクロコンピュータとして、あるいは実行可能な命令の結合された組として実現することができる。
【００６５】
画像取り込みシステム９００は、本発明の様々な実施形態の、一つあるいは二つ以上の方法を実現するのに使用することができる。ここに画像マスク法と総称する方法は、画像システム９００の画像取り込み処理の一つあるいは二つ以上の段階で実現することができる。一実施形態において、画像マスク法は、Ａ／Ｄ変換器９２０からのディジタルデータの出力と、カラーデコーダ９３０の入力との間で、段階９２５で適用することができる。多くの場合、段階９２５は、画像マスク法を使用するのに最適な場所である。例えば、もし画像センサ９１０からの画像出力を表すデータが、これから色情報に復号されるべき単色（あるいは黒と白）情報ならば、画像マスク法を用いて処理するのに、データを色情報に変換した後よりも、必要とする情報は、少ないであろう。例えば、もしデータが三原色に復号されるべきだったならば、処理するのに３倍の情報が必要であろう、というのも、取り込んだ画像の各画素に関連する色が３色あるからである。先述した少なくとも一つの実施形態による画像マスク法は、カラーデコーダ９３０の正確さや動作には影響を与えない。
【００６６】
代わりに、画像マスク法は、カラーデコーダ９３０と色管理システム９４０の間で、段階９３５で使用することができる。いくつかの状況で、段階９３５の位置は、段階９２５ほど最適ではない、というのは、処理すべきより多くのデータが、カラーデコーダ９３０と色管理システム９４０の間にあるからである。例えば、カラーデコーダ９３０は、原色の各々に対してデータを生成することができ、その結果、３倍の情報を画像マスク法で段階９３５で処理するからである。画像マスク法は、また、色管理システム９４０と記憶装置９５０および／または表示装置９６０の間で、段階９４５で実現することもできる。しかし、色管理システム９４０が出力するデータは、しばしば、処理された結果、情報とダイナミックレンジが、圧縮されたりおよび／または失われたりしたので、段階９４５で画像マスク法を使用することは、段階９２５，９３５で使用するほど好ましい結果にならないだろう。
【００６７】
もし取り込んだ画像を印刷するなら、画像マスク法は、段階９６５，９７５で実現することができる。段階９６５では、画像マスク法は、プリンタドライバ９７０によって実現でき、一方、段階９６５で、画像マスク法は、プリンタドライバ９７０とプリンタ９８０の間で実現することができる。例えば、プリンタドライバ９７０に接続されるシステム、たとえば、コンピュータとプリンタ９８０の間の接続に、画像マスク法を実現するソフトウェアおよび／またはハードウェアを含むことができる。しかし、段階９４５に関して説明したように、印刷しようとする取り込んだ画像を表すデータは、色管理システム９４０による処理の結果、ダイナミックレンジが狭くなったり、および／または他の情報が失われたりするかも知れない。
【００６８】
少なくとも一つの実施形態において、段階９２５，９３５，９４５，９６５および／または９７５で行われる画像マスク法は、プロセッサ９４２によって実行される命令の一組として実施される。プロセッサ９４２には、マイクロプロセッサや、ステートマシンや、組み合わせ論理回路等が含まれて良い。ある実施例では、命令の組がメモリ９４３に記憶されまた読み出され、メモリ９４３には、ランダムアクセスメモリや、読み出し専用メモリや、フラッシュメモリや、記憶装置等が含まれて良い。一実施形態において、プロセッサ９４２も、画像取り込みシステム９００の一つあるいは二つ以上の要素の動作を行うための命令も実行することに注意したい。例えば、プロセッサ９４２は、カラーデコーダ９３０が行うカラーデコード処理を行うための命令を実行し、次に、段階９３５において画像マスク法を表す命令の組を実行することができる。
【００６９】
最適な段階、あるいは希望する段階で、画像マスク法を実施するための費用や労力は、法外なものになるかも知れず、その結果、代わりの段階で画像マスク法を実施することになるかも知れない。例えば、段階９２５は、しばしば画像マスク法を実施する最適な位置であるが、前述した理由により、この位置で画像マスク法を実施するのは難しいかも知れない。例えば、画像センサ９１０と、Ａ／Ｄ変換器９２０と、カラーデコーダ９３０は、モノリシック電子回路として実施することができる。この場合、回路を変更して、この方法を実施するのは難しいことになるかも知れない。代わりに、画像取り込みシステム９００の二つ以上の要素、例えばカラーデコーダ９３０と色管理システム９４０は、単一のソフトウェアアプリケーションとして実施されるかも知れない。この場合、このソフトウェアアプリケーションは、変更が禁止されている、所有者のいるソフトウェアかも知れないし、あるいは、ソフトウェアのソースコードは、利用できないかも知れず、ソフトウェアアプリケーションの変更が難しいかも知れない。
【００７０】
画像マスク法が最適の位置で実施できない場合には、画像マスク法をさらに適した位置で利用することで、しばしば画像の質と細部とが改善されることがある。例えば、ある画像を表すデータのダイナミックレンジが色管理システム９４０による処理の後に縮小したとしても、一実施形態において、段階９４５におけ画像マスク法を利用した結果、色管理システム９４０が出力したデータの質および／または細部が改善された画像を表すデータとなる。画像データが改善された結果、表示装置９６０上の表示、あるいは記憶装置９６０から読み出されたときの次の表示、あるいはプリンタ９８０による物理的な複製のための、改善された画像となる。画像マスク法は、２度以上使用することができることを理解されたい。例えば、画像マスク法は、段階９２５において、画像のダイナミックレンジの最初の圧縮を行い、再び、段階９４５において、画像のダイナミックレンジをさらに圧縮するのに使用することができる。
【００７１】
次に図１０を参照すると、画像の種類における様々な改善が、本発明の少なくとも一つの実施形態に従って示されている。前述したように、本発明の少なくとも一つの実施形態を実施したものを、取り込んだ画像を表現したもののダイナミックレンジを改善するのに使用することができる。図表１０００の水平軸は、画像を表現した様々な種類のもののダイナミックレンジを表している。画像のダイナミックレンジは、人間の目には（すなわち、“実在”）、範囲１００６で表現される。ダイナミックレンジは、実在（範囲１００６）から順番に、印刷されたスライド（範囲１００５）、ＣＲＴ表示装置（範囲１００２）、ＬＣＤ表示装置（範囲１００１）へ下がっていく。様々な画像を表現したもののダイナミックレンジの順番は、一般的な比較であり、ダイナミックレンジの順番は、全ての場合に絶対的なものであると取るべきではないということに注意したい。例えば、印刷されたスライド（範囲１００５）よりも大きなダイナミックレンジを持つＣＲＴ表示装置が存在しうる。
【００７２】
少なくとも一つの実施形態によると、ここに開示した画像マスク法を適用することにより、画像を表現したもののダイナミックレンジを改善することができる。例えば、時に、画像を表現したデータをＬＣＤモニター上に表示する前に、画像マスク法を適用することで、光沢のある写真プリント（範囲１００３）と比肩できるダイナミックレンジを持った画像情報を、ダイナミックレンジ１００１を持ったＬＣＤモニター上に表示するのに圧縮することが可能である。同様にして、ＣＲＴ表示装置（範囲１００４）と同等のダイナミックレンジを持った画像情報を、つや消し写真プリント（範囲１００２）等に使用することのできるダイナミックレンジへと圧縮することができる。結果として、ここに開示した画像マスク法を、取り込んだ画像の表示に使用できるダイナミックレンジに改善するするのに使用し、それによって、取り込んだ画像の表示の質を慨然することが可能である。
【００７３】
本発明の実施形態の一つが、概ね図１−１０に示されたように構成された１つあるいは２つ以上の処理システムのランダムアクセスメモリに置かれた、コンピュータ読み取り可能な命令の組として示される。処理システムによって呼ばれるまで、命令の組は、他のコンピュータ読み取り可能なメモリ、例えば、ハードディスクドライブや、ＣＤドライブもしくはＤＶＤドライブの中で場合により使われる光ディスクのような可搬ディスクや、フロッピ（登録商標）ディスクドライブの中で場合により使われるフロッピ（登録商標）ディスクの中に記憶させることができる。さらに、命令の組は、他の画像処理システムのメモリ内に記憶して、ローカルエリアネットワークやインターネットのような高域ネットワークを使って送信することができ、その場合、送信された信号は、ＩＳＤＮラインのような媒体を通して伝搬することができたり、あるいは、その信号は、空気の媒体を通して伝搬して、処理システムに転送するために局地衛星（ｌｏｃａｌ ｓａｔｅｌｌｉｔｅ）に受信されることができる。そのような信号は、キャリア信号を含んだ混合信号であり、キャリア信号の中に含まれるのが、本発明を実施する少なくとも一つのコンピュータプログラム命令を含む望まれる情報であり、また、ユーザーが望んだ時などにダウンロードすることができる。当業者ならば、物理的に記録すること、および／または命令の組を転送することによって、媒体がコンピュータ読み取り可能な情報を運ぶために電気的、あるいは磁気的、あるいは化学的な変化を起こすことを理解されよう。従って、これまで詳細に説明したことは、制限を設けたものとして解釈すべきではなく、添付の特許請求の範囲によってのみ、本発明の範囲は定義される。
【００７４】
これまで図面を詳細に説明したが、それの一部を形成する添付の図面を参照しており、そこでは、本発明を実施することのできる図面に特化した実施形態によって示される。これらの実施形態は、当業者が本発明を実行できるよう充分に詳細に説明されており、他の実施形態を利用することができることは理解されたい、また、論理的、そして機械的、そして化学的、そして電気的な変更は、本発明の趣旨と範囲から逸脱せずに行うことができる。そのような当業者が本発明を実施することができるために必要でない細部を避けるために、当業者に既知のいくつかの情報は割愛した。さらに、本発明を示すところに含まれる、他の様々な実施形態は、当業者ならば容易に構成することができるであろう。従って、本発明は、ここで始めた特定の形態に限定することは考えておらず、逆に、そのような代替物、および変種、および等化物のような、本発明の趣旨と範囲の中に含まれるのが妥当なものを網羅することを意図している。従って、以上の詳細な説明は、限定的な意味に取るべきではなく、本発明の範囲は、添付の特許請求の範囲によってのみ定義される。
【図面の簡単な説明】
【図１】従来の切り抜きフィルターを示す図である。
【図２】本発明の一実施形態による、動的な画像訂正の方法を表すブロック図である。
【図３】本発明の一実施形態による、元の画像と動的な画像マスクのブロック図である。
【図４】本発明の一実施形態により、ぼかしアルゴリズムが加えられる前と後の端部周辺の画素の輝度値を示す一組のグラフである。
【図５】本発明の少なくとも一つの実施形態による、動的な画像マスクを生成するための方法のブロック図である。
【図６】本発明の少なくとも一つの実施形態による、属性を備えた動的な画像マスクを表した図である。
【図７】本発明の少なくとも一つの実施形態による、画像に動的な画像マスクを加える方法を表したブロック図である。
【図８Ａ】本発明の一実施形態による、しわ低減処理を表すブロック図である。
【図８Ｂ−１】元の画像を表す図である。
【図８Ｂ−２】図８Ｂ−１にしわ低減処理を加えた図である。
【図９】本発明の少なくとも一つの実施形態による、画像取り込みシステムを表すブロック図である。
【図１０】本発明の少なくとも一つの実施形態による、様々な画像表現のダイナミックレンジの改善を表す図である。
【符号の説明】
９００…画像取り込みシステム
９１０…画像センサ
９２０…Ａ／Ｄ変換器
９３０…カラーデコーダ
９４０…色管理システム
９４２…プロセッサ
９４３…メモリ
９５０…記憶装置
９６０…表示装置
９７０…プリンタドライバ
９８０…プリンタ

Claims (48)

1. ディジタル画像の質を向上させるための方法であって、
   各画素が画像の特性に対応する元の値を含むような、複数の画素から成るディジタルの元の画像を提供する段階と、
   ある画素の元の値と、その画素に隣接して、ある鋭さの閾値よりも元の値が低い画素の元の値とを平均化することにより、各画素の動的な画像マスクの値を計算する段階と、
   質の向上した画像を作るために数学的関数を用いて、対応する各画素に対する元の値に、動的な画像マスクの値を適用する段階と
   を備えることを特徴とする方法。
2. ディジタルの元の画像を提供する段階は、ディジタル取り込み機器を用いて、ディジタルの元の画像を取り込む段階を備えることを特徴とする請求項１記載の方法。
3. ディジタルの元の画像を提供する段階は、画像システムを用いて、ディジタルの元の画像を取り込む段階を備えることを特徴とする請求項１記載の方法。
4. 画像の特性に対応した元の値は、色に対応する輝度の値を備えることを特徴とする請求項１記載の方法。
5. 画像の特性に対応した元の値は、周波数の範囲に対応した輝度の値を備えることを特徴とする請求項１記載の方法。
6. ある画素の元の値と、その画素に隣接して、ある鋭さの閾値よりも元の値が低い画素の元の値とを平均化することは、ある画素の元の値と、その画素に隣接して、ある鋭さの閾値よりも元の値が低い画素の加重された元の値とを平均化することを備えていることを特徴とする請求項１記載の方法。
7. 前記加重された元の値は、次の
   

   

   の式によって決定され、ここで、ｐｉｘｅｌＮは、加重された画素の値であり、ｃｅｎｔｅｒｐｉｘｅｌは、中央の画素の値であり、Ｇａｉｎは、鋭さの閾値であることを特徴とする請求項６記載の方法。
8. 鋭さの閾値よりも小さい差分を計算するのに使用される元の値は、平均化に使用される元の値とは異なる特性に対応することを特徴とする請求項１記載の方法。
9. 動的な画像マスクの値を計算する段階には、元の画像上のピラミッド型の分解を行う段階が含まれることを特徴とする請求項１記載の方法。
10. 前記数学的関数は、除算を含むことを特徴とする請求項１記載の方法。
11. 前記数学的関数は、次の
    

    

    の式を含み、ここで、ＯＵＴは質の向上したスキャン画像内で計算される画素の値であり、ＩＮは、元の画像の中の相対的画素の値であり、ＭＡＳＫは、動的な画像マスクの中の相対的画素の値であることを特徴とする請求項１記載の方法。
12. 質の向上したスキャン画像に対してヒストグラムの平準化を行う段階を、さらに備えることを特徴とする請求項１記載の方法。
13. 前記質の向上したスキャン画像には、画像のコントラストとグレイスケールのコントラストとが含まれることを特徴とする請求項１記載の方法。
14. 前記画像のコントラストとグレイスケールのコントラストとは、互いに、独立して制御することができることを特徴とする請求項１３記載の方法。
15. 前記動的な画像マスクの値は、ユーザーによって比例的に変更することができることを特徴とする請求項１記載の方法。
16. 被写体の、ある特性に対応する電気信号を作り出すように動作可能なセンサシステムと、
    電気信号を受信し、各画素に対する画像の値を作り出すように動作可能なプロセッサと、
    その上に記憶されたソフトウェアを持つメモリ媒体と
    を備え、前記ソフトウェアは、
    ある画素の画像の値と、その画素に隣接して、ある鋭さの閾値よりも画像の値が低い画素の画像の値とを平均化することにより、各画素の動的な画像マスクの値を計算し、
    質の向上した画像を作るために数学的関数を用いて、対応する各画素に対する画像の値に、動的な画像マスクの値を適用する
    ように動作可能であることを特徴とするシステム。
17. 前記センサシステムは、被写体からの光を測定するように動作することを特徴とする請求項１６記載のシステム。
18. 前記センサシステムは、磁気共振パルスを測定するように動作することを特徴とする請求項１６記載のシステム。
19. 質の向上した画像を印刷するように動作可能なプリンタをさらに備えることを特徴とする請求項１６記載のシステム。
20. 前記プリンタは、写真プリンターを備えることを特徴とする請求項１９記載のシステム。
21. 質の向上した画像を記憶するように動作可能な、ディジタル出力機器をさらに備えることを特徴とする請求項１６記載のシステム。
22. 前記システムは、ディジタルカメラとビデオカメラのグループの中にディジタル機器を備えることを特徴とする請求項１６記載のシステム。
23. 前記システムは、磁気共振画像システムと、レーダーシステムのグループ内に画像システムを備えることを特徴とする請求項１６記載のシステム。
24. 前記ソフトウェアは、画像取り込み機器の中に読み込まれることを特徴とする請求項１６記載のシステム。
25. 前記システムは、プリンタ機器を備えることを特徴とする請求項１６記載のシステム。
26. コンピュータ読み取り可能な媒体の中で明白に具現化されるソフトウェアであって、該ソフトウェアは、
    ディジタルの元の画像から動的な画像マスクを生成する段階と、
    動的な画像マスクと元の画像を結合して、質の向上した画像を作る段階と
    を備える方法を実現することによって、質の向上したがぞうを作り出すように動作可能であり、
    前記動的な画像マスクと元の画像は、各々、変化する値を持った複数の画素を備え、
    複数の動的な画像マスクの画素の値は、元の画像の中の、より急速に変化する画素値の範囲に対応する鋭い端部と、元の画像の中の、やや速く変化する画素値の範囲に対応するやや鋭い領域とを形成するように設定されることを特徴とするソフトウェア。
27. 前記元の画像には、物理的に再生産可能なダイナミックレンジで符号化された画像の大量の細部が含まれ、
    前記質の向上した画像には、物理的に再生産可能なダイナミックレンジで符号化された、さらに大量の細部が含まれることを特徴とする請求項２６記載のソフトウェア。
28. 動的な画像マスクと元の画像とを結合することは、数学的な操作によって行われることを特徴とする請求項２６記載のソフトウェア。
29. 前記数学的な操作は、除算を含むことを特徴とする請求項２８記載のソフトウェア。
30. 動的な画像マスクの中の画素は、次の式
    

    

    によって生成され、ここで、ＯＵＴは質の向上したスキャン画像内で計算される画素の値であり、ＩＮは、元の画像の中の相対的画素の値であり、ＭＡＳＫは、動的な画像マスクの中の相対的画素の値であることを特徴とする請求項２６記載のソフトウェア。
31. ヒストグラムを平準化する段階をさらに備えることを特徴とする請求項２６記載のソフトウェア。
32. 動的な画像マスク内のある画素の値は、元の画像内の画素に対応する中央画素の値と、元の画像内の隣接する複数の画素の加重された値を平均化することにより生成されることを特徴とする請求項２６記載のソフトウェア。
33. 複数の隣接する画素を加重化することは、隣接する画素が中央画素にどれだけ近いかということと、複数の隣接する画素と中央画素とのコントラストとによって決まることを特徴とする請求項３２記載のソフトウェア。
34. 動的な画像マスク内の画素の加重値は、次の式
    

    

    によって決定され、ここで、ｐｉｘｅｌＮは、加重された画素の値であり、ｃｅｎｔｅｒｐｉｘｅｌは、中央の画素の値であり、Ｇａｉｎは、鋭い端部を決定するためのコントラストの閾値であることを特徴とする請求項２６記載のソフトウェア。
35. 動的な画像マスク内の画素の値は、異なる特性の値の関連に基づいて生成されることを特徴とする請求項２６記載のソフトウェア。
36. 前記動的な画像マスクを生成する段階には、元の画像の上でピラミッド型の分解を行う段階が含まれる特徴とする請求項２６記載のソフトウェア。
37. 前記ソフトウェアは、コンピュータ上にあることを特徴とする請求項２６記載のソフトウェア。
38. 前記ソフトウェアは、ディジタルカメラの上にあることを特徴とする請求項２６記載のソフトウェア。
39. 画像から反射された光を、画像を表す情報へと変換する画像センサと、
    プロセッサと、
    前記プロセッサと動作可能に結合されるメモリと、
    前記メモリ内に記憶され、前記プロセッサが実行することができる命令のプログラムと
    を備え、
    前記命令のプログラムは、前記プロセッサを操作して、
    動的な画像マスクを得ることと、
    画像マスクと画像を表す情報とを結合して、マスクされた画像を得ることと
    を実行させ、
    前記動的な画像マスクと画像を表す情報は、各々、変化する値を持った複数の画素を備え、
    複数の動的な画像マスクの画素の値は、元の画像の中の、より急速に変化する画素値の範囲に対応する、より鋭い端部と、元の画像の中の、やや速く変化する画素値の範囲に対応するやや鋭い領域とを形成するように設定されることを特徴とするシステム。
40. 画像センサに動作可能に接続されて、画像を表す情報から色情報を生成するカラーデコーダをさらに含むことを特徴とする請求項３９記載のシステム。
41. 前記命令のプログラムは、前記画像センサの出力に対して実行され、前記実行される命令のプログラムの結果は、前記カラーデコーダに入力されることを特徴とする請求項４０記載のシステム。
42. 前記カラーデコーダに動作可能に接続されて、前記色情報を処理する色管理システムをさらに含むことを特徴とする請求項３９記載のシステム。
43. 前記命令のプログラムは、前記カラーデコーダの出力に対して実行され、前記実行される命令のプログラムの結果は、前記色管理システムに入力されることを特徴とする請求項４２記載のシステム。
44. 前記カラーデコーダの前記出力は、画像の赤の部分と、画像の緑の部分と、画像の青の部分を表す情報であることを特徴とする請求項４３記載のシステム。
45. 前記色管理システムに動作可能に接続されて、色情報を記憶する記憶システムをさらに含むことを特徴とする請求項４２記載のシステム。
46. 前記命令のプログラムは、前記色管理システムの出力に対して実行され、前記実行される命令のプログラムの結果は、前記記憶システムに入力されることを特徴とする請求項４５記載のシステム。
47. 画像を表す情報の表記を表示する動作が可能な、表示装置をさらに含むことを特徴とする請求項３９記載のシステム。
48. 前記命令のプログラムは、色管理システムの出力に対して実行され、前記実行される命令のプログラムの結果は、前記表示装置に入力されることを特徴とする請求項４７記載のシステム。

Images