JP2007503605A - 画像処理のための画像プロセッサ及び方法 - Google Patents
画像処理のための画像プロセッサ及び方法 Download PDFInfo
- Publication number
- JP2007503605A JP2007503605A JP2006524106A JP2006524106A JP2007503605A JP 2007503605 A JP2007503605 A JP 2007503605A JP 2006524106 A JP2006524106 A JP 2006524106A JP 2006524106 A JP2006524106 A JP 2006524106A JP 2007503605 A JP2007503605 A JP 2007503605A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- electronic
- telescope
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Telescopes (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本発明の様々な実施例においては、望遠鏡(10)及び双眼鏡(110)などの光学画像生成システムは、画像の組を受け取る段階と、この画像の少なくとも一部の定量的な評価を実行することによってその画像の品質を評価する段階と、を有する画像処理方法を利用している。上記の画像の品質に基づいて、その画像のサブセットを選択し、この画像のサブセットを合成画像に合成する(32)。
Description
本発明は、画像処理に関するものであり、更に詳しくは、例えば、ぼけを低減するために利用可能な画像プロセッサ及び画像処理方法に関するものである。
月、惑星、及び星などの天体の光学画像を生成可能な天体望遠鏡は、これらの天体の画像をフィルム上に記録するために写真用カメラを装備することができる。このようなシステムにおいては、カメラ内部の写真フィルムは、望遠鏡の焦点面に配置されている。
この代わりに、望遠鏡の焦点面にCMOS検出器アレイ(detector array)を配置することにより、天体の光学画像を電子的に記録することも可能である。CMOS検出器アレイは、照明に応答して電気信号を出力する複数の検出器を有している。この複数の検出器(これらの検出器は、それぞれ、ピクセルと呼ばれる)からの出力は、集合されて画像を再構築する。この電気出力をRAMあるいは記憶装置などのメモリに電子的に転送可能である。
CMOS(Complementary Metal Oxide Semiconductor)技術に基づくCMOS検出器アレイは、一般に、CCD焦点面アレイ(focal plane array)よりも安価である。しかしながら、CMOS検出器アレイは、CCDよりも感度が劣り、従って、低い光レベルの用途には適していない。
天体の画像は、地球から取得した場合には、時間、温度、場所、及び高度によって変化する大気の屈折率の変動などの大気の影響の結果、一般にぼけている。これらの屈折率の変動により、光の伝播が不規則かつ予測不能なように変化し、この結果、ぼけ(blurring)などの画像の劣化が生じる。
従って、これらの大気の影響の結果生じる画像の劣化を低減する装置及び方法が求められている。
本発明の一態様は、画像の組を受信する段階と、この画像の少なくとも一部の定量的な評価を実行することによってその画像の品質を評価する段階と、を含む画像処理方法を含む。この画像の品質に基づいて、画像のサブセットを選択し、その画像のサブセットを合成画像に合成する。
本発明の別の態様は、光学画像が形成される像平面(image plane)を具備する画像生成光学系(imaging optics)を含む光学画像生成システム(optical imaging system)を含む。この光学画像生成システムは、検出器アレイと画像プロセッサ(image processor)を更に含む。この検出器アレイは、上記の像平面内に実質的に配設され、複数のピクセルを含む電子画像に対応した電気信号を出力する。上記の画像プロセッサは、この複数の電子画像を受信する。この画像プロセッサは、画像の品質を評価し、この電子画像の品質に基づいて電子画像のサブセットを選択し、この電子画像のサブセットを合成画像に合成するように構成される。
本発明の別の態様は、光学画像生成システムから得られた光学画像を表す入力を受領することができるコンピュータプログラムを含む。このコンピュータプログラムは、画像の少なくとも一部分の情報量の計測値(measure)に基づいて画像の品質を査定し、この計測した情報量に基づいて画像を選択し、そしてこの選択した画像を合成画像に合成するように構成される。
本発明の別の態様は、コンピュータアクセス可能な記憶媒体内に保存され、プロセッサにおいて実行可能な画像処理モジュールを含む製造品(article of manufacture)を含む。この画像処理モジュールは、画像の圧縮性(compressibility)を計測し、この圧縮性に基づいて画像のサブセットを選択し、そしてこの画像のサブセットを合成画像に合成するように構成される。
本発明の別の態様は、画像の組を受信する手段と、画像の少なくとも一部の定量的な評価を実行することによってその画像の品質を評価し、この画像の品質に基づいてその画像のサブセットを選択し、そしてこの画像のサブセットを合成画像に合成する手段と、を含む光学システムを含む。
上述の、並びに、本明細書の別の場所に記述されているような様々な実施例は、望遠鏡及び双眼鏡に適用可能である。
例えば、本発明の別の態様は、それぞれが対物レンズ(objective)と接眼レンズ(ocular)を含む左右の光学経路を含む双眼鏡を含む。この双眼鏡は、電子信号を出力する光電子検出器アレイ(optoelectronic detector array)を含む電子カメラと、この光電子検出器アレイから生成された電子画像を処理する画像処理電子回路(electronics)と、を更に含む。この画像生成処理電子回路は、上記の複数の電子画像を合成画像に合成するように構成される。
本発明の別の態様は、双眼鏡、電子信号を出力する光電子検出器アレイを含む電子カメラ、及び光電子検出器アレイから生成された電子画像を処理する画像処理電子回路を含む光学画像生成装置を含む。この画像生成処理電子回路は、複数の電子画像を合成画像に合成するように構成される。
本発明の別の態様は、望遠鏡光学系、電子カメラ、及び画像処理電子回路を含む望遠鏡アセンブリを含む光学画像生成装置を含む。この電子カメラは、画像の形成及び記録のために望遠鏡の光学系から光を受光するように望遠鏡アセンブリに対して配設される。この電子カメラは、電子信号を出力する光電子検出器アレイを含む。上記の画像処理電子回路は、光電子検出器アレイから生成された電子画像を処理し、この複数の電子画像を合成画像に合成するように構成される。
本発明の別の態様は、調節可能な焦点を有する画像生成光学系を含む望遠鏡又は双眼鏡を含む。この望遠鏡又は双眼鏡は、複数のピクセルを含む電子画像に対応した電気信号を出力する検出器アレイを更に含む。この望遠鏡又は双眼鏡はまた、異なる焦点設定で取得された複数の電子画像を受信する画像プロセッサをも含む。この画像プロセッサは、これらの異なる焦点設定に対応した画像の品質を評価するように構成される。上記の望遠鏡又は双眼鏡は、どの焦点設定が向上した画像品質をもたらすかを記録するメモリを更に含む。
(優先出願)
本出願は、2003年8月22日付けで出願された「Image Processors and Methods of Image Processing」という名称の米国特許仮出願第60/497,098号に対する優先権を主張するものであり、この内容は、本引用により、そのすべてが本明細書に包含される。
以下、本発明を例示するために、様々な特定の実施例について説明する。当業者であれば理解されるように、特定の実施例の実施に関連した以下に説明する様々な詳細事項は、特に明記していない限り、通常、その他の実施例に、また本発明に一般的に適用可能である。
本出願は、2003年8月22日付けで出願された「Image Processors and Methods of Image Processing」という名称の米国特許仮出願第60/497,098号に対する優先権を主張するものであり、この内容は、本引用により、そのすべてが本明細書に包含される。
以下、本発明を例示するために、様々な特定の実施例について説明する。当業者であれば理解されるように、特定の実施例の実施に関連した以下に説明する様々な詳細事項は、特に明記していない限り、通常、その他の実施例に、また本発明に一般的に適用可能である。
図1及び図2は、望遠鏡管(telescope tube)を含む望遠鏡管アセンブリなどの望遠鏡本体11内に配設された望遠鏡の光学系を含む望遠鏡10を示している。望遠鏡の光学系は、主鏡(primary mirror)及び副鏡(secondary mirror)(図示されてはいない)と、恐らくは、いくつかの実施例においては、例えば、補正板(corrector plate)などのその他の光学系を含むことができる。接眼鏡(eyepiece)などのその他の光学系を含むことも可能である。但し、望遠鏡10は、その他の構成も利用可能であり、何らかの特定の設計に限定されるものではなない。望遠鏡10は、例えば、反射型、屈折型、又は反射屈折型(catadioptric)であってよく、例えば、当技術分野において周知のもの、並びに、今後考案されるものの両方の様々な光学的及び機械的設計を含むことができる。
望遠鏡10は、CMOSカメラなどのカメラ12を含むことができる。CMOSカメラ12は、好ましくは、望遠鏡10の焦点面又は像平面に配設されたCMOS検出器アレイを含む。CMOS検出器アレイは、光電子デバイス、即ち、更に詳しくは、光学パワー(optical power)を電子信号に変換する光検出器の二次元アレイを含む。二次元アレイ内の光検出器はピクセルと呼ばれる。望遠鏡10の像平面上に形成された光学画像(optical image)は、CMOS検出器アレイによって検知され、様々な光検出器のそれぞれが、個々の検出器ピクセル上に入射する光の量に依存する電気信号を出力する。このようにして、光学画像を電子画像(electronic image)として記録可能である。このようは画像は、しばしば、例えば、電子信号がデジタル化される場合においては、デジタル画像(digital image)と呼ばれている
上述のように、CMOS検出器アレイ内の光学検出器は、CMOS(Complementary Metal Oxide Semiconductor)デバイス技術に基づいている。複数の検出器から出力される電気信号を処理する電子回路をCMOS検出器アレイと統合可能である。好都合なことに、CMOS検出器アレイは、安価であり、従って、好適である。しかしながら、望遠鏡10と連結して利用するカメラは、CMOS検出器アレイに限定されるものではない。例えば、特定のシナリオにおいては、CCD検出器アレイなどのその他の光電子焦点面アレイも利用可能である。
望遠鏡10は、月、惑星、星、彗星、より明るい深宇宙物体、又は宇宙のその他の物体などの天体上に、あるいはその代りに地上の物体上に焦点を合わせ、これにより、焦点面又は像平面上に光学画像を生成可能である。この光学画像をCMOSカメラ12によって電子画像に変換可能である。図3は、望遠鏡10によって拡大された惑星(火星)の典型的な電子画像を示している。この火星の画像は、恐らくは大気の歪の結果として、多少ぼけている。前述のように、時間、場所、高度、及び温度に伴う大気の屈折率の変動により、望遠鏡に伝播する光経路の一般に予測不能な偏位が生ずる。この結果、画像が劣化する。
ぼけを低減するために、光学画像をCMOS焦点面アレイによって捕え、この結果得られる電子画像を画像プロセッサに転送する。画像プロセッサは、改善された画像を生成する処理を実行する。図4には、CMOM検出器アレイ16と画像プロセッサ18を含む画像生成システム14のブロック図が示されている。画像システム14は、好ましくは、望遠鏡などの画像生成光学系を含み、これは、無限焦点光学系(afocal optical system)である。但し、その他の光学系も検出器アレイと連結して利用可能である。例えば、光学系は、以下に述べるように双眼鏡を含むことができる。典型的な画像プロセッサ18は、アナログ及び/又はデジタル回路、すなわち電子回路、1つ又は複数のマイクロプロセッサ又はコンピュータ、或いは、これらの任意の組み合わせの形態とすることができる。本明細書に記述されている処理を実行するその他の構造で、周知の構造と今後考案されるものの両方も利用可能である。
画像生成システム14の好適な一実施例が、図5のブロック図によって示されている。図示のように、CMOS検出器アレイ16と共に、カメラ電子回路20を含むことができる。カメラ電子回路20は、検出器アレイと同一のチップ上のCMOM回路を含むことができ、或いは、別個のチップ、ボード、モジュール、あるいはその他の電子構造上の電子回路を含むことも可能である。特定の実施例においては、カメラ電子回路20は、検出器アレイ16から出力される信号をデジタル化、増幅、制御、保存するか、又はその他の方法で操作することができる。カメラ電子回路20は、複数の光学検出器から出力された電気信号の別個のコンポーネントへの転送を容易にするのが好ましい。特定の実施例においては、その他のタスクを別の所で実行可能である。
図5に示されている画像生成システム14は、コンピュータ22を更に含む。様々な好適な実施例においては、光学的処理は、コンピュータ22によって少なくとも部分的に実行される。従って、図4に示されている光学プロセッサ18は、好ましくは、図5に概略的に示されているようなコンピュータ22によって少なくとも部分的に具体化される。その他の処理タスクを別の所で実行可能であり、コンピュータは、更に追加の機能を実行することも可能である。代替実施例においては、光学プロセッサ18をコンピュータ以外の装置によって実施可能であるが、コンピュータが好ましい。このコンピュータは、マイクロプロセッサ、パーソナルコンピュータ、又はワークステーション、或いは、その他のタイプのコンピュータを含むことも可能である。図5は、データリンク24によって提供されるカメラ電子回路20とコンピュータ22間の電気的接続を示している。このデータリンク24は、例えば、USB接続を含むことが可能である。その他のタイプの接続及びフォーマットも利用可能である。データ転送は、電気的及び光学的リンクに限定されるものではない。これらの接続は、例えば、ワイヤやケーブルによって形成可能であるが、無線データ転送を含むことも可能である。
図5に示されているコンピュータ22は、RAM(Random Access Memory)と、例えば、磁気又は光ハードドライブ(hard drive)、磁気又は光ディスク、或いは、その他のデータ記憶装置を含むことが可能な記憶装置(storage)と、を含んでいる。様々な好適な実施例においては、画像処理は、RAM、及び、恐らくは、ハードドライブなどのデータ記憶装置を使用して、少なくとも大部分が実行される。RAMは電子画像を一時的に保存及び処理するために使用可能である。記憶装置を使用することにより、画像と、恐らくは、プログラム命令を保存することもできる。但し、様々なその他の実装及び構成も利用可能である。図示のコンピュータ22は、ユーザーインターフェイス26を更に含んでおり、これは、例えば、コンピュータディスプレイ、キーボード、及び/又はマウスを含むことができる。その他のユーザーインターフェイス26で周知のもの及び今後考案されるものの両方をも利用可能である。
ぼけを低減するために、複数の画像を取得するのが好ましい。様々な好適な実施例においては、これらの画像は、その上部に、多少ぼけた光学画像の焦点が合わせられる検出器アレイ16によって取得される。検出器アレイ16は、これらのぼけた画像を様々な時点において補え、画像の電子表示(electronic representation)を生成する。
これらの画像は、コンピュータ又はマイクロプロセッサ制御又は制御電子回路、及び/又は制御信号の支援で自動的に捕えることが可能であり、或いは、画像を手動で取得することが可能である。シャッタを開いて、検出器を光学画像に対して露光させるシャッタ制御を使用して、多重露光(multiple exposure)を捕えるのが好ましい。露光時間の自動又は手動制御を備えることが可能である。この露光は、例えば、約1/5000秒〜16秒の間の範囲とすることができる。画像をリアルタイムで表示可能であり、画像の品質の定量的な計測値とその他の計測可能な特性を、例えば、ディスプレイなどのユーザーインターフェイスを介して、ユーザーに提供可能である。
好ましくは、複数の電子画像を処理してぼけを低減する。図6は、この画像の劣化を低減するためのプロセスの好適な一実施例を説明するフローチャートを示している。コントラストなどの品質を改善するために、複数の画像を合成して、好ましくはより明瞭であってぼけの少ない合成画像を生成する。この合成画像の生成に使用する複数の画像は、より大きな画像の組から選択され、この選択されたサブセットは、優れた品質のものであるのが好ましい。
選択は、例えば、画像又は試験される画像の領域内に含まれている情報量に基づくことができる。情報コンテンツ(information content)は、例えば、画像又は評価される画像の一部分の圧縮性を判定することによって計測可能である。情報コンテンツが大きいほど、画像の圧縮性は小さい。逆に、情報コンテンツが少ないほど、圧縮性は大きくなる。より大きな情報量を有する画像を選択することができる。情報コンテンツの閾値レベルを下回るその他の画像を、合成される画像のサブセットから除外して、より高品質の合成画像を生成することができる。
或いは、この代わりに、選択は、例えば、ぼけなどの画像の劣化レベルに、又は、逆に、明瞭度(clarity)及びコントラストのレベルに基づくことができる。より高いコントラストを有する画像、ピクセル間における信号強度のより大きな変動を有するもの、を選択することができる。閾値のコントラストレベルを下回るその他の画像を、合成される画像のサブセットから排除して、より高品質の合成画像を生成可能である。
画像の合成は、ピクセルごとにその強度を加算することを含むことができる。いくつかのケースにおいては、合計強度(aggregate magnitude)をスケーリングすることができる。様々な実施例において、例えば、合成画像内の所与のピクセルの値は、その合成画像の形成に使用されるサブセット内に含まれている画像のそれぞれ内の対応するピクセルの強度の平均値である。
画像を合成する前に、画像内の共通的な特徴が実質的にアライメントされるように、画像を移動させる(translate)ことができる。好ましくは、画像を移動することにより、複数の画像が取得される期間内における画像内の特徴が動くこと(movement)の影響が実質的に除去される。このような動きは、例えば、大気の擾乱、望遠鏡の振動、又は地球の回転の結果として生じ得る。追加的なフィルタリングを利用し、画像の品質を改善可能である。このフィルタリングは、コントラストを増大させるためのコントラスト増強フィルタリング(contrast-enhancing filtering)を含むことができる。いくつかの実施例においては、このフィルタリングは、画像が合成されて合成画像を形成した後に、実行可能である。但し、このフィルタリングは任意選択である。
図6は、上述のこれらの処理段階のいくつかを概略的に示している。ブロック28は、より大きな画像の組から画像のサブセットを選択する段階に対応している。この選択プロセスは、劣化の大きな画像を拒絶することにより、合成画像の品質を改善するのが好ましい。ブロック30は、画像をアライメントする段階に対応している。様々な好適な実施例においては、画像を、その中の特徴が実質的にアライメント状態になるように、好ましくは、横方向に移動させる。特定の実施例においては、アライメント(alignment)は省略可能である。ブロック32は、例えば、選択された画像のそれぞれにおける対応するピクセルの値を合計することによって画像を合成する段階に対応している。前述のように、その合計をスケーリングしたり、或いは、総計値をその他の方法で調節したりすることが可能である。ブロック34は、画像品質を改善するための追加的なフィルタリングの段階に対応している。このようなフィルタリングは、例えば、カーネルフィルタリング(Kernel filtering)を含むことができる。
図7A及び図7Bは、画像品質を改善するための様々な好ましいプロセスを示すフローチャートである。このような実施例においては、画像は、図7Aのブロック36に例示されているように、光学プロセッサ(optical processor)18によって受信される。画像の品質をサンプリングするために、画像の一部を選択する。画像のより小さな部分にわたって定量的な分析を実行することにより、好ましくは、処理速度が向上し、従って、有利である。図8は、定量的な評価のために選択された画像の領域を示している。図8は、図3の画像の複製(reproduction)であり、これは、宇宙の暗い背景に対する前面の惑星(火星)に対応している。但し、惑星は、分析のために選択された画像の部分を規定する矩形の境界によって囲まれている。様々な好適な実施例においては、この領域は、少なくとも、最初は、特定の関心領域(Region Of Interest:ROI)を指定可能なユーザーによって選択される。或いは、この代わりに、ユーザーは、暗い背景に対する明るい特徴、又はこの逆のような、顕著な高コントラストの特徴を選択可能である。このような特徴は、大量の詳細(detail)と情報コンテンツを有しているのが好ましい。例えば、このような顕著な高コントラストの特徴を識別することによって上記の関心領域を選択するように、プロセッサ18を構成することも可能である。この関心領域のサイズは可変である。定量的な評価のためにこの領域を判定するこの段階は、図7Aのブロック38に表されている。
図8は、恐らくは、ユーザーインターフェイスを介してユーザーに提示される惑星の画像を示している。このユーザーインターフェイスは、例えば、LCDディスプレイやコンピュータモニタなどのディスプレイの形態のコンピュータ画面を含むことができる。前述のように、ユーザーインターフェイスは、コンピュータキーボード及び/又はマウス、或いは、その他のコンピュータ制御装置を更に含むことが可能である。このようなインターフェイスの支援で、ユーザーは、このような領域をプロセッサ18が自動的に選択するように構成されていない場合に、分析用の特定の領域を指定可能である。
図示のように、画面は、画像処理と、例えば、情報コンテンツ、ぼけ、コントラスト、又は焦点の計測値とに関連するパラメータ及びオプションを指定するための制御部(control)などの追加の項目を含むこともできる。画面は、強度(x軸)対ピクセル数(y軸)のプロットの形態の分布ピクセル強度(distribution pixel intensity)を示すヒストグラム(Histogram)を含むことも可能である。
図7Aのブロック40に示されているように、定量的な評価のために選択された領域に対して性能指数(figure of merit)を算出する。図9は、定量的な分析のために指定された領域内のピクセルに対応するピクセルの典型的なアレイ42を示している。この典型的なアレイ42は、6つの行と9つの列からなる合計54個のピクセルを含んでいる。図9のアレイ42は、一例として使用するものに過ぎず、行及び列の数とピクセルの合計数は、選択した領域に応じて、これより多くても少なくてもよい。この領域は、更に一般的には、M個の行とN個の列からなる合計MxN個のピクセルを含む。
性能指数は、関心領域内の情報量に基づくか、又はこれに関係することができる。メッセージ内の情報の計測(measurement)に関する情報、情報理論、及び詳細については、C. E. Shannonによる「A Mathematical Theory of Communication」(The Bell System Technical Journal、第27巻、379〜423、623〜656頁、1948年7月、10月)の独創的な論文に与えられており、この内容は、本引用により、本明細書にそのすべてが包含される。情報量は、画像の品質を査定する1つの方法である。異なる情報量を含む同一物体の画像は、画像品質の変動を示すことができる。例えば、ぼけ、低分解能、詳細の消失、及び/又はその他の影響などの劣化を有する画像は、一般に、相対的に少ない情報量を含む。このような劣化は、例えば、光学的な歪、望遠鏡又は光学系の振動及び動き、検出装置内の電子的雑音、又はその他の原因から結果的に生じ得る。逆に、大きな情報コンテンツを有する画像は、有意な分解可能な詳細(significant resolvable detail)を反映可能である。例えば、情報コンテンツは、1つのピクセルの信号の値から隣接するピクセルの信号を予測する能力にも関係している。従って、様々な好適な実施例においては、情報コンテンツを計測して、画像内の分解可能な有用な詳細などの画像品質を評価している。
様々な実施例においては、指定された領域42内の圧縮性を算出することにより、情報コンテンツ、例えば、関心領域内に如何に多くの情報があるかが査定される。この圧縮性は、画像又は指定された領域42内に含まれている情報量を示している。例えば、暗い空などの完全に暗い画像は、ほとんど情報を有しておらず、高度に圧縮可能である。逆に、月の表面などの膨大な詳細を有する高品質の画像は、大量の情報を含んでおり、あまり圧縮できない。従って、暗い空の画像を含む.TIFFや.JPGなどの画像ファイルは、圧縮されると、月の詳細な画像の類似した圧縮ファイルと比べて、小さくなるであろう。同様に、同一物体の光学画像は、同一の情報量を含んでいるはずであり、従って、画像のいずれかが大幅に劣化していない限り、同一のサイズに圧縮されるはずである。劣化した画像は、劣化していない画像よりも含んでいる情報が少なく、更に圧縮可能である。従って、圧縮性を情報コンテンツの尺度として使用可能であり、上述のように、類似した画像内の情報量を使用し、その画像の品質を評価することができる。
情報コンテンツを判定する1つのプロセスは、適応型デルタ変調(adaptive delta modulation)を含む。その他の方法で周知のもの及び今後考案されるものの両方も利用可能である。圧縮性以外のその他の値を使用して、情報コンテンツ、従って、指定された領域内の画像の品質を特徴付けることも可能である。
有用な背景は、例えば、Space Telescope Science Instituteの「STSDAS User’s Guide」(Science Computing and Research Support Division, STSCI, Baltimore、1994年)と、Barnes、Jeanetteによる「A Beginner’s Guide to Using IRAF, IRAF Version 2.10」(NOAO, Tucson、1993年)に見出すことができ、これらの内容も、それぞれ、本引用により、本明細書にそのすべてが包含される。また、Dantowitz, R.による「Sharper Images Through Video」(Sky and Telescope、第96巻、第2号、48頁、1998年8月)、Hale, A. S、Danotwitz, R.、Kozubel, M.、Teare, S.、Gillam, S.Gによる「The Selective Image Reconstrucion(SIR) Imaging Technique: Application to Planetary Science」(AAS DPS Meeting #33, Bull of AAS、第33巻、1143頁)、及びThompson, L. A.による「Adaptive Optics In Astronomy」(Physics Today、第47巻、第12号、24〜31頁、1994年)も参照されたい(これらも、それぞれ、本引用により、本明細書にそのすべてが包含される)。
様々な代替実施例においては、画像の品質の査定に使用する性能指数は、コントラストのレベルに基づいている。このコントラストのレベルは、指定された領域42内のピクセル中の信号値の分散(variance)又は標準偏差を算出することによって査定可能である。分散は、次の式によって演算可能である。
ここで、I(i,j)は、ピクセル(i,j)での信号レベルであり、iは、アレイ42内のMxN個のピクセルのそれぞれの行に対応し、jは、その列に対応している。例えば、分散の平方根である標準偏差も利用可能である。分散及び標準偏差以外のその他の値を使用し、指定された領域内の変動、即ち、コントラストレベルを特徴付けることも可能である。
コントラストのレベルを定量化する別の方法では、アレイ42にわたって、隣接するピクセル間の信号強度の差を判定する。例えば、一実施例においては、所与のピクセルと、その右のピクセル、並びに、その下のピクセルの間の信号レベルの差を査定することによってその変動を評価可能である。例えば、図9に示されているピクセル(3,4)に対しては、ピクセル(3,5)及び(4,4)が考慮される。これらの2つの隣接ピクセルの信号をピクセル(3,4)の信号と比較する。更に一般的には、ピクセル(i,j)に対して、ピクセル(i+1,j)及び(i,j+1)と比較を行う。算出される値は、隣接ピクセル間の信号の差に基づくことができる。アレイ内の各ピクセルを考慮するのが好ましい。これらの2つの差の合計に基づいた性能指数を使用可能である。例えば、第1の差δ1は、δ1=|I(i,j)−I(i+1,j)|と定義でき、第2の差δ2は、δ2=|I(i,j)−I(i,j+1)|と定義できる。性能指数は、次のように定義できる。
ここで、Δi,j=δ1+δ2である。好ましくは、このような加算は、アレイ42全体、即ち、MxN個のピクセル全体にわたって演算されて、ピクセル中における変動を示す数値を与える。値が大きいほど、大きな変動を、そして、恐らくは、高いコントラストを意味している。逆に、値が小さいほど、小さな変動と、低いコントラストに対応する。この性能指数は、正規化又はスケーリング可能である。異なる実施例においては、上記の変動及びコントラストレベルを特徴付ける様々なその他の性能指数を利用可能である。更に、画像品質の様々な尺度を利用可能である。
図7Aのブロック44に示されているように、画像品質を示す性能指数を記録する。ブロック44は、性能指数の高い値及び低い値が記録されることを示している。その他の画像が評価されて性能指数のレベルの範囲が確立されるまで、分析された第1の画像に対して得られた性能指数値が高い閾値レベルと低い閾値レベルの両方となる。
ブロック48に例示されているように、別の画像を受信し、ブロック36、38、40、及び44によって表されているこの処理の部分が反復される。即ち、定量的に評価されるべき画像の一部分を判定し、その領域内の性能指数を計測する。この画像に対しては、定量的な分析のための領域は、元々、ユーザーによって指定された、或いは、プロセッサ18によって判定されたものと同じままでよい。その他の実施例においては、この領域の場所(及び、場合によっては、そのサイズ)を再評価及び再定義可能である。この画像に対する性能指数の値を、以前に記録されている高い性能指数値又は低い性能指数値と比較する。この性能指数の値が、記録されている高い性能指数値を上回っているか、或いは、低い性能指数値を下回っている場合には、この性能指数の値が、それぞれ、性能指数値の高い値又は低い値として記録される。
ブロック36、38、40、及び44によって表されているこの処理の部分は、複数回反復される。この回数は、ユーザーがユーザーインターフェイスを介して設定可能である。その他の実施例においては、この回数は、プロセッサ18によって設定可能である。この回数は、例えば、約5〜10回の間の範囲であってよいが、この処理の部分を反復する回数は、これらの範囲外であってもよい。
図7Aのブロック50によって示されているように、性能指数の閾値を定義する。好ましくは、この性能指数の閾値は、以前に分析した複数の画像について記録されている性能指数の値(ブロック44参照)に少なくとも部分的に基づいている。いくつかの実施例においては、この性能指数の閾値は、これらの画像に対する関心領域内において計測された情報コンテンツに基づいている。いくつかの実施例においては、この性能指数の閾値は、これらの画像の関心領域内において計測されたコントラストに基づいている。この場合にも、その他の実施例が可能である。
様々な好適な実施例においては、記録されている情報コンテンツ又は圧縮性の最大値及び最小値などの上側及び下側の値が識別される。これらの閾値レベルは、これらの情報コンテンツ又は圧縮性の高い値及び低い値を使用して判定可能である。例えば、この閾値は、これらの値の間の中間あるいは最大値と最小値の差の約50%など、記録されている情報コンテンツ及び/又は圧縮性の最大値及び最小値の間の値であってよい。この閾値は、上記の中間点に限定する必要はない。この代わりに、最大値に近い又は最小値に近いその他のレベルを使用可能である。いくつかの実施例においては、ユーザーは、閾値が、上記の最小値を約10%上回っている、約20%又は30%などか、又はユーザーが所望するなんらかの値かを指定可能である。その他の方法を利用して閾値を提供することも可能である。
その他の好適な実施例においては、記録されている変動の最大値及び最小値などの上側及び下側の値が識別される。標準偏差をコントラストの尺度として利用している場合には、これらの値は、それぞれ、σmax及びσminに対応可能である。閾値レベルは、これらの大きな及び小さな変動の値を使用して判定可能である。前述のように、例えば、この閾値は、これらの値の中間あるいは最大値と最小値間の差の約50%など、σmaxとσminの間の値であってよい。この代わりに、最大値に近い又は最小値に近いその他のレベルを使用することも可能である。いくつかの実施例においては、ユーザーは、閾値が、上記の最小値を約10%上回っている、約20%又は30%などか、又はユーザーが所望するなんらかの値かを指定可能である。その他の方法を利用して閾値を提供することも可能である。
上記の閾値は、合成画像の形成に使用する追加画像の品質レベルを判定する。従って、ブロック52、54、56、58、60、及び62は、プロセスの別の部分を表しており、ここでは、追加画像を受信及び評価している。具体的には、それぞれの画像ごとに、定量的な分析のための領域を判定し、この領域内において評価される性能指数を演算する。前述のように、分析のための領域は、ユーザー又は画像プロセッサ18が元々指定した領域であってよい。或いは、この代わりに、新しい領域を利用することも可能であろう。前述のように、情報コンテンツ及び/又は圧縮性、コントラスト及び/又は変動、並びに、関心領域内のその他の品質指標(quality indicator)を計測することにより、性能指数を査定可能である。
ブロック58に示されているように、この領域の性能指数の値を閾値レベルと比較する。性能指数の値が閾値レベルを上回っている場合には、その画像を合成画像(composite)に加える。性能指数の値が閾値レベルを下回っている場合には、その画像は、合成画像に加えられない。従って、閾値が高い場合には、より高品質の画像が加えられて、合成画像が形成されることになる。同様に、閾値が低い場合には、より低品質の画像が合成画像の形成の際に含まれることになる。
上記のプロセスのこの部分は、ブロック62に示されているように、複数回にわたって反復される。このプロセスを反復する回数は、捕えられた画像の数に依存し、ユーザーが指定したり、プロセッサ18が判定したり、或いは、その他の方法で実現可能である。この回数は、例えば、約15〜30回、又は約50〜100回のように約15〜100回であるか、或いは、これ以上であってもよいが、しかしながら、プロセスのこの部分を反復する回数は、これらの範囲外であってもよい。合成画像を形成するために選択されて加えられる画像の数は、例えば、約50〜100の間であってよいが、これを上回る又は下回る数であってもよい。いくつかの実施例においては、約200〜300の間の画像を評価可能であるが、この数は、これを上回っても、或いは、下回ってもよい。200〜300枚の画像を捕えるには、1/10秒の露光時間で、2〜3分かかる場合がある。
前述のように、広範囲のアルゴリズムを品質の尺度として利用可能であり、このような画像の品質を査定するための特定の計測及び/又は計算は、本明細書に具体的に引用されているものに限定する必要はない。又、図7Aに示されているプロセスの説明においては、合成画像の形成に使用すべき画像を選択するために、情報コンテンツとコントラストレベルを判定しているが、その他の実施例においては、異なる特性を計測又は計算して、このような選択をすることができる。好ましくは、このような特性は画像の品質を表し、より高品質の画像のみが合成画像に加えられるようにするが、このプロセスは、これに限定されるものではない。
(例えば、情報コンテンツやコントラストなどの品質評価を利用し、追加的な機能をユーザーに提供することが可能であることに留意されたい。例えば、取得した画像に対して情報コンテンツやコントラストなどの性能指数の算出値を表示し、画像品質の定量的な尺度をユーザーに提供可能である。このような値は、ユーザーにグラフィックに提示可能である。このフィードバックは、例えば、望遠鏡の焦点合せの際に、ユーザーを支援可能である。望遠鏡を焦点を合わせて調節する際に品質を監視するように、プロセッサを設定可能である。好ましくは、性能指数又は画像品質に対する算出値によって判定される際に最良の焦点をユーザーが判定できるように、ディスプレイは、現在の画像の品質レベルと取得された最大量を提供する。)
図6と関連して前述したように、画像品質を改善するプロセスは、好ましくは、画像内の特徴をアライメントすることを更に含む。図7Bは、アライメントを達成できる方法を概略的に表したフローチャートを示している。従って、様々な好適な実施例においては、図7Aのブロック60に示されている加算(summation)は、図7Bのフローチャートに提示されているようなアライメント手順を含んでいる。
上に説明した理由により、星印が、動いたことを表示する図10及び図11に概略的に示されているように、1つの画像内の特徴が、別のものに対してオフセットされる場合がある。このようなオフセットによってもたらされる画像の劣化を低減するために、画像を移動するのが好ましい。適切な量の移動(translation)を提供するために、例えば、指定された領域内の特徴の1つの動き(movement)を監視することにより、オフセットを判定するのが好ましい。指定された領域内に、周囲の背景に対して強くコントラストを付けられた顕著な特徴が存在していることが好ましい。様々な実施例においては、好ましくは、このような顕著な特徴の存在のために、領域をそのように指定している。
指定された領域が、このような高コントラストの特徴を含んでいる場合には、その指定された領域内の強度分布の重心(centroid)を算出することにより、その特徴の位置を決定可能である。この重心は、好ましくは、その領域内の強度が集中していると見なすことが可能な領域内の点に対応している。従って、その領域が、明るい星、惑星、又はその他の天体の画像を暗い背景内に含む場合には、上記の重心は、画像内のこの明るい特徴の中心位置を決定するのに有用であり得る。この位置を監視して、画像内の1つ又は複数の特徴のシフトを追跡可能である。
上記の重心のX、Y位置を算出する際に利用可能な典型的な式を次に提示する。
ここで、I(i,j)は、x=i及びy=jにおけるピクセルの強度値(pixel intensity value)である。重心を算出するその他の表現及び方法も可能である。
様々な好適な実施例においては、図7Bのブロック64に表されているように、指定された領域の重心を判定している。1つの画像から次のものへ重心の動きは、例えば、第1の画像に対して取得した重心に対する重心のオフセットから算出可能である。ブロック66がこの方法に対するものである。画像から画像への重心の変位は、重心の場所をその他の基準ポイントと比較することによって導くことも可能である。重心又はその他の特徴の動きを判定するその他の方法も可能である。
好ましくは、図10及び図11に示されているように、監視される特徴の変位に対応する量、例えばΔx、Δyだけ、画像をシフトさせる。前述のように、様々な好適な実施例においては、いくつかの状況において、関心領域の重心の場所を算出することにより、この特徴の中心場所を判定可能である。従って、このような実施例においては、画像内の重心と顕著な特徴がアライメントされるように、重心間のオフセットに対応した量だけ、画像をシフトさせるのが好ましい。ブロック68は、好ましくは、このオフセットに基づいた量だけ、画像がシフトされることを示している。
図12は、指定された領域内において計測されたオフセットに対応した量だけシフトされた2つの画像を示している。好ましくは、この結果、上記の特徴が実質的にアライメントされる。図12は、画像が部分的にオーバーラップすることになることをも示している。
前述、及び図7Bのブロック70に示されているように、画像を加算する。加算は、例えば、オーバーラップするピクセルの値の大きさを加えることを含むことができる。その他のアルゴリズムを利用することにより、画像を互いの上に併合(merge)あるいは重ね合わせることも可能である。重ね合わされた画像が、更なるぼけをもたらすのではなしに、協働して画像のコントラストを増強するように、適切なアライメントを提供するのが好ましい。又、低品質の画像を合成画像から排除しつつ、改善された画像を生成するように、好ましくは高品質の画像(例えば、高い情報コンテンツを有する画像や高コントラストの画像など)を選択して合成する。
例えば、スケーリング又は正規化によって強度レベル(magnitude level)を更に調節可能である。その他の調節も可能である。このような調節はブロック72によって示すことができる。
合成画像は、フィルタリングによって更に処理可能である。例えば、コントラスト増強フィルタリングを利用してコントラストを更に改善可能である。合成画像は、雑音をほとんど有していないため、コントラスト増強フィルタリングによれば、大きな雑音を追加することなしに、物体のコントラスト及びハイライトの特徴が増大することになる。例えば、カーネルフィルタリングを利用可能である。周知のように、カーネルフィルタリングにより、畳み込みカーネル(convolution kernel)が画像内のピクセルに適用されて新しいピクセル値が取得される。例えば、Craig A. Lindleyによる「Practical Image Processing in C」(Wiley Professional Computing、John Wiley & Sons, Inc.、1991年、368〜369頁)を参照されたい。いくつかのハイパス空間フィルタに対する叩き込みカーネルの例を次に提示する。
その他のタイプのカーネルフィルタも利用可能である。カーネルフィルタリング以外のその他のフィルタ及びフィルタリング技法を使用して要望のように画像品質を改善したり、画像を変更することも可能である。
例えば、画像品質を改善するべく利用可能な別の技法は、検出器の固定パターン雑音(fixed pattern noise)を画像から減算するダーク減算(dark subtraction)である。検出器に対する様々な露光レベルに対する固定パターン雑音を含む固定パターン検出器雑音(fixed pattern detector noise)のテーブル又はデータベースを生成可能である。このデータベースは、検出器アレイ上において、シャッタが閉じた状態で異なる時間間隔にわたっていくつかの画像を捕えることによって生成可能である。従って、所与の露光設定に対して、プロセッサにより、上記のデータベースから適切な固定パターン雑音を取得し、電子画像からそれを減算可能である。画像から減算される固定パターン雑音をスケーリングすることにより、微細調節を実行することも可能である。このような微細チューニングは、選択された露光時間に対して生成されたものと正確にマッチする固定パターン雑音をデータベースが含まない場合に有用であろう。例えば、上記のデータベースが、1/600秒及び1/500秒の露光時間用の固定パターン雑音を含んでおり、CMOSカメラが1/650秒の露光に設定されている場合には、1/500用の固定パターン雑音を選択して、この固定パターン雑音を適切にスケーリング可能である。スケーリングは、画像を調節するために、その他の状況においても利用可能である。
図13は、図3に示されているものに類似した火星の画像に基づいた合成画像である。本明細書に記述されている画像処理の実行の成功例は、図14〜図19にも示されている。図14、図16、及び図18は、ぼけを有する月の画像に対応している。図15、図17、図19は、本明細書に記述されている画像生成プロセッサ及び画像処理技法を使用して形成されたそれぞれの合成画像に対応している。図15の合成画像は、図14に示されているものに類似した複数のぼけた画像を使用して形成されたものである。図17の合成画像は、図16に示されているものに類似した複数のぼけた画像を使用して形成されたものであり、図19の合成画像は、図18に示されているものに類似した複数のぼけた画像を使用して形成されたものである。コントラストが増強されていることが容易に識別可能である。
例えば、図6、図7A及び図7B、並びに図8〜図12との関連で前述した実施例を利用することにより、このような改善された画像を実現可能である。代替方法も可能である。これらの処理段階は、相互に交換可能であり、異なる順序で実行可能であり、或いは、除外又は完全に置換することも可能である。更なる処理段階及び特徴を追加することも可能である。
更に、本明細書に記述及び図示されているプロセス及び方法に従って、例えば、図5に示されているようなアーキテクチャ上において、ロジックを実行可能である。これらの方法及びプロセスは、図6のフローチャート、並びに図9〜図12の概略図、及び図7A及び図7Bのフローチャートのブロックの少なくともいくつかに示されているものを含んでいるが、これらに限定されない。本明細書に記述されている方法及びプロセスのこれら及びその他の表現は、コンピュータプログラムソフトウェアにおいて実施可能な本発明の様々な実施例のロジックの構造を示している。又、当業者であれば分るように、本明細書に含まれているフローチャート及び説明は、コンピュータプログラムのコード要素や電子ロジック回路などのロジック要素の構造を示している。明らかに、様々な実施例は、図示のものに対応する一連の機能段階を実行するようにデジタル処理装置(例えば、コンピュータ、コントローラ、プロセッサ、ラップトップ、パームトップ、パーソナルデジタルアシスタント、携帯電話、キオスク、ビデオゲーム、又はこれらに類似したものなど)に命令する形態にロジック要素を生成させる機械コンポーネントを含んでいる。このロジックは、一連のコンピュータ又は制御要素実行可能命令としてプロセッサによって実行されるコンピュータプログラムによって具現可能である。これらの命令を生成するために使用可能なこれらの命令又はデータは、例えば、RAM内、又は、ハードドライブ又は光ドライブ上、又は、ディスク上に存在可能であり、或いは、この命令は、磁気テープ、電子的な読み出し専用メモリ、又は、その他の適切なデータ記憶装置、又は、動的に変更又は更新可能であるか又は可能ではないコンピュータアクセス可能な媒体上に保存可能である。従って、図6のフローチャートのブロック、並びに図9〜図12の概略図、及び図7A及び図7Bのフローチャートの少なくともいくつかに示されているものを含むが、これらに限定されない、これらの方法及びプロセスを、例えば、磁気ディスク、コンパクトディスクなどの光ディスク、光ディスクドライブ、又は、その他の記憶装置又は媒体で、周知のものと今後考案されるものの両方の上に含むことができる。これらの記憶媒体は、望遠鏡又は双眼鏡、或いは、その他の光学系からのものなどの画像、並びに、その他の画像を処理するためのハードウェアを使用して実施される処理段階を含むことができる。これらの命令は、記憶媒体上の、例えば、データ圧縮されており、その後変更されるフォーマットであってよい。
更に、この処理のいくつか又はすべては、いずれも、同一の装置、この装置と通信する1つ又は複数のその他の装置、或いは、様々なその他の組み合わせの上において実行可能である。プロセッサをネットワーク内に組み込むことも可能であり、プロセスの一部をネットワーク内の別個の装置によって実行することも可能である。合成画像などの画像のディスプレイやその他の情報のディスプレイ、例えば、ユーザーインターフェイスを、上記の装置上に含むことも可能であり、その装置と通信することも可能であると共に/又は、別個の装置と通信することも可能である。
上述の構造及びプロセスは、天文の用途における使用にのみ限定されるものではない。画像プロセッサ18及び処理技法を使用して、例えば、光電子検出器アレイを具備する地上望遠鏡及び双眼鏡などのその他の画像生成システムに対する画像のぼけを低減可能である。図20〜図22は、CMOSカメラ110を具備する双眼鏡100の様々な実施例を示している。双眼鏡100は、例えば、地上ベースの風景や物体の拡大した光景をユーザーに提供する一対の無限焦点光学画像生成システムを含むことができる。図20〜図22に示されている双眼鏡100は、更にユーザーが観察している地上の物体の類似した画像を記録するCMOSカメラ110を含む。CMOSカメラ110の倍率は、好ましくは、双眼鏡の倍率と大体同じで、例えば、7〜20Xの倍率であるが、倍率は、この範囲外であってもよい。前述のように、CMOSカメラ110は、電子画像を与える電気出力を生成する。
特定の好適な実施例においては、ユーザーの眼とCMOSカメラ110用に別個の光学系を利用する。双眼鏡100内の光学系は、複数の高倍率の屈折光学要素(powered refractive optical element)(例えば、対物レンズと接眼レンズ)と画像を逆さにするプリズムを含むことができる。CMOSカメラ110はまた、CMOS検出器アレイ上に光学画像を形成するための屈折光学要素を含むことができる。前述のように、例えば、CCDなどのその他の検出器装置を利用することも可能である。前述のように、その他の光学設計及び構成も可能である。図20及び図22は、CMOS検出器アレイ上に画像を形成するための光学系112、114と、ユーザーの眼に光学画像を導く光学系を示している。但し、その他の実施例においては、CMOS検出器アレイは、眼の中に光学画像を形成するのに使用する光学系も利用することが可能である。
前述のように、CMOS検出器アレイは、CCD検出器アレイよりもかなり安価である。但し、CMOS検出器は、感度も低い。従って、これらのCMOS検出器は、例えば、黄昏、屋内、及び人工照明などの光が弱い状態においては高品質の画像を捕えるのが困難である。
更に、手持ち式の双眼鏡は、身体の振動に晒される。当然のことながら、手の場合には、双眼鏡を完全に固定させて保持する能力が限られている。この結果、ユーザーが双眼鏡を保持している場合は、画像の記録期間中に光学系が動くことになる。この動きは、一般に、光学系の光軸(例えば、z方向)を横切る横方向の(例えば、x及びy方向における)動き(lateral movement)である。このような振動及びその他の動きにより、CMOSカメラ110が、ぼけた画像を捕えることになる。
ぼけを低減するために、動きや振動の量を低減して画像を捕えるように、CMOSカメラの露光時間を短縮することができる。例えば、絞り(aperture)を利用して検出器アレイの露光を制御している場合には、画像を捕える間の、シャッタを開いている期間を短縮することができる。この結果、画像は露光不足となろう。従って、露光時間を短縮することによって光の量が制限され、この結果、CMOS検出器アレイが収集する光が減少するので、画像は、よりぼんやりしたものになる。従って、前述のように、CMOS検出器アレイは、特に低い光レベルの影響を受け易い。
緩和しないと画像の品質を劣化させるこれらの影響を緩和するために、複数の短い露光の画像を取得する。露光の長さは、振動の影響を低減するのに十分な程度に短くなっている。これらの露光時間は、例えば、約1/5000秒〜1/100秒の間の範囲であってよい。例えば、露光時間は、約1/1000〜1/100秒の間、或いは、約1/5000〜1/1000秒の間であってよい。但し、これらの範囲外の露光時間も可能である。捕えられる画像の数は、好ましくは、約10〜20又は30〜50など、約10〜50の間であるが、これを上回る又は下回る画像も取得可能である。前述のように、画像の品質を改善するために、好ましくは、これらの画像の少なくとも一部を合成して合成画像を形成する。
更に、合成画像の生成に使用する複数の画像は、大きな画像の組から選択され、この選択されたサブセットは、優れた品質のものであるのが好ましい。選択は、例えば、画像のコンテンツ及び/又は圧縮性、ぼけなどの画像の劣化レベル、或いは、逆に、明瞭性のレベル及びコントラストに基づいたものであってよい。より高い情報コンテンツを有する画像を選択可能である。圧縮性を使用して、情報コンテンツを判定可能である。前述のように、より高いコントラストを有する画像、ピクセル間の信号強度のより大きな変動を有するものを選択することも可能である。閾値レベルを下回るその他の画像を、合成される画像のサブセットから排除して、より高品質の合成画像を生成可能である。画像の合成は、ピクセルごとの強度を加算することを含むことができる。いくつかのケースにおいては、合計強度(aggregate magnitude)をスケーリング可能である。様々な実施例においては、例えば、合成画像内の所与のピクセルの値は、その合成画像の形成に使用されるサブセットに含まれている画像のそれぞれの対応するピクセルの強度の平均値である。
画像を合成する前に、画像内の共通的な特徴が実質的にアライメントされるように、画像を移動することができる。画像を移動すること(translating)により、好ましくは、複数の画像が取得される期間内における画像内の特徴の動き(movement)の影響が実質的に除去される。このような動きは、例えば、振動の結果発生し得る。追加的なフィルタリングを利用し、画像の品質を改善可能である。このフィルタリングは、コントラストを増大させるコントラスト増強フィルタリング(contrast-enhancing filtering)を含むことができる。いくつかの実施例においては、このフィルタリングは、合成画像を形成するために画像が合成された後に、実施可能である。但し、このフィルタリングは、任意選択である。
以上、画像生成システムの構造と構成の好適な実施例について広範に説明した。適用可能な構造のいくつかは、図4及び図5に示されているものを含む。好適な一実施例においては、前述のように、例えば、CMOSカメラがUSB接続を介してコンピュータに電気的に接続されている。別の好適な実施例においては、双眼鏡が、RAM又はその他の電子回路を含んでおり、画像処理は、このRAM又はその他の電子回路内おいて実行される。このような構成においては、双眼鏡は、ディスプレイを含むことも可能であり、処理された画像をこのディスプレイ上に表示可能である。処理された画像は、フラッシュカード(flash card)上に保存することも可能であり、或いは、例えば、USBポートなどのデータリンクを通じてコンピュータなどの別のコンポーネントに転送することも可能である。
以上に、画像処理技法の好適な実施例についても広範に説明した。これらの適用可能なプロセスのいくつかについては、図6、図7A、図7B、図8、図9、図10、図11、及び図12、並びに、これらに関係する説明に示されている。好都合なことに、これらのプロセスを利用して、双眼鏡内のCMOSカメラから得られる画像の品質の改善も可能である。
しかしながら、好適な一実施例においては、定量的な分析のために指定された領域は、視野(field-of-view)の中心に実質的に位置するものと考えられている。ユーザーは、関心の物体が中心に位置するように、双眼鏡を向ける可能性が高い。従って、関心領域は、特定の好適な実施例においては、中心に配置されている。分析のために指定される領域の場所を判定するその他の方法も同様に利用可能である。前述のように、より小さな指定された領域において画像を評価することにより、処理が促進される。
本明細書に記述されている画像処理の実行の更なる成功例は、図23及び図24に示されている。図23は、一対の双眼鏡100内に組み込まれたCMOSカメラ110から取得した地上の物体の画像である。この画像は、顕著なぼけを呈している。図24は、本明細書で述べた画像生成プロセッサと画像処理技法を使用して形成された合成画像である。図24の合成画像は、図23に示されているものに類似した複数のぼけた画像から形成されたものである。画像プロセッサによって提供される明瞭性の改善を容易に識別可能である。
当業者であれば分るように、本発明の範囲を逸脱することなしに、様々な省略、追加、及び変更を前述のプロセスに対して実施可能であり、また、このような変更及び変形が、いずれも特許請求の範囲の請求項に規定されている本発明の範囲内に属するように意図されている。
Claims (43)
- 望遠鏡からの画像を処理する方法において、
前記望遠鏡から画像の組を受信することと、
前記画像の少なくとも一部の定量的な評価を実行することにより、前記画像の品質を査定することと、
前記画像の前記品質に基づいて前記画像のサブセットを選択することと、
前記画像のサブセットを合成画像に合成することと、
を含む方法。 - 前記画像の前記品質は、前記画像内の情報量に基づいて査定される請求項1に記載の方法。
- 増大した情報コンテンツを具備する画像が選択される請求項2に記載の方法。
- 前記情報量は、前記画像の圧縮性を計測することによって査定される請求項2に記載の方法。
- 前記情報量は、適応型デルタ変調を使用して査定される請求項2に記載の方法。
- 前記画像の前記品質は、画像のコントラストに基づいて評価される請求項1に記載の方法。
- 前記定量的な評価は、前記画像の一部分について実行されることにより、処理速度を向上させる請求項1に記載の方法。
- 前記画像内の共通的な特徴が実質的にアライメントされるように、前記画像のサブセットの少なくとも一部を移動させることを更に含む請求項1に記載の方法。
- 前記画像のサブセットの前記合成することは、前記画像を加算することを含む請求項1に記載の方法。
- 前記合成画像をフィルタリングすることを更に含む請求項1に記載の方法。
- 前記定量的な評価を実行するために、顕著な高コントラストの特徴を含む関心領域が選択される請求項1に記載の方法。
- 前記画像の前記品質を使用して改善された焦点設定を識別することと、どの焦点設定が改善された焦点を提供するかをユーザーに対して指示することと、を更に含む請求項1に記載の方法。
- 望遠鏡本体と、
離れた物体から光を収集して、光学像平面内における前記離れた物体の光学画像の形成を容易にするための望遠鏡の光学系と、
前記光学像平面内に実質的に配設された検出器アレイであって、複数のピクセルを含む電子画像に対応する電気信号を出力する検出器アレイと、
複数の前記電子画像を受信する画像プロセッサであって、前記電子画像の品質を評価し、前記電子画像の前記品質に基づいて前記電子画像のサブセットを選択し、前記電子画像のサブセットを合成画像に合成するように構成される画像プロセッサと、
を含む望遠鏡。 - 前記望遠鏡本体は、望遠鏡管を含む請求項13に記載の望遠鏡。
- 前記画像プロセッサは、前記画像内の情報コンテンツを定量化して前記画像の前記品質を評価するように構成される請求項13に記載の望遠鏡。
- 前記画像プロセッサは、第1ピクセルのための信号に基づいた第2ピクセルのための信号の予測可能性を特徴付ける性能指数を算出するように構成される請求項13に記載の望遠鏡。
- 前記第1及び第2ピクセルは隣接している請求項16に記載の望遠鏡。
- 前記画像プロセッサは、前記電子画像における関心領域内のピクセル中における信号値の変動に基づいて性能指数を算出するように構成される請求項13に記載の望遠鏡。
- 前記望遠鏡の光学系は、可変焦点設定を具備しており、前記画像プロセッサは、どの焦点設定が向上した画像品質をもたらすかを記録するためのメモリにアクセスする請求項13に記載の望遠鏡。
- 望遠鏡画像生成システムから得られる画像を表す入力を受け取ることができるコンピュータプログラムであって、前記画像の少なくとも一部分における情報コンテンツの量の計測に基づいて画像の品質を査定し、計測された前記情報コンテンツの量に基づいて画像を選択し、前記の選択された画像を合成画像に合成するように構成されるコンピュータプログラム。
- 前記コンピュータプログラムは、画像の第1の組に関する計測値から情報コンテンツの閾値レベルを判定し、画像の第2の組における情報コンテンツを画像コンテンツの前記閾値レベルと比較することによって画像を選択するように構成される請求項20に記載のコンピュータプログラム。
- 前記閾値レベルを判定するために使用される前記画像の第1の組は、約5〜10の間の画像である請求項21に記載のコンピュータプログラム。
- 前記画像の第2の組は、約15〜100の画像を含む請求項22に記載のコンピュータプログラム。
- 前記の選択される画像の数は、約50〜100の間を含む請求項21に記載のコンピュータプログラム。
- コンピュータアクセス可能な記憶媒体内に保存され、プロセッサ内において実行可能な望遠鏡用の画像処理モジュールを含む製造品において、前記画像処理モジュールは、前記望遠鏡からの画像の圧縮性を計測し、前記圧縮性に基づいて前記望遠鏡からの前記画像のサブセットを選択し、前記望遠鏡からの前記画像のサブセットを合成画像に合成するように構成される製造品。
- 前記画像処理モジュールは、前記画像内の共通的な特徴が実質的にアライメントされるように、前記望遠鏡からの前記画像のサブセットの少なくとも一部を移動させるように構成される請求項25に記載の製造品。
- 画像の組を受信する手段と、
前記画像の少なくとも一部の定量的な評価を実行することにより、前記画像の品質を評価し、前記画像の前記品質に基づいて前記画像のサブセットを選択し、前記画像のサブセットを合成画像に合成するための手段と、
を含む光学システム。 - それぞれが対物レンズと接眼レンズとを含む左及び右の光学経路と、
電子信号を出力する光電子検出器アレイを含む電子カメラと、
前記光電子検出器アレイから生成される電子画像を処理するための画像処理電子回路であって、複数の前記電子画像を合成画像に合成するように構成される画像生成処理電子回路と、
を含む双眼鏡。 - 前記画像処理電子回路は更に、前記電子画像の少なくとも一部の定量的な評価を実行することによって前記電子回路の品質を評価し、前記画像の前記品質に基づいて前記合成画像用の前記複数の前記電子画像を選択するように構成される請求項28に記載の双眼鏡。
- 前記定量的な評価は、前記電子画像内の情報量を定量化することを含む請求項29に記載の双眼鏡。
- 前記定量的な評価は、前記電子画像の圧縮性を計測することを含む請求項30に記載の双眼鏡。
- 前記定量的な評価は、画像のコントラストを査定することを含む請求項29に記載の双眼鏡。
- 前記定量的な評価は、前記電子画像内の信号の変動を計測することを含む請求項32に記載の双眼鏡。
- 前記定量的な評価は、前記電子画像の一部分について実行されることにより、処理速度を向上させる請求項29に記載の双眼鏡。
- 前記電子画像内の共通的な特徴が実質的にアライメントされるように、前記複数の電子画像の少なくとも一部を移動させることを更に含む請求項29に記載の双眼鏡。
- フィルタリングして前記合成画像内の明瞭性を向上させることを更に含む請求項29に記載の双眼鏡。
- 前記処理電子回路は、顕著な高コントラストの特徴を含む前記定量的な評価を実行するための前記電子画像の前記少なくとも一部として関心領域を選択するように構成される請求項29に記載の双眼鏡。
- 前記処理電子回路は、前記電子画像の前記品質を使用して改善された焦点設定を識別し、どの焦点設定が改善された焦点を提供するかをユーザーに対して指示するように更に構成される請求項29に記載の双眼鏡。
- 双眼鏡と、
電子信号を出力する光電子検出器アレイを含む電子カメラと、
前記光電子検出器アレイから生成される電子画像を処理するための画像処理電子回路であって、複数の前記電子画像を合成画像に合成するように構成される画像生成処理電子回路と、
を含む光学画像生成装置。 - 前記画像処理電子回路は、前記電子画像の前記関心領域の圧縮性に基づいて性能指数の値を算出し、前記性能指数の値を使用して前記合成画像用の前記複数の電子画像を選択するように構成される請求項39に記載の光学画像生成装置。
- 前記画像処理電子回路は、前記電子画像の関心領域内の信号の変動に基づいて性能指数の値を算出し、前記性能指数の値を使用して前記合成画像用の前記複数の電子画像を選択するように構成される請求項39に記載の光学画像生成装置。
- 前記双眼鏡は、可変焦点設定を具備しており、前記画像プロセッサは、どの焦点設定が向上した画像品質をもたらすかを記録するためのメモリにアクセスする請求項39に記載の光学画像生成装置。
- 望遠鏡の光学系を含む望遠鏡アセンブリと、
画像の形成及び記録のために前記望遠鏡の光学系から光を受光するように前記望遠鏡アセンブリに対して配設された電子カメラであって、電子信号を出力する光電子検出器アレイを含む電子カメラと、
前記光電子検出器アレイから生成される電子画像を処理するための画像処理電子回路であって、複数の前記電子画像を合成画像に合成するように構成される画像生成処理電子回路と、
を含む光学画像生成システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US49709803P | 2003-08-22 | 2003-08-22 | |
PCT/US2004/027313 WO2005020143A2 (en) | 2003-08-22 | 2004-08-20 | Image processors and methods of image processing |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007503605A true JP2007503605A (ja) | 2007-02-22 |
Family
ID=34216075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006524106A Pending JP2007503605A (ja) | 2003-08-22 | 2004-08-20 | 画像処理のための画像プロセッサ及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20050053309A1 (ja) |
EP (1) | EP1656642A4 (ja) |
JP (1) | JP2007503605A (ja) |
WO (1) | WO2005020143A2 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8331723B2 (en) | 2004-03-25 | 2012-12-11 | Ozluturk Fatih M | Method and apparatus to correct digital image blur due to motion of subject or imaging device |
EP1607837B1 (en) * | 2004-06-18 | 2013-08-14 | Panasonic Corporation | Portable information terminal apparatus |
US20060050153A1 (en) * | 2004-09-07 | 2006-03-09 | Boll David W | Imaging system and method |
US7194146B2 (en) * | 2004-12-22 | 2007-03-20 | Slooh, Llc | Automated system and method for processing of astronomical images |
US20060235614A1 (en) * | 2005-04-14 | 2006-10-19 | Starvision Technologies Inc. | Method and Apparatus for Automatic Identification of Celestial Bodies |
WO2007138533A2 (en) * | 2006-05-25 | 2007-12-06 | Pace Plc | Identifying and dynamically presenting regions of interest in a digital image |
US20080174863A1 (en) * | 2007-01-24 | 2008-07-24 | Whorton Mark S | Star Identification and Alignment System |
US8584013B1 (en) * | 2007-03-20 | 2013-11-12 | Google Inc. | Temporal layers for presenting personalization markers on imagery |
US7986356B2 (en) * | 2007-07-25 | 2011-07-26 | Hewlett-Packard Development Company, L.P. | System and method for determining a gamma curve of a display device |
US20090027504A1 (en) * | 2007-07-25 | 2009-01-29 | Suk Hwan Lim | System and method for calibrating a camera |
US20090148065A1 (en) * | 2007-12-06 | 2009-06-11 | Halsted Mark J | Real-time summation of images from a plurality of sources |
US8963949B2 (en) * | 2009-04-22 | 2015-02-24 | Qualcomm Incorporated | Image selection and combination method and device |
US20110090327A1 (en) * | 2009-10-15 | 2011-04-21 | General Electric Company | System and method for imaging with enhanced depth of field |
JP5801577B2 (ja) * | 2010-03-25 | 2015-10-28 | キヤノン株式会社 | 光断層撮像装置及び光断層撮像装置の制御方法 |
KR20120035422A (ko) * | 2010-10-05 | 2012-04-16 | 삼성전자주식회사 | 반도체 소자의 이미지 형성 방법, 이를 이용한 반도체 소자의 결함 검사 방법 |
US9495526B2 (en) * | 2013-03-15 | 2016-11-15 | Eyelock Llc | Efficient prevention of fraud |
CN104735296B (zh) * | 2013-12-19 | 2018-04-24 | 财团法人资讯工业策进会 | 行人侦测系统与方法 |
US9152856B2 (en) * | 2013-12-19 | 2015-10-06 | Institute For Information Industry | Pedestrian detection system and method |
US9641759B2 (en) * | 2014-07-10 | 2017-05-02 | Lg Electronics Inc. | Mobile terminal and controlling method thereof |
JP6746892B2 (ja) * | 2015-09-30 | 2020-08-26 | ヤマハ株式会社 | 画像処理装置、画像処理方法およびプログラム |
WO2019031086A1 (ja) * | 2017-08-09 | 2019-02-14 | 富士フイルム株式会社 | 画像処理システム、サーバ装置、画像処理方法、及び画像処理プログラム |
US10467783B2 (en) | 2018-02-23 | 2019-11-05 | ExoAnalytic Solutions, Inc. | Visualization interfaces for real-time identification, tracking, and prediction of space objects |
US10647453B2 (en) | 2018-02-23 | 2020-05-12 | ExoAnalytic Solutions, Inc. | Systems and visualization interfaces for identification and display of space object imagery |
AU2020319085C1 (en) | 2019-07-25 | 2024-12-05 | ExoAnalytic Solutions, Inc. | Systems and visualization interfaces for orbital paths and path parameters of space objects |
WO2024050163A2 (en) | 2022-07-29 | 2024-03-07 | ExoAnalytic Solutions, Inc. | Space object alert management and user interfaces |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6392689B1 (en) * | 1991-02-21 | 2002-05-21 | Eugene Dolgoff | System for displaying moving images pseudostereoscopically |
US5880777A (en) * | 1996-04-15 | 1999-03-09 | Massachusetts Institute Of Technology | Low-light-level imaging and image processing |
US5909244A (en) * | 1996-04-15 | 1999-06-01 | Massachusetts Institute Of Technology | Real time adaptive digital image processing for dynamic range remapping of imagery including low-light-level visible imagery |
US6269175B1 (en) * | 1998-08-28 | 2001-07-31 | Sarnoff Corporation | Method and apparatus for enhancing regions of aligned images using flow estimation |
US6353673B1 (en) * | 2000-04-27 | 2002-03-05 | Physical Optics Corporation | Real-time opto-electronic image processor |
-
2004
- 2004-08-20 US US10/922,787 patent/US20050053309A1/en not_active Abandoned
- 2004-08-20 EP EP04781912A patent/EP1656642A4/en not_active Withdrawn
- 2004-08-20 WO PCT/US2004/027313 patent/WO2005020143A2/en not_active Application Discontinuation
- 2004-08-20 JP JP2006524106A patent/JP2007503605A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20050053309A1 (en) | 2005-03-10 |
EP1656642A4 (en) | 2007-06-13 |
WO2005020143A3 (en) | 2005-06-02 |
EP1656642A2 (en) | 2006-05-17 |
WO2005020143A2 (en) | 2005-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007503605A (ja) | 画像処理のための画像プロセッサ及び方法 | |
US10547786B2 (en) | Image processing for turbulence compensation | |
WO2006116268A2 (en) | Methods and apparatus of image processing using drizzle filtering | |
Cossairt et al. | When does computational imaging improve performance? | |
JP5090188B2 (ja) | 顕微鏡装置 | |
US9100559B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and image processing program using compound kernel | |
JP5237978B2 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
JP2010213274A (ja) | 拡張された被写界深度の監視用撮像システム | |
JPWO2019171691A1 (ja) | 画像処理装置、および撮像装置、並びに画像処理方法 | |
US20150287208A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP2013145982A (ja) | 撮像装置、画像処理装置及び方法 | |
JP2014150423A (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
EP3700195A1 (en) | Information processing device, information processing method, imaging device and program | |
WO2013124664A1 (en) | A method and apparatus for imaging through a time-varying inhomogeneous medium | |
JP2017208642A (ja) | 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム | |
JP5645981B2 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
CN119325615A (zh) | 图像处理方法、电子系统和非暂时性计算机可读介质 | |
Guissin et al. | IRISIM: infrared imaging simulator | |
Tuchin et al. | On random and systematic errors of a star tracker | |
JP6835227B2 (ja) | 画像処理装置、画像処理方法およびコンピュータプログラム | |
US9743011B2 (en) | Photographing apparatus and method | |
Lim et al. | Image resolution and performance analysis of webcams for ground-based astronomy | |
JP6611509B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6289275B2 (ja) | 撮像制御装置、撮像装置および撮像制御方法 | |
Conklin | Deblurring Long Exposure Astrophotography with Neural Networks |