JP4184319B2

JP4184319B2 - 撮像装置

Info

Publication number: JP4184319B2
Application number: JP2004172094A
Authority: JP
Inventors: 伸之渡辺; 智幸中村; 高宏矢野
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2004-06-10
Filing date: 2004-06-10
Publication date: 2008-11-19
Anticipated expiration: 2024-06-10
Also published as: WO2005122554A1; US7868923B2; US20070268388A1; JP2005352721A

Description

本発明は、画素数の少ない画像入力手段を利用して高解像度の画像を生成する撮像装置に関するものである。

ビデオカメラなどの撮像装置を使用する際に、画素数の少ない画像データを用いて高解像度の画像を生成する方法が種々提案されている。その一例として、例えば特許文献１などで提案されているように、超解像技術を用いて、位置ずれを持った複数フレームの低解像度画像を用いて高解像度の画像を生成する方法がある。超解像処理は、サブピクセルレベルでの位置ずれのある画像を複数枚撮影し、これらの画像の劣化要因などをキャンセルした上で合成して、１枚の高精細な画像を形成する手法である。

ところで、ビデオ撮影のように１フレームのクロック数に制限があり、撮像デバイスの画素数が出力する画像の画素数よりも多くなるような撮像システムを用いる場合がある。このような撮像システムを用いる場合に、有効な超解像処理を行うためには、撮像デバイスの一部分のみのデータを読み出し、その領域に対して超解像処理を行う必要がある。しかしながらこの場合には、超解像処理を行う画角の変更は光学的な像倍率の変更を必要とする。

特開平１０−６９５３７号公報

画素数の少ない画像データを用いて高解像度の画像を生成する際に、特許文献１に開示されている手法では、前記のように超解像処理を行う画角の変更は光学的な像倍率の変更をしなければならず、処理が煩雑になるという問題があった。

本発明は、上記問題に鑑みてなされたものであり、フレームのクロック数が変動することなく、電子的に撮像領域の大きさを変更し、さらに、取り込んだ領域に対して、超解像処理を行う構成とした撮像装置の提供を目的とする。

（１）．上記目的を達成するために、本発明の撮像装置は、被写体の像を電子的に得る撮像装置において、
被写体の像を撮像デバイスに結像する光学的結像手段と、所定領域の画像信号を出力することができる撮像デバイスと、前記撮像デバイスからの出力領域を設定する領域設定部と、領域設定部で設定した領域の大きさに応じて前記撮像デバイスの読み出し規則を選択する手段と、前記撮像デバイスから出力される複数のフレームの画像信号から高解像度な画像を生成する手段とを備え前記選択される撮像デバイスの読み出し規則として、画素を離間的に読み出す間引き読み出しを選択できる事を特徴とする。

（１）の発明は、図１、図２に示された実施形態が対応する。「被写体の像を撮像デバイスに結像する光学的結像手段」は、光学系101が該当する。「所定領域の画像信号を出力することができる撮像デバイス」は、イメージャ102が該当する。「前記撮像デバイスからの出力領域を設定する領域設定部」は、倍率指定部103が該当する。「領域設定部で設定した領域の大きさに応じて前記撮像デバイスの読み出し規則を選択する手段」は、読み出し制御部104が該当する。「撮像デバイスから出力される複数のフレームの画像信号から高解像度な画像を生成する手段」は、高解像度画像推定部108が該当する。「前記選択される撮像デバイスの読み出し規則として、画素を離間的に読み出す間引き読み出しを選択できる事」は、図２のskip処理が該当する。（１）の発明の構成によれば、電子的に撮像領域の大きさを変更し、さらに、取り込んだ領域に対して超解像処理を行うことができる。また、このような間引き読み出しを行うことにより、出力する画素数よりも広い領域の読み出しをした場合でもクロック数を一定にすることができる。

（２）．また、前記（１）の発明は、前記撮像デバイスの読み出し規則は、前記出力領域の大きさによらず画素の読み出しの総クロック数が一定である事を特徴とする。（２）の発明は、図２の実施形態が対応する。「前記撮像デバイスの読み出し規則は、前記出力領域の大きさによらず画素の読み出しの総クロック数が一定である事」は、「read/skipのパターンは倍率指定部103による倍率に対応して変更される」処理が該当する。この構成によれば、１フレームのクロック数を一定に保持しながら、イメージャの読み出し制御の機能で読み出しの領域の広さを変更できる。

（３）．また、前記（２）の発明は、前記撮像デバイスの読み出し規則を、フレーム毎に異ならせる手段を有することを特徴とする。（３）の発明は、図２の実施形態が対応する。「前記撮像デバイスの読み出し規則をフレーム毎に異ならせる手段」は、「読み出し制御部104により、ODD（奇数）,EVEN（偶数）の２フレームの周期で読み出しの規則を変更する処理」が該当する。この構成によれば、フレーム毎に画像情報を異ならせ、互いに欠落している情報を補完することができる。

（４）．また、前記（３）の発明は、前記複数のフレームの画像信号から高解像度な画像を生成する手段が、複数フレーム間のモーションを推定する手段と、モーション推定がなされた複数フレームの画像信号を用いて高解像度画像信号を推定する手段よりなり、前記複数フレーム間のモーション推定を行うときに、互いに同一の読み出し規則を選択する手段を有することを特徴とする。

（４）の発明は、図１、図８の実施形態が対応する。「複数フレーム間のモーションを推定する手段」は、モーション推定部107が該当する。また、「モーション推定がなされた複数フレームの画像信号を用いて高解像度画像信号を推定する手段」は、高解像度画像推定演算部108が該当する。モーション推定部107は、図８に示されているように、同一の読み出し規則によるフレームを選択してモーションを推定する。（４）の発明によれば、画像信号の特性に応じたモーション推定を行うことができる。

（５）．また、前記（４）の発明は、前記複数フレーム間のモーション推定を行うときに、同一の読み出し規則のフレームを選択してモーション推定を行い、さらに、連続するフレーム間のモーション推定演算を行う手段を有することを特徴とする。（５）の発明は、図１、図９の実施形態が対応する。モーション推定部107は、図９に示されているように、前記複数フレーム間のモーション推定を行うときに、同一の読み出し規則のフレームを選択してモーション推定を行い、さらに、連続するフレーム間のモーション推定演算を行う。（５）の発明によれば、モーション推定の形態を多様化することができる。

（６）．また、前記（１）ないし（５）のいずれかの発明は、前記撮像デバイスの間引き読み出しを行った後、間引き読み出しによる歪みの補正処理を行う手段を有することを特徴とする。（６）の発明は、図１３の実施形態が対応する。「前記撮像デバイスの間引き読み出しを行った後、間引き読み出しによる歪みの補正処理を行う手段」は、歪み補正処理部113が該当する。この構成により、間引き読み出しを行った画像の歪みを補正し、更に前記（３）のようにフレーム毎に異なる読み出し規則を使用している場合でも、連続するフレーム間でモーション推定ができる。

（７）．また、前記（６）の発明は、前記歪みの補正処理が同一フレーム内の画素演算処理であることを特徴とする。（７）の発明は、図１１、図１２の実施形態が対応する。「前記歪みの補正処理が同一フレーム内の画素演算処理であること」は、図１２の線形補間パラメータk1、k2による補正処理が該当する。この構成によれば、歪みの補正処理が簡略化される。

本発明の撮像装置においては、１フレームのクロック数が変動することなく、電子的に撮像領域の大きさを変更し、さらに、取り込んだ領域に対して、超解像処理を行うことができる。

以下、本発明の実施形態例について図を参照して説明する。図１は第１の実施形態例の構成図である。図１において、光学系101はイメージャ102に光学像を結像する。倍率指定部103によって指定した倍率に応じて、読み出し制御部104はイメージャの読み出し規則を選択する。読み出し規則とは、後述するように、イメージャ上での読み出しの開始位置と間引き読み出しの規則を表す。イメージャ102は読み出し規則に従って、指定の領域の光学像を電気信号に変換する。

読み出された画像信号は、ｎ個の画像メモリ105-1から105-nに格納される。ここでnは超解像処理を行うのに必要な画像の枚数である。超解像処理はモーションの推定107と、高解像度の画素配列の画像データを推定する高解像度画像推定部108により構成されている。セレクタ106はモーション推定を行う基準の画像と、モーション推定の対象の画像を選択する。

図２は、読み出し制御部104で選択される読み出し規則である、間引き読み出しの例を示す説明図である。この例では、出力する画素数に対してx方向に4/3倍、y方向の4/3倍の広さの領域の読み出しを行っている。図1-104の読み出し制御部では、フレーム毎に読み出しの規則を異ならせる機能を有する。図２では、ODD（奇数）,EVEN（偶数）の２フレームの周期で読み出しの規則を変更している。

ODDおよびのEVENの横方向画素は、１行目がＲＧＲＧ・・・の配列、２行目がＧＢＧＢ・・・の配列、３行目がＲＧＲＧ・・・の配列、４行目がＧＢＧＢ・・・の配列、と繰り返されている。また、縦方向の画素は、１列目がＲＧＲＧ・・・の配列、２列目がＧＢＧＢ・・・の配列、３列目がＲＧＲＧ・・・の配列、４列目がＧＢＧＢ・・・の配列、と繰り返されている。

図２でreadは画素の読み出しを行っている位置を示し、skip（太い斜線）は読み出しを行っていない位置を示している。skipの位置では読み出しのクロックは発生していない。read/skipのパターンは、倍率指定部103による倍率に対応して変更される。従って、このような読み出しを行うことで、１フレームのクロック数を一定に保持しながら、イメージャの読み出し制御の機能で読み出しの画角が変更できる。

図３は、モーション推定のアルゴリズムを示すフローチャートである。以下、図３のアルゴリズムの流れにそって説明する。Ｓ１：モーション推定の基準となる画像を1枚読み込む。Ｓ２：基準画像を複数のモーションで変形させる。Ｓ３：基準画像との間のモーション推定を行う参照画像を1枚読み込む。Ｓ４：基準画像を複数変形させた画像列と、参照画像の間の類似度値を算出する。Ｓ５：変形モーションのパラメータと算出した類似度値との関係を用いて、離散的な類似度マップを作成する。

Ｓ６：Ｓ５で作成した離散的な類似度マップを補完することで、類似度マップの極値を探索し、類似度マップの極値を求める。極値を持つ変形モーションが、推定したモーションとなる。類似度マップの極値の探索法には、パラボラフィッティング、スプライン補間法等がある。Ｓ７：全ての参照画像においてモーション推定を行っているかどうかを判定する。Ｓ８：全ての参照画像においてモーション推定を行っていない場合には、参照画像のフレーム番号を１つあげてＳ３の処理へ戻り、次の画像を読み込み処理を継続する。対象となる全ての参照画像においてモーション推定を行い、処理を終了する。

図４は、図１で説明したモーション推定部107で行うモーション推定の最適類似度の推定を示す概念図である。図では簡単のため、一次元の最適類似度を示しているが、二次元の最適類似度も同様の手法で推定される。図４においては、黒丸の３点を用いてモーション推定をパラボラフィッティングで行った例を示している。縦軸は類似度を表し、横軸は変形モーションパラメータを示している。縦軸の値が小さいほど類似度が高く、縦軸の値が最小値となる灰色の丸は類似度の極値となる。

図５は、高解像度画像推定処理の実施形態のアルゴリズムを示すフローチャートである。Ｓ１１：高解像度画像推定に用いるため複数枚の低解像度画像n枚を読み込む(n≧1)。Ｓ１２：複数枚の低解像度画像の中の任意の一枚をターゲットフレームと仮定し、補完処理を行うことで初期の高解像度画像を作成する。このステップは場合により省略することができる。Ｓ１３：あらかじめ何らかのモーション推定法で求められた、ターゲットフレームとその他のフレームの画像間のモーションにより、画像間の位置関係を明らかにする。Ｓ１４：光学伝達関数(OTF)、CCDアパーチャ等の撮像特性を考慮した点広がり関数(PSF)を求める。PSFは例えばGauss関数を用いる。Ｓ１５：Ｓ１３、Ｓ１４、の情報を元に、評価関数f(z)の最小化を行う。ただし、f(z)は（１）式のような形となる。

ここでyは低解像度画像、zは高解像度画像、Aは画像間モーション、PSF等を含めた撮像システムをあらわす画像変換行列である。g(z)は画像の滑らかさや色相関を考慮した拘束項等が入る。λは重み係数である。評価関数の最小化には、例えば最急降下法を用いる。Ｓ１６：Ｓ１５で求めたf(z)が最小化された場合、処理を終了し高解像度画像zを得る。Ｓ１７：f(z)がまだ最小化されていない場合には、高解像度画像zをアップデートしてＳ１５に戻る。

図６は、前記アルゴリズムを実施する際の超解像処理の構成を示す構成図である。図６において、高解像度画像推定演算部108は、補間拡大部61、畳込み積分部62、PSFデータ保持部63、画像比較部64、乗算部65、貼り合せ加算部66、蓄積加算部67、更新画像生成部68、画像蓄積部69、反復演算判定部610、反復判定値保持部611から構成される。

最初に、画像メモリ105-1〜105-ｎに記録された複数フレーム分の画像データのうち、基準となる任意の1枚の画像データを補間拡大部61に与え、補間拡大部61でこの画像の補間拡大を行う。ここで用いられる補間拡大の手法としては、例えば一般的なバイリニア補間やバイキュービック補間などが挙げられる。補間拡大された画像は、畳込み積分部62に与えられ、PSFデータ保持部63より与えられるPSFデータと畳込み積分される。ここでのPSFデータは、各フレームのモーションも考慮して与えられる。補間拡大された画像データは同時に画像蓄積部69に送られ、ここに蓄積される。

畳込み演算された画像データは画像比較部64に送られ、モーション推定部107で求められた各フレーム毎のモーションを元に、適切な座標位置で撮像部より与えられる撮影画像と比較される。比較された残差は乗算部65に送られ、PSFデータ保持部63より与えられるPSFデータの各画素毎の値に掛け合わされる。この演算結果は貼り合せ加算部66に送られ、それぞれ対応する座標位置に置かれる。ここで、乗算部65からの画像データは、重なりを持ちながら少しずつ座標位置がずれて行くことになるので重なる部分については加算していく。撮影画像1枚分のデータの貼り合せ加算が終ると、画像データは蓄積加算部67に送られる。

蓄積加算部67では、フレーム数分の処理が終るまで順次送られてくるデータを蓄積し、推定されたモーションに合わせて各フレーム分の画像データを順次加算していく。加算された画像データは、更新画像生成部68に送られる。更新画像生成部68には、これと同時に画像蓄積部69に蓄積されていた画像データが与えられ、この2つの画像データに重みをつけて加算して更新画像データを生成する。

生成された更新画像データは反復演算判定部610に与えられ、反復判定値保持部611から与えられる反復判定値を元に、演算を反復するか否かを判断する。演算を反復する場合には、データを畳込み積分部62に送り前記の一連の処理を繰り返し、反復しない場合は生成された画像データを出力する。上記一連の処理を行い反復演算判定部610から出力される画像は、撮影画像よりも高解像度なものとなっている。また、前記PSFデータ保持部63で保持されるPSFデータには、畳込み積分の際に適切な座標位置での計算が必要となるので、モーション推定部107より各フレーム毎のモーションが与えられるようになっている。

図２の様な間引き読み出しを行った画像に対して、モーション推定を行うには、以下の３つ実施形態がある。（１）同じ読み出し規則を行うフレーム間でモーションの推定を行い、連続するフレーム間でのモーション推定の補間を行わない。（２）同じ読み出し規則を行うフレーム間でモーションの推定を行い、連続するフレーム間でのモーション推定の補間を行う。（３）各フレーム内で欠落している画素データの推定を行い、連続するフレーム間でのモーションの推定を行う。

（１）,（２）の手法では、図２に示すように、ODD,EVENでそれぞれ同じ読み出し規則で読み出しており、これらのフレーム間で、モーションの推定を行う。モーション推定を行う場合に、図２の様な読み出し方で、画像信号を得た後に、画像メモリに蓄え、読み飛ばした位置を考慮してモーション推定を行う。すなわち、２フレームの間で被写体の像が読み飛ばした位置にかかる場合や、前のフレームでは読み飛ばした位置にあるものが、出現する場合を考慮してモーションの推定に拘束条件を付ける。

図７は、間引き読み出しに対するモーション推定の概念図である。図７に示されているように、（１）の場合、ODD、EVENのそれぞれのフレーム列だけで、高解像度画像の推定を行う。図８は、連続フレームのモーション推定の概念図である。図８に示されているように、（２）の場合、ODD,EVENのそれぞれでモーションの推定を行った後に、連続するフレームのモーションの推定を行う。

連続フレームのモーションの推定は、例えば平均化処理による補間処理でも良い。例えばIフレームとI+2フレームのモーションa、I+1,I+3のモーションa'がそれぞれベクトルとして求まり、I+2フレームからaの1/2の大きさのモーションを差し引き、これをI+1とI+2の間のモーションの候補値とする。これとa'の1/2のモーションとの加算平均をとり、平均値処理による連続フレームのモーションの推定値とする。

図９は、連続フレームのモーション推定の概念図である。図９に示すように、（３）の場合、連続するフレームの画像信号データからそれぞれのフレーム内での補間処理を行い、フレーム間のデータを対応させる。このように、図２に示した例の読み出し規則に対して、間引き読み出しによって生じた画像の歪みを補正する処理を歪み補正処理と称することにする。

図１０は、フレーム内補間（歪み補正）処理後に連続フレームのモーション推定を行う概念図である。図１０では、ｉフレームとｉ＋１フレームのそれぞれについて歪み補正処理を行い、その後モーションデータ補間処理部で連続フレームのモーション推定を行っている。すなわち、図１０の例では、歪み補正処理を含む実施の形態を示している。

図１１は、歪み補正処理の概念図である。図１１により歪み補正処理の詳細について説明する。図１１の例では、Bayer配列のR-Gラインの水平方向R0〜G7の８画素のうち、G3およびR6の２画素を飛び越して読み出した画像データから、等間隔のR-G-R-G…の配列を生成する処理の概念図を示している。処理の概要は、(1)読み出した画素データから欠落している画素のデータの推定値を算出し８画素のデータとして、(2)８画素から６画素のデータを生成する縮小処理を行う。

このとき、欠落した画素の値を推定する方法としては、図１１（ａ）のように補間・縮小の２段階処理でも良いが、図１１（ｂ）のように１回の補間処理を用いる方式でも良い。これは後述の（３）式のような線形変換で表せる。一方縮小処理としては、以下に述べるような１次補間でも良いし、３次補間を用いても良い。また、３次補間の場合も図１１（ｂ）や後述の（３）式と同様に、１回の線形変換に簡略化できる。間引き読み出し、歪み補正処理において、８画素中６画素を読み出しでいれば75%の縮小処理になる。あるいは、10画素中８画素で有れば80%、12画素中10画素であれば83%となる。

以下に、欠落した画素を線形補間で埋めて、サイズ変更として線形補間を用いる方法を行列形式で表したものを（２）式に示す。

（２）式の右辺の２項目の操作は、
R(i),G(i+1),R(i+2),R(i+4),G(i+5),G(i+7),R(i+8)・・・
のようにサンプリングした画像データを補間して、
R(i),G(i+1),R(i+2),G￣(i+3),R(i+4),G(i+5),R￣(i+8),G(i+7)・・・
を生成し、右辺１項目の操作は線形補間により８画素を６画素に変換する操作を示している。

これらの操作を合成すると（３）式のような線形変換になる。

図１２は、歪み補正処理のフィルタ構成を示す構成図である。図１２に示すように、この操作を実行する構成はパイプライン処理としている。図１２において、シフトレジスタ901は６タップのFIFOになっており、１画素毎にシフトするように構成されている。i-i5は画素データが入るシフトレジスタを表し、s1,s2はセレクタの信号を表している。s1,s2には-1,0,1,2の４種の値が入る。値の範囲に限定は無く４種の値で有れば良い。ｄ1,d2はセレクタ902、903の出力、k1,k2は線形補間のパラメータで、加算器904の出力値はk1・d1＋k2・d2となる。図１２の構成で、１画素クロック毎に演算を行うときの論理表を表１に示す。

表１の論理表は、行方向に１画素クロックの状態を示しており、画素データがC1 <= C2 <= C3の様にシフトしている。

また、欠落した画素の輝度レベルの推定においては、前述したような同一チャンネルの１次補間あるいは、同一チャンネルの３次補間、sinc関数等の線形補間以外にも、Ｒ、Ｇ、Ｂチャンネル間の相関関係を用いた補間方法を用いることが出来る。

欠落した画素の輝度レベルの推定値は、（４）式、あるいは（５）式で与えられる。

図２のような離間的な読み出しを行った後に、（４）式、あるいは（５）式により欠落画素の推定を行うことで、読み出し方式が異なる隣接フレーム間でのモーション推定が出来る。

図１３は、上述した歪み補正手段（歪補正処理部113）を備えた実施形態の構成を示す構成図である。歪み補正処理がなされた画像データは、画像メモリ105-1〜105-ｎに保持される。その後、前述のようにフレーム間のモーション推定が行われ、図６に示した構成の高解像度画像推定演算部108により、推定高解像度画像を得る。

以上説明したように、本発明によれば、１フレームのクロック数の変動をせずに、電子的に撮像領域の大きさを変更し、さらに、取り込んだ領域に対して、超解像処理を行う撮像装置を提供することができる。

第１の実施形態例の構成図である。間引き読み出しの例を示す説明図である。モーション推定アルゴリズムのフローチャートである。モーション推定の最適類似度の推定を示す概念図である。高解像度画像推定のフローチャートである。超解像処理の構成を示す構成図である。間引き読み出しに対するモーション推定の概念図である。連続フレームのモーション推定の概念図である。連続フレームのモーション推定の概念図である。フレーム内補間（歪み補正）処理後に連続フレームのモーション推定を行う概念図である。歪み補正処理の概念図である。歪み補正処理のフィルタ構成を示す構成図である。歪み補正処理部を含む実施形態の構成図である。

符号の説明

１０１・・・光学系、１０２・・・イメージャ、１０３・・・倍率設定器、１０４・・・読み出し制御部、１０５−１〜１０５−ｎ・・・画像メモリ、
１０５・・・帯域分離処理部、１０６・・・超解像目的フレーム選択部、１０７・・・モーション推定部、１０８・・・高解像度画像推定部、１０９・・・補間拡大処理部、１１０・・・合成演算処理部、１１２・・・高解像画像演算領域判定部、１１３・・・メモリ部、１０５１・・・ローパスフィルタ、１０５２・・・バイアス加算処理部、１０５３・・・差分演算処理部、１１０１・・・重み係数生成部

Claims

被写体の像を電子的に得る撮像装置において、
被写体の像を撮像デバイスに結像する光学的結像手段と、所定領域の画像信号を出力することができる撮像デバイスと、前記撮像デバイスからの出力領域を設定する領域設定部と、領域設定部で設定した領域の大きさに応じて前記撮像デバイスの読み出し規則を選択する手段と、前記撮像デバイスから出力される複数のフレームの画像信号から高解像度な画像を生成する手段とを備え、
前記選択される撮像デバイスの読み出し規則として、画素を離間的に読み出す間引き読み出しを選択できる事を特徴とする撮像装置。
前記撮像デバイスの読み出し規則は、前記出力領域の大きさによらず画素の読み出しの総クロック数が一定である事を特徴とする請求項１に記載の撮像装置。
前記撮像デバイスの読み出し規則を、フレーム毎に異ならせる手段を有することを特徴とする請求項２に記載の撮像装置。
前記複数のフレームの画像信号から高解像度な画像を生成する手段が、複数フレーム間のモーションを推定する手段と、モーション推定がなされた複数フレームの画像信号を用いて高解像度画像信号を推定する手段よりなり、前記複数フレーム間のモーション推定を行うときに、互いに同一の読み出し規則を選択する手段を有することを特徴とする請求項３に記載の撮像装置。
前記複数フレーム間のモーション推定を行うときに、同一の読み出し規則のフレームを選択してモーション推定を行い、さらに、連続するフレーム間のモーション推定演算を行う手段を有することを特徴とする請求項４に記載の撮像装置。
前記撮像デバイスの間引き読み出しを行った後、間引き読み出しによる歪みの補正処理を行う手段を有することを特徴とする請求項１ないし請求項５のいずれかに記載の撮像装置。
前記歪みの補正処理が同一フレーム内の画素演算処理であることを特徴とする請求項６に記載の撮像装置。