JP2004032517A

JP2004032517A - Image pickup system and image processing apparatus

Info

Publication number: JP2004032517A
Application number: JP2002187990A
Authority: JP
Inventors: Fumiya Yagi; 八木　史也
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2002-06-27
Filing date: 2002-06-27
Publication date: 2004-01-29

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image pickup technique capable of outputting a smooth moving image, while realizing a relatively high S/N ratio and high sensitivity over the whole image. <P>SOLUTION: The image pickup system has five frame memories for storing the frames which are successively obtained with an image pickup element. Before a person HM appears, five frames F1-F5 are stored in the respective frame memories in the order of an update history. When the newest frame in which the person HM appears is obtained, a differential operation with the just preceding image F5 is performed, and space low-pass filter processing is applied to the differential image to generate a smoothed difference image FD. The image FD is added to the respective frames F2-F5, and added images F2a-F5a are generated. These added images F2a-F5a and the newest frame F6 are summed to generate a summed image FS. In this way, the smooth moving image can be generated while realizing a relatively high S/N ratio and high sensitivity over the whole image. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、出力画像データに基づき動画出力が可能な撮像技術に関する。
【０００２】
【従来の技術】
被写体を撮影する撮像装置（撮像システム）は、その原理により複数のタイプに分類されるが、いずれも使用されている撮像素子の感度は必ずしも高いとは言えない。撮像素子として最も普及しているＣＣＤイメージセンサでは、対象物体面上において１０^０［ｌｘ］オーダ、撮像面上においては１０^−１［ｌｘ］オーダの最低照度が必要である。この照度値から、例えば夜間の無照明での撮影が極めて困難であると言える。
【０００３】
そこで、撮像装置の感度を高めるために様々な技術が試みられている。この高感度化のための技術は５種類に大別される。それぞれの特徴を以下で説明する。
【０００４】
（１）撮像素子から出力される画像信号に対して、後段の信号処理回路における利得（ゲイン）を高める方法で、通常撮影の延長上にある技術である。これにより、微弱な画像信号が増強される。しかし、同時にノイズ成分までも増強されるため、出力画像の品質は劣悪なものとなる欠点がある。
【０００５】
（２）撮像素子上で隣接関係にある複数の画素の出力値を加算する技術で、例えば特開平９−１８２０９０はこれを応用している。各画素の出力値は微弱であっても、互いに加算することにより増強が可能となる。しかし、複数の画素の出力値を合計するため、解像度が著しく低下する欠点がある。
【０００６】
（３）被写体像を光学的に増倍する倍増素子を構成に付加する技術である。この倍増素子としてイメージインテンシファイアと称されるものがある。対物レンズ系によって結像した光学像を一旦光電膜で電子に変換し、生成された電子を電界により加速して蛍光膜に衝突させて、もとの光学像よりも輝度の高い蛍光像を形成する。これにより、比較的高いＳ／Ｎ比でリアルタイムの動画像を撮影できる。しかし、カラー画像の撮影が困難で、またコストが高いという欠点がある。
【０００７】
（４）撮像素子での光エネルギーの蓄積時間を延長する方法で、端的に言えばスローシャッタにより露光時間を長くする技術である。例えば特開昭６４−７８０８１にはこの技術が開示されている。低照度の微弱な画像でも露光量を増やせば画像信号の強度が増すとともに、蓄積時間を長くすることによりランダムノイズが平準化されその影響が減少するため、画像の品質も保たれる。しかし、シャッター速度が遅いため、動きのある被写体に追従できず、残像が発生するなど動解像度が低下するという欠点がある。
【０００８】
（５）順次に撮影される複数の画像データを、メモリ上で繰り返し加算する方法で、例えば特開平５−１０３２６６には、この方法を応用した技術が開示されている。この技術は、原理的には上記（４）の方法に類似しており、実質的に露光時間を延ばすことによってランダムノイズの低減を図るものである。
【０００９】
図７は、上記（５）の技術に係る撮像システム９の要部構成を示す概略図である。
【００１０】
レンズ光学系（図示せず）を介して撮像面に結像される被写体の光学像は、撮像素子９１で電気信号に変換されて画像信号として出力される。Ａ／Ｄ変換部９２は、撮像素子９１から出力される画像信号を、デジタル信号に変換して出力する。フレームメモリ群９３は、Ｎ（Ｎ≧２）枚の単位フレームメモリ（１）〜（Ｎ）を有しており、Ａ／Ｄ変換部９２で生成された画像データをそれぞれ格納する。
【００１１】
選択更新部９４は、Ａ／Ｄ変換部９２から出力される画像データを、単位フレームメモリ（１）〜（Ｎ）の中から更新履歴の最も古い１のフレームメモリを選択して転送し、選択されたフレームメモリの記憶内容を破棄して最新の画像データで更新する。総加算部部９５は、単位フレームメモリ（１）〜（Ｎ）に格納されている画像データを互いに加算して、出力画像データを生成する。出力画像処理部９６は、出力画像データを変換処理し、モニタなどの外部機器に動画出力する。
【００１２】
撮像システム９では、総加算部９５による出力画像データの生成は、単位フレームメモリ（１）〜（Ｎ）が一渡り更新される毎に行われる。よって、出力画像処理部９６から出力される画像の時間間隔は、撮像素子９１のフレームレートをＮ倍したものとなる。
【００１３】
以上の撮像システム９の動作により、高Ｓ／Ｎ比が達成でき、カラー撮影が可能となる。また、原理の類似した上記（４）の方法と異なって撮像素子の駆動に特別な構成を要しないという点で、優れた技術であると考えられる。
【００１４】
【発明が解決しようとする課題】
しかしながら、上記（５）の方法では、実質的な露光時間の延長と等しいため、上述したように出力画像処理部９６から動画像として出力される画像データのフレームレートが撮像素子の１／Ｎ倍と低下する。したがって、動きのある被写体を撮影する場合には、その動きに追従できず動解像度が低下するため、被写体の視認が困難な低品質の動画像となってしまう。
【００１５】
この問題を解消する技術として、例えば特開２００１−２３０９６５には、画像から動きのある部分と背景部分とを分離し、前者にはその大きさに応じて利得をかけ、後者にはデータ加算処理を施す方法が開示されている。しかし、この方法では、最終的に出力される画像で残像は低減できるが、動作の連続性が低下する。つまりフレームレートが減少して、いわゆるコマ飛びのように滑らかな動画像の出力が困難となる。
【００１６】
本発明は、上記課題に鑑みてなされたものであり、画像全体として比較的高いＳ／Ｎ比と高感度とを実現しつつ、滑らかな動画出力が可能な撮像技術を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上記の課題を解決するため、請求項１の発明は、動画出力が可能な撮像システムであって、被写体に係るフレームの画像データを順次に取得する撮像手段と、前記撮像手段で順次に取得される一連のフレームのうち、新しい順に所定数のフレームの画像データを格納する格納手段と、ｎを２以上の整数とし、前記所定数のフレームのうち最新のフレームを第ｎフレームとしたとき、第ｎフレームの画像データと、第１〜第（ｎ−１）フレームを代表的に表現した基準画像データとの差分画像データを生成する差分手段と、前記差分画像データに対してローパスフィルタ処理を施し、平滑化差分画像データを生成する平滑化手段と、第１〜第ｎフレームの画像データと、前記平滑化差分画像データの（ｎ−１）倍分との総和に対応する合成画像データを求める合成手段と、第２〜第（ｎ−１）フレームの画像データのそれぞれと前記平滑化差分画像データとの和に相当する値、および第ｎフレームの画像データの値によって、第１〜第（ｎ−１）フレームについての新たな画像データを定義する更新手段を備え、前記合成画像データに基づいて前記動画出力の１フレーム分を得る。
【００１８】
また、請求項２の発明は、請求項１の発明に係る撮像システムにおいて、整数ｎの値を変更する変更手段をさらに備える。
【００１９】
また、請求項３の発明は、請求項２の発明に係る撮像システムにおいて、前記変更手段は、第ｎフレームの画像データに係る輝度情報に基づき、整数ｎの値を変更する手段を有する。
【００２０】
また、請求項４の発明は、請求項２または請求項３の発明に係る撮像システムにおいて、前記被写体に係る照度を検出する検出手段、をさらに備え、前記変更手段は、前記検出手段で検出された前記照度に基づき、整数ｎの値を変更する手段を有する。
【００２１】
また、請求項５の発明は、被写体に係るフレームの画像データを順次に取得する撮像装置と通信可能に接続されて動画出力が可能な画像処理装置であって、前記撮像装置で順次に取得される一連のフレームのうち、新しい順に所定数のフレームの画像データを格納する格納手段と、ｎを２以上の整数とし、前記所定数のフレームのうち最新のフレームを第ｎフレームとしたとき、第ｎフレームの画像データと、第１〜第（ｎ−１）フレームを代表的に表現した基準画像データとの差分画像データを生成する差分手段と、前記差分画像データに対してローパスフィルタ処理を施し、平滑化差分画像データを生成する平滑化手段と、第１〜第ｎフレームの画像データと、前記平滑化差分画像データの（ｎ−１）倍分との総和に対応する合成画像データを求める合成手段と、第２〜第（ｎ−１）フレームの画像データのそれぞれと前記平滑化差分画像データとの和に相当する値および第ｎフレームの画像データの値によって、第１〜第（ｎ−１）フレームについての新たな画像データを定義する更新手段を備え、前記合成画像データに基づいて前記動画出力の１フレーム分を得る。
【００２２】
【発明の実施の形態】
＜第１実施形態＞
＜撮像システムの要部構成＞
図１は、本発明の第１実施形態に係る撮像システム１Ａの要部構成を示す概略図である。
【００２３】
撮像システム１Ａは、監視カメラ２Ａと、ケーブルＣＢ１を介して監視カメラ２Ａを制御するコントローラ３Ａとを有している。このコントローラ３Ａは、ケーブルＣＢ２を介して表示装置４と通信可能に接続している。表示装置４は、コントローラ３Ａから出力される動画像の表示が可能である。
【００２４】
監視カメラ２Ａは、撮影レンズ２１を有しており、撮影装置として機能する。
【００２５】
コントローラ３Ａは、画像処理装置として機能し、その前面には、電源スイッチ３１と、液晶モニタ３２と、操作ボタン３３（３３ａ、３３ｂ）とが設けられている。
【００２６】
操作ボタン３３は、ユーザの操作入力を受付ける部位で、この操作ボタン３３が操作されることで撮像システム１Ａの設定状態を変更することができる。また、液晶モニタ３２では、この設定状態が表示可能な構成となっている。
【００２７】
図２は、撮像システム１Ａの機能的構成を示すブロック図である。
【００２８】
監視カメラ２Ａは、撮像レンズ２１の奥に設けられる撮像素子２２と、撮像素子２２に電気的に接続するＡ／Ｄ変換部２３とを有している。
【００２９】
撮像素子２２は、例えばＣＣＤとして構成され、撮影レンズ２１によって結像する被写体の光学像を電気信号に変換し、フレームの画像信号を出力する。この画像信号の出力は、所定のフレームレート、例えば１／３０秒の周期で継続的に行われる。
【００３０】
Ａ／Ｄ変換部２３は、撮像素子２２からのアナログ信号をデジタル信号に変換する部位である。
【００３１】
コントローラ３Ａは、監視カメラ２Ａで生成される画像データを１フレーム分記憶する単位フレームメモリとして構成される、最新フレームメモリ５０、直前フレームメモリ５１、差分メモリ５２および平滑化差分メモリ５３を備えている。また、コントローラ３Ａは、５つの単位フレームメモリ５４〜５８で構成されるフレームメモリ群５９を有しており、このフレームメモリ群５９では、後述するように最新フレームの画像データとともに、最新フレームの取得時点から１／３０秒前（前回）、２／３０秒前（２回前）、３／３０秒前（３回前）および４／３０秒前（４回前）の４つの画像データが格納される。
【００３２】
監視カメラ２Ａから送信された最新フレームの画像データは、最新フレームメモリ５０に格納される。この最新フレームメモリ５０内の画像データは、新たに監視カメラ２で画像データが取得されコントローラ３に送信される場合には、直前フレームメモリ５１に転送されて格納される。すなわち、最新フレームメモリ５０に格納される画像データと、直前フレームメモリ５１に格納される画像データとは、画像取得時について１／３０秒のずれが生じている。
【００３３】
また、コントローラ３Ａは、選択更新部３４と、差分部３５と、空間ローパスフィルタ部３６と、選択加算部３７と、総加算部３８と、出力画像処理部３９と、これらの各部を統括制御する全体制御部３０とを有している。
【００３４】
選択更新部３４は、最新フレームメモリ５０に格納される最新フレームの画像データをフレームメモリ群５９に転送し、フレームメモリ群５９内の１つの単位フレームメモリの記憶内容を更新する。ここでは、フレームメモリ群５９のうち更新履歴の最も古い画像データ、具体的には、最新フレームの取得時点から５／３０秒前の画像データを破棄して更新する。これにより、撮像素子２２で取得された最新（今回）のフレームの画像データと、前回から順に４回前までに撮像素子２２で取得された４回分のフレームの画像データとを格納できることとなる。
【００３５】
差分部３５は、直前フレームメモリ５１に格納される直前フレームの画像データに対する、最新フレームメモリ５０に格納される最新フレームの画像データの差分画像データを演算する。そして、差分部３５で生成された差分画像データは、差分フレームメモリ５２に格納される。
【００３６】
空間ローパスフィルタ部３６は、差分フレームメモリ５２に格納される差分画像データに、例えばガウシアンフィルタを利用して空間ローパスフィルタ処理を施す。この空間ローパスフィルタ処理とは、画像上に存在する二次元パターンのうち比較的高周波の成分を低減させる処理である。これにより、差分画像データに含まれる空間的高周波の成分（ノイズ成分）を低減して平滑化し、平滑化差分画像データを生成できる。そして、空間ローパスフィルタ部３６で生成された平滑化差分画像データは、平滑化差分フレームメモリ５３に格納される。
【００３７】
選択加算部３７は、フレームメモリ群５９の５つの単位フレームメモリ５４〜５８のうち、選択更新部３４により最新フレームの画像データで更新された単位フレームメモリを除く４つの単位フレームメモリを順に選択し、選択された単位フレームメモリに格納される画像データに平滑化差分画像データを加算する。
【００３８】
総加算部３８は、フレームメモリ群５９の５つの単位フレームメモリ５４〜５８に格納されている５つの画像データを互いに対応画素ごとに加算し、出力画像データを生成する。この出力画像データの生成は、監視カメラ２のフレームレートと同一のフレームレート、すなわち１／３０秒ごとに行われる。
【００３９】
出力画像処理部３９は、総加算部３８で加算された出力画像データを、適切なデータ形態あるいは信号形式に変換処理して、モニタ４などの外部機器に動画出力を行う。この適切なデータ形態および信号形式とは、デジタル出力が要求される場合には例えばＭＰＥＧ形式が挙げられ、アナログ信号出力が要求される場合には例えばＹ／Ｃ形式が挙げられる。
【００４０】
全体制御部３０は、ＣＰＵおよびメモリを有しており、上記の各部と有機的に結合して統括制御を行う。特に、監視カメラ２の監視領域が暗い場合に、以下で説明する画像処理を行う。
【００４１】
＜画像処理について＞
撮像システム１Ａにおける低照度環境下での画像処理を、図３を参照しつつ説明する。図３は、ドアＤＲを含む監視領域に人物ＨＭが出現した場合の画像処理を具体的に説明するためのイメージ図となっている。
【００４２】
人物ＨＭが出現する前には、フレームメモリ群５９には更新履歴の順に５つのフレームＦ１〜Ｆ５が格納されている。そして、人物ＨＭが出現した最新（今回）のフレームの画像データが監視カメラ２から送信されると、最新フレームの画像データが最新フレームメモリ５０に格納されるとともに、選択更新部３４によって更新履歴の最も古いフレームＦ１の代わりに最新フレームＦ６がフレームメモリ群５９に格納される。
【００４３】
ここで、直前フレームメモリ５１に格納されている直前（前回）のフレームＦ５と最新フレームＦ６との差分演算が差分部３５で行われた後、空間ローパスフィルタ部３６で高周波ノイズ成分が低減されて平滑化差分画像ＦＤが生成される。
【００４４】
そして、平滑化差分画像ＦＤは、選択加算部３７によりフレームメモリ群５９に格納されるフレームＦ２〜Ｆ５にそれぞれ加算され、加算画像Ｆ２ａ〜Ｆ５ａがフレームメモリ群５９に格納される。
【００４５】
最後に、総加算部３８により、フレームメモリ群５９に格納される４つの加算画像Ｆ２ａ〜Ｆ５ａと最新フレームＦ６とが総加算されて出力画像ＦＳが生成される。
【００４６】
以上のように、前回以前に取得された４回分のフレームＦ２〜Ｆ５を互いに加算した画像と、平滑化差分画像ＦＤを４回分加算した画像と、最新フレームＦ６とが総加算され出力画像ＦＳが生成されることによって、ｎ＝５としたときに、ｎ回分のフレームＦ２〜Ｆ６と、平滑化差分画像ＦＳの（ｎ−１）倍分との総和に対応する合成画像データ（出力画像ＦＳ）が得られることになる。したがって、低照度環境下でも輝度が高い、すなわち感度が高い画像を取得できるとともに、画像データの総加算によって高周波のランダムノイズが平均化されることでＳ／Ｎ比が改善され、画像全体として高いＳ／Ｎ比を達成できる。なお、人物ＨＭが出現する直前の出力画像ＦＢも、フレームＦ１〜Ｆ５が総加算されたものであるため、出力画像ＦＳと同様である。
【００４７】
また、平滑化差分画像ＦＤをフレームＦ２〜Ｆ５に加算するため、人物ＨＭの出現という画像変化が生じても、これを的確に反映した動画像の出力が可能となる。
【００４８】
上記の画像処理では、被写体成分は画像からノイズ成分を除くものであるので、最新フレームＦ６が取得された時点で、フレームメモリ群５９内の各フレームＦ２〜Ｆ５における被写体成分が実質的に同一となっているのが前提条件となるが、平滑化差分画像データが過去の各フレームに常に加算されるため、フレームＦ２ａ〜Ｆ５ａ、Ｆ６のような関係を持つ被写体成分の等しい画像が時々刻々と生成されるので上記条件は満たされることとなる。すなわち、第２〜第（ｎ−１）フレームの画像データのそれぞれと平滑化差分画像ＦＳとの和に相当する値、および第ｎフレームの画像データの値によって、第１〜第（ｎ−１）フレームについての新たな画像データが定義されることによって、動画出力の各フレームの生成プロセスを繰り返すことができる。
【００４９】
なお、監視カメラ２での撮影開始直後には、フレームメモリ群５９にフレームの画像データが存在せず空の画像データが格納されているが、ここで最新フレームの画像データが取得されると、空の画像データとの差分画像データが空の画像データに加算される、すなわち最新フレームの画像データが各フレームメモリに複写されるため、出力画像は輝度が改善されたものとなる。この場合には、最新フレームのノイズ成分まで同一の複写であるために、画像全体のＳ／Ｎ比の向上は見込めない。しかし、順次に取得されるフレームの画像データが蓄積されることにより、徐々にＳ／Ｎ比が改善できることとなる。そして、フレームメモリ群５９で５つのフレームの画像データが蓄積された後には、一定の高Ｓ／Ｎ比が実現できる。
【００５０】
＜撮像システム１Ａの動作＞
図４は、撮像システム１Ａの基本的な動作を説明するフローチャートである。本動作は、全体制御部３０により実行される。ただし、撮影の初期状態では各フレームの画像データは入っていないが、撮影の最初に取得された１フレームの画像データを各フレームメモリに複写しておくことにより、下記の処理を開始可能である。もっとも、以下のルーチンは、既にある程度以上のフレーム数の画像データが取得されて各フレームメモリに格納され、上記の初期状態のダミー的状況が解消した後の期間に主として効果を発揮する。
【００５１】
ステップＳ１では、変数ｉに１を代入する。
【００５２】
ステップＳ２では、撮像素子２２でフレーム（ｉ）を取得する。このフレーム（ｉ）とは、撮影開始から第ｉ回目に取得されるフレームを示している。
【００５３】
ステップＳ３では、ステップＳ２で取得されたフレーム（ｉ）をＡ／Ｄ変換部２３でデジタル信号に変換する。
【００５４】
ステップＳ４では、選択更新部３４により、フレームメモリ群５９に格納される更新履歴の最も古いフレームを選択し、最新のフレーム（ｉ）で更新する。
【００５５】
ステップＳ５では、差分部３５により、直前のフレーム（ｉ−１）に対する最新のフレーム（ｉ）の差分演算を行う。
【００５６】
ステップＳ６では、空間ローパスフィルタ部３６により、ステップＳ５で演算された差分画像データに対して空間ローパスフィルタ処理を施す。これにより、図３に示す画像ＦＤのように、平滑化差分画像データが生成できる。
【００５７】
ステップＳ７では、選択加算部３７により、ステップＳ６で生成された平滑化差分画像データを、最新のフレーム（ｉ）を除くフレームメモリ群５９内の各フレームに加算する。これにより、図３に示す画像Ｆ２ａ〜Ｆ５ａのような加算画像データが生成できる。
【００５８】
ステップＳ８では、総加算部３８により、フレームメモリ群５９内の全フレーム、すなわち図３に示す加算画像Ｆ２ａ〜Ｆ５ａおよび最新画像Ｆ６を加算する。これにより、図３に示す出力画像ＦＳのような出力画像データが生成できる。
【００５９】
ステップＳ９では、出力画像処理部３９により、ステップＳ８で生成された画像を変換処理して、表示装置４などの外部機器に出力する。これにより、表示装置４では、低照度環境下の撮影画像であっても比較的鮮明に表示できることとなる。
【００６０】
ステップＳ１０では、直前フレームメモリ５１に格納されているフレーム（ｉ−１）を最新のフレーム（ｉ）で更新する。
【００６１】
ステップＳ１１では、変数ｉにｉ＋１を代入する。
【００６２】
以上で説明した撮像システム１Ａの動作を、以下でモデル式を用い補足的に説明する。図５は、撮像システム１Ａにおける画像処理の概念を説明するための図である。なお、図５に表す各矩形内の曲線Ｇは、画像信号を示している。また、画像処理の概念を一般化するため、フレームメモリ群５９内の単位フレームメモリの数をｎとし、またフレーム（ｉ）が取得された時点で、単位フレームメモリ（１）〜（ｎ）のうち更新履歴が最も古い画像データを格納しているものが単位フレームメモリ（ｎ）であると仮定する。
【００６３】
上記のステップＳ２およびＳ３で生成される最新のフレーム（ｉ）の画像データＤ_ｉは、図５の画像信号Ｇｔｏに示すような純粋な被写体像成分Ｏ_ｉと、ノイズ成分Ｒ_ｉとの合成信号Ｇｔと考えられるため、次の式（１）のように表される。
【００６４】
【数１】

【００６５】
ステップＳ４でのフレームの更新により、単位フレームメモリ（ｎ）に格納されるデータＤ_ｉ ^ｎは、次の式（２）で表される。
【００６６】
【数２】

【００６７】
また、単位フレームメモリ（ｎ−１）に格納されているデータＤ_ｉ−１ ^ｎ−１は、次の式（３）で表される。
【００６８】
【数３】

【００６９】
従って、ステップＳ５での差分演算により生成される差分画像データΔＤ_ｉは、次の式（４）のように示される。
【００７０】
【数４】

【００７１】
ここで、差分画像データΔＤ_ｉは、画面内で被写体が変化することによって発生する差分ΔＯ_ｉと、ノイズ成分の時間変化によって発生する差分ΔＲ_ｉとの合成信号Ｇｄとなるため、次の式（５）で表される。
【００７２】
【数５】

【００７３】
画像データに含まれるノイズ成分は、その大部分が空間的および時間的に高周波でばらつくという特性がある。一方、純粋な被写体像の動きは、空間的および時間的に低周波であることが一般的である。
【００７４】
よって、ステップＳ６における空間ローパスフィルタ処理により、ΔＯ_ｉは殆ど影響を受けないが、一方ΔＲ_ｉは低減されることとなる。すなわち、平滑化差分画像データΔＤ_ｉ’は、次の式（６）に示すように被写体像成分の差分ΔＯ_ｉと近似できる。
【００７５】
【数６】

【００７６】
ステップＳ７では、画像信号Ｇｆに示すような平滑化差分画像データΔＤ_ｉ’が、単位フレームメモリ（ｎ）以外の各単位フレームメモリ（１）〜（ｎ−１）に加算される。ここで、単位フレームメモリ（ｎ−１）に着目すると、このメモリ（ｎ−１）に格納されているデータＤ_ｉ ^ｎ−１は、次の式（７）で表されることとなる。
【００７７】
【数７】

【００７８】
式（７）に式（３）を代入すると、次の式（８）が導かれる。
【００７９】
【数８】

【００８０】
ここで、Ｏ_ｉ−１とΔＯ_ｉとの加算は、フレーム（ｉ−１）における純粋な被写体像成分と、フレーム（ｉ−１）からフレーム（ｉ）への純粋な被写体像成分の差分との加算を意味する。すなわち、Ｏ_ｉ−１とΔＯ_ｉとの加算は、フレーム（ｉ）における純粋な被写体像の成分Ｏ_ｉを表すこととなる。よって、式（８）から次の式（９）が導かれ、この画像データＤ_ｉが単位フレームメモリ（ｎ−１）に格納される。
【００８１】
【数９】

【００８２】
上述した単位フレームメモリ（ｎ−１）内の画像データと同様に、単位フレームメモリ（１）〜（ｎ−２）内の画像データに対して平滑化差分画像データを加算すると、各単位フレームメモリ（１）〜（ｎ）に格納される画像データＤ_ｉ ^１〜Ｄ_ｉ ^ｎは、次の式（１０）で表される。
【００８３】
【数１０】

【００８４】
そして、ステップＳ８で単位フレームメモリ（１）〜（ｎ）の各画像データＤ_ｉ ^１〜Ｄ_ｉ ^ｎが総加算され、次の式（１１）で表される出力画像データＰ_ｉ（画像信号Ｇｋ参照）が生成できる。
【００８５】
【数１１】

【００８６】
ここで、式（１１）の右辺第２項は、過去の各時点のフレームにおけるノイズ成分を加算したものである。上述したようにノイズ成分は空間的および時間的に高周波で分散するため、式（１１）の右辺第２項のように時系列で連続する複数のフレームにわたり加算すると、加算されるフレームの数すなわちｎの値が大きければ画像全体で均一な値に近づくこととなる。よって、式（１１）は、定数ｃを使って次の式（１２）のような近似が可能となる。
【００８７】
【数１２】

【００８８】
ここで、式（１２）の右辺第１項は、現時点の最新フレーム（ｉ）における純粋な被写体像を倍率ｎで増倍したものである。また、式（１２）の右辺第２項ｃは定数であるため、その除去が容易である。
【００８９】
以上説明したように撮像システム１Ａでは、純粋な被写体像Ｏ_ｉにノイズ成分Ｒ_ｉが重畳した最新の画像データＧｔに基づき、画像信号Ｇｋのように、最新の画像データＧｔと位相が等しく倍増された純粋な被写体像Ｏ_ｉに、低減されたノイズが重畳した画像データＰ_ｉを、監視カメラ２と同一フレームレートで生成できることとなる。この生成される出力画像データは、複数のフレームにわたる単なる加算で生成される画像データＧｓｔのように最新の画像データＧｔと位相が異なる（画像変化が反映されない）ものでなく、また最新の画像データＧｔを単純に倍増して生成される画像データＧｔｋのようにノイズ成分が大きくならない。すなわち、従来技術の欠点が改善されたものとなっている。
【００９０】
以上の撮像システム１Ａの動作により、最新のフレームと直前のフレームに基づき生成される平滑化差分画像データをフレームメモリに記憶される過去のフレームに加算した後に、これらと最新のフレームとの加算を行って出力画像データを生成するため、画像全体として比較的高いＳ／Ｎ比と高感度とを実現しつつ、滑らかな動画出力が可能となる。
【００９１】
＜第２実施形態＞
図６は、本発明の第２実施形態に係る撮像システム１Ｂの機能的構成を示すブロック図である。
【００９２】
撮像システム１Ｂのコントローラ３Ｂは、図２に示す第１実施形態のコントローラ３Ａに対して、選択フレーム数制限部６１と操作入力部６２とが付加されている。この操作入力部６２は、図１に示す操作ボタン３３を有している。
【００９３】
選択フレーム数制限部６１は、フレームメモリ群５９の５枚の単位フレームメモリ５４〜５８のうち、選択更新部３４および選択加算部３７で処理対象となる単位フレームメモリの数を制限する部位である。この選択フレーム数制限部６１により、加算されるフレーム数ｎを変更できるため、出力画像データの輝度調整を行えることとなる。
【００９４】
低照度環境といっても、実際の照度値は様々である。したがって、高感度化を目的として常にフレームメモリ群５９の全フレームメモリを総加算するのでは、照度値が比較的高い場合に出力画像が露出オーバによる白飛び状態となる可能性がある。そこで、選択フレーム数制限部６１は、単位フレームメモリ５４〜５８のうち処理対象の単位フレームメモリをＮｏ枚、例えば３枚に制限する。具体的には、選択フレーム数制限部６１は、Ａ／Ｄ変換部２３から受信する最新のフレームの画像データから導出される輝度情報に基づき、処理対象の単位フレームメモリを制限できる構成、より具体的には被写体の輝度が高いほど加算するフレームの数を減少させるという関係での制御構成となっている。
【００９５】
また、選択フレーム数制限部６１は、操作入力部６２に対してユーザが操作入力を行うことにより、選択対象の単位フレームメモリ数を制限できる。
【００９６】
撮像システム１Ｂの監視カメラ２Ｂは、図２に示す第１実施形態の監視カメラ２Ａに対して、測光センサ２４が付加されている。
【００９７】
測光センサ２４は、被写体の照度を測定する部位である。この測光センサ２４で検出された被写体の照度に基づき、選択フレーム数制限部６１では処理対象の単位フレームメモリ数を制限できる。
【００９８】
撮像システム１Ｂの動作は、図４のフローチャートに示す動作に類似しているが、選択フレーム数制限部６１によるフレーム数の制限動作が付加されている。
【００９９】
すなわち、例えば操作入力部６２に対するユーザの操作入力で設定された処理対象の単位フレームメモリに対して、平滑化差分データの加算処理が行われるとともに、これらのフレームの総加算が行われる。
【０１００】
なお、操作入力部６２から入力される設定値に基づき処理対象のフレームメモリを制限するのは必須でなく、上述した測光センサ２４や、Ａ／Ｄ変換部２３から出力された最新のフレームの画像データに基づき制限しても良い。
【０１０１】
以上の撮像システム１Ｂにより、第１実施形態と同様の効果を奏することとなる。さらに、撮像システム１Ｂでは、処理対象のフレーム数を制限できるため、出力画像データの輝度調整を適切に行える。
【０１０２】
＜変形例＞
◎上記の各実施形態については、監視カメラとコントローラとが分離するのは必須でなく、監視カメラにコントローラの機能を搭載しても良い。この場合には、監視カメラの出力画像が、画像全体として比較的高いＳ／Ｎ比と高感度とを実現した画像となる。
【０１０３】
◎上記の各実施形態における撮像素子は、ＣＣＤであるのは必須でなく、ＣＭＯＳイメージセンサでも良い。また、所定のフレームレートは、１／３０秒に限らず１／６０秒など一定の時間間隔であれば良い。
【０１０４】
◎上記の各実施形態におけるフレームメモリ群は、５個の単位フレームメモリから構成されているのは必須でなく、２個でも３個でも６個以上でも良い。また、第２実施形態に係る処理対象となるフレームの数ｎについても、２以上の任意の整数で良いが、好ましくは３以上、さらに好ましくは５以上である。
【０１０５】
◎上記の各実施形態においては、図３に示すように、以前に取得した各フレームＦ２〜Ｆ５に平滑化差分画像ＦＤを加算した後に、これらの加算画像Ｆ２ａ〜Ｆ５ａと最新のフレームＦ６とを加算して出力画像ＦＳを生成するのは必須でなく、以前の各フレームＦ２〜Ｆ５を互いに加算した画像と、平滑化差分画像ＦＤを４回加算した画像つまり４倍に増幅した画像と、最新のフレームＦ６とを加算して出力画像ＦＳを生成しても良い。この場合にも、上記の各実施形態と同様の効果を発揮できる。
【０１０６】
◎上記の各実施形態において、平滑化差分画像ＦＳ（図３参照）を得るにあたっては、最新のフレームＦ６とその直前のフレームＦ５との差ではなく、それ以前のフレーム（たとえばＦ４）と最新のフレームＦ６との差を求めても良い。すなわち、最新のフレームを第ｎフレームとしたとき、第１〜第（ｎ−１）フレームの被写体の画像状況は前回の更新によって実質的に同じになっているから、第ｎフレームの画像データとの差分を求める対象（基準画像データ）としては第１〜第（ｎ−１）フレームのいずれでもよく、また、これらのうちの複数のフレームの平均や加重平均を使用してもよいことになる。
【０１０７】
◎上述した具体的実施形態には、以下の構成を有する発明が含まれている。
【０１０８】
（１）操作入力を受付ける操作入力部をさらに備え、設定手段は前記操作入力に応答して整数ｎの値を変更する手段を有することを特徴とする撮像システム。
【０１０９】
これにより、出力画像データの輝度調整をユーザが行える。
【０１１０】
【発明の効果】
以上説明したように、請求項１ないし請求項５の発明によれば、第ｎフレームの画像データと、第１〜第（ｎ−１）フレームを代表的に表現した基準画像データとの差分画像データに対してローパスフィルタ処理を施して平滑化差分画像データを生成した後、第１〜第ｎフレームの画像データと、平滑化差分画像データの（ｎ−１）倍分との総和に対応する合成画像データを求める。その結果、画像全体として比較的高いＳ／Ｎ比と高感度とを実現しつつ、滑らかな動画出力が可能となる。
【０１１１】
特に、請求項２の発明においては、整数ｎの値を変更する変更手段をさらに備えるため、合成画像データの輝度調整が容易となる。
【０１１２】
また、請求項３の発明においては、第ｎフレームの画像データに係る輝度情報に基づき、整数ｎの値を変更するため、合成画像データの輝度調整を適切に行える。
【０１１３】
また、請求項４の発明においては、被写体に係る照度に基づき、整数ｎの値を変更するため、合成画像データの輝度調整を適切に行える。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る撮像システム１の要部構成を示す概略図である。
【図２】撮像システム１Ａの機能的構成を示すブロック図である。
【図３】撮像システム１Ａにおける画像処理方法を説明するための図である。
【図４】撮像システム１Ａの基本的な動作を説明するフローチャートである。
【図５】撮像システム１Ａにおける画像処理の概念を説明するための図である。
【図６】本発明の第２実施形態に係る撮像システム１Ｂの機能的構成を示すブロック図である。
【図７】従来技術に係る撮像システム９の要部構成を示す概略図である。
【符号の説明】
１Ａ、１Ｂ　撮像システム
２Ａ、２Ｂ　監視カメラ
３Ａ、３Ｂ　コントローラ
４　表示装置
３０　全体制御部
３４　選択更新部
３５　差分部
３６　空間ローパスフィルタ部
３７　選択加算部
３８　総加算部
３９　出力画像処理部
５９　フレームメモリ群[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an imaging technique capable of outputting a moving image based on output image data.
[0002]
[Prior art]
An imaging device (imaging system) for photographing a subject is classified into a plurality of types according to its principle, but the sensitivity of the imaging device used in each case is not necessarily high. In a CCD image sensor which is most widely used as an image sensor, 10⁰[Lx] order, 10 on the imaging surface^-1A minimum illuminance of the order [lx] is required. From this illuminance value, it can be said that, for example, it is extremely difficult to shoot at night without illumination.
[0003]
Therefore, various techniques have been tried to increase the sensitivity of the imaging device. Techniques for increasing the sensitivity are roughly classified into five types. Each feature is described below.
[0004]
(1) A technique for increasing the gain of an image signal output from an image sensor in a signal processing circuit at a subsequent stage, which is an extension of normal imaging. Thereby, a weak image signal is enhanced. However, since the noise component is also enhanced at the same time, there is a disadvantage that the quality of the output image becomes poor.
[0005]
(2) A technique of adding output values of a plurality of pixels having an adjacent relationship on an image sensor. For example, Japanese Patent Application Laid-Open No. 9-182090 uses this technique. Even if the output value of each pixel is weak, it can be enhanced by adding each other. However, since the output values of a plurality of pixels are summed, there is a disadvantage that the resolution is significantly reduced.
[0006]
(3) This is a technique in which a doubling element for optically multiplying a subject image is added to the configuration. As this doubling element, there is an element called an image intensifier. The optical image formed by the objective lens system is once converted into electrons by the photoelectric film, and the generated electrons are accelerated by the electric field and collide with the fluorescent film to form a fluorescent image with higher brightness than the original optical image I do. Thus, a real-time moving image can be captured with a relatively high S / N ratio. However, there are drawbacks in that it is difficult to take a color image and the cost is high.
[0007]
(4) A method of extending the accumulation time of light energy in the image sensor, which is a technique of extending the exposure time by a slow shutter, in short. For example, Japanese Patent Application Laid-Open No. 64-78081 discloses this technique. Increasing the amount of exposure increases the intensity of the image signal even for a weak image with low illuminance, and also increases the accumulation time to level out random noise and reduce its effect, thereby maintaining image quality. However, since the shutter speed is slow, it is not possible to follow a moving subject, and there is a drawback that the dynamic resolution is reduced such as an afterimage.
[0008]
(5) A method of repeatedly adding a plurality of image data shot sequentially on a memory, for example, Japanese Patent Application Laid-Open No. 5-103266 discloses a technique to which this method is applied. This technique is similar in principle to the method (4) described above, and aims to reduce random noise by substantially extending the exposure time.
[0009]
FIG. 7 is a schematic diagram illustrating a main configuration of the imaging system 9 according to the technique (5).
[0010]
An optical image of a subject formed on an imaging surface via a lens optical system (not shown) is converted into an electric signal by the imaging device 91 and output as an image signal. The A / D converter 92 converts an image signal output from the image sensor 91 into a digital signal and outputs the digital signal. The frame memory group 93 has N (N ≧ 2) unit frame memories (1) to (N), and stores the image data generated by the A / D converter 92, respectively.
[0011]
The selection update unit 94 transfers the image data output from the A / D conversion unit 92 by selecting the one frame memory having the oldest update history from the unit frame memories (1) to (N). The stored contents of the frame memory are discarded and updated with the latest image data. The total adding unit 95 adds the image data stored in the unit frame memories (1) to (N) to each other to generate output image data. The output image processing unit 96 converts the output image data and outputs a moving image to an external device such as a monitor.
[0012]
In the imaging system 9, the generation of the output image data by the total addition unit 95 is performed every time the unit frame memories (1) to (N) are updated. Therefore, the time interval between images output from the output image processing unit 96 is N times the frame rate of the image sensor 91.
[0013]
By the operation of the imaging system 9 described above, a high S / N ratio can be achieved, and color imaging can be performed. Further, unlike the method (4) having a similar principle, it is considered to be an excellent technique in that a special configuration is not required for driving the image sensor.
[0014]
[Problems to be solved by the invention]
However, in the method (5), since the exposure time is substantially equal to the extension of the exposure time, the frame rate of the image data output as a moving image from the output image processing unit 96 is 1 / N times that of the image sensor as described above. And decline. Therefore, when a moving subject is photographed, the moving resolution cannot be traced because the subject cannot follow the movement, resulting in a low-quality moving image in which it is difficult to visually recognize the subject.
[0015]
As a technique for solving this problem, for example, Japanese Patent Application Laid-Open No. 2001-230965 discloses that a moving part and a background part are separated from an image, a gain is applied to the former according to its size, and a data addition processing is performed to the latter. Is disclosed. However, in this method, afterimages can be reduced in the finally output image, but the continuity of operation decreases. That is, the frame rate decreases, and it becomes difficult to output a smooth moving image like a so-called frame skip.
[0016]
The present invention has been made in view of the above problems, and has as its object to provide an imaging technique capable of outputting a smooth moving image while realizing a relatively high S / N ratio and high sensitivity as a whole image. I do.
[0017]
[Means for Solving the Problems]
In order to solve the above problem, the invention according to claim 1 is an imaging system capable of outputting a moving image, wherein an imaging unit that sequentially acquires image data of a frame related to a subject, and an imaging system that is sequentially acquired by the imaging unit. Means for storing image data of a predetermined number of frames in a new order from a series of frames, and n is an integer of 2 or more, and the latest frame among the predetermined number of frames is an n-th frame. a difference means for generating difference image data between the image data of n frames and reference image data representatively representing the first to (n-1) th frames, and performing a low-pass filter process on the difference image data A smoothing means for generating smoothed difference image data; a synthesized image corresponding to the sum of image data of the first to n-th frames and (n-1) times the smoothed difference image data And a value corresponding to the sum of each of the image data of the second to (n-1) th frames and the smoothed difference image data, and a value of the image data of the nth frame. Updating means for defining new image data for the first to (n-1) th frames is provided, and one frame of the moving image output is obtained based on the composite image data.
[0018]
According to a second aspect of the present invention, in the imaging system according to the first aspect of the present invention, the imaging system further includes a change unit for changing a value of the integer n.
[0019]
According to a third aspect of the present invention, in the imaging system according to the second aspect of the present invention, the change unit has a unit for changing a value of the integer n based on luminance information on the image data of the n-th frame.
[0020]
According to a fourth aspect of the present invention, in the imaging system according to the second or third aspect of the present invention, the imaging system further includes a detecting unit configured to detect the illuminance of the subject, and the changing unit detects the illuminance. Means for changing the value of the integer n based on the illuminance.
[0021]
According to a fifth aspect of the present invention, there is provided an image processing apparatus which is communicably connected to an imaging apparatus for sequentially acquiring image data of a frame related to a subject and can output a moving image, and which is sequentially acquired by the imaging apparatus. Means for storing image data of a predetermined number of frames in a new order from a series of frames, and n is an integer of 2 or more, and the latest frame among the predetermined number of frames is an n-th frame. a difference means for generating difference image data between the image data of n frames and reference image data representatively representing the first to (n-1) th frames, and performing a low-pass filter process on the difference image data A smoothing means for generating smoothed difference image data; a synthesized image data corresponding to the sum of the image data of the first to n-th frames and (n-1) times the smoothed difference image data. And a value corresponding to the sum of each of the image data of the second to (n-1) th frames and the smoothed difference image data and the value of the image data of the nth frame. Updating means for defining new image data for the (n-1) th frame is provided, and one frame of the moving image output is obtained based on the composite image data.
[0022]
BEST MODE FOR CARRYING OUT THE INVENTION
<First embodiment>
<Main components of the imaging system>
FIG. 1 is a schematic diagram illustrating a main configuration of an imaging system 1A according to the first embodiment of the present invention.
[0023]
The imaging system 1A has a surveillance camera 2A and a controller 3A that controls the surveillance camera 2A via a cable CB1. The controller 3A is communicably connected to the display device 4 via the cable CB2. The display device 4 can display a moving image output from the controller 3A.
[0024]
Surveillance camera 2A has photographing lens 21, and functions as a photographing device.
[0025]
The controller 3A functions as an image processing device, and a power switch 31, a liquid crystal monitor 32, and operation buttons 33 (33a, 33b) are provided on a front surface thereof.
[0026]
The operation button 33 is a part that accepts a user's operation input. By operating the operation button 33, the setting state of the imaging system 1A can be changed. Further, the liquid crystal monitor 32 is configured to be able to display this setting state.
[0027]
FIG. 2 is a block diagram illustrating a functional configuration of the imaging system 1A.
[0028]
The surveillance camera 2 </ b> A has an image sensor 22 provided behind the image sensor 21 and an A / D converter 23 electrically connected to the image sensor 22.
[0029]
The imaging element 22 is configured as, for example, a CCD, converts an optical image of a subject formed by the imaging lens 21 into an electric signal, and outputs a frame image signal. The output of the image signal is continuously performed at a predetermined frame rate, for example, at a cycle of 1/30 seconds.
[0030]
The A / D converter 23 is a part that converts an analog signal from the image sensor 22 into a digital signal.
[0031]
The controller 3A includes a latest frame memory 50, a previous frame memory 51, a difference memory 52, and a smoothed difference memory 53 configured as a unit frame memory for storing one frame of image data generated by the monitoring camera 2A. . Further, the controller 3A has a frame memory group 59 composed of five unit frame memories 54 to 58. The frame memory group 59 acquires the latest frame together with the image data of the latest frame as described later. Four image data 1/30 seconds before (previous time), 2/30 seconds before (2 times before), 3/30 seconds before (3 times before) and 4/30 seconds before (4 times before) Is done.
[0032]
The image data of the latest frame transmitted from the monitoring camera 2A is stored in the latest frame memory 50. The image data in the latest frame memory 50 is transferred to and stored in the immediately preceding frame memory 51 when image data is newly acquired by the monitoring camera 2 and transmitted to the controller 3. In other words, the image data stored in the latest frame memory 50 and the image data stored in the immediately preceding frame memory 51 are shifted by 1/30 second when the image is acquired.
[0033]
The controller 3A controls the selection update unit 34, the difference unit 35, the spatial low-pass filter unit 36, the selection addition unit 37, the total addition unit 38, the output image processing unit 39, and these units. And an overall control unit 30.
[0034]
The selection update unit 34 transfers the image data of the latest frame stored in the latest frame memory 50 to the frame memory group 59, and updates the storage content of one unit frame memory in the frame memory group 59. Here, the oldest image data of the update history in the frame memory group 59, specifically, the image data 5/30 seconds before the latest frame acquisition time is discarded and updated. As a result, it is possible to store the image data of the latest (current) frame acquired by the image sensor 22 and the image data of four frames acquired by the image sensor 22 four times from the previous time.
[0035]
The difference unit 35 calculates difference image data of the image data of the latest frame stored in the latest frame memory 50 with respect to the image data of the previous frame stored in the previous frame memory 51. Then, the difference image data generated by the difference unit 35 is stored in the difference frame memory 52.
[0036]
The spatial low-pass filter unit 36 performs a spatial low-pass filter process on the difference image data stored in the difference frame memory 52 using, for example, a Gaussian filter. This spatial low-pass filter processing is processing for reducing relatively high-frequency components of a two-dimensional pattern existing on an image. This makes it possible to reduce and smooth a spatial high-frequency component (noise component) included in the difference image data, and generate smoothed difference image data. Then, the smoothed difference image data generated by the spatial low-pass filter unit 36 is stored in the smoothed difference frame memory 53.
[0037]
The selection addition unit 37 sequentially selects four unit frame memories from among the five unit frame memories 54 to 58 of the frame memory group 59 except for the unit frame memory updated with the image data of the latest frame by the selection update unit 34. Then, the smoothed difference image data is added to the image data stored in the selected unit frame memory.
[0038]
The total adder 38 adds the five image data stored in the five unit frame memories 54 to 58 of the frame memory group 59 to each other for each corresponding pixel to generate output image data. The generation of the output image data is performed at the same frame rate as the frame rate of the monitoring camera 2, that is, every 1/30 seconds.
[0039]
The output image processing unit 39 converts the output image data added by the total addition unit 38 into an appropriate data format or signal format, and outputs a moving image to an external device such as the monitor 4. The appropriate data format and signal format include, for example, the MPEG format when digital output is required, and the Y / C format when analog signal output is required.
[0040]
The overall control unit 30 has a CPU and a memory, and performs overall control by organically combining with the above units. In particular, when the monitoring area of the monitoring camera 2 is dark, the image processing described below is performed.
[0041]
<About image processing>
Image processing in a low illuminance environment in the imaging system 1A will be described with reference to FIG. FIG. 3 is an image diagram for specifically explaining the image processing when the person HM appears in the monitoring area including the door DR.
[0042]
Before the appearance of the person HM, five frames F1 to F5 are stored in the frame memory group 59 in the order of update history. Then, when the image data of the latest (current) frame in which the person HM has appeared is transmitted from the surveillance camera 2, the image data of the latest frame is stored in the latest frame memory 50, and the selection update unit 34 updates the update history. The latest frame F6 is stored in the frame memory group 59 instead of the oldest frame F1.
[0043]
Here, after the difference operation between the immediately preceding (previous) frame F5 stored in the immediately preceding frame memory 51 and the latest frame F6 is performed by the difference unit 35, the high frequency noise component is reduced by the spatial low-pass filter unit 36. A smoothed difference image FD is generated.
[0044]
Then, the smoothed difference image FD is added to the frames F2 to F5 stored in the frame memory group 59 by the selection and addition unit 37, respectively, and the added images F2a to F5a are stored in the frame memory group 59.
[0045]
Finally, the total addition unit 38 adds the four added images F2a to F5a stored in the frame memory group 59 and the latest frame F6 to generate an output image FS.
[0046]
As described above, the image obtained by adding the four frames F2 to F5 obtained before the previous time to each other, the image obtained by adding the smoothed difference image FD four times, and the latest frame F6 are added, and the output image FS is obtained. By generating, when n = 5, composite image data (output image FS) corresponding to the sum of n times of frames F2 to F6 and (n-1) times the smoothed difference image FS Is obtained. Therefore, an image having high luminance, that is, an image with high sensitivity can be acquired even in a low-illuminance environment, and the S / N ratio is improved by averaging high-frequency random noise by total addition of image data, so that the entire image is high. An S / N ratio can be achieved. Note that the output image FB immediately before the appearance of the person HM is also the same as the output image FS because the frames F1 to F5 are added together.
[0047]
In addition, since the smoothed difference image FD is added to the frames F2 to F5, even if an image change such as the appearance of the person HM occurs, it is possible to output a moving image that accurately reflects the change.
[0048]
In the above-described image processing, since the subject component removes the noise component from the image, the subject component in each of the frames F2 to F5 in the frame memory group 59 is substantially the same when the latest frame F6 is obtained. Is a prerequisite, however, since the smoothed difference image data is always added to each past frame, an image with the same subject component having a relationship such as frames F2a to F5a and F6 is generated every moment. Therefore, the above condition is satisfied. That is, the first to (n−1) th frames are determined by the value corresponding to the sum of each of the image data of the second to (n−1) th frames and the smoothed difference image FS, and the value of the image data of the nth frame. 2) By defining new image data for a frame, the process of generating each frame of the moving image output can be repeated.
[0049]
Immediately after the start of shooting with the surveillance camera 2, empty image data is stored in the frame memory group 59 without frame image data. If the latest frame image data is acquired here, Since the difference image data from the sky image data is added to the sky image data, that is, the image data of the latest frame is copied to each frame memory, the output image has improved brightness. In this case, since the same copy is performed up to the noise component of the latest frame, an improvement in the S / N ratio of the entire image cannot be expected. However, by accumulating the image data of the sequentially acquired frames, the S / N ratio can be gradually improved. After five frames of image data are accumulated in the frame memory group 59, a constant high S / N ratio can be realized.
[0050]
<Operation of Imaging System 1A>
FIG. 4 is a flowchart illustrating a basic operation of the imaging system 1A. This operation is executed by the overall control unit 30. However, although the image data of each frame is not included in the initial state of shooting, the following processing can be started by copying the image data of one frame acquired at the beginning of shooting into each frame memory. . However, the following routine is mainly effective during a period after the image data of a certain number of frames or more has already been acquired and stored in each frame memory, and the above-described dummy state in the initial state has been resolved.
[0051]
In step S1, 1 is substituted for a variable i.
[0052]
In step S2, the frame (i) is acquired by the image sensor 22. The frame (i) indicates a frame acquired at the i-th time from the start of shooting.
[0053]
In step S3, the A / D converter 23 converts the frame (i) obtained in step S2 into a digital signal.
[0054]
In step S4, the selection update unit 34 selects the oldest frame in the update history stored in the frame memory group 59 and updates it with the latest frame (i).
[0055]
In step S5, the difference unit 35 performs a difference calculation of the latest frame (i) with respect to the immediately preceding frame (i-1).
[0056]
In step S6, the spatial low-pass filter 36 performs spatial low-pass filtering on the difference image data calculated in step S5. Thereby, smoothed difference image data can be generated like the image FD shown in FIG.
[0057]
In step S7, the selection adding unit 37 adds the smoothed difference image data generated in step S6 to each frame in the frame memory group 59 except for the latest frame (i). Thereby, additional image data such as the images F2a to F5a shown in FIG. 3 can be generated.
[0058]
In step S8, the total adder 38 adds all the frames in the frame memory group 59, that is, the added images F2a to F5a and the latest image F6 shown in FIG. Thus, output image data such as the output image FS shown in FIG. 3 can be generated.
[0059]
In step S9, the output image processing unit 39 converts the image generated in step S8 and outputs the image to an external device such as the display device 4. Thus, the display device 4 can relatively clearly display a captured image under a low illuminance environment.
[0060]
In step S10, the frame (i-1) stored in the immediately preceding frame memory 51 is updated with the latest frame (i).
[0061]
In step S11, i + 1 is substituted for a variable i.
[0062]
The operation of the imaging system 1A described above will be supplementarily described below using a model formula. FIG. 5 is a diagram for explaining the concept of image processing in the imaging system 1A. A curve G in each rectangle shown in FIG. 5 indicates an image signal. In order to generalize the concept of image processing, the number of unit frame memories in the frame memory group 59 is set to n, and when the frame (i) is acquired, the unit frame memories (1) to (n) It is assumed that the one storing the image data with the oldest update history is the unit frame memory (n).
[0063]
The image data D of the latest frame (i) generated in steps S2 and S3_iIs a pure subject image component O as shown in the image signal Gto of FIG._iAnd the noise component R_iTherefore, it is expressed as in the following equation (1).
[0064]
(Equation 1)

[0065]
By updating the frame in step S4, the data D stored in the unit frame memory (n)_i ⁿIs represented by the following equation (2).
[0066]
(Equation 2)

[0067]
The data D stored in the unit frame memory (n-1)_i-1 ^n-1Is represented by the following equation (3).
[0068]
(Equation 3)

[0069]
Therefore, the difference image data ΔD generated by the difference calculation in step S5_iIs expressed as in the following equation (4).
[0070]
(Equation 4)

[0071]
Here, the difference image data ΔD_iIs the difference ΔO caused by the change of the subject in the screen._iAnd the difference ΔR generated by the time change of the noise component_iTherefore, the composite signal Gd is expressed by the following equation (5).
[0072]
(Equation 5)

[0073]
Most of the noise components included in the image data have a characteristic that they vary spatially and temporally at high frequencies. On the other hand, the movement of a pure subject image generally has a low frequency spatially and temporally.
[0074]
Therefore, by the spatial low-pass filter processing in step S6, ΔO_iIs hardly affected, while ΔR_iWill be reduced. That is, the smoothed difference image data ΔD_i′ Is the difference ΔO between the subject image components as shown in the following equation (6)._iCan be approximated.
[0075]
(Equation 6)

[0076]
In step S7, the smoothed difference image data ΔD as shown in the image signal Gf_i'Is added to the unit frame memories (1) to (n-1) other than the unit frame memory (n). Here, paying attention to the unit frame memory (n-1), the data D stored in this memory (n-1)_i ^n-1Is expressed by the following equation (7).
[0077]
(Equation 7)

[0078]
Substituting equation (3) into equation (7) leads to the following equation (8).
[0079]
(Equation 8)

[0080]
Where O_i-1And ΔO_iMeans the addition of the pure subject image component in the frame (i-1) and the difference of the pure subject image component from the frame (i-1) to the frame (i). That is, O_i-1And ΔO_iIs added to the component O of the pure subject image in the frame (i)._iWill be expressed. Therefore, the following equation (9) is derived from equation (8), and this image data D_iAre stored in the unit frame memory (n-1).
[0081]
(Equation 9)

[0082]
Similarly to the image data in the unit frame memory (n-1) described above, when the smoothed difference image data is added to the image data in the unit frame memories (1) to (n-2), each unit frame memory Image data D stored in (1) to (n)_i ¹~ D_i ⁿIs represented by the following equation (10).
[0083]
(Equation 10)

[0084]
Then, in step S8, each image data D in the unit frame memories (1) to (n) is_i ¹~ D_i ⁿAre added, and the output image data P expressed by the following equation (11) is obtained._i(See image signal Gk) can be generated.
[0085]
[Equation 11]

[0086]
Here, the second term on the right side of Expression (11) is obtained by adding the noise components in the frames at the respective past time points. As described above, since the noise component is spatially and temporally dispersed at a high frequency, when the noise component is added over a plurality of frames that are continuous in time series as in the second term on the right side of Expression (11), the number of frames to be added, If the value of n is large, it will approach a uniform value for the entire image. Therefore, Expression (11) can be approximated by Expression (12) using the constant c.
[0087]
(Equation 12)

[0088]
Here, the first term on the right side of Expression (12) is obtained by multiplying the pure subject image in the latest frame (i) at the present time by the magnification n. Since the second term c on the right side of the equation (12) is a constant, it can be easily removed.
[0089]
As described above, in the imaging system 1A, the pure subject image O_iNoise component R_iIs based on the latest image data Gt on which the superimposed image data Gt is pure and the phase is equal to and doubled with the latest image data Gt like the image signal Gk._iImage data P on which reduced noise is superimposed_iCan be generated at the same frame rate as the monitoring camera 2. The generated output image data is not different from the latest image data Gt in phase (no image change is reflected), unlike the image data Gst generated by simple addition over a plurality of frames. The noise component does not increase unlike the image data Gtk generated by simply doubling Gt. That is, the disadvantages of the prior art are improved.
[0090]
By the operation of the above-described imaging system 1A, after adding the smoothed difference image data generated based on the latest frame and the immediately preceding frame to the past frames stored in the frame memory, the addition of these to the latest frame is performed. In this case, the output image data is generated, so that a relatively high S / N ratio and high sensitivity can be realized as a whole image, and a smooth moving image can be output.
[0091]
<Second embodiment>
FIG. 6 is a block diagram illustrating a functional configuration of an imaging system 1B according to the second embodiment of the present invention.
[0092]
The controller 3B of the imaging system 1B is different from the controller 3A of the first embodiment shown in FIG. 2 in that a selection frame number limiting unit 61 and an operation input unit 62 are added. The operation input unit 62 has the operation buttons 33 shown in FIG.
[0093]
The selection frame number limiting unit 61 is a unit that limits the number of unit frame memories to be processed by the selection updating unit 34 and the selection adding unit 37 among the five unit frame memories 54 to 58 of the frame memory group 59. . Since the number n of frames to be added can be changed by the selected frame number limiter 61, the brightness of output image data can be adjusted.
[0094]
Even in a low illuminance environment, actual illuminance values vary. Therefore, if the total sum of all the frame memories of the frame memory group 59 is always added for the purpose of increasing the sensitivity, the output image may be overexposed due to overexposure when the illuminance value is relatively high. Therefore, the selected frame number limiting unit 61 limits the number of unit frame memories to be processed among the unit frame memories 54 to 58 to No, for example, three. Specifically, the selected frame number limiting unit 61 can limit the unit frame memory to be processed based on the luminance information derived from the image data of the latest frame received from the A / D converter 23. More specifically, the control configuration is such that the number of frames to be added decreases as the brightness of the subject increases.
[0095]
In addition, the selection frame number limiting unit 61 can limit the number of unit frame memories to be selected by the user performing an operation input to the operation input unit 62.
[0096]
The monitoring camera 2B of the imaging system 1B has a photometric sensor 24 added to the monitoring camera 2A of the first embodiment shown in FIG.
[0097]
The photometric sensor 24 is a part that measures the illuminance of the subject. Based on the illuminance of the subject detected by the photometric sensor 24, the selected frame number limiting unit 61 can limit the number of unit frame memories to be processed.
[0098]
The operation of the imaging system 1B is similar to the operation shown in the flowchart of FIG. 4, but an operation of limiting the number of frames by the selected frame number limiting unit 61 is added.
[0099]
That is, for example, the addition processing of the smoothed difference data is performed on the unit frame memory of the processing target set by the user's operation input to the operation input unit 62, and the total addition of these frames is performed.
[0100]
Note that it is not essential to limit the frame memory to be processed based on the setting value input from the operation input unit 62, and the image of the latest frame output from the photometric sensor 24 or the A / D conversion unit 23 described above. The restriction may be based on data.
[0101]
With the above imaging system 1B, the same effects as in the first embodiment can be obtained. Further, in the imaging system 1B, since the number of frames to be processed can be limited, the brightness of output image data can be appropriately adjusted.
[0102]
<Modification>
In the above embodiments, it is not essential that the surveillance camera and the controller are separated from each other, and the surveillance camera may be provided with a controller function. In this case, the output image of the surveillance camera is an image that realizes a relatively high S / N ratio and high sensitivity as a whole image.
[0103]
The imaging device in each of the above embodiments is not necessarily a CCD, but may be a CMOS image sensor. Further, the predetermined frame rate is not limited to 1/30 second, but may be a constant time interval such as 1/60 second.
[0104]
It is not essential that the frame memory group in each of the above embodiments is composed of five unit frame memories, but may be two, three, six or more. Also, the number n of frames to be processed according to the second embodiment may be an arbitrary integer of 2 or more, but is preferably 3 or more, and more preferably 5 or more.
[0105]
In the above embodiments, as shown in FIG. 3, after adding the smoothed difference image FD to each of the previously acquired frames F2 to F5, these added images F2a to F5a and the latest frame F6 are added. It is not essential to generate the output image FS by adding the images. The image obtained by adding the previous frames F2 to F5 to each other, the image obtained by adding the smoothed difference image FD four times, that is, the image amplified four times, May be added to generate the output image FS. Also in this case, the same effects as those of the above embodiments can be exerted.
[0106]
In each of the above embodiments, in obtaining the smoothed difference image FS (see FIG. 3), not the difference between the latest frame F6 and the immediately preceding frame F5, but the previous frame (for example, F4) and the latest frame F6. The difference from the frame F6 may be obtained. That is, when the latest frame is the n-th frame, the image states of the subjects in the first to (n-1) th frames have been substantially the same by the previous update. (Reference image data) may be any of the first to (n-1) th frames, and an average or a weighted average of a plurality of frames may be used. .
[0107]
The specific embodiments described above include inventions having the following configurations.
[0108]
(1) An imaging system, further comprising an operation input unit that receives an operation input, wherein the setting unit includes a unit that changes a value of an integer n in response to the operation input.
[0109]
This allows the user to adjust the brightness of the output image data.
[0110]
【The invention's effect】
As described above, according to the first to fifth aspects of the present invention, the difference image between the image data of the n-th frame and the reference image data representatively representing the first to (n-1) th frames After performing low-pass filtering on the data to generate smoothed difference image data, the data corresponds to the sum of the image data of the first to n-th frames and (n-1) times the smoothed difference image data. Find composite image data. As a result, a smooth moving image can be output while realizing a relatively high S / N ratio and high sensitivity for the entire image.
[0111]
In particular, according to the second aspect of the present invention, since there is further provided a changing means for changing the value of the integer n, it is easy to adjust the luminance of the composite image data.
[0112]
According to the third aspect of the present invention, since the value of the integer n is changed based on the luminance information on the image data of the n-th frame, the luminance of the composite image data can be appropriately adjusted.
[0113]
According to the fourth aspect of the present invention, since the value of the integer n is changed based on the illuminance of the subject, it is possible to appropriately adjust the luminance of the composite image data.
[Brief description of the drawings]
FIG. 1 is a schematic diagram illustrating a main configuration of an imaging system 1 according to a first embodiment of the present invention.
FIG. 2 is a block diagram illustrating a functional configuration of an imaging system 1A.
FIG. 3 is a diagram for explaining an image processing method in the imaging system 1A.
FIG. 4 is a flowchart illustrating a basic operation of the imaging system 1A.
FIG. 5 is a diagram for explaining the concept of image processing in the imaging system 1A.
FIG. 6 is a block diagram illustrating a functional configuration of an imaging system 1B according to a second embodiment of the present invention.
FIG. 7 is a schematic diagram showing a configuration of a main part of an imaging system 9 according to the related art.
[Explanation of symbols]
1A, 1B imaging system
2A, 2B surveillance camera
3A, 3B controller
4 Display device
30 overall control unit
34 Selection update section
35 difference section
36 spatial low-pass filter
37 selective adder
38 Total adder
39 output image processing unit
59 frame memory group

Claims

An imaging system capable of outputting moving images,
Imaging means for sequentially acquiring image data of a frame related to a subject,
A storage unit that stores image data of a predetermined number of frames in a new order from a series of frames sequentially acquired by the imaging unit,
When n is an integer of 2 or more and the latest frame among the predetermined number of frames is the n-th frame, the image data of the n-th frame and the first to (n-1) th frames are typically represented. Difference means for generating difference image data from the reference image data;
A low-pass filter process is performed on the difference image data, and a smoothing unit that generates smoothed difference image data,
Synthesizing means for obtaining synthetic image data corresponding to the sum of the image data of the first to n-th frames and (n-1) times the smoothed difference image data;
The first to (n−1) th frames are determined by a value corresponding to the sum of each of the image data of the second to (n−1) th frames and the smoothed difference image data and the value of the image data of the nth frame. Updating means for defining new image data for the frame,
With
An imaging system, wherein one frame of the moving image output is obtained based on the composite image data.

The imaging system according to claim 1,
Changing means for changing the value of the integer n;
An imaging system, further comprising:

The imaging system according to claim 2,
The changing means,
Means for changing the value of the integer n based on the luminance information relating to the image data of the n-th frame;
An imaging system comprising:

In the imaging system according to claim 2 or 3,
Detecting means for detecting the illuminance of the subject,
Further comprising
The changing means,
Means for changing a value of an integer n based on the illuminance detected by the detection means;
An imaging system comprising:

An image processing apparatus capable of outputting a moving image, communicably connected to an imaging apparatus that sequentially acquires image data of frames related to a subject,
A storage unit that stores image data of a predetermined number of frames in a new order from a series of frames sequentially acquired by the imaging device,
When n is an integer of 2 or more and the latest frame among the predetermined number of frames is the n-th frame, the image data of the n-th frame and the first to (n-1) th frames are typically represented. Difference means for generating difference image data from the reference image data;
A low-pass filter process is performed on the difference image data, and a smoothing unit that generates smoothed difference image data,
Synthesizing means for obtaining synthetic image data corresponding to the sum of the image data of the first to n-th frames and (n-1) times the smoothed difference image data;
The first to (n−1) th frames are determined by a value corresponding to the sum of each of the image data of the second to (n−1) th frames and the smoothed difference image data and the value of the image data of the nth frame. Updating means for defining new image data for the frame,
With
An image processing apparatus, wherein one frame of the moving image output is obtained based on the composite image data.