JP3809661B2 - 動き検出装置および動き検出方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動き検出装置および動き検出方法に関する。特に、例えば監視用や検査用のビデオカメラなどに用いて好適な動き検出装置および動き検出方法に関する。
【０００２】
【従来の技術】
従来の、例えば監視用のビデオカメラなどにおいては、検出開始時に撮影された画像を、動きを検出するための基準画像とし、その後順次撮像されて入力される画像（現画像）と、基準画像とを比較することで、画像（現画像）の動きを検出するようになされている。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来のビデオカメラにおいては、基準画像と現画像との比較は、その輝度についてのみ行われるようになされていた。このため、ビデオカメラによる監視を長時間行う場合には、環境光の変化による影響で、画像に動きがあったと誤検出されることがあった。
【０００４】
さらに、ビデオカメラに自動露光調整装置（オートアイリス）が設けられている場合には、撮影風景に、物体が進入すると、それにより現画像全体の露光が変化するため、検出感度が高くなっているビデオカメラによれば、物体が進入した領域だけでなく、その他の領域についても、動きがあったと誤検出されることがあった。
【０００５】
また、従来においては、例えば、検出感度や、基準画像を記憶するタイミングなどの画像の動きを検出するために用いるパラメータが固定とされていたため、動きの検出を、画一的にしか行うことができなかった。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、動きの検出精度を向上させるとともに、動きの検出を、ユーザの要望に応じて柔軟に行うことができるようにするものである。
【０００７】
【課題を解決するための手段】
請求項１に記載の動き検出装置は、入力された画像を、動きを検出するための基準となる基準画像として記憶する基準画像記憶手段と、基準画像記憶手段に記憶された基準画像を更新する更新手段と、入力された画像を、現画像として記憶する現画像記憶手段と、基準画像記憶手段に記憶された基準画像と、現画像記憶手段に記憶された現画像との輝度に関する輝度情報どうしを比較する輝度情報比較手段と、基準画像または現画像を構成する各画素の飽和度を検出する飽和度検出手段と、飽和度検出手段により検出された飽和度に基づいて、基準画像または現画像を構成する各画素の色が有彩色若しくは無彩色のうちのいずれであるかを判定する有彩色／無彩色判定手段と、有彩色／無彩色判定手段において基準画像および現画像がともに有彩色であると判定された場合に、基準画像記憶手段に記憶された基準画像と、現画像記憶手段に記憶された現画像との色に関する色情報どうしを比較する色情報比較手段と、輝度情報比較手段および色情報比較手段の比較結果に基づいて、画像の動きを検出する動き検出手段と、動き検出手段により画像の動きが検出されている期間を、所定の延長時間だけ延長する延長手段とを備えることを特徴とする。
【０００８】
請求項２７に記載の動き検出方法は、入力された画像を、動きを検出するための基準となる基準画像として、更新しながら記憶するとともに、入力された画像を、現画像として記憶する一方、基準画像と、現画像との輝度に関する輝度情報どうしを比較し、基準画像または現画像を構成する各画素の飽和度を検出し、検出された飽和度に基づいて、基準画像または現画像を構成する各画素の色が有彩色若しくは無彩色のうちのいずれであるかを判定し、基準画像および現画像がともに有彩色であると判定された場合に、基準画像と、現画像との色に関する色情報どうしを比較し、輝度情報および色情報の比較結果に基づいて、画像の動きを検出し、画像の動きが検出されている期間を、所定の時間だけ延長することを特徴とする。
【００１３】
請求項１に記載の動き検出装置においては、基準画像記憶手段は、入力された画像を、動きを検出するための基準となる基準画像として記憶し、更新手段は、基準画像記憶手段に記憶された基準画像を更新するようになされている。現画像記憶手段は、入力された画像を、現画像として記憶し、輝度情報比較手段は、基準画像記憶手段に記憶された基準画像と、現画像記憶手段に記憶された現画像との輝度に関する輝度情報どうしを比較し、飽和度検出手段は、基準画像または現画像を構成する各画素の飽和度を検出し、有彩色／無彩色判定手段は、飽和度検出手段により検出された飽和度に基づいて、基準画像または現画像を構成する各画素の色が有彩色若しくは無彩色のうちのいずれであるかを判定し、色情報比較手段は、有彩色／無彩色判定手段において基準画像および現画像がともに有彩色であると判定された場合に、基準画像記憶手段に記憶された基準画像と、現画像記憶手段に記憶された現画像との色に関する色情報どうしを比較するようになされている。動き検出手段は、輝度情報比較手段および色情報比較手段の比較結果に基づいて、画像の動きを検出するようになされている。延長手段は、動き検出手段により画像の動きが検出されている期間を、所定の延長時間だけ延長するようになされている。
【００１４】
請求項２７に記載の動き検出方法においては、入力された画像を、動きを検出するための基準となる基準画像として、更新しながら記憶するとともに、入力された画像を、現画像として記憶する一方、基準画像と、現画像との輝度に関する輝度情報どうしを比較し、基準画像または現画像を構成する各画素の飽和度を検出し、検出された飽和度に基づいて、基準画像または現画像を構成する各画素の色が有彩色若しくは無彩色のうちのいずれであるかを判定し、基準画像および現画像がともに有彩色であると判定された場合に、基準画像と、現画像との色に関する色情報どうしを比較し、その輝度情報および色情報の比較結果に基づいて、画像の動きを検出し、画像の動きが検出されている期間を、所定の時間だけ延長するようになされている。
【００１９】
【発明の実施の形態】
以下に、本発明の実施例を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施例との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施例（但し、一例）を付加して、本発明の特徴を記述すると、次のようになる。
【００２０】
即ち、請求項１に記載の動き検出装置は、入力された画像の動きを検出する動き検出装置であって、入力された画像を、動きを検出するための基準となる基準画像として記憶する基準画像記憶手段（例えば、図１に示す基準画像メモリ１４など）と、基準画像記憶手段に記憶された基準画像を更新する更新手段（例えば、図１に示す更新部１３および画面更新判定装置２６など）と、入力された画像を、現画像として記憶する現画像記憶手段（例えば、図１に示す現画像メモリ１２など）と、基準画像記憶手段に記憶された基準画像と、現画像記憶手段に記憶された現画像との輝度に関する輝度情報どうしを比較する輝度情報比較手段（例えば、図１に示す輝度比較器１８など）と、基準画像または現画像を構成する各画素の飽和度を検出する飽和度検出手段（例えば、図１に示す色相／飽和度変換部１０など）と、飽和度検出手段により検出された飽和度に基づいて、基準画像または現画像を構成する各画素の色が有彩色若しくは無彩色のうちのいずれであるかを判定する有彩色／無彩色判定手段（例えば、図１に示す無彩色判定部１１など）と、有彩色／無彩色判定手段において基準画像および現画像がともに有彩色であると判定された場合に、基準画像記憶手段に記憶された基準画像と、現画像記憶手段に記憶された現画像との色に関する色情報どうしを比較する色情報比較手段（例えば、図１に示す色比較器１９など）と、輝度情報比較手段および色情報比較手段の比較結果に基づいて、画像の動きを検出する動き検出手段（例えば、図１に示す輝度比較器１８、色比較器１９、単独点評価部２０，２１、評価結果メモリ２２、および検出面積判定部２３など）と、動き検出手段により画像の動きが検出されている期間を、所定の延長時間だけ延長する延長手段（例えば、図１に示す不感帯処理部２４など）とを備えることを特徴とする。
【００２１】
請求項２に記載の動き検出装置は、所定の延長時間を設定する延長時間設定手段（例えば、図１に示す表示時間設定装置３２など）をさらに備えることを特徴とする。
【００２２】
請求項５に記載の動き検出装置は、更新手段による基準画像の更新周期を設定する更新周期設定手段（例えば、図１に示す周期設定装置２６Ａなど）をさらに備えることを特徴とする。
【００２８】
請求項１０に記載の動き検出装置は、被写体を撮像し、画像に対応する画像信号を出力する撮像手段（例えば、図１に示すレンズブロック１、露光固定装置３７、ドライバ３８、モータ３９など）をさらに備え、更新手段により基準画像記憶手段に記憶された基準画像を更新するまでの間、撮像手段の露光状態を、その基準画像の撮像時における状態に固定することを特徴とする。
【００２９】
請求項１１に記載の動き検出装置は、画像の中の動きを検出する範囲を設定する動き検出範囲設定手段（例えば、図１に示す検出領域設定装置２８など）をさらに備え、動き検出手段が、動き検出範囲設定手段により設定された範囲内の動きを検出することを特徴とする。
【００３０】
請求項１２に記載の動き検出装置は、動き検出範囲設定手段により複数の範囲が設定されたときに、複数の範囲を、それぞれ独立の範囲として扱うか、または１つの範囲として扱うかを選択する範囲選択手段（例えば、図１に示す組合せ設定装置２７など）をさらに備えることを特徴とする。
【００３１】
請求項１５に記載の動き検出装置は、所定の閾値を設定する閾値設定手段（例えば、図１に示す輝度閾値設定装置２９など）をさらに備えることを特徴とする。
【００３２】
請求項１８に記載の動き検出装置は、所定の閾値を設定する閾値設定手段（例えば、図１に示す色相閾値設定装置３０など）をさらに備えることを特徴とする。
【００３３】
請求項２１に記載の動き検出装置は、所定の面積を設定する面積設定手段（例えば、図１に示す検出サイズ設定装置３１など）をさらに備えることを特徴とする。
【００３４】
請求項２４に記載の動き検出装置は、動き検出手段による動き検出結果を、画像にスーパインポーズして表示する表示手段（例えば、図１に示す領域表示装置３５など）をさらに備えることを特徴とする。
【００３５】
請求項２６に記載の動き検出装置は、動き検出手段による動き検出結果を、外部に出力する出力手段（例えば、図１に示す検出位置出力装置３６など）をさらに備えることを特徴とする。
【００３６】
なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。
【００３７】
図１は、本発明を適用したビデオカメラシステム（ＶＣＳ（Video Camera System））の一実施例の構成を示している。レンズブロック１は、レンズ２、アイリス３、およびＣＣＤ（Charge Coupled Device）４から構成され、被写体からの光ＬＡを撮像し、電気信号としての画像信号を出力するようになされている。即ち、被写体からの光ＬＡは、レンズ２によりＣＣＤ４上に結像され、これにより、ＣＣＤ４からは、その受光量に対応した画像信号が出力されるようになされている。
【００３８】
なお、アイリス３は、ドライバ３８により回転駆動されるモータ３９によって駆動され、ＣＣＤ４で受光される光量を、適切な値に調整する（レンズブロック１の露光状態を適切な状態にする）ようになされている。即ち、アイリス３、ドライバ３８、およびモータ３９は、オートアイリス機構（自動露光調整装置）を構成している。
【００３９】
レンズブロック１から出力された画像信号は、信号分離（Ｓ／Ｈ（Sample Hold）／自動利得調整（ＡＧＣ（Automatic Gain Control））回路５において、サンプルホールドされ、さらに、露出固定装置３７が出力するオートアイリス（ＡＥ）の制御信号によって、所定のゲインを持つように利得制御された後、Ａ／Ｄ変換器６に出力されるようになされている。
【００４０】
なお、露光固定装置３７は、信号分離／自動利得調整回路５を制御する他、取り込んだ画像が、後述する基準画像メモリ１４に基準画像として記憶されるときのレンズブロック１の露光状態を記憶し、その基準画像が更新される直前までの間、レンズブロック１の露光状態を、記憶した露光状態に固定するように、ドライバ３８を制御（以下、適宜、露光固定制御という）するようにもなされている。従って、レンズブロック１では、基準画像となる画像を取り込むときには、自動露光機能が働き、その後は、基準画像が更新される直前まで、基準画像を取り込んだときの露光状態のままとされる。この場合、レンズブロック１の露光状態が、例えば前述したように、物体の進入などによって、基準画像の撮像時の露光状態と異なるものとなることによる動きの誤検出を防止することができる。
【００４１】
なお、取り込まれた画像が、基準画像として、基準画像メモリ１４に記憶されるのは、後述するように、画像の動きの検出が開始されるときと、基準画像の更新が指示されたときであるが、画像の動きの検出の開始は検出開始制御装置２５によって、基準画像の更新の指示は画面更新判定装置２６によって、それぞれ露光固定装置３７に知らされるようになされている。
【００４２】
Ａ／Ｄ変換器６は、信号分離／自動利得調整回路５からの画像信号（アナログ信号）を、所定のクロックにしたがってＡ／Ｄ変換することによりディジタルの画像信号にするようになされている。Ａ／Ｄ変換器６によってディジタル信号とされた画像信号は、輝度／色差信号生成装置７に出力されるようになされている。
【００４３】
輝度／色差信号生成装置７は、Ａ／Ｄ変換器６からの画像信号に基づいて、その画像信号に対応する画像を構成する各画素の輝度信号Ｙと、色差信号Ｒ−Ｙ，Ｂ−Ｙとを生成し、画像一次記憶装置８に出力するようになされている。
【００４４】
画像一次記憶装置８は、前処理部９、色相／飽和度変換部１０、無彩色判定部１１、現画像メモリ１２、更新部１３、および基準画像メモリ１４から構成されている。前処理部９は、輝度／色差信号生成装置７からの輝度信号Ｙと、色差信号Ｒ−Ｙ，Ｂ−Ｙに対し、間引きその他の必要な前処理を施すようになされている。前処理部９で前処理の施された輝度信号Ｙまたは色差信号Ｒ−Ｙ，Ｂ−Ｙは、現画像メモリ１２または色相／飽和度変換部１０にそれぞれ出力されるようになされている。
【００４５】
色相／飽和度変換部１０は、前処理部９からの、取り込まれた画像の各画素の色差信号Ｒ−Ｙ，Ｂ−Ｙを色相と飽和度に変換し、無彩色判定部１１に出力するようになされている。無彩色判定部１１は、色相／飽和度変換部１０からの各画素の色の飽和度に基づいて、各画素の色が無彩色または有彩色のうちのいずれであるかを判定するようになされている。即ち、無彩色判定部１１は、例えば飽和度が所定の閾値より小さい画素の色は無彩色であると判定し、飽和度が所定の閾値以上である画素の色は有彩色であると判定するようになされている。そして、無彩色判定部１１は、有彩色と判定された画素については、色相／飽和度変換部１０からの色相をそのまま、無彩色と判定された画素については、その旨を、それぞれ現画像メモリ１２に出力するようになされている。
【００４６】
現画像メモリ１２は、いま取り込まれた（入力された）画像を、現画像として記憶するようになされている。即ち、現画像メモリ１２は、前処理部９が出力する輝度（輝度情報）と、無彩色判定部１１が出力する色相（無彩色である旨を含むもの）（色情報）とを記憶するようになされている。なお、現画像メモリ１２は、２つの領域に分割されており、輝度と色相とは、それぞれの領域に分けて記憶されるようになされている。また、現画像メモリ１２は、後述する動き検出装置１５における１回の動き検出処理（後述する図１１のフローチャートにおけるステップＳ９の動き検出処理）が終了するまでは、その記憶内容を保持するようになされている。即ち、現画像メモリ１２は、動き検出装置１５における１回の動き検出処理が終了するまでは、新たな画像が取り込まれても、その画像を記憶しない（上書きしない）ようになされている。
【００４７】
ここで、以下、適宜、現画像メモリ１２に記憶された各画素の輝度と色相を、それぞれＹ_nowまたはＨＵＥ_nowと表すこととする。
【００４８】
更新部１３は、現画像メモリ１２に記憶された各画素の輝度Ｙ_nowおよび色相ＨＵＥ_nowを読み出し、次に説明する基準画像メモリ１４に転送して記憶させることにより、基準画像メモリ１４の記憶内容を更新するようになされている。なお、更新部１３は、検出開始制御装置２５および画面更新判定装置２６による指示に基づいて、基準画像メモリ１４の記憶内容を、現画像メモリ１２の記憶内容に更新するようになされている。
【００４９】
基準画像メモリ１４は、現画像メモリ１２と同様に構成されており、更新部１３から供給される、現画像メモリ１２に記憶された各画素の輝度および色相を、動きを検出するための基準となる基準画像として記憶するようになされている。ここで、以下、適宜、基準画像メモリ１４に記憶された各画素の輝度と色相を、それぞれＹ_orgまたはＨＵＥ_orgと表すこととする。
【００５０】
動き検出装置１５は、検出領域読み出し部１６，１７、輝度比較器１８、色比較器１９、単独点評価部２０，２１、評価結果メモリ２２、検出面積判定部２３、および不感帯処理部２４から構成されており、基準画像メモリ１４に記憶された基準画像と、現画像メモリ１２に記憶された現画像とを比較し、その比較結果に基づいて、現画像のうち、基準画像に対して動きのあった領域を検出（画像の動き検出）するようになされている。
【００５１】
即ち、検出領域読み出し部１６は、現画像メモリ１２または基準画像メモリ１４から、動きの検出を行う領域（範囲）（以下、適宜、検出領域という）を構成する画素についての輝度Ｙ_nowまたはＹ_orgをそれぞれ読み出し、輝度比較器１８に出力するようになされている。検出領域読み出し部１７は、現画像メモリ１２または基準画像メモリ１４から、検出領域を構成する画素についての色相ＨＵＥ_nowまたはＨＵＥ_orgをそれぞれ読み出し、色比較器１９に出力するようになされている。なお、検出領域は、検出領域設定装置２８を操作することで設定することができるようになされており、検出領域読み出し部１６および１７は、このようにして設定された検出領域に対応して、現画像メモリ１２および基準画像メモリ１４からのデータの読み出しを行うようになされている。
【００５２】
輝度比較器１８は、現画像と基準画像の画素（但し、検出領域内の画素）のうち、対応する画素どうしの輝度Ｙ_nowとＹ_orgとを比較することで、輝度の変化している画素（画素の輝度の変化）を検出するようになされている。即ち、輝度比較器１８は、例えば、対応する画素どうしの輝度Ｙ_nowとＹ_orgとの差分値の絶対値（以下、適宜、輝度差分値という）（｜Ｙ_now−Ｙ_org｜）を求め、その輝度差分値が、輝度についての所定の閾値（以下、適宜、輝度閾値という）より大きいか否かを判定する。そして、輝度比較器１８は、輝度差分値が輝度閾値より大きい画素を、輝度が変化している画素として検出する。なお、輝度閾値は、輝度閾値設定装置２９を操作することで設定することができるようになされている。
【００５３】
色比較器１９も同様に、現画像と基準画像の画素（但し、検出領域内の画素）のうち、対応する画素どうしの色相ＨＵＥ_nowとＨＵＥ_orgとを比較することで、色相の変化している画素（画素の色相の変化）を検出するようになされている。即ち、色比較器１９は、例えば、対応する画素どうしの色相ＨＵＥ_nowとＨＵＥ_org^{との差分値の絶対値（以下、適宜、色差分値という）（｜ＨＵＥ}now^−ＨＵＥorg^{｜）を求め、その色差分値が、色相についての所定の閾値（以下、適宜、色相}閾値という）より大きいか否かを判定する。そして、色比較器１９は、色差分値が色閾値より大きい画素を、色相が変化している画素として検出する。
【００５４】
なお、色閾値は、色閾値設定装置３０を操作することで設定することができるようになされている。
【００５５】
また、色相ＨＵＥ_nowおよびＨＵＥ_orgには、上述したように、その画素の色が無彩色であるか否かについての情報も含まれているが、色差分値を求め、それを色閾値と比較する処理は、比較する現画像の画素（以下、適宜、現画像画素という）と基準画像の画素（以下、適宜、基準画像画素という）の両方が有彩色である場合に行われ、比較する現画像画素と基準画像画素のうちのいずれか一方のみが無彩色である場合や、それらの両方が無彩色である場合は行われない。
【００５６】
現画像画素と基準画像画素のうちのいずれか一方のみが無彩色である場合（従って、他方は有彩色）は、色比較器１９では、その画素は、色相が変化しているものとして検出される。また、現画像画素と基準画像画素の両方が無彩色である場合は、色比較器１９では、その画素の検出は行われない（色相の変化がないものとして扱われる）。
【００５７】
輝度比較器１８または色比較器１９において輝度または色相の変化が検出された画素は、単独点評価部２０または２１にそれぞれ出力されるようになされている。単独点評価部２０は、輝度比較器１８において輝度の変化が検出された画素が孤立しているかどうかを判定し、孤立している場合には、その画素を輝度の変化がないものとする、孤立点除去処理を行うようになされている。即ち、単独点評価部２０は、輝度比較器１８において輝度の変化が検出された画素の周辺の画素について変化が検出されているかどうかを判定し、その判定結果に基づいて、変化が検出された画素の変化がなかったものとするようになされている。さらに、単独点評価部２０は、孤立点除去処理の結果得られる、輝度が変化している画素（以下、適宜、輝度変化点という）に対応する評価結果メモリ２２のアドレスに、例えば１を書き込むようになされている。
【００５８】
単独点評価部２１は、色比較器１８において色相の変化が検出された画素について、上述したような孤立点除去処理を施し、その結果得られる、色相が変化している画素（以下、適宜、色相変化点という）に対応する評価結果メモリ２２のアドレスに、例えば１を書き込むようになされている。
【００５９】
評価結果メモリ２２は、例えばフレームメモリ構成とされており、そこには、単独点評価部２０および２１によって、輝度変化点および色相変化点に対応するアドレスに１が書き込まれるようになされている。なお、評価結果メモリ２２の記憶内容は、例えば検出領域読み出し部１６および１７による現画像メモリ１２および基準画像メモリ１４からのデータの読み出しが開始される直前に、例えば０に初期化されるようになされている。従って、評価結果メモリ２２においては、検出領域内の画素のうち、輝度変化点または色相変化点のうちの少なくともいずれか一方に対応するアドレスには１が記憶され、それ以外のアドレスには０が記憶されるようになされている。
【００６０】
検出面積判定部２３は、評価結果メモリ２２を参照することで、検出領域を構成する画素のうち、輝度変化点または色相変化点のいずれかになっている画素の数をカウントし、そのカウント値を、所定の数（以下、適宜、検出サイズという）と比較するようになされている。そして、検出面積判定部２３は、カウント値が検出サイズより大きい場合のみ、輝度変化点と色相変化点で構成される領域を、動きのあった領域と判定し、不感帯処理部２４に出力するようになされている。即ち、検出面積判定部２３は、検出領域内の輝度変化点と色相変化点で構成される領域の面積が、検出サイズに対応する面積より大きいとき、その領域に動きがあったものとして（以下、適宜、このような領域を動き検出領域という）、不感帯処理部２４に出力するようになされている。なお、検出サイズは、検出サイズ設定装置３１を操作することで設定することができるようになされている。
【００６１】
不感帯処理部２４は、検出面積判定部２３から動き検出領域を受信した場合、この動き検出領域を、画像の動きを検出した旨として、画面更新判定装置２６および出力切り換え装置３４に出力するようになされている。さらに、このとき、不感帯処理部２４は、後述するような不感帯処理および表示時間延長処理（出力時間延長処理）を行うようにもなされている。なお、不感帯処理または表示時間延長処理で必要となる不感の期間または表示延長時間は、不感帯時間設定装置３３または表示時間設定装置３２を操作することで、それぞれ設定することができるようになされている。
【００６２】
検出開始制御装置２５は、レンズブロック１で撮像された画像の動きの検出を開始するとき、また、動きの検出の開始後、その検出を終了するときに操作される。検出開始制御装置２５を操作することにより、画像の動きの検出を開始または終了する旨は、更新部１３、出力切り換え装置３４、および露光固定装置３７に出力されるようになされている。
【００６３】
上述したように、更新部１３は、この検出開始制御装置２５からの動きの検出の開始する旨（以下、適宜、動き検出開始指令という）を受信すると、基準画像メモリ１４の記憶内容を、現画像メモリ１２の記憶内容に更新し、また、動きの検出の終了する旨（以下、適宜、動き検出終了指令という）を受信すると、基準画像メモリ１４の記憶内容の更新を停止するようになされている。
【００６４】
出力切り換え装置３４は、動き検出開始指令を受信すると、不感帯処理部２４の出力を選択し、また、動き検出終了指令を受信すると、検出領域設定装置２８の出力を選択し、領域表示装置３５および検出位置出力装置３６に出力するようになされている。
【００６５】
露光固定装置３７は、動き検出開始指令を受信すると、上述したような露光固定制御を開始し、動き検出終了指令を受信すると、露光固定制御を停止するようになされている。
【００６６】
画面更新判定装置２６は、更新部１３に対して、基準画像メモリ１４の記憶内容の更新を指令するようになされている。また、画面更新判定装置２６は、基準画像メモリ１４の記憶内容の更新の指令（以下、適宜、更新指令という）を、露光固定装置３７にも出力するようになされている。露光固定装置３７は、動き検出開始指令を受信した後は、この更新指令に基づいて、上述したような露光固定制御を行う。
【００６７】
ここで、画面更新判定装置２６による更新指令に対応して、基準画像メモリ１４の記憶内容を更新する方法としては、本実施例では、例えば無条件更新モード、条件付き更新モード、および更新禁止モードの３つが用意されており、いずれのモードによって更新を行うかは、画面更新判定装置２６を操作することにより設定することができるようになされている。
【００６８】
即ち、無条件更新モードでは、基準画像メモリ１４の記憶内容が、現画像メモリ１２の記憶内容に、周期的に更新される。基準画像メモリ１４の記憶内容を更新しない場合、例えば天候や陽射しなどが徐々に変化するようなときであっても、長時間経過すれば、基準画像メモリ１４に記憶された基準画像と、現画像メモリ１２に記憶された現画像とは異なるものとなり、従って、その変化は、画像の動きとして検出されることとなる。無条件更新モードでは、基準画像が周期的に更新されるので、このような変化が、画像の動きとして検出されるのを防止することができる。
【００６９】
条件付き更新モードでは、不感帯処理部２４から画像の動きを検出した旨を受信していないときは、基準画像メモリ１４の記憶内容が、現画像メモリ１２の記憶内容に、周期的に更新され、不感帯処理部２４から画像の動きを検出した旨を受信している間は、基準画像メモリ１４の更新が禁止される。
【００７０】
上述した無条件更新モードでは、基準画像メモリ１４に記憶される基準画像が、常に周期的に更新されるため、例えば部屋に、何者かが侵入し、その部屋の中においてある物を動かして出ていった場合には、その何者かが侵入して、物を動かしたときには、画像の動きが検出されるが、その後、侵入者が出ていって、基準画像が更新されると、画像の動きは検出されなくなる。
【００７１】
これに対し、条件付き更新モードでは、動きが検出されている間は、基準画像の更新が禁止されるので、侵入者が出ていった後も、基準画像は、何者かが侵入する前の画像のままとされるため、その後も、画像の動きが検出されたままの状態となる。
【００７２】
更新禁止モードでは、基準画像の更新が禁止される。このため、基準画像は、検出開始制御装置２５が画像の動きの検出を開始するように操作されたときに基準画像メモリ１４に記憶された画像のままとされる。更新禁止モードは、例えば固定の照明で照らされている被写体の動きを検出する場合や、画像の動きを検出する時間が短い場合などに設定される（このような場合に、更新禁止モードを用いることで、精度良く動きを検出することができる）。
【００７３】
なお、条件付き更新モードで基準画像の更新が禁止された場合と、禁止更新モードが設定された場合においては、画面更新判定装置２６を操作することで、基準画像の更新を行うことが出きるようになされている。また、無条件更新モードおよび条件付き更新モードが設定された場合における基準画像を更新する周期は、画面更新判定装置２６に設けられた周期設定装置２６Ａを操作することで設定することができるようになされている。さらに、画面更新判定装置２６は、更新用カウンタ２６Ｂを有し、基準画像の周期的な更新を行う場合には、例えば、更新用カウンタ２６Ｂに、所定のクロックをカウントさせ、そのカウント値が所定の値となったときに更新指令を出力するとともに、カウント値を０にリセットすることを繰り返すようになされている（従って、周期設定装置２６Ａを操作することにより、更新用カウンタ２６Ｂをリセットする値が設定されることになる）。
【００７４】
組合せ設定装置２７は、次に説明する検出領域設定装置２８が操作されることにより検出領域が複数設定されたときに、その複数の検出領域を、それぞれ独立の領域（範囲）として扱うか、または１つの領域として扱うかを選択するときに操作されるようになされている。組合せ設定装置２７が、複数の検出領域を、それぞれ独立の領域として扱うモード（以下、適宜、独立モードという）に設定された場合、動き検出装置１５においては、各検出領域それぞれに対して処理が施される。また、組合せ設定装置２７が、複数の検出領域を１つの領域として扱うモード（以下、適宜、組合せモードという）に設定された場合、動き検出装置１５においては、それらの検出領域を１つの検出領域とみなして処理が施される。検出領域設定装置２８において設定することのできる検出領域は、本実施例では、例えば長方形（正方形を含む）状の範囲とされており、従って、組合せ設定装置２７によって、複数の長方形状の検出領域を組み合わせることによって、複雑な形状の検出領域を設定することが可能となる。
【００７５】
なお、本実施例では、組合せモードが設定された場合に１つの領域とみなされるのは、例えば互いに隣接しているか、または重なりあっている検出領域とされている。
【００７６】
検出領域設定装置２８は、画像の動きを検出する検出領域を設定するときに操作される。なお、上述したように、検出領域は複数設定することが可能である。輝度閾値設定装置２９は、輝度閾値を設定するときに操作される。色相閾値設定装置３０は、色相閾値を設定するときに操作される。
【００７７】
検出サイズ設定装置３１は、検出サイズを設定するときに操作される。なお、検出サイズは、上述したような画素数で設定する他、例えば検出領域の何％などというような形で設定することも可能なようになされている。また、組合せ設定装置２７において、複数の検出領域を１つの検出領域とする設定がなされている場合には（以下、適宜、複数の検出領域を１つの検出領域とみなしたものを、組合せ検出領域という）、検出面積判定部２３では、複数の検出領域それぞれではなく、組合せ検出領域全体に対して処理が施されるようになされている（これについての詳細は後述する）。
【００７８】
表示時間設定装置３２は、後述する表示延長時間を設定するときに操作される。不感帯時間設定装置３３は、後述する不感の期間を設定するときに操作される。
【００７９】
以上のように、動きの検出に必要な種々のパラメータを設定するためのユーザインターフェイスを備えているので、あらゆる条件下で、最適な動きの検出を行うことが可能となる。
【００８０】
出力切り換え装置３４は、動き検出開始指令の受信前と、動き検出終了指令の受信後は、検出領域設定装置２８を操作することにより設定された検出領域を選択し、また、動き検出開始指令を受信してから動き検出終了指令を受信するまでの間は、不感帯処理部２４の出力を選択し、領域表示装置３５および検出位置出力装置３６に供給するようになされている。従って、画像の動きの検出処理が行われていない間は、検出領域設定装置２８が出力する検出領域が、また、画像の動き検出処理が行われている間は、不感帯処理部２４が出力する動き検出結果が、領域表示装置３５および検出位置出力装置３６に供給されるようになされている。
【００８１】
領域表示装置３５は、例えばＣＲＴやＬＣＤなどのディスプレイで構成され、出力切り換え装置３４の出力を表示するようになされている。検出位置出力装置３６は、例えばモデムその他の通信装置で構成され、出力切り換え装置３４の出力を、所定の伝送路を介して、例えばシリアル通信などによって伝送するようになされている。
【００８２】
なお、図示していないが、領域表示装置３５および検出位置出力装置３６には、Ａ／Ｄ変換器６が出力する画像信号も供給されるようになされており、従って、領域表示装置３５では、レンズブロック１で撮像された画像も表示され、また、検出位置出力装置３６では、レンズブロック１で撮像された画像も伝送されるようになされている。
【００８３】
ここで、領域表示装置３５では、動き検出装置１５において動きの検出が行われていないときは、出力切り換え装置３４を介して検出領域設定装置２８から供給される検出領域が、例えばレンズブロック１で撮像された画像にスーパーインポーズして表示されるようになされている。従って、ユーザは、領域表示装置３５の表示を見ながら、検出領域設定装置２８を操作して検出領域を設定する。
【００８４】
また、領域表示装置３５では、動き検出装置１５において動きの検出が行われている場合、出力切り換え装置３４を介して検出領域設定装置２８から供給される動きの検出された領域が、例えばレンズブロック１で撮像された画像にスーパーインポーズして表示されるようになされている。
【００８５】
なお、検出領域や動きの検出された領域をスーパーインポーズするかどうかは、領域表示装置３５を操作することで設定することができるようになされている。また、領域表示装置３５では、検出領域や動きの検出された領域だけを表示することができるようにもなされている。
【００８６】
次に、図２を参照して、検出領域設定装置２８を操作することによる検出領域の設定について説明する。なお、同図においては、太線で囲まれた長方形の領域が検出領域を表している。
【００８７】
図２（Ａ）は、レンズブロック１で撮像された画像のうち、ドアを含む範囲が、検出領域として設定された場合の様子を示している。このように検出領域が設定された場合、動き検出装置１５では、このドアの部分のみの動きが検出されることになる。図２（Ｂ）は、レンズブロック１で撮像された画像全体が、検出領域として設定された場合の様子を示している。この場合、動き検出装置１５では、画像全体の動きが検出される。図２（Ｃ）は、レンズブロック１で撮像された画像のうち、みかんを含む範囲と、さくらんぼを含む範囲が、検出領域として設定された場合の様子を示している。このように、検出領域は、１つだけでなく、複数設定することもできる。
【００８８】
次に、図３および図４を参照して、単独点評価部２０における孤立点除去処理の詳細について説明する。単独点評価部２０は、輝度比較器１８において検出された輝度の変化している画素を含む、例えば２×２画素の正方形の範囲（以下、適宜、孤立点判定範囲という）内にある画素が、すべて輝度の変化しているものであるかどうかを判定する。即ち、単独点評価部２０は、図３（Ａ）乃至図３（Ｄ）に示すような、輝度の変化している画素（図３において、●で示す部分）を含む４つの孤立点判定範囲（図３において、太線で囲んだ範囲）を参照し、その４つの孤立点判定範囲のうち、すべてが輝度の変化している画素で埋まっているものがあるかどうかを判定する。そして、単独点評価部２０は、すべてが輝度の変化している画素で埋まっている孤立点判定範囲がない場合、輝度の変化している画素を孤立点とし、輝度の変化がないものとして扱う。また、単独点評価部２０は、すべてが輝度の変化している画素で埋まっている孤立点判定範囲がある場合、輝度の変化している画素を輝度変化点とし、その画素に対応する評価結果メモリ２２のアドレスに１を書き込む。
【００８９】
従って、例えば、輝度比較器１８において図４（Ａ）に●印で示すような輝度の変化している画素が検出された場合、評価結果メモリ２２には、図４（Ｂ）に●印で示す位置に１が書き込まれる。
【００９０】
単独点評価部２１においても、色相が変化している画素について同様の処理が施される。
【００９１】
孤立点は、例えばノイズにより輝度または色相が変化しているとして検出された可能性が高く、従って、以上のような孤立点処理によれば、そのようなノイズによる動きの誤検出を防止することができる。
【００９２】
なお、図１の実施例では、輝度の変化している画素と、色相の変化している画素とを、別個独立に処理の対象として、孤立点除去処理を施すようにしたが、この孤立点除去処理は、輝度または色相のうちの少なくともいずれか一方が変化している画素を対象にして行う（輝度または色相のうちのいずれが変化している画素なのか無関係に行う）ようにすることも可能である。
【００９３】
次に、図５を参照して、評価結果メモリ２２の記憶内容について説明する。上述したように、単独点評価部２０または２１は、それぞれ輝度または色相の変化している画素に対し、孤立点除去処理を施し、その結果得られる輝度変化点または色相変化点に対応する評価結果メモリ２２のアドレスに１を書き込む。
【００９４】
従って、例えば、単独点評価部２０において、図５（Ａ）に●印で示すような７個の輝度変化点が得られるとともに、単独点評価部２１において、図５（Ｂ）において斜線を付した○印で示すような６個の色相変化点が得られた場合、評価結果メモリ２２の記憶内容は、図５（Ｃ）に示すようになる。即ち、評価結果メモリ２２において、輝度変化点または色相変化点のうちの少なくともいずれか一方に対応するアドレスは１とされる。これにより、図５の実施例では、輝度変化点または色相変化点はそれぞれ７または６個あるが、評価結果メモリ２２のアドレスのうち、その記憶値が１となるのは、９個となる。
【００９５】
いま、輝度変化点または色相変化点のうちの少なくともいずれか一方である画素を、単に、変化点というとすると、検出面積判定部２３では、この変化点の数が、検出サイズと比較され、この検出サイズより大きい場合のみ、その変化点により構成される領域が、動きのあった領域とされ、不感帯処理部２４に出力される。
【００９６】
次に、例えば、基準画像メモリ１４に記憶された基準画像が、図６（Ａ）に示すようなものであった場合において、現画像メモリ１２に記憶された現画像が、図６（Ｂ）に示すように、基準画像に対して、椅子とりんごがなくなったものとなったときの、動き検出装置１５の処理について、図７を参照して簡単に説明する。なお、検出領域は、レンズブロック１で撮像される画像全体に設定されているものとする。また、りんごまたはみかんの色は、例えば、それぞれ赤色またはオレンジ色であるとする。
【００９７】
この場合、輝度比較器１８において、輝度の変化した画素が、例えば図７（Ａ）に示すように検出されるとともに、色比較器１９において、色相の変化した画素が、例えば図７（Ｂ）に示すように検出される。なお、図７（Ａ）乃至図７（Ｄ）においては、輝度の変化した画素を「１」で、色相の変化した画素を「２」で、それぞれ示してある。
【００９８】
その後、図７（Ａ）または図７（Ｂ）に示した輝度または色相の変化した画素の検出結果を対象にして、単独点評価部２０または２１において孤立点除去処理がそれぞれ施され、これにより、ノイズなどの影響による輝度または色相の変化した画素が除去され、図７（Ｃ）または図７（Ｄ）に示すような輝度変化点（「１」）または色相変化点（「２」）がそれぞれ検出される。そして、評価結果メモリ２２には、図７（Ｅ）に示すように、輝度変化点（「１」）または色相変化点（「２」）のうちの少なくともいずれか一方として検出された画素が記憶される。なお、図７（Ｅ）では、輝度のみが変化した画素を「１」で、色相のみが変化した画素を「２」で、輝度および色相の両方が変化した画素を「３」で、それぞれ示してある。
【００９９】
従って、この場合、図７（Ｅ）において、「１」、「２」、または「３」のうちのいずれかが付してある画素で構成される領域（または同図（Ｅ）において、太線で囲む領域）が、動きのあった領域として検出される。
【０１００】
図７（Ａ）（または図７（Ｃ））と、図７（Ｂ）（または図７（Ｄ））とを比較してわかるように、りんごで隠れた領域のうち、テーブルとさらの部分については、輝度および色相の両方が変化しているため、そのような部分については、輝度と色相のいずれでも変化が検出されている。
【０１０１】
一方、りんごで隠れた領域のうち、みかんの部分については、りんごがなくなっても、ほとんど輝度が変化しないため、輝度の変化は検出されていない（図７（Ａ）、図７（Ｃ））。従って、輝度の変化を検出するのみでは、このような部分の動きを検出することは困難である。しかしながら、図１のビデオカメラシステムでは、輝度の他、色相の変化も検出されるようになされているため、赤色のりんごがなくなることにより、オレンジ色のみかんが現れると、その部分の色相の変化が検出される（図７（Ｂ）、図７（Ｄ））。従って、この場合、りんごがあった領域を正確に検出することができる。
【０１０２】
即ち、画像に動きがあった場合であっても、輝度は変化せず、色相だけが変化することがある。従って、輝度の変化だけでなく、色相の変化も検出することにより、画像の動きを正確に検出することが可能となる。また、この場合、変化を検出するための検出感度を無理に高くする必要がないので、そのような検出感度を高くすることによる誤検出も防止することができる。
【０１０３】
次に、図８を参照して、不感帯処理部２４における不感帯処理について説明する。検出面積判定部２３において、例えば、いま、図８（Ａ）に示すように、動きのあった領域が出力されたものとする。なお、図８では（後述する図９および図１０においても同様）、検出面積判定部２３から動きのあった領域が出力されている期間を、変化検出区間と表してある。
【０１０４】
図８（Ａ）においては、比較的長い変化検出区間（１）と、短時間の変化検出区間（２）を示してあるが、このうちの変化検出区間（２）のように、短時間の変化検出区間は、例えばノイズなどの影響により生じているものと考えられる。従って、このような短時間の間しか検出されない動きは出力すべきでない。そこで、不感帯処理部２４では、検出面積判定部２３から動きのあった領域の出力が開始されても、即座に、それを出力するのではなく、図８（Ｂ）に示すように、検出面積判定部２３から動きのあった領域の出力が開始されてから、所定の時間（第１の期間）Ｔ₁が経過しても、その出力が続いているときのみ、検出面積判定部２３からの動きのあった領域を出力するようになされている。
【０１０５】
さらに、検出面積判定部２３から動きのあった領域の出力は、例えば、やはりノイズなどの影響により、短期間だけ停止する場合がある。そこで、不感帯処理部２４では、検出面積判定部２３からの動きのあった領域の出力を開始した後に、検出面積判定部２３から動きのあった領域を受信することができなくなっても、即座に、その出力を停止するのではなく、図８（Ｂ）に示すように、検出面積判定部２３による動きのあった領域の出力が停止されてから、所定の時間（第２の期間）Ｔ₂が経過しても、その出力が停止され続けているときのみ、動きのあった領域の出力を停止するようになされている。
【０１０６】
以上のような不感帯処理を行うことで、変化検出区間（２）のようなわずかな間だけ生じた動きが生じたときや、また、動きが生じている場合に、わずかな間だけ動きが停止した場合に、動き検出装置１５からの動きのあった領域の出力が、一瞬だけ行われたり、また停止されたりすることを防止することができる。
【０１０７】
なお、所定の期間（不感の期間）Ｔ₁およびＴ₂は、上述したように、不感帯時間設定装置３３を操作することにより設定することができ、また、この期間Ｔ₁とＴ₂は同一または異なる値のいずれにも設定することも可能である。
【０１０８】
次に、図９および図１０を参照して、不感帯処理部２４における表示時間延長処理について説明する。いま、レンズブロック１で撮像されている被写体が、時刻ｔ₂において動き出し、即座に停止したものとする。さらに、画面更新判定装置２６においては、無条件更新モードが設定されており、これにより、基準画像が、例えば図９（Ｂ）に示す所定の周期のパルスの立ち上がりエッジのタイミングで更新されるものとする。
【０１０９】
この場合、図９（Ｂ）に示すように、時刻ｔ₂より前の時刻ｔ₁において基準画像が更新されているため、時刻ｔ₂において動き出して即座に停止した被写体の動きが検出される。その後、基準画像が更新されるまで、被写体の動きは検出され続け、時刻ｔ₄において基準画像が更新されると、その更新後の基準画像と現画像とは同一のものとなるので、被写体の動きは検出されなくなる。
【０１１０】
従って、検出面積判定部２２からは、図９（Ａ）に示すように、時刻ｔ₂乃至ｔ₄にわたって動きのあった領域が、不感帯処理部２４に出力される。
【０１１１】
この場合、不感帯処理部２４では、図９（Ｃ）に示すように、不感帯処理により、時刻ｔ₂から所定の期間Ｔ₁だけ経過した時刻ｔ₃になると、検出面積判定部２２からの動きのあった領域の出力が開始され、その後、時刻ｔ₄から所定の期間Ｔ₂だけ経過した時刻ｔ₅となると、その出力が停止される。不感帯処理部２４が出力する動きのあった領域は、上述したように、領域表示装置３５において表示されるが、時刻ｔ₃乃至ｔ₅の時間が短い場合には、動きのあった領域は、一瞬だけしか表示されないこととなり、動きを見逃したり、あるいは、どの部分が動いたのか確認することができなくなることがある。
【０１１２】
そこで、不感帯処理部２４では、図９（Ｃ）に示すように、時刻ｔ₅の経過後も、所定の表示延長時間Ｔ₃（同図において、影を付してある部分）だけ、動きのあった領域を出力し続ける（動きの検出されている期間を延長する）ようになされている。従って、不感帯処理部２４においては、動きのあった領域の出力が、時刻ｔ₃から開始され、その後時刻ｔ₅から所定の表示延長時間Ｔ₃だけ経過した時刻ｔ₆まで行われる。
【０１１３】
なお、図９（Ａ）においては、時刻ｔ₇乃至ｔ₈の期間においても、動きが検出されているが、この期間は、所定の時間Ｔ₁以下であるため、図８で説明した不感帯処理により、不感帯処理部２４からは、動きのあった領域は出力されない。
【０１１４】
以上のような表示時間延長処理は、上述のように、被写体がわずかな時間だけ動いた場合だけでなく、被写体が動き続けている場合にも有用である。即ち、被写体が動き続けている場合において、図９（Ｂ）と同様の図１０（Ｂ）に示すように、基準画像の更新が周期的に行われるときには、図１０（Ａ）に示すように、その更新の時刻ｔ₁₄，ｔ₁₈，ｔ₂₂，ｔ₂₆において、その更新後の基準画像と現画像とは同一のものとなるので、被写体の動きは検出されなくなる。
【０１１５】
また、この場合、被写体が動き続けているが、その動きがある程度大きなものでないと、例えば輝度比較器１８および色比較器１９では、変化のあった画素が検出されないため、基準画像の更新後、被写体の動きが検出されるまでには、ある程度の時間を要する。このため、被写体が動き続けていても、動きのあった領域が検出される期間、即ち、変化検出期間は、図１０（Ａ）に示すように疎らになる。従って、不感帯処理部２４において不感帯処理を行うだけでは、そこからの動きのあった領域の出力も、図１０（Ｃ）に白抜きで示すように疎らとなり、その結果、領域表示装置３５においては、動きのあった領域の表示がちらつくようになる。
【０１１６】
そこで、不感帯処理部２４において表示時間延長処理を行うことで、動きのあった領域の出力を、図１０（Ｃ）に影を付して示すように延長することにより、上述のような表示のちらつきを防止することができる。なお、動きのあった領域の出力の延長後、表示延長時間Ｔ₃が経過する前に、検出面積判定部２３から新たな動きのあった領域が供給された場合には、不感帯処理部２４は、不感帯処理のための所定の時間Ｔ₁経過後に延長を中止し、あらたな動きのあった領域の出力を開始するようになされている。
【０１１７】
次に、図１１のフローチャートを参照して、図１のＶＣＳの動作について説明する。このＶＣＳは、装置の電源がオンにされると、被写体の撮像が開始される。即ち、レンズブロック１において、被写体からの光ＬＡが光電変換されることにより画像信号とされ、この画像信号は、信号分離／自動利得調整回路５、Ａ／Ｄ変換器６、輝度／色差信号生成装置７、および前処理部９を介することにより、輝度信号Ｙと、色差信号Ｒ−Ｙ，Ｂ−Ｙにされて出力される。
【０１１８】
輝度信号Ｙは、輝度Ｙ_nowとして現画像メモリ１２に供給されて記憶され、色差信号Ｒ−Ｙ，Ｂ−Ｙは、色相／飽和度変換１０および無彩色判定部１１を介することにより色相ＨＵＥ_nowとされ、やはり現画像メモリ１２に記憶される。一方、レンズブロック１から出力された画像信号は、領域表示装置３５にも供給されて表示される。以下、検出開始制御装置２５が、動きの検出を開始するように操作されるまでは、同様の処理が繰り返される。なお、この処理を繰り返している間は、レンズブロック１では、自動露光機能が働く。
【０１１９】
そして、ステップＳ１において、動きの検出を開始するように検出開始制御装置２５が操作されたか否かが判定され、動きの検出を開始するように操作されていないと判定された場合、ステップＳ２に進み、検出領域設定装置２８を操作することによる検出領域の設定や、組合せ設定装置２７を操作することによる独立モードまたは組合せモードの設定が行われる。さらに、ステップＳ２では、画面更新判定装置２６、周期設定装置２６Ａ、輝度閾値設定装置２９、色相閾値設定装置３０、検出サイズ設定装置３１、表示時間設定装置３２、または不感帯時間設定装置３３それぞれを操作することによる基準画像の更新モード、基準画像の更新周期、輝度閾値、色相閾値、検出サイズ、表示延長時間Ｔ₃、または不感の時間Ｔ₁，Ｔ₂の設定も行われる。
【０１２０】
その後、ステップＳ３において、更新用カウンタ２６Ｂがクリアされ（そのカウント値が０にリセットされ）、ステップＳ４に進み、検出領域設定装置２８によって設定された検出領域が、出力切り換え装置３４を介して領域表示装置３５に供給されて、レンズブロック１で撮像されている画像に、スーパーインポーズされて表示される。また、検出領域は、検出位置出力装置３６にも供給され、伝送路を介して伝送される。さらに、検出位置出力装置３６からは、画像の動きが検出されていない旨も、伝送路を介して伝送される。ここで、このようにして検出位置出力装置３６から伝送される情報は、遠隔地において受信され、ディスプレイなどに表示される。
【０１２１】
一方、ステップＳ１において、検出開始制御装置２５が、動きの検出を開始するように操作されたと判定された場合、露光固定装置３７において、露光固定制御が開始され、さらに、ステップＳ５に進み、ステップＳ１で動きの検出を開始するように操作されたと判定されてから、このステップＳ５における判定処理を行うのが初めてかどうかが判定される。ステップＳ５において、このステップＳ５の判定処理を行うのが初めてであると判定された場合、即ち、基準画像メモリ１４に基準画像が記憶されていない場合、ステップＳ６に進み、領域表示装置３５においてスーパインポーズされている表示が消去され、さらに、検出位置出力装置３６において、画像の動きが検出されていない旨が、伝送路を介して伝送される。
【０１２２】
その後、ステップＳ７において、更新用カウンタ２６Ｂがクリアされ、ステップＳ８に進み、基準画像の更新が行われる。即ち、更新部１３によって、現画像メモリ１２に記憶された現画像（Ｙ_nowおよびＨＵＥ_now）が、基準画像メモリ１４に転送され、これにより、基準画像メモリ１４において、いま現画像メモリ１２に記憶されていた現画像が、基準画像（Ｙ_orgおよびＨＵＥ_org）として記憶される。
【０１２３】
ステップＳ８の処理後、ステップＳ１に戻るが、既に、検出開始制御装置２５が、動きの検出を開始するように操作されているので、ステップＳ５に進む。そして、ステップＳ５において、ステップＳ１で動きの検出を開始するように操作されたと判定されてから、このステップＳ５における判定処理を行うのが初めてでないと判定される。この場合、ステップＳ９に進み、動き検出装置１５において、レンズブロック１によって取り込まれた画像を対象に（従って、現画像メモリ１２に記憶された現画像を対象に）、動き検出処理が行われる。なお、この動き検出処理については、図１２を参照して後述する。
【０１２４】
ステップＳ９において動き検出処理がなされた後は、ステップＳ１０に進み、ステップＳ９で動きが検出されたかどうかが判定される。ステップＳ１０において、動きが検出されたと判定された場合、ステップＳ１１に進み、不感帯処理部２４から出力される動きのあった領域が、出力切り換え装置３４を介して、領域表示装置３５および検出位置出力装置３６に供給され、ステップＳ１３に進む。従って、この場合、領域表示装置３５において、動きのあった領域が表示される。また、検出位置出力装置３６では、動きのあった領域が、伝送路を介して伝送される。さらに、検出位置出力装置３６では、動きを検出した旨も伝送される。
【０１２５】
一方、ステップＳ１０において、動きが検出されなかったと判定された場合、ステップＳ１２に進み、ステップＳ６における場合と同様の処理が行われ、ステップＳ１３に進む。ステップＳ１３では、画面更新判定装置２６を操作することにより設定された更新モードに対応する処理が行われる。即ち、無条件更新モードが設定されている場合、ステップＳ１３では、更新用カウンタ２６Ｂのカウント値が１だけインクリメントされる。また、条件付き更新モードが設定されている場合、ステップＳ１３では、ステップＳ９で動きが検出されたと判定されたときには更新用カウンタ２６Ｂがクリアされ、ステップＳ９で動きが検出されていないと判定されたときには更新用カウンタ２６Ｂのカウント値が１だけインクリメントされる。さらに、更新禁止モードが設定されている場合、ステップＳ１３では、更新用カウンタ２６Ｂがクリアされる。
【０１２６】
そして、ステップＳ１４に進み、更新用カウンタ２６Ｂのカウント値が、周期設定装置２６を操作することにより設定された値より大きいか否かが判定される。ステップＳ１４において、更新用カウンタ２６Ｂのカウント値が、周期設定装置２６を操作することにより設定された値より大きくないと判定された場合、ステップＳ１に戻る。また、ステップＳ１４において、更新用カウンタ２６Ｂのカウント値が、周期設定装置２６を操作することにより設定された値より大きいと判定された場合、ステップＳ７，Ｓ８に順次進み、上述したように、更新用カウンタ２６Ｂがクリアされ、さらに基準画像の更新が行われた後、ステップＳ１に戻る。
【０１２７】
次に、図１２を参照して、図１１のステップＳ９における動き検出処理について説明する。まず最初に、ステップＳ２１では、輝度閾値設定装置２９、色相閾値設定装置３０、検出サイズ設定装置３１、または表示時間設定装置３２を操作することにより設定された輝度閾値Ｙ_thr、色相閾値Ｈ_thr、検出サイズＳ_thr、または表示延長時間Ｔ₃が、輝度比較器１８、色比較器１９、検出面積判定部２３、または不感帯処理部２４においてそれぞれ取得される。さらに、ステップＳ２１では、不感帯時間設定装置３３を操作することにより設定された不感の時間Ｔ₁，Ｔ₂も、不感帯処理部２４において取得される。
【０１２８】
そして、ステップＳ２２に進み、検出領域設定装置２８を操作することにより設定された検出領域が、検出領域読み出し部１６および１７において取得され、ステップＳ２３に進む。ステップＳ２３では、検出領域読み出し部１７によって、検出領域を構成する画素の色相ＨＵＥ_orgまたはＨＵＥ_nowが、基準画像メモリ１４または現画像メモリ１２からそれぞれ読み出されて色比較器１９に出力され、これにより、色相の変化している画素が検出される。そして、ステップＳ２４に進み、ステップＳ２４で検出された色相の変化している画素に対し、孤立点除去処理が施され、その結果得られる色相変化点が、評価結果メモリ２２に記憶される。
【０１２９】
その後、ステップＳ２５では、検出領域読み出し部１６によって、検出領域を構成する画素の輝度相Ｙ_orgまたはＹ_nowが、基準画像メモリ１４または現画像メモリ１２からそれぞれ読み出されて輝度比較器１８に出力され、これにより、輝度の変化している画素が検出される。そして、ステップＳ２６に進み、ステップＳ２４で検出された輝度の変化している画素に対し、孤立点除去処理が施され、その結果得られる輝度変化点が、評価結果メモリ２２に記憶される。
【０１３０】
なお、図１の動き検出装置１５では、ステップＳ２３およびＳ２５の処理と、ステップＳ２４およびＳ２６の処理は、実際には、それぞれ同時に行われる。
【０１３１】
ステップＳ２６の処理後は、ステップＳ２７において、検出面積判定部２３によって評価結果メモリ２２の記憶内容が参照され、変化点の数がカウントされる。そして、このカウントにより得られる変化点の数をＳ_nowとするとき、ステップＳ２９において、その変化点の数Ｓ_nowが、検出サイズＳ_thrより大きいか否かが、検出面積判定部２３によって判定される。
【０１３２】
ステップＳ２９において、変化点の数Ｓ_nowが、検出サイズＳ_thrより大きいと判定された場合、即ち、動きが検出された場合、ステップＳ３０に進み、ステップＳ２９で動きが検出されたのが２回以上連続したか否かが、不感帯処理部２４によって判定される。ステップＳ３０において、ステップＳ２９で動きが検出されたのが２回以上連続していないと判定された場合、即ち、ステップＳ２９で動きの検出が行われたのが１回だけの場合、ステップＳ３１に進み、動きが検出されなかったものとして、動き検出処理を終了する。即ち、この場合、不感帯処理部２４からは、検出面積判定部２３から供給される動きのあった領域は出力されない。
【０１３３】
また、ステップＳ３０において、ステップＳ２９で動きが検出されたのが２回以上連続したと判定された場合、ステップＳ３２に進み、今回、ステップＳ２９で動きを検出したタイミングにおいて、動きが検出されたものとして、動き検出処理を終了する。即ち、この場合、不感帯処理部２４からは、検出面積判定部２３から供給される動きのあった領域の出力が開始される。
【０１３４】
一方、ステップＳ２９において、変化点の数Ｓ_nowが、検出サイズＳ_thrより大きくないと判定された場合、即ち、動きが検出されなかった場合、ステップＳ３３に進み、ステップＳ２９で２回以上連続して、動きが検出されなかったか否かが、不感帯処理部２４によって判定される。ステップＳ３３において、ステップＳ２９で動きが検出されなかったのが、２回以上連続していないと判定された場合、即ち、ステップＳ２９で動きが検出されなかったのが、１回だけの場合、ステップＳ３４に進み、最後にステップＳ２９で動きを検出したタイミングにおいて、動きが検出されたものとして、動き検出処理を終了する。即ち、この場合、不感帯処理部２４からは、検出面積判定部２３から供給された動きのあった領域が出力され続ける。
【０１３５】
一方、ステップＳ３３において、ステップＳ２９で動きが検出されなかったのが２回以上連続したと判定された場合、ステップＳ３５に進み、ステップＳ２９で表示延長時間Ｔ₃に対応する回数Ｃ_thrだけ連続して、動きが検出されなかったか否かが、不感帯処理部２４によって判定される。ステップＳ３５において、ステップＳ２９で動きが検出されなかったのが、表示延長時間Ｔ₃に対応する回数Ｃ_thrだけ連続していないと判定された場合、ステップＳ３４に進み、上述した処理が行われ、動き検出処理を終了する。即ち、この場合も、不感帯処理部２４からは、検出面積判定部２３から供給された動きのあった領域が出力され続ける。
【０１３６】
また、ステップＳ３５において、ステップＳ２９で動きが検出されなかったのが、表示延長時間Ｔ₃に対応する回数Ｃ_thrだけ連続したと判定された場合、ステップＳ３６に進み、動きが検出されなくなったものとして、動き検出処理を終了する。即ち、この場合、不感帯処理部２４からの動きのあった領域の出力が停止される。
【０１３７】
ここで、以上の処理のうち、ステップＳ３０およびＳ３３の処理が、不感帯処理に、ステップＳ３５の処理が表示時間延長処理に、それぞれ対応する。なお、図１２の実施例では、ステップＳ３０またはＳ３３それぞれにおける判定処理に用いる、動きが連続して検出された回数または動きが連続して検出されなかった回数を、固定の２回としたが、この回数は、不感の時間Ｔ₁，Ｔ₂に対応するものであり、上述したように、不感帯時間設定装置３３を操作することにより、任意に設定することが可能である。
【０１３８】
次に、図１３を参照して、検出領域が複数設定されている場合において、組合せ設定装置２７が独立モードに設定されているときと、組合せモードに設定されているときについて説明する。
【０１３９】
いま、例えば図１３（Ａ）に示すように２つの検出領域＃１および＃２が設定されている場合において、組合せ設定装置２７が独立モードとされているときには、検出領域＃１と＃２は、それぞれ独立に扱われる。従って、検出面積判定部２３では、検出領域＃１と＃２それぞれについて動きが検出される。即ち、例えば、検出サイズが、検出領域の５０％などと設定されている場合、動きのあった領域が、図１３（Ｂ）において斜線を付してある部分であるときには、検出領域＃１においてのみ動きがあったものとされる。
【０１４０】
一方、組合せ設定装置２７が組合せモードとされているときには、検出領域＃１と＃２は、図１３（Ｃ）に示すように、それらをあわせた１つの領域（組合せ領域）＃３として扱われる。従って、検出面積判定部２３では、領域＃３について動きが検出される。即ち、例えば、上述の場合と同様に、検出サイズが、検出領域の５０％などと設定されており、動きのあった領域が、図１３（Ｃ）において斜線を付してある部分である場合には、領域＃３、つまり検出領域＃１および＃２において動きがあったものとされる。
【０１４１】
なお、本実施例においては、画像の色に関する色情報として、色相と飽和度を用いるようにしたが、これ以外のものを用いることも可能である。
【０１４２】
また、本実施例では、動きのあった領域を表示するようにしたが、その他、例えば、動きのあった領域を含む検出領域や、動きのあった領域の中心や、重心などを表示するようにすることも可能である。
【０１４３】
【発明の効果】
請求項１に記載の動き検出装置および請求項２７に記載の動き検出方法によれば画像が、動きを検出するための基準となる基準画像として、更新しながら記憶されるとともに、入力された画像が、現画像として記憶される一方、基準画像と、現画像との輝度に関する輝度情報どうしを比較し、基準画像または現画像を構成する各画素の飽和度を検出し、飽和度検出手段により検出された飽和度に基づいて、基準画像または現画像を構成する各画素の色が有彩色若しくは無彩色のうちのいずれであるかを判定し、基準画像および現画像がともに有彩色であると判定された場合に、基準画像と、現画像との色に関する色情報どうしを比較し、その輝度情報および色情報の比較結果に基づいて、画像の動きが検出される。そして、画像の動きが検出された場合、その検出されている期間が、所定の時間だけ延長される。従って、例えば動きを見逃すことなどを防止することができる。また、精度の高い動き検出を行うことができる。
【０１４４】
請求項３に記載の動き検出装置および請求項２８に記載の動き検出方法によれば、動きを検出するための基準となる基準画像を更新する更新方法が、複数の方法の中から選択可能なようになされている。従って、動きを検出する状況応じた更新方法を選択することができる。
【図面の簡単な説明】
【図１】本発明を適用したビデオカメラシステムの一実施例の構成を示すブロック図である。
【図２】検出領域の設定を説明するための図である。
【図３】図１の単独点評価部２０および２１の処理を説明するための図である。
【図４】図１の単独点評価部２０および２１の処理を説明するための図である。
【図５】図１の評価結果メモリ２２の記憶内容を説明するための図である。
【図６】図１の動き検出装置１５の動き検出処理を説明するための図である。
【図７】図１の動き検出装置１５の動き検出処理を説明するための図である。
【図８】図１の不感帯処理部２４における不感帯処理を説明するための図である。
【図９】図１の不感帯処理部２４における表示時間延長処理を説明するための図である。
【図１０】図１の不感帯処理部２４における表示時間延長処理を説明するための図である。
【図１１】図１のビデオカメラシステムの動作を説明するためのフローチャートである。
【図１２】図１１のステップＳ９の動き検出処理を説明するためのフローチャートである。
【図１３】独立モードと組合せモードとを説明するための図である。
【符号の説明】
１ レンズブロック
２ レンズ
３ アイリス
４ ＣＣＤ
７ 輝度／色差信号生成装置
８ 画像一次記憶装置
１０ 色相／飽和度変換部
１１ 無彩色判定部
１２ 現画像メモリ
１３ 更新部
１４ 基準画像メモリ
１５ 動き検出装置
１６，１７ 検出領域読み出し部
１８ 輝度比較器
１９ 色比較器
２０，２１ 単独点評価部
２２ 評価結果メモリ
２３ 検出面積判定部
２４ 不感帯処理部
２５ 検出開始制御装置
２６ 画面更新判定装置
２６Ａ 周期設定装置
２６Ｂ 更新用カウンタ
２７ 組合せ装置
２８ 検出領域設定装置
２９ 輝度閾値設定装置
３０ 色相閾値設定装置
３１ 検出サイズ設定装置
３２ 表示時間設定装置
３３ 不感帯時間設定装置
３５ 領域表示装置
３７ 露光固定装置
３８ ドライバ
３９ モータ

Claims (28)

1. 入力された画像の動きを検出する動き検出装置であって、
   入力された前記画像を、動きを検出するための基準となる基準画像として記憶する基準画像記憶手段と、
   前記基準画像記憶手段に記憶された前記基準画像を更新する更新手段と、
   入力された前記画像を、現画像として記憶する現画像記憶手段と、
   前記基準画像記憶手段に記憶された前記基準画像と、前記現画像記憶手段に記憶された前記現画像との輝度に関する輝度情報どうしを比較する輝度情報比較手段と、
   前記基準画像または現画像を構成する各画素の飽和度を検出する飽和度検出手段と、
   前記飽和度検出手段により検出された飽和度に基づいて、前記基準画像または現画像を構成する各画素の色が有彩色若しくは無彩色のうちのいずれであるかを判定する有彩色／無彩色判定手段と、
   前記有彩色／無彩色判定手段において前記基準画像および現画像がともに有彩色であると判定された場合に、前記基準画像記憶手段に記憶された前記基準画像と、前記現画像記憶手段に記憶された前記現画像との色に関する色情報どうしを比較する色情報比較手段と、
   前記輝度情報比較手段および色情報比較手段の比較結果に基づいて、前記画像の動きを検出する動き検出手段と、
   前記動き検出手段により前記画像の動きが検出されている期間を、所定の延長時間だけ延長する延長手段と
   を備えることを特徴とする動き検出装置。
2. 前記所定の延長時間を設定する延長時間設定手段をさらに備える
   ことを特徴とする請求項１に記載の動き検出装置。
3. 前記更新手段による前記基準画像の更新方法を、複数の方法の中から選択する選択手段をさらに備える
   ことを特徴とする請求項１に記載の動き検出装置。
4. 前記複数の方法のうちの１つは、前記基準画像を、入力された前記画像に、周期的に更新する
   ことを特徴とする請求項３に記載の動き検出装置。
5. 前記更新手段による前記基準画像の更新周期を設定する更新周期設定手段をさらに備える
   ことを特徴とする請求項４に記載の動き検出装置。
6. 前記複数の方法のうちの１つは、前記動き検出手段において前記画像の動きが検出されていない場合にのみ、前記基準画像を周期的に更新し、前記動き検出手段において前記画像の動きが検出された場合には、前記基準画像の更新を禁止する
   ことを特徴とする請求項３に記載の動き検出装置。
7. 前記複数の方法のうちの１つは、前記基準画像の更新を禁止する
   ことを特徴とする請求項３に記載の動き検出装置。
8. 前記色情報は、前記基準画像または現画像を構成する各画素の色の色相を含む
   ことを特徴とする請求項１に記載の動き検出装置。
9. 前記色情報比較手段は、さらに、前記有彩色／無彩色判定手段において前記基準画像および現画像がともに無彩色であると判定された場合には、前記基準画像と前記現画像の色に変化がないものとし、前記有彩色／無彩色判定手段において前記基準画像または現画像のいずれか一方が無彩色であると判定された場合には、前記基準画像と前記現画像の色に変化があるものとする
   ことを特徴とする請求項１に記載の動き検出装置。
10. 被写体を撮像し、前記画像に対応する画像信号を出力する撮像手段をさらに備え、
    前記更新手段により前記基準画像記憶手段に記憶された前記基準画像を更新するまでの間、前記撮像手段の露光状態を、その基準画像の撮像時における状態に固定する
    ことを特徴とする請求項１に記載の動き検出装置。
11. 前記画像の中の動きを検出する範囲を設定する動き検出範囲設定手段をさらに備え、
    前記動き検出手段は、前記動き検出範囲設定手段により設定された範囲内の動きを検出する
    ことを特徴とする請求項１に記載の動き検出装置。
12. 前記動き検出範囲設定手段により複数の範囲が設定されたときに、前記複数の範囲を、それぞれ独立の範囲として扱うか、または１つの範囲として扱うかを選択する範囲選択手段をさらに備える
    ことを特徴とする請求項１１に記載の動き検出装置。
13. 前記輝度情報比較手段は、前記基準画像と現画像との輝度情報どうしの差分である輝度差分値を算出し、
    前記色情報比較手段は、前記有彩色／無彩色判定手段において前記基準画像および現画像がともに有彩色であると判定された場合に、前記基準画像と現画像との色情報どうしの差分である色差分値を算出し、
    前記動き検出手段は、前記輝度差分値および色差分値の両方に基づいて、前記画像の動きを検出する
    ことを特徴とする請求項１に記載の動き検出装置。
14. 前記動き検出手段は、前記輝度差分値と所定の閾値との大小関係に基づいて、前記画像を構成する各画素が変化しているかどうかを検出することにより、前記画像の動きを検出する
    ことを特徴とする請求項１３に記載の動き検出装置。
15. 前記所定の閾値を設定する閾値設定手段をさらに備える
    ことを特徴とする請求項１４に記載の動き検出装置。
16. 前記動き検出手段は、変化が検出された前記画素の周辺の画素について変化が検出されているかどうかを判定し、その判定結果に基づいて、変化が検出された前記画素の変化がなかったものとする
    ことを特徴とする請求項１４に記載の動き検出装置。
17. 前記動き検出手段は、前記色差分値と所定の閾値との大小関係に基づいて、前記画像を構成する各画素が変化しているかどうかを検出することにより、前記画像の動きを検出する
    ことを特徴とする請求項１３に記載の動き検出装置。
18. 前記所定の閾値を設定する閾値設定手段をさらに備える
    ことを特徴とする請求項１７に記載の動き検出装置。
19. 前記動き検出手段は、変化が検出された前記画素の周辺の画素について変化が検出されているかどうかを判定し、その判定結果に基づいて、変化が検出された前記画素の変化がなかったものとする
    ことを特徴とする請求項１７に記載の動き検出装置。
20. 前記動き検出手段は、
    前記輝度情報比較手段および色情報比較手段の比較結果に基づいて、前記画像を構成する各画素が変化しているかどうかを検出し、
    変化が検出された前記画素により構成される領域の面積と、所定の面積との大小関係に基づいて、前記領域に動きがあったかどうかを判定する
    ことを特徴とする請求項１に記載の動き検出装置。
21. 前記所定の面積を設定する面積設定手段をさらに備える
    ことを特徴とする請求項２０に記載の動き検出装置。
22. 前記動き検出手段は、
    前記輝度情報比較手段および色情報比較手段の比較結果に基づいて、前記画像を構成する各画素が変化しているかどうかを検出し、
    前記画素の変化の検出が開始されてから、所定の第１の期間が経過しても、前記画素の変化が検出されている場合、前記画像の動きを検出した旨を出力する
    ことを特徴とする請求項１に記載の動き検出装置。
23. 前記動き検出手段は、
    前記画素の変化の検出が開始された後、前記画素の変化が検出されなくなってから、所定の第２の期間が経過しても、前記画素の変化が検出されなくなっている場合、前記画像の動きを検出した旨の出力を停止する
    ことを特徴とする請求項２２に記載の動き検出装置。
24. 前記動き検出手段による動き検出結果を、前記画像にスーパインポーズして表示する表示手段をさらに備える
    ことを特徴とする請求項１に記載の動き検出装置。
25. 前記表示手段は、前記動き検出手段による動き検出結果の表示を行うかどうかを設定可能なようになされている
    ことを特徴とする請求項２４に記載の動き検出装置。
26. 前記動き検出手段による動き検出結果を、外部に出力する出力手段をさらに備える
    ことを特徴とする請求項１に記載の動き検出装置。
27. 入力された画像の動きを検出する動き検出方法であって、
    入力された前記画像を、動きを検出するための基準となる基準画像として、更新しながら記憶するとともに、入力された前記画像を、現画像として記憶する一方、
    前記基準画像と、前記現画像との輝度に関する輝度情報どうしを比較し、
    前記基準画像または現画像を構成する各画素の飽和度を検出し、
    検出された飽和度に基づいて、前記基準画像または現画像を構成する各画素の色が有彩色若しくは無彩色のうちのいずれであるかを判定し、
    前記基準画像および現画像がともに有彩色であると判定された場合に、前記基準画像と、前記現画像との色に関する色情報どうしを比較し、
    前記輝度情報および色情報の比較結果に基づいて、前記画像の動きを検出し、
    前記画像の動きが検出されている期間を、所定の時間だけ延長する
    ことを特徴とする動き検出方法。
28. 前記基準画像としての前記画像の更新方法が、複数の方法の中から選択可能なようになされている
    ことを特徴とする請求項２７に記載の動き検出方法。

Images