JP5274403B2 - 動き検出装置及び動き検出方法 - Google Patents
動き検出装置及び動き検出方法 Download PDFInfo
- Publication number
- JP5274403B2 JP5274403B2 JP2009176478A JP2009176478A JP5274403B2 JP 5274403 B2 JP5274403 B2 JP 5274403B2 JP 2009176478 A JP2009176478 A JP 2009176478A JP 2009176478 A JP2009176478 A JP 2009176478A JP 5274403 B2 JP5274403 B2 JP 5274403B2
- Authority
- JP
- Japan
- Prior art keywords
- average value
- motion detection
- block
- value
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 357
- 238000001514 detection method Methods 0.000 title claims abstract description 345
- 238000004364 calculation method Methods 0.000 claims abstract description 158
- 230000010354 integration Effects 0.000 claims description 16
- 230000000737 periodic effect Effects 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 5
- 230000004397 blinking Effects 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000036632 reaction speed Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
この動き検出装置では、カメラにより撮像された画像内に複数の小ブロックを設定し、複数の小ブロックの内部において、2つの画像(カメラにより時間的に先に撮像された画像と、カメラにより時間的に後に撮像された画像)間の画素の平均値の変化を計算している。
なお、この動き検出装置では、画像内に動きがない場合の基準画像と、カメラにより撮像された現在の画像との比較を行うことで、小さな動きに対しても精度の高い検出を可能にしている。
また、照明条件の変動、カメラの自動撮像制御機能による画面輝度の変化や、蛍光灯照明下でのフリッカの発生などが考慮されていないため、照明条件の変動や画面輝度の変化やフリッカの発生などを要因とする動きの誤検出が発生して、十分な検出精度を得られない課題があった。
また、この発明は、照明条件の変動や画面輝度の変化やフリッカの発生などを要因とする動きの誤検出の発生を防止することができる動き検出装置及び動き検出方法を得ることを目的とする。
図1はこの発明の実施の形態1による動き検出装置を示す構成図である。
図1において、ブロック分割部1はセンサから出力された動き検出対象の画像(例えば、カメラにより撮像された画像)を示す画像データを入力すると、動き検出対象の画像を複数のブロック[x,y]に分割して、各ブロック[x,y]の画像を示すブロックデータを画素平均値算出部2に出力する処理を実施する。
ただし、ブロック[x,y]は、ブロック分割部1により分割された複数のブロックのうち、左上のブロックを[0,0]として、水平方向にx番目、垂直方向にy番目のブロックを示している。
なお、ブロック分割部1はブロック分割手段を構成している。
画素平均値記録部3は画素平均値算出部2により算出されたブロック[x,y]内の画素の平均値I(x,y)を複数フレーム分記録するメモリなどの記録媒体である。なお、画素平均値記録部3は画素平均値記録手段を構成している。
動き検出閾値補正部5はブロック分割部1により分割されたブロック毎に、補正係数算出部4により算出された補正係数Yc(x,y)を用いて、動き検出閾値Th(x,y)を補正して、補正後の動き検出閾値Thc(x,y)を動き検出部7に出力する処理を実施する。なお、動き検出閾値補正部5は動き検出閾値補正手段を構成している。
動き検出部7はブロック分割部1により分割されたブロック毎に、動き検出閾値補正部5により補正された動き検出閾値Thc(x,y)とフレーム間差分値算出部6により算出された差分値Idif(x,y)を比較して、当該ブロック[x,y]内の動きを検出し、その動きの検出結果を示す検出結果データを出力する処理を実施する。なお、動き検出部7は動き検出手段を構成している。
図2はこの発明の実施の形態1による動き検出方法を示すフローチャートである。
まず、ブロック分割部1は、カメラにより撮像された動き検出対象の画像を示す画像データを入力すると、動き検出対象の画像を複数のブロック[x,y]に分割して、各ブロック[x,y]の画像を示すブロックデータを画素平均値算出部2に出力する(ステップST1)。
ここでは、説明の便宜上、例えば、動き検出対象の画像を水平方向に16分割するとともに、動き検出対象の画像を垂直方向に16分割することで、動き検出対象の画像を合計256個(=16×16個)のブロックに分割するものとする。
即ち、画素平均値算出部2は、以下の式(1)に示すように、ブロック[x,y]内の画素の各画素値(R,G,Bの画素値)に対して加重平均を行うことで、ブロック[x,y]内の画素の平均値I(x,y)を算出する。
I(x,y)=Σ(α・R+β・G+γ・B)/N (1)
α=0.299
β=0.587
γ=0.114
ただし、Σはブロック[x,y]に含まれている画素の画素値を積算する数学記号であり、Nはブロック[x,y]に含まれている画素の個数を示している。
なお、画素平均値記録部3には、後述の処理で必要となるフレーム数分だけ、ブロック[x,y]内の画素の平均値I(x,y)が記録される。
この実施の形態1では、現フレームに係る平均値I(x,y)と、前フレーム(現フレームの1つ前のフレーム)に係る平均値I(x,y)とを用いて、後述の処理を実施する例を示すので、2フレーム分だけ、ブロック[x,y]内の画素の平均値I(x,y)を記録するものとする。
例えば、ブロック分割部1により分割されたブロック毎に、画素の平均値I(x,y)に対応する補正係数Yc(x,y)を記録しているルックアップテーブルが用意されている場合、そのルックアップテーブルを参照して、画素平均値記録部3から読み出した画素の平均値I(x,y)に対応する補正係数Yc(x,y)を動き検出閾値補正部5に出力する。
このように、代表平均値に対応する補正係数のみを用意する場合、ルックアップテーブルを用意する場合よりも、データ量を削減することが可能である。
図3の例では、画像の画素値が8bit(0〜255)で表されており、補正係数Yc(x,y)が平均値I(x,y)に比例して大きくなるように設定されている。
このように設定されている理由は、画素値が大きいエリアでは、一定の割合で画素値が変化しても、差分の大きさが画素値に比例して増大するためである。
また、画面内の低輝度部分についても同様の考え方で、画素値に比例して補正係数が減少するような設定が行われているが、センサ(例えば、カメラ)の暗電流ノイズ等によって、低輝度部分では信号のS/N比が悪化するため、誤検出を防止する観点から、一定の画素値で補正係数に下限を設け、一定の画素値以下の場合には、補正係数が下限以下にならないように設定することが望ましい。
即ち、動き検出閾値補正部5は、以下の式(2)に示すように、補正係数算出部4により算出された補正係数Yc(x,y)を用いて、ブロック[x,y]毎に動き検出閾値Th(x,y)を補正する。
Thc(x,y)=Th(x,y)×Yc(x,y) (2)
以下、現フレームに係る平均値I(x,y)をIb(0,x,y)で表し、前フレームに係る平均値I(x,y)をIb(1,x,y)で表すようにする。
次に、フレーム間差分値算出部6は、ブロック分割部1により分割されたブロック毎に、以下の式(3)に示すように、現フレームに係る平均値Ib(0,x,y)と、前フレームに係る平均値Ib(1,x,y)との差分値Idif(x,y)を算出する(ステップST6)。
Idif(x,y)=ABS{Ib(1,x,y)−Ib(0,x,y)}
(3)
ただし、ABSは{}内の絶対値を求める演算式である。
動き検出部7は、以下の式(4)に示すように、差分値Idif(x,y)が補正後の動き検出閾値Thc(x,y)より大きい場合、ブロック[x,y]内に動きが有るものと判定し、その動きの検出結果を示す検出結果データR(x,y)として、差分値Idif(x,y)と動き検出閾値Thc(x,y)の差分を出力する(ステップST8)。
Idif(x,y)>Thc(x,y)
R(x,y)=Idif(x,y)−Thc(x,y) (4)
Idif(x,y)≦Thc(x,y)
R(x,y)=0 (5)
また、低輝度画像領域に対して、画素値の補正係数を一定値に設定することにより、ノイズの影響を抑えた誤検出が少ない処理を実現することができる。
図4はこの発明の実施の形態2による動き検出装置を示す構成図であり、図において、図1と同一符号は同一又は相当部分を示すので説明を省略する。
画素平均値算出部11は図1の画素平均値算出部2と同様に、ブロック分割部1により分割されたブロック毎に、当該ブロック[x,y]内の画素の平均値I(x,y)を算出して、ブロック[x,y]内の画素の平均値I(x,y)を画素平均値記録部12に出力する処理を実施する。
また、動き検出対象の画像における一画面内の画素(1フレームの画像に含まれている全てのブロック内の画素)の平均値Iallを算出して、一画面内の画素の平均値Iallを画素平均値記録部12に出力する処理を実施する。
なお、画素平均値算出部11は画素平均値算出手段を構成している。
変動補正係数算出部14は画素平均値記録部12により記録されている画面単位の画素の平均値Iallの中の最大値と最小値から動き検出閾値Th(x,y)の補正係数Dc(第2の補正係数)を算出する処理を実施する。
なお、画素値補正係数算出部13及び変動補正係数算出部14から補正係数算出手段が構成されている。
まず、ブロック分割部1は、カメラにより撮像された動き検出対象の画像を示す画像データを入力すると、上記実施の形態1と同様に、動き検出対象の画像を複数のブロック[x,y]に分割して、各ブロック[x,y]の画像を示すブロックデータを画素平均値算出部2に出力する。
ここでは、説明の便宜上、例えば、動き検出対象の画像を水平方向に16分割するとともに、動き検出対象の画像を垂直方向に16分割することで、動き検出対象の画像を合計256個(=16×16個)のブロックに分割するものとする。
また、画素平均値算出部11は、以下の式(6)に示すように、動き検出対象の画像における一画面内の画素(1フレームの画像に含まれている全てのブロック内の画素)の平均値Iallを算出する。
Iall=ΣI(x,y)/W (6)
ただし、Σは1フレームの画像に含まれる全てのブロック内の画素の画素値を積算する数学記号であり、Wは1フレームの画像に含まれるブロックの個数を示している。
なお、画素平均値記録部12には、後述の処理で必要となるフレーム数分だけ、ブロック[x,y]内の画素の平均値I(x,y)と一画面内の画素の平均値Iallが記録される。
この実施の形態2では、上記実施の形態1と同様に、2フレーム分だけ、ブロック[x,y]内の画素の平均値I(x,y)と一画面内の画素の平均値Iallを記録するものとする。
変動補正係数算出部14は、画素平均値記録部12により記録されている画面単位の画素の平均値Iallの中の最大値と最小値を読み出し、その最大値と最小値から動き検出閾値Th(x,y)の補正係数Dcを算出する。
Df=(MAX(Iba(fn))−MIN(Iba(fn))) (7)
0≦fn≦1
ただし、Iba(fn)は画素平均値記録部12により記録されている画面単位の画素の平均値Iallであり、fは動き検出対象の画像のフレーム番号(平均値Iba(fn)が算出されている画面のフレーム番号)である。この実施の形態2では、画素平均値記録部12により2フレーム分記録されているので、fn=0が現フレーム、fn=1が前フレームである。
MIN()は画素平均値記録部12により記録されている画面単位の画素の平均値Iba(fn)の中で、最小値の平均値Iba(fn)を選択する旨を示す数学記号である。
この実施の形態2では、画素平均値記録部12が2フレーム分だけ画面単位の画素の平均値Iba(fn)を記録しているので、フレーム間変動差分値Dfが平均値Iba(0)と平均値Iba(1)の差分絶対値と等しくなるが、画素平均値記録部12が3フレーム分以上の平均値Iba(fn)を記録する場合を考慮して、Iba(fn)のように表記している。
フレーム間変動差分値Dfが一定の値よりも大きい場合には、動き検出に適さない条件(例えば、撮像条件の変化、カメラの自動露光機能の動作による画像輝度の変動、カメラの揺れなど)が発生していると考えられるため、図5に示すように、大きな補正係数Dcを用いることで、動き検出閾値Th(x,y)を引き上げれば、誤検出の発生を抑えることができる。
即ち、動き検出閾値補正部15は、以下の式(8)に示すように、画素値補正係数算出部13により算出された補正係数Yc(x,y)と変動補正係数算出部14により算出された補正係数Dcを用いて、ブロック[x,y]毎に動き検出閾値Th(x,y)を補正する。
Thc(x,y)
=Th(x,y)×Yc(x,y)×Dc (8)
図6はこの発明の実施の形態3による動き検出装置を示す構成図であり、図において、図4と同一符号は同一又は相当部分を示すので説明を省略する。
画素平均値補正部21はブロック分割部1により分割されたブロック[x,y]のうち、同一の水平ラインに並んでいる複数のブロック毎に、複数のブロック内の画素の平均値IL(y)を算出し、その平均値IL(y)を用いて、画素平均値算出部11により算出されたブロック[x,y]内の画素の平均値I(x,y)を正規化し、正規化後の平均値I(x,y)を画素平均値記録部12に出力する処理を実施する。なお、画素平均値補正部21は画素平均値補正手段を構成している。
画素平均値補正部21は、CMOSセンサと蛍光灯照明の組み合わせによって発生する水平縞状の画像の明暗変動(フリッカ)が動き検出に与える影響を抑えるために、画素平均値算出部11により算出されたブロック[x,y]内の画素の平均値I(x,y)の補正処理を実施する。
まず、画素平均値補正部21は、ブロック分割部1により分割されたブロック[x,y]のうち、同一の水平ラインに並んでいる複数のブロック毎に、複数のブロック内の画素の平均値IL(y)を算出する。
即ち、画素平均値補正部21は、以下の式(9)に示すように、同一の水平ラインに並んでいる複数のブロック内の画素の平均値IL(y)を算出する。
IL(y)=ΣI(x,y)/L (9)
ただし、Σは同一の水平ラインに並んでいる複数のブロック内の画素の画素値を積算する数学記号であり、Lは同一の水平ラインに並んでいるブロックの個数を示している。
この場合、垂直方向に0番目の水平ラインに並んでいる16個のブロックに係る平均値IL(0)、垂直方向に1番目の水平ラインに並んでいる16個のブロックに係る平均値IL(1)、・・・、垂直方向に15番目の水平ラインに並んでいる16個のブロックに係る平均値IL(15)を順次算出することになる。
即ち、画素平均値補正部21は、以下の式(10)に示すように、画素平均値算出部11により算出されたブロック[x,y]内の画素の平均値I(x,y)を正規化する。
I’(x,y)
=I(x,y)×Iall/IL(y) (10)
ただし、I’(x,y)はブロック[x,y]内の画素の正規化後の平均値である。
画素値補正係数算出部13は、画素平均値記録部12からブロック[x,y]内の画素の正規化後の平均値I’(x,y)を読み出し、その正規化後の平均値I’(x,y)から動き検出閾値Th(x,y)の補正係数Yc(x,y)をブロック毎に算出する。
ただし、ブロック[x,y]内の画素の平均値I(x,y)の代わりに、正規化後の平均値I’(x,y)を用いて、補正係数Yc(x,y)を算出する以外は、図1の補正係数算出部4と同様であるため説明を省略する。
図7はこの発明の実施の形態4による動き検出装置を示す構成図であり、図において、図4と同一符号は同一又は相当部分を示すので説明を省略する。
画素平均値補正部22は動き検出対象の画像における一画面内の画素の複数フレーム分の平均値を算出し、複数フレーム分の平均値を解析して、照明の明滅に起因する特定周波数の周期的な画素の平均値の変動の有無を判定し、特定周波数の周期的な画素の平均値の変動が有る場合、その平均値の変動周期の位相及び振幅に対応する補正係数を用いて、画素平均値算出部11により算出されたブロック単位の画素の平均値I(x,y)を正規化する処理を実施する。なお、画素平均値補正部22は画素平均値補正手段を構成している。
ここでは、説明の便宜上、バッファリングするフレーム数が12フレームであるとして説明する。
また、ブロック単位の画素の平均値I(x,y)と一画面内の画素の平均値Iallのそれぞれについて、画素平均値補正部22による補正処理前の値と補正処理後の値の双方を保持できるものとする。
画素平均値補正部22は、CMOSセンサと蛍光灯照明の組み合わせによって発生するフレーム毎の明暗変動(フリッカ)が動き検出に与える影響を抑えるために、画素平均値算出部11により算出されたブロック[x,y]内の画素の平均値I(x,y)を正規化する補正処理を実施する。
CCDセンサにおけるフリッカは、例えば、画像のフレームレートが30fpsである場合、60Hzの電源環境では発生せず、50Hzの電源環境では3フレーム周期での明暗変動となる。
そのため、この実施の形態4では、3フレーム周期の明暗変動を検出して、ブロック[x,y]内の画素の平均値I(x,y)を正規化する補正処理について説明する。
なお、フレームレートの差違により、発生する明暗変動の周期が異なる場合には、対応する周期の変動を検出するように、演算式を変更する必要がある。
まず、画素平均値補正部22は、画素平均値算出部11により算出されたブロック[x,y]内の画素の平均値I(x,y)と、一画面内の画素の平均値Iallとを補正処理前の値として、画素平均値記録部12にバッファリングする。
次に、画素平均値補正部22は、以下の式(11)〜式(13)に示すように、3フレーム周期で、画像データをグルーピングして、各グループに属するフレーム内に含まれている画素の平均値Ifk(0),Ifk(1),Ifk(2)を算出する。
なお、各グループに属するフレーム内に含まれている画素の平均値Ifk(0),Ifk(1),Ifk(2)は、後述するように、特定周波数の周期的な画素の平均値の変動周期の位相及び振幅に対応する補正係数として取り扱う。
=(Iba(0)+Iba(3)+Iba(6)+Iba(9))/4
(11)
Ifk(1)
=(Iba(1)+Iba(4)+Iba(7)+Iba(10))/4
(12)
Ifk(2)
=(Iba(2)+Iba(5)+Iba(8)+Iba(11))/4
(13)
ただし、Iba(f)は画素平均値記録部12に記録されている一画面内の画素の補正処理前の平均値Iallであり、fは動き検出対象の画像のフレーム番号(平均値Iba(f)が算出されている画面のフレーム番号)である。f=0が現フレーム、fの値が大きいほど、古いフレームを示している。
例えば、平均値Ifk(0),Ifk(1),Ifk(2)における最大値がIfk(0)、平均値Ifk(0),Ifk(1),Ifk(2)における最小値がIfk(2)であれば、Ifk(0)とIfk(2)の差分を算出する。
(14)
(1)f=3n(n:整数)の場合
Ib’(f,x,y)
=Ib(f,x,y)×Ifk_all/Ifk(0) (15)
Iba’(f)
=Ib(f)×Ifk_all/Ifk(0) (16)
(2)f=3n+1(n:整数)の場合
Ib’(f,x,y)
=Ib(f,x,y)×Ifk_all/Ifk(1) (17)
Iba’(f)
=Ib(f)×Ifk_all/Ifk(1) (18)
(3)f=3n+2(n:整数)の場合
Ib’(f,x,y)
=Ib(f,x,y)×Ifk_all/Ifk(2) (19)
Iba’(f)
=Ib(f)×Ifk_all/Ifk(2) (20)
また、Ib(f,x,y)はブロック[x,y]内の画素の補正前の平均値I(x,y)であり、Ib’(f,x,y)はブロック[x,y]内の画素の補正後の平均値I(x,y)である。
補正後の平均値Ib’(f,x,y)と平均値Iba’(f)は、画素平均値記録部12に記録される。
この場合、画素平均値補正部22は、画素平均値算出部11により算出されたブロック[x,y]内の画素の平均値I(x,y)と、一画面内の画素の平均値Iallとを正規化する補正処理を行わずに、補正後(正規化後)の平均値Ib’(f,x,y)として、補正前の平均値I(x,y)を画素平均値記録部12に記録し、補正後(正規化後)の平均値Iba’(f)として、補正前の平均値Iallを画素平均値記録部12に記録する。
即ち、フレーム間での周期的な画素の平均値の変動を検出し、変動周期に合致しているグルーピングで平均化した全画面画素の平均値で正規化を行うことにより、CCDセンサでの撮影時に発生するフレーム間のフリッカの影響のみを抑えることができるため、フリッカの発生状況下でも、誤検出の発生を低減して、検出精度を高めることができる。
図8はこの発明の実施の形態5による動き検出装置を示す構成図であり、図において、図4と同一符号は同一又は相当部分を示すので説明を省略する。
画素平均値記録部31は図4の画素平均値記録部12と同様に、画素平均値算出部11により算出されたブロック[x,y]内の画素の平均値I(x,y)を複数フレーム分記録するとともに、一画面内の画素の平均値Iallを複数フレーム分記録するメモリなどの記録媒体である。
また、画素平均値記録部31は図4の画素平均値記録部12と同様に、後述の処理で必要となるフレーム数分だけ、過去のフレームに係る平均値を記録しておく必要があるが、この実施の形態5では、現フレームに係る平均値を含めて、合計4フレームに係る平均値を記録しておくものとする。
なお、画素平均値記録部31は画素平均値記録手段を構成している。
画素平均値算出部11は、ブロック分割部1からブロックデータを受けると、上記実施の形態2と同様に、ブロック分割部1により分割されたブロック毎に、当該ブロック[x,y]内の画素の平均値I(x,y)を算出する。
また、画素平均値算出部11は、上記実施の形態2と同様に、動き検出対象の画像における一画面内の画素(1フレームの画像に含まれている全てのブロック内の画素)の平均値Iallを算出する。
なお、画素平均値記録部31には、後述の処理で必要となるフレーム数分だけ、ブロック[x,y]内の画素の平均値I(x,y)と一画面内の画素の平均値Iallが記録される。
この実施の形態5では、ブロック[x,y]内の画素の平均値I(x,y)と、一画面内の画素の平均値Iallとを4フレーム分だけ記録するものとする。
ただし、この実施の形態5では、補正係数Yc(x,y)を算出する際、単一フレームの画素の平均値I(x,y)を用いる代わりに、複数のフレームでの画素の平均値I(x,y)を用いるものとする。
例えば、現フレームから2フレーム前及び3フレーム前のフレームの平均化した値から、動き検出閾値Th(x,y)の補正係数Yc(x,y)を算出するようにする。
ただし、補正係数Dcを算出する際に参照するフレーム範囲は、フレーム間差分値算出部32により参照されるフレーム範囲と一致させることが望ましいので、現フレームを含めて、4フレーム分参照するものとする。
即ち、変動補正係数算出部14は、以下の式(21)に示すように、最大値と最小値の差分値(フレーム間変動差分値)Dfを算出して、そのフレーム間変動差分値Dfに対応する補正係数Dcを算出する。
Df=(MAX(Iba(fn))−MIN(Iba(fn))) (21)
0≦fn≦3
以下、現フレームに係る平均値I(x,y)をIb(0,x,y)で表し、前フレームに係る平均値I(x,y)をIb(1,x,y)で表し、現フレームより2フレーム前のフレームに係る平均値I(x,y)をIb(2,x,y)で表し、現フレームより3フレーム前のフレームに係る平均値I(x,y)をIb(3,x,y)で表すようにする。
Ib0−1ave=(Ib(0,x,y)+Ib(1,x,y))/2
Ib2−3ave=(Ib(2,x,y)+Ib(3,x,y))/2
(22)
Idif(x,y)=ABS{Ib2−3ave−Ib0−1ave}
(23)
ただし、ABSは{}内の絶対値を求める演算式である。
即ち、この実施の形態5によれば、フレーム間差分値算出部32が複数のフレーム間で各ブロックにおける画素平均値を更に平均化するようにしているので、単一フレームの突発的な被写体の変化や、動きとして検出する必要が無い被写体の細かい動きや、センサのノイズによる誤検出の発生を抑えることが可能となる。
図9はこの発明の実施の形態6による動き検出装置を示す構成図であり、図において、図4及び図8と同一符号は同一又は相当部分を示すので説明を省略する。
画素値補正係数算出部13aは上記実施の形態2における画素値補正係数算出部13に相当する処理部であり、ブロック分割部1により分割されたブロック毎に、画素平均値記録部31により記録されているブロック[x,y]内の画素の平均値I(x,y)から動き検出閾値Th1(x,y)の補正係数Yc(x,y)を算出する処理を実施する。
画素値補正係数算出部13bは上記実施の形態5における画素値補正係数算出部13に相当する処理部であり、ブロック分割部1により分割されたブロック毎に、画素平均値記録部31により記録されている複数のフレーム間での画素の平均値I(x,y)から動き検出閾値Th2(x,y)の補正係数Yc(x,y)を算出する処理を実施する。
変動補正係数算出部14bは上記実施の形態5における変動補正係数算出部14に相当する処理部であり、画素平均値記録部31により記録されている画面単位の画素の平均値Iallの中の最大値と最小値(現フレームを含めて、過去4フレーム分の画素の平均値の中の最大値と最小値)から動き検出閾値Th2(x,y)の補正係数Dcを算出する処理を実施する。
なお、画素値補正係数算出部13a,13b及び変動補正係数算出部14a,14bから補正係数算出手段が構成されている。
動き検出閾値補正部15bは上記実施の形態5における動き検出閾値補正部15に相当する処理部であり、ブロック分割部1により分割されたブロック毎に、画素値補正係数算出部13bにより算出された補正係数Yc(x,y)と変動補正係数算出部14bにより算出された補正係数Dcを用いて、動き検出閾値Th2(x,y)を補正して、補正後の動き検出閾値Thc2(x,y)を動き検出部7bに出力する処理を実施する。
なお、動き検出閾値補正部15a,15bは動き検出閾値補正手段を構成している。
動き検出部7bは上記実施の形態5における動き検出部7に相当する処理部であり、ブロック分割部1により分割されたブロック毎に、動き検出閾値補正部15bにより補正された動き検出閾値Thc2(x,y)とフレーム間差分値算出部32により算出された差分値Idif(x,y)を比較して、当該ブロック[x,y]内の動きを検出し、その動きの検出結果を示す検出結果データR(x,y)を動き検出結果統合部40に出力する処理を実施する。
なお、動き検出部7a,7bは動き検出手段を構成している。
この実施の形態6の動き検出装置は、参照するフレーム数が相互に異なる処理部を2系統備えている。
即ち、一つ目の系統が、画素値補正係数算出部13a、変動補正係数算出部14a、動き検出閾値補正部15a、フレーム間差分値算出部6及び動き検出部7aであり、一つ目の系統では、上記実施の形態2と同様に、現フレームと前フレームを参照するようにしている。
一方、二つ目の系統が、画素値補正係数算出部13b、変動補正係数算出部14b、動き検出閾値補正部15bフレーム間差分値算出部32及び動き検出部7bであり、二つ目の系統では、上記実施の形態5と同様に、現フレーム〜3フレーム前のフレームを参照するようにしている。
即ち、動き検出結果統合部40は、ブロック分割部1により分割されたブロック毎に、動き検出部7aから出力された検出結果データR(x,y)と、動き検出部7bから出力された検出結果データR(x,y)とを比較して、大きな動きの検出結果を示す検出結果データR(x,y)を選択する。
そして、動き検出結果統合部40は、その選択した検出結果データR(x,y)が示す動きの検出結果を最終的な動きの検出結果に決定する。
このとき、単独フレームでの比較は動きに対する反応が早いが、ゆっくりとした動きの被写体に対して検出が行われにくい問題がある。一方、複数のフレームで平均化した値の比較は動きの遅い物体に対しても安定した検出が行えるが、逆に動きに対する反応が遅くなる。
この実施の形態6では、二つの検出方式を組み合わせているので、動きの遅い物体に対する検出精度の向上と、動きに対する反応速度の維持を両立させることが可能となる。
上記実施の形態1〜6では、動き検出閾値Th(x,y)、補正係数算出部4及び画素値補正係数算出部13における補正係数Yc(x,y)の算出方法及び参照するフレーム範囲、変動補正係数算出部14における補正係数Dcの算出方法及び参照するフレーム範囲、フレーム間差分値算出部6,32により算出される差分値Idif(x,y)のフレーム範囲が、それぞれ固定であるものについて示したが、動き検出対象の画像を撮像するカメラの信号増幅率に応じてそれぞれ設定されているようにしてもよい。
具体的には、以下の通りである。
露光条件の変動によって、ゲインによる信号増幅倍率が高くなると、カメラから出力される信号のS/N比が低下するため、ノイズによる誤検出が発生し易くなる。
そして、外部のパラメータ切替え手段は、信号のゲイン倍率に対応する複数のパラメータを予め準備しておき、モニタした情報にしたがってフレーム毎にパラメータの書き換えを行うようにする。
ここでのパラメータは、補正係数算出部4及び画素値補正係数算出部13における参照フレーム範囲及び参照フレーム画素の平均値に対する画素値補正係数の参照テーブルと、画素値補正係数算出部13における参照フレーム範囲及びフレーム間変動差分に対する変動補正係数の参照テーブルと、動き検出閾値Th(x,y)と、フレーム間差分値算出部6,32における参照フレーム範囲とが該当する。
上記実施の形態1〜7では、ブロック分割部1により分割されたブロック毎に、動き検出部7が、補正後の動き検出閾値Thc(x,y)と差分値Idif(x,y)を比較して、当該ブロック[x,y]内の動きを検出するものについて示したが、着目するブロック[x,y]内の動き検出結果と、そのブロック[x,y]に隣接している複数のブロックの動き検出結果とを比較して、最小値の動き検出結果を特定し、着目するブロック[x,y]の動き検出結果として、最小値の動き検出結果を出力するようにしてもよい。
具体的には、以下の通りである。
即ち、動き検出部7は、着目するブロック[x,y]を中心とする3ブロック×3ブロック(合計9個のブロック)の動き検出結果を相互に比較する。
着目するブロック[x,y]に隣接している複数のブロックについての動き検出結果については、着目するブロック[x,y]と同様に、隣接しているブロックに係る補正後の動き検出閾値Thcと差分値Idifを比較することで検出する。
このように、着目するブロック[x,y]の周辺ブロックについての動き検出結果を求め、最小値を検出結果とすることにより、一定以上の大きなブロック範囲で同時に動きが検出された場合に限り、動きが有りの検出結果が出力され、一定未満の小さなブロック範囲での動き検出は、最終的な動き検出と見なさないようになる。
これにより、細かい動きの検出を排除して、一定以上の大きさの動きのみを検出することが可能となる。
Claims (8)
- 動き検出対象の画像を複数のブロックに分割するブロック分割手段と、上記ブロック分割手段により分割されたブロック毎に、当該ブロック内の画素の平均値を算出するとともに、動き検出対象の画像における一画面内の画素の平均値を算出する画素平均値算出手段と、上記画素平均値算出手段により算出されたブロック単位の画素の平均値及び画面単位の画素の平均値を複数フレーム分記録する画素平均値記録手段と、上記ブロック分割手段により分割されたブロック毎に、上記画素平均値記録手段により記録されているブロック単位の画素の平均値から動き検出閾値の第1の補正係数を算出するとともに、上記画素平均値記録手段により記録されている画面単位の画素の平均値の中の最大値と最小値から動き検出閾値の第2の補正係数を算出する補正係数算出手段と、上記補正係数算出手段により算出された第1及び第2の補正係数を用いて、上記動き検出閾値を補正する動き検出閾値補正手段と、上記ブロック分割手段により分割されたブロック毎に、上記画素平均値記録手段により記録されているブロック単位の画素の平均値の複数のフレーム間での差分値を算出するフレーム間差分値算出手段と、上記ブロック分割手段により分割されたブロック毎に、上記動き検出閾値補正手段により補正された動き検出閾値と上記フレーム間差分値算出手段により算出された差分値を比較して、当該ブロック内の動きを検出する動き検出手段とを備えた動き検出装置。
- ブロック分割手段により分割されたブロックのうち、同一の水平ラインに並んでいる複数のブロック毎に、上記複数のブロック内の画素の平均値を算出し、上記平均値を用いて、画素平均値算出手段により算出されたブロック単位の画素の平均値を正規化する画素平均値補正手段を設け、画素平均値記録手段が上記画素平均値補正手段により正規化された画素の平均値を複数フレーム分記録することを特徴とする請求項1記載の動き検出装置。
- 動き検出対象の画像における一画面内の画素の複数フレーム分の平均値を算出し、上記複数フレーム分の平均値を解析して、照明の明滅に起因する特定周波数の周期的な画素の平均値の変動の有無を判定し、特定周波数の周期的な画素の平均値の変動が有る場合、上記平均値の変動周期の位相及び振幅に対応する補正係数を用いて、画素平均値算出手段により算出されたブロック単位の画素の平均値を正規化する画素平均値補正手段を設け、上記画素平均値補正手段により画素の平均値が正規化された場合、画素平均値記録手段が上記画素平均値補正手段により正規化された画素の平均値を複数フレーム分記録することを特徴とする請求項1記載の動き検出装置。
- フレーム間差分値算出手段は、ブロック分割手段により分割されたブロック毎に、画素平均値記録手段により記録されている第1のフレームの画素の平均値と第2のフレームの画素の平均値との平均値を算出するとともに、第3のフレームの画素の平均値と第4のフレームの画素の平均値との平均値を算出して、その算出した2つの平均値の差分値を算出し、
動き検出手段は、動き検出閾値補正手段により補正された動き検出閾値と上記フレーム間差分値算出手段により算出された差分値を比較して、ブロック内の動きを検出することを特徴とする請求項1から請求項3のうちのいずれか1項記載の動き検出装置。 - 補正係数算出手段、動き検出閾値補正手段、フレーム間差分値算出手段及び動き検出手段を複数組備えて、上記複数の動き検出手段によるブロック毎の動き検出結果を統合する動き検出結果統合手段を設けたことを特徴とする請求項1から請求項4のうちのいずれか1項記載の動き検出装置。
- 動き検出閾値と、補正係数算出手段における補正係数の算出方法及び参照するフレーム範囲と、フレーム間差分値算出手段により算出される差分値のフレーム範囲とが、動き検出対象の画像を撮像するカメラの信号増幅率に応じて設定されていることを特徴とする請求項1から請求項5のうちのいずれか1項記載の動き検出装置。
- 動き検出手段は、着目するブロックの動き検出結果と、上記ブロックに隣接している複数のブロックの動き検出結果とを比較して、最小値の動き検出結果を特定し、着目するブロックの動き検出結果として、最小値の動き検出結果を出力することを特徴とする請求項1から請求項6のうちのいずれか1項記載の動き検出装置。
- ブロック分割手段が動き検出対象の画像を複数のブロックに分割するブロック分割処理ステップと、画素平均値算出手段が上記ブロック分割処理ステップで分割されたブロック毎に、当該ブロック内の画素の平均値を算出するとともに、動き検出対象の画像における一画面内の画素の平均値を算出する画素平均値算出処理ステップと、画素平均値記録手段が上記画素平均値算出処理ステップで算出されたブロック単位の画素の平均値及び画面単位の画素の平均値を複数フレーム分記録する画素平均値記録処理ステップと、補正係数算出手段が上記ブロック分割処理ステップで分割されたブロック毎に、上記画素平均値記録処理ステップで記録されているブロック単位の画素の平均値から動き検出閾値の第1の補正係数を算出するとともに、上記画素平均値記録処理ステップで記録されている画面単位の画素の平均値の中の最大値と最小値から動き検出閾値の第2の補正係数を算出する補正係数算出処理ステップと、動き検出閾値補正手段が上記補正係数算出処理ステップで算出された第1及び第2の補正係数を用いて、上記動き検出閾値を補正する動き検出閾値補正処理ステップと、フレーム間差分値算出手段が上記ブロック分割処理ステップで分割されたブロック毎に、上記画素平均値記録処理ステップで記録されているブロック単位の画素の平均値の複数のフレーム間での差分値を算出するフレーム間差分値算出処理ステップと、動き検出手段が上記ブロック分割処理ステップで分割されたブロック毎に、上記動き検出閾値補正処理ステップで補正された動き検出閾値と上記フレーム間差分値算出処理ステップで算出された差分値を比較して、当該ブロック内の動きを検出する動き検出処理ステップとを備えた動き検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009176478A JP5274403B2 (ja) | 2009-07-29 | 2009-07-29 | 動き検出装置及び動き検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009176478A JP5274403B2 (ja) | 2009-07-29 | 2009-07-29 | 動き検出装置及び動き検出方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011028683A JP2011028683A (ja) | 2011-02-10 |
JP2011028683A5 JP2011028683A5 (ja) | 2012-08-30 |
JP5274403B2 true JP5274403B2 (ja) | 2013-08-28 |
Family
ID=43637315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009176478A Active JP5274403B2 (ja) | 2009-07-29 | 2009-07-29 | 動き検出装置及び動き検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5274403B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11893753B2 (en) * | 2019-08-27 | 2024-02-06 | Pixart Imaging Inc. | Security camera and motion detecting method for security camera |
CN113011218B (zh) * | 2019-12-19 | 2024-03-01 | 合肥君正科技有限公司 | 一种车内监控检测中应对人员上下车自动更新背景的方法 |
CN112527634B (zh) * | 2020-11-25 | 2023-06-02 | 中国联合网络通信集团有限公司 | 程序划分方法及装置、软件测试方法及平台 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001283225A (ja) * | 2000-03-28 | 2001-10-12 | Sanyo Electric Co Ltd | 空間内異常検出装置及び空間内異常検出方法 |
JP2003199099A (ja) * | 2001-12-27 | 2003-07-11 | Canon Inc | 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
JP2005056406A (ja) * | 2003-07-24 | 2005-03-03 | Victor Co Of Japan Ltd | 画像の動き検出装置及びコンピュータプログラム |
-
2009
- 2009-07-29 JP JP2009176478A patent/JP5274403B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011028683A (ja) | 2011-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4106554B2 (ja) | 撮影環境判定方法および撮像装置 | |
KR101950396B1 (ko) | 촬상장치 및 촬상방법 | |
JP4487640B2 (ja) | 撮像装置 | |
JP3892172B2 (ja) | 固体撮像装置 | |
US9344640B2 (en) | Imaging device, integrated circuit, and flicker reduction method | |
JP2007074555A (ja) | フリッカ低減方法、フリッカ低減回路及び撮像装置 | |
KR20060128649A (ko) | 화상 처리 장치 및 촬상 장치 | |
CN101188678A (zh) | 图像处理装置,图像处理方法及程序 | |
JP2012156634A (ja) | フラッシュバンド処理回路、フラッシュバンド処理方法、撮像装置及び撮像処理方法 | |
KR20030097687A (ko) | 화상 처리 장치, 카메라 장치, 및 그 자동 노광 제어 방법 | |
US20140152861A1 (en) | Image processing apparatus and method | |
CN104380710B (zh) | 闪烁减少装置、拍摄装置以及闪烁减少方法 | |
US9589339B2 (en) | Image processing apparatus and control method therefor | |
WO2016129405A1 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP5417746B2 (ja) | 動き適応型ノイズ低減装置、画像信号処理装置、画像入力処理装置、および、動き適応ノイズ低減方法 | |
JP5520704B2 (ja) | 撮像装置、閃光判定方法およびプログラム | |
JP7263626B2 (ja) | 画像における複数の光源のフリッカ現象の低減 | |
JP6045894B2 (ja) | 画像処理装置および画像処理方法 | |
JP5274403B2 (ja) | 動き検出装置及び動き検出方法 | |
JP2006319831A (ja) | 画像処理装置および撮像装置 | |
JP2003304417A (ja) | 撮像システム | |
JP2004118424A (ja) | 動き検出装置,動き検出方法,動き検出システム,およびプログラム | |
US11012630B1 (en) | Image processor and image processing method | |
JP2007158964A (ja) | 画像処理装置および撮像装置 | |
JP2006135838A (ja) | 動き検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120718 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120718 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130514 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5274403 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |