JP4712391B2 - Ｃｍｏｓカメラ画像内でデジタル画像処理することによって移動した物体を評価する方法及び装置 - Google Patents

Description

本発明は、ＣＭＯＳカメラ画像内でデジタル画像処理することによって移動した物体を評価する方法及び装置に関する。

画像をコンピュータシステムによって処理できるようにするため、これらの画像は、コンピュータと互換性があるデータフォーマットに変換される必要がある。この変換は、デジタイジングと呼ばれる。このデジタル画像処理では、元の画像データが、コンピュータに適合するデータフォーマットに変換される。このとき、元の画像データは、処理用の２次元又は多次元の関数として任意に処理される。録画の場合、連続する場面が、部分に立体的に分離される。デジタル化された画像データの数学的な記述の可能性は、画像マトリックスとしての表記である。画像Ｓ（場面Ｓ）は、画像行列から構成された長方形のマトリックス（画像マトリックス）Ｓ＝（ｓ（ｘ，ｙ））である。列インデックスはｘである。行インデックスはｙである。位置（列，行）＝（ｘ，ｙ）の画素（ピクセル）は、グレー値ｓ（ｘ，ｙ）を有する。したがってこの場面の複数の要素領域がそれぞれ、画像マトリックスの１つの画素に投影される。画像データをデジタイジングするためには、走査及び量子化が必要である。走査の場合、デジタイジングすべき画像が、長方形又は正方形の格子に重畳させることによって複数の走査面部分に分割される。量子化の場合、グレースケールＧから成る１つのグレー値ｓ（ｘ，ｙ）が、各走査面部分に割り当てられる。このグレー値は、ドットごとに又はこの走査面を平均することによって決定される。

デジタル化された画像データを得るため、ＣＣＤカメラに加えてＣＭＯＳカメラも多方面で使用される。これらのカメラは、例えば衝突の記録や生産中の急激な技術的過程の監視のような科学や産業で多様に使用される。ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｓｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラは、ＣＣＤ画像センサに比べて高い輝度特性及びより高い動作温度を具備する。ＣＭＯＳカメラのフォトダイオードに入射する光粒子（光子）が、電流に変換される。多数のトランジスタが、光を感知するフォトダイオードに付設されている。ＣＭＯＳカメラの画素が、フォトダイオードの実際のフォト電流からこれらの画素のグレー値（信号）を決定する。各画素が、個々に読み取られ評価され得る。このことは、それぞれの関心を引く画像部分上への任意に選択可能なアクセスを可能にし、産業上の画像処理で特別な効果を奏する。非常に高い画像速度が、ＣＭＯＳカメラによって実現され得る（極端な高速度撮影）。この場合、個々の画素へのアクセス時間は、明らかに非常に短い。すなわち、実際のフォト電流が、非常に短期間に調整可能である。

高いコントラストでかつ移動する又は速く変化する物体の場合、特に高い画像速度の場合、元の明るい画像領域からのまだ減衰していない強い電流が、現在の暗くなる信号領域を支配する。画素回路内に含まれている「寄生」容量（［４］第８．３章参照）が、画素信号の時間的な遅延を引き起こす。この効果は、本発明の範囲内では「容量性の残像効果」と呼ばれる。これらの値の一般に対数表示によるカメラの非常に高いグレー値分解能が、これによって相当に下がっている。つまり、誤りを多く含む値が出力される。例えば明るい１つの信号が比較的暗いバックグラウンドにわたって移動する場合、例えば溶接点が板金にわたって移動する場合、この明るい信号は、その後方に尾を引く（［４］、第３７頁参照）。この尾は、このより暗いバックグラウンドに重畳する。例えば板金の溶接時に溶接の継目を溶接点のすぐ後ろで監視しようとする場合、尾が継目部分から消えるまで待つ必要がある。

録画速度による容量性の残像のこの不都合な効果を校正する多くの可能性が存在する：明るい画素の放電が、適度なバックグラウンド照明によって明らかに加速され得る。移動方向が既知である場合、さらに実際の物体からの又は投影されたパターンからの位置を検出しなければならない特定の用途の場合、移動方向に関する分析をすることが可能である。すなわち、暗から明への速い交換を検出することができる。この方法は、確かに例えば照明又は全ての録画状況が既知であるか又は制御され得るときの特定の用途だけに適する。しかしこの評価方法は、目視不可能な信号成分を専ら無視又は避けて再生できない。

例えばサーマルイメージにおける温度の低下に関するような光学処理が、数学モデルを用いて評価される。すなわち、微分方程式（ＤＧＬ）の使用が、例えば［３］、図９から公知である。この方法の場合、録画の物理条件がＤＧＬで記述され、このＤＧＬの未知のパラメータが数値的に概算される。既知の局所の概算方法は、ここでは特に「通常最小二乗法（ＯＬＳ）」，「トータル最小二乗法」及び「混成ＯＬＳ−ＴＬＳ」［５］である。これらの全ての概算方法は、数値制御の各標準タスクから得られる最小二乗法の方法の特殊形である。さらに、データ処理及び平滑処理によるいわゆる偏差法がよく使用される（例えば、［１，６］参照）。

ＣＭＯＳカメラ画像を評価するために適しているモデルの使用は、従来は文献で説明されていなかった。
Ｂ． Ｊａｈｎｅ， Ｄｉｇｉｔａｌｅ Ｂｉｌｄｖｅｒａｒｂｅｉｔｕｎｇ， ４． Ａｕｆｌ．， Ｓｐｒｉｎｇｅｒ， １９９７． Ｂ． Ｊａｈｎｅ， Ｈ． Ｈａｕｓｓｅｃｋｅｒ， Ｐ． Ｇｌｅｉｓｓｌｅｒ （ＥＤＳ．） Ｈａｎｄｂｏｋｋ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， Ｖｏｌｕｍｅ １． Ｓｅｎｓｏｒｓ ａｎｓ Ｉｍａｇｉｎｇ， Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ， １９９９． Ｈｏｒｓｔ Ｗ． Ｈａｕｓｓｅｃｋｅｒ ａｎｄ Ｄａｖｉｄ Ｊ． Ｆｌｅｅｔ， Ｃｏｍｐｕｔｉｎｇ Ｏｐｔｉｃａｌ Ｆｌｏｗ ｗｉｔｈ Ｐｈｙｓｉｃａｌ Ｍｏｄｅｌｓ ｏｆ Ｂｒｉｇｈｔｎｅｓｓ Ｖａｒｉａｔｉｏｎ ＩＥＥＥ Ｔｒａｎｓ． ＰＡＭＴ， Ｖｏｌ． ２３， Ｎｏ． ６， ｐｐ ６６１−６７３， Ｊｕｎｅ ２００１． Ｔ． Ｓｅｉｆｆｅｒｔ， Ｍｅｓｓｖｅｒｆａｈｒｅｎ ｕｎｄ Ｋｅｎｎｇｒｏｓｓｅｎ ｚｕｒ Ｂｅｕｒｔｅｉｌｕｎｇ ｄｅｓ ｄｙｎａｍｉｓｃｈｅｎ Ｋｏｎｔｒａｓｔａｕｆｌｏｓｕｎｇｓｖｅｒｍｏｇｅｎｓ ｅｌｅｋｔｒｏｎｉｓｃｈｅｒ Ｂｉｌｄａｕｆｎｅｈｍｅｒ， Ｄｉｐｌｏｍａｒｂｅｉｔ， Ｕｎｉｖｅｒｓｉｔａｔ Ｋａｒｌｓｒｕｈｅ （ＴＨ）， ２００１． Ｃ． Ｇａｒｂｅ， Ｍｅａｓｕｒｉｎｇ Ｈｅａｔ Ｅｘｃｈａｎｇｅ Ｐｒｏｃｅｓｓｅｓ ａｔ ｔｈｅ Ａｉｒ−Ｗａｔｅｒ Ｉｎｔｅｒｆａｃｅ ｆｒｏｍ Ｔｈｅｒｍｏｇｒａｐｈｉｃ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅ Ａｎａｌｙｓｉｓ， Ｄｏｋｔｏｒａｒｂｅｉｔ， Ｕｎｉｖｅｒｓｉａｔ Ｈｅｉｄｅｌｂｅｒｇ， ２００１． Ｊ． Ｗｅｉｃｋｅｒｔ ｕｎｄ Ｃ． Ｓｃｈｎｏｒｒ， Ｖａｒｉａｔｉｏｎａｌ Ｏｐｔｉｃ Ｆｌｏｗ Ｃｏｍｐｕｔａｔｉｏｎ ｗｉｔｈ ａ Ｓｐａｔｉｏ−Ｔｅｍｐｏｒａｌ Ｓｍｏｏｔｈｎｅｓｓ Ｃｏｎｓｔｒａｉｎｔ， Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ １５／２０００ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｓｅｒｉｅｓ， Ｊｕｌｉ ２０００．

本発明の課題は、ＣＭＯＳカメラ画像の改良されたデジタル画像処理が可能である方法及び装置を提供することにある。

この課題は、本発明により、以下の方程式（１）から、所望のソース項ｑが算出され、目的信号として用いられることによって解決される。

ｇ＝前記ＣＭＯＳカメラ画像によって直接供給された校正されていない画像データとしてのフォト電流
ｕ＝（ｕ_ｘ，ｕ_ｙ）＝（ｄｘ／ｄｔ，ｄｙ／ｄｔ）＝単位時間当たりの前記移動物体の移動量
ｃ＝ＣＭＯＳカメラ画像内の容量の放電速度に相当する減衰定数
ｑ＝所望のソース項ｑ、又は、時点（ｔ）に対して前記フォト電流（ｇ）に加わる電荷量
さらに本発明は、請求項１〜６のいずれか１項に記載の方法にしたがって作動する、ＣＭＯＳカメラ画像内でデジタル画像処理する装置によって解決される。

容量性の残像効果が評価の遅延を招くことなしに、移動している画像を速くかつ直接に評価可能にすることが、本発明の方法及び装置によって可能である。物理的な理由から回避することができない容量性の残像効果なしに、実際のフォト電流の評価をすることを可能にする。さらに、（高コントラストの）明から暗への高い動的変化を例えば高速録画で再生することが可能になる。残像の最小限の影響で、強度を定量的に評価することが可能になる。

好適なその他の構成は、従属請求項中に記載されている。

以下に、本発明を例示的に説明する。

容量とフォト電流と画像データとの間の関係は、グレー値における線形偏微分方程式によって移動した物体に対して表すことができる。この線形偏微分方程式は、以下のように表現され得る：

この場合、
ｇ＝ＣＭＯＳカメラ画像によって直接供給された校正されていない画像データとしてのフォト電流（画像列のグレー値）
ｃ＝ＣＭＯＳカメラ画像内の容量の放電速度に相当する減衰定数（一般には負）
ｑ＝時点ｔに対して前記フォト電流ｇに加わる電荷量（対象となる所望の項（光））
ｕ＝前記移動した物体の移動量（局所の移動した物体の移動量ｕ＝（ｄｘ／ｄｔ，ｄｙ／ｄｔ））
画像列のグレー値ｇは、ＣＭＯＳカメラによって直接供給された校正されていない画像データを示す。これらの画像データは、実際の出力信号である。出力信号値という表現は、以下ではフォト電流によって生成された全ての測定信号ｇと解する。

減衰定数ｃは、ＣＭＯＳカメラ内の容量の放電速度に相当する物理パラメータである。読取過程間の容量から出る放電量は、表現ｃ＊ｇによって示される。

所望の項ｑは、時点ｔに対してフォト電流ｇに加わる電荷量を示す。したがって所望の項ｑは、対象となる目的信号である。

容量性の残像効果なしの実際のフォト電流、すなわち所望の項ｑが、出力信号値ｇの経時変化から項ｃ＊ｇを減算することによって算定され得る。この所望の項ｑは、以下では目的信号値と呼ぶ。

この方法の好適な構成は、パラメータｕ，ｃ，ｑが評価されることを特徴とする。ここでは残像効果が重要であるので、この方法ステップは、高コントラストの画像データに対して特に適している。これらの領域は、例えば［１］中に記されている閾値のセグメント化に応じた局所のコントラスト度によって速くかつ簡単に検出することができる。当該パラメータの評価がこれらの領域に限定される場合、計算が著しく加速され得る。

このタイプの偏微分方程式中の上述の一般のパラメータを評価する「トータル最小二乗」（ＴＬＳ）法が、文献［３］から公知である。このトータル最小二乗法は、例えばこれらのパラメータを評価するのに適する。例えば「通常最小二乗法（ＯＬＳ）」又は「混成ＯＬＳ−ＴＬＳ」及び／又は偏差法のようなその他の上述した公知のパラメータ評価方法が、この評価に対して適している。

方法の好適な構成では、例えば「トータル最小二乗法」［３］によるようなパラメータの評価を用いて、所望の項ｑを最初の出力信号値から算定することができる。これに対して、上述した微分方程式（１）が使用される。この場合、ｇの空間時間関数が、関数の核による離散畳み込みを用いて出力信号ｇから算定される。これらの空間時間関数及び例えば校正ステップ又は録画条件から既に既知の全てのパラメータが、微分方程式（１）中に代入される。ｑ（ｘ，ｙ，ｚ）が、パラメータを評価することによってこうして作られた方程式から算出される。

本発明の方法の好適な構成は、減衰定数ｃが同様にパラメータを評価することによって算定され得ることを特徴とする。

本発明の方法の好適な構成は、減衰定数ｃがＣＭＯＳカメラを事前に校正することによって算定され得る。このとき、減衰定数ｃは、もはやパラメータを評価することによって算定する必要はない。これによって、方法の加速が可能になる。この減衰係数ｃは、十分に一定な動作条件下ではカメラだけに依存する時間的に変化しない値すなわちｃ＝ｃ（ｘ，ｙ）である。画素の良好な均質性の場合、減衰定数ｃは一定である。それ故に減衰定数ｃは、オフラインでも校正ステップ中に算定することができる。

本発明の方法の好適な構成は、物体の移動量ｕが同様にパラメータを評価することによって算定され得ることを特徴とする。既に既知の物体の移動量は評価する必要がない。このとき、パラメータｕ_ｘ及びｕ_ｙが、微分方程式（１）中に代入され得る。これによって、パラメータの評価が簡単になりかつ加速される。

本発明の方法の好適な構成は、この本発明の方法がＦＰＧＡ（フィールド・プログラマブル・ゲートアレイ）によって実行されることを特徴とする。出力信号値が非常に大きくない画像部分に限定される場合、毎秒多数の画像の画像速度を実現することが可能になる。

さらに本発明は、ＣＭＯＳカメラ画像内でデジタル画像処理する装置が本発明の方法を実行するために適していることを特徴とするこの装置に関する。

Claims (6)

1. ＣＭＯＳカメラ画像内でデジタル画像処理することによって移動物体を評価する方法において、
   以下の方程式（１）から、所望のソース項ｑが算出され、目的信号として用いられることを特徴とする方法。
   

   

   ｇ＝前記ＣＭＯＳカメラ画像によって直接供給された校正されていない画像データとしてのフォト電流
   ｕ＝（ｕ_ｘ，ｕ_ｙ）＝（ｄｘ／ｄｔ，ｄｙ／ｄｔ）＝単位時間当たりの前記移動物体の移動量
   ｃ＝ＣＭＯＳカメラ画像内の容量の放電速度に相当する減衰定数
   ｑ＝所望のソース項ｑ、又は、時点（ｔ）に対して前記フォト電流（ｇ）に加わる電荷量
2. 前記パラメータ（ｕ，ｃ，ｑ）は、高コントラストを有する画像データの領域に対して評価されることを特徴とする請求項１に記載の方法。
3. 前記減衰定数（ｃ）は、カメラを校正することによって算定されることを特徴とする請求項１又は２に記載の方法。
4. 既値の単位時間当たりの前記物体の移動量（ｕ_ｘ及びｕ_ｙ）が、直接に前記微分方程式（１）に代入されることを特徴とする請求項１〜３に記載の方法。
5. フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）が、当該方法を実施するために使用されることを特徴とする請求項１〜４のいずれか１項に記載の方法。
6. ＣＭＯＳカメラ画像内でデジタル画像処理する装置において、
   この装置は、請求項１〜５のいずれか１項に記載の方法にしたがって作動することを特徴とする装置。