JP2001211466A - 自己診断機能を有する画像処理システム - Google Patents
自己診断機能を有する画像処理システムInfo
- Publication number
- JP2001211466A JP2001211466A JP2000019193A JP2000019193A JP2001211466A JP 2001211466 A JP2001211466 A JP 2001211466A JP 2000019193 A JP2000019193 A JP 2000019193A JP 2000019193 A JP2000019193 A JP 2000019193A JP 2001211466 A JP2001211466 A JP 2001211466A
- Authority
- JP
- Japan
- Prior art keywords
- self
- image
- image processing
- processing system
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 claims abstract description 27
- 238000004092 self-diagnosis Methods 0.000 claims abstract description 26
- 238000003384 imaging method Methods 0.000 claims description 31
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000002950 deficient Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 7
- 230000007257 malfunction Effects 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 11
- 238000000034 method Methods 0.000 description 10
- 230000005856 abnormality Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 4
- 238000001444 catalytic combustion detection Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 101100316860 Autographa californica nuclear polyhedrosis virus DA18 gene Proteins 0.000 description 1
- 101000650817 Homo sapiens Semaphorin-4D Proteins 0.000 description 1
- 102100027744 Semaphorin-4D Human genes 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Landscapes
- Testing And Monitoring For Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
(57)【要約】
【課題】移動体に複数の撮像素子を有する監視カメラを
搭載した場合であっても、比較的簡素な画像処理構成で
人間の目のようにそのシステム自身の目の不具合を認識
する自己診断機能を比較的安価に実現する 【解決手段】自己診断機能を有する画像処理システム
は、車両（移動体）の周囲をその車両上の監視位置から
撮像して映像信号を得る複数の撮像手段（ステレオカメ
ラ用の左右一対のカメラ１ａ、１ｂ）と、これにより得
られた各映像信号を用いて車両の周囲を監視する監視手
段（相関演算・距離演算回路２３）と、この監視手段に
よる監視が行われるときに複数の撮像手段により得られ
た各映像信号の同時刻のフレーム画像を相対的に比較
し、その比較結果に応じて複数の撮像手段の健全性を自
己診断する自己診断手段（特徴量抽出回路（Ｉ）２５
ａ、（ＩＩ）２５ｂ、総合判定回路２６）とを備える。
搭載した場合であっても、比較的簡素な画像処理構成で
人間の目のようにそのシステム自身の目の不具合を認識
する自己診断機能を比較的安価に実現する 【解決手段】自己診断機能を有する画像処理システム
は、車両（移動体）の周囲をその車両上の監視位置から
撮像して映像信号を得る複数の撮像手段（ステレオカメ
ラ用の左右一対のカメラ１ａ、１ｂ）と、これにより得
られた各映像信号を用いて車両の周囲を監視する監視手
段（相関演算・距離演算回路２３）と、この監視手段に
よる監視が行われるときに複数の撮像手段により得られ
た各映像信号の同時刻のフレーム画像を相対的に比較
し、その比較結果に応じて複数の撮像手段の健全性を自
己診断する自己診断手段（特徴量抽出回路（Ｉ）２５
ａ、（ＩＩ）２５ｂ、総合判定回路２６）とを備える。
Description
【０００１】
【発明の属する技術分野】この発明は、自己診断機能を
有する画像処理システムに係り、とくにステレオカメラ
等で得られた複数の画像を比較して自己診断する画像処
理の工夫に関する。
有する画像処理システムに係り、とくにステレオカメラ
等で得られた複数の画像を比較して自己診断する画像処
理の工夫に関する。
【０００２】
【従来の技術】近年における撮像系、画像処理系等の要
素技術の高度化に伴って、例えば車両の運転支援システ
ムの１つとして、ＣＣＤカメラ等を車両に搭載し、この
車載のカメラで得られた画像を画像処理等で処理し、こ
れにより車両周辺の障害物及び他の車両等を監視する装
置の需要が増加している。
素技術の高度化に伴って、例えば車両の運転支援システ
ムの１つとして、ＣＣＤカメラ等を車両に搭載し、この
車載のカメラで得られた画像を画像処理等で処理し、こ
れにより車両周辺の障害物及び他の車両等を監視する装
置の需要が増加している。
【０００３】このような車載カメラを用いた監視装置及
びこれに関する装置・方法の従来例としては、例えば車
両用障害物検出装置（例えば、特開平６−２７３１７０
号公報）、車両認識装置（例えば、特開平７−３３４８
００号公報）、車外監視装置（例えば、特開平１０−２
８３４６１号、特開平１０−２８３４６２号、特開平１
０−２８３４７７号、特開平１０−２８５５８２号、特
開平１１−３９５９６号、特開平１１−２１３１３８号
の各公報）、車両周辺監視装置及びこれを用いた障害物
検出方法（例えば、特開平１０−１１７３３９号、特開
平１０−１１７３４１号、特開平１０−１１７３４２
号）等の記載がある。
びこれに関する装置・方法の従来例としては、例えば車
両用障害物検出装置（例えば、特開平６−２７３１７０
号公報）、車両認識装置（例えば、特開平７−３３４８
００号公報）、車外監視装置（例えば、特開平１０−２
８３４６１号、特開平１０−２８３４６２号、特開平１
０−２８３４７７号、特開平１０−２８５５８２号、特
開平１１−３９５９６号、特開平１１−２１３１３８号
の各公報）、車両周辺監視装置及びこれを用いた障害物
検出方法（例えば、特開平１０−１１７３３９号、特開
平１０−１１７３４１号、特開平１０−１１７３４２
号）等の記載がある。
【０００４】この内、特開平６−２７３１７０号公報で
は、車両周辺を撮像する左右一対のイメージセンサで入
力した撮像画像から障害物までの距離、その大きさを識
別する車両用障害物検出装置が記載されている。
は、車両周辺を撮像する左右一対のイメージセンサで入
力した撮像画像から障害物までの距離、その大きさを識
別する車両用障害物検出装置が記載されている。
【０００５】また、特開平７−３３４８００号公報で
は、車載カメラを用いて入力した道路画像から前方車両
を認識し、これにより前記車両との車間距離を計測する
車両認識装置が記載されている。
は、車載カメラを用いて入力した道路画像から前方車両
を認識し、これにより前記車両との車間距離を計測する
車両認識装置が記載されている。
【０００６】
【発明が解決しようとする課題】上述した車載カメラを
用いた装置においては、車両周辺の対象物等を監視する
場合、通常は人間が画像を見て判断するのではなく、撮
像系で得られた画像を画像処理系により画像認識等の処
理で行うことを前提としている。従って、上述した従来
例の各装置においては、撮像系や画像処理系等の故障が
発生したり、撮像系のレンズの曇りやその汚れ等が原因
で画像認識等が誤って実行されたりする等の装置内で不
都合な事態が生じても、その事実を人間が把握できない
といった問題がある。
用いた装置においては、車両周辺の対象物等を監視する
場合、通常は人間が画像を見て判断するのではなく、撮
像系で得られた画像を画像処理系により画像認識等の処
理で行うことを前提としている。従って、上述した従来
例の各装置においては、撮像系や画像処理系等の故障が
発生したり、撮像系のレンズの曇りやその汚れ等が原因
で画像認識等が誤って実行されたりする等の装置内で不
都合な事態が生じても、その事実を人間が把握できない
といった問題がある。
【０００７】このような問題の対策として、例えば特開
平１１−１２６２４８号公報では、撮像素子の不良等や
画像処理上の不都合な状況をシステム内部で自己診断し
て検出する画像処理システムが提案されている。この画
像処理システムは、画像信号から分離された同期信号の
経過時間計測値、画像信号の１画面中の輝度に関する計
測値、あるいは画像信号の振幅ホールド値等と、予め設
定した設定値とを比較し、その比較結果に応じて異常判
定を行い、これにより異常であると判定した場合は警報
を発するものである。
平１１−１２６２４８号公報では、撮像素子の不良等や
画像処理上の不都合な状況をシステム内部で自己診断し
て検出する画像処理システムが提案されている。この画
像処理システムは、画像信号から分離された同期信号の
経過時間計測値、画像信号の１画面中の輝度に関する計
測値、あるいは画像信号の振幅ホールド値等と、予め設
定した設定値とを比較し、その比較結果に応じて異常判
定を行い、これにより異常であると判定した場合は警報
を発するものである。
【０００８】しかし、このシステムの場合、撮像素子毎
に同期信号、輝度情報、振幅ホールド値等を計測してそ
の計測値と設定値との比較により異常判定するものであ
り、基本的に断線やショートを検出しているのみであ
り、さらに画像処理等の信号処理回路の構成がいきおい
複雑になり、システムが高価なものになる恐れがある。
特に、この傾向は撮像素子の数に比例して顕著になると
いった問題が想定される。
に同期信号、輝度情報、振幅ホールド値等を計測してそ
の計測値と設定値との比較により異常判定するものであ
り、基本的に断線やショートを検出しているのみであ
り、さらに画像処理等の信号処理回路の構成がいきおい
複雑になり、システムが高価なものになる恐れがある。
特に、この傾向は撮像素子の数に比例して顕著になると
いった問題が想定される。
【０００９】この発明は、このような従来の問題を考慮
してなされたもので、移動体に複数の撮像素子を有する
監視カメラを搭載した場合であっても、比較的簡素な画
像処理構成で人間の目のようにそのシステム自身の目の
不具合を認識する自己診断機能を比較的安価に実現する
ことを、その目的とする。
してなされたもので、移動体に複数の撮像素子を有する
監視カメラを搭載した場合であっても、比較的簡素な画
像処理構成で人間の目のようにそのシステム自身の目の
不具合を認識する自己診断機能を比較的安価に実現する
ことを、その目的とする。
【００１０】
【課題を解決するための手段】この発明は、上記目的を
達成するため、自己診断機能として複数のカメラ画像を
比較することで相対的にシステムの健全性をチェックす
る手段に着目したものである。
達成するため、自己診断機能として複数のカメラ画像を
比較することで相対的にシステムの健全性をチェックす
る手段に着目したものである。
【００１１】この自己診断機能では、例えば車両上にそ
の周辺部を監視するカメラとして２台以上のカメラを一
定の距離を開けて設置し、この各カメラで同時刻に撮像
した複数のカメラ画像から特徴量を算出し、この算出さ
れた特徴量を複数台のカメラ毎に比較し、その特徴量の
大きさの違いが一定値以上になる場合は監視システムが
不適合である旨をドライバー等に通知することが可能で
ある。
の周辺部を監視するカメラとして２台以上のカメラを一
定の距離を開けて設置し、この各カメラで同時刻に撮像
した複数のカメラ画像から特徴量を算出し、この算出さ
れた特徴量を複数台のカメラ毎に比較し、その特徴量の
大きさの違いが一定値以上になる場合は監視システムが
不適合である旨をドライバー等に通知することが可能で
ある。
【００１２】ここで、特徴量の算出法としては、例えば
オプティカルフローを計算する処理や、微分処理値をし
きい値を基準に２値化する処理等の画像処理を施して算
出する。オプティカルフローは、画面の微小領域の動き
を表す光ベクトルを意味し、これを計算することで例え
ばある移動体から他の移動体を検出可能となっている。
オプティカルフローを計算する処理や、微分処理値をし
きい値を基準に２値化する処理等の画像処理を施して算
出する。オプティカルフローは、画面の微小領域の動き
を表す光ベクトルを意味し、これを計算することで例え
ばある移動体から他の移動体を検出可能となっている。
【００１３】この発明に係る自己診断機能を有する画像
処理システムは、上記の着目点に基づいて完成されたも
ので、移動体の周囲をその移動体上の監視位置から撮像
して映像信号を得る複数の撮像手段と、この複数の撮像
手段により得られた各映像信号を用いて前記移動体の周
囲を監視する監視手段と、この監視手段による監視が行
われるときに前記複数の撮像手段により得られた各映像
信号の同時刻のフレーム画像を相対的に比較し、その比
較結果に応じて前記複数の撮像手段の健全性を自己診断
する自己診断手段とを備えたことを特徴とする。
処理システムは、上記の着目点に基づいて完成されたも
ので、移動体の周囲をその移動体上の監視位置から撮像
して映像信号を得る複数の撮像手段と、この複数の撮像
手段により得られた各映像信号を用いて前記移動体の周
囲を監視する監視手段と、この監視手段による監視が行
われるときに前記複数の撮像手段により得られた各映像
信号の同時刻のフレーム画像を相対的に比較し、その比
較結果に応じて前記複数の撮像手段の健全性を自己診断
する自己診断手段とを備えたことを特徴とする。
【００１４】前記自己診断手段は、前記複数の撮像手段
により得られた各映像信号のフレーム画像に対して現在
及びその前の時点のフレーム画像から所定の特徴量を前
記複数の撮像手段毎に個別に算出する特徴量算出手段
と、この特徴量算出手段により前記複数の撮像手段毎に
算出された各特徴量を比較し、その各特徴量間の一致度
が所定値よりも低い場合に前記撮像手段が不具合である
と判定する判定手段とを備えることが可能である。
により得られた各映像信号のフレーム画像に対して現在
及びその前の時点のフレーム画像から所定の特徴量を前
記複数の撮像手段毎に個別に算出する特徴量算出手段
と、この特徴量算出手段により前記複数の撮像手段毎に
算出された各特徴量を比較し、その各特徴量間の一致度
が所定値よりも低い場合に前記撮像手段が不具合である
と判定する判定手段とを備えることが可能である。
【００１５】前記特徴量算出手段は、前記現在及びその
前の時点のフレーム画像からオプティカルフローを計算
する手段と、前記現在及びその前のフレーム画像から微
分処理量をしきい値を基準に２値化し、その２値化の割
合を求める手段との少なくとも一方を備えることが可能
である。
前の時点のフレーム画像からオプティカルフローを計算
する手段と、前記現在及びその前のフレーム画像から微
分処理量をしきい値を基準に２値化し、その２値化の割
合を求める手段との少なくとも一方を備えることが可能
である。
【００１６】前記判定手段は、前記各特徴量間の一致度
が所定値よりも低い場合に前記撮像手段が不具合である
旨を通知する手段を備えることが可能である。
が所定値よりも低い場合に前記撮像手段が不具合である
旨を通知する手段を備えることが可能である。
【００１７】好適な例として、前記移動体は車両であ
り、前記複数の撮像手段は、ステレオカメラとして機能
する左右一対の撮像素子を有し、前記監視手段は、前記
複数の撮像手段により得られた各映像信号に基づいて前
記移動体周囲の視野内物体までの距離を算出する手段を
備えることが可能である。
り、前記複数の撮像手段は、ステレオカメラとして機能
する左右一対の撮像素子を有し、前記監視手段は、前記
複数の撮像手段により得られた各映像信号に基づいて前
記移動体周囲の視野内物体までの距離を算出する手段を
備えることが可能である。
【００１８】
【発明の実施の形態】以下、この発明に係る自己診断機
能を有する画像処理システムの実施の形態を図面を参照
して説明する。
能を有する画像処理システムの実施の形態を図面を参照
して説明する。
【００１９】図１に示す画像処理システムは、前方監視
で障害物までの距離を計測する監視システムに適用した
もので、前方監視の目として障害物等の対象物を撮像す
る撮像系１と、この撮像系１からの撮像データに基づい
て対象物までの距離を計測する一方、システム自身の不
具合・健全性を自己診断する画像処理を実行する画像処
理部２とを備えている。
で障害物までの距離を計測する監視システムに適用した
もので、前方監視の目として障害物等の対象物を撮像す
る撮像系１と、この撮像系１からの撮像データに基づい
て対象物までの距離を計測する一方、システム自身の不
具合・健全性を自己診断する画像処理を実行する画像処
理部２とを備えている。
【００２０】撮像系１は、同一の対象物を複数の異なる
視点から撮像可能な複数の撮像素子を有するものであれ
ばよく、この実施の形態においてはステレオカメラとし
て機能する左右一対の右カメラ１ａおよび左カメラ１ｂ
を含む。
視点から撮像可能な複数の撮像素子を有するものであれ
ばよく、この実施の形態においてはステレオカメラとし
て機能する左右一対の右カメラ１ａおよび左カメラ１ｂ
を含む。
【００２１】この両カメラ１ａ、１ｂは、例えばＣＣＤ
等の固体撮像素子で構成され、図２に示すように車両フ
ロント側において前方監視用の視野を確保可能な監視位
置に互いに一定の距離開けた状態で並設されている。こ
の内、右カメラ１ａは、ステレオ画像の右画像を撮像
し、そのビデオ（映像）信号（Ｉ）を画像処理部２に送
る一方、左カメラ１ｂは、ステレオ画像の左画像を撮像
し、そのビデオ信号（ＩＩ）を画像処理部２に送る。
等の固体撮像素子で構成され、図２に示すように車両フ
ロント側において前方監視用の視野を確保可能な監視位
置に互いに一定の距離開けた状態で並設されている。こ
の内、右カメラ１ａは、ステレオ画像の右画像を撮像
し、そのビデオ（映像）信号（Ｉ）を画像処理部２に送
る一方、左カメラ１ｂは、ステレオ画像の左画像を撮像
し、そのビデオ信号（ＩＩ）を画像処理部２に送る。
【００２２】画像処理部２は、このシステムによる撮像
から画像処理の動作タイミングを制御するタイミング信
号を生成するタイミング信号生成回路２１と、このタイ
ミング信号生成回路２１からのタイミング信号で同期を
取りつつ各カメラ１ａ、１ｂからのビデオ信号（Ｉ）、
（ＩＩ）を左右のフレーム画像（Ｉ）、（ＩＩ）として
時系列に格納するフレームメモリを内蔵したフレームメ
モリ回路（Ｉ）２２ａ、（ＩＩ）２２ｂと、この両フレ
ームメモリ回路（Ｉ）２２ａ、（ＩＩ）２２ｂからの左
右のフレーム画像を入力する相関演算・距離演算回路２
３および自己診断系２４とを備えている。
から画像処理の動作タイミングを制御するタイミング信
号を生成するタイミング信号生成回路２１と、このタイ
ミング信号生成回路２１からのタイミング信号で同期を
取りつつ各カメラ１ａ、１ｂからのビデオ信号（Ｉ）、
（ＩＩ）を左右のフレーム画像（Ｉ）、（ＩＩ）として
時系列に格納するフレームメモリを内蔵したフレームメ
モリ回路（Ｉ）２２ａ、（ＩＩ）２２ｂと、この両フレ
ームメモリ回路（Ｉ）２２ａ、（ＩＩ）２２ｂからの左
右のフレーム画像を入力する相関演算・距離演算回路２
３および自己診断系２４とを備えている。
【００２３】相関演算・距離演算回路２３は、タイミン
グ信号生成回路２１からのタイミング信号で同期を取り
つつ両フレームメモリ回路（Ｉ）２２ａ、（ＩＩ）２２
ｂからの同時刻に撮像された左右のフレーム画像
（Ｉ）、（ＩＩ）に基づいて対象物までの距離を計測す
る所定の処理アルゴリズムに基づく相関演算・距離演算
を行い、その演算結果を自己診断系２４に送る。
グ信号生成回路２１からのタイミング信号で同期を取り
つつ両フレームメモリ回路（Ｉ）２２ａ、（ＩＩ）２２
ｂからの同時刻に撮像された左右のフレーム画像
（Ｉ）、（ＩＩ）に基づいて対象物までの距離を計測す
る所定の処理アルゴリズムに基づく相関演算・距離演算
を行い、その演算結果を自己診断系２４に送る。
【００２４】自己診断系２４は、機能上、両フレームメ
モリ回路（Ｉ）２２ａ、（ＩＩ）２２ｂからの同時刻に
撮像された左右のフレーム画像（Ｉ）、（ＩＩ）に対し
て前回および今回のフレーム画像から所定の特徴量を抽
出する特徴量抽出回路（Ｉ）２５ａ、（ＩＩ）２５ｂ
と、この回路（Ｉ）２５ａ、（ＩＩ）２５ｂからの特徴
量に基づいてシステム自身の不具合・健全性を総合的に
判定する総合判定回路２６とを備えている。
モリ回路（Ｉ）２２ａ、（ＩＩ）２２ｂからの同時刻に
撮像された左右のフレーム画像（Ｉ）、（ＩＩ）に対し
て前回および今回のフレーム画像から所定の特徴量を抽
出する特徴量抽出回路（Ｉ）２５ａ、（ＩＩ）２５ｂ
と、この回路（Ｉ）２５ａ、（ＩＩ）２５ｂからの特徴
量に基づいてシステム自身の不具合・健全性を総合的に
判定する総合判定回路２６とを備えている。
【００２５】特徴量抽出回路（Ｉ）２５ａ、（ＩＩ）２
５ｂは、例えば前回および今回のフレーム画像からオプ
ティカルフローを特徴量として計算する処理アルゴリズ
ムを実行し、そのオプティカルフローの算出結果（特徴
量）を総合判定回路２６に送る。
５ｂは、例えば前回および今回のフレーム画像からオプ
ティカルフローを特徴量として計算する処理アルゴリズ
ムを実行し、そのオプティカルフローの算出結果（特徴
量）を総合判定回路２６に送る。
【００２６】総合判定回路２６は、例えば特徴量抽出回
路（Ｉ）２５ａ、（ＩＩ）２５ｂからの両特徴量の一致
度を判断し、これにより両特徴量の一致度（％）が所定
値以上（システム自身の健全性を許容する範囲内にあ
る）と判断される場合に相関演算・距離演算回路２３か
らの演算結果（画像認識結果）を出力する一方、両特徴
量の一致度が所定値よりも小さい（システム自身の健全
性を許容する範囲内にない、すなわち不具合である）と
判断される場合に撮像系１にアラーム信号を出力する処
理アルゴリズムを実行する。
路（Ｉ）２５ａ、（ＩＩ）２５ｂからの両特徴量の一致
度を判断し、これにより両特徴量の一致度（％）が所定
値以上（システム自身の健全性を許容する範囲内にあ
る）と判断される場合に相関演算・距離演算回路２３か
らの演算結果（画像認識結果）を出力する一方、両特徴
量の一致度が所定値よりも小さい（システム自身の健全
性を許容する範囲内にない、すなわち不具合である）と
判断される場合に撮像系１にアラーム信号を出力する処
理アルゴリズムを実行する。
【００２７】図３は、この実施の形態に係る画像処理シ
ステムの処理手順の一例（ステップＳ１〜Ｓ１０）を示
すものである。
ステムの処理手順の一例（ステップＳ１〜Ｓ１０）を示
すものである。
【００２８】この図３において、画像処理システムは、
システム起動に際し、車両周囲の対象物（視野内物体）
に対して撮像系１の両カメラ１ａ、１ｂにて右の画像を
成すビデオ信号（Ｉ）と左の画像を成すビデオ信号（Ｉ
Ｉ）をそれぞれ取得し（ステップＳ１ａ、Ｓ１ｂ）、こ
の各ビデオ信号（Ｉ）、（ＩＩ）を画像処理部２の両フ
レーム・メモリ回路（Ｉ）２２ａ、（ＩＩ）２２ｂに左
右のフレーム画像（Ｉ）、（ＩＩ）として時系列に格納
する（ステップＳ２ａ、Ｓ２ｂ）。
システム起動に際し、車両周囲の対象物（視野内物体）
に対して撮像系１の両カメラ１ａ、１ｂにて右の画像を
成すビデオ信号（Ｉ）と左の画像を成すビデオ信号（Ｉ
Ｉ）をそれぞれ取得し（ステップＳ１ａ、Ｓ１ｂ）、こ
の各ビデオ信号（Ｉ）、（ＩＩ）を画像処理部２の両フ
レーム・メモリ回路（Ｉ）２２ａ、（ＩＩ）２２ｂに左
右のフレーム画像（Ｉ）、（ＩＩ）として時系列に格納
する（ステップＳ２ａ、Ｓ２ｂ）。
【００２９】そして、この画像処理システムは、相関演
算・距離演算回路２３にて両フレーム・メモリ回路
（Ｉ）２２ａ、（ＩＩ）２２ｂに格納された左右のフレ
ーム画像（Ｉ）、（ＩＩ）から視野内物体までの距離を
算出する（ステップＳ３）一方、これに並行して自己診
断系２４による処理を実行する（ステップＳ４）。
算・距離演算回路２３にて両フレーム・メモリ回路
（Ｉ）２２ａ、（ＩＩ）２２ｂに格納された左右のフレ
ーム画像（Ｉ）、（ＩＩ）から視野内物体までの距離を
算出する（ステップＳ３）一方、これに並行して自己診
断系２４による処理を実行する（ステップＳ４）。
【００３０】ステップＳ４の処理においては、特徴量抽
出回路（Ｉ）２５ａ、（ＩＩ）２５ｂにより左右のフレ
ーム画像（Ｉ）、（ＩＩ）に対して前回のフレーム画像
と今回のフレーム画像からオプティカル・フローを個別
に算出し（ステップＳ５ａ、Ｓ５ｂ）、その各算出結果
（特徴量）Ａ、Ｂを受けて総合判定回路２６による処理
を実行する（ステップＳ６）。
出回路（Ｉ）２５ａ、（ＩＩ）２５ｂにより左右のフレ
ーム画像（Ｉ）、（ＩＩ）に対して前回のフレーム画像
と今回のフレーム画像からオプティカル・フローを個別
に算出し（ステップＳ５ａ、Ｓ５ｂ）、その各算出結果
（特徴量）Ａ、Ｂを受けて総合判定回路２６による処理
を実行する（ステップＳ６）。
【００３１】ステップＳ６の処理においては、総合判定
回路２６により左右のフレーム画像（Ｉ）、（ＩＩ）の
オプティカル・フローの両算出結果（特徴量）Ａ、Ｂの
一致度がα％以上であるか否かを判断し（ステップＳ
７）、この判断でＹＥＳ（両特徴量Ａ、Ｂの一致度がα
％以上である）の場合は相関演算・距離演算回路２３に
よる距離算出結果（認識結果）が入力されるゲートをオ
ンにしてその認識結果を出力する（ステップＳ８、Ｓ
９）一方、同ステップＳ７の判断でＮＯ（両特徴量Ａ、
Ｂの一致度がα％以上でない）の場合は撮像系１に何ら
かの異常が生じた旨を出力する（ステップＳ１０）。
回路２６により左右のフレーム画像（Ｉ）、（ＩＩ）の
オプティカル・フローの両算出結果（特徴量）Ａ、Ｂの
一致度がα％以上であるか否かを判断し（ステップＳ
７）、この判断でＹＥＳ（両特徴量Ａ、Ｂの一致度がα
％以上である）の場合は相関演算・距離演算回路２３に
よる距離算出結果（認識結果）が入力されるゲートをオ
ンにしてその認識結果を出力する（ステップＳ８、Ｓ
９）一方、同ステップＳ７の判断でＮＯ（両特徴量Ａ、
Ｂの一致度がα％以上でない）の場合は撮像系１に何ら
かの異常が生じた旨を出力する（ステップＳ１０）。
【００３２】従って、この画像処理システムによれば、
複数のカメラ画像を比較することで相対的にシステムの
健全性をチェックする構成としたため、撮像素子等の故
障が発生した場合であっても、移動体に複数の撮像素子
を有する監視カメラを搭載した場合であっても、比較的
簡素な画像処理構成で人間の目のようにそのシステム自
身の目の不具合を認識する自己診断機能を比較的安価に
実現でき、これによりシステムの信頼性をより一層高め
ることができる。
複数のカメラ画像を比較することで相対的にシステムの
健全性をチェックする構成としたため、撮像素子等の故
障が発生した場合であっても、移動体に複数の撮像素子
を有する監視カメラを搭載した場合であっても、比較的
簡素な画像処理構成で人間の目のようにそのシステム自
身の目の不具合を認識する自己診断機能を比較的安価に
実現でき、これによりシステムの信頼性をより一層高め
ることができる。
【００３３】なお、この実施の形態では、特徴量を抽出
する処理アルゴリズムとしてオプティカルフローを算出
するものを採用してあるが、この発明はこれに限定され
るものではない。例えば、図３に示すステップＳ５ａ、
Ｓ５の各処理に代えて図４に示すステップＳ５１ａ、Ｓ
５１ｂの各処理を採用することも可能である。この図４
に示すステップＳ５１ａ、Ｓ５１ｂの各処理において
は、特徴量を抽出する処理アルゴリズムとして前回およ
び今回のフレーム画像を微分処理し、その処理結果を予
め設定されたしきい値を基準にして２値化し、その２値
化の割合を求めるものである。
する処理アルゴリズムとしてオプティカルフローを算出
するものを採用してあるが、この発明はこれに限定され
るものではない。例えば、図３に示すステップＳ５ａ、
Ｓ５の各処理に代えて図４に示すステップＳ５１ａ、Ｓ
５１ｂの各処理を採用することも可能である。この図４
に示すステップＳ５１ａ、Ｓ５１ｂの各処理において
は、特徴量を抽出する処理アルゴリズムとして前回およ
び今回のフレーム画像を微分処理し、その処理結果を予
め設定されたしきい値を基準にして２値化し、その２値
化の割合を求めるものである。
【００３４】
【発明の効果】以上説明したように、この発明によれ
ば、複数のカメラ画像を比較することで相対的にシステ
ムの健全性をチェックする構成としたため、移動体に複
数の撮像素子を有する監視カメラを搭載した場合であっ
ても、比較的簡素な画像処理構成で人間の目のようにそ
のシステム自身の目の不具合（撮像素子の故障等）を認
識する自己診断機能を比較的安価に実現でき、これによ
りシステムの信頼性をより一層高めることができる。こ
の効果は、車にＣＣＤカメラ等を搭載し、その画像を画
像処理等することで運転支援する装置の場合に適用する
ことで最大限に発揮させることができる。
ば、複数のカメラ画像を比較することで相対的にシステ
ムの健全性をチェックする構成としたため、移動体に複
数の撮像素子を有する監視カメラを搭載した場合であっ
ても、比較的簡素な画像処理構成で人間の目のようにそ
のシステム自身の目の不具合（撮像素子の故障等）を認
識する自己診断機能を比較的安価に実現でき、これによ
りシステムの信頼性をより一層高めることができる。こ
の効果は、車にＣＣＤカメラ等を搭載し、その画像を画
像処理等することで運転支援する装置の場合に適用する
ことで最大限に発揮させることができる。
【図１】この発明の実施の形態に係る自己診断機能を有
する画像処理システムの概要図。
する画像処理システムの概要図。
【図２】自己診断機能を有する画像処理システムの全体
構成を示す概略ブロック図。
構成を示す概略ブロック図。
【図３】画像処理システムの処理手順を説明する概略フ
ローチャート。
ローチャート。
【図４】その他の特徴量算出処理を示す概略フローチャ
ート。
ート。
１ 撮像系 １ａ 右カメラ １ｂ 左カメラ ２ 画像処理部 ２１ タイミング信号生成回路 ２２ａ フレームメモリ回路（Ｉ） ２２ｂ フレームメモリ回路（ＩＩ） ２３ 相関演算・距離演算回路 ２４ 自己相関系 ２５ａ 特徴量抽出回路（Ｉ） ２５ｂ 特徴量抽出回路（ＩＩ） ２６ 総合判定回路
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０８Ｇ 1/097 Ｈ０４Ｎ 5/225 Ｃ ５Ｈ２２３ Ｈ０４Ｎ 5/225 7/18 Ｆ ９Ａ００１ 7/18 13/02 13/02 Ｇ０６Ｆ 15/62 ３８０ Ｆターム(参考） 5B057 AA06 BA19 BA23 CF03 DA03 DA15 DA16 DC03 DC05 DC08 DC09 5C022 AA04 AB61 AB68 AC11 AC13 AC18 AC69 5C054 AA02 CC02 CH02 EA01 EA05 FC11 FE28 FF05 5C061 AB04 AB08 AB12 AB17 BB07 CC01 CC05 CC09 5H180 AA01 BB18 CC04 LL01 LL02 LL04 LL06 5H223 AA10 BB09 DD03 FF03 9A001 HH23 KZ54 LL06
Claims (7)
- 【請求項１】 移動体の周囲をその移動体上の監視位置
から撮像して映像信号を得る複数の撮像手段と、この複
数の撮像手段により得られた各映像信号を用いて前記移
動体の周囲を監視する監視手段と、この監視手段による
監視が行われるときに前記複数の撮像手段により得られ
た各映像信号の同時刻のフレーム画像を相対的に比較
し、その比較結果に応じて前記複数の撮像手段の健全性
を自己診断する自己診断手段とを備えたことを特徴とす
る自己診断機能を有する画像処理システム。 - 【請求項２】 請求項１記載の発明において、前記自己
診断手段は、前記複数の撮像手段により得られた各映像
信号のフレーム画像に対して現在及びその前の時点のフ
レーム画像から所定の特徴量を前記複数の撮像手段毎に
個別に算出する特徴量算出手段と、この特徴量算出手段
により前記複数の撮像手段毎に算出された各特徴量を比
較し、その各特徴量間の一致度が所定値よりも低い場合
に前記撮像手段が不具合であると判定する判定手段とを
備えたことを特徴とする自己診断機能を有する画像処理
システム。 - 【請求項３】 請求項２記載の発明において、前記特徴
量算出手段は、前記現在及びその前の時点のフレーム画
像からオプティカルフローを計算する手段と、前記現在
及びその前のフレーム画像から微分処理量をしきい値を
基準に２値化し、その２値化の割合を求める手段との少
なくとも一方を備えたことを特徴とする自己診断機能を
有する画像処理システム。 - 【請求項４】 請求項２記載の発明において、前記判定
手段は、前記各特徴量間の一致度が所定値よりも低い場
合に前記撮像手段が不具合である旨を通知する手段を備
えたことを特徴とする自己診断機能を有する画像処理シ
ステム。 - 【請求項５】 請求項１から４のいずれか１項記載の発
明において、前記移動体は車両であることを特徴とする
自己診断機能を有する画像処理システム。 - 【請求項６】 請求項１から４のいずれか１項記載の発
明において、前記複数の撮像手段は、ステレオカメラと
して機能する左右一対の撮像素子を有するものであるこ
とを特徴とする自己診断機能を有する画像処理システ
ム。 - 【請求項７】 請求項１から４のいずれか１項記載の発
明において、前記監視手段は、前記複数の撮像手段によ
り得られた各映像信号に基づいて前記移動体周囲の視野
内物体までの距離を算出する手段を備えたことを特徴と
する自己診断機能を有する画像処理システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000019193A JP2001211466A (ja) | 2000-01-27 | 2000-01-27 | 自己診断機能を有する画像処理システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000019193A JP2001211466A (ja) | 2000-01-27 | 2000-01-27 | 自己診断機能を有する画像処理システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001211466A true JP2001211466A (ja) | 2001-08-03 |
Family
ID=18545938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000019193A Pending JP2001211466A (ja) | 2000-01-27 | 2000-01-27 | 自己診断機能を有する画像処理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001211466A (ja) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004042777A (ja) * | 2002-07-11 | 2004-02-12 | Matsushita Electric Ind Co Ltd | 障害物検知装置 |
| DE10313002A1 (de) * | 2003-03-24 | 2004-10-21 | Daimlerchrysler Ag | Videobildanzeige für eine Fahrzeugumgebungserfassungseinheit |
| JP2007037011A (ja) * | 2005-07-29 | 2007-02-08 | Toyota Motor Corp | 画像処理装置 |
| JP2008190868A (ja) * | 2007-01-31 | 2008-08-21 | Fuji Heavy Ind Ltd | ステレオ画像処理装置 |
| JP2008196891A (ja) * | 2007-02-09 | 2008-08-28 | Mitsubishi Precision Co Ltd | 多眼カメラ |
| US7580548B2 (en) | 2004-11-30 | 2009-08-25 | Honda Motor Co., Ltd. | Abnormality detecting apparatus for imaging apparatus |
| US7619668B2 (en) | 2004-11-30 | 2009-11-17 | Honda Motor Co., Ltd. | Abnormality detecting apparatus for imaging apparatus |
| JP2010126130A (ja) * | 2008-12-01 | 2010-06-10 | Toyota Motor Corp | 異常診断装置 |
| CN103026720A (zh) * | 2010-06-18 | 2013-04-03 | 黑拉许克联合股份有限公司 | 立体摄像机系统的光学自诊断 |
| WO2015104915A1 (ja) | 2014-01-10 | 2015-07-16 | 日立オートモティブシステムズ株式会社 | 車載カメラ画像処理装置 |
| CN105270287A (zh) * | 2014-05-28 | 2016-01-27 | Lg电子株式会社 | 车辆驾驶辅助装置及具有该车辆驾驶辅助装置的车辆 |
| JP2016058912A (ja) * | 2014-09-10 | 2016-04-21 | 株式会社デンソー | 車載カメラ診断装置 |
| WO2018042481A1 (ja) * | 2016-08-29 | 2018-03-08 | 株式会社日立製作所 | 撮影装置及び撮影方法 |
| JP2019004329A (ja) * | 2017-06-15 | 2019-01-10 | ルネサスエレクトロニクス株式会社 | 異常検出装置及び車両システム |
| CN109542697A (zh) * | 2017-09-21 | 2019-03-29 | 株式会社东芝 | 运算处理装置以及运算处理方法 |
| JP2019066327A (ja) * | 2017-09-29 | 2019-04-25 | 株式会社デンソー | 車両の周辺監視装置および周辺監視方法 |
| EP3496398A1 (de) | 2017-12-11 | 2019-06-12 | Sick AG | Sichere stereokamera und verfahren zum prüfen der funktionsfähigkeit der bildsensoren |
| US10642280B2 (en) | 2015-06-03 | 2020-05-05 | Denso Corporation | Vehicle mounted apparatus |
| EP3651458A1 (de) | 2018-11-08 | 2020-05-13 | Sick Ag | Sichere stereokamera und verfahren zum prüfen der funktionsfähigkeit der bildsensoren |
| US10848755B2 (en) | 2016-12-27 | 2020-11-24 | Hanwha Techwin Co., Ltd. | Predictive diagnostic device and monitoring system |
| CN114333105A (zh) * | 2020-09-30 | 2022-04-12 | 比亚迪股份有限公司 | 图像处理方法、装置、设备、车辆及介质 |
| KR20230031444A (ko) * | 2021-08-27 | 2023-03-07 | 주식회사 알투 | 탈부착형 cctv 고장 자가진단 장치 |
-
2000
- 2000-01-27 JP JP2000019193A patent/JP2001211466A/ja active Pending
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004042777A (ja) * | 2002-07-11 | 2004-02-12 | Matsushita Electric Ind Co Ltd | 障害物検知装置 |
| DE10313002A1 (de) * | 2003-03-24 | 2004-10-21 | Daimlerchrysler Ag | Videobildanzeige für eine Fahrzeugumgebungserfassungseinheit |
| DE10313002B4 (de) * | 2003-03-24 | 2006-03-23 | Daimlerchrysler Ag | Fahrzeugumgebungserfassungseinheit |
| US7580548B2 (en) | 2004-11-30 | 2009-08-25 | Honda Motor Co., Ltd. | Abnormality detecting apparatus for imaging apparatus |
| US7619668B2 (en) | 2004-11-30 | 2009-11-17 | Honda Motor Co., Ltd. | Abnormality detecting apparatus for imaging apparatus |
| JP2007037011A (ja) * | 2005-07-29 | 2007-02-08 | Toyota Motor Corp | 画像処理装置 |
| JP2008190868A (ja) * | 2007-01-31 | 2008-08-21 | Fuji Heavy Ind Ltd | ステレオ画像処理装置 |
| JP2008196891A (ja) * | 2007-02-09 | 2008-08-28 | Mitsubishi Precision Co Ltd | 多眼カメラ |
| JP2010126130A (ja) * | 2008-12-01 | 2010-06-10 | Toyota Motor Corp | 異常診断装置 |
| CN103026720A (zh) * | 2010-06-18 | 2013-04-03 | 黑拉许克联合股份有限公司 | 立体摄像机系统的光学自诊断 |
| US20130120536A1 (en) * | 2010-06-18 | 2013-05-16 | Miao Song | Optical Self-Diagnosis of a Stereoscopic Camera System |
| US8854431B2 (en) * | 2010-06-18 | 2014-10-07 | Hella Kgaa Hueck & Co. | Optical self-diagnosis of a stereoscopic camera system |
| CN103026720B (zh) * | 2010-06-18 | 2015-11-25 | 黑拉许克联合股份有限公司 | 立体摄像机系统的光学自诊断 |
| EP3094075A4 (en) * | 2014-01-10 | 2017-09-27 | Hitachi Automotive Systems, Ltd. | In-vehicle-camera image processing device |
| WO2015104915A1 (ja) | 2014-01-10 | 2015-07-16 | 日立オートモティブシステムズ株式会社 | 車載カメラ画像処理装置 |
| US10154255B2 (en) | 2014-01-10 | 2018-12-11 | Hitachi Automotive Systems, Ltd. | In-vehicle-camera image processing device |
| CN105270287A (zh) * | 2014-05-28 | 2016-01-27 | Lg电子株式会社 | 车辆驾驶辅助装置及具有该车辆驾驶辅助装置的车辆 |
| JP2016058912A (ja) * | 2014-09-10 | 2016-04-21 | 株式会社デンソー | 車載カメラ診断装置 |
| US10642280B2 (en) | 2015-06-03 | 2020-05-05 | Denso Corporation | Vehicle mounted apparatus |
| WO2018042481A1 (ja) * | 2016-08-29 | 2018-03-08 | 株式会社日立製作所 | 撮影装置及び撮影方法 |
| CN109564382B (zh) * | 2016-08-29 | 2021-03-23 | 株式会社日立制作所 | 拍摄装置以及拍摄方法 |
| CN109564382A (zh) * | 2016-08-29 | 2019-04-02 | 株式会社日立制作所 | 拍摄装置以及拍摄方法 |
| US10728537B2 (en) | 2016-08-29 | 2020-07-28 | Hitachi, Ltd. | Photographing device and photographing method |
| US10848755B2 (en) | 2016-12-27 | 2020-11-24 | Hanwha Techwin Co., Ltd. | Predictive diagnostic device and monitoring system |
| JP2019004329A (ja) * | 2017-06-15 | 2019-01-10 | ルネサスエレクトロニクス株式会社 | 異常検出装置及び車両システム |
| CN109542697A (zh) * | 2017-09-21 | 2019-03-29 | 株式会社东芝 | 运算处理装置以及运算处理方法 |
| CN109542697B (zh) * | 2017-09-21 | 2023-01-31 | 株式会社东芝 | 运算处理装置以及运算处理方法 |
| JP2019066327A (ja) * | 2017-09-29 | 2019-04-25 | 株式会社デンソー | 車両の周辺監視装置および周辺監視方法 |
| JP7018285B2 (ja) | 2017-09-29 | 2022-02-10 | 株式会社デンソー | 車両の周辺監視装置および周辺監視方法 |
| EP3496398A1 (de) | 2017-12-11 | 2019-06-12 | Sick AG | Sichere stereokamera und verfahren zum prüfen der funktionsfähigkeit der bildsensoren |
| EP3651458A1 (de) | 2018-11-08 | 2020-05-13 | Sick Ag | Sichere stereokamera und verfahren zum prüfen der funktionsfähigkeit der bildsensoren |
| CN114333105A (zh) * | 2020-09-30 | 2022-04-12 | 比亚迪股份有限公司 | 图像处理方法、装置、设备、车辆及介质 |
| KR20230031444A (ko) * | 2021-08-27 | 2023-03-07 | 주식회사 알투 | 탈부착형 cctv 고장 자가진단 장치 |
| KR102514608B1 (ko) * | 2021-08-27 | 2023-03-27 | 주식회사 알투 | 탈부착형 cctv 고장 자가진단 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2001211466A (ja) | 自己診断機能を有する画像処理システム | |
| US7961953B2 (en) | Image monitoring system | |
| JP6888950B2 (ja) | 画像処理装置、外界認識装置 | |
| US9662977B2 (en) | Driver state monitoring system | |
| CN109564382B (zh) | 拍摄装置以及拍摄方法 | |
| EP3094075B1 (en) | In-vehicle-camera image processing device | |
| US7218757B2 (en) | Method and device for detecting obstruction in image sensor systems | |
| JP6259132B2 (ja) | 車載用カメラ装置 | |
| JP3255360B2 (ja) | 距離データの検査方法およびその検査装置 | |
| US20190279365A1 (en) | Imaging apparatus | |
| US20040169745A1 (en) | Method and device for recognizing or displaying image defects in image recording systems | |
| EP3107063A1 (en) | Method for processing camera images | |
| JP3012226B2 (ja) | 居眠り運転防止装置 | |
| JP4025007B2 (ja) | 踏切障害物検知装置 | |
| JP2008165595A (ja) | 障害物検出方法、障害物検出装置、障害物検出システム | |
| JP3984863B2 (ja) | 発進報知装置 | |
| JP2008042759A (ja) | 画像処理装置 | |
| JPH11108660A (ja) | 距離検出装置 | |
| JPWO2020003764A1 (ja) | 画像処理装置、移動装置、および方法、並びにプログラム | |
| JP2008028478A (ja) | 障害物検出システム、及び障害物検出方法 | |
| JP4601376B2 (ja) | 画像異常判定装置 | |
| CN116428986A (zh) | 车门开度计算方法、车门开度计算装置以及车辆 | |
| JP3349077B2 (ja) | 画像処理システム | |
| KR101696647B1 (ko) | 모션 인식 기능을 갖는 차량용 영상 기록 장치의 데이터 처리 개선 방법 | |
| KR101582454B1 (ko) | 촬영영상에서의 움직임 객체 인식 방법 및 이를 이용한 차량 승하차 사고 예방 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061208 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091006 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100216 |