WO2020039812A1 - 画像処理装置 - Google Patents

Abstract

本発明は、実際に画像処理装置を使用している場合でも、故障診断が可能なカメラ画像処理装置を実現する。本発明は、画像データが撮像素子から出力されていない、垂直ブランキング期間（ｃ）に、一定のデータを期待値として設定して、データ伝送路がショート故障を発生しているか、断線故障を発生しているかを検出する。画像処理装置の使用中であっても、故障診断が可能となる。データ伝送路が複数の場合であっても、期待値を所定の値に設定することにより、どの伝送路がショート故障又は断線故障を発生しているかを検出する。

Description

画像処理装置

　本発明は画像処理装置に関する。

　車両に搭載される車載カメラ画像処理装置が知られている。

　公知技術においては、特許文献１に記載されているように、車載カメラ画像処理装置の故障診断は、撮像素子から画像処理装置にテスト画像を出力し、画像処理装置内の故障診断部にて期待値との比較を行っていた。そして、撮像素子から画像処理装置の経路で何らかの故障が発生した場合に異常を検知していた。

ＷＯ２０１５／１０４９１５号公報

　上記従来の技術においては、車載カメラ画像処理装置の故障診断として撮像素子から出力するテスト画像を使用するため、実際に画像を取り込んでいる車両走行中での故障診断が困難であった。このため、車両が停止中であり、イグニッションＯＮのときのみに実施するなどの構成がとられている。

　しかしながら、車両のイグニッションＯＮ以降に、車載カメラ画像処理装置の撮像素子から画像処理回路への画像データ伝送路において何らかの故障が発生した場合、故障検知を行うことができず、故障発生時に速やかで適切な処置を行うことが困難であった。

　本発明は、上記問題に鑑みてなされたものであって、その目的は、実際に画像処理装置を使用している場合でも、故障診断が可能な画像処理装置を実現することである。

　上記目的を達成するため、本発明は次のように構成される。

　画像処理装置において、撮像部と、撮像部が撮像した画像データを伝送するデータ伝送路と、データ伝送路から伝送された画像データを処理する画像処理部とを備え、画像処理部は、データ伝送路から画像データを入力するデータ入力部と、データ伝送路に画像データが伝送されていない期間に、データ伝送路に故障診断信号を出力し、データ伝送路の故障を診断する故障診断部とを有する。

　本発明によれば、実際に画像処理装置を使用している場合でも、故障診断が可能な画像処理装置を実現することができる。

本発明の実施例１の構成及び動作を説明するための図である。 実施例１における車載カメラ画像処理装置の内部構成のうち、撮像素子と画像処理間のデータ伝送部分の構成を説明するための図である。 実施例１における右カメラ撮像素子及び画像処理ＩＣのデータ通信経路のインターフェース部分を説明するための図である。 撮像素子と画像処理ＩＣとの間のインターフェース回路が実際には複数本で構成されている様子を示した図である。 実施例１における画像データが繰り返し伝送される様子を示したタイミング図である。 画像データの伝送が行われていない期間（ｃ）にて、画像データ伝送路の診断が行われる様子を示したタイミング図である。 期間（ｄ）においてショート故障モードの検出を行うときの画像データ伝送路のうち、診断対象の２つのデータ伝送路を抜き出した模式図である。 ショート故障モードの診断における各部の信号レベルまたは電圧を示した図である。 ショート故障モード診断時における各部の信号レベルまたは電圧を示した図である。 期間（ｅ）において断線故障モードの検出を行うときの画像データ伝送路のうち、診断対象の１経路を抜き出した模式図である。 断線故障モードの診断における各部の信号レベルまたは電圧を示した図である。 画像処理ＩＣ内に配置されたマイコン（故障診断制御部）の機能ブロック図である。 本発明の実施例２における右カメラ撮像素子及び画像処理ＩＣのデータ通信経路のインターフェース部分を説明するための図である。 本発明の実施例２における右カメラ撮像素子及び画像処理ＩＣのデータ通信経路のインターフェース部分を説明するための図である。 本発明の実施例３における右カメラ撮像素子及び画像処理ＩＣのデータ通信経路のインターフェース部分を説明するための図である。 本発明の実施例４における右カメラ撮像素子及び画像処理ＩＣのデータ通信経路のインターフェース部分を説明するための図である。 本発明の実施例５における右カメラ撮像素子及び画像処理ＩＣのデータ通信経路のインターフェース部分を説明するための図である。

　以下、本発明の実施例について図面を参照して説明する。

　（実施例１）
　図１は、本発明を車載カメラ画像処理装置に適用した場合の実施例１の構成及び動作を説明するための図である。

　図１において、本実施例１の車載カメラ画像処理装置１２は、車両から外部を撮像した画像を処理するものである。そして、車両に取り付けられて車両前方などの外部を撮像する右カメラ撮像モジュール（右画像撮像部）１と、左カメラ撮像モジュール（左画像撮像部）２とを有する。右カメラ撮像モジュール（右画像撮像部）１と、左カメラ撮像モジュール（左画像撮像部）２とにより撮像部が形成される。

　右カメラ撮像モジュール１及び左カメラ撮像モジュール部２は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子と電子信号を扱う回路部からなり、レンズを透過した光を電子の信号に変換し、ＡＤ変換の後にデジタル信号として出力する。

　車載カメラ画像処理装置１２は、通常の車両走行状態において前方を監視しており、右カメラ撮像モジュール１の撮像画像３、左カメラ撮像モジュール２からの撮像画像４を画像処理モジュール（画像処理部）１１に出力している。画像処理モジュール１１では撮像画像３、４を、それぞれノイズの除去や画像の鮮明化を目的としてデータ加工部５において、画像の加工を行う。加工の具体例としては画像全体の輝度の調整、画素毎の輝度の調整、輝度毎のゲインの調整などがある。

　データ加工部５による加工後の右カメラ画像６及び加工後の左カメラ画像７は、視差画像生成部８の入力として使用される。視差画像生成部８は、右カメラ画像６及び加工後の左カメラ画像７の二つの画像データを組み合わせて視差画像９を生成する。

　視差画像９とは、右カメラ画像６と左カメラ画像７の差分を利用して、車両前方の物体までの距離情報を示したものである。

　認識処理部１０では視差画像９の情報をもとに、車両前方の情報を判断し、衝突の危険性や車両加減速の要否を判断し、車両通信部１８により、車両に搭載された車両制御部（図示せず）に判定結果を報知する。車両通信部１８は、表示部１９に判定結果を表示させる。

　画像処理モジュール１１はデジタル信号プロセッシングを実行するモジュールであり、データ加工部５、視差画像生成部８、認識処理部１０は、マイクロコンピュータやメモリ、またはＦＰＧＡやＡＳＩＣなどのソフトウェアやハードウェアの組み合わせで構成される。

　特に、大量の撮像画像を高速で処理するデータ加工部５、視差画像生成部８などはハードウェアで構成する場合が多い。

　車両通信部１８はＣＡＮバスやＬＩＮバス、ＦＬＥＸ－ＲＡＹといったものが考えられる。

　図１において、右カメラ撮像モジュール１からデータ加工部５への右カメラ撮像画像３の伝送経路１３、左カメラ撮像モジュール２からデータ加工部５への左カメラ撮像画像４の伝送経路１５、データ加工部５から視差画像生成部８への加工後の右カメラ画像６の伝送経路１４、データ加工部５から視差画像生成部８への左カメラ画像７の伝送経路１６、視差画像生成部８から認識処理部１０への視差画像９の伝送経路１７のうちのいずれか一つ以上に故障が発生した場合、視差画像９は正常なものが出力されないおそれがある。

　この場合、視差画像９のズレにより車両前方の物体の誤判定や距離判定を車両制御部（図示せず）に誤って伝えることになり、車両の動作制御の精度が低下する恐れがある。

　図２は、本実施例１における車載カメラ画像処理装置の内部構成のうち、撮像素子と画像処理間のデータ伝送部分の構成を説明するための図である。

　図１に示した右カメラ撮像モジュール１及び左カメラ撮像モジュール２からデータ加工部５までの画像伝送経路１３及び１５は、さらに細部にわけることができる。

　図２は、右カメラ撮像モジュール１からデータ加工部５までの画像伝送経路１３の細部を説明する図である。左カメラ撮像モジュール２からデータ加工部５までの画像伝送経路１５の細部は、図２に示す画像伝送経路１３の細部と同様な構成となるので、画像伝送経路１５の細部の図示及び詳細な説明は省略する。

　図２において、画像伝送経路１３は、右カメラ撮像モジュール１（ＣＭＯＳモジュール）の右カメラ撮像素子２０（ＣＭＯＳＩＣ）と右カメラ撮像モジュール１のコネクタ２５との間のデータ伝送路２３と、コネクタ２５と画像処理モジュール１１のコネクタ２７との間のデータ伝送路２６と、コネクタ２７と画像処理モジュール１１の画像処理ＩＣ２９との間のデータ伝送路２４とに分けられる。

　なお、画像処理ＩＣ２９は、データ加工部５の代表的なものとして示している。

　図３は、本実施例１における図２に示した右カメラ撮像素子２０及び画像処理ＩＣ２９の特にデータ通信経路のインターフェース部分（インターフェース回路）を説明するための図である。なお、図３においては、コネクタ２５及び２７は省略されている。

　図３において、右カメラ撮像素子２０にはデジタルデータの出力バッファ３０とそのデータをデータ伝送路２３に送り出す出力ポート３１がある。また、画像処理ＩＣ２９にはデータをデータ伝送路２４から取り込む入出力ポート３３がある。出力ポート３１と入出力ポート３３との間は、データ伝送路２３、２４、２６に該当し、ダンピング抵抗３２がデータ伝送路２３、２４、２６のいずれかに配置されている。

　本実施例１ではデータ伝送路２３に配置されているものとする。

　画像処理ＩＣ２９の内部は、入出力ポート３３に接続され、画像処理ＩＣ２９のＩＯレベル電源（電源供給部）３５にプルアップするためのプルアップ抵抗３６がある。プルアップイネーブル信号３７によりプルアップ制御スイッチ（制御スイッチ）３４の接続及び切断を制御することによって入出力ポート３３をプルアップすることができる。

　また、入出力ポート３３には、プルダウン抵抗３８が接続され、プルダウンイネーブル信号４０によりプルダウン制御スイッチ３９を制御することで入出力ポート３３をプルダウンにすることができる構成となっている。

　入出力ポート３３からデータを取り込むにあたり、入出力ポート３３の電圧が入力バッファ４２にて画像処理ＩＣ２９内の電圧信号に変換され、デジタルクロックなどに同期されて入力ポートレジスタ４３にデータが格納される。入出力ポート３３に接続された出力バッファ４５は出力イネーブル信号４１により、出力をハイインピーダンスか出力ポートレジスタ４４の値に従った電圧に切り替えることができる。

　出力イネーブル信号４１がオフであり出力バッファ４５の出力がハイインピーダンスであるときは、プルアップイネーブル信号３７及びプルダウンイネーブル信号４０がともにオフであれば、入出力ポート３３の電圧は撮像素子２０の出力バッファ３０の値で決まり、右カメラ撮像素子２０のデジタルデータ出力が入力ポートレジスタ４３まで伝達される構成となっている。

　図４は、図３に示した撮像素子２０と画像処理ＩＣ２９との間のインターフェース回路が実際には複数本で構成されている様子を示した図である。実施例１ではインターフェース回路には、１２本のデータ線が存在する。

　図４において、右カメラ撮像素子２０には、出力ポート３１の他に、出力ポート５１、出力ポート６１があり、図示していないが、出力ポート５１と出力ポート６１との間に９つの出力ポートがあり、合計で１２の出力ポートがある。また、１２の出力ポートは、デジタルデータの出力バッファ３０と同様の出力バッファが接続されている。

　また、画像処理ＩＣ２９には、入出力ポート３３の他に、入出力ポート５３、入出力ポート６３があり、図示していないが、入出力ポート５３と入出力ポート６３との間に９つの入出力ポートがあり、合計で１２の入出力ポート（データ入力部）がある。

　そして、図３に示したように、出力ポート３１は、ダンピング抵抗３２が接続されたデータ線により入出力ポート３３に接続される。また、出力ポート５１は、ダンピング抵抗５２が接続されたデータ線により入出力ポート５３に接続され、出力ポート６１は、ダンピング抵抗６２が接続されたデータ線により入出力ポート６３に接続される。

　同様にして、出力ポート５１と６１の間の出力ポートと、入出力ポート５３と６３の間の入出力ポートとが、それぞれダンピング抵抗が接続されたデータ線により接続される。

　図５は、本実施例１における画像データが繰り返し伝送される様子を示したタイミング図であり、図５では４周期分のデータ伝送が示されている。

　図５において、期間（ｂ）は画像データ伝送の１周期であり本実施例１では２４．２６ｍｓｅｃである。図５の（Ａ）に示した垂直同期信号Ｖｓｙｎｃに同期して、図５の（Ｃ）に示したＣＭＯＳデータ出力（画像データ）が右カメラ撮像素子２０から出力される。
このときの期間（ａ）が画像データ伝送期間であり、本実施例１では２１．３ｍｓｅｃである。

　期間（ａ）の画像データの元となる光エネルギーは、実際にはＣＭＯＳデータ出力（画像データ）が出力されるタイミングより以前のＣＭＯＳ露光タイミング（図５の（Ｂ））で、右カメラ撮像素子２０に設定されたシャッタ開口の間に取り込まれている。

　このように、周期的に右カメラ撮像素子２０で取り込まれた光エネルギーを元とした画像データが伝送されるが、垂直同期信号Ｖｓｙｎｃがローレベルの期間（ｃ）（垂直ブランキング期間）においては右カメラ撮像素子２０の出力（ＣＭＯＳデータ出力）は画像データとしては出力されておらず、ローレベルとなっている。そして、垂直ブランキング期間（ｃ）では、出力ポート３１の電圧としては０Ｖが出力されている。このため、期間（ｃ）を診断期間とすることができる。

　図６は、図５に示した画像データの伝送が行われていない期間（ｃ）において、コネクタ２５及び２７を含む画像データ伝送路２３、２６、２４の診断が行われる様子を示したタイミング図である。

　図６において、期間（ａ）の画像データ伝送期間は画像処理ＩＣ２９の入出力ポート３３の信号期待値（図６の（Ｄ））は、右カメラ撮像素子２０から出力される画像データ（図５の（Ｃ））に等しい。

　期間（ｃ）の診断期間においては、故障が発生していなければ、図６の期間（c）（期間（ｃ）は期間（ｄ）と（ｅ）からなる）に示した期待値（データ入力の信号状態）と同一となる。このため、上記期待値に基づいて、診断期間（ｃ）のデータを確認することで故障を診断することができる。

　診断期間（ｃ）のうちの期間（ｄ）では、画像データ伝送路２３、２６、２４のショート故障（ショート故障モード）を検出し、期間（ｅ）では断線故障（断線故障モード）を検出する。

　ショート故障モードの検出には、データ本数分、診断処理を繰り返す。データ線が１２本ある本実施例１では、期間（ｄ）の間に診断処理を１２回実施している。このため、期間（ｄ）では、期待値は、「１０００００００００００」、「０１００００００００００」、「００１０００００００００」、・・・「００００００００００１０」、「０００００００００００１」となっている（１がハイレベル、０がローレベルである）。

　また、期間（ｅ）では、期待値は、「００００００００００００」となっている。

　断線故障モードの検出には期間（ｅ）の１回の診断処理で検出が終了する。以下にその具体的な診断方法について述べる。

　図７は、図６に示した期間（ｄ）においてショート故障モードの検出を行うときの画像データ伝送路２３、２６、２４のうち、診断対象の２つのデータ伝送路を抜き出した模式図である。

　図７において、対象の２つの伝送路間でショートが発生したことを検出するための診断方式を説明する。画像データの伝送が終了した期間（ｄ）（図６）では、画像処理ＩＣ２９の入出力ポート３３ともう一方の入出力ポート６３に接続された入出力バッファ４５と出力バッファ８５の出力イネーブル信号４１、８１はオフであり、右側撮像素子２０の出力バッファ３０及び出力バッファ６０のローレベル出力（０Ｖ）がそのまま出力ポート３３及び入出力ポート６３に反映されている。

　したがって、入力ポートレジスタ４３及び入力バッファ８２の入力ポートレジスタ８３はローレベルの信号が取り込まれている。なお、出力バッファ８５には出力ポートレジスタ８４が接続されている。

　ここで、診断のために入出力ポート３３側の出力ポートレジスタ４４側にハイレベルを設定し、出力イネーブル信号４１をオンにすることによって出力バッファ４５からハイレベル信号を出力する。そして、画像処理ＩＣ２９のＩＯレベル電源（電源供給部）３５（図３）を２Ｖとすると、入出力ポート３３の電圧レベルは２Ｖとなる。このようにして、後述する故障診断部が、データ伝送路２３等に画像データが伝送されていない期間にプルアップ制御スイッチ３４の動作を制御して入出力ポート３３（データ入力部）の信号状態を設定する。

　このとき、入出力ポート３３と出力ポート３１の信号の電圧レベルが異なるため、ダンピング抵抗３２に流れる電流値が問題とならないようにダンピング抵抗３２の値を選定しておく必要がある。ＩＯレベル電源３５を２Ｖとすると、ダンピング抵抗３２としては１００Ωの抵抗値を選定しておけば２Ｖ÷１００Ω、つまり２０ｍＡの電流がダンピング抵抗３２に流れ込み、消費電力としては２Ｖ×２０ｍＡ＝２０ｍＷ（＝１／２５Ｗ）である。この場合は、（１／１６）Ｗ耐量の抵抗をダンピング抵抗３２に採用しておけば問題ない。

　このとき、入力バッファ４２から信号レベルのとりこみを行うと、入出力ポート３３は２Ｖに設定されているため、入力ポートレジスタ４３にはハイレベルの信号が取り込まれる。

　ショート故障モードの診断にあたっては入力ポートレジスタ４３にはハイレベルが、入力ポートレジスタ８３にはローレベルが取り込まれているはずであり、これを期待値として診断をおこなう。つまり、図６の期間（ｄ）の最初の期待値は「１０００００００００００」であるから、図７に示した２線間にショート故障が発生していなければ、入力ポートレジスタ８３にも、ローレベル「０」が検出データとして取り込まれているはずである。

　図８は、ショート故障モードの診断における各部の信号レベルまたは電圧を示した図である。

　ここで、入出力ポート３３、６３の位置でお互いにショートしていたとすると、出力バッファ４５によって入出力ポート６３の電圧も２Ｖとなることになる。

　したがって、入力ポートレジスタ８３には期待値とは異なり、ハイレベルの信号が取り込まれ、これによりショート故障を検出することができる。例えば、期待値が「１０００００００００００」に対して検出値は「１００００００００００１」となり、互に異なる値となる。

　図９は、ショート故障モード診断時における各部の信号レベルまたは電圧を示した図である。ここで、ショート故障の箇所９０が右カメラ撮像素子２０側の出力ポート３１、６１で起きていた場合は、同様のアルゴリズムでは検出できないためショート故障の検知をカバーしている範囲は、ダンピング抵抗３２、６２より画像処理ＩＣ２９側の伝送路の側であることに留意する。

　図７、図８、図９では、模式的に２本のデータ伝送路の様子だけを示したが、実施例１のように、１２本のデータ伝送路がある場合、それぞれの伝送路を「１０００００００００００」（１がハイレベル、０がローレベル）が期待値となるように設定すれば、出力をイネーブルにして１を期待値にするデータ伝送路とそれ以外の残りのデータ伝送路１１本とのショート故障を検出することができる。

　次のデータ設定として「０１００００００００００」、その次のデータ設定として「００１０００００００００」というように設定して、１２回診断処理を繰り返すことによって１２本のデータ伝送路のお互いのショート故障を検出することが可能となる。

　なお、本実施例１ではすべてのデータ伝送路対の故障モードを考えるため１２回診断処理を行っているが、隣りあうデータ伝送路のみでしかショート故障が起きえないと考えるのであれば、「１０１０１０１０１０１０」と「０１０１０１０１０１０１」の２パターンの２回の診断処理で終わりにしてもよい。この場合、１を期待値とするデータ伝送路をハイレベル出力に切り替え、０を期待値とするデータ伝送路の出力イネーブル信号はオフのままとする。

　図１０は、図６に示した期間（ｅ）において断線故障モードの検出を行うときの画像データ伝送路のうち、診断対象の１経路を抜き出した模式図である。

　図１０を参照して、データ伝送路のどこかで断線故障が発生したときに検出するための診断方式を説明する。

　上述したショートモードの故障診断が終了した後、期間（ｅ）では画像処理ＩＣ２９の入出力ポート３３に接続された出力バッファ４５の出力イネーブル信号４１をオフに戻し、右カメラ撮像素子２０の出力バッファ３０のローレベル出力（０Ｖ）がそのまま入出力ポート３３に反映されるようにする。

　この後、プルアップイネーブル信号３７により、入出力ポート３３に接続されたプルアップ抵抗３６が画像処理ＩＣ２９のＩＯレベル電源３５に接続する。プルアップ抵抗３６の値としては１ｋΩなど、ダンピング抵抗３２の抵抗値と比較して十分に低いものを選ぶ。

　このようにしたとき、入出力ポート３３の電圧は、ＩＯレベル電源３５の電圧をプルアップ抵抗３６とダンピング抵抗３２で分圧したものとなる。すなわち、２Ｖ×｛１００Ω／（１ｋΩ＋１００Ω）｝＝約０．１８Ｖであり、これを入力バッファ４２で取り込むと、入力ポートレジスタ４３の期待値としてはローレベルとなる。

　ここで、データ伝送路の途中、出力ポート３１、ダンピング抵抗３２、入出力ポート３３のいずれかの位置で断線モード故障していたとすると、入出力ポート３３はプルアップされた電圧、すなわち２Ｖで固定される。したがって、このとき入力バッファ４２で入出力ポート３３の電圧を取り込むと、入力ポートレジスタ４３の値はハイレベルとなる。

　これは、ローレベルであった期待値と異なるため、断線故障が発生したことを検出することができる。図１１は、断線故障モードの診断における各部の信号レベルまたは電圧を示した図である。

　図１１においては、ダンピング抵抗３２と入出力ポート３３との間の伝送路にて断線モード故障が発生している（断線故障の箇所９１）。このとき、入力バッファ４２に接続された入力ポートレジスタ４３の値がハイレベルとなっている。

　図１０及び図１１では、模式的に１本のデータ経路の様子だけを示したが、実施例１のように１２本のデータ伝送路がある場合、それぞれのデータを「００００００００００００」（１がハイレベル、０がローレベル）が期待値となるようにプルダウン抵抗を設定すれば、断線故障が発生している部分の期待値が１となるため、データ経路１２本のうちのどれに断線故障が発生しているかを検出することができる。

　図１２は、画像処理ＩＣ２９（データ可能部５の代表例）内に配置されたマイコン（故障診断制御部）５０の機能ブロック図である。ただし、マイコン５０は、図３等には省略されている。

　図１２において、マイコン５０は、診断データ設定部５０１と、検出データ入力部５０２と、比較部５０３と、故障判断部５０４とを備えている。

　診断データ設定部５０１は、出力イネーブル信号４２、８１等の出力イネーブル信号や、出力ポートレジスタ４４等を上述したような、故障診断時のデータのとなるように故障診断データ（故障診断データ）を出力し、データ伝送路２３、２６、２４を設定する。

　検出データ入力部５０２は、診断時における入力ポートレジスタ８３等のレジスタに格納された故障診断データを故障診断信号として入力する。

　比較部５０３は、診断データ設定部５０１が設定した故障診断データと、検出データ入力部５０２が入力した故障診断データ（検出データ）とを比較し、比較した結果を故障判断部５０４に出力する。

　故障判断部５０４は、比較部５０３から出力された結果から、画像データ伝送路２３、２６、２４に故障が発生していないか否か、故障が発生している場合は、ショート故障か、断線故障か、どのデータ伝送路に故障が発生したかを判断し、判断結果を車両通信部１８に出力する。

　車両通信部１８は、故障判断部５０４からの出力結果に基づいて、適切な処理を行う。車両通信部１８は、画像データ伝送路２３、２６、２４に故障が発生している場合は、表示部１９に、故障発生部分、故障の種類（ショート故障か断線故障か）を表示させることができる。

　なお、プルアップ接続スイッチ３４、ＩＯレベル電源３５、プルアップ抵抗３６、プルダウン抵抗３８、プルダウン制御スイッチ３９、入力バッファ４２、入力ポートレジスタ４３、出力ポートレジスタ４４、出力バッファ４５、及びマイコン（故障診断制御部）５０により、故障診断部が形成される。

　ここで、本実施例１のように、入出力ポート３３のポートレベルを出力ポートレジスタ４４、プルアップ抵抗３５によって操作する場合は、端子の電圧が実際に変化後の電圧に変わるまで、端子の浮遊容量を充電するだけの時間が必要となる。

　通常、画像処理ＩＣ２９のようなＩＣの端子容量としては１０ｐＦ程度であり、プルアップ抵抗として１ｋΩを選んだ場合、切り替わるまでの時間として１００ｎｓｅｃほど待てば十分である。

　すなわち、それぞれの診断の合間に１００ｎｓｅｃほどのウェイト時間を挿入し、それぞれの診断に１０ｕｓｅｃほどかけたとしても、期間（ｄ）、期間（ｅ）に必要な時間は１ｍｓｅｃ以下ですむ。

　実施例１において画像データ伝送のない垂直同期信号（Ａ）がローレベルである期間（ｃ）は２．９６ｍｓｅｃであり、十分に診断可能である。なお、本実施例１ではショート故障診断の後に断線故障診断を行っているがこの順番は逆でもよい。このとき、それぞれの端子が切り替わるまでの時間はショート故障診断と断線故障診断では変わることに留意する必要がある。

　本実施例１のように、ポートレベルの切り替えやウェイト時間の挿入などは画像処理ＩＣ２９に搭載されたソフトウェアで実現可能であるが、図６等に示した期間（ｃ）が短い場合やソフトウェアの速度が十分に得られない構成の場合はハードウェアで上記の診断内容を実装してもよい。

　以上のように、本発明の実施例１によれば、画像データが撮像素子から出力されていない、垂直ブランキング期間（ｃ）に、一定のデータを期待値として設定して、データ伝送路がショート故障を発生しているか、断線故障を発生しているかを検出するように構成したので、画像処理装置の撮像動作中であっても、故障診断が可能な画像処理装置を実現することができる。

　また、実施例１によれば、データ伝送路が複数の場合であっても、期待値を所定の値に設定することにより、どの伝送路がショート故障又は断線故障を発生しているかを検出することができる。

　なお、実施例１は右カメラ撮像素子２０を例にして説明したが、左カメラ撮像素子に対しても、上述と同様な診断動作を行うことが可能である。

　（実施例２）
　次に、本発明の実施例２について説明する。

　図１３、図１４は、本発明の実施例２における右カメラ撮像素子２０及び画像処理ＩＣ２９のデータ通信経路のインターフェース部分（インターフェース回路）を説明するための図である。

　本実施例２では実施例１に対して、垂直同期信号ローレベルの間（垂直ブランキング期間（ｃ））における右カメラ撮像素子２０側のデータ出力レベルがハイレベルである。実施例１では、図５の（Ｃ）に示すように、右カメラ撮像素子２０側のデータ出力レベルがローレベルである。

　図１３は、実施例２におけるショート故障モードの診断を行うときの各部の信号レベルまたは電圧を示した図である。

　図１３に示した例は、実施例１と比較して出力に切り替えた入出力ポート３３の出力はローレベルとし、それに応じて入力ポートレジスタ４３、８３の期待値が実施例１から反転している（入力ポートレジスタ４３はハイからロー、入力ポートレジスタ８３はローからハイに反転している）。

　図１４は、実施例２における断線故障モードの診断を行うときの各部の信号レベルまたは電圧を示した図である。

　実施例２においては、断線故障診断時に入出力ポート３３に接続するのはローレベルである。すなわち、プルダウンイネーブル信号４０をオンとし、プルダウン制御スイッチ３９をオンとして接地する。このときの入力レジスタ４３の期待値はハイレベルとなり、実施例１の場合における入力レジスタ４３の期待値から反転している。

　その他の構成や動作は実施例１と同様であり、実施例１と同様の構成には同様の符号を付してその詳細な説明を省略する。

　垂直同期信号ローレベルの間（垂直ブランキング期間（ｃ））における右カメラ撮像素子２０側のデータ出力レベルがハイレベルであるような構成であっても、実施例１と同様な考え方に基づき、画像処理装置の使用中であっても、故障診断が可能なカメラ画像処理装置を実現することができる。

　つまり、右カメラ撮像素子２０の仕様が、実施例１とは異なる実施例２において、画像処理装置の使用中であっても、故障診断が可能なカメラ画像処理装置を実現することができる。

　なお、実施例２も、実施例１と同様に、右カメラ撮像素子２０を例にして説明したが、左カメラ撮像素子に対しても、上述と同様な診断動作を行うことが可能である。

　（実施例３）
　次に、本発明の実施例３について説明する。

　図１５は、本発明の実施例３における右カメラ撮像素子２０及び画像処理ＩＣ２９のデータ通信経路のインターフェース部分（インターフェース回路）を説明するための図である。

　図１５において、プルアップ抵抗３５６は、画像処理ＩＣ２９の外側に配置され、ＩＯ電源３５５に常時接続されている状態である。

　実施例１ではプルアップ抵抗３６のオン、オフをプルアップ制御スイッチ３４のオンオフにより行っていたが、画像データ伝送期間（ａ）や、ショート故障検出期間（ｄ）において、プルアップ抵抗３５６がそれぞれの信号レベルの邪魔をしない程度に大きな値の抵抗値（例えば、３．３ｋΩ以上）であれば、プルアップ抵抗３５６のオン、オフを制御する必要はない。

　したがって、実施例３は、画像ＩＣ２９の内部には、プルアップ抵抗を配置せず、画像ＩＣ２９の外部部プルアップ抵抗３５６を配置している。

　その他の構成や動作は実施例１と同様であり、実施例１と同様の構成には同様の符号を付してその詳細な説明を省略する。

　実施例３によれば、プルアップ抵抗のオンオフ制御を行う必要が無いため、制御動作を簡略化することができる。

　ただし、実施例３の構成を取る場合、入出力ポート３３の部分で断線故障が発生していた場合、入力レジスタ４３の値は確定できないためこれを検知できない可能性があることに留意する。

　それ以外は、実施例３は実施例１と同様な効果を有している。

　なお、実施例３は、実施例１と同様に、右カメラ撮像素子２０を例にして説明したが、左カメラ撮像素子に対しても、上述と同様な診断動作を行うことが可能である。

　（実施例４）
　次に、本発明の実施例４について説明する。

　図１６は、本発明の実施例４における右カメラ撮像素子２０及び画像処理ＩＣ２９のデータ通信経路のインターフェース部分（インターフェース回路）を説明するための図である。

　本実施例４は、画像処理ＩＣ２９として画像データ入力ポートを出力ポートに切り替えられない構成となっていた場合に適用される例である。

　本実施例４では、入力専用ポート４３３と，ハイインピーダンスに切り替えられる出力専用ポート（故障信号出力部）４５７とが画像処理ＩＣ２９に配置され、出力専用ポート４５７を用いることで入力ポート４３３の電圧をコントロールしてショート故障診断を実行する。

　その他の構成や動作は実施例１と同様であり、実施例１と同様の構成には同様の符号を付してその詳細な説明を省略する。

　実施例４は実施例３と同様な効果を得ることができる他、画像データ入力ポートを出力ポートに切り替えられない構成の画像処理ＩＣに対しても、本発明を適用することができる。

　なお、実施例４は、実施例１と同様に、右カメラ撮像素子２０を例にして説明したが、左カメラ撮像素子に対しても、上述と同様な診断動作を行うことが可能である。

　（実施例５）
　次に、本発明の実施例５について説明する。

　図１７は、本発明の実施例５における右カメラ撮像素子６２０及び画像処理ＩＣ２９のデータ通信経路のインターフェース部分（インターフェース回路）を説明するための図である。

　本実施例５は、データの伝送経路として高速な信号を伝送するための伝送路を想定している。この場合、一般的なＩＯポートレベルでは扱えない電圧レベルの小さな信号を高速伝送目的として使用するため、故障診断においてはデータ伝送のポートとは別に、例えばＡＤ変換器の入力などを使用する。

　右カメラ撮像素子６２０は、画像データを、トランスミッター６００から出力ポート６０１、ダンピング抵抗６０２、高速データ伝送路６３３を介して、画像処理ＩＣ２９のレシーバー６０３に伝送している。レシーバー６０３に伝送された画像データは高速伝送信号処理回路６０６により処理される。

　高速伝送号処理回路６０６は高速データの伝送に特化しているため、診断中の高速データ伝送路６３３の電圧切り替え毎の個別の電圧変化にタイミングを合わせてデータを取り込むことは困難であるが、実施例５では診断タイミングをあわせやすい高速画像データ用入力ポート（診断データ入力部）６１０を使用して診断中の高速データ伝送経路６３３の電圧をとりこむため問題ない。

　その他の構成や動作は実施例１と同様であり、実施例１、４と同様の構成には同様の符号を付してその詳細な説明を省略する。

　実施例５は実施例４と同様な効果を得ることができる他、高速な信号伝送を行う画像処理ＩＣに対しても、本発明を適用することができる。

　なお、実施例５は、実施例１と同様に、右カメラ撮像素子２０を例にして説明したが、左カメラ撮像素子に対しても、上述と同様な診断動作を行うことが可能である。

　また、本発明によれば、画像処理装置の画像撮影動作が行われていない状態でも、故障診断を実行可能である。

　本発明は上記した実施例１～５に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例１～５は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例１～２の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。

　また、本発明は、車載用の画像処理装置に限らず、ロボット等の他の移動体における画像処理装置に適用することが可能である。

　１・・・右カメラ撮像モジュール部、　２・・・左カメラ撮像モジュール部、　３・・・右カメラ撮像画像、　４・・・左カメラ撮像画像、　５・・・データ加工部、　６・・・加工後の右カメラ画像、　７・・・加工後の左カメラ画像、　８・・・視差画像生成部、　９・・・視差画像、　１０・・・認識処理部、　１１・・・画像処理モジュール、　１２・・・車載カメラ画像処理装置、　１３・・・右カメラ撮像画像の伝送経路、　１４・・・加工後の右カメラ画像伝送経路、　１５・・・左カメラ撮像画像の伝送経路、　１６・・・加工後の左カメラ画像伝送経路、　１７・・・視差画像の伝送経路、　１８・・・車両通信部、　１９・・・表示部、　２０、６２０・・・右カメラ撮像素子、２３、２４、２６・・・データ伝送路、　２５、２７・・・コネクタ、　２９・・・画像処理ＩＣ、　３０、６０・・・デジタルデータの出力バッファ、　３１、５１、６１、６０１・・・出力ポート、　３２、５２、６２、６０２・・・ダンピング抵抗、　３３、５３、６３・・・入出力ポート、　３４・・・プルアップ接続スイッチ、　３５・・・ＩＯレベル電源、　３６、３５６・・・プルアップ抵抗、　３７・・・プルアップイネーブル信号、　３８・・・プルダウン抵抗、　３９・・・プルダウン制御スイッチ、　４０・・・プルダウンイネーブル信号、　４１、８１・・・出力イネーブル信号、　４２、８２・・・入力バッファ、　４３、８３・・・入力ポートレジスタ、　４４、８４・・・出力ポートレジスタ、　４５、８５・・・出力バッファ、　５０・・・マイコン（故障診断制御部）、　９０・・・ショート故障の箇所、　９１・・・断線検出の箇所、３５５・・・ＩＯ電源、　４３３・・・入力専用ポート、　４５７・・・出力専用ポート（故障信号出力部）、　５０１・・・診断データ設定部、　５０２・・・検出デー入力部、　５０３・・・比較部、　　５０４・・・故障判断部、　６００・・・トランスミッター、　６０６・・・高速伝送信号処理回路、　６１０・・・高速画像データ用入力ポート（診断データ入力部）、　６３３・・・高速データ伝送路

Claims (12)

1. 　撮像部と、
   　前記撮像部が撮像した画像データを伝送するデータ伝送路と、
   　前記データ伝送路から伝送された前記画像データを処理する画像処理部と、
   　を備え、前記画像処理部は、前記データ伝送路から前記画像データを入力するデータ入力部と、前記データ伝送路に前記画像データが伝送されていない期間に、前記データ伝送路に故障診断信号を出力し、前記データ伝送路の故障を診断する故障診断部とを有することを特徴とする画像処理装置。
2. 　請求項１に記載の画像処理装置において、
   　前記データ伝送路にはダンピング抵抗が配置され、
   　前記画像処理部は、電源供給部と、前記電源供給部と前記データ入力部との接続及び切断を行う制御スイッチとを有し、
   　前記故障診断部は、前記制御スイッチの動作を制御して前記データ入力部の信号状態を設定し、前記データ入力部の信号状態に基づいて前記データ伝送路の故障を診断することを特徴とする画像処理装置。
3. 　請求項１に記載の画像処理装置において、
   　前記故障診断部は、前記データ伝送路に前記画像データが伝送されていない期間に、前記データ入力部を故障診断状態に設定し、前記データ入力部の信号状態に基づいて前記データ伝送路の故障を診断することを特徴とする画像処理処置。
4. 　請求項２に記載の画像処理装置において、
   　前記故障診断部は、前記データ伝送路に前記画像データが伝送されていない期間に、前記制御スイッチの接続又は切断を行うことを特徴とする画像処理処置。
5. 　請求項３に記載の画像処理装置において、
   　複数の前記データ伝送路と、複数の前記データ入力部とを備え、前記故障診断部は、前記複数のデータ入力部のそれぞれについて故障診断状態に設定することを特徴とする画像処理処置。
6. 　請求項４に記載の画像処理装置において、
   　複数の前記データ伝送路と、複数の前記データ入力部と、複数の前記制御スイッチを備え、前記故障診断部は、前記複数の前記制御スイッチのそれぞれについて接続及び切断を設定することを特徴とする画像処理処置。
7. 　請求項２、３、４、５、６のうちのいずれか一項に記載の画像処理装置において、
   　前記故障診断部は、故障診断データを前記故障診断信号として設定し、出力する診断データ設定部と、前記データ入力部の信号状態を検出するために検出データを入力する検出データ入力部と、前記診断データ設定部により設定された前記故障診断データと前記検出データ入力部が入力した前記検出データとを比較する比較部と、前記比較部による比較に基づいて前記データ伝送路の故障を判断する故障判断部とを有する故障診断制御部を備えることを特徴とする画像処理処置。
8. 　請求項１に記載の画像処理装置において、
   　前記データ伝送路にはダンピング抵抗が配置され、前記データ伝送路に接続された電源供給部と、前記データ伝送路と前記電源供給部との間に接続されるプルアップ抵抗とを備え、前記データ入力部の信号状態に基づいて前記データ伝送路の故障を診断することを特徴とする画像処理処置。
9. 　請求項８に記載の画像処理装置において、
   　前記故障診断部は、前記故障診断信号を前記データ伝送路に出力する故障信号出力部を有することを特徴とする画像処理処置。
10. 　請求項１に記載の画像処理装置において、
    　前記データ伝送路にはダンピング抵抗が配置され、前記データ伝送路に接続された電源供給部と、前記データ伝送路と前記電源供給部との間に接続されるプルアップ抵抗とを備え、
    　前記画像処理部は、前記データ伝送路の信号状態を検出するための診断用データ入力部を有し、
    　前記故障診断部は、前記故障診断信号を前記データ伝送路に出力する故障信号出力部を有することを特徴とする画像処理処置。
11. 　請求項１乃至１０のうちのいずれか一項に記載の画像処理装置において、
    　前記撮像部は、右画像撮像部と、左画像撮像部とを有し、前記画像処理部は、前記右画像撮像部及び前記左画像撮像部が撮像したそれぞれの画像データの互いの差分に基づいて視差画像を生成する視差画像生成部を有することを特徴とする画像処理処置。
12. 　請求項１乃至１１のうちのいずれか一項に記載の画像処理装置において、
    　前記画像処理装置は、車両に搭載されることを特徴とする画像処理処置。

Images