JP7210906B2 - 車両の自動運転制御装置及びプログラム - Google Patents

Description

本開示は、車両の進行方向前方を撮像した撮像画像に基づき車両を自動運転するよう構成された車両の自動運転制御装置及びプログラムに関する。

従来、特許文献１に記載のように、車両の加速・操舵・制動の全てを制御する自動化レベル３の自動運転システムと、加速・操舵・制動のうちの複数を制御する自動化レベル２の予防安全システムと、を備えた車両の自動運転制御装置が提案されている。

この提案の自動運転制御装置においては、自動運転が要求されると予防安全システムによる自動運転制御を実施し、その後、レベル３許可条件が満たされると自動運転システムによる自動運転制御を実施する。

また、各システムは、自動運転制御の実行時に、他方のシステムが故障すると、車両を停止可能地点へ誘導する緊急制動の自動運転制御を実施し、緊急制動中に運転者が車両の運転に介入すると、自動化レベル１の自動運転制御に移行する。なお、自動化レベル１では、加速・操舵・制動の何れかを制御する。

特開２０１７－１５７０６７号公報

上記提案の自動運転制御装置においては、自動運転システムと予防安全システムとが各々独立したコンピュータにて構成されているため、車両の制御系を冗長化して、一方のシステムが故障しても車両の自動運転を継続させることができる。また、自動化レベル３の自動運転システムを二重に設けた場合に比べて、自動運転制御装置のコストを低減することができる。

しかしながら、上記提案の自動運転制御装置では、一方のシステムが故障した際に、他方のシステムで車両を緊急制動させることから、自動運転を継続して、車両を走行させることはできない。

また、自動運転制御装置が、車載カメラによる撮像画像を利用して車両の進路を決定し車両を自動操舵するよう構成されている場合、車載カメラが故障した際には、２系統のシステムを備えていたとしても、車両を停止可能地点へ誘導することは困難である。

従って、この場合には、車両の運転を、自動運転から、運転者による手動運転に切り換える必要があり、運転者にとって使い勝手が悪いシステムとなってしまう。
本開示の一局面は、車載カメラによる撮像画像を利用して車両を自動運転するよう構成された自動運転制御装置において、車載カメラが故障しても自動運転を継続できるようにすることが望ましい。

本開示の一局面の自動運転制御装置は、車両の進行方向前方をそれぞれ異なる撮像領域で撮像するように構成された複数のカメラ（３２ｔ，３２ｎ，３２ｗ）と、車両の走行状態を制御するよう構成された車両制御部（２４，２６，２８）とを備えた車両に搭載される。

そして、本開示の一局面の車両の自動運転制御装置は、運転制御部（６）と、カメラ監視部（８）とを備え、所定の運転条件に従い車両を運転して走行させる。
ここで、運転制御部は、複数のカメラから得られる複数の撮像画像と、所定の運転条件とに基づき、車両を走行させるのに要する制御量を設定して、車両制御部に出力することで、車両を自動運転するよう構成されている。

このため、運転制御部は、複数のカメラにて撮像され、撮像領域が異なる撮像画像を利用して、車両の進行方向前方の走行路や障害物を広範囲に把握し、車両を自動走行させることができるようになる。

また、カメラ監視部は、車両に搭載された複数のカメラが正常動作しているか否かを監視し、複数のカメラの一つが故障すると、その故障したカメラの撮像領域に応じて、運転条件を制限する。そして、運転制御部は、カメラ監視部にて運転条件が制限されると、その制限された運転条件に基づき制御量を設定して、車両の自動運転を継続する。

従って、複数のカメラの一つが故障し、例えば、車両前方の一部の画像が取得できなくなっても、運転条件を制限することで、自動運転を継続して車両を走行させることができるようになる。

よって、本開示の一局面の自動運転制御装置によれば、車載カメラが故障した際に、直ぐに、自動運転を中止して、運転者による手動運転に切り替える必要がなく、運転者にとって利便性のよい装置を提供できる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

実施形態の自動運転システム全体の構成を表すブロック図である。 カメラモジュールの外観を表す斜視図である。 カメラモジュールの内部構成を表す断面図である。 カメラモジュール内の広角カメラ、狭角カメラ及び望遠カメラの画角及び被写界深度を表す説明図である。 自動運転制御ＥＣＵにて実行されるカメラ監視処理を表すフローチャートである。

以下に本開示の実施形態を図面と共に説明する。
（自動運転システム全体の構成）
図１に示すように、本実施形態の自動運転システム１は、例えば乗用車等の車両に搭載されて、車両を自動運転するシステムであり、自動運転制御ＥＣＵ（Electronic Control Unit）１０を中心に構成されている。

自動運転制御ＥＣＵ１０には、自車位置センサ１２、周辺物体センサ１３、通信部１４、道路情報記憶部１６、出力装置１７、入力装置１８、及び、カメラモジュール３０が接続されている。

また、自動運転制御ＥＣＵ１０には、ナビゲーションシステム２２、駆動力制御ＥＣＵ２４、制動力制御ＥＣＵ２６、および、操舵制御ＥＣＵ２８が、車載ネットワーク２０を介して互いに通信可能に接続されている。

ここで、自車位置センサ１２は、車両の現在位置を検出するためのセンサであり、例えば、ＧＰＳ受信機やジャイロセンサ等にて構成される。
また、周辺物体センサ１３は、自動運転制御に用いるための車両周囲の状況を検出する周知のセンサであり、例えば、レーザーレーダーセンサ、ミリ波センサ、超音波センサ等にて構成される。

そして、周辺物体センサ１３は、先行車、隣接レーン走行車、対向車、進入車等、自車両周囲の走行車両や、停止車両、落下物、停止物、歩行者等、走行の障害となる障害物について、存在、位置、大きさ、距離等を検出する。

また、通信部１４は、車両外部と無線通信を行う通信モジュールであり、車両外部の所定のサーバと通信を行うことによって、交通や天気に関する各種情報を取得するのに利用される。

また、道路情報記憶部１６は、車両が走行予定の道路に関する詳細な道路情報等を記憶するためのものであり、例えば、フラッシュＲＯＭ等の読み書き可能な記憶媒体にて構成されている。なお、道路情報としては、例えば、車線数、車線幅、各車線の中心座標、カーブ曲率、停止線位置、信号機位置等が含まれる。

また、出力装置１７は、運転者に対し各種メッセージを出力するためのものであり、画像表示用のディスプレイや音声出力用のスピーカが該当する。また、入力装置１８は、運転者からの自動運転に関する各種指令を入力するためのものであり、操作スイッチ或いは操作レバーにて構成されている。

また、カメラモジュール３０は、車両の進行方向前方を撮像して画像を取得するものであり、本実施形態では、画角が異なる３種類のカメラ、すなわち、広角カメラ３２ｗ、狭角カメラ３２ｎ、及び望遠カメラ３２ｔを備える。

そして、各カメラ３２ｗ，３２ｎ，３２ｔにて撮像された画像は、車両の走行レーンの左右の白線や車両の進行方向前方に存在する物体を認識するのに利用される。なお、カメラモジュール３０の構成については、図２～図４を用いて後に詳しく説明する。

次に、ナビゲーションシステム２２は、運転者が目的地を設定することで現在地から目的地までの経路を地図上で示し、この経路情報に従って走行するための走行案内をディスプレイなどの画面や音声で行うシステム装置である。

次に、駆動力制御ＥＣＵ２４は、エンジンやモータなど、車両の駆動力を発生する駆動アクチュエータを制御する電子制御装置である。そして、駆動力制御ＥＣＵ２４は、運転者が手動運転を行うときには、運転者のアクセルペダルの操作量に応じて駆動アクチュエータを制御し、所望の駆動力を発生させる。

また、駆動力制御ＥＣＵ２４は、自動運転を行うときには、車載ネットワーク２０を介して、自動運転制御ＥＣＵ１０から要求駆動力を取得し、要求駆動力を達成するよう駆動アクチュエータ制御する。

次に、制動力制御ＥＣＵ２６は、車両の制動力を発生するブレーキアクチュエータを制御する電子制御装置である。そして、制動力制御ＥＣＵ２６は、運転者が手動運転を行うときには、運転者のブレーキペダルの操作量に応じてブレーキアクチュエータを制御し、所望の制動力を発生させる。

また、制動力制御ＥＣＵ２６は、自動運転を行うときには、車載ネットワーク２０を介して、自動運転制御ＥＣＵ１０から要求制動力を取得し、要求制動力を達成するようブレーキアクチュエータを制御する。

次に、操舵制御ＥＣＵ２８は、車両のステアリング装置において操舵トルクを発生するモータを制御する電子制御装置である。そして、操舵制御ＥＣＵ２８は、運転者が手動運転を行うときには、運転者のステアリングホイールの操作に応じてモータを制御することで、運転者のステアリング操作に対するアシストトルクを発生させる。

また、操舵制御ＥＣＵ２８は、自動運転を行う際には、車載ネットワーク２０を介して、自動運転制御ＥＣＵ１０から要求操舵角を取得し、要求操舵角を達成するようモータを制御する。
（自動運転制御ＥＣＵの構成）
次に、自動運転制御ＥＣＵ１０は、本開示の自動運転制御装置に相当するものであり、ＣＰＵ２と、ＲＯＭ及びＲＡＭ等にて構成されるメモリ４を含むマイクロコンピュータにて構成されている。

そして、自動運転制御ＥＣＵ１０は、ＣＰＵ２が、ＲＯＭ等の非遷移的実体的記録媒体に格納されたプログラムを実行することにより、図に点線で示す運転制御部６及びカメラ監視部８として機能する。

ここで、運転制御部６は、車両を自動運転させる機能である。
運転制御部６は、入力装置１８を介して、車両の自動運転が指令されると、ナビゲーションシステム２２から走行路の道路情報や目的地までの経路情報等を取得して、道路情報記憶部１６に記憶する。

そして、運転制御部６は、道路情報記憶部１６に記憶した道路情報や指令された自動運転の内容に基づき、車両を自動運転するのに要する車速や操舵角等の運転条件を設定する。

なお、自動運転の内容としては、車両を先行車両に追従して走行させるオートクルーズコントロール（ＡＣＣ）、車両を走行路の白線に沿って走行させる自動操舵、車両を所定の自動運転レベルで運転する自動運転、等を挙げることができる。

また、運転制御部６は、道路情報記憶部１６，自車位置センサ１２，周辺物体センサ１３，通信部１４及びカメラモジュール３０から上述した各種情報を取得し、上記運転条件に従い車両を自動運転するのに要する制御量を演算する。

そして、運転制御部６は、演算した制御量に対応した要求駆動力、要求制動力及び要求操舵角を、車載ネットワーク２０を介して、駆動力制御ＥＣＵ２４，制動力制御ＥＣＵ２６，操舵制御ＥＣＵ２８に出力し、車両を自動運転させる。

一方、カメラ監視部８は、運転制御部６による自動運転の実行中に、カメラモジュール３０を構成する広角カメラ３２ｗ，狭角カメラ３２ｎ，望遠カメラ３２ｔの状態を監視する機能である。

そして、カメラ監視部８は、カメラモジュール３０を構成する３つのカメラ３２ｗ，３２ｎ，３２ｔの一つが故障すると、運転制御部６による自動運転の機能の一部を制限することで、自動運転を継続させる。

次に、本開示の主要部となるカメラモジュール３０の構成及びカメラ監視部８の機能について説明する。
（カメラモジュールの構成）
まず、カメラモジュール３０は、図２，図３に示すように、上記３つのカメラ３２ｗ，３２ｎ，３２ｔが収納されるカメラケーシング４０と、ブラケットアセンブリ５０とを備える。

ブラケットアセンブリ５０は、車両のフロントウインドシールド５２の車室側の内面５２ａで運転の邪魔にならない位置に、カメラケーシング４０を装着するためのものであり、ブラケット本体５４と複数の装着パッド５６とを備える。

ブラケット本体５４は、例えば樹脂等の比較的成形容易な硬質材料により、平板状に形成され、フロントウインドシールド５２の内面５２ａに沿って配置される。複数の装着パッド５６は、ブラケット本体５４の板面に対し分散して設けられており、フロントウインドシールド５２の内面５２ａに接着固定される。

このため、ブラケットアセンブリ５０を含むカメラモジュール３０は、フロントウインドシールド５２の内面５２ａに装着されることになる。
カメラケーシング４０は、一対のケーシング部材４１，４２を組み合わせることで構成されている。各ケーシング部材４１，４２は、例えばアルミニウム等の比較的高放熱性を有した硬質材料により、全体として中空状に形成されている。

ケーシング部材４１は、カップ形状であり、ブラケット本体５４がフロントウインドシールド５２に装着された際に、カップの開口が下方を向くように、ブラケット本体５４の下方に配置される。

そして、ケーシング部材４１の側壁には、上述した３つのカメラ３２ｗ，３２ｎ，３２ｔが、それぞれ、レンズ３３ｗ，３３ｎ，３３ｔが外方向を向くように固定されている。
なお、各カメラ３２ｗ，３２ｎ，３２ｔは、ブラケット本体５４がフロントウインドシールド５２に装着されているとき、レンズ３３ｗ，３３ｎ，３３ｔの光軸Ａｗ，Ａｎ，Ａｔが鉛直方向に並ぶように、上下に間隔を空けて配置されている。また、各カメラ３２ｗ，３２ｎ，３２ｔは、広角カメラ３２ｗが下方に位置し、望遠カメラ３２ｔが上方に位置し、狭角カメラ３２ｎが中央に位置するように配置されている。

ブラケット本体５４には、ケーシング部材４１を、各カメラ３２ｗ，３２ｎ，３２ｔのレンズ３３ｗ，３３ｎ，３３ｔを車両の進行方向前方に向けた状態で位置決め固定するための固定壁部５８が一体的に設けられている。

そして、固定壁部５８の左右には、車両の進行方向前方に向かって、各カメラ３２ｗ，３２ｎ，３２ｔの光軸Ａｗ，Ａｎ，Ａｔを中心として左右に広がるように側壁部６２が設けられている。

また、固定壁部５８のブラケット本体５４とは反対側の下端には、車両の進行方向前方に向かって、各カメラ３２ｗ，３２ｎ，３２ｔの光軸Ａｗ，Ａｎ，Ａｔに対し下方に広がるようにベース壁部６４が設けられている。

そして、左右の側壁部６２及びベース壁部６４は、互いに接合されることにより、各カメラ３２ｗ，３２ｎ，３２ｔ共通のフード６０を構成している。
このため、車両進行方向前方からの光は、フロントウインドシールド５２及びフード６０を介して、各カメラ３２ｗ，３２ｎ，３２ｔに入射し、各カメラ３２ｗ，３２ｎ，３２ｔにて２次元画像として撮像される。

ケーシング部材４２は、皿状であり、ケーシング部材４１の下方に配置される。そして、この一対のケーシング部材４１，４２は、開口部同士を重ね合わせて、螺子で締結することにより一体化されている。

なお、ケーシング部材４２は、ベース壁部６４の裏面側に、制御基板４４を配置できるように、ケーシング部材４１の開口よりも大きい開口を有する。このため、ケーシング部材４１の開口は、ベース壁部６４の裏面側で、ケーシング部材４２の開口に合わせて広がっている。

制御基板４４は、例えばガラスエポキシ基板等のリジッド基板であり、略矩形の平板状に形成されている。そして、制御基板４４には、各カメラ３２ｗ，３２ｎ，３２ｔから撮像画像の画像データを取得して、画像処理を行うための制御回路４６が実装されている。

次に、ケーシング部材４１に収納された３つのカメラ３２ｗ，３２ｎ，３２ｔは、それぞれ、レンズ３３ｗ，３３ｎ，３３ｔと、鏡筒３４ｗ，３４ｎ，３４ｔと、撮像素子３５ｗ，３５ｎ，３５ｔと、撮像基板３６ｗ，３６ｎ，３６ｔを備える。

鏡筒３４ｗ，３４ｎ，３４ｔは、例えば樹脂等の比較的成形容易な硬質材料により、中空筒状に形成されており、一方の開口端側外周がケーシング部材４１の側壁に固定されている。

そして、各レンズ３３ｗ，３３ｎ，３３ｔは、ケーシング部材４１の側壁に固定された鏡筒３４ｗ，３４ｎ，３４ｔの内側、つまり一方の開口端側内部に、固定されている。
なお、各レンズ３３ｗ，３３ｎ，３３ｔは、それぞれ、光軸が鏡筒３４ｗ，３４ｎ，３４ｔの中心軸と一致するように、鏡筒３４ｗ，３４ｎ，３４ｔ内に固定されている。

また、鏡筒３４ｗ，３４ｎ，３４ｔの内部には、各レンズ３３ｗ，３３ｎ，３３ｔの後方で色収差等の光学収差を補正するための後段レンズセット（図示しない）が設けられている。

また、各鏡筒３４ｗ，３４ｎ，３４ｔのレンズ３３ｗ，３３ｎ，３３ｔとは反対側の開口端は、撮像基板３６ｗ，３６ｎ，３６ｔにて閉塞されている。
撮像素子３５ｗ，３５ｎ，３５ｔは、それぞれ、撮像基板３６ｗ，３６ｎ，３６ｔに実装されて、各鏡筒３４ｗ，３４ｎ，３４ｔの内部に配置されている。

撮像素子３５ｗ，３４ｎ，３４ｔは、例えばＣＣＤ又はＣＭＯＳ等のカラー式若しくはモノクロ式の撮像素子であり、カメラモジュール３０をフロントウインドシールド５２に装着した際、鉛直方向及び水平方向にマトリクス状に配置される複数の画素を備える。

このため、各カメラ３２ｗ，３２ｎ，３２ｔにおいて、レンズ３３ｗ，３３ｎ，３３ｔを介して鏡筒３４ｗ，３４ｎ，３４ｔ内に入射した光は、光像として撮像素子３５ｗ，３５ｎ，３５ｔの撮像面に結像され、２次元画像として撮像される。

また、撮像基板３６ｗ，３６ｎ，３６ｔには、撮像素子３５ｗ，３５ｎ，３５ｔに加えて、撮像素子３５ｗ，３５ｎ，３５ｔを駆動して、撮像素子３５ｗ，３５ｎ，３５ｔから画像データを取得するための撮像回路３７ｗ，３７ｎ，３７ｔが実装されている。

そして、各撮像回路３７ｗ，３７ｎ，３７ｔは、それぞれ、フレキシブル基板（ＦＰＣ）３８ｗ，３８ｎ，３８ｔを介して、制御基板４４に実装された制御回路４６に接続されている。

制御回路４６は、各カメラ３２ｗ，３２ｎ，３２ｔの撮像回路３７ｗ，３７ｎ，３７ｔとの共同により、撮像素子３５ｗ，３５ｎ，３５ｔの動作を制御し、各撮像素子３５ｗ，３５ｎ，３５ｔにより得られた画像データを取得する。

また、制御回路４６は、取得した画像データに基づき、路面上の白線や車両周囲の物体を認識する画像認識機能を有する。なお、制御回路４６の画像認識機能にて認識される物体としては、例えば、歩行者、自転車、他車両等の障害物や、信号機、交通標識、建物等の建造物である。

制御回路４６は、制御基板４４に設けられたコネクタ４８を介して、自動運転制御ＥＣＵ１０に接続されており、自動運転制御ＥＣＵ１０からの要求に従い、各カメラ３２ｗ，３２ｎ，３２ｔによる撮像結果や画像認識結果を、自動運転制御ＥＣＵ１０に出力する。

また、制御回路４６は、各カメラ３２ｗ，３２ｎ，３２ｔにて撮像された画像同士で同一箇所が映る基準画素に対し、それぞれ光軸Ａｗ，Ａｎ，Ａｔに対する位置座標のずれを、例えばアライメント処理等によって補正する。

次に、各カメラ３２ｗ，３２ｎ，３２ｔにおいて、レンズ３３ｗ，３３ｎ，３３ｔ及び撮像素子３５ｗ，３５ｎ，３５ｔは、図４に示すように、それぞれの光軸Ａｗ，Ａｎ，Ａｔ周りに、互いに異なる撮像領域で画像を撮像するように設定されている。

つまり、広角カメラ３２ｗのレンズ３３ｗは、広角レンズであり、例えばガラス等の透光性材料により、凹メニスカスレンズ状に形成されている。また、狭角カメラ３２ｎのレンズ３３ｎは、広角レンズよりも画角の狭い狭角レンズであり、例えばガラス等の透光性材料により、凹メニスカスレンズ状に形成されている。また、望遠カメラ３２ｔのレンズ３３ｔは、狭角レンズよりも画角の狭い望遠レンズであり、例えばガラス等の透光性材料により凹レンズ状に形成されている。

広角カメラ３２ｗの画角θｗは、広角レンズ３３ｗの採用により、例えば１２０゜程度の比較的広い大角度に設定されている。また、広角カメラ３２ｗの画角θｗ内での被写界深度Ｄｗは、広角レンズ３３ｗの採用により、車両の乗員から見た手前側の近点Ｄｗｃと、車両の乗員から見た奥行側の遠点Ｄｗｆとで挟まれる所定範囲に規定されている。

狭角カメラ３２ｎは、狭角レンズ３３ｎが広角レンズ３３ｗの真上にて前後ずれも横ずれも実質なく配置されるように、鏡筒３４ｎが位置決めされている。また、狭角カメラ３２ｎの光軸Ａｎは、広角カメラ３２ｗの光軸Ａｗから実質上下方向に限って偏心することで、車両における横方向位置が光軸Ａｗと位置合わせされている。

また、狭角カメラ３２ｎの画角θｎは、狭角レンズ３３ｎの採用により、広角カメラ３２ｗの画角θｗよりも狭い、例えば６０゜程度の中角度に設定されている。そして、これらの設定により、狭角カメラ３２ｎ及び広角カメラ３２ｗの画角θｎ，θｗ同士が、互いにオーバーラップしている。

また、狭角カメラ３２ｎの画角θｎ内での被写界深度Ｄｎは、狭角レンズ３３ｎの採用により、車両の乗員から見た手前側の近点Ｄｎｃと奥行側の遠点Ｄｎｆとで挟まれる所定範囲に規定されている。

そして、広角カメラ３２ｗの遠点Ｄｗｆは、狭角カメラ３２ｎの近点Ｄｎｃよりも奥行側に設定され、狭角カメラ３２ｎの近点Ｄｎｃは、広角カメラ３２ｗの近点Ｄｗｃよりも奥行側に設定されている。また、狭角カメラ３２ｎの遠点Ｄｎｆは、広角カメラ３２ｗの遠点Ｄｗｆよりも奥行側に設定されている。

これらの設定により、狭角カメラ３２ｎの近点Ｄｎｃ及び遠点Ｄｎｆの間に、広角カメラ３２ｗの遠点Ｄｗｆが位置し、これらカメラ３２ｎ，３０ｗの被写界深度Ｄｎ，Ｄｗ同士がオーバーラップする領域Ｒｎｗが形成される。

望遠カメラ３２ｔは、望遠レンズ３３ｔが狭角レンズ３３ｎの真上にて前後ずれも横ずれも実質なく配置されるように、鏡筒３４ｔが位置決めされている。また、望遠カメラ３２ｔの光軸Ａｔは、広角カメラ３２ｗ及び狭角カメラ３２ｎの両光軸Ａｗ，Ａｎから実質上下方向に限って偏心することで、車両における横方向位置が光軸Ａｗ，Ａｎと位置合わせされている。

また、望遠カメラ３２ｔの画角θｔは、望遠レンズ３３ｔの採用により、広角カメラ３２ｗ及び狭角カメラ３２ｎの両画角θｗ，θｎよりも狭い、例えば３５゜程度の小角度に設定されている。そして、これらの設定により、望遠カメラ３２ｔ及び狭角カメラ３２ｎの画角θｔ,θｎ同士が互いにオーバーラップし、また、望遠カメラ３２ｔ及び広角カメラ３２ｗの画角θｔ，θｗ同士も互いにオーバーラップしている。

また、望遠カメラ３２ｔの画角θｔ内での被写界深度Ｄｔは、望遠レンズ３３ｔの採用により、車両の乗員から見た手前側の近点Ｄｔｃと奥行側の遠点Ｄｔｆとで挟まれる所定範囲に規定されている。

そして、狭角カメラ３２ｎの遠点Ｄｎｆは、望遠カメラ３２ｔの近点Ｄｔｃよりも奥行側に設定され、望遠カメラ３２ｔの近点Ｄｔｃは、狭角カメラ３２ｎの近点Ｄｎｃ並びに広角カメラ３２ｗの近点Ｄｗｃ及び遠点Ｄｗｆよりも奥行側に設定されている。また、望遠カメラ３２ｔの遠点Ｄｔｆは、狭角カメラ３２ｎの遠点Ｄｎｆ及び広角カメラ３２ｗの遠点Ｄｗｆよりも奥行側に設定されている。

これらの設定により、望遠カメラ３２ｔの近点Ｄｔｃ及び遠点Ｄｔｆの間に、狭角カメラ３２ｎの遠点Ｄｎｆが位置し、これらカメラ３２ｔ，３０ｎの被写界深度Ｄｔ，Ｄｎ同士のオーバーラップする領域Ｒｔｎが形成される。

但し、望遠カメラ３２ｔの近点Ｄｔｃ及び遠点Ｄｔｆの間からは広角カメラ３２ｗの遠点Ｄｗｆが外れることで、これらカメラ３２ｔ，３０ｗの被写界深度Ｄｔ，Ｄｗ同士は互いにずれて、オーバーラップしない状態となっている。

上記のように、カメラモジュール３０において、広角カメラ３２ｗ，狭角カメラ３２ｎ，望遠カメラ３２ｔは、光軸Ａｗ，Ａｎ，Ａｔの車両における横方向位置が一致するように、上下方向に並んで配置される。

そして、広角カメラ３２ｗ，狭角カメラ３２ｎ，望遠カメラ３２ｔは、広角レンズ３３ｗ，狭角レンズ３３ｎ，望遠レンズ３３ｔの採用により、画角θｎ，θｎ，θｔは異なるものの、光軸Ａｗ，Ａｎ，Ａｔを中心としてオーバーラップしている。また、各画角θｎ，θｎ，θｔ内での被写界深度Ｄｗ，Ｄｎ，Ｄｔは、隣接するカメラ同士で、光軸Ａｗ，Ａｎ，Ａｔの軸方向に一部がオーバーラップしている。

従って、広角カメラ３２ｗ，狭角カメラ３２ｎ，望遠カメラ３２ｔにおいて、画角θｎ，θｎ，θｔと被写界深度Ｄｗ，Ｄｎ，Ｄｔとで規定される撮像領域は、一部がオーバーラップしているものの、互いに異なるものとなる。

そして、制御回路４６は、各カメラ３２ｗ，３２ｎ，３２ｔにて撮像された画像同士で生じる光軸Ａｗ，Ａｎ，Ａｔに対する位置座標のずれを補正する。
このため、カメラモジュール３０から得られる３種類の画像を利用すれば、車両に近い近傍領域から車両から遠い遠方領域までの広範囲に亘って、物体を認識して位置を検出することができる。

また、各カメラ３２ｗ，３２ｎ，３２ｔにて撮像された画像同士は光軸方向に一部オーバーラップしているので、オーバーラップ領域で物体が移動しても、その物体を認識できなくなるのを抑制し、その物体の位置を精度よく検出することができる。
（カメラ監視部の機能）
上記のようにカメラモジュール３０には３つのカメラ３２ｗ，３２ｎ，３２ｔが備えられていることから、自動運転制御ＥＣＵ１０は、カメラモジュール３０から得られる画像を利用することで、路面上の白線や車両周囲の物体の位置を精度よく把握できる。

しかし、カメラモジュール３０に設けられた３つのカメラ３２ｗ，３２ｎ，３２ｔの何れかが故障すると、カメラモジュール３０を利用して撮像可能な画像領域の一部、つまり、近傍領域、遠方領域、若しくは、中間領域で、白線や物体の認識精度が低下する。そして、このように認識精度が低下した状態で、車両の自動運転を継続すると、車両を適正に走行させることができなくなってしまう。

そこで、カメラ監視部８においては、車両の自動運転時に、カメラモジュール３０において各カメラ３２ｗ，３２ｎ，３２ｔが正常動作しているか否かを監視する。そして、狭角カメラ３２ｎが故障した場合には、自動運転を中止し、望遠カメラ３２ｔ又は広角カメラ３２ｗが故障した場合には、故障したカメラの撮像領域に応じて運転制御部６による自動運転の運転条件を制限し、自動運転を継続させる。

こうしたカメラ監視部８の機能は、ＣＰＵ２がＲＯＭ等の非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。そこで、ＣＰＵ２が、カメラ監視部８として機能する際に実行するプログラムを、カメラ監視処理として、図５に示すフローチャートに沿って説明する。

図５に示すカメラ監視処理は、ＣＰＵ２において、メインルーチンの一つとして実行される処理であり、この処理が開始されると、まずＳ１１０にて、現在車両の自動運転中であるか否かを判断する。そして、自動運転中でなければ、当該カメラ監視処理を一旦終了する。

次に、Ｓ１１０にて、自動運転中であると判断されると、Ｓ１２０に移行し、カメラモジュール３０の制御回路４６に各カメラ３２ｗ，３２ｎ，３２ｔとの通信要求を送信して、応答信号を取得することで、各カメラ３２ｗ，３２ｎ，３２ｔの動作を確認する。

また、続くＳ１３０では、カメラモジュール３０の制御回路４６を介して、各カメラ３２ｗ，３２ｎ，３２ｔにて撮像された画像データを取得し、画像データが正常かどうかを確認する。

なお、本実施形態では、カメラモジュール３０に制御回路４６が設けられているため、Ｓ１２０及びＳ１３０では、制御回路４６を介して各カメラ３２ｗ，３２ｎ，３２ｔからの応答信号及び画像データを取得するようになっている。しかし、これらの応答信号及び画像データは、各カメラ３２ｗ，３２ｎ，３２ｔから直接取得するようにしてもよい。

Ｓ１２０及びＳ１３０にて、各カメラ３２ｗ，３２ｎ，３２ｔの動作確認及び画像データの確認が実施されると、Ｓ１４０に移行し、Ｓ１２０及びＳ１３０での確認結果から、狭角カメラ３２ｎが故障しているか否かを判断する。

Ｓ１４０では、狭角カメラ３２ｎの撮像回路３７ｎから応答信号が出力されない場合や、応答信号が出力されていても狭角カメラ３２ｎからの画像データが異常で、正常に撮像できていない場合に、狭角カメラ３２ｎが故障していると判断する。

そして、Ｓ１４０にて、狭角カメラ３２ｎが故障していると判断されると、Ｓ１５０に移行し、出力装置１７を介して運転者に狭角カメラ３２ｎの故障を通知して、自動運転を終了する。

なお、Ｓ１５０では、運転者への故障通知によって、運転者に手動運転を開始させることで、自動運転を終了するが、運転者が手動運転を開始しなければ、車両を強制的に停止させる緊急制動制御を実施するようにしてもよい。そして、緊急制動制御では、例えば、車両に制動力を発生させて車両を減速し、車両を停車可能位置まで低速走行させて、車両を安全に自動停車させる。

従って、本実施形態によれば、狭角カメラ３２ｎが故障し、車両を自動走行させるのに必要な中間領域の画像を取得できないときには、運転制御部６が自動運転を継続するのを禁止して、車両走行時の安全性を確保することができる。

次に、Ｓ１４０にて、狭角カメラ３２ｎは故障していないと判断された場合には、Ｓ１６０に移行し、Ｓ１２０及びＳ１３０での確認結果から、望遠カメラ３２ｔが故障しているか否かを判断する。

Ｓ１６０では、望遠カメラ３２ｔの撮像回路３７ｔから応答信号が出力されない場合や、応答信号が出力されていても望遠カメラ３２ｔからの画像データが異常で、正常に撮像できていない場合に、望遠カメラ３２ｔが故障していると判断する。

Ｓ１６０にて、望遠カメラ３２ｔが故障していると判断されると、Ｓ１７０に移行して、車両走行時の制限速度、つまり車速の上限、を所定速度だけ引き下げることで、運転制御部６による自動運転の車速を制限する。また、Ｓ１７０では、自動運転の車速を制限すると、車速を制限したこと或いは制限速度を、出力装置１７を介して運転者に通知する。

なお、このように望遠カメラ３２ｔの故障時に、制限速度を引き下げるのは、望遠カメラ３２ｔの故障によって、撮像画像から遠方領域に存在する物体を認識できなくなるからである。

つまり、カメラモジュール３０による撮像画像から近傍領域及び中間領域で物体を正常に認識できていても、車速が高くなると、物体の認識に遅れが生じ、自動運転時には物体を避けるために急制動、急操舵が発生することがある。そこで、Ｓ１７０では、車速の上限を制限することにより、自動運転時に車両の走行が不安定になるのを抑制している。

次に、Ｓ１６０にて、望遠カメラ３２ｔは故障していないと判断されるか、或いは、Ｓ１７０の処理が実行されると、Ｓ１８０に移行し、Ｓ１２０及びＳ１３０での確認結果から、広角カメラ３２ｗが故障しているか否かを判断する。

Ｓ１８０では、広角カメラ３２ｗの撮像回路３７ｗから応答信号が出力されない場合や、応答信号が出力されていても広角カメラ３２ｗからの画像データが異常で、正常に撮像できていない場合に、広角カメラ３２ｗが故障していると判断する。

Ｓ１８０にて、広角カメラ３２ｗが故障していると判断されると、Ｓ１９０に移行して、運転制御部６による交差点での自動操舵を無効にすることで、自動操舵の実行条件を制限し、その旨を、出力装置１７を介して運転者に通知する。

つまり、広角カメラ３２ｗが故障していると、近傍領域で物体を認識できなくなるので、交差点で左折若しくは右折のための自動操舵を実施するようにすると、安全性が低下する。

そこで、Ｓ１９０では、広角カメラ３２ｗの故障時には、交差点での自動操舵を無効にして、運転者に通知することで、運転者に手動で操舵させて、安全性を確保するようにしている。

なお、このように交差点での自動操舵を無効にした際、運転者が手動操舵を開始しないときには、例えば、交差点では直進走行だけを許可し、車速が望遠カメラ３２ｔの故障時の制限速度よりも低い低速となるよう、運転条件を制限するようにしてもよい。

そして、Ｓ１８０にて、広角カメラ３２ｗは故障していないと判断されるか、或いは、Ｓ１９０の処理が実行されると、Ｓ２００に移行して、運転制御部６による自動運転を継続させ、当該カメラ監視処理を終了する。

以上説明したように、カメラ監視部８においては、カメラモジュール３０を構成する３つのカメラ３２ｗ，３２ｎ，３２ｔのうち、望遠カメラ３２ｔが故障すると、運転制御部６が車両を自動運転させる運転条件の一つである車速を制限し、自動運転を継続させる。

また、広角カメラ３２ｗが故障すると、運転制御部６による運転条件の一つである、交差点での自動操舵を無効にして、交差点にて実行可能な自動運転を制限し、自動運転を継続させる。

従って、本実施形態の自動運転制御ＥＣＵ１０によれば、カメラ監視部８の機能により、望遠カメラ３２ｔ若しくは広角カメラ３２ｗが故障しても、運転制御部６が車両を自動運転する際の運転条件を制限して、自動運転を継続させることができる。

このため、本実施形態の自動運転制御ＥＣＵ１０によれば、カメラモジュール３０を構成する望遠カメラ３２ｔ及び広角カメラ３２ｗの一方若しくは両方が故障した際に、自動運転を中止して、運転者による手動運転に切り替える必要がない。すなわち、少なくとも挟角カメラ３２ｎが故障していなければ、所定の運転条件若しくは制限された運転条件にて、自動運転を継続させることができる。従って、運転者にとって利便性のよい自動運転システム１を構築できる。

以上、本開示を実施するための形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
例えば、上記実施形態では、カメラモジュール３０は、広角カメラ３２ｗ，狭角カメラ３２ｎ及び望遠カメラ３２ｔからなる３つのカメラを備えているものとして説明した。

しかし、カメラモジュール３０は、例えば、標準レンズを備えたカメラと望遠レンズを備えたカメラとの２つのカメラで構成されていてもよく、例えば、車両の進行方向前方の上下左右を撮像する４つのカメラで構成されていてもよい。

つまり、カメラモジュール３０は、撮像領域が異なる複数のカメラを備え、各カメラによる撮像画像から物体を認識できるように構成されていればよい。
そして、カメラモジュール３０がこのように構成されていれば、一部のカメラが故障した際に、カメラ監視部で自動運転時の運転条件を制限することで、運転制御部による自動運転を継続させることができるようになる。

なお、制限する運転条件は、例えば、車両進行方向前方の右方向を撮像するカメラが故障した際には、車両の右車線への進路変更や右折を制限する、というように、故障したカメラの撮像領域に応じて適宜設定すればよい。

また、複数のカメラの撮像領域は、上記実施形態のように一部がオーバーラップするように設定されているとよい。このようにすれば、各カメラの撮像領域の境界部分で物体が移動した際に、物体を認識できなくなるのを抑制できる。

また次に、上記実施形態では、複数のカメラ３２ｗ，３２ｎ，３２ｔは、カメラモジュール３０のカメラケーシング４０内に収納されるものとして説明したが、複数のカメラは、それぞれ、車両に直接取り付けられていてもよい。

また、上記実施形態では、運転制御部６としての機能とカメラ監視部８としての機能は、共に、自動運転制御ＥＣＵ１０においてＣＰＵ２がプログラムを実行することで実現されるものとして説明した。

これに対し、例えば、運転制御部６としての機能は、自動運転制御ＥＣＵ１０において実現され、カメラ監視部８としての機能は、カメラモジュール３０の制御回路４６において実現されるようにしてもよい。

また、この場合、カメラモジュール３０の制御回路４６が、マイクロコンピュータにて構成されている場合には、そのマイクロコンピュータに図５に示したカメラ監視処理としてのプログラムを実行させるようにすればよい。つまり、このようにすれば、カメラモジュール３０の制御回路４６を、カメラ監視部として機能させることができる。

また上記実施形態において、自動運転制御ＥＣＵ１０における各機能は、ＣＰＵ２がプログラムを実行することで実現されるものとして説明したが、各機能の一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。

また上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

また、本開示の運転制御部及びカメラ監視部としての機能は、自動運転制御ＥＣＵやカメラモジュール、コンピュータにて実行されるプログラム、プログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、自動運転制御方法など、種々の形態で実現することができる。

２…ＣＰＵ、４…メモリ、６…運転制御部、８…カメラ監視部、１０…自動運転制御ＥＣＵ、２４…駆動力制御ＥＣＵ、２６…制動力制御ＥＣＵ、２８…操舵制御ＥＣＵ、３２ｗ…広角カメラ、３２ｎ…狭角カメラ、３２ｔ…望遠カメラ。

Claims (4)

1. 車両の進行方向前方をそれぞれ異なる撮像領域で撮像するように構成された複数のカメラ（３２ｔ，３２ｎ，３２ｗ）と、車両の走行状態を制御するよう構成された車両制御部（２４，２６，２８）と、を備えた車両に搭載され、所定の運転条件に従い前記車両を運転して走行させる車両の自動運転制御装置（１）であって、
   前記複数のカメラから得られる複数の撮像画像と、前記運転条件とに基づき、前記車両を走行させるのに要する制御量を設定して、前記車両制御部に出力することで、前記車両を自動運転するよう構成された運転制御部（６）と、
   前記複数のカメラが正常動作しているか否かを監視し、前記複数のカメラの一つが故障すると、該故障したカメラの撮像領域に応じて予め定められた、前記運転条件の制限をするよう構成されたカメラ監視部（８）と、
   を備え、
   前記運転制御部は、前記カメラ監視部にて前記運転条件が制限されると、該制限された運転条件に基づき前記制御量を設定して、前記車両の自動運転を継続するよう構成されており、
   前記カメラ監視部は、前記複数のカメラの中で、他のカメラに比べて画角が広い広角カメラの故障を検出すると、前記運転条件の一つである自動操舵の実行条件を制限するよう構成されている、車両の自動運転制御装置。
2. 前記カメラ監視部は、前記複数のカメラの中で、他のカメラに比べて遠方を撮像可能な望遠カメラの故障を検出すると、前記運転条件の一つである車速を制限するように構成されている、請求項１に記載の車両の自動運転制御装置。
3. 車両の進行方向前方をそれぞれ異なる撮像領域で撮像するように構成された複数のカメラ（３２ｔ，３２ｎ，３２ｗ）と、車両の走行状態を制御するよう構成された車両制御部（２４，２６，２８）と、前記複数のカメラから得られる複数の撮像画像と、所定の運転条件とに基づき、前記車両を走行させるのに要する制御量を設定して、前記車両制御部に出力することで、前記車両を自動運転するよう構成された運転制御部（６）と、を備えた車両において、
   コンピュータを、
   前記複数のカメラが正常動作しているか否かを監視し、前記複数のカメラの一つが故障すると、該故障したカメラの撮像領域に応じて予め定められた、前記運転条件の制限をするカメラ監視部（８）、として機能させるプログラムであって、
   前記カメラ監視部では、前記複数のカメラの中で、他のカメラに比べて画角が広い広角カメラの故障を検出すると、前記運転条件の一つである自動操舵の実行条件を制限する機能を実現する、プログラム。
4. 請求項３に記載のプログラムであって、
   前記カメラ監視部では、前記複数のカメラの中で、他のカメラに比べて遠方を撮像可能な望遠カメラの故障を検出すると、前記運転条件の一つである車速を制限する機能を実現する、プログラム。

Images