JP3922245B2 - 車両周辺監視装置および方法 - Google Patents
車両周辺監視装置および方法 Download PDFInfo
- Publication number
- JP3922245B2 JP3922245B2 JP2003390369A JP2003390369A JP3922245B2 JP 3922245 B2 JP3922245 B2 JP 3922245B2 JP 2003390369 A JP2003390369 A JP 2003390369A JP 2003390369 A JP2003390369 A JP 2003390369A JP 3922245 B2 JP3922245 B2 JP 3922245B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pedestrian
- density
- value
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
- B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
- B60R2300/404—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components triggering from stand-by mode to operation mode
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、車両の周辺に存在する歩行者を検出する車両周辺監視装置に関する。
従来、車両に備えた撮像手段により撮影された赤外線画像から、車両の周辺に存在する歩行者を検出する車両周辺監視装置としては、例えば特許文献１に示すようなものが知られている。この車両周辺監視装置は、２つの赤外線カメラにより得られる画像から、車両周辺の対象物と車両との距離を算出し、更に、時系列に求められる対象物の位置データから対象物の移動ベクトルを算出している。そして、車両の進行方向と対象物の移動ベクトルの関係から、車両と衝突する可能性の高い対象物を検出する。
また、特許文献２には、車両に備えた撮像手段により撮影された赤外線画像から、歩行者の体温とは明らかに異なる温度を示す領域を除外して対象物を検出する技術が開示されている。この技術では、歩行者の体温とは明らかに異なる温度を示す領域を除外した部分から抽出された対象物に対し、更にその対象物の縦横比を判定することで、該対象物が歩行者であるか否かを決定している。
また、特許文献２には、車両に備えた撮像手段により撮影された赤外線画像から、歩行者の体温とは明らかに異なる温度を示す領域を除外して対象物を検出する技術が開示されている。この技術では、歩行者の体温とは明らかに異なる温度を示す領域を除外した部分から抽出された対象物に対し、更にその対象物の縦横比を判定することで、該対象物が歩行者であるか否かを決定している。
さらに、特許文献３には、カメラ装置により撮影された赤外線画像から赤外線を発する対象物を抽出し、抽出された対象物の画像を、構造物を特定する要素となる基準画像と照合し、対象物が構造物であるか否かを判定することにより、構造物を除外し、残された対象物を歩行者や動物等の動く物体として検出する技術が開示されている。
特開２００１−６０６９号公報
特開２００１−１０８７５８号公報
特開２００３−１６４２９号公報
しかし、特許文献１、２のような従来の車両周辺監視装置においては、赤外線を発する対象物を検出することはできるものの、自動販売機のように自ら熱を発生しているものや、日中の太陽の日差しによって暖められた電柱や街灯のポール等、自車両の走行上において重要度の低い、歩行者以外の物体を検出してしまうという問題があった。特に、歩行者の体温と同程度の温度を持ち、歩行者と同じように縦長の形状をしているような物体は、全く歩行者との見分けがつかないという問題があった。更に、歩行者を縦横比のような形状判別のみにより対象物の中から抽出しようとすると、検出確度の向上が難しいという問題があった。
また、特許文献３のような従来の車両周辺監視装置においては、所定のテンプレートを用いて、テンプレートマッチング処理を行うことによって構造物であるか否かを判定している。
テンプレートを設定するための測距にステレオ赤外線カメラが必要であり、非常に高価な装置となる。さらにテンプレートマッチング処理はコンピュータ処理の負担が重く、高速のＣＰＵ（中央演算装置）や専用ＤＳＰ（デジタル・シグナルプロセッサ）を使用する必要が生じ、これによっても装置の価格が高くなるという問題があった。
また、抽出対象物の照合に用いるテンプレートは、実際に存在する各種の構造物のパターンを全て準備することはできないので、テンプレートに合わない構造物は歩行者と判定されてしまい歩行者の検出確度が低いという問題もあった。
テンプレートを設定するための測距にステレオ赤外線カメラが必要であり、非常に高価な装置となる。さらにテンプレートマッチング処理はコンピュータ処理の負担が重く、高速のＣＰＵ（中央演算装置）や専用ＤＳＰ（デジタル・シグナルプロセッサ）を使用する必要が生じ、これによっても装置の価格が高くなるという問題があった。
また、抽出対象物の照合に用いるテンプレートは、実際に存在する各種の構造物のパターンを全て準備することはできないので、テンプレートに合わない構造物は歩行者と判定されてしまい歩行者の検出確度が低いという問題もあった。
本発明は、上記の問題点を解決するために、歩行者の検出確度が高く、低コストの車両周辺監視装置を提供することを目的とする。
このため、本発明は、撮像手段により撮影された赤外線画像から、車両の周辺に存在する物体を検出する車両周辺監視装置において、赤外線画像から赤外線を発する対象物を抽出する対象物抽出手段と、対象物抽出手段により抽出された対象物の画像を形状に基づいて、歩行者候補の画像を抽出する歩行者候補抽出手段と、歩行者候補の画像の濃度分布の平均値を算出する濃度平均算出手段と、前記歩行者候補の画像の濃度分布の分散値を算出する濃度分散算出手段とを有し、前記濃度平均値が所定値以上か、または前記分散値が所定値以下である場合は、前記歩行者候補の画像は構造物であると判定する構造物判定手段とを備えるものとした。
本発明により、歩行者の形状に近い対象物の画像として抽出した歩行者候補の画像に対して、濃度に基づいて容易に構造物かどうかを判定でき、残った歩行者候補の画像を歩行者と判定できる。この画像処理はＣＰＵの負担が軽く、ステレオカメラ装置を必要としないので低コストの車両周辺監視装置が提供できる。
以下本発明の実施の形態を説明する。
図１は、本実施の形態の車両周辺監視装置の構成を示すブロック図である。車両周辺監視コントロール・ユニット（以下、車両周辺監視Ｃ／Ｕと称する）１は、中央演算装置（以下、ＣＰＵと称する）１１と画像処理部１２を備えたものであって、近赤外線領域の波長の光を前方の所定範囲に照射する投光器３のスイッチリレー２４と、近赤外線を検出可能な赤外線カメラ２と、車両周辺監視Ｃ／Ｕ１の機能をオン／オフするスイッチ（ＳＷ）６と、自車両の走行速度（以下、車速と称する）を検出する車速センサ７とに接続される。
図１は、本実施の形態の車両周辺監視装置の構成を示すブロック図である。車両周辺監視コントロール・ユニット（以下、車両周辺監視Ｃ／Ｕと称する）１は、中央演算装置（以下、ＣＰＵと称する）１１と画像処理部１２を備えたものであって、近赤外線領域の波長の光を前方の所定範囲に照射する投光器３のスイッチリレー２４と、近赤外線を検出可能な赤外線カメラ２と、車両周辺監視Ｃ／Ｕ１の機能をオン／オフするスイッチ（ＳＷ）６と、自車両の走行速度（以下、車速と称する）を検出する車速センサ７とに接続される。
また、車両周辺監視Ｃ／Ｕ１には、音声で警報を発するためのスピーカ５と、赤外線カメラ２により撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えばフロントウインドの運転者が視点移動しなくても認知が可能な位置に情報を表示するヘッドアップ・ディスプレイ・ユニット（以下、ＨＵＤユニットと称する）４が接続されている。
以下に各構成をより詳細に説明する。
車両周辺監視Ｃ／Ｕ１の画像処理部１２は、赤外線カメラ２からの入力アナログ信号をデジタル信号に変換する図示しないＡ／Ｄ変換回路、画像処理プロセッサ、およびデジタル化した画像信号を記憶する画像メモリ（以下、ＶＲＡＭと称する）２１、デジタル画像データをアナログ画像信号に戻す図示しないＤ／Ａ変換回路を有し、ＣＰＵ１１とＨＵＤユニット４に接続している。
ＣＰＵ１１は、各種演算処理や車両周辺監視装置全体の制御を行い、実行するプログラムや設定値などを記憶するリード・オンリー・メモリ（ＲＯＭ）２２、処理中のデータを格納するランダム・アクセス・メモリ（ＲＡＭ）２３が接続している。また、スピーカ５に音声信号を、スイッチリレー２４にオン／オフ信号を出力し、スイッチ６のオン／オフ信号、車速センサ７の車速信号が入力される。
車両周辺監視Ｃ／Ｕ１の画像処理部１２は、赤外線カメラ２からの入力アナログ信号をデジタル信号に変換する図示しないＡ／Ｄ変換回路、画像処理プロセッサ、およびデジタル化した画像信号を記憶する画像メモリ（以下、ＶＲＡＭと称する）２１、デジタル画像データをアナログ画像信号に戻す図示しないＤ／Ａ変換回路を有し、ＣＰＵ１１とＨＵＤユニット４に接続している。
ＣＰＵ１１は、各種演算処理や車両周辺監視装置全体の制御を行い、実行するプログラムや設定値などを記憶するリード・オンリー・メモリ（ＲＯＭ）２２、処理中のデータを格納するランダム・アクセス・メモリ（ＲＡＭ）２３が接続している。また、スピーカ５に音声信号を、スイッチリレー２４にオン／オフ信号を出力し、スイッチ６のオン／オフ信号、車速センサ７の車速信号が入力される。
また、赤外線カメラ２は、図２に示すように、自車両１０の前部の車幅方向中心に、光軸が車両前方に向くように固定されている。投光器３は、前部バンパー部の左右にそれぞれ設けられている。なお、投光器３はスイッチリレー２４がオンの状態となったとき、オンとなり近赤外線光で前方を照射する。
なお、赤外線カメラ２は、対象物からの近赤外線の反射が多いほど、画像のその部分の出力信号レベルが高くなる（輝度が増加する）特性を有している。
自車両１０の前方には歩行者Ｐ１、縦長の看板Ｂ１、横長の矩形の交通標識Ｂ２、円形の交通標識が縦に連結したＢ３があり、投光器３によりそれらが近赤外線光のビームで照射されている。それぞれは破線の矢印で示すように、近赤外線を反射し赤外線カメラ２によって閾値以上の濃度の画像として捉えられる。
なお、赤外線カメラ２は、対象物からの近赤外線の反射が多いほど、画像のその部分の出力信号レベルが高くなる（輝度が増加する）特性を有している。
自車両１０の前方には歩行者Ｐ１、縦長の看板Ｂ１、横長の矩形の交通標識Ｂ２、円形の交通標識が縦に連結したＢ３があり、投光器３によりそれらが近赤外線光のビームで照射されている。それぞれは破線の矢印で示すように、近赤外線を反射し赤外線カメラ２によって閾値以上の濃度の画像として捉えられる。
次に、本実施の形態の作用を以下に説明する。図３は、本車両周辺監視Ｃ／Ｕ１における処理手順を示すメインのフローチャートである。この処理はＣＰＵ１１と画像処理部１２の画像処理プロセッサのプログラムとして行われる。
自車両１０のイグニッションスイッチをオンすると、本車両周辺監視装置が起動し、ステップ１０１において、ＣＰＵ１１が車両周辺監視Ｃ／Ｕ１のスイッチ６がオンかどうかをチェックする待ち受け状態となる。
スイッチ６がオンの場合はステップ１０２に進み、オフの場合はステップ１１３に進む。
自車両１０のイグニッションスイッチをオンすると、本車両周辺監視装置が起動し、ステップ１０１において、ＣＰＵ１１が車両周辺監視Ｃ／Ｕ１のスイッチ６がオンかどうかをチェックする待ち受け状態となる。
スイッチ６がオンの場合はステップ１０２に進み、オフの場合はステップ１１３に進む。
ステップ１０２では、ＣＰＵ１１は、車速が所定値以上であるかどうかをチェックする。ここでは所定の車速を、例えば３０ｋｍ／ｈとする。車速が３０ｋｍ／ｈ以上のときステップ１０３へ進む。車速が３０ｋｍ／ｈ未満のときはステップ１１３に進み、赤外線カメラ２、投光器３、およびＨＵＤユニット４での画像表示がオンであった場合はオフにし、ステップ１０１に戻る。
これは、低速時にあっては、遠距離の前方障害物に注意を向ける必要が少なく、目視で中近距離の障害物を認知することが可能なため、遠方を近赤外線で照射する投光器３の不要な電力消費を防止するためである。もちろん本装置が動作する車速を３０ｋｍ／ｈ以上に限定するものではなく、任意に設定可能である。
これは、低速時にあっては、遠距離の前方障害物に注意を向ける必要が少なく、目視で中近距離の障害物を認知することが可能なため、遠方を近赤外線で照射する投光器３の不要な電力消費を防止するためである。もちろん本装置が動作する車速を３０ｋｍ／ｈ以上に限定するものではなく、任意に設定可能である。
ステップ１０３では、ＣＰＵ１１は、赤外線カメラ２、投光器３、およびＨＵＤユニット４での画像表示がオフであった場合はオンにする。赤外線カメラ２は、投光器３の照明の当たった前方部分からの反射光の強弱に応じた輝度画像つまり濃淡画像を得る。以下これを原画像と称する。
例えば、図２のように前方に歩行者Ｐ１、看板Ｂ１、交通標識Ｂ２、Ｂ３がある場合、図４の（ａ）に示す原画像の中には、左から歩行者Ｐ１、看板Ｂ１、交通標識Ｂ２、交通標識Ｂ３が映っている。
ステップ１０４では、画像処理部１２が赤外線カメラ２の画像を読み込み、Ａ／Ｄ変換によりデジタル変換された原画像をＶＲＡＭ２１に格納する。
ここでは各画素の濃度は８ビットすなわち２５６階調で表現されるものとして説明する。なお、０は最も暗い値で、２５６は最も明るい値とする。
例えば、図２のように前方に歩行者Ｐ１、看板Ｂ１、交通標識Ｂ２、Ｂ３がある場合、図４の（ａ）に示す原画像の中には、左から歩行者Ｐ１、看板Ｂ１、交通標識Ｂ２、交通標識Ｂ３が映っている。
ステップ１０４では、画像処理部１２が赤外線カメラ２の画像を読み込み、Ａ／Ｄ変換によりデジタル変換された原画像をＶＲＡＭ２１に格納する。
ここでは各画素の濃度は８ビットすなわち２５６階調で表現されるものとして説明する。なお、０は最も暗い値で、２５６は最も明るい値とする。
次にステップ１０５では、画像処理部１２が原画像において画素の濃度が所定の閾値未満のものは０と置き直して、閾値以上の画素部分のみ原画像の濃度を保持した図４の（ｂ）のような濃度領域抽出画像を得、ＶＲＡＭ２１に格納する。
この処理の結果、投光器３からの近赤外線光が強く当たっている自車両のすぐ前方の路面の領域Ａ５と、原画像の左から歩行者Ｐ１、看板Ｂ１、交通標識Ｂ２、交通標識Ｂ３に対応する濃度領域Ａ１、Ａ２、Ａ３、Ａ４が抽出される。
この処理の結果、投光器３からの近赤外線光が強く当たっている自車両のすぐ前方の路面の領域Ａ５と、原画像の左から歩行者Ｐ１、看板Ｂ１、交通標識Ｂ２、交通標識Ｂ３に対応する濃度領域Ａ１、Ａ２、Ａ３、Ａ４が抽出される。
原画像から対象物体を抽出するための閾値の設定方法は、原画像全体の濃度ヒストグラムから濃度分布の谷に相当する濃度に設定する公知の方法や、実験的に固定値を選定して設定するなどの方法がある。ここでは、夜間の近赤外線画像の特性からある程度の反射特性を持った物体を抽出できる濃度値として１５０を選定して固定値として設定する。
ただし、この閾値は、近赤外線を照射する投光器３の出力特性や赤外線カメラ２の近赤外線に対する感度特性などとの関係により適切に決めるものであり、１５０という設定値に限定されるものではない。
ただし、この閾値は、近赤外線を照射する投光器３の出力特性や赤外線カメラ２の近赤外線に対する感度特性などとの関係により適切に決めるものであり、１５０という設定値に限定されるものではない。
ステップ１０６では、画像処理部１２がＶＲＡＭ２１にステップ１０５で格納された濃度領域抽出画像を読み出し、個別の濃度領域の範囲をＣＰＵ１１に出力し、ＣＰＵ１１が濃度領域の範囲にラベルを付するラベリング処理をする。このときラベリングした抽出領域数がＮ１とする。ここではＮ１＝５となる。
ステップ１０７では、画像処理部１２が、各濃度領域に対し歩行者候補領域の抽出処理を行う。このステップは図８のフローチャートに基づいて処理する。この歩行者候補領域の抽出処理により、歩行者候補として抽出された濃度領域の数をＮ２としてＲＡＭ２３に記憶する。
図４の（ｂ）の濃度領域抽出画像において歩行者候補ではないと判定された濃度領域の画素を仮に濃度０と置きなおして表示すると、図５に示すような縦横比が所定の範囲に入った濃度領域だけが残る歩行者候補抽出画像となる。
ステップ１０７では、画像処理部１２が、各濃度領域に対し歩行者候補領域の抽出処理を行う。このステップは図８のフローチャートに基づいて処理する。この歩行者候補領域の抽出処理により、歩行者候補として抽出された濃度領域の数をＮ２としてＲＡＭ２３に記憶する。
図４の（ｂ）の濃度領域抽出画像において歩行者候補ではないと判定された濃度領域の画素を仮に濃度０と置きなおして表示すると、図５に示すような縦横比が所定の範囲に入った濃度領域だけが残る歩行者候補抽出画像となる。
ついでステップ１０８において、画像処理部１２が、ＶＲＡＭ２１にステップ１０５で格納した濃度領域抽出画像に対して、歩行者候補のＮ２個の濃度領域について、構造物かどうかを判定して構造物を除外する処理を行う（この構造物除外の詳細な処理の流れは後述の図１０で説明する）。この構造物除外処理により、歩行者領域として残された濃度領域の数をＮ３としてＲＡＭ２３に記憶する。
その結果、図５の歩行者候補抽出画像において、さらに構造物として判定された濃度領域の画素の濃度を仮に０と置き直して表示すると図６のような歩行者による濃度領域だけが残る画像となる。
その結果、図５の歩行者候補抽出画像において、さらに構造物として判定された濃度領域の画素の濃度を仮に０と置き直して表示すると図６のような歩行者による濃度領域だけが残る画像となる。
ステップ１０９では、ＣＰＵ１１がステップ１０８でＲＡＭ２３に記憶されたＮ３を読出し、歩行者領域があるかどうかをチェックする。ある場合はステップ１１０に進み、無い場合はステップ１０１に戻る。
ステップ１１０では、画像処理部１２が歩行者と判定した濃度領域の強調処理を行う。これは、ステップ１０４でＶＲＡＭ２１に格納した原画像を読出し、最終的に歩行者と判定した濃度領域を囲う枠を付加する処理である。
この枠の形状は、点線、破線、一点鎖線、太線の実線が考えられるがその他の線の枠の形状でも良い。または、歩行者領域の全画素を最大濃度２５５に置き直して表示させる強調処理でも良い。強調処理の方法はこれに限定されない。
ステップ１１０では、画像処理部１２が歩行者と判定した濃度領域の強調処理を行う。これは、ステップ１０４でＶＲＡＭ２１に格納した原画像を読出し、最終的に歩行者と判定した濃度領域を囲う枠を付加する処理である。
この枠の形状は、点線、破線、一点鎖線、太線の実線が考えられるがその他の線の枠の形状でも良い。または、歩行者領域の全画素を最大濃度２５５に置き直して表示させる強調処理でも良い。強調処理の方法はこれに限定されない。
ステップ１１１では、画像処理部１２から上記枠を付加した原画像がＨＵＤユニット４に出力される。図７にＨＵＤユニット４からフロントウインドに投影される画像の例を示す。歩行者Ｐ１に強調のための枠Ｍが表示されている。
ステップ１１２では、ＣＰＵ１１がスピーカ５にアラーム音を出力させる。アラーム音は所定の秒数出力後自動的に停止する。
ステップ１１２の後、ステップ１０１に戻り一連の動作を繰り返す。
ステップ１１２では、ＣＰＵ１１がスピーカ５にアラーム音を出力させる。アラーム音は所定の秒数出力後自動的に停止する。
ステップ１１２の後、ステップ１０１に戻り一連の動作を繰り返す。
次に歩行者候補領域の抽出処理の流れを図８のフローチャートに基づいて説明する。この処理は図３のメインフローチャートで示したステップ１０７における、ＣＰＵ１１とそれに制御された画像処理部１２で行うものである。
ステップ２０１では、ＣＰＵ１１はステップ１０５で抽出した濃度領域の抽出領域ラベル数Ｎ１をＲＡＭ２３から読み出す。
ステップ２０２では、ＣＰＵ１１はラベルカウンタの初期化を行い、ｎ＝１、ｍ＝０とする。ｎは濃度領域の数（ここでは、最大値はＮ１＝５）の引数であり、ｍはこのフローチャートの処理の中で歩行者候補として抽出される濃度領域の数の引数である。
ステップ２０１では、ＣＰＵ１１はステップ１０５で抽出した濃度領域の抽出領域ラベル数Ｎ１をＲＡＭ２３から読み出す。
ステップ２０２では、ＣＰＵ１１はラベルカウンタの初期化を行い、ｎ＝１、ｍ＝０とする。ｎは濃度領域の数（ここでは、最大値はＮ１＝５）の引数であり、ｍはこのフローチャートの処理の中で歩行者候補として抽出される濃度領域の数の引数である。
ステップ２０３では、画像処理部１２が、抽出領域ラベルｎ（＝１）の濃度領域に対して、外接矩形を設定する。
この外接矩形の設定は、画像処理部１２が例えば、抽出領域ラベルｎ（＝１）の濃度領域に対して、その領域の上下端の画素位置、左右端の画素位置を検出する。その結果、その画素の原画像全体の画面座標系において、検出した上下端の画素位置をそれぞれ通る２本の水平線、左右端の画素位置をそれぞれ通る２本の垂直線で囲われた矩形が得られる。
この外接矩形の設定は、画像処理部１２が例えば、抽出領域ラベルｎ（＝１）の濃度領域に対して、その領域の上下端の画素位置、左右端の画素位置を検出する。その結果、その画素の原画像全体の画面座標系において、検出した上下端の画素位置をそれぞれ通る２本の水平線、左右端の画素位置をそれぞれ通る２本の垂直線で囲われた矩形が得られる。
ステップ２０４では、ＣＰＵ１１は、ステップ２０３で得られた矩形の縦横比を算出し、その値が所定の範囲、例えば（縦の長さ）／（横幅）が４／１〜４／３の範囲であれば、ステップ２０５に進む。
なお、縦横比の範囲４／１〜４／３は、人間の立っている形状の縦横比を基準に設定するが、人が複数重なって並んでいる場合、荷物を両手にもっている場合、子供を抱いている場合などを想定して、横幅は余裕を取って大きく設定している。
縦横比が４／１〜４／３の範囲外であればステップ２０６に進む。
ステップ２０５では、ＣＰＵ１１は、縦横比が所定の範囲内であれば、歩行者候補として登録し、ラベルカウンタｍを１つ増す（ｍ＝ｍ＋１）。また歩行者候補領域ラベルｍは抽出領域ラベルｎに対応することをＲＡＭ２３に記憶する（ＭＸ（ｍ）＝ｎ）。
ステップ２０５の後ステップ２０６に進む。
なお、縦横比の範囲４／１〜４／３は、人間の立っている形状の縦横比を基準に設定するが、人が複数重なって並んでいる場合、荷物を両手にもっている場合、子供を抱いている場合などを想定して、横幅は余裕を取って大きく設定している。
縦横比が４／１〜４／３の範囲外であればステップ２０６に進む。
ステップ２０５では、ＣＰＵ１１は、縦横比が所定の範囲内であれば、歩行者候補として登録し、ラベルカウンタｍを１つ増す（ｍ＝ｍ＋１）。また歩行者候補領域ラベルｍは抽出領域ラベルｎに対応することをＲＡＭ２３に記憶する（ＭＸ（ｍ）＝ｎ）。
ステップ２０５の後ステップ２０６に進む。
ステップ２０６では、ＣＰＵ１１は、ラベルカウンタｎが最大値Ｎ１に至ったかどうかをチェックする。Ｎ１になっていない場合はステップ２０７に進み、ラベルカウンタｎを１つ増して（ｎ＝ｎ＋１）、ステップ２０３に戻りｎ＝２とし、ステップ２０３からステップ２０６の処理を繰り返す。以下ｎをさらに１つ増して繰り返す。
ステップ２０６においてラベルカウンタｎがＮ１に至った場合はステップ２０８に進み、ＣＰＵ１１はそのときのラベルカウンタｍの値をＮ２とＲＡＭ２３に記憶（Ｎ２＝ｍ）し、図３のメインのフローチャートのステップ１０８に進む。なお、このＮ２が歩行者候補領域の総数を示す。
ステップ２０６においてラベルカウンタｎがＮ１に至った場合はステップ２０８に進み、ＣＰＵ１１はそのときのラベルカウンタｍの値をＮ２とＲＡＭ２３に記憶（Ｎ２＝ｍ）し、図３のメインのフローチャートのステップ１０８に進む。なお、このＮ２が歩行者候補領域の総数を示す。
このステップ２０１からステップ２０８の一連の濃度領域の歩行者候補領域かどうかの抽出処理を、具体的に図４の（ｂ）のＡ１からＡ５の濃度領域に対して説明する。
Ａ１は図９の（ａ）に示すように縦横比が３／１で、歩行者候補領域となる。図４の（ｂ）のＡ２も縦長の看板であり縦横比の範囲４／１〜４／３の範囲に入り、歩行者候補領域となる。図４の（ｂ）に示すＡ３の横長の交通標識は、図９の（ｂ）に示すように縦横比が１／１．５であり除外される。図４の（ｂ）のＡ４の縦に連結した円形の交通標識は、図９の（ｃ）に示すように縦横比が２／１であり、やはり歩行者候補領域となる。図４の（ｂ）のＡ５は投光器３から近赤外線で照射された自車両直前方の横長の半楕円状の路面の高輝度部分の領域であるが、縦横比が１より小さいのでやはり除外される。
従って、説明のために仮に歩行者候補領域となる濃度領域だけを表すと図５のような画像となる。
Ａ１は図９の（ａ）に示すように縦横比が３／１で、歩行者候補領域となる。図４の（ｂ）のＡ２も縦長の看板であり縦横比の範囲４／１〜４／３の範囲に入り、歩行者候補領域となる。図４の（ｂ）に示すＡ３の横長の交通標識は、図９の（ｂ）に示すように縦横比が１／１．５であり除外される。図４の（ｂ）のＡ４の縦に連結した円形の交通標識は、図９の（ｃ）に示すように縦横比が２／１であり、やはり歩行者候補領域となる。図４の（ｂ）のＡ５は投光器３から近赤外線で照射された自車両直前方の横長の半楕円状の路面の高輝度部分の領域であるが、縦横比が１より小さいのでやはり除外される。
従って、説明のために仮に歩行者候補領域となる濃度領域だけを表すと図５のような画像となる。
次に、歩行者候補領域として抽出された各濃度領域に対して、さらに構造物かどうか判定して、構造物の場合は歩行者候補領域から除外する構造物除外処理の流れを図１０のフローチャートに基づいて説明する。この処理は図３のメインフローチャートで示したステップ１０８におけるＣＰＵ１１とそれに制御された画像処理部１２で行うものである。
ステップ３０１では、ＣＰＵ１１はＲＡＭ２３から歩行者候補領域ラベル数Ｎ２を読み出す。
ステップ３０２では、ＣＰＵ１１はラベルカウンタを初期化をし、ｍ＝１、ｋ＝０とする。ｍは歩行者候補領域数の引数であり、ｋはこのフローチャートの処理の中で歩行者領域として残った濃度領域の数の引数である。
ステップ３０３では、画像処理部１２は、歩行者候補領域ラベルｍに対応する（つまり抽出領域ラベルＭＸ（ｍ）の）濃度領域の濃度平均値Ｅ（ｍ）を算出する。
歩行者候補領域ラベルｍの濃度領域に含まれる画素ｉの濃度をＰｍ（ｉ）、歩行者候補領域ラベルｍの濃度領域に含まれる総画素数をＩｍとすると、式（１）によって求められる。
ステップ３０２では、ＣＰＵ１１はラベルカウンタを初期化をし、ｍ＝１、ｋ＝０とする。ｍは歩行者候補領域数の引数であり、ｋはこのフローチャートの処理の中で歩行者領域として残った濃度領域の数の引数である。
ステップ３０３では、画像処理部１２は、歩行者候補領域ラベルｍに対応する（つまり抽出領域ラベルＭＸ（ｍ）の）濃度領域の濃度平均値Ｅ（ｍ）を算出する。
歩行者候補領域ラベルｍの濃度領域に含まれる画素ｉの濃度をＰｍ（ｉ）、歩行者候補領域ラベルｍの濃度領域に含まれる総画素数をＩｍとすると、式（１）によって求められる。
ステップ３０４では、ＣＰＵ１１はステップ３０３で算出された濃度平均値Ｅ（ｍ）が所定濃度値を超えるかどうかをチェックする。この所定濃度値は非常に明るいものに相当する値とするのが適当である。８ビット表示の場合例えば２４０とし、この値より明るいものは標識や看板などの構造物と判定するように設定する。
これは標識や看板などは一般に光の反射をしやすい表面処理が施されており、投光器３からの近赤外線光に照射されると強い反射光を生じる。赤外線カメラ２が捉える近赤外線画像はそれに対して濃度の高い画像領域を形成するからである。
しかし、濃度平均値Ｅ（ｍ）が高いといっても、歩行者の衣服からの反射も濃度の高い画像領域を形成する可能性があるので、濃度平均値Ｅ（ｍ）が２４０を越えるから構造物とは判定せず、次のステップ３０５に進む。
濃度平均値Ｅ（ｍ）が２４０以下の場合はステップ３０８に進む。
これは標識や看板などは一般に光の反射をしやすい表面処理が施されており、投光器３からの近赤外線光に照射されると強い反射光を生じる。赤外線カメラ２が捉える近赤外線画像はそれに対して濃度の高い画像領域を形成するからである。
しかし、濃度平均値Ｅ（ｍ）が高いといっても、歩行者の衣服からの反射も濃度の高い画像領域を形成する可能性があるので、濃度平均値Ｅ（ｍ）が２４０を越えるから構造物とは判定せず、次のステップ３０５に進む。
濃度平均値Ｅ（ｍ）が２４０以下の場合はステップ３０８に進む。
ステップ３０５では、画像処理部１２は、歩行者候補領域ラベルｍに対応する濃度領域の濃度分散値Ｖ（ｍ）を算出する。
濃度分散値Ｖ（ｍ）は式（２）によって求められる。
濃度分散値Ｖ（ｍ）は式（２）によって求められる。
ステップ３０６では、ＣＰＵ１１はステップ３０５で算出された濃度分散値Ｖ（ｍ）が所定分散値未満かどうかをチェックする。
この所定分散値より小さいと言うことは、その歩行者候補領域ラベルｍの濃度領域は濃度のばらつきが小さいことを意味している。
所定分散値としては、実験的に得られている値として例えば５０を設定する。
図１１の（ａ）に交通標識や看板などの場合の画素の濃度分布例の濃度ヒストグラムを示す。横軸が濃度値を縦軸が度数を表す。構造物が平面的な部分を有している場合、照射近赤外線光に対してほぼ一様な反射をし、（ａ）のように濃度値が高く、分散が小さいのが特徴である。この例では濃度平均値が２５０、濃度分散値が３０である。
（ｂ）に同様に歩行者の場合の画素の濃度分布を示す。歩行者の場合衣服からの反射強度が弱く濃度値が小さくなる場合が多い。さらに人間は立体的形状なので反射が一様ではないことと、衣服と肌との間では反射特性が異なるので、全体として反射が一様ではなく分散値が大きくなる特徴がある。この例では濃度平均値が１８０、濃度分散値が５８０である。
分散値Ｖ（ｍ）が５０未満の場合はステップ３０７に進み、５０以上の場合はステップ３０８に進む。
この所定分散値より小さいと言うことは、その歩行者候補領域ラベルｍの濃度領域は濃度のばらつきが小さいことを意味している。
所定分散値としては、実験的に得られている値として例えば５０を設定する。
図１１の（ａ）に交通標識や看板などの場合の画素の濃度分布例の濃度ヒストグラムを示す。横軸が濃度値を縦軸が度数を表す。構造物が平面的な部分を有している場合、照射近赤外線光に対してほぼ一様な反射をし、（ａ）のように濃度値が高く、分散が小さいのが特徴である。この例では濃度平均値が２５０、濃度分散値が３０である。
（ｂ）に同様に歩行者の場合の画素の濃度分布を示す。歩行者の場合衣服からの反射強度が弱く濃度値が小さくなる場合が多い。さらに人間は立体的形状なので反射が一様ではないことと、衣服と肌との間では反射特性が異なるので、全体として反射が一様ではなく分散値が大きくなる特徴がある。この例では濃度平均値が１８０、濃度分散値が５８０である。
分散値Ｖ（ｍ）が５０未満の場合はステップ３０７に進み、５０以上の場合はステップ３０８に進む。
ステップ３０７では、ＣＰＵ１１は歩行者候補領域ラベルｍを歩行者候補から除外する。ここでは除外の手続きとしてＭＸ（ｍ）＝０としてＲＡＭ２３に記憶する。ステップ３０７の後ステップ３０９に進む。
ステップ３０４、ステップ３０６の後ステップ３０８に進んだ場合、ＣＰＵ１１は歩行者候補領域ラベルｍを歩行者領域として登録する。ここでは、登録の手続きとしてＭＸ（ｍ）のままＲＡＭ２３に記憶し、ラベルカウンタｋを１つ増す（ｋ＝ｋ＋１）。ステップ３０８の後ステップ３０９に進む。
ステップ３０４、ステップ３０６の後ステップ３０８に進んだ場合、ＣＰＵ１１は歩行者候補領域ラベルｍを歩行者領域として登録する。ここでは、登録の手続きとしてＭＸ（ｍ）のままＲＡＭ２３に記憶し、ラベルカウンタｋを１つ増す（ｋ＝ｋ＋１）。ステップ３０８の後ステップ３０９に進む。
ステップ３０９では、ＣＰＵ１１はラベルカウンタｍがＮ２に至ったかどうかをチェックする。至らなかった場合はステップ３１０に進み、ＣＰＵ１１はｍを１つ増し、（ｍ＝ｍ＋１）ステップ３０３に戻り、ステップ３０３からステップ３０９の一連の処理を繰り返す。
ステップ３０９でｍがＮ２に至ったとき、ステップ３１１に進み、ＣＰＵ１１はＮ３＝ｋとおいて歩行者領域として登録した総数Ｎ３をＲＡＭ２３に記憶する。その後全ての歩行者候補領域に対する構造物除外処理が完了したとして、図３のメインのフローチャートのステップ１０９に進む。
ステップ３０９でｍがＮ２に至ったとき、ステップ３１１に進み、ＣＰＵ１１はＮ３＝ｋとおいて歩行者領域として登録した総数Ｎ３をＲＡＭ２３に記憶する。その後全ての歩行者候補領域に対する構造物除外処理が完了したとして、図３のメインのフローチャートのステップ１０９に進む。
次に、図３のメインフローチャートのステップ１１０における強調処理の方法について説明する。これは、ＲＡＭ２３に記憶されたＭＸ（ｍ）を、引数ｍ＝１〜Ｎ２に対して読出し、０より大きい値の抽出領域ラベルＬ＝ＭＸ（ｍ）を得る。
ステップ１０４でＶＲＡＭ２１に格納した原画像を読出し、最終的に歩行者と判定した抽出領域ラベルＬに対応する濃度領域を囲う前述の枠を画像処理部１２で付加する処理である。
ステップ１０４でＶＲＡＭ２１に格納した原画像を読出し、最終的に歩行者と判定した抽出領域ラベルＬに対応する濃度領域を囲う前述の枠を画像処理部１２で付加する処理である。
本実施の形態の赤外線カメラ２は本発明の撮像手段を、ヘッドアップ・ディスプレイ・ユニット４は表示装置を、車両周辺監視コントロール・ユニット１は表示制御部を構成し、フローチャートのステップ１０５は本発明の対象物抽出手段を、ステップ１０７（つまりステップ２０１〜ステップ２０８）は歩行者候補抽出手段を、ステップ１０８（つまりステップ３０１〜３１１）は構造物判定手段を構成する。特にステップ２０３は矩形設定手段を、ステップ２０４は縦横比算出手段を、ステップ３０３は濃度平均算出手段を、ステップ３０５は濃度分散算出手段を構成する。
以上のように本実施の形態によれば、対象物を抽出した濃度領域の縦横比により歩行者候補領域を抽出し、その後歩行者候補領域の平均濃度値と濃度分散値を算出し、所定値より平均濃度値が大きくて濃度分散値が所定値未満の場合は構造物と判定するので、歩行者と判定する確度が向上する。その結果、多数の交通標識や歩行者が混在する環境においても、交通標識を歩行者と誤って運転者に報知する可能性が低減できる。
また、投光器により近赤外線を前方に照射し対象物からの反射近赤外線を赤外線カメラで撮影した画像を処理して抽出するので、より遠方の対象物からもより鮮明な反射画像を得ることができる。その結果、対象物からの反射光による撮影画像の濃度領域の濃度分布が得られやすい。
また、テンプレートマッチング処理を行わず、縦横比算出計算、濃度分布の平均濃度値と分散値の算出計算を行うので車両周辺監視Ｃ／Ｕの画像処理負担が軽く、コストの安い構成で実行することができる。またステレオカメラ装置も必要としないのでコストが安くできる。
また、投光器により近赤外線を前方に照射し対象物からの反射近赤外線を赤外線カメラで撮影した画像を処理して抽出するので、より遠方の対象物からもより鮮明な反射画像を得ることができる。その結果、対象物からの反射光による撮影画像の濃度領域の濃度分布が得られやすい。
また、テンプレートマッチング処理を行わず、縦横比算出計算、濃度分布の平均濃度値と分散値の算出計算を行うので車両周辺監視Ｃ／Ｕの画像処理負担が軽く、コストの安い構成で実行することができる。またステレオカメラ装置も必要としないのでコストが安くできる。
次に、本実施の変形例を説明する。図１２は、図１０に示した抽出した歩行者候補領域から構造物を排除する処理のフローチャートの流れを一部変更したものであり、ステップ４０１からステップ４１１の個々の処理内容はステップ３０１からステップ３１１と同じである。
流れの異なるのはステップ４０４からステップ４０９の間であり、ステップ４０４以降だけを以下に説明する。
ステップ４０４では、ＣＰＵ１１はステップ４０３で算出された濃度平均値Ｅ（ｍ）が所定濃度値を超えるかどうかをチェックする。濃度平均値Ｅ（ｍ）が２４０を越えるものは構造物と判定し、ステップ４０７に進む。
濃度平均値Ｅ（ｍ）が２４０以下の場合はステップ４０５に進む。
流れの異なるのはステップ４０４からステップ４０９の間であり、ステップ４０４以降だけを以下に説明する。
ステップ４０４では、ＣＰＵ１１はステップ４０３で算出された濃度平均値Ｅ（ｍ）が所定濃度値を超えるかどうかをチェックする。濃度平均値Ｅ（ｍ）が２４０を越えるものは構造物と判定し、ステップ４０７に進む。
濃度平均値Ｅ（ｍ）が２４０以下の場合はステップ４０５に進む。
ステップ４０５では、画像処理部１２は、歩行者候補領域ラベルｍに対応する濃度領域の濃度分散値Ｖ（ｍ）を算出する。
ステップ４０６では、ＣＰＵ１１はステップ４０５で算出された濃度分散値Ｖ（ｍ）が５０未満の場合はステップ４０７に進み、５０以上の場合はステップ４０８に進む。
ステップ４０７では、ＣＰＵ１１は歩行者候補領域ラベルｍを歩行者候補から除外する。ここでは除外の手続きとしてＭＸ（ｍ）＝０としてＲＡＭ２３に記憶する。ステップ４０７の後ステップ４０９に進む。
ステップ４０６の後ステップ４０８に進んだ場合、ＣＰＵ１１は歩行者候補領域ラベルｍを歩行者領域として登録する。ここでは、登録の手続きとしてＭＸ（ｍ）のままＲＡＭ２３に記憶し、ラベルカウンタｋを１つ増す（ｋ＝ｋ＋１）。ステップ４０８の後ステップ４０９に進む。
ステップ４０６では、ＣＰＵ１１はステップ４０５で算出された濃度分散値Ｖ（ｍ）が５０未満の場合はステップ４０７に進み、５０以上の場合はステップ４０８に進む。
ステップ４０７では、ＣＰＵ１１は歩行者候補領域ラベルｍを歩行者候補から除外する。ここでは除外の手続きとしてＭＸ（ｍ）＝０としてＲＡＭ２３に記憶する。ステップ４０７の後ステップ４０９に進む。
ステップ４０６の後ステップ４０８に進んだ場合、ＣＰＵ１１は歩行者候補領域ラベルｍを歩行者領域として登録する。ここでは、登録の手続きとしてＭＸ（ｍ）のままＲＡＭ２３に記憶し、ラベルカウンタｋを１つ増す（ｋ＝ｋ＋１）。ステップ４０８の後ステップ４０９に進む。
ステップ４０９では、ＣＰＵ１１はラベルカウンタｍがＮ２に至ったかどうかをチェックする。至らなかった場合はステップ４１０に進み、ＣＰＵ１１はｍを１つ増し（ｍ＝ｍ＋１）、ステップ４０３に戻り、ステップ４０３からステップ４０９の一連の処理を繰り返す。
ステップ４０９でｍがＮ２に至ったとき、ステップ４１１に進み、ＣＰＵ１１はＮ３＝ｋと置いて、歩行者領域として登録した総数Ｎ３をＲＡＭ２３に記憶する。その後全ての歩行者候補領域に対する構造物除外処理が完了したとして、図３のメインのフローチャートのステップ１０９に進む。
ステップ４０９でｍがＮ２に至ったとき、ステップ４１１に進み、ＣＰＵ１１はＮ３＝ｋと置いて、歩行者領域として登録した総数Ｎ３をＲＡＭ２３に記憶する。その後全ての歩行者候補領域に対する構造物除外処理が完了したとして、図３のメインのフローチャートのステップ１０９に進む。
前述の実施の形態では、ラベルｍの歩行者候補領域の濃度平均値が２４０を超える場合であっても、その分散値が５０未満のとき初めて構造物と判定して除外するのに対し、本変形例では濃度平均値が２４０を超える場合即構造物と判定し、逆に濃度平均値が２４０以下の場合でもその分散値が５０以上のとき初めて歩行者と判定するものである。
これによって、歩行者と判定される対象が実施の形態より少なくなる傾向がある。
確度の高い判定のための濃度平均値、分散値は赤外線カメラおよび投光器の特性にも依存するので、この判定の制御の流れを使用者が変更可能なように構成しても良い。
これによって、歩行者と判定される対象が実施の形態より少なくなる傾向がある。
確度の高い判定のための濃度平均値、分散値は赤外線カメラおよび投光器の特性にも依存するので、この判定の制御の流れを使用者が変更可能なように構成しても良い。
また、実施の形態および変形例において、赤外線カメラ画像から歩行者領域を検出した場合、ステップ１１２でアラーム音を出力することとしているが、最終的にカメラ画像中の歩行者領域と判定した濃度領域の歩行者の足元に相当する最下部のカメラ画像座標から、自車両から前方距離を算出して所定距離未満の場合はアラーム音を出すこととしても良い。
またこの所定距離はそのときの車速に依存させ車速が速いほど所定値を大きな値としても良い。これにより、運転者が十分対応できる距離の歩行者に対しても常にアラーム音が出ることを抑制できる。
またこの所定距離はそのときの車速に依存させ車速が速いほど所定値を大きな値としても良い。これにより、運転者が十分対応できる距離の歩行者に対しても常にアラーム音が出ることを抑制できる。
なお、本実施例および変形例の車両周辺監視装置の表示装置としては、ＨＵＤユニットに限定されるものではなく、車両のインストルメントパネルに組み込まれた一般的な液晶ディスプレイでもよい。
１ 車両周辺監視コントロール・ユニット
２ 赤外線カメラ
３ 投光器
４ ヘッドアップ・ディスプレイ・ユニット
５ スピーカ
６ スイッチ
７ 車速センサ
１０ 自車両
１１ 中央演算装置
１２ 画像処理部
２１ 画像メモリ
２２ リード・オンリー・メモリ
２３ ランダム・アクセス・メモリ
２４ スイッチリレー
２ 赤外線カメラ
３ 投光器
４ ヘッドアップ・ディスプレイ・ユニット
５ スピーカ
６ スイッチ
７ 車速センサ
１０ 自車両
１１ 中央演算装置
１２ 画像処理部
２１ 画像メモリ
２２ リード・オンリー・メモリ
２３ ランダム・アクセス・メモリ
２４ スイッチリレー
Claims (7)
- 撮像手段により撮影された赤外線画像から、車両の周辺に存在する物体を検出する車両周辺監視装置において、前記赤外線画像から赤外線を発する対象物を抽出する対象物抽出手段と、前記対象物抽出手段により抽出された対象物の画像を形状に基づいて、歩行者候補の画像を抽出する歩行者候補抽出手段と、歩行者候補の画像の濃度分布の平均値を算出する濃度平均算出手段と、前記歩行者候補の画像の濃度分布の分散値を算出する濃度分散算出手段とを有し、前記濃度平均値が所定値以上か、または前記分散値が所定値以下である場合は、前記歩行者候補の画像は構造物であると判定する構造物判定手段とを備えることを特徴とする車両周辺監視装置。
- 前記歩行者候補抽出手段は、前記対象物抽出手段により抽出された前記対象物の画像に外接する四角形の枠を設定する矩形設定手段と、該矩形設定手段により設定された前記四角形の枠の縦横比を算出する縦横比算出手段とを有し、前記縦横比が所定の数値範囲の場合歩行者候補と判定することを特徴とする請求項１に記載の車両周辺監視装置。
- 前記構造物判定手段は、前記濃度平均値が所定値以上で、かつ前記分散値が所定値以下である場合に、前記歩行者候補の画像は構造物であると判定することを特徴とする請求項１または２に記載の車両周辺監視装置。
- さらに、前記車両の運転席前方に設けられ、前記撮像手段により撮影された赤外線画像を表示する表示装置と、該表示装置に表示させる画像を制御する表示制御部とを備え、前記表示制御部は、前記構造物判定手段によって構造物と判定されたものを除く残りの前記歩行者候補の画像に対して強調表示することを特徴とする請求項１から３のいずれか１に記載の車両周辺監視装置。
- 前記強調表示は、前記構造物と判定されたものを除く残りの歩行者候補の画像を、点線枠、破線枠、鎖線枠、太線枠のいずれかで囲む表示であることを特徴とする請求項４に記載の車両周辺監視装置。
- さらに、自車両の速度を検出する車速センサを備え、前記表示制御部は、前記速度が所定値以上である場合に、前記赤外線画像を前記表示装置に表示させることを特徴とする請求項４または５に記載の車両周辺監視装置。
- 車両の周辺の赤外線画像から赤外線を発する対象物を抽出し、前記抽出された対象物の画像を形状に基づいて、歩行者候補の画像を抽出し、歩行者候補の画像の濃度分布の平均値が所定値以上か、または濃度分布の分散値が所定値以下である場合は、前記歩行者候補の画像は構造物であると判定し、構造物と判定されたものを除く残りの前記歩行者候補の画像を歩行者と判定する車両周辺監視方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003390369A JP3922245B2 (ja) | 2003-11-20 | 2003-11-20 | 車両周辺監視装置および方法 |
| US10/988,531 US20050111698A1 (en) | 2003-11-20 | 2004-11-16 | Apparatus for vehicle surroundings monitoring and method thereof |
| CNB2004100949516A CN1306450C (zh) | 2003-11-20 | 2004-11-19 | 车辆周围环境监控设备及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003390369A JP3922245B2 (ja) | 2003-11-20 | 2003-11-20 | 車両周辺監視装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005159392A JP2005159392A (ja) | 2005-06-16 |
| JP3922245B2 true JP3922245B2 (ja) | 2007-05-30 |
Family
ID=34587441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003390369A Expired - Fee Related JP3922245B2 (ja) | 2003-11-20 | 2003-11-20 | 車両周辺監視装置および方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20050111698A1 (ja) |
| JP (1) | JP3922245B2 (ja) |
| CN (1) | CN1306450C (ja) |
Families Citing this family (63)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005350010A (ja) * | 2004-06-14 | 2005-12-22 | Fuji Heavy Ind Ltd | ステレオ式車外監視装置 |
| US8531562B2 (en) * | 2004-12-03 | 2013-09-10 | Fluke Corporation | Visible light and IR combined image camera with a laser pointer |
| WO2006064655A1 (ja) * | 2004-12-14 | 2006-06-22 | Matsushita Electric Industrial Co., Ltd. | 情報提示装置及び情報提示方法 |
| US8164628B2 (en) * | 2006-01-04 | 2012-04-24 | Mobileye Technologies Ltd. | Estimating distance to an object using a sequence of images recorded by a monocular camera |
| JP4456086B2 (ja) * | 2006-03-09 | 2010-04-28 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP4701116B2 (ja) * | 2006-03-30 | 2011-06-15 | 株式会社デンソーアイティーラボラトリ | 物体撮像装置及び物体撮像方法 |
| JP5061767B2 (ja) * | 2006-08-10 | 2012-10-31 | 日産自動車株式会社 | 画像処理装置および画像処理方法 |
| JP4732985B2 (ja) * | 2006-09-05 | 2011-07-27 | トヨタ自動車株式会社 | 画像処理装置 |
| US7580547B2 (en) | 2006-10-24 | 2009-08-25 | Iteris, Inc. | Electronic traffic monitor |
| JP4263737B2 (ja) * | 2006-11-09 | 2009-05-13 | トヨタ自動車株式会社 | 歩行者検知装置 |
| GB2443664A (en) * | 2006-11-10 | 2008-05-14 | Autoliv Dev | An infra red object detection system de-emphasizing non relevant hot objects |
| US8254626B2 (en) * | 2006-12-22 | 2012-08-28 | Fujifilm Corporation | Output apparatus, output method and program for outputting a moving image including a synthesized image by superimposing images |
| US8194920B2 (en) * | 2007-02-16 | 2012-06-05 | Ford Global Technologies, Llc | Method and system for detecting objects using far infrared images |
| JP4887540B2 (ja) * | 2008-02-15 | 2012-02-29 | 本田技研工業株式会社 | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 |
| JP5031617B2 (ja) * | 2008-02-25 | 2012-09-19 | パイオニア株式会社 | 関連領域特定装置及び方法、並びに画像認識装置及び方法 |
| JP5120627B2 (ja) * | 2008-03-26 | 2013-01-16 | トヨタ自動車株式会社 | 画像処理装置および画像処理プログラム |
| WO2009157828A1 (en) * | 2008-06-25 | 2009-12-30 | Autoliv Development Ab | A method of detecting object in the vicinity of a vehicle |
| JP4410292B1 (ja) * | 2008-10-20 | 2010-02-03 | 本田技研工業株式会社 | 車両の周辺監視装置 |
| JP4482599B2 (ja) * | 2008-10-24 | 2010-06-16 | 本田技研工業株式会社 | 車両の周辺監視装置 |
| WO2011013179A1 (ja) * | 2009-07-31 | 2011-02-03 | 富士通株式会社 | 移動体位置検出装置および移動体位置検出方法 |
| EP2465092B1 (en) * | 2009-09-03 | 2015-02-11 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
| DE102009048066A1 (de) | 2009-10-01 | 2011-04-07 | Conti Temic Microelectronic Gmbh | Verfahren zur Verkehrszeichenerkennung |
| CN102511046B (zh) * | 2009-12-02 | 2015-03-25 | 塔塔咨询服务有限公司 | 使用近红外照相机对行人进行检测、分类并追踪的有成本效益的系统及方法 |
| JP5479956B2 (ja) * | 2010-03-10 | 2014-04-23 | クラリオン株式会社 | 車両用周囲監視装置 |
| US10703299B2 (en) * | 2010-04-19 | 2020-07-07 | SMR Patents S.à.r.l. | Rear view mirror simulation |
| DE102010020330A1 (de) * | 2010-05-14 | 2011-11-17 | Conti Temic Microelectronic Gmbh | Verfahren zur Erkennung von Verkehrszeichen |
| KR101161979B1 (ko) * | 2010-08-19 | 2012-07-03 | 삼성전기주식회사 | 나이트 비전용 영상 처리 장치 및 방법 |
| JP5687702B2 (ja) * | 2010-08-31 | 2015-03-18 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP5482670B2 (ja) * | 2011-01-12 | 2014-05-07 | 株式会社デンソー | 物体検出装置 |
| DE102011109387A1 (de) | 2011-08-04 | 2013-02-07 | Conti Temic Microelectronic Gmbh | Verfahren zur Erkennung von Verkehrszeichen |
| JP5479438B2 (ja) * | 2011-11-16 | 2014-04-23 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP5250855B2 (ja) * | 2012-02-16 | 2013-07-31 | コニカミノルタ株式会社 | 撮像装置および撮像方法 |
| JP2013186819A (ja) * | 2012-03-09 | 2013-09-19 | Omron Corp | 画像処理装置、画像処理方法、および画像処理プログラム |
| US10565438B2 (en) * | 2012-03-12 | 2020-02-18 | Honda Motor Co., Ltd. | Vehicle periphery monitor device |
| US9738253B2 (en) | 2012-05-15 | 2017-08-22 | Aps Systems, Llc. | Sensor system for motor vehicle |
| US9277132B2 (en) * | 2013-02-21 | 2016-03-01 | Mobileye Vision Technologies Ltd. | Image distortion correction of a camera with a rolling shutter |
| KR102021152B1 (ko) * | 2013-05-07 | 2019-09-11 | 현대모비스 주식회사 | 원적외선 카메라 기반 야간 보행자 인식 방법 |
| DE102013219909A1 (de) | 2013-10-01 | 2015-04-02 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen |
| CN104554003B (zh) * | 2013-10-15 | 2017-11-07 | 长春威视追光科技有限责任公司 | 智能车载悬挂式夜视平视显示器 |
| JP6307895B2 (ja) * | 2014-01-23 | 2018-04-11 | トヨタ自動車株式会社 | 車両用周辺監視装置 |
| JP5995899B2 (ja) * | 2014-03-24 | 2016-09-21 | 日立建機株式会社 | 自走式産業機械の画像処理装置 |
| US10356337B2 (en) * | 2014-10-07 | 2019-07-16 | Magna Electronics Inc. | Vehicle vision system with gray level transition sensitive pixels |
| KR101680833B1 (ko) | 2014-11-11 | 2016-11-29 | 경희대학교 산학협력단 | 보행자 검출 경보 장치 및 방법 |
| JP6596889B2 (ja) * | 2015-04-03 | 2019-10-30 | 日産自動車株式会社 | 物体検出装置 |
| US9600894B2 (en) * | 2015-04-07 | 2017-03-21 | Toshiba Tec Kabushiki Kaisha | Image processing apparatus and computer-readable storage medium |
| WO2017096360A1 (en) * | 2015-12-03 | 2017-06-08 | Osram Sylvania Inc. | Light-based vehicle positioning for mobile transport systems |
| US9984567B2 (en) * | 2016-09-09 | 2018-05-29 | Ford Global Technologies, Llc | Detection of oncoming vehicles with IR light |
| KR101996417B1 (ko) * | 2016-12-30 | 2019-07-04 | 현대자동차주식회사 | 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법 |
| CN110312952B (zh) | 2017-02-20 | 2022-09-27 | 3M创新有限公司 | 光学制品和与其交互的系统 |
| DE102017119394A1 (de) * | 2017-08-28 | 2019-02-28 | HELLA GmbH & Co. KGaA | Verfahren zur Ansteuerung mindestens eines Lichtmoduls einer Leuchteinheit eines Fahrzeugs, Leuchteinheit, Computerprogrammprodukt und computerlesbares Medium |
| EP3688662A1 (en) | 2017-09-27 | 2020-08-05 | 3M Innovative Properties Company | Personal protective equipment management system using optical patterns for equipment and safety monitoring |
| JP6930350B2 (ja) * | 2017-10-02 | 2021-09-01 | トヨタ自動車株式会社 | 車両用認知支援装置 |
| US20190183190A1 (en) * | 2017-12-18 | 2019-06-20 | Revolution Cycle Works Company | Portable article including a number of patterns |
| US11164287B2 (en) * | 2018-09-10 | 2021-11-02 | Lumileds Llc | Large LED array with reduced data management |
| JP7155991B2 (ja) * | 2018-12-17 | 2022-10-19 | トヨタ自動車株式会社 | 報知装置 |
| CN110392239B (zh) * | 2019-08-13 | 2020-04-21 | 北京积加科技有限公司 | 指定区域监控方法及装置 |
| CN114390985B (zh) * | 2019-09-11 | 2024-12-03 | 株式会社小糸制作所 | 车辆用灯系统 |
| DE102019214198A1 (de) * | 2019-09-18 | 2021-03-18 | Robert Bosch Gmbh | Ereignisbasierte Erkennung und Verfolgung von Objekten |
| CN111833373B (zh) * | 2020-06-01 | 2024-01-23 | 浙江双视科技股份有限公司 | 基于目标环境中移动物体的红外监测方法、装置及系统 |
| JP7468176B2 (ja) | 2020-06-17 | 2024-04-16 | 株式会社リコー | 画像処理装置および画像読取方法 |
| CN113111883B (zh) * | 2021-03-23 | 2023-06-06 | 浙江大华技术股份有限公司 | 车牌检测方法、电子设备及存储介质 |
| CN113332110B (zh) * | 2021-06-02 | 2023-06-27 | 西京学院 | 一种基于景物听觉感知的导盲手电及导盲方法 |
| WO2024155407A1 (en) * | 2023-01-16 | 2024-07-25 | Apple Inc. | Displays with exterior views |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001108758A (ja) * | 1999-10-06 | 2001-04-20 | Matsushita Electric Ind Co Ltd | 人物検出装置 |
| JP2003016429A (ja) * | 2001-06-28 | 2003-01-17 | Honda Motor Co Ltd | 車両周辺監視装置 |
| JP2003075893A (ja) * | 2001-09-06 | 2003-03-12 | Murakami Corp | 車両用周囲撮像装置 |
| EP1671216B1 (en) * | 2003-10-09 | 2016-12-07 | Honda Motor Co., Ltd. | Moving object detection using low illumination depth capable computer vision |
-
2003
- 2003-11-20 JP JP2003390369A patent/JP3922245B2/ja not_active Expired - Fee Related
-
2004
- 2004-11-16 US US10/988,531 patent/US20050111698A1/en not_active Abandoned
- 2004-11-19 CN CNB2004100949516A patent/CN1306450C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1306450C (zh) | 2007-03-21 |
| US20050111698A1 (en) | 2005-05-26 |
| CN1619584A (zh) | 2005-05-25 |
| JP2005159392A (ja) | 2005-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3922245B2 (ja) | 車両周辺監視装置および方法 | |
| JP4173901B2 (ja) | 車両周辺監視装置 | |
| JP5577398B2 (ja) | 車両の周辺監視装置 | |
| JP4135123B2 (ja) | 表示処理装置 | |
| JP4970516B2 (ja) | 周囲確認支援装置 | |
| JP4263737B2 (ja) | 歩行者検知装置 | |
| JP4173902B2 (ja) | 車両周辺監視装置 | |
| JP2007241740A (ja) | 車両周辺監視装置 | |
| JP4528283B2 (ja) | 車両周辺監視装置 | |
| JP2007288657A (ja) | 車両用表示装置、車両用表示装置の表示方法 | |
| JP4732985B2 (ja) | 画像処理装置 | |
| JP4094604B2 (ja) | 車両周辺監視装置 | |
| CN103189905B (zh) | 车辆周围监测装置 | |
| JP4872245B2 (ja) | 歩行者認識装置 | |
| JP2010026601A (ja) | 車両周辺監視装置 | |
| JP4128562B2 (ja) | 車両周辺監視装置 | |
| JP2005318408A (ja) | 車両周囲監視装置および方法 | |
| JP2008077154A (ja) | 車両周辺監視装置 | |
| JP3970876B2 (ja) | 車両周辺監視装置 | |
| JP6087240B2 (ja) | 車両周辺監視装置 | |
| JP4425852B2 (ja) | 車両周辺監視装置 | |
| JP2004364112A (ja) | 車両周辺表示装置 | |
| JP7167850B2 (ja) | 人物判定用の学習済みモデルセットの生成装置、生成方法、生成プログラム、人物領域判定装置、判定方法、および判定プログラム | |
| JP4701961B2 (ja) | 歩行者検知装置 | |
| JP5383246B2 (ja) | 車両の周辺監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070212 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |