JP2013154836A - 運転支援装置およびプログラム - Google Patents
運転支援装置およびプログラム Download PDFInfo
- Publication number
- JP2013154836A JP2013154836A JP2012018685A JP2012018685A JP2013154836A JP 2013154836 A JP2013154836 A JP 2013154836A JP 2012018685 A JP2012018685 A JP 2012018685A JP 2012018685 A JP2012018685 A JP 2012018685A JP 2013154836 A JP2013154836 A JP 2013154836A
- Authority
- JP
- Japan
- Prior art keywords
- head
- driver
- predetermined
- normal driving
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000010191 image analysis Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 abstract description 39
- 210000003128 head Anatomy 0.000 description 80
- 238000000034 method Methods 0.000 description 39
- 230000033001 locomotion Effects 0.000 description 25
- 238000003384 imaging method Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 230000009012 visual motion Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/02—Rear-view mirror arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
- B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】通常の運転姿勢では視認しにくい領域を、通常の運転姿勢において視認させる。
【解決手段】制御装置は、運転者撮影カメラが撮影した画像から運転者の頭部の位置と視線方向とを算出し(S1)、少なくとも運転者の頭部が所定の位置にある視認動作状態であるか否かを判定する(S2)。視認動作状態であれば(S2:YES)、視認動作状態である期間が所定の閾値以上となったこと、あるいは視認動作状態となる頻度が所定の閾値以上となったことを判断し、そのような判断がなされた場合には、機器制御フラグがONに設定される(S3)。機器制御フラグがONとなっていれば(S4:YES)、再度頭位置と視線方向とを算出し(S5)、運転者が視認動作状態から通常の運転姿勢に戻るまで待機し(S6:YES)、ミラー角度制御装置や表示装置等の動作を制御する(S7)。
【選択図】図5
【解決手段】制御装置は、運転者撮影カメラが撮影した画像から運転者の頭部の位置と視線方向とを算出し(S1)、少なくとも運転者の頭部が所定の位置にある視認動作状態であるか否かを判定する(S2)。視認動作状態であれば(S2:YES)、視認動作状態である期間が所定の閾値以上となったこと、あるいは視認動作状態となる頻度が所定の閾値以上となったことを判断し、そのような判断がなされた場合には、機器制御フラグがONに設定される(S3)。機器制御フラグがONとなっていれば(S4:YES)、再度頭位置と視線方向とを算出し(S5)、運転者が視認動作状態から通常の運転姿勢に戻るまで待機し(S6:YES)、ミラー角度制御装置や表示装置等の動作を制御する(S7)。
【選択図】図5
Description
本発明は、車両の運転者による周囲の視認を容易にする運転支援装置に関する。
従来、車両を運転する運転者の頭部の位置や視線を検出して、運転支援の動作を行う装置が多数提案されている。
一例として、車両の後方に二輪車が位置するときに警告動作を行う装置であって、運転者の視線がミラーを視認したと判定した場合には、警告動作を行わないことで、運転者が感じる煩わしさを低減する装置が提案されている(特許文献1参照)。
一例として、車両の後方に二輪車が位置するときに警告動作を行う装置であって、運転者の視線がミラーを視認したと判定した場合には、警告動作を行わないことで、運転者が感じる煩わしさを低減する装置が提案されている(特許文献1参照)。
また、運転者の頭部(眼球)の位置を推定することで、画像の表示位置を最適化する装置が提案されている(特許文献2参照)。
車両の運転中において、後部座席に座る子供や後部座席に置いた物の様子を確認する場合や、駐車時に車両側方の白線などを確認する場合のように、運転者が通常の運転姿勢では視認しにくい領域を長時間視認したい場合がある。このような場面であっても運転者の頭部の位置や視線の動きを検出して上述した領域が視認できるようにすることが好ましいが、従来そのような装置は提案されていなかった。
本発明の目的は、通常の運転姿勢では視認しにくい領域を、通常の運転姿勢において視認させる運転支援装置およびプログラムを提供することである。
上述した問題を解決するためになされた請求項1に記載の運転支援装置は、車両の運転者を撮影した画像を画像解析して運転者の頭部の車両内における位置を算出する。
そして頭部の位置が通常の運転姿勢における位置とは相違する所定位置にある期間が所定の閾値以上となったこと、および、その所定位置となる頻度が所定の閾値以上となったこと、のうちのいずれかの条件を満たしたことを判定し、その条件を満たしたと判定された場合に、頭部が所定位置にあるときに視認可能である領域を、運転者が通常の運転姿勢にて視認可能となるように所定の機器を制御する。
そして頭部の位置が通常の運転姿勢における位置とは相違する所定位置にある期間が所定の閾値以上となったこと、および、その所定位置となる頻度が所定の閾値以上となったこと、のうちのいずれかの条件を満たしたことを判定し、その条件を満たしたと判定された場合に、頭部が所定位置にあるときに視認可能である領域を、運転者が通常の運転姿勢にて視認可能となるように所定の機器を制御する。
ここでいう頭部が所定位置にあるときに視認可能である領域とは、直接的に視認できる領域に限らず、車両に設けられたドアミラーやルームミラーなどを介して視認可能となる領域を含むものである。
このように構成された運転支援装置は、運転者が通常の運転姿勢とは相違する位置に頭部を移動させたときに視認可能である領域を、通常の運転姿勢にて視認できる。そのため、上述した領域を視認するために運転中に無理な体勢をとる必要がなくなり、また通常の運転姿勢を維持できることから車両操作のミスや事故の発生を抑制できる。
また、上述した条件を満たしたときにのみ所定の機器を制御するため、運転者が所定の領域の視認を意図していない場合にまで機器を作動させてしまうことを抑制できる。仮に上述した条件を設定せず、運転者の頭部が所定位置にあることのみに基づいて所定の機器を動作させるように構成した場合、偶然に運転者の頭部が所定位置に移動したときや、1フレームのみ頭部が所定位置にあると誤検出したときなどにも機器を作動させてしまうことになりかねず、運転者が予期しない動作によって運転者が煩わしく感じることとなる。しかしながら本発明ではそのような問題の発生を抑制することができる。
なお、上記運転支援装置は、所定の機器を制御するタイミングを、上記条件を満たしたと判定された場合であって、さらに、運転者の頭部が所定位置でなくなったときとしてもよい。このように構成された運転支援装置は、運転者の頭部が所定位置でなくなったとき、例えば通常の運転姿勢に戻ったときに所定の機器を動作させるため、頭部が所定位置にあって所定の機器による補助を必要としないときにまで機器を動作させて不要なエネルギーを消費してしまったり、運転者が予期しない動作をしてしまい運転者が煩わしく感じることを抑制できる。
なお上記所定の機器としては、特に限定されるものではないが、例えば、車両に搭載されるミラーの角度を制御するミラー角度制御装置を所定の機器として用いることが考えられる。その場合には、運転支援装置は、頭部が所定位置にあるときに視認可能である領域を、運転者が通常の運転姿勢においてミラーを介して視認可能となるようにミラー角度制御装置を制御するように構成されているとよい。
このように構成された運転支援装置は、ミラーの角度を変更させることにより、通常の運転姿勢において上述した領域を運転者に視認させることができる。また、ミラーを動作させるタイミングを上述したように運転者の頭部が所定位置でなくなったときとすれば、運転者の頭部が所定位置にあるときにはミラーが動作せず上述した領域を視認し続けることができる。
また上記所定の機器としては、運転者が通常の運転姿勢において視認可能である位置に配置される表示装置を用いてもよい。この表示装置は運転者の頭部が所定位置であるときに視認可能である領域を撮影する撮影装置により撮影された画像を表示するものであり、運転支援装置は表示装置に上記画像を表示させるように構成するとよい。
このように構成された運転支援装置は、表示装置に上述した領域の画像を表示させることにより、上述した領域を運転者に視認させることができる。
上記運転支援装置は、車両の運転者を撮影した画像を画像解析した際に、運転者の頭部の位置のみでなく、運転者の視線方向を算出するように構成してもよい。
上記運転支援装置は、車両の運転者を撮影した画像を画像解析した際に、運転者の頭部の位置のみでなく、運転者の視線方向を算出するように構成してもよい。
その場合、上述した機器を制御する条件とは、頭部が所定位置にあり、かつ視線方向が上記所定位置に対応する所定方向である期間が所定の閾値以上となったこと、および、頭部が所定位置となり、かつ視線方向が上記所定方向となる頻度が所定の閾値以上となったこと、のうちのいずれかとするとよい。
このように構成された運転支援装置は、運転者の頭部の位置のみでなく、運転者の視線方向まで確認して所定の機器を制御するため、当該機器による支援が必要な状況を高い精度で判別でき、運転者が所定の領域の視認を意図していない場合にまで機器を作動させてしまうことを抑制できる。
請求項6に記載の発明は、コンピュータを、請求項1から請求項5のいずれか1項に記載の運転支援装置を構成する各手段として機能させるためのプログラムである。
このようなプログラムにより制御されるコンピュータは、請求項1から請求項5のいずれかに記載の運転支援装置の一部を構成することができる。
このようなプログラムにより制御されるコンピュータは、請求項1から請求項5のいずれかに記載の運転支援装置の一部を構成することができる。
なお、上述したプログラムは、コンピュータによる処理に適した命令の順番付けられた列からなるものであって、各種記録媒体や通信回線を介して、注意喚起装置やこれを利用するユーザに提供されるものである。
以下に本発明の実施形態を図面と共に説明する。
[実施例]
(1)運転支援システムの構成
本実施例の運転支援システム1は車両に搭載されて用いられるものであって、図1に示すように、運転者撮影カメラ11、後部座席撮影カメラ13、車外撮影カメラ15、ミラー角度制御装置17、表示装置19、および制御装置21などを有する。
[実施例]
(1)運転支援システムの構成
本実施例の運転支援システム1は車両に搭載されて用いられるものであって、図1に示すように、運転者撮影カメラ11、後部座席撮影カメラ13、車外撮影カメラ15、ミラー角度制御装置17、表示装置19、および制御装置21などを有する。
運転者撮影カメラ11は、撮像素子により運転者の顔を含む画像を撮影する周知の撮像装置(いわゆるCCDやCMOSなどの撮像素子と光学レンズ、光学フィルタ、電源等の周辺電子回路から成るカメラ)であり、運転者撮影カメラ11の撮影範囲に運転席が位置するように配置される。運転者撮影カメラ11は所定の時間間隔(例えば1/30秒)ごとに画像を撮影し、制御装置21に出力する。
後部座席撮影カメラ13は、車両の後部座席が撮影範囲となるように配置されたカメラであり、周知の撮像装置である。車外撮影カメラ15も同様に周知の撮像装置であり、車両の左右前方が撮影範囲となるように、車両前方のナンバープレート付近に配置される。
ミラー角度制御装置17は、右ドアミラー(サイドミラー)のミラー角度を制御するアクチュエータを有し、制御装置21からの制御信号に従ってミラー角度を変更する。
表示装置19は画像を表示可能なディスプレイを有する装置であって、運転者が通常の運転姿勢で視認可能な場所(例えばダッシュボード、インストールメントパネル付近)に配置され、制御装置21からの制御信号に従って画像を表示する。
表示装置19は画像を表示可能なディスプレイを有する装置であって、運転者が通常の運転姿勢で視認可能な場所(例えばダッシュボード、インストールメントパネル付近)に配置され、制御装置21からの制御信号に従って画像を表示する。
制御装置21は、CPU31,ROM33,RAM35などからなる周知のマイクロコンピュータであって、ROM33に記憶されているプログラムに基づいて後述する各処理を実行する。なお制御装置21は、CPU,ROM,RAM等を備える回路を複数組み合わせて構成されていてもよい。この制御装置21が、本発明における運転支援装置の一例である。また制御装置21は、図示しない周知のリアルタイムクロックを有しており、現在時刻を知ることができる。
制御装置21は、図2に示すように、頭位置・視線方向演算部41、通常動作学習部43、所定動作検出部45、動作目的推定部47、および装置動作制御部49として機能する。なお、頭位置・視線方向演算部41は本発明における頭位置算出手段および視線方向算出手段の一例であり、所定動作検出部45および動作目的推定部47は状態判定手段の一例であり、装置動作制御部49は制御手段の一例である。
頭位置・視線方向演算部41は、運転者撮影カメラ11から取得した画像を画像解析し、運転者の頭部の車両内における位置(以降、単に頭位置とも述べる)と視線方向とを算出する。頭位置・視線方向演算部41はこれらの情報を所定の時間間隔で検出し、通常動作学習部43および所定動作検出部45に出力する。
画像解析により頭位置や視線方向を算出する方法は周知技術を用いることができる。異なる位置に配置された2つのカメラにより撮影された2つの撮影画像を解析することで、頭位置および特徴点の3次元座標を求めてもよい。すなわち運転者撮影カメラ11を2つ設ける構成であってもよい。
なお、運転者の頭位置を算出する際には、頭部の位置そのものを算出するほか、目、鼻、口などの頭部の位置と関連が強い特徴点の位置を算出してそれを頭位置として利用してもよいし、両肩や首などの頭部の動きと関連のある部位の位置を算出して頭位置に替えて用いてもよい。
画像解析によって運転者の頭位置や視線方向を検出する方法としては、例えば特開2008−13023号公報、特開2005−66023号公報、特開2002−352228号公報、特開2007−249280号公報、特開2005−182452号公報記載の方法を用いることができる。
通常動作学習部43は、頭位置・視線方向演算部41が算出した頭位置や視線方向の情報を継続的に取得する。そして一定の期間以上の情報に基づいて、運転者が通常の運転姿勢にあるときの頭位置を算出する。通常の運転姿勢における頭位置の算出方法は特に限定されるものではなく、周知の様々な手法を採ることができる。例えば、車両走行中の所定の期間内に取得された頭位置の平均値から求めることができる。現在時刻に近いタイミングで算出された頭位置ほど重み付けが大きくなるようにして平均値を算出してもよい。
なおこの通常動作学習部43による通常の運転姿勢における頭位置の算出は、後述する機器制御処理や状態判定処理とは別に継続的に実行される。
所定動作検出部45は、頭位置・視線方向演算部41が算出した頭位置や視線方向の情報を継続的に取得する。
所定動作検出部45は、頭位置・視線方向演算部41が算出した頭位置や視線方向の情報を継続的に取得する。
そして、(a)〜(d)のいずれかの状態となっていることを検出する。
(a)頭位置が通常の運転姿勢よりも上方かつドアミラー寄りの位置であり、視線方向がドアミラー方向である状態
(b)頭位置が通常の運転姿勢よりも上方の位置であり、視線方向がルームミラー方向である状態
(c)頭位置が通常の運転姿勢よりも車両中央寄りの位置であり、視線方向が後方である状態
(d)頭位置が通常の運転姿勢よりも前方の位置である状態
以降、上記(a)〜(d)の状態のことを視認動作状態と述べる。
(a)頭位置が通常の運転姿勢よりも上方かつドアミラー寄りの位置であり、視線方向がドアミラー方向である状態
(b)頭位置が通常の運転姿勢よりも上方の位置であり、視線方向がルームミラー方向である状態
(c)頭位置が通常の運転姿勢よりも車両中央寄りの位置であり、視線方向が後方である状態
(d)頭位置が通常の運転姿勢よりも前方の位置である状態
以降、上記(a)〜(d)の状態のことを視認動作状態と述べる。
頭位置が通常の運転姿勢と異なるか否かは、通常動作学習部43にて求めた通常の運転姿勢における位置から所定の閾値以上離れているか否かにより判断する。なお上述した(a)〜(d)における頭位置が、本発明における所定位置の一例であり、(a)〜(c)における視線方向が、本発明における所定方向の一例である。
動作目的推定部47は、所定動作検出部45により視認動作状態であると検出されている期間が所定の閾値以上(例えば2秒以上)となったこと、および、視認動作状態であると検出される頻度が所定の閾値以上となったことのいずれかの条件を満たしたことを判定し、運転者の動作目的を推定する。
頻度が所定の閾値以上となったか否かの具体的な算出方法は特に限定されないが、例えば、最初に視認動作状態と検出されてから所定の期間(例えば10秒)内に所定回数(例えば3回)以上視認動作状態となったことが検出された場合や、視認動作状態となったことが所定回数検出されるまでの期間が所定の閾値以下である場合に、頻度が所定の閾値以上であると判断できる。もちろん、頻度は他の手法により求めてもよい。
運転者の動作目的を推定する具体例を説明する。上記(a)の状態にて上記条件を満たせば、運転者が車両の側方の白線や車止めなどを確認していると推定する。
図3に示すように、通常の運転姿勢の頭位置51Aから運転席のドアミラー53を視認すると車両55の右側後方(矢印A方向)が視認できるが、車両のすぐ側方であり後方の下部にある白線57などは視認しにくい。頭位置を通常の運転姿勢よりも上方かつドアミラー寄りの位置(頭位置51Bの位置)に移動させると、視線方向が矢印Bのようになり白線57を容易に視認できるようになる。
図3に示すように、通常の運転姿勢の頭位置51Aから運転席のドアミラー53を視認すると車両55の右側後方(矢印A方向)が視認できるが、車両のすぐ側方であり後方の下部にある白線57などは視認しにくい。頭位置を通常の運転姿勢よりも上方かつドアミラー寄りの位置(頭位置51Bの位置)に移動させると、視線方向が矢印Bのようになり白線57を容易に視認できるようになる。
また、駐車等で白線57を視認する場合には、ある程度の期間継続的に視認したり、他方向と交互に視線を替えながら高い頻度で視認することが多い。このような理由から、上記のように推定することができる。
また、上記(b)の状態や(c)の状態にて上記条件を満たせば、運転者が車両の後部座席を確認していると推定する。
図4に示すように、通常の運転姿勢の頭位置61Aからルームミラー63を視認すると車両65の後方(矢印C方向)が視認できるが、車両65の後部座席は視認しにくい。頭位置を通常の運転姿勢よりも上方の位置(頭位置61Bの位置)に移動させると、視線方向が矢印Dのようになり後部座席を容易に視認できるようになる。または、頭位置を車両中央寄りとして後方を振り返ることで、後部座席を視認できるようになる。このような理由から、上記のように推定することができる。
図4に示すように、通常の運転姿勢の頭位置61Aからルームミラー63を視認すると車両65の後方(矢印C方向)が視認できるが、車両65の後部座席は視認しにくい。頭位置を通常の運転姿勢よりも上方の位置(頭位置61Bの位置)に移動させると、視線方向が矢印Dのようになり後部座席を容易に視認できるようになる。または、頭位置を車両中央寄りとして後方を振り返ることで、後部座席を視認できるようになる。このような理由から、上記のように推定することができる。
また、上記(d)の状態にて上記条件を満たせば、運転者が左右の見通しの悪い交差点などで身を前に乗り出して左右を確認していると推定する。
装置動作制御部49は、運転者が通常の運転姿勢に戻った後に、動作目的推定部47の推定結果に基づいて、運転者の頭位置が上述した(a)〜(d)の位置にあるときに視認可能である領域を、運転者が通常の運転姿勢にて視認可能となるように所定の機器を制御する。この領域とは、直接的に視認できる領域に限らず、上述したようにドアミラーやルームミラーなどを介して視認可能となる領域も含むものである。
装置動作制御部49は、運転者が通常の運転姿勢に戻った後に、動作目的推定部47の推定結果に基づいて、運転者の頭位置が上述した(a)〜(d)の位置にあるときに視認可能である領域を、運転者が通常の運転姿勢にて視認可能となるように所定の機器を制御する。この領域とは、直接的に視認できる領域に限らず、上述したようにドアミラーやルームミラーなどを介して視認可能となる領域も含むものである。
具体的な制御内容について説明する。推定結果が上記(a)の場合、ミラー角度制御装置17を制御して図3に示すドアミラー53のミラー角度を変更させ、通常の運転姿勢の頭位置51Aにて矢印B方向が視認できるようにする。
また推定結果が(b)または(c)の場合、後部座席撮影カメラ13にて撮影された画像を表示装置19に表示させる。なお、ルームミラー63のミラー角度を制御する装置を車両に設けて、その装置を制御してミラー角度を変更させることで通常の運転姿勢にて後部座席が視認できるようにしてもよい。
また推定結果が(d)の場合、車外撮影カメラ15にて撮影された画像を表示装置19に表示させる。
(2)制御装置21が実行する処理
(2.1)機器制御処理
制御装置21が実行する機器制御処理を、図5に示すフローチャートに基づいて説明する。
(2)制御装置21が実行する処理
(2.1)機器制御処理
制御装置21が実行する機器制御処理を、図5に示すフローチャートに基づいて説明する。
この機器制御処理は、制御装置21を含む運転支援システム1全体に電力が供給されたときに(本実施形態では、イグニッションスイッチがオンされたときに)開始される。
本処理では、まず、運転者撮影カメラ11が撮影した画像を取得し、その取得した画像に基づいて運転者の頭部の位置と視線方向とを算出する(S1)。
本処理では、まず、運転者撮影カメラ11が撮影した画像を取得し、その取得した画像に基づいて運転者の頭部の位置と視線方向とを算出する(S1)。
次に、頭部の位置、および視線方向が、上述した視認動作状態のいずれかと検出されているか否かを判定する(S2)。視認動作状態でなければ(S2:NO)、処理がS1に戻る。
視認動作状態であれば(S2:YES)、上述した(a)〜(d)のいずれの状態であるかをメモリ(RAM35)に記憶し、次に、状態判定処理を行う(S3)。この処理では視認動作状態である期間が所定の閾値以上となったこと、あるいは視認動作状態となる頻度が所定の閾値以上となったことを判定する。そのような判定がなされた場合には、機器制御フラグがONに設定される。この状態判定処理の詳細については後述する。
次に、S3の状態判定処理において、機器制御フラグがONとなったか否かを判定する(S4)。機器制御フラグがONでなければ(S4:NO)、処理がS1に戻る。
機器制御フラグがONとなってれいば(S4:YES)、運転者撮影カメラ11が新たに撮影した画像を取得し頭位置と視線方向とを算出する(S5)。そしてS5にて算出した情報に基づいて、運転者が通常の運転姿勢であるか否かを判定する(S6)。通常の運転姿勢でなければ(S6:NO)、処理がS5に戻る。即ち、視認動作状態から通常の運転姿勢に戻るまで待機する。
機器制御フラグがONとなってれいば(S4:YES)、運転者撮影カメラ11が新たに撮影した画像を取得し頭位置と視線方向とを算出する(S5)。そしてS5にて算出した情報に基づいて、運転者が通常の運転姿勢であるか否かを判定する(S6)。通常の運転姿勢でなければ(S6:NO)、処理がS5に戻る。即ち、視認動作状態から通常の運転姿勢に戻るまで待機する。
通常の運転姿勢になれば(S6:YES)、所定の機器の動作を制御する(S7)。ここではS2にて検出した視認動作状態の上記(a)〜(d)に応じて、ミラー角度制御装置17や表示装置19等を制御する。所定時間経過後、機器の動作を終了し、処理がS1に戻る。
(2.2)状態判定処理
制御装置21が実行する状態判定処理を、図6に示すフローチャートに基づいて説明する。
制御装置21が実行する状態判定処理を、図6に示すフローチャートに基づいて説明する。
この状態判定処理は、機器制御処理のS2において視認動作状態であると判定されたときに開始される。
本処理では、まず経過時間のカウントを開始する(S11)。そして運転者撮影カメラ11が新たに撮影した画像を取得して、上記S1と同様に頭位置と視線方向とを算出し(S12)、視認動作状態(直前のS2にて検出された視認動作状態と同じ状態)であるかを判定する(S13)。
本処理では、まず経過時間のカウントを開始する(S11)。そして運転者撮影カメラ11が新たに撮影した画像を取得して、上記S1と同様に頭位置と視線方向とを算出し(S12)、視認動作状態(直前のS2にて検出された視認動作状態と同じ状態)であるかを判定する(S13)。
このS13において視認動作状態であると判定された場合(S13:YES)、所定時間(例えば2秒)が経過したか否かを判定し(S14)、所定時間が経過していなければ(S14:NO)、処理がS12に戻り、所定時間が経過していれば(S14:YES)、機器制御フラグをONとする(S15)。その後、本処理を終了して、機器制御処理のS4に移行する。
つまり、S12〜S15の処理では視認動作状態であるか否かを繰り返し判定し、視認動作状態であることが検出されてからその状態の継続する期間が所定の閾値(所定時間)以上となった場合に機器制御フラグをONとする。
なおS13にて視認動作状態ではないと判定されると(S13:NO)、その判定結果をメモリに記憶させる(S16)。S13から移行した場合は、メモリに視認動作状態でないことを記憶させる。
次に、視認動作状態となった回数が予め設定された値以上となったか否かを判定する(S17)。ここでは、メモリに記憶された判定結果に基づき、視認動作状態でない状態から視認動作状態となった回数をカウントし、設定された値(例えば3)以上となったか否かを判定する。
カウントした回数が設定された値以上であれば(S17:YES)、機器制御フラグをONとし(S15)、本処理を終了する。一方、設定された値以上でなければ(S17:NO)、所定時間(例えば10秒)が経過したか否かを判定し(S18)、所定時間が経過していれば(S18:YES)、機器制御フラグをONとすることなく本処理を終了する。
また、所定時間が経過していなければ(S18:NO)、再度、運転者撮影カメラ11が新たに撮影した画像を取得して頭位置と視線方向とを算出し(S19)、直前のS2にて検出された視認動作状態と同じ視認動作状態であるか否かを判定し(S20)、処理がS16に戻り、判定結果を記憶する。
つまり、S15〜S20では、所定時間が経過するまでに視認動作状態となった回数が設定された値以上となった場合、即ち、視認動作状態となる頻度が所定の閾値以上となった場合に機器制御フラグをONとする。
(3)効果
本実施例の運転支援システム1は、運転者が視認動作状態のときに視認可能である領域、具体的には車両の側方の白線や車止め、車両の後部座席、および交差点の左右方向といった通常の運転姿勢では視認が困難な領域を、通常の運転姿勢にて視認できる。そのため、上述した領域を視認するために無理な体勢をとる必要がなくなり、また通常の運転姿勢を維持できることから運転操作のミスや事故の発生を抑制できる。
本実施例の運転支援システム1は、運転者が視認動作状態のときに視認可能である領域、具体的には車両の側方の白線や車止め、車両の後部座席、および交差点の左右方向といった通常の運転姿勢では視認が困難な領域を、通常の運転姿勢にて視認できる。そのため、上述した領域を視認するために無理な体勢をとる必要がなくなり、また通常の運転姿勢を維持できることから運転操作のミスや事故の発生を抑制できる。
また、視認動作状態であることが検出されてからその状態の継続する期間が所定の閾値以上となった場合、および視認動作状態となる頻度が所定の閾値以上となった場合にのみミラー角度制御装置17や表示装置19等を制御するため、運転者が所定の領域の視認を意図していない場合にまで機器を作動させてしまうことを抑制できる。
運転中には頭部を通常の姿勢から移動することが間々あり、また所定の領域を一瞬だけ確認したい場合などもあるが、そのような場合には機器が作動しない。よって、意図しない機器の動作によって運転者を煩わせてしまうことが抑制できる。さらに、不要なエネルギーの消費を抑制できる。
(4)変形例
以上、本発明の実施例について説明したが、本発明は上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
以上、本発明の実施例について説明したが、本発明は上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
例えば、上記実施例においては、視認動作状態であることを頭位置と視線方向の両方に基づいて検出する構成を例示したが、視線方向は考慮せず、頭位置のみに基づいて視認動作状態であることを検出する構成であってもよい。
また上記実施例においては、機器制御処理のS6において、運転者が通常の運転姿勢に戻ったか否かを判定する構成を例示したが、運転者が通常の運転姿勢に戻るか否かを判断せず、状態判定処理のS15の機器制御フラグがONに設定されたことをトリガとしてミラー角度制御装置17や表示装置19等を制御する構成であってもよい。また、上記S6において、運転者が通常の運転姿勢に戻ることに変えて、運転者が視認動作状態でなくなったか否かを判断する構成としてもよい。
また、運転者が視認動作状態であるときに視認可能である領域を運転者が通常の運転姿勢にて視認可能となるようにする機器として、ミラー角度制御装置17および表示装置19を例示したが、それ以外の機器であってもよい。
また、通常動作学習部43が、運転中にドアミラーおよびルームミラーを視認する際の頭位置や視線方向を学習するように構成し、所定動作検出部45が、新たに撮影した画像から算出した頭位置や視線方向が学習したものと相違する場合に、視認動作状態であると判定するように構成してもよい。
また上記実施例においては、通常の運転姿勢における頭位置は通常動作学習部43にて学習する構成を例示したが、予め定められた位置を通常の運転姿勢における頭位置とし、学習をしない構成であってもよい。
1…運転支援システム、11…運転者撮影カメラ、13…後部座席撮影カメラ、15…車外撮影カメラ、17…ミラー角度制御装置、19…表示装置、21…制御装置、41…頭位置・視線方向演算部、43…通常動作学習部、45…所定動作検出部、47…動作目的推定部、49…装置動作制御部、51A…頭位置、51B…頭位置、53…ドアミラー、55…車両、57…白線、61A…頭位置、61B…頭位置、63…ルームミラー、65…車両
Claims (6)
- 車両の運転者を撮影した画像を画像解析し、前記運転者の頭部の前記車両内における位置を算出する頭位置算出手段と、
前記頭位置算出手段により算出された前記頭部の位置が通常の運転姿勢における位置とは相違する所定位置にある期間が所定の閾値以上となったこと、および、前記頭位置算出手段により算出された前記頭部の位置が前記所定位置となる頻度が所定の閾値以上となったこと、のうちのいずれかの条件を満たしたことを判定する状態判定手段と、
前記状態判定手段により前記条件を満たしたと判定された場合に、前記頭部が前記所定位置にあるときに視認可能である領域を、前記運転者が前記通常の運転姿勢にて視認可能となるように所定の機器を制御する制御手段と、を備える
ことを特徴とする運転支援装置。 - 前記制御手段は、前記状態判定手段により前記条件を満たしたと判定された場合であって、かつ前記頭位置算出手段により算出された前記頭部の位置が前記所定位置でなくなったときに、前記制御を行う
ことを特徴とする請求項1に記載の運転支援装置。 - 前記所定の機器とは、前記車両に搭載されるミラーの角度を制御するミラー角度制御装置であり、
前記制御手段は、前記頭部が前記所定位置にあるときに視認可能である領域を、前記運転者が前記通常の運転姿勢において前記ミラーを介して視認可能となるように前記ミラー角度制御装置を制御する
ことを特徴とする請求項1または請求項2に記載の運転支援装置。 - 前記所定の機器とは、前記頭部が前記所定位置であるときに視認可能である領域を撮影する撮影装置により撮影された画像を表示し、前記運転者が前記通常の運転姿勢において視認可能である位置に配置される表示装置であり、
前記制御手段は、前記表示装置に前記画像を表示させる
ことを特徴とする請求項1または請求項2に記載の運転支援装置。 - 前記車両の運転者を撮影した画像を画像解析し、前記運転者の視線方向を算出する視線方向算出手段を備え、
前記状態判定手段により判定される前記条件は、前記頭部が前記所定位置にあり、かつ前記視線方向算出手段により算出された前記視線方向が前記所定位置に対応する所定方向である期間が所定の閾値以上となったこと、および、前記頭部が前記所定位置となり、かつ前記視線方向算出手段により算出された前記視線方向が前記所定方向となる頻度が所定の閾値以上となったこと、のうちのいずれかである
ことを特徴とする請求項1から請求項4のいずれか1項に記載の運転支援装置。 - コンピュータを、請求項1から請求項5のいずれか1項に記載の運転支援装置を構成する各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012018685A JP2013154836A (ja) | 2012-01-31 | 2012-01-31 | 運転支援装置およびプログラム |
PCT/JP2013/000498 WO2013114871A1 (ja) | 2012-01-31 | 2013-01-30 | 運転支援装置及び運転支援方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012018685A JP2013154836A (ja) | 2012-01-31 | 2012-01-31 | 運転支援装置およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013154836A true JP2013154836A (ja) | 2013-08-15 |
Family
ID=48904916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012018685A Pending JP2013154836A (ja) | 2012-01-31 | 2012-01-31 | 運転支援装置およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2013154836A (ja) |
WO (1) | WO2013114871A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016041576A (ja) * | 2014-08-13 | 2016-03-31 | センソリー・インコーポレイテッド | 自動化された死角の可視化のための技術 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11230284B2 (en) * | 2017-03-17 | 2022-01-25 | Hitachi Astemo, Ltd. | Driving assistance apparatus and driving assistance method |
CN109034137B (zh) * | 2018-09-07 | 2019-11-19 | 百度在线网络技术(北京)有限公司 | 头部姿态标记更新方法、装置、存储介质和终端设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001260776A (ja) * | 2000-03-22 | 2001-09-26 | Mazda Motor Corp | 車両用障害物警報装置 |
JP2005062911A (ja) * | 2003-06-16 | 2005-03-10 | Fujitsu Ten Ltd | 車両制御装置 |
JP2009023565A (ja) * | 2007-07-20 | 2009-02-05 | Denso It Laboratory Inc | 運転支援装置および運転支援方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002274265A (ja) * | 2001-03-22 | 2002-09-25 | Honda Motor Co Ltd | ミラー調整装置 |
-
2012
- 2012-01-31 JP JP2012018685A patent/JP2013154836A/ja active Pending
-
2013
- 2013-01-30 WO PCT/JP2013/000498 patent/WO2013114871A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001260776A (ja) * | 2000-03-22 | 2001-09-26 | Mazda Motor Corp | 車両用障害物警報装置 |
JP2005062911A (ja) * | 2003-06-16 | 2005-03-10 | Fujitsu Ten Ltd | 車両制御装置 |
JP2009023565A (ja) * | 2007-07-20 | 2009-02-05 | Denso It Laboratory Inc | 運転支援装置および運転支援方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016041576A (ja) * | 2014-08-13 | 2016-03-31 | センソリー・インコーポレイテッド | 自動化された死角の可視化のための技術 |
Also Published As
Publication number | Publication date |
---|---|
WO2013114871A1 (ja) | 2013-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6470335B2 (ja) | 車両の表示システム及び車両の表示システムの制御方法 | |
CN108639055B (zh) | 车辆的显示系统及车辆的显示系统的控制方法 | |
JP5099451B2 (ja) | 車両周辺確認装置 | |
US10166922B2 (en) | On-vehicle image display device, on-vehicle image display method for vehicle, and on-vehicle image setting device | |
JP6197814B2 (ja) | 車両用表示装置 | |
EP2551835A1 (en) | Processing device for assisting driving of vehicle, vehicle driving assisting device, and vehicle device | |
CN101313576A (zh) | 车辆周边显示装置 | |
US11807277B2 (en) | Driving assistance apparatus | |
JP5092776B2 (ja) | 視線方向検出装置及び視線方向検出方法 | |
EP1452390A2 (en) | Apparatus and method for monitoring the immediate surroundings of a vehicle | |
WO2014034065A1 (ja) | 移動体警告装置、および移動体警告方法 | |
JP2016055801A (ja) | 車載表示装置 | |
JP2010130647A (ja) | 車両周辺確認装置 | |
JP5233977B2 (ja) | 乗員姿勢推定装置 | |
JPH0976815A (ja) | 運転操作補助装置 | |
JP5402047B2 (ja) | 死角表示装置 | |
JP2018132974A (ja) | 状態検出装置、状態検出方法、及びプログラム | |
JP2009251761A (ja) | 運転支援システム | |
JP2013154836A (ja) | 運転支援装置およびプログラム | |
JP5845909B2 (ja) | 障害物警報装置 | |
JP2008162550A (ja) | 外部環境表示装置 | |
JP5754605B2 (ja) | 障害物警報装置 | |
JP5787168B2 (ja) | 障害物警報装置 | |
JP2021018665A (ja) | 運転支援装置 | |
WO2019167109A1 (ja) | 車両用表示制御装置および表示制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140408 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140805 |