JP5482737B2 - Visual load amount estimation device, driving support device, and visual load amount estimation program - Google Patents
Visual load amount estimation device, driving support device, and visual load amount estimation program Download PDFInfo
- Publication number
- JP5482737B2 JP5482737B2 JP2011144413A JP2011144413A JP5482737B2 JP 5482737 B2 JP5482737 B2 JP 5482737B2 JP 2011144413 A JP2011144413 A JP 2011144413A JP 2011144413 A JP2011144413 A JP 2011144413A JP 5482737 B2 JP5482737 B2 JP 5482737B2
- Authority
- JP
- Japan
- Prior art keywords
- visual
- load amount
- visual load
- image
- driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000000007 visual effect Effects 0.000 title claims description 157
- 238000000034 method Methods 0.000 claims description 75
- 230000008569 process Effects 0.000 claims description 74
- 238000012545 processing Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 5
- 208000003464 asthenopia Diseases 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 10
- 208000003098 Ganglion Cysts Diseases 0.000 description 6
- 208000005400 Synovial Cyst Diseases 0.000 description 6
- 241000282412 Homo Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
本発明は、運転時における運転者の目の疲れやすさを表す視認負荷量を推定する視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラムに関する。 The present invention relates to a visual load amount estimation device, a driving support device, and a visual load amount estimation program for estimating a visual load amount that represents how easily a driver's eyes are tired during driving.
車両の運転者の疲労の程度を推定する装置として、運転者の視線の移動を検出し、ミラーの確認回数が少なくなった場合等に運転者が疲れている旨の出力を行うものが知られている（例えば、特許文献１参照）。 As a device for estimating the degree of fatigue of the driver of the vehicle, a device that detects the driver's line of sight and outputs that the driver is tired when the number of mirror confirmations is reduced is known. (For example, refer to Patent Document 1).
ところで、上記装置では、運転者の疲労を検出するために、運転者を撮像するカメラが必要となる。このカメラは、車両のステアリング付近に、運転者に向けて設置される。そのため、このカメラでは、運転者の顔しか撮像することができず、走行環境の中の何が運転者の疲労に影響を与えているかを推定することはできない。即ち、運転者が走行している環境が、運転者に疲労を与えやすい環境であるか否かを推定することはできない。 By the way, in the said apparatus, in order to detect a driver | operator's fatigue, the camera which images a driver | operator is needed. This camera is installed in the vicinity of the steering of the vehicle toward the driver. Therefore, this camera can only capture the driver's face and cannot estimate what is affecting the driver's fatigue in the driving environment. That is, it cannot be estimated whether the environment in which the driver is traveling is an environment in which the driver is easily fatigued.
そこで、このような問題点を鑑み、運転時における運転者の目の疲れやすさを表す視認負荷量を推定する視認負荷量推定装置において、走行環境がどの程度疲れやすい状況であるかを自車両の進行方向を撮像した画像から推定できるようにすることを本発明の目的とする。 Accordingly, in view of such a problem, in the visual load estimation device that estimates the visual load that represents the ease of fatigue of the driver's eyes during driving, it is determined how much the driving environment is likely to get tired. It is an object of the present invention to make it possible to estimate the traveling direction of the image from the captured image.
かかる目的を達成するために成された第１の構成の視認負荷量推定装置において、撮像画像取得手段は、自車両の進行方向における撮像画像を取得し、生理的注視位置推定手段は、撮像画像中において、運転者が生理的に注視してしまう位置を推定する。そして、運転時視認位置推定手段は、撮像画像中において、運転者が自車両を運転する際に視認すべき位置を推定し、視認負荷量推定手段は、注視してしまう位置と視認すべき位置との位置関係に基づいて、視認負荷量を推定する。 In the visual load amount estimation device having the first configuration configured to achieve the object, the captured image acquisition unit acquires a captured image in the traveling direction of the host vehicle, and the physiological gaze position estimation unit includes the captured image. The position where the driver gazes physiologically is estimated. The driving visual position estimation means estimates a position to be visually recognized when the driver drives the host vehicle in the captured image, and the visual load amount estimation means is a position to be watched and a position to be visually recognized. The visual load amount is estimated on the basis of the positional relationship.
すなわち、本発明は、運転者が生理的に注視してしまう位置と視認すべき位置とが一致する場合には、運転者は自然に視認すべき位置を視認するため負荷（視認負荷量）が小さいが、注視してしまう位置と視認すべき位置とが離れている場合には、運転者は生理的な反応を抑制して、意図的に視認すべき位置を視認する必要があり、このときに負荷（視認負荷量）が大きくなるとの考え方に基づく。 That is, according to the present invention, when the position at which the driver has gazed physiologically matches the position to be visually recognized, the driver visually recognizes the position to be visually recognized, so that the load (viewing load amount) is increased. If it is small, but the position to watch is far from the position to be visually recognized, the driver needs to suppress the physiological reaction and visually recognize the position to be visually recognized. Based on the idea that the load (viewing load amount) will increase.
このような視認負荷量推定装置によれば、自車両の進行方向を撮像した画像から視認負荷量を推定することができるので、走行環境がどの程度疲れやすい状況であるかを推定することができる。 According to such a visual load amount estimation device, since the visual load amount can be estimated from an image obtained by capturing the traveling direction of the host vehicle, it is possible to estimate how easily the driving environment is fatigued. .
なお、生理的注視位置推定手段の具体的な構成としては、例えば、撮像画像中の輝度が高い領域や、彩度が高い領域、動きや点滅などがある領域等、人間の視覚特性上、注視してしまいがちな位置を画像処理によって抽出することで運転者が生理的に注視してしまう位置を推定するようにすればよい。また、運転時視認位置推定手段の具体的な構成としては、撮像画像中において白線が延びる方向やオプティカルフローに基づき撮像画像中の無限遠点（消失点、自車両の進行方向）を検出し、この無限遠点を中心とする所定の領域を視認すべき位置に設定したり、車速や舵角等のセンサ値から撮像画像中の自車両の進行方向を推定し、この進行方向の周囲を視認すべき位置に設定したりする構成を採用すればよい。 Note that the specific configuration of the physiological gaze position estimation means is, for example, a gaze based on human visual characteristics such as a high luminance area, a high saturation area, a movement or blinking area, etc. in the captured image. It is only necessary to estimate the position at which the driver is gazing physiologically by extracting the position that is likely to occur by image processing. In addition, as a specific configuration of the driving visual recognition position estimating means, an infinite point (disappearance point, traveling direction of the host vehicle) in the captured image is detected based on the direction in which the white line extends in the captured image and the optical flow, A predetermined area centered on this infinite point is set as a position to be visually recognized, and the traveling direction of the host vehicle in the captured image is estimated from sensor values such as the vehicle speed and the steering angle, and the surroundings of the traveling direction are visually confirmed. What is necessary is just to employ | adopt the structure set to the position which should be.
ところで、上記視認負荷量推定装置においては、第２の構成のように、生理的注視位置推定手段は、人間の初期視覚系における処理プロセスに基づいて、視覚的に顕著な位置を抽出することで、生理的に注視してしまう位置を推定するようにしてもよい。 By the way, in the visual load estimation apparatus, as in the second configuration, the physiological gaze position estimation means extracts a visually significant position based on a processing process in the human initial visual system. Alternatively, the position at which the user gazes physiologically may be estimated.
このような視認負荷量推定装置によれば、人間の視覚的な処理プロセスに基づいて撮像画像を画像処理し、生理的に注視してしまう位置を推定するので、人間の視覚の特性に対応した正確な位置を推定することができる。よって、視認負荷量の検出精度を向上させることができる。 According to such a visual load estimation device, the captured image is image-processed based on the human visual processing process, and the position at which the user gazes physiologically is estimated. An accurate position can be estimated. Therefore, the detection accuracy of the visual load can be improved.
また、上記視認負荷量推定装置においては、第３の構成のように、運転時視認位置推定手段は、自車両の走行速度に応じて視認すべき位置の範囲の広さを設定するようにしてもよい。 In the visual load estimation device, as in the third configuration, the driving visual position estimation means sets the range of the position range to be visually recognized according to the traveling speed of the host vehicle. Also good.
このような視認負荷量推定装置によれば、走行速度に応じて視野角の広さ（動体視力）が変化するという人間の特性を利用して視認すべき位置の範囲の広さを設定することができる。なお、視認すべき位置の範囲の広さについては、走行速度が速くなるにつれて狭く設定すればよい。 According to such a visual load estimation device, the range of the position to be visually recognized is set using the human characteristic that the width of the viewing angle (moving body visual acuity) changes according to the traveling speed. Can do. In addition, what is necessary is just to set narrowly about the breadth of the range of the position which should be visually recognized as driving speed becomes quick.
さらに、上記視認負荷量推定装置においては、第４の構成のように、視認負荷量推定手段は、注視してしまう位置と視認すべき位置との差に応じて視認負荷量を演算するようにしてもよい。 Further, in the visual load amount estimation device, as in the fourth configuration, the visual load amount estimation means calculates the visual load amount according to the difference between the gaze position and the position to be viewed. May be.
このような視認負荷量推定装置によれば、視認負荷量を良好に演算することができる。
加えて、上記視認負荷量推定装置においては、第５の構成のように、生理的注視位置推定手段は、撮像画像中の画素毎に注視してしまう度合いに応じた値を対応付けた生理的注視位置画像を生成することで、画素毎に注視してしまう度合いを推定し、運転時視認位置推定手段は、撮像画像中の画素毎に視認すべき度合いに応じた値を対応付けた運転時視認位置画像を生成することで、画素毎に視認すべき度合いを推定し、視認負荷量推定手段は、生理的注視位置画像の各画素に対応付けられた値から、運転時視認位置画像の各画素に対応付けられた値をそれぞれ減算して生成される視認負荷画像に基づいて視認負荷量を演算するようにしてもよい。
According to such a visual load amount estimation device, the visual load amount can be favorably calculated.
In addition, in the visual load estimation device, as in the fifth configuration, the physiological gaze position estimation unit associates a physiological value with a value corresponding to the degree of gaze for each pixel in the captured image. By generating the gaze position image, the degree of gaze for each pixel is estimated, and the driving visual position estimation means is associated with a value corresponding to the degree to be visually recognized for each pixel in the captured image By generating a visual recognition position image, the degree of visual recognition for each pixel is estimated, and the visual load amount estimation means calculates each of the driving visual recognition position images from the values associated with each pixel of the physiological gaze position image. The visual load amount may be calculated based on the visual load image generated by subtracting the values associated with the pixels.
このような視認負荷量推定装置によれば、注視してしまう位置や視認すべき位置が撮像画像中に分散して存在する場合であっても、良好に視認負荷量を演算することができる。なお、本発明において視認負荷画像から視認負荷量を演算する際には、例えば視認負荷画像の平均輝度（各画素の値の平均値）や、視認すべき位置の中心からの各画素までの距離に応じて設定される加重平均の和などを用いればよい。 According to such a visual load amount estimation device, it is possible to calculate the visual load amount satisfactorily even when the gaze position and the position to be visually recognized are dispersed in the captured image. In the present invention, when the visual load amount is calculated from the visual load image, for example, the average luminance of the visual load image (the average value of the values of each pixel) or the distance from the center of the position to be visually recognized to each pixel. The sum of weighted averages set according to
また、上記視認負荷量推定装置においては、第６の構成のように、注視してしまう位置と視認すべき位置との和に応じて撮像画像中における運転者の視線位置を検出する視線位置検出手段を備えていてもよい。 Further, in the visual load estimation device, as in the sixth configuration, eye gaze position detection that detects the gaze position of the driver in the captured image according to the sum of the gaze position and the position to be visually recognized. Means may be provided.
このような視認負荷量推定装置によれば、運転者の視線位置を推定することができる。
次に、上記目的を達成するために成された第７の構成として運転支援装置においては、 車両運転時の運転者における目の疲れやすさを表す視認負荷量を推定する視認負荷量推定手段と、視認負荷量に応じた支援を行う支援手段と、を備え、視認負荷量推定手段は、上記記載の視認負荷量推定装置として構成されている。
According to such a visual load amount estimation device, the driver's line-of-sight position can be estimated.
Next, in a driving support device as a seventh configuration made to achieve the above object, a visual load amount estimating means for estimating a visual load amount representing ease of eye fatigue in the driver during vehicle driving, Supporting means for performing support according to the visual load amount, and the visual load amount estimating means is configured as the visual load amount estimating device described above.
このような運転支援装置によれば、視認負荷量に応じて運転支援を行うことができる。
また、上記目的を達成するために成された第８の構成としての視認負荷量推定プログラムは、コンピュータを、上記記載の視認負荷量推定装置として機能させるための視認負荷量推定プログラムであることを特徴としている。
According to such a driving assistance device, driving assistance can be performed according to the visual load.
Further, the visual load amount estimation program as the eighth configuration made to achieve the above object is a visual load amount estimation program for causing a computer to function as the visual load amount estimation device described above. It is a feature.
このような視認負荷量推定プログラムによれば、上記視認量推定装置と同様の効果を教授することができる。
なお、
車両に搭載され、車両運転時における運転者の視線位置を推定する視線位置推定装置（運転支援装置１）であって、
自車両の進行方向における撮像画像を取得する撮像画像取得手段（Ｓ１１０）と、
撮像画像中において、運転者が生理的に注視してしまう位置を推定する生理的注視位置推定手段（Ｓ１２０）と、
撮像画像中において、運転者が自車両を運転する際に視認すべき位置を推定する運転時視認位置推定手段（Ｓ１３０）と、
注視してしまう位置と視認すべき位置との位置関係に基づいて、視線位置を推定する視線位置推定手段（Ｓ１４０）と、
を備えたことを特徴とする視線位置推定装置、
としてもよい。
According to such a visual load estimation program, it is possible to teach the same effect as the visual estimation device.
In addition,
A gaze position estimation device (driving support device 1) that is mounted on a vehicle and estimates a driver's gaze position when driving the vehicle,
Captured image acquisition means (S110) for acquiring a captured image in the traveling direction of the host vehicle;
A physiological gaze position estimating means (S120) for estimating a position where the driver gazes physiologically in the captured image;
A driving-time visual recognition position estimating means (S130) for estimating a position to be visually recognized when the driver drives the vehicle in the captured image;
Line-of-sight position estimation means (S140) for estimating the line-of-sight position based on the positional relationship between the gaze position and the position to be visually recognized;
A gaze position estimation device characterized by comprising:
It is good.
この構成では、運転者が生理的に注視してしまう位置と、運転者が意識的に視認しようとする位置との位置関係を鑑みて、運転者の視線位置を推定することができる。よって、運転者が生理的に注視してしまう位置、および運転者が意識的に視認しようとする位置のうちの一方を鑑みて運転者の視線位置を推定する構成と比較して、より精度よく、運転者の特性を鑑みて運転者の視線位置を推定することができる。 In this configuration, the driver's line-of-sight position can be estimated in view of the positional relationship between the position at which the driver gazes physiologically and the position at which the driver is consciously viewing. Therefore, it is more accurate than the configuration in which the driver's line-of-sight position is estimated in view of one of the position at which the driver gazes physiologically and the position at which the driver consciously tries to visually recognize. The driver's line-of-sight position can be estimated in view of the driver's characteristics.
以下に本発明にかかる実施の形態を図面と共に説明する。
［本実施形態の構成］
図１は本発明が適用された運転支援装置１（視認負荷量推定装置）の概略構成を示すブロック図である。運転支援装置１は、例えば乗用車等の車両に搭載され、この車両の運転者による運転操作を支援する装置である。
Embodiments according to the present invention will be described below with reference to the drawings.
[Configuration of this embodiment]
FIG. 1 is a block diagram showing a schematic configuration of a driving support device 1 (visual load amount estimation device) to which the present invention is applied. The driving support device 1 is a device that is mounted on a vehicle such as a passenger car, for example, and supports a driving operation by a driver of the vehicle.
運転支援装置１は、図１に示すように、演算部１０と、カメラ２０と、報知部３０とを備えている。カメラ２０は、車両の進行方向（ここでは前方）における道路およびその周囲等の運転者が運転時に視認する範囲が撮像範囲となるよう配置されており、得られた撮像画像を演算部１０に送る。 As shown in FIG. 1, the driving support device 1 includes a calculation unit 10, a camera 20, and a notification unit 30. The camera 20 is arranged such that a range such as a road in the traveling direction of the vehicle (frontward here) and the surrounding area is visually recognized by the driver when driving, and the obtained captured image is sent to the arithmetic unit 10. .
演算部１０は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ等を有する周知のマイコンを備えて構成されており、ＲＯＭ等の記録されたプログラムに基づく処理を実施する。例えば、演算部１０は、視認負荷量推定プログラムを実施することで、車両運転時における運転者の目の疲れやすさを表す視認負荷量を推定する。そして演算部１０は、視認負荷量に応じた支援を行うための出力を行う（支援手段）。例えば、視認負荷量の瞬時値が基準となる閾値以上である場合、或いは視認負荷量と時間との積分値が基準となる閾値以上である場合等に、運転者に対して注意や休憩を促す報知を行うよう出力を行う。 The arithmetic unit 10 includes a known microcomputer having a CPU, a ROM, a RAM, and the like (not shown), and performs processing based on a recorded program such as a ROM. For example, the calculating part 10 estimates the visual load amount showing the ease of fatigue | exhaustion of a driver | operator's eyes at the time of a vehicle drive by implementing the visual load amount estimation program. And the calculating part 10 performs the output for performing the support according to visual recognition load amount (support means). For example, when the instantaneous value of the visual load amount is equal to or greater than a reference threshold value, or when the integrated value of the visual load amount and time is equal to or greater than the reference threshold value, the driver is cautioned or rested. The output is performed so as to perform the notification.
報知部３０は、例えば図示しない表示部やスピーカを備えて構成されており、演算部１０からの指令に応じた報知を画像や音で行う。
［本実施形態の処理］
運転支援装置１において実施される処理について説明する。図２（ａ）は、演算部１０が視認負荷量推定プログラムを実行することで実施する視認負荷量推定処理（視認負荷量推定手段）を示すフローチャートである。
The notification unit 30 includes, for example, a display unit and a speaker (not shown), and performs notification according to a command from the calculation unit 10 with images and sounds.
[Process of this embodiment]
Processing performed in the driving support device 1 will be described. FIG. 2A is a flowchart showing a visual load amount estimation process (visual load amount estimation means) performed by the calculation unit 10 executing the visual load amount estimation program.
視認負荷量推定処理では、まず、カメラ２０による撮像画像（前方画像）を取得する（Ｓ１１０：撮像画像取得手段）。そして、ボトムアップ過程の推定処理（Ｓ１２０：生理的注視位置推定手段）、トップダウン過程の推定処理（Ｓ１３０：運転時視認位置推定手段）、視認負荷量の推定処理（Ｓ１４０：視認負荷量推定手段）を順に実施し、これらの処理が終了すると、視認負荷量推定処理を終了する。 In the visual load amount estimation process, first, an image captured by the camera 20 (front image) is acquired (S110: captured image acquisition means). Then, bottom-up process estimation processing (S120: physiological gaze position estimation means), top-down process estimation processing (S130: driving visual position estimation means), visual load amount estimation processing (S140: visual load amount estimation means) ) In order, and when these processes are finished, the visual load amount estimation process is finished.
ここで、図２（ｂ）は、ボトムアップ過程の推定処理を示すフローチャートである。また、図３は、生理的注視位置画像の導出過程を示す概要図である。
ボトムアップ過程の推定処理は、撮像画像中において、運転者が生理的に注視してしまう位置を推定する処理である。この処理では、人間の初期視覚系における処理プロセスに基づいて、視覚的に顕著な位置を抽出することで、生理的に注視してしまう位置を推定する。この処理により、撮像画像中の画素毎に注視してしまう度合いに応じた値を対応付けた生理的注視位置画像を生成する。
Here, FIG. 2B is a flowchart showing the estimation process of the bottom-up process. FIG. 3 is a schematic diagram showing a process of deriving a physiological gaze position image.
The bottom-up process estimation process is a process of estimating a position at which the driver gazes physiologically in a captured image. In this process, based on a processing process in the human initial visual system, a visually noticeable position is extracted to estimate a position that is physiologically watched. By this processing, a physiological gaze position image in which a value corresponding to the degree of gaze for each pixel in the captured image is associated is generated.
生理的注視位置画像を得るためのボトムアップ過程の推定処理では、まず、輝度情報を取得する（Ｓ２１０）。なお、Ｓ２１０〜Ｓ２３０の処理については、撮像画像中の画素毎に処理が実施される。 In the bottom-up process estimation process for obtaining a physiological gaze position image, first, luminance information is acquired (S210). In addition, about the process of S210-S230, a process is implemented for every pixel in a captured image.
Ｓ２１０の処理では、まず入力画像を色チャンネルに分解し、人間が有する錐体細胞の出力に対応する赤、緑、青の三原色を得る。撮像画像の赤チャンネル、緑チャンネル、青チャンネルをそれぞれＩR、ＩG ＩB、で表すと、人間が有する捍体細胞が検出する輝度成分ＩIは、式（１）により定義される。 In the process of S210, first, the input image is decomposed into color channels, and three primary colors of red, green, and blue corresponding to the output of the cone cells that humans have are obtained. When the red channel, the green channel, and the blue channel of the captured image are represented by I R and I G I B , the luminance component I I detected by the rod cells that humans have is defined by Equation (1).
続いて、色差情報（人が有する神経節細胞の応答）を抽出する（Ｓ２２０）。赤-緑神経節細胞の応答ＧRGは、次式に示すように、ＩRとＩGとの差より求める。 Subsequently, color difference information (response of a ganglion cell that a person has) is extracted (S220). The response G RG of the red-green ganglion cell is obtained from the difference between I R and I G as shown in the following equation.
一方、黄色に対応する反応ＩYは、赤錐体出力と緑錐体出力の平均値として算出し、これを用いて青-黄神経節細胞の応答ＧBYを得る。 On the other hand, the response I Y corresponding to yellow is calculated as an average value of the red cone output and the green cone output, and the response G BY of the blue-yellow ganglion cell is obtained using this.
次に、勾配情報（方向に応じた各細胞の応答）を抽出する（Ｓ２３０）。方位選択性（特定の傾きを持った情報だけに選択的に反応する性質）を示す単純型細胞は、視覚情報を傾き成分に分解する役割を担う。単純型細胞の受容野は、式（５）から式（８）に示すガボール関数で近似されることが知られている。これらを空間フィルタとしてＩIとの畳み込み演算を行うことで、４方向の傾き成分Ｓθが算出される。これを式（９）に示す。ただし、式中の記号「＊」は、畳み込み演算子を表す。 Next, gradient information (response of each cell according to the direction) is extracted (S230). Simple cells exhibiting orientation selectivity (a property of selectively reacting only to information having a specific inclination) play a role of decomposing visual information into inclination components. It is known that the receptive field of simple cells is approximated by the Gabor function shown in equations (5) to (8). By using these as spatial filters and performing a convolution operation with I I , a gradient component Sθ in four directions is calculated. This is shown in equation (9). However, the symbol “*” in the expression represents a convolution operator.
捍体細胞、神経節細胞、および単純型細胞の応答を算出した後は、側抑制型の空間荷重を算出する。側抑制型の空間荷重には、周知のガウシアンピラミッドを利用する。ここでは、ガウシアンピラミッドの各レベルで上記の捍体細胞、神経節細胞、および単純型細胞の応答を算出し、異なるレベル間でオン中心-オフ周辺型反応と、オフ中心-オン周辺型反応を算出することで、各細胞の応答の空間的なコントラスト（ＭI、ＭRG、ＭBY、Ｍθ）を得る。 After calculating the responses of rod cells, ganglion cells, and simple cells, the side-suppressed spatial load is calculated. A well-known Gaussian pyramid is used for the side restraint type spatial load. Here, the response of the above rod cells, ganglion cells, and simple cells is calculated at each level of the Gaussian pyramid, and the on-center-off peripheral response and the off-center-on-peripheral response between different levels are calculated. By calculating, a spatial contrast (M I , M RG , M BY , Mθ) of the response of each cell is obtained.
最後に、生理的注視位置画像を算出する（Ｓ２４０）。この処理では、捍体細胞由来の情報、神経節細胞由来の情報、および単純型細胞由来の情報に対して、次式に示す線形和を求める。 Finally, a physiological gaze position image is calculated (S240). In this process, a linear sum represented by the following equation is obtained for information derived from rod cells, information derived from ganglion cells, and information derived from simple cells.
ただし、ＭI、ＭRG、ＭBY、ＭθはそれぞれＩI、ＧRG、ＧBY、Ｓθにおける側抑制型の空間荷重の出力（例えば、コントラスト、目立ちやすさを数値化したもの）を示す。また、αi（ｉ∈Ｉ，ＲＧ，ＢＹ，０，４５，９０，１３５）は線形結合の係数を表す。 However, M I , M RG , M BY , and Mθ indicate the side-suppressed spatial load outputs (for example, the values of contrast and conspicuousness in numerical values) at I I , G RG , G BY , and Sθ, respectively. Α i (i∈I, RG, BY, 0, 45, 90, 135) represents a coefficient of linear combination.
なお、αiについては、合計が１になるよう実験的に求められる任意の値とすることができる。例えば、αI＝０．２〜０．５、αRG＝０．５〜０．７５、α0，α45°，α90°，α135°＝０．０００５〜０．００８、と設定するとよい。 Note that α i can be set to an arbitrary value experimentally obtained so that the sum is 1. For example, if α I = 0.2 to 0.5, α RG = 0.5 to 0.75, α 0 , α 45 °, α 90 °, α 135 ° = 0.0005 to 0.008, Good.
以上の処理により、人間が生理的に注視してしまう度合い（顕著性）を表した空間マップ（生理的注視位置画像）が得られ、ボトムアップ過程の推定処理を終了する。ここで、ボトムアップ過程の出力例を図４に示す。図４（a）は自車両の進行方向を撮像した画像（入力画像）、図（b）はボトムアップ過程により算出された生理的注視位置画像を示す。生理的注視位置画像は、撮像画像中の画素毎に顕著性に応じた値を対応付けたものである。図４（b）では、輝度が高い領域、すなわち白い領域ほど顕著性が高いことを意味している。 With the above processing, a spatial map (physiological gaze position image) representing the degree (saliency) that a human gazes physiologically is obtained, and the bottom-up process estimation process is terminated. Here, an output example of the bottom-up process is shown in FIG. 4A shows an image (input image) obtained by capturing the traveling direction of the host vehicle, and FIG. 4B shows a physiological gaze position image calculated by the bottom-up process. The physiological gaze position image is obtained by associating a value corresponding to the saliency for each pixel in the captured image. In FIG. 4 (b), it means that the region with higher luminance, that is, the white region, has higher saliency.
次に、トップダウン過程の推定処理について、図５に示すフローチャートを用いて説明する。トップダウン過程の推定処理は、撮像画像中において、運転者が自車両を運転する際に視認すべき位置を推定する処理である。 Next, the top-down process estimation process will be described with reference to the flowchart shown in FIG. The top-down process estimation process is a process for estimating a position to be visually recognized when the driver drives the host vehicle in the captured image.
この処理では、まず、図５に示すように、自車両の走行速度（車速）を抽出する（Ｓ３１０）。例えば、車速センサ（図示省略）による検出結果を取得する。
そして、視認すべき領域の大きさ（サイズ）を設定する（Ｓ３２０）。ここで、図６は、車両の走行速度に対する運転者の視野角の関係を示すグラフである。
In this process, first, as shown in FIG. 5, the traveling speed (vehicle speed) of the host vehicle is extracted (S310). For example, the detection result by a vehicle speed sensor (not shown) is acquired.
Then, the size (size) of the area to be visually recognized is set (S320). Here, FIG. 6 is a graph showing the relationship of the viewing angle of the driver to the traveling speed of the vehicle.
図６に示すグラフでは、車両の走行速度が速くなるにつれて、視野角が狭くなるという人間の視覚特性を示している。具体的には、車両の走行速度が40km/hのときに視野角は約100度となり、車両の走行速度が70km/hのときに視野角は約65度となり、車両の走行速度が100km/hとなると視野角は約40度になることが知られている。そこで、図６では、これらの走行速度と視野角との関係をプロットしている。 The graph shown in FIG. 6 shows the human visual characteristic that the viewing angle becomes narrower as the traveling speed of the vehicle increases. Specifically, the viewing angle is about 100 degrees when the vehicle traveling speed is 40 km / h, the viewing angle is about 65 degrees when the vehicle traveling speed is 70 km / h, and the vehicle traveling speed is 100 km / h. At h, the viewing angle is known to be about 40 degrees. Therefore, in FIG. 6, the relationship between the traveling speed and the viewing angle is plotted.
また図６では、各プロット点を確からしい曲線（例えば、最小二乗法で求められる曲線）で結んでいる。ここで、Ｓ３２０の処理では、自車両の走行速度に対応する視野角を図６に示すグラフから抽出し、この視野角を注視領域のサイズ（後述する運転時視認画像の楕円形のサイズ）に設定する。 In FIG. 6, the plot points are connected by a probable curve (for example, a curve obtained by the least square method). Here, in the process of S320, the viewing angle corresponding to the traveling speed of the host vehicle is extracted from the graph shown in FIG. 6, and this viewing angle is set to the size of the gaze area (the elliptical size of the driving viewing image described later). Set.
続いて、自車両の進行方向を推定する（Ｓ３３０）。この処理では、自車両の走行速度に加えて、舵角センサ（図示省略）により得られる舵角や、ヨーレートセンサ（図示省略）により得られる角速度を利用して、自車両の進行方向を推定する。 Subsequently, the traveling direction of the host vehicle is estimated (S330). In this process, in addition to the traveling speed of the host vehicle, the traveling direction of the host vehicle is estimated using a steering angle obtained by a steering angle sensor (not shown) and an angular speed obtained by a yaw rate sensor (not shown). .
そして、視認すべき位置の設定を行う（Ｓ３４０）。ここで、一般に、運転者は自車の進行方向を視認して運転操作を行い、他車両や歩行者、交通信号機、速度標識など、運転行動を行う上で位置や状態を確認すべき視対象が出現すると、視線を移動させ、必要な情報を取得する。換言すると、そのような視対象が出現するまでは、自車の進行方向に視線を向けていることとなる。 And the position which should be visually recognized is set (S340). Here, in general, a driver visually confirms the traveling direction of his / her own vehicle and performs a driving operation, such as other vehicles, pedestrians, traffic lights, speed signs, etc. When appears, the line of sight is moved and necessary information is acquired. In other words, the line of sight is directed in the traveling direction of the host vehicle until such a visual target appears.
走行中（カーブ路）での視線位置の計測結果によると、走行路が右カーブである場合は、運転者はセンターラインを視認し、道路形状の変化の情報を早く入手しようとする傾向がある。一方、走行路が左カーブの場合は、路肩線を視認する頻度が高く、右カーブのときと同様に、道路形状の変化を捉えようとする。また、交通量の少ない高速道路のシーンにて、運転者の視線位置を計測する予備実験を行ったところ、図７に示す結果を得た。 According to the measurement result of the line-of-sight position while driving (curved road), when the driving road is a right curve, the driver tends to visually recognize the centerline and quickly obtain information on changes in the road shape. . On the other hand, when the travel road is a left curve, the frequency of visually recognizing the road shoulder line is high, and as in the case of the right curve, an attempt is made to capture a change in the road shape. Further, when a preliminary experiment for measuring the driver's gaze position in a highway scene with a small amount of traffic was performed, the result shown in FIG. 7 was obtained.
図７は、前方画像のモデルにおいて運転者の視線位置が向けられた時間の割合を示す説明図である。図７から分かるように、他車両や歩行者、交通信号機等の視対象が存在しない場合には、運転者は自車の進行方向を視認する傾向にあることが分かる。 FIG. 7 is an explanatory diagram showing a ratio of time when the driver's line-of-sight position is directed in the model of the front image. As can be seen from FIG. 7, it can be seen that the driver tends to visually recognize the traveling direction of the own vehicle when there is no visual target such as another vehicle, a pedestrian, or a traffic signal.
これらの知見を用いて、運転時における運転者の認知行動をモデル化し、視認負荷量推定におけるトップダウン過程を推定し、運転時視認位置画像を生成する（Ｓ３５０）。ここで、図８（ａ）は自車両の進行方向を推定した画像（入力画像）、図８（b）は実際の走行環境において運転者の視線が向けられるべき位置を画像として示す運転時視認位置画像を示す。運転時視認位置画像は、撮像画像中の画素毎に視認すべき度合いに応じた値を対応付けたものである。図８（b）では、輝度値が高い領域、すなわち白い領域ほど視認すべき確度が高いことを意味している。 Using these findings, the driver's cognitive behavior during driving is modeled, the top-down process in the visual load estimation is estimated, and a driving visual position image is generated (S350). Here, FIG. 8A is an image (input image) in which the traveling direction of the host vehicle is estimated, and FIG. A position image is shown. The driving viewing position image is obtained by associating a value corresponding to the degree to be visually recognized for each pixel in the captured image. In FIG. 8 (b), it means that the higher the luminance value, that is, the white area, the higher the accuracy to be visually recognized.
なお、図８（b）は、他の車両や歩行者など、運転行動を行う上で視認すべき視対象や、店舗の電光掲示のような誘目性の高い物体が存在しないような状況において、運転者が視認する位置を推定したものである。また、図８（b）における白色の楕円の位置および大きさは、車両や走行環境の状態によって決まる。また、楕円の位置は、その中心が自車両の進行方向と一致するように設定される。 In addition, FIG.8 (b) is a situation where there is no object to be visually recognized such as another vehicle or a pedestrian or a highly attractive object such as an electrical bulletin board in a store. This is the estimated position visually recognized by the driver. Further, the position and size of the white ellipse in FIG. 8B are determined by the state of the vehicle and the traveling environment. The position of the ellipse is set so that the center thereof coincides with the traveling direction of the host vehicle.
なお、自車両の進行方向については、上述のように、車両から得られる操舵角などから推定すればよいが、前方画像の白線位置（無限遠点）から推定したり、画像から各物体のオプティカルフローを算出し、各物体の湧き出し位置から推定したりしてもよい。このような処理が終了すると、トップダウン過程の推定処理を終了する。 The traveling direction of the host vehicle may be estimated from the steering angle obtained from the vehicle as described above, but may be estimated from the white line position (infinity point) of the front image, or the optical of each object from the image. The flow may be calculated and estimated from the position where each object springs out. When such a process ends, the top-down process estimation process ends.
続いて、視認負荷量の推定処理について図９（ａ）に示すフローチャートを用いて説明する。視認負荷量の推定処理では、トップダウン過程とボトムアップ過程とを合成し、トップダウン過程とボトムアップ過程のギャップ（差分）から運転時の視認負荷量を推定する（Ｓ４１０）。 Next, the visual load amount estimation process will be described with reference to the flowchart shown in FIG. In the visual load amount estimation process, the top-down process and the bottom-up process are combined, and the visual load amount during driving is estimated from the gap (difference) between the top-down process and the bottom-up process (S410).
上述したトップダウン過程は、他の車両や歩行者のいない、道路と自車両しか存在しない仮想的な環境での運転者の視線位置を予測するモデルである。つまり、運転行動を行う上で最低限把握しておくべき情報を表している。ここで、運転行動を行う上で最低限把握しておくべき情報とは、例えば、自車両の進行方向を決定するための道路形状の情報がある。 The above-described top-down process is a model for predicting the driver's line-of-sight position in a virtual environment where there are no other vehicles or pedestrians and only the road and the host vehicle exist. That is, it represents information that should be grasped at a minimum in performing driving behavior. Here, the information that should be grasped at a minimum when performing the driving action includes, for example, information on the road shape for determining the traveling direction of the host vehicle.
実際の走行環境では、他車両や交通信号機などの運転行動に必要な物体や、店舗の電光掲示等の運転行動には直接関係のない物体も視界に入ってくる。これらの物体が視界に入った際の誘目度合いは、その物体が持つ色や輝度に大きく影響されており、ボトムアップ過程、すなわち生理的注視位置画像で表すことができる。したがって、トップダウン過程とボトムアップ過程の和を取ることで、運転時の運転者の視認位置をある程度予測することが可能となる(図９（ｂ）に示すブロック図中の視線予測)。具体的には、画素位置(x,y)に視線が存在する度合いgaze(x,y)を、次式により推定する。 In an actual driving environment, objects necessary for driving behavior such as other vehicles and traffic lights, and objects not directly related to driving behavior such as lightning displays in stores also enter the field of view. The degree of attraction when these objects enter the field of view is greatly influenced by the color and brightness of the objects, and can be represented by a bottom-up process, that is, a physiological gaze position image. Therefore, by taking the sum of the top-down process and the bottom-up process, it is possible to predict the driver's visual recognition position during driving to some extent (line-of-sight prediction in the block diagram shown in FIG. 9B). Specifically, the degree gaze (x, y) at which the line of sight exists at the pixel position (x, y) is estimated by the following equation.
ただし、PTD(x,y),PBU(x,y)は、それぞれ画素位置(x,y)におけるトップダウン過程の出力、およびボトムアップ過程の出力を表し、βTD,βBUはトップダウン過程とボトムアップ過程の結合係数を表す。これらβPTD,βBUの値は、合計が１になるよう実験的に任意の値に設定される。 Where P TD (x, y) and P BU (x, y) represent the output of the top-down process and the output of the bottom-up process at the pixel position (x, y), respectively, and β TD and β BU represent the top Represents the coupling coefficient between the down process and the bottom-up process. The values of βP TD and β BU are experimentally set to arbitrary values so that the sum is 1.
一方、生理的に誘目されやすい物体(ボトムアップ過程)が存在するにも関わらず、自車進行方向を視認しなければならない(トップダウン過程)状態では、運転者は生理的な視線移動を抑えなければならなくなる。この際の抑圧動作は運転者に負荷を与えるものであり、このトップダウン過程とボトムアップ過程のギャップから視認負荷量VW(図９（ｂ）に示す視認負荷量)が推定できると考える。 On the other hand, in a state where the direction of travel of the vehicle must be visually recognized (top-down process) even though there are physiologically attracted objects (bottom-up process), the driver suppresses physiological gaze movement. Will have to. The suppression operation at this time imposes a load on the driver, and it is considered that the visual load amount VW (the visual load amount shown in FIG. 9B) can be estimated from the gap between the top-down process and the bottom-up process.
ただし、式中のV,Hは、トップダウン過程を画像で表現した生理的注視位置画像、およびボトムアップ過程を画像で表現した運転時視認位置画像における、水平画素数、垂直画素数をそれぞれ表す。 However, V and H in the expression represent the number of horizontal pixels and the number of vertical pixels, respectively, in the physiological gaze position image that represents the top-down process as an image and the driving viewing position image that represents the bottom-up process as an image. .
続いて、視認負荷量VWによって表現される視認負荷画像の平均輝度を算出する（Ｓ４２０）。すなわち、画像を構成する各画素の平均輝度を算出する。この平均輝度を視認負荷量とすることができる。 Subsequently, the average luminance of the visual load image expressed by the visual load amount VW is calculated (S420). That is, the average brightness of each pixel constituting the image is calculated. This average luminance can be used as the visual load.
ただし、式（１２）で定義した視認負荷量VWは、ある時刻に得られた画像における視認負荷量であり、時々刻々変化するため、本実施形態では、ある時間間隔の中での視認負荷量VWの平均値を求め、それを運転シーンでの視認負荷量とする。以上の処理により、車両前方を撮像した画像のみから、走行環境における視認負荷量を推定することができる。このような処理が終了すると、視認負荷量の推定処理を終了する。 However, the visual load amount VW defined by the equation (12) is a visual load amount in an image obtained at a certain time, and changes every moment. Therefore, in this embodiment, the visual load amount in a certain time interval is used. Obtain the average value of VW and use it as the visual load in the driving scene. With the above processing, it is possible to estimate the visual load in the driving environment from only the image obtained by imaging the front of the vehicle. When such processing ends, the visual load amount estimation processing ends.
このような運転支援装置１において取り扱う各種画像について図１０を用いて説明する。図１０（a）は入力画像の一例を示す図、図１０（b）は生理的注視位置画像の一例を示す図、図１０（c）は運転時視認位置画像の一例を示す図、図１０（d）は視認負荷画像の一例を示す図である。 Various images handled by the driving support apparatus 1 will be described with reference to FIG. 10A shows an example of an input image, FIG. 10B shows an example of a physiological gaze position image, FIG. 10C shows an example of a driving visual position image, FIG. (D) is a figure which shows an example of a visual recognition load image.
図１０（ａ）に示すような撮像画像を入力した場合、ボトムアップ過程の推定処理では図１０（ｂ）に示すような生理的注視位置画像が得られる。この生理的注視位置画像では、明るいところや特定の色の部位ほど輝度が高く（つまり、白に近い色に）なっている。 When a captured image as shown in FIG. 10A is input, a physiological gaze position image as shown in FIG. 10B is obtained in the estimation process in the bottom-up process. In this physiological gaze position image, the brighter part or the part of a specific color has higher luminance (that is, a color close to white).
一方、トップダウン過程の推定処理では、図１０（c）に示す運転時視認位置画像が得られる。そして、視認負荷量の推定処理では、図１０（d）に示す視認負荷画像が得られる。ここで、視認負荷画像は、各画素において生理的注視位置画像の輝度から運転時視認位置画像の輝度を減算したものになっており（ただし、負になる部位は０とする。）、運転者が視認すべき位置に遠い、画像の周囲部分に輝度が高い領域が散在していることが分かる。 On the other hand, in the estimation process of the top-down process, the driving viewing position image shown in FIG. 10C is obtained. In the visual load amount estimation process, the visual load image shown in FIG. 10D is obtained. Here, the visual load image is obtained by subtracting the luminance of the driving visual position image from the luminance of the physiological gaze position image in each pixel (however, a negative part is set to 0), and the driver. It can be seen that regions with high brightness are scattered in the peripheral portion of the image that is far from the position to be visually recognized.
ここで、図１１は、入力される撮像画像と視認負荷量との概ねの関係を示す説明図である。上記のような運転支援装置１において、図１１（ａ）に示すように、一様な輝度および色を有する撮像画像例［１］が入力された場合には、上記処理では視認負荷量は０となる。一方で、上記のような運転支援装置１において、図１１（ｂ）に示すように、全体が市松模様（チェック柄）の撮像画像例［２］が入力された場合には、上記処理では視認負荷量は０でなくなる。 Here, FIG. 11 is an explanatory diagram showing a general relationship between the input captured image and the visual load. In the driving support apparatus 1 as described above, as shown in FIG. 11A, when the captured image example [1] having uniform brightness and color is input, the visual load is 0 in the above processing. It becomes. On the other hand, in the driving support apparatus 1 as described above, as shown in FIG. 11B, when a captured image example [2] having a checkered pattern (a check pattern) as a whole is input, it is visually recognized in the above process. The load is no longer zero.
ここで、図１１（ｃ）の画像例［３］内の楕円に示すように運転者が視認すべき位置を設定する場合には、図１１（ｄ）に示すように、視認負荷量は、一様な輝度および色を有する撮像画像例［４］（撮像画像例［１］も同様）、運転者が視認すべき位置のみに市松模様がある撮像画像例［５］、運転者が視認すべき位置以外のみに市松模様がある撮像画像例［６］、全体が市松模様の撮像画像例［２］、の順に大きくなる。 Here, when the position to be visually recognized by the driver is set as shown by an ellipse in the image example [3] of FIG. 11C, as shown in FIG. Example of captured image [4] having uniform brightness and color (same for captured image example [1]), captured image example [5] having a checkerboard pattern only at the position to be visually recognized by the driver, The captured image example [6] having a checkered pattern only at positions other than the power position and the entire captured image example [2] having a checkered pattern increase in order.
［本実施形態による効果］
以上のように詳述した運転支援装置１において演算部１０は、車両運転時の運転者における目の疲れやすさを表す視認負荷量を推定し、視認負荷量に応じた支援を行う。視認負荷量を推定する際には、自車両の進行方向における撮像画像を取得し、撮像画像中において、運転者が生理的に注視してしまう位置を推定する。そして、撮像画像中において、運転者が自車両を運転する際に視認すべき位置を推定し、注視してしまう位置と視認すべき位置との位置関係に基づいて、視認負荷量を推定する。
[Effects of this embodiment]
In the driving support device 1 described in detail above, the calculation unit 10 estimates a visual load amount that represents the ease of eye fatigue of the driver during vehicle driving, and performs support according to the visual load amount. When estimating the visual load, a captured image in the traveling direction of the host vehicle is acquired, and a position where the driver is gazes physiologically in the captured image is estimated. Then, in the captured image, the position to be visually recognized when the driver drives the host vehicle is estimated, and the visual load is estimated based on the positional relationship between the position to be watched and the position to be visually recognized.
このような運転支援装置１によれば、自車両の進行方向を撮像した画像から視認負荷量を推定することができるので、走行環境がどの程度疲れやすい状況であるかを推定することができる。また、視認負荷量に応じて運転支援を行うことができる。 According to such a driving support device 1, since the visual load can be estimated from an image obtained by capturing the traveling direction of the host vehicle, it is possible to estimate how easily the driving environment is fatigued. In addition, driving assistance can be performed according to the visual load.
また、上記運転支援装置１において演算部１０は、人間の初期視覚系の処理プロセスに基づいて、視覚的に顕著な位置を抽出することで、生理的に注視してしまう位置を推定する。 Further, in the driving support device 1, the calculation unit 10 estimates a position that is visually observed by extracting a visually prominent position based on the processing process of the human initial visual system.
このような運転支援装置１によれば、人間の視覚的な処理プロセスに基づいて撮像画像を画像処理し、生理的に注視してしまう位置を推定するので、人間の視覚の特性に対応した正確な位置を推定することができる。よって、視覚負荷量の検出精度を向上させることができる。 According to such a driving support device 1, the captured image is image-processed based on the human visual processing process, and the position at which the user gazes physiologically is estimated. Position can be estimated. Therefore, the detection accuracy of the visual load amount can be improved.
また、上記運転支援装置１において演算部１０は、自車両の走行速度に応じて視認すべき位置の範囲の広さを設定する。
このような運転支援装置１によれば、走行速度に応じて視野角の広さ（動体視力）が変化するという人間の特性を利用して視認すべき位置の範囲の広さを設定することができる。
In the driving support device 1, the calculation unit 10 sets the size of the range of positions to be visually recognized according to the traveling speed of the host vehicle.
According to such a driving assistance device 1, it is possible to set the range of the position to be visually recognized using the human characteristic that the width of the viewing angle (moving body visual acuity) changes according to the traveling speed. it can.
さらに、上記運転支援装置１において演算部１０は、注視してしまう位置と視認すべき位置との差に応じて視認負荷量を演算する。
このような運転支援装置１によれば、視認負荷量を良好に演算することができる。
Further, in the driving support device 1, the calculation unit 10 calculates the visual load according to the difference between the position at which the user gazes and the position to be viewed.
According to such a driving assistance device 1, the visual load can be calculated satisfactorily.
加えて、上記運転支援装置１において演算部１０は、撮像画像中の画素毎に注視してしまう度合いに応じた値を対応付けた生理的注視位置画像を生成することで、画素毎に注視してしまう位置を推定する。また、演算部１０は、撮像画像中の画素毎に視認すべき度合いに応じた値を対応付けた運転時視認位置画像を生成することで、画素毎に視認すべき位置を推定する。そして、演算部１０は、生理的注視位置画像の各画素に対応付けられた値から、運転時視認位置画像の各画素に対応付けられた値をそれぞれ減算して生成される視認負荷画像に基づいて視認負荷量を演算する。 In addition, in the driving support device 1, the calculation unit 10 generates a physiological gaze position image in which a value corresponding to the degree of gaze for each pixel in the captured image is associated, thereby gazing at each pixel. Estimate the position where Moreover, the calculating part 10 estimates the position which should be visually recognized for every pixel by producing | generating the visual recognition position image at the time of driving | operation which matched the value according to the degree which should be visually recognized for every pixel in a captured image. Then, the calculation unit 10 is based on a visual load image generated by subtracting a value associated with each pixel of the driving visual position image from a value associated with each pixel of the physiological gaze position image. To calculate the visual load.
このような運転支援装置１によれば、注視してしまう位置や視認すべき位置が撮像画像中に分散して存在する場合であっても、良好に視認負荷量を演算することができる。
また、上記運転支援装置１において演算部１０は、注視してしまう位置と視認すべき位置との和に応じて撮像画像中における運転者の視線位置を検出する。
According to such a driving assistance device 1, it is possible to satisfactorily calculate the visual load even when the gaze position and the position to be visually recognized are dispersed in the captured image.
In the driving support device 1, the calculation unit 10 detects the driver's line-of-sight position in the captured image in accordance with the sum of the gaze position and the position to be viewed.
このような視認負荷量推定装置によれば、運転者の視線位置を推定することができる。
［その他の実施形態］
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
According to such a visual load amount estimation device, the driver's line-of-sight position can be estimated.
[Other Embodiments]
Embodiments of the present invention are not limited to the above-described embodiments, and can take various forms as long as they belong to the technical scope of the present invention.
例えば、上記実施形態においては視認負荷画像から視認負荷量を演算する際に、視認負荷画像の平均輝度（各画素の値の平均値）を利用したが、例えば、視認すべき位置の中心からの各画素までの距離に応じて設定される加重平均の和などを利用してもよい。 For example, in the above embodiment, when calculating the visual load amount from the visual load image, the average luminance of the visual load image (the average value of the values of each pixel) is used. You may use the sum of the weighted average etc. which are set according to the distance to each pixel.
１…運転支援装置、１０…演算部、２０…カメラ、３０…報知部。 DESCRIPTION OF SYMBOLS 1 ... Driving assistance apparatus, 10 ... Calculation part, 20 ... Camera, 30 ... Notification part.
Claims (8)
自車両の進行方向における撮像画像を取得する撮像画像取得手段と、
前記撮像画像中において、運転者が生理的に注視してしまう位置を推定する生理的注視位置推定手段と、
前記撮像画像中において、運転者が自車両を運転する際に視認すべき位置を推定する運転時視認位置推定手段と、
前記注視してしまう位置と前記視認すべき位置との位置関係に基づいて、前記視認負荷量を推定する視認負荷量推定手段と、
を備えたことを特徴とする視認負荷量推定装置。 A visual load amount estimation device that is mounted on a vehicle and estimates a visual load amount that represents the ease of fatigue of the eyes of the driver when driving the vehicle,
Captured image acquisition means for acquiring a captured image in the traveling direction of the host vehicle;
In the captured image, physiological gaze position estimating means for estimating the position where the driver gazes physiologically,
In the captured image, a driving visual position estimation means for estimating a position to be visually recognized when the driver drives the vehicle;
A visual load amount estimating means for estimating the visual load amount based on a positional relationship between the position to be watched and the position to be visually recognized;
A visual load amount estimation device comprising:
前記生理的注視位置推定手段は、人間の初期視覚系の処理プロセスに基づいて、視覚的に顕著な位置を抽出し、前記注視してしまう位置を推定すること
を特徴とする視認負荷量推定装置。 In the visual load estimation apparatus according to claim 1,
The physiological gaze position estimation means extracts a visually noticeable position based on a processing process of a human initial visual system, and estimates the gaze position. .
前記運転時視認位置推定手段は、自車両の進行方向に応じて視認すべき位置を設定し、自車両の走行速度に応じて視認すべき位置の範囲の広さを設定すること
を特徴とする視認負荷量推定装置。 In the visual load estimation apparatus according to claim 1 or 2,
The driving visual position estimation means sets the position to be visually recognized according to the traveling direction of the host vehicle, and sets the range of the position to be visually recognized according to the traveling speed of the host vehicle. Visual load estimation device.
前記視認負荷量推定手段は、前記注視してしまう位置と前記視認すべき位置との差に応じて前記視認負荷量を演算すること
を特徴とする視認負荷量推定装置。 In the visual load estimation apparatus of any one of Claims 1-3,
The visual load amount estimation device, wherein the visual load amount estimation means calculates the visual load amount according to a difference between the gaze position and the position to be visually recognized.
前記生理的注視位置推定手段は、撮像画像中の画素毎に注視してしまう度合いに応じた値を対応付けた生理的注視位置画像を生成することで、前記画素毎に注視してしまう度合いを推定し、
前記運転時視認位置推定手段は、撮像画像中の画素毎に視認すべき度合いに応じた値を対応付けた運転時視認位置画像を生成することで、前記画素毎に視認すべき度合いを推定し、
前記負荷量推定手段は、前記生理的注視位置画像の各画素に対応付けられた値から、前記運転時視認位置画像の各画素に対応付けられた値をそれぞれ減算して生成される視認負荷画像に基づいて前記視認負荷量を演算すること
を特徴とする視認負荷量推定装置。 In the visual load estimation apparatus according to claim 4,
The physiological gaze position estimation means generates a physiological gaze position image in which a value corresponding to the degree of gaze for each pixel in the captured image is associated, thereby determining the degree of gaze for each pixel. Estimate
The driving visual position estimation means estimates the degree to be visually recognized for each pixel by generating a driving visual position image that associates a value corresponding to the degree to be visually recognized for each pixel in the captured image. ,
The load amount estimation means is a visual load image generated by subtracting a value associated with each pixel of the driving visual position image from a value associated with each pixel of the physiological gaze position image. The visual load amount estimation device characterized in that the visual load amount is calculated based on the visual load.
前記注視してしまう位置と前記視認すべき位置との和に応じて撮像画像中における運転者の視線位置を検出する視線位置検出手段を備えたこと
を特徴とする視認負荷量推定装置。 In the visual load amount estimation apparatus according to any one of claims 1 to 5,
A visual load amount estimation device comprising: gaze position detection means for detecting a gaze position of a driver in a captured image according to a sum of the gaze position and the position to be visually recognized.
車両運転時の運転者における目の疲れやすさを表す視認負荷量を推定する視認負荷量推定手段と、
視認負荷量に応じた支援を行う支援手段と、を備え、
前記視認負荷量推定手段は、請求項１〜請求項５の何れか１項に記載の視認負荷量推定装置として構成されていること
を特徴とする運転支援装置。 A driving support device mounted on a vehicle and supporting a driver of the vehicle,
A visual load amount estimating means for estimating a visual load amount representing the ease of eye fatigue in the driver when driving the vehicle;
A support means for performing support according to the visual load,
The driving support device, wherein the visual load amount estimation unit is configured as the visual load amount estimation device according to any one of claims 1 to 5.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011144413A JP5482737B2 (en) | 2011-06-29 | 2011-06-29 | Visual load amount estimation device, driving support device, and visual load amount estimation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011144413A JP5482737B2 (en) | 2011-06-29 | 2011-06-29 | Visual load amount estimation device, driving support device, and visual load amount estimation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013009825A JP2013009825A (en) | 2013-01-17 |
| JP5482737B2 true JP5482737B2 (en) | 2014-05-07 |
Family
ID=47684281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011144413A Expired - Fee Related JP5482737B2 (en) | 2011-06-29 | 2011-06-29 | Visual load amount estimation device, driving support device, and visual load amount estimation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5482737B2 (en) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5925163B2 (en) * | 2013-07-25 | 2016-05-25 | 三菱電機株式会社 | Driving assistance device |
| JP2016070951A (en) * | 2014-09-26 | 2016-05-09 | パイオニア株式会社 | Display device, control method, program, and storage medium |
| KR101705027B1 (en) * | 2014-12-09 | 2017-02-09 | 한국건설기술연구원 | Nighttime Visibility Assessment Solution for Road System Method Thereof |
| JP6453192B2 (en) * | 2015-09-25 | 2019-01-16 | 日立オートモティブシステムズ株式会社 | Image recognition processing apparatus and program |
| EP3465532B1 (en) * | 2016-06-07 | 2024-08-07 | Toyota Motor Europe | Control device, system and method for determining the perceptual load of a visual and dynamic driving scene |
| CN107145835B (en) * | 2017-04-12 | 2020-08-25 | 武汉理工大学 | Driver load detection vehicle-mounted device based on image recognition |
| JP7108986B2 (en) * | 2018-12-28 | 2022-07-29 | スズキ株式会社 | Visibility evaluation system |
| JP7107529B2 (en) * | 2018-12-28 | 2022-07-27 | スズキ株式会社 | Visibility evaluation system |
| JP6624312B2 (en) * | 2019-01-09 | 2019-12-25 | 日本精機株式会社 | Display device, control method, program, and storage medium |
| JP7405570B2 (en) * | 2019-11-13 | 2023-12-26 | パイオニア株式会社 | Visual load estimation device |
| JP7331729B2 (en) * | 2020-02-19 | 2023-08-23 | マツダ株式会社 | Driver state estimation device |
| JP7331728B2 (en) * | 2020-02-19 | 2023-08-23 | マツダ株式会社 | Driver state estimation device |
| JP7502051B2 (en) * | 2020-03-10 | 2024-06-18 | パイオニア株式会社 | Information processing device |
| JP2021157248A (en) * | 2020-03-25 | 2021-10-07 | パイオニア株式会社 | State output device |
| CN111724605A (en) * | 2020-06-11 | 2020-09-29 | 广州市云景信息科技有限公司 | Black smoke vehicle monitoring system and monitoring method thereof |
| WO2022208812A1 (en) | 2021-03-31 | 2022-10-06 | パイオニア株式会社 | Audio control device, audio control system, audio control method, audio control program, and storage medium |
| WO2023112120A1 (en) * | 2021-12-14 | 2023-06-22 | パイオニア株式会社 | Communication system, communication device, server device, communication method, communication program, and storage medium |
-
2011
- 2011-06-29 JP JP2011144413A patent/JP5482737B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013009825A (en) | 2013-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5482737B2 (en) | Visual load amount estimation device, driving support device, and visual load amount estimation program | |
| EP3033999B1 (en) | Apparatus and method for determining the state of a driver | |
| US10002300B2 (en) | Apparatus and method for monitoring driver's concentrativeness using eye tracing | |
| CN107203044A (en) | Display apparatus | |
| JP5109750B2 (en) | Driver state detection device, consciousness state detection method | |
| JP2007241740A (en) | Vehicle periphery monitoring device | |
| US20150183373A1 (en) | Vehicle information display device and vehicle information display method | |
| JP2016057839A (en) | Facial direction detection device and warning system for vehicle | |
| JP2010191793A (en) | Alarm display and alarm display method | |
| JP6820075B2 (en) | Crew number detection system, occupant number detection method, and program | |
| JP2007323578A (en) | Vehicle periphery monitoring device | |
| JP5927110B2 (en) | Vehicle external recognition device | |
| JP2014015127A (en) | Information display apparatus, information display method and program | |
| CN110825237A (en) | Information display method and display control device | |
| CN118587689B (en) | Driver fatigue status detection method and system | |
| JP4592744B2 (en) | Image processing method, image processing system, image processing apparatus, and computer program | |
| JP4644273B2 (en) | Vehicle periphery monitoring device | |
| JP6805716B2 (en) | Display device, display method, program | |
| JP4872245B2 (en) | Pedestrian recognition device | |
| JP4364275B2 (en) | Image processing method, image processing apparatus, and computer program | |
| JP2011191859A (en) | Apparatus for monitoring surroundings of vehicle | |
| JPWO2019175922A1 (en) | Driving support device, driving support method, and driving support program | |
| US7599546B2 (en) | Image information processing system, image information processing method, image information processing program, and automobile | |
| JP2007164517A (en) | Graphic center detection method, ellipse detection method, image recognition device and controller | |
| JP2012103748A (en) | Road section line recognition device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130820 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140117 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140121 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140203 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5482737 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |