JP2016099718A - Visual line direction area setting device and visual line direction area setting system - Google Patents
Visual line direction area setting device and visual line direction area setting system Download PDFInfo
- Publication number
- JP2016099718A JP2016099718A JP2014234662A JP2014234662A JP2016099718A JP 2016099718 A JP2016099718 A JP 2016099718A JP 2014234662 A JP2014234662 A JP 2014234662A JP 2014234662 A JP2014234662 A JP 2014234662A JP 2016099718 A JP2016099718 A JP 2016099718A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- line
- unit
- gaze direction
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title abstract 15
- 238000001514 detection method Methods 0.000 claims 7
- 210000005252 bulbus oculi Anatomy 0.000 claims 2
- 210000003128 head Anatomy 0.000 claims 1
- 238000004220 aggregation Methods 0.000 abstract 7
- 230000002776 aggregation Effects 0.000 abstract 7
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Mechanical Engineering (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Human Computer Interaction (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Traffic Control Systems (AREA)
- Eye Examination Apparatus (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Description
本発明は、視線方向領域設定装置及び視線方向領域設定システムに関する。 The present invention relates to a gaze direction area setting device and a gaze direction area setting system.
特許文献１記載の技術では、ドライバの顔がサイドミラーの方向を向いたことに基づいてドライバがサイドミラーを視認した回数を計測する。そして、その回数が所定の値以下であった場合に、ドライバの注意力が低下したと判定する。 In the technique described in Patent Document 1, the number of times the driver visually recognizes the side mirror is measured based on the fact that the driver's face faces the side mirror. When the number of times is equal to or less than a predetermined value, it is determined that the driver's attention is reduced.
ドライバの体格、ドライバの着座位置、ドライバの姿勢、自車両の車種等様々な要因により、ドライバがミラーを視認するときの顔の向きは異なる。例えば、座高が高いドライバがサイドミラーを視認するときの顔の向きは、座高が低いドライバの場合に比べ、下向きとなる。 Due to various factors such as the driver's physique, the driver's seating position, the driver's posture, and the vehicle type of the host vehicle, the face orientation when the driver visually recognizes the mirror is different. For example, the face orientation when a driver with a high sitting height visually recognizes the side mirror is downward as compared with a driver with a low sitting height.
そのため、ドライバの顔の向きを検出しても、そのときドライバがミラーを視認しているか否かを正確に判断することは困難であった。
本発明は、こうした問題にかんがみてなされたものであり、上述した問題を解決できる視線方向領域設定装置及び視線方向領域設定システムを提供することを目的としている。
Therefore, even if the direction of the driver's face is detected, it is difficult to accurately determine whether or not the driver is viewing the mirror at that time.
The present invention has been made in view of these problems, and an object thereof is to provide a gaze direction area setting device and a gaze direction area setting system that can solve the above-described problems.
本発明の第１の視線方向領域設定装置は、ドライバの視線方向を表すドライバ視線方向情報が入力されるドライバ視線方向情報入力ユニットと、ドライバ視線方向情報に基づき、視線方向の分布における集合部を認識する集合部認識ユニットと、集合部に含まれる視線方向の数に関する集合部間での順位に基づき、ミラーに対応する集合部を判断する集合部判断ユニットと、ミラーに対応する集合部を少なくとも１以上含む視線方向領域を設定する視線方向領域設定ユニットとを備えることを特徴とする。 A first gaze direction area setting device according to the present invention includes a driver gaze direction information input unit to which driver gaze direction information representing a driver's gaze direction is input, and a set part in a gaze direction distribution based on the driver gaze direction information. A recognition unit for recognizing the recognition unit, a determination unit for determining a collection unit corresponding to the mirror based on the rank between the collection units regarding the number of gaze directions included in the collection unit, and a collection unit corresponding to the mirror at least. And a gaze direction area setting unit that sets a gaze direction area including one or more gaze direction areas.
本発明の第１の視線方向領域設定装置は、ドライバの実際の視線方向に基づき、視線方向領域を設定する。そのため、例えば、ドライバの体格、ドライバの着座位置、ドライバの姿勢、自車両の車種等が様々であっても、ドライバが実際にミラーを見るときの視線方向を含む視線方向領域を高精度に設定することができる。 The first gaze direction area setting device of the present invention sets the gaze direction area based on the actual gaze direction of the driver. Therefore, for example, even if the driver's physique, the driver's seating position, the driver's posture, the vehicle type of the host vehicle, etc. are various, the gaze direction area including the gaze direction when the driver actually looks at the mirror is set with high accuracy can do.
この視線方向領域とドライバの視線方向とを対比すれば、ドライバの視線方向がミラーに向っておらず、よそ見をしていることを正確に判断することができる。
本発明の第２の視線方向領域設定装置は、ドライバの視線方向を検出するドライバ視線方向検出ユニットと、ドライバ視線方向検出ユニットで検出した視線方向に基づき、視線方向の分布における集合部を認識する集合部認識ユニットと、集合部に含まれる視線方向の数に関する集合部間での順位に基づき、ミラーに対応する集合部を判断する集合部判断ユニットと、ミラーに対応する集合部を少なくとも１以上含む視線方向領域を設定する視線方向領域設定ユニットと、を備えることを特徴とする。
By comparing this line-of-sight direction area with the line-of-sight direction of the driver, it is possible to accurately determine that the line-of-sight direction of the driver is not facing the mirror and looking away.
The second gaze direction area setting device of the present invention recognizes a gaze direction distribution unit based on a driver gaze direction detection unit that detects the gaze direction of the driver and the gaze direction detected by the driver gaze direction detection unit. At least one or more collective units corresponding to the mirror, and a collective unit determining unit that determines the collective unit corresponding to the mirror based on the rank between the collective units regarding the number of gaze directions included in the collective unit And a gaze direction area setting unit that sets a gaze direction area including the gaze direction area.
本発明の第２の視線方向領域設定装置は、ドライバの実際の視線方向に基づき、視線方向領域を設定する。そのため、例えば、ドライバの体格、ドライバの着座位置、ドライバの姿勢、自車両の車種等が様々であっても、ドライバが実際にミラーを見るときの視線方向を含む視線方向領域を高精度に設定することができる。 The second gaze direction area setting device of the present invention sets the gaze direction area based on the actual gaze direction of the driver. Therefore, for example, even if the driver's physique, the driver's seating position, the driver's posture, the vehicle type of the host vehicle, etc. are various, the gaze direction area including the gaze direction when the driver actually looks at the mirror is set with high accuracy can do.
この視線方向領域とドライバの視線方向とを対比すれば、ドライバの視線方向がミラーに向っておらず、よそ見をしていることを正確に判断することができる。 By comparing this line-of-sight direction area with the line-of-sight direction of the driver, it is possible to accurately determine that the line-of-sight direction of the driver is not facing the mirror and looking away.
本発明の実施形態を図面に基づき説明する。
＜第１の実施形態＞
１．視線方向領域設定システム１の構成
視線方向領域設定システム１の構成を図１に基づき説明する。視線方向領域設定システム１は、ドライバ視線方向情報出力装置３と、視線方向領域設定装置５とを有する。ドライバ視線方向情報出力装置３は、ドライバが装着可能なメガネに設けられている。そのメガネをドライバがかけたとき、ドライバ視線方向情報出力装置３は、ドライバの頭部に装着される。視線方向領域設定装置５は車載装置である。以下では、視線方向領域設定装置５が搭載された車両を自車両とする。
Embodiments of the present invention will be described with reference to the drawings.
<First Embodiment>
1. Configuration of Gaze Direction Area Setting System 1 A configuration of the gaze direction area setting system 1 will be described with reference to FIG. The line-of-sight direction region setting system 1 includes a driver line-of-sight direction information output device 3 and a line-of-sight direction region setting device 5. The driver gaze direction information output device 3 is provided in glasses that can be worn by the driver. When the driver wears the glasses, the driver gaze direction information output device 3 is worn on the driver's head. The line-of-sight direction region setting device 5 is an in-vehicle device. Hereinafter, the vehicle on which the line-of-sight direction area setting device 5 is mounted is referred to as the own vehicle.
ドライバ視線方向情報出力装置３は、ドライバ視線方向検出ユニット７と、演算ユニット９と、ディスプレイ１１と、入力ユニット１３と、通信ユニット１５とを備える。
ドライバ視線方向検出ユニット７は、ジャイロセンサ１７と、眼電位センサ１９とを備える。ジャイロセンサ１７は、ドライバ視線方向情報出力装置３を装着したドライバの顔方向を検出する。また、眼電位センサ１９は、眼球運動に伴う眼の周りの電位差を検出し、その電位差に基づき、ドライバの顔方向を基準とした眼球の方向（視線の方向）を検出する。ドライバ視線方向検出ユニット７は、ドライバの顔方向及び顔方向を基準とした眼球の方向を総合して、ドライバの視線方向を検出する。このドライバの視線方向は、自車両を基準とした方向である。
The driver line-of-sight direction information output device 3 includes a driver line-of-sight direction detection unit 7, an arithmetic unit 9, a display 11, an input unit 13, and a communication unit 15.
The driver gaze direction detection unit 7 includes a gyro sensor 17 and an electrooculogram sensor 19. The gyro sensor 17 detects the face direction of the driver wearing the driver gaze direction information output device 3. The electrooculogram sensor 19 detects a potential difference around the eye associated with eye movement, and detects the direction of the eyeball (the direction of the line of sight) based on the driver's face direction based on the potential difference. The driver gaze direction detection unit 7 detects the driver's gaze direction by combining the driver's face direction and the eyeball direction based on the face direction. The line-of-sight direction of the driver is a direction with reference to the own vehicle.
演算ユニット９は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えた周知のコンピュータである。演算ユニット９は、機能的に、装着者判定ユニット２１を備える。装着者判定ユニット２１の機能は後述する。 The arithmetic unit 9 is a known computer including a CPU, a RAM, a ROM, and the like. The arithmetic unit 9 functionally includes a wearer determination unit 21. The function of the wearer determination unit 21 will be described later.
ディスプレイ１１は、液晶ディスプレイ、有機ＥＬディスプレイ等から成る、画像を表示可能な構成である。入力ユニット１３は、キーボード、タッチパネル等から成る、情報を入力可能な構成である。通信ユニット１５は、視線方向領域設定装置５との間で無線通信を行うことが可能な構成である。 The display 11 is composed of a liquid crystal display, an organic EL display, or the like and can display an image. The input unit 13 includes a keyboard, a touch panel, etc., and is configured to input information. The communication unit 15 is configured to be able to perform wireless communication with the line-of-sight direction area setting device 5.
視線方向領域設定装置５は、速度検出ユニット２３と、演算ユニット２５と、通信ユニット２７と、記憶ユニット２９と、スピーカ３９と、ディスプレイ４１とを備える。なお、通信ユニット２７は、ドライバ視線方向情報入力ユニットの一例である。 The line-of-sight direction region setting device 5 includes a speed detection unit 23, a calculation unit 25, a communication unit 27, a storage unit 29, a speaker 39, and a display 41. The communication unit 27 is an example of a driver line-of-sight direction information input unit.
速度検出ユニット２３は、自車両の速度を検出する。演算ユニット２５は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えた周知のコンピュータである。演算ユニット２５は、機能的に、集合部認識ユニット３１と、集合部判断ユニット３３と、視線方向領域設定ユニット３５と、警報ユニット３７と、を備える。各ユニットの機能は後述する。 The speed detection unit 23 detects the speed of the host vehicle. The arithmetic unit 25 is a known computer including a CPU, RAM, ROM, and the like. The arithmetic unit 25 functionally includes a gathering part recognition unit 31, a gathering part determination unit 33, a line-of-sight direction region setting unit 35, and an alarm unit 37. The function of each unit will be described later.
通信ユニット２７は、ドライバ視線方向情報出力装置３との間で無線通信を行うことが可能な構成である。
記憶ユニット２９は、ＨＤＤ（ハードディスクドライブ）から成り、情報の記憶、保存、及び読み出しが可能である。スピーカ３９及びディスプレイ４１は、自車両の車室内に設置され、後述する警報処理において使用される。
The communication unit 27 is configured to be able to perform wireless communication with the driver line-of-sight direction information output device 3.
The storage unit 29 is composed of an HDD (hard disk drive), and can store, save, and read information. The speaker 39 and the display 41 are installed in the passenger compartment of the host vehicle and are used in alarm processing described later.
２．視線方向領域設定システム１が実行する処理
（２−１）ドライバ視線方向情報出力装置３が実行する処理
ドライバ視線方向情報出力装置３（特に演算ユニット９）が実行する処理を、図２に基づき説明する。図２のステップ１では、ステップ２以降の処理を実行するタイミングに達したか否かを判断する。このタイミングは、例えば、ステップ２以降の処理を前回実行してから、所定の時間が経過したタイミングとすることができる。前記のタイミングに達している場合はステップ２に進み、達していない場合は本処理を終了する。
2. Processing executed by the line-of-sight direction region setting system 1 (2-1) Processing executed by the driver line-of-sight direction information output device 3 Processing executed by the driver line-of-sight direction information output device 3 (particularly the arithmetic unit 9) will be described with reference to FIG. To do. In step 1 of FIG. 2, it is determined whether or not it is time to execute the processing after step 2. This timing can be, for example, a timing at which a predetermined time has elapsed since the processing after step 2 was executed last time. If the timing has been reached, the process proceeds to step 2; if not, the process ends.
ステップ２では、装着者判定ユニット２１が、ディスプレイ１１に、ＩＤ入力を要求するメッセージを表示する。なお、自車両のドライバは、このメッセージに応じて、入力ユニット１３を用いてドライバのＩＤを入力することができる。 In step 2, the wearer determination unit 21 displays a message requesting ID input on the display 11. The driver of the host vehicle can input the driver ID using the input unit 13 in response to this message.
ステップ３では、装着者判定ユニット２１が、前記ステップ２でメッセージを表示してから所定時間以内にＩＤの入力があったか否かを判断する。ＩＤの入力があった場合はステップ４に進み、ＩＤの入力がなかった場合は本処理を終了する。 In step 3, the wearer determination unit 21 determines whether or not an ID is input within a predetermined time after displaying the message in step 2. If there is an ID input, the process proceeds to step 4. If no ID is input, the process ends.
ステップ４では、装着者判定ユニット２１が、通信ユニット１５を用いて、装着者情報を送信する。装着者情報は、入力ユニット１３を用いて入力されたＩＤを表す情報である。 In step 4, the wearer determination unit 21 transmits wearer information using the communication unit 15. The wearer information is information representing an ID input using the input unit 13.
ステップ５では、ドライバ視線方向検出ユニット７を用いて、ドライバの視線方向を検出する。
ステップ６では、通信ユニット１５を用いて、自車両の速度を取得する。なお、視線方向領域設定装置５の速度検出ユニット２３は定期的に自車両の速度を検出し、通信ユニット２７を用いて送信している。本ステップ６では、上記のように送信された速度を取得する。
In step 5, the driver's line-of-sight direction detection unit 7 is used to detect the driver's line-of-sight direction.
In step 6, the speed of the host vehicle is acquired using the communication unit 15. Note that the speed detection unit 23 of the line-of-sight direction region setting device 5 periodically detects the speed of the host vehicle and transmits it using the communication unit 27. In step 6, the speed transmitted as described above is acquired.
ステップ７では、通信ユニット１５を用いて、ドライバ視線方向情報を送信する。ドライバ視線方向情報は、前記ステップ５で検出したドライバの視線方向と、前記ステップ６で取得した自車両の速度とを含む情報である。１つのドライバ視線方向情報に含まれるドライバの視線方向と、自車両の速度とは、ほぼ同じタイミングで取得されたものである。前記ステップ５及び前記ステップ６の処理を１回行うごとに、１つのドライバ視線方向情報が作成される。 In step 7, driver line-of-sight direction information is transmitted using the communication unit 15. The driver line-of-sight direction information is information including the driver's line-of-sight direction detected in step 5 and the speed of the host vehicle acquired in step 6. The driver's line-of-sight direction included in one driver line-of-sight direction information and the speed of the host vehicle are acquired at substantially the same timing. Each time the processes of Step 5 and Step 6 are performed once, one driver line-of-sight direction information is created.
ステップ８では、Ｎ個のドライバ視線方向情報を送信済みであるか否かを判断する。送信済みである場合は本処理を終了し、送信済みではない場合はステップ５に進む。なお、Ｎは正の整数であり、十分大きい数（例えば、数十〜数万）であることが好ましい。 In step 8, it is determined whether or not N driver line-of-sight direction information has been transmitted. If it has been transmitted, the process is terminated. If it has not been transmitted, the process proceeds to step 5. N is a positive integer, and is preferably a sufficiently large number (for example, several tens to several tens of thousands).
（２−２）視線方向領域設定装置５が実行する視線方向領域設定処理
視線方向領域設定装置５（特に演算ユニット２５）が実行する視線方向領域設定処理を図３〜図５に基づき説明する。図３のステップ１では、通信ユニット２７において装着者情報を受信したか否かを判断する。なお、装着者情報は、前記ステップ４においてドライバ視線方向情報出力装置３が送信したものである。装着者情報を受信した場合はステップ１２に進み、受信しなかった場合は本処理を終了する。
(2-2) Gaze Direction Area Setting Process Performed by the Gaze Direction Area Setting Device 5 The gaze direction area setting process executed by the gaze direction area setting device 5 (particularly the arithmetic unit 25) will be described with reference to FIGS. In step 1 of FIG. 3, it is determined whether or not the wearer information is received by the communication unit 27. The wearer information is transmitted by the driver gaze direction information output device 3 in the step 4. If the wearer information is received, the process proceeds to step 12, and if not received, the process is terminated.
ステップ１２では、前記ステップ１１で受信した装着者情報に含まれるＩＤに該当するデータが記憶ユニット２９に記憶されているか否かを判断する。記憶されていない場合はステップ１３に進み、記憶されている場合はステップ２０に進む。 In step 12, it is determined whether data corresponding to the ID included in the wearer information received in step 11 is stored in the storage unit 29. If not stored, the process proceeds to step 13, and if stored, the process proceeds to step 20.
ステップ１３では、通信ユニット２７を用いて、Ｎ個のドライバ視線方向情報を受信する。すなわち、ドライバ視線方向情報は、通信ユニット２７に入力される。なお、Ｎ個のドライバ視線方向情報のそれぞれは、前記ステップ７においてドライバ視線方向情報出力装置３が送信したものである。 In step 13, N driver gaze direction information is received using the communication unit 27. That is, the driver gaze direction information is input to the communication unit 27. Note that each of the N driver line-of-sight direction information is transmitted by the driver line-of-sight direction information output device 3 in step 7.
ステップ１４では、集合部認識ユニット３１が、前記ステップ１３で受信したドライバ視線方向情報に基づき、視線方向の分布における集合部を認識する。この処理を以下で具体的に説明する。 In step 14, the collective part recognition unit 31 recognizes the collective part in the gaze direction distribution based on the driver gaze direction information received in step 13. This process will be specifically described below.
図４に示すように、ドライバ４３の視線方向４５は、自車両のＷＳ（ウインドシールド）と、それをさらに外側まで延長した部分から成る曲面４７を通過する。ドライバ４３の視線方向４５は、それが曲面４７を通過する点４５Ａにより表すことができる。 As shown in FIG. 4, the line-of-sight direction 45 of the driver 43 passes through a curved surface 47 made up of a WS (wind shield) of the host vehicle and a portion further extending to the outside. The line-of-sight direction 45 of the driver 43 can be represented by a point 45 </ b> A where it passes through the curved surface 47.
図５に、前記ステップ１３で受信したＮ個のドライバ視線方向情報に含まれる、Ｎ個の視線方向４５を、曲面４７上の点４５Ａとして表す。曲面４７上における点４５Ａの群は、視線方向の分布の一例である。ただし、ドライバ視線方向情報に含まれる自車両の速度が所定の閾値（例えば、５ｋｍ／ｈ）以下である場合、そのドライバ視線方向情報に含まれる視線方向は、視線方向の分布から除外される。 In FIG. 5, N line-of-sight directions 45 included in the N driver line-of-sight direction information received in step 13 are represented as points 45 </ b> A on the curved surface 47. The group of points 45A on the curved surface 47 is an example of the distribution in the line-of-sight direction. However, when the speed of the host vehicle included in the driver line-of-sight direction information is equal to or less than a predetermined threshold (for example, 5 km / h), the line-of-sight direction included in the driver line-of-sight direction information is excluded from the distribution of the line-of-sight direction.
曲面４７上には、点４５Ａが集合した部分（他の部分に比べて、点４５Ａ同士の間隔が小さい部分）である集合部４９、５１、５３、５５、５７、５９・・・が存在する。集合部認識ユニット３１は、この集合部４９、５１、５３、５５、５７、５９・・・を認識する。 On the curved surface 47, there are aggregate portions 49, 51, 53, 55, 57, 59... That are portions where the points 45A are aggregated (portions where the distance between the points 45A is smaller than other portions). . The collective unit recognition unit 31 recognizes the collective units 49, 51, 53, 55, 57, 59.
図３に戻り、ステップ１５では、集合部判断ユニット３３が、まず、集合部４９、５１、５３、５５、５７、５９・・・のそれぞれについて、集合部が含む視線方向の数を算出する。次に、集合部が含む視線方向の数が多い順に、集合部４９、５１、５３、５５、５７、５９・・・に順位をつける。例えば、最も多くの視線方向を含む集合部の順位は１番であり、ｉ番目に多くの視線方向を含む集合部の順位はｉ番である（ｉは２以上の整数）。この順位は、集合部に含まれる視線方向の数に関する集合部間での順位の一例である。 Returning to FIG. 3, in step 15, the collective part determination unit 33 first calculates the number of gaze directions included in the collective part for each of the collective parts 49, 51, 53, 55, 57, 59. Next, the order is given to the collection parts 49, 51, 53, 55, 57, 59... In descending order of the number of gaze directions included in the collection part. For example, the rank of the set part including the most line-of-sight directions is No. 1, and the rank of the set part including the i-th most line-of-sight directions is i (i is an integer of 2 or more). This rank is an example of the rank between the collective parts regarding the number of gaze directions included in the collective part.
そして、順位が１番である集合部を、ドライバが消失点（自車両の前方における無限遠の点）を見たときの視線方向の集合部（以下、消失点に対応する集合部とする）であると判断する。図５に示す例では、集合部４９が、消失点に対応する集合部である。 Then, the collective part with the highest rank is the collective part in the line of sight when the driver sees the vanishing point (the point at infinity in front of the host vehicle) (hereinafter referred to as the collective part corresponding to the vanishing point). It is judged that. In the example illustrated in FIG. 5, the collection unit 49 is a collection unit corresponding to the vanishing point.
ステップ１６では、集合部判断ユニット３３が、前記ステップ１５で付けた順位に基づき、ミラーに対応する集合部を判断する。具体的には、以下のように行う。消失点に対応する集合部４９の左方において最も順位が高い集合部５１を、ドライバが左ミラーを見たときの視線方向の集合部（以下、左ミラーに対応する集合部５１とする）であると判断する。また、消失点に対応する集合部４９の右方において最も順位が高い集合部５３を、ドライバが右ミラーを見たときの視線方向の集合部（以下、右ミラーに対応する集合部５３とする）であると判断する。また、消失点に対応する集合部４９の上方において最も順位が高い集合部５５を、ドライバが室内バックミラーを見たときの視線方向の集合部（以下、室内バックミラーに対応する集合部５５とする）であると判断する。 In step 16, the gathering unit determination unit 33 judges the gathering unit corresponding to the mirror based on the ranking given in step 15. Specifically, this is performed as follows. The collective portion 51 having the highest rank on the left side of the collective portion 49 corresponding to the vanishing point is a collective portion in the line-of-sight direction when the driver looks at the left mirror (hereinafter, referred to as a collective portion 51 corresponding to the left mirror). Judge that there is. In addition, the collection unit 53 having the highest rank on the right side of the collection unit 49 corresponding to the vanishing point is a collection unit in the line-of-sight direction when the driver looks at the right mirror (hereinafter referred to as a collection unit 53 corresponding to the right mirror). ). In addition, the highest-order set unit 55 above the set unit 49 corresponding to the vanishing point is the set unit in the line-of-sight direction when the driver views the indoor rearview mirror (hereinafter referred to as the set unit 55 corresponding to the indoor rearview mirror). ).
ステップ１７では、集合部判断ユニット３３が、消失点に対応する集合部４９の下方において最も順位が高い集合部５７を、ドライバがメータを見たときの視線方向の集合部（以下、メータに対応する集合部５７とする）であると判断する。 In step 17, the collective part determination unit 33 selects the collective part 57 having the highest rank below the collective part 49 corresponding to the vanishing point, and the collective part in the line-of-sight direction when the driver looks at the meter (hereinafter, corresponding to the meter It is determined that it is a collecting unit 57).
ステップ１８では、視線方向領域設定ユニット３５が、図５に示すように、左ミラーに対応する集合部５１、右ミラーに対応する集合部５３、及び室内バックミラーに対応する集合部５５を含む視線方向領域６１を、曲面４７上で設定する。 In step 18, the line-of-sight direction region setting unit 35 includes a line of sight including a set part 51 corresponding to the left mirror, a set part 53 corresponding to the right mirror, and a set part 55 corresponding to the indoor rearview mirror, as shown in FIG. A direction area 61 is set on the curved surface 47.
視線方向領域６１は、矩形の領域である。左ミラーに対応する集合部５１、右ミラーに対応する集合部５３、及び室内バックミラーに対応する集合部５５は、それぞれ、視線方向領域６１の外周端に内接する。 The line-of-sight direction area 61 is a rectangular area. The gathering part 51 corresponding to the left mirror, the gathering part 53 corresponding to the right mirror, and the gathering part 55 corresponding to the indoor rearview mirror are inscribed in the outer peripheral end of the line-of-sight direction region 61, respectively.
メータに対応する集合部５７と、ナビに対応する集合部５９とは、視線方向領域６１に含まれず、視線方向領域６１の外周端に外接する。
なお、上記のように視線方向領域６１を設定する前は、初期として大きめの領域（例えば、長さで定義すれば、縦横それぞれ３ｍの領域、角度で定義すれば、縦横それぞれ１８０°の領域）を設定しておく。
The set part 57 corresponding to the meter and the set part 59 corresponding to the navigation are not included in the line-of-sight direction area 61 and circumscribe the outer peripheral end of the line-of-sight direction area 61.
Before setting the line-of-sight direction area 61 as described above, a large area as an initial stage (for example, an area of 3 m in length and width if defined by length, and an area of 180 ° in length and width if defined by angle) Is set in advance.
図３に戻り、ステップ１９では、視線方向領域設定ユニット３５が、前記ステップ１８で設定した視線方向領域と、前記ステップ１１で受信した装着者情報に含まれるＩＤとを関連付けて、記憶ユニット２９に記憶する。記憶した視線方向領域は、後述する警報処理で使用する。 Returning to FIG. 3, in step 19, the line-of-sight area setting unit 35 associates the line-of-sight direction area set in step 18 with the ID included in the wearer information received in step 11, and stores it in the storage unit 29. Remember. The stored line-of-sight direction area is used in alarm processing described later.
一方、前記ステップ１２で該当データ有りと判断した場合はステップ２０に進み、前記ステップ１１で受信した装着者情報に含まれるＩＤと関連付けられた視線方向領域を記憶ユニット２９から読み出す。なお、本ステップ１２で読み出す視線方向領域は、過去の前記ステップ１９においてＩＤと関連付けて記憶されたものである。読み出した視線方向領域は、後述する警報処理で使用する。 On the other hand, if it is determined in step 12 that the corresponding data exists, the process proceeds to step 20, and the line-of-sight direction area associated with the ID included in the wearer information received in step 11 is read from the storage unit 29. Note that the line-of-sight direction area read in step 12 is stored in association with the ID in the previous step 19. The read line-of-sight direction area is used in alarm processing described later.
（２−３）視線方向領域設定装置５が実行する警報処理
視線方向領域設定装置５（特に警報ユニット３７）が所定時間ごとに繰り返し実行する警報処理を図６に基づき説明する。
(2-3) Alarm process executed by the line-of-sight direction area setting device 5 The alarm process repeatedly executed by the line-of-sight direction area setting device 5 (particularly the alarm unit 37) every predetermined time will be described with reference to FIG.
図６のステップ２１では、通信ユニット２７を用いて、ドライバ視線方向情報を受信する。なお、ドライバ視線方向情報出力装置３は、図２に示す処理を実行していないとき、ドライバ視線方向情報を定期的に作成し、送信している。 In step 21 of FIG. 6, the driver visual line direction information is received using the communication unit 27. The driver line-of-sight direction information output device 3 periodically creates and transmits driver line-of-sight direction information when the processing shown in FIG. 2 is not executed.
ステップ２２では、前記ステップ２１で受信したドライバ視線方向情報に含まれるドライバの視線方向が、視線方向領域の外であるか否かを判断する。視線方向領域の外である場合はステップ２３に進み、視線方向領域の中である場合は本処理を終了する。 In step 22, it is determined whether or not the driver's line-of-sight direction included in the driver line-of-sight direction information received in step 21 is outside the line-of-sight direction area. If it is outside the line-of-sight direction area, the process proceeds to step 23, and if it is within the line-of-sight direction area, this process is terminated.
ステップ２３では、スピーカ３９を用いて警報音を出力するとともに、ディスプレイ４１に警報メッセージを表示する。
３．視線方向領域設定システム１が奏する効果
（１Ａ）視線方向領域設定装置５は、ドライバの実際の視線方向に基づき、視線方向領域を設定する。そのため、例えば、ドライバの体格、ドライバの着座位置、ドライバの姿勢、自車両の車種等が様々であっても、ドライバが実際にミラーを見るときの視線方向を含む視線方向領域を高精度に設定することができる。
In step 23, an alarm sound is output using the speaker 39 and an alarm message is displayed on the display 41.
3. Effects produced by the line-of-sight direction area setting system 1 (1A) The line-of-sight direction area setting device 5 sets the line-of-sight direction area based on the actual line-of-sight direction of the driver. Therefore, for example, even if the driver's physique, the driver's seating position, the driver's posture, the vehicle type of the host vehicle, etc. are various, the gaze direction area including the gaze direction when the driver actually looks at the mirror is set with high accuracy can do.
この視線方向領域とドライバの視線方向とを対比すれば、ドライバの視線方向がミラーに向っておらず、よそ見をしていることを正確に判断し、適切に警報処理を行うことができる。 By comparing this line-of-sight direction region with the line-of-sight direction of the driver, it is possible to accurately determine that the line-of-sight direction of the driver is not facing the mirror and looking away, and appropriate alarm processing can be performed.
（１Ｂ）視線方向領域設定装置５は、ドライバの顔方向と、顔方向を基準とした眼球の方向とに基づき、ドライバの視線方向を特定する。そのため、ドライバの視線方向を高精度に検出することができる。 (1B) The line-of-sight direction region setting device 5 identifies the line-of-sight direction of the driver based on the face direction of the driver and the direction of the eyeball based on the face direction. Therefore, the driver's line-of-sight direction can be detected with high accuracy.
（１Ｃ）ドライバ視線方向情報出力装置３は、ドライバの頭部に装着されている。そのため、自車両にドライバ視線方向情報出力装置３が固定されている場合に比べて、ドライバ視線方向情報出力装置３の位置や方向の調整が容易である。 (1C) The driver gaze direction information output device 3 is attached to the head of the driver. Therefore, it is easier to adjust the position and direction of the driver gaze direction information output device 3 than when the driver gaze direction information output device 3 is fixed to the host vehicle.
（１Ｄ）ドライバ視線方向情報出力装置３は、ドライバがかけるメガネに設けられている。そのため、ドライバ視線方向情報出力装置３と、ドライバの目との距離が短い。その結果、ドライバの視線方向を高精度に検出することができる。また、ドライバは、ドライバ視線方向情報出力装置３を容易に装着することができる。 (1D) The driver gaze direction information output device 3 is provided on the glasses worn by the driver. Therefore, the distance between the driver gaze direction information output device 3 and the driver's eyes is short. As a result, the line-of-sight direction of the driver can be detected with high accuracy. Further, the driver can easily attach the driver gaze direction information output device 3.
（１Ｅ）視線方向領域設定装置５は、消失点に対応する集合部を基準として、左方において最も順位が高い集合部を左ミラーに対応する集合部であると判断し、右方において最も順位が高い集合部を右ミラーに対応する集合部であると判断し、上方において最も順位が高い集合部を室内バックミラーに対応する集合部であると判断する。そのことにより、ミラーに対応する集合部を正確に判断することができる。 (1E) The line-of-sight direction region setting device 5 determines that the highest-order set part on the left side is the set part corresponding to the left mirror with reference to the set part corresponding to the vanishing point, and ranks highest on the right side. It is determined that the gathering part having a higher value is the gathering part corresponding to the right mirror, and the gathering part having the highest rank in the upper part is judged to be the gathering part corresponding to the indoor rearview mirror. As a result, it is possible to accurately determine the aggregate portion corresponding to the mirror.
（１Ｆ）視線方向領域設定装置５は、視線方向の分布において、自車両の速度が所定の閾値以下であるときの視線方向は除外する。そのことにより、走行中以外のときのドライバの視線方向が視線方向領域の設定に影響してしまうことを抑制できる。 (1F) The line-of-sight direction region setting device 5 excludes the line-of-sight direction when the speed of the host vehicle is equal to or less than a predetermined threshold in the distribution of the line-of-sight direction. As a result, it is possible to prevent the driver's line-of-sight direction from affecting the setting of the line-of-sight region when the vehicle is not traveling.
（１Ｇ）視線方向領域設定システム１は、使用者が煩わしい設定をしなくても、使用しているうちに自動的に、視線方向領域のキャリブレーションを行うことができる。
＜第２の実施形態＞
１．視線方向領域設定装置１０５の構成
視線方向領域設定装置１０５の構成を図７に基づき説明する。視線方向領域設定装置１０５は、自車両に搭載される車載装置である。視線方向領域設定装置１０５は、演算ユニット１２５と、速度検出ユニット１２３と、ドライバ視線方向検出ユニット１０７と、ディスプレイ１４１と、入力ユニット１１３と、スピーカ１３９と、記憶ユニット１２９と、を備える。
(1G) The line-of-sight direction area setting system 1 can automatically calibrate the line-of-sight direction area while it is being used, even if the user does not make troublesome settings.
<Second Embodiment>
1. Configuration of Gaze Direction Area Setting Device 105 A configuration of the gaze direction area setting device 105 will be described with reference to FIG. The line-of-sight direction region setting device 105 is an in-vehicle device mounted on the host vehicle. The line-of-sight direction region setting device 105 includes an arithmetic unit 125, a speed detection unit 123, a driver line-of-sight direction detection unit 107, a display 141, an input unit 113, a speaker 139, and a storage unit 129.
演算ユニット１２５は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えた周知のコンピュータである。演算ユニット１２５は、機能的に、集合部認識ユニット１３１、集合部判断ユニット１３３、視線方向領域設定ユニット１３５、装着者判定ユニット１２１、及び警報ユニット１３７を備える。各ユニットの機能は後述する。 The arithmetic unit 125 is a known computer that includes a CPU, a RAM, a ROM, and the like. The arithmetic unit 125 functionally includes a collective part recognition unit 131, a collective part determination unit 133, a line-of-sight direction area setting unit 135, a wearer determination unit 121, and an alarm unit 137. The function of each unit will be described later.
速度検出ユニット１２３は、自車両の速度を検出する。ドライバ視線方向検出ユニット１０７は、自車両の車室内に固定されたカメラ１１８を備える。カメラ１１８は、ドライバの顔を撮影可能である。ドライバ視線方向検出ユニット１０７は、カメラ１１８で撮影した画像に基づき、ドライバの顔方向を判断する。そして、ドライバは顔の正面方向に視線を向けていると仮定し、ドライバの視線方向を検出する。 The speed detection unit 123 detects the speed of the host vehicle. The driver gaze direction detection unit 107 includes a camera 118 fixed in the passenger compartment of the host vehicle. The camera 118 can photograph the driver's face. The driver gaze direction detection unit 107 determines the driver's face direction based on the image captured by the camera 118. Then, assuming that the driver is looking toward the front of the face, the driver detects the direction of the driver's line of sight.
ディスプレイ１４１、入力ユニット１１３、スピーカ１３９、及び記憶ユニット１２９は、それぞれ、前記第１の実施形態におけるディスプレイ４１、入力ユニット１３、スピーカ３９、及び記憶ユニット２９と同様のものである。 The display 141, the input unit 113, the speaker 139, and the storage unit 129 are the same as the display 41, the input unit 13, the speaker 39, and the storage unit 29 in the first embodiment, respectively.
２．視線方向領域設定装置１０５が実行する処理
（２−１）視線方向領域設定装置１０５が実行する視線方向領域設定処理
視線方向領域設定装置１０５（特に演算ユニット１２５）が実行する視線方向領域設定処理を図８に基づき説明する。ステップ３１では、ステップ３２以降の処理を実行するタイミングに達したか否かを判断する。このタイミングは、例えば、ステップ３２以降の処理を前回実行してから、所定の時間が経過したタイミングとすることができる。前記のタイミングに達している場合はステップ３２に進み、達していない場合は本処理を終了する。
2. Processing executed by the line-of-sight direction region setting device 105 (2-1) Line-of-sight direction region setting processing executed by the line-of-sight direction region setting device 105 Line-of-sight direction region setting processing executed by the line-of-sight direction region setting device 105 (particularly the arithmetic unit 125) This will be described with reference to FIG. In step 31, it is determined whether or not it is time to execute the processing after step 32. This timing can be, for example, a timing at which a predetermined time has elapsed since the processing after step 32 was previously executed. If the timing has been reached, the process proceeds to step 32. If not, the process ends.
ステップ３２では、装着者判定ユニット１２１が、ディスプレイ１４１に、ＩＤ入力を要求するメッセージを表示する。なお、自車両のドライバは、このメッセージに応じて、入力ユニット１１３を用いてＩＤを入力することができる。 In step 32, the wearer determination unit 121 displays a message requesting ID input on the display 141. In addition, the driver of the own vehicle can input ID using the input unit 113 according to this message.
ステップ３３では、装着者判定ユニット１２１が、前記ステップ３２でメッセージを表示してから所定時間以内にＩＤの入力があったか否かを判断する。ＩＤの入力があった場合はステップ３４に進み、ＩＤの入力がなかった場合は本処理を終了する。 In step 33, the wearer determination unit 121 determines whether or not an ID has been input within a predetermined time after displaying the message in step 32. If there is an ID input, the process proceeds to step 34, and if no ID is input, this process is terminated.
ステップ３４では、装着者判定ユニット１２１が、前記ステップ３３で入力があったと判断したＩＤに該当するデータが記憶ユニット１２９に記憶されているか否かを判断する。記憶されていない場合はステップ３５に進み、記憶されている場合はステップ４５に進む。 In step 34, the wearer determination unit 121 determines whether data corresponding to the ID determined to have been input in step 33 is stored in the storage unit 129. If not stored, the process proceeds to step 35, and if stored, the process proceeds to step 45.
ステップ３５では、ドライバ視線方向検出ユニット１０７を用いて、ドライバの視線方向を検出する。
ステップ３６では、速度検出ユニット１２３を用いて、自車両の速度を検出する。この自車両の速度は、直前の前記ステップ３５で検出したドライバの視線方向とほぼ同じタイミングで検出されたものである。本ステップ３６で検出した自車両の速度と、直前の前記ステップ３５で検出したドライバの視線方向とを合わせて、ドライバ視線方向情報とする。すなわち、前記ステップ３５及び本ステップ３６の処理を実行するごとに、１つのドライバ視線方向情報が作成される。
In step 35, the driver's gaze direction detection unit 107 is used to detect the driver's gaze direction.
In step 36, the speed of the host vehicle is detected using the speed detection unit 123. The speed of the host vehicle is detected at substantially the same timing as the driver's line-of-sight direction detected in the previous step 35. The speed of the host vehicle detected in step 36 and the driver's line-of-sight direction detected in the previous step 35 are combined to obtain driver line-of-sight direction information. That is, each time the processes of Step 35 and Step 36 are executed, one driver line-of-sight direction information is created.
ステップ３７では、前記ステップ３５及び前記ステップ３６の処理により、Ｎ個のドライバ視線方向情報が蓄積されたか否かを判断する。Ｎ個のドライバ視線方向情報が蓄積された場合はステップ３８に進み、それ以外の場合はステップ３５に進む。 In step 37, it is determined whether or not N pieces of driver line-of-sight direction information have been accumulated by the processing of step 35 and step 36. If N driver line-of-sight direction information has been accumulated, the process proceeds to step 38; otherwise, the process proceeds to step 35.
ステップ３８〜４３では、前記第１の実施形態における前記ステップ１４〜１９と同様に、視線方向領域を設定し、その視線方向領域とＩＤとを関連付けて記憶ユニット１２９に記憶する。記憶した視線方向領域は、後述する警報処理で使用する。 In Steps 38 to 43, as in Steps 14 to 19 in the first embodiment, a line-of-sight direction area is set, and the line-of-sight direction area and the ID are associated and stored in the storage unit 129. The stored line-of-sight direction area is used in alarm processing described later.
ステップ３８〜４３の処理において、集合部認識ユニット１３１、集合部判断ユニット１３３、及び視線方向領域設定ユニット１３５は、それぞれ、前記第１の実施形態における集合部認識ユニット３１、集合部判断ユニット３３、及び視線方向領域設定ユニット３５と同様の機能を有する。 In the processing of Steps 38 to 43, the collective unit recognition unit 131, the collective unit determination unit 133, and the line-of-sight direction area setting unit 135 are the collective unit recognition unit 31, the collective unit determination unit 33, and the collective unit determination unit 33 in the first embodiment, respectively. And the same function as the line-of-sight direction region setting unit 35.
一方、前記ステップ３４で該当データ有りと判断した場合はステップ４５に進み、前記ステップ３３で入力有りと判断したＩＤと関連付けられた視線方向領域を記憶ユニット１２９から読み出す。なお、本ステップ４５で読み出す視線方向領域は、過去の前記ステップ４３においてＩＤと関連付けて記憶されたものである。読み出した視線方向領域は、後述する警報処理で使用する。 On the other hand, if it is determined in step 34 that the corresponding data is present, the process proceeds to step 45, and the line-of-sight direction area associated with the ID determined to be present in step 33 is read from the storage unit 129. The line-of-sight direction area read in step 45 is stored in association with the ID in the previous step 43. The read line-of-sight direction area is used in alarm processing described later.
（２−２）視線方向領域設定装置１０５が実行する警報処理
視線方向領域設定装置１０５（特に警報ユニット１３７）が所定時間ごとに繰り返し実行する警報処理を図９に基づき説明する。
(2-2) Alarm process executed by the line-of-sight direction area setting device 105 The alarm process repeatedly executed by the line-of-sight direction area setting device 105 (particularly the alarm unit 137) every predetermined time will be described with reference to FIG.
図９のステップ５１では、ドライバ視線方向検出ユニット１０７を用いて、ドライバの視線方向を検出する。
ステップ５２では、前記ステップ５１で検出したドライバの視線方向が、視線方向領域の外であるか否かを判断する。視線方向領域の外である場合はステップ５３に進み、視線方向領域の中である場合は本処理を終了する。
In step 51 of FIG. 9, the driver's line-of-sight direction detection unit 107 is used to detect the driver's line-of-sight direction.
In step 52, it is determined whether or not the line-of-sight direction of the driver detected in step 51 is outside the line-of-sight direction area. If it is outside the line-of-sight direction area, the process proceeds to step 53, and if it is within the line-of-sight direction area, this process is terminated.
ステップ５３では、スピーカ１３９を用いて警報音を出力するとともに、ディスプレイ１４１に警報メッセージを表示する。
３．視線方向領域設定装置１０５が奏する効果
（２Ａ）視線方向領域設定装置１０５は、ドライバの顔方向を検出し、その顔方向に基づき、ドライバの視線方向を特定する。そのため、ドライバの視線方向を簡易な構成で検出できる。
In step 53, an alarm sound is output using the speaker 139 and an alarm message is displayed on the display 141.
3. Effects exhibited by the line-of-sight direction region setting device 105
(2A) The line-of-sight direction region setting device 105 detects the face direction of the driver and identifies the line-of-sight direction of the driver based on the face direction. Therefore, the driver's line-of-sight direction can be detected with a simple configuration.
＜その他の実施形態＞
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。
<Other embodiments>
As mentioned above, although embodiment of this invention was described, this invention can take a various form, without being limited to the said embodiment.
（１）前記第１、第２の実施形態において、ドライバ視線方向検出ユニット７、１０７は、他の方法でドライバの視線方向を検出してもよい。例えば、前記第１の実施形態において、ジャイロセンサ１７でドライバの顔方向を検出し、ドライバは顔の正面方向に視線を向けていると仮定し、ドライバの視線方向を検出してもよい。 (1) In the first and second embodiments, the driver gaze direction detection units 7 and 107 may detect the driver's gaze direction by other methods. For example, in the first embodiment, the driver's face direction may be detected by the gyro sensor 17, and the driver's line of sight may be detected on the assumption that the driver is looking at the front of the face.
また、前記第２の実施形態において、ドライバの顔方向と、顔方向を基準とした眼球の方向とを検出し、顔方向及び眼球の方向に基づきドライバの視線方向を特定してもよい。
また、ジャイロセンサと地磁気センサとの組み合わせにより、ドライバの視線方向を検出してもよい。
In the second embodiment, the driver's face direction and the eyeball direction based on the face direction may be detected, and the driver's line-of-sight direction may be specified based on the face direction and the eyeball direction.
Further, the line-of-sight direction of the driver may be detected by a combination of a gyro sensor and a geomagnetic sensor.
（２）前記第１、第２の実施形態において、左ミラーに対応する集合部、右ミラーに対応する集合部、及び室内バックミラーに対応する集合部を、他の方法で特定してもよい。例えば、順位が２〜５番目の集合部のうち、最も下方にあるもの（メータに対応する集合部）を除き、残りの３つの集合部を、左ミラーに対応する集合部、右ミラーに対応する集合部、及び室内バックミラーに対応する集合部とすることができる。 (2) In the first and second embodiments, the collecting unit corresponding to the left mirror, the collecting unit corresponding to the right mirror, and the collecting unit corresponding to the indoor rearview mirror may be specified by other methods. . For example, of the 2nd to 5th aggregate parts in the order, except the lowest one (aggregate part corresponding to the meter), the remaining 3 aggregate parts correspond to the collective part corresponding to the left mirror and the right mirror And a collecting unit corresponding to the indoor rearview mirror.
（３）前記第１、第２の実施形態において、周期的に視線方向領域を更新してもよい。すなわち、視線方向領域を周期的に設定し、過去の視線方向領域に上書きして記憶してもよい。視線方向領域を更新するタイミングは、例えば、自車両のドライブ開始時とすることができる。また、所定の時間ごとに、視線方向領域を更新してもよい。また、条件付きで視線方向領域を更新してもよい。例えば、新たに設定した視線方向領域が過去の視線方向領域より小さいことを条件として、視線方向領域を更新してもよい。 (3) In the first and second embodiments, the line-of-sight direction region may be periodically updated. That is, the line-of-sight direction area may be set periodically, and the past line-of-sight direction area may be overwritten and stored. The timing at which the line-of-sight direction area is updated can be, for example, at the start of driving of the host vehicle. Further, the line-of-sight direction area may be updated every predetermined time. Further, the line-of-sight direction region may be updated with conditions. For example, the line-of-sight direction area may be updated on condition that the newly set line-of-sight direction area is smaller than the past line-of-sight direction area.
（４）前記第１の実施形態において、ドライバ視線方向情報出力装置３は、メガネに設けられるもの以外であってもよい。例えば、ドライバ視線方向情報出力装置３は、携帯端末（例えばスマートフォン等）であってもよい。また、前記第１の実施形態において、視線方向領域設定装置５は、車載装置以外のものであってもよく、例えば、携帯端末（例えばスマートフォン等）であってもよい。 (4) In the first embodiment, the driver's line-of-sight direction information output device 3 may be other than that provided in the glasses. For example, the driver gaze direction information output device 3 may be a mobile terminal (for example, a smartphone). In the first embodiment, the line-of-sight direction region setting device 5 may be a device other than the in-vehicle device, for example, a mobile terminal (for example, a smartphone).
また、前記第２の実施形態において、視線方向領域設定装置１０５は、車載装置以外のものであってもよく、例えば、携帯端末（例えばスマートフォン等）であってもよい。また、視線方向領域設定装置１０５の一部又は全部は、ドライバ（例えばドライバの頭部）に装着されてもよい。視線方向領域設定装置１０５のうち、ドライバに装着される部分には、ドライバ視線方向検出ユニット１０７を設けることができる。視線方向領域設定装置１０５のうち、ドライバに装着される部分は、ドライバが装着するメガネに設けることができる。 In the second embodiment, the line-of-sight direction region setting device 105 may be a device other than the in-vehicle device, for example, a mobile terminal (for example, a smartphone). Further, part or all of the line-of-sight direction region setting device 105 may be attached to a driver (for example, the head of the driver). Of the line-of-sight direction region setting device 105, a driver line-of-sight direction detection unit 107 can be provided in a portion attached to the driver. Of the line-of-sight direction region setting device 105, a portion that is worn by the driver can be provided in glasses worn by the driver.
（５）前記第１の実施形態において、視線方向領域設定装置５が有する機能の一部を、ドライバ視線方向情報出力装置３が備えていてもよい。例えば、ドライバ視線方向情報出力装置３の演算ユニット９は、集合部認識ユニット３１を備えていてもよいし、集合部認識ユニット３１及び集合部判断ユニット３３を備えていてもよい。 (5) In the first embodiment, the driver gaze direction information output device 3 may include a part of the functions of the gaze direction area setting device 5. For example, the arithmetic unit 9 of the driver gaze direction information output device 3 may include the collective unit recognition unit 31 or may include the collective unit recognition unit 31 and the collective unit determination unit 33.
また、ドライバ視線方向情報出力装置３は、速度検出ユニット２３を備えていてもよい。この場合、速度検出ユニット２３は加速度センサを備え、検出した加速度の積分値から、自車両の速度を算出することができる。 The driver line-of-sight direction information output device 3 may include a speed detection unit 23. In this case, the speed detection unit 23 includes an acceleration sensor, and can calculate the speed of the host vehicle from the integrated value of the detected acceleration.
（６）前記第１の実施形態において、視線方向領域設定装置５は、複数のドライバ視線方向情報出力装置３のうち、通信電波強度が最も強いものとペアリングを行うようにしてもよい。 (6) In the first embodiment, the line-of-sight direction region setting device 5 may perform pairing with the one having the highest communication radio wave intensity among the plurality of driver line-of-sight direction information output devices 3.
また、視線方向領域設定装置５は、視線方向領域設定装置５からの操作指令に従って電源をオンにしたドライバ視線方向情報出力装置３とペアリングを行うようにしてもよい。
（７）前記第１、第２の実施形態において、視線方向領域は、右ミラーに対応する集合部、左ミラーに対応する集合部、及びルームミラーに対応する集合部のうちの一部を含み、前記一部以外は含まないものであってもよい。
The line-of-sight direction area setting device 5 may perform pairing with the driver line-of-sight direction information output device 3 whose power is turned on in accordance with an operation command from the line-of-sight direction region setting apparatus 5.
(7) In the first and second embodiments, the line-of-sight direction region includes a part of a set part corresponding to the right mirror, a set part corresponding to the left mirror, and a set part corresponding to the room mirror. , Except for the part described above.
（８）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。例えば、前記第１の実施形態において視線方向領域設定装置５はディスプレイ４１等を備えていなくてもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。 (8) The functions of one component in the above embodiment may be distributed as a plurality of components, or the functions of a plurality of components may be integrated into one component. Further, at least a part of the configuration of the above embodiment may be replaced with a known configuration having the same function. Moreover, you may abbreviate | omit a part of structure of the said embodiment. For example, in the first embodiment, the line-of-sight direction region setting device 5 may not include the display 41 or the like. In addition, at least a part of the configuration of the above embodiment may be added to or replaced with the configuration of the other embodiment. In addition, all the aspects included in the technical idea specified only by the wording described in the claim are embodiment of this invention.
（９）上述した視線方向領域設定装置、視線方向領域設定システムの他、当該視線方向領域設定装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、視線方向領域設定方法等、種々の形態で本発明を実現することもできる。 (9) In addition to the above-described gaze direction area setting device and gaze direction area setting system, various programs such as a program for causing a computer to function as the gaze direction area setting device, a medium on which the program is recorded, a gaze direction area setting method, etc. The present invention can also be realized in the form.
１…視線方向領域設定システム、３…ドライバ視線方向情報出力装置、５、１０５…視線方向領域設定装置、７、１０７…ドライバ視線方向検出ユニット、９、２５、１２５…演算ユニット、１１…ディスプレイ、１３、１１３…入力ユニット、１５、２７…通信ユニット、１７…ジャイロセンサ、１９…眼電位センサ、２１、１２１…装着者判定ユニット、２３、１２３…速度検出ユニット、２９、１２９…記憶ユニット、３１、１３１…集合部認識ユニット、３３、１３３…集合部判断ユニット、３５、１３５…視線方向領域設定ユニット、３７、１３７…警報ユニット、３９、１３９…スピーカ、４１、１４１…ディスプレイ、４３…ドライバ、４５…視線方向、４５Ａ…点、４７…曲面、４９、５１、５３、５５、５７、５９…集合部、６１…視線方向領域、１１８…カメラ DESCRIPTION OF SYMBOLS 1 ... Gaze direction area setting system, 3 ... Driver gaze direction information output device, 5, 105 ... Gaze direction area setting device, 7, 107 ... Driver gaze direction detection unit, 9, 25, 125 ... Arithmetic unit, 11 ... Display, DESCRIPTION OF SYMBOLS 13, 113 ... Input unit, 15, 27 ... Communication unit, 17 ... Gyro sensor, 19 ... Electrooculogram sensor, 21, 121 ... Wearer determination unit, 23, 123 ... Speed detection unit, 29, 129 ... Storage unit, 31 131 ... Collecting unit recognition unit 33, 133 ... Collecting unit judgment unit 35, 135 ... Gaze direction area setting unit 37, 137 ... Alarm unit 39, 139 ... Speaker, 41, 141 ... Display, 43 ... Driver, 45 ... Gaze direction, 45A ... Point, 47 ... Curved surface, 49, 51, 53, 55, 57, 59 ... , 61 ... line-of-sight direction area, 118 ... camera
Claims (12)
前記ドライバ視線方向情報に基づき、前記視線方向の分布における集合部（４９、５１、５３、５５、５７、５９）を認識する集合部認識ユニット（３１）と、
前記集合部に含まれる前記視線方向の数に関する前記集合部間での順位に基づき、ミラーに対応する前記集合部を判断する集合部判断ユニット（３３）と、
前記ミラーに対応する前記集合部を少なくとも１以上含む視線方向領域（６１）を設定する視線方向領域設定ユニット（３５）と、
を備えることを特徴とする視線方向領域設定装置（５）。 A driver gaze direction information input unit (27) to which driver gaze direction information indicating the gaze direction (45) of the driver is input;
A set recognition unit (31) for recognizing the set (49, 51, 53, 55, 57, 59) in the distribution of the gaze direction based on the driver gaze direction information;
A set unit determination unit (33) for determining the set unit corresponding to a mirror based on the rank among the set units with respect to the number of the line-of-sight directions included in the set unit;
A line-of-sight direction area setting unit (35) for setting a line-of-sight direction area (61) including at least one or more of the collective portions corresponding to the mirror;
A line-of-sight direction region setting device (5) comprising:
前記ドライバ視線方向検出ユニットで検出した前記視線方向に基づき、前記視線方向の分布における集合部（４９、５１、５３、５５、５７、５９）を認識する集合部認識ユニット（１３１）と、
前記集合部に含まれる前記視線方向の数に関する前記集合部間での順位に基づき、ミラーに対応する前記集合部を判断する集合部判断ユニット（１３３）と、
前記ミラーに対応する前記集合部を少なくとも１以上含む視線方向領域（６１）を設定する視線方向領域設定ユニット（１３５）と、
を備えることを特徴とする視線方向領域設定装置（１０５）。 A driver gaze direction detection unit (107) for detecting the gaze direction (45) of the driver;
A set recognition unit (131) for recognizing the set (49, 51, 53, 55, 57, 59) in the distribution of the gaze direction based on the gaze direction detected by the driver gaze direction detection unit;
A collective part determination unit (133) for judging the collective part corresponding to a mirror based on the rank among the collective parts with respect to the number of the line-of-sight directions included in the collective part;
A line-of-sight direction area setting unit (135) for setting a line-of-sight direction area (61) including at least one or more of the collective portions corresponding to the mirror;
A line-of-sight direction area setting device (105).
前記ドライバ視線方向検出ユニットは、ドライバの顔方向を検出し、その顔方向に基づき前記視線方向を特定することを特徴とする視線方向領域設定装置。 The line-of-sight area setting device according to claim 2,
The driver gaze direction detection unit detects a driver's face direction, and identifies the gaze direction based on the face direction.
前記ドライバ視線方向検出ユニットは、ドライバの顔方向と、前記顔方向を基準とした眼球の方向とを検出し、前記顔方向及び前記眼球の方向に基づき前記視線方向を特定することを特徴とする視線方向領域設定装置。 The line-of-sight area setting device according to claim 2,
The driver gaze direction detection unit detects a driver's face direction and an eyeball direction based on the face direction, and identifies the gaze direction based on the face direction and the eyeball direction. Gaze direction area setting device.
少なくとも前記ドライバ視線方向検出ユニットは、ドライバに装着されることを特徴とする視線方向領域設定装置。 It is a gaze direction area | region setting apparatus of any one of Claims 2-4,
At least the driver line-of-sight direction detection unit is attached to a driver.
少なくとも前記ドライバ視線方向検出ユニットは、ドライバの頭部に装着されることを特徴とする視線方向領域設定装置。 It is a gaze direction area | region setting apparatus of any one of Claims 2-5,
At least the driver gaze direction detection unit is mounted on the head of a driver.
少なくとも前記ドライバ視線方向検出ユニットは、メガネに設けられていることを特徴とする視線方向領域設定装置。 It is a gaze direction area | region setting apparatus of any one of Claims 2-6,
At least the driver line-of-sight direction detection unit is provided in eyeglasses.
前記集合部判断ユニットは、前記順位が１番目の前記集合部を基準として、左方、右方、及び上方のうちから選択される１の方向において、前記順位が最も高い前記集合部を、前記ミラーに対応する前記集合部と判断することを特徴とする視線方向領域設定装置。 It is a gaze direction area | region setting apparatus of any one of Claims 1-7,
The collective unit determination unit is configured to determine the collective unit having the highest rank in one direction selected from left, right, and above with reference to the collective unit having the first rank. A line-of-sight direction area setting device, characterized in that the line-of-sight region is determined to be the gathering unit corresponding to a mirror.
前記ミラーは、右ミラー、左ミラー、及びルームミラーから成る群から選択される１以上であることを特徴とする視線方向領域設定装置。 It is a gaze direction area | region setting apparatus of any one of Claims 1-8,
The line-of-sight direction region setting device, wherein the mirror is at least one selected from the group consisting of a right mirror, a left mirror, and a room mirror.
前記視線方向領域設定ユニットは、前記視線方向領域を所定時間ごとに更新することを特徴とする視線方向領域設定装置。 It is a gaze direction area | region setting apparatus of any one of Claims 1-9,
The line-of-sight direction area setting unit updates the line-of-sight direction area every predetermined time.
前記視線方向の分布において、自車両の速度が所定の閾値以下であるときの前記視線方向は除外されることを特徴とする視線方向領域設定装置。 It is a gaze direction area | region setting apparatus of any one of Claims 1-10,
In the gaze direction distribution, the gaze direction area setting device is excluded when the speed of the host vehicle is equal to or less than a predetermined threshold.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014234662A JP2016099718A (en) | 2014-11-19 | 2014-11-19 | Visual line direction area setting device and visual line direction area setting system |
| PCT/JP2015/005518 WO2016079939A1 (en) | 2014-11-19 | 2015-11-03 | Line-of-sight-direction-region setting apparatus and line-of-sight-direction-region setting system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014234662A JP2016099718A (en) | 2014-11-19 | 2014-11-19 | Visual line direction area setting device and visual line direction area setting system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016099718A true JP2016099718A (en) | 2016-05-30 |
Family
ID=56013515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014234662A Pending JP2016099718A (en) | 2014-11-19 | 2014-11-19 | Visual line direction area setting device and visual line direction area setting system |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2016099718A (en) |
| WO (1) | WO2016079939A1 (en) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3785669B2 (en) * | 1996-03-05 | 2006-06-14 | 日産自動車株式会社 | Gaze direction measuring device |
| JP2007230314A (en) * | 2006-02-28 | 2007-09-13 | Nissan Motor Co Ltd | Video presenting device and video presenting method |
| JP4936060B2 (en) * | 2007-07-10 | 2012-05-23 | 株式会社デンソー | Vehicle travel support device |
| JP4981566B2 (en) * | 2007-07-20 | 2012-07-25 | 株式会社デンソーアイティーラボラトリ | Driving support device and driving support method |
| JP5161685B2 (en) * | 2008-07-25 | 2013-03-13 | 株式会社豊田中央研究所 | Gaze measurement apparatus and program |
| JP6187155B2 (en) * | 2013-10-28 | 2017-08-30 | 株式会社デンソーアイティーラボラトリ | Gaze target estimation device |
-
2014
- 2014-11-19 JP JP2014234662A patent/JP2016099718A/en active Pending
-
2015
- 2015-11-03 WO PCT/JP2015/005518 patent/WO2016079939A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016079939A1 (en) | 2016-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101659027B1 (en) | Mobile terminal and apparatus for controlling a vehicle | |
| US9451062B2 (en) | Mobile device edge view display insert | |
| JP6497915B2 (en) | Driving support system | |
| US9767373B2 (en) | Head-mounted display head pose and activity estimation | |
| CN106662458B (en) | Wearable sensor data for improving map and navigation data | |
| JP5935640B2 (en) | Information processing apparatus, display control method, and program | |
| JP6343808B2 (en) | Visual field calculation device and visual field calculation method | |
| US20160128619A1 (en) | Wearable device and system for monitoring physical behavior of a vehicle operator | |
| US9940521B2 (en) | Visibility enhancement devices, systems, and methods | |
| US20180229654A1 (en) | Sensing application use while driving | |
| JP2014071811A5 (en) | ||
| US11137600B2 (en) | Display device, display control method, and display system | |
| JP2014203123A (en) | Infrastructure control device | |
| CN104890570B (en) | Worn type information of vehicles indicator and the method for indicating information of vehicles using it | |
| JP2017123029A (en) | Information notification device, information notification method, and information notification program | |
| US11004273B2 (en) | Information processing device and information processing method | |
| JP2019105678A (en) | Display device and method to display images | |
| JP2012113450A (en) | Arousal determination device, arousal determination method, and program | |
| JP2017083308A (en) | Electronic apparatus, facility specification method, and facility specification program | |
| US11988521B2 (en) | Navigation system, navigation display method, and navigation display program | |
| KR20160038476A (en) | Apparatus and Method for calibrating Gaze | |
| KR101659033B1 (en) | Mobile terminal and method for controlling the same | |
| TW202423748A (en) | Apparatus and methods for improving driver monitoring systems | |
| JP2016099718A (en) | Visual line direction area setting device and visual line direction area setting system | |
| CN112513784A (en) | Data glasses for vehicle capable of automatically hiding display content |