JP7230964B2 - Information processing device, information processing method, and program - Google Patents
Information processing device, information processing method, and program Download PDFInfo
- Publication number
- JP7230964B2 JP7230964B2 JP2021137818A JP2021137818A JP7230964B2 JP 7230964 B2 JP7230964 B2 JP 7230964B2 JP 2021137818 A JP2021137818 A JP 2021137818A JP 2021137818 A JP2021137818 A JP 2021137818A JP 7230964 B2 JP7230964 B2 JP 7230964B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- unit
- display
- instruction
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
Description
この技術は、車両用表示装置と表示制御方法および後方モニタリングシステムに関し、車両の周辺領域を容易に視認できるようにする。 This technology relates to a vehicle display device, a display control method, and a rear monitoring system, and enables easy visual recognition of the surrounding area of the vehicle.
近年、撮像装置と表示装置により構成されたモニタリングシステムによって、車両のバックミラーに相当する機能を実現することが行われている。バックミラーを用いた視認方法では、運転者が頭部や眼の位置等（以下、単に「頭部位置」という）を移動させることで視認可能な範囲（以下「視認範囲」という）を移動させることが可能である。しかし、撮像装置で取り込んだ画像を単に表示装置に表示するモニタリングシステムでは、視認範囲が固定されてしまい、運転者が頭部位置を移動させも視認可能な範囲を移動させることができない。このため、特許文献１では、運転者の頭部位置の変化を検出して、周辺領域撮像画像から頭部位置の変化に応じて画像の切り出しを行い、切り出した画像を表示装置に表示することで、視認範囲を頭部位置の変化に応じて移動させることが開示されている。
2. Description of the Related Art In recent years, a monitoring system configured by an imaging device and a display device has been used to realize a function corresponding to a rearview mirror of a vehicle. In the visual recognition method using the rearview mirror, the driver moves the position of the head and eyes (hereinafter simply referred to as "head position") to move the visible range (hereinafter referred to as "visible range"). Is possible. However, in a monitoring system that simply displays an image captured by an imaging device on a display device, the visible range is fixed, and the visible range cannot be changed even if the driver moves the head position. Therefore, in
ところで、周辺領域撮像画像から頭部位置の変化に応じて画像の切り出しを行う場合、バックミラーと同等に頭部位置の変化に応じて視認範囲を変化させるためには、画像の切り出しを頭部位置の変化に応じて適切に行うことが必要となる。例えば、頭部位置の変化に対して画像の切り出し位置の移動が少ないと、所望の範囲を視認するためにバックミラーの場合と同様に頭部を移動しても、所望の範囲が表示されなくなってしまう。 By the way, when an image is cut out from the captured image of the peripheral area according to the change in the head position, in order to change the visible range according to the change in the head position in the same way as the rearview mirror, the image is cut out from the head. It is necessary to do it appropriately according to the change of the position. For example, if the movement of the image clipping position is small with respect to the change in the head position, the desired range will not be displayed even if the head is moved in the same way as in the case of the rearview mirror in order to visually recognize the desired range. end up
そこで、この技術では、車両の周辺領域を容易に視認できる車両用表示装置と表示制御方法および後方モニタリングシステムを提供することを目的とする。 Therefore, it is an object of this technique to provide a display device for vehicle, a display control method, and a rear monitoring system that allow easy visual recognition of the surrounding area of the vehicle.
この技術の第１の側面は、
表示面を運転者の方向とは異なる方向に向けて車両の室内に配置されて、前記車両の周辺領域を撮像した画像を表示する表示部と、
前記車両の室内に配置されて前記表示部に表示された画像領域の一部または全体を映すミラー部と、
前記運転者の動きを判別して、動き判別結果に基づき前記表示部に表示する画像の表示制御を行い、前記運転者が視認できる前記周辺領域の視認範囲を前記運転者の動きに応じて変更する表示制御部を備え、
前記ミラー部に映る前記表示部の画像によって前記視認範囲が、前記ミラー部に対する前記運転者の視認位置の移動に応じて変化して、
前記表示制御部は、前記車両の周辺領域を撮像した画像における前記視認範囲の移動方向の端部側領域に対して、前記視認範囲の移動方向に画像の圧縮を行い、前記動き判別結果に基づき圧縮率または圧縮範囲を制御して、前記視認範囲を前記運転者の動きに応じて変更する車両用表示装置にある。
A first aspect of this technology is
a display unit arranged in a vehicle interior with a display surface facing in a direction different from the direction of the driver, and displaying an image of a surrounding area of the vehicle;
a mirror unit arranged in the interior of the vehicle for reflecting part or all of an image area displayed on the display unit;
The motion of the driver is discriminated, the display of the image displayed on the display unit is controlled based on the result of motion discrimination, and the visible range of the peripheral area visible to the driver is changed according to the motion of the driver. It has a display control unit that
According to the image of the display unit reflected on the mirror unit, the visible range changes according to the movement of the viewing position of the driver with respect to the mirror unit,
The display control unit performs image compression in the moving direction of the visible range on an end side area in the moving direction of the visible range in an image of the surrounding area of the vehicle, and performs image compression based on the motion determination result. The vehicle display device controls a compression ratio or a compression range to change the visible range according to the movement of the driver.
この技術においては、車両の室内に表示部とミラー部が設けられる。表示部の表示面を運転者の方向とは異なる方向に向けられており、ミラー部を介して表示面の画像領域の一部または全体が運転者によって視認される。表示部には車両の周辺領域を撮像した画像が表示される。また、周辺領域において、ミラー部に映る表示部の画像によって視認できる視認範囲を、運転者の視認位置の移動に応じて変更する。例えば、視認範囲に対応する表示領域を除いた他の表示領域の輝度を低下させる。また、運転者の動きを判別して、動き判別結果に基づき輝度を低下させる表示領域を制御して、運転者の動きに応じて視認範囲を移動または拡張する。また、車両の周辺領域を撮像した画像における視認範囲の移動方向の端部側領域に対して、視認範囲の移動方向に画像の圧縮を行い、動き判別結果に基づき圧縮率または圧縮範囲を制御して視認範囲の移動または拡張を行う。また、周辺領域を撮像した画像の表示は、例えば動き判別結果に基づき運転者がミラー部の方向に振り向いたことに応じて行い、振り向きの検出後に運転者で予め指定した動きが行われたことを判別した場合に視認範囲の領域の移動や拡張を行う。さらに、運転者の動きに応じて視認範囲の拡張を行い、車両の運行状況に基づき拡張する視認範囲の領域サイズを制御する。運転者で予め指定した動きとは、運転者のしぐさ特徴を加味して指示検出をするジェスチャー制御を指し、その実施形態例の詳細は後述する。 In this technology, a display section and a mirror section are provided in the interior of the vehicle. The display surface of the display unit is oriented in a direction different from the direction of the driver, and the driver sees part or all of the image area of the display surface through the mirror unit. The display unit displays an image of the surrounding area of the vehicle. In addition, in the peripheral area, the visible range that can be visually recognized by the image of the display unit reflected in the mirror unit is changed according to the movement of the driver's viewing position. For example, the brightness of the display area other than the display area corresponding to the visible range is reduced. In addition, the motion of the driver is discriminated, the display area whose brightness is lowered is controlled based on the result of motion discrimination, and the visible range is moved or expanded according to the motion of the driver. In addition, the image is compressed in the movement direction of the visible range for the end side area in the moving direction of the visible range in the image of the peripheral area of the vehicle, and the compression ratio or the compression range is controlled based on the motion determination result. to move or extend the view range. In addition, the display of the image of the surrounding area is performed, for example, when the driver turns toward the mirror unit based on the result of movement determination, and when the movement specified by the driver in advance is performed after the turning is detected. is determined, the area of the visible range is moved or extended. Furthermore, the visible range is expanded according to the movement of the driver, and the area size of the expanded visible range is controlled based on the operation status of the vehicle. The movement specified in advance by the driver refers to gesture control for performing instruction detection in consideration of the gesture characteristics of the driver, and the details of an embodiment thereof will be described later.
この技術の第２の側面は、
車両の室内に設けられて、表示面が運転者の方向とは異なる方向に向けられた表示部で、前記車両の周辺領域を撮像した画像を表示する工程と、
表示制御部で、前記運転者の動きを判別して動き判別結果に基づき前記表示部に表示する画像の表示制御を行うことで、前記車両の室内に設けられたミラー部に映る前記表示部の画像によって前記運転者が視認できる視認範囲が、前記運転者の視認位置の移動に応じて変化する工程と、
前記表示制御部で、前記車両の周辺領域を撮像した画像における前記視認範囲の移動方向の端部側領域に対して、前記視認範囲の移動方向に画像の圧縮を行い、前記動き判別結果に基づき圧縮率または圧縮範囲を制御して、前記視認範囲を前記運転者の動きに応じて変更する工程と
を含む表示制御方法にある。
A second aspect of this technology is
a step of displaying an image of a surrounding area of the vehicle on a display unit provided in the interior of the vehicle and having a display surface oriented in a direction different from the direction of the driver;
The display control unit discriminates the movement of the driver and controls the display of the image displayed on the display unit based on the result of the motion discrimination. a step in which the visual range that the driver can visually recognize by the image changes according to the movement of the visual recognition position of the driver;
The display control unit performs image compression in the moving direction of the visible range on an end side area in the moving direction of the visible range in the image of the surrounding area of the vehicle, and based on the motion determination result. and controlling a compression rate or a compression range to change the visible range according to the movement of the driver.
この技術の第３の側面は、
車両の外装部に共に車両進行方向に対して後方側を向けて取り付けられた少なくとも２つ以上の撮像装置と、
前記車両の室内のダッシュボード中央部に隣接配置される少なくとも２つ以上の画面表示領域を設けた表示部を有し、
前記画面表示領域に表示する撮像画像の表示内容では、車両進行方向前方側に設置された第１の撮像装置の画像を前記第１の撮像装置よりも車両進行方向後方側に設置された撮像装置の画像より上部に配置する後方モニタリングシステムにある。
A third aspect of this technology is
at least two or more imaging devices attached to an exterior portion of a vehicle so as to face the rear side with respect to the traveling direction of the vehicle;
a display unit provided with at least two or more screen display areas arranged adjacent to a central portion of a dashboard in the interior of the vehicle;
In the display contents of the captured image displayed in the screen display area, the image of the first imaging device installed on the front side in the vehicle traveling direction is displayed by the imaging device installed on the rear side in the vehicle traveling direction relative to the first imaging device. It is in the rear monitoring system that is placed above the image of the
この技術の第４の側面は、
車両の外装部に共に車両進行方向に対して後方側を向けて取り付けられた少なくとも２つ以上の撮像装置と、
前記車両の室内に隣接配置する少なくとも２つ以上の画面表示領域を設けた表示部を有し、
前記画面表示領域に表示する撮像画像の表示内容では、車両進行方向前方側に設置された第１の撮像装置の画像に含まれる無限消失点を前記第１の撮像装置よりも車両進行方向後方側に設置された撮像装置の画像に含まれる無限消失点より上部に配置する後方モニタリングシステムにある。
A fourth aspect of this technology is
at least two or more imaging devices attached to an exterior portion of a vehicle so as to face the rear side with respect to the traveling direction of the vehicle;
a display unit provided with at least two or more screen display areas arranged adjacently in the interior of the vehicle;
In the display contents of the captured image displayed in the screen display area, the infinite vanishing point included in the image of the first imaging device installed on the front side in the vehicle traveling direction is set to the rear side in the vehicle traveling direction relative to the first imaging device. The rear monitoring system is arranged above the infinite vanishing point included in the image of the imaging device installed in the rear.
この技術によれば、表示面を運転者の方向とは異なる方向に向けて車両の室内に配置された表示部で、車両の周辺領域を撮像した画像が表示される。ミラー部は、車両の室内に配置されて表示部に表示された画像領域の一部または全体を映す。ミラー部に映る表示部の画像によって運転者が視認できる周辺領域の視認範囲は、ミラー部に対する運転者の視認位置の移動に応じて変化する。このため、車両の周辺領域を撮像して表示部に表示して周辺領域を確認できるようにした場合に、周辺領域の所望の範囲例えば後方とその周辺を、従来の光学式バックミラー（後写鏡）と同等の感覚で容易に確認ができるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。 According to this technology, an image obtained by imaging the surrounding area of the vehicle is displayed on the display section arranged in the vehicle interior with the display surface facing in a direction different from the direction of the driver. The mirror unit is arranged in the interior of the vehicle and reflects part or all of the image area displayed on the display unit. The visible range of the peripheral area that the driver can visually recognize by the image of the display unit reflected on the mirror unit changes according to the movement of the driver's viewing position with respect to the mirror unit. For this reason, when the peripheral area of the vehicle is imaged and displayed on the display unit so that the peripheral area can be confirmed, the desired range of the peripheral area, for example, the rear and its surroundings, can be viewed using conventional optical rearview mirrors (rear view mirrors). You can easily check it with the same feeling as with a mirror. Note that the effects described in this specification are merely examples and are not limited, and additional effects may be provided.
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
１－１．第１の実施の形態の構成
１－２．第１の実施の形態の動作
１－３．第１の実施の形態の他の構成と動作
２．第２の実施の形態
２－１．第２の実施の形態の構成
２－２．第２の実施の形態の動作
３．第３の実施の形態
３－１．第３の実施の形態の構成
３－２．第３の実施の形態の動作
４．第４の実施の形態
４－１．第４の実施の形態の構成
４－２．第４の実施の形態の動作
５．他の実施の形態
Embodiments for implementing the present technology will be described below. The description will be given in the following order.
1. First Embodiment 1-1. Configuration of First Embodiment 1-2. Operation of First Embodiment 1-3. Other configurations and operations of the first embodiment;2. Second Embodiment 2-1. Configuration of Second Embodiment 2-2. Operation of the
＜１．第１の実施の形態＞
［１－１．第１の実施の形態の構成］
図１は第１の実施の形態の構成を例示している。表示装置１０は、周辺領域撮像部１１、表示部５０、ミラー部５５を備えている。また、図２は、運転者と表示部とミラー部の位置関係を例示した図である。
<1. First Embodiment>
[1-1. Configuration of the first embodiment]
FIG. 1 illustrates the configuration of the first embodiment. The
周辺領域撮像部１１は、車両周辺の周辺領域を撮像して画像信号を表示部５０に出力する。図３は、周辺領域撮像部の撮像範囲を説明するための図である。例えば、バックミラー９１を用いた場合に運転者ＤＲが頭部位置（眼の位置）ＰＳ１で周辺領域における領域ＡＲｂ１の範囲を視認できるとする。なお、以下の説明では胴部位置や眼の位置を単に頭部位置として記載する。
The peripheral
運転者ＤＲが頭部位置を移動して位置ＰＳ２で周辺領域における領域ＡＲｂ２の範囲を視認できるとする。周辺領域撮像部１１は、例えば領域ＡＲｂ１と領域ＡＲｂ２を含む領域ＡＲｃの範囲を撮像して画像信号を生成する。このように、撮像範囲を設定すれば、周辺領域撮像部１１はバックミラー９１を用いた場合に視認可能な周辺領域を撮像した画像信号を生成できる。なお、周辺領域撮像部１１の撮像範囲は、領域ＡＲｂ１と領域ＡＲｂ２を含む領域ＡＲｃの範囲に限らず例えば領域ＡＲｃよりも広画角の範囲としてもよい。以下、周辺領域撮像部１１で撮像される領域を撮像対象周辺領域とする。
It is assumed that the driver DR can move the head position and visually recognize the range of the area ARb2 in the peripheral area at the position PS2. The peripheral
表示部５０は、運転者ＤＲがミラー部５５を介して間接的に表示面を視認できるように配置されており、周辺領域撮像部１１で撮像された画像（以下「周辺領域撮像画像」という）を表示面に表示する。なお、表示部５０の表示画像において、運転者がミラー部５５を介して視認する周辺領域の範囲（以下「視認範囲」という）と対応する画像領域をモニタ画像領域とする。
The
ミラー部５５は、表示部５０の表示面を運転者ＤＲが間接的に視認できるように設けられている。ミラー部５５は、車両内であって例えば運転者ＤＲが従来のバックミラーを見る動作と同等の動作を行ったとき、ミラー部５５に写った画像を視認できるように例えばピラーの近傍位置に配置されている。
The
また、ミラー部５５に対して表示部５０は、ミラー部５５に映る表示部５０での周辺領域撮像画像が、従来のバックミラーに映る周辺領域と同等となるように表示サイズやミラー部５５との間隔が設定されている。さらに、表示部５０とミラー部５５は、周辺領域においてミラー部５５に映る表示部５０の画像によって運転者が視認できる視認範囲が、ミラー部５５に対する運転者の視認位置の移動に応じて変更されるように配置されている。
In addition, the
図４は、ミラー部と表示部および従来のバックミラーの関係を示している。ミラー部５５の鏡面サイズと位置は、運転者ＤＲがバックミラー９１を見たときのバックミラー９１の鏡面範囲（矢印ＷＡの範囲）と略一致するように設定する。また、ミラー部５５を介して視認される表示部５０の画像領域では、バックミラー９１の鏡面に映る周辺領域の撮像画像を表示する。このようにすれば、表示部５０とミラー部５５によって従来のバックミラー９１と同様な作用効果を得ることができる。本実施例では、従来のＡピラー近傍設置のサイド（バック）ミラー（後写鏡）を例にそれと同等の視認方向とした場合に配置すべきミラー部５５位置関係で説明をしているが、フェンダーミラーの視認方向と同様に、視認方向がダッシュボード中央に来るような配置でも良く、運転者のより少ない首振り動作を実現した配置として有効な負荷低減の効果も期待される。
FIG. 4 shows the relationship between the mirror section, the display section, and a conventional rearview mirror. The size and position of the mirror surface of the
表示装置１０では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認できるようにして、運転者ＤＲが表示部５０で表示面を直接的に視認する場合に比べて、運転者ＤＲから表示部５０の表示面までの距離を長くする。
In the
図５は、運転者の眼の焦点切り替えと応答時間の関係を模式化して示している。図５の（Ａ）に示すように、無限遠の視認対象物ＯＢａと近距離の視認対象物ＯＢｂの２点間で眼の焦点の切り替えを行う場合、一方から他方の対象物に焦点を合わせるまでの応答時間は、近距離の視認対象物ＯＢｂまでの距離ＬＡに応じて変化する。図５の（Ｂ）は、近距離の視認対象物ＯＢｂまでの距離ＬＡと応答時間ＴＲの関係を示しており、近距離の視認対象物ＯＢｂまでの距離がある程度の距離よりも短くなると、視認対象物ＯＢｂまでの距離が短くなるに伴い応答時間ＴＲが長くなる傾向がある。なお、実線は高年齢者、破線は中年齢者、一点鎖線は若年齢者の場合である。このため、本技術では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認できるようにして、運転者ＤＲから表示部５０の表示面までの距離を長くすることで、高速な認知作業を行うことができるようにする。具体的には、運転者ＤＲからミラー部５５を介した表示部５０の表示面までの光学的視認距離が少なくとも１．１ｍ以上となるように表示部５０とミラー部５５を配置または光学設計する。このように表示部５０とミラー部５５を配置すれば、表示装置１０では、運転者が表示部５０で表示された周辺領域撮像画像に焦点を合わせるために必要とされる時間を、バックミラーを介して見た対象物に焦点を合わせるために必要とされる時間に近づけられる。
FIG. 5 schematically shows the relationship between the focal point switching of the driver's eyes and the response time. As shown in (A) of FIG. 5, when switching the focus of the eye between two points, an object to be visually recognized OBa at infinity and an object to be visually recognized OBb at a short distance, one object is focused on the other. The response time to changes according to the distance LA to the short-range visual recognition object OBb. FIG. 5B shows the relationship between the distance LA to the short-range visible object OBb and the response time TR. The response time TR tends to increase as the distance to the object OBb decreases. The solid line is for the elderly, the dashed line is for the middle-aged, and the dashed-dotted line is for the young. For this reason, in the present technology, the driver DR can indirectly visually recognize the captured image of the surrounding area through the
また、表示装置１０では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認することから、表示部５０は運転者ＤＲから表示面や表示面の照明光が直接見えないように配置する。また、運転者ＤＲから表示部５０の表示面や照明光が見えないように遮蔽物を設けた構成としてもよい。
In addition, in the
［１－２．第１の実施の形態の動作］
図６は、第１の実施の形態の動作を説明するための図である。表示部５０は、周辺領域撮像部１１で撮像された撮像画像を表示する。ミラー部５５は、例えば平面ミラーで構成して、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認する際に、表示部５０における表示領域ＧＲｃの一部の領域ＧＲｍを視認できるサイズとする。なお、領域ＧＲｍをモニタ画像領域とする。また、表示部５０は、周辺領域撮像部１１で撮像された領域ＡＲｃの画像を表示領域ＧＲｃに表示する。
[1-2. Operation of the first embodiment]
FIG. 6 is a diagram for explaining the operation of the first embodiment. The
表示部５０とミラー部５５は、車両の運転者ＤＲが視認範囲を変更するために頭部位置を例えば矢印Ｖａの方向に移動したとき、ミラー部５５を介して視認できるモニタ画像領域ＧＲｍが従来のバックミラーの場合と同様に矢印Ｖｂの方向に移動するように配置する。具体的には、頭部位置を移動した場合におけるモニタ画像領域ＧＲｍの移動方向が表示部５０における表示領域の長手方向となるように、表示部５０とミラー部５５を配置する。
In the
ここで、ミラー部５５の方向を向いている運転者ＤＲの頭部位置が図に示す位置である場合、運転者ＤＲは、ミラー部５５を介してモニタ画像領域ＧＲｍの画像を視認することで、周辺領域における視認範囲ＡＲｍの状況を確認できる。
Here, when the head position of the driver DR facing the direction of the
次に視認範囲ＡＲｍよりも外側の領域を確認するため、運転者ＤＲが頭部位置を車両前方向である矢印Ｖａｆの方向に移動すると、運転者ＤＲがミラー部５５を介して視認できるモニタ画像領域ＧＲｍは矢印Ｖｂｆの方向に移動する。すなわち運転者ＤＲは、頭部位置を車両前方に移動して、ミラー部５５を介してモニタ画像領域の画像を視認することで、頭部位置の移動前よりも周辺領域における外側の領域の状況を確認できる。
Next, in order to confirm the area outside the visible range ARm, when the driver DR moves the head position in the direction of the arrow Vaf, which is the vehicle front direction, the driver DR can visually recognize the monitor image through the
また、運転者ＤＲが頭部位置を車両後方（矢印Ｖａｆに対して逆方向）に移動すると、運転者ＤＲがミラー部５５を介して視認できるモニタ画像領域ＧＲｍは矢印Ｖｂｆに対して逆方向に移動する。すなわち運転者ＤＲは、頭部位置を車両後方に移動して、ミラー部５５を介してモニタ画像領域の画像を視認することで、頭部位置の移動前よりも周辺領域における内側の領域の状況を確認できる。
Further, when the driver DR moves the head position to the rear of the vehicle (in the opposite direction to the arrow Vaf), the monitor image area GRm that the driver DR can visually recognize through the
したがって、ミラー部５５を介して表示部５０の画像を運転者に視認させることで、バックミラーを用いた場合と同様に周辺領域の所望の領域を確認できる。また、表示部５０とミラー部５５は、車両の室内に設けられているので、バックミラーを用いた場合のようにサイドウィンドウによる悪影響を受けることなく良好に周辺領域を確認できる。例えばサイドウィンドウの曇りや雨滴等の付着によって、周辺領域の確認が困難となってしまうことを防止できる。
Therefore, by allowing the driver to visually recognize the image on the
［１－３．第１の実施の形態の他の構成と動作］
ところで、上述の第１の実施の形態のミラー部５５は、平面ミラーで構成されている場合について説明したが、ミラー部５５は平面ミラーに限らず湾曲部分を有した構成としてもよい。ミラー部５５を部分的に湾曲させることにより湾曲部でバックミラー（後写鏡）の凸面鏡に相当する効果が得られる。
[1-3. Other configurations and operations of the first embodiment]
By the way, although the
図７は、ミラー部が湾曲部分を有している場合を例示している。ミラー部５５は、視認範囲の移動方向、すなわち運転者ＤＲの頭部位置の移動に応じたモニタ画像領域ＧＲｍの移動方向の形状を、例えば運転者ＤＲの方向に突出した湾曲形状とする。また、ミラー部５５は、視認範囲の移動方向の端部側よりも中央部分ＭＲｃの湾曲を少なくて、略平面状の形状とする。
FIG. 7 illustrates the case where the mirror section has a curved portion. The
このように、端部側を湾曲させると、湾曲部分では視認範囲の移動方向について圧縮された画像となる。したがって、ミラー部５５の中央部分ＭＲｃがモニタ画像領域ＧＲｍに対応する領域とすると、周辺領域においてモニタ画像領域ＧＲｍに対応する視認範囲ＡＲｍの外側や内側をミラー部５５の端部側部分の圧縮画像で確認できるようになる。したがって、平面ミラーを用いた場合よりも、運転者が確認できる周辺領域の領域を広く確保できるようになる。
In this way, when the end side is curved, the image becomes compressed in the direction of movement of the visible range at the curved portion. Therefore, assuming that the central portion MRc of the
＜２．第２の実施の形態＞
［２－１．第２の実施の形態の構成］
図８は第２の実施の形態の構成を例示している。表示装置１０は、周辺領域撮像部１１、運転者撮像部１２、表示制御部２０、表示部５０、ミラー部５５を備えている。なお、図９は、運転者と表示部とミラー部および運転者撮像部の位置関係を例示した図である。
<2. Second Embodiment>
[2-1. Configuration of the second embodiment]
FIG. 8 illustrates the configuration of the second embodiment. The
周辺領域撮像部１１は、車両の周辺領域を撮像して画像信号を表示制御部２０に出力する。なお、周辺領域撮像部１１で撮像される領域を撮像対象周辺領域とする。
The peripheral
運転者撮像部１２は、運転者ＤＲの頭部位置や頭部の向き（顔の向きに相当）、視線の向き等を判別できるように、例えば運転者ＤＲの前方またはミラー部５５が設置されている方向に設けられている。運転者撮像部１２は、運転者ＤＲを撮像して画像信号を表示制御部２０に出力する。
The
表示制御部２０は、周辺領域撮像部１１で撮像された周辺領域撮像画像を表示部５０に表示させる。また、表示制御部２０は、運転者の頭部位置や頭部の向き、視線の向き、および位置や向きの移動等に基づき、予め定めた表示変更意思伝達操作に応じて表示部５０に表示する画像の表示制御を行う。
The
表示部５０は、運転者がミラー部５５を介して間接的に表示部５０の表示面を視認できるように配置されている。また、表示部５０の表示面は、例えば運転者ＤＲが運転時にバックミラーで広範囲の領域を確認するように頭部位置を移動しても、ミラー部５５を介して表示部５０の表示画像を視認できるように表示面のサイズが設定されている。なお、表示部５０の表示画像において、運転者がミラー部５５を介して確認する周辺領域の視認範囲と対応する領域をモニタ画像領域とする。
The
ミラー部５５は、表示部５０の表示面を運転者ＤＲが間接的に視認できるように設けられている。ミラー部５５は、車両内であって例えば運転者ＤＲが従来のバックミラーを見る動作を行ったとき、ミラー部５５に写った画像を視認できるように例えばピラー近傍の位置に配置されている。また、ミラー部５５は、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認する際に、表示部５０の表示領域全体がミラー部５５に映り込むように、表示部５０との位置関係およびミラー部５５のサイズを設定する。さらに、表示部５０とミラー部５５は、周辺領域においてミラー部５５に映る表示部５０の画像によって運転者が視認できる視認範囲が、表示制御部２０の表示制御によって、ミラー部５５に対する運転者の視認位置の移動に応じて変更される。ミラー部５５の鏡面サイズと位置は、図４に示すように、運転者ＤＲがバックミラー９１を見たときのバックミラー９１の鏡面範囲（矢印ＷＡの範囲）と略一致するように設定する。このように設定して、表示部５０とミラー部５５によって従来のバックミラー９１と同様な作用効果を得ることができるようにする。
The
表示装置１０では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認できるようにして、運転者ＤＲが表示部５０で表示面を直接的に視認する場合に比べて、運転者ＤＲから表示部５０の表示面までの距離を長くする。
In the
また、表示装置１０では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認することから、表示部５０は運転者ＤＲから表示面や表示面の照明光が見えないように配置する。また、運転者ＤＲから表示部５０の表示面や照明光が直接見えないように遮蔽物を設けた構成としてもよい。本実施例では、従来のＡピラー近傍設置のバックミラーと同等の視認方向とした場合に配置すべきミラー部５５位置関係で説明をしているが、フェンダーミラー相当の視認方向として視線がダッシュボード中央に来るような配置でも良い。
In addition, in the
図１０は、表示制御部の構成を示す図である。表示制御部２０は、運転者動き判別部２１、制御処理部３５、表示調整部４１、輝度調整部４２を備えている。
FIG. 10 is a diagram showing the configuration of a display control unit. The
運転者動き判別部２１は、運転者撮像部１２から供給された画像信号に基づき、運転者の頭部位置を検出して、運転者の頭部位置の移動方向と移動量を判別する。運転者動き判別部２１は、例えば運転者撮像部１２から供給された画像信号に基づき、運転者の顔認識を行い、認識した顔の位置や顔の向き（頭部の向きに相当）、視線の向きを判別する。さらに、運転者動き判別部２１は、認識した顔を追跡して、頭部位置の移動方向と移動量を判別する。運転者動き判別部２１は、判別結果を制御処理部３５に出力する。
The driver
制御処理部３５は、運転者動き判別部２１の判別結果に基づき、表示部５０におけるモニタ画像領域とその他の領域（以下「非モニタ画像領域」という）で異なる表示制御を行う制御信号を生成して、表示調整部４１と輝度調整部４２に出力する。
The
表示調整部４１は、制御処理部３５からの制御信号に基づき、周辺領域撮像部１１から供給された画像信号に対して周辺領域撮像画像の倍率調整を行い、例えば、非モニタ画像領域に対して画像の圧縮等を行う。
Based on the control signal from the
輝度調整部４２は、制御処理部３５からの制御信号に基づき、表示部５０における非モニタ画像領域の輝度をモニタ画像領域よりも低下させる。輝度調整部４２は、表示部５０が照明を必要とする表示素子例えば液晶表示素子を用いて構成されている場合、照明例えば液晶パネルのバックライトの部分的領域を制御して、非モニタ画像領域の輝度をモニタ画像領域よりも低下させる。また、表示部５０が照明を必要とする表示素子または自発光素子例えば有機ＥＬ表示素子を用いて構成されている場合、非モニタ画像領域に対応する輝度信号の信号レベルを低下させる処理を行ってもよい。
Based on the control signal from the
［２－２．第２の実施の形態の動作］
図１１は、第２の実施の形態の動作を説明するための図である。表示制御部２０は、周辺領域撮像部１１で撮像された領域ＡＲｃの画像を表示部５０の表示領域ＧＲｃに表示する。ミラー部５５は、例えば平面ミラーで構成して、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認する際に、表示部５０の表示領域ＧＲｃを視認できるサイズとする。
[2-2. Operation of Second Embodiment]
FIG. 11 is a diagram for explaining the operation of the second embodiment. The
また、表示制御部２０は、表示領域ＧＲの表示画像に対する輝度制御や圧縮処理等を行い、運転者がミラー部５５を介して視認する周辺領域の範囲である視認範囲の画像を識別可能として表示領域ＧＲｃの表示を行う。なお、視認範囲に対応する表示領域をモニタ画像領域ＧＲｍとする。
In addition, the
さらに、表示制御部２０は、運転者撮像部１２で撮像された運転者ＤＲの動き例えば車両の前後方向の動き（矢印Ｖａ方向）に基づき、モニタ画像領域ＧＲｍを矢印Ｖｂの方向に移動する。または、表示制御部２０は、モニタ画像領域ＧＲｍの移動に代えてモニタ画像領域ＧＲｍに対応する視認範囲ＡＲｍの移動、あるいはモニタ画像領域ＧＲｍの矢印Ｖｂの方向の拡張等を行う。
Further, the
画像の移動速度は、運転者がモニタ画像以外を瞬時見るなどする間に、急激な画像の表示内容の変更が発生すると状況把握の喪失を招くおそれが発生する。そこで、急激な画面の移動は避け、表示画像の平行移動が最速でも０．２ｓｅｃ／全移動量（総画角シフト量）以内とする。ここで、後述する頭部や視線の位置検出に伴う画面変更反応遅延時間を２００ｍｓｅｃ以内とすることで、従来のバックミラーを使用した場合に比べて操作感の低下を防止または軽減できると同時に、周辺状況把握遅延に伴う危険見落とし防止を満たすことができる。 The moving speed of the image may cause the driver to lose grasp of the situation if the display content of the image is abruptly changed while the driver is momentarily looking at something other than the monitor image. Therefore, abrupt screen movement is avoided, and the fastest parallel movement of the displayed image is set to within 0.2 sec/total movement amount (total angle of view shift amount). Here, by setting the screen change reaction delay time within 200 msec due to the position detection of the head and line of sight, which will be described later, it is possible to prevent or reduce the deterioration of the operational feeling compared to the case of using a conventional rearview mirror. It is possible to prevent danger from being overlooked due to the delay in grasping the surrounding situation.
運転者は、画面表示領域変更指示を出した後の僅かな間隔に、後方周辺情報と異なる窓越しの直接視界情報を得る操作をすることも想定される。その場合、運転者はミラー部５５越しの窓方向を見て、画面注視注意が一旦瞬間的に途切れた後に再度ミラー部５５を通して表示画面確認のステップに復帰するので、画面内容が全面的変更されていると、また状況把握の喪失を招くおそれがある。そこで、これら画面変更に伴う表示範囲が、変更の前後で少なくとも元の表示内容の１／４以上の範囲で、切り替え変更前の画面が変更後の画面に含まれる範囲の移動に控える。例えば運転者が画面変更移動中に他の視覚情報（例えばミラー部５５と窓越しに見る直接視界）に注意遷移して表示部５０に視線を復帰した場合に、記憶画面の連続性から一瞬起き得る表示部への状況把握の喪失を低減することができる。
It is assumed that the driver may perform an operation to obtain direct view information through the window, which is different from the rear peripheral information, in a short interval after issuing the instruction to change the screen display area. In this case, the driver looks at the window direction through the
図１２は、表示制御部の動作を示すフローチャートである。ステップＳＴ１で表示制御部２０は周辺領域確認動作が行われたか判別する。ここで、周辺領域確認動作とは、撮像装置と表示装置により構成されたモニタリングシステムを介して運転者が表示装置の画面を目視する動作の全般を指す。表示制御部２０は、運転者撮像部１２から供給された画像信号に基づき、例えば運転者の頭部の向きや視線方向が、ミラー部５５の方向であるか判別する。表示制御部２０は、運転者の頭部の向きや視線方向がミラー部５５の方向を向いた場合例えばミラー部５５の方向に振り向いた場合、周辺領域確認動作が行われたと判別してステップＳＴ２に進む。また、表示制御部２０は、運転者の頭部の向きや視線方向がミラー部５５の方向でない場合、周辺領域確認動作が行われていないと判別してステップＳＴ１に戻る。
FIG. 12 is a flow chart showing the operation of the display control unit. In step ST1, the
ステップＳＴ２で表示制御部２０は、視認範囲の判別を行う。表示制御部２０は、運転者撮像部１２から供給された画像信号に基づき、例えば運転者の頭部位置を検出して、検出した頭部位置からミラー部５５を介して視認される視認範囲を判別してステップＳＴ３に進む。
In step ST2, the
ステップＳＴ３で表示制御部２０は、画像表示制御処理を行う。表示制御部２０は、視認範囲の画像をモニタ画像領域の画像として表示部５０に表示する。また、表示制御部２０は、非モニタ画像領域に高輝度被写体が映っていた場合にその画像の放射高輝度の表示内容で運転者の視界妨害とならないように例えば部分的バックライトや輝度レベルを制御する。また、表示制御部２０は、表示部５０における所定の領域をモニタ画像領域とする場合、モニタ画像領域の画像で所望の視認範囲を確認できるように、非モニタ画像領域に対応する周辺領域の画像の圧縮等の処理を行う。表示制御部２０は画像表示制御処理を行いステップＳＴ４に進む。
In step ST3, the
ステップＳＴ４で表示制御部２０は視認範囲変更指示が行われたか判別する。表示制御部２０は、運転者撮像部１２から供給された画像信号に基づき、例えば運転者の頭部位置を判別して、周辺領域における視認範囲を変更する指示動作が行われたか判別する。表示制御部２０は、運転者の頭部位置が所定の動きを生じた場合、視認範囲変更指示が行われたと判別してステップＳＴ５に進む。また、表示制御部２０は、運転者の頭部位置が所定の動きを生じていない場合、視認範囲変更指示が行われていないと判別してステップＳＴ６に進む。
In step ST4, the
ステップＳＴ５で表示制御部２０は視認範囲変更処理を行う。表示制御部２０は運転者が視認する視認範囲を、運転者の頭部位置の動きに伴い移動させる。表示制御部２０は、例えばバックライトや輝度レベルを制御して、表示を暗くする領域を運転者の頭部位置の動きに応じて移動させることで、明るく表示されるモニタ画像領域を変更する。また、表示制御部２０は、例えばモニタ画像領域の移動方向とは逆側に設けられている非モニタ画像領域の画像をさらに圧縮することで、モニタ画像領域に画像が表示される視認範囲を運転者の頭部位置の動きに応じて移動させる。また、モニタ画像領域の移動方向に設けられている非モニタ画像領域で表示する周辺領域範囲は範囲が少なくなることから、この非モニタ画像領域の圧縮を少なくする。表示制御部２０は視認範囲変更処理を行ってステップＳＴ６に進む。
In step ST5, the
ステップＳＴ６で表示制御部２０は周辺領域確認動作の終了であるか判別する。表示制御部２０は、運転者撮像部１２から供給された画像信号に基づき、例えば運転者の頭部の向きや視線方向が、ミラー部５５の方向でなくなったことを判別する。表示制御部２０は、運転者の頭部の向きや視線方向が引き続きミラー部５５の方向である場合、周辺領域確認動作の終了でない判別してステップＳＴ４に戻る。また、表示制御部２０は、運転者の頭部の向きや視線方向がミラー部５５の方向でなくなった場合、周辺領域確認動作の終了であると判別してステップＳＴ７に進む。
In step ST6, the
ステップＳＴ７で表示制御部２０は、表示を終了する。表示制御部２０は、運転者が運転に集中できるように表示部５０における周辺領域の画像表示を終了してステップＳＴ１に戻る。
In step ST7, the
図１３は、表示制御部の第１の表示制御動作を説明するための図である。第１の表示制御動作において、表示制御部は、周辺領域の撮像画像を表示する際に、視認範囲を除いた他の範囲の画像の一部または全体の輝度を低下させて運転者から見え難くする。このようにすることで、運転者は、ミラー部５５を介した画像の視認によって、バックミラーを用いた場合と同様に周辺領域の所望の視認範囲を確認できるようになる。また、特に夜間等で眩しさを引き起こす非モニタ画像領域の不要な明るさを控える等のメリットがある。
FIG. 13 is a diagram for explaining the first display control operation of the display control unit; In the first display control operation, when displaying the captured image of the peripheral area, the display control unit reduces the brightness of part or the entire image of the range other than the visible range so that it is difficult for the driver to see. do. By doing so, the driver can confirm the desired visual recognition range of the peripheral area by visually recognizing the image through the
図１３の（Ａ）は、表示部５０の表示、図１３の（Ｂ）は、表示部５０の表示位置と輝度の関係を示している。表示制御部２０は、視認範囲を除いた他の範囲に対応する画像領域である非モニタ画像領域ＧＲｂ１，ＧＲｂ２の輝度を、視認範囲に対応するモニタ画像領域ＧＲｍよりも暗くして非モニタ画像領域ＧＲｂ１，ＧＲｂ２の画像を見え難くする。例えば表示部５０が液晶表示素子を用いて構成されている場合にはバックライトの発光制御を行い、非モニタ画像領域ＧＲｂ１，ＧＲｂ２を暗くする。また、表示部５０が有機ＥＬ表示素子を用いて構成されている場合には輝度信号の信号レベル制御を行い、非モニタ画像領域ＧＲｂ１，ＧＲｂ２を暗くする。このように、表示部５０の表示画像は非モニタ画像領域ＧＲｂ１，ＧＲｂ２が暗い状態とされているので、運転者ＤＲはモニタ画像領域ＧＲｍの画像のみを視認できるようになる。したがって、運転者ＤＲは、ミラー部５５を介して表示部５０の表示画像を視認することで、周辺領域における視認範囲ＡＲｍの状況を確認できる。
13A shows the display on the
また、表示制御部２０は、運転者ＤＲの頭部位置が例えば車両の前方向に移動したことを判別したとき、頭部位置の移動に応じてモニタ画像領域ＧＲｍを移動して、ミラー部５５を介して視認できる周辺領域の視認範囲を外側に移動する。具体的には、表示制御部２０は、頭部位置の車両前方向に移動に応じて非モニタ画像領域ＧＲｂ１の領域幅が狭く、非モニタ画像領域ＧＲｂ２の領域幅が広くなるように画像の輝度を制御する。このような表示制御を行うと、モニタ画像領域ＧＲｍの画像は、移動前に比べて周辺領域の外側の範囲の画像となる。表示制御部２０は、運転者ＤＲの頭部位置が例えば車両の後方向に移動したことを判別したとき、図示せずも頭部位置の移動に応じて、非モニタ画像領域ＧＲｂ１の領域幅が広く、非モニタ画像領域ＧＲｂ２の領域幅が狭くなるように画像の輝度を制御する。このような表示制御を行うと、モニタ画像領域ＧＲｍの画像は、移動前に比べて周辺領域の内側の範囲の画像となる。このため、運転者は頭部位置を移動することで、バックミラーを用いた場合と同様に周辺領域における所望の視認範囲を確認できる。また、表示部５０とミラー部５５は、車両の室内に設けられているので、バックミラーを用いた場合のようにサイドウィンドウによる悪影響を受けることなく良好に周辺領域を確認できる。
Further, when the
図１４は、表示制御部の第２の表示制御動作を説明するための図である。第２の表示制御動作において、表示制御部は、周辺領域の撮像画像を表示する際に、モニタ画像領域ＧＲｍの移動に代えて、視認範囲を除いた他の範囲の画像をモニタ画像領域ＧＲｍの移動方向に圧縮する。表示制御部は、画像をこのように圧縮することで、モニタ画像領域ＧＲｍに対応する視認範囲ＡＲｍを移動させて、周辺領域における所望の視認範囲を確認できるようにする。 FIG. 14 is a diagram for explaining the second display control operation of the display control unit. In the second display control operation, when displaying the captured image of the peripheral area, instead of moving the monitor image area GRm, the display control unit shifts the image of the range other than the visible range to the monitor image area GRm. Compress in the direction of movement. By compressing the image in this way, the display control unit moves the visible range ARm corresponding to the monitor image area GRm, so that a desired visible range in the peripheral area can be confirmed.
図１４の（Ａ）は、表示部５０の表示、図１４の（Ｂ）は、表示部５０の表示位置と圧縮率の関係、図１４の（Ｃ）は、表示部５０の表示位置と輝度の関係を示している。表示制御部２０は、視認範囲を除いた他の範囲に対応する画像領域である非モニタ画像領域ＧＲｂ１，ＧＲｂ２に対して、端部側になるに伴い画像がより縮小されるように表示制御を行う。このように非モニタ画像領域ＧＲｂ１，ＧＲｂ２を圧縮して、非モニタ画像領域ＧＲｂ１，ＧＲｂ２の圧縮率を調整することにより、モニタ画像領域ＧＲｍに対応する視認範囲ＡＲｍを移動可能とする。
14A shows the display on the
表示制御部２０は、運転者ＤＲの頭部位置の動きに伴い、周辺領域における視認範囲を外側に移動する指示が行われたことを判別したとき、例えば運転者の前方向の首振りが行われたことを判別したとき、モニタ画像領域ＧＲｍに対応する視認範囲を外側に移動する。具体的には、表示制御部２０は、非モニタ画像領域ＧＲｂ２に対する周辺領域の範囲が広くなるように画像の圧縮率を制御する。また、外側方向に対応する非モニタ画像領域ＧＲｂ１の圧縮および輝度低下を少なくすることで、非モニタ画像領域ＧＲｂ１の画像により視認範囲の外側の範囲を確認できるようになる。すなわち、視認範囲を拡張することができる。なお、非モニタ画像領域ＧＲｂ１の輝度低下のみを少なくしても、視認範囲の外側の範囲を確認できるようになることから、視認範囲を拡張できる。
When the
図１５は、表示部の表示と圧縮率および周辺領域との関係を示している。なお、図１５の（Ａ）は表示部５０の表示、図１５の（Ｂ）は表示部５０の表示位置と圧縮率の関係、図１５の（Ｃ）は周辺領域撮像部１１の撮像範囲を示している。モニタ画像領域ＧＲｍでは、視認範囲ＡＲｍの撮像画像が表示されている。非モニタ画像領域ＧＲｂ１では、視認範囲ＡＲｍの外側の撮像画像が圧縮して表示されており、非モニタ画像領域ＧＲｂ２では、視認範囲ＡＲｍの内側の撮像画像が圧縮して表示されている。ここで、表示制御部２０は、視認範囲を外側に移動する指示が行われたことを判別したとき、非モニタ画像領域ＧＲｂ２に対する周辺領域の範囲が広くなるように画像の圧縮率を制御する。したがって、モニタ画像領域ＧＲｍに対応する視認範囲ＡＲｍは周辺領域の外側に移動する。
FIG. 15 shows the relationship between the display on the display unit, the compression ratio, and the peripheral area. 15A shows the display on the
また、表示制御部２０は、視認範囲を内側に移動する指示が行われたことを判別したとき、例えば運転者の後方向の首振りが行われたことを判別したとき、非モニタ画像領域ＧＲｂ２に対する周辺領域の範囲が広くなるように画像の圧縮率を制御する。したがって、モニタ画像領域ＧＲｍに対応する視認範囲ＡＲｍは周辺領域の内側に移動する。
Further, when the
さらに、表示制御部２０は、上述のように、視認範囲の変更指示が行われる前は、非モニタ画像領域ＧＲｂ１，ＧＲｂ２の輝度を視認範囲に対応するモニタ画像領域ＧＲｍよりも暗くして、非モニタ画像領域ＧＲｂ１，ＧＲｂ２の画像を見え難くする。例えば表示部５０が液晶表示素子を用いて構成されている場合にはバックライトの発光制御を行い、非モニタ画像領域ＧＲｂ１，ＧＲｂ２を暗くする。また、表示部５０が有機ＥＬ表示素子を用いて構成されている場合には輝度信号の信号レベル制御を行い、非モニタ画像領域ＧＲｂ１，ＧＲｂ２を暗くする。このように、表示部５０の表示画像は非モニタ画像領域ＧＲｂ１，ＧＲｂ２が暗い状態とされているので、運転者ＤＲはモニタ画像領域ＧＲｍの画像のみを視認できるようになる。したがって、運転者ＤＲは、ミラー部５５を介して表示部５０の表示画像を視認することで、周辺領域における視認範囲ＡＲｍの状況を確認できる。その後、視認範囲の変更指示が行われた場合、表示制御部２０は、非モニタ画像領域に対して輝度レベルをモニタ画像領域ＧＲｍの輝度レベルに近づけるようにする。
Furthermore, as described above, the
このような表示制御を行うと、運転者が視認範囲の変更指示を行ったとき、モニタ画像領域ＧＲｍに対応する視認範囲ＡＲｍが運転者の指示に応じて移動されることから、周辺領域の所望の範囲を容易に確認できるようになる。さらに、非モニタ画像領域の輝度レベルはモニタ画像領域ＧＲｍの輝度レベルと同様となることから、モニタ画像領域との区分がなくなる。したがって、視認範囲を自動的に拡張することができる。さらに、運転者は変更指示を行うだけで視認範囲を変更できることから、従来のバックミラーを用いた場合のように、所望の周辺範囲がバックミラーに映るまで頭部位置を前方向等に移動させなくとも、所望の周辺範囲を容易に確認できるようになる。また、表示部５０とミラー部５５は、車両の室内に設けられているので、バックミラーを用いた場合のようにサイドウィンドウによる悪影響を受けることなく良好に周辺領域を確認できる。
With such display control, when the driver gives an instruction to change the visible range, the visible range ARm corresponding to the monitor image area GRm is moved according to the driver's instruction. range can be easily checked. Furthermore, since the luminance level of the non-monitor image area is the same as the luminance level of the monitor image area GRm, there is no division from the monitor image area. Therefore, the visible range can be automatically extended. Furthermore, since the driver can change the visible range simply by issuing a change instruction, the head position can be moved forward or the like until the desired peripheral range is reflected in the rearview mirror, as in the case of using a conventional rearview mirror. At least, the desired peripheral range can be easily confirmed. In addition, since the
なお、運転者が視認範囲の変更指示を行ったとき、非モニタ画像領域の輝度レベルは低下した状態としてもよい。この場合、モニタ画像領域ＧＲｍの拡張は行われず、変更指示に基づき移動された視認範囲の画像が所定の輝度で表示される。また、非モニタ画像領域の圧縮特性や輝度特性は、図１４の特性に限られない。例えば圧縮率を急峻に変化させてもよく、輝度レベルを緩やかに変化させてもよい。また、圧縮特性や輝度特性を運転者が選択可能とすれば、運転者の好みに応じて周辺領域の画像を表示させることもできる。さらに、視認範囲の変更指示に応じて、視認範囲の拡大縮小や表示画像の拡大率等を変化させてもよい。例えば運転者ＤＲがミラー部５５に近づいたことや近づく動作を視認範囲の変更指示として、視認範囲の広い画像や拡大率の低い画像（これらの画像を例えば第１画像とする）を表示する。また運転者ＤＲがミラー部５５から離れたことや離れる動作を視認範囲の変更指示として、第１画像よりも視認範囲の狭い画像や拡大率の高い画像を表示する。
It should be noted that the brightness level of the non-monitor image area may be lowered when the driver issues an instruction to change the visible range. In this case, the monitor image area GRm is not expanded, and the image of the visible range moved based on the change instruction is displayed with a predetermined brightness. Also, the compression characteristics and luminance characteristics of the non-monitor image area are not limited to the characteristics shown in FIG. For example, the compression rate may be changed sharply, or the brightness level may be changed gently. Further, if the driver can select the compression characteristic and the brightness characteristic, it is possible to display the image of the surrounding area according to the driver's preference. Furthermore, the scaling of the visible range, the magnification of the display image, and the like may be changed in accordance with an instruction to change the visible range. For example, an image with a wide visible range or an image with a low magnification (these images are, for example, the first image) are displayed as an instruction to change the visible range when the driver DR approaches or approaches the
＜３．第３の実施の形態＞
第３の実施の形態では、運転者が確認したい周辺領域が車両の運転状況に応じて変化する場合について説明する。例えば、トレーラや連節バスまたはキャンピング牽引カーのように、キャビンと牽引トレーラ部が分離可能とされており、運転状況に応じてキャビンの向きと牽引トレーラ部の向きが変化する場合について説明する。
<3. Third Embodiment>
In the third embodiment, a case will be described in which the peripheral area that the driver wants to check changes according to the driving conditions of the vehicle. For example, as in a trailer, an articulated bus, or a camping towing car, the cabin and the towing trailer can be separated, and the orientation of the cabin and the orientation of the towing trailer change depending on the driving situation.
［３－１．第３の実施の形態の構成］
図１６は第３の実施の形態の構成を例示している。表示装置１０は、周辺領域撮像部１１ａ，１１ｂ、運転者撮像部１２、表示制御部２０、表示部５０、ミラー部５５を備えている。なお、運転者撮像部１２、運転状況検出センサ１３、表示部５０、ミラー部５５および運転者ＤＲは、図９に示す位置関係とする。
[3-1. Configuration of the third embodiment]
FIG. 16 illustrates the configuration of the third embodiment. The
周辺領域撮像部１１ａ，１１ｂは、車両の周辺領域を撮像して画像信号を表示制御部２０に出力する。周辺領域撮像部１１ａはキャビン側に設けられており、周辺領域撮像部１１ｂは牽引トレーラ部側に設けられている。なお、周辺領域撮像部１１ａで撮像される領域を第１撮像対象周辺領域、周辺領域撮像部１１ｂで撮像される領域を第２撮像対象周辺領域とする。
The surrounding
運転者撮像部１２は、運転者ＤＲの頭部位置や頭部の向きや視線の向き等を判別できるように、例えば運転者ＤＲの前方またはミラー部５５が設置されている方向に設けられている。運転者撮像部１２は、運転者ＤＲを撮像して画像信号を表示制御部２０に出力する。
The
運転状況検出センサ１３は、運転状況に関する情報、例えばステアリング状態を示す情報、牽引トレーラ部の接続状態を示す情報、キャビンに対する牽引トレーラ部の曲がり角等の情報、ギヤ位置情報や車速情報、方向指示器設定情報、現在位置情報（例えば衛星測位システムの測位信号）等を運行情報として取得する。運転状況検出センサ１３は、取得した運行情報をセンサ情報として表示制御部２０へ出力する。
The driving
表示制御部２０は、周辺領域撮像部１１ａ，１１ｂで生成された画像信号に基づき、周辺領域撮像画像を表示部５０に表示する。また、表示制御部２０は、運転者の頭部位置や頭部の向き、視線の向き、および位置や向きの移動、運転状況検出センサ１３からのセンサ情報等に基づき、表示部５０に表示する周辺領域撮像画像の表示制御を行う。
The
表示部５０は、運転者がミラー部５５を介して間接的に表示部５０の表示面を視認できるように配置されている。また、表示部５０の表示面は、例えば運転者ＤＲが運転時にバックミラーで広範囲の領域を確認するように頭部位置を移動しても、ミラー部５５を介して表示部５０の表示画像を視認できるように、図４に示す通り、ミラー部５５の鏡面を結ぶ光線よりも大きいサイズとされている。なお、表示部５０の表示画像において、運転者がミラー部５５を介して確認する周辺領域の視認範囲と対応する画像領域をモニタ画像領域とする。
The
ミラー部５５は、表示部５０の表示面を運転者ＤＲが間接的に視認できるように設けられている。ミラー部５５は、車両内であって例えば運転者ＤＲが従来のバックミラーを見る動作を行ったとき、ミラー部５５に写った画像を視認できるように例えばピラーの位置に配置されている。また、ミラー部５５は、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認する際に、表示部５０の表示領域全体がミラー部５５に映り込むように、表示部５０との位置関係およびミラー部５５のサイズを設定する。さらに、表示部５０とミラー部５５は、周辺領域においてミラー部５５に映る表示部５０の画像によって運転者が視認できる視認範囲が、表示制御部２０の表示制御によって、ミラー部５５に対する運転者の視認位置の移動に応じて変更される。なお、ミラー部５５のサイズは、従来のバックミラーと同様な作用効果が得られるように、第１の実施の形態や第２の実施の形態のように設定することが好ましい。
The
表示装置１０では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認できるようにして、運転者ＤＲが表示部５０で表示面を直接的に視認する場合に比べて、運転者ＤＲから表示部５０の表示面までの距離を長くする。
In the
また、表示装置１０では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認することから、表示部５０は運転者ＤＲから表示面や表示面の照明光が見えないように配置する。また、運転者ＤＲから表示部５０の表示面や表示光が見えないように遮蔽物を設けた構成としてもよい。
In addition, in the
図１７は、周辺領域撮像部の配置を例示している。なお、図では、例えばトレーラの左側面に周辺領域撮像部を配置した場合を例示しており、右側面の周辺領域撮像部は省略している。 FIG. 17 exemplifies the arrangement of the surrounding area imaging units. In the figure, for example, the peripheral area imaging unit is arranged on the left side of the trailer, and the peripheral area imaging unit on the right side is omitted.
上述したように、周辺領域撮像部１１ａはキャビン側に設けられており、周辺領域撮像部１１ｂは牽引トレーラ部側に設けられている。なお、周辺領域撮像部１１ａで撮像される領域を第１撮像対象周辺領域、周辺領域撮像部１１ｂで撮像される領域を第２撮像対象周辺領域とする。
As described above, the peripheral
図１７の（Ａ）は、キャビンと牽引トレーラ部が直線状に位置している場合を示している。図１７の（Ｂ）は、キャビンに対して牽引トレーラ部が、周辺領域撮像部１１ａの設置側に寄っている状態を示しており、図１７の（Ｃ）は、キャビンに対して牽引トレーラ部が、周辺領域撮像部１１ａの設置側とは逆方向に寄っている状態を示している。周辺領域撮像部１１ａで取得される撮像画像は、牽引トレーラ部が図１７の（Ａ）から図１７の（Ｂ）に示す状態となると、牽引トレーラ部を示す画像部分が増加して周辺領域を確認できなくなってしまう。また、牽引トレーラ部が図１７の（Ａ）から図１７の（Ｃ）に示す状態となると、周辺領域撮像部１１ａの撮像範囲から牽引トレーラ部が離れて、牽引トレーラ部の近傍は運転者が確認できない死角となってしまう。一方、周辺領域撮像部１１ｂは牽引トレーラ部に設けられていることから、周辺領域撮像部１１ｂで取得される撮像画像は、キャビンと牽引トレーラ部との位置関係に係らず周辺領域を示した画像となる。
(A) of FIG. 17 shows a case where the cabin and the towing trailer are positioned in a straight line. (B) of FIG. 17 shows a state in which the towing trailer unit is closer to the installation side of the surrounding
そこで、表示制御部２０は、周辺領域撮像部１１ａで取得された撮像画像と周辺領域撮像部１１ｂで取得された撮像画像を、運転状況や運転者の意思に応じて用いることで、ミラー部５５を介して周辺領域の確認を行うことができるように表示制御を行う。
Therefore, the
図１８は、表示制御部の構成を示す図である。表示制御部２０は、運転者動き判別部２１、運転状況判別部２２、制御処理部３５、表示調整部４１、輝度調整部４２を備えている。
FIG. 18 is a diagram illustrating a configuration of a display control unit; The
運転者動き判別部２１は、運転者撮像部１２から供給された画像信号に基づき、運転者の頭部位置を検出して、運転者の頭部位置の移動方向と移動量を判別する。運転者動き判別部２１は、例えば運転者撮像部１２から供給された画像信号に基づき、運転者の顔認識を行い、認識した顔の位置や頭部の向きを判別する。さらに、運転者動き判別部２１は、認識した顔を追跡して、頭部位置の移動方向と移動量を判別する。運転者動き判別部２１は、判別結果を制御処理部３５に出力する。
The driver
運転状況判別部２２は、運転状況検出センサ１３から供給されたセンサ情報に基づき、運転状況を判別する。運転状況判別部２２は、例えばギヤ位置等に基づき車両が前進または後退のいずれであるか、車速、方向指示器設定情報とステアリング状態等に基づき、直進または右折または左折のいずれであるかを判別する。また、運転状況判別部２２は、例えば牽引トレーラ部の接続状態やキャビンに対する牽引トレーラ部の曲がり角等の情報に基づき、緩やかな右左折または鋭角な右左折であるか、現在位置情報等に基づき走行位置がランドアバウトの位置であるか等を判別する。運転状況判別部２２は、判別結果を制御処理部３５に出力する。
The driving
制御処理部３５は、運転者動き判別部２１と運転状況判別部２２の判別結果に基づき、表示部５０におけるモニタ画像領域と非モニタ画像領域で異なる表示制御を行う制御信号を生成して、表示調整部４１と輝度調整部４２に出力する。
The
表示調整部４１は、制御処理部３５からの制御信号に基づき、周辺領域撮像部１１から供給された画像信号に対して周辺領域撮像画像の倍率調整を行い、例えば、非モニタ画像領域に対して画像の圧縮等を行う。また、表示調整部４１は、制御処理部３５からの制御信号に基づき、複数の周辺領域撮像部で取得された周辺領域の画像の切り替えや合成，表示する周辺領域の表示幅の調整等を行うようにしてもよい。
Based on the control signal from the
輝度調整部４２は、制御処理部３５からの制御信号に基づき、表示部５０における非モニタ画像領域の輝度をモニタ画像領域よりも低下させる。輝度調整部４２は、表示部５０が照明を必要とする表示素子例えば液晶表示素子を用いて構成されている場合、照明例えばバックライトを制御して、非モニタ画像領域の輝度をモニタ画像領域よりも低下させる。また、表示部５０が照明を必要とする表示素子または自発光素子例えば有機ＥＬ表示素子を用いて構成されている場合、非モニタ画像領域に対応する輝度信号の信号レベルを低下させる処理を行ってもよい。
Based on the control signal from the
［３－２．第３の実施の形態の動作］
図１９は、第３の実施の形態における表示制御部の動作を示すフローチャートである。ステップＳＴ１１で表示制御部２０は周辺領域確認動作が行われたか判別する。表示制御部２０は、運転者撮像部１２から供給された画像信号に基づき、例えば運転者の頭部の向きや視線方向が、ミラー部５５の方向であるか判別する。表示制御部２０は、運転者の頭部の向きや視線方向がミラー部５５の方向である場合例えばミラー部５５の方向に振り向いた場合、周辺領域確認動作が行われたと判別してステップＳＴ１２に進む。また、表示制御部２０は、運転者の頭部の向きや視線方向がミラー部５５の方向でない場合、周辺領域確認動作が行われていないと判別してステップＳＴ１１に戻る。
[3-2. Operation of the third embodiment]
FIG. 19 is a flow chart showing the operation of the display control unit according to the third embodiment. In step ST11, the
ステップＳＴ１２で表示制御部２０は、運転状況の判別を行う。表示制御部２０は、運転状況検出センサ１３から供給されたセンサ情報に基づき運転状況を判別する。表示制御部２０は、例えば車両が前進または後退のいずれであるか、直進または右折または左折のいずれであるか、緩やかな右左折または鋭角な右左折であるか、走行位置がランドアバウトの位置であるか等の判別を行いステップＳＴ１３に進む。
In step ST12, the
ステップＳＴ１３で表示制御部２０は、視認範囲の判別を行う。表示制御部２０は、運転状況の判別結果に基づきミラー部５５を介して視認される視認範囲を判別してステップＳＴ１４に進む。なお、視認範囲の判別では運転者の頭部位置も含めて視認範囲を判別してもよい。
In step ST13, the
図２０は、視認範囲のモードを例示している。モード１は例えば通常走行時のミラー視認必須範囲である。モード２は例えば通常走行時のミラー視認必須範囲よりも内側および外側の範囲を広く視認できる範囲である。モード３は例えば後退時等において運転者が車両の外側を死角なく視認できる範囲とされている。ここで、例えば周辺領域撮像部１１ａの撮像範囲は、通常走行時のミラー視認必須範囲として、周辺領域撮像部１１ｂの撮像範囲は、周辺領域撮像部１１ａの撮像範囲よりも広い範囲とする。また、図２０の（Ａ）に示すように、モード１は周辺領域撮像部１１ａの撮像範囲を視認範囲、モード２は周辺領域撮像部１１ｂの撮像範囲を視認範囲とする。さらに、図２０の（Ｂ）に示すように、モード３は周辺領域撮像部１１ａおよび周辺領域撮像部１１ｂの撮像範囲に含まれる範囲を視認範囲とする。なお、周辺領域撮像部１１ａの撮像範囲を切替可能として、運転状況や運転者の指示に応じて周辺領域撮像部１１ｂの撮像範囲を視認範囲としてもよい。例えば図２０の（Ｃ）に示すように、周辺領域撮像部１１ａの撮像範囲をモード１～モード３の範囲に切替可能としてもよい。
FIG. 20 illustrates the visibility range mode.
図２１は、運転状況判別結果と視認範囲のモードとの関係を例示している。表示制御部２０は、検出情報に基づき例えば直進の運転中であると判別した場合、丸印で示すようにモード１の範囲を視認範囲とする。表示制御部２０は、検出情報に基づき例えばラウンドアバウトの地点である場合、丸印で示すようにモード１の範囲を視認範囲とする。表示制御部２０は、検出情報に基づき例えば緩やかに右折または左折している場合、丸印で示すようにモード１の範囲を視認範囲とする。表示制御部２０は、検出情報に基づき例えば鋭角に右折または左折している場合、丸印で示すようにモード２の範囲を視認範囲として、確認できる範囲を外側に広くする。表示制御部２０は、検出情報に基づき例えば直進後退している場合、丸印で示すようにモード１の範囲を視認範囲とする。表示制御部２０は、検出情報に基づき例えば鋭角に後退している場合、図１７の（Ｃ）に示す死角を生じないように丸印で示すモード２の範囲すなわち周辺領域撮像部１１ｂの撮像範囲を視認範囲とする。
FIG. 21 illustrates the relationship between the driving situation determination result and the visible range mode. When the
ステップＳＴ１４で表示制御部２０は、画像表示制御処理を行う。表示制御部２０は、視認範囲のモードに応じてモニタ画像領域の領域幅を設定して、視認範囲の画像をモニタ画像領域の画像として表示部５０に表示する。また、表示制御部２０は、非モニタ画像領域の画像が見えないように例えばバックライトや輝度レベルを制御する。また、表示制御部２０は、表示部５０の所定の領域をモニタ画像領域とする場合、モニタ画像領域で視認範囲の画像を表示できると共に、モニタ画像領域に対応する視認範囲を移動できるように、非モニタ画像領域に対応する周辺領域の画像の圧縮等の処理を行う。表示制御部２０は画像表示制御処理を行いステップＳＴ１５に進む。
In step ST14, the
ステップＳＴ１５で表示制御部２０は視認範囲変更指示が行われたか判別する。表示制御部２０は、運転者撮像部１２から供給された画像信号に基づき、例えば運転者の頭部位置を判別して、周辺領域における視認範囲を変更する指示動作が行われたか判別する。表示制御部２０は、運転者の頭部位置が視認範囲の移動を伴う動きを生じた場合、視認範囲変更指示が行われたと判別してステップＳＴ１６に進む。また、表示制御部２０は、運転者の頭部位置が視認範囲の移動を伴う動きを生じていない場合、視認範囲変更指示が行われていないと判別してステップＳＴ１７に進む。
In step ST15, the
ステップＳＴ１６で表示制御部２０はモード変更処理を行う。表示制御部２０は、視認範囲変更指示が視認範囲を広げる指示である場合に視認範囲の広いモードに切り替えを行う。表示制御部２０は、例えば図２１の丸印で示すモードとされている場合は四角印で示すモードに切り替えて、四角印で示すモードとされている場合は星印で示すモードに切り替える。また、表示制御部２０は、視認範囲変更指示が視認範囲を狭める指示である場合に視認範囲の狭いモードに切り替えを行う。表示制御部２０は、例えば図２１の四角印で示すモードとされている場合は丸印で示すモードに切り替えて、星印で示すモードとされている場合は四角印で示すモードに切り替える。表示制御部２０は、視認範囲変更指示に基づきモードを切り替えてステップＳＴ１７に進む。
In step ST16, the
ステップＳＴ１７で表示制御部２０は周辺領域確認動作の終了であるか判別する。表示制御部２０は、運転者撮像部１２から供給された画像信号に基づき、例えば運転者の頭部の向きや視線方向が、ミラー部５５の方向でなくなったことを判別する。表示制御部２０は、運転者の頭部の向きや視線方向が引き続きミラー部５５の方向である場合、周辺領域確認動作の終了でない判別してステップＳＴ１５に戻る。また、表示制御部２０は、運転者の頭部の向きや視線方向がミラー部５５の方向でなくなった場合、周辺領域確認動作の終了であると判別してステップＳＴ１８に進む。
In step ST17, the
ステップＳＴ１８で表示制御部２０は、表示を終了する。表示制御部２０は、運転者が運転に集中できるように表示部５０における周辺領域の画像表示を終了してステップＳＴ１１に戻る。
In step ST18, the
このような表示制御を行うことで、運転状況に応じて視認範囲の設定や切り替えを自動的に行うことができるので、従来のバックミラーを用いた場合よりも容易に、周辺範囲における所望の視認範囲を確認できるようになる。例えば、運転状況検出センサ１３から供給されたセンサ情報に基づき、車両の進行方向が直進である場合は、モード１からモード２に切り替えられて、車両の外側方向に視認範囲が拡張される。また、運転状況検出センサ１３から供給されたセンサ情報に基づき、キャビンの向きと牽引トレーラ部の向きが相違する鋭角右左折や鋭角後退の場合に、モード２からモード３に切り替えられて、牽引トレーラ部の外側が視認範囲に含まれるように視認範囲が拡張される。したがって、所望の視認範囲を確認できるようになる。また、表示部５０とミラー部５５は、車両の室内に設けられているので、バックミラーを用いた場合のようにサイドウィンドウによる悪影響を受けることなく良好に周辺領域を確認できる。
By performing such display control, it is possible to automatically set and switch the visibility range according to the driving situation, so that the desired visibility in the surrounding range can be achieved more easily than when using a conventional rearview mirror. You can check the range. For example, based on the sensor information supplied from the driving
図２２は、周辺領域撮像部１１ａと周辺領域撮像部１１ｂで取得された周辺画像を用いて表示部５０で表示される表示画像を例示している。図２２の（Ａ）は、周辺領域撮像部１１ａの死角の位置に車がある場合を例示している。図２２の（Ｂ）は、周辺領域撮像部１１ａで取得された周辺画像ＭＧａを表示した場合を例示しており、周辺領域撮像部１１ａで取り込まれた画像の表示画像のみでは、後方の車全体を確認できない。このため、表示制御部２０は、図２２の（Ｃ）に示すように、周辺領域撮像部１１ａで取得された周辺画像ＭＧａだけでなく、周辺領域撮像部１１ｂで取得された周辺画像ＭＧｂを表示することで後方にいる車全体を確認できる。なお、表示制御部２０は、運転状況や運転者の意思に応じて、図２２の（Ｂ）と図２２の（Ｃ）に示す表示の切り替えや、図２２の（Ｃ）において矢印で示すように周辺画像ＭＧａと周辺画像ＭＧｂの領域幅（または挿入幅）を可変できる構成とすれば、周辺領域を最も視認しやすい状態で表示することができる。
FIG. 22 illustrates display images displayed on the
図２３は、周辺領域撮像部１１ａと周辺領域撮像部１１ｂで取得された周辺画像を用いて表示部５０で表示される他の表示画像を例示している。図２３の（Ａ）は、周辺領域撮像部１１ａで取得された周辺画像ＭＧａを表示した場合を例示している。図２３の（Ｂ）は、周辺領域撮像部１１ａで取得された周辺画像ＭＧａと周辺領域撮像部１１ｂで取得された周辺画像ＭＧｂを縦方向に並べて表示した場合を例示している。表示制御部２０は、運転状況や運転者の意思に応じて、図２３の（Ａ）に示す表示と図２３の（Ｂ）に示す表示との切り替えを行う。また、図２３の（Ｂ）において矢印で示すように周辺画像ＭＧａと周辺画像ＭＧｂの領域幅（または挿入幅）を可変できる構成としてもよい。ここで、複数撮像により取り込まれた画像表示を隣接する表示部で表示を行う際に、車体の進行方向に対して前方に配置された撮像画像程、表示画面の上方に配置し、進行方向に対して後方に設置された撮像画像程、表示画面の下方に配置する事で、ドライバは直感的に視認画面の車体前後関係は瞬時に判別できるメリットがある。すなわち、車両の外装部に共に車両進行方向に対して後方側を向けて取り付けられた少なくとも２つ以上の撮像装置と、車両の室内の例えばダッシュボード中央部に、隣接配置される少なくとも２つ以上の画面表示領域を設けた表示部を有する場合、画面表示領域に表示する撮像画像の表示内容では、車両進行方向前方側に設置された第１の撮像装置（例えば周辺領域撮像部１１ａ）の画像を第１の撮像装置よりも車両進行方向後方側に設置された撮像装置（例えば周辺領域撮像部１１ａ）の画像より上部に配置する（例えば図２３の（Ｂ））。このようにすれば、ドライバは直感的に視認画面の車体前後関係を瞬時に判別できるメリットがある。
FIG. 23 illustrates another display image displayed on the
また、画面を大きく上下配置が出来ないレイアウトであっても、進行方向前方設置撮像部画面の後方消失点が表示画面では上方に配置する。すなわち、車両の外装部に共に車両進行方向に対して後方側を向けて取り付けられた少なくとも２つ以上の撮像装置と、車両の室内に、隣接配置される少なくとも２つ以上の画面表示領域を設けた表示部を有する場合、画面表示領域に表示する撮像画像の表示内容では、車両進行方向前方側に設置された第１の撮像装置の画像に含まれる無限消失点を第１の撮像装置よりも車両進行方向後方側に設置された撮像装置の画像に含まれる無限消失点より上部に配置する。このようにすれば、同様の効果が得られる。この場合、差異を素早く判別するためには表示画面の少なくとも２割以上、上下方向にシフトが望ましい。 In addition, even if the screen is large and cannot be vertically arranged, the rear vanishing point of the screen of the imaging unit installed in front of the traveling direction is arranged at the top of the display screen. That is, at least two or more imaging devices mounted on the exterior of the vehicle facing the rear side with respect to the traveling direction of the vehicle, and at least two or more screen display areas arranged adjacent to each other are provided in the interior of the vehicle. In the case of having a display unit, the display content of the captured image displayed in the screen display area is such that the infinite vanishing point included in the image of the first imaging device installed on the front side in the vehicle traveling direction is displayed more than the first imaging device. It is arranged above the infinite vanishing point included in the image of the imaging device installed on the rear side in the direction of travel of the vehicle. With this arrangement, similar effects can be obtained. In this case, in order to quickly discriminate the difference, it is desirable to shift the display screen vertically by at least 20%.
図２４は、周辺領域撮像部１１ａと周辺領域撮像部１１ｂで取得された周辺画像を用いて表示部５０で表示される他の表示画像を例示している。図２４の（Ａ）は、周辺領域撮像部１１ａで取得された周辺画像ＭＧａを表示した場合を例示している。図２４の（Ｂ）は、周辺領域撮像部１１ａで取得された周辺画像ＭＧａと周辺領域撮像部１１ｂで取得された周辺画像ＭＧｂを縦方向に並べて、周辺画像がいずれの周辺領域撮像部で取得された画像であるか識別可能とする表示、例えば、キャビンと牽引トレーラ部を模式化したアイコン表示ＨＴを設けた場合を例示している。さらに、アイコン表示ＨＴでは、隣接して表示されている周辺画像を取得した周辺領域撮像部を示す例えばカメラ形状のマークＨＣを設ける。このように車両前方配置の周辺領域撮像部１１ａにより取り込まれた表示画像を上方に、車両後方方配置の周辺領域撮像部１１ｂにより取り込まれた表示画像を下方に配置すれば、表示された周辺画像と周辺領域撮像部との対応関係を容易に把握することができるようになり、表示画像を参照して、適切な運転操作を行うことができるようになる。表示制御部２０は、運転状況や運転者の意思に応じて、図２４の（Ａ）に示す表示と図２４の（Ｂ）に示す表示との切り替えを行う。また、図２４の（Ｂ）において矢印で示すように周辺画像ＭＧａと周辺画像ＭＧｂの領域幅（または挿入幅）を可変できる構成としてもよい。
FIG. 24 illustrates another display image displayed on the
また、通常走行等の場合には、例えば周辺領域撮像部１１ａで取得された周辺画像のみが表示されるので、複数の周辺画像が複数並べて表示されて、前方外周領域の視界妨害となってしまうことを防止できる。
In addition, in the case of normal driving, for example, only the peripheral image acquired by the peripheral
また、周辺領域撮像部の切り替えや表示する周辺画像の制御は、車両の運行状態に応じて表示内容を可変しつつ、且つ運転者の意思に基づいて適宜切り替えることが可能とされている。したがって、運転者は注意深い画面観察をせずとも直感的に領域別の視認領域把握が自然とできる。トレーラ等の牽引車両の場合は、一画面での合成画面表示とせずに、境界を有する即時区分別画面認識が可能な表示となっていることが人間工学的に見て望ましく、表示制御部２０は、人間工学的に適した表示が行われる。 In addition, the switching of the peripheral area imaging unit and the control of the peripheral image to be displayed can be appropriately switched based on the intention of the driver while changing the display content according to the running state of the vehicle. Therefore, the driver can intuitively and naturally grasp the visual recognition area for each area without carefully observing the screen. In the case of a towing vehicle such as a trailer, it is desirable from an ergonomic point of view to display a display that enables real-time classification-by-screen recognition with boundaries instead of displaying a composite screen on a single screen. provides an ergonomic display.
また、トレーラ等の牽引車両で死角が重要となる状況は、小さい曲率での走行時、例えば２車線以上のランドアバウトでの外側車線への車線変更する際や後退時の後方障害物確認の時である。そこで、車両の運転状態と合わせて運転者の画面操作の意思表示を反映した画面遷移表示を行うことで、死角部の状況把握を改善できる。このような状況では、単一カメラの視界領域変更で行うのではなく、牽引トレーラ部側の周辺領域撮像部１１ｂカメラ切り替えを行った上での表示領域切替え可変操作が効果的である。
In addition, situations where blind spots are important for towing vehicles such as trailers are when driving on a small curvature, for example, when changing lanes to the outside lane on a roundabout with two or more lanes, or when checking for obstacles behind when backing up. is. Therefore, by performing a screen transition display that reflects the driver's intention to operate the screen together with the driving state of the vehicle, it is possible to improve the grasp of the situation in the blind spot. In such a situation, it is effective not to change the view area of a single camera, but to change the display area after switching the camera of the peripheral
また、表示拡張は、ミラー部５５を介した方法に限らずとも表示範囲拡張機能は有効である。
Moreover, the display range extension function is effective even if the display extension is not limited to the method via the
なお、第３の実施の形態では、モード切替を行う場合について説明したが、第２の実施の形態の処理動作を組み合わせて行ってもよい。 In addition, in the third embodiment, the case of mode switching has been described, but the processing operation of the second embodiment may be combined.
また、上述の実施の形態では、頭部姿勢や視点認識を行う場合について説明をしているが、システムの構成としてはさらに補助的なタッチボタン制御、音声指示認識や頭部以外のジェスチャー認識等で行ってもよい。特に、通常状態の復帰や後述する学習時の指示内容認識の誤検出指摘、さらには低速駐車操作時の複雑な運転者の姿勢変更が行わる場合にはボタン操作などの直接指示を行うインターフェースとの組み合わせで制御を行うことが効果的である。 In addition, in the above-described embodiments, the case of performing head posture and viewpoint recognition has been described, but as a system configuration, additional touch button control, voice instruction recognition, gesture recognition other than the head, etc. You can go with In particular, when returning to the normal state, pointing out erroneous detection of instruction content recognition during learning, which will be described later, and complex changes in the driver's posture during low-speed parking operation, it is an interface that performs direct instructions such as button operation. It is effective to control with a combination of
＜４．第４の実施の形態＞
表示装置を用いた周辺領域の視認では、法規で定められた最低表示倍率に伴い、通常走行時にはある一定の画面倍率を確保する必要がある。つまり、運転時の定常的な頭部姿勢での表示画面があり、その定常位置から相違する位置に変化した際には、運転者が非定常とする意思表示のヒューマンマシンインターフェースを介して表示変更指示を受けて画面表示変更を行う必要がある。例えば、より低倍率に表示内容を変更する指示や、駐車時などの非定常走行の特殊視野に変更する指示等を受けて画面表示変更を行う必要がある。そこで、第４の実施の形態では、表示内容変更に関するヒューマンマシンインターフェースの仕組みについて説明する。
<4. Fourth Embodiment>
When visually recognizing the surrounding area using a display device, it is necessary to ensure a certain screen magnification during normal driving in accordance with the minimum display magnification stipulated by law. In other words, there is a display screen with a steady head posture during driving, and when it changes from the steady position to a different position, the display is changed through the human machine interface of the driver's unsteady intention expression. It is necessary to receive instructions and change the screen display. For example, it is necessary to change the screen display in response to an instruction to change the display content to a lower magnification or an instruction to change to a special field of view for irregular driving such as parking. Therefore, in the fourth embodiment, a mechanism of a human-machine interface for changing display contents will be described.
図２５は、運転者が周辺領域の状況を把握する場合の動作を例示したフローチャートである。ステップＳＴ２１で運転者は振り向き動作を開始してステップＳＴ２２に進み、ステップＳＴ２２で運転者は、眼でミラー部を補足してステップＳＴ２３に進む。ステップＳＴ２３で運転者は、頭部を一旦停止乃至準停止してステップＳＴ２４に進む。なお、準停止とは、頭部の動きが少なく停止状態と見なせる状態である。 FIG. 25 is a flow chart illustrating the operation when the driver grasps the situation of the surrounding area. In step ST21, the driver starts to turn around and proceeds to step ST22. In step ST22, the driver catches the mirror portion with his/her eyes and proceeds to step ST23. In step ST23, the driver temporarily stops or semi-stops the head, and proceeds to step ST24. Note that semi-stop means a state in which the movement of the head is small and can be regarded as a stopped state.
ステップＳＴ２４で運転者はミラー部を介して画像への合焦を行いステップＳＴ２５に進み、ステップＳＴ２５で運転者は視認範囲の画像を確認することで周辺領域の状況を把握してステップＳＴ２６に進む。 In step ST24, the driver focuses on the image via the mirror section and proceeds to step ST25. In step ST25, the driver checks the image in the visible range to grasp the situation of the surrounding area, and proceeds to step ST26. .
ステップＳＴ２６で運転者は、視認範囲の変更が必要か判断する。運転者は、ステップＳＴ２５でモニタ画像領域の画像を視認することで、周辺領域における所望の範囲の状況を把握できた場合に視認範囲の変更は不要としてステップＳＴ２７に進む。また、運転者は、周辺領域における所望の範囲の状況を把握できない場合に視認範囲の変更が必要としてステップＳＴ２８に進む。 In step ST26, the driver determines whether or not it is necessary to change the visible range. By visually recognizing the image of the monitor image area in step ST25, if the driver can grasp the situation of the desired range in the peripheral area, it is not necessary to change the visible range, and the process proceeds to step ST27. Further, when the driver cannot grasp the situation of the desired range in the surrounding area, the driver proceeds to step ST28 as it is necessary to change the visible range.
ステップＳＴ２７で運転者は前方視認状態に復帰する。運転者は所望の周辺領域の状況を把握できたことから、振り向きを終了して顔を前方に向けて前方を視認できる状態として処理を終了する。 In step ST27, the driver returns to the forward visibility state. Since the driver has grasped the situation of the desired surrounding area, the driver finishes turning and turns his face forward so that the front can be visually recognized, and the process ends.
ステップＳＴ２６からステップＳＴ２８に進むと、運転者は視認範囲変更指示を行う。運転者は予め規定された動き、例えば胴部を繰り返し移動させる動きを行いステップＳＴ２９に進む。なお、表示装置では、運転者の視認範囲変更指示を検出して、モニタ画像領域に画像が表示される視認範囲を変更する処理を行う。視認範囲の変更では、運転者が視認できる周辺領域の範囲の移動または拡張を行う。 When proceeding from step ST26 to step ST28, the driver gives an instruction to change the visible range. The driver performs a predetermined motion, for example, a motion of repeatedly moving the torso, and proceeds to step ST29. Note that the display device detects an instruction to change the visible range from the driver and performs processing for changing the visible range in which the image is displayed in the monitor image area. In changing the visible range, the range of the peripheral area visible to the driver is moved or expanded.
ステップＳＴ２９で運転者は、視認範囲変更後の画像を確認することで周辺領域の状況を把握してステップＳＴ３０に進む。 In step ST29, the driver checks the image after the change in the visual recognition range to grasp the situation of the surrounding area, and proceeds to step ST30.
ステップＳＴ３０で運転者は、変更指示前の状態に戻す必要がないか判別する。運転者は、変更指示前の視認範囲を確認したい場合、変更指示前の状態に戻す必要があるとしてステップＳＴ３１に進む。また、運転者は、変更指示前の状態に戻す必要がないと判別した場合にステップＳＴ３２に進む。 In step ST30, the driver determines whether or not it is necessary to return to the state before the change instruction. When the driver wants to confirm the visual range before the change instruction, the driver proceeds to step ST31 because it is necessary to restore the state before the change instruction. Further, when the driver determines that it is not necessary to return to the state before the change instruction, the process proceeds to step ST32.
ステップＳＴ３１で運転者は視認範囲復元指示を行う。運転者は予め規定された動き、例えば頭部を戻す動きを行いステップＳＴ３２に進む。なお、表示装置では、運転者の視認範囲復元指示を検出して、モニタ画像領域に画像が表示される視認範囲を変更前の範囲に戻す処理を行う。 In step ST31, the driver gives an instruction to restore the visible range. The driver performs a predetermined motion, for example, a motion to return the head, and proceeds to step ST32. Note that the display device detects an instruction to restore the visible range from the driver, and performs processing for returning the visible range in which the image is displayed in the monitor image area to the range before the change.
ステップＳＴ３２で運転者はミラー部を一定期間注視しないようにしてステップＳＴ３３に進む。 In step ST32, the driver does not look at the mirror portion for a certain period of time, and the process proceeds to step ST33.
ステップＳＴ３３で運転者は前方視認状態に復帰する。運転者は周辺領域の状況の把握を終了する。すなわち、振り向きを終了して顔を前方に向けて前方を視認できる状態とする。 In step ST33, the driver returns to the forward visibility state. The driver finishes grasping the situation of the surrounding area. In other words, the user finishes turning around and turns the face forward so that the front can be visually recognized.
表示装置は、このような運転者の動作に対応させたヒューマンマシンインターフェースを用いて、運転者からの表示変更指示に基づき周辺領域における視認範囲を変更する。なお、このようなヒューマンマシンインターフェースを用いる表示装置は、第１乃至第３の実施の形態の構成の表示装置に限られない。例えば、運転者が表示部５０の表示を直接視認して周辺領域の状況を把握する場合等にも適用できる。
The display device changes the visible range in the peripheral area based on a display change instruction from the driver using a human-machine interface corresponding to such driver's actions. The display device using such a human-machine interface is not limited to the display devices having the configurations of the first to third embodiments. For example, it can be applied to a case where the driver directly visually recognizes the display on the
図２５に示すフローチャートでは、説明の簡素化のために前方視認復帰までの一連の動作をして単純にそのまま復帰までを説明している。しかし、実際には前方視認復帰までにはより複雑な動作を伴い、直接視認と表示部視認を繰り返し確認してから前方視認に復帰する事象が多く発生するが、あらゆる事象を説明するのが目的ではないため上記以外の例の説明は省略する。 In the flowchart shown in FIG. 25, for the sake of simplification of explanation, a series of operations up to restoration of the forward visual recognition are simply performed and the restoration is simply explained. However, in reality, it involves more complicated actions before returning to forward vision, and there are many cases where direct vision and display are repeatedly confirmed before returning to forward vision, but the purpose is to explain all events. Therefore, description of examples other than the above is omitted.
次に第４の実施の形態の構成と動作について、第１乃至第３の実施の形態と同様に、ミラー部を介して間接的に表示部の画像を運転者が視認する場合について説明する。 Next, the configuration and operation of the fourth embodiment will be described in the case where the driver indirectly visually recognizes the image on the display section through the mirror section, as in the first to third embodiments.
［４－１．第４の実施の形態の構成］
図２６は、第４の実施の形態の構成を例示した図である。表示装置１０は、周辺領域撮像部１１、運転者撮像部１２、運転者識別情報取得部１５、表示制御部２０、表示部５０、ミラー部５５を備えている。また、運転者と表示部とミラー部および運転者撮像部は、上述の図９に示すように設けられている。
[4-1. Configuration of the fourth embodiment]
FIG. 26 is a diagram illustrating the configuration of the fourth embodiment. The
周辺領域撮像部１１は、車両の周辺領域を撮像して画像信号を表示制御部２０に出力する。なお、周辺領域撮像部１１で撮像される領域を撮像対象周辺領域とする。
The peripheral
運転者撮像部１２は、運転者ＤＲの頭部位置や頭部の向きや視線の向き等を判別できるように、例えば運転者ＤＲの前方またはミラー部５５が設置されている方向に設けられている。運転者撮像部１２は、運転者ＤＲを撮像して画像信号を表示制御部２０に出力する。
The
運転者識別情報取得部１５は、運転者固有の識別情報である運転者識別情報を取得して表示制御部２０に出力する。運転者識別情報取得部１５は運転者撮像部１２より得られた運転者顔認識を用いてもよいし、運転者所有車用起動キーに付与した識別情報を用いてもよいし、運転者がボタン操作等で直接指示をするなど様々な方法を取り得る。
The driver identification
表示制御部２０は、周辺領域撮像部１１で撮像された周辺領域撮像画像を表示部５０に表示させる。また、表示制御部２０は、運転者の頭部位置や頭部の向き、視線の向き、および位置や向きの移動、運転者識別情報取得部１５から供給された情報等に基づき、ミラー部５５の方向への振り向きや確認領域の移動動作や各種指示動作を判別する。さらに、表示制御部２０は、判別結果に基づき、表示部５０に表示する周辺領域撮像画像の表示制御を行う。表示制御部２０は、運転者が例えばミラー部の方向に振り向いた場合に、周辺領域撮像画像を表示部５０に表示する。また、表示制御部２０は、例えば振り向きの検出後に運転者で予め指定した動きが行われたことを判別した場合に視認範囲の領域を拡張する。
The
表示部５０は、運転者がミラー部５５を介して間接的に表示部５０の表示面を視認できるように配置されている。また、表示部５０の表示面は、運転者ＤＲが運転時にバックミラーで広範囲の領域を確認するように頭部位置を移動しても、ミラー部５５を介して表示部５０の表示画像を視認できるように、ミラー部５５の鏡面よりも大きいサイズとされている。なお、表示部５０の表示画像において、運転者がミラー部５５を介して確認する周辺領域の視認範囲と対応する画像領域をモニタ画像領域とする。
The
ミラー部５５は、表示部５０の表示面を運転者ＤＲが間接的に視認できるように設けられている。ミラー部５５は、車両内であって例えば運転者ＤＲが従来のバックミラーを見る動作を行ったとき、ミラー部５５に写った画像を視認できるように配置されている。また、ミラー部５５は、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認する際に、表示部５０の表示領域全体がミラー部５５に映り込むように、表示部５０との位置関係およびミラー部５５のサイズを設定する。さらに、表示部５０とミラー部５５は、周辺領域においてミラー部５５に映る表示部５０の画像によって運転者が視認できる視認範囲が、表示制御部２０の表示制御によって、ミラー部５５に対する運転者の視認位置の移動に応じて変更される。なお、ミラー部５５のサイズは、従来のバックミラーと同様な作用効果が得られるように、視認範囲が映り込む領域のサイズを従来のバックミラーと同等なサイズとすることが好ましい。
The
表示装置１０では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認できるようにして、運転者ＤＲが表示部５０で表示面を直接的に視認する場合に比べて、運転者ＤＲから表示部５０の表示面までの距離を長くする。
In the
また、表示装置１０では、運転者ＤＲがミラー部５５を介して周辺領域撮像画像を間接的に視認することから、表示部５０は運転者ＤＲから表示面や表示面の照明光が見えないように配置する。また、運転者ＤＲから表示部５０の表示面や照明光が見えないように遮蔽物を設けた構成としてもよい。
In addition, in the
図２７は、表示制御部の構成を示す図である。表示制御部２０は、認識部２３、振り向き判定部２４、指示動作判定部２５、運転者認証部２６、制御処理部３５、表示調整部４１、輝度調整部４２を備えている。
FIG. 27 is a diagram illustrating a configuration of a display control unit; The
認識部２３は、運転者撮像部１２から供給された画像信号に基づき顔認識を行う。また、認識部２３は、認識した頭部の向きや認識した顔における視線方向を認識して、認識結果を振り向き判定部２４に出力する。
The
振り向き判定部２４は、振り向き判定処理部２４１、振り向き判定学習部２４２、判定基準値記憶部２４３を有している。
The turning
振り向き判定処理部２４１は、認識部２３からの認識結果と振り向き判定学習部２４２から供給された振り向き判定基準値を比較して、運転者がミラー部５５の方向を向いたか判定して、判定結果を指示動作判定部２５と制御処理部３５に出力する。
The turning direction
振り向き判定学習部２４２は、判定基準値記憶部２４３から振り向き判定基準値を読み出して振り向き判定処理部２４１に出力する。また、振り向き判定学習部２４２は、制御処理部３５からの運転者情報、高速先方走行に最適化した運転の判定パラメータ設定、低速、後退、パーキングに適した運転の判定パラメータ設定等に対応する振り向き判定基準値を、判定基準値記憶部２４３から読み出して振り向き判定処理部２４１に出力する。さらに、振り向き判定学習部２４２は、頭部の向きや視線方向の認識結果に基づいて振り向き判定基準値の更新を行うことで、振り向き判定処理部２４１で、運転者毎に精度よく振り向き判定を行えるようにする。また、車両の速度域で、類似の頭部動作でも目的とする動作が異なることが発生するため、振り向き判定処理部２４１で、速度域に依存した判定を運転者毎に行えるようにする。例えば、高速走行や高速合流作業は前方に主要な注意を払い、一瞬モニタを早い動作で見る中で視認範囲を拡張できるように、視線振り向き確定までの判定閾値時間を１秒未満とする。駐車などの場合において、大型トレーラなどの各動作は、一旦各状態に視線注意をして全体把握のできる時間で後方把握してから拡張等の操作が行われるので、駐車相当と判別される時速１５Ｋｍ／ｈ未満では少なくとも判定閾値時間を０．５秒以上とする。振り向き判定学習部２４２は、更新後の振り向き判定基準値を判定基準値記憶部２４３に出力して、判定基準値記憶部２４３に記憶されている振り向き判定基準値を更新する。なお、振り向き判定学習部２４２は、通知された運転者に対応する振り向き判定基準値が判定基準値記憶部２４３に記憶されていない場合、予め設定されている振り向き判定基準値を振り向き判定処理部２４１に出力する。また、振り向き判定学習部２４２は、その後に更新された振り向き判定基準値を、運転者情報と対応付けて判定基準値記憶部２４３に記憶させる。ここで、頭部の姿勢認識の判定推移を通知部例えば表示部５０の表示画面上のオバーレイディスプレー、ＬＥＤ表示または車両のスピーカ等により視覚的や聴覚的に運転者ＤＲにフィードバックする事で、指示動作確定をより正確に且つ最小限の動作で実現する事ができる。運転者ＤＲへのフィードバックはデジタル的０／１の真偽判定ではなく、運転者の動きの判別度合いを示すステータスを例えばアナログ的に通知部でフィードバックする事が望ましい。
The turning
判定基準値記憶部２４３は、振り向き判定に用いる振り向き判定基準値を記憶する。また、運転者の認証が行われる場合、判定基準値記憶部２４３は運転者毎に振り向き判定基準値を記憶する。判定基準値記憶部２４３に記憶されている振り向き判定基準値は、振り向き判定学習部２４２の学習結果に応じて更新される。
The determination reference
指示動作判定部２５は、指示動作判定処理部２５１、指示動作判定学習部２５２、判定基準値記憶部２５３を有している。
The pointing
指示動作判定処理部２５１は、認識部２３からの認識結果と振り向き判定部２４からの振り向き判定結果と指示動作判定学習部２５２から供給された判定基準値を用いて、運転者が所定の動作を行ったか判定して、制御処理部３５に出力する。指示動作判定処理部２５１は、例えば運転者における頭部の２回以上の加減速動作の組み合わせの検出結果に基づき、運転者の動きから運転者の指示の判定を行う。
The instruction action
指示動作判定学習部２５２は、判定基準値記憶部２５３から指示動作判定基準値を読み出して指示動作判定処理部２５１に出力する。また、指示動作判定学習部２５２は、制御処理部３５から運転者が通知された場合、通知された運転者に対応する指示動作判定基準値を、判定基準値記憶部２５３から読み出して指示動作判定処理部２５１に出力する。さらに、指示動作判定学習部２５２は、頭部の向きや視線方向の認識結果に基づいて指示動作判定基準値の更新を行うことで、指示動作判定処理部２５１で精度よく指示動作の判定を行えるようにする。指示動作判定学習部２５２は、更新後の指示動作判定基準値を判定基準値記憶部２５３に出力して、判定基準値記憶部２５３に記憶されている指示動作判定基準値を更新する。なお、指示動作判定学習部２５２は、通知された運転者に対応する指示動作判定基準値が判定基準値記憶部２５３に記憶されていない場合、予め設定されている指示動作判定基準値を指示動作判定処理部２５１に出力する。また、指示動作判定学習部２５２は、その後に更新された指示動作判定基準値を、運転者情報と対応付けて判定基準値記憶部２５３に記憶させる。
The pointing action
判定基準値記憶部２５３は、指示動作の判定に用いる指示動作判定基準値を記憶する。また、運転者の認証が行われる場合、判定基準値記憶部２５３は運転者毎に指示動作判定基準値を記憶する。判定基準値記憶部２５３に記憶されている指示動作判定基準値は、指示動作判定学習部２５２の学習結果に応じて更新される。
The determination reference
ここで、指示動作判定学習部２５２には、ジェスチャーによる操作が目的としない判定結果を生じて誤動作となる場合に、除外分類等の指定をジェスチャーの検出以外のフィードバック形態例えばボタン操作や音声操作等で行える機能を設けてもよい。
Here, in the instruction operation
運転者認証部２６は、運転者識別情報取得部１５で取得された運転者固有の識別情報に基づき、車両の現在の運転者を判別して、判別結果を制御処理部３５に出力する。
The
制御処理部３５は、運転者認証部２６からの判別結果に基づき車両の運転者を判別して、判別した運転者を振り向き判定学習部２４２や指示動作判定学習部２５２に通知する。また、制御処理部３５は、振り向き判定部２４と指示動作判定部２５からの判別結果に基づき、表示部５０におけるモニタ画像領域と非モニタ画像領域で異なる表示制御を行う制御信号を生成する。制御処理部３５は、生成した制御信号を表示調整部４１と輝度調整部４２に出力する。
The
表示調整部４１は、制御処理部３５からの制御信号に基づき、周辺領域撮像部１１から供給された画像信号に対して周辺領域撮像画像の倍率調整、周辺領域の画像の切り替えや合成等を行う。
Based on the control signal from the
輝度調整部４２は、制御処理部３５からの制御信号に基づき、表示部５０における非モニタ画像領域の輝度をモニタ画像領域よりも低下させる。輝度調整部４２は、表示部５０が照明を必要とする表示素子例えば液晶表示素子を用いて構成されている場合、照明例えばバックライトを制御して、非モニタ画像領域の輝度をモニタ画像領域よりも低下させる。また、表示部５０が照明を必要とする表示素子または自発光素子例えば有機ＥＬ表示素子を用いて構成されている場合、非モニタ画像領域に対応する輝度信号の信号レベルを低下させる処理を行ってもよい。
Based on the control signal from the
上記の構成とすることで、予め予期した運転者の動作検出手順として、表示部視認開始状態の検出を、より高速で素早く行う。 By adopting the above configuration, detection of the start state of viewing the display unit is performed at a higher speed and more quickly as a procedure for detecting an expected driver's motion.
通常の運転者の人間工学的な動作ステップは以下の通りと予想される。動物全般的に視覚を通して外界把握をする場合、一番俊敏に方向を捉えて向きを変えるのは眼球運動であり、眼球運動の回転範囲のみでは捉えきれない範囲に視認したい対象物がある場合は、さらには首や体の姿勢を追って変化させることで不足の範囲を補う。 A typical driver's ergonomic motion steps are expected to be: When grasping the external world through vision in general, eye movement is the most agile way to grasp the direction and change direction. , Furthermore, by changing the posture of the neck and body, it compensates for the lack of range.
その結果、前方視認と大幅に方向が異なるミラー部配置方向へ視線注意をする一連の手順で、運転者はミラー部の画像を視認できるおおよその方向をとらえ、眼球の回転移動と首の回転運動を開始する。運転者は、ミラー部を視線で捉えると首の振り向き回転中から眼球回転は首の回転を打ち消す視線方向を合わせ、ミラー部に視線を合わせた時点では、首の振り向き運動もほぼ停止固定する。この一連の動作特徴となる頭部回転状態を逐次時系列解析して動きの加速と減速状態からミラー部の視認開始の状態の変化を学習する。このように学習を行い、個別運転者の動作シーケンスの特徴解析を行うことで、該当運転者の頭部回転が完全に静止する前から運転者のミラー部注視開始の判定を可能とし、且つ引き続き指示操作解析を速やかに移行することで、遅延の少ない画面操作のＨＭＩ（ヒューマンマシンインターフェースが）を実現する。ここで、頭部の姿勢認識の判定推移を通知部例えば表示部５０の表示画面上のオバーレイディスプレー、ＬＥＤ表示や車両のスピーカ等により視覚的や聴覚的に運転者ＤＲにフィードバックする事で、指示動作確定をより正確に且つ最小限の動作で実現する事ができる。運転者ＤＲへのフィードバックはデジタル的０／１の真偽判定ではなく、運転者の動きの判別度合いを示すステータスを例えばアナログ的に通知部でフィードバックする事が望ましい。ただし、これらフィードバックの必要以上の表示は、視界の妨害ともなり得る事から、一旦運転者固有の特性を学習後に不要となれば、表示機能を止める事がよく、必ずしも常に表示を行う必要はない。
As a result, through a series of procedures in which the driver pays attention to the direction in which the mirrors are arranged, which is significantly different from the forward viewing direction, the driver grasps the approximate direction in which the image on the mirrors can be viewed, and the rotational movement of the eyeballs and the rotational movement of the neck. to start. When the driver catches the mirror part with his/her line of sight, the eyeball rotation cancels the rotation of the neck while the driver is turning his or her head, and when the driver looks at the mirror part, the turning movement of the neck is almost stopped and fixed. The rotation state of the head, which is a feature of this series of motions, is sequentially analyzed in time series, and changes in the state of starting to visually recognize the mirror portion are learned from the acceleration and deceleration states of the movement. By performing learning in this way and analyzing the characteristics of the individual driver's motion sequence, it is possible to determine whether the driver's head gaze has started before the driver's head rotation has completely stopped, and By swiftly transferring instruction operation analysis, a screen operation HMI (human machine interface) with little delay is realized. Here, by visually and audibly feeding back the determination transition of the head pose recognition to the driver DR by means of a notification unit, for example, an overlay display on the display screen of the
また、運転が通常の高速前方運転では体の動きは少なく狭い範囲が視認対象範囲であり、低速駐車には頭部や体の動きを多く動かして周辺全体を把握する作業となる。このため、各指示検出の判定基準は高速と低速で異なるのが望ましいので、モード切替判定は車両に運転状態と相関判定をとり行うことで操作性を改善する。 In normal high-speed forward driving, body movement is small and the range to be visually recognized is a narrow range. In low-speed parking, the head and body are moved a lot to grasp the entire surroundings. For this reason, it is desirable that the determination criteria for detecting each instruction are different between high speed and low speed. Therefore, operability is improved by correlating the mode switching determination with the driving state of the vehicle.
［４－２．第４の実施の形態の動作］
図２８は、表示制御部の動作を示すフローチャートである。ステップＳＴ４１で表示制御部２０は、判定基準値の取り込みを行う。表示制御部２０は、振り向き動作や視認範囲変更指示および視認範囲復元指示の判定に用いる判定基準値を取得する。また、判定基準値は運転者毎に設けるようにして、現在の運転者に対応した判定基準値を取得するようにしてもよい。また、運転者の動作に応じて判定基準値を更新して、最新の判定基準値を取得するようにしてもよい。表示制御部２０は判定基準値を取り込んでステップＳＴ４２に進む。
[4-2. Operation of the fourth embodiment]
FIG. 28 is a flow chart showing the operation of the display control unit. In step ST41, the
ステップＳＴ４２で表示制御部２０は頭部の向きの観測を開始する。表示制御部２０は運転者撮像部１２から供給された画像信号を用いて顔認識を行い運転者の顔を判別する処理と、判別した頭部の向きを検出する処理を開始してステップＳＴ４３に進む。
In step ST42, the
ステップＳＴ４３で表示制御部２０は、定常時における顔の位置と向きを判別する。表示制御部２０は、顔の向き（頭部の向き）の観測結果に基づき、定常時における顔の位置と向きを判別する。表示制御部２０は、定常時における顔の位置や向きが前回の判定から変化している場合、変化量に応じた補正値を算出する。また、運転者に対応した情報がない場合は初期値からの違いを補正値とする。表示制御部２０は、補正値を算出してステップＳＴ４４に進む。
In step ST43, the
ステップＳＴ４４で表示制御部２０は振り向き判定基準値を設定する。表示制御部２０は、判定基準値と算出した補正値を用いて振り向き判定基準値を設定してステップＳＴ４５に進む。
In step ST44, the
ステップＳＴ４５で表示制御部２０は振り向き判定を開始する。表示制御部２０は、頭部の向きの観測結果と振り向き判定基準値を用いて、運転者の振り向き動作を判定する処理を開始してステップＳＴ４６に進む。
In step ST45, the
ステップＳＴ４６で表示制御部２０は顔の位置と向きを追跡する。表示制御部２０は、顔の位置と向きの観測結果に基づき、顔の位置と向きの追跡を行ってステップＳＴ４７に進む。
In step ST46, the
ステップＳＴ４７で表示制御部２０は顔の位置や向きに変化を生じたか判別する。表示制御部２０は、顔の位置や向きに変化がないと判別した場合にステップＳＴ４６に戻り、変化が生じたと判別した場合にステップＳＴ４８に進む。
In step ST47, the
ステップＳＴ４８で表示制御部２０はミラー部凝視状態であるか判別する。表示制御部２０は、顔の位置や向きと判定基準値を用いて、運転者がミラー部を凝視している状態であるか判別する。表示制御部２０は、凝視状態であると判別した場合にステップＳＴ４９に進み、凝視状態でないと判別した場合にステップＳＴ４６に戻る。なお、ここでの凝視状態は、生理的な操作として眼の焦点を合わせて状況把握に移行する瞬間が発生するポイントを指しており、必ずしも運転者がミラー部の画像をじっと眺めている状態とは限らない。
In step ST48, the
ステップＳＴ４９で表示制御部２０は高速検出モードに移行する。表示制御部２０は、運転者の視認範囲変更指示および視認範囲復元指示を精度よく検出するため、顔の位置や向きの観測を高速で行うことにより、運転者の細かな動きを検出できるようにする。表示制御部２０は、高速検出モードの場合、運転者の顔の位置や向きの観測を例えば１００ｍｓ以下の頻度で定期的に行うようにする。なお、振り向きの検出は通常検出モードで行い、運転者の顔の位置や向きの観測は高速検出モードよりも時間間隔を広くして定期的に行うようにする。表示制御部２０は高速検出モードに移行してステップＳＴ５０に進む。
In step ST49, the
ステップＳＴ５０で表示制御部２０は、指示の検出を開始する。表示制御部２０は、顔の位置や向きの観測結果と判定基準値を用いて、視認範囲変更指示および視認範囲復元指示の検出を開始してステップＳＴ５１に進む。
In step ST50, the
ステップＳＴ５１で表示制御部２０は指示が検出されたか判別する。表示制御部２０は指示検出によって、視認範囲変更指示または視認範囲復元指示を示す運転者の動きが検出された場合にステップＳＴ５２に進む。また、表示制御部２０は、指示が検出されていない場合にステップＳＴ５３に進む。
In step ST51, the
ステップＳＴ５２で表示制御部２０は指示に応じて表示制御を行う。表示制御部２０は、例えば視認範囲変更指示を検出した場合、モニタ画像領域に画像が表示される視認範囲を顔の位置や向きの変化に応じて変更する。また、表示制御部２０は、例えば視認範囲復元指示を検出した場合、モニタ画像領域に画像が表示される視認範囲を変更前の領域に戻す。表示制御部２０はこのような表示制御を行いステップＳＴ５０に戻る。
In step ST52, the
ステップＳＴ５３で表示制御部２０は、頭部の向きがミラー部方向と異なる方向であるか判別する。表示制御部２０は、頭部の向きの観測結果と判定基準値を用いて、頭部の向きが画像視認方向と異なる方向であるか判別する。表示制御部２０は、頭部の向きが画像視認方向と異なる方向であると判別した場合に高速検出モードを通常検出モードに切り替えてステップＳＴ４７に戻る。また、表示制御部２０は、頭部の向きがミラー部の方向と判別した場合にステップＳＴ５４に進む。
In step ST53, the
ステップＳＴ５４で表示制御部２０は、所定の判別期間内であるか判別する。表示制御部２０は、所定の判別期間内である場合にステップＳＴ５０に戻り、所定の判別期間が経過した場合、高速検出モードを通常検出モードに切り替えてステップＳＴ４７に戻る。
In step ST54, the
図２９は、振り向きと視認範囲変更指示の動作を例示した図である。また、図３０は、振り向き判定と視認範囲変更指示の判定動作を例示した図である。なお、図３０の（Ａ）は振り向き方向（角度）と時間の関係、図３０の（Ｂ）は振り向き速度と時間の関係を例示している。 FIG. 29 is a diagram exemplifying the operation of turning around and instructing to change the visible range. 30A and 30B are diagrams exemplifying the determination operation of turning direction determination and visible range change instruction. FIG. 30A illustrates the relationship between the turning direction (angle) and time, and FIG. 30B illustrates the relationship between the turning speed and time.
図２９において、方向ＰＦ１は通常時において運転者の頭部が向いている正面方向を示しており、方向ＰＦ２は、ミラー部５５の画像を運転者が視認する際の頭部の向きを例示している。方向ＰＦ３は、ミラー部５５の方向を示している。
In FIG. 29, the direction PF1 indicates the front direction in which the driver's head normally faces, and the direction PF2 indicates the orientation of the head when the driver visually recognizes the image of the
範囲ＦＳ１は通常時における運転者の頭部の向きの移動範囲を例示しており、範囲ＦＳａは運転者の眼球移動による探索範囲を例示している。範囲ＦＳ２は、頭部の向きを方向ＰＦ１から方向ＰＦ２に移動する際の頭部回転加速帯であり、頭部の向きを方向ＰＦ２から方向ＰＦ１に移動する際の頭部回転減速帯である。範囲ＦＳ３は、頭部の向きを方向ＰＦ１から方向ＰＦ２に移動する際の頭部回転減速帯であり、頭部の向きを方向ＰＦ２から方向ＰＦ１に移動する際の頭部回転加速帯である。角ＦＶａは、ミラー部５５の画像を運転者が視認する際の頭部の振り向き角を例示している。角ＦＶｂは、ミラー部５５の画像を運転者が視認する際の眼球移動で確保する振り向き角を例示している。範囲ＦＳｃは、ミラー部５５の画像を運転者が視認する際の眼球移動による探索範囲を例示している。
A range FS1 exemplifies a movement range of the direction of the driver's head during normal operation, and a range FSa exemplifies a search range by the driver's eye movement. The range FS2 is a head rotation acceleration zone when the head orientation is moved from the direction PF1 to the direction PF2, and is a head rotation deceleration zone when the head orientation is moved from the direction PF2 to the direction PF1. Range FS3 is a head rotation deceleration zone when moving the head orientation from direction PF1 to direction PF2, and is a head rotation acceleration zone when moving the head orientation from direction PF2 to direction PF1. The angle FVa exemplifies the turning angle of the head when the driver visually recognizes the image of the
図３０の（Ａ）において、範囲ＪＡは運転者が前方を向いていると見なせる振り向き角度の範囲である。範囲ＪＢは運転者が頭部を方向ＰＦ２に向けて回転させたときミラー部５５を凝視していると見なせる振り向き角度の範囲である。範囲ＪＣは眼球移動によりミラー部５５を凝視していると見なせる振り向き角度の範囲である。曲線ＱＣａは頭部の向きを示しており、曲線ＱＣｂは頭部の向きと眼球移動に基づいた視線方向を示している。また、図３０の（Ｂ）において、範囲ＪＥは、前方振り向き時の判定範囲である。
In (A) of FIG. 30 , range JA is a range of turning angles in which the driver can be regarded as facing forward. The range JB is the turning angle range in which it can be assumed that the driver is staring at the
表示制御部２０は、振り向き速度（頭部の向きの変化に相当）が判定基準値で示された範囲ＪＥを超えたのち範囲ＪＥ内に戻り、振り向き方向（角度）が判定基準値で示された振り向き方向の範囲ＪＢ（ミラー部方向を基準として設定された範囲）内であることを検出する。この場合、表示制御部２０は、運転者がミラー部５５の方向を振り向いて凝視していると推定して振り向き動作が行われたと判別する。なお、眼球移動の検出を行い、頭部の向きと眼球移動に基づいて視線方向を推定すれば、推定した視線方向と範囲ＪＣを比較することで、さらに精度よく振り向き動作の判別を行うことができる。表示制御部２０は、振り向き動作が行われたと判別した場合、視認範囲変更指示を高い時間解像度で検出できるように高速検出モードに変更する。
The
なお、運転席側と助手席側の後方視認モニタリングシステムでは、表示部５０やミラー部５５の配置や方向が異なり、指示動作判定や振り向き角判定など全て異なることが予想されるために判定基準は個別に行うのが望ましい。
It should be noted that in the driver's seat side and the passenger's seat side rear view monitoring system, the arrangement and direction of the
表示制御部２０は、振り向き方向（角度）が凝視状態であるか判定するための範囲ＪＢと振り向き方向（角度）を比較して、振り向き方向（角度）が範囲ＪＢを所定の方向に所定回数例えば２回超えたことを検出する。ここで、図３０の（Ａ）に示すように時点ｔｊで運転者における頭部の２回以上の加減速動作の組み合わせを検出した場合、すなわち振り向き方向（角度）が範囲ＪＢを２回超えたことを判別した場合、表示制御部２０は、運転者がミラー部に対して凝視状態で指示を行っていると推定して視認範囲変更指示が行われたと判別する。その後、表示制御部２０は、視認範囲変更指示に応じて視認範囲を変更する表示制御を行う。
The
なお、表示制御部２０は、頭部の向きが判定基準値で示された範囲ＪＡ内であることを検出する。この場合、表示制御部２０は、運転者がミラー部方向から正面方向に向きを変えたと判別して、振り向き動作判別前の状態に戻る。
Note that the
また、視認範囲変更指示は、運転その状態に応じて操作指示動作量が異なってもよい。一般的に、駐車時などの低速運転動作では運転者はより頭部や体を大きく動かすことに慣れており、他方で高速走行時には主に頭部の移動量は少なく眼球移動が主な視線移動を占めるため、より少ない頭部移動で判定基準を設けるのが好ましい。さらに、図３０では２回以上の反復移動を例示しているが、運転者の頭部動作が実質的に復元を伴わない一連の一方向２段階の加速の動きであってもよい。 Further, the visible range change instruction may differ in operation instruction operation amount according to the driving state. In general, drivers are accustomed to moving their head and body more when driving at low speeds, such as when parking. , it is preferable to set the criterion with less head movement. Further, although FIG. 30 illustrates two or more repetitive movements, the driver's head movement may be a series of one-way, two-step acceleration movements with substantially no restoration.
図３１は、操作指示動作量として頭部の回転動作の加速度を用いる場合を例示している。図３１の（Ａ）は、振り向き方向（角度）、図３１の（Ｂ）は振り向き速度、図３１の（Ｃ）は振り向き加速度を示している。 FIG. 31 exemplifies a case where the acceleration of the rotational motion of the head is used as the operation instruction motion amount. 31A shows the turning direction (angle), FIG. 31B shows the turning speed, and FIG. 31C shows the turning acceleration.
運転者が複数回の振り向きを行う場合、振り向きの反復動作と次の振り向きの反復動作では開始位置が必ずしも位置せず、例えば前回の振り向きの反復動作で元の位置に戻る前に次の振り向き動作が行われる。この場合、頭部の向きを示す曲線ＱＣａは、図３１の（Ａ）に示すように変化する。したがって、振り向き方向（角度）に基づいて視認範囲変更指示の判別を行うことができない。しかし、振り向きの反復動作を繰り返すと、振り向き加速度は、図３１の（Ｃ）に示すように、振り向きの動作毎に１サイクルの振動を生じた波形となる。したがって、表示制御部２０は、振り向き加速度を利用して、精度よく振り向きの繰り返しを検出できる。
When the driver turns around multiple times, the start position is not always located between the repeated turning motion and the next repeating turning motion. is done. In this case, the curve QCa indicating the direction of the head changes as shown in FIG. 31(A). Therefore, it is not possible to determine the visible range change instruction based on the turning direction (angle). However, when the repetitive turning motion is repeated, the turning acceleration becomes a waveform in which one cycle of vibration occurs for each turning motion, as shown in FIG. 31(C). Therefore, the
さらに、表示制御部２０は、運転者の振り向き速度や振り向き方向の動作特性履歴を学習させその運転者固有の特性に応じて、運転者毎に判定基準値を更新する。このように、判定基準値を更新することで、振り向き動作や視認範囲変更指示の判定精度を向上させると共に、より少ない指示動作での正確な指示検出をすることができるように、自己学習機能を備える。また、学習機能では、操作指示動作量を含めた動作特性を自己学習してドライバの特性に最適化する働きを行わせる。
Furthermore, the
このような処理を行うことで、運転者が周辺領域の状況を把握する場合の動作に対応した表示制御を精度よく行うことができる。 By performing such processing, it is possible to accurately perform display control corresponding to the operation when the driver grasps the situation of the surrounding area.
また、振り向きの動作が安定した時間経過後に頭部の向きの移動検出を行う。このようにすれば、例えば頭部の向きに対して直交する方向の頭部移動が２回以上繰り返された場合や、首を軸として顔を向き回転させる顔振り動作が２回以上繰り返された場合に、視認範囲変更指示または視認範囲復元指示が行われたと判別される。したがって、指示の判定をさらに精度よく行うことができる。 In addition, after the time when the motion of turning is stabilized, the movement of the direction of the head is detected. In this way, for example, when the head movement in the direction perpendicular to the direction of the head is repeated two or more times, or when the face swing motion of turning the face around the neck is repeated two or more times. In this case, it is determined that an instruction to change the visible range or an instruction to restore the visible range has been issued. Therefore, it is possible to determine the instruction with higher accuracy.
本技術では、人が注意視線方向と異なる方向に振り向いた際の人間工学的手順に基づいて、眼球移動で対象物を素早く捉え、合わせて眼の焦点合わせを行い始めると同時に最後に目視注意が行われ始めるにしたがい、頭部移動を安定化する動きを考慮している。つまり、運転者は表示内容を目視して状況把握ができ始めるタイミングでは頭部位置の移動が安定化して停止に向かう。画面把握を通して運転者はさらに視界範囲の変更が必要かを判断するので、この安定化手順を踏んでから指示動作が行わることを反映している。 With this technology, based on an ergonomic procedure when a person turns in a direction different from the direction of attention, the eye moves to quickly capture the object, and then the eyes begin to focus, and at the same time, the eye finally pays attention. As it begins to take place, it allows for movements that stabilize head movements. In other words, at the timing when the driver begins to visually grasp the display contents and grasp the situation, the movement of the head position stabilizes and the vehicle stops. Since the driver judges whether further changes in the visual field range are necessary through grasping the screen, it is reflected that the instruction operation is performed after this stabilization procedure is taken.
また、表示制御において、表示制御部２０は、運転者の頭部の向きがミラー部の方向に移動したことを検出したことに応じて表示制御を行う。例えば頭部の向きがミラー部の方向でない場合は、バックライトを消灯してまたは輝度信号の信号レベルを低下させて、画像が見えないように、または見難くする。また、例えば頭部の向きがミラー部の方向である場合は、バックライトの点灯および輝度制御や輝度信号の信号レベルを調整して視認範囲の画像を確認できるようにする。したがって、運転者が前方を向いている場合に、不必要に明るい周辺領域の画像が表示されることを防止できる。また、運転者がミラー部の方向を向いている場合にのみ、周辺領域の画像を表示できる。
In display control, the
また、表示制御部２０は、視認範囲の変更後、徐々に自動的に視認範囲を元の位置に戻すようにしてもよい。この場合、運転者は視認範囲を元の範囲に戻す操作を行う必要がない。さらに表示制御部２０は、運転者が状況の確認を瞬時に行うことができなくなってしまうことを防止するため、表示倍率の変化や表示形態の変化は急激に行われることがないように表示制御を行う。
Further, the
本明細書の説明では便宜上、頭部方向や視線を認識して指示検出を行う手順の実施例を記載している。しかし、実際には具体的な頭部方向や視線を正確に求めることが目的ではないため、運転者が表示部５０を視認する状態との相関が得られればよく、表示制御部２０の役割は必ずしも視線認識や頭部姿勢を正確に把握でき機能を備えることは必要ではない。そのため、表示制御部２０は図２７の構成に限らず、車両状態と運転者操作指示ジェスチャー応答表示であれば別の構成にしてもよい。
In the description of this specification, for the sake of convenience, an example of a procedure for detecting an instruction by recognizing the direction of the head and the line of sight is described. However, in reality, the purpose is not to accurately obtain a specific head direction or line of sight. It is not always necessary to have a function that can accurately grasp the line of sight recognition and the head posture. Therefore, the
＜５．他の実施の形態＞
また、他の実施の形態として、表示部５０に画像を表示する場合に、画像が圧縮して表示されると、表示画像から把握された距離感が周辺範囲に含まれる被写体までの距離と大きく相違してしまうおそれがある。そこで、画像の圧縮度合いに応じて表示部の画面上や周辺に警告表示を設けるようにしてもよい。
<5. Other Embodiments>
As another embodiment, when an image is displayed on the
図３２は、警告表示を行う場合の表示制御部の構成を例示している。表示制御部２０は、運転者動き判別部２１、制御処理部３５、表示調整部４１、輝度調整部４２、警告表示重畳部４３を備えている。
FIG. 32 exemplifies the configuration of the display control unit when displaying a warning. The
運転者動き判別部２１は、運転者撮像部１２から供給された画像信号に基づき、運転者の頭部位置を検出して、運転者の頭部位置の移動方向と移動量を判別する。運転者動き判別部２１は、例えば運転者撮像部１２から供給された画像信号に基づき、運転者の顔認識を行い、認識した顔の位置や頭部の向きを判別する。さらに、運転者動き判別部２１は、認識した顔を追跡して、頭部位置の移動方向と移動量を判別する。運転者動き判別部２１は、判別結果を制御処理部３５に出力する。
The driver
制御処理部３５は、運転者動き判別部２１の判別結果に基づき、表示部５０におけるモニタ画像領域と非モニタ画像領域で異なる表示制御を行う制御信号を生成して、表示調整部４１と輝度調整部４２および警告表示重畳部４３に出力する。
The
表示調整部４１は、制御処理部３５からの制御信号に基づき、周辺領域撮像部１１から供給された画像信号に対して周辺領域撮像画像の倍率調整、周辺領域の画像の切り替えや合成等を行う。
Based on the control signal from the
輝度調整部４２は、制御処理部３５からの制御信号に基づき、表示部５０における非モニタ画像領域の輝度をモニタ画像領域よりも低下させる。輝度調整部４２は、表示部５０が照明を必要とする表示素子例えば液晶表示素子を用いて構成されている場合、照明例えばバックライトを制御して、非モニタ画像領域の輝度をモニタ画像領域よりも低下させる。また、表示部５０が照明を必要とする表示素子または自発光素子例えば有機ＥＬ表示素子を用いて構成されている場合、非モニタ画像領域に対応する輝度信号の信号レベルを低下させる処理を行ってもよい。
Based on the control signal from the
警告表示重畳部４３は、制御処理部３５からの制御信号に基づき、表示可変処理後の画像に、例えば画像の圧縮の度合いを示す情報を重畳させる。例えば、顔の左右の動きに合わせて視認範囲の画像を表示して、さらに２回以上の顔や頭の繰り返し動作で視認範囲の拡大を行い、逆方向の動作で拡大前の表示に復帰する。また、画像を変倍して表示する場合には変倍表示であることを警告するための動的警告表示を設ける。動的警告表示は警告内容を直感的に理解できるように、変倍動作に応じて枠サイズの調整を行い、枠をゼブラ点線枠で表示して、変倍に応じてゼブラ表示を流れるように表示する。ゼブラ表示の流れに付いては、人の生理的仕組みを考慮すると視線中心外の視野に入った動体反応として認知されその際に危険として接近物に敏感に検知することから接近方向の動きが含まれるのが望ましい。
Based on the control signal from the
このような表示制御を行うことで、画像が圧縮して表示される場合に、運転者の距離感覚等の喪失を防止することができる。例えば画像が圧縮されることで、近接している被写体が離れた位置の被写体として認識されてしまうことを防止できる。 By performing such display control, it is possible to prevent the driver from losing sense of distance and the like when the image is compressed and displayed. For example, by compressing the image, it is possible to prevent a close subject from being recognized as a distant subject.
また、表示制御部２０は、ナビゲーションシステムと連動して表示制御を行い、高速道路の合流時やランドアバウトでの走行では通常の後方視界より広い視野角の画像を表示するようにしてもよい。
Further, the
また、運転者の動きの判別では、頭部の向きの移動すなわち首を軸とした頭部の回転に限らず、頭部の傾倒動作（首振り）や運転者の例えば上半身の前後左右方向の運動の少なくとも何れかを利用して表示制御を行うようにしてもよい。さらに、ミラー部方向への頭部の移動動作や姿勢変化を利用して、表示画像のズームイン動作やズームアウト動作を行うようにしてもよい。 In addition, in determining the movement of the driver, it is not limited to the movement of the head direction, that is, the rotation of the head around the neck, but also the tilting movement of the head (head swing) and the movement of the driver's upper body in the front, back, left, and right directions. Display control may be performed using at least one of motions. Furthermore, the movement of the head in the direction of the mirror or the change in posture may be used to perform the zoom-in or zoom-out of the displayed image.
図３３乃至図３５は、運転者の他の動きに基づいた表示制御を例示している。図３３は、周辺領域撮像部の配置と表示部で表示される周辺画像を例示している。車両には図３３の（Ａ）に示すように車両の側面に周辺領域撮像部１１ｃ，１１ｄが設けられており、車両の背面に周辺領域撮像部１１ｅが設けられている。表示制御部２０は、図３３の（Ｂ）に示すように、周辺領域撮像部１１ｃ，１１ｄ，１１ｅで取得された３つの周辺領域の画像を表示部５０に表示する。
33-35 illustrate display control based on other movements of the driver. FIG. 33 illustrates the arrangement of the surrounding area imaging unit and the surrounding image displayed on the display unit. As shown in FIG. 33A, the vehicle is provided with peripheral
図３４は、頭部を前後方向に移動した場合の周辺領域画像の切り替えを説明するための図である。表示制御部は、頭部の移動が行われる前には、図３４の（Ａ）に示すように、周辺領域撮像部１１ｃ，１１ｄ，１１ｅで取得された３つの周辺領域の画像を表示部５０に表示する。また、表示制御部は、例えば頭部の前方向の移動を判別した場合、図３４の（Ｂ）に示すように、車両側面に設けられている周辺領域撮像部１１ｃ，１１ｄで取得された周辺領域の画像を表示する表示領域を進行方向に拡張した画像に切り替える。その後、表示制御部は、頭部が元の位置に移動した場合、切り替え前の画像に戻す表示制御を行う。
FIG. 34 is a diagram for explaining switching of peripheral area images when the head is moved in the front-rear direction. Before the head is moved, the display control unit displays the three peripheral area images acquired by the peripheral
図３５は、頭部を左方向に移動した場合の周辺領域画像の切り替えを説明するための図である。表示制御部は、頭部の移動が行われる前には、図３５の（Ａ）に示すように、周辺領域撮像部１１ｃ，１１ｄ，１１ｅで取得された３つの周辺領域の画像を表示部５０に表示する。また、表示制御部は、例えば頭部の左方向の移動を判別した場合、図３５の（Ｂ）に示すように、右側の周辺領域の画像を表示する表示領域を拡張した画像に切り替える。その後、表示制御部は、頭部が元の位置に移動した場合、切り替え前の画像に戻す表示制御を行う。
FIG. 35 is a diagram for explaining switching of the peripheral area image when the head is moved leftward. Before the head is moved, the display control unit displays the three peripheral area images acquired by the peripheral
このように、頭部の向きの移動に限らず、頭部の傾倒動作等を利用して表示制御を行うことで、多様な態様で周辺領域の画像を表示することができる。 In this manner, by performing display control using not only the movement of the direction of the head but also the tilting motion of the head, it is possible to display the image of the peripheral area in various modes.
さらに、上述の実施の形態では、運転者の動き判別結果に基づき表示制御を行うことで視認範囲を変更する場合について説明したが、運転者の動き判別結果に基づきミラー部の向きを変更することで、表示部の表示画像における所望の視認範囲の画像がミラー部に映るようにしてもよい。 Furthermore, in the above-described embodiment, the case of changing the visible range by performing display control based on the result of determining the movement of the driver has been described. Then, an image within a desired visible range in the display image of the display unit may be reflected on the mirror unit.
また、ミラー部は半透過ミラーを用いた構成として、ミラー部の背面に表示デバイス例えば液晶表示素子や有機ＥＬ表示素子，発光ダイオードを用いた表示素子等を設けてもよい。この場合、ミラー部では、表示部で表示された周辺領域の画像と共に背面の表示デバイスで表示された画像を同時に視認できる。したがって、背面の表示デバイスで種々の情報を表示すれば、運転者は周辺領域を確認しながら情報を同時に読み取ることができる。背面の表示デバイスで表示する情報は、表示部に表示された周辺領域画像に関連した情報（例えば判定された運転者の指示や判別された視認範囲のモード等）であってもよく、運転状況等に関連した情報（ナビゲーション指示情報等）等であってもよい。 Further, the mirror section may be configured using a semi-transmissive mirror, and a display device such as a liquid crystal display element, an organic EL display element, or a display element using a light emitting diode may be provided behind the mirror section. In this case, on the mirror section, the image of the peripheral area displayed on the display section and the image displayed on the rear display device can be viewed at the same time. Therefore, if various information is displayed on the rear display device, the driver can simultaneously read the information while confirming the surrounding area. The information displayed on the display device on the back may be information related to the peripheral area image displayed on the display unit (for example, the determined driver's instruction, the determined visible range mode, etc.), and the like (navigation instruction information, etc.).
さらに、ミラー部は、半透過ミラーが半透過調光機能を有する構成、または半透過ミラーの背面にさらに透過光の光調光デバイスを配置した構成としてもよい。このような構成とすれば、ミラー部の背面に設けられた表示デバイスの表示画像の見え具合を半透過調光機能や光調光デバイスを利用して調整することが可能となる。したがって、周辺領域の確認を行いながら種々の情報を容易に読み取ることができるように情報を表示できる。 Furthermore, the mirror section may be configured such that the semi-transmissive mirror has a semi-transmissive light control function, or a configuration in which a light control device for transmitted light is further arranged on the back surface of the semi-transmissive mirror. With such a configuration, it is possible to adjust the visibility of the display image on the display device provided on the back surface of the mirror section by using the transflective light control function or the light control device. Therefore, information can be displayed so that various information can be easily read while confirming the surrounding area.
また、上述の実施の形態では、バックミラーに相当する機能を実現する場合について例示した。しかし、周辺領域の視認はバックミラーに限らずルームミラーで行われることから、ルームミラーに相当する機能を実現してもよい。次に、他の実施の形態として、ルームミラーに相当する機能を実現する場合について説明する。なお、この場合、表示部やミラー部等の配置は必ずしも従来のミラーに相当する配置にこだわらなくても良く、例えばダッシュボード上のセンターメーターやコンソールパネル等の近傍位置等に配置してもよい。 Moreover, in the above-described embodiment, the case of realizing the function corresponding to the rearview mirror has been exemplified. However, since the peripheral area is visually recognized not only by the rearview mirror but also by the rearview mirror, a function corresponding to the rearview mirror may be realized. Next, as another embodiment, a case of realizing a function corresponding to a rear-view mirror will be described. In this case, the display unit and mirror unit do not necessarily have to be arranged in the same manner as conventional mirrors. .
まず、１台の周辺領域撮像部を用いてルームミラーに相当する機能を実現する場合について説明する。図３６は、１台の周辺領域撮像部を用いてルームミラーに相当する機能を実現する場合の構成を例示している。例えば図３６の（Ａ）に示すように、車両の後部に１台の周辺領域撮像部を設けて車両の後方を撮像して、周辺領域撮像部１１で取得された周辺領域の画像を運転者ＤＲが確認できるようにする。なお、図３６の（Ａ）では、周辺領域の画像を表示する表示部は省略している。
First, a case of realizing a function corresponding to a rearview mirror using one peripheral area imaging unit will be described. FIG. 36 exemplifies a configuration in which a function corresponding to a rearview mirror is realized using one peripheral area imaging unit. For example, as shown in FIG. 36A, one peripheral area imaging unit is provided at the rear of the vehicle to image the rear of the vehicle, and the image of the peripheral area acquired by the peripheral
また、周辺領域撮像部１１で取得された周辺画像を運転者ＤＲが目視する場合でも、ルームミラー６１に映る周辺領域と同等の距離感を維持できるようにする。例えば、周辺領域撮像部１１で撮像された領域（周辺領域撮像部１１で取得される周辺画像の水平方向の画角）ＡＲｕは、ルームミラー６１に映る周辺領域の水平方向の視野領域ＡＲｒｍと略等しくする。このようにすれば、１台の周辺領域撮像部を用いてルームミラーに相当する機能を実現できる。
In addition, even when the driver DR looks at the peripheral image acquired by the peripheral
ところで、図３６の（Ａ）に示すように後続車ＯＢｃや人物ＯＢｐが位置している場合、ルームミラー６１に映る周辺画像は図３６の（Ａ）の視野領域ＡＲｒｍの画像であることから例えば図３６の（Ｂ）に示す画像となる。また、周辺領域撮像部１１で撮像される周辺領域は図３６の（Ａ）の周辺領域ＡＲｕであることから例えば図３６の（Ｃ）に示す画像となる。すなわち、周辺領域撮像部１１で撮像される周辺領域の画像では、ルームミラー６１に映る周辺画像に対して車両近傍で死角となる領域が大きいため、図３６の（Ｃ）に示すように人物ＯＢｐを確認することができない。
By the way, when the following vehicle OBc and the person OBp are positioned as shown in FIG. The image shown in FIG. 36B is obtained. Also, since the peripheral area captured by the peripheral
そこで、図３７に示すように、複数台の周辺領域撮像部を用いてルームミラーに相当する機能を実現する。例えば車両の左側に周辺領域撮像部１１ｇ、車両の右側に周辺領域撮像部１１ｈを設けてそれぞれの周辺領域撮像部で後方を撮像してルームミラーに相当する機能を実現する場合に、図３６の場合に比べて死角を少なくする。なお、領域ＡＲｒｍはルームミラー６１に映る周辺画像の水平方向の視野領域、領域ＡＲｕｇは左側の周辺領域撮像部１１ｇで取得された周辺画像の水平方向の視野領域、領域ＡＲｕｈは右側の周辺領域撮像部１１ｈで取得された周辺画像の水平方向の視野領域である。このようにすれば、周辺領域撮像部を用いてルームミラーに相当する機能を実現する場合に、周辺領域撮像部１１ｇと周辺領域撮像部１１ｈで取得された周辺領域の画像を合成することで、車両近傍で死角となる領域が大きくなってしまうことを防ぐことができる。
Therefore, as shown in FIG. 37, a function corresponding to the rearview mirror is realized using a plurality of peripheral area imaging units. For example, when a peripheral
また、周辺領域撮像部１１ｇと周辺領域撮像部１１ｈで取得された周辺領域の画像は視差を生じていることから、視差の違いを打ち消して周辺画像を合成表示することは困難である。そこで、周辺領域の画像の合成では、視差の違いが目立たないように画像の合成処理を人間工学的に容易に行えるようにする。
In addition, since the images of the peripheral area acquired by the peripheral
図３８は、ルームミラーよりも死角を少なくした場合の構成を例示している。車両の左側には周辺領域撮像部１１ｊ、車両の右側には周辺領域撮像部１１ｋが設けられている。周辺領域撮像部１１ｊは、取得される周辺画像の水平方向の視野領域（画角）が、ルームミラー６１に映る周辺画像の水平方向の視野領域ＡＲｒｍに含まれる領域ＡＲｕｊ１と、視野領域ＡＲｒｍより左外側の領域ＡＲｕｊ２を含むように設定されている。周辺領域撮像部１１ｋは、取得される周辺画像の水平方向の視野領域（画角）が、ルームミラー６１に映る周辺画像の水平方向の視野領域ＡＲｒｍに含まれる領域ＡＲｕｋ１と、視野領域ＡＲｒｍより右外側の領域ＡＲｕｋ２を含むように設定されている。また、車両の後方位置では、領域ＡＲｕｊ１と領域ＡＲｕｋ１の少なくとも一方に視野領域ＡＲｒｍが含まれるように設定されている。
FIG. 38 exemplifies a configuration in which the blind spot is made smaller than that of the rearview mirror. A surrounding
上述の表示制御部２０の表示調整部４１は、制御処理部３５からの制御信号に基づき、周辺領域撮像部１１ｊ，１１ｋで取得された周辺画像から画像を切り出して結合する。制御処理部３５は、係合後の画像において周辺領域が連続しているように画像の切り出しを制御する。さらに制御処理部３５は、運転者動き判別部２１の判別結果に基づき画像の切り出し位置や結合位置を運転者の指示に応じて移動する。
Based on the control signal from the
制御処理部３５は、例えば周辺領域撮像部１１ｊで取得された周辺画像における領域ＡＲｍｊの画像と、周辺領域撮像部１１ｋで取得された周辺画像における領域ＡＲｍｋの画像を結合することで、図３８の（Ｂ）に示すように、領域ＡＲｒｍを含む周辺領域を確認できるようになる。また、視差の違いを打ち消して合成表示する処理を行わなくとも、領域ＡＲｍｊの画像と領域ＡＲｍｋの画像を結合するだけで周辺領域の確認に用いる画像を生成できるので、周辺領域の確認用の画像を容易に生成できる。
For example, the
また、画像の結合では、画像の結合位置を基準とした所定範囲において、所謂ブレンド処理を行い、周辺領域撮像部１１ｊで取得された周辺画像と周辺領域撮像部１１ｋで取得された周辺画像の混合比を連続的に変化させる。このような処理を行えば、結合部分を目立たなくできる。
Further, in the image combination, a so-called blending process is performed in a predetermined range based on the image combination position, and the peripheral image acquired by the peripheral
また、制御処理部３５は、運転者動き判別部２１の判別結果に基づき画像の切り出し位置を可変させて、運転者ＤＲの位置が例えば左右に移動した場合、ルームミラー６１に映る周辺領域の移動と同様に画像の切り出しを行う領域を移動させる。このようにすれば、運転者が動きを生じてもバックミラーに相当する機能を実現できる。
In addition, the
ところで、周辺領域撮像部１１ｊで取得された周辺画像と周辺領域撮像部１１ｋで取得された周辺画像の結合では、右視点の画像と左視点の画像が結合されることから、後方の車両や人物が結合位置にある場合、車両や人物等の画像が違和感のある画像となってしまうおそれがある。特に、車両や人物等が近接していると、視差が大きいため結合部分で画像の違和感が顕著となってしまう。そこで、制御処理部３５は、運転者動き判別部２１の判別結果に基づき、運転者からの指示に応じて結合位置を変更できるようにする。
By the way, in combining the peripheral image acquired by the peripheral
図３９は、画像の結合位置の切り替えを説明するための図である。図３９の（Ａ）に示すように、周辺領域撮像部１１ｊで取得された周辺画像と周辺領域撮像部１１ｋで取得された周辺画像の結合位置が位置Ｐｂ１である場合、後続車ＯＢｃや人物ＯＢｐの画像領域に位置Ｐｂ１が含まれていないことから、表示された周辺画像によって、後続車ＯＢｃや人物ＯＢｐを容易に確認できる。しかし、結合位置が位置Ｐｂ１で固定されており、図３９の（Ｂ）に示すように、人物ＯＢｐの画像領域が位置Ｐｂ１となると、人物ＯＢｐの左視点の画像と右視点の画像が結合された画像となり、人物ＯＢｐを正しく判別することが困難になってしまうおそれがある。そこで、制御処理部３５は、運転者の指示に応じて結合位置を変更する。例えば結合位置を左方向に移動する運転者の指示を判別した場合、図３９の（Ｃ）に示すように、結合位置を左方向に移動する。このように結合位置の移動が行われると、人物ＯＢｐは周辺領域撮像部１１ｋで取得された周辺画像のみで表示されることから、人物ＯＢｐを容易に正しく判別できるようになる。
FIG. 39 is a diagram for explaining switching of image combining positions. As shown in FIG. 39A, when the combined position of the peripheral image acquired by the peripheral
また、制御処理部３５は、結合位置を示す表示（例えばマーカー等の表示）を行うようにすれば、運転者は、結合位置と後続車や人物等の位置関係を容易に把握できることから、結合位置の移動が必要であるか否か、また結合位置をいずれの方向に移動することが好ましいか容易に判別できるようになる。なお、結合位置の初期位置は、予め設定されている位置またはユーザが設定した位置に自動的に設定してもよく、前回の運転終了時に設定されていた位置としてもよい。
In addition, if the
また、運転者の指示は、例えば上述の運転者の動作に対応させたヒューマンマシンインターフェースを用いて、運転者の操作指示ジェスチャーから指示を検出する。このようにすれば、運転者は頭部や視線を移動させるだけで容易に結合位置を所望の方向に移動させることが可能となる。 In addition, the driver's instructions are detected from the driver's operation instruction gestures using, for example, the human-machine interface corresponding to the above-described driver's actions. In this way, the driver can easily move the coupling position in a desired direction by simply moving his or her head or line of sight.
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、上述のような処理を行うシーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。 A series of processes described in the specification can be executed by hardware, software, or a composite configuration of both. When executing processing by software, a program recording the sequence of processing as described above is installed in a memory within a computer incorporated in dedicated hardware and executed. Alternatively, the program can be installed and executed in a general-purpose computer capable of executing various processes.
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、信号処理半導体内蔵または個別のＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。 For example, the program can be recorded in advance in a hard disk or SSD (Solid State Drive) as a recording medium, a built-in signal processing semiconductor, or a separate ROM (Read Only Memory). Alternatively, the program may be a flexible disc, CD-ROM (Compact Disc Read Only Memory), MO (Magneto optical) disc, DVD (Digital Versatile Disc), BD (Blu-Ray Disc (registered trademark)), magnetic disc, or semiconductor memory card. It can be temporarily or permanently stored (recorded) in a removable recording medium such as. Such removable recording media can be provided as so-called package software.
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線、自己診断機能またはOBD（オン・ボード・ダイアグノースティックス）端子経由で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストール、アップデートすることができる。 In addition to installing the program on the computer from a removable recording medium, the program can also be downloaded from the download site via a network such as LAN (Local Area Network) or the Internet to the computer wirelessly or wired, self-diagnostic function or OBD (on-board diagnostics). may be transferred via the Norsticks) terminal. The computer can receive the program transferred in this way, install it in a recording medium such as an internal hard disk, and update it.
また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。 Moreover, the present technology should not be construed as being limited to the embodiments of the technology described above. The embodiments of this technology disclose the present technology in the form of examples, and it is obvious that those skilled in the art can modify or substitute the embodiments without departing from the scope of the present technology. That is, in order to determine the gist of the present technology, the scope of claims should be taken into consideration.
なお、本技術の車両用表示装置は以下のような構成もとることができる。
（１） 表示面を運転者の方向とは異なる方向に向けて車両の室内に配置されて、前記車両の周辺領域を撮像した画像を表示する表示部と、
前記車両の室内に配置されて前記表示部に表示された画像領域の一部または全体を映すミラー部とを備え、
前記ミラー部に映る前記表示部の画像によって前記運転者が視認できる前記周辺領域の視認範囲が、前記ミラー部に対する前記運転者の視認位置の移動に応じて変化する車両用表示装置。
（２） 前記運転者の動きを判別して、動き判別結果に基づき前記表示部に表示する画像の表示制御を行い、前記視認範囲を前記運転者の動きに応じて変更する表示制御部をさらに備える（１）に記載の車両用表示装置。
（３） 前記運転者の動きの判別推移を、運転者へ視覚的または聴覚的にフィードバックする通知部をさらに備える（２）に記載の車両用表示装置。
（４） 前記表示制御部は、前記視認範囲に対応する表示領域を除いた他の表示領域の一部また全体の輝度を低下させて、動き判別結果に基づき輝度を低下させる表示領域の範囲を制御して、前記視認範囲を前記運転者の動きに応じて変更する（２）に記載の車両用表示装置。
（５） 前記表示制御部は、動き判別結果に基づき輝度を低下させる表示領域の範囲を制御して、前記視認範囲を拡張する（４）に記載の車両用表示装置。
（６） 前記表示制御部は、前記車両の周辺領域を撮像した画像における前記視認範囲の移動方向の端部側領域に対して、前記視認範囲の移動方向に画像の圧縮を行い、動き判別結果に基づき圧縮率または圧縮範囲を制御して、前記視認範囲を前記運転者の動きに応じて変更する（２）乃至（５）の何れかに記載の車両用表示装置。
（７） 前記表示制御部は、動き判別結果に基づき圧縮率または圧縮範囲を制御して、前記視認範囲を拡張する（６）に記載の車両用表示装置。
（８） 前記表示制御部は、動き判別結果に基づき前記運転者が前記ミラー部の方向に振り向いたことを判別した場合、前記表示部で前記画像表示を行う（２）乃至（７）の何れかに記載の車両用表示装置。
（９） 前記表示制御部は、前記振り向きの検出後に前記運転者で予め指定した動きが行われたことを判別した場合に前記視認範囲の領域を拡張する（８）に記載の車両用表示装置。
（１０） 前記表示制御部は、前記振り向きの検出後に前記運転者の動き判別の時間解像度を高くする（８）または（９）に記載の車両用表示装置。
（１１） 前記表示制御部は、
前記運転者毎に前記動きの特徴を学習する学習部と、
前記学習部の学習結果を用いて前記運転者の動きを判定する判定処理部と、
前記判定処理部の判定結果に基づき前記視認範囲を変更する制御処理部とを備える（２）乃至（１０）の何れかに記載の車両用表示装置。
（１２） 前記判定処理部は、前記運転者の動きから前記運転者の指示の判定を行い、前記指示の判定では、前記運転者における頭部の２回以上の加減速動作の組み合わせの検出結果に基づき前記指示の内容を判定する（１１）に記載の車両用表示装置。
（１３） 前記運転者の動きは、首振り、首を軸とした頭部の回転、または上半身の前後左右運動の少なくとも何れかである（１１）または（１２）に記載の車両用表示装置。
（１４） 前記表示制御部は、前記運転者の動きに応じて前記視認範囲の拡張を行い、前記車両の運行状況に基づき拡張する前記視認範囲の領域サイズを制御する（２）乃至（１３）の何れかに記載の車両用表示装置。
（１５） 前記表示制御部は、前記車両の進行方向に関した運行情報に基づき、前記車両の外側方向に前記視認範囲を拡張する（１４）に記載の車両用表示装置。
（１６） 前記車両はキャビンに牽引トレーラ部が連結された構成とされて、前記キャビンから前記車両の周辺領域の撮像が行われており、
前記表示制御部は、前記キャビンの向きと前記牽引トレーラ部の向きが異なる状況を生じる運転状況に関した運行情報に基づき、前記キャビンの向きと前記牽引トレーラ部の向きが相違しても前記牽引トレーラ部の外側が前記視認範囲に含まれるように前記視認範囲を拡張する（１４）または（１５）に記載の車両用表示装置。
（１７） 前記表示部と前記ミラー部は、前記ミラー部で前記表示部に表示された画像の一部を映し、前記ミラー部に対する前記運転者の視認位置の移動に応じて前記ミラー部で映し出される画像の領域が移動するように配置する（１）乃至（１６）の何れかに記載の車両用表示装置。
（１８） 前記表示部と前記ミラー部は、前記運転者の眼の位置から前記ミラー部を介した前記表示部の表示面までの光学的視認距離が少なくとも１．１メートル以上となるように配置または光学設計された（１）乃至（１７）の何れかに記載の車両用表示装置。
（１９） 前記表示部における表示面または前記表示面の照明光が、前記運転者から見えないように前記表示部を設けた（１）乃至（１８）の何れかに記載の車両用表示装置。
（２０） 前記ミラー部は、前記視認範囲の移動方向の形状を、前記運転者の方向に突出した湾曲形状とする（１）乃至（１９）の何れかに記載の車両用表示装置。
（２１） 前記ミラー部は、前記視認範囲の移動方向の端部側よりも中央部分の湾曲を少なくした形状とする（２０）に記載の車両用表示装置。
（２２） 運転者の動きを判別して、動き判別結果に基づき前記ミラー部の向きを変更することで、前記視認範囲を前記運転者の動きに応じて変更する表示制御部をさらに備える（１）乃至（２１）の何れかに記載の車両用表示装置。
（２３） 前記ミラー部は半透過ミラーである（１）乃至（２２）の何れかに記載の車両用表示装置。
（２４） 前記半透過ミラーが半透過調光機能を有する構成、または前記半透過ミラーの背面にさらに透過光の光調光デバイスを配置した構成とする（２３）に記載の車両用表示装置。
Note that the vehicle display device of the present technology can also have the following configuration.
(1) a display unit arranged in a vehicle interior with a display surface facing in a direction different from the driver's direction, and displaying an image of a surrounding area of the vehicle;
a mirror unit that is arranged in the interior of the vehicle and reflects a part or the entire image area displayed on the display unit;
A vehicular display device, wherein a visual range of the peripheral area that the driver can visually recognize by an image of the display unit reflected on the mirror unit changes according to movement of the visual recognition position of the driver with respect to the mirror unit.
(2) further comprising a display control unit that determines movement of the driver, performs display control of an image to be displayed on the display unit based on the movement determination result, and changes the visible range according to the movement of the driver; The vehicle display device according to (1).
(3) The vehicular display device according to (2), further comprising a notification unit that visually or aurally feeds back the determination transition of the driver's movement to the driver.
(4) The display control unit reduces the luminance of a part or the whole of the display area other than the display area corresponding to the visible range, and determines the range of the display area whose luminance is to be reduced based on the motion determination result. The vehicle display device according to (2), which is controlled to change the visible range according to the movement of the driver.
(5) The vehicular display device according to (4), wherein the display control unit controls a range of the display area whose brightness is reduced based on the motion determination result to extend the visible range.
(6) The display control unit performs image compression in the moving direction of the visible range on an end side area in the moving direction of the visible range in an image of the peripheral area of the vehicle, and determines the motion determination result. The display device for a vehicle according to any one of (2) to (5), wherein the compression ratio or compression range is controlled based on and the visible range is changed according to the movement of the driver.
(7) The vehicular display device according to (6), wherein the display control unit controls the compression ratio or the compression range based on the motion determination result to extend the visible range.
(8) When the display control unit determines that the driver turns toward the mirror unit based on the motion determination result, the display unit displays the image in any one of (2) to (7). 1. The vehicle display device according to
(9) The vehicular display device according to (8), wherein the display control unit expands the area of the visible range when it is determined that the driver performs a predetermined movement after the turning direction is detected. .
(10) The vehicular display device according to (8) or (9), wherein the display control unit increases the time resolution for determining the movement of the driver after the turning direction is detected.
(11) The display control unit
a learning unit that learns the characteristics of the movement for each driver;
a determination processing unit that determines the movement of the driver using the learning result of the learning unit;
The vehicular display device according to any one of (2) to (10), further comprising a control processing unit that changes the visible range based on the determination result of the determination processing unit.
(12) The determination processing unit determines the instruction of the driver from the movement of the driver, and in the determination of the instruction, the result of detection of a combination of two or more acceleration/deceleration movements of the head of the driver. The vehicle display device according to (11), wherein the content of the instruction is determined based on.
(13) The vehicular display device according to (11) or (12), wherein the movement of the driver is at least one of swinging of the head, rotation of the head around the neck, or movement of the upper body back and forth and left and right.
(14) The display control unit expands the visible range according to the movement of the driver, and controls the area size of the expanded visible range based on the operation status of the vehicle (2) to (13). The vehicle display device according to any one of the above.
(15) The vehicular display device according to (14), wherein the display control unit expands the visible range in an outward direction of the vehicle based on operation information regarding a traveling direction of the vehicle.
(16) the vehicle is configured such that a towing trailer unit is connected to a cabin, and an image of a peripheral area of the vehicle is taken from the cabin;
The display control unit controls the towing trailer even if the direction of the cabin and the direction of the tow trailer unit are different based on operation information related to a driving situation that causes a situation in which the direction of the cabin and the direction of the tow trailer unit are different. The vehicular display device according to (14) or (15), wherein the visible range is expanded so that the outside of the portion is included in the visible range.
(17) The display unit and the mirror unit reflect a part of an image displayed on the display unit by the mirror unit, and the image is displayed by the mirror unit according to the movement of the visual recognition position of the driver with respect to the mirror unit. The vehicular display device according to any one of (1) to (16), wherein the area of the image to be displayed is arranged to move.
(18) The display unit and the mirror unit are arranged so that the optically visible distance from the position of the driver's eyes to the display surface of the display unit via the mirror unit is at least 1.1 meters. Or the vehicle display device according to any one of (1) to (17), which is optically designed.
(19) The vehicular display device according to any one of (1) to (18), wherein the display unit is provided so that the display surface of the display unit or illumination light on the display surface is not visible to the driver.
(20) The vehicular display device according to any one of (1) to (19), wherein the mirror section has a curved shape protruding toward the driver in the moving direction of the visible range.
(21) The vehicular display device according to (20), wherein the mirror portion has a shape in which a center portion is less curved than end portions of the visible range in the movement direction.
(22) Further comprising a display control unit that changes the visible range according to the driver's movement by determining the driver's movement and changing the orientation of the mirror unit based on the movement determination result (1 ) to (21).
(23) The vehicle display device according to any one of (1) to (22), wherein the mirror portion is a semi-transmissive mirror.
(24) The vehicular display device according to (23), wherein the semi-transmissive mirror has a semi-transmissive light control function, or a light control device for transmitted light is arranged behind the semi-transmissive mirror.
この技術の車両用表示装置と表示制御方法および後方モニタリングシステムでは、表示面を運転者の方向とは異なる方向に向けて車両の室内に配置された表示部で、車両の周辺領域を撮像した画像が表示される。ミラー部は、車両の室内に配置されて表示部に表示された画像を映す。ミラー部に映る表示部の画像によって運転者が視認できる周辺領域の視認範囲は、ミラー部に対する運転者の視認位置の移動に応じて変化する。このため、車両の周辺領域を撮像して表示部に表示することで周辺領域を確認できるようにした場合でも、車両の周辺領域を容易に視認できるようになり、自動車やトラック、バス等の車両に適している。 In the vehicle display device, the display control method, and the rear monitoring system of this technology, an image of the surrounding area of the vehicle is captured on a display unit arranged in the vehicle interior with the display surface facing in a direction different from the direction of the driver. is displayed. The mirror unit is arranged inside the vehicle and reflects an image displayed on the display unit. The visible range of the peripheral area that the driver can visually recognize by the image of the display unit reflected on the mirror unit changes according to the movement of the driver's viewing position with respect to the mirror unit. Therefore, even when the peripheral area of the vehicle is imaged and displayed on the display unit so that the peripheral area can be confirmed, the peripheral area of the vehicle can be easily visually recognized. Suitable for
１０・・・表示装置
１１，１１ａ，１１ｂ，１１・・・周辺領域撮像部
１２・・・運転者撮像部
１３・・・運転状況検出センサ
１５・・・運転者識別情報取得部
２０・・・表示制御部
２１・・・運転者動き判別部
２２・・・運転状況判別部
２３・・・認識部
２４・・・振り向き判定部
２５・・・指示動作判定部
２６・・・運転者認証部
３５・・・制御処理部
４１・・・表示調整部
４２・・・輝度調整部
４３・・・警告表示重畳部
５０・・・表示部
５５・・・ミラー部
６１・・・ルームミラー
９１・・・バックミラー
２４１・・・振り向き判定処理部
２４２・・・振り向き判定学習部
２４３・・・判定基準値記憶部
２５１・・・指示動作判定処理部
２５２・・・指示動作判定学習部
２５３・・・判定基準値記憶部
DESCRIPTION OF
Claims (17)
前記結合画像生成部によって生成された前記結合画像を表示部に表示するよう制御する表示制御部と、
車両の運転者による指示を判定するように学習された指示動作判定部と、
を備え、
前記指示動作判定部は、表示部に対する前記運転者の頭部または視線の移動の指示速度、指示方向、指示動作量、指示回数および指示時間のいずれか少なくとも１以上を閾値とする判定基準値の学習結果を用いて、前記運転者の動作と前記判定基準値の閾値との比較に基づいて前記運転者の動作による指示を判定し、
指示として判定する前記運転者の動作は、前記運転者の頭部または視線の移動であって、
前記結合画像生成部は、前記指示動作判定部によって判定された前記指示に応じて、前記結合画像の切り出し位置または結合位置の少なくともいずれか一方を変更する
情報処理装置。 a combined image generating unit configured to generate a combined image by performing a cutting process and a combining process on a plurality of peripheral area images having different visual field areas generated by the plurality of peripheral area imaging units;
a display control unit that controls to display the combined image generated by the combined image generation unit on a display unit;
an instruction action determination unit trained to determine an instruction by a vehicle driver;
with
The instructed action determination unit determines a determination reference value using at least one of an instruction speed, an instruction direction, an instruction operation amount, an instruction count, and an instruction time as a threshold for movement of the driver's head or line of sight with respect to the display unit. determining an instruction by the driver's motion based on a comparison between the driver's motion and the threshold of the determination reference value using the learning result;
The action of the driver determined as an instruction is movement of the driver's head or line of sight,
The information processing device, wherein the combined image generation section changes at least one of a cut-out position and a combined position of the combined image in accordance with the instruction determined by the instruction action determination section.
請求項１に記載の情報処理装置。 2. The information according to claim 1, wherein when an object exists in the combined position of the combined image, the combined image generation unit moves the combined position so that the combined position does not overlap in a direction away from the object. processing equipment.
請求項１に記載の情報処理装置。 2. The information processing apparatus according to claim 1, wherein, when an object exists in the cutout position of the combined image, the combined image generation unit moves the cutout position so that the cutout position does not overlap the object.
視野領域の異なる複数の前記周辺領域画像の混合比を変化させる
請求項１から３のいずれかに記載の情報処理装置。 The combined image generation unit, in a predetermined range based on the combined position of the peripheral area image,
4. The information processing apparatus according to any one of claims 1 to 3, wherein a mixing ratio of said plurality of peripheral area images having different visual field areas is changed.
請求項１から４のいずれかに記載の情報処理装置。 5. The information processing apparatus according to any one of claims 1 to 4, wherein the combined image generation unit sets an initial position of the combined position of the combined image to a preset position or a position set by a user.
請求項１から４のいずれかに記載の情報処理装置。 5. The information processing apparatus according to any one of claims 1 to 4, wherein the combined image generation unit sets an initial position of the combined position of the combined image to a position that was set at the end of the previous driving.
請求項１から６のいずれかに記載の情報処理装置。 7. The information processing apparatus according to any one of claims 1 to 6, wherein the display unit is installed at a rearview mirror position, a center meter on a dashboard, or a position near a console panel.
請求項１から７のいずれかに記載の情報処理装置。 8. The information processing apparatus according to any one of claims 1 to 7, wherein the combined image generator displays a combined position of the combined image.
請求項１に記載の情報処理装置。 2. The information processing apparatus according to claim 1, wherein the determination reference value as the learning result is the determination reference value set for each driver.
請求項１に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the determination reference value is set for each driver according to the driver's specific instruction characteristics by learning the instruction characteristics of the driver.
請求項１に記載の情報処理装置。 The information processing apparatus according to claim 1 , wherein the determination reference value as the learning result is set according to the speed of the vehicle .
請求項１に記載の情報処理装置。 The information processing apparatus according to claim 1 , wherein the determination reference value as the learning result is set according to the operation mode of the vehicle .
請求項１２に記載の情報処理装置。 The information processing apparatus according to claim 12 , wherein the operation mode of the vehicle is one or more of high-speed running, low-speed running, forward movement, reverse movement, parking, and merging.
請求項１に記載の情報処理装置。 The information processing apparatus according to claim 1 , wherein it is determined that the driver is viewing the direction of the display unit, and detection of movement of the head or line of sight is started based on the determination.
請求項１３に記載の情報処理装置。 The information processing apparatus according to claim 13 , wherein the determination of the instruction is made after a predetermined time has passed since it is determined that the driver is visually recognizing the direction of the display unit.
前記結合画像生成部によって生成された前記結合画像を表示部に表示するよう表示制御部で制御することと、
車両の運転者による指示を判定するように指示動作判定部を学習することと、
を有し、
前記指示動作判定部は、表示部に対する前記運転者の頭部または視線の移動の指示速度、指示方向、指示動作量、指示回数および指示時間のいずれか少なくとも１以上を閾値とする判定基準値の学習結果を用いて、前記運転者の動作と前記判定基準値の閾値との比較に基づいて前記運転者の動作による指示を判定し、
指示として判定する前記運転者の動作は、前記運転者の頭部または視線の移動であって、
前記結合画像生成部は、前記指示動作判定部によって判定された前記指示に応じて、前記結合画像の切り出し位置または結合位置の少なくともいずれか一方を変更すること
を含む情報処理方法。 generating a combined image in a combined image generation unit by performing a cutting process and a combining process on a plurality of peripheral area images with different visual field regions generated by a plurality of peripheral area imaging units;
Controlling by a display control unit to display the combined image generated by the combined image generation unit on a display unit;
learning an instruction action determiner to determine an instruction by the driver of the vehicle;
has
The instructed action determination unit determines a determination reference value using at least one of an instruction speed, an instruction direction, an instruction operation amount, an instruction count, and an instruction time as a threshold for movement of the driver's head or line of sight with respect to the display unit. determining an instruction by the driver's motion based on a comparison between the driver's motion and the threshold of the determination reference value using the learning result;
The action of the driver determined as an instruction is movement of the driver's head or line of sight,
The combined image generation unit changes at least one of a cut-out position and a combined position of the combined image in accordance with the instruction determined by the instruction action determination unit.
Information processing method including.
複数の周辺領域撮像部によって生成された視野領域の異なる複数の周辺領域画像に対して、切り出し処理および結合処理を実行して結合画像を生成する手順と、a step of performing a clipping process and a combining process on a plurality of peripheral area images with different visual field areas generated by a plurality of peripheral area imaging units to generate a combined image;
前記結合処理を実行して生成された前記結合画像を表示部に表示するよう制御する手順と、a step of controlling to display the combined image generated by executing the combining process on a display unit;
車両の運転者による指示を判定するように指示動作判定部を学習する手順と、a procedure for learning an instruction action determination unit to determine an instruction by a vehicle driver;
指示として判定する前記運転者の動作は、前記運転者の頭部または視線の移動であって、The action of the driver determined as an instruction is movement of the driver's head or line of sight,
前記指示動作判定部によって判定された前記指示に応じて、前記結合画像の切り出し位置または結合位置の少なくともいずれか一方を変更する手順とをchanging at least one of a cut-out position and a combined position of the combined image in accordance with the instruction determined by the instruction motion determination unit;
前記コンピュータで実行させ、run on said computer;
前記学習結果としての判定基準値は、表示部に対する前記運転者の頭部または視線の移動の指示速度、指示方向、指示動作量、指示回数および指示時間のいずれか少なくとも１以上を閾値とするものであって、The determination reference value as the learning result is set to a threshold value of at least one of an instruction speed, an instruction direction, an instruction operation amount, an instruction number, and an instruction time for the movement of the driver's head or line of sight with respect to the display unit. and
前記指示動作判定部による判定結果は、前記運転者の動作と、前記判定基準値の閾値との比較に基づいて判定された指示である、The judgment result by the instruction action judgment unit is an instruction judged based on a comparison between the action of the driver and the threshold value of the judgment reference value.
プログラム。program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021137818A JP7230964B2 (en) | 2018-08-06 | 2021-08-26 | Information processing device, information processing method, and program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018147490A JP6939737B2 (en) | 2014-08-12 | 2018-08-06 | Information processing equipment and information processing methods and programs |
| JP2021137818A JP7230964B2 (en) | 2018-08-06 | 2021-08-26 | Information processing device, information processing method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018147490A Division JP6939737B2 (en) | 2014-08-12 | 2018-08-06 | Information processing equipment and information processing methods and programs |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2021185081A JP2021185081A (en) | 2021-12-09 |
| JP2021185081A5 JP2021185081A5 (en) | 2022-11-09 |
| JP7230964B2 true JP7230964B2 (en) | 2023-03-01 |
Family
ID=78815689
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021137818A Active JP7230964B2 (en) | 2018-08-06 | 2021-08-26 | Information processing device, information processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7230964B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11780371B2 (en) * | 2021-06-10 | 2023-10-10 | Stoneridge, Inc. | Auto panning camera mirror system including weighted trailer angle estimation |
| JP7735941B2 (en) * | 2022-06-13 | 2025-09-09 | 株式会社デンソー | Vehicle display control device and vehicle display method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001346200A (en) | 2000-06-02 | 2001-12-14 | Fuji Heavy Ind Ltd | Image cropping / display system |
| JP2005249802A (en) | 1997-07-22 | 2005-09-15 | Equos Research Co Ltd | Agent device |
| JP2010179850A (en) | 2009-02-06 | 2010-08-19 | Toyota Motor Corp | Vehicular display device |
| JP2010287163A (en) | 2009-06-15 | 2010-12-24 | Alpine Electronics Inc | In-vehicle image display device and image trimming method |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3586061B2 (en) * | 1997-03-19 | 2004-11-10 | ジヤトコ株式会社 | Information notification device |
-
2021
- 2021-08-26 JP JP2021137818A patent/JP7230964B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005249802A (en) | 1997-07-22 | 2005-09-15 | Equos Research Co Ltd | Agent device |
| JP2001346200A (en) | 2000-06-02 | 2001-12-14 | Fuji Heavy Ind Ltd | Image cropping / display system |
| JP2010179850A (en) | 2009-02-06 | 2010-08-19 | Toyota Motor Corp | Vehicular display device |
| JP2010287163A (en) | 2009-06-15 | 2010-12-24 | Alpine Electronics Inc | In-vehicle image display device and image trimming method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021185081A (en) | 2021-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6384188B2 (en) | Vehicle display device, display control method, and rear monitoring system | |
| JP6686886B2 (en) | Signal processing device, signal processing method, and monitoring system | |
| US7847678B2 (en) | Vehicle surroundings information output system and method for outputting vehicle surroundings information | |
| EP3445611B1 (en) | Vehicle with an image display device and method | |
| JP6699646B2 (en) | Vehicle display control device | |
| JP2007087337A (en) | Vehicle surrounding information display device | |
| JP7130688B2 (en) | vehicle display | |
| CN107284356A (en) | Vehicle mirror alternative system | |
| JP7230964B2 (en) | Information processing device, information processing method, and program | |
| JP2005067514A (en) | Vehicle display device | |
| JP6939737B2 (en) | Information processing equipment and information processing methods and programs | |
| CN115303181A (en) | Method and device for assisting a driver in monitoring the environment outside a vehicle | |
| JP2003048453A (en) | Display device for vehicles | |
| JP4720979B2 (en) | Vehicle monitoring device | |
| KR20190069643A (en) | Method and apparatus for video output control of a vehicle | |
| JP7636113B2 (en) | Video Display System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210916 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230117 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230130 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7230964 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |