[go: up one dir, main page]

JP6727441B2 - Operation support device and operation support method - Google Patents

Operation support device and operation support method Download PDF

Info

Publication number
JP6727441B2
JP6727441B2 JP2019530277A JP2019530277A JP6727441B2 JP 6727441 B2 JP6727441 B2 JP 6727441B2 JP 2019530277 A JP2019530277 A JP 2019530277A JP 2019530277 A JP2019530277 A JP 2019530277A JP 6727441 B2 JP6727441 B2 JP 6727441B2
Authority
JP
Japan
Prior art keywords
image
switch
vehicle
selection switch
indicator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019530277A
Other languages
Japanese (ja)
Other versions
JPWO2019016878A1 (en
Inventor
有史 松田
有史 松田
下谷　光生
光生 下谷
直志 宮原
直志 宮原
小畑　直彦
直彦 小畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2019016878A1 publication Critical patent/JPWO2019016878A1/en
Application granted granted Critical
Publication of JP6727441B2 publication Critical patent/JP6727441B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)

Description

本発明は、操作支援装置および操作支援方法に関する。 The present invention relates to an operation support device and an operation support method.

特許文献１には、運転者の手を撮影し、撮影画像を操作機器のスイッチ配列画像に重畳して表示装置に表示させることにより、運転者が運転中に操作機器を注視することなく操作を行える技術が開示されている。 In Patent Document 1, a driver's hand is photographed, a captured image is superimposed on a switch array image of an operating device and displayed on a display device, so that the driver can perform an operation without gazing at the operating device. Techniques that can be done are disclosed.

特開２０００−６６８７号公報JP-A-2000-6687

特許文献１の技術では、スイッチ配列画像を無加工で表示しているため、操作機器が有するスイッチが多く複雑である場合に、運転者はどのスイッチを押せばよいかが分かりにくいという問題があった。 In the technique of Patent Document 1, since the switch array image is displayed without processing, there is a problem that it is difficult for the driver to know which switch to press when the operating device has many switches and is complicated. ..

本発明は上述の問題に鑑み、運転者が操作機器を注視することなく操作を行えると共に、運転者がどのスイッチを操作すれば良いかを容易に把握することのできる、操作支援装置および操作支援方法の提供を目的とする。 In view of the above-mentioned problems, the present invention provides an operation support device and an operation support that enable a driver to perform an operation without gazing at an operating device and easily grasp which switch the driver should operate. The purpose is to provide a method.

本発明に係る第１の操作支援装置は、車両に搭載された操作対象装置を操作するための操作パネルを車両の運転者が指示体を用いて操作する際の、操作パネルに対する指示体の位置または指示体の指示方向を含む指示情報を取得する指示情報取得部と、車両の室内温度またはガラスの曇り状況に関する情報を含む車内情報を取得する車内情報取得部と、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から車内情報に対応した１又は複数の操作スイッチを選択スイッチとして選択するスイッチ選択部と、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成する操作画像作成部と、車両に搭載された表示装置に、操作画像を表示させる表示制御部と、を備え、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。
本発明に係る第２の操作支援装置は、車両に搭載された操作対象装置を操作するための操作パネルを車両の運転者が指示体を用いて操作する際の、操作パネルに対する指示体の位置または指示体の指示方向を含む指示情報を取得する指示情報取得部と、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択するスイッチ選択部と、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成する操作画像作成部と、車両に搭載された表示装置に、操作画像を表示させる表示制御部と、を備え、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像であり、指示体は車両の乗員の手指であり、指示情報は、手指の形状の情報を含み、操作パネルは、手指による操作方法が異なる複数の操作スイッチを有し、スイッチ選択部は、手指の形状に対応した操作方法で操作される操作スイッチから選択スイッチを選択する。 A first operation support device according to the present invention is a position of an indicator with respect to an operation panel when a driver of a vehicle operates an operation panel for operating an operation target device mounted on a vehicle with the indicator. Alternatively, an instruction information acquisition unit that obtains instruction information including an instruction direction of the indicator, an in-vehicle information acquisition unit that obtains in-vehicle information including information about the vehicle interior temperature or the cloudiness of the glass, and an operation panel based on the instruction information. A switch selector that selects one or a plurality of operation switches corresponding to in- vehicle information as a selection switch from among a plurality of operation switches included in the operation switch, and an indicator image representing an indicator, based on the instruction information. An operation image creation unit that creates an operation image by combining it with an operation panel image that represents the arrangement of the operation switches, and a display control unit that displays the operation image on a display device mounted on the vehicle are provided. 6 is an image showing a non-selection switch, which is an operation switch that is not a selection switch, and a selection switch in different modes.
A second operation support device according to the present invention is the position of the indicator with respect to the operation panel when the driver of the vehicle operates the operation panel for operating the operation target device mounted on the vehicle with the indicator. Alternatively, an instruction information acquisition unit that obtains instruction information including an instruction direction of the indicator, and a switch selection unit that selects one or more operation switches as a selection switch from a plurality of operation switches included in the operation panel based on the instruction information. And an operation image creation unit that creates an operation image by synthesizing an operation guide image that represents an indicator with an operation panel image that represents the arrangement of a plurality of operation switches on the operation panel based on the instruction information, and is mounted on the vehicle. The display device is provided with a display control unit for displaying an operation image, and the operation image is an image showing the non-selection switch and the selection switch, which are operation switches that are not selection switches, in different modes, and the indicator is of the vehicle. The occupant's finger, the instruction information includes information on the shape of the finger, the operation panel has a plurality of operation switches different in the operation method by the finger, the switch selection unit, the operation method corresponding to the shape of the finger. Select the selection switch from the operated switches.

本発明に係る操作支援方法は、車両に搭載された操作対象装置を操作するための操作パネルを車両の運転者が指示体を用いて操作する際の、操作パネルに対する指示体の位置または指示体の指示方向を含む指示情報を取得し、車両の室内温度またはガラスの曇り状況に関する情報を含む車内情報を取得し、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から車内情報に対応した１又は複数の操作スイッチを選択スイッチとして選択し、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成し、車両に搭載された表示装置に、操作画像を表示させる、操作支援方法であって、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。 An operation support method according to the present invention is a position of an indicator with respect to an operation panel or an indicator when an operator of the vehicle operates the operation panel for operating an operation target device mounted on the vehicle with the indicator. The in- vehicle information including the indoor temperature of the vehicle or the fog condition of the glass is acquired, and the in- vehicle information is supported from among the operation switches of the operation panel based on the instructed information. The operation image is created by selecting one or a plurality of operation switches as the selection switch, and combining the indicator image representing the indicator with the operation panel image representing the arrangement of the operation switches on the operation panel based on the instruction information. However, in the operation support method for displaying the operation image on the display device mounted on the vehicle, the operation image is an image showing the non-selection switch and the selection switch, which are the operation switches other than the selection switch, in different modes. is there.

本発明に係る第１の操作支援装置は、車両に搭載された操作対象装置を操作するための操作パネルを車両の運転者が指示体を用いて操作する際の、操作パネルに対する指示体の位置または指示体の指示方向を含む指示情報を取得する指示情報取得部と、車両の室内温度またはガラスの曇り状況に関する情報を含む車内情報を取得する車内情報取得部と、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から車内情報に対応した１又は複数の操作スイッチを選択スイッチとして選択するスイッチ選択部と、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成する操作画像作成部と、車両に搭載された表示装置に、操作画像を表示させる表示制御部と、を備え、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。本発明に係る操作支援装置によれば、運転者が操作機器を注視することなく操作を行えると共に、運転者がどの操作スイッチを操作すれば良いかを容易に把握することができる。
本発明に係る第２の操作支援装置は、車両に搭載された操作対象装置を操作するための操作パネルを車両の運転者が指示体を用いて操作する際の、操作パネルに対する指示体の位置または指示体の指示方向を含む指示情報を取得する指示情報取得部と、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択するスイッチ選択部と、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成する操作画像作成部と、車両に搭載された表示装置に、操作画像を表示させる表示制御部と、を備え、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像であり、指示体は車両の乗員の手指であり、指示情報は、手指の形状の情報を含み、操作パネルは、手指による操作方法が異なる複数の操作スイッチを有し、スイッチ選択部は、手指の形状に対応した操作方法で操作される操作スイッチから選択スイッチを選択する。本発明に係る操作支援装置によれば、運転者が操作機器を注視することなく操作を行えると共に、運転者がどの操作スイッチを操作すれば良いかを容易に把握することができる。 A first operation support device according to the present invention is a position of an indicator with respect to an operation panel when a driver of a vehicle operates an operation panel for operating an operation target device mounted on a vehicle with the indicator. Alternatively, an instruction information acquisition unit that obtains instruction information including an instruction direction of the indicator, an in-vehicle information acquisition unit that obtains in-vehicle information including information about the vehicle interior temperature or the cloudiness of the glass, and an operation panel based on the instruction information. A switch selector that selects one or a plurality of operation switches corresponding to in- vehicle information as a selection switch from among a plurality of operation switches included in the operation switch, and an indicator image representing an indicator, based on the instruction information. An operation image creation unit that creates an operation image by combining it with an operation panel image that represents the arrangement of the operation switches, and a display control unit that displays the operation image on a display device mounted on the vehicle are provided. 6 is an image showing a non-selection switch, which is an operation switch that is not a selection switch, and a selection switch in different modes. According to the operation support device of the present invention, the driver can perform an operation without gazing at the operation device, and can easily understand which operation switch the driver should operate.
A second operation support device according to the present invention is the position of the indicator with respect to the operation panel when the driver of the vehicle operates the operation panel for operating the operation target device mounted on the vehicle with the indicator. Alternatively, an instruction information acquisition unit that obtains instruction information including an instruction direction of the indicator, and a switch selection unit that selects one or more operation switches as a selection switch from a plurality of operation switches included in the operation panel based on the instruction information. And an operation image creation unit that creates an operation image by synthesizing an operation guide image that represents an indicator with an operation panel image that represents the arrangement of a plurality of operation switches on the operation panel based on the instruction information, and is mounted on the vehicle. The display device is provided with a display control unit for displaying an operation image, and the operation image is an image showing the non-selection switch and the selection switch, which are operation switches that are not selection switches, in different modes, and the indicator is of the vehicle. The occupant's finger, the instruction information includes information on the shape of the finger, the operation panel has a plurality of operation switches different in the operation method by the finger, the switch selection unit, the operation method corresponding to the shape of the finger. Select the selection switch from the operated switches. According to the operation support device of the present invention, the driver can perform an operation without gazing at the operation device, and can easily understand which operation switch the driver should operate.

本発明に係る操作支援方法は、車両に搭載された操作対象装置を操作するための操作パネルを車両の運転者が指示体を用いて操作する際の、操作パネルに対する指示体の位置または指示体の指示方向を含む指示情報を取得し、車両の室内温度またはガラスの曇り状況に関する情報を含む車内情報を取得し、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から車内情報に対応した１又は複数の操作スイッチを選択スイッチとして選択し、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成し、車両に搭載された表示装置に、操作画像を表示させる、操作支援方法であって、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。本発明に係る操作支援方法によれば、運転者が操作機器を注視することなく操作を行えると共に、運転者がどの操作スイッチを操作すれば良いかを容易に把握することができる。


An operation support method according to the present invention is a position of an indicator with respect to an operation panel or an indicator when an operator of the vehicle operates the operation panel for operating an operation target device mounted on the vehicle with the indicator. The in- vehicle information including the indoor temperature of the vehicle or the fog condition of the glass is acquired, and the in- vehicle information is supported from among the operation switches of the operation panel based on the instructed information. The operation image is created by selecting one or a plurality of operation switches as the selection switch, and combining the indicator image representing the indicator with the operation panel image representing the arrangement of the operation switches on the operation panel based on the instruction information. However, in the operation support method for displaying the operation image on the display device mounted on the vehicle, the operation image is an image showing the non-selection switch and the selection switch, which are the operation switches other than the selection switch, in different modes. is there. According to the operation support method according to the present invention, the driver can perform an operation without gazing at the operation device, and can easily understand which operation switch the driver should operate.


本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。 Objects, features, aspects, and advantages of the present invention will become more apparent by the following detailed description and the accompanying drawings.

実施の形態１に係る操作支援装置の構成を示すブロック図である。FIG. 3 is a block diagram showing a configuration of an operation support device according to the first embodiment. 実施の形態１に係る操作支援装置の動作を示すフローチャートである。3 is a flowchart showing an operation of the operation support device according to the first embodiment. 実施の形態２に係る操作支援装置の構成を示すブロック図である。FIG. 6 is a block diagram showing a configuration of an operation support device according to a second embodiment. 操作パネルを示す図である。It is a figure which shows an operation panel. 操作画像を示す図である。It is a figure which shows an operation image. 操作画像を示す図である。It is a figure which shows an operation image. 操作画像を示す図である。It is a figure which shows an operation image. 操作画像を示す図である。It is a figure which shows an operation image. 実施の形態２の変形例１に係る操作支援装置の構成を示すブロック図である。FIG. 13 is a block diagram showing a configuration of an operation support device according to a modified example 1 of the second embodiment. 実施の形態２の変形例１のスイッチ選択部による選択スイッチの選択処理に関するフローチャートである。13 is a flowchart regarding selection processing of a selection switch by a switch selection unit according to the first modification of the second embodiment. 操作画像を示す図である。It is a figure which shows an operation image. 実施の形態２の変形例２に係る操作支援装置の構成を示すブロック図である。FIG. 13 is a block diagram showing a configuration of an operation support device according to a second modification of the second embodiment. 実施の形態２の変形例２のスイッチ選択部による選択スイッチの選択処理に関するフローチャートである。13 is a flowchart regarding selection processing of a selection switch by a switch selection unit according to the second modification of the second embodiment. 実施の形態３に係る操作支援装置の構成を示すブロック図である。FIG. 9 is a block diagram showing a configuration of an operation support device according to a third embodiment. 実施の形態３に係る操作支援装置の動作を示すフローチャートである。9 is a flowchart showing the operation of the operation support device according to the third embodiment. 運転者がプッシュ操作を行う際の操作画像を示す図である。It is a figure which shows the operation image when a driver performs a push operation. 運転者がダイヤル操作を行う際の操作画像を示す図である。It is a figure which shows the operation image when a driver performs a dial operation. 操作支援装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of an operation assistance device. 操作支援装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of an operation assistance device. 実施の形態１の操作支援装置の車両とサーバによる構成例を示す図である。3 is a diagram showing a configuration example of a vehicle and a server of the operation support device of the first embodiment.

＜Ａ．実施の形態１＞
＜Ａ−１．構成＞
図１は、実施の形態１に係る操作支援装置１０１の構成を示すブロック図である。操作支援装置１０１は、車両Ａの運転者が操作パネル２２を使って、車両Ａに搭載された操作対象装置２３を操作する際に、その操作を支援する装置である。操作対象装置２３は、例えばエアコン、オーディオまたはナビゲーション装置などである。<A. Embodiment 1>
<A-1. Composition>
FIG. 1 is a block diagram showing the configuration of the operation support device 101 according to the first embodiment. The operation support device 101 is a device that assists the operation of the driver of the vehicle A when operating the operation target device 23 mounted on the vehicle A using the operation panel 22. The operation target device 23 is, for example, an air conditioner, an audio device, or a navigation device.

図１では操作支援装置１０１を車両Ａに搭載された装置として示しているが、これは一例である。＜Ｄ．ハードウェア構成＞で後述するように、操作支援装置１０１の各部の構成は車両以外の場所に分散して配置されていても良い。 In FIG. 1, the operation support device 101 is shown as a device mounted on the vehicle A, but this is an example. <D. As will be described later in "Hardware configuration", the configuration of each unit of the operation support device 101 may be distributed and arranged in a place other than the vehicle.

操作支援装置１０１は、指示情報取得部１１、スイッチ選択部１２、操作画像作成部１３および表示制御部１４を備える。操作支援装置１０１は、表示装置２１と接続され、これらを利用可能に構成されている。表示装置２１および操作パネル２２は車両Ａに搭載されている。 The operation support device 101 includes an instruction information acquisition unit 11, a switch selection unit 12, an operation image creation unit 13, and a display control unit 14. The operation support device 101 is connected to the display device 21 and is configured to be usable. The display device 21 and the operation panel 22 are mounted on the vehicle A.

指示情報取得部１１は指示情報を取得する。指示情報は、車両Ａの運転者が指示体で操作パネル２２を指示する際の、操作パネル２２に対する指示体の位置または指示方向を含む。操作パネル２２は、操作対象装置２３を操作するための装置であり、複数の操作スイッチを搭載している。各操作スイッチは、操作対象装置２３の異なる制御内容に対応しており、車両Ａの運転者は所望の操作スイッチを扱うことにより操作対象装置２３の所望の制御を行うことができる。 The instruction information acquisition unit 11 acquires instruction information. The instruction information includes the position or the pointing direction of the indicator with respect to the operation panel 22 when the driver of the vehicle A instructs the operation panel 22 with the indicator. The operation panel 22 is a device for operating the operation target device 23, and is equipped with a plurality of operation switches. Each operation switch corresponds to different control contents of the operation target device 23, and the driver of the vehicle A can perform desired control of the operation target device 23 by handling the desired operation switch.

スイッチ選択部１２は、指示情報取得部１１から取得した指示情報に基づき、操作パネルの複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択する。選択スイッチは、現状の指示体の挙動から運転者が操作すると思われる操作スイッチである。スイッチ選択部１２は、特定した選択スイッチの情報を操作画像作成部１３に出力する。 The switch selection unit 12 selects one or a plurality of operation switches as a selection switch from the plurality of operation switches on the operation panel based on the instruction information acquired from the instruction information acquisition unit 11. The selection switch is an operation switch which is considered to be operated by the driver based on the current behavior of the indicator. The switch selection unit 12 outputs information on the specified selection switch to the operation image creation unit 13.

操作画像作成部１３は、指示体画像および操作パネル画像を作成する。指示体画像は、指示体を表す画像であり、例えば指示体を撮影した画像またはＣＧ画像などである。操作パネル画像は、操作パネル２２における複数の操作スイッチの配置を表す画像である。操作パネル画像において、選択スイッチとそれ以外の操作スイッチ（以下、これを「非選択スイッチ」とも称する）とは異なる態様で表される。 The operation image creation unit 13 creates a pointer image and an operation panel image. The indicator image is an image representing the indicator and is, for example, an image obtained by photographing the indicator or a CG image. The operation panel image is an image showing the arrangement of a plurality of operation switches on the operation panel 22. In the operation panel image, the selection switch and the other operation switches (hereinafter, also referred to as “non-selection switch”) are shown in different modes.

そして、操作画像作成部１３は、指示情報取得部１１から取得した指示情報に基づき、指示体画像と操作パネル画像とを合成して、操作画像を作成する。操作画像には、指示体と操作パネル２２の各操作スイッチとの実際の位置関係が反映される。 Then, the operation image creation unit 13 creates the operation image by synthesizing the indicator image and the operation panel image based on the instruction information acquired from the instruction information acquisition unit 11. The actual positional relationship between the pointer and each operation switch of the operation panel 22 is reflected in the operation image.

表示制御部１４は、操作画像作成部１３から操作画像を取得し、表示装置２１に操作画像を表示させる。 The display control unit 14 acquires the operation image from the operation image creation unit 13 and causes the display device 21 to display the operation image.

＜Ａ−２．動作＞
図２は、操作支援装置１０１の動作を示すフローチャートである。以下、図２に沿って操作支援装置１０１の動作を説明する。<A-2. Operation>
FIG. 2 is a flowchart showing the operation of the operation support device 101. Hereinafter, the operation of the operation support device 101 will be described with reference to FIG.

まず、指示情報取得部１１が指示情報を取得する（ステップＳ１０１）。 First, the instruction information acquisition unit 11 acquires instruction information (step S101).

次に、スイッチ選択部１２が指示情報に基づき、操作パネル２２が有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択する（ステップＳ１０２）。 Next, the switch selection unit 12 selects one or a plurality of operation switches as a selection switch from the plurality of operation switches included in the operation panel 22 based on the instruction information (step S102).

次に、操作画像作成部１３が、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像を生成する（ステップＳ１０３）。操作パネル画像において、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとは異なる態様で表示される。 Next, the operation image creation unit 13 creates an operation panel image representing the arrangement of the plurality of operation switches on the operation panel (step S103). In the operation panel image, the non-selection switch, which is an operation switch other than the selection switch, and the selection switch are displayed in different modes.

次に、操作画像作成部１３が指示体を表す指示体画像を生成する（ステップＳ１０４）。 Next, the operation image creation unit 13 creates a pointer image representing the pointer (step S104).

次に、操作画像作成部１３が、指示情報に基づき指示体画像と操作パネル画像とを合成して操作画像を生成する（ステップＳ１０５）。 Next, the operation image creation unit 13 combines the indicator image and the operation panel image based on the instruction information to generate an operation image (step S105).

次に、表示制御部１４が、表示装置２１に操作画像を表示させる（ステップＳ１０６）。 Next, the display control unit 14 causes the display device 21 to display the operation image (step S106).

以上で、操作支援装置１０１の動作を終了する。 With that, the operation of the operation support apparatus 101 ends.

＜Ａ−３．効果＞
実施の形態１の操作支援装置１０１は、車両Ａに搭載された操作対象装置２３を操作するための操作パネル２２を車両Ａの運転者が指示体を用いて操作する際の、操作パネル２２に対する指示体の位置または指示体の指示方向を含む指示情報を取得する指示情報取得部１１と、指示情報に基づき、操作パネル２２が有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択するスイッチ選択部１２と、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成する操作画像作成部１３と、車両Ａに搭載された表示装置２１に、操作画像を表示させる表示制御部１４と、を備える。そして、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。従って、運転者は操作パネルを見ることなく、操作画像を見ながら操作スイッチを操作することができる。また、選択スイッチが他の操作スイッチとは異なる態様で表示されるため、運転者は所望の操作スイッチを適格に操作することができる。<A-3. Effect>
The operation support device 101 according to the first embodiment relates to the operation panel 22 when the driver of the vehicle A operates the operation panel 22 for operating the operation target device 23 mounted on the vehicle A using the indicator. An instruction information acquisition unit 11 that acquires instruction information including the position of the indicator or the pointing direction of the indicator, and a selection switch for selecting one or more operation switches from among the plurality of operation switches included in the operation panel 22 based on the instruction information. An operation image creation unit that creates the operation image by synthesizing the switch selection unit 12 that is selected as the display unit and the pointer image that represents the pointer with the operation panel image that represents the arrangement of the plurality of operation switches on the operation panel based on the instruction information. 13 and a display control unit 14 for displaying an operation image on the display device 21 mounted on the vehicle A. The operation image is an image showing the non-selection switch, which is an operation switch other than the selection switch, and the selection switch in different modes. Therefore, the driver can operate the operation switch while looking at the operation image without looking at the operation panel. Moreover, since the selection switch is displayed in a mode different from that of the other operation switches, the driver can appropriately operate the desired operation switch.

実施の形態１の操作支援方法によれば、車両Ａに搭載された操作対象装置２３を操作するための操作パネル２２を車両Ａの運転者が指示体を用いて操作する際の、操作パネル２２に対する指示体の位置または指示体の指示方向を含む指示情報を取得し、指示情報に基づき、操作パネル２２が有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択し、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成し、車両Ａに搭載された表示装置２１に操作画像を表示させる。そして、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。従って、運転者は操作パネルを見ることなく、操作画像を見ながら操作スイッチを操作することができる。また、選択スイッチが他の操作スイッチとは異なる態様で表示されるため、運転者は所望の操作スイッチを適格に操作することができる。 According to the operation support method of the first embodiment, the operation panel 22 when the driver of the vehicle A operates the operation panel 22 for operating the operation target device 23 mounted on the vehicle A using the indicator. The instruction information including the position of the pointer or the pointing direction of the pointer is acquired, and based on the instruction information, one or more operation switches are selected as a selection switch from among the plurality of operation switches included in the operation panel 22, and the instruction is given. Based on the instruction information, the pointer image representing the body is combined with the operation panel image representing the arrangement of the plurality of operation switches on the operation panel to create the operation image, and the operation image is displayed on the display device 21 mounted on the vehicle A. Display it. The operation image is an image showing the non-selection switch, which is an operation switch other than the selection switch, and the selection switch in different modes. Therefore, the driver can operate the operation switch while looking at the operation image without looking at the operation panel. Moreover, since the selection switch is displayed in a mode different from that of the other operation switches, the driver can appropriately operate the desired operation switch.

＜Ｂ．実施の形態２＞
＜Ｂ−１．全体構成＞
図３は、実施の形態２に係る操作支援装置１０２の構成を示すブロック図である。操作支援装置１０２の構成は、図１に示した通りであり、実施の形態１に係る操作支援装置１０１の構成と同様である。但し、操作支援装置１０２は、指示体検出装置２４と接続され、これを利用可能に構成されている。<B. Embodiment 2>
<B-1. Overall configuration>
FIG. 3 is a block diagram showing the configuration of the operation support device 102 according to the second embodiment. The configuration of operation support device 102 is as shown in FIG. 1, and is similar to the configuration of operation support device 101 according to the first embodiment. However, the operation support device 102 is connected to the pointer detection device 24 and is configured to be usable.

図４は、操作パネル２２を示す図である。操作パネル２２は大抵、運転者が運転しながら操作スイッチ３２を操作しやすいように、運転席のコンソールなど運転者の手元に配置される。図４では操作スイッチ３２を機械的なスイッチとして図示しており、ボタン、ダイヤル、レバー等種々の形態のものが操作スイッチ３２として想定される。しかし、操作スイッチ３２は液晶画面等に表示されたアイコン等により実現されても良い。 FIG. 4 is a diagram showing the operation panel 22. The operation panel 22 is usually arranged at the driver's hand such as a console in the driver's seat so that the driver can easily operate the operation switch 32 while driving. In FIG. 4, the operation switch 32 is shown as a mechanical switch, and various types of buttons, dials, levers and the like are assumed as the operation switch 32. However, the operation switch 32 may be realized by an icon or the like displayed on the liquid crystal screen or the like.

個々の操作スイッチ３２は、操作対象装置２３の異なる制御に対応している。運転者は、指示体を用いて操作スイッチ３２を扱うことにより、操作対象装置２３を操作することが可能である。ここでは操作スイッチ３２を「扱う」と述べているが、操作スイッチ３２の形状に応じて押す、引く、回すなどの種々の操作が操作スイッチ３２を扱う動作として想定される。図４では、運転者の手指４０を指示体の例としているが、タッチペン等、他の指示体を用いることも可能である。 Each operation switch 32 corresponds to different control of the operation target device 23. The driver can operate the operation target device 23 by handling the operation switch 32 using the indicator. Although it is described here that the operation switch 32 is “handled”, various operations such as pushing, pulling, and turning according to the shape of the operation switch 32 are assumed to be operations for handling the operation switch 32. In FIG. 4, the driver's finger 40 is used as an example of the indicator, but other indicators such as a touch pen may be used.

多数の操作スイッチ３２が操作パネル２２に搭載されるほど、運転者が意図していない操作スイッチ３２を誤って扱ってしまう。あるいは、運転者はどの操作スイッチ３２が実行したい操作対象装置２３の制御内容に対応しているのかを把握しにくい。特に、運転者は運転しながら、手元の近くの操作パネル２２を注視することは困難であるため、上記の問題が顕著に発生する。 The more operation switches 32 are mounted on the operation panel 22, the more the operator operates the operation switches 32 that the driver does not intend. Alternatively, it is difficult for the driver to grasp which operation switch 32 corresponds to the control content of the operation target device 23 to be executed. In particular, since it is difficult for the driver to gaze at the operation panel 22 near his/her hand while driving, the above problem remarkably occurs.

そこで、操作支援装置１０２は、運転者が指示体を操作スイッチ３２に近づけた際に、指示体と操作スイッチ３２との位置関係を表す操作画像を表示装置２１に表示させることにより、運転者が運転中でも操作画像を見ながら所望の操作スイッチ３２を的確に操作することが出来るようにする。この目的を達するため、表示装置２１は、操作パネル２２よりは運転者が前方を見て運転する際の視界（以下、「前方視界」と称する）に近い場所に設置されていることが望ましく、例えばHead-Up Display（ＨＵＤ）またはInstrument Cluster Display（ＩＣＤ）などである。 Therefore, when the driver brings the indicator close to the operation switch 32, the operation support device 102 causes the display device 21 to display an operation image indicating the positional relationship between the indicator and the operation switch 32, so that the driver can The desired operation switch 32 can be accurately operated while viewing the operation image even while driving. In order to achieve this purpose, it is desirable that the display device 21 is installed closer to a field of view (hereinafter, referred to as “forward field of view”) when the driver looks ahead of the operation panel 22 and drives, For example, it is Head-Up Display (HUD) or Instrument Cluster Display (ICD).

指示体検出装置２４は、例えば操作パネル２２を撮影するカメラ、または操作パネル２２に対する指示体の接近を検出する静電容量式タッチパネル等により構成され、操作パネル２２に対する指示体の位置、または指示体の指示方向を検出する。指示体検出装置２４は、操作パネル２２に対する指示体の位置と指示体の指示方向の両方を検出しても良い。指示体検出装置２４による検出結果は、指示情報として指示情報取得部１１に出力される。すなわち、指示情報には操作パネル２２に対する指示体の位置、および指示体の指示方向の少なくとも一方が含まれる。 The pointer detection device 24 is configured by, for example, a camera that captures the operation panel 22, or a capacitive touch panel that detects the approach of the pointer to the operation panel 22, and the like, and the position of the pointer with respect to the operation panel 22 or the pointer. Detect the pointing direction of. The pointer detection device 24 may detect both the position of the pointer with respect to the operation panel 22 and the pointing direction of the pointer. The detection result by the pointer detection device 24 is output to the instruction information acquisition unit 11 as instruction information. That is, the instruction information includes at least one of the position of the indicator with respect to the operation panel 22 and the pointing direction of the indicator.

指示情報取得部１１は、指示体検出装置２４から指示情報を取得し、これをスイッチ選択部１２に出力する。 The instruction information acquisition unit 11 acquires instruction information from the indicator detection device 24 and outputs it to the switch selection unit 12.

スイッチ選択部１２、操作画像作成部１３、表示制御部１４の構成は、実施の形態１と同様である。 The configurations of the switch selection unit 12, the operation image creation unit 13, and the display control unit 14 are the same as those in the first embodiment.

＜Ｂ−２．操作画像＞
操作支援装置１０２の動作は、図２のフローチャートに示した通りであるため、フローチャートに沿った説明はここでは省略する。以下、図５から図８を用いて表示装置２１に表示される操作画像を例示する。<B-2. Operation image>
Since the operation of the operation support device 102 is as shown in the flowchart of FIG. 2, the description along the flowchart will be omitted here. Hereinafter, an operation image displayed on the display device 21 will be illustrated with reference to FIGS. 5 to 8.

図５の操作画像５０は、指示体である運転者の手指４０を示す画像（以下、「手指画像」と称する）４０Ｄと、操作パネルを示す操作パネル画像２２Ｄとが合成されたものである。操作パネル画像２２Ｄでは、操作パネル２２に搭載された複数の操作スイッチ３２の画像（以下、「操作スイッチ画像３２Ｄ」が表示されている。 The operation image 50 of FIG. 5 is a composite image of an image (hereinafter, referred to as a “finger image”) 40D showing the driver's finger 40, which is an indicator, and an operation panel image 22D showing the operation panel. In the operation panel image 22D, images of a plurality of operation switches 32 mounted on the operation panel 22 (hereinafter, “operation switch image 32D”) are displayed.

手指画像４０Ｄは、手指４０の実際の操作パネルに対する位置または方向にあわせた位置または方向で、操作パネル画像２２Ｄに合成される。図５の例で、手指画像４０Ｄは操作パネル画像２２Ｄの左下に重ねられており、これは実際に手指４０が操作パネル２２の左下に重なっていることを反映している。このように、操作画像５０は、指示体が操作パネル２２に対してどのような位置または方向にあるかを表すため、運転者は操作画像を見ることにより、実際に操作パネル２２を見なくても操作パネル２２上の所望の操作スイッチ３２を操作することが可能になる。 The finger image 40D is combined with the operation panel image 22D at a position or direction that matches the position or direction of the finger 40 with respect to the actual operation panel. In the example of FIG. 5, the finger image 40D is superimposed on the lower left of the operation panel image 22D, which reflects that the finger 40 actually overlaps the lower left of the operation panel 22. As described above, the operation image 50 represents the position or direction of the indicator with respect to the operation panel 22, so that the driver does not actually see the operation panel 22 by looking at the operation image. Also, it becomes possible to operate a desired operation switch 32 on the operation panel 22.

手指４０が操作パネル２２の左下に重なったとき、手指４０との距離が近い１又は複数の操作スイッチ３２が選択スイッチとなる。ここで、手指４０から距離の近い順に３つの操作スイッチ３２が選択スイッチになるものとする。従って、図５に示すように、操作画像５０において手指画像４０Ｄの近くに表示される３つの操作スイッチ画像が選択スイッチ画像３２ＡＤとして、他の操作スイッチ画像３２Ｄよりも太い枠で表示される。このように選択スイッチ画像３２ＡＤは、操作画像５０において他の操作スイッチ画像３２Ｄとは容易に区別可能な態様で表示される。従って、運転者は自身が今から操作しようとしているスイッチ、すなわち選択スイッチがどの操作スイッチ３２であるかを容易に把握することができる。 When the finger 40 overlaps the lower left of the operation panel 22, one or a plurality of operation switches 32 close to the finger 40 serve as a selection switch. Here, it is assumed that the three operation switches 32 become selection switches in the order of increasing distance from the finger 40. Therefore, as shown in FIG. 5, the three operation switch images displayed near the finger image 40D in the operation image 50 are displayed as the selection switch image 32AD in a frame thicker than the other operation switch images 32D. In this way, the selection switch image 32AD is displayed in the operation image 50 in a manner that can be easily distinguished from the other operation switch images 32D. Therefore, the driver can easily understand which operation switch 32 the switch he/she is going to operate, that is, the selection switch.

図５に示した、選択スイッチ画像３２ＡＤを他の操作スイッチ画像３２Ｄよりも太い枠で表示することは、選択スイッチ画像３２ＡＤと他の操作スイッチ画像３２Ｄとを異なる態様で表示することの一例である。他の例として図６に示すように、選択スイッチ画像３２ＡＤを通常の画像、例えば選択スイッチの撮影画像とし、他の操作スイッチ画像３２Ｄを記号または文字で表しても良い。 Displaying the selection switch image 32AD shown in FIG. 5 in a frame thicker than the other operation switch image 32D is an example of displaying the selection switch image 32AD and the other operation switch image 32D in different modes. .. As another example, as shown in FIG. 6, the selection switch image 32AD may be a normal image, for example, a captured image of the selection switch, and the other operation switch image 32D may be represented by a symbol or a character.

また、選択スイッチ画像３２ＡＤを撮影画像とし、他の操作スイッチ画像３２ＤをＣＧ画像としても良い。また、反透過、低コントラスト、またはブラー表示等の方法で、他の操作スイッチ画像３２Ｄが選択スイッチ画像３２ＡＤに比べて不明瞭に表示されても良い。以上に述べた表示方法によって、運転者は選択スイッチ画像３２ＡＤと他の操作スイッチ画像３２Ｄとを容易に区別することができる。 Further, the selection switch image 32AD may be a photographed image, and the other operation switch images 32D may be CG images. Further, the other operation switch image 32D may be displayed more unclearly than the selection switch image 32AD by a method such as anti-transmission, low contrast, or blurring display. By the display method described above, the driver can easily distinguish the selection switch image 32AD from the other operation switch image 32D.

また、図７および図８に示すように、選択スイッチ画像３２ＡＤに、選択スイッチの操作内容を説明する操作メニュー３３を付記表示しても良い。図８の操作画像５０では、ダイヤル形状の選択スイッチの選択スイッチ画像３２ＡＤに対して、ダイヤルを右に回すとＵＰ、左に回すとＤＯＷＮという操作内容を説明する操作メニュー３３が表示されている。従って、運転者は自身が操作しようとする操作スイッチ３２の操作方法を、操作画像５０から容易に把握することができる。 Further, as shown in FIGS. 7 and 8, an operation menu 33 for explaining the operation content of the selection switch may be additionally displayed on the selection switch image 32AD. In the operation image 50 of FIG. 8, an operation menu 33 for explaining the operation contents, that is, UP when the dial is turned to the right and DOWN when the dial is turned to the left, is displayed with respect to the selection switch image 32AD of the dial-shaped selection switch. Therefore, the driver can easily understand the operation method of the operation switch 32 which the driver intends to operate from the operation image 50.

図５から図８では、操作画像５０を２次元の画像として表現した。しかし、操作画像５０は操作スイッチ３２および手指４０等を立体的に表現する立体視画像であっても良い。この場合、操作画像作成部１３は、指示体画像と操作パネル画像をそれぞれ立体視画像として作成し、両画像を立体視画像として合成する。そして、このような操作画像５０は、裸眼立体視表示機能を有する表示装置２１に表示される。 In FIGS. 5 to 8, the operation image 50 is represented as a two-dimensional image. However, the operation image 50 may be a stereoscopic image that stereoscopically represents the operation switch 32, the fingers 40 and the like. In this case, the operation image creation unit 13 creates each of the indicator image and the operation panel image as a stereoscopic image, and combines both images as a stereoscopic image. Then, such an operation image 50 is displayed on the display device 21 having a naked-eye stereoscopic display function.

＜Ｂ−３．選択スイッチの特定＞
スイッチ選択部１２は、指示情報に基づき、複数の操作スイッチ３２の中から選択スイッチを選択する。図５から図８の表示例では、手指４０との距離が近い順に所定の数の操作スイッチ３２を選択スイッチとしていたが、これは、操作パネル２２に対する手指４０の位置に基づき選択スイッチを選択する方法の一例である。<B-3. Selection switch selection>
The switch selection unit 12 selects a selection switch from the plurality of operation switches 32 based on the instruction information. In the display examples of FIGS. 5 to 8, the predetermined number of operation switches 32 are used as the selection switches in the order of closer distance to the fingers 40. However, this selects the selection switches based on the position of the fingers 40 with respect to the operation panel 22. It is an example of a method.

スイッチ選択部１２は、操作パネル２２に対する手指４０の指示方向に基づき、選択スイッチを選択しても良い。つまり、手指４０の指示方向に重なる操作スイッチ３２が、選択スイッチとして選択される。手指４０の指示方向が複数の操作スイッチ３２に跨って重なる場合、スイッチ選択部１２は指示方向が重なる全ての操作スイッチ３２を選択スイッチとしても良い。また、スイッチ選択部１２は指示方向が重なる操作スイッチ３２だけでなく、当該操作スイッチ３２と隣り合う所定数の他の操作スイッチ３２も、選択スイッチとしても良い。 The switch selection unit 12 may select the selection switch based on the pointing direction of the finger 40 with respect to the operation panel 22. That is, the operation switch 32 overlapping the pointing direction of the finger 40 is selected as the selection switch. When the pointing direction of the fingers 40 overlaps over the plurality of operation switches 32, the switch selecting unit 12 may use all the operating switches 32 where the pointing directions overlap as the selection switches. Further, the switch selection unit 12 may use not only the operation switch 32 in which the pointing directions overlap, but also a predetermined number of other operation switches 32 adjacent to the operation switch 32 as selection switches.

なお、スイッチ選択部１２は、例えば指示体と操作パネル２２との距離が、予め定められた閾値よりも小さくなったときに、そのときの指示情報に基づき選択スイッチを選択する。すなわち、指示体が操作パネル２２にある程度近づかなければ、選択スイッチは選択されない。あるいは、スイッチ選択部１２は、指示体が予め定められた時間継続して同じ操作スイッチを指示している場合に、選択スイッチを選択する。 In addition, when the distance between the indicator and the operation panel 22 becomes smaller than a predetermined threshold, the switch selector 12 selects the selection switch based on the instruction information at that time. That is, unless the pointer approaches the operation panel 22 to some extent, the selection switch is not selected. Alternatively, the switch selection unit 12 selects the selection switch when the indicator continues to instruct the same operation switch for a predetermined time.

＜Ｂ−４．変形例１＞
図９は、実施の形態２の変形例１に係る操作支援装置１０２Ａの構成を示すブロック図である。操作支援装置１０２Ａの構成は、操作支援装置１０２の構成において、指示情報取得部１１が手形検出部１１Ａを備えたものである。<B-4. Modification 1>
FIG. 9 is a block diagram showing the configuration of the operation support device 102A according to the first modification of the second embodiment. In the configuration of the operation support device 102A, the instruction information acquisition unit 11 includes the handprint detection unit 11A in the configuration of the operation support device 102.

指示体検出装置２４は、操作パネル２２に対する指示体の位置と指示方向に加えて、指示体が運転者の手指４０である場合に手指４０の形状を検出し、これを指示情報として指示情報取得部１１に出力する。例えば、指示体検出装置２４はカメラによって操作パネル２２に接近した運転者の手指４０を撮影し、撮影画像を指示情報として指示情報取得部１１に出力することができる。 The pointer detection device 24 detects the shape of the finger 40 when the pointer is the finger 40 of the driver in addition to the position and the direction of the pointer with respect to the operation panel 22, and acquires the instruction information using this as the instruction information. Output to the unit 11. For example, the pointer detection device 24 can photograph the finger 40 of the driver approaching the operation panel 22 with the camera and output the photographed image as instruction information to the instruction information acquisition unit 11.

手形検出部１１Ａは、指示体が運転者の手指４０である場合に、指示情報から手指４０の形状を検出する。例えば、手形検出部１１Ａは、手指４０が人差し指などいずれかの指を伸ばしてボタンを押すときの形状（以下、これを「ボタン形状」と称する）をしているか、あるいは手指４０がダイヤルを掴むときの形状（以下、これを「ダイヤル形状」と称する）をしているかを検出する。手形検出部１１Ａの検出結果は、指示情報に含められて指示情報取得部１１からスイッチ選択部１２に出力される。 When the indicator is the driver's finger 40, the handprint detection unit 11A detects the shape of the finger 40 from the instruction information. For example, the handprint detection unit 11A has a shape in which the finger 40 extends one of the fingers such as the index finger and pushes the button (hereinafter, referred to as “button shape”), or the finger 40 grasps the dial. It is detected whether or not it has the shape (hereinafter, referred to as "dial shape"). The detection result of the bill detection unit 11A is included in the instruction information and output from the instruction information acquisition unit 11 to the switch selection unit 12.

図１０は、操作支援装置１０２Ａのスイッチ選択部１２による選択スイッチの選択処理に関するフローチャートであり、図２のステップＳ１０２に対応したフローチャートである。スイッチ選択部１２は、指示情報に基づき選択スイッチを選択する。操作支援装置１０２では、スイッチ選択部１２は全ての操作スイッチ３２から選択スイッチを選択していた。しかし、操作支援装置１０２Ａでは、スイッチ選択部１２は手指４０の形状に対応する操作スイッチ３２を特定し（ステップＳ１０２１Ａ）、特定した操作スイッチ３２の中から選択スイッチを選択する（ステップＳ１０２２Ａ）。 FIG. 10 is a flowchart regarding the selection processing of the selection switch by the switch selection unit 12 of the operation support device 102A, which corresponds to step S102 of FIG. The switch selection unit 12 selects a selection switch based on the instruction information. In the operation support device 102, the switch selection unit 12 selects the selection switch from all the operation switches 32. However, in the operation support device 102A, the switch selection unit 12 specifies the operation switch 32 corresponding to the shape of the finger 40 (step S1021A), and selects the selection switch from the specified operation switches 32 (step S1022A).

例えば、手指４０の形状がボタン形状である場合、選択スイッチはボタン形状の操作スイッチ３２の中から選択され、手指４０の形状がダイヤル形状である場合、選択スイッチはダイヤル形状の操作スイッチ３２の中から選択される。これにより、スイッチ選択部１２は精度良く選択スイッチを選択することができる。 For example, when the finger 40 has a button shape, the selection switch is selected from the button-shaped operation switch 32, and when the finger 40 has a dial shape, the selection switch is the dial-shaped operation switch 32. Selected from. Accordingly, the switch selection unit 12 can select the selection switch with high accuracy.

図１１は、操作支援装置１０２Ａによる操作画像５０を示す図である。この操作画像５０には、ボタン形状の操作スイッチ３２の操作スイッチ画像３２Ｄと、ダイヤル形状の操作スイッチ３２の操作スイッチ画像３２Ｄとが表示される。手指画像４０Ｄは、ボタン形状の操作スイッチ３２の操作スイッチ画像３２Ｄの下に重ねて表示されている。手指の形状はダイヤル形状であるので、スイッチ選択部１２は、手指に最も近いボタン形状の操作スイッチ３２ではなく、ダイヤル形状の操作スイッチ３２の中から最も手指に近い左端の操作スイッチ３２を選択スイッチとする。その結果、図１１に示すように、左端のダイヤル形状の操作スイッチ３２の画像が選択スイッチ画像３２ＡＤとして、操作メニュー３３と共に表示される。 FIG. 11 is a diagram showing an operation image 50 by the operation support device 102A. In this operation image 50, an operation switch image 32D of the button-shaped operation switch 32 and an operation switch image 32D of the dial-shaped operation switch 32 are displayed. The finger image 40D is superimposed and displayed below the operation switch image 32D of the button-shaped operation switch 32. Since the fingers have a dial shape, the switch selection unit 12 does not select the button-shaped operation switch 32 closest to the fingers, but the left-most operation switch 32 closest to the fingers from the dial-shaped operation switches 32. And As a result, as shown in FIG. 11, the image of the dial-shaped operation switch 32 at the left end is displayed as the selection switch image 32AD together with the operation menu 33.

＜Ｂ−５．変形例２＞
図１２は、実施の形態２の変形例２に係る操作支援装置１０２Ｂの構成を示すブロック図である。操作支援装置１０２Ｂは、操作支援装置１０２の構成に加えて、車内情報取得部１５をさらに備えている。<B-5. Modification 2>
FIG. 12 is a block diagram showing the configuration of the operation support device 102B according to the second modification of the second embodiment. The operation support device 102B further includes an in-vehicle information acquisition unit 15 in addition to the configuration of the operation support device 102.

車内情報取得部１５は車内情報を取得する。車内情報には、車内の温度の情報、ガラスの曇り等の情報が含まれる。 The in-vehicle information acquisition unit 15 acquires in-vehicle information. The information on the inside of the vehicle includes information on the temperature inside the vehicle and information such as fog on the glass.

スイッチ選択部１２は、指示情報取得部１１から指示情報を、車内情報取得部１５から車内情報をそれぞれ取得し、指示情報と車内情報に基づき選択スイッチを選択する。具体的には、操作パネル２２に搭載された操作スイッチ３２の中から車内情報に適合する操作スイッチ３２を特定する。 The switch selection unit 12 acquires the instruction information from the instruction information acquisition unit 11 and the in-vehicle information from the in-vehicle information acquisition unit 15, respectively, and selects a selection switch based on the instruction information and the in-vehicle information. Specifically, the operation switch 32 that matches the in-vehicle information is specified from the operation switches 32 mounted on the operation panel 22.

例えば、車内情報が車内の温度が高いことを示していれば、エアコンを操作するための操作スイッチ３２が車内情報に適合する操作スイッチ３２となる。また、車内情報がガラスの曇りを示していれば、デフォッガを操作するための操作スイッチ３２が車内情報に適合する操作スイッチ３２となる。 For example, if the in-vehicle information indicates that the temperature inside the vehicle is high, the operation switch 32 for operating the air conditioner becomes the operation switch 32 that matches the in-vehicle information. If the in-vehicle information indicates that the glass is fogged, the operation switch 32 for operating the defogger becomes the operation switch 32 that matches the in-vehicle information.

スイッチ選択部１２は、このようにして特定した操作スイッチ３２の中から、指示情報に基づき、手指４０から近い操作スイッチ３２または手指４０の指示方向に重なる操作スイッチ３２を選択スイッチとして選択する。 Based on the instruction information, the switch selection unit 12 selects the operation switch 32 close to the finger 40 or the operation switch 32 overlapping the pointing direction of the finger 40 as the selection switch from the operation switches 32 thus identified.

図１３は、操作支援装置１０２Ｂのスイッチ選択部１２による選択スイッチの選択処理に関するフローチャートであり、図２のステップＳ１０２に対応したフローチャートである。スイッチ選択部１２は、指示情報に基づき選択スイッチを選択する。操作支援装置１０２では、スイッチ選択部１２は全ての操作スイッチ３２から選択スイッチを選択していた。しかし、操作支援装置１０２Ｂでは、スイッチ選択部１２は車内情報に適合する操作スイッチ３２を特定し（ステップＳ１０２１Ｂ）、特定した操作スイッチ３２の中から選択スイッチを選択する（ステップＳ１０２２Ｂ）。 FIG. 13 is a flowchart regarding the selection process of the selection switch by the switch selection unit 12 of the operation support device 102B, which corresponds to step S102 of FIG. The switch selection unit 12 selects a selection switch based on the instruction information. In the operation support device 102, the switch selection unit 12 selects the selection switch from all the operation switches 32. However, in the operation support device 102B, the switch selection unit 12 specifies the operation switch 32 that matches the in-vehicle information (step S1021B), and selects the selection switch from the specified operation switches 32 (step S1022B).

＜Ｂ−６．効果＞
実施の形態２の操作支援装置１０２において、スイッチ選択部１２は、指示体からの距離が短い順に１又は複数の操作スイッチ３２を選択スイッチとして選択する。従って、運転者は指示体の近くにある操作スイッチ３２を操作画像５０上で容易に把握することができるため、所望の操作スイッチ３２を容易に操作することができる。<B-6. Effect>
In the operation support device 102 according to the second embodiment, the switch selection unit 12 selects one or a plurality of operation switches 32 as selection switches in order of increasing distance from the pointer. Therefore, the driver can easily grasp the operation switch 32 near the indicator on the operation image 50, and can easily operate the desired operation switch 32.

また、操作画像５０において、選択スイッチは撮影画像で表され、他の操作スイッチ３２はＣＧ画像で表される。このように、操作画像において、選択スイッチの画像と他の操作スイッチ３２の画像とを異なる態様で表示されることにより、運転者は選択スイッチを操作画像５０上で容易に把握することができる。従って、所望の操作スイッチ３２を容易に操作することができる。 In the operation image 50, the selection switch is represented by a photographed image, and the other operation switches 32 are represented by CG images. In this manner, by displaying the image of the selection switch and the image of the other operation switch 32 in different manners in the operation image, the driver can easily recognize the selection switch on the operation image 50. Therefore, the desired operation switch 32 can be easily operated.

あるいは、操作画像５０において、選択スイッチは撮影画像で表され、他の操作スイッチ３２は記号または文字で表される。このように、操作画像において、選択スイッチの画像と他の操作スイッチ３２の画像とを異なる態様で表示されることにより、運転者は選択スイッチを操作画像５０上で容易に把握することができる。従って、運転者は所望の操作スイッチ３２を容易に操作することができる。 Alternatively, in the operation image 50, the selection switch is represented by a captured image, and the other operation switches 32 are represented by symbols or characters. In this manner, by displaying the image of the selection switch and the image of the other operation switch 32 in different manners in the operation image, the driver can easily recognize the selection switch on the operation image 50. Therefore, the driver can easily operate the desired operation switch 32.

あるいは、操作画像５０において、選択スイッチは他の操作スイッチ３２よりも高い明瞭度で表示される。従って、運転者は操作画像上で、選択スイッチを容易に把握することができる。これにより、運転者は所望の操作スイッチ３２を容易に操作することができる。 Alternatively, in the operation image 50, the selection switch is displayed with higher clarity than the other operation switches 32. Therefore, the driver can easily grasp the selection switch on the operation image. As a result, the driver can easily operate the desired operation switch 32.

また、表示装置２１がヘッドアップディスプレイ（ＨＵＤ）であれば、運転者は視線を運転時の通常の方向から大きく移動することなく操作画像５０を視認することができるため、操作画像５０を見ながら容易に操作スイッチ３２を操作することができる。 Further, if the display device 21 is a head-up display (HUD), the driver can visually recognize the operation image 50 without moving his or her line of sight from the normal direction during driving, and therefore, while watching the operation image 50. The operation switch 32 can be easily operated.

あるいは、表示装置２１がインスツルメントクラスタディスプレイ（ＩＣＤ）である場合、ＩＣＤはハンドルの奥側など、運転者が視線を運転中の通常の方向から大きく移動することなく視認できる位置に設けられているため、運転者は操作画像５０を見ながら容易に操作スイッチ３２を操作することができる。 Alternatively, when the display device 21 is an instrument cluster display (ICD), the ICD is provided at a position such as the back of the steering wheel where the driver can visually recognize the line of sight without greatly moving from the normal direction during driving. Therefore, the driver can easily operate the operation switch 32 while looking at the operation image 50.

また、操作画像５０が立体視画像であり、操作画像５０が裸眼立体視表示機能を有する表示装置２１に表示される場合、運転者は操作画像５０から指示体と操作スイッチとの位置関係をより直感的に理解することができる。従って、運転者は所望の操作スイッチ３２を容易に選択することができる。 In addition, when the operation image 50 is a stereoscopic image and the operation image 50 is displayed on the display device 21 having the naked-eye stereoscopic display function, the driver further determines the positional relationship between the indicator and the operation switch from the operation image 50. Can be intuitively understood. Therefore, the driver can easily select the desired operation switch 32.

操作画像作成部１３は、選択スイッチの操作内容が選択スイッチに付記表示される操作画像５０を作成する。従って、運転者は操作画像５０から選択スイッチの操作内容を容易に把握することができる。 The operation image creation unit 13 creates the operation image 50 in which the operation content of the selection switch is additionally displayed on the selection switch. Therefore, the driver can easily understand the operation content of the selection switch from the operation image 50.

実施の形態２の変形例２に係る操作支援装置１０２Ａにおいて、指示体は車両Ａの運転者の手指であり、指示情報は、手指の形状の情報を含み、スイッチ選択部１２は、手指の形状に対応した操作スイッチ３２から選択スイッチを選択する。従って、操作支援装置１０２Ａによれば運転者の意図に沿った選択スイッチを精度よく選択することができる。 In the operation support device 102A according to the second modification of the second embodiment, the indicator is the finger of the driver of the vehicle A, the instruction information includes information on the shape of the finger, and the switch selection unit 12 determines the shape of the finger. The selection switch is selected from the operation switches 32 corresponding to. Therefore, according to the operation support device 102A, it is possible to accurately select the selection switch according to the driver's intention.

実施の形態２の変形例２に係る操作支援装置１０２Ｂは、操作支援装置１０２の構成に加えて、車両Ａの室内温度またはガラスの曇り状況に関する情報を含む車内情報を取得する車内情報取得部１５を備える。また、スイッチ選択部１２は、車両情報に対応した操作スイッチ３２から選択スイッチを選択する。従って、操作支援装置１０２Ｂによれば運転者の意図に沿った選択スイッチを精度よく選択することができる。 In addition to the configuration of the operation support device 102, the operation support device 102B according to the second modification of the second embodiment acquires the in-vehicle information acquisition unit 15 that acquires the in-vehicle information including the information about the indoor temperature of the vehicle A or the cloudiness of the glass. Equipped with. Further, the switch selection unit 12 selects a selection switch from the operation switches 32 corresponding to the vehicle information. Therefore, according to the operation support device 102B, the selection switch according to the driver's intention can be accurately selected.

＜Ｃ．実施の形態３＞
＜Ｃ−１．構成＞
図１４は、実施の形態３に係る操作支援装置１０３の構成を示すブロック図である。操作支援装置１０３は、実施の形態２に係る操作支援装置１０２の構成において、装置制御部１６をさらに備え、指示情報取得部１１がジェスチャ取得部１１Ｂを備えるものであり、これ以外の操作支援装置１０３の構成は操作支援装置１０２と同様である。<C. Third Embodiment>
<C-1. Composition>
FIG. 14 is a block diagram showing the configuration of the operation support device 103 according to the third embodiment. The operation support device 103 includes the device control unit 16 in the configuration of the operation support device 102 according to the second embodiment, the instruction information acquisition unit 11 includes the gesture acquisition unit 11B, and other operation support devices. The configuration of 103 is the same as that of the operation support device 102.

指示体検出装置２４は、指示体である手指の操作パネル２２に対する位置および指示方向を検出し、これらの検出結果を指示情報として指示情報取得部１１に出力する。 The pointer detection device 24 detects the position and the pointing direction of the finger, which is the pointer, with respect to the operation panel 22, and outputs the detection results as the pointing information to the pointing information acquisition unit 11.

ジェスチャ取得部１１Ｂは、指示情報から一定期間の手指の動きを読み取り、ジェスチャ操作を検出する。すなわち、ジェスチャ取得部１１Ｂには手指の特定の動作がジェスチャ操作として登録されており、指示情報から取得した手指の動きを登録されたジェスチャ操作と比較することによってジェスチャ操作を検出する。なお、ここではジェスチャ取得部１１Ｂがジェスチャ操作を検出することを説明しているが、指示体検出装置２４がジェスチャ操作の検出を行い、その検出結果をジェスチャ取得部１１Ｂが取得する構成であっても良い。 The gesture acquisition unit 11B detects the gesture operation by reading the movement of the finger for a certain period from the instruction information. That is, a specific motion of a finger is registered as a gesture operation in the gesture acquisition unit 11B, and the gesture operation is detected by comparing the motion of the finger acquired from the instruction information with the registered gesture operation. Although the gesture acquisition unit 11B has been described here to detect the gesture operation, the pointer detection device 24 detects the gesture operation, and the gesture acquisition unit 11B acquires the detection result. Is also good.

ジェスチャ操作は、操作スイッチに対する非接触の動作であり、例えばボタン形状の手指を操作スイッチ３２に瞬間的に近づけてから離す動作（以下、これを「プッシュ操作」と称する）と、手指をダイヤル形状にしてダイヤルを回す動作（以下、これを「ダイヤル操作」と称する）とがある。 The gesture operation is a non-contact operation with respect to the operation switch, and, for example, an operation of momentarily bringing the button-shaped finger close to the operation switch 32 and then releasing it (hereinafter, referred to as “push operation”) and a finger-shaped operation. There is an operation of turning the dial (hereinafter, referred to as "dial operation").

ジェスチャ取得部１１Ｂは、ジェスチャ操作を検出すると装置制御部１６に検出したジェスチャ操作の情報を出力する。 When the gesture acquisition unit 11B detects a gesture operation, the gesture acquisition unit 11B outputs information about the detected gesture operation to the device control unit 16.

装置制御部１６は、ジェスチャ取得部１１Ｂが検出したジェスチャ操作に沿って、操作対象装置２３を制御する。従って、運転者は操作スイッチ３２を触ることなく、操作対象装置２３を操作することが可能になる。 The device control unit 16 controls the operation target device 23 in accordance with the gesture operation detected by the gesture acquisition unit 11B. Therefore, the driver can operate the operation target device 23 without touching the operation switch 32.

＜Ｃ−２．動作＞
図１５は、操作支援装置１０３の動作を示すフローチャートである。以下、図１５のフローに沿って操作支援装置１０３の動作を説明する。<C-2. Operation>
FIG. 15 is a flowchart showing the operation of the operation support device 103. The operation of the operation support device 103 will be described below with reference to the flow of FIG.

図１５のステップＳ３０１からステップＳ３０６までは、図２のステップＳ１０１からステップＳ１０６までと同様である。ステップＳ３０６で操作画像を表示装置２１に表示させた後、ジェスチャ取得部１１Ｂはジェスチャ操作の有無を判断する（ステップＳ３０７）。 Steps S301 to S306 in FIG. 15 are the same as steps S101 to S106 in FIG. After displaying the operation image on the display device 21 in step S306, the gesture acquisition unit 11B determines whether or not there is a gesture operation (step S307).

例えば操作画像を表示装置２１に表示してから一定期間の間、ジェスチャ操作がなければ、操作支援装置１０３はそのまま処理を終了する。一方、操作画像を表示装置２１に表示してから一定期間の間にジェスチャ操作があれば、装置制御部１６がジェスチャ操作に対応した操作対象装置２３の制御を行う（ステップＳ３０８）。以上で、操作支援装置１０３の処理を終了する。 For example, if there is no gesture operation for a certain period after the operation image is displayed on the display device 21, the operation support device 103 ends the process as it is. On the other hand, if there is a gesture operation within a certain period after the operation image is displayed on the display device 21, the device control unit 16 controls the operation target device 23 corresponding to the gesture operation (step S308). This is the end of the process of the operation support device 103.

図１６は、運転者がプッシュ操作を行う際の操作画像５０を示す図である。このとき、装置制御部１６は、選択スイッチが操作された場合に行う操作対象装置２３の制御を実行する。選択スイッチが複数存在する場合には、装置制御部１６は例えば手指から最も近い位置にある選択スイッチが操作された場合に行う操作対象装置２３の制御を実行する。 FIG. 16 is a diagram showing an operation image 50 when the driver performs a push operation. At this time, the device control unit 16 executes control of the operation target device 23 performed when the selection switch is operated. When there are a plurality of selection switches, the device control unit 16 executes the control of the operation target device 23 performed when the selection switch located closest to the finger is operated, for example.

図１７は、運転者がダイヤル操作を行う際の操作画像５０を示す図である。このとき、装置制御部１６は、ダイヤル操作の回転方向に応じて、選択スイッチが操作された場合に行う操作対象装置２３の制御を実行する。例えば、装置制御部１６は、運転者がダイヤルを右に回すジェスチャ操作を行った場合には、ダイヤル形状の選択スイッチが右に回されたときに行う操作対象装置２３の制御を実行する。 FIG. 17 is a diagram showing an operation image 50 when the driver performs a dial operation. At this time, the device control unit 16 executes control of the operation target device 23 performed when the selection switch is operated according to the rotation direction of the dial operation. For example, when the driver performs a gesture operation of turning the dial to the right, the device control unit 16 executes control of the operation target device 23 performed when the dial-shaped selection switch is turned to the right.

＜Ｃ−３．効果＞
実施の形態３において、指示体は車両Ａの乗員の手指であり、操作支援装置１０３は、実施の形態１に係る操作支援装置１０１の構成に加えて、手指を用いたジェスチャ操作を取得するジェスチャ取得部１１Ｂと、ジェスチャ操作に基づき選択スイッチの操作内容を実行して操作対象装置を制御する装置制御部１６と、を備える。従って、運転者は操作パネル２２に触れることなく選択スイッチを操作することができる。<C-3. Effect>
In the third embodiment, the indicator is the finger of the occupant of the vehicle A, and the operation support device 103 has, in addition to the configuration of the operation support device 101 according to the first embodiment, a gesture for acquiring a gesture operation using the finger. The acquisition unit 11B and the device control unit 16 that executes the operation content of the selection switch based on the gesture operation and controls the operation target device are provided. Therefore, the driver can operate the selection switch without touching the operation panel 22.

＜Ｄ．ハードウェア構成＞
上述した操作支援装置１０１，１０２，１０２Ａ，１０２Ｂ，１０３における、指示情報取得部１１、スイッチ選択部１２、操作画像作成部１３、表示制御部１４、車内情報取得部１５および装置制御部１６は、図１８に示す処理回路８１により実現される。すなわち、処理回路８１は、指示情報取得部１１、スイッチ選択部１２、操作画像作成部１３、表示制御部１４、車内情報取得部１５および装置制御部１６（以下、「指示情報取得部１１等」と称する）を備える。処理回路８１には、専用のハードウェアが適用されても良いし、メモリに格納されるプログラムを実行するプロセッサが適用されても良い。プロセッサは、例えば中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）等である。<D. Hardware configuration>
The instruction information acquisition unit 11, the switch selection unit 12, the operation image creation unit 13, the display control unit 14, the in-vehicle information acquisition unit 15, and the device control unit 16 in the operation support devices 101, 102, 102A, 102B, and 103 described above are It is realized by the processing circuit 81 shown in FIG. That is, the processing circuit 81 includes the instruction information acquisition unit 11, the switch selection unit 12, the operation image creation unit 13, the display control unit 14, the in-vehicle information acquisition unit 15, and the device control unit 16 (hereinafter, “instruction information acquisition unit 11 and the like”). Called). Dedicated hardware may be applied to the processing circuit 81, or a processor that executes a program stored in the memory may be applied. The processor is, for example, a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a DSP (Digital Signal Processor), or the like.

処理回路８１が専用のハードウェアである場合、処理回路８１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものが該当する。指示情報取得部１１等の各部の機能それぞれは、複数の処理回路８１で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。 When the processing circuit 81 is dedicated hardware, the processing circuit 81 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable). Gate Array), or a combination of these. Each function of each unit such as the instruction information acquisition unit 11 may be realized by a plurality of processing circuits 81, or the functions of each unit may be collectively realized by one processing circuit.

処理回路８１がプロセッサである場合、指示情報取得部１１等の機能は、ソフトウェア等（ソフトウェア、ファームウェアまたはソフトウェアとファームウェア）との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリに格納される。図１９に示すように、処理回路８１に適用されるプロセッサ８２は、メモリ８３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、操作支援装置１０１は、処理回路８１により実行されるときに、車両Ａに搭載された操作対象装置２３を操作するための操作パネル２２を車両Ａの運転者が指示体を用いて操作する際の、操作パネル２２に対する指示体の位置または指示体の指示方向を含む指示情報を取得するステップと、指示情報に基づき、操作パネル２２が有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択するステップと、指示体を表す指示体画像を指示情報に基づき、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す操作パネル画像に合成して操作画像を作成するステップと、車両Ａに搭載された表示装置２１に操作画像を表示させるステップと、が結果的に実行されることになるプログラムを格納するためのメモリ８３を備える。換言すれば、このプログラムは、指示情報取得部１１等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ８３には、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disk）及びそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。 When the processing circuit 81 is a processor, the functions of the instruction information acquisition unit 11 and the like are realized by a combination of software and the like (software, firmware or software and firmware). The software and the like are written as a program and stored in the memory. As shown in FIG. 19, the processor 82 applied to the processing circuit 81 realizes the function of each unit by reading and executing the program stored in the memory 83. That is, when the operation support device 101 is executed by the processing circuit 81, the driver of the vehicle A operates the operation panel 22 for operating the operation target device 23 mounted on the vehicle A using the indicator. In this case, a step of acquiring instruction information including the position of the indicator with respect to the operation panel 22 or the pointing direction of the indicator, and one or more operation switches from among the plurality of operation switches included in the operation panel 22 based on the instruction information. Is selected as a selection switch, and a pointer image representing the pointer is operated based on the instruction information by synthesizing the non-selection switch, which is an operation switch other than the selection switch, and the selection switch into operation panel images representing different modes. A memory 83 is provided for storing a program that results in the step of creating an image and the step of displaying the operation image on the display device 21 mounted on the vehicle A. In other words, it can be said that this program causes a computer to execute the procedure or method of the instruction information acquisition unit 11 or the like. Here, the memory 83 is a nonvolatile memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), or an EEPROM (Electrically Erasable Programmable Read Only Memory). Or volatile semiconductor memory, HDD (Hard Disk Drive), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (Digital Versatile Disk) and its drive device, or any storage medium used in the future. It may be.

以上、指示情報取得部１１等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、指示情報取得部１１等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、スイッチ選択部１２については専用のハードウェアとしての処理回路でその機能を実現し、それ以外についてはプロセッサ８２としての処理回路８１がメモリ８３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。 The configuration in which each function of the instruction information acquisition unit 11 or the like is realized by either hardware or software has been described above. However, the configuration is not limited to this, and a configuration in which a part of the instruction information acquisition unit 11 and the like is realized by dedicated hardware and another part is realized by software and the like may be used. For example, for the switch selection unit 12, its function is realized by a processing circuit as dedicated hardware, and for other than that, the processing circuit 81 as the processor 82 reads and executes a program stored in the memory 83, It is possible to realize the function.

以上のように、処理回路は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。 As described above, the processing circuit can realize each function described above by hardware, software, or a combination thereof.

また、上記では操作支援装置１０１，１０２，１０２Ａ，１０２Ｂ，１０３を車載装置として説明したが、車載装置、ＰＮＤ（Portable Navigation Device）、通信端末（例えば携帯電話、スマートフォン、およびタブレットなどの携帯端末）、およびこれらにインストールされるアプリケーションの機能、並びにサーバなどを適宜に組み合わせてシステムとして構築されるシステムにも適用することができる。この場合、以上で説明した操作支援装置１０１，１０２，１０２Ａ，１０２Ｂ，１０３の各機能または各構成要素は、システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。図２０には、車両ＡとサーバＳによる操作支援装置１０１の構成例を示している。図２０に示すように、操作支援装置１０１の構成のうち、指示情報取得部１１と表示制御部１４が車両Ａに配置され、スイッチ選択部１２と操作画像作成部１３がサーバＳに配置される。 Although the operation support devices 101, 102, 102A, 102B, and 103 have been described above as on-vehicle devices, on-vehicle devices, PNDs (Portable Navigation Devices), communication terminals (for example, mobile terminals such as mobile phones, smartphones, and tablets). , And the functions of applications installed therein, and a server and the like are appropriately combined to be applied to a system constructed as a system. In this case, each function or each component of the operation support devices 101, 102, 102A, 102B, 103 described above may be distributed and arranged in each device constituting the system, or may be arranged in any device. They may be arranged centrally. FIG. 20 shows a configuration example of the operation support device 101 including the vehicle A and the server S. As shown in FIG. 20, in the configuration of the operation support device 101, the instruction information acquisition unit 11 and the display control unit 14 are arranged in the vehicle A, and the switch selection unit 12 and the operation image creation unit 13 are arranged in the server S. ..

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。この発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。 It should be noted that, in the present invention, the respective embodiments can be freely combined, or the respective embodiments can be appropriately modified or omitted within the scope of the invention. Although the present invention has been described in detail, the above description is illustrative in all aspects, and the present invention is not limited thereto. It is understood that innumerable variants not illustrated can be envisaged without departing from the scope of the invention.

１１ 指示情報取得部、１１Ａ 手形検出部、１１Ｂ ジェスチャ取得部、１２ スイッチ選択部、１３ 操作画像作成部、１４ 表示制御部、１５ 車内情報取得部、１６ 装置制御部、２１ 表示装置、２２ 操作パネル、２３ 操作対象装置、２４ 指示体検出装置、８１ 処理回路、８２ プロセッサ、８３ メモリ。 11 instruction information acquisition unit, 11A bill detection unit, 11B gesture acquisition unit, 12 switch selection unit, 13 operation image creation unit, 14 display control unit, 15 in-vehicle information acquisition unit, 16 device control unit, 21 display device, 22 operation panel , 23 operation target device, 24 pointer detection device, 81 processing circuit, 82 processor, 83 memory.

Claims (13)

車両に搭載された操作対象装置を操作するための操作パネルを前記車両の運転者が指示体を用いて操作する際の、前記操作パネルに対する前記指示体の位置または前記指示体の指示方向を含む指示情報を取得する指示情報取得部と、
前記車両の室内温度またはガラスの曇り状況に関する情報を含む車内情報を取得する車内情報取得部と、
前記指示情報に基づき、前記操作パネルが有する複数の操作スイッチの中から前記車内情報に対応した１又は複数の前記操作スイッチを選択スイッチとして選択するスイッチ選択部と、
前記指示体を表す指示体画像を、前記指示情報に基づき、前記操作パネルにおける前記複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成する操作画像作成部と、
前記車両に搭載された表示装置に、前記操作画像を表示させる表示制御部と、を備え、
前記操作画像は、前記選択スイッチではない前記操作スイッチである非選択スイッチと前記選択スイッチとを異なる態様で表す画像である、
操作支援装置。 When the driver of the vehicle operates the operation panel for operating the operation target device mounted on the vehicle with the indicator, the position of the indicator with respect to the operation panel or the pointing direction of the indicator is included. An instruction information acquisition unit for acquiring instruction information,
An in-vehicle information acquisition unit for acquiring in-vehicle information including information on an indoor temperature of the vehicle or a cloudy state of glass,
A switch selection unit that selects one or more of the operation switches corresponding to the in-vehicle information as a selection switch from among a plurality of operation switches included in the operation panel based on the instruction information;
An operation image creation unit that creates an operation image by synthesizing a pointer image that represents the pointer with an operation panel image that represents the arrangement of the plurality of operation switches on the operation panel based on the instruction information.
The display device mounted on the vehicle, a display control unit for displaying the operation image,
The operation image is and said selection switch and the non-selection switch is the operation switch is not at the selected switch image representing differently,
Operation support device. 前記スイッチ選択部は、前記車両情報に対応した１又は複数の前記操作スイッチの中から前記指示体からの距離が短い順に１又は複数の前記操作スイッチを前記選択スイッチとして選択する、
請求項１に記載の操作支援装置。 The switch selection unit selects one or more of the operation switches as the selection switch in the order of increasing distance from the indicator from among the one or more operation switches corresponding to the vehicle information .
The operation support device according to claim 1. 前記操作画像において、前記選択スイッチは撮影画像で表され、他の前記操作スイッチはＣＧ画像で表される、
請求項１に記載の操作支援装置。 In the operation image, the selection switch is represented by a captured image, and the other operation switches are represented by CG images,
The operation support device according to claim 1. 前記操作画像において、前記選択スイッチは撮影画像で表され、他の前記操作スイッチは記号または文字で表される、
請求項１に記載の操作支援装置。 In the operation image, the selection switch is represented by a photographed image, and the other operation switches are represented by symbols or characters,
The operation support device according to claim 1. 前記操作画像において、前記選択スイッチは他の前記操作スイッチよりも高い明瞭度で表示される、
請求項１に記載の操作支援装置。 In the operation image, the selection switch is displayed with higher clarity than the other operation switches,
The operation support device according to claim 1. 前記表示装置はヘッドアップディスプレイである、
請求項１に記載の操作支援装置。 The display device is a head-up display,
The operation support device according to claim 1. 前記表示装置はインスツルメントクラスタディスプレイである、
請求項１に記載の操作支援装置。 The display device is an instrument cluster display,
The operation support device according to claim 1. 前記操作パネル画像および前記指示体画像は立体視画像であり、
前記操作画像作成部は、前記指示体画像と前記操作パネル画像とを立体視画像として合成し、
前記表示装置は、裸眼立体視表示機能を有する、
請求項１に記載の操作支援装置。 The operation panel image and the indicator image are stereoscopic images,
The operation image creation unit synthesizes the indicator image and the operation panel image as a stereoscopic image,
The display device has a naked-eye stereoscopic display function,
The operation support device according to claim 1. 前記操作画像作成部は、前記選択スイッチの操作内容が前記選択スイッチに付記表示される前記操作パネル画像を作成する、
請求項１に記載の操作支援装置。 The operation image creation unit creates the operation panel image in which the operation content of the selection switch is additionally displayed on the selection switch,
The operation support device according to claim 1. 車両に搭載された操作対象装置を操作するための操作パネルを前記車両の運転者が指示体を用いて操作する際の、前記操作パネルに対する前記指示体の位置または前記指示体の指示方向を含む指示情報を取得する指示情報取得部と、
前記指示情報に基づき、前記操作パネルが有する複数の操作スイッチの中から１又は複数の前記操作スイッチを選択スイッチとして選択するスイッチ選択部と、
前記指示体を表す指示体画像を、前記指示情報に基づき、前記操作パネルにおける前記複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成する操作画像作成部と、
前記車両に搭載された表示装置に、前記操作画像を表示させる表示制御部と、を備え、
前記操作画像は、前記選択スイッチではない前記操作スイッチである非選択スイッチと前記選択スイッチとを異なる態様で表す画像であり、
前記指示体は前記車両の乗員の手指であり、
前記指示情報は、前記手指の形状の情報を含み、
前記操作パネルは、前記手指による操作方法が異なる複数の前記操作スイッチを有し、
前記スイッチ選択部は、前記手指の形状に対応した操作方法で操作される前記操作スイッチから前記選択スイッチを選択する、
操作支援装置。 When the driver of the vehicle operates the operation panel for operating the operation target device mounted on the vehicle with the indicator, the position of the indicator with respect to the operation panel or the pointing direction of the indicator is included. An instruction information acquisition unit for acquiring instruction information,
A switch selection unit that selects one or a plurality of the operation switches as a selection switch from a plurality of operation switches included in the operation panel based on the instruction information;
An operation image creation unit that creates an operation image by synthesizing a pointer image representing the pointer with an operation panel image representing the arrangement of the plurality of operation switches on the operation panel based on the instruction information.
The display device mounted on the vehicle, a display control unit for displaying the operation image,
The operation image is an image showing the non-selection switch and the selection switch, which are the operation switches other than the selection switch, in different modes,
The indicator is a finger of an occupant of the vehicle,
The instruction information includes information on the shape of the finger,
The operation panel has a plurality of operation switches that are different in operation method with the fingers,
The switch selection unit selects the selection switch from the operation switches operated by an operation method corresponding to the shape of the finger ,
Operation support device. 前記手指による操作方法が異なる複数の前記操作スイッチは、ダイヤル形状の前記操作スイッチと、ボタン形状の前記操作スイッチとを含む、 The plurality of operation switches having different operation methods with the fingers include the dial-shaped operation switch and the button-shaped operation switch,
請求項１０に記載の操作支援装置。The operation support device according to claim 10. 前記指示体は前記車両の乗員の手指であり、
前記手指を用いたジェスチャ操作を取得するジェスチャ取得部と、
前記ジェスチャ操作に基づき前記選択スイッチの操作内容を実行して前記操作対象装置を制御する装置制御部と、をさらに備える、
請求項９に記載の操作支援装置。 The indicator is a finger of an occupant of the vehicle,
A gesture acquisition unit that acquires a gesture operation using the fingers,
And a device control unit that executes the operation content of the selection switch based on the gesture operation to control the operation target device.
The operation support device according to claim 9. 車両に搭載された操作対象装置を操作するための操作パネルを前記車両の運転者が指示体を用いて操作する際の、前記操作パネルに対する前記指示体の位置または前記指示体の指示方向を含む指示情報を取得し、
前記車両の室内温度またはガラスの曇り状況に関する情報を含む車内情報を取得し、
前記指示情報に基づき、前記操作パネルが有する複数の操作スイッチの中から前記車内情報に対応した１又は複数の前記操作スイッチを選択スイッチとして選択し、
前記指示体を表す指示体画像を、前記指示情報に基づき、前記操作パネルにおける前記複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成し、
前記車両に搭載された表示装置に、前記操作画像を表示させる、
操作支援方法であって、
前記操作画像は、前記選択スイッチではない前記操作スイッチである非選択スイッチと前記選択スイッチとを異なる態様で表す画像である、
操作支援方法。 When the driver of the vehicle operates the operation panel for operating the operation target device mounted on the vehicle with the indicator, the position of the indicator with respect to the operation panel or the pointing direction of the indicator is included. Get instruction information,
Obtaining in-vehicle information including information on the indoor temperature of the vehicle or the cloudiness of the glass,
Based on the instruction information, one or a plurality of operation switches corresponding to the in-vehicle information is selected as a selection switch from a plurality of operation switches included in the operation panel,
A pointer image representing the pointer is combined with an operation panel image representing the arrangement of the plurality of operation switches on the operation panel based on the instruction information to create an operation image,
Displaying the operation image on a display device mounted on the vehicle,
An operation support method,
The operation image is and said selection switch and the non-selection switch is the operation switch is not at the selected switch image representing differently,
Operation support method.
JP2019530277A 2017-07-19 2017-07-19 Operation support device and operation support method Active JP6727441B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/026013 WO2019016878A1 (en) 2017-07-19 2017-07-19 Operation support device and operation support method

Publications (2)

Publication Number Publication Date
JPWO2019016878A1 JPWO2019016878A1 (en) 2019-11-07
JP6727441B2 true JP6727441B2 (en) 2020-07-22

Family

ID=65016631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019530277A Active JP6727441B2 (en) 2017-07-19 2017-07-19 Operation support device and operation support method

Country Status (2)

Country Link
JP (1) JP6727441B2 (en)
WO (1) WO2019016878A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7255619B2 (en) * 2021-03-19 2023-04-11 横河電機株式会社 Information processing device, information processing method, information processing program, and information processing system
JP7639788B2 (en) 2022-07-21 2025-03-05 トヨタ自動車株式会社 Vehicle display control device, vehicle display method, and vehicle display program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000006687A (en) * 1998-06-25 2000-01-11 Yazaki Corp In-vehicle equipment switch safety operation system
JP2001216069A (en) * 2000-02-01 2001-08-10 Toshiba Corp Operation inputting device and direction detecting method
JP4426785B2 (en) * 2002-08-30 2010-03-03 ユニ・チャーム株式会社 Pants-type disposable diapers
JP3742951B2 (en) * 2002-10-25 2006-02-08 学校法人慶應義塾 Hand pattern switch device
JP5086560B2 (en) * 2006-04-12 2012-11-28 トヨタ自動車株式会社 Input device
JP4356763B2 (en) * 2007-01-30 2009-11-04 トヨタ自動車株式会社 Operating device

Also Published As

Publication number Publication date
WO2019016878A1 (en) 2019-01-24
JPWO2019016878A1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
CN102224479B (en) Input device, apparatus for monitoring area around vehicle, method for selecting icon switch, and program
JP6900133B2 (en) Gesture operation device and gesture operation method
US20150169195A1 (en) Multi-operating system and method using touch pad of operating system of vehicle
CN109643219B (en) Method for interacting with image content presented on a display device in a vehicle
JP2010184600A (en) Onboard gesture switch device
JP7338184B2 (en) Information processing device, information processing system, moving body, information processing method, and program
JP6851482B2 (en) Operation support device and operation support method
US20180307405A1 (en) Contextual vehicle user interface
US10960898B2 (en) Method and arrangement for interacting with a suggestion system having automated operations
JP6844936B2 (en) Display control device
JP6727441B2 (en) Operation support device and operation support method
CN104937531A (en) Method of operation and operating system in a vehicle
JP2010173584A (en) Operating device
US20220234444A1 (en) Input device
CN108340783B (en) Vehicle input device and control method for vehicle input device
WO2015083267A1 (en) Display control device, and display control method
JP2017047781A (en) In-vehicle information processing equipment
CN107977179B (en) Method and device for cross-screen display and/or operation in a vehicle
JP2020160856A (en) Display controller, gui device, method, and gui program
EP2614417B1 (en) Method for operating a driver assistance device, driver assistance device and vehicle with a driver assistance device
EP3361367A1 (en) In-vehicle input device, in-vehicle input system, and in-vehicle input device control method
JP2005313722A (en) Operation display device of on-vehicle equipment and operation display method thereof
US10788904B2 (en) In-vehicle information processing system
JP6400352B2 (en) Vehicle periphery display device
JP2017197016A (en) On-board information processing system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190717

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200630

R150 Certificate of patent or registration of utility model

Ref document number: 6727441

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350