[go: up one dir, main page]

WO2024004132A1 - オペレーションデバイスおよびその制御方法と制御プログラム - Google Patents

オペレーションデバイスおよびその制御方法と制御プログラム Download PDF

Info

Publication number
WO2024004132A1
WO2024004132A1 PCT/JP2022/026207 JP2022026207W WO2024004132A1 WO 2024004132 A1 WO2024004132 A1 WO 2024004132A1 JP 2022026207 W JP2022026207 W JP 2022026207W WO 2024004132 A1 WO2024004132 A1 WO 2024004132A1
Authority
WO
WIPO (PCT)
Prior art keywords
capacitance
area
push switch
physical
physical operation
Prior art date
Application number
PCT/JP2022/026207
Other languages
English (en)
French (fr)
Inventor
則夫 五島
英一郎 鬼頭
尚 永井
拓 青山
Original Assignee
株式会社レスターエレクトロニクス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社レスターエレクトロニクス filed Critical 株式会社レスターエレクトロニクス
Priority to JP2022540975A priority Critical patent/JP7161083B1/ja
Priority to PCT/JP2022/026207 priority patent/WO2024004132A1/ja
Priority to JP2022164982A priority patent/JP2024006867A/ja
Publication of WO2024004132A1 publication Critical patent/WO2024004132A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • the present invention relates to an operation device, its control method, and control program.
  • Patent Document 1 discloses a technology in which a mechanical actuator such as a switch, dial, or slider is placed on a touch sensing device to configure an input control device.
  • a mechanical actuator such as a switch, dial, or slider
  • Non-contact touch sensing using capacitance has also been suggested.
  • An object of the present invention is to provide a technology that solves the above problems.
  • the device includes: A display panel that has an operation detection function and an image display function using changes in capacitance; a physical operation unit that is attached to the surface of the display panel and whose position and/or orientation change at least one of the user's operations; a control unit that detects a change in at least one of the position and orientation of the physical operation unit using a capacitance value;
  • An operation device comprising: The operation device is an operation device that detects a change in the capacitance with different capacitance sensitivities in a first area on the display panel where the physical operation unit is attached and a second area other than the first area.
  • the method according to the present invention includes: A display panel that has an operation detection function and an image display function using changes in capacitance; a physical operation unit that is attached to the surface of the display panel and whose position and/or orientation change at least one of the user's operations; a control unit that detects a change in at least one of the position and orientation of the physical operation unit using a capacitance value;
  • a method for controlling an operation device comprising: a first detection step of detecting a change in the capacitance with a first capacitance sensitivity in a first area on the display panel where the physical operation unit is attached; a second detection step of detecting a change in the capacitance with a second capacitance sensitivity different from the first capacitance sensitivity in a second region other than the first region; This is a method of controlling an operation device including.
  • the program according to the present invention A display panel that has an operation detection function and an image display function using changes in capacitance; a physical operation unit that is attached to the surface of the display panel and whose position and/or orientation change at least one of the user's operations; a control unit that detects a change in at least one of the position and orientation of the physical operation unit using a capacitance value;
  • a control program for an operation device comprising: a first detection step of detecting a change in the capacitance with a first capacitance sensitivity in a first area on the display panel where the physical operation unit is attached; a second detection step of detecting a change in the capacitance with a second capacitance sensitivity different from the first capacitance sensitivity in a second region other than the first region;
  • a display panel to which a physical operation unit is attached can be effectively controlled.
  • FIG. 1 is a block diagram showing the configuration of an operation device according to the first embodiment.
  • FIG. 2 is a block diagram showing the configuration of an operation device according to a second embodiment.
  • FIG. 7 is a diagram illustrating different capacitance sensitivities between a region of a physical operation section and a region outside the physical operation section according to the second embodiment.
  • FIG. 7 is a diagram illustrating a dial in a region of a physical operation unit according to a second embodiment.
  • FIG. 7 is a diagram showing the configuration of an area database according to a second embodiment.
  • FIG. 7 is a diagram showing the configuration of a physical operation unit database according to a second embodiment.
  • FIG. 2 is a block diagram showing a hardware configuration of a control unit according to a second embodiment.
  • FIG. 7 is a flowchart showing a processing procedure of a control unit according to a second embodiment.
  • 7 is a flowchart showing the procedure of panel setting processing according to the second embodiment.
  • 7 is a flowchart showing the procedure of input determination processing according to the second embodiment.
  • 7 is a flowchart showing a procedure of operation instruction/display processing according to the second embodiment. It is a figure explaining contact and pushing of a push switch concerning a 3rd embodiment. It is a figure explaining contact and pushing of a push switch concerning a 3rd embodiment.
  • FIG. 7 is a diagram illustrating a slider in a region of a physical operation unit according to a third embodiment.
  • FIG. 7 is a diagram illustrating a rocker switch in a region of a physical operation unit according to a third embodiment.
  • FIG. 7 is a diagram showing the configuration of an area database according to a third embodiment.
  • FIG. 7 is a diagram showing the configuration of a physical operation unit database according to a third embodiment.
  • 12 is a flowchart showing the procedure of panel setting processing according to a third embodiment.
  • 12 is a flowchart illustrating a procedure of input determination processing according to a third embodiment.
  • 12 is a flowchart showing the procedure of operation instruction/display processing according to the third embodiment. It is a figure explaining approach, contact, and pushing of a push switch concerning a 4th embodiment. It is a figure explaining approach, contact, and pushing of a push switch concerning a 4th embodiment. It is a figure showing the composition of the field database concerning a 4th embodiment.
  • FIG. 1 is a diagram showing the configuration of an area database according to a third embodiment.
  • FIG. 7 is a diagram showing the configuration of a physical operation unit database according to a third embodiment.
  • 12 is a flowchart showing the procedure of panel setting processing according to
  • FIG. 7 is a diagram showing the configuration of a physical operation unit database according to a fourth embodiment.
  • 12 is a flowchart illustrating the steps of input determination processing and operation instruction/display processing according to the fourth embodiment.
  • FIG. 7 is a diagram illustrating an operation during calibration of an operation device according to a fifth embodiment. It is a figure showing the composition of the area database concerning a 5th embodiment.
  • 13 is a flowchart showing the procedure of panel setting processing according to the fifth embodiment.
  • 12 is a flowchart illustrating a procedure for calibration processing for areas other than the physical operation unit according to the fifth embodiment.
  • 12 is a flowchart illustrating a procedure for calibrating an area of a physical operation unit according to a fifth embodiment.
  • FIG. 7 is a block diagram showing a system configuration using an operation device according to a sixth embodiment.
  • FIG. 7 is a diagram showing the configuration of a physical operation unit database for use in multiple fields according to a sixth embodiment.
  • FIG. 12 is a diagram showing a system configuration in which an operation device according to a sixth embodiment is mounted on a car.
  • FIG. 7 is a diagram showing a system configuration in which an operation device according to a sixth embodiment is used in the medical field.
  • FIG. 7 is a diagram showing a system configuration in which an operation device according to a sixth embodiment is embedded in a wall.
  • the operation device 100 is a device through which a user performs operation input.
  • the operation device 100 includes a display panel 101, a physical operation section 102, and a control section 103.
  • the display panel 101 has an operation detection function and an image display function using changes in capacitance.
  • the physical operation unit 102 is attached to the surface of the display panel 101, and at least one of its position and orientation changes according to a user's operation.
  • the control unit 103 detects a change in at least one of the position and orientation of the physical operation unit 102 using the capacitance value. Then, the change in capacitance is detected with different capacitance sensitivities in a first region 111 to which the physical operation unit 102 is attached and a second region 112 other than the first region 111 on the display panel 101. .
  • FIG. 2 is a block diagram showing the functional configuration of the operation device 200 according to this embodiment.
  • the operation device 200 according to this embodiment includes a display panel 210, a dial 250 and a push switch 260 as a physical operation unit attached to the surface of the display panel 210, and a control unit 220.
  • the control unit 220 controls a threshold value for converting a change in capacitance in the display panel 210 into an on/off digital signal and/or an amplification degree of the detected capacitance according to an area on the display panel 210. do. Specifically, various user operations are recognized using different threshold values and/or amplification degrees in different regions.
  • the area on the display panel 210 includes a dial area where the dial 250 is attached, a push switch area where the push switch 260 is attached, and a touch area (an area where no physical operation unit is provided). It can be divided into three types.
  • the capacitance sensitivity in the dial area is lower than the capacitance sensitivity in the push switch area.
  • the capacitive sensitivity of the touch area is even lower than that of the dial area. That is, in the touch area, a touch operation by a user can be detected with high accuracy by detecting a change in a predetermined capacitance. In the dial area, smaller changes in capacitance can be detected than in the touch area, making it possible to accurately detect dial operations.
  • the dial may be a rotary knob with a push switch in the center, and in that case, the capacitance sensitivity may be made equal between the dial area and the push switch area.
  • the display panel 210 has a surface cover 211, a dielectric layer 213 for detecting the value of capacitance, and an LCE layer (or LED layer) 214 for display.
  • Physical operation section 212 includes a push switch and a dial. Note that the physical operation section 212 may include a slider.
  • the control unit 220 determines the operation input by the user's finger based on the potential detected from the dielectric layer 213, instructs the execution of the operation according to the operation input, and transmits the operation details and operation results to the LCE layer 214 of the display panel 210. to be displayed.
  • the control unit 220 includes an area database 221, a physical operation unit database 222, a determination area separation unit 223, a physical operation area operation determination unit 224, an operation outside the physical operation area determination unit 225, an operation instruction unit 226, and a display An instruction section 227 is provided.
  • the area database 221 stores information about areas on the display panel 210 where physical operation units are attached and areas where physical operation units are not attached.
  • the physical operation unit database 222 stores operation details corresponding to the position of the physical operation unit in the area. Note that the area database 221 and the physical operation unit database 222 may be stored in advance, or may be stored based on user settings from the setting unit 230. Further, the area database 221 and the physical operation unit database 222 may store information together, rather than separately.
  • the determination area separation unit 223 acquires the current detected from the dielectric layer 213 together with the XY coordinates of the display panel 210, and determines whether the physical operation unit is attached or not attached based on information from the area database 221. or separate.
  • the physical operation area operation determination section 224 detects an operation on the physical operation section based on information from the physical operation section database 222.
  • the physical operation area outside operation determination unit 225 detects an operation outside the physical operation area.
  • the change in capacitance from the dielectric layer 213 may be detected by the control section 220, or the control section 220 may acquire output data from a detection section separate from the control section 220.
  • the operation instruction unit 226 instructs the operation execution unit 240 to execute the operation according to the determination results of the physical operation area operation determination unit 224 and the physical operation area outside operation determination unit 225.
  • the display instruction unit 227 instructs the LCE layer 214 to display the operation according to the determination results of the physical operation area operation determination unit 224 and the physical operation area outside operation determination unit 225, or to display the operation result.
  • FIG. 3A is a diagram illustrating the difference in capacitance sensitivity between an area with a physical operation unit and an area without a physical operation unit.
  • the control unit 220 selects at least one of the amplification degree and the threshold related to the sensitivity of the capacitance used in the physical operation unit area to which the physical operation unit is attached, and the amplification degree and threshold value used in the area outside the physical operation unit area. At least one of the amplification degree and the threshold value used in the region is adjusted to a different value.
  • the sensitivity of the dial area is less than or equal to the sensitivity of the push switch area and higher than the sensitivity of the touch area.
  • FIG. 3A shows capacitance detection results 311 in the push switch area, capacitance detection results 321 in the dial area, and areas where there is no physical operation unit (that is, an area that directly touches the display panel, an area outside the physical operation area).
  • the detection results 331 of the capacitance also referred to as 331) are shown.
  • Push switch 260, dial 250, and panel surface 211 differ in the position of the user's finger (distance and height from the dielectric) during operation.
  • the capacitance detection result is, conversely, Push switch area detection result 311 ⁇ Dial area detection result 321 ⁇ The detection result 331 is outside the physical operation unit area.
  • the degree of amplification of the detected capacitance is set so that the push switch area ⁇ dial area>outside the physical operation unit area.
  • the correspondence between the operation position after amplification and the output corresponding to the capacitance is a graph 313 for the push switch position, a graph 323 for the dial position, and a graph 332 for the area outside the physical operation area (outside the area for the physical operation area is (no amplification).
  • the threshold value for the push switch area (Sh1a), the threshold value for the dial area (Sh1b), and the threshold value outside the physical operation area (Sh2) are such that the presence or absence of operation can be accurately determined from the output after amplification, and , it is desirable to set it to a value that is less affected by noise.
  • the threshold value (Sh1a), the threshold value (Sh1b), and the threshold value (Sh2) may be the same.
  • the threshold value for determining whether there is a user operation is Push switch area threshold (Sh1a) ⁇ Dial area threshold (Sh1b) ⁇ Threshold outside the physical operation area (Sh2) is set to In other words, capacitance sensitivity, as opposed to threshold, Sensitivity of the push switch area>sensitivity of the dial area>sensitivity outside the physical operation area.
  • the combination of amplification degree and threshold value for each region is set according to the position of the user's finger during operation. For example, it is desirable to set the sensitivity of the push switch area ⁇ the sensitivity of the dial area>the sensitivity outside the physical operation unit area.
  • FIG. 3B is a diagram illustrating the operation of the dial 250.
  • the dial 250 includes a non-dielectric dial base portion 351 fixed to the panel surface 211 of the display panel 210 and a non-dielectric dial upper portion 352 rotatably disposed on the dial base portion 351.
  • the positions of the two peaks (above the threshold) corresponding to the approach of the finger change, as shown in the detection result 321 shown on the right side.
  • the amount of operation of the dial 250 is detected from the rotation angle. Note that the operation speed may be detected from the peak rotation speed.
  • FIG. 4A is a diagram showing the configuration of the area database 221 according to this embodiment.
  • the area database 221 includes a determination area separation unit 223 and a physical operation area operation determination unit 224 in order to detect user operations with different capacitance sensitivities in areas where the physical operation unit is attached and areas where the physical operation unit is not attached.
  • the amplification degree and threshold value used by the physical operation area operation determination unit 225 are stored.
  • the area database 221 stores operation types 412 in association with areas 411.
  • push switches and dials are stored as operation types 412 in the physical operation area.
  • a set of amplification degree 413 and threshold value 414 that provide different capacitance sensitivities is stored.
  • the amplification degree 413 is, for example, "2.0" in a push switch region where the output corresponding to a change in capacitance is small, and "1.5” in a digital region where the output corresponding to a change in capacitance is medium.
  • "1.0" is stored outside the physical operation area where the output corresponding to the change in capacitance is large.
  • the threshold value 414 stores a threshold value Th1a for push switch determination, a threshold value Th1b for dial determination, and a threshold value Th2 for determination outside the physical operation area.
  • Th1a for push switch determination
  • Th1b for dial determination
  • Th2 for determination outside the physical operation area.
  • the threshold value Th1a ⁇ threshold value Th1b ⁇ threshold value Th2.
  • FIG. 4B is a diagram showing the configuration of the physical operation unit database 222 according to this embodiment.
  • the area database 221 is used by the physical operation area operation determination unit 224 to determine the type of physical operation (push switch or dial) attached to the physical operation unit based on the position where a change in capacitance is detected. memorize the information that is displayed. Note that in FIG. 4B, the last alphabetical character listed for each physical operation type is added to distinguish cases where the same physical operation type has different corresponding processing contents. The same applies to the subsequent physical operation unit database.
  • the physical operation unit database 222 stores physical operation types 422 in association with areas 421.
  • push switches and dials are stored as physical operation types 422.
  • This information 424, processing contents 425 corresponding to the physical operation type 422 and position information 432, and device operation contents 426 are stored.
  • the device operation content 426 is information indicating what operation the connected device performs when each physical operation section is operated.
  • FIG. 5 is a block diagram showing the hardware configuration of the control unit 220 according to this embodiment. Note that FIG. 5 also shows the display panel 210, setting section 230, and operation execution section 240. Note that in FIG. 5, the same reference numerals are given to the same components as in FIG. 2, and redundant explanation will be omitted.
  • a CPU (Central Processing Unit) 510 is a processor for arithmetic control, and realizes the functional components of FIG. 5 by executing a program. There may be one or more CPUs 510.
  • a ROM (Read Only Memory) 520 stores fixed data and programs such as initial data and programs.
  • a RAM (Random Access Memory) 540 is a random access memory that the CPU 510 uses as a temporary storage work area.
  • the RAM 540 has an area reserved for storing data necessary to implement this embodiment.
  • the capacitance acquisition information 541 is information regarding capacitance acquired from the dielectric layer (capacitance detection section) 213 of the display panel 210 and includes the XY coordinates on the display panel 210.
  • the physical operation area parameters 542 are parameters used in the area where the physical operation section is attached, and include the area coordinates of the physical operation area, the amplification degree and the threshold value to be used.
  • the physical operation determination result 543 is a determination result determined using a threshold value within the physical operation area.
  • the physical operation instruction/display data 544 is data instructing a physical operation corresponding to the physical operation determination result 543 determined based on a threshold within the physical operation area, and corresponding display data.
  • the parameters for outside the physical operation area 545 are parameters used in an area to which no physical operation unit is attached, and include area coordinates other than the physical operation area, an amplification degree, and a threshold value to be used.
  • the non-physical operation determination result 546 is a determination result determined using a threshold value outside the physical operation area.
  • the non-physical operation instruction/display data 544 is data instructing a physical operation corresponding to the non-physical operation determination result 546 determined by a threshold value outside the physical operation area, and the corresponding display data.
  • the storage 550 stores a database and various parameters used by the CPU 510, as well as the following data or programs necessary to realize this embodiment.
  • the area database 221 stores data having the configuration shown in FIG. 4A.
  • the physical operation unit database 222 stores data having the configuration shown in FIG. 4B.
  • the operation device control program 551 is a program that controls the entire operation device 200.
  • the panel setting module 552 is a module for setting the operation area on the display panel 210.
  • the input determination module 553 is a module that determines the user's operational input on the display panel 210.
  • the operation instruction/display module 554 is a module that instructs the execution of an operation corresponding to the determined user operation input and controls the display of the operation or the display of the execution result.
  • the input/output interface 560 interfaces the control unit 220 with external devices and peripheral devices.
  • the setting unit 230 and the operation execution unit 240 (which may be located in another device) are connected.
  • the display panel interface 570 connects the control section 220 to the capacitance detection section (dielectric layer) 213 and display section (LCE layer or LED layer) 214 of the display panel 210.
  • FIG. 6 is a flowchart showing the processing procedure of the control unit 220 according to this embodiment. This flowchart is executed by the CPU 510 in FIG. 5 using the RAM 540, and implements the components of the control unit 220 in FIG.
  • step S601 the control unit 220 executes panel setting processing to set the operation area on the display panel 210.
  • step S603 the control unit 220 executes an input determination process to determine the user's operation input on the display panel 210.
  • step S605 the control unit 220 instructs the execution of the operation corresponding to the determined user operation input, and executes an operation instruction/display process to control the display of the operation or the display of the execution result.
  • FIG. 7A is a flowchart showing the procedure of panel setting processing S601 according to this embodiment.
  • step S711 the control unit 220 obtains and sets (memorizes) the area arrangement on the display panel 210.
  • the control unit 220 acquires the area (XY coordinates) other than the physical operation unit on the display panel 210 and stores it together with the amplification degree and the threshold value. Note that if existing processing is used in areas other than the physical operation section, the amplification degree may not be provided.
  • the control unit 220 acquires the position (XY coordinates) and operation type of the physical operation unit on the display panel 210 and stores them together with the amplification degree and the threshold value.
  • FIG. 7B is a flowchart showing the procedure of input determination processing S603 according to this embodiment.
  • step S721 the control unit 220 acquires the capacitance at each position (XY coordinates) on the display panel 210.
  • step S723 the control unit 220 waits to determine whether a change in capacitance has occurred. If a change in capacitance has occurred, the control unit 220 determines in step S724 whether the location where the change in capacitance has occurred is in the area of the physical operation unit. If it is determined that it is within the area of the physical operation unit, the control unit 220 determines in step S725 whether the position where the change in capacitance has occurred is in the area of the push switch or the area of the dial. If it is in the push switch region, the control unit 220 amplifies the output corresponding to the change in capacitance in step S726.
  • step S728 the control unit 220 determines whether the change in capacitance is greater than or equal to the threshold Th1a. If the change in capacitance is less than the threshold Th1a, the control unit 220 determines that "there is no physical operation by the user" in step S732. On the other hand, if the change in capacitance is equal to or greater than the threshold Th1a, the control unit 220 determines in step S729 that there is a physical operation by the user, and stores the operation execution instruction and operation display instruction corresponding to the push switch position. .
  • step S725 If the determination in step S725 is in the dial area, the control unit 220 amplifies the output corresponding to the change in capacitance in step S727. Then, in step S730, the control unit 220 determines whether the change in capacitance is equal to or greater than a threshold Th1b (Th2>Th1b>Th1a if there is no amplification). If the change in capacitance is less than the threshold Th1b, the control unit 220 determines in step S732 that there is no physical operation by the user.
  • Th1b Th2>Th1b>Th1a if there is no amplification
  • the control unit 220 determines in step S731 that there is a physical operation by the user, and stores the operation execution instruction and operation display instruction corresponding to the dial rotation angle. .
  • step S725 If it is determined in step S725 that the area is outside the area of the physical operation unit, the control unit 220 determines in step S733 whether the change in capacitance is greater than or equal to the threshold Th2 (if there is no amplification, Th2>Th1b>Th1a). Determine. If the change in capacitance is less than the threshold Th2, the control unit 220 determines in step S737 that “there is no operation by the user outside the physical operation unit area”. On the other hand, if the change in capacitance is equal to or greater than the threshold Th2, the control unit 220 determines in step S735 that "the user has performed an operation outside the physical operation unit area" and stores the determination position along with the determination position.
  • Th2 if there is no amplification, Th2>Th1b>Th1a.
  • FIG. 7C is a flowchart showing the procedure of operation instruction/display processing S605 according to this embodiment.
  • step S751 the control unit 220 determines whether the operation area is an area of the physical operation unit or an area other than the physical operation unit based on the determination result in the input determination process S603. If it is determined that the area is a physical operation unit area, the control unit 220 determines in step S752 whether it is a push switch position or a dial area using the determination result stored in input determination process S603. If it is in the push switch area, the control unit 220, in step S753, acquires the operating position from the determination result stored in input determination processing S603. Then, in step S755, the control unit 220 issues an execution instruction and a display instruction for the operation corresponding to the operation position.
  • step S757 acquires the operating position and rotation angle from the determination result stored in input determination processing S603. Then, an instruction to perform the operation and an instruction to display the operation corresponding to the operation position and rotation angle are given.
  • step S751 If it is determined in step S751 that the area is a region other than the physical operation unit, the control unit 220, in step S781, acquires the operation position from the determination result stored in input determination processing S603. Then, an instruction to perform an operation corresponding to the operation position and an instruction to display are issued.
  • the operation device differs from the second embodiment in that it has two levels of operation input in the same physical operation section (push switch) and includes a slider as the physical operation section.
  • a contact state in which the surface of the push switch is contacted and a depressed state in which the push switch is pushed in are distinguished by capacitance.
  • the user's finger slides over multiple push switches, and the user's finger slides while pressing multiple push switches. Make it work as a slider.
  • the other configurations and operations are the same as those in the second embodiment, so the same configurations and operations are given the same reference numerals and detailed explanation thereof will be omitted.
  • FIGS. 8A and 8B are diagrams illustrating contact and depression of the push switch according to this embodiment.
  • a contact state in which the surface of the push switch is contacted and a depressed state in which the push switch is pushed in are distinguished based on the difference in detected capacitance.
  • FIG. 8A the same reference numerals are attached to the same components as in FIG. 3A, and redundant explanation will be omitted.
  • FIG. 8A shows the capacitance detection result 311 when a finger touches a push switch in the push switch area of the physical operation unit area, which corresponds to a user operation, and the capacitance when the push switch is pressed. Detection results 811 are shown.
  • the distance from the surface of the dielectric layer 213 is the distance at the time of contact with the push switch>the distance at the time of pressing the push switch, and conversely, the detection output is the distance at the time of contact with the push switch. Output ⁇ Output when push switch is pressed.
  • the threshold value 813 for determining the operation level of the user operation from the amplified output to the push switch is as follows: Threshold for touching the push switch (Sh1a) ⁇ Threshold for pressing the push switch (Sh1c) It is set so that In other words, the capacitance sensitivity between contact and depression of a push switch is opposite to the threshold value. The sensitivity of touching the push switch is greater than the sensitivity of pressing the push switch.
  • FIG. 8B is a diagram illustrating operation determination with the horizontal axis representing the change in capacitance due to contact and depression of the push switch, and the vertical axis representing the output from the dielectric layer 213 corresponding to the change in capacitance. . Note that in FIG. 8B, the broken line is the output before amplification, and the solid line is the output after amplification with an amplification degree of 2.0.
  • a threshold (Sh1a) is set at the output level at which the point 821 where the user's finger touches the push switch is determined.
  • the threshold value (Sh1c) is set at the output level at which the point 822 at which the user's finger presses the push switch is determined. Below the threshold (Sh1a) is the range that is recognized as non-contact, above the threshold (Sh1a) and below the threshold (Sh1c) is the range that is recognized as contact, and above the threshold (Sh1c) is the range that is recognized as pushing. It is.
  • FIG. 8C is a diagram illustrating sliders 831 to 833 in the area of the physical operation unit according to the present embodiment.
  • the slider 831 has a plurality of transparent push switches.
  • the switch When a user's finger slides on a plurality of transparent push switches, the switch as a whole functions as a slider. Further, since this push switch is of a transmission type (transparent material), it is possible to visually check the display screen of the display panel 210.
  • a state in which the user's finger simply touches and slides on the multiple transparent push switches, and a state in which the user's finger slides while pressing the multiple transparent push switches in order are determined in different steps.
  • the parameters may be changed continuously. Alternatively, the volume of audio playback, etc. may be controlled by sliding a finger while touching a plurality of transparent push switches and detecting the slider amount. Furthermore, by pressing a transparent push switch, a value corresponding to the detected slider amount can be set or determined.
  • the slider 832 functions as a slider when the user's finger slides on one transparent bar without contacting or in contact with it, and the display screen of the display panel 210 becomes transparent.
  • a value corresponding to the slider amount is set or determined, and further processing related to the slider is performed. Execute.
  • the slider 833 is a slider configured to slide an acrylic slider having an acrylic button on a rubber hinge, and allows the display screen of the display panel 210 to be directly viewed. Also in the slider 833, when the finger leaves the acrylic slider or when the acrylic slider stops at the same position for a predetermined time or more, a value corresponding to the slider amount is set or determined, and further processing related to the slider is performed. Execute.
  • FIG. 8D is a diagram illustrating a rocker switch in the area of the physical operation unit according to the present embodiment.
  • the sensitivity is set to be able to detect a change in capacitance when the operation button surface is pressed with a finger and moved from a position far away to a position close to the display panel.
  • the capacitance threshold is the capacitance when the finger on the operation button surface is located at a far distance from the display panel, and the capacitance when the finger on the operation button surface is pressed with a finger and the finger is at a position close to the display panel.
  • the capacitance is set midway between the case and the capacitance.
  • the top surface 841 of the rocker switch in FIG. 8D shows the ON and OFF setting operations of the rocker switch.
  • Rocker switch cross section 842 in FIG. 8D is a side view of the rocker switch, with the rubber binge sandwiched between the acrylic button that the finger contacts and the cover lens of the capacitive touch sensor.
  • the rubber binge is compressed and the finger approaches the capacitive touch sensor.
  • a detection signal is input to a hard or soft flip-flop (not shown), and is stored corresponding to the pressed position of the rocker switch ON/OFF.
  • Capacitance detection 843 in FIG. 8D shows the relationship between the threshold value Sh1f for detecting ON/OFF of the rocker switch and the capacitance output. Note that the threshold value Sh1f can be adjusted depending on the size and shape of the rocker switch, and the existing rocker switch can be used as is.
  • FIG. 9A is a diagram showing the configuration of the area database 921 according to this embodiment.
  • the area database 921 is replaced with the area database 221 in FIG. 2 in this embodiment.
  • the same reference numerals are attached to the same components as in FIG. 4A, and redundant explanation will be omitted.
  • the area database 921 stores a plurality of operation levels 913 and amplification degrees 914 corresponding to the type of physical operation unit, especially each push switch. Then, different threshold values 915 are stored corresponding to each operation level 913.
  • a threshold value (TH1c: Th1c>Th1a) for determining a push operation is stored separately from a threshold value (Th1a) for determining a contact operation.
  • Th1a threshold value for determining a contact operation.
  • Th1f between contact and depression is stored in the rocker switch.
  • a threshold value Th1f between contact and depression is stored.
  • a threshold value Th1a or Th1b or other appropriate threshold value is stored depending on the distance from the surface of the dielectric layer of the sliding finger.
  • the slider 831 in FIG. 8C stores a threshold value Th1a for contacting the push switch and a threshold value Th1c for pressing the push switch.
  • FIG. 9B is a diagram showing the configuration of the physical operation unit database 922 according to this embodiment.
  • the physical operation unit database 922 is replaced with the physical operation unit database 222 in FIG. 2 in this embodiment.
  • the same reference numerals are attached to the same components as in FIG. 4B, and overlapping explanation will be omitted.
  • the physical operation unit database 922 stores a plurality of operation levels 925 for each operation type, particularly for each push switch. Then, different corresponding processing contents 926 are stored corresponding to each operation level.
  • the corresponding process content 926 stores selection or notification of a process in response to a touch, and stores setting (determine and execute) a process in response to a push operation. Further, in the case of a rocker switch, corresponding processing content 926 is turned ON or OFF in accordance with the position changed from contact to depression in operation level 925.
  • the physical operation unit database 922 is a rotary knob with a push switch in the center, and stores the push switch inside the dial when operating the dial.
  • the corresponding process content 926 corresponds to the rotation angle of the dial to the input numerical value, and the push switch in the input dial to the setting of the input numerical value and execution using it.
  • contact and push are stored as the operation level 925, and a setting value (movement amount) and setting (execution) are stored in the corresponding processing details 926.
  • device operation details 927 are stored that indicate what operations the connected devices perform when each of the physical operation units is operated.
  • the combinations of physical operation types 422 and the plurality of operation levels 925 are not limited to those shown in FIG. 9B, and various combinations can be realized.
  • Control unit processing procedure> The processing procedure of the control unit 220 is the same as the flowchart shown in FIG. 6, so redundant explanation will be omitted.
  • FIG. 10A is a flowchart illustrating the procedure of panel setting processing S601 according to the present embodiment, which is replaced with FIG. 7A. Note that in FIG. 10A, steps similar to those in FIG. 7A are given the same step numbers, and redundant explanation will be omitted.
  • step S1015 the control unit 220 acquires the position (XY coordinates) of the physical operation unit on the display panel and the operation type, and stores them together with the amplification degree corresponding to the operation type and the threshold value corresponding to the operation level.
  • FIG. 10B is a flowchart illustrating the procedure of input determination processing S603 according to this embodiment, which is replaced with FIG. 7B. Note that in FIG. 10B, steps similar to those in FIG. 7B are given the same step numbers, and redundant explanation will be omitted.
  • step S1027 the control unit 220 determines whether the position of the change in the area of the physical operation unit is a push switch area, a dial area, or a slider area. If the change in capacitance is greater than or equal to the threshold (Th1a) in the push switch region, the control unit 220 determines in step S1029 whether or not the capacitance is greater than or equal to the threshold (Th1c), which is greater than the threshold (Th1a). do. If the change in capacitance is equal to or greater than the threshold value (Th1c), the control unit 220 determines that the push switch has been pressed in, and stores the push switch position and the depression in step S1030. On the other hand, if the change in capacitance is less than the threshold value (Th1c), the control unit 220 determines that the push switch has been touched, and stores the push switch position and the contact operation in step S1031.
  • step S1027 If it is determined in step S1027 that it is in the area of the slider 831, the control unit 220 amplifies the output corresponding to the change in capacitance in step S1032. Then, in step S1033, the control unit 220 determines whether the change in capacitance is equal to or greater than a threshold value (Th1a). If the change in capacitance is less than the threshold (Th1a), the control unit 220 proceeds to step S732 and determines that there is no physical operation. If the change in capacitance is equal to or greater than the threshold value (Th1a), the control unit 220 stores the position and movement distance of the slider in step S1035.
  • Th1a a threshold value
  • step S1037 the control unit 220 determines whether the change in capacitance is greater than or equal to a threshold value (Th1c). If the change in capacitance is less than the threshold (Th1c), the control unit 220 returns to step S1033 and tracks the movement of the slider. If the change in capacitance becomes equal to or greater than the threshold value (Th1c), the control unit 220 determines that the slider has ended and stores the push-in position in step S1039. Note that in FIG. 10B, only the slider 831 is illustrated to avoid complexity. In the sliders 832 and 833, this can be achieved by setting the threshold values in steps S1033 and S1039 to corresponding values. Furthermore, if the movement speed is to influence the operation, the movement speed is also derived and stored.
  • FIG. 10C is a flowchart illustrating the procedure of operation instruction/display processing S605 according to the present embodiment, which is replaced with FIG. 7C. Note that in FIG. 10C, steps similar to those in FIG. 7BC are given the same step numbers, and redundant explanation will be omitted.
  • step S1052 the control unit 220 reads the determination result of the input determination process in FIG. 10B and determines whether the physical operation is a push switch, a dial, or a slider. If it is determined that the switch is a push switch, in step S1054, the control unit 220 reads the determination result of the input determination process in FIG. 10B and determines whether the user's operation is a touch or a push. If the user's operation is a touch, the control unit 220 instructs to select and display the operation corresponding to the operation position in step S1055. On the other hand, if the user's operation is a push, the control unit 220 instructs to execute and display the operation corresponding to the operation position in step S1056. Note that, although contact is defined as operation selection or notification, and pressing is defined as execution of the selected operation, the setting of the operation content is not limited thereto.
  • step S1052 If it is determined in step S1052 that it is a slider, the control unit 220 acquires the operation position and movement distance from the determination result of the input determination process in FIG. 10B in step S1057. Then, in step S1059, the control unit 220 issues an operation execution instruction and a display instruction corresponding to the operation position and movement distance. Note that processing such as an operation of sliding a finger upward on a slider and an operation of pressing and sliding a plurality of push switches will be omitted because the flowchart will be complicated.
  • multiple operation instructions can be generated by one physical operation. For example, different operation instructions can be generated depending on whether a push switch is touched or pressed.
  • sliders with various configurations can be set on the physical operation section. With respect to the slider, different operation instructions can be generated depending on whether the user's finger slides above the slider or when the user's finger slides by touching or pressing the slider.
  • the operation device differs from the second and third embodiments in that the same physical operation unit (push switch) has three or more levels of operation input.
  • Operation inputs of level 3 or higher include a state in which a finger approaches above a push switch, a state in which a finger contacts a push switch, and a state in which the push switch is pressed.
  • the push switch may be bonded to the display panel.
  • the other configurations and operations are the same as those in the second embodiment or the third embodiment, so the same configurations and operations are given the same reference numerals and detailed explanation thereof will be omitted.
  • FIGS. 11A and 11B are diagrams illustrating approach, contact, and depression of the push switch according to the fourth embodiment.
  • the same reference numerals are attached to the same components as in FIGS. 3A and 8A, and redundant explanation will be omitted.
  • FIG. 11A additionally shows a capacitance detection connection 1111 when a finger approaches a push switch at the push switch position in the physical operation area corresponding to a user operation.
  • the influence of the user's finger on the dielectric layer 213 is such that the distance from the surface of the dielectric layer 213 is larger than the distance when approaching the push switch>distance when touching the push switch>the push switch. This is the distance when pushing. Therefore, the magnitude of the detection output is conversely as follows: output when approaching the push switch ⁇ output when touching the push switch ⁇ output when pushing the push switch.
  • the threshold 1113 for determining the operation level of the user's operation on the push switch from the output after amplification is as follows: Threshold for approaching the push switch (Sh1d) ⁇ Threshold for contacting the push switch (Sh1a) ⁇ Pushing the push switch is set to the threshold value (Sh1c). That is, the capacitance sensitivity of approaching, touching, and pressing the push switch is considered to be the opposite of the threshold value, as follows: sensitivity of approaching the push switch>sensitivity of touching the push switch>sensitivity of pressing the push switch.
  • FIG. 11B is a diagram illustrating an operation determination in which the horizontal axis represents the change in capacitance when approaching, touching, and pressing the push switch, and the vertical axis represents the output from the dielectric layer 213.
  • the same reference numerals are attached to the same components as in FIG. 8B, and redundant explanation will be omitted. Note that in FIG. 11B, the broken line is the output before amplification, and the solid line is the output after amplification with an amplification degree of 3.0.
  • a threshold (Sh1d) is set at the output level at which it is determined that the user's finger approaches the push switch 1123. be done. Further, it is clear that a threshold value (Sh1e) is set at the output level at which the point 1124 where the push switch is bonded to the surface of the display panel 210 is determined. Below the threshold (Sh1d) is the range recognized as OFF, above the threshold (Sh1d) and below the threshold (Sh1a) is the range recognized as approaching, and above the threshold (Sh1a) and below the threshold (Sh1c) is recognized as contact. This is the range.
  • the range above the threshold value (Sh1c) and below the threshold value (Sh1e) is the range that is recognized as pushing, and the range that exceeds the threshold value (Sh1e) is the range that is recognized as ON.
  • FIG. 11B also shows that the range (822) from the threshold value (Sh1a) to the threshold value (Sh1e) (822) is not a push event but a push state, and continuous analog input is possible. Note that in the operation of the slider in which the user's finger slides upward in the third embodiment, the slide operation can be realized by setting the amplification degree and the threshold value, similar to the state in which the user's finger approaches the push switch. .
  • FIG. 12A is a diagram showing the configuration of the area database 1221 according to this embodiment.
  • the area database 1221 is replaced with the area database 221 in FIG. 2 in this embodiment.
  • the same reference numerals are attached to the same components as in FIG. 4A, and redundant explanation will be omitted.
  • the area database 1221 stores a plurality of operation levels 1213 for each operation type, particularly for each push switch. An amplification degree 1214 is stored corresponding to the magnitude of capacitance for each type of operation. Then, different threshold values 1215 are stored corresponding to each operation level.
  • a threshold value for determining an approach operation (Th1d: Th1c>Th1a>Th1d) is stored separately from a threshold value for determining a contact operation (Th1a) and a threshold value for determining a pushing operation (TH1c: Th1c>Th1a).
  • a threshold value for determining whether the fourth push switch is turned on (adhesive) to the display panel may be stored. Furthermore, when inputting with the slider by approach rather than contact, Th1d is stored as the threshold value 1215 corresponding to the approach of the operation level 1213. In addition, when inputting a setting value by approaching and sliding a finger on the slider and setting or determining by touching or pressing, the approach and touching/pressing are stored in the operation level 1213, and the corresponding threshold value 1215 is Th1d. and memorize Th1a/Th1c.
  • FIG. 12B is a diagram showing the configuration of the physical operation unit database 1222 according to this embodiment.
  • the physical operation unit database 1222 is replaced with the physical operation unit database 222 in FIG. 2 in this embodiment.
  • the same reference numerals are attached to the same components as in FIG. 4B, and redundant explanation will be omitted.
  • the physical operation unit database 1222 stores a plurality of operation levels 1225 for each operation type, especially for each push switch. Then, different distinguishable display colors, brightness, etc. 1226 and corresponding processing contents 1227 that change in accordance with each operation level are stored.
  • the display color and brightness 1226 stores, for example, yellow or low brightness in response to approach, green or medium brightness in response to contact, and red or high brightness in response to a push operation.
  • the response process content 1227 stores a selection preparation process in response to approach, a process selection or notification in response to contact, and a process setting (determine and execute) in response to push operation.
  • setting values are input by bringing fingers close together and sliding them.
  • yellow/low brightness is stored in the display color/brightness 1226
  • a set value is input in the corresponding processing content 1227.
  • red/high brightness is stored in the display color/brightness 1226
  • settings (execution) using the set values are stored in the corresponding process content 1227.
  • device operation details 1228 are stored that indicate what operations the connected devices perform when each of the physical operation units is operated.
  • Control unit processing procedure> The processing procedure of the control unit 220 is the same as the flowchart shown in FIG. 6, so redundant explanation will be omitted. Further, the panel setting process of this embodiment can be assumed from FIG. 7A and FIG. 10A, so the details will be omitted.
  • FIG. 13 is a flowchart showing the steps of input determination processing S603 and operation instruction/display processing S605 according to the present embodiment, which are replaced with FIGS. 7B and 10B or FIGS. 7C and 10C. Note that in FIG. 13, steps similar to those in FIGS. 7B and 10B or FIGS. 7C and 10C are omitted from the drawing to avoid complexity, but similar processing is performed.
  • FIG. 13 only shows a flowchart of the processing procedure related to the push switch, the processing procedure for other physical operation units can be easily performed by setting the threshold value to a value appropriate for the physical operation unit. I'll omit it because it's easy to imagine.
  • step S1327 the control unit 220 determines whether the change in capacitance is greater than or equal to a threshold value (Th1d). If it is determined that the change in capacitance is less than the threshold value (Th1d), the control unit 220 proceeds to step S732, and determines that there is no physical operation.
  • Th1d a threshold value
  • the control unit 220 determines whether the change in capacitance is greater than or equal to the threshold value (Th1a) in step S728, and is less than the threshold value (Th1a), the control unit 220 determines that the push switch is approaching, and stores the push switch position and approach in step S1332.
  • step S1354 the control unit 220 determines whether the push switch is approached, touched, or pressed based on the determination result of the input determination process S603 of this embodiment. If the determination result is approach, the control unit 220 issues an operation preparation instruction and a display instruction corresponding to the operation position in step S1357.
  • Th1e threshold value
  • multiple operation instructions can be generated by one physical operation.
  • three or more different operation instructions can be generated by approaching, touching, and pressing a push switch.
  • the operation device according to the present embodiment has capacitance sensitivity that detects changes in dielectric capacitance of each area or physical operation section before using the operation device. They differ in terms of calibration. That is, the capacitance sensitivity for detecting a change in capacitance in at least one of the type of physical operation section attached to the physical operation section area and outside the physical operation section area is adjusted by input from the user.
  • the parameters related to capacitance sensitivity, amplification and/or threshold are calibrated to enable stable and accurate operation from the operating device.
  • the other configurations and operations are the same as those in the second embodiment or the fourth embodiment, so the same configurations and operations are given the same reference numerals and detailed explanation thereof will be omitted.
  • FIG. 14A is a diagram illustrating an operation during calibration of the operation device according to the present embodiment.
  • FIG. 14A shows a user interface for an operation during calibration on the display panel 210 of the operation device 200 in FIG. 2.
  • FIG. 14A the same reference numerals are attached to the same components as in FIG. 2, and redundant explanation will be omitted.
  • the screen 1400 of the display panel 210 displays the fact that calibration has started, and a button for selecting the calibration target area or target physical operation unit.
  • the buttons include a button 1401 that instructs calibration outside the physical operation area, and a button 1405 that instructs calibration of a three-step input (approach, contact, push) push switch in the physical operation area. .
  • the display screen changes to a screen 1410, and a comment or voice instruction saying "Please touch outside the physical operation section" is output.
  • the area 1411 outside the area of the physical operation unit to be operated is displayed in a distinguishable color, the user can clearly see the touch position and can prevent operation failures.
  • the display screen transitions to a screen 1420 that displays a graph showing the change in the detected capacitance and the amplification factor, which is a parameter for calibration. and buttons for inputting increases and decreases from the threshold value are displayed.
  • the user repeatedly touches the surface outside the physical operation unit area 1411 while looking at the graph and inputting increases/decreases to the amplification degree and threshold value, so that the user's touch on the outside area 1411 of the physical operation unit is stable and accurate.
  • the amplification degree and threshold value can be set to allow detection.
  • a comment or voice instruction saying "Adjustment outside the physical operation unit has been completed” is output.
  • the outside of the physical operation section area 1430 is displayed in a different color from the outside of the physical operation section area 1411, it is possible to clearly indicate to the user that the adjustment has been completed. Note that in FIG.
  • the user's touch on the outside of the physical operation unit area 1411 was explained as an example, but when setting different input operations for approaching and touching the outside of the physical operation unit area 1411, the approach operation and the touch
  • the amplification degree and threshold value must be set so that stable and accurate detection can be achieved during operation.
  • the display screen changes to a screen 1450, and when the surface of the three-stage push switch is touched, the message "Touched the target push button” is displayed. A comment or voice instruction "Please do so.” is output.
  • the display screen transitions to a screen 1460 that displays a graph showing changes in the detected capacitance and inputs for increasing or decreasing the amplification degree and threshold value, which are parameters for calibration. button will be displayed.
  • the threshold values can be adjusted as an approach threshold value, a contact threshold value, and a push threshold value.
  • the user inputs increases and decreases between the amplification degree and the threshold value while looking at the graph, and repeats the approach operation, contact operation, and push operation of the 3-stage push switch, thereby stabilizing the user's operation input to the 3-stage push switch.
  • the amplification degree and each threshold value can be set to allow accurate detection. When the appropriate settings for the amplification degree and each threshold value are completed, a comment or voice instruction saying "Adjustment of the target push switch has been completed" is output.
  • FIG. 14B is a diagram showing the configuration of the area database 1421 according to this embodiment.
  • the area database 1421 is used in place of FIGS. 4A, 9A, and 12A.
  • the same reference numerals are attached to the same components in steps similar to those in FIGS. 4A, 9A, and 12A, and redundant explanation will be omitted.
  • the area database 1421 stores a calibrated appropriate amplification degree 1414 and a threshold value 1415 in association with the operation level 913 of each operation unit type.
  • the calibrated amplification degree suitable for push switch i is "3.1” and the threshold value is "Th1a- ⁇ ”.
  • the calibrated amplification degree suitable for the push switch n is "2.9”.
  • the threshold for detecting approach is "Th1d- ⁇ ”
  • the threshold for detecting contact is "Th1a+ ⁇ ”
  • the threshold for detecting approach is "Th1d ⁇ 0".
  • the appropriate calibrated amplification degree of the touch panel area outside the physical operation area is "0.8" and the threshold value is "Th2-c".
  • FIG. 14C is a flowchart showing the procedure of panel setting processing S601 according to this embodiment.
  • FIG. 14C is executed interchangeably with FIG. 7A. Note that in FIG. 14C, steps similar to those in FIG. 7A are given the same step numbers, and redundant explanation will be omitted.
  • step S1412 the control unit 220 executes calibration processing of the amplification degree and threshold value in areas other than the physical operation unit. Further, in step S1414, the control unit 220 executes calibration processing of the amplification degree and threshold value in the physical operation unit area.
  • FIG. 15A is a flowchart showing the procedure of calibration processing S1412 for the area outside the physical operation unit according to the present embodiment.
  • the control unit 220 sets default parameters (amplification value and threshold value) in step S1510. Note that this default parameter is set to a value that allows operation input to the operation device 200 from the display panel 210 based on the physical properties of the display panel 210 and the like.
  • step S1511 the control unit 220 determines whether the parameters are to be adjusted by the user. If it is determined that the parameters are to be adjusted by the user, the process advances to step S1513. If it is not determined that the parameters are to be adjusted by the user, the process advances to step S1531, and it is determined whether the parameters are to be adjusted by the device (control unit). If it is determined that the parameters should be adjusted by the device, the process advances to step S1533. Note that information regarding whether or not to adjust the parameters may be stored in advance in the control unit or may be selected by the user.
  • step S1513 the control unit 220 distinguishably indicates an area other than the physical operation unit and instructs the user to perform an operation. Then, in step S1515, the control unit 220 waits for the user to input an operation to an area other than the physical operation unit. If there is an operation input by the user to an area other than the physical operation section, the control section 220 acquires and displays the change in capacitance due to the operation input in step S1517, and displays the retained parameters, initially the default parameters, Outputs the judgment result of the input operation. In step S1519, the control unit 220 determines whether a parameter update has been input by the user. If a parameter update is input by the user, the control unit 220 returns to step S1513 and repeats the process.
  • control unit 220 determines that the appropriate parameters have been set, and registers the latest updated parameters in the region database 221 in step S1521. Then, in step S1523, the control unit 220 determines whether there is any other operation on an area other than the physical operation unit whose parameters are desired to be adjusted. If there is another operation, the control unit 220 returns to step S1513 and repeats the process.
  • step S1533 the control unit 220 distinguishably indicates the target operation unit (such as a push switch or dial) in the physical operation unit area and instructs the user to operate it. Then, in step S1535, the control unit 220 waits for the user to input an operation to the target operation unit in the physical operation unit area. If there is an operation input by the user to the target operation unit in the physical operation unit area, the control unit 220 acquires the change in capacitance due to the operation input in step S1537, and sets the held parameters, initially the default parameters, outputs the judgment result of the input operation, and derives the parameters by analyzing the judgment result. Control unit 220 determines whether appropriate parameters have been derived in step S1539.
  • the target operation unit such as a push switch or dial
  • control unit 220 If appropriate parameters are not derived, the control unit 220 returns to step S1533 and repeats the process. On the other hand, if appropriate parameters have been derived, the control unit 220 registers the derived appropriate parameters in the area database 221 in step S1541. Then, in step S1543, the control unit 220 determines whether there is any other operation on an area other than the physical operation unit whose parameters are desired to be adjusted. If there is another operation, the control unit 220 returns to step S1533 and repeats the process.
  • FIG. 15B is a flowchart showing the procedure of the physical operation unit area calibration process S1414 according to the present embodiment.
  • step S1551 the control unit 220 waits for input of the type of operation unit (type of push switch, type of slider, etc.) in the physical operation unit. If the type of operation unit is input, the control unit 220 sets default parameters (amplification value and threshold value) for the target type of operation unit in step S1553.
  • the type of operation unit type of push switch, type of slider, etc.
  • step S1561 the control unit 220 determines whether the parameters are to be adjusted by the user. If it is determined that the parameters are to be adjusted by the user, the process advances to step S1563. If it is not determined that the parameters are to be adjusted by the user, the process advances to step S1581, and it is determined whether or not the parameters are to be adjusted by the device (control unit). If it is determined that the parameters should be adjusted by the device, the process advances to step S1583. Note that information regarding whether or not to adjust the parameters may be stored in advance in the control unit or may be selected by the user.
  • step S1563 the control unit 220 distinguishably indicates the target operation unit in the physical operation unit area and instructs the user to perform the operation. Then, in step S1565, the control unit 220 waits for the user to input an operation to the target operation unit. If there is an operation input by the user to the target operation unit, the control unit 220 acquires and displays the change in capacitance due to the operation input in step S1567, and performs the input operation using the retained parameters, initially default parameters. Outputs the judgment result. In step S1569, the control unit 220 determines whether a parameter update has been input by the user. If a parameter update is input by the user, the control unit 220 returns to step S1563 and repeats the process.
  • the control unit 220 determines that the appropriate parameters have been set, and registers the latest updated parameters in the region database 221 in step S1571. Then, in step S1573, the control unit 220 determines whether the same type of operation unit has another state. For example, in the case of a three-stage push switch, parameters are adjusted for three states: an approach state, a contact state, and a pressed state. If there is another state, the control unit 220 returns to step S1563 and repeats the process. If there is no other state, the control unit 220 determines in step S1575 whether there is another type of operation unit for adjusting the parameter. If there is another type of operation unit, the control unit 220 returns to step S1551 and waits for input of another type of operation unit.
  • the control unit 220 determines that the appropriate parameters have been set, and registers the latest updated parameters in the region database 221 in step S1571. Then, in step S1573, the control unit 220 determines whether the same type of operation unit has another state. For example, in the case of
  • step S1583 the control unit 220 returns to step S1583 and repeats the process.
  • the control unit 220 registers the derived appropriate parameters in the area database 221 in step S1591. Then, in step S1593, the control unit 220 determines whether the same type of operation unit has another state. For example, in the case of a three-stage push switch, parameters are adjusted for three states: approach state, contact state, and pressed state. If there is another state, the control unit 220 returns to step S1583 and repeats the process. If there is no other state, the control unit 220 determines in step S1595 whether there is another type of operation unit that adjusts the parameter. If there is another type of operation unit, the control unit 220 returns to step S1551 and waits for input of another type of operation unit.
  • stable and accurate operation input can be performed from an operation device using capacitance.
  • the field of application of the above-mentioned operation device will be explained.
  • the above-mentioned operation devices are, for example, audio mixers, automobile operation panels, medical information viewing monitors, machine tool operation sections, construction machinery/ship operation sections, amusement equipment operation sections such as game consoles, computers and computer peripherals, etc. It can be applied to equipment operation parts and ticket vending machines for railways, ships, etc.
  • necessary types of operation parts such as dials and switches can be freely arranged at desired positions on the display panel, and the operation accuracy and role of each operation part can be set by software.
  • a push switch installed as a physical operation part can be used to select a song (melody) or rhythm
  • a dial can be used to set the volume and tempo of the entire song
  • a slider can be used to This is the control panel for setting the volume and rhythm of the part. It also serves as an operation unit for disconnecting, connecting, and combining melodies, volumes, and rhythms.
  • the push switch is used to turn ON/OFF the speaker or air conditioner
  • the dial or slider is used to adjust the air conditioner temperature and air volume, select or scroll the car navigation map, etc. becomes.
  • FIG. 16 is a block diagram showing the configuration of a system 1600 using the operation device according to this embodiment.
  • the same reference numerals are attached to the same components as in FIG. 2, and redundant explanation will be omitted.
  • FIG. 16 shows a configuration in which the execution result of the instructed operation is output to various peripheral devices from the input/output interface 1610 via the operation execution section 240 that receives the operation instruction from the control section 220.
  • an audio output unit 1611, a spurt glass (HMD) 1612, a head-up display 1613, and the like are connected to peripheral devices to realize audio output and screen display of operation instruction results.
  • HMD spurt glass
  • FIG. 17 is a diagram showing the configuration of a physical operation unit database 1722 for use in multiple fields according to this embodiment.
  • the same reference numerals are attached to the same components as in FIG. 4B, and redundant explanation will be omitted.
  • physical operation unit databases 1723 and 1724 are prepared corresponding to each field of use 1711.
  • the physical operation unit database 1723 is used, and the corresponding processing details 1727 include controlling the operation device so that operation instructions related to the car navigation system can be given.
  • the physical operation unit database 1724 is used, and the corresponding processing details 1728 control the operation device so that operation instructions related to medical care can be given by nurses and doctors.
  • FIG. 18A is a diagram showing a configuration example in which the operation device according to the present embodiment is applied to a car navigation system 1810 mounted on a car.
  • FIG. 18B is a diagram showing a configuration example in which the operation device according to this embodiment is applied to a medical processing system 1820 used in the medical field.
  • FIG. 18B shows an operation device 1821 for operation according to this embodiment and a main display 1822 for displaying operation results.
  • the field of application of the operation device according to the present embodiment is not limited to the above example, and includes, for example, application to the operation section of industrial equipment, application to the operation section of construction machinery and marine equipment, application to the operation section of game consoles, etc.
  • Possible applications include application to the operation section of amusement equipment, application to the operation section of computers (PCs) and computer peripheral devices (HID devices), etc.
  • FIG. 18C is a diagram showing system configurations 1830 and 1840 in which the operation device according to this embodiment is embedded in a wall.
  • a system configuration 1830 is an example in which the operation device of this embodiment is embedded in a wall and used for, for example, digital signage. Further, a system configuration 1840 is an example in which the operation device of this embodiment is embedded in a wall and used for indoor environmental adjustment, home appliance adjustment, etc. It may also be used as a communication screen with the outside world.
  • the operation device can be effectively applied to ticket vending machines at stations, etc. For example, by attaching a transparent push switch as a physical operation part to a single display panel, and displaying the fare and destination on the display where the transparent push switch is attached, it is possible to change or update the fare at the ticket vending machine. This can be easily achieved by installing a transparent push switch and changing or updating the software.
  • the operation device can be applied to operation units in various fields.
  • push switches, rocker switches, dials, and sliders are used as examples of physical operation units that are attached to the display panel. Any physical operation component whose movement can be detected as a change in capacitance or a movement in a changed position may be used. Furthermore, since differences in the size and shape of the physical operation section can be accommodated by adjusting the amplification degree and threshold value (adjusting the sensitivity) in this embodiment, the existing physical operation section can be used as is.
  • the surface of the display panel is described as being flat, but it may be a convex curved surface or a concave curved surface. Further, it is also possible to bend the area where the physical operation section is attached and the area where the physical operation section is not attached at a predetermined angle.
  • the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Furthermore, the present invention is also applicable when an information processing program that implements the functions of the embodiments is supplied to a system or device and executed by a built-in processor.
  • a program installed on a computer a medium storing the program, a server for downloading the program, and a processor executing the program are also included in the technical scope of the present invention.
  • a non-transitory computer readable medium storing at least a program that causes a computer to execute the processing steps included in the embodiments described above is within the technical scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Switches That Are Operated By Magnetic Or Electric Fields (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

物理操作部が取り付けられる領域と、それ以外の領域とを効果的に制御するため、静電容量の変化を用いた操作検知機能および画像表示機能を有するディスプレイパネルと、ディスプレイパネルの表面に取り付けられ、ユーザの操作によって位置および姿勢の少なくとも一方が変化する物理操作部と、物理操作部の位置および姿勢の少なくとも一方の変化を、静電容量の値を用いて検出する制御部と、を備えたオペレーションデバイスであって、ディスプレイパネル上の、物理操作部が取り付けられた第1領域と、当該第1領域以外の第2領域とにおいて、異なる静電容量感度で静電容量の変化を検出するオペレーションデバイスを提供する。

Description

オペレーションデバイスおよびその制御方法と制御プログラム
 本発明は、オペレーションデバイスおよびその制御方法と制御プログラムに関する。
 上記技術分野において、特許文献1には、タッチセンシングデバイス上にスイッチ、ダイヤルやスライダなどの機械式アクチュエータを置いて入力制御デバイスを構成する技術が開示されている。また、静電容量を用いた非接触でのタッチセンシングが示唆されている。
米国特許出願公開第2006/0256090号明細書
 しかしながら、上記文献に記載の技術では、ディスプレイパネル上における、物理操作部が取り付けられた領域と、それ以外の領域とを効果的に制御することができなかった。
 本発明の目的は、上述の課題を解決する技術を提供することにある。
 上記目的を達成するため、本発明に係るデバイスは、
 静電容量の変化を用いた操作検知機能および画像表示機能を有するディスプレイパネルと、
 前記ディスプレイパネルの表面に取り付けられ、ユーザの操作によって位置および姿勢の少なくとも一方が変化する物理操作部と、
 前記物理操作部の位置および姿勢の少なくとも一方の変化を、静電容量の値を用いて検出する制御部と、
 を備えたオペレーションデバイスであって、
 前記ディスプレイパネル上の、前記物理操作部が取り付けられた第1領域と、当該第1領域以外の第2領域とにおいて、異なる静電容量感度で前記静電容量の変化を検出するオペレーションデバイスである。
 上記目的を達成するため、本発明に係る方法は、

 静電容量の変化を用いた操作検知機能および画像表示機能を有するディスプレイパネルと、
 前記ディスプレイパネルの表面に取り付けられ、ユーザの操作によって位置および姿勢の少なくとも一方が変化する物理操作部と、
 前記物理操作部の位置および姿勢の少なくとも一方の変化を、静電容量の値を用いて検出する制御部と、
 を備えたオペレーションデバイスの制御方法であって、
 前記ディスプレイパネル上の、前記物理操作部が取り付けられた第1領域において、第1の静電容量感度で前記静電容量の変化を検出する第1検出ステップと、
 前記第1領域以外の第2領域において、前記第1の静電容量感度と異なる第2の静電容量感度で前記静電容量の変化を検出する第2検出ステップと、
 を含むオペレーションデバイスの制御方法である。
 上記目的を達成するため、本発明に係るプログラムは、
 静電容量の変化を用いた操作検知機能および画像表示機能を有するディスプレイパネルと、
 前記ディスプレイパネルの表面に取り付けられ、ユーザの操作によって位置および姿勢の少なくとも一方が変化する物理操作部と、
 前記物理操作部の位置および姿勢の少なくとも一方の変化を、静電容量の値を用いて検出する制御部と、
 を備えたオペレーションデバイスの制御プログラムであって、
 前記ディスプレイパネル上の、前記物理操作部が取り付けられた第1領域において、第1の静電容量感度で前記静電容量の変化を検出する第1検出ステップと、
 前記第1領域以外の第2領域において、前記第1の静電容量感度と異なる第2の静電容量感度で前記静電容量の変化を検出する第2検出ステップと、
 をコンピュータに実行させるオペレーションデバイスの制御プログラムである。
 本発明によれば、物理操作部が取り付けられたディスプレイパネルを効果的に制御することができる。
第1実施形態に係るオペレーションデバイスの構成を示すブロック図である。 第2実施形態に係るオペレーションデバイスの構成を示すブロック図である。 第2実施形態に係る物理操作部の領域と物理操作部外の領域との異なる静電容量感度を説明する図である。 第2実施形態に係る物理操作部の領域におけるダイヤルを説明する図である。 第2実施形態に係る領域データベースの構成を示す図である。 第2実施形態に係る物理操作部データベースの構成を示す図である。 第2実施形態に係る制御部のハードウェア構成を示すブロック図である。 第2実施形態に係る制御部の処理手順を示すフローチャートである。 第2実施形態に係るパネル設定処理の手順を示すフローチャートである。 第2実施形態に係る入力判定処理の手順を示すフローチャートである。 第2実施形態に係る操作指示/表示処理の手順を示すフローチャートである。 第3実施形態に係るプッシュスイッチの接触と押込みとを説明する図である。 第3実施形態に係るプッシュスイッチの接触と押込みとを説明する図である。 第3実施形態に係る物理操作部の領域におけるスライダを説明する図である。 第3実施形態に係る物理操作部の領域におけるロッカースイッチを説明する図である。 第3実施形態に係る領域データベースの構成を示す図である。 第3実施形態に係る物理操作部データベースの構成を示す図である。 第3実施形態に係るパネル設定処理の手順を示すフローチャートである。 第3実施形態に係る入力判定処理の手順を示すフローチャートである。 第3実施形態に係る操作指示/表示処理の手順を示すフローチャートである。 第4実施形態に係るプッシュスイッチの接近と接触と押込みとを説明する図である。 第4実施形態に係るプッシュスイッチの接近と接触と押込みとを説明する図である。 第4実施形態に係る領域データベースの構成を示す図である。 第4実施形態に係る物理操作部データベースの構成を示す図である。 第4実施形態に係る入力判定処理および操作指示/表示処理の手順を示すフローチャートである。 第5実施形態に係るオペレーションデバイスのキャリブレーション時の操作を説明する図である。 第5実施形態に係る領域データベースの構成を示す図である。 第5実施形態に係るパネル設定処理の手順を示すフローチャートである。 第5実施形態に係る物理操作部以外の領域のキャリブレーション処理の手順を示すフローチャートである。 第5実施形態に係る物理操作部の領域のキャリブレーション処理の手順を示すフローチャートである。 第6実施形態に係るオペレーションデバイスを用いたシステム構成を示すブロック図である。 第6実施形態に係る多分野で使用するための物理操作部データベースの構成を示す図である。 第6実施形態に係るオペレーションデバイスを自動車に搭載したシステム構成を示す図である。 第6実施形態に係るオペレーションデバイスを医療分野で利用したシステム構成を示す図である。 第6実施形態に係るオペレーションデバイスを壁に埋め込んで利用したシステム構成を示す図である。
 以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
 [第1実施形態]
 本発明の第1実施形態としてのオペレーションデバイス100について、図1を用いて説明する。オペレーションデバイス100は、ユーザが操作入力を行う装置である。
 図1に示すように、オペレーションデバイス100は、ディスプレイパネル101と、物理操作部102と、制御部103と、を含む。ディスプレイパネル101は、静電容量の変化を用いた操作検知機能および画像表示機能を有する。また、物理操作部102は、ディスプレイパネル101の表面に取り付けられ、ユーザの操作によって位置および姿勢の少なくとも一方が変化する。制御部103は、物理操作部102の位置および姿勢の少なくとも一方の変化を、静電容量の値を用いて検出する。そして、ディスプレイパネル101上の、物理操作部102が取り付けられた第1領域111と、第1領域111以外の第2領域112とにおいて、異なる静電容量感度で前記静電容量の変化を検出する。
 本実施形態によれば、物理操作部が取り付けられる領域と、それ以外の領域とを効果的に制御することができる。
 [第2実施形態]
 次に、本発明の第2実施形態に係るオペレーションデバイス200について図2以降を用いて説明する。
 図2は、本実施形態に係るオペレーションデバイス200の機能構成を示すブロック図である。本実施形態に係るオペレーションデバイス200は、ディスプレイパネル210と、ディスプレイパネル210の表面に取り付けられた物理操作部としてのダイヤル250とプッシュスイッチ260と、制御部220と、を備える。
 制御部220は、ディスプレイパネル210における静電容量の変化をオン・オフのデジタル信号に変換するための閾値および/または検知した静電容量の増幅度を、ディスプレイパネル210上の領域に応じて制御する。具体的には、異なる領域においては、異なる閾値および/または増幅度を用いて、ユーザの各種操作を認識する。
 ディスプレイパネル210上の領域は、ダイヤル250が取り付けられている面としてのダイヤル領域とプッシュスイッチ260が取り付けられている面としてのプッシュスイッチ領域とタッチ領域(物理操作部が設けられていない領域)の3種類に分けられる。ここで、例えば、ダイヤル領域における静電容量感度は、プッシュスイッチ領域の静電容量感度よりも低い。また、タッチ領域の静電容量感度は、ダイヤル領域における静電容量感度よりもさらに低い。つまり、タッチ領域では、所定の静電容量の変化を検出して、ユーザによるタッチ操作を精度良く検知できる。ダイヤル領域では、タッチ領域よりも小さな静電容量の変化を検出して、ダイヤル操作を精度良く検知できる。また、プッシュスイッチ領域では、ダイヤル領域よりもさらに小さな静電容量の変化を検出して、プッシュスイッチのオン・オフを精度良く検知する。なお、ダイヤルは中央にプッシュスイッチを備えた回転式ノブであってもよく、その場合、ダイヤル領域とプッシュスイッチ領域とで静電容量感度を等しくしてもよい。
 <オペレーションデバイスの機能構成>
 ディスプレイパネル210は、表面カバー211と、静電容量の値を検出するための誘電体層213と、表示のためのLCE層(またはLED層)214とを有する。物理操作部212は、プッシュスイッチとダイヤルとを含む。なお、物理操作部212にスライダが含まれてもよい。制御部220は、誘電体層213から検出された電位に基づいてユーザの指による操作入力を判定し、操作入力に従って操作の実行を指示し、操作内容や操作結果をディスプレイパネル210のLCE層214に表示する。
 制御部220は、領域データベース221と、物理操作部データベース222と、判定領域分離部223と、物理操作領域操作判定部224と、物理操作領域外操作判定部225と、操作指示部226と、表示指示部227と、を備える。領域データベース221は、ディスプレイパネル210において、物理操作部を取り付ける領域と、物理操作部を取り付けない領域との情報を記憶する。物理操作部データベース222は、物理操作部の領域における位置に対応する操作内容を記憶する。なお、領域データベース221および物理操作部データベース222は、あらかじめ記憶されていてもよいし、設定部230からのユーザの設定により記憶されてもよい。また、領域データベース221と物理操作部データベース222とは、別々でなく一体となって情報を記憶してもよい。
 判定領域分離部223は、誘電体層213から検出された電流をディスプレイパネル210のXY座標と共に取得し、領域データベース221からの情報に基づいて物理操作部が取り付けられた領域か、取り付けられない領域か、を分離する。物理操作領域操作判定部224は、物理操作部データベース222からの情報に基づいて、物理操作部に対する操作を検出する。物理操作領域外操作判定部225は、物理操作領域以外における操作を検出する。なお、誘電体層213からの静電容量の変化の検出は、制御部220で行ってもよいし、制御部220とは別の検出部から制御部220が出力データを取得する構成でもよい。
 操作指示部226は、物理操作領域操作判定部224と物理操作領域外操作判定部225との判定結果に従った操作の実行を操作実行部240に指示する。表示指示部227は、物理操作領域操作判定部224と物理操作領域外操作判定部225との判定結果に従った操作の表示、あるいは、操作結果の表示をLCE層214に指示する。
 (異なる静電容量感度の説明)
 図3Aは、物理操作部のある領域と物理操作部のない領域とでの静電容量の感度の相違を説明する図である。異なる静電容量感度とするため、制御部220では、物理操作部を取り付けられた物理操作部領域で用いられる静電容量の感度に関係する増幅度および閾値の少なくともいずれかと、物理操作部領域外の領域で用いられる増幅度および閾値の少なくともいずれかと、を異なる値に調整する。例えば、ダイヤル領域の感度は、プッシュスイッチ領域の感度以下であり、タッチ領域の感度よりも高い。
 図3Aには、プッシュスイッチ領域における静電容量の検出結果311およびダイヤル領域における静電容量の検出結果321と、物理操作部のない領域(つまり、ディスプレイパネルに直接触れる領域、物理操作部領域外とも称す)の静電容量の検出結果331とを示している。プッシュスイッチ260と、ダイヤル250と、パネル表面211とでは、操作時のユーザの指の位置(誘電体からの距離、高さ)が異なる。
 プッシュスイッチ260を操作する場合のユーザの指と誘電体層213との距離

 ダイヤル250を操作する場合のユーザの指と誘電体層213との距離

 ディスプレイパネルを直接操作する場合のユーザの指と誘電体層213との距離
 である。
 したがって、静電容量の検出結果は逆に、
プッシュスイッチ領域の検出結果311

ダイヤル領域の検出結果321

物理操作部領域外の検出結果331となる。
 したがって、プッシュスイッチやダイヤルに対する操作の検出精度を向上させるためには、それらの領域における静電容量の変化の検出に対する感度を高める必要がある。このために、検出した静電容量の増幅度を、プッシュスイッチ領域≧ダイヤル領域>物理操作部領域外となるように設定する。その増幅後の操作位置と静電容量に対応する出力との対応は、プッシュスイッチ位置のグラフ313およびダイヤル位置のグラフ323と、物理操作部領域外のグラフ332となる(物理操作部領域外は増幅なし)。この場合のプッシュスイッチ領域の閾値(Sh1a)と、ダイヤル領域の閾値(Sh1b)と、物理操作部領域外の閾値(Sh2)とは、増幅後の出力から操作の有無を精度良く判別でき、かつ、ノイズの影響の少ない値に設定されるのが望ましい。閾値(Sh1a)と閾値(Sh1b)と閾値(Sh2)とは、同じであってもよい。
 なお、増幅度で感度を調整せずに閾値のみで調整する場合、ユーザ操作が有ったか否かの判定を行う閾値は、
プッシュスイッチ領域の閾値(Sh1a)

ダイヤル領域の閾値(Sh1b)

物理操作部領域外の閾値(Sh2)
に設定される。すなわち、静電容量感度は、閾値とは逆に、
プッシュスイッチ領域の感度>ダイヤル領域の感度>物理操作部領域外の感度
となる。
 各領域の増幅度と閾値との組み合わせは、操作時のユーザの指の位置に応じて設定される。例えば、プッシュスイッチ領域の感度≧ダイヤル領域の感度>物理操作部領域外の感度となるように設定されることが望ましい。
 図3Bは、ダイヤル250の操作を説明する図である。ダイヤル250は、ディスプレイパネル210のパネル表面211に固定された非誘電体のダイヤル基礎部351と、ダイヤル基礎部351上に回転可能に配置された非誘電体のダイヤル上部352と、を有する。ユーザが指でダイヤル上部352を回転すると、右側にしめす検出結果321に示すように、指の接近に対応する2つのピーク(閾値以上)の位置が変わる。その回転角度からダイヤル250の操作量が検出される。なお、ピークの回転速度から操作速度を検出してもよい。
 (領域データベース)
 図4Aは、本実施形態に係る領域データベース221の構成を示す図である。領域データベース221は、物理操作部を取り付ける領域と、物理操作部を取り付けない領域とで、ユーザ操作を異なる静電容量感度で検出するために、判定領域分離部223と物理操作領域操作判定部224と物理操作領域外操作判定部225とで使用される増幅度および閾値を記憶する。
 領域データベース221は、領域411に対応付けて操作種類412を記憶する。本実施形態では物理操作領域に操作種類412としてプッシュスイッチとダイヤルとが記憶される。そして、領域411または操作種類412のそれぞれに対して、異なる静電容量感度となる増幅度413と閾値414との組を記憶する。増幅度413としては、例えば、静電容量の変化に対応する出力が小さいプッシュスイッチ領域では"2.0"、静電容量の変化に対応する出力が中程度のダイタル領域では"1.5"、静電容量の変化に対応する出力が大きい物理操作領域外では"1.0"を記憶する。また、閾値414には、プッシュスイッチ判定の閾値Th1a、ダイヤル判定の閾値Th1b、物理操作領域外判定の閾値Th2、が記憶される。なお、閾値のみで感度を変える場合は、閾値Th1a<閾値Th1b<閾値Th2である。
 (物理操作部データベース)
 図4Bは、本実施形態に係る物理操作部データベース222の構成を示す図である。領域データベース221は、静電容量の変化を検出した位置に基づいて、物理操作部に取り付けられた物理操作の種類(プッシュスイッチやダイヤル)を判定するために、物理操作領域操作判定部224で使用される情報を記憶する。なお、図4Bにおいて、各物理操作種類に記載の最後のアルファベットは、同じ物理操作種類においても異なる対応処理内容である場合を区別するために付している。以降の物理操作部データベースにおいても同様である。
 物理操作部データベース222は、領域421に対応付けて物理操作種類422を記憶する。本実施形態では、物理操作種類422としてプッシュスイッチとダイヤルとを記憶する。物理操作種類422の各プッシュスイッチまたはダイヤルに対応して、ディスプレイパネル210のXY座標で示された物理操作部の位置情報432と、操作がプッシュスイッチのような静止操作かダイヤルのような移動操作かの情報424と、物理操作種類422および位置情報432に対応する処理内容425と、装置操作内容426とを記憶する。装置操作内容426とは、物理操作部の各々が操作されると、接続された装置がどんな操作を実行するかを示す情報である。
 <制御部のハードウェア構成>
 図5は、本実施形態に係る制御部220のハードウェア構成を示すブロック図である。なお、図5には、ディスプレイパネル210や設定部230や操作実行部240も図示されている。なお、図5において、図2と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
 図5で、CPU(Central Processing Unit)510は演算制御用のプロセッサであり、プログラムを実行することで図5の機能構成部を実現する。CPU510は1つであっても複数であってもよい。ROM(Read Only Memory)520は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。
 RAM(Random Access Memory)540は、CPU510が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM540には、本実施形態の実現に必要なデータを記憶する領域が確保されている。静電容量取得情報541は、ディスプレイパネル210の誘電体層(静電容量検出部)213から取得した静電容量に関する情報であり、ディスプレイパネル210上のXY座標を含んでいる。物理操作領域用パラメータ542は、物理操作部を取り付ける領域で用いられるパラメータであり、物理操作領域の領域座標と使用される増幅度および閾値とが含まれる。物理操作判定結果543は、物理操作領域内で閾値により判定された判定結果である。物理操作指示/表示データ544は、物理操作領域内で閾値により判定された物理操作判定結果543に対応する物理操作を指示するデータ、および、対応する表示データである。物理操作領域外用パラメータ545は、物理操作部を取り付けない領域で用いられるパラメータであり、物理操作領域以外の領域座標と使用される増幅度および閾値とが含まれる。物理操作外判定結果546は、物理操作領域以外で閾値により判定された判定結果である。物理操作外指示/表示データ544は、物理操作領域以外で閾値により判定された物理操作外判定結果546に対応する物理操作を指示するデータ、および、対応する表示データである。
 ストレージ550は、CPU510が使用する、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。領域データベース221は、図4Aに示した構成を有するデータを記憶する。物理操作部データベース222は、図4Bに示した構成を有するデータを記憶する。
 ストレージ550には、以下のプログラムが格納される。オペレーションデバイス制御プログラム551は、オペレーションデバイス200の全体を制御するプログラムである。パネル設定モジュール552は、ディスプレイパネル210上の操作領域を設定するためのモジュールである。入力判定モジュール553は、ディスプレイパネル210上でのユーザの操作入力を判定するモジュールである。操作指示/表示モジュール554は、判定されたユーザの操作入力に対応する操作の実行を指示し、操作の表示あるいは実行結果の表示を制御するモジュールである。
 入出力インタフェース560は、制御部220と外部装置や周辺機器とのインタフェースを行う。本実施形態においては、設定部230と操作実行部240(他装置にあってもよい)が接続されている。ディスプレイパネル・インタフェース570は、制御部220と、ディスプレイパネル210の静電容量検出部(誘電体層)213および表示部(LCE層やLED層)214とが接続される。
 なお、図5のRAM540やストレージ550には、オペレーションデバイスとしての汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。
 <制御部の処理手順>
 図6は、本実施形態に係る制御部220の処理手順を示すフローチャートである。本フローチャートは、図5のCPU510がRAM540を用いて実行し、図2の制御部220の構成要素を実現する。
 制御部220は、ステップS601において、ディスプレイパネル210上の操作領域を設定するパネル設定処理を実行する。制御部220は、ステップS603において、ディスプレイパネル210上でのユーザの操作入力を判定する入力判定処理を実行する。制御部220は、ステップS605において、判定されたユーザの操作入力に対応する操作の実行を指示し、操作の表示あるいは実行結果の表示を制御する操作指示/表示処理を実行する。
 (パネル設定処理)
 図7Aは、本実施形態に係るパネル設定処理S601の手順を示すフローチャートである。
 制御部220は、ステップS711において、ディスプレイパネル210上の領域配置を取得して設定(記憶)する。制御部220は、ステップS713において、ディスプレイパネル210上の物理操作部以外の領域(XY座標)を取得して、増幅度および閾値と共に記憶する。なお、物理操作部以外の領域では既存の処理とする場合には、増幅度はなくてもよい。制御部220は、ステップS715において、ディスプレイパネル210上の物理操作部の位置(XY座標)と操作種類とを取得して、増幅度および閾値と共に記憶する。
 (入力判定処理)
 図7Bは、本実施形態に係る入力判定処理S603の手順を示すフローチャートである。
 制御部220は、ステップS721において、ディスプレイパネル210上の各位置(XY座標)の静電容量を取得する。制御部220は、ステップS723において、静電容量の変化が発生したか否かを待つ。静電容量の変化が発生した場合、制御部220は、ステップS724において、静電容量の変化が発生した場所が物理操作部の領域か否かを判定する。物理操作部の領域内と判定された場合は、制御部220は、ステップS725において、静電容量の変化が発生した位置がプッシュスイッチの領域かダイヤルの領域かを判定する。プッシュスイッチの領域であれば、制御部220は、ステップS726において、静電容量の変化に対応する出力を増幅する。そして、制御部220は、ステップS728において、静電容量の変化が閾値Th1a以上であるかを判定する。静電容量の変化が閾値Th1a未満であれば、制御部220は、ステップS732において、「ユーザによる物理操作が無い」と判定する。一方、静電容量の変化が閾値Th1a以上であれば、制御部220は、ステップS729において、ユーザによる物理操作有りと判定して、プッシュスイッチ位置に対応する操作実行指示と操作表示指示を記憶する。
 ステップS725の判定でダイヤルの領域であれば、制御部220は、ステップS727において、静電容量の変化に対応する出力を増幅する。そして、制御部220は、ステップS730において、静電容量の変化が閾値Th1b(増幅がなければ、Th2>Th1b>Th1a)以上であるかを判定する。静電容量の変化が閾値Th1b未満であれば、制御部220は、ステップS732において、ユーザによる物理操作無しと判定する。一方、静電容量の変化が閾値Th1b以上であれば、制御部220は、ステップS731において、ユーザによる物理操作有りと判定して、ダイヤル回転角度に対応する操作実行指示と操作表示指示を記憶する。
 ステップS725の判定で物理操作部の領域外と判定された場合、制御部220は、ステップS733において、静電容量の変化が閾値Th2(増幅がなければ、Th2>Th1b>Th1a)以上であるかを判定する。静電容量の変化が閾値Th2未満であれば、制御部220は、ステップS737において、「ユーザによる物理操作部領域外の操作が無い」と判定する。一方、静電容量の変化が閾値Th2以上であれば、制御部220は、ステップS735において、「ユーザによる物理操作部領域外の操作があった」と判定して、判定位置と共にを記憶する。
 (操作指示/表示処理)
 図7Cは、本実施形態に係る操作指示/表示処理S605の手順を示すフローチャートである。
 制御部220は、ステップS751において、入力判定処理S603における判定結果から操作領域が、物理操作部の領域か物理操作部以外の領域かを判定する。物理操作部の領域と判定された場合、制御部220は、ステップS752において、プッシュスイッチ位置かダイヤルの領域かを、入力判定処理S603で記憶した判定結果を用いて判定する。プッシュスイッチ領域であれば、制御部220は、ステップS753において、入力判定処理S603で記憶した判定結果から操作位置を取得する。そして、制御部220は、ステップS755において、操作位置に対応する操作の実行指示と表示指示を行う。
 ステップS752の判定でダイヤルの領域であれば、制御部220は、ステップS757において、入力判定処理S603で記憶した判定結果から操作位置と回転角度とを取得する。そして、操作位置と回転角度とに対応する操作の実行指示と表示指示を行う。
 ステップS751の判定で物理操作部以外の領域と判定された場合、制御部220は、ステップS781において、入力判定処理S603で記憶した判定結果から操作位置を取得する。そして、操作位置に対応する操作の実行指示と表示指示を行う。
 なお、本実施形態では、説明が複雑にならないように、入力判定処理と操作指示/表示処理とを分けて説明したが、一連のフローチャートであってもよい。
 本実施形態によれば、物理操作部が取り付けられる領域と、それ以外の領域とを効果的に制御することができる。本実施形態では、物理操作部が取り付けられる領域において、さらに、異なる物理操作部、例えばプッシュスイッチとダイヤルとを効果的に制御することができる。
 [第3実施形態]
 次に、本発明の第3実施形態に係るオペレーションデバイスについて説明する。本実施形態に係るオペレーションデバイスは、上記第2実施形態と比べると、同じ物理操作部(プッシュスイッチ)において2レベルの操作入力を有し、物理操作部としてスライダを含む点で異なる。2レベルの操作入力は、プッシュスイッチの表面に接触した接触状態と、プッシュスイッチを押し込んだ押込み状態とを、静電容量によって識別する。また、複数のプッシュスイッチの上方をユーザの指がスライドした場合と、複数のプッシュスイッチを押し込みながらユーザの指がスライドした場合とを、複数のプッシュスイッチを所定のパラメータを連続的に変化させる異なるスライダとして機能させる。その他の構成および動作は、第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
 (プッシュスイッチの接触と押込み)
 図8Aおよび図8Bは、本実施形態に係るプッシュスイッチの接触と押込みとを説明する図である。プッシュスイッチでは、プッシュスイッチの表面に接触した接触状態と、プッシュスイッチを押し込んだ押込み状態とを、検出した静電容量の違いによって識別する。なお、図8Aにおいて、図3Aと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
 図8Aには、ユーザ操作に対応する、物理操作部領域のプッシュスイッチ領域における、プッシュスイッチへの指の接触時の静電容量の検出結果311と、プッシュスイッチを押込んだ時の静電容量の検出結果811とを示している。図8Aから明らかなように、誘電体層213表面からの距離がプッシュスイッチへの接触時の距離>プッシュスイッチの押込み時の距離であり、その検出出力は逆に、プッシュスイッチへの接触時の出力<プッシュスイッチの押込み時の出力となる。
 したがって、増幅後の出力からプッシュスイッチへのユーザ操作の操作レベルの判定を行う閾値813は、
プッシュスイッチへの接触の閾値(Sh1a)<プッシュスイッチの押込みの閾値(Sh1c)
となるように設定される。すなわち、プッシュスイッチの接触と押込みとの静電容量感度は、閾値とは逆に、
プッシュスイッチへの接触の感度>プッシュスイッチの押込みの感度
となる。
 図8Bは、プッシュスイッチの接触と押込みとにおける静電容量の変化を横軸に、静電容量の変化に対応する誘電体層213からの出力を縦軸とした操作判定を説明する図である。なお、図8Bにおいて、破線が増幅前の出力であり、実線が増幅度2.0で増幅した増幅後である。
 図8Bのように、静電容量の変化と誘電体層213からの出力は比例しており、プッシュスイッチにユーザの指が接触した点821が判定される出力レベルに、閾値(Sh1a)が設定され、プッシュスイッチをユーザの指が押込んだ点822が判定される出力レベルに、閾値(Sh1c)が設定されることが明らかである。閾値(Sh1a)未満が非接触として認識される範囲であり、閾値(Sh1a)以上閾値(Sh1c)以下が接触として認識される範囲であり、閾値(Sh1c)を超える範囲が押込みとして認識される範囲である。
 (スライダの種類)
 図8Cは、本実施形態に係る物理操作部の領域におけるスライダ831~833を説明する図である。
 スライダ831は、複数の透過型プッシュスイッチを有する。ユーザの指が複数の透過型プッシュスイッチ上をスライドして場合には全体としてスライダとして機能する。また、このプッシュスイッチは透過型(透明素材)であるため、ディスプレイパネル210の表示画面を視認することが可能である。ここで、複数の透過型プッシュスイッチの上をユーザの指が単に接触してスライドした状態と、複数の透過型プッシュスイッチを順番に押し込みながらユーザの指がスライドした状態とで、異なるステップで所定のパラメータを連続的に変化させるようにしてもよい。また、複数の透過型プッシュスイッチに接触しながら指をスライドさせて、スライダ量を検知して音声再生のボリュームなどを制御してもよい。さらに、透過型プッシュスイッチを押し込むことで、検知したスライダ量に対応する値を設定あるいは決定する、
 スライダ832は、1つの透過型バー上を非接触であるいは接触しながらユーザの指がスライドして場合にスライダとして機能し、ディスプレイパネル210の表示画面が透過される。スライダ832においては、指が透過型バーから離れた場合、あるいは、指が所定時間以上同じ位置に停止した場合に、スライダ量に対応する値を設定あるいは決定し、さらに、当該スライダに関連する処理を実行する。
 スライダ833は、アクリルボタンを有するアクリルスライダをラバーヒンジ上でスライドさせる構成のスライダであり、ディスプレイパネル210の表示画面を直接見ることができる。スライダ833においても、指がアクリルスライダから離れた場合、あるいは、アクリルスライダが所定時間以上同じ位置に停止した場合に、スライダ量に対応する値を設定あるいは決定し、さらに、当該スライダに関連する処理を実行する。
 (ロッカースイッチ)
 図8Dは、本実施形態に係る物理操作部の領域におけるロッカースイッチを説明する図である。なお、物理操作部がロッカースイッチの場合、操作ボタン面を指で押して、ディスプレイパネルから遠距離の位置より近距離の位置に移動した場合の静電容量の変化を検出できる感度に設定される。すなわち、静電容量の閾値は、操作ボタン面の指がディスプレイパネルから遠距離の位置にある場合の静電容量と、操作ボタン面を指で押して、指がディスプレイパネルから近距離の位置にある場合の静電容量と、の中間に設定される。
 図8Dのロッカースイッチ上面841は、ロッカースイッチのONとOFFとの設定操作を示している。図8Dのロッカースイッチ断面842は、ロッカースイッチを横から見た図であり、指が接触するアクリルボタンと、静電容量タッチセンサのカバーレンズとの間に、ラバービンジを挟んでいる。指がアクリルボタンに接触して押下すると、ラバービンジが圧縮されて指が静電容量タッチセンサに近付く。静電容量が上昇して閾値を超えると不図示のハードまたはソフトのフリップフロップに検出信号が入力されて、ロッカースイッチのON/OFFが押下された位置に対応して記憶される。
 図8Dの静電容量検出843は、ロッカースイッチのON/OFFを検出するための閾値Sh1fと静電容量の出力との関係を示している。なお、閾値Sh1fは、ロッカースイッチのサイズや形状などに対応して調整可能であり、既存のロッカースイッチがそのまま利用できる。
 (領域データベース)
 図9Aは、本実施形態に係る領域データベース921の構成を示す図である。領域データベース921は、本実施形態では図2の領域データベース221に置き換えられる。なお、図9Aにおいて、図4Aと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
 領域データベース921は、物理操作部の種類、特に各プッシュスイッチに対応して、複数の操作レベル913および増幅度914を記憶する。そして、それぞれの操作レベル913に対応して異なる閾値915を記憶する。図9Aにおいては、接触操作を判定する閾値(Th1a)とは別に、押込み操作を判定する閾値(TH1c:Th1c>Th1a)を記憶する。また、ロッカースイッチにおいては、接触と押込みとの間の閾値Th1fを記憶する。また、図8Cのスライダ832や833では、スライドする指の誘電体層表面からの距離に応じて閾値Th1aまたはTh1bまたは他の適切な閾値を記憶する。また、図8Cのスライダ831では、プッシュスイッチへの接触の閾値Th1aと、プッシュスイッチの押込みの閾値Th1cとを記憶する。
 (物理操作部データベース)
 図9Bは、本実施形態に係る物理操作部データベース922の構成を示す図である。物理操作部データベース922は、本実施形態では図2の物理操作部データベース222に置き換えられる。なお、図9Bにおいて、図4Bと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
 物理操作部データベース922は、各操作種類、特に各プッシュスイッチに対して、複数の操作レベル925を記憶する。そして、それぞれの操作レベルに対応して異なる対応処理内容926を記憶する。図9Bは、対応処理内容926には、接触に対応して処理の選択または報知を記憶し、押込み操作に対応して処理の設定(決定して実行)を記憶する。また、ロッカースイッチにおいては、操作レベル925において接触から押込みに変化した位置に対応して、対応処理内容926がONあるいはOFFとなる。
 また、物理操作部データベース922は、中央にプッシュスイッチを備えた回転式ノブであり、ダイヤル操作において、ダイヤル内のプッシュスイッチを記憶する。その場合、対応処理内容926は、ダイヤルの回転角度が入力数値に対応し、入力ダイヤル内のプッシュスイッチが入力数値の設定やそれを用いた実行に対応する。また、スライダ831の操作において、操作レベル925として接触と押込みとを記憶し、それぞれの対応処理内容926には設定値(移動量)と、設定(実行)とを記憶する。さらに、物理操作部の各々が操作されて、接続された装置がどんな操作を実行するかの装置操作内容927を記憶する。
 物理操作種類422の組み合わせや複数の操作レベル925は、図9Bに限定されず、種々の組み合わせを実現できる。
 <制御部の処理手順>
 制御部220の処理手順は、図6に示したフローチャートと同様であるので、重複する説明は省略する。
 (パネル設定処理)
 図10Aは、図7Aに置き換えられる、本実施形態に係るパネル設定処理S601の手順を示すフローチャートである。なお、図10Aにおいて、図7Aと同様のステップには同じステップ番号を付して、重複する説明を省略する。
 制御部220は、ステップS1015において、ディスプレイパネル上の物理操作部の位置(XY座標)と操作種類とを取得して、操作種類に対応する増幅度および操作レベルに対応する閾値と共に記憶する。
 (入力判定処理)
 図10Bは、図7Bに置き換えられる、本実施形態に係る入力判定処理S603の手順を示すフローチャートである。なお、図10Bにおいて、図7Bと同様のステップには同じステップ番号を付して、重複する説明を省略する。
 制御部220は、ステップS1027において、物理操作部の領域での変化の位置がプッシュスイッチ領域かダイヤル領域かスライダ領域かを判定する。プッシュスイッチ領域の場合で静電容量の変化が閾値(Th1a)以上であれば、制御部220は、ステップS1029において、静電容量が閾値(Th1a)より大きい閾値(Th1c)以上か否かを判定する。静電容量の変化が閾値(Th1c)以上であれば、制御部220は、ステップS1030において、プッシュスイッチの押込みと判定して、プッシュスイッチ位置と押込みを記憶する。一方、静電容量の変化が閾値(Th1c)未満であれば、制御部220は、ステップS1031において、プッシュスイッチの接触と判定して、プッシュスイッチ位置と接触操作を記憶する。
 ステップS1027の判定でスライダ831の領域と判定されると、制御部220は、ステップS1032において、静電容量の変化に対応する出力を増幅する。そして、制御部220は、ステップS1033において、静電容量の変化が閾値(Th1a)以上であるか否かを判定する。静電容量の変化が閾値(Th1a)未満であれば、制御部220は、ステップS732に進んで、物理操作無しと判定する。静電容量の変化が閾値(Th1a)以上であれば、制御部220は、ステップS1035において、スライダの位置と移動距離とを記憶する。制御部220は、ステップS1037において、静電容量の変化が閾値(Th1c)以上であるか否かを判定する。静電容量の変化が閾値(Th1c)未満であれば、制御部220は、ステップS1033に戻って、スライダの移動を追跡する。静電容量の変化が閾値(Th1c)以上になれば、制御部220は、ステップS1039において、スライダの終了と判定して、押込み位置を記憶する。なお、図10Bには、煩雑さを避けるためスライダ831のみを説明している。スライダ832、833においては、ステップS1033およびS1039における閾値を対応する値に設定することで実現できる。さらに、移動速度を操作に影響させる場合は、移動速度も導出して記憶する。
 (操作指示/表示処理)
 図10Cは、図7Cに置き換えられる、本実施形態に係る操作指示/表示処理S605の手順を示すフローチャートである。なお、図10Cにおいて、図7BCと同様のステップには同じステップ番号を付して、重複する説明を省略する。
 制御部220は、ステップS1052において、図10Bの入力判定処理の判定結果を読み出し、物理操作がプッシュスイッチかダイヤルかスライダかを判定する。プッシュスイッチと判定された場合、制御部220は、ステップS1054において、図10Bの入力判定処理の判定結果を読み出し、ユーザの操作が接触か押込みかを判定する。ユーザの操作が接触である場合、制御部220は、ステップS1055において、操作位置に対応する操作の操作選択指示と表示指示する。一方、ユーザの操作が押込みである場合、制御部220は、ステップS1056において、操作位置に対応する操作の操作実行指示と表示指示する。なお、接触を操作選択または報知とし、押込みを選択された操作実行としたが、操作内容の設定はこれに限定されない。
 ステップS1052でスライダと判定された場合、制御部220は、ステップS1057において、図10Bの入力判定処理の判定結果から操作位置と移動距離とを取得する。そして、制御部220は、ステップS1059において、操作位置と移動距離に対応する操作実行指示と表示指示を行う。なお、スライダにおける上方を指でスライドする操作や複数のプッシュスイッチを押込んでスライドする操作などの処理については、フローチャートが煩雑になるので省略する。
 本実施形態によれば、1つの物理操作によって複数の操作指示を生成することができる。例えば、プッシュスイッチにおける接触と押込みとで異なる操作指示を生成することができる。また、物理操作部に種々の構成のスライダを設定することができる。スライダにおいても、上方をユーザの指がスライドする場合や、接触または押込んでユーザの指がスライドする場合で異なる操作指示を生成することができる。
 [第4実施形態]
 次に、本発明の第4実施形態に係るオペレーションデバイスについて説明する。本実施形態に係るオペレーションデバイスは、上記第2実施形態および第3実施形態と比べると、同じ物理操作部(プッシュスイッチ)において3レベル以上の操作入力を有する点で異なる。3レベル以上の操作入力には、プッシュスイッチの上方に指が接近した状態と、プッシュスイッチに指が接触した状態と、プッシュスイッチが押し込まれた状態と、が含まれる。さらに、プッシュスイッチがディスプレイパネルに接着した状態を含んでもよい。その他の構成および動作は、第2実施形態または第3実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
 (プッシュスイッチへの接近と接触と押込み)
 図11Aおよび図11Bは、本4実施形態に係るプッシュスイッチの接近と接触と押込みとを説明する図である。なお、図11Aにおいて、図3Aおよび図8Aと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
 図11Aには、ユーザ操作に対応する、物理操作部領域のプッシュスイッチ位置における、プッシュスイッチへの指の接近時の静電容量の検出結1111を追加して示している。図11Aから明らかなように、誘電体層213へのユーザの指の影響は、誘電体層213表面からの距離がプッシュスイッチへの接近時の距離>プッシュスイッチへの接触時の距離>プッシュスイッチの押込み時の距離である。従って、その検出出力の大小は、逆に、プッシュスイッチへの接近時の出力<プッシュスイッチへの接触時の出力<プッシュスイッチの押込み時の出力となる。
 したがって、増幅後の出力からプッシュスイッチへのユーザ操作の操作レベルの判定を行う閾値1113は、プッシュスイッチへの接近の閾値(Sh1d)<プッシュスイッチへの接触の閾値(Sh1a)<プッシュスイッチの押込みの閾値(Sh1c)に設定される。すなわち、プッシュスイッチへの接近、接触、押込みの静電容量感度は、閾値とは逆に、プッシュスイッチへの接近の感度>プッシュスイッチへの接触の感度>プッシュスイッチの押込みの感度と考えられる。
 図11Bは、プッシュスイッチへの接近と接触と押込みとにおける静電容量の変化を横軸に誘電体層213からの出力を縦軸とした操作判定を説明する図である。なお、図11Bにおいて、図8Bと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。なお、図11Bにおいて、破線が増幅前の出力であり、実線が増幅度3.0で増幅した増幅後である。
 図11Bのように、静電容量の変化と誘電体層213からの出力は比例しており、プッシュスイッチにユーザの指が接近した状態1123が判定される出力レベルに、閾値(Sh1d)が設定される。また、プッシュスイッチをディスプレイパネル210の表面に接着した点1124が判定される出力レベルに、閾値(Sh1e)が設定されることが明らかである。閾値(Sh1d)未満がOFFとして認識される範囲であり、閾値(Sh1d)以上閾値(Sh1a)以下が接近として認識される範囲であり、閾値(Sh1a)以上閾値(Sh1c)以下が接触として認識される範囲である。また、閾値(Sh1c)以上閾値(Sh1e)以下が押込みとして認識される範囲であり、閾値(Sh1e)を超える範囲がONとして認識される範囲である。なお、図11Bにおいては、閾値(Sh1a)以上閾値(Sh1e)以下の範囲(822)が押込みイベントではなく押込み状態として連続するアナログ入力が可能なことも示されている。なお、第3実施形態における上方をユーザの指がスライドするスライダの操作においては、プッシュスイッチにユーザの指が接近した状態と同様に、増幅度と閾値とを設定することでスライド操作を実現できる。
 (領域データベース)
 図12Aは、本実施形態に係る領域データベース1221の構成を示す図である。領域データベース1221は、本実施形態では図2の領域データベース221に置き換えられる。なお、図12Aにおいて、図4Aと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
 領域データベース1221は、各操作種類、特に各プッシュスイッチに対して、複数の操作レベル1213を記憶する。各操作種類における静電容量の大小に対応して増幅度1214を記憶する。そして、それぞれの操作レベルに対応して異なる閾値1215を記憶する。図12Aにおいては、接触操作を判定する閾値(Th1a)および押込み操作を判定する閾値(TH1c:Th1c>Th1a)とは別に、接近操作を判定する閾値(Th1d:Th1c>Th1a>Th1d)を記憶する。なお、図12Aには記載しないが、4つ目のプッシュスイッチのディスプレイパネルへのON(接着)を判定する閾値(Th1e:Th1e>Th1c>Th1a>Th1d)を記憶してもよい。また、スライダにおいて、接触でなく接近での入力を行う場合には、操作レベル1213の接近に対応する閾値1215としてTh1dを記憶する。また、スライダにおいて、指を接近しスライドして設定値を入力し、接触や押込みで設定あるいは決定する場合には、操作レベル1213に接近と接触/押込みとを記憶し、対応する閾値1215としてTh1dとTh1a/Th1cを記憶する。
 (物理操作部データベース)
 図12Bは、本実施形態に係る物理操作部データベース1222の構成を示す図である。物理操作部データベース1222は、本実施形態では図2の物理操作部データベース222に置き換えられる。なお、図12Bにおいて、図4Bと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
 物理操作部データベース1222は、各操作種類、特に各プッシュスイッチに対して、複数の操作レベル1225を記憶する。そして、それぞれの操作レベルに対応して変化する、識別可能な異なる表示色や輝度など1226と対応処理内容1227を記憶する。図12Bは、表示色や輝度など1226には、例えば、接近に対応して黄または輝度小、接触に対応して緑または輝度中、押込み操作に対応して赤または輝度大を記憶する。対応処理内容1227には、接近に対応して選択準備の処理を記憶し、接触に対応して処理の選択または報知を記憶し、押込み操作に対応して処理の設定(決定して実行)を記憶する。
 また、指を接近させてスライドさせることにより、設定値が入力される。接触や押込みで設定あるいは決定するスライダの場合、操作レベル1225の接近に対応して、表示色/輝度1226に黄/輝度小を記憶し、対応処理内容1227には設定値(移動量)の入力を記憶する。そして、操作レベル1225の接触/押込みに対応して、表示色/輝度1226に赤/輝度大を記憶し、対応処理内容1227には設定値を用いた設定(実行)を記憶する。さらに、物理操作部の各々が操作されて、接続された装置がどんな操作を実行するかの装置操作内容1228を記憶する。
 なお、物理操作種類422の組み合わせや複数の操作レベル1225は、図12Bに限定されず、種々の組み合わせを実現できる。
 <制御部の処理手順>
 制御部220の処理手順は、図6に示したフローチャートと同様であるので、重複する説明は省略する。また、本実施形態のパネル設定処理は、図7Aおよび図10Aから想定できるので、詳細は省略する。
 (入力判定処理および操作指示/表示処理)
 図13は、図7Bおよび図10Bあるいは図7Cおよび図10Cに置き換えられる、本実施形態に係る入力判定処理S603および操作指示/表示処理S605の手順を示すフローチャートである。なお、図13において、図7Bおよび図10Bあるいは図7Cおよび図10Cと同様のステップは、煩雑さを避けるために図面から省略しているが、同様の処理がなされる。また、図13にはプッシュスイッチに関連する処理手順のフローチャートのみを示しているが、他の物理操作部における処理手順は、閾値をその物理操作部に適切な値に設定することで、容易に想到し得るので省略する。
 図13の左図は、図10BのステップS726に続くフローチャートである。制御部220は、ステップS1327において、静電容量の変化が閾値(Th1d)以上か否かを判定する。静電容量の変化が閾値(Th1d)未満と判定された場合、制御部220は、ステップS732に進み、物理操作無しと判定する。
 また、静電容量の変化が閾値(Th1d)以上と判定された場合、制御部220は、ステップS728で静電容量の変化が閾値(Th1a)以上か否かを判定し、静電容量の変化が閾値(Th1a)未満の場合、制御部220は、ステップS1332において、プッシュスイッチへの接近と判定して、プッシュスイッチ位置と接近を記憶する。
 図13の右図は、図10CのステップS753から以降の本実施形態のフローチャートである。制御部220は、ステップS1354において、本実施形態の入力判定処理S603の判定結果から、プッシュスイッチへの接近か接触か押込みかを判定する。判定結果が接近である場合、制御部220は、ステップS1357において、操作位置に対応する操作準備指示と表示指示を行う。
 なお、プッシュスイッチのディスプレイパネルへの接着を判定する閾値(Th1e)を使用する場合は、判定の分岐ステップを設けることでさらに多様な操作入力が可能になる。
 本実施形態によれば、1つの物理操作によって複数の操作指示を生成することができる。例えば、プッシュスイッチにおける接近と接触と押込みとで3つ以上の異なる操作指示を生成することができる。
 [第5実施形態]
 次に、本発明の第5実施形態に係るオペレーションデバイスについて説明する。本実施形態に係るオペレーションデバイスは、上記第2実施形態および第4実施形態と比べると、オペレーションデバイスを使用する前に、各領域あるいは物理操作部の誘電容量の変化を検出する静電容量感度をキャリブレーションする点で異なる。すなわち、物理操作部領域に取り付けられた物理操作部の種類および物理操作部領域外の少なくともいずれかにおける静電容量の変化を検出するための静電容量感度を、ユーザからの入力により調整する。静電容量感度に関連するパラメータである増幅度および/または閾値をキャリブレーションして、オペレーションデバイスからの安定した正確な操作を可能とする。その他の構成および動作は、第2実施形態または第4実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
 <オペレーションデバイスのキャリブレーション部の操作>
 図14Aは、本実施形態に係るオペレーションデバイスのキャリブレーション時の操作を説明する図である。図14Aは、図2におけるオペレーションデバイス200のディスプレイパネル210でのキャリブレーション時の操作におけるユーザインタフェースを示している。なお、図14Aにおいて、図2と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
 ディスプレイパネル210の画面1400には、キャリブレーションが開始されたことと、キャリブレーションの対象領域、あるいは、対象物理操作部を選択するボタンが表示される。ボタンには、物理操作部領域外のキャリブレーションを指示するボタン1401と、物理操作部領域の3段入力(接近、接触、押込み)のプッシュスイッチのキャリブレーションを指示するボタン1405と、が含まれる。
 画面1400において物理操作部領域外のボタン1401に接触すると、表示画面は画面1410に遷移して、"物理操作部外にタッチしてください"とのコメント、あるいは音声指示が出力される。この時に、操作対象の物理操作部領域外1411を判別可能な色などで表示すると、ユーザにタッチ位置がよくわかり操作の失敗を防ぐことができる。ユーザが画面1410の物理操作部領域外1411の表面にタッチすると、表示画面は画面1420に遷移して、検出された静電容量の変化を示すグラフと、キャリブレーションのためのパラメータである増幅度と閾値との増減入力のボタンとが表示される。ユーザが、グラフを見ながら増幅度と閾値との増減入力をしながら、物理操作部領域外1411の表面へのタッチを繰り返して、物理操作部領域外1411へのユーザのタッチを安定して正確に検出できるような増幅度と閾値とに設定できる。増幅度と閾値との適切な設定が完了すると、"物理操作部外の調整が完了しました"とのコメント、あるいは音声指示が出力される。この時に、物理操作部領域外1430の色を物理操作部領域外1411と異なる色などで表示すると、ユーザに調整完了を明示することができる。なお、図14Aでは、物理操作部領域外1411へのユーザのタッチを例に説明したが、物理操作部領域外1411に接近と接触とで異なる入力操作を設定する場合には、接近操作および接触操作において安定して正確に検出できるような増幅度と閾値とを設定することになる。
 一方、画面1400において物理操作部領域の3段プッシュスイッチのボタン1405に接触すると、表示画面は画面1450に遷移して、3段プッシュスイッチの表面への接触の場合、"対象プッシュボタンに接触してください"とのコメント、あるいは音声指示が出力される。この時に、操作対象のプッシュスイッチ1451の色や周辺を判別可能な色などで表示すると、ユーザに接触位置がよくわかり操作の失敗を防ぐことができる。ユーザがプッシュスイッチ1451の表面に接触すると、表示画面は画面1460に遷移して、検出された静電容量の変化を示すグラフと、キャリブレーションのためのパラメータである増幅度と閾値との増減入力のボタンとが表示される。なお、図14Aでは3段プッシュスイッチなので、閾値は接近閾値、接触閾値、押込み閾値の調整が可能である。ユーザが、グラフを見ながら増幅度と閾値との増減入力をしながら、3段プッシュスイッチの接近操作、接触操作、押込み操作を繰り返して、3段プッシュスイッチへのユーザの操作入力を安定して正確に検出できるような増幅度と各閾値とに設定できる。増幅度と各閾値との適切な設定が完了すると、"対象プッシュスイッチの調整が完了しました"とのコメント、あるいは音声指示が出力される。この時に、プッシュスイッチ1451の色を調整前と異なる色などで表示すると、ユーザに調整完了を明示することができる。なお、図14Aでは、3段プッシュスイッチへの接近、接触、押込みを例に説明したが、他の物理操作部における異なる入力操作を設定する場合には、それぞれの操作において安定して正確に検出できるような増幅度と閾値とを設定することになる。
 (領域データベース)
 図14Bは、本実施形態に係る領域データベース1421の構成を示す図である。領域データベース1421は、図4A、図9A、図12Aと入れ替えられて使用される。なお、図14Bにおいて、図4A、図9A、図12Aと同様のステップには同じ構成要素には同じ参照番号を付して、重複する説明を省略する。
 領域データベース1421は、各操作部種類の操作レベル913に対応付けて、キャリブレーションされた適切な増幅度1414と閾値1415とを記憶する。例えば、プッシュスイッチiに適切なキャリブレーションされた増幅度は"3.1"で閾値は"Th1a-δ"である。また、プッシュスイッチnに適切なキャリブレーションされた増幅度は"2.9"である。そして、接近を検出する閾値は"Th1d-α"であり、接触を検出する閾値は"Th1a+β"であり、接近を検出する閾値は"Th1d±0"である。
 また、物理操作領域外のタッチパネル領域の、適切なキャリブレーションされた増幅度は"0.8"で閾値は"Th2-c"である。
 (パネル設定処理)
 図14Cは、本実施形態に係るパネル設定処理S601の手順を示すフローチャートである。図14Cは、図7Aと入れ替えられて実行される。なお、図14Cにおいて、図7Aと同様のステップには同じステップ番号を付して、重複する説明を省略する。
 制御部220は、ステップS1412において、物理操作部以外の領域での増幅度および閾値のキャリブレーション処理を実行する。また、制御部220は、ステップS1414において、物理操作部領域での増幅度および閾値のキャリブレーション処理を実行する。
 (物理操作部外領域のキャリブレーション処理)
 図15Aは、本実施形態に係る物理操作部外領域のキャリブレーション処理S1412の手順を示すフローチャートである。
 制御部220は、ステップS1510において、デフォルトパラメータ(増幅値および閾値)を設定する。なお、このデフォルトパラメータは、ディスプレイパネル210からのオペレーションデバイス200への操作入力が可能な値に、ディスプレイパネル210の物理性質などから設定される。
 制御部220は、ステップS1511において、ユーザによってパラメータを調整するか否かを判定する。ユーザによってパラメータを調整すると判定された場合は、ステップS1513に進む。ユーザによってパラメータを調整すると判定さない場合は、ステップS1531に進んで、デバイス(制御部)によってパラメータを調整するか否かを判定する。デバイスによってパラメータを調整すると判定された場合は、ステップS1533に進む。なお、パラメータを調整するか否かの情報は、あらかじめ制御部に記憶されていても、ユーザによって選択されてもよい。
 制御部220は、ステップS1513において、物理操作部以外の領域を判別可能に示し、ユーザの操作を指示する。そして、制御部220は、ステップS1515において、ユーザによる物理操作部以外の領域への操作入力を待つ。ユーザによる物理操作部以外の領域への操作入力があれば、制御部220は、ステップS1517において、操作入力による静電容量の変化を取得して表示し、保持されたパラメータ、最初はデフォルトパラメータ、により入力操作の判定結果を出力する。制御部220は、ステップS1519において、ユーザによるパラメータの更新が入力されたか否かを判定する。ユーザによるパラメータの更新が入力された場合、制御部220は、ステップS1513に戻って、処理を繰り返す。一方、ユーザによるパラメータの更新が入力されない場合、適切なパラメータの設定ができたと判断して、制御部220は、ステップS1521において、最後に更新された最新のパラメータを領域データベース221に登録する。そして、制御部220は、ステップS1523において、パラメータの調整をしたい物理操作部以外の領域への他の操作があるか否かを判定する。他の操作がある場合、制御部220は、ステップS1513に戻って、処理を繰り返す。
 制御部220は、ステップS1533において、物理操作部領域の対象操作部(プッシュスイッチやダイヤルなど)を判別可能に示し、ユーザの操作を指示する。そして、制御部220は、ステップS1535において、ユーザによる物理操作部領域の対象操作部への操作入力を待つ。ユーザによる物理操作部領域の対象操作部への操作入力があれば、制御部220は、ステップS1537において、操作入力による静電容量の変化を取得して、保持されたパラメータ、最初はデフォルトパラメータ、により入力操作の判定結果を出力し、判定結果を分析することでパラメータを導出する。制御部220は、ステップS1539において、適切なパラメータが導出されたかを判定する。適切なパラメータが導出されない場合、制御部220は、ステップS1533に戻って、処理を繰り返す。一方、適切なパラメータが導出された場合、制御部220は、ステップS1541において、導出された適切なパラメータを領域データベース221に登録する。そして、制御部220は、ステップS1543において、パラメータの調整をしたい物理操作部以外の領域への他の操作があるか否かを判定する。他の操作がある場合、制御部220は、ステップS1533に戻って、処理を繰り返す。
 (物理操作部領域のキャリブレーション処理)
 図15Bは、本実施形態に係る物理操作部領域のキャリブレーション処理S1414の手順を示すフローチャートである。
 制御部220は、ステップS1551において、物理操作部にある操作部の種類(プッシュスイッチの種類やスライダの種類など)の入力を待つ。操作部の種類の入力があれば、制御部220は、ステップS1553において、操作部の対象種類におけるデフォルトパラメータ(増幅値および閾値)を設定する。
 制御部220は、ステップS1561において、ユーザによってパラメータを調整するか否かを判定する。ユーザによってパラメータを調整すると判定された場合は、ステップS1563に進む。ユーザによってパラメータを調整すると判定さない場合は、ステップS1581に進んで、デバイス(制御部)によってパラメータを調整するか否かを判定する。デバイスによってパラメータを調整すると判定された場合は、ステップS1583に進む。なお、パラメータを調整するか否かの情報は、あらかじめ制御部に記憶されていても、ユーザによって選択されてもよい。
 制御部220は、ステップS1563において、物理操作部領域の対象操作部を判別可能に示し、ユーザの操作を指示する。そして、制御部220は、ステップS1565において、ユーザによる対象操作部への操作入力を待つ。ユーザによる対象操作部への操作入力があれば、制御部220は、ステップS1567において、操作入力による静電容量の変化を取得して表示し、保持されたパラメータ、最初はデフォルトパラメータ、により入力操作の判定結果を出力する。制御部220は、ステップS1569において、ユーザによるパラメータの更新が入力されたか否かを判定する。ユーザによるパラメータの更新が入力された場合、制御部220は、ステップS1563に戻って、処理を繰り返す。一方、ユーザによるパラメータの更新が入力されない場合、適切なパラメータの設定ができたと判断して、制御部220は、ステップS1571において、最後に更新された最新のパラメータを領域データベース221に登録する。そして、制御部220は、ステップS1573において、同じ種類の操作部において他の状態を有するか否かを判定する。例えば、3段プッシュスイッチであれば、接近状態、接触状態、押込み状態の3つの状態についてパラメータを調整する。他の状態がある場合、制御部220は、ステップS1563に戻って、処理を繰り返す。他の状態がない場合、制御部220は、ステップS1575において、パラメータを調整する他の種類の操作部があるか否かを判定する。他の種類の操作部がある場合、制御部220は、ステップS1551に戻って、他の操作部の種類の入力を待つ。
 制御部220は、ステップS1583において、物理操作部領域の対象操作部(プッシュスイッチやダイヤルなど)を判別可能に示し、ユーザの操作を指示する。そして、制御部220は、ステップS1585において、ユーザによる物理操作部領域の対象操作部への操作入力を待つ。ユーザによる物理操作部領域の対象操作部への操作入力があれば、制御部220は、ステップS1587において、操作入力による静電容量の変化を取得して、保持されたパラメータ、最初はデフォルトパラメータ、により入力操作の判定結果を出力し、判定結果を分析することでパラメータを導出する。制御部220は、ステップS1589において、適切なパラメータが導出されたかを判定する。適切なパラメータが導出されない場合、制御部220は、ステップS1583に戻って、処理を繰り返す。一方、適切なパラメータが導出された場合、制御部220は、ステップS1591において、導出された適切なパラメータを領域データベース221に登録する。そして、制御部220は、ステップS1593において、同じ種類の操作部において他の状態を有するか否かを判定する。例えば、3段プッシュスイッチであれば、接近状態、接触状態、押込み状態の3つの状態についてパラメータを調整する。他の状態がある場合、制御部220は、ステップS1583に戻って、処理を繰り返す。他の状態がない場合、制御部220は、ステップS1595において、パラメータを調整する他の種類の操作部があるか否かを判定する。他の種類の操作部がある場合、制御部220は、ステップS1551に戻って、他の操作部の種類の入力を待つ。
 本実施形態によれば、静電容量を用いたオペレーションデバイスから安定した正確な操作入力をすることができる。
 [産業上の利用分野]
 上述したオペレーションデバイスの適用分野について説明する。本実施形態においては、第1実施形態から第5実施形態に記載したオペレーションデバイスを用いて種々の分野のシステムに適用した構成を説明する。
 上述したオペレーションデバイスは、例えば、オーディオミキサ、自動車の操作パネル、医療情報閲覧用モニタ、工作機械の操作部、建機・船舶の操作部、ゲーム機などのアミューズメント機器の操作部、コンピュータやコンピュータ周辺機器の操作部、および鉄道や船舶などの券売機などに適用できる。本実施形態によれば、ダイヤルやスイッチなど必要な種類の操作部を、ディスプレイパネル上の所望の位置に自由に配置して、ソフトウェアにより各操作部の操作精度や役割を設定できる。
 例えば、本実施形態をオーディオミキサに適用する場合、物理操作部として取り付けられたプッシュスイッチが曲(メロディ)の選択やリズムの選択など、ダイヤルが曲全体のボリュームやテンポの設定など、スライダが各パートのボリュームやリズムなどの設定など、を行うための操作部となる。また、メロディ、ボリューム、リズムの切断、接続や組み合わせなどを行うための操作部ともなる。
 一方、本実施形態を車載器に適用する場合、プッシュスイッチがスピーカやエアコンのON/OFFなど、ダイヤルやスライダがエアコン温度や風量の調整やカーナビの地図の選択やスクロールなどを行うための操作部となる。
 <オペレーションデバイスを用いたシステム>
 図16は、本実施形態に係るオペレーションデバイスを用いたシステム1600の構成を示すブロック図である。なお、図16において、図2と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
 図16においては、制御部220からの操作指示を受けた操作実行部240を介して、指示操作の実行結果を入出力インタフェース1610から様々な周辺機器に出力する構成を示す。例えば、周辺機器には、音声出力部1611や、スパートグラス(HMD)1612や、ヘッドアップディスプレイ1613などが接続されて、操作指示結果の音声出力や画面表示が実現される。
 (物理操作部データベース)
 図17は、本実施形態に係る多分野で使用するための物理操作部データベース1722の構成を示す図である。なお、図17において、図4Bと同様な構成要素には同じ参照番号を付して、重複する説明を省略する。
 図17は、利用分野1711の各分野に対応して、各々の物理操作部データベース1723、1724が準備されている。例えば、利用分野1711が自動車の場合には、物理操作部データベース1723が使用され、対応処理内容1727にはカーナビに関連する操作指示が可能なようにオペレーションデバイスが制御される。また、利用分野1711が医療分野であれば、物理操作部データベース1724が使用され、対応処理内容1728には看護師や医師の医療に関連する操作指示が可能なようにオペレーションデバイスが制御される。
 (自動車のカーナビへの適用例)
 図18Aは、本実施形態に係るオペレーションデバイスを自動車に搭載したカーナビシステム1810に適用した構成例を示す図である。
 (医療分野の適用例)
 図18Bは、本実施形態に係るオペレーションデバイスを医療分野で利用した医療処理システム1820に適用した構成例を示す図である。図18Bには、操作用の本実施形態に係るオペレーションデバイス1821と、操作結果の表示用メインディスプレイ1822が図示されている。なお、本実施形態に係るオペレーションデバイスの適用分野は上記例に限定されることなく、例えば、産業機器の操作部への適用、建機・船舶機器向けの操作部への適用、ゲーム機などのアミューズメント機器の操作部への適用、コンピュータ(PC)やコンピュータ周辺機器(HID機器)の操作部への適用、などが考えられる。
 (壁への埋め込みディスプレイ)
 図18Cは、本実施形態に係るオペレーションデバイスを壁に埋め込んで利用したシステム構成1830および1840を示す図である。
 システム構成1830は、例えば、デジタルサイネージなどに本実施形態のオペレーションデバイスを壁に埋め込んで利用した例である。また、システム構成1840は、室内における環境調整や家電機器調整などに本実施形態のオペレーションデバイスを壁に埋め込んで利用した例である。外部との通信画面として使用してもよい。
 (駅の券売機)
 本実施形態に係るオペレーションデバイスは、駅の券売機などに適用することができ効果的である。例えば、1枚のディスプレイパネルに物理操作部としての透過型プッシュスイッチを取り付け、透過型プッシュスイッチの取り付け位置のディスプレイに運賃や行き先を表示することで、券売機における運賃の変更や更新なども、透過型プッシュスイッチの取り付けとソフトウェアの変更や更新で簡単に実現できる。
 以上のように、本実施形態に係るオペレーションデバイスは、様々な分野における操作部への適用が可能である。
 [他の実施形態]
 なお、上記実施形態においては、静電容量の変化を検出する検出部については具体的な構成を示していないが、当該検出部は既知の技術によって制御部で検出される構成であっても、ディスプレイパネルと制御部との間に静電容量の変化を検出する検出部(例えば、ICチッブ)を設けて、そのデジタル出力を制御部が取得する構成であってもよい。静電容量の変化の検出は、所定周波数の波形や矩形パルスなどを印加して、静電容量の変化に伴う電流変化により検出するのが普通であるが、本実施形態で採用する検出方法に制限はない。
 また、上記実施形態においては、ディスプレイパネル上に取り付けられる物理操作部として、プッシュスイッチ、ロッカースイッチ、ダイヤル、スライダを例に説明したが、取り付けられる物理操作部は、物理操作時のユーザの指の動きが静電容量の変化や、変化位置の移動として検出可能ないかなる物理操作部品であってもよい。そして、物理操作部のサイズや形状などの違いも本実施形態における増幅度や閾値を調整する(感度を調整する)ことにより吸収できるため、既存の物理操作部をそのまま使用可能である。
 また、上記実施形態においては、ディスプレイパネルの表面を平面として説明したが、凸曲面や凹曲面であってもよい。また、物理操作部を取り付けた領域と、物理操作部を取り付けない領域とを、所定角度で折り曲げることも可能である。
 以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の技術的範囲で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の技術的範囲に含まれる。
 また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に供給され、内蔵されたプロセッサによって実行される場合にも適用可能である。本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるサーバも、プログラムを実行するプロセッサも本発明の技術的範囲に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の技術的範囲に含まれる。

Claims (14)

  1.  静電容量の変化を用いた操作検知機能および画像表示機能を有するディスプレイパネルと、
     前記ディスプレイパネルの表面に取り付けられ、ユーザの操作によって位置および姿勢の少なくとも一方が変化する物理操作部と、
     前記物理操作部の位置および姿勢の少なくとも一方の変化を、静電容量の値を用いて検出する制御部と、
     を備えたオペレーションデバイスであって、
     前記ディスプレイパネル上の、前記物理操作部が取り付けられた第1領域と、当該第1領域以外の第2領域とにおいて、異なる静電容量感度で前記静電容量の変化を検出するオペレーションデバイス。
  2.  前記第1領域で用いられる第1増幅度および第1閾値の少なくともいずれかと、前記第2領域で用いられる第2増幅度および第2閾値の少なくともいずれかと、を異なる値に調整する請求項1に記載のオペレーションデバイス。
  3.  前記物理操作部は、プッシュスイッチ、回転式ノブおよびスライダの少なくとも1つを含む請求項1に記載のオペレーションデバイス。
  4.  前記第1領域はダイヤル領域とプッシュスイッチ領域を含み、前記第2領域はタッチ領域を含み、
     前記ダイヤル領域の感度は、前記プッシュスイッチ領域の感度以下であり、前記タッチ領域の感度よりも高い請求項1に記載のオペレーションデバイス。
  5.  前記物理操作部は、プッシュスイッチを有し、前記プッシュスイッチの表面に接触した接触状態と、前記プッシュスイッチを押し込んだ押込み状態とを、検出した前記静電容量の違いによって識別する請求項1に記載のオペレーションデバイス。
  6.  前記物理操作部は、複数のプッシュスイッチを有し、
     前記制御部は、前記プッシュスイッチを押し込んだ状態と、前記プッシュスイッチの上方を前記ユーザの指がスライドした状態とを、前記静電容量によって識別し、
     前記複数のプッシュスイッチの上方を前記ユーザの指がスライドした場合には、前記複数のプッシュスイッチを、所定のパラメータを連続的に変化させるためのスライダとして機能させる請求項1に記載のオペレーションデバイス。
  7.  前記物理操作部は、複数のプッシュスイッチを有し、
     前記制御部は、
     前記プッシュスイッチの上方に指が接近した第1状態と、
     前記プッシュスイッチに指が接触した第2状態と、
     前記プッシュスイッチが押し込まれた第3状態と、
     前記複数のプッシュスイッチの上方を前記ユーザの指がスライドした第4状態と、
     前記複数のプッシュスイッチを押し込みながら前記ユーザの指がスライドした第5状態と、
     を静電容量によって識別し、
     前記第4状態と前記第5状態とで、異なるステップで所定のパラメータを連続的に変化させる請求項1に記載のオペレーションデバイス。
  8.  前記物理操作部は、複数の透過型プッシュスイッチを有し、
     前記制御部は、
     前記プッシュスイッチの上方に指が接近した第1状態と、
     前記プッシュスイッチに指が接触した第2状態と、
     前記プッシュスイッチが押し込まれた第3状態と、
     を識別し、
     前記第1、第2、第3状態で、前記透過型プッシュスイッチが取り付けられた領域の前記ディスプレイパネルの表示を変化させる請求項1に記載のオペレーションデバイス。
  9.  前記物理操作部は、中央にプッシュスイッチを備えた回転式ノブである請求項1に記載のオペレーションデバイス。
  10.  前記物理操作部は、プッシュスイッチを有し、
     前記制御部は、前記プッシュスイッチへ触ったことを検出して前記プッシュスイッチに対応する選択または報知を指示し、前記プッシュスイッチが押されたことを検出して前記プッシュスイッチに対応する決定を指示する請求項1に記載のオペレーションデバイス。
  11.  前記物理操作部は、ロッカースイッチであって、操作ボタン面を押して前記ディスプレイパネルから遠距離の位置より近距離の位置に移動した場合の静電容量の変化を検出できる感度に設定される請求項1に記載のオペレーションデバイス。
  12.  前記制御部は、前記第1領域に取り付けられた前記物理操作部の種類および前記第2領域の少なくともいずれかにおける前記静電容量の変化を検出するための前記静電容量感度を、前記ユーザからの入力により調整するキャリブレーション部を有する請求項1に記載のオペレーションデバイス。
  13.  静電容量の変化を用いた操作検知機能および画像表示機能を有するディスプレイパネルと、
     前記ディスプレイパネルの表面に取り付けられ、ユーザの操作によって位置および姿勢の少なくとも一方が変化する物理操作部と、
     前記物理操作部の位置および姿勢の少なくとも一方の変化を、静電容量の値を用いて検出する制御部と、
    を備えたオペレーションデバイスの制御方法であって、
     前記ディスプレイパネル上の、前記物理操作部が取り付けられた第1領域において、第1の静電容量感度で前記静電容量の変化を検出する第1検出ステップと、
     前記第1領域以外の第2領域において、前記第1の静電容量感度と異なる第2の静電容量感度で前記静電容量の変化を検出する第2検出ステップと、
     を含むオペレーションデバイスの制御方法。
  14.  静電容量の変化を用いた操作検知機能および画像表示機能を有するディスプレイパネルと、
     前記ディスプレイパネルの表面に取り付けられ、ユーザの操作によって位置および姿勢の少なくとも一方が変化する物理操作部と、
     前記物理操作部の位置および姿勢の少なくとも一方の変化を、静電容量の値を用いて検出する制御部と、
     を備えたオペレーションデバイスの制御プログラムであって、
     前記ディスプレイパネル上の、前記物理操作部が取り付けられた第1領域において、第1の静電容量感度で前記静電容量の変化を検出する第1検出ステップと、
     前記第1領域以外の第2領域において、前記第1の静電容量感度と異なる第2の静電容量感度で前記静電容量の変化を検出する第2検出ステップと、
     をコンピュータに実行させるオペレーションデバイスの制御プログラム。
PCT/JP2022/026207 2022-06-30 2022-06-30 オペレーションデバイスおよびその制御方法と制御プログラム WO2024004132A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022540975A JP7161083B1 (ja) 2022-06-30 2022-06-30 オペレーションデバイスおよびその制御方法と制御プログラム
PCT/JP2022/026207 WO2024004132A1 (ja) 2022-06-30 2022-06-30 オペレーションデバイスおよびその制御方法と制御プログラム
JP2022164982A JP2024006867A (ja) 2022-06-30 2022-10-13 オペレーションデバイスおよびその制御方法と制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/026207 WO2024004132A1 (ja) 2022-06-30 2022-06-30 オペレーションデバイスおよびその制御方法と制御プログラム

Publications (1)

Publication Number Publication Date
WO2024004132A1 true WO2024004132A1 (ja) 2024-01-04

Family

ID=83742534

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/026207 WO2024004132A1 (ja) 2022-06-30 2022-06-30 オペレーションデバイスおよびその制御方法と制御プログラム

Country Status (2)

Country Link
JP (2) JP7161083B1 (ja)
WO (1) WO2024004132A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024236888A1 (ja) * 2023-05-18 2024-11-21 アルプスアルパイン株式会社 入力装置
CN119552758A (zh) 2023-09-01 2025-03-04 学校法人东京药科大学 微生物、以及包含其的燃料电池、电解池及组合物

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012242924A (ja) * 2011-05-17 2012-12-10 Nissan Motor Co Ltd タッチパネル装置およびタッチパネル装置の制御方法
JP6532631B1 (ja) * 2018-10-15 2019-06-19 三菱電機株式会社 タッチパネル入力装置、タッチパネル入力方法、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6754673B2 (ja) * 2016-11-02 2020-09-16 池上通信機株式会社 トグルスイッチ付き電子機器
JP2020077223A (ja) * 2018-11-08 2020-05-21 株式会社Nsc タッチパネル装置
US11188161B2 (en) * 2019-08-20 2021-11-30 Synaptics Incorporated Automative knob sensing device
JP7377757B2 (ja) * 2020-03-30 2023-11-10 株式会社ユーシン 操作つまみ装置
JP2022077785A (ja) * 2020-11-12 2022-05-24 株式会社ジャパンディスプレイ 入力検出システム及び入力支援装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012242924A (ja) * 2011-05-17 2012-12-10 Nissan Motor Co Ltd タッチパネル装置およびタッチパネル装置の制御方法
JP6532631B1 (ja) * 2018-10-15 2019-06-19 三菱電機株式会社 タッチパネル入力装置、タッチパネル入力方法、及びプログラム

Also Published As

Publication number Publication date
JP7161083B1 (ja) 2022-10-25
JP2024006867A (ja) 2024-01-17
JPWO2024004132A1 (ja) 2024-01-04

Similar Documents

Publication Publication Date Title
US10753814B2 (en) Piezoresistive sensors and sensor arrays
US8681112B2 (en) Apparatus and method for touch screen user interface for electronic devices part IC
US10216342B2 (en) Information processing apparatus, information processing method, and program
US10055046B2 (en) Touch-sensitive electronic apparatus for media applications, and methods therefor
US9513798B2 (en) Indirect multi-touch interaction
EP2686758B1 (en) Input device user interface enhancements
EP1241557A2 (en) Method for displaying information responsive to sensing a physical presence proximate to a computer input device
US11816280B2 (en) Touch encoder, touch panel, and input method editor with integrated development environment and methods thereof
US20110227947A1 (en) Multi-Touch User Interface Interaction
JP2024006867A (ja) オペレーションデバイスおよびその制御方法と制御プログラム
WO2010027803A1 (en) Omnidirectional gesture detection
JP2009536385A (ja) スクロール付き多機能キー
JP2012003404A (ja) 情報表示装置
EP1621989A2 (en) Touch-sensitive electronic apparatus for media applications, and methods therefor
CN111273792A (zh) 具有定制虚拟装置区域的触摸敏感输入
JP2006268665A (ja) カーソル移動装置、カーソルの移動方法、プログラムおよび記録媒体
JP5414134B1 (ja) タッチ式入力システムおよび入力制御方法
US7924265B2 (en) System and method for emulating wheel-style, rocker-style, or wheel-and-rocker style navigation with an analog pointing device
US20060170711A1 (en) Input device
US10474108B2 (en) Magnetic sensor array for crown rotation
JPH0540571A (ja) 3次元位置入力方法および3次元位置入力装置
WO2010105631A2 (en) Computer input system, method, and device

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022540975

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22949405

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22949405

Country of ref document: EP

Kind code of ref document: A1