[go: up one dir, main page]

WO2002056165A1 - Terminal de traitement d'informations - Google Patents

Terminal de traitement d'informations Download PDF

Info

Publication number
WO2002056165A1
WO2002056165A1 PCT/JP2002/000008 JP0200008W WO02056165A1 WO 2002056165 A1 WO2002056165 A1 WO 2002056165A1 JP 0200008 W JP0200008 W JP 0200008W WO 02056165 A1 WO02056165 A1 WO 02056165A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
processing terminal
user
displacement
vibration
Prior art date
Application number
PCT/JP2002/000008
Other languages
English (en)
French (fr)
Inventor
Junichi Rekimoto
Shigeru Tajima
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to KR1020037009095A priority Critical patent/KR100787792B1/ko
Priority to EP02729371A priority patent/EP1351119A4/en
Priority to US10/250,879 priority patent/US7230605B2/en
Publication of WO2002056165A1 publication Critical patent/WO2002056165A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/02—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4221—Dedicated function buttons, e.g. for the control of an EPG, subtitles, aspect ratio, picture-in-picture or teletext
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42221—Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo

Definitions

  • the present invention relates to an information processing terminal, and more particularly, to an information processing terminal that generates a vibration in response to detection of a predetermined displacement, thereby realizing a more preferable user interface.
  • a cursor on the screen moves as a user tilts the terminal, so that a desired application program can be selected.
  • the present invention has been made in view of such a situation, and it is an object of the present invention to provide a user interface in which a cursor can be moved in accordance with a tilt or the like so that a user interface can be easily and reliably input.
  • the information processing terminal of the present invention includes: an execution unit that executes a predetermined process; a displacement detection unit that detects a displacement of a posture of a housing of the information processing terminal; and a displacement of the posture detected by the displacement detection unit. When the specified value is exceeded, vibration occurs in the housing. And a vibration generating means for generating vibration.
  • the display device may further include a display unit that displays a plurality of pieces of information, and a display switching unit that switches display of information displayed by the display unit in accordance with the vibration generated by the vibration generation unit.
  • An instruction unit for instructing execution of the information switched by the display switching unit may be further provided, and the execution unit may execute a process corresponding to the information instructed by the instruction unit.
  • the displacement detecting means can detect a rotational displacement with respect to a predetermined axis of the housing.
  • the display switching means can enlarge or reduce the information displayed by the display means.
  • the vibration generating means is provided so as to protrude from the housing, and can generate vibration transmitted to the touched user's hand.
  • the information processing terminal is an input device of another information processing device, and may further include a transmission unit that transmits an instruction to the other information processing device.
  • the information processing apparatus may further include a receiving unit that receives a signal from another information processing apparatus, and the vibration generating unit may generate vibration in the housing according to the signal received by the receiving unit.
  • An information processing method of an information processing terminal includes an execution step of executing a predetermined process, a displacement detection step of detecting a displacement of a posture of a housing of the information processing terminal, and a process of the displacement detection step.
  • a predetermined process is executed, and the displacement of the attitude of the housing of the information processing terminal is detected. Further, when the displacement of the detected posture exceeds a predetermined value, vibration is generated in the housing.
  • FIG. 1 is a diagram showing an external configuration of a front face of a PDA to which the present invention is applied.
  • FIG. 2 is a diagram showing an external configuration of a right side surface of the PDA in FIG.
  • FIG. 3 is a block diagram showing the internal configuration of the PDA of FIG.
  • FIG. 4 is a diagram showing a configuration example of the three-axis gyro sensor of FIG.
  • FIG. 5 is a diagram illustrating a configuration example of the feedback generation unit in FIG.
  • FIG. 6 is a flowchart for explaining the processing of the PDA in FIG.
  • FIG. 7 is a diagram showing a display example of the display unit of the PDA in FIG.
  • FIG. 8 is a diagram showing another display example of the display unit of the PDA in FIG.
  • FIG. 9 is a diagram showing still another display example of the display unit of the PDA in FIG.
  • FIG. 10 is a diagram showing another external configuration of the PDA to which the present invention is applied.
  • FIG. 11 is a diagram showing an external configuration of a remote controller to which the present invention is applied.
  • FIG. 12 is a block diagram showing the internal configuration of the remote controller of FIG.
  • FIG. 13 is a diagram illustrating a configuration example of the feedback generation unit in FIG.
  • FIG. 14 is a diagram illustrating another configuration example of the feedback generation unit in FIG.
  • FIG. 15 is a block diagram showing the internal configuration of the television receiver shown in FIG.
  • FIG. 16 is a flowchart illustrating processing of the remote controller in FIG. 11.
  • FIG. 17 is a flowchart illustrating processing of the television receiver in FIG. 11.
  • FIG. 18 is a diagram illustrating a display example of the television receiver in FIG. 11.
  • FIG. 19 is a diagram illustrating another display example of the television receiver in FIG. 11.
  • FIG. 20 is a diagram showing another external configuration of the remote controller to which the present invention is applied.
  • FIG. 1 shows an example of an external configuration of a front surface (surface 1A) in a state where a user holds a PDA 1 to which the present invention is applied in a left hand
  • FIG. It is a figure which shows the example of an external appearance structure, respectively.
  • the housing of the PDA 1 is formed in a size that can be held and operated with one hand, and a display unit 11 is provided substantially at the center of the surface 1A.
  • the display unit 11 is configured by a display device such as an LCD (Liquid Crystal Display) and displays icons, thumbnails, text, and the like.
  • the user touches the touch pad 11 A provided below the display unit 11 and the key 1 provided below the touch pad 11 A with respect to the icons displayed on the display unit 11. 2, or input various commands by operating the jog dial 13 provided on the surface 1C (left side).
  • the user can input various kinds of processing by pressing the control button 14 provided below the jog dial 13 on the surface 1C toward the inside of the housing and tilting the PDA 1.
  • the control button 14 provided below the jog dial 13 on the surface 1C toward the inside of the housing and tilting the PDA 1.
  • the display section 11 displays the menu screen of the application program stored in the PDA 1
  • the user tilts the PDA 1 to move the cursor and execute the application program. You can select
  • vibration is generated in accordance with the movement of the cursor, and the user can click the icon as if the icon was selected by an input device such as a mouse pointer. It is designed to give a sense of feedback (feedback to input).
  • FIG. 3 is a block diagram showing an example of the electrical configuration of the PDA 1. Contrast with Figure 1 Corresponding parts have the same reference characters allotted, and description thereof will not be repeated.
  • the CPU (Central Processing Unit) 3 1 synchronizes with the clock signal supplied from the oscillator 3 2 to flash ROM (Read Only Memory) 3 3 or EDO DRAM (Extended Data Out Dynamic Random-Access Memory) 3 Execute various programs such as the operating system or application program stored in 4.
  • flash ROM Read Only Memory
  • EDO DRAM Extended Data Out Dynamic Random-Access Memory
  • Flash ROM 33 is composed of flash memory, which is a type of EEPROM (Electrically Erasable Programmable Read-Only Memory), and generally includes the basics of the programs and arithmetic parameters used by CPU 31. To store fixed data.
  • the EDO DRAM 34 stores a program to be executed by the CPU 31 and parameters that change as appropriate in the execution.
  • the memory stick interface 35 reads data from the Memory Stick (trademark) 21 attached to the PDA 1 and writes data supplied from the CPU 31 to the memory stick 21 .
  • Memory Stick 21 is a small, thin plastic case that contains a flash memory element that can be electrically rewritten and erased. Data can be written and read.
  • the USB (Universal Serial Bus) interface 36 synchronizes with the clock signal supplied from the oscillator 37, inputs data or programs from the connected USB device, and receives data supplied from the CPU 31. Outputs data.
  • the Flash ROM 33, EDO DRAM 34, memory stick interface 35, and USB interface 36 are connected to the CPU 31 via an address bus and a data bus.
  • the display unit 11 receives data from the CPU 31 via the LCD bus, and displays images or characters corresponding to the received data.
  • the touch pad control unit 38 receives data (for example, indicating a touched coordinate) corresponding to the operation from the display unit 11 and outputs a signal corresponding to the received data. Is supplied to the CPU 31 via the serial bus.
  • An EL (Electroluminescence) driver 39 operates an electroluminescent element provided on the back side of the liquid crystal display unit of the display unit 11 to control the brightness of the display of the display unit 11.
  • the infrared communication unit 40 transmits data received from the CPU 31 as an infrared signal to another device (not shown) via a UART (Universal Asynchronous Receiver-Transmitter) and transmits the data from another device.
  • UART Universal Asynchronous Receiver-Transmitter
  • the received infrared signal is received and supplied to the CPU 31. This allows the PDA 1 to communicate with other devices in multiple directions via UART.
  • the audio reproduction unit 41 is composed of an audio data decoding circuit and the like, decodes audio data stored in advance or audio data received from another device, reproduces the audio, and outputs the audio. .
  • the audio reproduction unit 41 reproduces the audio data supplied from the CPU 31 from the speaker 42 via a built-in buffer, and outputs an audio corresponding to the data.
  • the communication unit 43 is connected to the Internet or the like via a communication cable or the like, stores data (for example, e-mail) supplied from the CPU 31 in a packet of a predetermined format, and To the device.
  • the communication unit 43 outputs data or a program stored in a bucket transmitted from another device to the CPU 31.
  • the output of the 3-axis gyro sensor 44 is input to the CPU 31 via a 3-axis gyro sensor sine face 45.
  • the three-axis gyro sensor 44 is configured, for example, as shown in FIG. As shown in Fig. 1, the 3-axis gyro sensor 4 has an X-axis perpendicular to the surface 1B of the PDA 1, a Y-axis perpendicular to the surface 1D (upper surface), and Fig. 2
  • the gyro is composed of vibrating gyros 44 A, 44 B, and 44 C, each of which detects a rotational angular velocity generated on each coordinate axis with a direction perpendicular to the surface 1 A as a Z axis.
  • the vibrating jaws 44 A to 44 C use the characteristic (Coriolis effect) that, when a rotating angular velocity is applied to a vibrating object, Coriolis effect is generated in a direction perpendicular to the vibration. It is expressed as follows.
  • the angular velocity ⁇ is proportional to the Coriolis F: F.
  • the rotational angular velocity can be detected.
  • the vibrating gyro 44 ⁇ is provided with a driving piezoelectric ceramic 61 ⁇ and a detecting piezoelectric ceramic 61 B, and the driving piezoelectric ceramic 61 A is provided with an AC signal which is an oscillation output of the oscillator 64 A. Is applied. In this state, when rotation is applied around the X axis, Corioliser: F is applied to the detection piezoelectric ceramic 6 IB, and a voltage E is generated.
  • Small voltage E output from the detecting piezoelectric ceramic 6 1 B is ⁇ the amplifier 6 5 A, digital data c converted and converted into digital data by AZD converter 6 6 A is 3-axis gyroscope The CPU 31 is notified via the interface 45.
  • the angular velocity ⁇ applied to the vibrating gyro 44 A and the generated voltage ⁇ have a proportional relationship.
  • the X-axis, the ⁇ -axis, and the X-axis move toward the intersection (origin) of the ⁇ -axis.
  • the voltage ⁇ ⁇ is set to increase when a clockwise rotation is applied around, and the voltage ⁇ is set to decrease when a counterclockwise rotation is applied. This detects the direction and magnitude of the angular velocity applied around the X axis.
  • the vibrating gyro 44B and 44C have basically the same configuration as the vibrating gyro 44A.
  • the angular velocity generated around the Y axis is detected by the vibrating gyroscope 44B, amplified by the amplifier 65B, and converted into digital data by the AZD converter 66B. Further, by vibrating 'gyroscope 4 4 C, is detected angular velocity generated around the Z-axis, after being amplified have your amplifier 6 5 C, is converted into digital data by the A / D converter 6 6 C c The digital data converted by the A / D converter 66B or 66C is converted to a 3-axis gyro-like data, like the digital data of the angular velocity generated around the X-axis detected by the vibration gyro 44A. The notification is sent to the CPU 31 via the sensor interface 45.
  • the CPU 31 controls the feedback generator 46.
  • the feedback generating section 46 is configured as shown in FIG.
  • the feed pack generator 46 is basically composed of motors 82 A to 82 C for rotating the weights 84 A to 840, the weights 84 to 840 for generating feedback, and motors 82 A to 82 C for rotating the weights 84 to 840, respectively. It comprises a motor drive unit 81 that applies a voltage to each of C and drives them.
  • the motor drive unit 81 rotates the weight 84 A in a direction to cancel the angular velocity generated around the X axis detected by the vibration gyro 44 A based on the instruction from the CPU 31. Apply voltage to 2A.
  • the motor drive unit 81 applies the weights of the weights 84B and 84C in the direction to cancel the angular velocity detected by the vibrating gyroscopes 44B and 44C for the motors 82B and 82C. Apply voltage to drive each.
  • the CPU 31 moves the cursor displayed on the display unit 11 in response to detecting an angular velocity equal to or higher than a predetermined threshold value, and rapidly drives the weights 84A to 84C for a predetermined time, Then stop suddenly. Therefore, the user holding PDA 1 tilts PDA 1 to move the cursor. You can feel feedback, such as a click feeling for what you did.
  • step S1 the CPU 31 determines whether or not the control button 14 has been pressed, and waits until it is determined that the control button 14 has been pressed.
  • PDA1 the user can move the cursor by tilting PDA1: while the control button 14 is pressed.
  • step S2 When determining that the control button 14 has been pressed, the CPU 31 proceeds to step S2, and displays a selection menu screen of an application program stored in the Flash ROM 33 or the like on the display unit 11.
  • FIG. 7 is a diagram showing an example of an application program selection menu screen to be displayed on the display unit 11 by the CPU 31 in the process of step S2.
  • Payment memo icon "Calculator icon” operated when executing the calculator program
  • Mail icon operated when executing the mail program
  • Stule icon operated when executing the calendar program
  • Music icon operated when executing a music program
  • Album icon operated when executing an album program
  • Setting icon operted when executing a setting program
  • the user can move this cursor C by tilting the PDA 1. Move and select the program to be executed.
  • step S3 the CPU 31 determines whether the rotation amount of the predetermined unit has been calculated based on the notification from the three-axis gyro sensor 44. That is, the CPU 31 calculates the amount of rotation by multiplying the angular velocity notified from the three-axis gyro sensor 44 by the time during which the rotation is applied, and the amount of rotation exceeds the predetermined amount of rotation. Is determined.
  • step S4 determines whether the control button 14 has been released.
  • the CPU 31 When determining that the control button 14 has not been released, the CPU 31 returns to step S3 and repeatedly executes the subsequent processing.
  • step S4 when determining in step S4 that the control button 14 has been released by the user, the CPU 31 proceeds to step S5 and executes the selected processing (application program). For example, if the control button 14 is released while the application menu selection menu screen is as shown in FIG. 7, the CPU 31 recognizes that the address program has been selected, and the CPU 31 recognizes that the address program has been selected. To the EDO RAM 34 and start it.
  • step S3 if the CPU 31 determines that the rotation amount of the predetermined unit has been calculated, the process proceeds to step S6, and in accordance with the calculated rotation amount around the X-axis and the Y-axis, , Move the cursor C displayed on the display section 1 1.
  • the CPU 31 sends the weight to the feedback generating unit 46 in the direction of canceling the calculated rotation amount in step S7.
  • Rotate 8 4 A or 8 4 B Indicates that feedback should occur.
  • the user moves the PDA 1 from the state shown in FIG. 1 (horizontal state) to the plane 1 around the Y axis.
  • the CPU 31 is tilted by a predetermined angle in the direction of B (rightward)
  • the CPU 31 in the processing of step S 3 rotates the predetermined amount of rotation around the Y axis based on the notification from the 3-axis gyro sensor 44. Is calculated, and the cursor C is moved rightward as shown in the display example of FIG. 8 in the process of step S6.
  • the cursor C that has designated the “address icon” moves according to the amount of rotation generated around the Y axis, and is the icon on the right side. "Notepad icon” is specified.
  • the CPU 31 cancels the applied rotation with respect to the motor driving unit 81 (FIG. 5) in the process of step S7 (FIG. 1 shows a surface 1). Instruction to drive motor 82B suddenly in the direction of C (left direction). This allows the user to feel that the cursor C has moved to the icon on the right by one not only visually but also tactilely.
  • the CPU 31 moves the cursor C in the corresponding direction each time it is determined that the rotation amount of the predetermined unit or more has been applied until the user releases the control button 14 and determines the processing to be executed. , And it causes feedback.
  • FIG. 9 shows that, at the position of the cursor C shown in FIG. 8, the user moves the PDA 1 from the horizontal state shown in FIG. 1 in the direction of the surface 1E (bottom) (downward) around the X axis.
  • FIG. 10 is a diagram showing movement of a cursor C when the cursor C is further rotated around the X axis by being tilted. That is, in this case, CPU 3 1.
  • step S6 the cursor C is moved from the "notepad icon" to the "mail icon”.
  • the CPU 31 moves the motor in a direction to cancel the applied rotation with respect to the motor driving unit 81 (in FIG. 1, the direction of the surface 1D (upper surface) (upward direction)). 8 Instructs to drive 2 A, and generates feedback.
  • the user can move the cursor C by tilting the PDA 1, and at the same time, can feel a click feeling (feedback), so that the processing to be executed is more reliably selected. be able to.
  • the feedback generated in the PDA 1 may be generated not by the rotation of the motors 84 A to 84 C but by a piezo element or the like.
  • FIG. 10 is a diagram showing an example of the external configuration of the PDA 1 in a case where the piezo elements 91 are arranged on the surface 1C.
  • the piezo elements are also arranged on the surface 1B in the same manner.
  • the piezo element 91 is made of a ceramic having a high electromechanical coupling coefficient (for example, PZT (lead zirconate titanate)), and when a voltage is applied, the thickness direction (plane IB, 1C This is a thin plate-shaped element that is distorted instantaneously (in the direction perpendicular to the direction) and generates displacement.
  • PZT lead zirconate titanate
  • the displacement generated by each of the piezo elements 91 is a displacement that the user holding the PDA 1 can recognize as a tactile sensation in the hand.
  • the amount of displacement is set by adjusting the voltage applied to the piezo element 91 or by adjusting the number of stacked ceramic elements.
  • the surface of the piezo element 91 is covered with a protective layer made of an acrylic resin or the like.
  • the feedback generation section 46 in FIG. 3 applies a voltage to each of the piezo element 91 and the piezo element 91. Is applied to the piezo element driving section.
  • the feed pack can be generated by various methods.
  • the cursor is moved according to the amount of rotation generated around the X axis and the Y axis, and feedback is generated.However, feedback is performed according to various displacements applied to the PDA 1. Can be generated.
  • the user presses the control button 14 and moves the PDA 1 in the Z-axis direction (upward perpendicular to the paper surface in FIG. 1) based on the position, thereby displaying the display unit 1.
  • the image displayed in 1 can also be enlarged.
  • the user can reduce the image displayed on the display unit 11 by moving the PDA 1 in a downward direction perpendicular to the paper surface.
  • the CPU 31 generates feedback every time the image is enlarged or reduced.
  • the user presses the control button 14 to rotate the PDA 1 about the X axis.
  • an application program can be selected.
  • feedback is generated each time the application program switches.
  • FIG. 11 is a diagram showing an example of a configuration in a case where the present invention is applied to a remote controller 101 that operates a television receiver 111 with an infrared signal.
  • the remote controller 101 has a disk-shaped housing, and has a surface 101 A, and
  • buttons are arranged on the display surface 101B. Further, an infrared transmitting unit 124 (FIG. 12) is provided on the surface 101C on the back side of the surface 101A, and various processings input by the user are converted into an infrared signal to be transmitted to the television. Sent to Yeon receiver 1 1 1
  • a volume control button 102 is arranged on the surface 101B (side surface).
  • the volume can be adjusted.
  • the television receiver 1 1 1 has a CRT 1 1 2 on the front, 1 1 3 A and 1 1 3 B on both sides, and an operation panel 1 1 4 below the CRT 1 1 2. And an infrared receiver 115 are provided.
  • FIG. 12 is a block diagram showing an example of the internal configuration of the remote controller 101.
  • the controller 122 controls the entire operation of the remote controller 101, and various operation buttons 122 and a volume control button 102 provided on the remote controller 101 are operated by the user. Perform that process as needed.
  • the gyro sensor 123 detects the angular velocity generated around the axis perpendicular to the surface 101A (front), and notifies the controller 122.
  • the controller 122 calculates the amount of rotation applied to the remote controller 101 based on the notification.
  • the infrared transmitting unit 124 drives an unillustrated light emitting diode based on an instruction from the controller 122 to transmit an infrared signal to the television receiver 111.
  • the feedback generation section 125 generates feedback to the user based on an instruction from the controller 122.
  • the feedback generator 125 is configured, for example, as shown in FIGS. 13 and 14. It is.
  • the hollow coil 13 2 and the stoppers 13 A and 13 B are fixed on a substrate (not shown).
  • a shaft 133 is provided so that the inside can be driven left and right.
  • the feedback generation unit 125 receives a rotation in the left direction (counterclockwise rotation), and the controller 121 determines that the rotation exceeds a predetermined unit. In this case, the coil 1332 is driven so as to move the shaft 133 in the direction to cancel the rotation (rightward). As a result, when the protrusion 133A of the shaft 133 collides with the stopper 134A, feedback to the user is generated.
  • the driving unit 1331 changes the polarity of the voltage applied to the coil 1332 based on the instruction from the controller 121 to change the moving direction of the shaft 133. Control.
  • the feedback generated by the feedback generator 125 can be used, for example, to provide feedback as if the user were turning a volume control knob with a click function provided in the audio system. Is done.
  • FIG. 15 is a block diagram showing an example of the internal configuration of the television receiver 111.
  • the parts shown in FIG. 11 are denoted by the same reference numerals.
  • the controller 14 1 controls the overall operation of the television receiver 11 1, and controls various operations instructed by the user through the infrared signal received by the infrared receiver 1 15 or the operation panel 1 14. Execute the process.
  • the tuner 14 2 is controlled by the controller 12 1, selects a signal of a channel desired by the user to view from broadcast waves received by the antenna 14 3, and outputs a signal to the signal processor 14 2.
  • Supply 4
  • the signal processing section 144 demodulates the signal supplied from the tuner 1442, and outputs the video signal to the CRT 112 and the audio signal to the speakers 113A and 113B, respectively. I do.
  • the signal processing unit 144 is controlled by the controller 141, and causes the CRT 112 to display an image such as a sound volume display.
  • step S21 the controller 1221 determines whether or not the volume control button 102 provided on the surface 101B has been pressed, and waits until it is determined that the button has been pressed.
  • step S 22 If the controller 12 1 determines that the volume control button 102 has been pressed by the user, the controller 1 2 1 proceeds to step S 22 and transmits an infrared signal for instructing the start of volume control from the infrared transmitter 1 2 4 I do. In response to this, an image indicating the current volume is displayed on the CRT 112 of the television receiver 111 (the processing of step S42 in FIG. 17 described later).
  • step S23 the controller 122 calculates the amount of rotation generated by the remote controller 101 based on the notification from the gyro sensor 123, and determines whether or not a predetermined unit has been exceeded. I do.
  • step S24 determines whether the volume control button 102 has been released.
  • step S24 determines in step S24 that the user has not released the volume control button 102
  • the controller returns to step S23 and proceeds to step S23. Repeat the descending process. If the controller 12 1 determines in step S 24 that the user has released the volume control button 102, the process returns to step S 21, and the subsequent processing is repeatedly executed.
  • step S 23 if controller 12 1 determines that rotation of a predetermined unit or more has been applied to remote controller 101 based on the notification from gyro sensor 123, 25 Proceed to step 5.
  • step S25 the controller 122 controls the infrared transmission unit 124 to transmit a volume control signal to the television receiver 111 as an infrared signal. For example, if the remote controller 101 is rotated rightward (clockwise) by a predetermined unit with the face 101 C facing the television receiver 111, “ Conversely, if a given unit is rotated leftward (counterclockwise),
  • controller 1 2 1 instructs to increase or decrease the volume by one step depending on the rotation applied by the user. Sends a volume control signal.
  • the television receiver 1 1 1 1 adjusts the volume according to the volume control signal, and at the same time, changes the volume display image displayed on the CRT 1 1 2 (step S 4 6 in Fig. 17). And processing of S47).
  • the controller 122 sends the volume control signal in the process of step S25, and at the same time, in step S26, controls the feedback generator 125 to generate feedback for the user. For example, as shown in FIG. 13, when it is determined that the rotation has been applied in the counterclockwise rotation direction with the face 101 C facing the television receiver 111, A voltage is applied to the coil 133 so that the shaft 133 moves to the right, and feedback occurs.
  • step S23 the process returns to step S23, and the subsequent processes are repeatedly executed. Is performed. That is, the user can adjust the volume in multiple steps while pressing the volume control button 102, and every time the volume is adjusted by one step, the user feels a tactile sensation as if turning the volume control knob. be able to.
  • the processing of the television receiver 111 for adjusting the volume based on the signal from the remote controller 101 will be described.
  • step S41 the controller 141 of the television receiver 111 determines whether or not the signal for starting the volume control has been received by the infrared receiver 115, and the remote controller 101 Waits until the signal for starting the volume control is transmitted from and the infrared receiving unit 115 determines that the signal has been received.
  • step S 42 the volume control knob is displayed on the CRT 112.
  • FIG. 18 is a diagram illustrating a display example of the CRT 112 displayed in the process of step S42.
  • the image of the program currently selected by tuner 14 2 is displayed in the center of CRT 1 12, and the volume control knob and the current volume indicated by that knob are displayed in the left corner of CRT 1 12.
  • a number indicating the level (9 in the example of Fig. 18) is displayed.
  • step S43 the controller 1441 determines whether or not the volume control signal for actually changing the volume has been received by the infrared receiver 115, and if it has not been received, determines in step S44. move on.
  • step S44 the controller 14 1 determines whether or not a predetermined time has elapsed since the reception of the volume control start signal, and if it is determined that the predetermined time has not elapsed, the controller 14 1 Return to and repeat the subsequent processing.
  • step S44 the controller 14 1 sends a signal to start volume control. If it is determined that the predetermined time has elapsed since the reception of the signal, the process proceeds to step S45, the image of the volume control knob displayed on the CRT1 12 is erased, and thereafter, the process returns to step S41, and thereafter. Is repeatedly executed.
  • step S43 when controller 1441 determines that the volume control signal for changing the volume has been received by infrared receiving section 115, control proceeds to step S46.
  • step S46 the controller 141 adjusts the volume based on the volume control signal transmitted from the remote controller 101 (for example, the display of the current CRT 112 is displayed in FIG. 18).
  • the controller 14 1 1 Increase the volume output to 1 13B by one level and rotate the volume control knob one step to the right as shown in the display example of CRT1 12 shown in Fig. 19 to display the current volume level. Is displayed as 10.
  • feedback is generated when the remote controller 101 is rotated by a predetermined amount, but when the remote controller 101 is rotated by a predetermined amount. , Causes the corresponding signal to be transmitted to the television receiver 111, but does not cause feedback, and sets the volume to a predetermined value in response to the signal.
  • the remote controller 101 sends a signal indicating this to the remote controller 101 from the television receiver 111, and generates feedback when the remote controller 101 receives it. It may be.
  • the infrared transmitting section 124 of the remote controller 101 and the infrared receiving section 115 of the television receiver 111 transmit and receive infrared signals, respectively. It consists of a possible infrared communication unit.
  • the feedback as if the volume control knob is being turned is generated by the coil 13 2, the axis 13 3, etc. As described above, similarly to the case of the PDA 1, As shown in FIG. 20, it may be generated by various methods, such as by a piezo element 151.
  • the piezo elements 15 1 are arranged in a plane 101 B, and when the user rotates the remote controller 101 to adjust the volume, the piezo elements 15 1 1 is driven, and feedback is generated as if the volume control knob was being turned.
  • the feedback generation section 125 shown in FIG. 12 includes a piezo element 151, and a drive section that applies a voltage to the piezo element 151.
  • the present invention is applied to the PDA 1 and the remote controller 101 of the television receiver 111.
  • the present invention is applicable to various other devices as long as they come into contact with the body of the user. Applicable to information processing terminals and input devices. Industrial applicability

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Television Systems (AREA)
  • Selective Calling Equipment (AREA)

Description

明細書
情報処理端末 技術分野
本発明は、 情報処理端末に関し、 特に、 所定の変位が検出されること に応じて、 振動を発生することにより、 より好ましいユーザインタフエ ースを実現できるようにする情報処理端末に関する。 背景技術
近年、 携帯電話機や PDA ( Personal Digital Assistants) などの情報 処理端末のユーザインタフェースとして、 端末を回転、 または傾けるこ とにより、 各種の処理を入力することが提案されている。
例えば、 端末にアプリケーションプログラムのメニュー画面が表示さ れている場合、 ユーザが端末を傾けることに応じて、 画面上のカーソル が移動し、 希望するアプリケーショ ンプログラムを選択できるようにな されている。
しかしながら、 ユーザが端末を傾けることなどによりカーソルを移動 する場合、 微妙な傾き加減が要求されるため、 操作が困難であるという 課題があった。 発明の開示
本発明は、 このような状況に鑑みてなされたものであり、 傾きなどに 応じてカーソルが移動する端末において、 簡単、 かつ確実に入力できる ユーザインタフェースを提供できるようにするものである。
本発明の情報処理端末は、 所定の処理を実行する実行手段と、 情報処 理端末の筐体の姿勢の変位を検出する変位検出手段と、 変位検出手段に より検出された姿勢の変位が、 所定の値を超えたとき、 筐体に振動を発 生する振動発生手段とを備えることを特徴とする。
複数の情報を表示する表示手段と、 振動発生手段により発生される振 動に併せて、 表示手段により表示される情報の表示を切り替える表示切 替手段とをさらに備えるようにすることができる。
表示切替手段により切り替えられた情報の実行を指示する指示手段を さらに備え、 実行手段は、 指示手段により指示された情報に対応する処 理を実行するようにすることができる。
変位検出手段は、 筐体の所定の軸に対する回転の変位を検出するよう にすることができる。
表示切替手段は、 表示手段により表示された情報を拡大または縮小表 示するよ うにすることができる。
振動発生手段は、 筐体から突出して設けられており、 触れられている ユーザの手に伝達される振動を発生するようにすることができる。
情報処理端末は、 他の情報処理装置の入力装置であり、 他の情報処理 装置に対する指示を送信する送信手段をさらに備えるよ うにすることが できる。
他の情報処理装置からの信号を受信する受信手段をさらに備え、 振動 発生手段は、 受信手段により受信された信号に応じて、 筐体に振動を発 生するよ うにすることができる。
本発明の情報処理端末の情報処理方法は、 所定の処理を実行する実行 ステップと、 情報処理端末の筐体の姿勢の変位を検出する変位検出ステ ップと、 変位検出ステップの処理によ り検出された姿勢の変位が、 所定 の値を超えたとき、 筐体に振動を発生する振動発生ステップとを含むこ とを特徴とする。
本発明の情報処理端末および方法においては、所定の処理が実行され、 情報処理端末の筐体の姿勢の変位が検出される。 また、 検出された姿勢 の変位が、 所定の値を超えたとき、 筐体に振動が発生される。 図面の簡単な説明
図 1は、 本発明を適用した PDAの正面の外観構成を示す図である。 図 2は、 図 1の PDAの右側面の外観構成を示す図である。
図 3は、 図 1の PDAの内部構成を示すブロック図である。
図 4は、 図 3の 3軸ジャイロセンサの構成例を示す図である。
図 5は、 図 3のフィードバック発生部の構成例を示す図である。
図 6は、 図 1の PDAの処理を説明するフローチヤ一トである。
図 7は、 図 1の PDAの表示部の表示例を示す図である。
図 8は、 図 1の PDAの表示部の他の表示例を示す図である。
図 9は、 図 1の PDAの表示部のさらに他の表示例を示す図である。 図 1 0は、 本発明を適用した PDAの他の外観構成を示す図である。 図 1 1は、 本発明を適用したリ モー ト コン トローラの外観構成を示す 図である。
図 1 2 は、 図 1 1 の リモー ト コン ト ローラの内部構成を示すプロック 図である。
図 1 3は、 図 1 2のフィードバック発生部の構成例を示す図である。 図 1 4は、 図 1 2のフィードバック発生部の他の構成例を示す図であ る。
図 1 5は、 図 1 1 のテ レビジョン受像機の内部構成を示すプロック図 である。
図 1 6は、 図 1 1 の リ モートコン ト ローラの処理を説明するフローチ ヤートである。
図 1 7は、 図 1 1のテ レビジョン受像機の処理を説明するフローチヤ ートである。
図 1 8は、 図 1 1のテレビジョン受像機の表示例を示す図である。 図 1 9は、図 1 1 のテレビジョン受像機の他の表示例を示す図である。 図 2 0は、 本発明を適用したリモートコントローラの他の外観構成を 示す図である。 発明を実施するための最良の形態
図 1は、 本発明を適用した PDA 1をユーザが左手に保持している状態 の正面 （面 1 A) の外観構成の例を、 図 2は、 PDA 1の右側面 （面 1 B) の外観構成の例を、 それぞれ示す図である。
PDA 1は、 片手で保持、 および操作が可能な大きさに、 その筐体が形 成されており、 面 1 Aのほぼ中央には、 表示部 1 1が設けられている。 表示部 1 1は、 LCD ( Liquid Crystal Display) 等の表示装置で構成 され、 アイコン、 サムネイル、 またはテキス トなどを表示する。
ユーザは、 表示部 1 1に表示されるアイ コンなどに対して、 表示部 1 1 の下方に設けられているタツチパッ ド 1 1 A、タツチパッ ド 1 1 Aの下 方に設けられているキー 1 2、 または面 1 C (左側面） に設けられてい るジョグダイヤル 1 3などを操作して、 各種指令を入力する。
また、 ユーザは、 面 1 C のジョグダイヤル 1 3の下方に設けられてい るコントロールボタン 1 4を筐体の内部方向に押下し、 PDA 1 を傾ける などして、 各種処理を入力することができる。 例えば、 表示部 1 1に、 P DA 1 に記憶されているアプリケーショ ンプログラムのメェユー画面が 表示されている場合、 ユーザは、 PDA 1を傾けることにより、 カーソル を移動させ、 実行するアプリケーシヨ ンプログラムを選択することがで さる。
さらに、 PDA 1を傾けるなどしてカーソルが移動された場合、 カーソ ルの移動に併せて、 振動が発生され、 ユーザは、 あたかもマウスポイン タなどの入力装置によりアイ コンを選択したようなク リ ック感 （入力に 対するフィー ドバック） を感じることができるようになされている。
図 3は、 PDA 1の電気的構成の例を示すプロック図である。 図 1 と対 応する部分については、 同一の符号を付してあり、 その説明は、 適宜省 略する。
CPU ( Central Processing Unit) 3 1は、 発振器 3 2から供給され るク口ック信号に同期して、 Flash ROM (Read Only Memory) 3 3、 または EDO DRAM (Extended Data Out Dynamic Random-Access Memory) 3 4に格納されているオペレーティ ングシステム、 またはァ プリケーショ ンプログラムなどの各種のプログラムを実行する。
Flash ROM 3 3は、 EEPROM ( Electrically Erasable Programmab le Read-Only Memory) の一種であるフラ ッシュメモリで構成され、 一 般的には、 CPU 3 1が使用するプログラムや演算用のパラメータのうち の基本的に固定のデータを格納する。 EDO DRAM 3 4は、 CPU 3 1力 S 実行するプログラムや、 その実行において適宜変化するパラメ一タを格 納する。
メモリースティ ックインターフェース 3 5は、 PDA 1に装着されてい るメモリースティ ック （商標） 2 1からデータを読み出すと ともに、 CP U 3 1から供給されたデータをメモリースティ ック 2 1に書き込む。
メモリースティ ック 2 1は、 小型薄型形状のプラスチックケース内に 電気的に書換えや消去が可能なフラッシュメモリ素子を格納したもので あり、 1 0 ピン端子を介して画像や音声、 音楽等の各種データの書き込 み及び読み出しが可能となっている。
USB (Universal Serial Bus) インタフェース 3 6は、 発振器 3 7力 ら供給されるクロック信号に同期して、接続されている USB機器からデ ータまたはプログラムを入力すると ともに、 CPU 3 1から供給されたデ ータを出力する。
Flash ROM 3 3 , EDO DRAM 3 4、 メモリースティ ックインタフエ ース 3 5、 および USBインタフェース 3 6は、 ア ドレスバスおよびデー タバスを介して、 CPU 3 1に接続されている。 表示部 1 1は、 LCDバスを介して、 CPU 3 1からデータを受信し、 受 信したデータに対応する画像または文字などを表示する。 タツチパッ ド 制御部 3 8は、 タツチパッ ド 1 1 A が操作されたとき、 操作に対応した データ （例えば、 タツチされた座標を示す） を表示部 1 1から受信し、 受信したデータに対応する信号をシリアルバスを介して CPU 3 1 に供 給する。
EL ( Electroluminescence) ドライバ 3 9は、 表示部 1 1の液晶表示 部の裏側に設けられている電界発光素子を動作させ、 表示部 1 1の表示 の明るさを制御する。
赤外線通信部 4 0は、 UART ( Universal Asynchronous Receiver-Tr ansmitter)を介して、 CPU 3 1から受信したデータを赤外線信号と して、 図示せぬ他の機器に送信すると ともに、 他の機器から送信されてきた赤 外線信号を受信して、 CPU 3 1に供給する。 これにより、 PDA 1は、 U ARTを介して、 他の機器と多方向に通信することができる。
音声再生部 4 1は、 音声のデータの復号回路などから構成され、 予め 記憶している音声のデータ、 または他の機器から受信した音声のデータ などを復号して、 再生し、 音声を出力する。 例えば、 音声再生部 4 1は、 内蔵するバッファを介してスピーカ 4 2から、 CPU 3 1 より供給された 音声のデータを再生して、 データに対応する音声を出力する。
通信部 4 3は、 通信ケーブルなどを介して、 インターネッ トなどと接 続し、 CPU 3 1から供給されたデータ (例えば、 電子メールなど） を、 所定の方式のパケッ トに格納して、 他の機器に送信する。 また、 通信部 4 3は、他の機器から送信されてきたバケツ トに格納されているデータ、 またはプログラムを CPU 3 1に出力する。
CPU 3 1 には、 3軸ジャイロセンサ 4 4の出力が、 3軸ジャイロセン サインタフエース 4 5を介して入力されている。 3軸ジャイロセンサ 4 4は、 例えば、 図 4に示すように構成される。 3軸ジャイロセンサ 4 4は、 図 1に示すように、 PDA 1の面 1 B に垂 直な方向を X軸、 面 1 D (上面） に垂直な方向を Y軸、 図 2に示すよ う に面 1 Aに垂直な方向を Z軸と して、 各座標軸に発生した回転角速度を それぞれ検出する振動ジャイロ 4 4 A, 4 4 B , 4 4 Cカゝら構成されてい る。
振動ジャィ口 4 4 A 乃至 4 4 C は、 振動している物体に回転角速度を 加えると、 その振動と直角方向にコリオリカが生じる特性 （コリオリ効 果） を利用しており、 このコリオリカ Fは、 次のように表される。
F = 2 mv ω
(ただし、 mは質量、 Vは速度、 ωは角速度）
従って、 角速度 ωは、 コリオリカ： Fに比例することになり、 コリオリ 力 Fを検出することにより、 回転角速度を検出することができる。
振動ジャィ口 4 4 Α には、 駆動用圧電磁器 6 1 Α と検出用圧電磁器 6 1 B が設けられており、 駆動用圧電磁器 6 1 A にはオシレータ 6 4 Aの 発振出力である交流信号が印加される。 この状態で、 X 軸の回りに回転 が加えられると、 検出用圧電磁器 6 I Bにコリオリカ： Fが加わり、 電圧 Eが発生される。
検出用圧電磁器 6 1 B から出力される微小な電圧 E は、 増幅器 6 5 A において增幅され、 AZD変換器 6 6 Aでディジタルデータに変換される c 変換されたディジタルデータは、 3軸ジャイロセンサインタフェース 4 5を介して、 CPU 3 1に通知される。
なお、振動ジャィ口 4 4 Aに加わった角速度 ωと、発生する電圧 Εは、 比例関係を有しており、 例えば、 X軸、 Υ軸、 Ζ 軸の交点 （原点） に向 かって、 X軸の回りに右方向の回転が加えられたとき、電圧 Εが上昇し、 左方向の回転が加えられたとき、 電圧 Εが下降するように設定される。 これにより、 X 軸の回りに加えられた、 角速度の方向、 および大きさが 検出される。 振動ジャィ口 4 4B， 4 4 Cも、振動ジャィ口 4 4 Aと基本的に同様の 構成とされる。 すなわち、 振動ジャイロ 4 4Bによって Y軸の回りに発 生する角速度が検出され、増幅器 6 5 Bにおいて増幅された後、 AZD変 換器 6 6 Bでディジタルデータに変換される。 また、 振動'ジャイロ 4 4 C によって、 Z 軸の回りに発生する角速度が検出され、 増幅器 6 5 C にお いて増幅された後、 A/D変換器 6 6 Cでディジタルデータに変換される c A/D変換器 6 6 Bまたは 6 6 Cで変換されたディジタルデータは、振 動ジャイロ 4 4Aによって検出された X軸の回りに発生した角速度のデ イジタルデータと同様に、 3軸ジャィ口センサインタフェース 4 5を介 して、 CPU 3 1 に通知される。
CPU 3 1は、 フィードバック発生部 4 6を制御する。 このフィー ドバ ック発生部 4 6は、 図 5に示されるよ うに構成される。 フィードパック 発生部 4 6は、 基本的に、 フィードバックを発生させる錘 8 4A 乃至 8 40、 錘8 4 乃至 8 40を、 それぞれ回転させるモータ 8 2 A乃至 8 2 C、 およびモータ 8 2A乃至 8 2 Cのそれぞれに電圧を印加し、 駆動させ るモータ駆動部 8 1から構成される。
モータ駆動部 8 1は、 CPU3 1からの指示に基づいて、 振動ジャィ口 4 4 Aが検出した X軸の回りに発生した角速度をうち消す方向に、 錘 8 4Aを回転させるベく、 モータ 8 2Aに対して電圧を印加する。
また、 モータ駆動部 8 1は、 モータ 8 2 B および 8 2 C についても同 様に、 振動ジャイロ 4 4B および 4 4 C が検出した角速度をうち消す方 向に、 錘 8 4B および 8 4 C のそれぞれを駆動させるベく、 電圧を印加 する。
CPU 3 1は、 所定の閾値以上の角速度を検出することに応じて、 表示 部 1 1に表示されているカーソルを移動させるとともに、 錘 8 4A 乃至 8 4 C を所定時間だけ急激に駆動させ、 その後、 急激に止める。 そのた め、 PDA 1を保持しているユーザは、 PDA1を傾けてカーソルを移動さ せたことに対するク リ ック感などのフィー ドバックを感じることができ る。
次に、 図 6のフローチャー トを参照して、 ユーザが PDA 1 を傾けるこ とによ り操作する場合に発生させる、 PDA 1 のフィー ドバック発生処理 について説明する。 また、 説明において、 図 7乃至図 1 0に示す表示部 1 1 の表示例が適宜参照される。
ステップ S 1 において、 CPU 3 1 は、 コン トロールポタン 1 4が押下 されたか否かを判定し、 押下されたと判定するまで待機する。 PDA 1 に おいて、 ユーザは、 コン トロールボタン 1 4を押下している間、 ： PDA 1 を傾けることによ りカーソルを移動させることができる。
CPU 3 1は、 コントロールボタン 1 4が押下されたと判定した場合、 ステップ S 2に進み、 Flash ROM 3 3等に記憶されているアプリ ケーシ ヨ ンプロダラムの選択メニュー画面を表示部 1 1 に表示させる。
図 7は、 ステツプ S 2 の処理において、 CPU 3 1が表示部 1 1 に表示 させるアプリ ケーショ ンプログラムの選択メニュー画面の例を示す図で ある。
この例においては、ア ドレスプログラムを実行するとき操作される「ァ ドレスアイ コン」、 メモ帳プログラムを実行するとき操作される 「メモ帳 アイ コン」、 支払メモプログラムを実行する とき操作される 「支払メモア イコン」、 電卓プログラムを実行するとき操作される 「電卓アイ コ ン」、 メールプログラムを実行するとき操作される 「メールアイ コン」、 予定表 プログラムを実行するとき操作される 「予定表アイコン」、 音楽プログラ ムを実行する とき操作される 「音楽アイ コン」、 アルバムプログラムを実 行するとき操作される 「アルバムアイコン」、 設定プログラムを実行する とき操作される 「設定アイ コン」 が表示されている。 また、 プロダラ ムを指定するカーソル Cが、 「ア ドレスアイ コン」 の上に表示
されており、 ユーザは、 PDA 1 を傾けることによ り、 このカーソル C を 移動させ、 実行するプログラムを選択する。
ステップ S 3において、 CPU 3 1は、 所定単位の回転量が算出された か否かを、 3軸ジャイロセンサ 4 4からの通知に基づいて判定する。 す なわち、 CPU 3 1は、 3軸ジャイロセンサ 4 4から通知される角速度と、 回転が加えられた時間とを乗算することにより、 回転量を算出し、 それ が所定単位の回転量を超えたか否かを判定する。
CPU 3 1は、所定単位以上の回転量を算出していないと判定した場合、 ステップ S 4の処理に進み、 コントロールボタン 1 4が離されたか否か を判定する。
CPU 3 1は、 コ ン ト ロールポタン 1 4が離されていないと判定した場 合、 ステップ S 3に戻り、 それ以降の処理を繰り返し実行する。
一方、 CPU 3 1は、 ステップ S 4において、 コントロールボタン 1 4 がユーザにより離されたと判定した場合、 ステップ S 5に進み、 選択さ れた処理 （アプリケーションプログラム） を実行する。 例えば、 アプリ ケーシヨ ンプログラムの選択メニュー画面が図 7に示す状態において、 コ ン ト ロールボタン 1 4が離された場合、 CPU 3 1は、 ア ドレスプログ ラムが選択されたと認識し、 ア ドレスプログラムを EDO RAM 3 4に展 開し、 起動させる。
その後、 処理は、 ステップ S 1に戻り、 それ以降の処理が繰り返し実 行される。
—方、 ステップ S 3において、 CPU 3 1は、 所定単位の回転量を算出 したと判定した場合、 ステップ S 6に進み、 算出した X軸、 および Y軸 の回りに発生した回転量に応じて、 表示部 1 1に表示されているカーソ ル Cを移動させる。
また、 CPU 3 1は、 ステップ S 6の処理でカーソル Cを移動させるの と同時に、ステップ S 7において、フ ィ ードバック発生部 4 6に対して、 算出された回転量をうち消す方向に、 錘 8 4 Aまたは 8 4 B を回転させ ることにより、 フィードバックを発生することを指示する。
例えば、 カーソル Cが図 7に示すように 「ア ドレスアイコン J を示し ている状態において、 ユーザが PDA 1 を図 1 に示す状態 （水平な状態） から、 Y軸を中心と して、 面 1 B の方向 （右方向） に、 所定の角度だけ 傾けた場合、 ステップ S 3の処理で CPU 3 1は、 3軸ジャイロセンサ 4 4からの通知に基づいて Y軸の回りに所定単位の回転量を算出したと判 定し、 ステップ S 6の処理で図 8に示す表示例のよ うに、 カーソル C を 右方向に移動させる。
図 8 の表示部 1 1 の表示例においては、 「ア ドレスアイ コン」 を指定し ていたカーソル Cが、 Y軸の回りに発生した回転量に応じて移動し、 1 つ右側のアイコンである 「メモ帳アイ コン」 を指定する状態とされてい る。 また、 CPU 3 1は、 このアイコンの移動に併せて、 ステップ S 7の 処理で、 モータ駆動部 8 1 (図 5 ) に対して、 加えられた回転をうち消 す方向 （図 1において面 1 C の方向 （左方向）） にモータ 8 2 Bを急激に 駆動させることを指示する。 これによ り、 ユーザは、 カーソル Cが 1つ 右側のアイコンに移動したことを、 視覚だけでなく、 触覚で感じること ができる。
その後、 処理はステップ S 3に戻り、 それ以降の処理が繰り返し実行 される。
すなわち、 CPU 3 1は、 ユーザがコントロールポタン 1 4を離して、 実 行する処理を確定するまで、 所定単位以上の回転量が加えられたと判定 する毎に、 カーソル Cを対応する方向に移動させ、 それと ともにフィー ドバックを発生させる。
図 9は、 図 8に示すカーソル C の位置において、 ユーザが PDA 1を、 図 1 に示す水平な状態から、 X軸を中心と して、 面 1 E (底面） の方向 （ 下方向） に傾けることにより、 さらに、 X 軸の回りに回転が加えられた ときのカーソル Cの移動を示す図である。 すなわち、 この場合、 CPU 3 1は、 ステップ S 6において、 「メモ帳アイコン」 から 「メールアイコン」 の上に、 カーソル Cを移動させる。 また、 CPU 3 1は、 ステップ S 7に おいて、 モータ駆動部 8 1に対して、 加えられた回転をうち消す方向 （ 図 1において面 1 D (上面） の方向 （上方向）） にモータ 8 2 Aを駆動さ せることを指示し、 フィードバックを発生させる。
以上の処理により、 ユーザは、 PDA 1を傾けることによりカーソル C を移動させることができ、 それとともにク リ ック感 （フィードバック） を感じることができるため、 より確実に、 実行する処理を選択すること ができる。
また、 PDA 1において発生されるフィードバックは、 モータ 8 4 A乃 至 8 4 C の回転により発生させるのではなく、 ピエゾ素子などにより発 生させるようにしてもよい。
図 1 0は、面 1 Cにピエゾ素子 9 1が配列して設けられている場合の、 PDA 1の外観構成の例を示す図である。 また、 面 1 B にも、 ピエゾ素子 が同様に配列して設けられる。
ピエゾ素子 9 1は、 電気機械結合係数が高いセラミ ック （例えば、 PZ T (チタン酸ジルコン酸鉛）） から構成されており、 電圧が印加された場 合、 厚み方向 （面 I B , 1 C と垂直な方向） に瞬時に歪んで、 変位を発生 する薄板状の素子である。
各ピエゾ素子 9 1のそれぞれにより発生される変位は、 PDA 1を保持 しているユーザが、手に触覚と して認識できる変位とされる。変位量は、 ピエゾ素子 9 1に印加する電圧を調整することにより、 または、 セラミ ック素子の積層枚数を調整することにより設定される。 なお、 ピエゾ素 子 9 1の表面は、 ァク リル樹脂等からなる保護層で覆われている。
これにより、 ク リ ック感を発生させることができ、 ユーザは、 フィー ドバックを感じることができる。 この場合、 図 3のフィードバック発生 部 4 6は、 ピエゾ素子 9 1 と、 ピエゾ素子 9 1のそれぞれに対して電圧 を印加するピエゾ素子駆動部から構成される。 このよ うに、 様々な方法 により、 フィードパックを発生させることができる。
以上においては、 X軸、および Y軸の回りに発生した回転量に応じて、 カーソルを移動させ、 フィードバックを発生させることと したが、 PDA 1に加えられた様々な変位に応じて、 フィードバックを発生させること ができる。
例えば、 ユーザは、 コントロールポタン 1 4を押下して、 その位置を 基準と して、 PDA 1を Z軸の方向 （図 1において、 紙面と垂直な上方向 ) に移動させることにより、 表示部 1 1に表示されている画像を拡大表 示させることもできる。 また、 ユーザは、 逆に、 図 1において、 紙面と 垂直な下方向に PDA 1を移動させることにより、 表示部 1 1に表示され ている画像を縮小表示させることができる。 この場合、 CPU 3 1は、 拡 大、 または縮小表示する毎に、 フィードバックを発生させる。
また、 あたかも ドラム上に各アプリケーションプログラムが配置され るように選択メニュー画面が表示されている場合、 ユーザは、 コン ト口 ールボタン 1 4を押下し、 PDA 1を X軸を中心と して回転させることに より、アプリケーショ ンプログラムを選択することができる。この場合、 アプリケーションプログラムが切り替わる毎にフィードバックが発生さ れる。
図 1 1は、 テレビジョ ン受像機 1 1 1を赤外線信号により操作するリ モー ト コン ト ローラ 1 0 1に本発明を適用した場合の構成例を示す図で ある。
リ モー ト コ ン ト ローラ 1 0 1は、 円盤状の筐体を有しており、 面 1 0 1 A、 お
ょぴ面 1 0 1 B には、 各種入力ボタンが配置される。 また、 面 1 0 1 A の裏側の面 1 0 1 C には、 赤外線送信部 1 2 4 (図 1 2 ) が設けられて おり、 ユーザにより入力された各種処理が赤外線信号と して、 テレビジ ヨン受像機 1 1 1に対して送出される。
面 1 0 1 B (側面） には、 音量調節ポタン 1 0 2が配置されており、 ユーザは
面 1 0 1 C (背面） をテレビジョ ン受像機 1 1 1 に向けた状態で、 音量 調節ボタ
ン 1 0 2を押しながらリモートコン ト ローラ 1 0 1を時計回転方向、 ま たは反時計回転方向に回転させることにより、 音量を調節することがで さる。
なお、 テレビジョン受像機 1 1 1には、 正面に CRT 1 1 2が、 その両 側にスピー力 1 1 3 Aおよび 1 1 3 B が、 CRT 1 1 2の下方に操作パネ ル 1 1 4および赤外線受信部 1 1 5が、 それぞれ設けられている。
図 1 2は、 リ モートコントローラ 1 0 1の内部構成の例を示すプ口ッ ク図である。
コントローラ 1 2 1は、 リモートコン トローラ 1 0 1の全体の動作を 制御し、 リモー トコントローラ 1 0 1 に設けられる各種の操作ボタン 1 2 2、 および音量調節ボタン 1 0 2が、 ユーザにより操作されることに 応じて、 その処理を実行する。
ジャイロセンサ 1 2 3は、 面 1 0 1 A (正面） に垂直な方向の軸の回 りに発生した角速度を検出し、 コン ト ローラ 1 2 1に通知する。 コン ト ローラ 1 2 1は、 その通知に基づいて、 リ モートコントローラ 1 0 1に 加えられた回転量を算出する。
赤外線送信部 1 2 4は、 コン ト ローラ 1 2 1からの指示に基づいて、 図示せぬ発光ダイォードを駆動させ、 テレビジョ ン受像機 1 1 1に対し て赤外線信号を送出する。
フィードバック発生部 1 2 5は、 コントローラ 1 2 1からの指示に基 づいて、 ユーザに対するフィードバックを発生させる。 フィードバック 発生部 1 2 5は、 例えば、 図 1 3および図 1 4に示す例のように構成さ れる。
この例においては、 図 1 3および図 1 4に示すように、 中空状のコィ ル 1 3 2、 ス トツパ 1 3 4Aおよび 1 3 4 B は、 図示せぬ基板上に固定 されており、 その中を左右方向に駆動自在に、 軸 1 3 3が設けられてい る。
フィードバック発生部 1 2 5は、 例えば、 図 1 3に示すように、 左方 向 （反時計回転方向） の回転が加えられ、 それが所定単位を超えたとコ ン トローラ 1 2 1により判定された場合、 その回転をうち消す方向 （右 方向） に、 軸 1 3 3を移動させるよ うにコイル 1 3 2が駆動される。 こ れにより、 軸 1 3 3の突起部 1 3 3Aが、 ス ト ッ ノヽ ° 1 3 4A と衝突した とき、 ユーザに対するフィードバックが発生される。
また、図 1 4に示すように、 フィ ードバック発生部 1 2 5は、反対に、 右方向 （時計回転方向） に所定単位以上の回転量が加えられたとき、 軸 1 3 3を左方向に移動させ、 その突起部 1 3 4B をス トツノ 1 3 4 B に 衝突させ、 フィードバックを発生させる。
なお、 駆動部 1 3 1は、 コン ト ローラ 1 2 1カゝらの指示に基づいて、 コイル 1 3 2に対して印加する電圧の極性を変化させることにより、 軸 1 3 3の移動方向を制御する。
このよ うな構成により、 フィードバック発生部 1 2 5により発生され るフィードバックは、 例えば、 オーディオシステムに設けられるク リ ツ ク機能付きの音量調節つまみを、 ユーザがあたかも回しているようなフ イードバック とされる。
図 1 5は、 テレビジョン受像機 1 1 1の内部構成の例を示すブロック 図である。 図 1 1に示した部分については、 同一の符号を付してある。
コントローラ 1 4 1は、 テレビジョ ン受像機 1 1 1の全体の動作を制 御し、 赤外線受信部 1 1 5において受信された赤外線信号、 または操作 パネル 1 1 4により、 ユーザから指示された各種処理を実行する。 チューナ 1 4 2は、 コン ト ローラ 1 2 1により制御され、 アンテナ 1 4 3で受信された放送波から、 ユーザが視聴するこ とを希望するチャン ネルの信号を選択し、 信号処理部 1 4 4に供給する。
信号処理部 1 4 4は、 チューナ 1 4 2から供給されてきた信号を復調 処理し、 ビデオ信号を CRT 1 1 2に、 オーディォ信号をスピー力 1 1 3 Aおよび 1 1 3 B に、 それぞれ出力する。 また、 信号処理部 1 4 4は、 コン ト ローラ 1 4 1から制御され、 例えば、 音量表示などの画像を CRT 1 1 2に表示させる。
次に、 図 1 6のフローチャートを参照して、 ユーザが音量を調節する 場合の、 リ モートコントローラ 1 0 1のフィードバック発生処理につい て説明する。
ステップ S 2 1において、 コン ト ローラ 1 2 1は、 面 1 0 1 B に設け られている音量調節ポタン 1 0 2が押下されたか否かを判定し、 押下さ れたと判定するまで待機する。
コン ト ローラ 1 2 1は、 音量調節ボタン 1 0 2がユーザにより押下さ れたと判定した場合、 ステップ S2 2に進み、 音量調節の開始を指令す る赤外線信号を赤外線送信部 1 2 4から送信する。 これに応じて、 テレ ビジョン受像機 1 1 1の CRT 1 1 2に、 現在の音量を示す画像が表示さ れる （後述する図 1 7のステップ S4 2の処理）。
ステップ S 2 3において、 コントローラ 1 2 1は、 ジャイロセンサ 1 2 3からの通知に基づいて、 リモー トコントローラ 1 0 1にカロえられた 回転量を算出し、 所定単位を超えたか否かを判定する。
コン ト ローラ 1 2 1は、 所定単位以上の回転を算出していないと判定 した場合、 ステップ S 2 4の処理に進み、 音量調節ボタン 1 0 2が離さ れたか否かを判定する。
コン ト ローラ 1 2 1は、 ステップ S2 4で、 ユーザが音量調節ボタン 1 0 2を離していないと判定した場合、 ステップ S2 3に戻り、 それ以 降の処理を繰り返し実行する。 また、 コントローラ 1 2 1は、 ステップ S 2 4で、 ユーザが音量調節ボタン 1 0 2を離したと判定した場合、 ステ ップ S 2 1に戻り、 それ以降の処理を繰り返し実行する。
一方、 ステップ S 2 3において、 コン トローラ 1 2 1 は、 ジャイ ロセ ンサ 1 2 3からの通知に基づいて、 所定単位以上の回転がリモートコン トローラ 1 0 1に加えられたと判定した場合、 ステップ S 2 5の処理に 進む。
ステップ S 2 5 において、 コン トローラ 1 2 1 は、 赤外線送信部 1 2 4を制御し、 テレビジョ ン受像機 1 1 1に対する音量調節信号を、 赤外 線信号と して送出する。 例えば、 面 1 0 1 C をテレビジョン受像機 1 1 1に向けた状態で、 リモー トコン トローラ 1 0 1に右方向 （時計回転方 向） に所定単位だけ回転が加えられた場合、 「音量を 1単位上げる」 と、 逆に、左方向 （反時計回転方向） に所定単位だけ回転が加えられた場合、
「.音量を 1単位下げる」 と、 それぞれ設定されているとすると、 コント ローラ 1 2 1は、 ユーザから加えられた回転に応じて、 音量を 1段階上 げるか、 または下げることを指示する音量調節信号を送出する。
テレビジョ ン受像機 1 1 1は、 この音量調節信号に応じて音量を調節 し、 それと ともに、 CRT 1 1 2に表示されている音量表示画像を変更さ せる （図 1 7のステップ S 4 6および S 4 7の処理）。
コントローラ 1 2 1は、 ステップ S 2 5の処理で音量調節信号を送信 すると同時に、 ステップ S 2 6において、 フィードバック発生部 1 2 5 を制御し、 ユーザに対するフィー ドバックを発生させる。 例えば、 図 1 3に示すように、 面 1 0 1 C をテレビジョン受像機 1 1 1に向けた状態 で、 反時計回転方向に回転が加えられたと判定した場合、 駆動部 1 3 1 は、 軸 1 3 3を右方向に移動させるよ うに、 コイル 1 3 3に対して電圧 を印加し、 フィ一ドバックを発生させる。
その後、 処理はステップ S 2 3に戻り、 それ以降の処理が繰り返し実 行される。 すなわち、 ユーザは、 音量調節ボタン 1 0 2を押下している 間、 音量を複数段階調節することができ、 音量を 1段階調節する毎に、 音量調節つまみを回しているかのような触覚を感じることができる。 次に、 図 1 7のフローチャートを参照して、 リモートコントローラ 1 0 1からの信号に基づいて、 音量調節するテレビジョン受像機 1 1 1の 処理について説明する。
ステップ S 4 1において、 テレビジョ ン受像機 1 1 1のコン トローラ 1 4 1は、 音量調節開始の信号が赤外線受信部 1 1 5において受信され たか否かを判定し、 リモー トコントローラ 1 0 1から音量調節開始の信 号が送信され、 赤外線受信部 1 1 5において受信されたと判定するまで 待機する。
コン トローラ 1 4 1は、 音量調節開始の赤外線信号がリモートコン ト ローラ 1 0 1から送信されてきたと判定した場合、 ステップ S 4 2に進 み、 音量調節つまみを CRT1 1 2に表示させる。
図 1 8は、 ステップ S4 2の処理で表示される CRT 1 1 2の表示例を 示す図である。 この例においては、 CRT 1 1 2の中央に、 チューナ 1 4 2が選局している番組の画像が表示され、 CRT1 1 2の左隅に、 音量調 節つまみと、 そのつまみが示す現在の音量レベルを表す数字 （図 1 8の 例の場合、 9 ) が表示されている。
ステップ S4 3において、 コントローラ 1 4 1は、 実際に音量を変更 する音量調節信号が、 赤外線受信部 1 1 5において受信されたか否かを 判定し、 受信されていないと判定した場合、 ステップ S44に進む。
ステップ S4 4において、 コントローラ 1 4 1は、 音量調節開始の信 号が受信されてから、 所定時間が経過したか否かを判定し、 所定時間が 経過していないと判定した場合、 ステップ S4 3に戻り、 それ以降の処 理を操り返し実行する。
ステップ S4 4において、 コン トローラ 1 4 1は、 音量調節開始の信 号を受信してから所定時間が経過したと判定した場合、 ステップ S4 5 に進み、 CRT1 1 2に表示されている音量調節つまみの画像を消し、 そ の後、 ステップ S4 1に戻り、 それ以降の処理を繰り返し実行する。
一方、 ステップ S4 3において、 コン ト ローラ 1 4 1は、 音量を変更 する音量調節信号が赤外線受信部 1 1 5において受信されたと判定した 場合、 ステップ S4 6に進む。
ステップ S4 6において、 コントローラ 1 4 1 は、 リ モー トコント口 ーラ 1 0 1から送信されてきた音量調節信号に基づいて音量を調節する ( 例えば、 現在の CRT1 1 2の表示が図 1 8に示されるような場合におい て、 リ モートコントローラ 1 0 1から、 音量を 1段階上げることを指示 する音量調節信号が送信されてきたとき、 コン ト ローラ 1 4 1は、 スピ 一力 1 1 3Aおよび 1 1 3B に出力する音量を 1段階上げるとともに、 図 1 9に示す CRT1 1 2の表示例のよ うに、 音量調節つまみの方向を 1 段階だけ右方向に回転させ、 現在の音量レベルを表す数字を 1 0 と表示 させる。
その後、 処理はステップ S4 3に戻り、 それ以降の処理が繰り返し実 行される。
以上においては、 リモートコントローラ 1 0 1が所定の量だけ回転さ れたときフィー ドバックが発生されるようにしたが、 リ モー トコ ン ト口 ーラ 1 0 1が所定の量だけ回転されたとき、 対応する信号をテレビジョ ン受像機 1 1 1に送信させるが、 フィ ー ドバックは発生させず、 テレビ ジョ ン受像機 1 1 1力 その信号に対応して、 音量を所定の値に設定し たとき、 それを表す信号をテレビジョ ン受像機 1 1 1からリ モートコン ト ローラ 1 0 1に送信させ、 リ モー ト コン ト ローラ 1 0 1がそれを受信 したとき、 フィードバックを発生させるよ うにしてもよい。 この場合、 リモー トコン ト ローラ 1 0 1の赤外線送信部 1 2 4 と、 テレビジ aン受 像機 1 1 1の赤外線受信部 1 1 5は、 それぞれ、 赤外線信号の送受信が 可能な赤外線通信部により構成される。
また、 以上においては、 音量調節つまみを回しているかのようなフィ ードバックは、コイル 1 3 2や、軸 1 3 3等により発生されると したが、 上述した： PDA 1の場合と同様に、 図 2 0に示されるように、 ピエゾ素子 1 5 1により発生させるなど、 さまざまな方法によ り発生させるように してもよい。
図 2 0においては、 ピエゾ素子 1 5 1が面 1 0 1 B に配列して設けら れており、 ユーザがリモートコン トローラ 1 0 1を回転させて音量を調 節する場合、 ピエゾ素子 1 5 1が駆動され、 音量調節つまみを回してい るかのようなフィードバックが発生される。
なお、 この場合、 図 1 2に示すフィードバック発生部 1 2 5は、 ピエ ゾ素子 1 5 1 と、 ピエゾ素子 1 5 1に対して電圧を印加する駆動部より 構成される。
以上においては、 PDA 1やテレビジョ ン受像機 1 1 1のリモー トコン トローラ 1 0 1に本発明を適用したが、 本発明は、 ユーザの体と接触す るものであれば、 他の様々な情報処理端末、 および入力装置に適用でき る。 産業上の利用可能性
以上のように、 本発明によれば、 操作性の良好なユーザインタフエ一 スを実現することができる。

Claims

請求の範囲
1 . ユーザの手により所持され、 使用される情報処理端末において、 所定の処理を実行する実行手段と、
前記情報処理端末の筐体の姿勢の変位を検出する変位検出手段と、 前記変位検出手段により検出された前記姿勢の変位が、 所定の値を超 えたとき、 前記筐体に振動を発生する振動発生手段と
を備えることを特徴とする情報処理端末。
2 . 複数の情報を表示する表示手段と、
前記振動発生手段により発生される振動に併せて、 前記表示手段によ り表示される前記情報の表示を切り替える表示切替手段と
をさらに備えることを特徴とする請求の範囲第 1項に記載の情報処理 端末。
3 . 前記表示切替手段により切り替えられた前記情報の実行を指示す る指示手段をさらに備え、
前記実行手段は、 前記指示手段により指示された前記情報に対応する 処理を実行する
ことを特徴とする請求の範囲第 4項に記載の情報処理端末。
4 . 前記変位検出手段は、 前記筐体の所定の軸に対する回転の変位を 検出する
ことを特徴とする請求の範囲第 1項に記載の情報処理端末。
5 . 前記表示切替手段は、 前記表示手段により表示された前記情報を 拡大または縮小表示する
ことを特徴とする請求の範囲第 1項に記載の情報処理端末。
6 . 前記振動発生手段は、 前記筐体から突出して設けられており、 触 れられている前記ユーザの手に伝達される振動を発生する
ことを特徴とする請求の範囲第 Γ項に記載の情報処理端末。
7 . 前記情報処理端末は、 他の情報処理装置の入力装置であり、 前記 他の情報処理装置に対する指示を送信する送信手段をさらに備える ことを特徴とする請求の範囲第 1項に記載の情報処理端末。
8 . 前記他の情報処理装置からの信号を受信する受信手段をさらに備 X.、
前記振動発生手段は、 前記受信手段により受信された信号に応じて、 前記筐体に振動を発生する
ことを特徴とする請求の範囲第 7項に記載の情報処理端末。
9 . ユーザの手により所持され、 使用される情報処理端末の情報処理 方法において、
所定の処理を実行する実行ステップと、
前記情報処理端末の筐体の姿勢の変位を検出する変位検出ステップと 前記変位検出ステップの処理により検出された前記姿勢の変位が、 所 定の値を超えたとき、 前記筐体に振動を発生する振動発生ステツプと を含むことを特徴とする情報処理方法。
PCT/JP2002/000008 2001-01-10 2002-01-07 Terminal de traitement d'informations WO2002056165A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020037009095A KR100787792B1 (ko) 2001-01-10 2002-01-07 정보 처리 단말
EP02729371A EP1351119A4 (en) 2001-01-10 2002-01-07 INFORMATION PROCESSING TERMINAL
US10/250,879 US7230605B2 (en) 2001-01-10 2002-01-07 Information processing terminal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001-2276 2001-01-10
JP2001002276A JP4635342B2 (ja) 2001-01-10 2001-01-10 情報処理端末および方法

Publications (1)

Publication Number Publication Date
WO2002056165A1 true WO2002056165A1 (fr) 2002-07-18

Family

ID=18870814

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/000008 WO2002056165A1 (fr) 2001-01-10 2002-01-07 Terminal de traitement d'informations

Country Status (6)

Country Link
US (1) US7230605B2 (ja)
EP (1) EP1351119A4 (ja)
JP (1) JP4635342B2 (ja)
KR (1) KR100787792B1 (ja)
CN (1) CN1258703C (ja)
WO (1) WO2002056165A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100399712C (zh) * 2003-09-15 2008-07-02 Sk电信有限公社 具有电子罗盘模块的移动通信终端及使用其电子罗盘模块玩移动游戏的方法
CN100399713C (zh) * 2003-09-15 2008-07-02 Sk电信有限公社 具有电子罗盘模块的移动通信终端和利用其电子罗盘模块玩单机型移动游戏的方法
CN100428645C (zh) * 2003-09-15 2008-10-22 Sk电信有限公社 具有电子罗盘模块的移动通信终端以及使用其电子罗盘模块玩网络型移动游戏的方法

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4761423B2 (ja) * 2002-08-05 2011-08-31 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
KR101033555B1 (ko) 2003-06-11 2011-05-11 엘지전자 주식회사 이동통신 단말기
KR101030863B1 (ko) * 2003-09-30 2011-04-22 엘지전자 주식회사 수평/지자기 센서를 구비한 이동 통신 단말기
JP4241345B2 (ja) * 2003-11-28 2009-03-18 京セラ株式会社 重ね型携帯端末装置
KR101497195B1 (ko) * 2004-03-01 2015-02-27 애플 인크. 가속도계에 기초하여 휴대용 장치를 작동시키기 위한 방법 및 장치
CN1320430C (zh) * 2004-07-27 2007-06-06 天津大学 倾斜度感应加密方法
CN1327324C (zh) * 2004-07-27 2007-07-18 天津大学 倾斜度感应鼠标控制方法
US7808185B2 (en) * 2004-10-27 2010-10-05 Motorola, Inc. Backlight current control in portable electronic devices
CN100367171C (zh) * 2005-01-19 2008-02-06 光宝科技股份有限公司 位移操控的可携式电子装置
CN101112074B (zh) 2005-02-02 2012-09-05 澳迪欧布兰克斯电子产品产业商业股份有限公司 带乐器功能的移动通信设备
KR100718126B1 (ko) 2005-02-05 2007-05-15 삼성전자주식회사 동작 인식 기반 입력 장치의 사용자 인터페이스 방법 및 그장치
KR101002807B1 (ko) * 2005-02-23 2010-12-21 삼성전자주식회사 메뉴 화면을 표시하는 단말기에서 메뉴 네비게이션을 제어하는 장치 및 방법
CN100399848C (zh) * 2005-03-28 2008-07-02 英华达(上海)电子有限公司 手机中加速度传感器的实现方法及实现该方法的手机
KR101430761B1 (ko) 2005-05-17 2014-08-19 퀄컴 인코포레이티드 방위-감응 신호 출력
JP4696734B2 (ja) * 2005-07-06 2011-06-08 ソニー株式会社 コンテンツデータ再生装置及びコンテンツデータ再生方法
KR20070010589A (ko) * 2005-07-19 2007-01-24 엘지전자 주식회사 턴테이블이 구비되는 이동통신 단말기 및 그 동작방법
CN1936928B (zh) * 2005-09-23 2010-04-28 英华达(上海)电子有限公司 手持设备游戏软件的方向控制装置及其控制方法
KR100689849B1 (ko) * 2005-10-05 2007-03-08 삼성전자주식회사 원격조정제어장치, 영상처리장치, 이를 포함하는 영상시스템 및 그 제어방법
US7882435B2 (en) * 2005-12-20 2011-02-01 Sony Ericsson Mobile Communications Ab Electronic equipment with shuffle operation
KR100791294B1 (ko) * 2006-03-02 2008-01-04 삼성전자주식회사 그래픽 객체의 이동을 제어하는 방법 및 이를 이용한리모트 컨트롤
JP2007281258A (ja) * 2006-04-07 2007-10-25 Sony Corp 携帯装置
US20080030456A1 (en) * 2006-07-19 2008-02-07 Sony Ericsson Mobile Communications Ab Apparatus and Methods for Providing Motion Responsive Output Modifications in an Electronic Device
JP2008033526A (ja) * 2006-07-27 2008-02-14 Sony Corp 携帯型電子機器、動作制御方法、プログラム、信号生成装置、信号生成方法
KR100818991B1 (ko) * 2007-01-05 2008-04-07 삼성전자주식회사 기울임 기반 리스트 탐색에서 커서 위치 피드백을 제공하는장치 및 방법
US20080188277A1 (en) 2007-02-01 2008-08-07 Ritter Janice E Electronic Game Device And Method Of Using The Same
US10504317B2 (en) * 2007-04-30 2019-12-10 Cfph, Llc Game with player actuated control structure
US8441436B2 (en) 2007-12-07 2013-05-14 Sony Corporation Input apparatus, control apparatus, control system, control method, and handheld apparatus
JP5374071B2 (ja) * 2008-05-23 2013-12-25 株式会社Ｐｆｕ 携帯端末および領域特定処理実行方法
JP4852084B2 (ja) * 2008-05-27 2012-01-11 株式会社東芝 無線通信装置
JP2010028829A (ja) * 2008-05-27 2010-02-04 Toshiba Corp 無線通信装置
US20090309825A1 (en) * 2008-06-13 2009-12-17 Sony Ericsson Mobile Communications Ab User interface, method, and computer program for controlling apparatus, and apparatus
JP4978808B2 (ja) * 2008-07-24 2012-07-18 ソニー株式会社 情報処理装置および方法、並びにプログラム
NZ591534A (en) 2008-09-04 2013-01-25 Savant Systems Llc Multimedia system capable of being remotely controlled by a wireless device with an on screen touch sensitive display
JP5218016B2 (ja) 2008-12-18 2013-06-26 セイコーエプソン株式会社 入力装置およびデータ処理システム
JP2010250610A (ja) * 2009-04-16 2010-11-04 Sony Corp 情報処理装置、傾き検出方法及び傾き検出プログラム
JP4824107B2 (ja) * 2009-09-28 2011-11-30 京セラ株式会社 携帯端末装置および携帯端末装置の操作方法
KR20110037657A (ko) 2009-10-07 2011-04-13 삼성전자주식회사 모션을 이용한 ｇｕｉ 제공방법 및 이를 적용한 디스플레이 장치
JP2011217316A (ja) * 2010-04-02 2011-10-27 Funai Electric Co Ltd 携帯情報処理装置
KR101841592B1 (ko) 2010-04-21 2018-05-04 삼성전자 주식회사 기울기 센서 및 키 입력을 이용한 사용자 인터페이스 제공 방법 및 이를 수행하는 단말
US8878655B2 (en) * 2010-05-04 2014-11-04 Nokia Corporation Vibration mechanism for user interface module
KR101915615B1 (ko) * 2010-10-14 2019-01-07 삼성전자주식회사 모션 기반 사용자 인터페이스 제어 장치 및 방법
WO2012075619A1 (zh) * 2010-12-06 2012-06-14 深圳市同洲软件有限公司 移动终端控制数字电视接收终端的方法、装置和系统
JP2013025567A (ja) * 2011-07-21 2013-02-04 Sony Corp 情報処理装置、情報処理方法、及びプログラム
US8949745B2 (en) 2011-10-21 2015-02-03 Konntech Inc. Device and method for selection of options by motion gestures
CN103186744B (zh) * 2011-12-29 2016-05-04 宇龙计算机通信科技(深圳)有限公司 终端加解密方法和终端
JP2013222399A (ja) * 2012-04-18 2013-10-28 Sony Corp 操作方法、制御装置及びプログラム
CN103631469B (zh) * 2012-08-21 2016-10-05 联想(北京)有限公司 显示图标的处理方法、装置及电子设备
US9213419B1 (en) * 2012-11-13 2015-12-15 Amazon Technologies, Inc. Orientation inclusive interface navigation
TWI540492B (zh) * 2012-12-20 2016-07-01 晨星半導體股份有限公司 電子裝置以及電子裝置控制方法
JP5841958B2 (ja) * 2013-02-22 2016-01-13 セイコーエプソン株式会社 データ処理システム
CN104378484B (zh) * 2013-08-15 2017-12-29 联想(北京)有限公司 一种音量控制的方法及电子设备
CN104731309B (zh) * 2013-12-24 2018-11-09 联想(北京)有限公司 用于调控电子设备的方法、调控装置和电子设备
JP2014149853A (ja) * 2014-04-02 2014-08-21 Nec Corp 携帯情報端末、表示制御方法およびプログラム
KR101873855B1 (ko) * 2015-02-23 2018-07-03 한국전자통신연구원 3축 코일 센서 및 그것을 포함하는 자기장 측정 장치
CN104777959B (zh) * 2015-03-23 2016-05-11 努比亚技术有限公司 移动终端光标定位方法及装置
RU2666626C1 (ru) * 2016-07-28 2018-09-11 Бейджин Сяоми Мобайл Софтвэар Ко., Лтд. Способ и устройство для управления состоянием воспроизведения
JP6955339B2 (ja) * 2017-01-10 2021-10-27 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
CN108536165A (zh) * 2018-04-02 2018-09-14 深圳小趴智能科技有限公司 一种姿态感应遥控装置控制机器人运动方法
JP7271171B2 (ja) * 2018-12-27 2023-05-11 株式会社コロプラ プログラム、方法および情報処理装置
CN112764623B (zh) * 2021-01-26 2022-09-09 维沃移动通信有限公司 内容编辑方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02105919A (ja) * 1988-10-14 1990-04-18 Canon Inc タッチパネル入力装置
JPH0643742U (ja) * 1992-10-30 1994-06-10 安藤電気株式会社 ソレノイドコイル内蔵マウス
JPH0681035U (ja) * 1993-04-15 1994-11-15 ブラザー工業株式会社 マウス
US5453758A (en) * 1992-07-31 1995-09-26 Sony Corporation Input apparatus
JPH0895693A (ja) 1994-09-26 1996-04-12 Hitachi Ltd データ処理装置
EP0741479A2 (en) 1995-05-02 1996-11-06 Sony Corporation Cordless telephone apparatus having a remote control function for selecting a video program
JPH1063411A (ja) * 1996-08-13 1998-03-06 Nippon Telegr & Teleph Corp <Ntt> 携帯情報処理端末
JPH10124178A (ja) * 1996-10-15 1998-05-15 Olympus Optical Co Ltd 電子メール端末、電子メール端末の処理方法、媒体
WO1999032960A1 (en) 1997-12-23 1999-07-01 Telefonaktiebolaget Lm Ericsson A hand-held display device and a method of displaying screen images
EP0930768A1 (en) * 1997-03-03 1999-07-21 Kabushiki Kaisha Toshiba Communication terminal
GB2336747A (en) 1998-04-22 1999-10-27 Nec Corp Hand held communication terminal and method of scrolling display screen of the same.
GB2347593A (en) 1999-01-06 2000-09-06 Motorola Inc Use of motion to input information into a radio telephone

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2508748B2 (ja) * 1987-09-02 1996-06-19 日本電装株式会社 空調装置用空気導入装置
GB9014130D0 (en) * 1990-06-25 1990-08-15 Hewlett Packard Co User interface
JPH04218824A (ja) * 1990-12-19 1992-08-10 Yaskawa Electric Corp 多次元情報入力装置
JPH0681035A (ja) 1990-12-23 1994-03-22 Nikko Kinzoku Kk リ−ドフレ−ム材の製造方法
JP2990622B2 (ja) 1991-07-15 1999-12-13 富士ゼロックス株式会社 非磁性一成分現像装置
US6906700B1 (en) * 1992-03-05 2005-06-14 Anascape 3D controller with vibration
US5296871A (en) * 1992-07-27 1994-03-22 Paley W Bradford Three-dimensional mouse with tactile feedback
JPH0744315A (ja) * 1993-05-21 1995-02-14 Sony Corp 入力装置
US5453759A (en) * 1993-07-28 1995-09-26 Seebach; Jurgen Pointing device for communication with computer systems
JP3167963B2 (ja) * 1997-07-07 2001-05-21 コナミ株式会社 手動操作装置およびゲーム装置
US6198471B1 (en) * 1997-11-07 2001-03-06 Brandt A. Cook Free-floating multi-axis controller
US6563487B2 (en) * 1998-06-23 2003-05-13 Immersion Corporation Haptic feedback for directional control pads
FI981469L (fi) * 1998-06-25 1999-12-26 Nokia Mobile Phones Ltd Integroitu liiketunnistin matkaviestimessä
US6369794B1 (en) * 1998-09-09 2002-04-09 Matsushita Electric Industrial Co., Ltd. Operation indication outputting device for giving operation indication according to type of user's action
US6614420B1 (en) * 1999-02-22 2003-09-02 Microsoft Corporation Dual axis articulated electronic input device
US6641480B2 (en) * 2001-01-29 2003-11-04 Microsoft Corporation Force feedback mechanism for gamepad device

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02105919A (ja) * 1988-10-14 1990-04-18 Canon Inc タッチパネル入力装置
US5453758A (en) * 1992-07-31 1995-09-26 Sony Corporation Input apparatus
JPH0643742U (ja) * 1992-10-30 1994-06-10 安藤電気株式会社 ソレノイドコイル内蔵マウス
JPH0681035U (ja) * 1993-04-15 1994-11-15 ブラザー工業株式会社 マウス
JPH0895693A (ja) 1994-09-26 1996-04-12 Hitachi Ltd データ処理装置
EP0741479A2 (en) 1995-05-02 1996-11-06 Sony Corporation Cordless telephone apparatus having a remote control function for selecting a video program
JPH1063411A (ja) * 1996-08-13 1998-03-06 Nippon Telegr & Teleph Corp <Ntt> 携帯情報処理端末
JPH10124178A (ja) * 1996-10-15 1998-05-15 Olympus Optical Co Ltd 電子メール端末、電子メール端末の処理方法、媒体
EP0930768A1 (en) * 1997-03-03 1999-07-21 Kabushiki Kaisha Toshiba Communication terminal
WO1999032960A1 (en) 1997-12-23 1999-07-01 Telefonaktiebolaget Lm Ericsson A hand-held display device and a method of displaying screen images
GB2336747A (en) 1998-04-22 1999-10-27 Nec Corp Hand held communication terminal and method of scrolling display screen of the same.
GB2347593A (en) 1999-01-06 2000-09-06 Motorola Inc Use of motion to input information into a radio telephone

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HARRISON B.L. ET AL.: "Squeeze me, hold me, tilt me! An exploration of manipulative user interfaces", HUMAN FACTORS IN COMPUTING SYSTEMS, 18 April 1998 (1998-04-18), pages 17 - 24
PASCOE J. ET AL.: "Using while moving: HCI issues in fieldwork environments", ACM TRANSACTIONS ON COMPUTER-HUMAN INTERACTION, vol. 7, no. 3, 1 September 2009 (2009-09-01), pages 417 - 437
See also references of EP1351119A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100399712C (zh) * 2003-09-15 2008-07-02 Sk电信有限公社 具有电子罗盘模块的移动通信终端及使用其电子罗盘模块玩移动游戏的方法
CN100399713C (zh) * 2003-09-15 2008-07-02 Sk电信有限公社 具有电子罗盘模块的移动通信终端和利用其电子罗盘模块玩单机型移动游戏的方法
CN100428645C (zh) * 2003-09-15 2008-10-22 Sk电信有限公社 具有电子罗盘模块的移动通信终端以及使用其电子罗盘模块玩网络型移动游戏的方法

Also Published As

Publication number Publication date
KR20030068581A (ko) 2003-08-21
EP1351119A1 (en) 2003-10-08
EP1351119A4 (en) 2009-04-15
CN1258703C (zh) 2006-06-07
US7230605B2 (en) 2007-06-12
JP2002207567A (ja) 2002-07-26
CN1484785A (zh) 2004-03-24
US20040100441A1 (en) 2004-05-27
JP4635342B2 (ja) 2011-02-23
KR100787792B1 (ko) 2007-12-21

Similar Documents

Publication Publication Date Title
JP4635342B2 (ja) 情報処理端末および方法
EP1731993B1 (en) Input device having tactile function, information input method, and electronic device
JP3937982B2 (ja) 入出力装置および入出力装置を有する電子機器
US20180292905A1 (en) Systems and Methods for a Haptically-Enabled Projected User Interface
JP5440176B2 (ja) 入力装置、制御装置、制御システム、ハンドヘルド装置及び制御方法
JP6293108B2 (ja) 動的な触覚効果を有するマルチタッチデバイス
JP5654114B2 (ja) タッチセンサを備えた電子機器
US9606625B2 (en) Haptically-enabled deformable device with rigid component
WO2013111557A1 (ja) 電子機器
JP5519020B2 (ja) 入力装置および入力装置の制御方法
JP2008176641A (ja) 携帯端末用コマンド入力装置および携帯端末用コマンド入力方法
WO2007007682A1 (ja) タッチパネル表示装置および携帯機器
WO2008027610A1 (en) Orientation based multiple mode mechanically vibrated touch screen display
JP2006107140A (ja) 触覚機能付きの入出力装置及び電子機器
JP5718475B2 (ja) 触感呈示装置
JPWO2008156141A1 (ja) 制御装置、入力装置、制御システム、ハンドヘルド型情報処理装置、及び制御方法
WO2011077612A1 (ja) 触感呈示装置
KR20100107997A (ko) 펜형태의 촉감 제시 장치와 그를 이용한 촉감 인터페이스 시스템
JP2006333355A (ja) 携帯情報処理装置およびその操作方法
JP2006065507A (ja) 振動伝達機構、振動波形データ作成方法、触覚機能付き入力装置及び電子機器
JP2002297284A (ja) 携帯端末装置
JP2002333937A (ja) 情報処理装置
JP2024137189A (ja) 情報処理システム、情報処理装置、情報処理方法及びコンピュータプログラム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2002729371

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020037009095

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 10250879

Country of ref document: US

Ref document number: 028035879

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020037009095

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2002729371

Country of ref document: EP