[go: up one dir, main page]

WO2024080086A1 - Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ １０ ｆｉｎｇｅｒ - Google Patents

Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ １０ ｆｉｎｇｅｒ Download PDF

Info

Publication number
WO2024080086A1
WO2024080086A1 PCT/JP2023/034035 JP2023034035W WO2024080086A1 WO 2024080086 A1 WO2024080086 A1 WO 2024080086A1 JP 2023034035 W JP2023034035 W JP 2023034035W WO 2024080086 A1 WO2024080086 A1 WO 2024080086A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
unit
acquisition unit
movement
control
Prior art date
Application number
PCT/JP2023/034035
Other languages
English (en)
French (fr)
Inventor
正義 孫
Original Assignee
ソフトバンクグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2022163597A external-priority patent/JP2024056586A/ja
Priority claimed from JP2022178992A external-priority patent/JP2024068490A/ja
Priority claimed from JP2023054737A external-priority patent/JP2024142558A/ja
Application filed by ソフトバンクグループ株式会社 filed Critical ソフトバンクグループ株式会社
Publication of WO2024080086A1 publication Critical patent/WO2024080086A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J44/00—Multi-purpose machines for preparing food with several driving units
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00—Self-movable toy figures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass

Definitions

  • the present invention relates to Autonomous Driving 10 fingers, a smart robot with ten fingers equipped with an ultra-high performance information acquisition unit.
  • Patent Document 1 describes a vehicle having an automatic driving function.
  • Patent Documents [Patent Documents]
  • Patent Document 1 JP 2022-035198 A
  • a control device may include an actuator that moves an object.
  • the control device may include an information acquisition unit that acquires a plurality of pieces of information.
  • the control device may include a control unit that controls the actuator using the information acquired by the information acquisition unit and AI.
  • the control unit may use the information and AI to control the actuation unit in units of billionths of a second, and the actuation unit may drive the vehicle.
  • the actuation unit may be configured to be worn by a human, and the control unit may cause the actuation unit to assist the movements of the human driving the vehicle.
  • the information acquisition unit may acquire at least one of the heat, shape, color, texture, and smell of the food as information, and the control unit may use the information and AI to control the operating unit and cause the operating unit to reproduce the food.
  • the operating unit may be configured to be worn by a person, and the control unit may cause the operating unit to assist the movements of the person cooking.
  • the information acquisition unit may acquire the surgical movements of a doctor, and the control unit may use the information and AI to control the operating unit and cause the operating unit to perform the surgery.
  • the operating unit may be configured to be worn by a human, and the control unit may cause the operating unit to assist the movements of the human performing the surgery.
  • the information acquisition unit may acquire the movements of workers in a factory, and the control unit may use the information and AI to control the operating unit and cause the operating unit to perform work in the factory.
  • the operating unit may be configured to be worn by a human, and the control unit may cause the operating unit to assist the movements of the human working in the factory.
  • a program for causing a computer to function as the control device.
  • 1 illustrates an example of a network configuration according to an embodiment of the present invention.
  • 1 shows a schematic diagram of an example of sensors attached to a first joint and a second joint of a robot finger.
  • An example of an AI robot controlled by the control device 100 is shown generally.
  • 1 illustrates a schematic diagram of ultra-high performance information acquisition according to an embodiment; 1 shows an overview of ultra-high performance autonomous driving realized by an AI robot according to this embodiment.
  • This diagram shows an outline of Perfect Speed Control achieved by the control device 100 of this embodiment.
  • a schematic diagram of Perfect Bell Curves is shown. This is an overview diagram of Perfect Cruising. This is an overview diagram of Perfect Cruising. This is an overview diagram of Perfect Cruising. This is an overview diagram of Perfect Cruising. This is an overview diagram of Perfect Cruising. This is an overview diagram of Perfect Cruising.
  • FIG. 11 is a diagram illustrating an example of a configuration of a motion reproduction device 1 according to a second embodiment.
  • FIG. 13 is a diagram illustrating an example of an information acquisition unit 20 of the action reproduction device 1 according to the second embodiment.
  • FIG. 11 is a diagram illustrating a robot 100 realized by a motion reproduction device 1 according to a second embodiment.
  • FIG. 10 is a flowchart of an example of the operation of the action reproduction device 1 according to the second embodiment.
  • 13 is a diagram illustrating a configuration of an action learning assistance device according to a third embodiment.
  • 13A and 13B are diagrams illustrating a robot realized by the motion learning assistance device according to the third embodiment.
  • 13 is a flowchart showing an example of the operation of the motion learning assistance device according to the third embodiment.
  • 13 is an example screen showing a comparison result between the user's movements and the chef's movements in the third embodiment.
  • the AI robot realizes ultra-high performance automatic driving based on the information acquired by the ultra-high performance information acquisition unit, and acts as a first-class chef or a first-class doctor.
  • the AI robot may operate by itself, or may be attached to a human and assist the human's actions.
  • FIG. 1 shows an example of a control device 100 according to this embodiment.
  • the control device 100 is an example of a control device for an AI robot.
  • the control device 100 includes an actuation unit 110, an information acquisition unit 120, and a control unit 130.
  • the actuator 110 may be a member that moves an object.
  • the actuator 110 may be a robot.
  • the actuator 110 may be a robot arm.
  • the actuator 110 may be any member that can move an object.
  • the actuator 110 may be a member that is worn by a human and assists the human's movements.
  • the information acquisition unit 120 may be an example of an ultra-high performance information acquisition unit.
  • the information acquisition unit 120 may acquire information from sensors mounted on various parts of the robot, such as the robot's fingertips, eyes, head, etc.
  • the information acquisition unit 120 may acquire information from sensors attached to the tips of the ten fingers of the robot.
  • the information acquisition unit 120 may acquire information from sensors attached to the first joints of the robot's fingers.
  • the information acquisition unit 120 may acquire information from sensors attached to the second joints of the robot's fingers.
  • the information acquisition unit 120 may acquire information from sensors attached to the first and second joints of the robot's fingers.
  • sensors include cameras, high-performance cameras, solid-state LiDAR, and multi-color laser coaxial displacement meters, but are not limited to these.
  • Various other sensors may be used.
  • Long-tail incident AI data may be trip data from a car with level 5 implementation.
  • Examples of sensor information obtained from multiple types of sensors include images, distance, vibration, heat, smell, color, sound, ultrasound, ultraviolet light, infrared light, etc.
  • Other examples include the taste, smell, shape, warmth, color, hardness, softness, etc. of food.
  • Other examples include the movements of a doctor performing surgery, the type of surgical instruments used, patient information, drug information, etc.
  • Other examples include the movements of factory workers, the tools used, the know-how of artisans, the skills of craftsmen, the assembly sequence, and how items are made.
  • Other examples include the shift in the center of gravity of body weight, detection of road material, detection of outside air temperature, detection of outside humidity, detection of the up, down, side, diagonal and inclination angle of a slope, how the road is frozen, detection of moisture content, detection of the material, wear condition, and air pressure of each tire, road width, whether or not overtaking is prohibited, oncoming vehicles, information on the vehicle models in front and behind, the cruising status of those vehicles, and surrounding conditions (birds, animals, soccer balls, wrecked cars, earthquakes, housework, wind, typhoons, heavy rain, light rain, blizzards, fog, etc.).
  • the various sensors detect these events every nanosecond, and the information acquisition unit 120 acquires this information every nanosecond.
  • the control unit 130 controls the operation unit 110 using information acquired by the information acquisition unit 120.
  • the control unit 130 may control the operation unit 110 using multiple sensor information acquired by the information acquisition unit 120 from multiple sensors.
  • the control unit 130 may acquire information according to the purpose from the information acquisition unit 120 and control the operation unit 110 according to the purpose.
  • the control unit 130 may acquire various information from the information acquisition unit 120 and control the operation unit 110 using information according to the purpose from the acquired information.
  • the control unit 130 may use the information acquired by the information acquisition unit 120 and AI to control the operation unit 110.
  • the control unit 130 may use the information acquired by the information acquisition unit 120 and AI to control the operation unit 110 in units of 1 billionth of a second.
  • the information acquisition unit 120 and the control unit 130 may perform accurate image recognition, distance recognition, vibration recognition, heat recognition, odor recognition, color recognition, sound recognition, ultrasonic recognition, ultraviolet recognition, infrared recognition, and the like every nanosecond.
  • control unit 130 uses the information acquired by the information acquisition unit 120 and AI to control the actuation unit 110, and the actuation unit 110 drives the vehicle.
  • the actuation unit 110 is worn by a person, and the control unit 130 uses the information acquired by the information acquisition unit 120 and AI to cause the actuation unit 110 to assist the movements of the person driving the vehicle.
  • the information acquisition unit 120 may acquire at least one of the heat, shape, color, texture, and smell of the food as information.
  • the control unit 130 may use the information acquired by the information acquisition unit 120 and AI to control the operation unit 110 and have the operation unit 110 reproduce the food.
  • the operation unit 110 may be worn by a person, and the control unit 130 may use the information acquired by the information acquisition unit 120 and AI to have the operation unit 110 assist the movements of the person cooking.
  • the information acquisition unit 120 may acquire the doctor's surgical movements as information.
  • the control unit 130 may use the information acquired by the information acquisition unit 120 and AI to control the operation unit 110 and have the operation unit 110 perform the surgery.
  • the operation unit 110 may be worn by a human, and the control unit 130 may use the information acquired by the information acquisition unit 120 and AI to have the operation unit 110 assist the movements of the human performing the surgery.
  • the information acquisition unit 120 may acquire the movements of workers as information.
  • the control unit 130 may use the information acquired by the information acquisition unit 120 and AI to control the operation unit 110 and have the operation unit 110 perform work in the factory.
  • the operation unit 110 may be worn by a person, and the control unit 130 may use the information acquired by the information acquisition unit 120 and AI to have the operation unit 110 assist the movements of the person working in the factory.
  • the AI robot realized by the control device 100 can be 10,000 times smarter than any human being.
  • the operating unit 110 may be capable of reproducing the same variety of movements as human fingers and arms using a multi-axis actuator, a high-performance motor, etc.
  • the operating unit 110 may achieve ultra-high performance speed control and accuracy that is superior to humans.
  • the control device 100 uses ultra-high performance AI computing capabilities to calculate the perfect control of the number of motor spins of each axis, perfect course navigation, and perfect steering values, and the 10 fingers and arms realize autonomous driving.
  • the material of the AI robot may be silicone resin or the like, a flexible material that is heat-resistant, water-resistant, light-resistant, chemical-resistant, insulating, etc., and has a good grip.
  • the AI robot may accurately obtain data such as the shape and distance of the object to be operated and learn using AI.
  • the AI robot realized by the control device 100 according to this embodiment will have ultra-high performance, the first in human history, exceeding human wisdom and capabilities by 10,000 times, and will have smart fingers and arms that are moved by the AI itself, rather than controlled by a human.
  • FIG. 2 shows an example of a network configuration according to this embodiment.
  • the Central Brain may be an example of a control device 100.
  • FIG. 3 shows a schematic diagram of an example of sensors attached to the first and second joints of a robot finger.
  • the robot finger may be made of a flexible material such as silicone resin that is heat-resistant, water-resistant, light-resistant, chemical-resistant, insulating, and has a good grip.
  • the sensors at the first and second joints may be cameras, solid-state LiDAR, and other sensors.
  • the robot may also have ten fingers like a human, and sensors may be attached to the joints of one or more fingers.
  • FIG 4 shows a schematic diagram of an example of an AI robot controlled by the control device 100.
  • the AI robot is placed on a battery smart car equipped with an ultra-high performance Central Brain Box, which is an example of the control device 100, and a large-capacity battery.
  • the AI robot, the Central Brain Box, and the large-capacity battery may be connected at the toes of the AI robot, allowing the AI robot to move freely at the heels.
  • the AI robot is controlled by the ultra-high performance Central Brain Box and operates using power from the large-capacity battery.
  • the AI robot can realize ultra-high-definition surgery, ultra-advanced cooking, ultra-high performance factory production, and the like.
  • FIG. 5 shows an overview of ultra-high performance information acquisition according to this embodiment.
  • multiple types of sensor information may be converted into AI data and stored in the cloud.
  • the control device 100 may use the data in the cloud.
  • FIG. 6 shows an outline of the ultra-high performance autonomous driving realized by the AI robot according to this embodiment.
  • the AI robot according to this embodiment may be connected to the Central Brain SoC installed in the vehicle via a network, or may be connected directly.
  • the control device 100 in this embodiment may match the acquired information with the weather forecast with the highest accuracy rate for the entire road + minimum spot by AI.
  • the control device 100 may also match the acquired information with the position information of other vehicles.
  • the control device 100 may also match the acquired information with the best estimated vehicle type (matching the remaining amount and speed for the journey every nanosecond).
  • the control device 100 may also match the acquired information with the mood of the music, etc., that the passengers are listening to.
  • the control device 100 may also instantly rearrange the conditions based on the acquired information to reflect a change in the desired mood.
  • the Central Brain SoC may, for example, upload AI data to the cloud when the vehicle is charging.
  • a Data Lake is created, and the AI analyzes and uploads the data in an updated state.
  • the control device 100 may use both software and hardware as a method for optimizing vehicle traffic.
  • the control device 100 uses AI to create the best mix of cloud-stored information and all of the vehicle's sensor information, and the AI makes decisions every nanosecond to realize automated driving that meets the passengers' needs.
  • the vehicle micro-controls the motor's rotation output every 1/1 billion second.
  • the vehicle is equipped with electricity and a motor that can communicate and be controlled in nanoseconds.
  • AI predicts a crisis, making it possible to make a perfect stop without the need for braking and without spilling a glass of water. In addition, power consumption is low and there is no brake friction.
  • Figure 7 shows an outline of Perfect Speed Control that is realized by the control of the control device 100 according to this embodiment.
  • the principle shown in Figure 7 is an index for calculating the braking distance of the vehicle, and is controlled by this basic equation. In the system according to this embodiment, because there is ultra-high performance input data, calculations can be made with a neat bell curve.
  • Figure 8 shows a schematic diagram of the Perfect Bell Curves realized by the control device 100 according to this embodiment.
  • the computational speed required to realize ultra-high performance autonomous driving is 1 million TOPS.
  • the control device 100 may realize Perfect Cruise Control.
  • the brain of the control device 100 may execute control according to the desires of the passengers aboard the vehicle. Examples of passenger desires include “shortest time”, “longest battery remaining”, “I want to avoid car sickness as much as possible”, “I want to feel G-forces the most (safely)”, “I want to enjoy the scenery the most with a mix of the above”, “I want to enjoy a different scenery than the last time”, “For example, I want to retrace the memories of a road I took with someone many years ago", “I want to minimize the chance of an accident", etc.
  • the brain consults with the passengers about various other conditions, and executes a perfect mix with the vehicle based on the number of passengers, weight, position, and center of gravity movement of weight (calculated every nanosecond), detection of road material every nanosecond, detection of outside air humidity every nanosecond, detection of outside air humidity every nanosecond, and total of the above conditions every nanosecond.
  • the brain may consider and execute things like “up, down, side, and diagonal slope of the road,” “matching with the weather forecast with the highest accuracy rate for the entire route + the smallest spot by AI,” “matching with the location information of other cars every nanosecond,” “matching with the best estimated car models (matching the remaining amount and speed on the route every nanosecond), “matching with the mood of the music the passengers are listening to, etc.), “instantaneous reconfiguration of conditions when the desired mood changes,” “estimation of the optimal mix of the road's freezing condition, moisture content, wear of the material of each tire (4, 2, 8, 16 tires, etc.), air pressure, and the remaining road,” “lane width, angle, and whether it is a no-passing lane on the road at that time,” “oncoming lane, car models in the front and rear lanes and the cruising state of those cars (every nanosecond),” and [the best mix of all other conditions].
  • the position that should be taken within the width of each lane, rather than being in the middle, is different for each lane. It differs depending on the speed, angle and road information at the time. For example, it performs best probability inference matching of flying birds, animals, oncoming cars, flying soccer balls, children, accident cars, earthquakes, fires, wind, typhoons, heavy rain, light rain, blizzards, fog and other influences every nanosecond.
  • ultra-high performance autonomous driving requires 1 million TOPs to provide the best battery power management and temperature AI synchronized burst chilling function at that time.
  • Figures 9, 10, 11, 12, 13, 14, and 15 are schematic diagrams of Perfect Cruising.
  • FIG. 16 shows an example of a hardware configuration of a computer 1200 functioning as the control device 100 or the Central Brain SoC.
  • a program installed on the computer 1200 can cause the computer 1200 to function as one or more "parts" of the device according to the present embodiment, or to execute operations or one or more "parts” associated with the device according to the present embodiment, and/or to execute a process or steps of the process according to the present embodiment.
  • Such a program can be executed by the CPU 1212 to cause the computer 1200 to execute specific operations associated with some or all of the blocks of the flowcharts and block diagrams described herein.
  • the computer 1200 includes a CPU 1212, a RAM 1214, and a graphics controller 1216, which are connected to each other by a host controller 1210.
  • the computer 1200 also includes input/output units such as a communication interface 1222, a storage device 1224, a DVD drive, and an IC card drive, which are connected to the host controller 1210 via an input/output controller 1220.
  • the DVD drive may be a DVD-ROM drive, a DVD-RAM drive, etc.
  • the storage device 1224 may be a hard disk drive, a solid state drive, etc.
  • the computer 1200 also includes a ROM 1230 and a legacy input/output unit such as a keyboard, which are connected to the input/output controller 1220 via an input/output chip 1240.
  • the CPU 1212 operates according to the programs stored in the ROM 1230 and the RAM 1214, thereby controlling each unit.
  • the graphics controller 1216 acquires image data generated by the CPU 1212 into a frame buffer or the like provided in the RAM 1214 or into itself, and causes the image data to be displayed on the display device 1218.
  • the communication interface 1222 communicates with other electronic devices via a network.
  • the storage device 1224 stores programs and data used by the CPU 1212 in the computer 1200.
  • the DVD drive reads programs or data from a DVD-ROM or the like and provides them to the storage device 1224.
  • the IC card drive reads programs and data from an IC card and/or writes programs and data to an IC card.
  • ROM 1230 stores therein a boot program or the like executed by computer 1200 upon activation, and/or a program that depends on the hardware of computer 1200.
  • I/O chip 1240 may also connect various I/O units to I/O controller 1220 via USB ports, parallel ports, serial ports, keyboard ports, mouse ports, etc.
  • the programs are provided by a computer-readable storage medium such as a DVD-ROM or an IC card.
  • the programs are read from the computer-readable storage medium, installed in storage device 1224, RAM 1214, or ROM 1230, which are also examples of computer-readable storage media, and executed by CPU 1212.
  • the information processing described in these programs is read by computer 1200, and brings about cooperation between the programs and the various types of hardware resources described above.
  • An apparatus or method may be constructed by realizing the operation or processing of information according to the use of computer 1200.
  • CPU 1212 may execute a communication program loaded into RAM 1214 and instruct communication interface 1222 to perform communication processing based on the processing described in the communication program.
  • communication interface 1222 reads transmission data stored in a transmission buffer area provided in RAM 1214, storage device 1224, a DVD-ROM, or a recording medium such as an IC card, and transmits the read transmission data to the network, or writes received data received from the network to a reception buffer area or the like provided on the recording medium.
  • the CPU 1212 may also cause all or a necessary portion of a file or database stored in an external recording medium such as the storage device 1224, a DVD drive (DVD-ROM), an IC card, etc. to be read into the RAM 1214, and perform various types of processing on the data on the RAM 1214. The CPU 1212 may then write back the processed data to the external recording medium.
  • an external recording medium such as the storage device 1224, a DVD drive (DVD-ROM), an IC card, etc.
  • CPU 1212 may perform various types of processing on data read from RAM 1214, including various types of operations, information processing, conditional judgment, conditional branching, unconditional branching, information search/replacement, etc., as described throughout this disclosure and specified by the instruction sequence of the program, and write back the results to RAM 1214.
  • CPU 1212 may also search for information in a file, database, etc. in the recording medium.
  • CPU 1212 may search for an entry whose attribute value of the first attribute matches a specified condition from among the multiple entries, read the attribute value of the second attribute stored in the entry, and thereby obtain the attribute value of the second attribute associated with the first attribute that satisfies a predetermined condition.
  • the above-described programs or software modules may be stored in a computer-readable storage medium on the computer 1200 or in the vicinity of the computer 1200.
  • a recording medium such as a hard disk or RAM provided in a server system connected to a dedicated communication network or the Internet can be used as a computer-readable storage medium, thereby providing the programs to the computer 1200 via the network.
  • the blocks in the flowcharts and block diagrams in this embodiment may represent stages of a process where an operation is performed or "parts" of a device responsible for performing the operation. Particular stages and “parts" may be implemented by dedicated circuitry, programmable circuitry provided with computer-readable instructions stored on a computer-readable storage medium, and/or a processor provided with computer-readable instructions stored on a computer-readable storage medium.
  • the dedicated circuitry may include digital and/or analog hardware circuitry and may include integrated circuits (ICs) and/or discrete circuits.
  • the programmable circuitry may include reconfigurable hardware circuitry including AND, OR, XOR, NAND, NOR, and other logical operations, flip-flops, registers, and memory elements, such as, for example, field programmable gate arrays (FPGAs) and programmable logic arrays (PLAs).
  • FPGAs field programmable gate arrays
  • PDAs programmable logic arrays
  • a computer-readable storage medium may include any tangible device capable of storing instructions that are executed by a suitable device, such that a computer-readable storage medium having instructions stored thereon comprises an article of manufacture that includes instructions that can be executed to create means for performing the operations specified in the flowchart or block diagram.
  • Examples of computer-readable storage media may include electronic storage media, magnetic storage media, optical storage media, electromagnetic storage media, semiconductor storage media, and the like.
  • Computer-readable storage media may include floppy disks, diskettes, hard disks, random access memories (RAMs), read-only memories (ROMs), erasable programmable read-only memories (EPROMs or flash memories), electrically erasable programmable read-only memories (EEPROMs), static random access memories (SRAMs), compact disk read-only memories (CD-ROMs), digital versatile disks (DVDs), Blu-ray disks, memory sticks, integrated circuit cards, and the like.
  • RAMs random access memories
  • ROMs read-only memories
  • EPROMs or flash memories erasable programmable read-only memories
  • EEPROMs electrically erasable programmable read-only memories
  • SRAMs static random access memories
  • CD-ROMs compact disk read-only memories
  • DVDs digital versatile disks
  • Blu-ray disks memory sticks, integrated circuit cards, and the like.
  • the computer readable instructions may include either assembler instructions, instruction set architecture (ISA) instructions, machine instructions, machine-dependent instructions, microcode, firmware instructions, state setting data, or source or object code written in any combination of one or more programming languages, including object-oriented programming languages such as Smalltalk (registered trademark), JAVA (registered trademark), C++, etc., and conventional procedural programming languages such as the "C" programming language or similar programming languages.
  • ISA instruction set architecture
  • machine instructions machine-dependent instructions
  • microcode firmware instructions
  • state setting data or source or object code written in any combination of one or more programming languages, including object-oriented programming languages such as Smalltalk (registered trademark), JAVA (registered trademark), C++, etc., and conventional procedural programming languages such as the "C" programming language or similar programming languages.
  • the computer-readable instructions may be provided to a processor of a general-purpose computer, special-purpose computer, or other programmable data processing apparatus, or to a programmable circuit, either locally or over a local area network (LAN), a wide area network (WAN) such as the Internet, so that the processor of the general-purpose computer, special-purpose computer, or other programmable data processing apparatus, or to a programmable circuit, executes the computer-readable instructions to generate means for performing the operations specified in the flowcharts or block diagrams.
  • processors include computer processors, processing units, microprocessors, digital signal processors, controllers, microcontrollers, etc.
  • Japanese Patent Application Laid-Open No. 2022-061761 discloses a technology for making a robot reproduce complex movements performed by humans.
  • One of the objects of the invention disclosed in the second embodiment is to provide a technology for reproducing the craftsmanship of a craftsman according to the application.
  • the motion reproduction device includes an actuation unit that reproduces the motion of a model, an information acquisition unit that acquires information about the motion of the model from a sensor, a designated item acquisition unit that acquires designated items for reproducing the motion of the model, and a control unit that causes the actuation unit to reproduce the motion based on the information acquired from the sensor and the designated items.
  • the motion reproduction method includes an information acquisition unit in which the computer acquires information about the motion of the model from a sensor, a specified item acquisition unit in which the computer acquires specified items when reproducing the motion of the model, and a process in which the computer causes an operating unit that reproduces the motion of the model to reproduce the motion based on the information acquired from the sensor and the specified items.
  • the present invention provides technology that reproduces the craftsmanship of a master craftsman to suit a particular application.
  • FIG. 17 is a diagram illustrating the configuration of the action reproduction device 1 according to the second embodiment.
  • the action reproduction device 1 is composed of one computer or multiple computers connected by a communication line. As shown in FIG. 17, the action reproduction device 1 includes an actuation unit 10, an information acquisition unit 20, a specified item acquisition unit 30, and a control unit 40.
  • the operating unit 10 is, for example, a component that performs tasks such as a robot or a robot arm, or a component that is attached to a human's hand or foot to assist human movement.
  • a robot can cook in place of a top chef or play in place of an athlete.
  • the operating unit 10 When the operating unit 10 is attached to a human, it can assist the wearer in performing the movements so that the wearer can cook like a top chef or play like an athlete.
  • the actuator 10 It is desirable for the actuator 10 to be able to reproduce the same wide range of movements as a human finger or arm using a multi-axis actuator, high-performance motor, etc. It is also desirable for the actuator 10 to be able to achieve speed control and accuracy that is much higher than that of a human.
  • the information acquisition unit 20 acquires information from sensors mounted on all parts of the robot, such as the fingertips, eyes, and head of the motion model.
  • the motion model may be a human being, such as a top chef or an athlete, or a robot that realizes precisely controlled motions.
  • sensors include cameras, solid-state LiDAR, multi-color laser coaxial displacement meters, sound collectors, odor detectors, vibration meters, thermo cameras, hardness meters, radar, LiDAR, high-pixel, telephoto, ultra-wide-angle, 360-degree, high-performance cameras, vision recognition, fine sounds, ultrasound, vibration, infrared rays, ultraviolet rays, electromagnetic waves, temperature, humidity, spot AI weather forecasts, high-precision multi-channel GPS, low-altitude satellite information, and long-tail incident AI data.
  • Long-tail incident AI data is trip data for cars with level 5 implementation.
  • Examples of information acquired from the sensors include images, distance, vibration, heat, smell, color, sound, ultrasound, ultraviolet light, infrared light, etc.
  • Other examples include the taste, smell, shape, warmth, color, hardness, softness, etc. of food.
  • Other examples include shifting of the center of gravity of body weight, detection of the material of the ground, detection of outside air temperature, detection of outside air humidity, detection of the up, down, sideways, and diagonal tilt angle of a slope, and surrounding conditions (birds, animals, soccer balls, wrecked cars, earthquakes, housework, wind, typhoons, heavy rain, light rain, blizzards, fog, etc.).
  • the various sensors may detect this information every nanosecond, and the information acquisition unit 20 may acquire this information every nanosecond.
  • the information acquisition unit 20 may include a sensor 22 attached to a first joint of a finger 21 and a sensor 23 attached to a second joint, as shown in FIG. 18.
  • the finger 21 may be a robot finger.
  • the finger 21 may be made of, for example, silicone resin, or may be made of a flexible material that has properties such as heat resistance, water resistance, light resistance, chemical resistance, insulation, and good grip.
  • the sensors 22, 23 of the first joint and the second joint may include a camera, a solid-state LiDAR, and other sensors.
  • the robot may have ten fingers 21 like a human, and sensors may be attached to the joints of one or more fingers.
  • the information acquired by the information acquisition unit 20 may be converted into AI data and stored in the cloud.
  • the specified item acquisition unit 30 accepts the specification of conditions when the operation unit 10 reproduces an action or assists human movement.
  • the specified contents may be input directly via input means such as various operation buttons or a touch panel. For example, when reproducing a dish, it may be possible to specify taste preferences and the expected time of completion.
  • the operation unit 10 may also feed back information about the movements of the person wearing it to the specified item acquisition unit 30, and the specified item acquisition unit 30 may acquire the fed back information as a condition. For example, when assisting with cooking, it may be possible to set the cooking speed and difficulty as conditions according to the skill of the person wearing it.
  • the control unit 40 may be a general-purpose computer, and may be composed of a single computer, or may be composed of multiple computers distributed over the communication network N.
  • the control unit 40 is equipped with a CPU, memories such as ROM and RAM, an input interface, an output interface, a communication interface, and buses connecting these, and the CPU executes programs stored in the ROM, etc. to realize various functions.
  • the control unit 40 controls the operation unit 10 based on the information acquired by the information acquisition unit 20.
  • the control unit 40 may control the operation unit 10 using the information acquired by the information acquisition unit 20 and AI (artificial intelligence). More specifically, the control unit 40 may control the operation unit 10 in units of 1 billionth of a second using the information acquired by the information acquisition unit 20 and AI.
  • the information acquisition unit 20 and the control unit 40 may perform accurate image recognition, distance recognition, vibration recognition, heat recognition, odor recognition, color recognition, sound recognition, ultrasonic recognition, ultraviolet recognition, infrared recognition, etc. every nanosecond.
  • FIG. 19 is a diagram showing an example of a robot 100 (actuating unit 10) realized by the motion reproduction device 1.
  • the robot 100 is placed on a platform 103 equipped with a computer 101 (control unit 40) and a large-capacity battery 102.
  • the platform 103 is configured to be movable by wheels 104.
  • the robot 100 may be connected to the computer 101 and the large-capacity battery 102 at the toe portion 105. This allows the robot 100, including the heel portion, to move freely.
  • the robot 100 operates using the power of the large-capacity battery 102 under the control of the computer 101.
  • the robot 100 can perform advanced movements such as cooking and sports.
  • FIG. 20 is a flow chart illustrating an outline of the operation of the action reproduction device 1.
  • the information acquisition unit 20 acquires information on the model's operation via various sensors (step S101).
  • the information acquired from the various sensors may be converted into AI data and stored in the cloud or the like.
  • the designated item acquisition unit 30 acquires designated items for reproducing the model's operation (step S102). If there are no designated items, the process proceeds from step S101 to step S103.
  • step S103 the control unit 40 controls the operation unit 10 based on the information acquired from the various sensors and the designated items. If there are no designated items, the control unit 40 controls the operation unit 10 based on the information acquired from the various sensors.
  • the information acquisition unit 20 may acquire at least one of the heat, shape, color, texture, and smell of the dish as information.
  • the control unit 40 may control the operation unit 10 using the information acquired by the information acquisition unit 20 and AI to cause the operation unit 10 to reproduce the dish.
  • the control unit 40 may cause the operation unit 10 to assist the movement of the human cooking using the information acquired by the information acquisition unit 20 and AI.
  • the action reproduction device 1 by performing ultra-high-definition analysis and recognition of the best performance of a chef with the best skills once, it may be possible to reproduce the taste of the chef more accurately and repeatedly than the chef himself.
  • the information acquisition unit 20 acquires various information related to the cooking process, such as information on the hand movements and eye direction of a top chef when cooking (the chef's actions), information on the time required for each cooking step, the shape and size of the ingredients (how they are cut), the heat, the temperature, color, and smell of the food, through various sensors. Based on the acquired information, the control unit 40 controls the robot arm and auxiliary equipment worn by the human (operation unit 10) so as to reproduce the same dish made by the chef.
  • various information related to the cooking process such as information on the hand movements and eye direction of a top chef when cooking (the chef's actions), information on the time required for each cooking step, the shape and size of the ingredients (how they are cut), the heat, the temperature, color, and smell of the food, through various sensors.
  • the control unit 40 controls the robot arm and auxiliary equipment worn by the human (operation unit 10) so as to reproduce the same dish made by the chef.
  • the control unit 40 may also control the operation unit 10 according to the specified conditions (specified items) for reproduction acquired by the specified item acquisition unit 30, in addition to the information acquired by the information acquisition unit 20.
  • the AI may calculate the start time of each process and the cooking speed according to that time, and reflect this in the control of the operation unit 10.
  • the time for completing the dish may be automatically set according to the time of leaving the house, the time of guests arriving, etc., in cooperation with a schedule management app, etc.
  • the preferred strength of flavor may be specified on a five-level scale (light, slightly light, normal, slightly strong, strong), with normal flavors being reproduced as is, and if light or strong, the AI may adjust the seasoning.
  • the degree of doneness may also be similarly adjustable.
  • the AI may adjust the seasoning to suit that age. For example, adjustments can be made to make the spiciness less for children and less salty for the elderly.
  • the cook may also be possible to set the cook. If the cook is set to "chef,” the chef's flavors will be reproduced as is, but if set to, say, "grandmother,” the AI may change the ingredients and seasonings to create a more homely dish than the chef's cooking.
  • the control may be changed according to the cooking skill of the wearer.
  • the cooking level of the wearer professional chef, ordinary person familiar with cooking, person who does not usually cook, etc.
  • the control unit 40 may make adjustments such as reproducing the same steps as a chef for a person with high skill, and omitting or simplifying difficult steps for a person who is not familiar with the skill.
  • the movement of the wearer may be compared with the movement of a chef (teacher data) to provide advice for improvement. For example, if the way of holding a knife is different from that of a chef, the correct way to hold it may be presented by voice or image. In this way, the action reproduction device 1 according to this embodiment can also be used to learn cooking techniques.
  • the motion reproduction device 1 can also be applied to reproducing sports plays or to assisting the movements of a person playing the game with the operating unit 10.
  • the information acquisition unit 20 acquires various information related to sports play, such as information on the body movements and line of sight and the speed of movement of top athletes and coaches when they play, via various sensors.
  • the control unit 40 controls the assistive device (operation unit 10) worn by a robot or human based on the acquired information so as to reproduce the movements of the athletes or coaches.
  • a robot it can be used as an opponent, partner, or team player.
  • an assistive device it can be used to learn skills, etc.
  • the control unit 40 may control the operation unit 10 according to the conditions specified at the time of reproduction, acquired by the specified item acquisition unit 30, in addition to the information acquired by the information acquisition unit 20. For example, when the level (advanced, intermediate, beginner, etc.) of the opponent (robot) is set, the movement and speed may be adjusted according to the level specified by the AI.
  • the control may be changed according to the skill level of the wearer.
  • the level of the wearer (advanced, intermediate, beginner, etc.) may be specified in advance, or the movement of the wearer may be fed back to the specified item acquisition unit 30 via the operating unit 10, and the AI may determine the skill level.
  • the control unit 40 may adjust the speed and intensity of the movement according to the skill level of the wearer.
  • the movement of the wearer may be compared with the movement of the athlete or coach (teacher data), and advice on areas that need improvement may be given by image or sound.
  • various sensors are used to obtain information such as the movements of a top chef when cooking and the state of ingredients, and the AI robot reproduces the cooking movements of the chef based on the obtained information, so it can accurately reproduce the food made by a top chef.
  • various sensors are used to obtain information on the movements and gazes of athletes and coaches as they play, and the AI robot reproduces the movements of the player based on the obtained information, so it can accurately reproduce the plays of skilled players such as athletes and coaches.
  • the movement of the person wearing the operating unit 10 as an assistive device is fed back, and the reproduction of the movement by the operating unit 10 is adjusted according to the movement of the person wearing it, so that the movement of an expert can be reproduced within a reasonable range for the person being assisted.
  • the invention disclosed in the third embodiment has been made in consideration of the circumstances described above, and one of its objectives is to provide a movement learning support device etc. that enables efficient learning of model movements.
  • the motion learning support device is a motion learning support device that supports a user in learning a motion of a model, and is provided with an actuation unit that operates according to given information, a first information acquisition unit that acquires information about the model's motion from a first sensor, a second information acquisition unit that acquires information about the user's motion via a second sensor worn by the user, an extraction unit that compares the information about the model's motion with the information about the user's motion and extracts the difference between the two, and a control unit that generates complementary information for complementing the difference between the motions of the user and the model based on the difference between the two, and outputs the complementary information to the actuation unit.
  • the present invention makes it possible to efficiently learn model movements.
  • FIG. 21 is a diagram illustrating the configuration of a motion learning support device 1 according to the third embodiment.
  • the motion learning support device 1 is composed of one computer or multiple computers connected by a communication line.
  • the motion learning support device 1 includes an operation unit 10, an information acquisition unit 20, a specified item acquisition unit 30, an extraction unit 40, a judgment unit 50, a control unit 60, and an alarm unit 70.
  • the operation unit 10, the information acquisition unit 20, the information acquisition unit 20, the specified item acquisition unit 30, the extraction unit 40, the judgment unit 50, the control unit 60, and the alarm unit 70 are realized by software installed in the motion learning support device 1 working in cooperation with hardware resources such as a CPU.
  • the actuator 10 is a wearable robot that is attached to, for example, a human's hand or foot to assist human movement.
  • the actuator 10 operates according to information given to it, and can assist the user's movements so that the wearer (hereinafter, the user) can cook like a top chef or play like a top athlete.
  • the actuator 10 also obtains information about the wearer's own movements, detects differences from the correct movements, and provides feedback, thereby helping the user efficiently learn (i.e., master) the movements of a top chef or top athlete.
  • the actuator 10 It is desirable for the actuator 10 to be able to reproduce the same wide range of movements as a human finger or arm using a multi-axis actuator, high-performance motor, etc. It is also desirable for the actuator 10 to be able to achieve speed control and accuracy that is much higher than that of a human.
  • the information acquisition unit 20 has a first information acquisition unit 20a and a second information acquisition unit 20b.
  • the first information acquisition unit 20a acquires information sensed by sensors (first sensors) mounted on all parts of the robot, such as the fingertips, eyes, and head of the motion model.
  • the motion model (model) may be a human being, such as a top chef or an athlete, or a robot that realizes precisely controlled movements.
  • the second information acquisition unit 20b acquires information sensed by a sensor (second sensor) worn by the user.
  • a sensor second sensor
  • the information acquisition unit 20 may include a sensor 22 attached to the first joint of the finger 21 and a sensor 23 attached to the second joint, as shown in FIG. 18.
  • the finger 21 may be a robot finger.
  • the finger 21 may be made of, for example, silicone resin, or may be made of a flexible material that has properties such as heat resistance, water resistance, light resistance, chemical resistance, insulation, and good grip.
  • the sensors 22 and 23 of the first and second joints may include a camera, a solid-state LiDAR, and other sensors.
  • the robot may have ten fingers 21 like a human, and sensors may be attached to the joints of one or more fingers.
  • the attachment positions of the sensors 22 and 23 are not limited to the fingers, and can be applied to any part of the body (for example, the feet, shoulders, arms, waist, etc.).
  • the information acquired by the information acquisition unit 20 may be converted into AI data and stored in the cloud.
  • the specification acquisition unit 30 accepts specification of conditions for the operation unit 10 to reproduce movements or assist human movements.
  • the specification may be entered directly via input means such as various operation buttons or a touch panel. For example, when a user is learning the movements of a top chef, the type of food, recipe, taste preferences, expected completion time, cooking speed, difficulty level, etc. may be freely specified.
  • the extraction unit 40 compares the information about the model's movements acquired by the first information acquisition unit 20a with the information about the user's movements acquired by the second information acquisition unit 20b, and extracts the difference between the two.
  • the judgment unit 50 judges the user's movement acquisition level based on the difference between the two extracted by the extraction unit 40, and outputs the judgment result. For example, in the case of learning the movements of a top chef, the judgment unit 50 judges the acquisition level (e.g., level 1 to level 10) by comparing the difference between the two with a threshold value.
  • the threshold value may be arbitrarily set or changed by, for example, those involved in maintaining and operating the movement acquisition support device 1. In addition, those involved can set arbitrary threshold values for various parameters (e.g., the amount of deviation in the movement, the number of deviations, etc.).
  • the control unit 60 generates and outputs complementary information to complement the differences in movements between the user and the model based on the extracted differences between the two and the results of the determination of the user's movement mastery level.
  • the control unit 60 in the case of learning the movements of a top chef, the control unit 60 generates complementary information to support the use of the fingers and arms of the user wearing the operating unit 10 so as to approach the knife handling of a top chef, and outputs the complementary information to the operating unit 10 and the notification unit 70.
  • the control unit 60 may generate complementary information by changing the speed or difficulty of knife handling according to the result of the determination of the user's learning level. For example, when the user's learning level is low (level 1 to level 3), the control unit 60 may generate complementary information to slow down the speed of knife handling or omit difficult knife handling.
  • the operating unit 10 operates based on the complementary information provided by the control unit 60, allowing the user to efficiently learn the movements of a model (e.g., a top chef or an athlete).
  • control unit 60 may control the operation unit 10 using various information acquired by the information acquisition unit 20 and AI (artificial intelligence). More specifically, the control unit 60 may control the operation unit 10 in units of 1 billionth of a second using the information acquired by the information acquisition unit 20 and AI.
  • the information acquisition unit 20 and the control unit 60 may perform accurate image recognition, distance recognition, vibration recognition, heat recognition, odor recognition, color recognition, sound recognition, ultrasonic recognition, ultraviolet recognition, infrared recognition, and the like every nanosecond.
  • the notification unit 70 is composed of light-emitting elements such as LEDs, a display device, a speaker, etc., and notifies the user of the difference in movement when the extraction unit 40 extracts a difference between the two. Specifically, the notification unit 70 notifies the user of the difference in movement (including the occurrence of a difference, the magnitude of the difference, etc.) based on complementary information supplied from the control unit 60. For example, if the user's way of holding a knife, cutting ingredients, mixing, etc. is different from that of a top chef, not only will the operation unit 10 support the user's movement, but the notification unit 70 will be used to present the differences from the top chef (i.e., the difference in movement) to the user through audio, images, etc. This allows the user to more objectively grasp the difference (difference) between their own movement and the model's movement, making it possible to improve the efficiency of learning the model's movement.
  • the notification unit 70 is composed of light-emitting elements such as LEDs, a display device, a
  • FIG. 22 is a diagram showing an example of a robot 100 realized by the motion learning assistance device 1.
  • FIG. 22 shows an example in which the invention is applied to a humanoid cooking robot, rather than a human.
  • the robot 100 is configured with a computer 101, a large-capacity battery 102, wheels 103 for movement, etc.
  • the robot 100 can move freely.
  • the robot 100 operates using the power of the large-capacity battery 102 under the control of the computer 101. Under the control of the computer 101, the robot 100 can faithfully reproduce the motions of a top chef that serves as a model.
  • software for faithfully reproducing the motions of not only top chefs but also various models (e.g., top athletes) may be installed in the robot 100.
  • FIG. 23 is a flowchart illustrating an outline of the operation of the operation learning assistance device 1.
  • the first information acquisition unit 20a acquires information about the model's motion via a first sensor (step S101), while the second information acquisition unit 20b acquires information about the user's motion via a second sensor worn by the user (step S102). If a user or the like inputs a specification for reproducing the model's motion, the specification acquisition unit 30 acquires the specification. After that, the extraction unit 40 compares the information about the model's motion acquired by the first information acquisition unit 20a with the information about the user's motion acquired by the second information acquisition unit 20b, and extracts the difference between the two (step S103).
  • the judgment unit 50 judges the user's movement acquisition level based on the difference between the two extracted by the extraction unit 40, and outputs the judgment result (step S104).
  • the control unit 60 generates complementary information for complementing the movement difference between the user and the model based on the extracted difference between the two and the judgment result of the user's movement acquisition level (step S105), and outputs it to the operation unit 10 and the notification unit 70.
  • the operation unit 10 controls the movement of the user wearing the operation unit 10 based on the complementary information (step S106), while the notification unit 70 notifies the user that a movement difference has occurred by voice, image, etc. based on the complementary information (step S107). If the operation acquisition support device 1 does not detect an instruction to end the movement acquisition (step S108: NO), it repeats the above series of processes. After that, when the operation acquisition support device 1 detects an instruction to end the movement acquisition (step S108: YES), it ends the above-described process.
  • the information acquisition unit 20 may acquire at least one of the heat, shape, color, texture, and smell of the food as information.
  • the information acquisition unit 20 acquires various information related to the cooking process, such as information on the hand movements and gaze of the first-class chef and the user when cooking (the chef's motion), information on the time required for each cooking process, the shape and size of the ingredients (how to cut), the heat level, the temperature of the food, the color, and the smell, through various sensors.
  • the extraction unit 40 compares the information on the motions of the first-class chef acquired by the information acquisition unit 20 with the information on the user's motion, and extracts the difference between the two.
  • the control unit 60 controls the auxiliary device (operation unit 10) worn by the user based on the difference between the two extracted by the extraction unit 40 so that the same dish made by the chef can be reproduced.
  • the control unit 60 may also control the operating unit 10 according to the specified conditions (specified items) for reproduction acquired by the specified item acquisition unit 30, in addition to the information acquired by the information acquisition unit 20.
  • the AI may calculate the start time of each process and the cooking speed according to that time, and reflect this in the control of the operating unit 10.
  • the time for completing the dish may be automatically set according to the time of leaving the house, the time of guests arriving, etc., in cooperation with a schedule management app, etc.
  • the preferred strength of flavor may be specified on a five-level scale (light, slightly light, normal, slightly strong, strong), with normal flavors being reproduced as is, and if light or strong, the AI may adjust the seasoning.
  • the degree of doneness may also be similarly adjustable.
  • the AI may adjust the seasoning to suit that age. For example, adjustments can be made to make the spiciness less for children and less salty for the elderly.
  • the user may be allowed to select (set) a model cook. For example, if the user sets the cook to "chef,” the chef's flavors will be reproduced as is, and if the user sets the cook to "grandmother,” the AI may change the ingredients and seasonings to create a dish that is more homely than the chef's cooking.
  • the control may be changed according to the cooking skill of the user who wears it.
  • the cooking level of the user who wears it may be specified in advance, or the movement of the user who wears it may be fed back to the judgment unit 50 via the operating unit 10, and the judgment unit 50 may judge the skill.
  • the control unit 60 may reproduce the same procedure as a chef when the user's skill is high, while it may make adjustments such as omitting or simplifying difficult procedures when the user's skill is low (i.e., not accustomed).
  • the following criteria for example, can be used to determine which procedures are difficult and which procedures are simplified.
  • a strenuous movement e.g., slicing
  • the cooking-related movement speed, acceleration, etc.
  • a movement in a section where the difference between the model's movement and the user's movement is large e.g., shaking a pot
  • the control unit 60 may compare the movement of the user wearing the device with the movement of the chef (teacher data) and present the comparison result to the user in the form of an image, graph, or the like. For example, as shown in FIG.
  • an image P1 showing the movement of the user and an image P2 showing the movement of a first-class chef may be displayed side by side on the display device, or a graph G1 showing the difference between the movement of the user and the movement of the first-class chef (position, speed, acceleration, etc.) may be displayed on the display device.
  • a graph G1 showing the difference between the movement of the user and the movement of the first-class chef position, speed, acceleration, etc.
  • the section ⁇ shows the movement of chopping ingredients (onions, carrots, etc.)
  • the section ⁇ shows the movement of mixing ingredients (onions, minced meat, etc.) and shaping them.
  • mixing ingredients onions, minced meat, etc.
  • the user can objectively grasp how to improve the shaping movement by checking the graph G1 along with the images P1 and P2. In this way, the user can improve the efficiency of learning the movements of the first-class chef by checking the comparison results displayed on the display device.
  • the movement learning assistance device 1 is applied to learning the movements (plays) of top athletes
  • the information acquisition unit 20 acquires various information related to playing sports, such as information on the body movements and line of sight of top athletes (including coaches) when playing, and the speed of movement, via various sensors.
  • the extraction unit 40 compares the information on the play of the top athletes acquired by the information acquisition unit 20 with the information on the user's play, and extracts the difference between the two. Based on the difference between the two extracted by the extraction unit 40, the control unit 60 controls the assistive device (operation unit 10) worn by the user, etc., so that the play of the top athletes can be reproduced.
  • the control unit 60 may also control the operation unit 10 according to the conditions specified at the time of reproduction, acquired by the specified item acquisition unit 30, in addition to the information acquired by the information acquisition unit 20. For example, when the level (advanced, intermediate, beginner, etc.) of the opponent (robot) is set, the AI may adjust the movement and speed to match the specified level.
  • the control may be changed according to the skill (technique) of the user who wears it.
  • the level of the user who wears it may be specified in advance, or the movement of the user who wears it may be fed back to the judgment unit 50 via the operating unit 10, and the judgment unit 50 may judge the skill.
  • the control unit 60 may adjust the speed and intensity of the movement according to the skill of the user who wears it.
  • the movement of the user who wears it may be compared with the movement of an athlete (teacher data), and the comparison result may be presented to the user in the form of an image, graph, etc.
  • each sensor is used to extract the difference between the user's movement and the model's movement, and the actuator attached to the user is controlled based on the extracted difference between the two.
  • the user can grasp the difference (difference) between their own movement and the model's movement via the actuator, enabling them to efficiently learn the model's movement.
  • Control device 110 Actuation unit, 120 Information acquisition unit, 130 Control unit, 1200 Computer, 1210 Host controller, 1212 CPU, 1214 RAM, 1216 Graphic controller, 1218 Display device, 1220 Input/output controller, 1222 Communication interface, 1224 Storage device, 1230 ROM, 1240 Input/output chip

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Food Science & Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

物体を動かす作動部と、複数の情報を取得する情報取得部と、前記情報取得部が取得した情報とＡＩを用いて、前記作動部を制御する制御部とを備える制御装置を提供する。前記制御部は、前記情報とＡＩを用いて、１０億分の１秒単位で前記作動部を制御し、前記作動部が車両を運転してよい。前記作動部は人間に装着されるよう構成されてよく、前記制御部は、前記作動部に、車両を運転する前記人間の動きを補助させてよい。前記制御部は、前記情報とＡＩを用いて前記作動部を制御し、前記作動部に料理を再現させたり、手術を行わせたり、工場の作業を行わせたりしてよい。

Description

Ａｕｔｏｎｏｍｏｕｓ　Ｄｒｉｖｉｎｇ　１０　ｆｉｎｇｅｒ 関連出願の相互参照
　本出願は、２０２２年１０月１１日に出願された日本特許出願番号２０２２－１６３５９７号、２０２２年１１月８日に出願された日本特許出願番号２０２２－１７８９９２号及び２０２３年３月３０日に出願された日本特許出願番号２０２３－０５４７３７号に基づくもので、ここにその記載内容を援用する。
　本発明は、Ａｕｔｏｎｏｍｏｕｓ　Ｄｒｉｖｉｎｇ　１０　ｆｉｎｇｅｒ、超高性能情報取得部を実装する十指を有するスマートロボットに関する。
　特許文献１には、自動運転機能を有する車両について記載されている。
　［先行技術文献］
　［特許文献］
　［特許文献１］特開２０２２－０３５１９８号公報
　本発明の一実施態様によれば、制御装置が提供される。前記制御装置は、物体を動かす作動部を備えてよい。前記制御装置は、複数の情報を取得する情報取得部を備えてよい。前記制御装置は、前記情報取得部が取得した情報とＡＩを用いて、前記作動部を制御する制御部を備えてよい。
　前記制御部は、前記情報とＡＩを用いて、１０億分の１秒単位で前記作動部を制御し、前記作動部が車両を運転してよい。前記作動部は人間に装着されるよう構成されてよく、前記制御部は、前記作動部に、車両を運転する前記人間の動きを補助させてよい。
　前記いずれか制御装置において、前記情報取得部は、料理の熱、形状、色、肌触り、及び匂いのうちの少なくとも１つを情報として取得してよく、前記制御部は、前記情報とＡＩを用いて前記作動部を制御し、前記作動部に料理を再現させてよい。前記作動部は人間に装着されるよう構成されてよく、前記制御部は、前記作動部に、料理をする前記人間の動きを補助させてよい。
　前記いずれかの制御装置において、前記情報取得部は、医師の手術の動作を取得してよく、前記制御部は、前記情報とＡＩを用いて前記作動部を制御し、前記作動部に手術を行わせてよい。前記作動部は人間に装着されるよう構成されてよく、前記制御部は、前記作動部に、手術をする前記人間の動きを補助させてよい。
　前記いずれかの制御装置において、前記情報取得部は、工場の作業員の動作を取得してよく、前記制御部は、前記情報とＡＩを用いて前記作動部を制御し、前記作動部に工場の作業を行わせてよい。前記作動部は人間に装着されるよう構成されてよく、前記制御部は、前記作動部に、工場の作業をする前記人間の動きを補助させてよい。
　本発明の一実施態様によれば、コンピュータを、前記制御装置として機能させるためのプログラムが提供される。
　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
制御装置１００の機能構成の一例を概略的に示す。 本実施形態に係るネットワーク構成の一例を概略的に示す。 ロボットの指の第１関節及び第２関節に取り付けられたセンサの一例を概略的に示す。 制御装置１００によって制御されるＡＩロボットの一例を概略的に示す。 本実施形態に係る超高性能情報取得について概略的に示す。 本実施形態に係るＡＩロボットによって実現される超高性能自動運転について概略的に示す。 本実施形態に係る制御装置１００による制御によって実現されるＰｅｒｆｅｃｔ　Ｓｐｅｅｄ　Ｃｏｎｔｒｏｌについて概略的に示す。 Ｐｅｒｆｅｃｔ　Ｂｅｌｌ　Ｃｕｒｖｅｓについて概略的に示す。 パーフェクトクルージングの概要図である。 パーフェクトクルージングの概要図である。 パーフェクトクルージングの概要図である。 パーフェクトクルージングの概要図である。 パーフェクトクルージングの概要図である。 パーフェクトクルージングの概要図である。 パーフェクトクルージングの概要図である。 制御装置１００、又はＣｅｎｔｒａｌ　Ｂｒａｉｎ　ＳｏＣとして機能するコンピュータ１２００のハードウェア構の一例を概略的に示す。 第２実施形態に係る動作再現装置１の構成を例示する図である。 第２実施形態に係る動作再現装置１の情報取得部２０を例示する図である。 第２実施形態に係る動作再現装置１によって実現されるロボット１００を例示する図である。 第２実施形態に係る動作再現装置１の動作例のフローチャートである。 第３実施形態に係る動作習得支援装置の構成を例示する図である。 第３実施形態に係る動作習得支援装置によって実現されるロボットを例示する図である。 第３実施形態に係る動作習得支援装置の動作例を示すフローチャートである。 第３実施形態に係るユーザの動きとシェフの動きの比較結果をあらわす画面例である。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
（１）第１実施形態
　本実施形態において、ＡＩロボットが、超高性能情報取得部により取得した情報をもとに、超高性能自動運転を実現したり、一流シェフや、一流医師に変わる働きをする。ＡＩロボットは、ＡＩロボット自身が作動してもよいし、ＡＩロボットを人間に装着し、人間の動作の補助となってもよい。
　図１は、本実施形態に係る制御装置１００の一例を概略的に示す。制御装置１００は、ＡＩロボットの制御装置の一例である。制御装置１００は、作動部１１０、情報取得部１２０、及び制御部１３０を備える。
　作動部１１０は、物体を動かす部材であってよい。作動部１１０は、ロボットであってよい。作動部１１０は、ロボットアームであってよい。作動部１１０は、物体を動かすことができれば、任意の部材であってよい。作動部１１０は、人間に装着されて、人間の動きを補助する部材であってもよい。
　情報取得部１２０は、超高性能情報取得部の一例であってよい。情報取得部１２０は、ロボットの指先や目、頭等、ロボットのあらゆる部位に搭載されているセンサ類によって情報を取得してよい。情報取得部１２０は、ロボットの１０本の指の指先の先端に取り付けられたセンサから情報を取得してよい。情報取得部１２０は、ロボットの指部の第１関節に取り付けられたセンサから情報を取得してよい。情報取得部１２０は、ロボットの指部の第２関節に取り付けられたセンサから情報を取得してよい。情報取得部１２０は、ロボットの指部の第１関節及び第２関節に取り付けられたセンサから情報を取得してよい。
　センサの例として、カメラ、最高性能のカメラ、ソリッドステートＬｉＤＡＲ、及びマルチカラーレーザ同軸変位計等が挙げられるが、これらに限らず、その他様々なセンサを用いてよい。例えば、集音器、匂い探知機、振動計、サーモカメラ、硬度計、レーダー、ＬｉＤＡＲ、高画素・望遠・超広角・３６０度・高性能カメラ、ビジョン認識、微細音、超音波、振動、赤外線、紫外線、電磁波、温度、湿度、スポットＡＩ天気予報、高精度マルチチャネルＧＰＳ、低高度衛星情報、ロングテールインシデントＡＩ　ｄａｔａ等が挙げられる。ロングテールインシデントＡＩ　ｄａｔａとはレベル５の実装した自動車のＴｒｉｐデータであっても良い。
　複数種類のセンサから取得するセンサ情報の例として、画像、距離、振動、熱、匂い、色、音、超音波、紫外線、赤外線等が挙げられる。他の例として、料理の味、匂い、形状、温かさ、色、硬さ、柔らかさ等が挙げられる。他の例として、医師が執刀する手術の動き、使用する手術器具の種類、患者情報、薬情報等が挙げられる。他の例として、工場の工員の動き、使用する工具、職人のノウハウ、匠の技、組み立て順序、物品の作り方等が挙げられる。他の例として、体重の重心移動、道路の材質の検知、外気温度の検知、外気湿度の検知、坂道の上下横斜め傾き角度の検知、道路の凍り方、水分量の検知、それぞれのタイヤの材質、摩耗状況、空気圧の検知、道路幅、追い越し禁止有無、対向車、前後車両の車種情報、それらの車のクルージング状態、周囲の状況（鳥、動物、サッカーボール、事故車、地震、家事、風、台風、大雨、小雨、吹雪、霧、など）等が挙げられる。本実施形態では、各種センサこれらの検知をナノ秒毎に実施し、情報取得部１２０は、ナノ秒毎にこれらの情報を取得する。
　制御部１３０は、情報取得部１２０が取得した情報を用いて、作動部１１０を制御する。制御部１３０は、情報取得部１２０が複数のセンサから取得した複数のセンサ情報を用いて、作動部１１０を制御してよい。制御部１３０は、情報取得部１２０から目的に応じた情報を取得して、目的に応じて作動部１１０を制御してよい。制御部１３０は、情報取得部１２０から各種情報を取得して、取得した情報のうち、目的に応じた情報を用いて、作動部１１０を制御してもよい。
　制御部１３０は、情報取得部１２０が取得した情報とＡＩを用いて、作動部１１０を制御してよい。制御部１３０は、情報取得部１２０が取得した情報とＡＩを用いて、１０憶分の１秒単位で作動部１１０を制御してよい。
　情報取得部１２０及び制御部１３０は、ナノ秒毎に、正確な画像認識、距離認識、振動認識、熱認識、匂い認識、色認識、音認識、超音波認識、紫外線認識、赤外線認識等を実行してよい。
　例えば、制御部１３０は、情報取得部１２０が取得した情報とＡＩを用いて作動部１１０を制御し、作動部１１０が車両を運転する。例えば、作動部１１０が人間に装着され、制御部１３０は、情報取得部１２０が取得した情報とＡＩを用いて、作動部１１０に、車両を運転する人間の動きを補助させる。
　情報取得部１２０は、上述したように、少なくとも料理の熱、形状、色、肌触り、及び匂いのうちの少なくとも１つを情報として取得してよい。制御部１３０は、情報取得部１２０が取得した情報とＡＩを用いて作動部１１０を制御し、作動部１１０に料理を再現させてよい。また、作動部１１０が人間に装着され、制御部１３０は、情報取得部１２０が取得した情報とＡＩを用いて、作動部１１０に、料理をする人間の動きを補助させてよい。制御装置１００において、一度、最高の腕を有するシェフの最高のパフォーマンスを超高精細分析・認識することによって、当該シェフ本人以上に本人の味を正確に何度でも再現することが可能となり得る。
　情報取得部１２０は、上述したように、医師の手術の動作を情報として取得してよい。制御部１３０は、情報取得部１２０が取得した情報とＡＩを用いて作動部１１０を制御し、作動部１１０に手術を行わせてよい。また、作動部１１０が人間に装着され、制御部１３０は、情報取得部１２０が取得した情報とＡＩを用いて、作動部１１０に、手術をする人間の動きを補助させてよい。
　情報取得部１２０は、上述したように、向上の作業員の動作を情報として取得してよい。制御部１３０は、情報取得部１２０が取得した情報とＡＩを用いて作動部１１０を制御し、作動部１１０に工場の作業を行わせてよい。また、作動部１１０が人間に装着され、制御部１３０は、情報取得部１２０が取得した情報とＡＩを用いて、作動部１１０に、工場の作業をする人間の動きを補助させてよい。
　本実施形態に係る制御装置１００によって実現されるＡＩロボットは、どの人類よりも１００００倍スマートであり得る。作動部１１０は、多軸アクチュエータ、高性能モーターなどで、人間の指や腕と同じ多彩な動きを再現可能であってよい。作動部１１０は、人間より超高性能なスピードコントロールと正確性を実現してよい。制御装置１００は、超高性能のＡＩ　ｃｏｍｐｕｔｅ能力で、多軸の各モータスピン数のパーフェクトなコントロール、パーフェクトなコースナビゲーション、パーフェクトなステアリングの数値を計算し、１０本指と腕がａｕｔｏｎｏｍｏｕｓ　ｄｒｉｖｉｎｇを実現する。ＡＩロボットの素材は、シリコン樹脂等で、耐熱、耐水、耐光、耐薬品、絶縁等の柔軟素材でグリップがよい素材であってよい。ＡＩロボットは、オペレーションの対象物の形状、距離等のデータを正確に取得し、ＡＩで学習してよい。
　本実施形態に係る制御装置１００によって実現されるＡＩロボットによれば、人類史上初の超高性能で人間の叡智と能力を１００００倍超えて、人間がコントロールするのではなく、ＡＩが自ら動かすスマートな指と腕とが実現される。
　図２は、本実施形態に係るネットワーク構成の一例を概略的に示す。Ｃｅｎｔｒａｌ　Ｂｒａｉｎは、制御装置１００の一例であってよい。
　図３は、ロボットの指の第１関節及び第２関節に取り付けられたセンサの一例を概略的に示す。ロボットの指は、シリコン樹脂等で耐熱、耐水、耐光、耐薬品、絶縁等の柔軟素材でグリップもよい素材によって構成されてよい。第１関節及び第２関節のセンサは、カメラ、ソリッドステートＬｉＤＡＲ、及び他のセンサ群であってよい。また、ロボットの指は、人間のように１０本あってもよく、１本以上の指の関節にセンサーが取り付けられてもよい。
　図４は、制御装置１００によって制御されるＡＩロボットの一例を概略的に示す。本例において、ＡＩロボットは、制御装置１００の一例である超高性能Ｃｅｎｔｒａｌ　Ｂｒａｉｎ　Ｂｏｘと大容量電池とを搭載したバッテリースマートカー上に配置される。ＡＩロボットと、Ｃｅｎｔｒａｌ　Ｂｒａｉｎ　Ｂｏｘ及び大容量電池とは、ＡＩロボットのつま先で接続されていてよく、これにより、ＡＩロボットはかかとも自由に動くことができる。ＡＩロボットは、超高性能Ｃｅｎｔｒａｌ　Ｂｒａｉｎ　Ｂｏｘによる制御を受け、大容量電池の電力を利用して動作する。ＡＩロボットは、超高精細手術、超高度料理、及び超高性能工場生産等を実現し得る。
　図５は、本実施形態に係る超高性能情報取得について概略的に示す。本実施形態においては、複数種類のセンサ情報をＡＩデータ化してクラウドに蓄積してよい。制御装置１００は、クラウドのデータを利用してよい。
　図６、本実施形態に係るＡＩロボットによって実現される超高性能自動運転について概略的に示す。本実施形態に係るＡＩロボットは、車両に搭載されるＣｅｎｔｒａｌ　Ｂｒａｉｎ　ＳｏＣに、ネットワークを介して接続されてよく、また、直接接続されてもよい。
　本実施形態における制御装置１００は、取得した情報から、道路全体＋ＡＩによる最小スポット毎の最も正解率の高い天気予報とのマッチングを実行してよい。また、制御装置１００は、取得した情報から、他の車の位置情報とのマッチングを実行してよい。また、制御装置１００は、取得した情報から、ベスト推定車種とのマッチング（その道程での残量、スピードのナノ秒毎のマッチング）を実行してよい。また、制御装置１００は、取得した情報から、乗客が聞いている音楽等のムードとのマッチングを実行してよい。また、制御装置１００は、取得した情報から、要望の気分を変更した瞬時の条件組み直しを実行してよい。
　Ｃｅｎｔｒａｌ　Ｂｒａｉｎ　ＳｏＣは、例えば、車両充電時にＡＩデータをクラウドにアップロードしてよい。Ｄａｔａ　Ｌａｋｅを形成し、ＡＩが分析して常に最新状態にアップロードする。
　制御装置１００は、車両の通行を最適化する方法として、ソフト面とハード面の両方を用いてよい。ソフト面では、制御装置１００は、クラウド蓄積情報と、自動車のセンサ情報の全てをAIでベストミックスさせ、ナノセカンド毎にAIが判断し、乗客の要望にあった自動運転を実現する。ハード面では、車両が、１／１　ｂｉｌｌｉｏｎ　ｓｅｃｏｎｄ（ナノセカンド）毎にモーターの回転出力をマイクロコントロールする。車両は、ナノセカンドで通信しコントロールする事の可能な電気とモータを備える。制御装置１００によれば、ＡＩが危機を予知するため、ブレーキ不要でコップの水をこぼすこともなくパーフェクトストップが可能になる。また、消費電力も低く、ブレーキ摩擦も生じない。
　図７は、本実施形態に係る制御装置１００による制御によって実現されるＰｅｒｆｅｃｔ　Ｓｐｅｅｄ　Ｃｏｎｔｒｏｌについて概略的に示す。図７に示す原理は、車両の制動距離を算出する指標となるが、この基本的な方程式で制御する。本実施形態に係るシステムにおいては、超高性能入力データがあるので、きれいなベルカーブで計算することができる。
　図８は、本実施形態に係る制御装置１００による制御によって実現されるＰｅｒｆｅｃｔ　Ｂｅｌｌ　Ｃｕｒｖｅｓについて概略的に示す。
　超高性能自動運転を実現するときの演算速度として、１Ｍｉｌｌｉｏｎ　ＴＯＰＳで実現できる。
　上述したように、本実施形態において、制御装置１００は、Ｐｅｒｆｅｃｔ　Ｃｒｕｉｓｅ　Ｃｏｎｔｒｏｌを実現してよい。制御装置１００のｂｒａｉｎは、車両に乗車している乗員の希望に応じた制御を実行してよい。乗員の希望の例として、「ｓｈｏｒｔｅｓｔ時間」、「ｌｏｎｇｅｓｔ　バッテリー持ち残量」、「車酔いを最も避けたい」、「最もＧを感じたい（安全に）」、「上記等のミックスで最も景観を感じたい」、「前回とは異なった景観を感じたい」、「たとえば、何年前に誰かと来た道の思い出をたどりたい」、「最も事故の確率を避けたい」、等があり、その他さまざまな条件を乗客にｂｒａｉｎが相談して、ｂｒａｉｎが、乗客の人数、重さ、位置、体重の重心移動（ナノ秒毎の計算）、ナノ秒毎の道路の材質の検知、ナノ秒毎の外気の湿度の検知、ナノ秒毎の外気の湿度の検知、ナノ秒毎のトータルの上記の条件選択による車両とのパーフェクトミックスを実行する。
　ｂｒａｉｎは、「道路の坂道の上、下、横、斜め傾き角度」、「道程全体＋ＡＩによる最小スポット毎の最も正解率の高い天気予報とのマッチング」、「ナノ秒毎の他の車の位置情報とのマッチング」、「それらのベスト推定車種とのマッチング（その道程での残量、スピードのナノ秒毎のマッチング」、「乗客が聞いている音楽等のムードとのマッチング」、「要望の気分を変更した瞬時の条件組み直し」、「そのナノ秒毎の道路の凍り方、水分量、４本、２本、８本、１６本等のそれぞれのタイヤの材質の摩耗、空気圧、と道路の残りの最適ミックスの推定」、「その時々の道路の車線幅、角度、追い越し禁止車線かどうか？」、「対向車線、前後車線の車種とその車のクルージング状態（ナノ秒毎の）」、［その他全ての条件のベストミックス］といったものを、考慮、実行してよい。
　それぞれの車線の巾の中で真ん中ではなく取るべき場所は、全て異る。その時のスピードや角度や道路情報によって異る。たとえば、飛んで来る鳥や、動物や、対向車や、飛び込んで来るサッカーボールや子供や事故車や地震、火事、風、台風、大雨、小雨、吹雪、霧、その他のナノ秒毎の影響のベストな確率の推論のマッチングを実行する。
　それらをその時点のｂｒａｉｎのバージョンの能力と、その時点までに蓄積されたｂｒａｉｎ　ｃｌｏｕｄの最新ｕｐｄａｔｅされたパーフェクトマッチングを実行する。
　これを超高性能自動運転のパーフェクトクルージングと定義してよい。その為に超高性能自動運転には、１ｍｉｌｌｉｏｎ　ＴＯＰＳがその時点のベストなバッテリーのパワーマネジメントと温度のＡＩ　ｓｙｎｃｈｒｏｎｉｚｅｄバースト　チリング機能が必要となる。
　図９、図１０、図１１、図１２、図１３、図１４、図１５は、パーフェクトクルージングの概要図である。
　図１６は、制御装置１００、又はＣｅｎｔｒａｌ　Ｂｒａｉｎ　ＳｏＣとして機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。
　本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。
　ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。
　通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。
　ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。
　プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
　例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
　また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ（ＤＶＤ－ＲＯＭ）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。
　様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
　上で説明したプログラム又はソフトウエアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。
　本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
　コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。
　コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
　コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
（２）第２実施形態
　特開２０２２－０６１７６１号公報には、人間が行う複雑な動作をロボットに再現させる技術が開示されている。第２実施形態に開示の発明は、匠の技を用途に合わせて再現する技術を提供することを目的の一つとする。
　第２実施形態に係る動作再現装置は、モデルの動作を再現する作動部と、センサから、前記モデルの動作に関する情報を取得する情報取得部と、前記モデルの動作を再現する際の指定事項を取得する指定事項取得部と、前記センサから取得した情報と、前記指定事項に基づいて、前記作動部に前記動作を再現させる制御部と、を備えたものである。
　第２実施形態に係る動作再現方法は、コンピュータが、センサから、モデルの動作に関する情報を取得する情報取得部と、コンピュータが、前記モデルの動作を再現する際の指定事項を取得する指定事項取得部と、コンピュータが、前記センサから取得した情報と、前記指定事項に基づいて、モデルの動作を再現する作動部に前記動作を再現させる工程と、を備えたものである。
　本発明によれば、匠の技を用途に合わせて再現する技術を提供することができる。
　図１７は、第２実施形態による動作再現装置１の構成を例示する図である。動作再現装置１は、１台または通信回線で接続された複数のコンピュータによって構成される。図１７に示すように、動作再現装置１は、作動部１０、情報取得部２０、指定事項取得部３０、制御部４０を含んでいる。
　作動部１０は、例えば、ロボットやロボットアームなどの作業を行う部材や、人間の手や足などに装着されて人間の動きを補助する部材である。ロボットは、一流シェフに代わって料理を作ったり、スポーツ選手に代わってプレイしたりすることができる。作動部１０が人間に装着された場合には、装着された人が一流シェフのような料理を作ったり、スポーツ選手のようにプレイしたりできるように動作を補助することができる。
　作動部１０は、多軸アクチュエータ、高性能モーターなどで、人間の指や腕と同じ多彩な動きを再現可能であることが望ましい。また、作動部１０は、人間より超高性能なスピードコントロールと正確性を実現できることが望ましい。
　情報取得部２０は、動作モデルの指先や目、頭等、ロボットのあらゆる部位に搭載されているセンサによって情報を取得する。動作モデルは、一流シェフやスポーツ選手などの人間であってもよいし、正確に制御された動作を実現するロボットであってもよい。センサの例としては、カメラ、ソリッドステートＬｉＤＡＲ、マルチカラーレーザ同軸変位計、集音器、匂い探知機、振動計、サーモカメラ、硬度計、レーダー、ＬｉＤＡＲ、高画素・望遠・超広角・３６０度・高性能カメラ、ビジョン認識、微細音、超音波、振動、赤外線、紫外線、電磁波、温度、湿度、スポットＡＩ天気予報、高精度マルチチャネルＧＰＳ、低高度衛星情報、ロングテールインシデントＡＩ ｄａｔａ等が挙げられる。ロングテールインシデントＡＩ ｄａｔａとはレベル５の実装した自動車のＴｒｉｐデータである。
　センサから取得する情報の例としては、画像、距離、振動、熱、匂い、色、音、超音波、紫外線、赤外線等が挙げられる。他の例として、料理の味、匂い、形状、温かさ、色、硬さ、柔らかさ等が挙げられる。他の例として、体重の重心移動、地面の材質の検知、外気温度の検知、外気湿度の検知、坂道の上下横斜め傾き角度の検知、周囲の状況（鳥、動物、サッカーボール、事故車、地震、家事、風、台風、大雨、小雨、吹雪、霧、など）等が挙げられる。本実施形態では、各種センサは、これらの情報の検知をナノ秒毎に実施し、情報取得部２０は、ナノ秒毎にこれらの情報を取得するようにしてもよい。
　情報取得部２０は、図１８に示すような、指２１の第１関節に取り付けられたセンサ２２と、第２関節に取り付けられたセンサ２３を備えていてもよい。指２１はロボットの指でもよく、この場合、指２１は例えばシリコン樹脂で形成されており、他にも、耐熱、耐水、耐光、耐薬品、絶縁等の性質を有し、グリップもよい柔軟素材で形成されていてもよい。第１関節及び第２関節のセンサ２２，２３は、カメラ、ソリッドステートＬｉＤＡＲ、及び他のセンサ群を含んでいてもよい。また、ロボットの指２１は、人間のように１０本あってもよく、１本以上の指の関節にセンサが取り付けられていてもよい。なお、情報取得部２０によって取得される情報は、ＡＩデータ化してクラウドに蓄積してもよい。
　指定事項取得部３０は、作動部１０が動作の再現や人間の動きを補助する際の条件の指定を受け付ける。指定する内容は、各種操作ボタンやタッチパネルなどの入力手段を介して直接入力してもよい。例えば、料理を再現する場合には、味の好みや完成予定時刻等を指定できるようにしてもよい。また、作動部１０が、装着された人間の動きに関する情報を指定事項取得部３０にフィードバックし、指定事項取得部３０は、フィードバックされた情報を条件として取得するようにしてもよい。例えば、料理の補助をする場合には、装着される人間の技量に合わせて調理のスピードや難易度を条件として設定できるようにしてもよい。
　制御部４０は、汎用的なコンピュータであってよく、１台のコンピュータで構成されていてもよいし、通信ネットワークＮ上に分散する複数のコンピュータから構成されてもよい。制御部４０は、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、入力インタフェース、出力インタフェース、通信インタフェース及びこれらを結ぶバス等を備えており、ＣＰＵがＲＯＭ等に格納されたプログラムを実行することにより各種機能を実現する。
　制御部４０は、情報取得部２０が取得した情報に基づいて作動部１０を制御する。例えば、制御部４０は、情報取得部２０が取得した情報とＡＩ（人工知能）を利用して、作動部１０を制御するようにしてもよい。より具体的には、制御部４０は、情報取得部２０が取得した情報とＡＩを用いて、１０憶分の１秒単位で作動部１０を制御してもよい。情報取得部２０及び制御部４０は、ナノ秒毎に、正確な画像認識、距離認識、振動認識、熱認識、匂い認識、色認識、音認識、超音波認識、紫外線認識、赤外線認識等を実行してもよい。
　図１９は、動作再現装置１によって実現されるロボット１００（作動部１０）の例を示す図である。図１９に示すように、ロボット１００は、コンピュータ１０１（制御部４０）と、大容量電池１０２を搭載した台１０３上に配置される。台１０３は車輪１０４によって移動可能に構成されている。ロボット１００は、つま先部分１０５で、コンピュータ１０１および大容量電池１０２と接続されていてもよい。これにより、ロボット１００は、かかと部分も含めて自由に動くことができる。ロボット１００は、コンピュータ１０１による制御により、大容量電池１０２の電力を利用して動作する。ロボット１００は、高度な調理やスポーツ等の動作を実現することができる。
　図２０は、動作再現装置１の動作の概要を例示するフローチャートである。
  まず、情報取得部２０において、各種センサを介してモデルの動作に関する情報を取得する（ステップＳ１０１）。なお、各種センサから取得する情報はＡＩデータ化してクラウド等に保存してもよい。次に、指定事項取得部３０において、モデルの動作を再現する際の指定事項を取得する（ステップＳ１０２）。なお、指定事項が無い場合にはステップＳ１０１からステップＳ１０３へ移行する。ステップＳ１０３において、制御部４０は、各種センサから取得した情報と、指定事項に基づいて作動部１０を制御する。なお、指定事項が無い場合には、各種センサから取得した情報に基づいて作動部１０を制御する。
（料理への応用）
　本実施形態による動作再現装置１を、料理の再現に応用する例について具体的に説明する。上述のように、情報取得部２０は、少なくとも料理の熱、形状、色、肌触り、及び匂いのうちの少なくとも１つを情報として取得してよい。また、制御部４０は、情報取得部２０が取得した情報とＡＩを用いて作動部１０を制御し、作動部１０に料理を再現させてよい。また、作動部１０が人間に装着される場合、制御部４０は、情報取得部２０が取得した情報とＡＩを用いて、作動部１０に、料理をする人間の動きを補助させてよい。動作再現装置１において、一度、最高の腕を有するシェフの最高のパフォーマンスを超高精細分析・認識することによって、当該シェフ本人以上に本人の味を正確に何度でも再現することが可能となり得る。
　料理の再現に応用する場合、情報取得部２０は、各種のセンサを介して、一流シェフが調理をする際の手の動きや目線に関する情報（料理人の動作）、調理の各工程にかかる時間に関する情報、食材の形状や大きさ（切り方）、火加減、料理の温度、色、匂いなど調理の工程に関わる様々な情報を取得する。制御部４０は、取得した情報を元に、シェフが作る料理と同じものを再現できるように、ロボットアームや人間に装着する補助器具（作動部１０）を制御する。
　また、制御部４０は、情報取得部２０が取得した情報と併せて、指定事項取得部３０が取得した、再現の際の指定条件（指定事項）に応じて作動部１０を制御するようにしてもよい。例えば、料理を完成させたい時間を指定すると、その時間に合わせてＡＩが各工程の開始時間や調理のスピードを逆算し、作動部１０の制御に反映するようにしてもよい。なお、開始時間を直接指定するだけでなく、スケジュール管理アプリなどと連携して、外出時刻や来客時刻などに合わせて料理を完成させる時間を自動設定するようにしてもよい。
　また、味の好みを指定すると、シェフの料理の味を好みに合わせて微調整できるようにしてもよい。例えば、味の濃さの好みを５段階（薄め、少し薄め、普通、少し濃いめ、濃いめ）で指定できるようにして、普通であればそのまま再現し、薄めまたは濃いめであれば、味付けの加減をＡＩが調節するようにしてもよい。また、焼き加減についても同様に調節できるようにしてもよい。また、食べる人の年齢を指定すると、ＡＩが年齢に合わせた味付けに調節するようにしてもよい。例えば、子供の場合は辛さを弱めにする、高齢の場合は塩分を控えめにする、などの調節を行うことができる。
　また、調理者の設定を行えるようにしてもよい。調理者を「シェフ」に設定すれば、そのままシェフの味が再現され、例えば「祖母」に設定すれば、ＡＩが材料や調味料を変更し、シェフの料理よりも家庭的にアレンジされた料理が作られるようにしてもよい。
　また、作動部１０が補助器具である場合、装着する人の調理の技量に合わせて制御を変えるようにしてもよい。例えば、装着する人の調理のレベル（プロの調理師、料理に慣れている一般の人、普段料理をしない人等）をあらかじめ指定するようにしてもよいし、作動部１０を介して装着した人の動きを指定事項取得部３０にフィードバックし、ＡＩが技量を判断するようにしてもよい。制御部４０は、技量が高い人の場合にはシェフと同様の手順を再現し、慣れていない人の場合には難しい手順を省いたり、簡略化したりするなどの調節を行うようにしてもよい。また、装着した人の動きとシェフの動き（教師データ）を比較して、改善するためのアドバイスを提供するようにしてもよい。例えば、包丁の持ち方がシェフと異なる場合には、正しい持ち方を音声や画像で提示するようにしてもよい。このように、本実施形態に係る動作再現装置１は、調理技術の習得にも活用することができる。
（スポーツへの応用）
　本実施形態による動作再現装置１を、スポーツのプレイを再現したり、プレイをする人間の動きを作動部１０によって補助したりすることに応用することもできる。
　スポーツに応用する場合、情報取得部２０は、各種のセンサを介して、一流選手やコーチがプレイをする際の体の動きや目線に関する情報、動くスピードなど、スポーツのプレイに関わる様々な情報を取得する。制御部４０は、取得した情報を元に、選手やコーチの動きを再現するように、ロボットや人間に装着する補助器具（作動部１０）を制御する。ロボットの場合は、対戦相手、パートナー、１チームプレイヤーなどとして活用することができる。また、補助器具として用いる場合には、技術の習得などに活用することができる。
　制御部４０は、情報取得部２０が取得した情報と併せて、指定事項取得部３０が取得した、再現の際に指定された条件に応じて作動部１０を制御するようにしてもよい。例えば、対戦相手（ロボット）のレベル（上級者、中級者、初心者等）を設定すると、ＡＩが指定したレベルに合わせて動きやスピードを調整するようにしてもよい。
　また、作動部１０が補助器具である場合、装着する人の技量に合わせて制御を変えるようにしてもよい。例えば、装着する人のレベル（上級者、中級者、初心者等）をあらかじめ指定するようにしてもよいし、作動部１０を介して装着した人の動きを指定事項取得部３０にフィードバックし、ＡＩが技量を判断するようにしてもよい。制御部４０は、装着する人の技量に合わせて動きのスピードや強度を調節するようにしてもよい。また、装着した人の動きと選手やコーチの動き（教師データ）を比較して、改善すべき点を画像や音声でアドバイスするようにしてもよい。
　以上のように、本実施形態によれば、各種のセンサを利用して一流の料理人が料理をする際の動きや食材の状態などの情報を取得し、取得した情報を元に、ＡＩロボットが料理人の調理の動作を再現するようにしたので、一流シェフの作る料理を精度よく再現することができる。
　さらに、調理の再現の際に、味の好みや料理の完成時間に関する条件を指定し、それらの指定に合わせてＡＩが調理の動作を調整するようにしたので、一流シェフの作る料理を好みや要望に合わせて再現することができる。
　また、各種のセンサを利用してスポーツ選手やコーチがプレイする際の動きや目線の情報を取得し、取得した情報を元に、ＡＩロボットがプレイの動作を再現するようにしたので、スポーツ選手やコーチのような熟練者のプレイを精度よく再現することができる。
　さらに、プレイの再現の際に、プレイのレベルに関する条件を指定し、条件に合わせてＡＩが動きを調整するようにしたので、対戦相手や参加者のレベルに合わせてプレイを再現することができる。
　また、補助器具としての作動部１０を装着した人の動きをフィードバックし、装着した人の動きに合わせて作動部１０による動作の再現を調節するようにしたので、補助される人に無理のない範囲で熟練者などの動作を再現することができる。
（３）第３実施形態
　人間がある動作（例えば、料理やスポーツの動作など）を習得する際に、自身の動作とモデルとなる動作の違いを明確に把握することができれば、理想的な動作を効率的に習得することができると考えられるが、このような技術は未だ提供されていない。
　第３実施形態に開示の発明は、以上説明した事情を鑑みてなされたものであり、モデルとなる動作を効率的に習得することが可能な動作習得支援装置等を提供することを目的の一つとする。
　第３実施形態の一態様に係る動作習得支援装置は、ユーザによるモデルの動作の習得を支援する動作習得支援装置であって、与えられる情報に従って作動する作動部と、第１のセンサから、モデルの動作に関する情報を取得する第１情報取得部と、ユーザに装着された第２のセンサを介して、ユーザの動作に関する情報を取得する第２情報取得部と、モデルの動作に関する情報とユーザの動作に関する情報とを比較して、両者の差分を抽出する抽出部と、両者の差分に基づいて、ユーザとモデルとの間で動作の差分を補完するための補完情報を生成し、補完情報を作動部に出力する制御部とを具備することを要旨とする。
　本発明によれば、モデルとなる動作を効率的に習得することが可能となる。
　図２１は、第３実施形態による動作習得支援装置１の構成を例示する図である。動作習得支援装置１は、１台または通信回線で接続された複数のコンピュータによって構成される。図１に示すように、動作習得支援装置１は、作動部１０、情報取得部２０、指定事項取得部３０、抽出部４０、判定部５０、制御部６０、報知部７０を含んでいる。なお、作動部１０、情報取得部２０、情報取得部２０、指定事項取得部３０、抽出部４０、判定部５０、制御部６０、報知部７０は、動作習得支援装置１に搭載されているソフトウェアが、ＣＰＵなどのハードウェア資源と協働することによって実現される。
　作動部１０は、例えば、人間の手や足などに装着されて人間の動きを補助する装着型のロボットである。作動部１０は、与えられる情報に従って作動することで、装着された人（以下、ユーザ）が一流シェフのような料理を作ったり、一流スポーツ選手のようにプレイしたりできるようにユーザの動作を補助することができる。また、作動部１０は、制御部６０による制御のもと、装着されたユーザ自身の動作に関する情報を取得し、正しい動作との違いを検出してフィードバックすることで、ユーザが一流シェフや一流スポーツ選手などの動作を効率的に学習（すなわち、習得）することを支援する。
　作動部１０は、多軸アクチュエータ、高性能モーターなどで、人間の指や腕と同じ多彩な動きを再現可能であることが望ましい。また、作動部１０は、人間より超高性能なスピードコントロールと正確性を実現できることが望ましい。
　情報取得部２０は、第１情報取得部２０ａと第２情報取得部２０ｂとを有する。第１情報取得部２０ａは、動作モデルの指先や目、頭等、ロボットのあらゆる部位に搭載されているセンサ（第１のセンサ）によってセンシングされた情報を取得する。動作モデル（モデル）は、一流シェフやスポーツ選手などの人間であってもよいし、正確に制御された動作を実現するロボットであってもよい。第２情報取得部２０ｂは、ユーザに装着されたセンサ（第２のセンサ）によってセンシングされた情報を取得する。以下の説明において、第１情報取得部２０ａ及び第２情報取得部２０ｂを特に区別する必要がない場合には、単に情報取得部２０と呼ぶ。
　各センサの例や、各センサから取得する情報の例は、すでに第２実施形態において説明したため、ここでは省略する。
　情報取得部２０は、前掲図１８に示すような、指２１の第１関節に取り付けられたセンサ２２と、第２関節に取り付けられたセンサ２３を備えていてもよい。指２１はロボットの指でもよく、この場合、指２１は例えばシリコン樹脂で形成されており、他にも、耐熱、耐水、耐光、耐薬品、絶縁等の性質を有し、グリップもよい柔軟素材で形成されていてもよい。第１関節及び第２関節のセンサ２２，２３は、カメラ、ソリッドステートＬｉＤＡＲ、及び他のセンサ群を含んでいてもよい。また、ロボットの指２１は、人間のように１０本あってもよく、１本以上の指の関節にセンサが取り付けられていてもよい。もちろん、センサ２２，２３の取り付け位置は、指に限る趣旨ではなく、あらゆる部位（例えば、足や肩、腕、腰など）に適用可能である。なお、情報取得部２０によって取得される情報は、ＡＩデータ化してクラウドに蓄積してもよい。
　指定事項取得部３０は、作動部１０が動作の再現や人間の動きを補助する際の条件の指定を受け付ける。指定する内容は、各種操作ボタンやタッチパネルなどの入力手段を介して直接入力してもよい。例えば、ユーザが一流シェフの動作を習得する場合には、料理の種類やレシピ、味の好みや完成予定時刻、料理のスピードや難易度等を任意に指定できるようにしてもよい。
　抽出部４０は、第１情報取得部２０ａによって取得されたモデルの動作に関する情報と、第２情報取得部２０ｂによって取得されたユーザの動作に関する情報とを比較して、両者の差分を抽出する。
　判定部５０は、抽出部４０によって抽出された両者の差分に基づき、ユーザの動作の習得レベルを判定し、判定結果を出力する。例えば、一流シェフの動作を習得する場合であれば、判定部５０は、両者の差分と閾値とを比較することで、習得レベル（例えば、レベル１～レベル１０など）を判定する。閾値は、例えば動作習得支援装置１を保守・運営する関係者が任意に設定変更してもよい。また、関係者は、様々なパラメータ（例えば、動作のズレ量やズレ回数など）について任意の閾値を設定することができる。
　制御部６０は、抽出された両者の差分及びユーザの動作の習得レベルの判定結果に基づいて、ユーザとモデルとの間の動作の差分を補完するための補完情報を生成し、出力する。
　例えば、一流シェフの動作を習得する場合であれば、制御部６０は、一流シェフの包丁さばきに近づくように、作動部１０が装着されたユーザの指や腕の使い方などをサポートする補完情報を生成し、作動部１０及び報知部７０に出力する。この際、制御部６０は、ユーザの習得レベルの判定結果に応じて、包丁さばきのスピードや難易度を変えて、補完情報を生成してもよい。例えば、ユーザの習得レベルが低い場合（レベル１～レベル３）には、制御部６０は、包丁さばきのスピードを緩める、あるいは難易度の高い包丁さばきを省略するような補完情報を生成してもよい。作動部１０は、制御部６０から与えられる補完情報に基づき作動することで、ユーザはモデル（例えば、一流シェフやスポーツ選手）の動作を効率的に習得することが可能となる。
　なお、制御部６０は、補完情報を生成するほか、情報取得部２０が取得する様々な情報やＡＩ（人工知能）などを利用して、作動部１０を制御するようにしてもよい。より具体的には、制御部６０は、情報取得部２０が取得した情報とＡＩを用いて、１０憶分の１秒単位で作動部１０を制御してもよい。情報取得部２０及び制御部６０は、ナノ秒毎に、正確な画像認識、距離認識、振動認識、熱認識、匂い認識、色認識、音認識、超音波認識、紫外線認識、赤外線認識等を実行してもよい。
　報知部７０は、例えばＬＥＤなどの発光素子、表示装置、スピーカーなどによって構成され、抽出部４０によって両者の差分が抽出された場合に、ユーザに対し、動作の差分を報知する。具体的には、報知部７０は、制御部６０から供給される補完情報に基づき、動作の差分（差分の発生、差分の大きさなどを含む）を報知する。例えば、ユーザの包丁の持ち方や材料の切り方、混ぜ方などが一流シェフと異なる場合には、作動部１０によってユーザの動作をサポートするだけでなく、報知部７０を利用して一流シェフと異なる部分（すなわち、動作の差分）を音声や画像などでユーザに提示する。これにより、ユーザは、自分の動作とモデルの動作との違い（差分）を、より客観的に把握することができ、モデルの動作の習得効率を高めることが可能となる。
　図２２は、動作習得支援装置１によって実現されるロボット１００の例を示す図である。図２２では、人間ではなく、人型料理ロボットに適用した場合を例示している。ロボット１００は、コンピュータ１０１、大容量電池１０２、移動用の車輪１０３などを備えて構成される。ロボット１００は、自由に動くことができる。ロボット１００は、コンピュータ１０１による制御により、大容量電池１０２の電力を利用して動作する。ロボット１００は、コンピュータ１０１による制御のもと、モデルとなる一流シェフの動作を忠実に再現等することができる。なお、ロボット１００には、一流シェフのみならず、様々なモデル（例えば、一流スポーツ選手など）の動作を忠実に再現等するためのソフトウェアをインストールしてもよい。
　図２３は、動作習得支援装置１の動作の概要を例示するフローチャートである。
　第１情報取得部２０ａは、第１のセンサを介してモデルの動作に関する情報を取得する一方（ステップＳ１０１）、第２情報取得部２０ｂは、ユーザに装着された第２のセンサを介して、ユーザの動作に関する情報を取得する（ステップＳ１０２）。なお、ユーザなどによってモデルの動作を再現する際の指定事項の入力があった場合には、指定事項取得部３０は、指定事項を取得する。その後、抽出部４０は、第１情報取得部２０ａによって取得されたモデルの動作に関する情報と、第２情報取得部２０ｂによって取得されたユーザの動作に関する情報とを比較して、両者の差分を抽出する（ステップＳ１０３）。
　判定部５０は、抽出部４０によって抽出された両者の差分に基づき、ユーザの動作の習得レベルを判定し、判定結果を出力する（ステップＳ１０４）。制御部６０は、抽出された両者の差分及びユーザの動作の習得レベルの判定結果に基づいて、ユーザとモデルとの間の動作の差分を補完するための補完情報を生成し（ステップＳ１０５）、作動部１０及び報知部７０に出力する。作動部１０は、補完情報に基づき、作動部１０が装着されたユーザの動作を制御する一方（ステップＳ１０６）、報知部７０は、補完情報に基づき、動作の差分が生じていることを音声や画像などでユーザに提示する（ステップＳ１０７）。動作習得支援装置１は、動作習得の終了指示が検知されない場合には（ステップＳ１０８：ＮＯ）、上記一連の処理を繰り返し実行する。その後、動作習得支援装置１は、動作習得の終了指示を検知すると（ステップＳ１０８：ＹＥＳ）、以上説明した処理を終了する。
（料理への応用）
　本実施形態による動作習得支援装置１を、一流シェフの動作の習得に応用する例について具体的に説明する。上述のように、情報取得部２０は、少なくとも料理の熱、形状、色、肌触り、及び匂いのうちの少なくとも１つを情報として取得してよい。情報取得部２０は、各種のセンサを介して、一流シェフ及びユーザが調理をする際の手の動きや目線に関する情報（料理人の動作）、調理の各工程にかかる時間に関する情報、食材の形状や大きさ（切り方）、火加減、料理の温度、色、匂いなど調理の工程に関わる様々な情報を取得する。抽出部４０は、情報取得部２０によって取得される一流シェフの動作に関する情報と、ユーザの動作に関する情報とを比較して、両者の差分を抽出する。制御部６０は、抽出部４０によって抽出された両者の差分を元に、シェフが作る料理と同じものを再現できるように、ユーザに装着された補助器具（作動部１０）などを制御する。
　また、制御部６０は、情報取得部２０が取得した情報と併せて、指定事項取得部３０が取得した、再現の際の指定条件（指定事項）に応じて作動部１０を制御するようにしてもよい。例えば、料理を完成させたい時間を指定すると、その時間に合わせてＡＩが各工程の開始時間や調理のスピードを逆算し、作動部１０の制御に反映するようにしてもよい。なお、開始時間を直接指定するだけでなく、スケジュール管理アプリなどと連携して、外出時刻や来客時刻などに合わせて料理を完成させる時間を自動設定するようにしてもよい。
　また、味の好みを指定すると、シェフの料理の味を好みに合わせて微調整できるようにしてもよい。例えば、味の濃さの好みを５段階（薄め、少し薄め、普通、少し濃いめ、濃いめ）で指定できるようにして、普通であればそのまま再現し、薄めまたは濃いめであれば、味付けの加減をＡＩが調節するようにしてもよい。また、焼き加減についても同様に調節できるようにしてもよい。また、食べる人の年齢を指定すると、ＡＩが年齢に合わせた味付けに調節するようにしてもよい。例えば、子供の場合は辛さを弱めにする、高齢の場合は塩分を控えめにする、などの調節を行うことができる。
　また、モデルとなる調理者をユーザが選択（設定）できるようにしてもよい。例えば、ユーザが調理者を「シェフ」に設定すれば、そのままシェフの味が再現され、調理者を「祖母」に設定すれば、ＡＩが材料や調味料を変更し、シェフの料理よりも家庭的にアレンジされた料理が作られるようにしてもよい。
　また、作動部１０が補助器具である場合、装着するユーザの調理の技量に合わせて制御を変えるようにしてもよい。例えば、装着するユーザの調理のレベル（プロの調理者、料理に慣れている一般の人、普段料理をしない人等）をあらかじめ指定するようにしてもよいし、作動部１０を介して装着したユーザの動きを判定部５０にフィードバックし、判定部５０が技量を判断するようにしてもよい。制御部６０は、ユーザの技量が高い場合にはシェフと同様の手順を再現する一方、ユーザの技量が低い（すなわち、慣れていない）場合には難しい手順を省いたり、簡略化したりするなどの調節を行うようにしてもよい。どの手順を難しいと認定し、どの手順を簡略化等するかは、例えば以下の基準を利用することができる。一例として、調理に関わる動き（速度や加速度など）が閾値を超えるような激しい動作（例えば、千切りなど）や、モデルの動作とユーザの動作の差分が大きい区間の動作（例えば、鍋振りなど）を難しい手順と認定する。難しいと認定した手順のうち、どの手順を簡略化等するかは、ユーザの技量や動作内容に応じて適宜設定・変更すればよい。なお、制御部６０は、装着したユーザの動きとシェフの動き（教師データ）を比較し、比較結果を画像やグラフなどでユーザに提示するようにしてもよい。例えば、図５に示すように、ユーザの動きを示す画像Ｐ１と一流シェフの動きを示す画像Ｐ２を並べて表示装置に表示したり、ユーザの動きと一流シェフの動き（位置、速度、加速度など）の差異をあらわすグラフＧ１を表示装置に表示してもよい。図２４に示すグラフＧ１を例に説明すると、区間αは、食材（タマネギやニンジンなど）をみじん切りにする動作を示し、区間βは、食材（タマネギやひき肉など）を混ぜ合わせて成形する動作を示す。図５に示す例では、モデルとユーザとの動作（例えば、力加減など）に大きな差異があることから（区間β参照）、ユーザは、画像Ｐ１、Ｐ２とともにグラフＧ１を確認することで、成形する動作をどのように改善すべきか、客観的に把握することができる。このように、ユーザは、表示装置に表示される比較結果を確認することで、一流シェフの動作の習得効率をより高めることが可能となる。
（スポーツへの応用）
　本実施形態による動作習得支援装置１を、一流スポーツ選手の動作（プレイ）の習得に応用する例について説明する。
　スポーツに応用する場合、情報取得部２０は、各種のセンサを介して、一流スポーツ選手（コーチ等も含む）がプレイをする際の体の動きや目線に関する情報、動くスピードなど、スポーツのプレイに関わる様々な情報を取得する。抽出部４０は、情報取得部２０によって取得される一流スポーツ選手のプレイに関する情報と、ユーザのプレイに関する情報とを比較して、両者の差分を抽出する。制御部６０は、抽出部４０によって抽出された両者の差分を元に、一流スポーツ選手のプレイが再現できるように、ユーザに装着された補助器具（作動部１０）などを制御する。
　また、制御部６０は、情報取得部２０が取得した情報と併せて、指定事項取得部３０が取得した、再現の際に指定された条件に応じて作動部１０を制御するようにしてもよい。例えば、対戦相手（ロボット）のレベル（上級者、中級者、初心者等）を設定すると、ＡＩが指定したレベルに合わせて動きやスピードを調整するようにしてもよい。
　また、作動部１０が補助器具である場合、装着するユーザのスキル（技量）に合わせて制御を変えるようにしてもよい。例えば、装着するユーザのレベル（上級者、中級者、初心者等）をあらかじめ指定するようにしてもよいし、作動部１０を介して装着したユーザの動きを判定部５０にフィードバックし、判定部５０が技量を判断するようにしてもよい。制御部６０は、装着するユーザの技量に合わせて動きのスピードや強度を調節するようにしてもよい。また、装着したユーザの動きとスポーツ選手の動き（教師データ）を比較し、比較結果を画像やグラフなどでユーザに提示するようにしてもよい。
　以上説明したように、本実施形態によれば、各センサを利用して、ユーザの動作とモデルの動作の差分を抽出し、抽出した両者の差分に基づいて、ユーザに装着された作動部を制御する。ユーザは、作動部を介して自分の動作とモデルの動作の違い（差分）を把握することができ、モデルの動作を効率的に習得することが可能となる。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
　特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
　特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１００　制御装置、１１０　作動部、１２０　情報取得部、１３０　制御部、１２００　コンピュータ、１２１０　ホストコントローラ、１２１２　ＣＰＵ、１２１４　ＲＡＭ、１２１６　グラフィックコントローラ、１２１８　ディスプレイデバイス、１２２０　入出力コントローラ、１２２２　通信インタフェース、１２２４　記憶装置、１２３０　ＲＯＭ、１２４０　入出力チップ

Claims (22)

  1. 　物体を動かす作動部と、
    　複数の情報を取得する情報取得部と、
    　前記情報取得部が取得した情報とＡＩを用いて、前記作動部を制御する制御部と
    　を備える制御装置。
  2. 　前記制御部は、前記情報とＡＩを用いて、１０億分の１秒単位で前記作動部を制御し、前記作動部が車両を運転する、請求項１に記載の制御装置。
  3. 　前記作動部は人間に装着されるよう構成され、
    　前記制御部は、前記作動部に、車両を運転する前記人間の動きを補助させる、請求項２に記載の制御装置。
  4. 　前記情報取得部は、料理人の動作、料理の熱、形状、色、肌触り、及び匂いのうちの少なくとも１つを情報として取得し、
    　前記制御部は、前記情報とＡＩを用いて前記作動部を制御し、前記作動部に料理を再現させる、請求項１に記載の制御装置。
  5. 　前記作動部は人間に装着されるよう構成され、
    　前記制御部は、前記作動部に、料理をする前記人間の動きを補助させる、請求項４に記載の制御装置。
  6. 　前記情報取得部は、医師の手術の動作を取得し、
    　前記制御部は、前記情報とＡＩを用いて前記作動部を制御し、前記作動部に手術を行わせる、請求項１に記載の制御装置。
  7. 　前記作動部は人間に装着されるよう構成され、
    　前記制御部は、前記作動部に、手術をする前記人間の動きを補助させる、請求項６に記載の制御装置。
  8. 　前記情報取得部は、工場の作業員の動作を取得し、
    　前記制御部は、前記情報とＡＩを用いて前記作動部を制御し、前記作動部に工場の作業を行わせる、請求項１に記載の制御装置。
  9. 　前記作動部は人間に装着されるよう構成され、
    　前記制御部は、前記作動部に、工場の作業をする前記人間の動きを補助させる、請求項８に記載の制御装置。
  10. 　コンピュータを、請求項１から９のいずれか一項に記載の制御装置として機能させるためのプログラム。
  11. 　モデルの動作を再現する作動部と、
    　センサから、前記モデルの動作に関する情報を取得する情報取得部と、
    　前記モデルの動作を再現する際の指定事項を取得する指定事項取得部と、
    　前記センサから取得した情報と、前記指定事項に基づいて、前記作動部に前記動作を再現させる制御部と、を備えた動作再現装置。
  12. 　前記作動部は人間に装着され、
    　前記制御部は、
    　前記作動部に、装着された人間が前記動作を再現するのを補助させる、請求項１１に記載の動作再現装置。
  13. 　前記情報取得部は、
    　調理をする料理人による調理の動作、調理の各工程にかかる時間、食材の形状や大きさ、料理の温度、形状、色、肌触り、及び匂いのうちの少なくとも１つを情報として取得し、
    　前記指定事項取得部は、
    　味付け、料理を完成させたい時間、調理者の種別、及び調理者のレベルのうちの少なくとも１つを指定事項として取得し、
    　前記制御部は、
    　前記センサから取得した情報と、前記指定事項に基づいて、前記作動部に前記調理の動作を再現させる請求項１１に記載の動作再現装置。
  14. 　前記情報取得部は、
    　スポーツ選手がプレイをする際の体の動き、目線、及び動くスピードのうちの少なくとも１つを情報として取得し、
    　前記指定事項取得部は、
    　プレイをする者の技量を指定事項として取得し、
    　前記制御部は、
    　前記センサから取得した情報と、前記指定事項に基づいて、前記作動部にスポーツの動作を再現させる請求項１１に記載の動作再現装置。
  15. 　前記作動部は、
    　装着された人間の動きに関する情報を前記指定事項取得部にフィードバックし、
    　前記指定事項取得部は、
    　フィードバックされた情報を指定事項として取得する、請求項１２に記載の動作再現装置。
  16. 　コンピュータが、センサから、モデルの動作に関する情報を取得する情報取得部と、
    　コンピュータが、前記モデルの動作を再現する際の指定事項を取得する指定事項取得部と、
    　コンピュータが、前記センサから取得した情報と、前記指定事項に基づいて、モデルの動作を再現する作動部に前記動作を再現させる工程と、を備えた動作再現方法。
  17. 　ユーザによるモデルの動作の習得を支援する動作習得支援装置であって、
    　与えられる情報に従って作動する作動部と、
    　第１のセンサから、モデルの動作に関する情報を取得する第１情報取得部と、
    　前記ユーザに装着された第２のセンサを介して、前記ユーザの動作に関する情報を取得する第２情報取得部と、
    　前記モデルの動作に関する情報と前記ユーザの動作に関する情報とを比較して、両者の差分を抽出する抽出部と、
    　前記両者の差分に基づいて、前記ユーザと前記モデルとの間で動作の差分を補完するための補完情報を生成し、前記補完情報を前記作動部に出力する制御部と
    　を具備する動作習得支援装置。
  18. 　前記両者の差分に基づき、前記ユーザの動作習得レベルを判定し、判定結果を出力する判定部をさらに備え、
    　前記制御部は、前記両者の差分及び前記判定結果に基づいて、前記ユーザと前記モデルとの間で動作の差分を補完するための補完情報を生成し、前記補完情報を前記作動部に出力する、請求項１７に記載の動作習得支援装置。
  19. 　前記両者の差分が抽出された場合に、前記ユーザに対し、前記動作の差分を報知する報知部をさらに備える、請求項１７または１８に記載の動作習得支援装置。
  20. 　前記制御部は、前記補完情報を前記作動部及び前記報知部に出力し、
    　前記報知部は、前記補完情報に基づいて、前記動作の差分を報知する、請求項１９に記載の動作習得支援装置。
  21. 　前記モデルの動作は、料理人による動作、またはスポーツ選手による動作である、請求項２０に記載の動作習得支援装置。
  22. 　ユーザによるモデルの動作の習得を支援するコンピュータを、
    　与えられる情報に従って作動する作動部と、
    　第１のセンサから、モデルの動作に関する情報を取得する第１情報取得部と、
    　前記ユーザに装着された第２のセンサを介して、前記ユーザの動作に関する情報を取得する第２情報取得部と、
    　前記モデルの動作に関する情報と前記ユーザの動作に関する情報とを比較して、両者の差分を抽出する抽出部と、
    　前記両者の差分に基づいて、前記ユーザと前記モデルとの間で動作の差分を補完するための補完情報を生成し、前記補完情報を前記作動部に出力する制御部として機能させるためのプログラム。
PCT/JP2023/034035 2022-10-11 2023-09-20 Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ １０ ｆｉｎｇｅｒ WO2024080086A1 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2022163597A JP2024056586A (ja) 2022-10-11 2022-10-11 Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ １０ ｆｉｎｇｅｒ
JP2022-163597 2022-10-11
JP2022178992A JP2024068490A (ja) 2022-11-08 2022-11-08 動作再現装置および動作再現方法
JP2022-178992 2022-11-08
JP2023054737A JP2024142558A (ja) 2023-03-30 2023-03-30 動作習得支援装置及びプログラム
JP2023-054737 2023-03-30

Publications (1)

Publication Number Publication Date
WO2024080086A1 true WO2024080086A1 (ja) 2024-04-18

Family

ID=90669121

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/034035 WO2024080086A1 (ja) 2022-10-11 2023-09-20 Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ １０ ｆｉｎｇｅｒ

Country Status (1)

Country Link
WO (1) WO2024080086A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008247119A (ja) * 2007-03-29 2008-10-16 Mazda Motor Corp 車両用運転支援装置
JP2019503875A (ja) * 2015-12-16 2019-02-14 エムビーエル リミテッド ロボットと、ストレージ配置と、そのための容器とを含むロボットキッチン
WO2019058460A1 (ja) * 2017-09-20 2019-03-28 日産自動車株式会社 走行支援方法及び走行支援装置
JP2020149492A (ja) * 2019-03-14 2020-09-17 オムロン株式会社 動作分析装置、動作分析方法及び動作分析プログラム
JP2020173326A (ja) * 2019-04-10 2020-10-22 新日本建工株式会社 現場作業教育システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008247119A (ja) * 2007-03-29 2008-10-16 Mazda Motor Corp 車両用運転支援装置
JP2019503875A (ja) * 2015-12-16 2019-02-14 エムビーエル リミテッド ロボットと、ストレージ配置と、そのための容器とを含むロボットキッチン
WO2019058460A1 (ja) * 2017-09-20 2019-03-28 日産自動車株式会社 走行支援方法及び走行支援装置
JP2020149492A (ja) * 2019-03-14 2020-09-17 オムロン株式会社 動作分析装置、動作分析方法及び動作分析プログラム
JP2020173326A (ja) * 2019-04-10 2020-10-22 新日本建工株式会社 現場作業教育システム

Similar Documents

Publication Publication Date Title
US20220374013A1 (en) Fitness And Sports Applications For An Autonomous Unmanned Aerial Vehicle
US11496870B2 (en) Smart device
US20250044795A1 (en) Systems and methods for coordinated autonomous operation of motorized mobile devices
US10445939B2 (en) Tactile interaction in virtual environments
US20190076716A1 (en) Activity training system
US11069079B2 (en) Interaction with physical objects as proxy objects representing virtual objects
CN109219551A (zh) 道路状况抬头显示器
CN106999768A (zh) 用于提供替代现实搭乘体验的系统和方法
CN108369478A (zh) 用于交互反馈的手部跟踪
Kitsikidis et al. Multi-sensor technology and fuzzy logic for dancer’s motion analysis and performance evaluation within a 3D virtual environment
JP2021511257A (ja) フライトシミュレーション
GB2572472A (en) Validating gesture recognition capabilities of automated systems
Zaferiou et al. Quantifying performance on an outdoor agility drill using foot-mounted inertial measurement units
US20230394989A1 (en) Multi-sensory based performance enhancement system
WO2024080086A1 (ja) Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ １０ ｆｉｎｇｅｒ
JP7494856B2 (ja) 情報処理装置及び情報処理方法
Siegel et al. Robotics, automation, and the future of sports
WO2020004375A1 (ja) 情報処理装置及び情報処理方法
JP2024056586A (ja) Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ １０ ｆｉｎｇｅｒ
KR20230135532A (ko) 집단지성화 알고리즘을 이용한 정보처리방법
JP2024142558A (ja) 動作習得支援装置及びプログラム
JP2024068490A (ja) 動作再現装置および動作再現方法
US20220306155A1 (en) Information processing circuitry and information processing method
WO2024130648A1 (zh) 一种人机交互方法、装置和运载工具
US20240351595A1 (en) Methods for controlling vehicle settings and/or functions using steering device finger tapping

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23877092

Country of ref document: EP

Kind code of ref document: A1