[go: up one dir, main page]

WO2021090868A1 - 手術システム及び制御方法 - Google Patents

手術システム及び制御方法 Download PDF

Info

Publication number
WO2021090868A1
WO2021090868A1 PCT/JP2020/041310 JP2020041310W WO2021090868A1 WO 2021090868 A1 WO2021090868 A1 WO 2021090868A1 JP 2020041310 W JP2020041310 W JP 2020041310W WO 2021090868 A1 WO2021090868 A1 WO 2021090868A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
command
information
surgical
automatic
Prior art date
Application number
PCT/JP2020/041310
Other languages
English (en)
French (fr)
Inventor
康彦 橋本
Original Assignee
川崎重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 川崎重工業株式会社 filed Critical 川崎重工業株式会社
Priority to EP20885531.2A priority Critical patent/EP4056334A4/en
Priority to US17/774,857 priority patent/US20220401166A1/en
Priority to CN202080074445.8A priority patent/CN114585321B/zh
Publication of WO2021090868A1 publication Critical patent/WO2021090868A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Leader-follower robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/305—Details of wrist mechanisms at distal ends of robotic arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45118—Endoscopic, laparoscopic manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Definitions

  • This disclosure relates to surgical systems and control methods.
  • Patent Document 1 discloses a surgical system including an instrument manipulator in which a surgical instrument is provided at the distal end of an instrument manipulator arm.
  • This surgical operation system operates the surgical instrument according to the actual translation amount and the actual rotation amount obtained by multiplying the translation amount and the rotation amount of the surgical instrument received by the operating tool that receives the command of the surgeon by a predetermined magnification value.
  • the magnification value of the translation amount and the magnification value of the rotation amount are different.
  • a robot that supports a surgical operation is configured to perform an operation corresponding to an operation input to an operation tool by an operator such as a surgeon. Therefore, the treatment result largely depends on the operation ability of the robot operator or the ability to operate the robot.
  • the surgical system receives a robot having an instrument manipulator provided with a surgical instrument, a control device for controlling the robot, and receives an input of a command and outputs the command to the control device.
  • the control device includes an operation processing unit that generates an automatic operation command for causing the robot to automatically perform a surgical operation and controls the surgical operation of the robot in accordance with the automatic operation command.
  • FIG. 1 is a diagram showing an example of a configuration of a surgical system according to an embodiment.
  • FIG. 2 is a block diagram showing an example of a functional configuration of the control device according to the embodiment.
  • FIG. 3 is a flowchart showing an example of an operation of executing the manual operation mode of the surgical system according to the embodiment.
  • FIG. 4 is a flowchart showing an example of an operation of executing the first automatic operation mode of the surgical system according to the embodiment.
  • FIG. 5 is a flowchart showing an example of an operation of executing the second automatic operation mode of the surgical system according to the embodiment.
  • FIG. 6 is a flowchart showing an example of an operation of executing the third automatic operation mode of the surgical system according to the embodiment.
  • FIG. 1 is a diagram showing an example of a configuration of a surgical system according to an embodiment.
  • FIG. 2 is a block diagram showing an example of a functional configuration of the control device according to the embodiment.
  • FIG. 3 is a flowchart showing an example of
  • FIG. 7 is a flowchart showing an example of an operation of executing the modified automatic operation mode using the automatic operation of the first automatic operation mode of the surgical system according to the embodiment.
  • FIG. 8 is a flowchart showing an example of an operation of executing the modified automatic operation mode using the automatic operation of the second automatic operation mode of the surgical system according to the embodiment.
  • FIG. 9 is a flowchart showing an example of an operation of executing the modified automatic operation mode using the automatic operation of the second automatic operation mode of the surgical system according to the embodiment.
  • FIG. 10 is a flowchart showing an example of an operation of executing the modified automatic operation mode using the automatic operation of the third automatic operation mode of the surgical system according to the embodiment.
  • FIG. 11 is a flowchart showing an example of an operation of executing the modified automatic operation mode using the automatic operation of the third automatic operation mode of the surgical system according to the embodiment.
  • the surgical system includes a robot having an instrument manipulator provided with a surgical instrument, a control device for controlling the robot, and an operation input device for receiving a command input and outputting the command to the control device.
  • the control device includes an operation processing unit that generates an automatic operation command for causing the robot to automatically perform a surgical operation and controls the surgical operation of the robot in accordance with the automatic operation command.
  • control device further includes a storage unit that stores automatic driving information which is information for causing the robot to automatically perform a predetermined surgical operation
  • operation processing unit includes a storage unit.
  • the automatic operation command may be generated according to the automatic operation information.
  • the motion processing unit performs the correction operation information, which is the operation information for correcting the motion of the robot that automatically performs the surgical motion in accordance with the automatic motion command.
  • the robot is controlled so as to perform a correction operation which is an operation corrected from the operation according to the automatic operation command received from the input device, and the information for the robot to perform the correction operation is used as the automatic operation information.
  • It may be stored in the storage unit.
  • more appropriate automatic driving information reflecting the surgical technique of the operator is generated by modifying the automatic operation according to the automatic driving information stored in the storage unit in advance by the operation of the operator. Can be done. Therefore, it becomes possible to transfer the skill of the operator to the surgical system.
  • the motion processing unit controls the surgical motion of the robot according to the automatic motion command generated by using the latest automatic driving information stored in the storage section. May be good. According to the above aspect, the surgeon can bring the robot's automatic movement closer to the surgical movement intended by the surgeon as the robot's automatic movement is repeatedly modified according to the automatic driving information.
  • a plurality of the automatic driving information is stored in the storage unit, and the motion processing unit is selected from the plurality of automatic driving information stored in the storage unit.
  • the automatic operation information used for generating the automatic operation command may be determined. According to the above aspect, since appropriate automatic driving information can be selected corresponding to the surgical operation, the robot can execute the appropriate automatic operation.
  • a plurality of the automatic driving information is stored in the storage unit, and the motion processing unit uses the plurality of automatic driving information stored in the storage unit.
  • New automatic operation information may be generated. According to the above aspect, for example, it is possible to generate new automatic driving information that emphasizes the advantages of the plurality of automatic driving information and compensates for the weak points of the plurality of automatic driving information. Therefore, it is possible to generate automatic driving information that is closer to the realization of the desired surgical operation.
  • the control device performs a first machine learning model, motion information of the robot, and a correction motion performed on a manual motion of the robot or an automatic motion of the robot.
  • the first machine learning model further includes a storage unit that stores the first information to be shown, and the first machine learning model is machine-learned using the operation information and the first information corresponding to the operation information, and the learning is performed.
  • the first machine learning model uses the operation information as input data and the corresponding operation command corresponding to the operation information as output data, and the operation processing unit automatically performs the automatic operation based on the corresponding operation command of the first machine learning model.
  • An operation command may be generated.
  • the surgical system determines the next action to be executed by the robot based on the motion information of the robot, and causes the robot to automatically perform the motion.
  • the accuracy of the output data of the first machine learning model that is, the accuracy of the next operation executed by the robot is improved.
  • the first information indicates the operation of the robot operated by the operator. Therefore, the first machine learning model learns the surgeon's surgical technique by performing machine learning using the first information, and the first machine learning model after learning is optimal based on the various learned surgical techniques. Output data can be output. Therefore, it becomes possible to transfer the skill of the operator to the surgical system.
  • the control device includes a second machine learning model, image data of a target portion of processing in the surgical operation of the robot, and the robot's image data with respect to the target portion.
  • the second machine learning model further includes a storage unit that stores the second information indicating the operation, and the second machine learning model uses the image data of the target portion and the second information for the target portion of the image data to be a machine.
  • the second machine learning model uses the image data as input data and the corresponding operation command corresponding to the image data as output data
  • the operation processing unit is the operation processing unit of the second machine learning model.
  • the automatic operation command may be generated based on the corresponding operation command.
  • the surgical system determines the action to be executed next by the robot with respect to the target portion in the state of the image data based on the image data of the target portion, and causes the robot to automatically perform the operation.
  • the accuracy of the output data of the second machine learning model that is, the accuracy of the next operation executed by the robot is improved.
  • the second information also indicates the operation of the robot operated by the operator.
  • the second machine learning model learns the surgeon's surgical technique and image identification technique by performing machine learning using the second information, and the second machine learning model after learning learns various learned techniques.
  • Optimal output data based on surgical technique and image identification technique can be output. Therefore, it becomes possible to transfer the skill of the operator to the surgical system.
  • the surgical system further includes an endoscopic manipulator provided with an endoscopic camera in the robot, and the second machine learning model uses image data captured by the endoscopic camera. It may be used as image data of the target portion.
  • the endoscopic camera can be used to acquire the image data of the target portion to be processed in the surgical operation of the robot, it is not necessary to provide a new camera.
  • the motion processing unit receives from the operation input device an input of a command for designating a start point and an end point at which the robot automatically performs a surgical operation, and the start point and the operation input device are described.
  • the robot may automatically perform a surgical operation on a portion between the end point and the end point.
  • the surgical system further includes a camera that images the surgical target area, and the control device processes the image of the surgical target area captured by the camera to obtain the surgical target area.
  • the motion processing unit includes an image processing unit to be specified and a determination unit for determining a start point and an end point of a surgical operation in the surgical target region specified by the image processing unit, and the motion processing unit is between the start point and the end point.
  • the site may be automatically operated by the robot. According to the above aspect, it is possible to automate the procedure for determining the starting point and the ending point.
  • the motion processing unit receives manual operation information, which is operation information for manually operating the robot, from the operation input device, and follows the manual operation information.
  • the manual operation command for operating the robot is generated, the surgical operation of the robot is controlled according to the manual operation command, and the manual operation is performed at least one before and after the control of the robot according to the automatic operation command.
  • the operation information may be received and the robot may be controlled according to the manual operation command.
  • the surgical system includes a plurality of the operation input devices, and the motion processing unit manually operates the robot from one of the plurality of operation input devices selected. It receives manual operation information that is operation information for operating a surgical operation by operation, generates a manual operation command for operating the robot according to the manual operation information, and controls the surgical operation of the robot according to the manual operation command. You may. According to the above aspect, the manual operation of the robot using the selected one of the plurality of operation input devices is executed.
  • the surgical system includes a plurality of the robots and a plurality of the operation input devices, and the control device selects one of the plurality of robots and one of the plurality of operation input devices. Further includes a connection control unit for connecting to the robot, a storage unit for storing the combination of the robot and the operation input device during surgery, and an execution order of the combination, and the connection control unit is stored in the storage unit.
  • the selected one of the plurality of robots and the selected one of the plurality of operation input devices may be connected according to the stored combination and the execution order of the combination.
  • the surgical system includes a plurality of the robots and a plurality of the operation input devices, and the control device selects one of the plurality of robots and one of the plurality of operation input devices.
  • the connection control unit further includes a connection control unit for connecting the robot and the operation input device during the operation, and the connection control unit inputs a plurality of commands for designating the combination of the robot and the operation input device and the execution order of the combination. It may be received from at least one of the operation input devices of the above, and the selected one of the plurality of robots and the selected one of the plurality of operation input devices may be connected.
  • the control method according to one aspect of the present disclosure is a control method for a robot that performs a surgical operation, in which an automatic operation command for causing the robot to automatically perform a surgical operation is generated, and the robot is operated on according to the automatic operation command. Make it work. According to the above aspect, the same effect as the surgical system according to one aspect of the present disclosure can be obtained.
  • the automatic operation command may be generated according to the automatic operation information stored in the storage unit and which is the information for causing the robot to automatically perform a predetermined surgical operation.
  • correction operation information which is operation information for correcting the operation of the robot that automatically performs a surgical operation in accordance with the automatic operation command
  • the robot is operated so as to perform a correction operation which is a correction operation from the operation according to the automatic operation command, and the information for the robot to perform the correction operation is the automatic operation information. May be stored in the storage unit.
  • the first machine learning model is made to input the operation information of the robot as input data, output the corresponding operation command of the robot as output data, and based on the corresponding operation command.
  • the first information indicating the manual operation of the robot or the correction operation performed for the automatic operation of the robot by generating the automatic operation command and using the operation input device in the first machine learning model, and the first information.
  • the corresponding motion command output by the first machine learning model after machine learning is performed using the motion information corresponding to one information may be a command corresponding to the motion information of the robot.
  • the second machine learning model is made to input the image data of the target portion of the processing in the surgical operation of the robot as input data, and the corresponding operation command of the robot is output as output data. Then, based on the corresponding operation command, the automatic operation command is generated, and the second machine learning model is used with the image data of the target portion and the second information indicating the operation of the robot with respect to the target portion of the image data.
  • the corresponding operation command output by the second machine learning model after machine learning using and may be a command corresponding to the operation information of the robot.
  • FIG. 1 is a diagram showing an example of the configuration of the surgical system 100 according to the embodiment.
  • the surgical system 100 includes a robot 1, a console 7, and a control device 3.
  • the control device 3 includes a first control device 31 and a second control device 32.
  • the robot 1 is a robot that performs laparoscopic surgery, but may be a robot that performs any surgery, for example, any type such as a type having a plurality of arms each having a surgical instrument. Robot may be.
  • the surgical system 100 is a system using a master-slave robot 1.
  • the console 7 constitutes a master machine
  • the robot 1 constitutes a slave machine.
  • the surgeon S such as a surgeon
  • the robot 1 performs an operation corresponding to the command to perform a surgical operation. It can be carried out.
  • the robot 1 can automatically perform a predetermined surgical operation without being operated by the surgeon S using the operation input device 71.
  • the surgical system 100 can cause the robot 1 to perform surgical operations in the "manual operation mode", the "automatic operation mode”, and the "corrected automatic operation mode".
  • the "manual operation mode”, the “automatic operation mode”, and the “corrected automatic operation mode” do not include the instruction (also referred to as "teaching") operation for teaching the robot 1 the surgical operation.
  • the manual operation mode is an operation mode in which the robot 1 is operated according to a command input via the operation input device 71.
  • the robot 1 executes an operation according to a manual operation, which is an operation input to the operation input device 71 by the operator S, that is, an operation that traces the manual operation.
  • the robot 1 is manually operated by the operator S.
  • the automatic operation mode is an operation mode in which the robot 1 is operated according to a preset task program.
  • the robot 1 automatically performs an automatic operation to automatically execute a predetermined surgical operation according to the task program. Examples of predetermined surgical procedures include incision, suturing, cutting, excision, and collection of tissue pieces.
  • the automatic operation mode is distinguished from the modified automatic operation mode described later in that the operation of the operation input device 71 is not reflected in the operation of the robot 1 during the automatic operation of the robot 1.
  • the automatic operation mode includes three operation modes.
  • the first automatic operation mode is an operation mode in which the robot 1 automatically performs a surgical operation according to automatic operation information which is preset information such as teaching information.
  • the automatic driving information may be updated with new automatic driving information by executing the modified automatic driving mode. That is, the latest automatic driving information is generated.
  • the second automatic operation mode is an operation mode in which the robot 1 automatically performs a surgical operation according to a corresponding operation command which is a command output by the first machine learning model.
  • the first machine learning model uses the operation input device 71 to modify the manual operation of the robot 1 in the manual operation performed by using the operation input device 71 or the operation during the automatic operation of the robot 1.
  • Machine learning is performed using the first information shown and the motion information of the robot 1 corresponding to the first information.
  • the first machine learning model after learning uses the motion information of the robot 1 as input data and the corresponding motion command corresponding to the motion information as output data.
  • the third automatic operation mode is an operation mode in which the robot 1 automatically performs a surgical operation according to a corresponding operation command output from the second machine learning model.
  • the second machine learning model performs machine learning using the image data of the target portion of the processing in the surgical operation of the robot 1 and the motion information of the robot 1 with respect to the target portion of the image data. Further, in the second machine learning model after learning, the image data of the target portion is used as input data, and the corresponding operation command is used as output data.
  • the operation input to the operation input device 71 is reflected in the automatic operation of the robot 1 while the robot 1 is automatically performing the operation, and the operation that is supposed to be performed automatically is performed.
  • This is the operation mode to be corrected. That is, the robot 1 automatically operates in a state where the command input via the operation input device 71 can be reflected. Therefore, in the modified automatic operation mode, the operation of the robot 1 that is automatically performing the surgical operation can be corrected.
  • the modified automatic operation mode includes a case where the automatic operation of the first automatic operation mode is used, a case where the automatic operation of the second automatic operation mode is used, and an automatic operation of the third automatic operation mode as the automatic operation to be corrected. Including cases used.
  • the surgical system 100 may be configured to be able to execute all of the above operation modes, or may be configured to be able to execute only a part of the operation modes. For example, in the latter case, even if the surgical system 100 is configured to be able to execute a manual operation mode, one of the first to third automatic operation modes, and a modified automatic operation mode using the automatic operation mode. Good.
  • the configuration of the robot 1 is not limited to the configuration described below, and may be any configuration capable of performing a surgical operation.
  • the robot 1 constitutes an interface between the surgical system 100 and the patient P.
  • the robot 1 is placed beside the operating table on which the patient P lies in the operating room, which is a sterile field.
  • the robot 1 includes a robot main body 2 and a first control device 31.
  • the robot body 2 includes a plurality of surgical manipulators 20, a single entry guide 9, and a positioner 10 that positions the surgical manipulator 20 and the entry guide 9 with respect to the patient P.
  • the entry guide 9 is attached to a cannula (not shown) placed on the body surface of patient P.
  • the entry guide 9 is a member that guides the plurality of surgical manipulators 20, and the plurality of surgical manipulators 20 pass through the holes of the entry guide 9.
  • the positioner 10 includes a horizontal articulated manipulator 12, a support member 12b, a vertical articulated manipulator 13, and a support frame 14.
  • the horizontal articulated manipulator 12 is supported by the carriage 11.
  • the support member 12b is provided at the distal end of the horizontal articulated manipulator 12 starting from the carriage 11.
  • the vertical articulated manipulator 13 is supported by the horizontal articulated manipulator 12 via a support member 12b.
  • the support frame 14 is provided at the distal end of the vertical articulated manipulator 13 starting from the support member 12b.
  • the configuration of the positioner 10 is not limited to the above configuration, and any configuration may be used as long as the entry guide 9 can be accurately positioned at the target position (including the posture).
  • the support frame 14 includes facing portions 14a and 14b facing each other at intervals.
  • the entry guide 9 is arranged and supported on the facing portion 14b.
  • a support block 15 that collectively supports the plurality of surgical manipulators 20 is arranged and supported on the facing portion 14a.
  • the plurality of surgical manipulators 20 are located between the opposing portions 14a and 14b.
  • the plurality of surgical manipulators 20 include an instrument manipulator 20a (see FIG. 2) having a surgical instrument (not shown) and an endoscopic manipulator 20b (see FIG. 2) having an endoscopic camera (not shown).
  • Surgical instrument means an actual operated part that is inserted into the surgical site in the abdominal cavity of patient P and can be driven from the outside of the abdominal cavity to perform the desired treatment or medical function of the target tissue at the surgical site.
  • a surgical instrument comprises a pair of jaws.
  • Surgical instruments may be surgical instruments such as forceps, grippers, scissors, staplers, needle holders, and electric scalpels.
  • the surgical instrument may be an electrically driven device such as an electronic surgical electrode, a transducer, or a sensor.
  • the surgical instrument may also be a nozzle that supplies fluid for inhalation, gas injection, irrigation, processing fluids, accessory introduction, biopsy removal and the like.
  • the configuration of the endoscopic camera may include an objective lens, a light guide, and the like.
  • the first control device 31 controls the operation of the entire robot body 2.
  • the first control device 31 is a computer device.
  • the first control device 31 is communicably connected to the console 7.
  • the first control device 31 operates the robot main body 2 in each operation mode in response to a command received by the console 7.
  • the first control device 31 causes the console 7 to display an endoscopic image of the endoscope camera on the console 7 and to cause the console 7 to perform an operation corresponding to the operation of the robot main body 2. Send information.
  • the first control device 31 has a positioner control function that controls the operation of the positioner 10 so as to position the entry guide 9 at a predetermined position and posture.
  • the horizontal articulated manipulator 12 and the vertical articulated manipulator 13 of the positioner 10 are provided with a drive device at each joint.
  • Each drive device includes a servomotor, which is an example of an electric motor that drives a joint, a rotation sensor such as an encoder that detects the amount of rotation of the joint, a current sensor that detects the drive current of the servomotor, and a driving force of the servomotor. Includes a power transmission mechanism such as a speed reducer that transmits the current to the joint (all not shown), but not all are essential.
  • the first control device 31 has a surgical instrument control function that controls the operation of each instrument manipulator 20a.
  • the first control device 31 has a function of controlling the operation of the surgical instrument and a function of controlling the operation of the instrument manipulator 20a so that the surgical instrument is in a position and a posture corresponding to a command.
  • Each instrument manipulator 20a includes a plurality of joints, and each joint is provided with a driving device.
  • Each drive device includes a servomotor, which is an example of an electric motor that drives a joint, a rotation sensor such as an encoder that detects the amount of rotation of the joint, a current sensor that detects the drive current of the servomotor, and a driving force of the servomotor. Includes a power transmission mechanism such as a speed reducer that transmits the current to the joint (all not shown), but not all are essential.
  • the first control device 31 has an endoscope control function that controls the operation of the endoscope manipulator 20b.
  • the first control device 31 has a function of controlling the operation of the endoscope camera and a function of controlling the operation of the endoscope manipulator 20b so that the endoscope camera is in a position and a posture corresponding to a command.
  • the endoscopic manipulator 20b includes a plurality of joints, and each joint is provided with a driving device.
  • Each drive device uses an electric motor such as a servomotor that drives a joint, a rotation sensor such as an encoder that detects the amount of rotation of the joint, a current sensor that detects the drive current of the servomotor, and the driving force of the servomotor. Includes a power transmission mechanism such as a speed reducer that transmits to (all not shown), but not all are essential.
  • the first control device 31 is composed of an arithmetic unit having a processor, a memory, and the like.
  • the arithmetic unit transmits / receives information, data, commands, and the like to and from other devices including the console 7.
  • the arithmetic unit inputs detection signals from various sensors and outputs control signals to each control target.
  • the memory is composed of a semiconductor memory such as a volatile memory and a non-volatile memory, a hard disk, and a storage device such as an SSD (Solid State Drive).
  • the memory stores a program executed by an arithmetic unit, various fixed data, and the like.
  • the function of the arithmetic unit is a computer system (not shown) consisting of a processor such as a CPU (Central Processing Unit), a volatile memory such as a RAM (Random Access Memory), and a non-volatile memory such as a ROM (Read-Only Memory). It may be realized. Some or all of the functions of the arithmetic unit may be realized by the CPU using the RAM as a work area to execute a program recorded in the ROM. A part or all of the functions of the arithmetic unit may be realized by the above computer system, or may be realized by a dedicated hardware circuit such as an electronic circuit or an integrated circuit, and may be realized by the above computer system and the hardware circuit. It may be realized by a combination.
  • the first control device 31 may execute each process by centralized control by a single computer device, or may execute each process by distributed control by cooperation of a plurality of computer devices.
  • the first control device 31 is composed of, for example, a microcontroller, an MPU (Micro Processing Unit), an LSI (Large Scale Integration: large-scale integrated circuit), a system LSI, a PLC (Programmable Logic Controller), a logic circuit, and the like. May be good.
  • the plurality of functions of the first control device 31 may be realized by being individually integrated into one chip, or may be realized by being integrated into one chip so as to include a part or all of them. Further, each circuit may be a general-purpose circuit or a dedicated circuit.
  • an FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and / or setting of circuit cells inside the LSI, or multiple functions for a specific application.
  • An ASIC Application Specific Integrated Circuit
  • ASIC Application Specific Integrated Circuit
  • console 7 is a device that constitutes an interface between the surgical system 100 and the surgeon S and operates the robot main body 2.
  • the console 7 is installed in the operating room beside the operating table, away from the operating table, or outside the operating room.
  • the console 7 includes an operation input device 71 for receiving an input of a command from the operator S, a display device 73 for displaying an image captured by the endoscopic camera, and a second control device 32.
  • the operation input device 71 includes a pair of left and right operation manipulators 72L and 72R and an operation pedal 75.
  • the operation manipulators 72L and 72R are devices used for manually operating the robot body 2.
  • the second control device 32 may be composed of a computer device or the like, similarly to the first control device 31.
  • the operation manipulators 72L and 72R each have an operation unit (not shown) at the distal end, and are configured to receive the operation force from the operator S to the operation unit.
  • the operation manipulators 72L and 72R are operation tools that receive a movement command of the position and posture of the endoscopic camera and the surgical instrument.
  • the operation pedal 75 is an operation tool that receives commands such as zooming of an endoscope camera, switching of a control mode, switching of an operation mode, and switching of an instrument manipulator associated with the operation manipulators 72L and 72R.
  • the operation input device 71 further includes an operation tool that receives an input of a body cavity insertion command of a surgical instrument, an operation tool that receives an input of a manipulator return command, and the like.
  • the operation input device 71 may have a drive mechanism (not shown) for applying a reaction force to the operation force of the operator S to the operation unit.
  • the surgeon S directly moves the operation parts of the operation manipulators 72L and 72R while confirming the affected part with the endoscopic image displayed on the display device 73, thereby causing the robot body 2 to operate.
  • the manipulator of the robot body 2 is, for example, an instrument manipulator 20a or an endoscope manipulator 20b associated with the operation manipulators 72L and 72R by operating the operation pedal 75, and the end effector is a surgical instrument or an endoscopic camera. Is.
  • the second control device 32 controls the operation of the entire console 7.
  • the second control device 32 is a computer device like the first control device 31.
  • the second control device 32 is communicably connected to the first control device 31.
  • the second control device 32 transmits the information, the command, and the like received by the operation input device 71 to the first control device 31.
  • the second control device 32 controls the operation of the operation manipulators 72L and 72R and the like, the image display operation of the display device 73, and the like, based on the information, data, commands, and the like received from the first control device 31.
  • a part or all of the functions of the second control device 32 may be realized by a computer system (not shown) including a CPU, RAM, ROM, etc., or by a dedicated hardware circuit such as an electronic circuit or an integrated circuit. It may be realized by the combination of the said computer system and a hardware circuit.
  • the second control device 32 may execute each process by centralized control by a single computer device, or may execute each process by distributed control by cooperation of a plurality of computer devices.
  • the second control device 32 and the first control device 31 may be included in a single computer device.
  • FIG. 2 is a block diagram showing an example of the functional configuration of the control device 3 according to the embodiment.
  • the second control device 32 includes an image processing unit 321, an input processing unit 322, an operation command generation unit 323, a position command generation unit 324, and an operation control unit 325 as functional components. Include as.
  • the functions of the above functional components are realized by a processor or the like. Not all of the above functional components are essential.
  • the image processing unit 321 receives the image data captured by the endoscope camera from the first control device 31, and outputs the image data to the display device 73 for display.
  • the image processing unit 321 may add conversion processing or the like to the image data and output it to the display device 73.
  • the input processing unit 322 detects the amount of rotation of each joint from the detection values of the rotation sensors provided on each joint of the operation manipulators 72L and 72R, and determines the position and speed (movement speed) of the operation unit from the amount of rotation of each joint. To detect.
  • the operation command generation unit 323 generates a movement command for instructing the position and speed of the robot body 2 with respect to the manipulator based on the position and speed of the operation unit detected by the input processing unit 322.
  • a force sensor for detecting the force applied to the operation manipulators 72L and 72R is provided, and the input processing unit 322 detects the force detection value such as the magnitude and direction of the force from the detection value of the force sensor and commands the operation.
  • the generation unit 323 may generate a force command that commands the magnitude and direction of the force applied to the object by the manipulator of the robot body 2 based on the detected value of the force.
  • the operation command generation unit 323 may generate a movement command using the acceleration corresponding to the detected value of the force.
  • the operation command generation unit 323 transmits an operation operation command including the movement command and the force command to the first control device 31.
  • the position command generation unit 324 receives the position command from the first control device 31.
  • the position command includes commands such as the position and posture of the manipulator of the robot body 2, and includes, for example, commands such as the position and posture of each joint of the manipulator.
  • the position command generation unit 324 arranges the operation manipulators 72L and 72R so that the position and orientation of the operation unit of the operation manipulators 72L and 72R correspond to the end effector of the manipulator of the robot body 2.
  • Generates an operation position command that commands the position and posture of the operation unit of.
  • the operation position command may include a reaction force applied to the operation unit of the operation manipulators 72L and 72R.
  • the position command generation unit 324 detects the position of each joint from the detection value of the rotation sensor provided on each joint of the operation manipulators 72L and 72R.
  • the operation control unit 325 determines the drive torque of each joint from the operation position command and the position of each joint of the operation manipulators 72L and 72R, and supplies the current corresponding to the drive torque to the servomotor of the corresponding joint.
  • the positions and postures of the operating portions of the operating manipulators 72L and 72R move in correspondence with the positions and postures of the end effectors of the manipulators of the robot body 2.
  • the first control device 31 includes an image acquisition unit 311, an information processing unit 312, an operation command generation unit 313, an operation control unit 314, and a storage unit 315 as functional components. ..
  • the functions of the functional components other than the storage unit 315 are realized by a processor or the like, and the functions of the storage unit 315 are realized by the memory. Not all of the above functional components are essential.
  • the image acquisition unit 311, the information processing unit 312, the operation command generation unit 313, and the operation control unit 314 are examples of the operation processing unit.
  • the storage unit 315 can store various information, that is, can store the stored information, and can read the stored information.
  • the storage unit 315 can store automatic driving information such as teaching information.
  • the storage unit 315 can store the first machine learning model and the first learning data which is the learning data accumulated for the first machine learning model to be used for learning.
  • the storage unit 315 can store the second machine learning model and the second learning data which is the learning data accumulated for the second machine learning model to be used for learning.
  • the first machine learning model and the second machine learning model are machine learning models, and the accuracy of the output data with respect to the input data is improved by learning using the training data.
  • the first machine learning model and the second machine learning model are learning models such as neural network (Neural Network), Random Forest, Genetic Programming, regression model, tree model, Bayes model, time series model, clustering model, ensemble learning model, etc. It is composed.
  • the first machine learning model and the second machine learning model are configured by a neural network.
  • the neural network is composed of a plurality of node layers including an input layer and an output layer.
  • the node layer contains one or more nodes.
  • the neural network When the neural network is composed of an input layer, an intermediate layer, and an output layer, the neural network performs output processing from the input layer to the intermediate layer and from the intermediate layer to the output layer for the information input to the nodes of the input layer. Output processing is performed in sequence, and an output result that matches the input information is output.
  • Each node in one layer is connected to each node in the next layer, and the connections between the nodes are weighted.
  • the information of the nodes of one layer is weighted for the connection between the nodes and output to the nodes of the next layer.
  • the neural network may be a recurrent neural network (also referred to as a "recurrent neural network").
  • the recurrent neural network handles time series information.
  • the input data of the recurrent neural network includes the data at the current time and the output data of the intermediate layer in the recurrent neural network at the past time before the current time.
  • the recurrent neural network has a network structure that takes time series information into consideration. Since such a recurrent neural network outputs the input data in consideration of the behavior of the input data over time, the accuracy of the output data can be improved. Since the first machine learning model and the second machine learning model handle time series data, it is preferable that they are recurrent neural networks.
  • the image acquisition unit 311 acquires the image data captured by the endoscopic camera and transmits it to the second control device 32. Further, the image acquisition unit 311 may output the image data to the information processing unit 312.
  • the information processing unit 312 receives a movement command, a force command, etc. from the second control device 32 and outputs the movement command to the operation command generation unit 313.
  • the information processing unit 312 may process a movement command, a force command, or the like and output the operation command to the operation command generation unit 313.
  • the information processing unit 312 reads the automatic operation information from the storage unit 315 and outputs it to the operation command generation unit 313 based on the operation mode command or the like received from the second control device 32.
  • the information processing unit 312 may process the automatic operation information and output it to the operation command generation unit 313.
  • the information processing unit 312 receives the operation information of the manipulator of the robot main body 2 from the operation command generation unit 313, inputs the operation information to the first machine learning model, and outputs the corresponding operation command which is the output data of the first machine learning model. It is output to the operation command generation unit 313.
  • the information processing unit 312 receives the image data captured by the endoscope camera from the image acquisition unit 311, inputs the image data to the second machine learning model, and corresponds to the corresponding operation command which is the output data of the second machine learning model. Is output to the operation command generation unit 313.
  • the information processing unit 312 may be configured to perform image processing on the image data and output it to the second machine learning model.
  • the operation information of the manipulator of the robot body 2 includes the operation data.
  • the motion data includes at least one of position data representing the positions of the manipulator and the end effector during operation and force data representing the force applied by the end effector to the object.
  • the position data may include a position in the three-dimensional space and a posture in the three-dimensional space.
  • the force data may include the magnitude of the force and the direction of the force in three-dimensional space.
  • the position data and force data may be time series data associated with each position and the time of occurrence of each force.
  • the motion information includes image data of an object to which the end effector of the manipulator of the robot body 2 acts, vibration data generated by the end effector, impact data, optical data, sound data, and temperature data as information other than the motion data.
  • Humidity data, pressure data such as pressure, etc. may be included.
  • the operation information handled in this embodiment includes at least operation data.
  • the information processing unit 312 receives the position command from the operation command generation unit 313 and transmits the position command to the second control device 32.
  • the operation command generation unit 313 generates an operation command from the movement command, the force command, the automatic operation information, or the corresponding operation command received from the information processing unit 312.
  • the operation command includes a position command and may further include a force command.
  • a preset movement range limit, movement speed limit, or the like may be applied to the position command.
  • the position command may include a command for instructing the position, posture, and the target value or correction value (correction value) of the speed of the position and posture of the end effector and / or each joint of the manipulator of the robot body 2.
  • the position and its speed may represent a position and a speed in a three-dimensional space
  • the posture and its speed may represent a posture and a speed in a three-dimensional space.
  • "position" means including at least a position in three-dimensional space of a position in three-dimensional space, a velocity of position, a posture and a velocity of posture.
  • the force command includes a command for instructing a target value or a correction value (correction value) of the magnitude and direction of the force applied to the object by the end effector of the manipulator of the robot body 2.
  • the direction of the force may represent the direction in the three-dimensional space.
  • the motion control unit 314 supplies a current to the servomotor that drives each joint of the manipulator of the robot body 2. Specifically, the motion control unit 314 receives the detected values of the rotation amount and the current as feedback information from the rotation sensor and the current sensor provided in the servomotor of each joint of the manipulator of the robot main body 2. The operation control unit 314 may use the command value of the current supplied to the servomotor by the drive circuit of the servomotor as feedback information. Further, when a force sensor is provided on the end effector of the manipulator of the robot body 2, the motion control unit 314 receives the force detection value from the force sensor as feedback information.
  • the motion control unit 314 detects the position of each joint from the detected value of the rotation amount of each joint of the manipulator of the robot body 2, and determines the drive amount and drive speed of each joint from the position command of the motion command and the position of each joint. decide. Further, the motion control unit 314 determines the drive torque of each joint from the detected value of the force of the end effector of the manipulator of the robot body 2 and the force command of the motion command. The operation control unit 314 determines a current value for driving each servomotor in accordance with the drive amount, drive speed, and drive torque based on the detected value of the current, and transfers the current of the current value to each servomotor. Supply. As a result, for example, when the manipulator of the robot main body 2 operates according to the movement command, it operates in correspondence with the movement of the operation unit of the operation manipulators 72L and 72R.
  • FIG. 3 is a flowchart showing an example of an operation of executing the manual operation mode of the surgical system 100 according to the embodiment.
  • the surgeon S inputs a command to execute the manual operation mode by using the operation pedal 75 of the operation input device 71 when performing an operation on the patient.
  • the second control device 32 receives the execution command of the manual operation mode and transmits the command to the first control device 31 (step S101).
  • the first control device 31 executes control to operate the robot main body 2 according to the operation given to the operation manipulators 72L and 72R of the operation input device 71 by the operator S (step S102).
  • the second control device 32 generates an operation operation command corresponding to the operation given to the operation manipulators 72L and 72R by the operator S, and transmits the operation operation command to the first control device 31 (step S103).
  • the first control device 31 generates a manual operation command, which is an operation command based on the operation operation command (step S104). Further, the first control device 31 acquires operation information from the robot main body 2 (step S105). Further, the first control device 31 uses the operation information as feedback information to generate an operation control command for causing the robot body 2 to execute an operation corresponding to the manual operation command, and outputs the operation control command to the robot body 2 (step S106). ). As a result, the robot body 2 operates according to the operation control command.
  • the first control device 31 acquires the operation information from the robot main body 2 and transmits it to the second control device 32 (step S107).
  • the second control device 32 generates an operation position command based on the above operation information and the operation operation command transmitted to the first control device 31, and operates the operation manipulators 72L and 72R in accordance with the operation position command. That is, the second control device 32 gives feedback of the operation information from the robot main body 2 to the operation manipulators 72L and 72R (step S108).
  • step S109 determines whether or not the operation of the robot main body 2 in the manual operation mode is completed (step S109), and if it is completed (Yes in step S109), ends a series of processes. If it is not completed (No in step S109), the process returns to step S103.
  • FIG. 4 is a flowchart showing an example of an operation of executing the first automatic operation mode of the surgical system 100 according to the embodiment.
  • the operator S when performing an operation on a patient, the operator S inputs an execution command of the first automatic operation mode and information on the target operation by using the operation pedal 75 or the like of the operation input device 71. To do.
  • the second control device 32 receives the execution command of the first automatic operation mode and the information of the target operation, and transmits the command and the information to the first control device 31 (step S201).
  • the information on the target operation may include information such as the type of the target part of the operation, the content of the operation, and the content of the operation performed by the robot body 2.
  • the first control device 31 searches for the automatic driving information stored in the storage unit 315, and reads and acquires the automatic driving information corresponding to the information of the target surgery (step S202).
  • the surgeon S operates the operation manipulators 72L and 72R of the operation input device 71 and operates the manipulator of the robot main body 2 to input the operation target area.
  • the surgical target area is a target area where the robot body 2 performs a surgical operation.
  • the first control device 31 determines the position and range of the surgical target area based on the input (step S203). For example, when the end effectors of the manipulator of the robot body 2 are located at the start point and the end point of the operation target area, when the surgeon S inputs to the operation input device 71, the first control device 31 is concerned.
  • the respective positions of the end effectors may be determined at the start and end points of the surgical target area. For example, when the surgical operation is an incision or suture, the starting point and the ending point are the starting point and the ending point of the incision or suturing.
  • the surgeon S operates the operation manipulators 72L and 72R of the operation input device 71, causes the endoscope camera of the endoscope manipulator 20b of the robot main body 2 to image the operation target area, and displays the operation target area on the display device 73.
  • the operation input device 71 may be used to input the operation target area, the start point, and the end point on the image.
  • the first control device 31 may specify the surgical target area, the starting point, and the ending point by performing image processing on the above image.
  • the method for designating the surgical target area is not limited to the above method, and may be any method.
  • the surgical target area may be preset and stored in a storage unit 315 or the like.
  • the first control device 31 generates an automatic operation command using the automatic operation information (step S204). Further, the first control device 31 acquires motion information from the robot body 2 (step S205), uses the motion information as feedback information, generates an motion control command corresponding to the automatic motion command, and outputs the motion control command to the robot body 2. (Step S206).
  • the first control device 31 determines whether or not all the operations of the robot main body 2 according to the automatic operation information have been completed (step S207), and if completed (Yes in step S207), a series of processes. Is completed, and if it is not completed (No in step S207), the process returns to step S204.
  • FIG. 5 is a flowchart showing an example of an operation of executing the second automatic operation mode of the surgical system 100 according to the embodiment.
  • the operator S when performing an operation on a patient, the operator S inputs an execution command of the second automatic operation mode and information on the target operation by using the operation pedal 75 or the like of the operation input device 71. To do.
  • the second control device 32 receives the execution command of the second automatic operation mode and the information of the target operation, and transmits the command and the information to the first control device 31 (step S301).
  • the first control device 31 searches for the first machine learning model stored in the storage unit 315, and reads and acquires the first machine learning model corresponding to the information of the target surgery (step S302).
  • the first control device 31 determines the position and range of the surgical target area based on the input to the operation input device 71 by the surgeon S (step S303).
  • the surgeon S operates the operation manipulators 72L and 72R of the operation input device 71 to move the end effector of the manipulator of the robot body 2 to the starting point of the operation target area (step S304).
  • the surgeon S inputs a command for executing the surgical operation to the operation input device 71, and the first control device 31 receives the command.
  • the first control device 31 acquires operation information from the robot main body 2 (step S305). Further, the first control device 31 inputs the information of the operation target area including the position and range of the operation target area and the operation information of the robot main body 2 into the first machine learning model (step S306). The first machine learning model outputs a corresponding operation command corresponding to the operation information.
  • the corresponding operation command is a command indicating an operation operation to be executed by the robot main body 2 in the state of the operation information.
  • the process of step S306 is executed by the information processing unit 312 of the first control device 31.
  • the first control device 31 generates an automatic operation command based on the corresponding operation command (step S307). Further, the first control device 31 uses the operation information acquired in step S305 as feedback information to generate an operation control command corresponding to the automatic operation command and outputs the operation control command to the robot main body 2 (step S308).
  • the first control device 31 determines whether or not all the surgical operations of the robot main body 2 with respect to the surgical target area have been completed (step S309), and if completed (Yes in step S309), performs a series of processes. If it is completed and not completed (No in step S309), the process returns to step S305.
  • the first control device 31 may repeat the series of processes of steps S305 to S309 at predetermined time cycles.
  • the first control device 31 performs the surgical operation corresponding to the operation state of the robot body 2 based on the output data of the first machine learning model corresponding to the operation information of the robot body 2 for each predetermined time cycle. Can be executed by 2.
  • FIG. 6 is a flowchart showing an example of an operation of executing the third automatic operation mode of the surgical system 100 according to the embodiment.
  • the operator S when performing an operation on a patient, the operator S inputs an execution command of the third automatic operation mode and information on the target operation by using the operation pedal 75 or the like of the operation input device 71. To do.
  • the second control device 32 receives the execution command of the third automatic operation mode and the information of the target operation, and transmits the command and the information to the first control device 31 (step S401).
  • the first control device 31 searches for the second machine learning model stored in the storage unit 315, and reads and acquires the second machine learning model corresponding to the information of the target surgery (step S402).
  • the first control device 31 determines the position and range of the surgical target area based on the input to the operation input device 71 by the surgeon S (step S403).
  • the surgeon S operates the operation manipulators 72L and 72R of the operation input device 71 to move the end effector of the manipulator of the robot body 2 to the starting point of the operation target area (step S404).
  • the surgeon S inputs a command for executing the surgical operation to the operation input device 71, and the first control device 31 receives the command.
  • the first control device 31 causes the endoscope camera of the endoscope manipulator 20b of the robot main body 2 to image the operation target area (step S405). Further, the first control device 31 performs image processing on the image captured by the endoscopic camera (step S406).
  • the content of the image processing is not particularly limited, and may be set according to the surgical target area, the state of the affected portion of the surgical target area, the surgical operation to be applied, and the like.
  • the image processing may be a process of detecting a three-dimensional position of a subject projected on each pixel of an image. Further, the image processing may be a filtering process on the image.
  • the filter processing may be a processing for removing noise of pixel values, a processing for emphasizing the difference in pixel values, and the like.
  • the image processing may be a process of changing the color tone of the image by changing the pixel value. Such image processing makes it possible to make the surgical target area three-dimensional and to emphasize the affected area.
  • the first control device 31 may perform one or more image processing and generate processed image data for each image processing. For example, the process of step S406 is executed by the information processing unit 312.
  • the first control device 31 inputs the image data processed in step S406 into the second machine learning model into the second machine learning model (step S407).
  • the second machine learning model outputs a corresponding operation command corresponding to the processed image data.
  • the corresponding operation command is a command indicating an operation operation to be executed by the robot main body 2 with respect to the operation target area in the state of the processed image data.
  • the process of step S407 is executed by the information processing unit 312 of the first control device 31.
  • the first control device 31 generates an automatic operation command based on the corresponding operation command (step S408). Further, the first control device 31 acquires operation information from the robot main body 2 (step S409). Further, the first control device 31 uses the operation information as feedback information to generate an operation control command corresponding to the automatic operation command and outputs the operation control command to the robot main body 2 (step S410).
  • the first control device 31 determines whether or not all the surgical operations of the robot main body 2 with respect to the surgical target area have been completed (step S411), and if completed (Yes in step S411), performs a series of processes. If it is completed and not completed (No in step S411), the process returns to step S405. For example, the first control device 31 may repeat the series of processes of steps S405 to S411 at predetermined time cycles. As a result, the first control device 31 causes the robot body 2 to perform the surgical operation corresponding to the state of the surgical target area based on the output data of the second machine learning model corresponding to the state of the surgical target area for each predetermined time cycle. Can be executed.
  • FIG. 7 is a flowchart showing an example of an operation of executing the modified automatic operation mode using the automatic operation of the first automatic operation mode of the surgical system 100 according to the embodiment.
  • the surgeon S uses the operation pedal 75 or the like of the operation input device 71 to give an execution command of the modified automatic operation mode in the first automatic operation mode and a target. Enter the surgery information.
  • the execution of the modified automatic operation mode in the first automatic operation mode is the execution of the modified automatic operation mode using the automatic operation of the first automatic operation mode.
  • the second control device 32 receives the command and information and transmits the command and information to the first control device 31 (step S501).
  • the first control device 31 searches for the automatic driving information stored in the storage unit 315, and reads and acquires the automatic driving information corresponding to the information of the target surgery (step S502).
  • the first control device 31 determines the position and range of the surgical target area based on the input to the operation input device 71 by the surgeon S (step S503).
  • the first control device 31 determines whether or not an operation has been input to the operation input device 71 by the operator S (step S504). Specifically, the first control device 31 determines whether or not an operation operation command corresponding to the operation of the operator S has been received from the second control device 32. The first control device 31 proceeds to step S505 when there is an operation input, that is, when an operation operation command is received (Yes in step S504). The first control device 31 proceeds to step S506 when there is no operation input, that is, when the operation operation command is not received (No in step S504).
  • step S505 the first control device 31 generates a manual operation command based on the operation operation command, and proceeds to step S507. That is, the first control device 31 modifies the automatic operation command based on the automatic operation information by replacing it with a manual operation command based on the operation operation command, and generates the corrected operation command.
  • step S506 the first control device 31 generates an automatic operation command using the automatic operation information, and proceeds to step S507.
  • the first control device 31 acquires motion information from the robot body 2 (step S507), uses the motion information as feedback information to generate an motion control command corresponding to the motion command, and outputs the motion control command to the robot body 2 (step S507). Step S508).
  • the first control device 31 determines whether or not the operation control command is a command generated by using the modified operation command (step S509).
  • the first control device 31 proceeds to step S510 when the correction operation command is used (Yes in step S509), and proceeds to step S511 when the correction operation command is not used (No in step S509).
  • step S510 the first control device 31 uses the operation information acquired in step S507 to modify the automatic operation information used by the first control device 31 to generate new automatic operation information. Specifically, the first control device 31 modifies the information corresponding to the above-mentioned operation information in the automatic driving information. The first control device 31 may correct the automatic operation information by using the correction operation command instead of the operation information. For example, the process of step S510 is executed by the information processing unit 312.
  • the first control device 31 determines whether or not all the operations of the robot main body 2 according to the automatic operation information have been completed (step S511), and if completed (Yes in step S511), the first control device 31 proceeds to step S512. If the process is not completed (No in step S511), the process returns to step S504.
  • step S512 the first control device 31 stores the corrected new automatic operation information in the storage unit 315.
  • the process of step S512 is executed by the information processing unit 312.
  • the automatic operation information may be corrected once or more.
  • the corrected new automatic driving information is information that reflects such one or more corrections.
  • the first control device 31 may replace the automatic operation information stored in the storage unit 315 with new automatic operation information, that is, update it. If the automatic operation information is not corrected, the first control device 31 does not store the information in the storage unit 315.
  • the first control device 31 ends a series of processes.
  • the first control device 31 may generate new automatic driving information by using the corrected automatic driving information and the automatic driving information before the correction.
  • the corrected automatic driving information and the automatic driving information before the correction may be generated.
  • New automatic driving information may be generated by combining with the automatic driving information.
  • FIGS. 8 and 9 are flowcharts showing an example of an operation of executing the modified automatic operation mode using the automatic operation of the second automatic operation mode of the surgical system 100 according to the embodiment.
  • the surgeon S uses the operation pedal 75 of the operation input device 71 to command the execution of the modified automatic operation mode in the second automatic operation mode. And the information of the target surgery.
  • the second control device 32 receives the command and information and transmits the command and information to the first control device 31 (step S601).
  • the first control device 31 searches for the first machine learning model stored in the storage unit 315, and reads and acquires the first machine learning model corresponding to the information of the target surgery (step S602).
  • the first control device 31 executes the processes of steps S603 to S606 in the same manner as the processes of steps S303 to S306 in the second automatic operation mode.
  • the first control device 31 determines whether or not the operation is input to the operation input device 71 by the operator S and the operation operation command is received from the second control device 32 (step S607).
  • the first control device 31 proceeds to step S608 when there is an operation input (Yes in step S607), and proceeds to step S609 when there is no operation input (No in step S607).
  • step S608 the first control device 31 generates a manual operation command based on the operation operation command, generates a correction operation command by replacing the automatic operation command based on the corresponding operation command with the manual operation command, and proceeds to step S610. ..
  • step S609 the first control device 31 generates an automatic operation command based on the corresponding operation command, and proceeds to step S610.
  • step S610 the first control device 31 uses the operation information acquired in step S605 as feedback information to generate an operation control command corresponding to the operation command, and outputs the operation control command to the robot main body 2.
  • the first control device 31 determines whether or not the operation control command is a command generated by using the modified operation command (step S611). The first control device 31 proceeds to step S612 when the correction operation command is used (Yes in step S611), and proceeds to step S613 when the correction operation command is not used (No in step S611).
  • step S612 the first control device 31 associates the operation information acquired in step S605 with the modified operation command generated in step S608, and stores it in the storage unit 315 as learning data of the first machine learning model.
  • the process of step S612 is executed by the information processing unit 312.
  • step S613 the first control device 31 determines whether or not all the operations of the robot main body 2 in the modified automatic operation mode have been completed, and if completed (Yes in step S613), in step S614. If the process is not completed (No in step S613), the process returns to step S605.
  • step S614 the first control device 31 causes the first machine learning model to execute machine learning using the learning data stored in the storage unit 315 in step S612.
  • the process of step S614 is executed by the information processing unit 312.
  • the first machine learning model machine learning is performed using motion information as input data and modified motion commands associated with the motion information as teacher data.
  • the first control device 31 may convert the correction operation command into a command in the same format as the corresponding operation command, and the converted command may be used as teacher data.
  • a plurality of combinations of the operation information and the correction operation command may be generated.
  • the first machine learning model performs machine learning using a plurality of combinations.
  • the first control device 31 ends a series of processes.
  • the first control device 31 may execute machine learning every time the automatic operation in the modified automatic operation mode ends as in the above example, and when the automatic operation in the modified automatic operation mode ends a plurality of times, the first control device 31 may execute the machine learning. Machine learning may be performed. Further, the first control device 31 may execute machine learning according to a predetermined time timing such as a predetermined time, a predetermined number of days, a predetermined number of weeks, and a predetermined number of months. By executing machine learning every time the automatic operation in the modified automatic operation mode ends, the output accuracy of the first machine learning model can be improved every time the automatic operation in the modified automatic operation mode ends. This also applies to the modified automatic operation mode using the automatic operation of the third automatic operation mode described below.
  • the first control device 31 and the second control device 32 are the same as the processes of steps S107 to S108 of the manual operation mode.
  • the process of the above may be executed, and the feedback of the operation information from the robot main body 2 may be given to the operation manipulators 72L and 72R.
  • the surgeon S when performing an operation on a patient, uses an operation pedal 75 or the like of the operation input device 71 to give an execution command of the modified automatic operation mode in the third automatic operation mode. And the information of the target surgery.
  • the second control device 32 receives the command and information and transmits the command and information to the first control device 31 (step S701).
  • the first control device 31 searches for the second machine learning model stored in the storage unit 315, and reads and acquires the second machine learning model corresponding to the information of the target surgery (step S702).
  • the first control device 31 executes the processes of steps S703 to S707 in the same manner as the processes of steps S403 to S407 in the third automatic operation mode.
  • the first control device 31 determines whether or not the operation is input to the operation input device 71 by the operator S and the operation operation command is received from the second control device 32 (step S708).
  • the first control device 31 proceeds to step S709 when there is an operation input (Yes in step S708), and proceeds to step S710 when there is no operation input (No in step S708).
  • step S708 the first control device 31 generates a manual operation command as a correction operation command based on the operation operation command, and proceeds to step S711.
  • step S709 the first control device 31 generates an automatic operation command based on the corresponding operation command, and proceeds to step S711.
  • step S711 the first control device 31 acquires operation information from the robot main body 2. Further, in step S712, the first control device 31 uses the operation information as feedback information to generate an operation control command corresponding to the operation command and outputs the operation control command to the robot main body 2.
  • the first control device 31 determines whether or not the operation control command is a command generated by using the modified operation command (step S713).
  • the first control device 31 proceeds to step S714 when the correction operation command is used (Yes in step S713), and proceeds to step S715 when the correction operation command is not used (No in step S713).
  • step S714 the first control device 31 associates the image-processed image data generated in step S706 with the modified operation command generated in step S709, and stores the image data in the storage unit 315 as learning data of the second machine learning model.
  • the process of step S714 is executed by the information processing unit 312.
  • step S715 the first control device 31 determines whether or not all the operations of the robot main body 2 in the modified automatic operation mode have been completed, and if completed (Yes in step S715), in step S716. If the process is not completed (No in step S715), the process returns to step S705.
  • step S716 the first control device 31 causes the second machine learning model to execute machine learning using the learning data stored in the storage unit 315 in step S714.
  • the process of step S716 is executed by the information processing unit 312.
  • the second machine learning model machine learning is performed using image data that has undergone image processing as input data and correction operation commands associated with the image data as teacher data.
  • the first control device 31 may convert the correction operation command into a command in the same format as the corresponding operation command, and the converted command may be used as teacher data.
  • a plurality of combinations of the image data that has undergone image processing and the correction operation command may be generated.
  • the second machine learning model performs machine learning using a plurality of combinations.
  • the first control device 31 ends a series of processes.
  • the first control device 31 and the second control device 32 are the same as the processes of steps S107 to S108 of the manual operation mode.
  • the process of the above may be executed, and the feedback of the operation information from the robot main body 2 may be given to the operation manipulators 72L and 72R.
  • the first machine learning model is composed of a neural network.
  • the first machine learning model uses the motion information of the robot body 2 as input data, and outputs a corresponding motion command indicating a surgical motion to be executed by the robot body 2 in the state of the motion information as output data. Further, in machine learning, the first machine learning model uses the motion information of the robot body 2 as input data for learning, and performs motion correspondence information which is information generated for operating the robot body 2 in the state of the motion information. Use as teacher data.
  • the weights between the nodes of the neural network are weighted by backward calculation so as to match the output data when the input data for training is input to the first machine learning model and the teacher data or to minimize the error. Is adjusted. As a result, the first machine learning model is optimized.
  • the learning data used by the first machine learning model can be various data.
  • the learning data is data related to the operation of the robot body 2 operated by using the operation input device 71.
  • one of the learning data is the operation information and the operation correspondence information of the robot body 2 acquired during the manual operation of the robot body 2 in the manual operation mode.
  • one of the learning data is the operation information and the operation correspondence information of the robot body 2 corresponding to the correction operation applied to the robot body 2 in the correction automatic operation mode using the first automatic operation mode.
  • one of the learning data is the operation information and the operation correspondence information of the robot body 2 corresponding to the correction operation applied to the robot body 2 in the correction automatic operation mode using the second automatic operation mode.
  • the learning data may be the above-mentioned motion information and motion correspondence information acquired in the operation of another robot.
  • the operation correspondence information as described above may be information and a command generated by the first control device 31 and the second control device 32 in response to the input of the operation to the operation input device 71, and may be, for example, the operation operation command. , Manual operation command, correction operation command, etc. may be used.
  • the first machine learning model as described above can be machine-learned using the learning data acquired in the past. Further, the first machine learning model can perform machine learning using the learning data acquired by other robots. Further, the first machine learning model can perform machine learning using the learning data acquired by operating the robot body 2 for actual surgery or the like.
  • the second machine learning model is composed of a neural network.
  • the second machine learning model uses the image data of the operation target area as input data, and outputs the corresponding operation command indicating the operation operation to be executed by the robot main body 2 with respect to the operation target area in the state of the image data as output data. Further, in machine learning, the second machine learning model uses the image data of the operation target area as input data for learning, and corresponds to the image data generated for operating the robot main body 2 with respect to the operation target area of the image data. Information is used as teacher data.
  • the weights between the nodes of the neural network are weighted by backward calculation so as to match the output data when the input data for training is input to the second machine learning model and the teacher data or to minimize the error. Is adjusted. As a result, the second machine learning model is optimized.
  • the image data as the input data is the image data after the image processing by the first control device 31.
  • the neural network so as to include the processing layer of the image processing, it is possible to omit the image processing in the first control device 31.
  • the learning data used by the second machine learning model can be various data.
  • the learning data is data related to the operation of the robot body 2 operated by using the operation input device 71.
  • one of the learning data is the image data of the operation target area and the image data correspondence information acquired during the manual operation of the robot main body 2 in the manual operation mode.
  • one of the learning data is the image data of the operation target area and the image data correspondence information when the correction operation is applied to the robot main body 2 in the correction automatic operation mode using the third automatic operation mode.
  • the learning data may be the above-mentioned image data and image data correspondence information acquired in the operation of another robot.
  • the image data correspondence information as described above may be information and commands generated by the first control device 31 and the second control device 32 in response to the input of the operation to the operation input device 71, and may be the operation input device 71. It may be the operation information of the robot main body 2 that operates in response to the input of the operation to.
  • the above information and commands may be operation operation commands, manual operation commands, correction operation commands, and the like.
  • the second machine learning model as described above can be machine-learned using the learning data acquired in the past. Further, the second machine learning model can perform machine learning using the learning data acquired by another robot. Further, the second machine learning model can perform machine learning using the learning data acquired by operating the robot body 2 for actual surgery or the like.
  • the operation mode of the robot 1 is described as being executed individually, but the present invention is not limited to this.
  • the first control device 31 may sequentially execute a plurality of operation modes for one surgical target portion.
  • the first control device 31 is configured to execute a manual operation mode for controlling the robot 1 according to the manual operation command at least one before and after the automatic operation mode for controlling the robot 1 according to the automatic operation command. May be good.
  • the first control device 31 may be configured to execute the manual operation mode at least one before and after the modified automatic operation mode.
  • the surgical system 100 is configured to include one robot 1 and one console 7, but is not limited thereto.
  • the surgical system 100 may be configured to include one or more robots 1 and one or more consoles 7.
  • the surgical system 100 includes a plurality of robots 1 and a plurality of consoles 7, and the control device 3 is configured to select and connect one of the plurality of robots 1 and one of the plurality of consoles 7.
  • the storage unit 315 may store the combination of the robot 1 and the console 7 during the operation and the execution order of the combinations.
  • the control device 3 may be configured to connect the selected one of the plurality of robots 1 and the selected one of the plurality of consoles 7 according to the combinations stored in the storage unit 315 and the execution order of the combinations. ..
  • control device 3 is configured to receive input of a command for designating the combination of the robot 1 and the console 7 during the operation and the execution order of the combination from at least one of the plurality of consoles 7. May be good. Then, the control device 3 may connect the selected one of the plurality of robots 1 and the selected one of the plurality of consoles 7 according to the above input.
  • an operation mode to be executed may be set for each robot 1.
  • the robot 1 that executes the mode may be set.
  • each robot 1 may be set to perform an operation in its own operation mode and / or an operation suitable for the ability of the operator S to manually operate one operation target portion.
  • the control device 3 may store in the storage unit 315 information on an inaccessible area, which is an area in which the surgical instrument cannot invade in the surgical target area. Then, the control device 3 may control the robot body 2 so that the surgical instrument does not invade the inaccessible area in any operation mode.
  • the three-dimensional position of the intrudable region may be stored in the storage unit 315 in advance.
  • the control device 3 may detect the inaccessible region and further detect the three-dimensional position of the inaccessible region by performing image processing on the image of the surgical target region captured by the endoscopic camera.
  • the technique of the present disclosure may be a control method.
  • the control method according to the present disclosure is a control method for a robot that performs a surgical operation, generates an automatic operation command for causing the robot to automatically perform a surgical operation, and causes the robot to perform a surgical operation according to the automatic operation command.
  • the same effect as that of the surgical system 100 can be obtained.
  • Such a control method may be realized by a circuit such as a CPU and an LSI, an IC card, a single module, or the like.
  • the technique of the present disclosure may be a program for executing the above control method, or may be a non-temporary computer-readable recording medium in which the above program is recorded. Needless to say, the above program can be distributed via a transmission medium such as the Internet.
  • the numbers such as the ordinal number and the quantity used above are all examples for concretely explaining the technology of the present disclosure, and the present disclosure is not limited to the illustrated numbers.
  • the connection relationship between the components is illustrated for the purpose of specifically explaining the technique of the present disclosure, and the connection relationship for realizing the function of the present disclosure is not limited thereto.
  • the division of blocks in the functional block diagram is an example, and even if a plurality of blocks are realized as one block, one block is divided into a plurality of blocks, and / or some functions are transferred to another block. Good.
  • a single piece of hardware or software may process the functions of a plurality of blocks having similar functions in parallel or in a time division manner.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computational Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Urology & Nephrology (AREA)
  • Manipulator (AREA)

Abstract

手術システム（１００）は、手術器具が設けられる器具マニピュレータ（２０ａ）を有するロボット（１）と、前記ロボットを制御する制御装置（３）と、指令の入力を受け付け前記制御装置に出力する操作入力装置（７１）とを備え、前記制御装置は、前記ロボットに自動で手術動作をさせるための自動動作指令を生成し、前記自動動作指令に従って前記ロボットの手術動作を制御する動作処理部（３１１～３１４）を含む。

Description

手術システム及び制御方法 関連出願への相互参照
　本件出願は、２０１９年１１月７日に日本特許庁に出願された特願２０１９－２０２７６２号の優先権を主張するものであり、その全体を参照することにより本件出願の一部となすものとして引用する。
　本開示は、手術システム及び制御方法に関する。
　従来から、外科手術を支援するためにロボットが用いられている。例えば、特許文献１は、手術器具が器具マニピュレータアームの遠位端に設けられる器具マニピュレータを備える外科手術システムを開示している。この外科手術システムは、外科医の指令を受け付ける操作具が受け付けた手術器具の並進量及び回転量に所定の倍率値を乗算した実並進量及び実回転量に対応して、手術器具を動作させる。並進量の倍率値と回転量の倍率値とは異なる。
特開２０１９－１８８０３８号公報
　特許文献１に示されるように、従来、外科手術を支援するロボットは、外科医等の術者により操作具に入力される操作に対応する動作を行うように構成される。このため、施術結果は、ロボットの術者の施術能力又はロボットを操作する能力に大きく依存する。
　本開示は、ロボットを使用した効率的な手術を可能にする手術システム及び制御方法を提供することを目的とする。
　上記目的を達成するために、本開示の一態様に係る手術システムは、手術器具が設けられる器具マニピュレータを有するロボットと、前記ロボットを制御する制御装置と、指令の入力を受け付け前記制御装置に出力する操作入力装置とを備え、前記制御装置は、前記ロボットに自動で手術動作をさせるための自動動作指令を生成し、前記自動動作指令に従って前記ロボットの手術動作を制御する動作処理部を含む。
　本開示の技術によれば、ロボットを使用した効率的な手術が可能になる。
図１は、実施の形態に係る手術システムの構成の一例を示す図である。 図２は、実施の形態に係る制御装置の機能的な構成の一例を示すブロック図である。 図３は、実施の形態に係る手術システムの手動運転モードを実行する動作の一例を示すフローチャートである。 図４は、実施の形態に係る手術システムの第１自動運転モードを実行する動作の一例を示すフローチャートである。 図５は、実施の形態に係る手術システムの第２自動運転モードを実行する動作の一例を示すフローチャートである。 図６は、実施の形態に係る手術システムの第３自動運転モードを実行する動作の一例を示すフローチャートである。 図７は、実施の形態に係る手術システムの第１自動運転モードの自動運転を用いた修正自動運転モードを実行する動作の一例を示すフローチャートである。 図８は、実施の形態に係る手術システムの第２自動運転モードの自動運転を用いた修正自動運転モードを実行する動作の一例を示すフローチャートである。 図９は、実施の形態に係る手術システムの第２自動運転モードの自動運転を用いた修正自動運転モードを実行する動作の一例を示すフローチャートである。 図１０は、実施の形態に係る手術システムの第３自動運転モードの自動運転を用いた修正自動運転モードを実行する動作の一例を示すフローチャートである。 図１１は、実施の形態に係る手術システムの第３自動運転モードの自動運転を用いた修正自動運転モードを実行する動作の一例を示すフローチャートである。
　まず、本開示の各態様例を説明する。本開示の一態様に係る手術システムは、手術器具が設けられる器具マニピュレータを有するロボットと、前記ロボットを制御する制御装置と、指令の入力を受け付け前記制御装置に出力する操作入力装置とを備え、前記制御装置は、前記ロボットに自動で手術動作をさせるための自動動作指令を生成し、前記自動動作指令に従って前記ロボットの手術動作を制御する動作処理部を含む。上記態様によると、ロボットの手術動作が自動化されるため、ロボットを使用した効率的な手術が可能になる。
　本開示の一態様に係る手術システムにおいて、前記制御装置は、前記ロボットに自動で所定の手術動作をさせるための情報である自動運転情報を記憶する記憶部をさらに含み、前記動作処理部は、前記自動運転情報に従って前記自動動作指令を生成してもよい。上記態様によると、予め記憶部に記憶された自動運転情報に従った動作である自動動作をロボットにさせることで、ロボットの手術動作の自動化が可能になる。
　本開示の一態様に係る手術システムにおいて、前記動作処理部は、前記自動動作指令に従って自動で手術動作をしている前記ロボットの動作を修正するための操作情報である修正操作情報を、前記操作入力装置から受け付け、前記自動動作指令に従った動作から修正された動作である修正動作を行うように前記ロボットを制御し、前記ロボットが前記修正動作を行うための情報を前記自動運転情報として前記記憶部に記憶させてもよい。上記態様によると、術者の操作により、予め記憶部に記憶された自動運転情報に従った自動動作を修正することで、術者の手術技術が反映されたより適切な自動運転情報を生成することができる。よって、手術システムへの術者の技能伝承が可能になる。
　本開示の一態様に係る手術システムにおいて、前記動作処理部は、前記記憶部に記憶された最新の前記自動運転情報を用いて生成された前記自動動作指令に従って前記ロボットの手術動作を制御してもよい。上記態様によると、術者は、自動運転情報に従ったロボットの自動動作の修正を繰り返していくに従い、術者の目的とする手術動作にロボットの自動動作を近づけることができる。
　本開示の一態様に係る手術システムにおいて、前記記憶部には複数の前記自動運転情報が記憶されており、前記動作処理部は、前記記憶部に記憶された前記複数の自動運転情報の中から、前記自動動作指令の生成に用いる前記自動運転情報を決定してもよい。上記態様によると、手術動作に対応して適切な自動運転情報が選択され得るため、適切な自動動作をロボットに実行させることができる。
　本開示の一態様に係る手術システムにおいて、前記記憶部には複数の前記自動運転情報が記憶されており、前記動作処理部は、前記記憶部に記憶された前記複数の自動運転情報を用いて、新たな自動運転情報を生成してもよい。上記態様によると、例えば、複数の自動運転情報の長所を強調し且つ複数の自動運転情報の短所を補った新たな自動運転情報の生成が可能になる。よって、目的とする手術動作の実現により近い自動運転情報の生成が可能になる。
　本開示の一態様に係る手術システムにおいて、前記制御装置は、第１機械学習モデルと、前記ロボットの動作情報と、前記ロボットの手動動作又は前記ロボットの自動動作に対して行われた修正動作を示す第１情報とを記憶する記憶部とをさらに含み、前記第１機械学習モデルは、前記動作情報と、前記動作情報に対応する前記第１情報とを用いて機械学習し、学習後の前記第１機械学習モデルは、前記動作情報を入力データとし且つ前記動作情報に対応する対応動作指令を出力データとし、前記動作処理部は、前記第１機械学習モデルの前記対応動作指令に基づき前記自動動作指令を生成してもよい。
　上記態様によると、第１機械学習モデルは、ロボットの動作情報の入力を受けると、当該動作情報のロボットに対する次の自動動作指令を生成するために、対応動作指令を出力する。よって、手術システムは、ロボットの動作情報に基づき、当該動作情報のロボットが次に実行する動作を決定し、ロボットに自動動作させる。第１機械学習モデルの機械学習を進めることによって、第１機械学習モデルの出力データの精度、つまり、ロボットが次に実行する動作の精度が向上する。また、第１情報は、術者によって操作されるロボットの動作を示す。このため、第１機械学習モデルは、第１情報を用いた機械学習を行うことで術者の手術技術を学習し、学習後の第１機械学習モデルは、学習した様々な手術技術に基づく最適な出力データを出力することができる。よって、手術システムへの術者の技能伝承が可能になる。
　本開示の一態様に係る手術システムにおいて、前記制御装置は、第２機械学習モデルと、前記ロボットの手術動作での処理の対象部分の画像データと、前記画像データの前記対象部分に対する前記ロボットの動作を示す第２情報とを記憶する記憶部とをさらに含み、前記第２機械学習モデルは、前記対象部分の画像データと、前記画像データの前記対象部分に対する前記第２情報とを用いて機械学習し、学習後の前記第２機械学習モデルは、前記画像データを入力データとし且つ前記画像データに対応する対応動作指令を出力データとし、前記動作処理部は、前記第２機械学習モデルの前記対応動作指令に基づき前記自動動作指令を生成してもよい。
　上記態様によると、第２機械学習モデルは、対象部分の画像データの入力を受けると、当該画像データの対象部分に対するロボットへの次の自動動作指令を生成するために、対応動作指令を出力する。よって、手術システムは、対象部分の画像データに基づき、当該画像データの状態の対象部分に対してロボットが次に実行する動作を決定し、ロボットに自動動作させる。第２機械学習モデルの機械学習を進めることによって、第２機械学習モデルの出力データの精度、つまり、ロボットが次に実行する動作の精度が向上する。また、第２情報は、術者によって操作されるロボットの動作を示す。このため、第２機械学習モデルは、第２情報を用いた機械学習を行うことで術者の手術技術及び画像の識別技術を学習し、学習後の第２機械学習モデルは、学習した様々な手術技術及び画像の識別技術に基づく最適な出力データを出力することができる。よって、手術システムへの術者の技能伝承が可能になる。
　本開示の一態様に係る手術システムは、内視鏡カメラが設けられる内視鏡マニピュレータを前記ロボットにさらに備え、前記第２機械学習モデルは、前記内視鏡カメラによって撮像された画像データを、前記対象部分の画像データとして用いてもよい。上記態様によると、ロボットの手術動作での処理の対象部分の画像データの取得に、内視鏡カメラを利用することができるため、新たなカメラを設ける必要がない。
　本開示の一態様に係る手術システムにおいて、前記動作処理部は、前記ロボットが自動で手術動作をする起点及び終点を指定するための指令の入力を、前記操作入力装置から受け付け、前記起点と前記終点との間の部位を前記ロボットに自動で手術動作をさせてもよい。上記態様によると、起点及び終点が術者によって指定されるため、起点及び終点の決定処理が簡易であり、且つ、決定された起点及び終点の位置の精度が高い。
　本開示の一態様に係る手術システムは、手術対象領域を撮像するカメラをさらに備え、前記制御装置は、前記カメラによって撮像された前記手術対象領域の画像を処理することで、前記手術対象領域を特定する画像処理部と、前記画像処理部によって特定された前記手術対象領域における手術動作の起点及び終点を決定する決定部とを含み、前記動作処理部は、前記起点と前記終点との間の部位を前記ロボットに自動で手術動作をさせてもよい。上記態様によると、起点及び終点の決定の手順の自動化が可能になる。
　本開示の一態様に係る手術システムにおいて、前記動作処理部は、前記ロボットを手動操作により手術動作をさせるための操作情報である手動操作情報を、前記操作入力装置から受け付け、前記手動操作情報に従って前記ロボットを動作させるための手動動作指令を生成し、前記手動動作指令に従って前記ロボットの手術動作を制御し、前記自動動作指令に従った前記ロボットの制御の前及び後の少なくとも一方において、前記手動操作情報を受け付け、前記手動動作指令に従った前記ロボットの制御を行ってもよい。上記態様によると、１つの手術対象部分に対して、手動動作指令に従ったロボットの動作である手動動作での処置と、ロボットの自動動作での処置とを施すことが可能である。例えば、ロボットの手動動作及び自動動作のそれぞれに適した処置を、手術対象部分に施すことが可能になる。
　本開示の一態様に係る手術システムは、複数の前記操作入力装置を備え、前記動作処理部は、前記複数の操作入力装置のうちの選択された１つの前記操作入力装置から、前記ロボットを手動操作により手術動作をさせるための操作情報である手動操作情報を受け付け、前記手動操作情報に従って前記ロボットを動作させるための手動動作指令を生成し、前記手動動作指令に従って前記ロボットの手術動作を制御してもよい。上記態様によると、複数の操作入力装置のうちの選択された１つを用いたロボットの手動動作が実行される。
　本開示の一態様に係る手術システムは、複数の前記ロボットと、複数の前記操作入力装置とを備え、前記制御装置は、前記複数のロボットの１つと前記複数の操作入力装置の１つとを選択して接続する接続制御部と、手術中における前記ロボットと前記操作入力装置との組み合わせと、前記組み合わせの実行順序とを記憶する記憶部とをさらに含み、前記接続制御部は、前記記憶部に記憶された前記組み合わせ及び前記組み合わせの実行順序に従って、前記複数のロボットの選択された１つと前記複数の操作入力装置の選択された１つとを接続してもよい。上記態様によると、１つの手術対象部分に対して、ロボット及び操作入力装置の複数の組み合わせを用い且つ組み合わせの実行順序に従って、手術動作を行うことが可能になる。よって、各組み合わせに当該組み合わせに適した手術動作を自動的に担当させることができ、それにより、適切な手術の実行が可能になる。
　本開示の一態様に係る手術システムは、複数の前記ロボットと、複数の前記操作入力装置とを備え、前記制御装置は、前記複数のロボットの１つと前記複数の操作入力装置の１つとを選択して接続する接続制御部をさらに含み、前記接続制御部は、手術中における前記ロボットと前記操作入力装置との組み合わせと、前記組み合わせの実行順序とを指定するための指令の入力を、前記複数の操作入力装置の少なくとも１つから受け付け、前記複数のロボットの選択された１つと前記複数の操作入力装置の選択された１つとを接続してもよい。上記態様によると、１つの手術対象部分に対して、ロボット及び操作入力装置の複数の組み合わせを用い且つ組み合わせの実行順序に従って、手術動作を行うことが可能になる。操作入力装置を用いた組み合わせ及び実行順序の決定が可能である。よって、術者によるみ合わせ及び実行順序の決定及び変更が可能になる。
　本開示の一態様に係る制御方法は、手術動作を行うロボットの制御方法であって、前記ロボットに自動で手術動作をさせるための自動動作指令を生成し、前記自動動作指令に従って前記ロボットに手術動作をさせる。上記態様によると、本開示の一態様に係る手術システムと同様の効果が得られる。
　本開示の一態様に係る制御方法において、記憶部に記憶され且つ前記ロボットに自動で所定の手術動作をさせるための情報である自動運転情報に従って前記自動動作指令を生成してもよい。
　本開示の一態様に係る制御方法において、前記自動動作指令に従って自動で手術動作をしている前記ロボットの動作を修正するための操作情報である修正操作情報を、操作入力装置から受け付け、受け付けた前記修正操作情報に基づき、前記自動動作指令に従った動作から修正された動作である修正動作を行うように前記ロボットに動作させ、前記ロボットが前記修正動作を行うための情報を前記自動運転情報として前記記憶部に記憶させてもよい。
　本開示の一態様に係る制御方法において、第１機械学習モデルに、前記ロボットの動作情報を入力データとして入力させ、前記ロボットの対応動作指令を出力データとして出力させ、前記対応動作指令に基づき、前記自動動作指令を生成し、前記第１機械学習モデルに、操作入力装置を用いて前記ロボットの手動動作又は前記ロボットの自動動作に対して行われた修正動作を示す第１情報と、前記第１情報に対応する前記動作情報とを用いて機械学習させ、前記第１機械学習モデルによって出力される前記対応動作指令は、前記ロボットの動作情報に対応する指令であってもよい。
　本開示の一態様に係る制御方法において、第２機械学習モデルに、前記ロボットの手術動作での処理の対象部分の画像データを入力データとして入力させ、前記ロボットの対応動作指令を出力データとして出力させ、前記対応動作指令に基づき、前記自動動作指令を生成し、前記第２機械学習モデルに、前記対象部分の画像データと、前記画像データの前記対象部分に対する前記ロボットの動作を示す第２情報とを用いて機械学習させ、前記第２機械学習モデルによって出力される前記対応動作指令は、前記ロボットの動作情報に対応する指令であってもよい。
　以下において、本開示の実施の形態を、図面を参照しつつ説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、添付の図面における各図は、模式的な図であり、必ずしも厳密に図示されたものでない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。また、本明細書及び請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
　［手術システムの構成］
　実施の形態に係る手術システム１００の構成を説明する。図１は、実施の形態に係る手術システム１００の構成の一例を示す図である。図１に示すように、手術システム１００は、ロボット１と、コンソール７と、制御装置３とを備える。制御装置３は、第１制御装置３１及び第２制御装置３２を含む。本実施の形態では、ロボット１は、腹腔鏡下手術を行うロボットであるが、いかなる手術を行うロボットであってもよく、例えば、それぞれに手術器具を備える複数のアームを備える型式等のいかなる型式のロボットであってもよい。
　本実施の形態では、手術システム１００は、マスタースレーブ方式のロボット１を利用したシステムである。コンソール７はマスター機を構成し、ロボット１はスレーブ機を構成する。手術システム１００では、外科医等の術者Ｓはコンソール７の操作入力装置７１を操作し動作させて操作入力装置７１に指令を入力し、ロボット１は当該指令に対応した動作を行い、手術動作を行うことができる。また、手術システム１００では、ロボット１は、術者Ｓによる操作入力装置７１を用いた操作を受けずに、所定の手術動作を自動で行うこともできる。
　本実施の形態では、手術システム１００は、ロボット１に「手動運転モード」、「自動運転モード」及び「修正自動運転モード」での手術動作を実行させることができる。「手動運転モード」、「自動運転モード」及び「修正自動運転モード」は、ロボット１に手術動作を教える教示（「ティーチング」とも呼ばれる）動作を含まないものとする。
　手動運転モードは、操作入力装置７１を介して入力された指令に従って、ロボット１を動作させる運転モードである。例えば、ロボット１は、術者Ｓによって操作入力装置７１に入力される操作である手動操作に従った動作、つまり、当該手動操作をトレースした動作を実行する。ロボット１は、術者Ｓによって手動運転される。
　自動運転モードは、予め設定されたタスクプログラムに従ってロボット１を動作させる運転モードである。ロボット１は、そのタスクプログラムに従って自動で所定の手術動作を実行する自動運転をする。所定の手術動作の例は、切開、縫合、切削、切除、及び組織片の採取等である。自動運転モードは、ロボット１の自動運転中、操作入力装置７１の操作がロボット１の動作に反映されないという点で、後述する修正自動運転モードと区別される。
　さらに、自動運転モードは、３つの運転モードを含む。第１自動運転モードは、教示情報等の予め設定された情報である自動運転情報に従って、ロボット１に自動で手術動作をさせる運転モードである。自動運転情報は、修正自動運転モードの実行により、新たな自動運転情報に更新される場合がある。つまり、最新の自動運転情報が生成される。
　第２自動運転モードは、第１機械学習モデルが出力する指令である対応動作指令に従って、ロボット１に自動で手術動作をさせる運転モードである。第１機械学習モデルは、操作入力装置７１を用いて行われた手動運転でのロボット１の手動動作又はロボット１の自動運転中の動作に対して操作入力装置７１を用いて修正された動作を示す第１情報と、第１情報に対応するロボット１の動作情報とを用いて機械学習する。さらに、学習後の第１機械学習モデルは、ロボット１の動作情報を入力データとし且つ当該動作情報に対応する対応動作指令を出力データとする。
　第３自動運転モードは、第２機械学習モデルが出力する対応動作指令に従って、ロボット１に自動で手術動作をさせる運転モードである。第２機械学習モデルは、ロボット１の手術動作での処理の対象部分の画像データと、当該画像データの対象部分に対するロボット１の動作情報とを用いて機械学習する。さらに、学習後の第２機械学習モデルは、対象部分の画像データを入力データとし、対応動作指令を出力データとする。
　修正自動運転モードは、ロボット１が自動で手術動作をしている途中に、操作入力装置７１に入力される操作をロボット１の自動動作に反映させて、自動で行うことになっていた動作を修正する運転モードである。つまり、ロボット１は、操作入力装置７１を介して入力される指令を反映可能な状態で、自動運転する。よって、修正自動運転モードでは、自動で手術動作をしているロボット１の動作を修正することができる。修正自動運転モードは、修正対象の自動運転として、第１自動運転モードの自動運転が用いられるケースと、第２自動運転モードの自動運転が用いられるケースと、第３自動運転モードの自動運転が用いられるケースとを含む。
　なお、手術システム１００は、上記運転モードの全てを実行できるように構成されてもよく、一部のみを実行できるように構成されてもよい。例えば、後者の場合、手術システム１００は、手動運転モードと、第１～第３自動運転モードの１つと、当該自動運転モードを用いた修正自働運転モードとを実行できるように構成されてもよい。
　［ロボットの構成］
　ロボット１の構成の一例を説明する。なお、ロボット１の構成は、以下に説明する構成に限定されず、手術動作を行うことができる構成であればよい。図１に示すように、ロボット１は、手術システム１００と患者Ｐとのインタフェースを構成する。例えば、ロボット１は、滅菌野である手術室内において患者Ｐが横たわる手術台の傍らに配置される。ロボット１は、ロボット本体２と第１制御装置３１とを備える。ロボット本体２は、複数の手術マニピュレータ２０と、単一のエントリーガイド９と、患者Ｐに対して手術マニピュレータ２０及びエントリーガイド９を位置決めするポジショナ１０とを含む。
　エントリーガイド９は、患者Ｐの体表に留置されたカニューレ（図示略）に取り付けられる。エントリーガイド９は、複数の手術マニピュレータ２０を案内する部材であり、複数の手術マニピュレータ２０はエントリーガイド９の孔を通る。ポジショナ１０は、水平多関節型マニピュレータ１２と、支持部材１２ｂと、垂直多関節型マニピュレータ１３と、支持フレーム１４とを含む。水平多関節型マニピュレータ１２は台車１１に支持される。支持部材１２ｂは、台車１１を起点とした水平多関節型マニピュレータ１２の遠位端部に設けられる。垂直多関節型マニピュレータ１３は、支持部材１２ｂを介して水平多関節型マニピュレータ１２に支持される。支持フレーム１４は、支持部材１２ｂを起点とした垂直多関節型マニピュレータ１３の遠位端部に設けられる。なお、ポジショナ１０の構成は、上記構成に限定されず、エントリーガイド９を目標位置（姿勢を含む）へ精度よく位置決めできる構成であればよい。
　支持フレーム１４は、間隔をあけて互いに対向する対向部１４ａ及び１４ｂを含む。エントリーガイド９は対向部１４ｂに配置され支持される。複数の手術マニピュレータ２０を纏めて支持する支持ブロック１５が、対向部１４ａに配置され支持される。複数の手術マニピュレータ２０は対向部１４ａ及び１４ｂの間に位置する。複数の手術マニピュレータ２０は、手術器具（図示略）を有する器具マニピュレータ２０ａ（図２参照）と、内視鏡カメラ（図示略）を有する内視鏡マニピュレータ２０ｂ（図２参照）とを含む。
　手術器具は、患者Ｐの腹腔における手術部位に挿入され、手術部位における目標組織の所望の処理又は医療機能を実行するために腹腔の外側から駆動可能な実際の被操作部を意味する。例えば、手術器具は、一対のジョウを備える。手術器具は、鉗子、把持器、鋏、ステープラ、針保持器、及び電気メス等の外科器具であってもよい。また、手術器具は、電子外科電極、トランスデューサ、センサ等の電気的に駆動される機器であってもよい。また、手術器具は、吸入、ガス注入、洗浄、処理流体、アクセサリ導入、生検摘出などのための流体を供給するノズルであってもよい。また、例えば、内視鏡カメラの構成は、対物レンズ及びライトガイド等を含む構成であってもよい。
　［第１制御装置の構成］
　第１制御装置３１は、ロボット本体２全体の動作を制御する。例えば、第１制御装置３１は、コンピュータ装置である。図１に示すように、第１制御装置３１は、コンソール７と通信可能に接続されている。第１制御装置３１は、コンソール７が受け付けた指令に応答してロボット本体２を各運転モードで動作させる。第１制御装置３１は、コンソール７で内視鏡カメラの内視鏡画像を表示すること、及び、コンソール７にロボット本体２の動作に対応した動作を行わせること等のために、コンソール７に情報を送信する。
　第１制御装置３１は、エントリーガイド９を所定の位置及び姿勢に位置決めするように、ポジショナ１０の動作を制御するポジショナ制御機能を有する。ポジショナ１０の水平多関節型マニピュレータ１２及び垂直多関節型マニピュレータ１３は、各関節に駆動装置を備える。各駆動装置は、関節を駆動する電気モータの一例であるサーボモータと、関節の回転量を検出するエンコーダ等の回転センサと、サーボモータの駆動電流を検出する電流センサと、サーボモータの駆動力を関節へ伝達する減速機等の動力伝達機構とを含む（いずれも図示略）が、全てが必須ではない。
　第１制御装置３１は、各器具マニピュレータ２０ａの動作を制御する手術器具制御機能を有する。第１制御装置３１は、手術器具の動作を制御する機能と、手術器具を指令と対応する位置及び姿勢とさせるように器具マニピュレータ２０ａの動作を制御する機能とを有する。各器具マニピュレータ２０ａは複数の関節を含み、各関節に駆動装置を備える。各駆動装置は、関節を駆動する電気モータの一例であるサーボモータと、関節の回転量を検出するエンコーダ等の回転センサと、サーボモータの駆動電流を検出する電流センサと、サーボモータの駆動力を関節へ伝達する減速機等の動力伝達機構とを含む（いずれも図示略）が、全てが必須ではない。
　第１制御装置３１は、内視鏡マニピュレータ２０ｂの動作を制御する内視鏡制御機能を有する。第１制御装置３１は、内視鏡カメラの動作を制御する機能と、内視鏡カメラを指令と対応する位置及び姿勢とさせるように内視鏡マニピュレータ２０ｂの動作を制御する機能とを有する。内視鏡マニピュレータ２０ｂは複数の関節を含み、各関節に駆動装置を備える。各駆動装置は、関節を駆動するサーボモータ等の電気モータと、関節の回転量を検出するエンコーダ等の回転センサと、サーボモータの駆動電流を検出する電流センサと、サーボモータの駆動力を関節へ伝達する減速機等の動力伝達機構とを含む（いずれも図示略）が、全てが必須ではない。
　第１制御装置３１は、プロセッサ及びメモリ等を有する演算器で構成される。演算器は、コンソール７を含む他の装置との情報、データ及び指令等の送受信を行う。演算器は、各種センサからの検出信号の入力及び各制御対象への制御信号の出力を行う。メモリは、揮発性メモリ及び不揮発性メモリなどの半導体メモリ、ハードディスク及びＳＳＤ（Solid State Drive）等の記憶装置で構成される。例えば、メモリは、演算器が実行するプログラム、及び各種固定データ等を記憶する。
　演算器の機能は、ＣＰＵ（Central Processing Unit）などのプロセッサ、ＲＡＭ（Random Access Memory）などの揮発性メモリ及びＲＯＭ（Read-Only Memory）などの不揮発性メモリ等からなるコンピュータシステム（図示略）により実現されてもよい。演算器の機能の一部又は全部は、ＣＰＵがＲＡＭをワークエリアとして用いてＲＯＭに記録されたプログラムを実行することによって実現されてもよい。なお、演算器の機能の一部又は全部は、上記コンピュータシステムにより実現されてもよく、電子回路又は集積回路等の専用のハードウェア回路により実現されてもよく、上記コンピュータシステム及びハードウェア回路の組み合わせにより実現されてもよい。なお、第１制御装置３１は単一のコンピュータ装置による集中制御により各処理を実行してもよく、複数のコンピュータ装置の協働による分散制御により各処理を実行してもよい。
　また、第１制御装置３１は、例えば、マイクロコントローラ、ＭＰＵ（Micro Processing Unit）、ＬＳＩ（Large Scale Integration：大規模集積回路）、システムＬＳＩ、ＰＬＣ（Programmable Logic Controller）、論理回路等で構成されてもよい。第１制御装置３１の複数の機能は、個別に１チップ化されることで実現されてもよく、一部又は全てを含むように１チップ化されることで実現されてもよい。また、回路はそれぞれ、汎用的な回路でもよく、専用の回路でもよい。ＬＳＩとして、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、ＬＳＩ内部の回路セルの接続及び／又は設定を再構成可能なリコンフィギュラブルプロセッサ、又は、特定用途向けに複数の機能の回路が１つにまとめられたＡＳＩＣ（Application Specific Integrated Circuit）等が利用されてもよい。
　［コンソールの構成］
　コンソール７の構成を説明する。図１に示すように、コンソール７は、手術システム１００と術者Ｓとのインタフェースを構成し、ロボット本体２を操作するための装置である。コンソール７は、手術室内において手術台の傍らに又は手術台から離れて、或いは、手術室外に設置される。
　コンソール７は、術者Ｓからの指令の入力を受け付けるための操作入力装置７１と、内視鏡カメラで撮像された画像を表示するディスプレイ装置７３と、第２制御装置３２とを含む。操作入力装置７１は、左右一対の操作マニピュレータ７２Ｌ及び７２Ｒと操作用ペダル７５とを含む。操作マニピュレータ７２Ｌ及び７２Ｒは、ロボット本体２を手動操作するために用いられる装置である。第２制御装置３２は、第１制御装置３１と同様に、コンピュータ装置等で構成されてよい。
　操作マニピュレータ７２Ｌ及び７２Ｒはそれぞれ、遠位端部に操作部（図示略）を有し、術者Ｓからの操作力を操作部に受けるように構成されている。本実施の形態では、操作マニピュレータ７２Ｌ及び７２Ｒは、内視鏡カメラ及び手術器具の位置及び姿勢の移動指令等を受け付ける操作具である。操作用ペダル７５は、例えば、内視鏡カメラのズーム、制御モードの切り替え、運転モードの切り替え、操作マニピュレータ７２Ｌ及び７２Ｒと対応付けられる器具マニピュレータの切り替え等の指令を受け付ける操作具である。操作入力装置７１は、手術器具の体腔挿入指令の入力を受け付ける操作具、マニピュレータ復帰指令の入力を受け付ける操作具等をさらに含む。これらの操作具は、操作マニピュレータ７２Ｌ及び７２Ｒと操作用ペダル７５とのうちの一方によって兼用されてもよく、レバー、ボタン、タッチパネル、ジョイスティック、モーションキャプチャ等の公知の追加の操作具が設けられることによって実現されてもよい。操作入力装置７１は、術者Ｓの操作力に対する反力を操作部に与えるための駆動機構（図示略）を有していてもよい。
　ロボット本体２の手動操作の際、術者Ｓは、ディスプレイ装置７３に表示される内視鏡画像で患部を確認しながら、操作マニピュレータ７２Ｌ及び７２Ｒの操作部を直接的に動かすことによって、ロボット本体２のマニピュレータのエンドエフェクタの移動を指令する。ロボット本体２の上記マニピュレータは、例えば、操作用ペダル７５の操作によって操作マニピュレータ７２Ｌ及び７２Ｒと対応づけられた器具マニピュレータ２０ａ又は内視鏡マニピュレータ２０ｂであり、エンドエフェクタは、手術器具又は内視鏡カメラである。
　［第２制御装置の構成］
　第２制御装置３２は、コンソール７全体の動作を制御する。例えば、第２制御装置３２は、第１制御装置３１と同様に、コンピュータ装置である。図１に示すように、第２制御装置３２は、第１制御装置３１と通信可能に接続されている。例えば、第２制御装置３２は、操作入力装置７１において受け付けられた情報及び指令等を、第１制御装置３１に送信する。また、第２制御装置３２は、第１制御装置３１から受け取る情報、データ及び指令等に基づき、操作マニピュレータ７２Ｌ及び７２Ｒ等に行わせる動作、及びディスプレイ装置７３の画像表示動作等を制御する。第２制御装置３２の機能の一部又は全部は、ＣＰＵ、ＲＡＭ及びＲＯＭ等からなるコンピュータシステム（図示略）により実現されてもよく、電子回路又は集積回路等の専用のハードウェア回路により実現されてもよく、上記コンピュータシステム及びハードウェア回路の組み合わせにより実現されてもよい。なお、第２制御装置３２は単一のコンピュータ装置による集中制御により各処理を実行してもよく、複数のコンピュータ装置の協働による分散制御により各処理を実行してもよい。第２制御装置３２及び第１制御装置３１は、単一のコンピュータ装置に含まれてもよい。
　第２制御装置３２の機能的構成を説明する。図２は、実施の形態に係る制御装置３の機能的な構成の一例を示すブロック図である。図２に示すように、第２制御装置３２は、画像処理部３２１と、入力処理部３２２と、動作指令生成部３２３と、位置指令生成部３２４と、動作制御部３２５とを機能的構成要素として含む。上記機能的構成要素の機能は、プロセッサ等によって実現される。なお、上記機能的構成要素の全てが必須ではない。
　画像処理部３２１は、内視鏡カメラによって撮像された画像データを第１制御装置３１から受け取り、当該画像データをディスプレイ装置７３に出力し表示させる。画像処理部３２１は、画像データに変換処理等を加えてディスプレイ装置７３に出力してもよい。
　入力処理部３２２は、操作マニピュレータ７２Ｌ及び７２Ｒの各関節に設けられた回転センサの検出値から各関節の回転量を検出し、各関節の回転量から操作部の位置及び速度（移動速度）を検出する。動作指令生成部３２３は、入力処理部３２２によって検出された操作部の位置及び速度に基づき、ロボット本体２のマニピュレータに対する位置及び速度等を指令する移動指令を生成する。なお、操作マニピュレータ７２Ｌ及び７２Ｒに加えられる力を検出する力センサが設けられ、入力処理部３２２は、力センサの検出値から力の大きさ及び方向等の力の検出値を検出し、動作指令生成部３２３は、力の検出値に基づき、ロボット本体２のマニピュレータが対象物に加える力の大きさ及び方向等を指令する力指令を生成してもよい。動作指令生成部３２３は、力の検出値に対応する加速度を用いて移動指令を生成してもよい。動作指令生成部３２３は、上記移動指令及び上記力指令等を含む操作動作指令を第１制御装置３１に送信する。
　位置指令生成部３２４は、第１制御装置３１から位置指令を受け取る。位置指令は、ロボット本体２のマニピュレータの位置及び姿勢等の指令を含み、例えば、マニピュレータの各関節の位置及び姿勢等の指令を含む。位置指令生成部３２４は、受け取った位置指令と移動指令とに基づき、操作マニピュレータ７２Ｌ及び７２Ｒの操作部の位置及び姿勢がロボット本体２のマニピュレータのエンドエフェクタと対応するように、操作マニピュレータ７２Ｌ及び７２Ｒの操作部の位置及び姿勢等を指令する操作位置指令を生成する。操作位置指令は、操作マニピュレータ７２Ｌ及び７２Ｒの操作部に与える反力を含んでもよい。位置指令生成部３２４は、操作マニピュレータ７２Ｌ及び７２Ｒの各関節に設けられた回転センサの検出値から各関節の位置を検出する。動作制御部３２５は、操作位置指令と操作マニピュレータ７２Ｌ及び７２Ｒの各関節の位置とから各関節の駆動トルクを決定し、対応する関節のサーボモータに駆動トルクに対応する電流を供給する。その結果、操作マニピュレータ７２Ｌ及び７２Ｒの操作部の位置及び姿勢がロボット本体２のマニピュレータのエンドエフェクタの位置及び姿勢と対応して移動する。
　［第１制御装置の機能的構成］
　第１制御装置３１の機能的構成を説明する。図２に示すように、第１制御装置３１は、画像取得部３１１と、情報処理部３１２と、動作指令生成部３１３と、動作制御部３１４と、記憶部３１５とを機能的構成要素として含む。記憶部３１５を除く機能的構成要素の機能はプロセッサ等によって実現され、記憶部３１５の機能はメモリによって実現される。なお、上記機能的構成要素の全てが必須ではない。画像取得部３１１、情報処理部３１２、動作指令生成部３１３及び動作制御部３１４は、動作処理部の一例である。
　記憶部３１５は、種々の情報の格納つまり記憶することができ、且つ、格納した情報の読み出しを可能にする。例えば、記憶部３１５は、教示情報等の自動運転情報を記憶することができる。記憶部３１５は、第１機械学習モデルと、第１機械学習モデルが学習に使用するために蓄積された学習データである第１学習データとを記憶することができる。記憶部３１５は、第２機械学習モデルと、第２機械学習モデルが学習に使用するために蓄積された学習データである第２学習データとを記憶することができる。
　ここで、第１機械学習モデル及び第２機械学習モデルは、機械学習するモデルであり、学習データを用いて学習することによって、入力データに対する出力データの精度を向上する。第１機械学習モデル及び第２機械学習モデルは、ニューラルネットワーク（Neural Network）、Random Forest、Genetic Programming、回帰モデル、木モデル、ベイズモデル、時系列モデル、クラスタリングモデル、アンサンブル学習モデル等の学習モデルで構成される。本実施の形態では、第１機械学習モデル及び第２機械学習モデルは、ニューラルネットワークで構成される。
　ニューラルネットワークは、入力層及び出力層を含む複数のノード層で構成される。ノード層には、１つ以上のノードが含まれる。ニューラルネットワークが、入力層、中間層及び出力層で構成される場合、ニューラルネットワークは、入力層のノードに入力された情報について、入力層から中間層への出力処理、中間層から出力層への出力処理を順次行い、入力情報に適合する出力結果を出力する。なお、１つの層の各ノードは、次の層の各ノードと接続されており、ノード間の接続には、重み付けがされている。１つの層のノードの情報は、ノード間の接続の重み付けが付与されて、次の層のノードに出力される。
　また、ニューラルネットワークは、リカレントニューラルネットワーク（Recurrent Neural Network）（「回帰型ニューラルネットワーク」とも呼ばれる）であってもよい。リカレントニューラルネットワークは、時系列情報を扱う。リカレントニューラルネットワークの入力データは、現在時刻でのデータと、現在時刻よりも前の過去時刻でのリカレントニューラルネットワークにおける中間層の出力データとを含む。リカレントニューラルネットワークは、時系列情報を考慮したネットワーク構造を有している。このようなリカレントニューラルネットワークは、入力データの経時的な挙動を考慮した出力をするため、出力データの精度を向上することができる。第１機械学習モデル及び第２機械学習モデルは、時系列データを扱うため、リカレントニューラルネットワークであることが好ましい。
　画像取得部３１１は、内視鏡カメラによって撮像された画像データを取得して第２制御装置３２へ送信する。また、画像取得部３１１は、上記画像データを情報処理部３１２に出力する場合がある。
　情報処理部３１２は、第２制御装置３２から移動指令及び力指令等を受け取り、動作指令生成部３１３に出力する。情報処理部３１２は、移動指令及び力指令等に処理を施し動作指令生成部３１３に出力する場合もある。情報処理部３１２は、第２制御装置３２から受け取る運転モードの指令等に基づき、記憶部３１５から自動運転情報を読み出し、動作指令生成部３１３に出力する。情報処理部３１２は、自動運転情報に処理を施し動作指令生成部３１３に出力する場合もある。
　情報処理部３１２は、動作指令生成部３１３からロボット本体２のマニピュレータの動作情報を受け取り、当該動作情報を第１機械学習モデルに入力し、第１機械学習モデルの出力データである対応動作指令を動作指令生成部３１３に出力する。
　情報処理部３１２は、画像取得部３１１から内視鏡カメラによって撮像された画像データを受け取り、当該画像データを第２機械学習モデルに入力し、第２機械学習モデルの出力データである対応動作指令を動作指令生成部３１３に出力する。情報処理部３１２は、画像データに画像処理を施して第２機械学習モデルに出力するように構成されてもよい。
　ここで、ロボット本体２のマニピュレータの動作情報は、動作データを含む。動作データは、動作時におけるマニピュレータ及びエンドエフェクタの位置を表す位置データと、エンドエフェクタが対象物に加える力を表す力データとのうちの少なくとも１つを含む。位置データは、３次元空間内の位置と３次元空間内の姿勢とを含んでもよい。力データは、力の大きさと３次元空間内の力の方向とを含んでもよい。位置データ及び力データは、各位置及び各力の発生時刻と関連付けられた時系列データであってもよい。
　また、動作情報は、動作データ以外の情報として、ロボット本体２のマニピュレータのエンドエフェクタが作用を加える対象物の撮像データ、エンドエフェクタで発生する振動データ、衝撃データ、光データ、音データ、温度データ、湿度データ、気圧などの圧力データ等を含んでもよい。本実施の形態で扱われる動作情報は、少なくとも動作データを含む。
　また、情報処理部３１２は、動作指令生成部３１３から位置指令を受け取り、当該位置指令を第２制御装置３２に送信する。
　動作指令生成部３１３は、情報処理部３１２から受け取る移動指令、力指令、自動運転情報又は対応動作指令から、動作指令を生成する。動作指令は、位置指令を含み、さらに、力指令を含んでもよい。位置指令には、予め設定された移動範囲の制限及び移動速度の制限等が適用されてもよい。
　ここで、位置指令は、ロボット本体２のマニピュレータのエンドエフェクタ及び／又は各関節等の位置、姿勢、並びに、位置及び姿勢の速度の目標値又は修正値（補正値）を指示する指令を含み得る。上記位置及びその速度は、３次元空間内の位置及び速度を表し、上記姿勢及びその速度は、３次元空間内の姿勢及び速度を表してもよい。本明細書及び請求の範囲において、「位置」とは、３次元空間内の位置、位置の速度、姿勢及び姿勢の速度のうちの少なくとも３次元空間内の位置を含むことを意味する。力指令は、ロボット本体２のマニピュレータのエンドエフェクタが対象物に加える力の大きさ及び方向の目標値又は修正値（補正値）を指示する指令を含む。力の方向は、３次元空間内の方向を表してもよい。
　動作制御部３１４は、ロボット本体２のマニピュレータの各関節を駆動するサーボモータに電流を供給する。具体的には、動作制御部３１４は、ロボット本体２のマニピュレータの各関節のサーボモータに設けられた回転センサ及び電流センサから回転量及び電流の検出値をフィードバック情報として受け取る。なお、動作制御部３１４は、サーボモータの駆動回路が当該サーボモータに供給する電流の指令値をフィードバック情報として用いてもよい。さらに、ロボット本体２のマニピュレータのエンドエフェクタに力センサが設けられる場合、動作制御部３１４は、当該力センサから力の検出値をフィードバック情報として受け取る。動作制御部３１４は、ロボット本体２のマニピュレータの各関節の回転量の検出値から各関節の位置を検出し、動作指令の位置指令と各関節の位置とから各関節の駆動量及び駆動速度を決定する。また、動作制御部３１４は、ロボット本体２のマニピュレータのエンドエフェクタの力の検出値と動作指令の力指令とから、各関節の駆動トルクを決定する。動作制御部３１４は、電流の検出値に基づき、上記駆動量、駆動速度及び駆動トルクに対応して各サーボモータに駆動させるための電流値を決定し、当該電流値の電流を各サーボモータに供給する。これにより、例えば、ロボット本体２のマニピュレータは、移動指令に従って動作する場合、操作マニピュレータ７２Ｌ及び７２Ｒの操作部の動きと対応して動作する。
　［手術システムの動作］
　［手動運転モード］
　患者に手術を行うときの実施の形態に係る手術システム１００の手動運転モードでの動作を説明する。図３は、実施の形態に係る手術システム１００の手動運転モードを実行する動作の一例を示すフローチャートである。図３に示すように、術者Ｓは、患者に手術を行うとき、操作入力装置７１の操作用ペダル７５を用いて手動運転モードの実行の指令を入力する。第２制御装置３２は、手動運転モードの実行指令を受け付け、当該指令を第１制御装置３１に送信する（ステップＳ１０１）。
　次いで、第１制御装置３１は、術者Ｓが操作入力装置７１の操作マニピュレータ７２Ｌ及び７２Ｒに与える操作に従ってロボット本体２を動作させる制御を実行する（ステップＳ１０２）。
　次いで、第２制御装置３２は、術者Ｓが操作マニピュレータ７２Ｌ及び７２Ｒに与える操作に対応する操作動作指令を生成し、第１制御装置３１に送信する（ステップＳ１０３）。次いで、第１制御装置３１は、操作動作指令に基づく動作指令である手動動作指令を生成する（ステップＳ１０４）。さらに、第１制御装置３１は、ロボット本体２から動作情報を取得する（ステップＳ１０５）。さらに、第１制御装置３１は、動作情報をフィードバック情報として用いて、手動動作指令に対応した動作をロボット本体２に実行させるための動作制御指令を生成し、ロボット本体２に出力する（ステップＳ１０６）。これにより、ロボット本体２が動作制御指令に従って動作する。
　さらに、第１制御装置３１は、ロボット本体２から動作情報を取得し第２制御装置３２に送信する（ステップＳ１０７）。次いで、第２制御装置３２は、上記動作情報と、第１制御装置３１に送信した操作動作指令とに基づき、操作位置指令を生成し、当該操作位置指令に従って操作マニピュレータ７２Ｌ及び７２Ｒを動作させる。つまり、第２制御装置３２は、ロボット本体２からの動作情報のフィードバックを操作マニピュレータ７２Ｌ及び７２Ｒに付与する（ステップＳ１０８）。
　次いで、第２制御装置３２は手動運転モードでのロボット本体２の操作が完了したか否かを判定し（ステップＳ１０９）、完了済みの場合（ステップＳ１０９でＹｅｓ）、一連の処理を終了し、未完了の場合（ステップＳ１０９でＮｏ）、ステップＳ１０３に戻る。
　［自動運転モード］
　患者に手術を行うときの実施の形態に係る手術システム１００の自動運転モードでの動作を説明する。まず、第１自動運転モードでの動作を説明する。図４は、実施の形態に係る手術システム１００の第１自動運転モードを実行する動作の一例を示すフローチャートである。図４に示すように、術者Ｓは、患者に手術を行うとき、操作入力装置７１の操作用ペダル７５等を用いて、第１自動運転モードの実行指令と、対象手術の情報とを入力する。第２制御装置３２は、第１自動運転モードの実行指令及び対象手術の情報を受け付け、当該指令及び情報を第１制御装置３１に送信する（ステップＳ２０１）。対象手術の情報は、手術の対象部位の種別、手術の内容、ロボット本体２が行う手術動作の内容等の情報を含んでもよい。
　次いで、第１制御装置３１は、記憶部３１５に記憶される自動運転情報を探索し、対象手術の情報に対応する自動運転情報を読み出し取得する（ステップＳ２０２）。
　術者Ｓは、操作入力装置７１の操作マニピュレータ７２Ｌ及び７２Ｒを操作し、ロボット本体２のマニピュレータを動作させることで、手術対象領域を指定する入力を行う。手術対象領域は、ロボット本体２が手術動作を行う対象の領域である。第１制御装置３１は、当該入力に基づき手術対象領域の位置及び範囲を決定する（ステップＳ２０３）。例えば、ロボット本体２のマニピュレータのエンドエフェクタが、手術対象領域の起点及び終点のそれぞれに位置するときに、術者Ｓが操作入力装置７１への入力を行うと、第１制御装置３１は、当該エンドエフェクタのそれぞれの位置を手術対象領域の起点及び終点に決定してもよい。例えば、手術動作が切開又は縫合等である場合、上記起点及び終点は、切開又は縫合等の起点及び終点である。
　なお、術者Ｓは、操作入力装置７１の操作マニピュレータ７２Ｌ及び７２Ｒを操作し、ロボット本体２の内視鏡マニピュレータ２０ｂの内視鏡カメラに手術対象領域を撮像させ、ディスプレイ装置７３に表示される画像上で手術対象領域、起点及び終点を指定する入力を、操作入力装置７１を用いて行ってもよい。又は、第１制御装置３１が、上記画像を画像処理することで、手術対象領域、起点及び終点を特定してもよい。手術対象領域の指定方法は、上記方法に限定されず、いかなる方法であってもよく、例えば手術対象領域が予め設定され記憶部３１５等に記憶されていてもよい。
　次いで、第１制御装置３１は、自動運転情報を用いて、自動動作指令を生成する（ステップＳ２０４）。さらに、第１制御装置３１は、ロボット本体２から動作情報を取得し（ステップＳ２０５）、動作情報をフィードバック情報として用いて自動動作指令に対応する動作制御指令を生成し、ロボット本体２に出力する（ステップＳ２０６）。
　次いで、第１制御装置３１は、自動運転情報に従ったロボット本体２の全ての動作が完了したか否かを判定し（ステップＳ２０７）、完了済みの場合（ステップＳ２０７でＹｅｓ）、一連の処理を終了し、未完了の場合（ステップＳ２０７でＮｏ）、ステップＳ２０４に戻る。
　次いで、第２自動運転モードでの動作を説明する。図５は、実施の形態に係る手術システム１００の第２自動運転モードを実行する動作の一例を示すフローチャートである。図５に示すように、術者Ｓは、患者に手術を行うとき、操作入力装置７１の操作用ペダル７５等を用いて、第２自動運転モードの実行指令と、対象手術の情報とを入力する。第２制御装置３２は、第２自動運転モードの実行指令及び対象手術の情報を受け付け、当該指令及び情報を第１制御装置３１に送信する（ステップＳ３０１）。
　次いで、第１制御装置３１は、記憶部３１５に記憶される第１機械学習モデルを探索し、対象手術の情報に対応する第１機械学習モデルを読み出し取得する（ステップＳ３０２）。
　次いで、第１制御装置３１は、術者Ｓによる操作入力装置７１への入力に基づき、手術対象領域の位置及び範囲を決定する（ステップＳ３０３）。次いで、術者Ｓは、操作入力装置７１の操作マニピュレータ７２Ｌ及び７２Ｒを操作し、ロボット本体２のマニピュレータのエンドエフェクタを手術対象領域の起点に移動させる（ステップＳ３０４）。起点への移動完了後、術者Ｓは、操作入力装置７１に手術動作の実行の指令を入力し、第１制御装置３１は当該指令を受け取る。
　次いで、第１制御装置３１はロボット本体２から動作情報を取得する（ステップＳ３０５）。さらに、第１制御装置３１は、第１機械学習モデルに、手術対象領域の位置及び範囲等を含む手術対象領域の情報と、ロボット本体２の動作情報とを入力する（ステップＳ３０６）。第１機械学習モデルは、当該動作情報に対応する対応動作指令を出力する。対応動作指令は、当該動作情報の状態のロボット本体２に実行させる手術動作を示す指令である。例えば、ステップＳ３０６の処理は、第１制御装置３１の情報処理部３１２によって実行される。
　次いで、第１制御装置３１は、対応動作指令に基づき、自動動作指令を生成する（ステップＳ３０７）。さらに、第１制御装置３１は、ステップＳ３０５で取得された動作情報をフィードバック情報として用いて自動動作指令に対応する動作制御指令を生成し、ロボット本体２に出力する（ステップＳ３０８）。
　次いで、第１制御装置３１は、手術対象領域に対するロボット本体２の手術動作の全てが完了したか否かを判定し（ステップＳ３０９）、完了済みの場合（ステップＳ３０９でＹｅｓ）、一連の処理を終了し、未完了の場合（ステップＳ３０９でＮｏ）、ステップＳ３０５に戻る。例えば、第１制御装置３１は、ステップＳ３０５～Ｓ３０９の一連の処理を、所定の時間周期毎に繰り返してもよい。これにより、第１制御装置３１は、所定の時間周期毎のロボット本体２の動作情報に対応する第１機械学習モデルの出力データに基づき、ロボット本体２の動作状態に対応した手術動作をロボット本体２に実行させることができる。
　次いで、第３自動運転モードでの動作を説明する。図６は、実施の形態に係る手術システム１００の第３自動運転モードを実行する動作の一例を示すフローチャートである。図６に示すように、術者Ｓは、患者に手術を行うとき、操作入力装置７１の操作用ペダル７５等を用いて、第３自動運転モードの実行指令と、対象手術の情報とを入力する。第２制御装置３２は、第３自動運転モードの実行指令及び対象手術の情報を受け付け、当該指令及び情報を第１制御装置３１に送信する（ステップＳ４０１）。
　次いで、第１制御装置３１は、記憶部３１５に記憶される第２機械学習モデルを探索し、対象手術の情報に対応する第２機械学習モデルを読み出し取得する（ステップＳ４０２）。
　次いで、第１制御装置３１は、術者Ｓによる操作入力装置７１への入力に基づき、手術対象領域の位置及び範囲を決定する（ステップＳ４０３）。次いで、術者Ｓは、操作入力装置７１の操作マニピュレータ７２Ｌ及び７２Ｒを操作し、ロボット本体２のマニピュレータのエンドエフェクタを手術対象領域の起点に移動させる（ステップＳ４０４）。起点への移動完了後、術者Ｓは、操作入力装置７１に手術動作の実行の指令を入力し、第１制御装置３１は当該指令を受け取る。
　次いで、第１制御装置３１は、ロボット本体２の内視鏡マニピュレータ２０ｂの内視鏡カメラに手術対象領域を撮像させる（ステップＳ４０５）。さらに、第１制御装置３１は、内視鏡カメラによって撮像された画像に画像処理を行う（ステップＳ４０６）。画像処理の内容は、特に限定されず、手術対象領域、手術対象領域の患部の状態、及び適用される手術動作等に応じて設定されてもよい。例えば、画像処理は、画像の各画素に写し出される被写体の３次元位置を検出する処理であってよい。また、画像処理は、画像へのフィルタ処理であってもよい。フィルタ処理は、画素値のノイズを除去する処理、及び画素値の差異の強調する処理等であってもよい。また、画像処理は、画素値を変更することで画像の色調を変更する処理であってもよい。このような画像処理により、手術対象領域の３次元化、及び患部の強調等が可能になる。第１制御装置３１は、１つ以上の画像処理を行い、画像処理毎に処理済みの画像データを生成してもよい。例えば、ステップＳ４０６の処理は、情報処理部３１２によって実行される。
　次いで、第１制御装置３１は、第２機械学習モデルに、ステップＳ４０６での処理済みの画像データを第２機械学習モデルに入力する（ステップＳ４０７）。第２機械学習モデルは、処理済みの画像データに対応する対応動作指令を出力する。対応動作指令は、処理済みの画像データの状態の手術対象領域に対してロボット本体２に実行させる手術動作を示す指令である。例えば、ステップＳ４０７の処理は、第１制御装置３１の情報処理部３１２によって実行される。
　次いで、第１制御装置３１は、対応動作指令に基づき、自動動作指令を生成する（ステップＳ４０８）。さらに、第１制御装置３１は、ロボット本体２から動作情報を取得する（ステップＳ４０９）。さらに、第１制御装置３１は、上記動作情報をフィードバック情報として用いて自動動作指令に対応する動作制御指令を生成し、ロボット本体２に出力する（ステップＳ４１０）。
　次いで、第１制御装置３１は、手術対象領域に対するロボット本体２の手術動作の全てが完了したか否かを判定し（ステップＳ４１１）、完了済みの場合（ステップＳ４１１でＹｅｓ）、一連の処理を終了し、未完了の場合（ステップＳ４１１でＮｏ）、ステップＳ４０５に戻る。例えば、第１制御装置３１は、ステップＳ４０５～Ｓ４１１の一連の処理を、所定の時間周期毎に繰り返してもよい。これにより、第１制御装置３１は、所定の時間周期毎の手術対象領域の状態に対応する第２機械学習モデルの出力データに基づき、手術対象領域の状態に対応する手術動作をロボット本体２に実行させることができる。
　［修正自動モード］
　［第１自動運転モードでの修正自動運転モード］
　患者に手術を行うときの実施の形態に係る手術システム１００の修正自動運転モードでの動作について、第１自動運転モードの自動運転を用いた修正自動運転モードでの動作を説明する。図７は、実施の形態に係る手術システム１００の第１自動運転モードの自動運転を用いた修正自動運転モードを実行する動作の一例を示すフローチャートである。
　図７に示すように、術者Ｓは、患者に手術を行うとき、操作入力装置７１の操作用ペダル７５等を用いて、第１自動運転モードでの修正自動運転モードの実行指令と、対象手術の情報とを入力する。第１自動運転モードでの修正自動運転モードの実行は、第１自動運転モードの自動運転を用いた修正自動運転モードの実行である。第２制御装置３２は当該指令及び情報を受け付け第１制御装置３１に送信する（ステップＳ５０１）。
　次いで、第１制御装置３１は、記憶部３１５に記憶される自動運転情報を探索し、対象手術の情報に対応する自動運転情報を読み出し取得する（ステップＳ５０２）。
　次いで、第１制御装置３１は、術者Ｓによる操作入力装置７１への入力に基づき、手術対象領域の位置及び範囲を決定する（ステップＳ５０３）。
　次いで、第１制御装置３１は、術者Ｓによって操作入力装置７１へ操作が入力されたか否かを判定する（ステップＳ５０４）。具体的には、第１制御装置３１は、術者Ｓの操作に対応する操作動作指令を第２制御装置３２から受け取ったか否かを判定する。第１制御装置３１は、操作の入力がある場合、つまり、操作動作指令を受け取った場合（ステップＳ５０４でＹｅｓ）にステップＳ５０５に進む。第１制御装置３１は、操作の入力がない場合、つまり、操作動作指令を受け取っていない場合（ステップＳ５０４でＮｏ）にステップＳ５０６に進む。
　ステップＳ５０５において、第１制御装置３１は、操作動作指令に基づき手動動作指令を生成し、ステップＳ５０７に進む。つまり、第１制御装置３１は、自動運転情報に基づく自動動作指令を、操作動作指令に基づく手動動作指令に置き換えることで修正し、修正動作指令を生成する。
　ステップＳ５０６において、第１制御装置３１は、自動運転情報を用いて、自動動作指令を生成し、ステップＳ５０７に進む。
　次いで、第１制御装置３１は、ロボット本体２から動作情報を取得し（ステップＳ５０７）、動作情報をフィードバック情報として用いて動作指令に対応する動作制御指令を生成し、ロボット本体２に出力する（ステップＳ５０８）。
　次いで、第１制御装置３１は、動作制御指令が修正動作指令を用いて生成された指令であるか否かを判定する（ステップＳ５０９）。第１制御装置３１は、修正動作指令が用いられている場合（ステップＳ５０９でＹｅｓ）、ステップＳ５１０に進み、修正動作指令が用いられていない場合（ステップＳ５０９でＮｏ）、ステップＳ５１１に進む。
　ステップＳ５１０において、第１制御装置３１は、ステップＳ５０７で取得された動作情報を用いて、第１制御装置３１が用いている自動運転情報を修正することで、新たな自動運転情報を生成する。具体的には、第１制御装置３１は、自動運転情報における上記動作情報に対応する情報を修正する。なお、第１制御装置３１は、上記動作情報の代わりに、修正動作指令を用いて自動運転情報を修正してもよい。例えば、ステップＳ５１０の処理は、情報処理部３１２によって実行される。
　次いで、第１制御装置３１は、自動運転情報に従ったロボット本体２の全ての動作が完了したか否かを判定し（ステップＳ５１１）、完了済みの場合（ステップＳ５１１でＹｅｓ）、ステップＳ５１２に進み、未完了の場合（ステップＳ５１１でＮｏ）、ステップＳ５０４に戻る。
　ステップＳ５１２において、第１制御装置３１は、修正済みの新たな自動運転情報を記憶部３１５に記憶させる。例えば、ステップＳ５１２の処理は、情報処理部３１２によって実行される。ステップＳ５０４～Ｓ５１１の処理が繰り返されることによって、自動運転情報の修正が１回以上行われる場合がある。修正済みの新たな自動運転情報は、このような１回以上の修正を反映した情報である。そして、第１制御装置３１は、記憶部３１５に記憶される自動運転情報を、新たな自動運転情報で置き換える、つまり更新してもよい。なお、自動運転情報の修正が行われなかった場合、第１制御装置３１は、記憶部３１５への記憶を実行しない。ステップＳ５１２の完了後、第１制御装置３１は一連の処理を終了する。
　なお、第１制御装置３１は、修正済みの自動運転情報と修正前の自動運転情報とを用いて新たな自動運転情報を生成してもよく、例えば、修正済みの自動運転情報と修正前の自動運転情報とを組み合わせて新たな自動運転情報を生成してもよい。
　［第２自動運転モードでの修正自動運転モード］
　第２自動運転モードの自動運転を用いた修正自動運転モードでの手術システム１００の動作を説明する。図８及び図９は、実施の形態に係る手術システム１００の第２自動運転モードの自動運転を用いた修正自動運転モードを実行する動作の一例を示すフローチャートである。
　図８及び図９に示すように、術者Ｓは、患者に手術を行うとき、操作入力装置７１の操作用ペダル７５等を用いて、第２自動運転モードでの修正自動運転モードの実行指令と、対象手術の情報とを入力する。第２制御装置３２は、当該指令及び情報を受け付け第１制御装置３１に送信する（ステップＳ６０１）。
　次いで、第１制御装置３１は、記憶部３１５に記憶される第１機械学習モデルを探索し、対象手術の情報に対応する第１機械学習モデルを読み出し取得する（ステップＳ６０２）。
　次いで、第１制御装置３１は、ステップＳ６０３～Ｓ６０６の処理を、第２自動運転モードでのステップＳ３０３～Ｓ３０６の処理と同様に実行する。
　次いで、第１制御装置３１は、術者Ｓによって操作入力装置７１へ操作が入力され、第２制御装置３２から操作動作指令を受け取ったか否かを判定する（ステップＳ６０７）。第１制御装置３１は、操作の入力がある場合（ステップＳ６０７でＹｅｓ）にステップＳ６０８に進み、操作の入力がない場合（ステップＳ６０７でＮｏ）にステップＳ６０９に進む。
　ステップＳ６０８において、第１制御装置３１は、操作動作指令に基づき手動動作指令を生成し、対応動作指令に基づく自動動作指令を手動動作指令に置き換えることで修正動作指令を生成し、ステップＳ６１０に進む。
　ステップＳ６０９において、第１制御装置３１は、対応動作指令に基づき自動動作指令を生成し、ステップＳ６１０に進む。
　ステップＳ６１０において、第１制御装置３１は、ステップＳ６０５で取得された動作情報をフィードバック情報として用いて動作指令に対応する動作制御指令を生成し、ロボット本体２に出力する。
　次いで、第１制御装置３１は、動作制御指令が修正動作指令を用いて生成された指令であるか否かを判定する（ステップＳ６１１）。第１制御装置３１は、修正動作指令が用いられている場合（ステップＳ６１１でＹｅｓ）、ステップＳ６１２に進み、修正動作指令が用いられていない場合（ステップＳ６１１でＮｏ）、ステップＳ６１３に進む。
　ステップＳ６１２において、第１制御装置３１は、ステップＳ６０５で取得された動作情報とステップＳ６０８で生成された修正動作指令とを関連付け、第１機械学習モデルの学習データとして記憶部３１５に記憶させる。例えば、ステップＳ６１２の処理は、情報処理部３１２によって実行される。
　次いで、ステップＳ６１３において、第１制御装置３１は、修正自動運転モードでのロボット本体２の動作の全てが完了したか否かを判定し、完了済みの場合（ステップＳ６１３でＹｅｓ）、ステップＳ６１４に進み、未完了の場合（ステップＳ６１３でＮｏ）、ステップＳ６０５に戻る。
　ステップＳ６１４において、第１制御装置３１は、ステップＳ６１２において記憶部３１５に記憶された学習データを用いて、第１機械学習モデルに機械学習を実行させる。例えば、ステップＳ６１４の処理は、情報処理部３１２によって実行される。第１機械学習モデルは、動作情報を入力データとし、当該動作情報と関連付けられた修正動作指令を教師データとして機械学習を行う。なお、第１制御装置３１は、修正動作指令を対応動作指令と同様の形式の指令に変換し、変換後の指令を教師データとしてもよい。ステップＳ６０５～Ｓ６１３の処理が繰り返されることによって、動作情報と修正動作指令との複数の組み合わせが生成される場合がある。第１機械学習モデルは複数の組み合わせを用いて機械学習を行う。ステップＳ６１４の完了後、第１制御装置３１は一連の処理を終了する。
　なお、第１制御装置３１は、上記例のように修正自動運転モードでの自動運転が終了する毎に機械学習を実行してもよく、複数回の修正自動運転モードでの自動運転が終了すると機械学習を実行してもよい。また、第１制御装置３１は、所定の時間、所定の日数、所定の週数、及び所定の月数等の所定の時間的なタイミングに従って機械学習を実行してもよい。修正自動運転モードでの自動運転が終了する毎に機械学習が実行されることで、第１機械学習モデルの出力精度を修正自動運転モードでの自動運転が終了する毎に向上させることができる。このことは、以下に説明する第３自動運転モードの自動運転を用いた修正自動運転モードでも同様である。
　また、ステップＳ６０５～Ｓ６１３の処理の中で、操作入力装置７１への操作の入力がある場合、第１制御装置３１及び第２制御装置３２は、手動運転モードのステップＳ１０７～Ｓ１０８の処理と同様の処理を実行し、ロボット本体２からの動作情報のフィードバックを操作マニピュレータ７２Ｌ及び７２Ｒに付与してもよい。
　［第３自動運転モードでの修正自動運転モード］
　第３自動運転モードの自動運転を用いた修正自動運転モードでの手術システム１００の動作を説明する。図１０及び図１１は、実施の形態に係る手術システム１００の第３自動運転モードの自動運転を用いた修正自動運転モードを実行する動作の一例を示すフローチャートである。
　図１０及び図１１に示すように、術者Ｓは、患者に手術を行うとき、操作入力装置７１の操作用ペダル７５等を用いて、第３自動運転モードでの修正自動運転モードの実行指令と、対象手術の情報とを入力する。第２制御装置３２は、当該指令及び情報を受け付け第１制御装置３１に送信する（ステップＳ７０１）。
　次いで、第１制御装置３１は、記憶部３１５に記憶される第２機械学習モデルを探索し、対象手術の情報に対応する第２機械学習モデルを読み出し取得する（ステップＳ７０２）。
　次いで、第１制御装置３１は、ステップＳ７０３～Ｓ７０７の処理を、第３自動運転モードでのステップＳ４０３～Ｓ４０７の処理と同様に実行する。
　次いで、第１制御装置３１は、術者Ｓによって操作入力装置７１へ操作が入力され、第２制御装置３２から操作動作指令を受け取ったか否かを判定する（ステップＳ７０８）。第１制御装置３１は、操作の入力がある場合（ステップＳ７０８でＹｅｓ）にステップＳ７０９に進み、操作の入力がない場合（ステップＳ７０８でＮｏ）にステップＳ７１０に進む。
　ステップＳ７０８において、第１制御装置３１は、操作動作指令に基づき、手動動作指令を修正動作指令として生成し、ステップＳ７１１に進む。
　ステップＳ７０９において、第１制御装置３１は、対応動作指令に基づき自動動作指令を生成し、ステップＳ７１１に進む。
　ステップＳ７１１において、第１制御装置３１は、ロボット本体２から動作情報を取得する。さらに、ステップＳ７１２において、第１制御装置３１は、動作情報をフィードバック情報として用いて動作指令に対応する動作制御指令を生成し、ロボット本体２に出力する。
　次いで、第１制御装置３１は、動作制御指令が修正動作指令を用いて生成された指令であるか否かを判定する（ステップＳ７１３）。第１制御装置３１は、修正動作指令が用いられている場合（ステップＳ７１３でＹｅｓ）、ステップＳ７１４に進み、修正動作指令が用いられていない場合（ステップＳ７１３でＮｏ）、ステップＳ７１５に進む。
　ステップＳ７１４において、第１制御装置３１は、ステップＳ７０６で生成された画像処理済みの画像データとステップＳ７０９で生成された修正動作指令とを関連付け、第２機械学習モデルの学習データとして記憶部３１５に記憶させる。例えば、ステップＳ７１４の処理は、情報処理部３１２によって実行される。
　次いで、ステップＳ７１５において、第１制御装置３１は、修正自動運転モードでのロボット本体２の動作の全てが完了したか否かを判定し、完了済みの場合（ステップＳ７１５でＹｅｓ）、ステップＳ７１６に進み、未完了の場合（ステップＳ７１５でＮｏ）、ステップＳ７０５に戻る。
　ステップＳ７１６において、第１制御装置３１は、ステップＳ７１４において記憶部３１５に記憶された学習データを用いて、第２機械学習モデルに機械学習を実行させる。例えば、ステップＳ７１６の処理は、情報処理部３１２によって実行される。第２機械学習モデルは、画像処理済みの画像データを入力データとし、当該画像データと関連付けられた修正動作指令を教師データとして機械学習を行う。なお、第１制御装置３１は、修正動作指令を対応動作指令と同様の形式の指令に変換し、変換後の指令を教師データとしてもよい。ステップＳ７０５～Ｓ７１５の処理が繰り返されることによって、画像処理済みの画像データと修正動作指令との複数の組み合わせが生成される場合がある。第２機械学習モデルは複数の組み合わせを用いて機械学習を行う。ステップＳ７１６の完了後、第１制御装置３１は一連の処理を終了する。
　また、ステップＳ７０５～Ｓ７１５の処理の中で、操作入力装置７１への操作の入力がある場合、第１制御装置３１及び第２制御装置３２は、手動運転モードのステップＳ１０７～Ｓ１０８の処理と同様の処理を実行し、ロボット本体２からの動作情報のフィードバックを操作マニピュレータ７２Ｌ及び７２Ｒに付与してもよい。
　［第１機械学習モデルの機械学習］
　本実施の形態に係る第１機械学習モデルは、ニューラルネットワークで構成される。第１機械学習モデルは、ロボット本体２の動作情報を入力データとし、当該動作情報の状態のロボット本体２に実行させる手術動作を示す対応動作指令を出力データとして出力する。また、機械学習において、第１機械学習モデルは、ロボット本体２の動作情報を学習用入力データとし、当該動作情報の状態のロボット本体２を動作させるために生成された情報である動作対応情報を教師データとする。さらに、第１機械学習モデルに学習用入力データを入力したときの出力データと、教師データとの間でこれらを一致又は誤差を最小化等するように、後ろ向き演算によってニューラルネットワークのノード間の重みを調節される。これにより、第１機械学習モデルの最適化が図られる。
　第１機械学習モデルが使用する学習データは、種々のデータであり得る。例えば、学習データは、操作入力装置７１を用いて操作されたロボット本体２の動作に関連するデータである。例えば、学習データの１つは、手動運転モードでのロボット本体２の手動運転中に取得されるロボット本体２の動作情報及び動作対応情報である。また、学習データの１つは、第１自動運転モードを用いた修正自動運転モードにおいて、ロボット本体２に加えられた修正動作に対応するロボット本体２の動作情報及び動作対応情報である。また、学習データの１つは、第２自動運転モードを用いた修正自動運転モードにおいて、ロボット本体２に加えられた修正動作に対応するロボット本体２の動作情報及び動作対応情報である。また、学習データは、他のロボットの運転において取得される上記動作情報及び動作対応情報であってもよい。
　上記のような動作対応情報は、操作入力装置７１への操作の入力に対応して第１制御装置３１及び第２制御装置３２が生成する情報及び指令であってもよく、例えば、操作動作指令、手動動作指令及び修正動作指令等であってもよい。
　上記のような第１機械学習モデルは、過去に取得された学習データを用いて機械学習できる。さらに、第１機械学習モデルは、他のロボットにおいて取得された学習データを用いて機械学習できる。さらに、第１機械学習モデルは、ロボット本体２が実際の手術等のために稼働することで取得される学習データを用いて機械学習できる。
　［第２機械学習モデルの機械学習］
　本実施の形態に係る第２機械学習モデルは、ニューラルネットワークで構成される。第２機械学習モデルは、手術対象領域の画像データを入力データとし、当該画像データの状態の手術対象領域に対してロボット本体２に実行させる手術動作を示す対応動作指令を出力データとして出力する。また、機械学習において、第２機械学習モデルは、手術対象領域の画像データを学習用入力データとし、当該画像データの手術対象領域に対してロボット本体２を動作させるために生成された画像データ対応情報を教師データとする。さらに、第２機械学習モデルに学習用入力データを入力したときの出力データと、教師データとの間でこれらを一致又は誤差を最小化等するように、後ろ向き演算によってニューラルネットワークのノード間の重みを調節される。これにより、第２機械学習モデルの最適化が図られる。
　入力データとしての画像データは、本実施の形態では、第１制御装置３１での画像処理後の画像データである。しかしながら、画像処理の処理層を含むようにニューラルネットワークを構築することで、第１制御装置３１での画像処理の省略が可能である。
　第２機械学習モデルが使用する学習データは、種々のデータであり得る。例えば、学習データは、操作入力装置７１を用いて操作されたロボット本体２の動作に関連するデータである。例えば、学習データの１つは、手動運転モードでのロボット本体２の手動運転中に取得される手術対象領域の画像データ及び画像データ対応情報である。また、学習データの１つは、第３自動運転モードを用いた修正自動運転モードにおいて、ロボット本体２に修正動作が加えられたときの手術対象領域の画像データ及び画像データ対応情報である。また、学習データは、他のロボットの運転において取得される上記画像データ及び画像データ対応情報であってもよい。
　上記のような画像データ対応情報は、操作入力装置７１への操作の入力に対応して第１制御装置３１及び第２制御装置３２が生成する情報及び指令であってもよく、操作入力装置７１への操作の入力に対応して動作したロボット本体２の動作情報であってもよい。例えば、上記情報及び指令は、操作動作指令、手動動作指令及び修正動作指令等であってもよい。
　上記のような第２機械学習モデルは、過去に取得された学習データを用いて機械学習できる。さらに、第２機械学習モデルは、他のロボットにおいて取得された学習データを用いて機械学習できる。さらに、第２機械学習モデルは、ロボット本体２が実際の手術等のために稼働することで取得される学習データを用いて機械学習できる。
　＜その他の実施の形態＞
　以上、本開示の実施の形態の例について説明したが、本開示は、上記実施の形態に限定されない。すなわち、本開示の範囲内で種々の変形及び改良が可能である。例えば、各種変形を実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。
　例えば、実施の形態では、ロボット１の運転モードが個別に実行されるものとして記載されるが、これに限定されない。例えば、第１制御装置３１は、１つの手術対象部分に対して複数の運転モードを順に実行してもよい。例えば、第１制御装置３１は、自動動作指令に従ってロボット１を制御する自動運転モードの前及び後の少なくとも一方において、手動動作指令に従ってロボット１を制御する手動運転モードを実行するように構成されてもよい。又は、第１制御装置３１は、修正自動運転モードの前及び後の少なくとも一方において、手動運転モードを実行するように構成されてもよい。
　また、実施の形態に係る手術システム１００は、１つのロボット１と１つのコンソール７とを含むように構成されるが、これに限定されない。手術システム１００は、１つ以上のロボット１と１つ以上のコンソール７とを含むように構成されてもよい。
　例えば、手術システム１００は、複数のロボット１と、複数のコンソール７とを備え、制御装置３は、複数のロボット１の１つと複数のコンソール７の１つとを選択して接続するように構成されてもよい。さらに、記憶部３１５に、手術中におけるロボット１とコンソール７との組み合わせと、組み合わせの実行順序とが記憶されていてもよい。制御装置３は、記憶部３１５に記憶された組み合わせ及び組み合わせの実行順序に従って、複数のロボット１の選択された１つと複数のコンソール７の選択された１つとを接続するように構成されてもよい。
　又は、制御装置３は、手術中におけるロボット１とコンソール７との組み合わせと、組み合わせの実行順序とを指定するための指令の入力を、複数のコンソール７の少なくとも１つから受け付けるように構成されてもよい。そして、制御装置３は、上記入力に従って、複数のロボット１の選択された１つと複数のコンソール７の選択された１つとを接続してもよい。
　また、手術システム１００は、複数のロボット１と、複数のコンソール７とを備える場合、ロボット１毎に実行する運転モードが設定されてもよい。例えば、１つの手術対象部分に対して、手動運転モードを実行するロボット１と、第１～第３自動運転モードの１つ又は第１～第３自動運転モードの１つを用いた修正自動運転モードを実行するロボット１とが設定されもよい。さらに、各ロボット１は、１つの手術対象部分に対して、自身の運転モードでの動作及び／又は手動操作する術者Ｓの能力等に適した手術動作を行うように設定されてもよい。
　また、実施の形態に係る手術システム１００において、制御装置３は、記憶部３１５に、手術対象領域において手術器具が侵入することができない領域である侵入不可領域の情報を格納していてもよい。そして、制御装置３は、いずれの運転モードにおいても、侵入不可領域に手術器具が侵入しないようにロボット本体２を制御してもよい。なお、侵入不可領域の３次元位置は、予め記憶部３１５に記憶されていてもよい。又は、制御装置３は、内視鏡カメラによって撮像された手術対象領域の画像を画像処理することで、侵入不可領域を検出し、さらに、侵入不可領域の３次元位置を検出してもよい。
　また、本開示の技術は、制御方法であってもよい。例えば、本開示に係る制御方法は、手術動作を行うロボットの制御方法であって、前記ロボットに自動で手術動作をさせるための自動動作指令を生成し、前記自動動作指令に従って前記ロボットに手術動作をさせる。この制御方法によれば、上記手術システム１００と同様の効果が得られる。このような制御方法は、ＣＰＵ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。
　また、本開示の技術は、上記制御方法を実行するためのプログラムであってもよく、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　また、上記で用いた序数、数量等の数字は、全て本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。
　また、機能ブロック図におけるブロックの分割は一例であり、複数のブロックを一つのブロックとして実現する、一つのブロックを複数に分割する、及び／又は、一部の機能を他のブロックに移してもよい。また、類似する機能を有する複数のブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
１　ロボット
２　ロボット本体
３　制御装置
７　コンソール
３１　第１制御装置
３２　第２制御装置
７１　操作入力装置
１００　手術システム
３１５　記憶部

Claims (20)

  1. 　手術器具が設けられる器具マニピュレータを有するロボットと、
    　前記ロボットを制御する制御装置と、
    　指令の入力を受け付け前記制御装置に出力する操作入力装置とを備え、
    　前記制御装置は、前記ロボットに自動で手術動作をさせるための自動動作指令を生成し、前記自動動作指令に従って前記ロボットの手術動作を制御する動作処理部を含む
    　手術システム。
  2. 　前記制御装置は、前記ロボットに自動で所定の手術動作をさせるための情報である自動運転情報を記憶する記憶部をさらに含み、
    　前記動作処理部は、前記自動運転情報に従って前記自動動作指令を生成する
    　請求項１に記載の手術システム。
  3. 　前記動作処理部は、
    　前記自動動作指令に従って自動で手術動作をしている前記ロボットの動作を修正するための操作情報である修正操作情報を、前記操作入力装置から受け付け、前記自動動作指令に従った動作から修正された動作である修正動作を行うように前記ロボットを制御し、
    　前記ロボットが前記修正動作を行うための情報を前記自動運転情報として前記記憶部に記憶させる
    　請求項２に記載の手術システム。
  4. 　前記動作処理部は、前記記憶部に記憶された最新の前記自動運転情報を用いて生成された前記自動動作指令に従って前記ロボットの手術動作を制御する
    　請求項３に記載の手術システム。
  5. 　前記記憶部には複数の前記自動運転情報が記憶されており、
    　前記動作処理部は、前記記憶部に記憶された前記複数の自動運転情報の中から、前記自動動作指令の生成に用いる前記自動運転情報を決定する
    　請求項２～４のいずれか一項に記載の手術システム。
  6. 　前記記憶部には複数の前記自動運転情報が記憶されており、
    　前記動作処理部は、前記記憶部に記憶された前記複数の自動運転情報を用いて、新たな自動運転情報を生成する
    　請求項２～５のいずれか一項に記載の手術システム。
  7. 　前記制御装置は、
    　第１機械学習モデルと、
    　前記ロボットの動作情報と、前記ロボットの手動動作又は前記ロボットの自動動作に対して行われた修正動作を示す第１情報とを記憶する記憶部とをさらに含み、
    　前記第１機械学習モデルは、前記動作情報と、前記動作情報に対応する前記第１情報とを用いて機械学習し、
    　学習後の前記第１機械学習モデルは、前記動作情報を入力データとし且つ前記動作情報に対応する対応動作指令を出力データとし、
    　前記動作処理部は、前記第１機械学習モデルの前記対応動作指令に基づき前記自動動作指令を生成する
    　請求項１～６のいずれか一項に記載の手術システム。
  8. 　前記制御装置は、
    　第２機械学習モデルと、
    　前記ロボットの手術動作での処理の対象部分の画像データと、前記画像データの前記対象部分に対する前記ロボットの動作を示す第２情報とを記憶する記憶部とをさらに含み、
    　前記第２機械学習モデルは、前記対象部分の画像データと、前記画像データの前記対象部分に対する前記第２情報とを用いて機械学習し、
    　学習後の前記第２機械学習モデルは、前記画像データを入力データとし且つ前記画像データに対応する対応動作指令を出力データとし、
    　前記動作処理部は、前記第２機械学習モデルの前記対応動作指令に基づき前記自動動作指令を生成する
    　請求項１～７のいずれか一項に記載の手術システム。
  9. 　内視鏡カメラが設けられる内視鏡マニピュレータを前記ロボットにさらに備え、
    　前記第２機械学習モデルは、前記内視鏡カメラによって撮像された画像データを、前記対象部分の画像データとして用いる
    　請求項８に記載の手術システム。
  10. 　前記動作処理部は、前記ロボットが自動で手術動作をする起点及び終点を指定するための指令の入力を、前記操作入力装置から受け付け、前記起点と前記終点との間の部位を前記ロボットに自動で手術動作をさせる
    　請求項１～９のいずれか一項に記載の手術システム。
  11. 　手術対象領域を撮像するカメラをさらに備え、
    　前記制御装置は、
    　前記カメラによって撮像された前記手術対象領域の画像を処理することで、前記手術対象領域を特定する画像処理部と、
    　前記画像処理部によって特定された前記手術対象領域における手術動作の起点及び終点を決定する決定部とを含み、
    　前記動作処理部は、前記起点と前記終点との間の部位を前記ロボットに自動で手術動作をさせる
    　請求項１～１０のいずれか一項に記載の手術システム。
  12. 　前記動作処理部は、
    　前記ロボットを手動操作により手術動作をさせるための操作情報である手動操作情報を、前記操作入力装置から受け付け、前記手動操作情報に従って前記ロボットを動作させるための手動動作指令を生成し、前記手動動作指令に従って前記ロボットの手術動作を制御し、
    　前記自動動作指令に従った前記ロボットの制御の前及び後の少なくとも一方において、前記手動操作情報を受け付け、前記手動動作指令に従った前記ロボットの制御を行う
    　請求項１～１１のいずれか一項に記載の手術システム。
  13. 　複数の前記操作入力装置を備え、
    　前記動作処理部は、前記複数の操作入力装置のうちの選択された１つの前記操作入力装置から、前記ロボットを手動操作により手術動作をさせるための操作情報である手動操作情報を受け付け、前記手動操作情報に従って前記ロボットを動作させるための手動動作指令を生成し、前記手動動作指令に従って前記ロボットの手術動作を制御する
    　請求項１～１２のいずれか一項に記載の手術システム。
  14. 　複数の前記ロボットと、
    　複数の前記操作入力装置とを備え、
    　前記制御装置は、
    　前記複数のロボットの１つと前記複数の操作入力装置の１つとを選択して接続する接続制御部と、
    　手術中における前記ロボットと前記操作入力装置との組み合わせと、前記組み合わせの実行順序とを記憶する記憶部とをさらに含み、
    　前記接続制御部は、前記記憶部に記憶された前記組み合わせ及び前記組み合わせの実行順序に従って、前記複数のロボットの選択された１つと前記複数の操作入力装置の選択された１つとを接続する
    　請求項１～１３のいずれか一項に記載の手術システム。
  15. 　複数の前記ロボットと、
    　複数の前記操作入力装置とを備え、
    　前記制御装置は、前記複数のロボットの１つと前記複数の操作入力装置の１つとを選択して接続する接続制御部をさらに含み、
    　前記接続制御部は、手術中における前記ロボットと前記操作入力装置との組み合わせと、前記組み合わせの実行順序とを指定するための指令の入力を、前記複数の操作入力装置の少なくとも１つから受け付け、前記複数のロボットの選択された１つと前記複数の操作入力装置の選択された１つとを接続する
    　請求項１～１４のいずれか一項に記載の手術システム。
  16. 　手術動作を行うロボットの制御方法であって、
    　前記ロボットに自動で手術動作をさせるための自動動作指令を生成し、
    　前記自動動作指令に従って前記ロボットに手術動作をさせる
    　制御方法。
  17. 　記憶部に記憶され且つ前記ロボットに自動で所定の手術動作をさせるための情報である自動運転情報に従って前記自動動作指令を生成する
    　請求項１６に記載の制御方法。
  18. 　前記自動動作指令に従って自動で手術動作をしている前記ロボットの動作を修正するための操作情報である修正操作情報を、操作入力装置から受け付け、
    　受け付けた前記修正操作情報に基づき、前記自動動作指令に従った動作から修正された動作である修正動作を行うように前記ロボットに動作させ、
    　前記ロボットが前記修正動作を行うための情報を前記自動運転情報として前記記憶部に記憶させる
    　請求項１７に記載の制御方法。
  19. 　第１機械学習モデルに、前記ロボットの動作情報を入力データとして入力させ、前記ロボットの対応動作指令を出力データとして出力させ、
    　前記対応動作指令に基づき、前記自動動作指令を生成し、
    　前記第１機械学習モデルに、操作入力装置を用いて前記ロボットの手動動作又は前記ロボットの自動動作に対して行われた修正動作を示す第１情報と、前記第１情報に対応する前記動作情報とを用いて機械学習させ、
    　前記第１機械学習モデルによって出力される前記対応動作指令は、前記ロボットの動作情報に対応する指令である
    　請求項１６～１８のいずれか一項に記載の制御方法。
  20. 　第２機械学習モデルに、前記ロボットの手術動作での処理の対象部分の画像データを入力データとして入力させ、前記ロボットの対応動作指令を出力データとして出力させ、
    　前記対応動作指令に基づき、前記自動動作指令を生成し、
    　前記第２機械学習モデルに、前記対象部分の画像データと、前記画像データの前記対象部分に対する前記ロボットの動作を示す第２情報とを用いて機械学習させ、
    　前記第２機械学習モデルによって出力される前記対応動作指令は、前記ロボットの動作情報に対応する指令である
    　請求項１６～１９のいずれか一項に記載の制御方法。
PCT/JP2020/041310 2019-11-07 2020-11-05 手術システム及び制御方法 WO2021090868A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20885531.2A EP4056334A4 (en) 2019-11-07 2020-11-05 SURGERY SYSTEM AND CONTROL METHOD
US17/774,857 US20220401166A1 (en) 2019-11-07 2020-11-05 Surgical system and controlling method
CN202080074445.8A CN114585321B (zh) 2019-11-07 2020-11-05 手术系统以及控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019202762A JP7432340B2 (ja) 2019-11-07 2019-11-07 手術システム及び制御方法
JP2019-202762 2019-11-07

Publications (1)

Publication Number Publication Date
WO2021090868A1 true WO2021090868A1 (ja) 2021-05-14

Family

ID=75849929

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/041310 WO2021090868A1 (ja) 2019-11-07 2020-11-05 手術システム及び制御方法

Country Status (5)

Country Link
US (1) US20220401166A1 (ja)
EP (1) EP4056334A4 (ja)
JP (2) JP7432340B2 (ja)
CN (1) CN114585321B (ja)
WO (1) WO2021090868A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12016523B2 (en) * 2021-08-31 2024-06-25 Karl Storz Imaging, Inc. Medical imaging scope with customizable programmable commands
JP2024014482A (ja) * 2022-07-22 2024-02-01 キヤノン株式会社 撮影システム、撮影制御方法、及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015527906A (ja) * 2012-06-29 2015-09-24 チルドレンズ ナショナル メディカル センターＣｈｉｌｄｒｅｎ’Ｓ Ｎａｔｉｏｎａｌ Ｍｅｄｉｃａｌ Ｃｅｎｔｅｒ 自動化された手術及び介入処置
US20160155232A1 (en) * 2014-11-27 2016-06-02 Gal Sela Method, system and apparatus for displaying surgical engagement paths
WO2017085811A1 (ja) * 2015-11-18 2017-05-26 富士機械製造株式会社 ティーチング装置及び制御情報の生成方法
US20180060524A1 (en) * 2016-08-31 2018-03-01 Covidien Lp Pathway planning for use with a navigation planning and procedure system
JP2019024925A (ja) * 2017-07-28 2019-02-21 株式会社日立製作所 医用撮像装置及び画像処理方法
WO2019171468A1 (ja) * 2018-03-06 2019-09-12 株式会社ウフル 機械学習済みモデル切り替えシステム、エッジデバイス、機械学習済みモデル切り替え方法、及びプログラム
JP2019188038A (ja) 2018-04-27 2019-10-31 川崎重工業株式会社 外科手術システム及び外科手術システムの制御方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120068597A (ko) * 2010-12-17 2012-06-27 주식회사 이턴 수술 로봇 시스템 및 적응 제어 방법
US8951266B2 (en) 2011-01-07 2015-02-10 Restoration Robotics, Inc. Methods and systems for modifying a parameter of an automated procedure
KR101997566B1 (ko) * 2012-08-07 2019-07-08 삼성전자주식회사 수술 로봇 시스템 및 그 제어방법
EP3549103B1 (en) * 2016-12-02 2021-08-04 Avent, Inc. System and method for navigation to a target anatomical object in medical imaging-based procedures
EP3409230B1 (de) * 2017-05-31 2019-05-22 Siemens Healthcare GmbH Bewegen eines roboterarms
GB2563234B (en) * 2017-06-06 2021-12-08 Cmr Surgical Ltd Securing an interface element rail of a robotic surgical instrument interface
JP6840254B2 (ja) * 2017-09-27 2021-03-10 富士フイルム株式会社 仮想ステント設置装置、方法およびプログラム
US11266468B2 (en) * 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US11058498B2 (en) * 2017-12-28 2021-07-13 Cilag Gmbh International Cooperative surgical actions for robot-assisted surgical platforms
US11998193B2 (en) * 2017-12-28 2024-06-04 Cilag Gmbh International Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation
WO2019160865A1 (en) * 2018-02-13 2019-08-22 Auris Health, Inc. System and method for driving medical instrument
US10517681B2 (en) * 2018-02-27 2019-12-31 NavLab, Inc. Artificial intelligence guidance system for robotic surgery
US20210212773A1 (en) * 2018-05-16 2021-07-15 Intuitive Surgical Operations, Inc. System and method for hybrid control using eye tracking
US11931089B2 (en) * 2018-09-07 2024-03-19 Cilag Gmbh International Modular surgical energy system with module positional awareness sensing with voltage detection
US11744655B2 (en) * 2018-12-04 2023-09-05 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US10939970B2 (en) * 2019-05-22 2021-03-09 Titan Medical Inc. Robotic surgery system
EP3993737A1 (en) * 2019-07-03 2022-05-11 Edwards Lifesciences Corporation Force limiting mechanism for prosthetic heart valve delivery apparatus
CN114269279A (zh) * 2019-08-02 2022-04-01 奥瑞斯健康公司 用于调节医疗规程中的远程中心距离的系统和方法
US11234779B2 (en) * 2019-09-10 2022-02-01 Verb Surgical. Inc. Handheld user interface device for a surgical robot
EP4072460A1 (en) * 2019-12-09 2022-10-19 Covidien LP System and apparatus for anatomy state confirmation in surgical robotic arm
WO2021115857A1 (en) * 2019-12-12 2021-06-17 Koninklijke Philips N.V. Guided anatomical manipulation for endoscopic procedures

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015527906A (ja) * 2012-06-29 2015-09-24 チルドレンズ ナショナル メディカル センターＣｈｉｌｄｒｅｎ’Ｓ Ｎａｔｉｏｎａｌ Ｍｅｄｉｃａｌ Ｃｅｎｔｅｒ 自動化された手術及び介入処置
US20160155232A1 (en) * 2014-11-27 2016-06-02 Gal Sela Method, system and apparatus for displaying surgical engagement paths
WO2017085811A1 (ja) * 2015-11-18 2017-05-26 富士機械製造株式会社 ティーチング装置及び制御情報の生成方法
US20180060524A1 (en) * 2016-08-31 2018-03-01 Covidien Lp Pathway planning for use with a navigation planning and procedure system
JP2019024925A (ja) * 2017-07-28 2019-02-21 株式会社日立製作所 医用撮像装置及び画像処理方法
WO2019171468A1 (ja) * 2018-03-06 2019-09-12 株式会社ウフル 機械学習済みモデル切り替えシステム、エッジデバイス、機械学習済みモデル切り替え方法、及びプログラム
JP2019188038A (ja) 2018-04-27 2019-10-31 川崎重工業株式会社 外科手術システム及び外科手術システムの制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4056334A4

Also Published As

Publication number Publication date
EP4056334A4 (en) 2023-12-06
CN114585321B (zh) 2023-12-12
JP2021074242A (ja) 2021-05-20
JP2024045418A (ja) 2024-04-02
CN114585321A (zh) 2022-06-03
JP7432340B2 (ja) 2024-02-16
EP4056334A1 (en) 2022-09-14
US20220401166A1 (en) 2022-12-22

Similar Documents

Publication Publication Date Title
JP2024045418A (ja) ロボットシステム及び制御方法
JP7339776B2 (ja) 制御システム、機械装置システム及び制御方法
US11517384B2 (en) Surgical system and method for controlling the same
KR102222124B1 (ko) 수술 지원 장치, 그 제어 방법, 기록 매체 및 수술 지원 시스템
JP7316762B2 (ja) 外科手術システム及び外科手術システムの制御方法
US12128566B2 (en) Guided tool change
CN111315309A (zh) 用于控制机器人操纵器或相关工具的系统和方法
EP2691042B1 (en) Control device for surgical system
KR20140113209A (ko) 로봇 및 그 제어방법
KR102688404B1 (ko) 사용자 설치가능 부품 설치 탐지 기술
JP2024020245A (ja) 制御された把持及びエネルギ送達のためのシステム及び方法
CN114449970B (zh) 使用器具推断装置、方法以及手术辅助机器人
WO2024121678A1 (en) Method and system for estimating positional data in images
JP2023511474A (ja) 患者モデルとカスタマイズ可能な手術室とを用いた外科手術作業フローをシミュレートするための仮想現実システム
US20240189051A1 (en) Controlled resistance in backdrivable joints
WO2022014447A1 (en) Surgical assistance system and method
JP7333197B2 (ja) 制御システム、機械装置システム及び制御方法
US20200315740A1 (en) Identification and assignment of instruments in a surgical system using camera recognition
WO2021112228A1 (ja) 手術ロボット、手術システム及び制御方法
Staub et al. Remote minimally invasive surgery–haptic feedback and selective automation in medical robotics
WO2018229926A1 (ja) 医療用マニピュレータ
CN118902357A (zh) 内窥镜运动控制方法、系统、电子设备及存储介质
CN118203413A (zh) 控制手柄力矩获取方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20885531

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020885531

Country of ref document: EP

Effective date: 20220607