[go: up one dir, main page]

CN104918574B - 医疗用便携终端装置 - Google Patents

医疗用便携终端装置 Download PDF

Info

Publication number
CN104918574B
CN104918574B CN201480004977.9A CN201480004977A CN104918574B CN 104918574 B CN104918574 B CN 104918574B CN 201480004977 A CN201480004977 A CN 201480004977A CN 104918574 B CN104918574 B CN 104918574B
Authority
CN
China
Prior art keywords
mentioned
control
mobile communication
test section
communication terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480004977.9A
Other languages
English (en)
Other versions
CN104918574A (zh
Inventor
田代浩
田代浩一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN104918574A publication Critical patent/CN104918574A/zh
Application granted granted Critical
Publication of CN104918574B publication Critical patent/CN104918574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00199—Electrical control of surgical instruments with a console, e.g. a control panel with a display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00221—Electrical control of surgical instruments with wireless transmission of data, e.g. by infrared radiation or radiowaves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00225—Systems for controlling multiple different instruments, e.g. microsurgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00571—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
    • A61B2018/00595—Cauterization
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00571—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
    • A61B2018/00607—Coagulation and cutting with the same instrument
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00982—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body combined with or comprising means for visual or photographic inspections inside the body, e.g. endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B2018/1405—Electrodes having a specific shape
    • A61B2018/1412—Blade
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/258—User interfaces for surgical systems providing specific settings for specific users
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N7/00—Ultrasound therapy
    • A61N7/02—Localised ultrasound hyperthermia
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Otolaryngology (AREA)
  • Plasma & Fusion (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Manipulator (AREA)

Abstract

医疗用便携终端装置具有：操作面板部，其具备用于由位于非灭菌区域的第一操作者进行操作的触摸面板，并能够对配置在非灭菌区域的多个医疗设备的动作进行控制；摄像部，其对位于灭菌区域的第二操作者进行手势操作的区域进行拍摄；识别部，其从拍摄到的摄像图像中识别手势操作；操作列表存储部，其存储操作列表，该操作列表用于使多个医疗设备与识别结果相关联地进行多个动作；以及控制部，其对基于操作面板部的操作的多个医疗设备的控制和基于手势操作的多个医疗设备的控制进行切换。

Description

医疗用便携终端装置
技术领域
本发明涉及一种在医疗设备的操作中使用的医疗用便携终端装置。
背景技术
在进行外科手术时利用很多的医疗设备。因此，提出了护士能够从一个地方简单地操作很多医疗设备的外科医疗系统。
另外，在作为第一现有例的日本特开2012-48602号公报中公开了如下一种医疗信息显示装置：为了能够通过更直观的操作来更容易地获取期望的医疗信息，获取条件输入用用户接口在显示有被检体外观图像(人体图标)时接受手势的输入，获取条件确定部根据由手势类型解析部等辨别出的手势的类型和对应的部位，来确定用于获取与手势对应的医疗信息的医疗信息获取条件，医疗信息获取部从医疗信息获取数据库获取满足所确定的医疗信息获取条件的医疗信息并通过显示单元进行显示。
另外，在作为第二现有例的日本特开2010-182014号公报中公开了如下一种装置：在医疗用信息终端中设置对灭菌区域的手术操作者进行拍摄的摄像机和介由该摄像机识别正在实施手术的手术操作者的手势的手势识别部，根据手术操作者的手的手势，来向手术操作者提供患者的监视信息、检查结果等信息。
然而，在第一现有例和第二现有例中，限定为通过手势(的操作)来获取期望的医疗信息的功能。因此，期望一种易于更顺利地推进手术的进行且便利性高的装置。
认为通过使作为处于非灭菌区域的第一操作者的护士能够通过触摸操作控制被配置于该非灭菌区域的医疗设备，并且使作为处于灭菌区域的第二操作者的手术操作者通过手势操作也能够进行医疗设备的控制，能够实现能够顺利地推进手术的便利性高的医疗用便携终端装置。
本发明是鉴于上述的点而完成的，其目的在于提供一种位于非灭菌区域的第一操作者通过触摸操作能够控制医疗设备的动作并且处于灭菌区域的第二操作者通过进行手势操作也能够控制医疗设备的动作的便利性高的医疗用便携终端装置。
发明内容
用于解决问题的方案
本发明的一个方式所涉及的医疗用便携终端装置具有：操作面板部，其构成为具备用于由位于非灭菌区域的第一操作者进行操作的触摸面板，通过对上述触摸面板进行触摸操作，能够对配置在上述非灭菌区域的多个医疗设备的动作进行控制；摄像部，其构成为对位于灭菌区域的第二操作者进行手势操作的区域进行拍摄，该灭菌区域与配置有上述多个医疗设备的上述非灭菌区域相分离；识别部，其构成为从由上述摄像部拍摄到的摄像图像中识别上述手势操作；操作列表存储部，其构成为存储操作列表，该操作列表用于使上述多个医疗设备与上述识别部的识别结果相关联地进行多个动作；以及控制部，其构成为对基于上述操作面板部的操作的上述多个医疗设备的控制和基于上述手势操作的上述多个医疗设备的控制进行切换。
附图说明
图1是表示具备本发明的第一实施方式的内窥镜手术系统的整体结构的图。
图2是表示内窥镜手术系统的电气系统的概要结构的图。
图3A是表示第一实施方式的医疗用便携终端装置的外观的主视图。
图3B是表示通过保持架保持了医疗用便携终端装置的情形的侧视图。
图4是表示医疗用便携终端装置和保持架的电气系统的结构的框图。
图5是表示预先存储的操作图案列表的一部分的图。
图6A是表示第一实施方式的基本处理内容的一例的流程图。
图6B是表示第一实施方式的代表性的处理内容的一例的流程图。
图7是表示手术操作者实施手术并且能够通过摄像机拍摄进行手势操作的区域的情形的说明图。
图8是表示第一变形例的情况下的医疗用便携终端装置的电气系统的结构的框图。
图9是表示第一变形例的情况下的处理内容的一例的流程图。
图10是表示第二变形例的情况下的处理内容的一例的流程图。
具体实施方式
下面，参照附图说明本发明的实施方式。
(第一实施方式)
如图1所示，本实施例的内窥镜手术系统1在患者3横躺的手术台2的两侧配置作为医疗设备搭载台的第一手推车4和第二手推车5，在这两个手推车4、5上搭载有作为进行观察、检查、处置、记录等的多个医疗设备的多个内窥镜外围设备。此外，患者3横躺的手术台2的周围成为通过灭菌等而被设定成干净的区域的灭菌区域Dc，在与灭菌区域Dc分离或隔离的两侧的非灭菌区域Dnc配置第一手推车4和第二手推车5。
在第一手推车4上搭载有第一TV摄像机装置(或摄像机控制单元)6、第一光源装置7、高频烧灼装置(以下为电手术刀装置)8、气腹装置9、超声波观测装置10、打印机11、第一监视器12、显示面板13、作为医疗设备操作单元的集中操作面板14、作为医疗设备集中控制单元的系统控制器15等，其中，显示面板13用于处于灭菌区域Dc的手术操作者确认设备的操作、设定状况等，集中操作面板14用于由处于非灭菌区域Dnc的护士集中进行设备的操作，具有未图示的鼠标和触摸面板等指示设备。
搭载于第一手推车4的各个设备经由未图示的串行接口线缆与系统控制器15连接，能够利用有线进行双向通信。另外，在系统控制器15上能够连接麦克风套装18，系统控制器15通过声音识别部(或声音识别电路)53(参照图2)识别从麦克风套装18的麦克风18a输入的声音，从而能够通过手术操作者的声音对各设备进行控制。
第一光源装置7经由传输照明光的光导线缆16与第一内窥镜17连接，向第一内窥镜17的光导件提供第一光源装置7的照明光，来对被该第一内窥镜17的插入部插入的患者3的腹部内的患部等进行照明。
在该第一内窥镜17的目镜部安装具备摄像元件的第一摄像头19，通过第一摄像头19内的摄像元件拍摄利用第一内窥镜17的观察光学系统形成的患部等的光学像，并经由摄像机线缆20传输至第一TV摄像机装置6，通过第一TV摄像机装置6内的信号处理电路进行信号处理来生成影像信号，经由系统控制器15输出至第一监视器12从而能够显示患部等的内窥镜图像。
在系统控制器15中内置有未图示的外部记录介质(MO)等的外部介质记录装置，能够将记录在MO等中的图像输出至显示面板13进行显示。
另外，系统控制器15经由未图示的线缆与未图示的医院内所设置的院内网络连接，能够将院内网络上的图像数据等输出至显示面板13进行显示。
在气腹装置9上连接CO2储气瓶21，经由从气腹装置9延伸至患者3的气腹管22能够向患者3的腹部内提供CO2气体。
在第二手推车5上搭载有第二TV摄像机装置23、第二光源装置24、超声波处置装置25、VTR(Video Tape Recorder：磁带录像机)26、第二TV监视器27、碎石装置28、泵37、刮刀30以及中继单元29等，各个设备通过未图示的线缆与中继单元29连接，能够进行双向通信。
第二光源装置24经由传输照明光的光导线缆31与第二内窥镜32连接，向第二内窥镜32的光导件提供第二光源装置24的照明光，来对被该第二内窥镜32的插入部插入的患者3的腹部内的患部等进行照明。
在该第二内窥镜32的目镜部安装具备摄像元件的第二摄像头33，通过第二摄像头33内的摄像元件拍摄利用第二内窥镜32的观察光学系统形成的患部等的光学像，并经由摄像机线缆34传输至第二TV摄像机装置23，通过第二TV摄像机装置23内的信号处理电路进行信号处理来生成影像信号，输出至第二显示器27从而能够显示患部等的内窥镜图像。
系统控制器15与中继单元29通过系统线缆35进行连接。
并且，在系统控制器15上经由线缆连接有用于手术操作者从灭菌区域Dc进行设备的操作的手术操作者用远程控制器(下面记为遥控器)36。
另外，在第一手推车4上沿水平方向突出设置有臂，在其端部附近安装有保持架50，在该保持架50上能够装卸自如地安装第一实施方式的医疗用便携终端装置(下面简写为终端装置)51。
为了易于护士携带并进行各种操作，该终端装置51例如是大小为能够用单手握持的7英寸左右的大小，重量为几百克左右。此外，并不限定于7英寸左右大小的情况，也可以形成为实际使用的护士能够从例如7英寸～11英寸的装置中进行选择。
在本实施方式中，非灭菌区域Dnc的护士N1能够携带该终端装置51来如进行针对集中操作面板14的触摸操作的情况那样通过系统控制器15进行图1所示的各种医疗设备的操作。此外，通常情况下集中操作面板14的尺寸比本终端装置51大，因此终端装置51更适合携带。
另外，在护士N1将终端装置51安装于保持架50的情况下，终端装置51被设定为通过保持架50被保持为规定的姿势且没有移动、换言之加速度不随时间经过而发生变化的状态。保持架50形成将终端装置51保持为规定的姿势的保持装置。
而且，在该状态下，将保持架50的位置设定成能够拍摄位于灭菌区域Dc的手术操作者O1进行手势操作的区域，从而能够根据手势操作控制医疗设备的动作。
另外，在本实施方式中，具备检测终端装置51是否处于规定的动作状态的检测单元，根据检测单元的检测结果，能够自动地切换终端装置51的操作功能和控制功能。
如图2所示，集中操作面板14、遥控器36、第一TV摄像机装置6、第一光源装置7、电手术刀装置8、气腹装置9、打印机11以及超声波观测装置10分别通过通信线缆38与系统控制器15的有线通信I/F 41连接，来进行数据的发送和接收。
另外，第一监视器12、第一TV摄像机装置6、打印机11以及超声波观测装置10通过影像线缆39与系统控制器15的影像切换器42连接，能够发送和接收影像信号。另外，集中操作面板14和显示面板13能够通过VGA线缆40而从系统控制器15的图形卡(graphic board)46输入VGA图像并显示多监视器图像。
第二TV摄像机装置23、第二光源装置24、超声波处置装置25、VTR 26、碎石装置28、刮刀30以及泵37通过通信线缆38与中继单元29连接，进行数据的发送和接收，并且，第二显示器27、第二TV摄像机装置23以及VTR 26通过影像线缆39与中继单元29连接，能够发送和接收影像信号。
另外，中继单元29通过线缆35(参照图1)与系统控制器15连接，经由线缆35内的通信线缆38与系统控制器15的有线通信I/F 41连接，并经由线缆35内的影像线缆39与系统控制器15的影像切换器42连接。
另外，保持架50经由通信线缆38与系统控制器15的有线通信I/F 41连接。而且，在终端装置51被安装(连接)于保持架50的情况下，终端装置51能够利用有线与系统控制器15进行通信。
系统控制器15除了具备上述有线通信I/F 41、影像切换器42、图形卡46以外，还具备经由影像切换器42取入图像数据的捕捉卡(capture board)44，通过(具有设定画面生成单元的功能的)中央运算处理装置(简记为“CPU”)43来对这些各电路进行控制。
另外，在系统控制器15上能够连接外部记录介质45，能够通过CPU 43将图像数据记录到外部记录介质中或进行再生。
另外，在系统控制器15内除了具有进行声音识别的上述声音识别部53以外，还具有声音生成部54，该声音生成部54生成用于通过声音向手术操作者传达与识别结果对应的内容的声音信号。通过该声音生成部54生成的声音信号被输出至麦克风套装18的接收器18b。
另外，在本实施方式中，系统控制器15除了具备形成有线的通信单元(或通信部)的上述有线通信I/F 41以外，还具备与设置于终端装置51的形成无线的通信单元(或通信部)的无线通信I/F 76(参照图4)进行无线通信的无线通信I/F 55。
图3A表示终端装置51的外观，另外，图3B表示被安装于作为保持装置的保持架50的状态下的终端装置51。
终端装置51例如为厚度小的长方形板的形状，在作为正面的一个板面上设置有尺寸比整个面稍小的操作面板部(或操作显示部)61和配置在中央的上部附近的位置处的作为摄像部的摄像机62。
另外，在作为摄像机62的相反侧的端部的下端设置有连接器63，该连接器63装卸自如地与保持架50侧的连接器插座64连接。
保持架50具有保持终端装置51的下端的可动构件65和以期望的角度保持能够转动的可动构件65的保持构件66。此外，可动构件65通过其半圆筒形状部分的成为旋转中心的轴的两侧的外周面的一部分与保持构件66的保持部接触而被保持。
终端装置51的下端嵌入在设置于可动构件65的凹部中，此时，连接器63被连接在连接器插座64上。另外，可动构件65通过保持构件66以能够倾动的方式被保持。此外，在图3B中，通过可动构件65与保持构件66接触的保持部的接触面的摩擦力，能够将可动构件65固定在任意的可动位置，但是也可以通过螺纹等进行固定。对于被安装在可动构件65上的终端装置51，能够如图3B所示那样，与可动构件65一起调整终端装置51的板面的倾角。换言之，通过调整终端装置51的板面的倾角，能够变更或调整终端装置51的摄像机62的视场方向V。
而且，通过变更或调整摄像机62的视场方向V，在例如图1所示那样将终端装置51安装于保持架50的情况下，能够将摄像机62的视场设定成覆盖(进行手势操作的)手术操作者的手势范围。因此，保持架50具有机械地变更作为终端装置51的摄像部的摄像机62的视场范围的视场范围变更部(或视场范围变更装置)的功能。此外，在图3B的结构中，示出了具备使摄像机62的视场方向上下(方向)摆动的俯仰拍摄功能的例子，但是也可以还设置使摄像机62的视场方向左右(方向)摆动的摇摄功能。
图4表示终端装置51和保持架50的内部结构。如图4所示，构成摄像部的摄像机62包括物镜62a以及配置在物镜62a的成像位置的电荷耦合元件等摄像元件62b。摄像元件62b与驱动&信号处理部(或驱动&信号处理电路)71连接，该驱动&信号处理部71(的驱动部或驱动电路)对摄像元件62b施加驱动信号来使其输出拍摄到的摄像图像的信号，驱动&信号处理部71(的信号处理部或信号处理电路)针对所输出的信号进行信号处理。此外，也可以设为能够将物镜62a或摄像元件62b沿光轴方向移动从而能够可变地调整视场范围。或者，还可以设为在驱动&信号处理部71中电气性地变更视场范围。
驱动&信号处理部71将信号处理得到的影像信号(图像信号)进行A/D转换后作为影像数据(图像数据)保存到与数据总线70连接的图像存储器72中。
在数据总线70上连接有CPU 73、存储部74、加速度变化检测部(或加速度变化检测电路)75、无线通信I/F 76、有线通信I/F 77、操作面板控制器78、充电状态检测部(或充电状态检测电路)79以及连接状态检测部(或连接状态检测电路)80，该CPU 73具有进行基于影像数据(图像数据)的手势图案识别、基于识别结果的控制等处理的控制部(或控制电路)的功能，该存储部74包括将多个医疗设备操作用的操作图案的列表预先存储为操作图案列表(也称为操作列表)的存储器等，该加速度变化检测部(或加速度变化检测电路)75具有加速度传感器75a，检测加速度的随时间经过而发生的变化。
另外，在终端装置51内还收纳有蓄电池81，该蓄电池81向驱动&信号处理部71、图像存储器72、···、连接状态检测部80提供动作所需的直流电源，包括二次电池，该二次电池包括可充电的锂电池等。
图3A所示的操作面板部61具有显示面板61a和触摸面板61b，该显示面板61a显示操作引导图像，该操作引导图像示出进行触摸操作时的触摸操作的内容等，该触摸面板61b包括多个触摸传感器，该多个触摸传感器用于检测显示面板61a所显示的引导图像中的哪个位置被进行了触摸操作。
显示面板61a与操作面板控制器78中的显示控制部(或显示控制电路)78b连接，显示控制部78b对显示面板61a所显示的操作引导图像进行控制。此外，显示控制部78b显示的操作引导图像的数据被预先保存(存储)到例如存储部74中。因而，存储部74具有保存操作引导图像数据的操作引导图像数据保存部(或操作引导图像数据保存装置)的功能。
另外，触摸面板61b与操作面板控制器78中的操作位置检测部(或操作位置检测电路)78a连接，操作位置检测部78a将被护士N1触摸的位置检测为操作位置(触摸位置)。另外，操作位置检测部78a基于显示控制部78b的操作引导图像，判定与被护士N1触摸的操作位置对应的医疗设备的动作内容(控制内容)并发送至CPU 73。
此外，也可以代替操作位置检测部78a具有上述的功能，而设为操作位置检测部78a产生所触摸的位置的信号并发送至CPU 73，CPU 73的第一控制部(或第一控制电路)73b基于所发送的信号来判定该信号是否是使医疗设备进行动作的操作的操作信号。
CPU 73具有进行控制以进行通过护士N1对操作面板部61的触摸操作而指示的医疗设备的动作(或者使医疗设备进行通过护士N1对操作面板部61的触摸操作而指示的动作)的第一控制部73b的功能。
CPU 73具有例如切换控制部(或切换控制电路)73a，该切换控制部(或切换控制电路)73a具备上述第一控制部73b的控制功能和在下面说明的基于手势操作的第二控制部(或第二控制电路)73c的控制功能。
在本实施方式中，代替并行地进行上述第一控制部73b的控制功能和第二控制部73c的控制功能，通过使切换控制部73a根据针对终端装置51的规定的动作状态的检测结果而二选一地具有第一控制部73b的控制功能和第二控制部73c的控制功能来提高便利性。换言之，切换控制部(或切换控制电路)73a根据针对终端装置51的规定的动作状态的检测结果来自动地切换第一控制部73b的控制功能和第二控制部73c的控制功能。
在该情况下，在由护士N1携带终端装置51且终端装置51被移动了的状态(加速度随时间经过而发生变化的状态)下，设定为CPU 73(的切换控制部73a)如上述那样具有第一控制部73b的功能，在终端装置51没有移动的状态下、更具体地说在终端装置51被安装于保持架50的状态下，设定为CPU 73(的切换控制部73a)如下面说明的那样具有第二控制部73c的功能。此外，加速度变化检测部75具有检测规定的动作状态的检测部(或检测电路)的功能。
保存在上述图像存储器72中的图像数据被CPU 73取入，CPU 73具有从图像数据中抽出与手势有关的形状的图像数据的形状抽出部(或形状抽出电路)73d的功能。另外，CPU73具有基于由形状抽出部73d抽出的多个帧的形状的图像数据识别为与手势操作有关的图案的识别部(或生成与手势操作有关的图案的生成部)73e的功能。
另外，CPU 73具有判定部(或判定电路)73f的功能，该判定部(或判定电路)73f将通过识别部(或识别电路)73e识别出的图案与预先存储(登记)在存储部74中的操作图案列表进行对照(比较)，来判定是否为在容许的误差以内一致的图案。因此，存储部74具备操作图案列表存储部(或操作图案列表存储装置)74a，该操作图案列表存储部(或操作图案列表存储装置)74a存储为了使多个医疗设备分别进行规定的动作而预先设定的多个操作图案的列表。
图5表示操作图案列表的一部分。在图5的例子中，针对例如与第一手势(的操作)对应的第一操作图案，存储(登记)有针对电手术刀的操作接受(操作受理)的动作内容。在该情况下，当手术操作者进行与第一操作图案相当的第一手势时，形成接受针对电手术刀的(手势)操作的接受状态的动作内容或控制内容。另外，当手术操作者进行与第二、第三操作图案相当的第二、第三手势时，是电手术刀的输出设定改变操作，在进行了第二手势的情况下，使输出设定增加，在进行了第三手势的情况下，使输出设定减少。
另外，在进行了第四手势的情况下，针对电手术刀的操作接受被解除。除此之外，也可以设为能够通过手势操作进行输出图案的切换。此外，电手术刀经由高频线缆与电手术刀装置8连接，从电手术刀装置8通过高频线缆对电手术刀提供高频电流。
另外，对于与作为利用高频电流的处置器具的电手术刀不同的作为其它医疗设备的例如超声波切开凝固处置器具，也与电手术刀的情况同样地存储(登记)有操作图案和动作内容。超声波切开凝固处置器具经由超声波线缆与图1的超声波处置装置25连接。
并且，针对不是能动地对患者3进行处置的医疗设备、例如第一监视器12等，也可以设为能够通过手势操作来控制观察图案的切换等。
如图4所示，CPU 73具有第二控制部73c的功能，该第二控制部73c在通过判定部73f判定为是一致的图案(也就是说，是特定的操作图案)的情况下，进行控制以进行与该图案对应的医疗设备的动作(或者使医疗设备进行与该图案对应的动作)。
切换控制部73a根据基于上述加速度变化检测部75的检测结果等，自动地切换上述第一控制部73b和第二控制部73c的功能，减轻由护士N1进行切换操作的负担。
加速度变化检测部75在时间上监视从检测作用于终端装置51的加速度的加速度传感器75a输出的检测信号来检测加速度是否随时间经过发生了变化，由此判定终端装置51是否在被护士N1携带的状态下发生了移动。更具体地说，作为是否由于处于上述规定的动作状态而有移动的检测，加速度变化检测部75对在加速度传感器75a检测出加速度的情况下输出的检测信号的随时间经过的变化量(换言之，加速度的随时间经过的变化量)绝对值是否变化为与该绝对值对应地设定的阈值以上进行检测。加速度变化检测部75将判定上述绝对值是否为阈值以上所得到的判定信号作为是否有移动的判定信号输出到CPU 73的切换控制部73a。
然后，切换控制部73a在判定结果为终端装置51发生了移动的情况下，通过第一控制部73b的功能进行控制，在判定结果为终端装置51没有移动的情况下，通过第二控制部73c的功能进行控制。参照图6A在后面记述该情况的动作。
另外，在本实施方式中，与终端装置51是否有移动的判定结果联动地，连接状态检测部80检测是否为终端装置51被连接(安装)于保持架50上的状态，切换控制部73a根据检测结果进行无线通信和有线通信的切换、充电动作的控制等。因而，切换控制部73a具有对作为无线通信部的无线通信I/F 76的无线通信动作和作为有线通信部的有线通信I/F 77的动作进行切换的动作切换部(或动作切换控制部)的功能。
此外，检测终端装置51是否处于规定的动作状态的情况并不限定于作为规定的动作状态而检测是否有移动的情况，也可以通过加速度变化检测部75检测上述绝对值是否为阈值以上。
在终端装置51被护士N1携带的状态下，终端装置51的切换控制部73a与系统控制器15进行无线通信来控制医疗设备的动作，在终端装置51被连接于保持架50的状态下，从无线通信切换为通过有线通信来控制医疗设备的动作。
通过进行这样的切换，能够在终端装置51被护士N1携带的情况下(通过采用无线通信来)确保操作性，并且在终端装置51被连接于保持架50的状态下，能够(通过采用有线通信来)在不容易受无线通信的电波状态影响的状态下控制医疗设备的动作。
在如上述那样将终端装置51连接(安装)在保持架50上的情况下，终端装置51的连接器63与保持架50的连接器插座64连接。在该情况下，设置在保持架50内的充电部82与蓄电池81电连接。充电部82通过例如与系统控制器15连接的通信线缆38(内的电源线缆)被提供直流电源，通过内部的充电电路转换为用于对蓄电池81进行充电的直流电压。
如图4所示，充电部82的输出端经由连接器插座64的电接点P4′、连接器63的电接点P4、电阻R1与蓄电池81的正极连接。此外，蓄电池81的负极被连接于接地G(省略图示)。另外，接地G与电接点P3连接，该电接点P3与被连接在接地线缆上的电接点P3′连接。
在充电状态的情况下，充电电流从充电部82经由电阻R1流向蓄电池81。在该情况下，充电状态检测部(或充电状态检测电路)79监视电阻R1的两端的电压，根据该电压是否变为阈值以下来监视蓄电池81是否为充电完成状态。
充电状态检测部79在判定为不是充电完成状态的情况下，使充电电流流向蓄电池81，进行对蓄电池81充电的动作，在判定为是充电完成状态的情况下，经由电接点P2、P2′对充电部82发送充电停止的信号并使充电电流断开以使对蓄电池81进行充电的动作停止(OFF)，来防止蓄电池81的过充电。
另外，连接状态检测部80检测在例如与连接检测用的电接点P5′、P6′分别连接的电接点P5、P6中的电接点P6处是电压为接地G的电压程度的未连接状态、还是电压比接地G的电压高的连接状态。电接点P5与电接点P4连接，另外，电接点P5′与电接点P6′导通，电接点P6经由下拉用的电阻R2被设定为接地G的电压。
连接状态检测部80将电接点P6的电压与比接地G的电压稍高的阈值电压进行比较，在电接点P6的电压小于阈值电压的情况下，判定(检测)为未连接状态，在电接点P6的电压超过阈值电压的情况下，判定(检测)为连接状态。
在判定(检测)结果从未连接状态切换为连接状态的情况下，进行切换以停止终端装置51的无线通信I/F 76的动作并使有线通信I/F 77成为动作状态。
有线通信I/F 77经由电接点P1、P1′、通信线缆38与系统控制器15的有线通信I/F41连接。
此外，也可以使用专用的电子电路等硬件来分别构成图4所示的CPU 73内的切换控制部73a、第一控制部73b、第二控制部73c、形状抽出部73d、识别部73e、判定部73f的功能。另外，也可以使用FPGA(Field Programmable Gate Array：现场可编程门阵列)形成切换控制部73a、第一控制部73b、第二控制部73c、形状抽出部73d、识别部73e、判定部73f。另外，例如可以设为识别部73e兼具形状抽出部73d的功能的结构，也可以设为识别部73e兼具判定部73f的功能的结构，还可以设为识别部73e兼具形状抽出部73d和判定部73f的功能的结构。另外，可以将图4中的充电状态检测部79和连接状态检测部80中的一方兼用做两者。另外，可以使用CPU构成充电状态检测部79和连接状态检测部80，也可以使用专用的硬件来构成。另外，不限于图4所示的结构例，一个功能也可以兼用做其它的功能。
这样构成的第一实施方式的终端装置51的特征在于，具有：操作面板部61，其构成为具备用于由作为位于非灭菌区域Dnc的第一操作者的护士N1进行操作的触摸面板61b，通过对上述触摸面板61b进行触摸操作，能够对配置在上述非灭菌区域Dnc的多个医疗设备的动作进行控制；作为摄像部的摄像机62，其构成为对作为位于灭菌区域Dc的第二操作者的手术操作者O1进行手势操作的区域进行拍摄，该灭菌区域Dc与配置有上述多个医疗设备的上述非灭菌区域Dnc相分离；识别部73e，其构成为从由上述摄像部拍摄到的摄像图像中识别上述手势操作；形成操作列表存储部的操作图案列表存储部74a，其构成为存储(与基于上述手势操作的多个规定的操作图案对应的)操作列表，该操作列表用于与上述识别部73e的识别结果相关联地使上述多个医疗设备进行多个动作；以及作为控制部的切换控制部73a，其构成为对基于上述操作面板部61的操作的上述多个医疗设备的控制和基于上述手势操作的上述多个医疗设备的控制进行切换。
接着，参照图6A、图6B说明本实施方式的作用。作为说明本实施方式的作用的情况的具体例，例如通过以下的情况进行说明。
携带终端装置51的护士N1在包含例如图1中用两点划线所示的第一手推车4附近的位置在内的非灭菌区域Dnc对终端装置51的操作面板部61进行触摸操作来进行各种医疗设备的动作的控制、设定。在手术开始前，护士N1不断地移动以设置各种医疗设备、通过对操作面板部61进行触摸操作等来将所设置的多个医疗设备设定为进行手术所需要的规定的设定状态，但是例如在手术开始后的状态中，需要移动来操作医疗设备的频率变少。在那样的情况下，护士N1将所携带的终端装置51设置(安装)在保持架50上。然后，护士N1直接操作医疗设备、或者从集中操作面板14进行用于控制医疗设备的动作的操作。
另一方面，如图1中用两点划线所示那样处于灭菌区域Dc的手术操作者O1使用处置器具对患者3的腹部进行手术。在该情况下，如图7所示那样，手术操作者O1用一只手操作作为处置器具的电手术刀91来进行将患者3的患部切开等的处置，此时用另一只包含手在内的手臂进行手势操作来进行改变作为向电手术刀91提供高频电力的医疗设备的电手术刀装置8的输出(高频电力)的控制。
此外，实际上，进行手势操作的手佩戴了手术用手套(以下仅称为手套)Gl，手术操作者O1进行改变佩戴了手套Gl的手和手臂部分中的手的(五指的)形状、摆动手臂等的手势操作。
为了能够通过这样的手势来控制医疗设备的动作，被安装于保持架50的终端装置51的摄像机62被设定为如图1中两点划线所示那样包含手术操作者O1进行手势操作的区域作为视场范围。在该情况下，作为(摄像机62的)视场范围，设定为覆盖如图7所示那样(打手势的)手术操作者O1打手势的区域R。
而且，摄像机62对进行手势操作的区域R进行摄像，将拍摄到的摄像图像的图像数据保存到图像存储器72中，形状抽出部73d具有从图像数据中抽出该手和手臂的形状的手&手臂形状抽出部(或手&手臂形状抽出电路)的功能。识别部73e基于所抽出的手和手臂的形状来识别成为与该形状对应的框架的图案。
然后，判定部73f判定识别出的图案与预先存储在存储部74中的(即，已登记的)利用手和手臂做出的多个特定的操作图案中的哪一个一致。在与某一个操作图案一致的情况下，进行控制以进行与该操作图案对应的医疗设备的动作。
另外，在将终端装置51安装在保持架50上的情况下，成为摄像机62固定(静止)的状态，因此成为易于高精度地识别手术操作者O1的手势操作的状态。
本实施方式中的基本动作成为如图6A所示的处理过程那样。
当内窥镜手术系统1为动作状态并且终端装置51也被设定为动作状态时，在最初的步骤S1中，终端装置51内的加速度变化检测部75基于加速度传感器75a的检测结果判定终端装置51是否有移动(加速度变化)。在判定为有移动的情况下，切换控制部73a成为利用第一控制部73b进行第一控制的状态。
在接下来的步骤S2中，操作面板控制器78(的操作位置检测部78a)判定(检测)是否存在由护士N1对操作面板进行的触摸操作，在未进行触摸操作的情况下，等待进行触摸操作。
另一方面，在进行了触摸操作的情况下，在接下来的步骤S3中，操作位置检测部78a产生与触摸操作对应的信号并发送至CPU 73的第一控制部73b。
在接下来的步骤S4中，第一控制部73b判定所发送的信号是否是使医疗设备进行动作的操作信号。在判定为是使医疗设备进行动作的操作信号的情况下，在接下来的步骤S5中，第一控制部73b进行控制以执行与操作信号对应的医疗设备的动作(或者使医疗设备执行与操作信号对应的动作)后返回最初的步骤S1的处理。
例如，护士N1对操作面板部61进行触摸操作，第一控制部73b在判定为是使医疗设备进行动作的操作信号的情况下，执行与操作信号对应的医疗设备的动作(或者使医疗设备执行与操作信号对应的动作)，以使各种医疗设备成为实际使用时的设定状态。
在步骤S4中判定为不是使医疗设备进行动作的操作信号的情况下，在步骤S6中进行与该信号对应的处理(例如针对误操作的处理)后，返回步骤S1的处理。
在步骤S1中未检测出有移动的情况下，切换控制部73a成为利用第二控制部73c进行第二控制的状态。
在该状态下，如步骤S7所示那样将通过摄像机62拍摄并通过驱动&信号处理部71生成的图像数据依次取入到图像存储器72中。由于是没有检测出终端装置51的移动的状态，因此摄像机62也没有移动，因而成为以下说明的易于高精度地识别手术操作者O1的手势的状态。
另外，在接下来的步骤S8中，CPU 73的识别部73e从图像存储器72的图像数据中抽出(识别)手术操作者O1的手势的图案。在接下来的步骤S9中，CPU 73的判定部73f将由识别部73e抽出的图案与存储部74的操作图案列表的操作图案进行对照，并且在接下来的步骤S10中判定是否存在所抽出的图案与操作图案列表的操作图案一致的图案(特定的操作图案)。
在不存在一致的图案的情况下，返回步骤S1的处理，在判定为存在一致的图案的情况下，在接下来的步骤S11中，第二控制部73c进行控制以执行与一致的图案(特定的操作图案)对应的医疗设备的动作之后，转移至步骤S1的处理。
根据作为本实施方式中的基本动作的图6A所示的动作(处理)，能够根据终端装置51的移动的检测结果，以适合于移动的检测结果的状态选择性地进行通过操作面板部61的触摸操作进行的医疗设备的动作控制和基于手术操作者O1的手势操作进行的医疗设备的动作控制。
另外，本实施方式通过以下说明的图6B所示的(比图6A更详细的)处理过程，能够根据终端装置51的移动的检测结果，以适合于检测结果的状态选择性地进行通过操作面板部61的触摸操作进行的医疗设备的动作控制和基于手术操作者O1的手势进行的医疗设备的动作控制。
当内窥镜手术系统1成为动作状态并且终端装置51也被设定为动作状态时，在最初的步骤S21中，终端装置51内的加速度变化检测部75基于加速度传感器75a的检测结果判定终端装置51是否有移动(加速度变化)。
此外，在步骤S21的状态中，终端装置51(如能够从步骤S38判定的那样)是与系统控制器15进行无线通信的状态。
在步骤S21中判定为有移动的情况下，切换控制部73a成为利用第一控制部73b进行第一控制的状态。然后，在进行了步骤S22至步骤S26的处理之后，返回步骤S21的处理。步骤S22至步骤S26的处理与步骤S2至步骤S6的处理相同，因此省略其说明。
另一方面，在步骤S21中未检测出有移动的情况下，切换控制部73成为利用第二控制部73c进行第二控制的状态。
在该状态中，如步骤S27所示那样，连接状态检测部80检测是否为终端装置51被连接(安装)在保持架50上的连接状态。然后，等待设为连接状态。当终端装置51被连接(安装)于保持架50时，成为(如图4所示那样)电接点P5和P6导通的状态，因此在电接点P6处电压从未连接的接地G的电压上升至电源端的电压，该电压变为阈值以上，连接状态检测部80检测出连接状态(安装状态)。
连接状态检测部80向第二控制部73c通知连接状态的检测信号。第二控制部73c接受连接状态的通知，如下面那样进行通信的切换、充电动作、通过手势操作医疗设备等的控制。在接下来的步骤S28中，第二控制部73c从进行无线通信的状态切换为进行有线通信的状态。通过进行有线通信，与进行无线通信的情况相比不受电波状态的影响，因此能够进行可靠性更高的通信。
另外，在接下来的步骤S28中，设置于保持架50内的充电部82开始充电，充电电流从充电部82经由电阻R1流向蓄电池81。此时，终端装置51内的充电状态检测部79判定是否为电阻R1的两端的电压为阈值以下的充电完成状态。在未判定为是充电完成状态的情况下，如步骤S30所示那样进行充电。
在判定为是充电完成状态的情况下，如步骤S31所示，充电状态检测部79经由电接点P2、P2′向充电部82发送使充电停止的信号而变为充电停止。在步骤S30、S31的处理之后的步骤S32中，将通过摄像机62拍摄并通过驱动&信号处理部71生成的图像数据依次取入到图像存储器72中。
另外，在接下来的步骤S33中，CPU 73的形状抽出部73d从图像存储器72的图像数据中抽出手术操作者O1的手势的形状。另外，识别部73e基于通过形状抽出部73d抽出的形状来抽出(识别)手势的图案。
在接下来的步骤S34中，CPU 73的判定部73f将由识别部73e抽出的图案与存储部74的操作图案列表的操作图案进行对照，并且在接下来的步骤S35中判定是否存在所抽出的图案与操作图案列表的操作图案一致的图案(特定的操作图案)。
在不存在一致的图案的情况下，返回步骤S29的处理，在判定为存在一致的图案的情况下，在接下来的步骤S36中，第二控制部73c进行控制以执行与一致的图案(特定的操作图案)对应的医疗设备的动作。
在接下来的步骤S37中，第二控制部基于连接状态检测部80的检测结果判定是否为终端装置51被连接在保持架50上的状态。在判定结果为是连接状态的情况下，返回步骤S29的处理。另一方面，在判定结果为不是连接状态的情况下，在步骤S38中，第二控制部73c在从进行有线通信的状态切换为进行无线通信的状态后，返回步骤S21的处理。
手术操作者O1能够不进行手势操作而指示护士N1来进行例如提高或降低向电手术刀91的输出设定值的指示。但是，在想要使输出微小地变化的同时进行处置那样的情况下，存在难以期待护士N1如手术操作者O1期望的那样适当地改变输出的情况。
在这样的情况下，通过手术操作者O1自己进行用于如该手术操作者O1期望的那样改变输出设定的手势，手术操作者O1能够期待如手术操作者O1期望的那样改变输出。例如下面那样预先登记图5的操作图案等：手术操作者O1使手臂和手沿水平方向伸成直线状(三点钟的方向)，在伸成直线状的状态下，通过进行使其前端侧从水平方向向上方向(两点钟的方向)移动的手势，来使向电手术刀91的输出(高频电力)增加与向上方向的移动距离(前端的移动距离)成比例的比率，通过进行使前端的手从水平方向向下方向(四点钟的方向)移动的手势，来使向电手术刀91的输出减少与向下方向的移动距离成比例的比率。在像这样登记的情况下，手术操作者O1通过进行简单的手势操作，易于由本人而非他人微小地改变期望那样的输出来进行处置。
此外，通过限制通过简单的手势操作能够改变的输出的范围、换言之通过限制通过手势操作改变医疗设备的输出时的范围，即使在难以高精度地进行手势的图案识别、识别出的图案与操作图案之间的对照的情况下，手术操作者O1也能够控制向医疗设备的微小的输出变化。代替限制通过简单的手势操作能够改变的输出的范围，也可以基于当前识别出的操作图案的输出状态来限制通过与该操作图案不同的操作图案能够改变的输出的范围。
在通过手势变更医疗设备的输出设定的情况下，也可以使CPU 73设置具有像这样限制能够改变的输出的范围的(图4中用虚线表示的)输出变化量限制部73g的功能。在从与由识别部73e识别出的第一图案对应的医疗设备的第一输出起在规定的时间内识别出与该第一图案不同的第二图案时通过第二图案改变为上述医疗设备的第二输出那样的情况下，输出变化量限制部73g对输出变化的范围进行限制使其成为预先设定的阈值以下。此外，上述规定的时间例如是10秒以内等短的时间。在该情况中，如果事先准备与第二图案不同的第三图案、与第三图案不同的第四图案，则也能够扩展输出变化量。此外，在图6B所示的处理中，也可以并行地进行步骤S28、步骤S29、步骤S32的处理。
根据进行这样的动作的本实施方式，在携带的状态下，作为非灭菌区域Dnc的第一操作者的护士N1通过对终端装置51的操作面板部61进行触摸操作，能够控制医疗设备的动作，并且通过将终端装置51安装于非灭菌区域Dnc的保持架50而设置为安装状态(连接状态)，通过设置于终端装置51的摄像机62，还能够根据灭菌区域Dc的手术操作者O1的手势控制医疗设备的动作。
因此，根据本实施方式，能够实现在适合于终端装置51的规定的动作状态的检测结果的状态下非灭菌区域Dnc的护士N1能够控制医疗设备的动作并且灭菌区域的手术操作者O1也能够通过进行手势操作来控制医疗设备的动作的便利性高的医疗用便携终端装置。
此外，如上所述，在本实施方式中，在切换控制部73a从第一控制部73b的控制功能切换到第二控制部73c的控制功能的情况下，也可以将基于第一控制部73b的操作面板部61的功能设为关闭。或者，也可以将第一控制部73b的控制功能设为关闭而将能够通过触摸操作进行操作的功能仅限制到集中操作面板14。
在像这样构成的情况下，也可以在图6B中的例如步骤S27-步骤S28之间，作为用虚线表示的步骤S39而包含将操作面板部61的操作功能设为关闭的处理。
另外，在图6B所示的例子中，示出了同时使用移动检测和连接状态检测的例子，但是可以如图6A所示那样仅进行移动检测，也可以仅进行连接状态检测。
具体地说，在本实施方式的图4所示的结构中，也可以设为不设置具备加速度传感器75a的加速度变化检测部75的如图8所示那样的第一变形例的结构。
在该情况下，成为如图9所示那样的动作。
图9不进行图6B中步骤S21的处理，而根据步骤S27中的连接状态的判定结果选择性地进行通过操作面板部61的触摸操作来控制医疗设备的动作的处理和根据手术操作者O1的手势来控制医疗设备的动作的处理。
也就是说，在步骤S27中判定结果为不是连接状态的情况下，进行图6B的步骤S22-步骤S26的处理，另一方面，在步骤S27中判定结果为是连接状态的情况下，进行步骤S28-步骤S38的处理。
该情况也具有与第一实施方式大致相同的作用效果，并且由于可以不设置包括加速度传感器75a的加速度变化检测部75，因此具有能够降低成本的效果。
另外，在图8中，还可以设为不设置连接状态检测部80的结构，而根据充电状态检测部79所进行的充电状态的检测，选择性地进行通过操作面板部61的触摸操作来控制医疗设备的动作的处理和根据手术操作者O1的手势来控制医疗设备的动作的处理。
在图10中表示该情况下的与图6A对应的基本处理过程的例子。在最初的步骤S41中，充电状态检测部79判定终端装置51中的蓄电池81是否为可充电状态。
当终端装置51被连接于保持架50时，成为充电电流从充电部82经由电阻R1流向蓄电池81的状态，充电状态检测部79在电阻R1的两端的电压为阈值以上的情况下，判定为可充电状态。
在判定结果为不是可充电状态的情况下，进行图6A的步骤S2-S6的处理，返回步骤S41的处理。
在判定结果为是可充电状态的情况下，进行图6A的步骤S7-S11的处理。此外，如图10所示，在判定结果为是可充电状态的情况下，还可以在进一步进行了图6B中说明的步骤S29-S31的处理后进行步骤S7-S11的处理。也就是说，在判定结果为是可充电状态的情况下，在步骤S29中，充电状态检测部79进一步判定电阻R1的两端的电压是否达到了可以完成针对蓄电池81的充电的电压以下。
在判定结果为不是充电完成状态的情况下，如接下来的步骤S30所示那样继续保持进行充电的状态。另一方面，在判定结果为达到了充电完成状态的电压的情况下，充电状态检测部79在规定期间内将使充电停止的信号作为停止信号发送至充电部82，通过向充电部82输出该停止信号，由此在停止信号被输出的期间，如步骤S31所示那样使充电停止(充电OFF)。
此外，充电状态检测部79在不输出停止信号的期间，定期地监视电阻R1的两端的电压来检测是否为可充电状态或充电完成状态。在步骤S30或S31的处理之后，进行步骤S7-S11的处理。
在设为进行图10所示的处理的情况下，也具有与第一实施方式类似的作用效果，并且由于不需要加速度传感器，因此能够降低成本。
此外，图4等所示的结构表示本发明中的一个结构例，以权利要求1所示的结构作为基本的结构而适当地追加一个或多个结构要素所形成的结构也属于本发明。
另外，也可以将终端装置51和作为装卸自如地保持该终端装置51的保持装置的保持架50定义为医疗用便携终端装置或遵照该医疗用便携终端装置的医疗用便携终端系统。
另外，在例如图4或图8的终端装置51的结构中，也可以设为如下结构：在切换控制部73a将控制功能从第一控制部73b切换为第二控制部73c的情况下，第二控制部73c还具备用于设定为能够通过手势操作顺利地控制医疗设备的动作的状态的处理、结构要素。
在判定为终端装置51有移动或被连接于保持架50的连接状态的情况下，第二控制部73c成为能够根据手势操作来控制医疗设备的动作的状态(手势操作接受状态)，根据识别部73e的识别结果来控制与手势操作对应的医疗设备的动作。
但是，也可能存在构成摄像部的摄像机62的视场范围没有适当地覆盖手术操作者O1进行手势操作的区域R的情况。因此，也可以设为在第二控制部73c接受手势操作之前，例如由识别部73e或判定部73f判定是否为摄像机62拍摄到的摄像图像的图像数据适当地覆盖(进行手势操作的)区域R从而容易识别手势操作的设定状态。
在该情况下，也可以设为手术操作者O1进行与用于判定摄像图像(视场范围)是否适当地覆盖了区域R的规定的操作图案对应的规定的手势操作，在适当地进行了该操作图案的识别(判定)的情况下，设定为手势操作接受状态。作为上述规定的操作图案，例如在区域R是圆形的范围的情况下，也可以设为进行了如用手描绘圆形那样的手势操作时的手所描绘的轨迹的图案。在能够识别为这样的手势操作与上述规定的操作图案一致的情况下，设定为手势操作接受状态，以后也可以如上述那样通过手势操作控制医疗设备的动作。
为了能够进行这样的设定，也可以设为在存储部74或操作图案列表存储部74a中存储用于判定摄像部是否为覆盖区域R而适当地进行拍摄的状态的规定的操作图案。而且，也可以设为识别部73e或判定部73f在上述的手势操作与存储于存储部74或操作图案列表存储部74a中的规定的操作图案一致的情况下，设定为手势操作接受状态。通过这样，在进行了手势操作的情况下，能够设定为容易更可靠地识别的状态。
此外，在图4或图8的结构中，也可以还设置针对操作列表存储部74a进行追加、修正、删除操作图案等设定的操作图案设定部。
本申请是以2013年7月22日在日本申请的日本特愿2013-151851号为主张优先权的基础的申请，上述公开的内容被引用在本申请说明书、权利要求书以及附图中。

Claims (12)

1.一种医疗用便携终端装置，其特征在于，具有：
操作面板部，其构成为具备用于由位于非灭菌区域的第一操作者进行操作的触摸面板，通过对上述触摸面板进行触摸操作，能够对配置在上述非灭菌区域的多个医疗设备的动作进行控制；
摄像部，其构成为对位于灭菌区域的第二操作者进行手势操作的区域进行拍摄，该灭菌区域与配置有上述多个医疗设备的上述非灭菌区域相分离；
识别部，其构成为从由上述摄像部拍摄到的摄像图像中识别上述手势操作；
操作列表存储部，其构成为存储操作列表，该操作列表用于使上述多个医疗设备与上述识别部的识别结果相关联地进行多个动作；以及
控制部，其构成为对基于上述操作面板部的操作的上述多个医疗设备的控制和基于上述手势操作的上述多个医疗设备的控制进行切换。
2.根据权利要求1所述的医疗用便携终端装置，其特征在于，
还具有检测部，该检测部构成为检测针对上述医疗用便携终端装置的规定的动作状态，
上述控制部具有切换控制部，该切换控制部构成为根据上述检测部检测上述医疗用便携终端装置是否处于上述规定的动作状态的检测结果，自动地对基于上述操作面板的操作的上述多个医疗设备的控制和基于上述手势操作的上述多个医疗设备的控制进行切换。
3.根据权利要求2所述的医疗用便携终端装置，其特征在于，
上述切换控制部具有：
第一控制部，其构成为在对于是否处于上述规定的动作状态的检测结果做出第一判定的情况下进行第一控制，在该第一控制中使得进行与上述操作面板部的触摸操作相应的医疗设备的动作；以及
第二控制部，其构成为在对于是否处于上述规定的动作状态的检测结果做出与上述第一判定不同的第二判定的情况下进行第二控制，在该第二控制中接受上述识别部针对上述手势操作的识别结果，并将该识别结果与存储在上述操作列表存储部中的上述操作列表进行比较，使得进行与上述识别结果一致的操作列表对应的医疗设备的动作。
4.根据权利要求3所述的医疗用便携终端装置，其特征在于，
上述检测部具有：加速度传感器，其检测作用于上述医疗用便携终端装置的加速度，输出与检测出的上述加速度对应的检测信号；以及加速度变化检测部，其构成为根据上述检测信号检测作用于上述医疗用便携终端装置的上述加速度的随时间经过的变化量的绝对值是否变化为阈值以上来检测是否处于上述规定的动作状态，
其中，对于通过上述加速度变化检测部检测出上述绝对值变化为上述阈值以上的检测结果，上述切换控制部进行上述第一控制，
对于通过上述加速度变化检测部检测出上述绝对值未变化为上述阈值以上的检测结果，上述切换控制部进行上述第二控制。
5.根据权利要求3所述的医疗用便携终端装置，其特征在于，
上述医疗用便携终端装置具有连接器，该连接器具备多个电接点，
上述检测部具有连接状态检测部，该连接状态检测部构成为通过检测是否设定为上述连接器被装卸自如地连接在连接器插座上的连接状态，来检测是否处于上述规定的动作状态，该连接器插座被设置于用于将上述医疗用便携终端装置保持为规定的姿势的保持装置，
对于通过上述连接状态检测部检测出上述医疗用便携终端装置被设定为连接状态的检测结果，上述切换控制部进行上述第二控制，
对于通过上述连接状态检测部检测出没有设定为上述连接状态的检测结果，上述切换控制部进行上述第一控制。
6.根据权利要求3所述的医疗用便携终端装置，其特征在于，还具有：
可充电的蓄电池，其对上述识别部、上述控制部以及上述检测部提供电源；以及
构成上述检测部的充电状态检测部，其构成为通过检测上述蓄电池是否处于可充电状态来检测是否处于上述规定的动作状态，
其中，对于通过上述充电状态检测部检测出处于上述可充电状态的检测结果，上述切换控制部进行上述第二控制，
对于通过上述充电状态检测部检测出未处于上述可充电状态的检测结果，上述切换控制部进行上述第一控制。
7.根据权利要求3所述的医疗用便携终端装置，其特征在于，
还具有：无线通信部，其与设置在上述医疗用便携终端装置的外部并控制上述多个医疗设备的控制装置进行无线通信；有线通信部，其构成为与上述控制装置之间通过有线进行通信；以及动作切换控制部，其构成为对上述无线通信部和上述有线通信部的动作进行切换。
8.根据权利要求3所述的医疗用便携终端装置，其特征在于，
还具有输出变化量限制部，该输出变化量限制部构成为在根据上述手势操作进行改变上述多个医疗设备的输出的控制的情况下，在从与上述识别部基于上述手势操作识别出的第一图案对应的输出是第一输出的状态起在规定时间内识别出与该第一图案不同的第二图案的情况下的、与该第二图案对应的输出是第二输出时，对上述第一输出到上述第二输出的变化量进行限制使该变化量在预先设定的阈值以内。
9.根据权利要求5所述的医疗用便携终端装置，其特征在于，
用于将上述医疗用便携终端装置保持为规定的姿势的上述保持装置具有视场范围变更部，该视场范围变更部构成为机械地变更上述摄像部的视场范围。
10.根据权利要求7所述的医疗用便携终端装置，其特征在于，
还具有判定部，该判定部构成为基于上述摄像图像判定通过上述摄像部拍摄到的上述摄像图像是否覆盖进行上述手势操作的区域。
11.根据权利要求3所述的医疗用便携终端装置，其特征在于，
上述操作列表存储部存储用于决定是否根据上述手势操作来进行针对上述多个医疗设备的多个动作的规定的操作图案，
仅在上述识别部识别出位于与上述非灭菌区域相分离的灭菌区域的上 述第二操作者进行了与上述规定的操作图案对应的规定的手势操作的情况下，上述第二控制部设为能够根据上述手势操作控制针对上述多个医疗设备的多个动作的手势操作接受状态。
12.根据权利要求11所述的医疗用便携终端装置，其特征在于，
上述规定的操作图案是与作为上述第二操作者进行的上述规定的手势操作的、上述第二操作者使手臂的前端描绘圆形的轨迹的手势操作对应的操作图案。
CN201480004977.9A 2013-07-22 2014-06-09 医疗用便携终端装置 Active CN104918574B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013151851 2013-07-22
JP2013-151851 2013-07-22
PCT/JP2014/065184 WO2015012006A1 (ja) 2013-07-22 2014-06-09 医療用携帯端末装置

Publications (2)

Publication Number Publication Date
CN104918574A CN104918574A (zh) 2015-09-16
CN104918574B true CN104918574B (zh) 2017-06-23

Family

ID=52393059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480004977.9A Active CN104918574B (zh) 2013-07-22 2014-06-09 医疗用便携终端装置

Country Status (5)

Country Link
US (1) US9545287B2 (zh)
EP (1) EP2932933B1 (zh)
JP (1) JP5747366B1 (zh)
CN (1) CN104918574B (zh)
WO (1) WO2015012006A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6010261B1 (ja) * 2014-12-15 2016-10-19 オリンパス株式会社 内視鏡装置
US20180042685A1 (en) * 2015-03-07 2018-02-15 Dental Wings Inc. Medical device user interface with sterile and non-sterile operation
WO2017014517A1 (ko) * 2015-07-17 2017-01-26 주식회사 레이언스 의료용 엑스선 영상 촬영 시스템 및 이를 이용한 의료용 엑스선 영상 촬영 장치의 동작 제어 방법
EP3285107B2 (en) * 2016-08-16 2024-02-28 Leica Instruments (Singapore) Pte. Ltd. Surgical microscope with gesture control and method for a gesture control of a surgical microscope
JP7101580B2 (ja) * 2018-09-28 2022-07-15 日本光電工業株式会社 遠隔制御装置および遠隔制御システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012129669A1 (en) * 2011-03-28 2012-10-04 Gestsure Technologies Inc. Gesture operated control for medical information systems
WO2013099580A1 (ja) * 2011-12-26 2013-07-04 オリンパスメディカルシステムズ株式会社 医療用内視鏡システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JP2003164412A (ja) * 2001-11-30 2003-06-10 Olympus Optical Co Ltd 制御システム
JP3908546B2 (ja) * 2002-01-30 2007-04-25 オリンパス株式会社 制御システム及び医療用制御システム
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006087689A2 (en) * 2005-02-18 2006-08-24 Koninklijke Philips Electronics N. V. Automatic control of a medical device
US7643862B2 (en) * 2005-09-15 2010-01-05 Biomet Manufacturing Corporation Virtual mouse for use in surgical navigation
JP4643510B2 (ja) * 2006-07-18 2011-03-02 オリンパスメディカルシステムズ株式会社 手術システム制御装置及び手術機器のタイムアウト値設定方法
KR101055554B1 (ko) 2007-03-27 2011-08-23 삼성메디슨 주식회사 초음파 시스템
US20110157480A1 (en) * 2008-05-07 2011-06-30 Curl Douglas D Integration system for medical instruments with remote control
KR101538705B1 (ko) * 2009-01-29 2015-07-22 삼성전자주식회사 휴대단말의 기능 제어 방법 및 시스템
JP5175755B2 (ja) 2009-02-04 2013-04-03 株式会社東芝 ジェスチャ認識装置、その方法及びそのプログラム
US8682489B2 (en) * 2009-11-13 2014-03-25 Intuitive Sugical Operations, Inc. Method and system for hand control of a teleoperated minimally invasive slave surgical instrument
WO2011085813A1 (en) * 2010-01-14 2011-07-21 Brainlab Ag Gesture support for controlling and/or operating a medical device
JP5413673B2 (ja) * 2010-03-08 2014-02-12 ソニー株式会社 情報処理装置および方法、並びにプログラム
WO2011123833A1 (en) * 2010-04-01 2011-10-06 Yanntek, Inc. Immersive multimedia terminal
JP5465135B2 (ja) 2010-08-30 2014-04-09 富士フイルム株式会社 医療情報表示装置および方法、並びにプログラム
DE102010043584A1 (de) * 2010-11-08 2012-05-10 Kuka Laboratories Gmbh Medizinscher Arbeitsplatz

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012129669A1 (en) * 2011-03-28 2012-10-04 Gestsure Technologies Inc. Gesture operated control for medical information systems
WO2013099580A1 (ja) * 2011-12-26 2013-07-04 オリンパスメディカルシステムズ株式会社 医療用内視鏡システム

Also Published As

Publication number Publication date
US20150305813A1 (en) 2015-10-29
US9545287B2 (en) 2017-01-17
WO2015012006A1 (ja) 2015-01-29
EP2932933B1 (en) 2017-11-01
EP2932933A4 (en) 2016-09-28
JP5747366B1 (ja) 2015-07-15
JPWO2015012006A1 (ja) 2017-03-02
CN104918574A (zh) 2015-09-16
EP2932933A1 (en) 2015-10-21

Similar Documents

Publication Publication Date Title
CN104918574B (zh) 医疗用便携终端装置
EP4042442B1 (en) Situational awareness of instruments location and individualization of users to control displays
US11883022B2 (en) Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information
CN103491848B (zh) 医疗用内窥镜系统
KR101997566B1 (ko) 수술 로봇 시스템 및 그 제어방법
CN117981001A (zh) 对手术室内的对象和人员进行集线器识别和跟踪以叠加根据用户需求定制的数据
CN103237633B (zh) 主操作输入装置以及主-从机械手
WO2022070076A1 (en) Reconfiguration of display sharing
KR20180068336A (ko) 훈련 또는 보조 기능들을 갖는 수술 시스템
US8154589B2 (en) Medical operation system for verifying and analyzing a medical operation
EP4038625A1 (en) Control of a display outside the sterile field from a device within the sterile field
CN103460281B (zh) 内窥镜手术系统
CN110062608A (zh) 带有基于扫描的定位的远程操作手术系统
US20050283138A1 (en) Operating room control system
KR20160008172A (ko) 수술 장비 제어 입력 시각화 장치 및 방법
WO2017119659A1 (ko) 휴대용 안진 검사장치
US10706965B2 (en) Sensor information acquiring device, sensor information acquiring method, recording medium in which sensor information acquiring program is recorded, and medical instrument
JP6507252B2 (ja) 機器操作装置、機器操作方法、及び電子機器システム
CN111685713A (zh) 内窥镜手术中操作人员姿态信息采集方法、系统和可读存储介质
US20230022929A1 (en) Computer assisted surgery system, surgical control apparatus and surgical control method
KR20160124058A (ko) 수술 로봇 시스템 및 그 복강경 조작 방법
US20220338713A1 (en) Display control apparatus, display control method, and non-transitory recording medium on which display control program is recorded
JP4464526B2 (ja) 内視鏡装置の操作システム
KR20220076579A (ko) 입체 영상을 표시하는 전자 장치 및 방법
KR101698961B1 (ko) 수술 로봇 시스템 및 그 복강경 조작 방법

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant