CN107077214A - 用于在医院中使用的通信的方法和系统 - Google Patents
用于在医院中使用的通信的方法和系统 Download PDFInfo
- Publication number
- CN107077214A CN107077214A CN201580060239.0A CN201580060239A CN107077214A CN 107077214 A CN107077214 A CN 107077214A CN 201580060239 A CN201580060239 A CN 201580060239A CN 107077214 A CN107077214 A CN 107077214A
- Authority
- CN
- China
- Prior art keywords
- wearable device
- viewpoint
- circuit
- registration
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims description 19
- 238000001514 detection method Methods 0.000 claims description 17
- 230000003190 augmentative effect Effects 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000035479 physiological effects, processes and functions Effects 0.000 claims description 4
- 210000001747 pupil Anatomy 0.000 claims description 4
- 230000005611 electricity Effects 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 claims 2
- 239000004744 fabric Substances 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 26
- 230000000007 visual effect Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000006116 polymerization reaction Methods 0.000 description 6
- 230000002708 enhancing effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- TVZRAEYQIKYCPH-UHFFFAOYSA-N 3-(trimethylsilyl)propane-1-sulfonic acid Chemical compound C[Si](C)(C)CCCS(O)(=O)=O TVZRAEYQIKYCPH-UHFFFAOYSA-N 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000010344 pupil dilation Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 206010013700 Drug hypersensitivity Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 201000005311 drug allergy Diseases 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Software Systems (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Physical Education & Sports Medicine (AREA)
- User Interface Of Digital Computer (AREA)
- Alarm Systems (AREA)
- Emergency Alarm Devices (AREA)
Abstract
旨在提供用于急诊室或手术室环境中的多个用户的通信系统，具体地用于在医院中使用以便有效地帮助复杂环境中的通信。用于多个用户的可穿戴捕获设备的通信系统包括，包括被布置为通过第二可穿戴设备来识别所述第一可穿戴设备的视点的程序逻辑的电路(识别电路)；包括被配置为引起所述第一可穿戴设备穿戴者与第二可穿戴设备穿戴者交换所捕获的视点的程序逻辑的电路(交换电路)；以及包括被配置为将通过所述第二可穿戴设备的交换的视点作为交换的视点提供给所述第二可穿戴设备穿戴者的程序逻辑的电路(投影电路)。
Description
技术领域
本发明涉及一种用于在医院或初级护理设施中并且特别是在重症监护室和急诊室或手术室中使用的通信系统。本发明还涉及通信的方法和用于将这样的方法付诸实践的计算机程序产品。
背景技术
在急诊室或手术室环境中，手术团队的通信技巧和团队行动是最重要的。例如，手术医师可以基于他的认知、经验和与医务人员的交互而行动，但是例如仍然不能配准可能对于团员的其他成员(诸如医务辅助人员或共同工作的医师)以其他方式已知的生理信号。已知的是，即使在这样的情况下，团队成员有时由于各种原因而不能向手术医师传达其观察。
而且，参与成员可以在最佳或较不最佳的情况下行动并对来自团队的要求作出响应，这有时会不被注意并且引起有危险的延迟。所有这些都对需要在没有最佳信息的情况下在满压力下采取的即时决策的手术情况下时行充分响应施加了相当大的挑战。
在繁忙紧急的情况下，这可以导致缺少概览和/或缺少手术室中的团队成员之间的通信。
在其他现有技术系统中，例如WO2013173793描述了计算机辅助角色扮演，其中计算机可以与摄像机配准一起辐助医学团队的交互和评估，以便在执行和查看心肺复苏(CPR)时帮助施救者。通过组合图像，场景能够以3D的方式被重建。然而，该系统不能以结构化方式组织团队成员的通信，所述结构化方式将会提高团队交互并且及时识别重要信息以便对紧急情况成功作出响应。
发明内容
在一个方面，旨在提供一种用于急诊室或手术室环境中的多个用户(具体地用于在医院中使用)的通信系统，以便有效地帮助复杂环境中的通信。
用于可穿戴捕获设备的多个用户的通信系统包括，包括被布置为由第二可穿戴设备识别所述第一可穿戴设备的视点的程序逻辑的电路(识别电路)；包括被配置为使所述第一可穿戴设备与所述第二可穿戴设备交换所捕获的视点的程序逻辑的电路(交换电路)；以及包括被配置为向所述第二可穿戴设备的用户提供所交换的视点的程序逻辑的电路(投影电路)。
在另一方面，旨在提供用于急诊室或手术室环境中的多个用户(具体地用于在医院中使用)的通信方法，以便有效地帮助复杂环境中的通信。
为此目的，提供了一种通信方法，包括：由第一可穿戴设备捕获所述第一可穿戴设备的用户的视点；由第二可穿戴设备识别所述第一可穿戴设备的所述视点；使所述第一可穿戴设备与所述第二可穿戴设备交换所捕获的视点；以及向所述第二可穿戴设备的用户提供所交换的视点。
例如，手术医师可以基于由成员中的任一个确认的确认来拉取团队成员的视域。例如，由成员中的任一个确认的交换视域可以被推送给手术医师。
附图说明
本发明将会在附图中得到进一步阐明：
图1示出了用于穿戴头部安装捕获设备的多个用户的通信系统；
图2示出了包括被布置为配准预定义的用户姿态的程序逻辑的配准电路；
图3示出了注视检测设备；
图4A示出了手术室中的通信系统的现实实施例；并且
图4B形成接收捕获信息的通信系统的另一范例。
具体实施方式
除非另有定义，当在说明和附图的背景下阅读时，本文中使用的所有术语(包括技术和科学术语)都具有与如本公开所属领域的技术人员通常理解的相同的意义。应进一步理解，诸如通常使用的词典中定义的那些的术语应当被解读为具有与其在相关领域的背景下的意义一致的意义，并且不会在理想化或过于正式意义上进行解读，除非本文中明确这样定义。在一些实例中，众所周知的设备和方法的详细描述可以被省略，以便不模糊本系统和方法的描述。用于描述具体实施例的术语不旨在限制本发明。如本文中使用的，单数形式的“一”、“一个”和“所述”旨在也包括复数形式，除非上下文另外清楚指出。术语“和/或”包括相关联的列出的项中的任一项以及它们中的一个或多个的所有组合。应进一步理解，术语“包括”和/或“包含”指定存在陈述的特征，但不排除存在或添加一个或多个其他特征。本文中提到的所有公布、专利申请、专利和其他参考以引用方式被完全并入。在冲突的情况下，本说明书(包括定义)将会进行对照。
术语“电路”以常规方式用来表明具有执行程序逻辑以便提供某一基本功能的能力的任何结构硬件或软件布置。本领域技术人员通常知道如何在本说明的背景下操作或实施电路，其中处理器元件在下文中得到阐明。例如，‘识别电路’包括如在下文中进一步说明的专用于识别另一人的可穿戴设备的视点的目的的硬件和/或软件元件。例如，‘交换电路’包括被布置为引起可穿戴设备交换所述可穿戴设备的捕获的视点的程序逻辑。为此目的，交换电路具有与其他可穿戴设备的对应设备连接的连接性设备，以便当这样做时建立视点的交换。例如，‘投影电路’具有被布置为将交换的视点投影为除人的接收的视点(更具体地，他自己的视点)之外的‘交换的视点’的程序逻辑。这可以通过单独投影或通过与虚拟现实或增强现实技术集成在一起来提供，如在下文中例示的。
术语“程序逻辑”以常规方式用来表明可以体现在控制电路为设计的功能行为的硬件和/或软件结构的操作指令。
如在“增强现实模块”或“摄像机模块”中的术语“模块”用来强调这些单元的模块化特点，即系统的功能被分成独立的可互换单元。“通信模块”可以由能够与增强现实模块通信的单元形成。
术语“用户接口”可以包括被配置为执行根据本系统和方法的操作动作(诸如为各种其他模块部件提供控制信号)的一个或多个元件硬件元件。处理器可以是用于根据本系统执行的专用处理器，或可以是通用处理器，其中许多功能中只有一个操作用于根据本系统执行。处理器可以利用程序部分、多个程序段来操作，或者可以是利用专用或多目的集成电路的硬件设备。任何类型的处理器都可以被使用，诸如专用或共用处理器。处理器可以包括微控制器、中央处理单元(CPU)、数字信号处理器(DSP)、ASIC、或任何其他的(一个或多个)处理器或(一个或多个)控制器，诸如执行相同功能并采用电子技术和架构的数字光学设备、或模拟电子电路。控制器或处理器可以还包括可以是控制器的一部分或被可操作地耦合到控制器的存储器。存储器可以是数据被存储在其处的任何合适类型的存储器。能够存储和/或传输适合于与本系统和方法一起使用的信息的已知或发展出的任何介质都可以用作存储器。存储器也可以存储可由控制器访问的用户偏好和/或应用数据，以便将其配置为根据本系统和方法执行操作动作。
虽然示出了针对系统和方法的范例实施例，但是本领域技术人员也可以设想到具有本公开的益处的替代性方式以实现类似功能和结果。例如一些部件可以被组合或被分成一个或多个替代性部件。最后，这些实施例旨在仅仅图示本系统，而不应当理解为将所附的权利要求限制于任何具体实施例或一组实施例。因此，虽然已经参照其特定示例性实施例描述了本系统，但是也应当认识到，本领域技术人员可以设想到许多更改和替代性实施例而不脱离如在随后的权利要求中阐述的本系统和方法的范围。说明书和附图因此应被示为是说明性方式，而不旨在限制所附的权利要求的范围。
在解读所附的权利要求时，应当理解，词语“包括”不排除存在除了给定权利要求中列出的那些之外的其他元件或动作；在元件前的词语“一”或“一个”不排除存在多个这样的元件；权利要求中的任何附图标记都不限制其范围；若干“单元”可以由(一个或多个)相同或不同的项或实施的结构或功能来表示；公开的设备中的任一个或其多个部分可以被组合在一起或被分成进一步的多个部分，除非另外具体陈述。尽管在相互不同的权利要求中记载了特定措施，但是这不指示不能使用这些措施的组合以获利。
目前公开的通信系统包括被布置为在多视域背景下记录多个视域的增强现实模块，其中多个观察者具有由相应观察设备记录的不同视点，其通过以下步骤来形成：识别选定观察者的视点，使选定的观察者交换其视点，并且为观察者提供选定视点作为交换的视点。所述观察设备也能够被称为可穿戴设备、可穿戴捕获设备、头部安装捕获设备或头部安装设备。在一些实例中，视域可以由可穿戴设备(例如增强现实眼镜)记录。在一些实例中，可以引起视域由通过可穿戴设备的注视检测来进行交换。
注视检测可以通过提供有能够指向并冲击另一可穿戴设备的窄的编码射束的头部安装设备来提供。例如，具有在1-5度的范围内的角度的有角度射束可以能够提供能够容易靶向并识别共同工作者以交换视域的方向性。
替代地，注视检测能够通过光学跟踪方法来提供，其中，例如红外光从可穿戴设备的穿戴者的眼角膜和瞳孔反射并由摄像机或光学传感器感测。注视检测也能够通过从能够用来估计注视方向的摄像机图像提取相关面部特征(例如头部姿态和鼻子的方向)的计算机视觉技术来提供。替代地，可以使视域通过语言处理来进行交换。例如，视域可以通过语音命令来进行交换，诸如：“给我史密斯医师的视域”。在其他实例中，可以通过生理信号配准来使视域进行交换。例如，生理信号配准可以由团队成员中的一个来监测，并且当生理信号超过某一水平时，可以使他/她的相关联的视域被交换。例如，生理信号配准也可以与团队成员相关联。例如，如果团队成员经历预定的反应(诸如心率增加或瞳孔增加)，这可以引起交换该人的视域。在许多实例中，交换的引起可以伴随有确认协议，其可以被推送或拉取。
现在转向图1，图示了针对多个用户的穿戴头部安装捕获设备200的通信系统100。例如，可穿戴设备可以是如所描绘眼镜或其他合适的穿戴装备(箍带)的形式，所述可穿戴设备能够用于捕获和投影可用于穿戴该设备的人的视域。捕获设备被布置为捕获相应头部安装设备穿戴者(未示出)的视点。在图中，示意地示出了信号线以解释处理电路(具体地，识别电路110、交换电路120和投影电路130)之间的一般水平信息处理。
在描绘的范例中，控制器220例如以硬件处理器设备的形式进行布置，所述控制器220可以被部分地或完全地实施在第二头部安装设备中。控制器可以(例如通过到被布置在另一头部安装设备中的另一控制器220的直接连接)被连接到中央通信服务器或分配系统100。投影电路利用被合适地集成在眼镜200中的投影仪230来操作。
控制器220可以包括称为识别电路110的电路，所述识别电路110包括被布置为通过第二头部安装设备来识别第一头部安装设备的视点的程序逻辑。控制器220此外可以包括称为交换电路120的电路，所述交换电路120包括被布置为使所述第一头部安装设备穿戴者与所述第二头部安装设备交换由所述第一头部安装设备捕获的视点的程序逻辑。所述第一头部安装设备的视点的识别通过配准电路115来实现，所述配准电路115可以是识别电路110的一部分或被通信地连接到识别电路110。配准电路115可以包括被布置为配准预定的用户姿态、生理信号或语言、指令命令、或其他检测参数以引起所述第一头部安装设备与所述第二头部安装设备交换所述第一头部安装设备的视点的程序逻辑。而且，控制器220包括称为投影电路130的电路，所述投影电路130包括被布置为通过第二头部安装设备来对交换的视点进行投影作为到所述第二头部安装设备穿戴者的交换的视点的程序逻辑。
有利地但不一定，投影电路130可以与增强现实模块135合适地集成在一起。这样的模块的功能在本领域中本身是已知的，并且通常以现实视觉利用额外的信息增强的方式将现实视觉与增强视觉组合。例如，看到的物品可以利用在视场的一部分中描绘的额外的相关信息‘增强’。增强模块135可以额外地提供有被布置为在增强现实中拼接交换的视点与第二头部安装设备的视点的程序逻辑。拼接是对于本领域技术人员来说本身已知的操作，并且涉及经由图像处理将多个图像接合为单个图像，其中，所述图像具有借助于感应和外推或借助于中间图像而被合适地匹配到彼此的过渡区域。相应地，多个移动摄像机或头部安装设备200的集合可以具有多个视域以产生形成环境的聚合视域的拼接视域或以允许人获得另一人的视角。而且，使用关于移动摄像机的图像的位置和取向的信息能够从聚合视域的各种视角来拼接。这具有以下优点：头部安装设备200的(一个或多个)穿戴者可以访问拼接视域，由此获得其他人的视点或多个人的组合视域，而这些图像正在被收集并且被集中在单个聚合视域中(参见图4A)。
优选以拼接形式的这样的增强视域(其中交换的视点与穿戴者的自己的视点被同时投影)能够在像手术室中的复杂紧急情况下有用，其中具有多个视角的许多人判断某一紧急情况。然而，这也可以可用于来自多个移动摄像机的拼接视域提供有意义信息(例如搜救任务、游戏、安全保障、室外/公共区域)的其他领域和应用中。而且，非实时应用能够例如对训练目的有用。
如在图1中进一步描绘的，有利地但不一定，交换视域可以与生理信号信息组合。当角色特异性视域由执行特定任务的人可用时，这可以是有益的。例如：摄像机可以基于穿戴摄像机(例如IR视域)、缩放/切除身体的特定部分的人的角色和特定生理信号(例如由麻醉医师监测的生理信号)来产生特定视域。通过采用另一人的角色的视域，困难可以被克服以获得其他团队成员的视角从而得到患者上的整体/不同视域。为此目的，生理信号监测模块140可以包括生理信号检测器142。检测器142装备有可以形成头部安装设备的一部分或者可以定位于患者上的传感器240。程序逻辑142被提供以向增强现实模块135传达所述生理信号信息。模块135包括在投影设备230中以本领域技术人员已知的方式显示所传达的生理信号信息的逻辑。例如通信系统100可以提供有如果这些生理信号中的任一个将会超过特定阈值(例如当饱和水平将会在特定阈值之下时)则向手术医师传达麻醉医师的生理信号信息的指令代码。而且，例如，配准电路115可以提供有如果工作者将会经历未预料到的生理信号信息的改变(例如瞳孔扩张、超出界限的心率或呼吸速率)则传达除共同工作者视域之外的共同工作者的生理信号信息的指令代码。
因此，另一人的捕获设备可以被获得以分析护理者的生理测量(例如压力)。捕获设备可以建议来自由看见有问题或不正常事件引起的严重水平的压力的护理者的视域。为了确定这些压力事件，捕获设备可以测量护理者的指示压力水平的增加的一个或多个生理特性(例如瞳孔扩张、心率变化性)。在这些事件的情况下，代替真实实时视图，检测到压力水平的时间附近的快照或图像的序列。
而且，这可以增强手术室中的实时通信支持。例如，利用对应的头部安装设备的共同工作者可以经由姿态、言语或通过触摸头部安装设备指出问题以将选项告知房间中的其他人。如果这是安全紧急情况，该第一请求能够通过由主观察者在将信息或考虑传递给该情况下的其他人之前进行过滤。以此方式，基于分级的错误(其中，医师可能不听从护士)能够被克服，并且为护士提供标记问题而没有不必要的干扰的能力。这可以克服手术室中有许多人的繁忙紧急情况期间的手术医师不能有概览或经历缺少手术室中的团队成员之间的通信的问题。
相应地，通信系统100可以具有交换电路120，所述交换电路120被布置为当传达的生理信号值超过阈值时交换第一头部安装设备200的捕获的视点。生理信号可以是指示压力或活力的任何信号，所述信号可以对配准是重要的并且可以影响临床决定或交换捕获的视域。交换电路120可以装备有基于规则的决策支持系统125，所述决策支持系统125由此可以自动触发可穿戴设备产生视域，例如以信号告知潜在危险情况(例如SpO2水平过低)。这样的延伸可以包括与来自连接的监测设备(例如心率监测器)的数据和电子患者信息记录相组合来分析来自头部安装设备(图像、音频)的配准输入的临床分析以在外科手术程序期间(在头部安装设备上)为医师提供相关信息。如果麦克风拾取到医师想要给予患者具体药物但是患者记录中的信息指示该患者对这种药物过敏，这可以例如是警告消息。
更详细地，在图2中，示出了第二头部安装设备的包括程序逻辑的配准电路115如何被布置为配准称为识别姿态的预定义的用户姿态(S100)。因此，识别可以由对获得另一人的视域(即第一头部安装设备的视点)感兴趣的人通过姿态、手指或眼部姿态来进行(S100)，由此识别应该用于交换捕获的视域的目标头部安装设备(即第一头部安装设备)的视点。配准电路115进一步包括被布置为配准称为交换姿态的另一预定义的用户姿态(S200)的程序逻辑117。交换姿态(S200)，其确认识别，然后可以被用于通过引起第二头部安装设备的交换电路120将确认设备(即第一头部安装设备)的捕获的视点交换(S300)到第二头部安装设备。确认可以通过合适的交换姿态(S200)(诸如点头、眼睛移动或其他可识别姿态、语音命令、触摸、按钮按压等)来提供。
穿戴者的注视方向可以通过如在图中简单例示的已知手段来提供。例如，投影设备230可以具有监测人的瞳孔的眼睛检测器。相应地，注视检测设备116可以包括被布置为执行头部安装设备的穿戴者的瞳孔分析S450的程序逻辑。
在图3中进一步例示的实施例中，注视检测设备116能够装备有用于分析S400第二穿戴者的注视方向的称为分析电路的电路；以及当电路检测到第二穿戴者的注视方向与第一头部安装设备的位置符合时识别S500第一头部安装设备的电路。有利地，包括定向编码射束发射器215。窄的编码射束可以由具有一定展宽(例如在1-5度的范围内)的IR激光来提供。这样的窄的射束具有足够的方向性以唯一地识别感兴趣的人的头部安装设备，以便引起该设备交换其穿戴者的捕获的视点。编码能够表明请求者以及例如请求类型以信号告知获得交换信息的权限水平。
类似地，眼镜200可以提供有编码射束检测器216以接收定向编码射束119。以此方式，注视检测可以通过由第一头部安装设备发射编码射束119、由识别的第二头部安装设备的射束检测器216检测其来提供。识别电路进一步包括对编码射束进行解码以便识别编码射束发射器和其编码信息的逻辑。
进一步的实施例
图4A示出了手术室中的现实实施例，其中头部安装设备与对应的设备和可穿戴摄像机一起使用。手术室中的医师和护士可以穿戴这些设备。该设备从其视角(也称为‘视域’)捕获它们所看见的图像或视频流。此外，该设备捕获其在手术室内的位置(例如x、y、z坐标中的位置P1..5)以及人正在观察的被描述为从点P开始的路径(例如x、y、z坐标中的向量V1..5)的方向。
确定移动摄像机在空间中的位置P能够利用可用的室内定位系统(例如利用无线电、光学或声学手段(例如编码光、Wi-Fi、或技术的组合))以各种方式来完成。观察方向能够利用可穿戴摄像机设备的机载传感器(加速度计、陀螺仪)来确定。替代地，传感器被集成在环境(例如手术台)中，其检测头部安装设备相对于环境中的物体的位置(例如通过视线)。
视频处理也可以是一选择，其中，中央处理器能够评估视域的内容并将此与其他视域进行比较，从而找到相似性和差别。这将会使得多个视域能够基于内容而被映射。
视域、位置P和方向V信息被发射给中央数据收集器150，如在图4B中示出的。该数据收集器存储进来的数据。若干部件能够从数据收集器请求数据。
图4B形成通信系统100如何从均具有捕获设备或移动摄像机200..200’并与接收多个视域的中央观察收集器设备150通信的多个头部安装设备穿戴者接收捕获信息的另一范例。收集器设备150与增强现实模块135通信,增强现实模块135能够提供多个视域的并且具有被布置为在增强现实中通过将视点与另一视点拼接而提供聚合视域的程序逻辑。这些聚合视域优选在中央控制空间或局部地在移动摄像机设备200处进行绘制。为此目的，增强现实模块135被提供有视域绘制逻辑136，具体用于由中央察看器137绘制多个视域。例如，医师能够指示他想要看见的物体以及从哪一个角度，并且拼接模块相应地从最佳匹配医师的需要的一个或多个捕获设备200..200’选择一个或多个视域。以此方式，而且，外科手术的程序后的评估能够被改进，或工作人员可以在外科手术程序中从不同的角度进行训练。中央观察系统150也能够支持远程监督/支持，即当手术由专家指导时，他/她本人可能不在场但是可以指导现场处的医师。专家然后能够使用聚合视域以通过在不同的移动摄像机视域之间进行拼接而具有手术的全貌以及详细视域。
中央察看器137可以允许通常在观察或控制室中的人请求单独视域或聚合视域。除了头部安装设备显示器外，这些也可以被中央地显示在2D显示器上。例如，观察者能够例如通过使用控制杆、键盘、鼠标或通过使用通过诸如眼睛跟踪器、头部跟踪器等的更先进的输入技术检测到的姿态控制或头部或眼睛移动向中央察看器指出他想要获得哪个视角。在3D显示器上(例如在自动立体全方向显示器上)绘制视域也是可能的，从而允许观察者在显示器周围容易地移动以从所有角度观看感兴趣对象。
Claims (15)
1.一种针对可穿戴设备的多个用户的通信系统，其中，所述可穿戴设备中的每个被布置为捕获相应的可穿戴设备的用户的视点，所述系统包括：
配准电路，其被布置为配准称为识别姿态的预定义的用户姿态(S100)，由此识别可穿戴设备的用户的所述视点；
识别电路，其被布置为通过第二可穿戴设备的所述配准电路来识别第一可穿戴设备的用户的所述视点；
交换电路，其被布置为使所述第一可穿戴设备与所述第二可穿戴设备交换由所述第一可穿戴设备捕获的视点；
投影电路，其被布置为将所交换的视点投影给所述第二可穿戴设备的用户；
生理信号监测模块，其包括生理信号检测器和用于传达所述生理信号检测器的生理信号信息的程序逻辑；
其中，所述交换电路被布置为当传达的生理信号值超过阈值时与所述第二可穿戴设备交换由所述第一可穿戴设备捕获的所识别的视点。
2.根据权利要求1所述的通信系统，其中，所述第一可穿戴设备和所述第二可穿戴设备被提供有所述识别电路、所述交换电路、所述配准电路和所述投影电路；其中，所述投影电路包括被布置为在增强现实中将所交换的视点与所述第二可穿戴设备的用户的视点进行拼接的增强现实模块。
3.根据权利要求2所述的通信系统，其中，所述增强现实模块包括用于显示所述传达的生理信号信息的程序逻辑。
4.根据权利要求2所述的通信系统，其中，所述第二可穿戴设备的所述识别电路被布置为通过所述第二可穿戴设备的所述配准电路来识别所述第一可穿戴设备的所述用户的所述视点。
5.根据权利要求2所述的通信系统，其中，所述第二可穿戴设备的所述配准电路被布置为配准称为交换姿态的预定义的用户姿态(S200)，由此使所述第二可穿戴设备的所述交换电路将所述第一可穿戴设备的所捕获的视点交换(S300)到所述第二可穿戴设备。
6.根据权利要求1所述的通信系统，其中，所述配准电路包括注视检测设备，所述注视检测设备装备有用于分析(S400)所述第二可穿戴设备的用户的注视方向的分析电路；以及用于在所述电路检测到所述注视方向与所述第一可穿戴设备的位置符合时识别(S500)所述第一可穿戴设备的电路。
7.根据权利要求6所述的通信系统，其中，所述注视检测设备以注视检测通过由所述第一可穿戴设备发射定向编码射束来提供的方式包括定向编码射束发射器和编码射束检测器，所述定向编码射束由所述第二可穿戴设备的射束检测器来检测，所述识别电路还包括用于对所述编码射束进行解码以便识别所述编码射束发射器的逻辑。
8.根据权利要求6所述的通信系统，其中，所述注视检测设备包括被布置为执行所述可穿戴设备的用户的瞳孔分析(S450)的程序逻辑。
9.一种用于在医院中、特别是在重症监护室和急诊室或手术室中使用的通信的方法，包括：
由第一可穿戴设备捕获所述第一可穿戴设备穿戴者的用户的视点；
由第二可穿戴设备识别所述第一可穿戴设备的所述视点；
传达生理信号信息；
当传达的生理信号值超过阈值时使所述第一可穿戴设备与第二可穿戴设备交换所捕获的视点；并且
向所述第二可穿戴设备穿戴者的用户提供所交换的视点。
10.根据权利要求9所述的通信的方法，还包括在增强现实中将所交换的视点与所述第二可穿戴设备的视点拼接。
11.根据权利要求9或10所述的通信方法，还包括利用由所述第一可穿戴设备显示的生理信号信息来增强所交换的视点。
12.根据权利要求9所述的方法，其中，使所述第一可穿戴设备穿戴者与第二可穿戴设备穿戴者交换所捕获的视点；通过配准称为交换姿态的预定义的用户姿态，由此使所述第一可穿戴设备穿戴者将所捕获的视点交换到第二可穿戴设备穿戴者。
13.根据权利要求9所述的方法，其中，所述第一可穿戴设备的视点通过所述第二可穿戴设备的注视检测来识别。
14.一种用于在医院中、特别是在重症监护室和急诊室或手术室中使用的用于通过通信路径连接的多个可穿戴设备视点捕获设备的交互通信系统，并且在所述设备中的至少两个上能够捕获视点；所述交互通信系统包括：
与所述可穿戴设备中的至少一个可穿戴设备相关联的用于由所述第一可穿戴设备捕获第一可穿戴设备穿戴者的视点的单元；以及
与所述可穿戴设备中的至少另一个可穿戴设备相关联的用于由所述另一个可穿戴设备识别所述第一可穿戴设备的视点的单元；
用于传达生理信号信息的单元；
用于当传达的生理信号值超过阈值时使所述第一可穿戴设备穿戴者与第二可穿戴设备穿戴者交换所捕获的视点的单元；以及
由所述第二可穿戴设备向所述第二可穿戴设备穿戴者提供所交换的视点作为交换的视点。
15.一种具有计算机程序逻辑的计算机程序产品，所述计算机程序逻辑被布置为用于在增强现实设备上运行并且被布置为实施根据权利要求9所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14191982 | 2014-11-06 | ||
| EP14191982.9 | 2014-11-06 | ||
| PCT/EP2015/075349 WO2016071244A2 (en) | 2014-11-06 | 2015-10-30 | Method and system of communication for use in hospitals |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107077214A true CN107077214A (zh) | 2017-08-18 |
Family
ID=51900154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580060239.0A Pending CN107077214A (zh) | 2014-11-06 | 2015-10-30 | 用于在医院中使用的通信的方法和系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10241738B2 (zh) |
| EP (1) | EP3215909A2 (zh) |
| CN (1) | CN107077214A (zh) |
| WO (1) | WO2016071244A2 (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017099675A1 (en) * | 2015-12-07 | 2017-06-15 | Koç Üni̇versi̇tesi̇ | A dual function display and multi-view imaging system |
| US20180059775A1 (en) * | 2016-08-23 | 2018-03-01 | Accenture Global Solutions Limited | Role-based provision of virtual reality environment |
| EP4365911A3 (en) | 2017-02-24 | 2024-05-29 | Masimo Corporation | Medical device cable and method of sharing data between connected medical devices |
| US11024064B2 (en) * | 2017-02-24 | 2021-06-01 | Masimo Corporation | Augmented reality system for displaying patient data |
| JP7159208B2 (ja) | 2017-05-08 | 2022-10-24 | マシモ・コーポレイション | ドングルを使用することによって医療システムをネットワークコントローラとペアリングするためのシステム |
| WO2018219900A1 (en) * | 2017-06-01 | 2018-12-06 | Philips Lighting Holding B.V. | A system for rendering virtual objects and a method thereof |
| US11114199B2 (en) | 2018-01-25 | 2021-09-07 | Mako Surgical Corp. | Workflow systems and methods for enhancing collaboration between participants in a surgical procedure |
| CN108922085B (zh) * | 2018-07-18 | 2020-12-18 | 北京七鑫易维信息技术有限公司 | 一种监护方法、装置、监护设备及存储介质 |
| CN109978945B (zh) * | 2019-02-26 | 2021-08-31 | 浙江舜宇光学有限公司 | 一种增强现实的信息处理方法和装置 |
| WO2020214454A1 (en) | 2019-04-18 | 2020-10-22 | Apple Inc. | Shared data and collaboration for head-mounted devices |
| US11641460B1 (en) | 2020-04-27 | 2023-05-02 | Apple Inc. | Generating a volumetric representation of a capture region |
| JP7187520B2 (ja) * | 2020-11-25 | 2022-12-12 | ソフトバンク株式会社 | 眼鏡型デバイス、管理サーバ及びプログラム |
| US11715334B2 (en) * | 2021-07-08 | 2023-08-01 | Nippon Telegraph And Telephone Corporation | Image-based authentication of a user's location at a point in time |
| US20230360336A1 (en) * | 2021-11-03 | 2023-11-09 | The Regents Of The University Of California | Collaborative mixed-reality system for immersive surgical telementoring |
| EP4350487A4 (en) * | 2022-08-04 | 2024-10-30 | Samsung Electronics Co., Ltd. | XR DEVICE, ELECTRONIC DEVICE AND CONTROL METHOD THEREFOR |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120206334A1 (en) * | 2010-02-28 | 2012-08-16 | Osterhout Group, Inc. | Ar glasses with event and user action capture device control of external applications |
| US20120293546A1 (en) * | 2011-05-18 | 2012-11-22 | Tomi Lahcanski | Augmented-reality mobile communicator with orientation |
| WO2013093906A1 (en) * | 2011-09-19 | 2013-06-27 | Eyesight Mobile Technologies Ltd. | Touch free interface for augmented reality systems |
| WO2014100688A2 (en) * | 2012-12-20 | 2014-06-26 | Accenture Global Services Limited | Context based augmented reality |
| WO2014134196A1 (en) * | 2013-02-26 | 2014-09-04 | Eastern Virginia Medical School | Augmented shared situational awareness system |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020044152A1 (en) | 2000-10-16 | 2002-04-18 | Abbott Kenneth H. | Dynamic integration of computer generated and real world images |
| US7567274B2 (en) | 2002-12-09 | 2009-07-28 | Frank Edughom Ekpar | Method and apparatus for creating interactive virtual tours |
| US20090074265A1 (en) | 2007-09-17 | 2009-03-19 | Capsovision Inc. | Imaging review and navigation workstation system |
| WO2010052550A2 (en) | 2008-11-05 | 2010-05-14 | Easywalk Capital S.A. | System and method for creating and broadcasting interactive panoramic walk-through applications |
| US8943420B2 (en) | 2009-06-18 | 2015-01-27 | Microsoft Corporation | Augmenting a field of view |
| CN201903695U (zh) | 2010-08-31 | 2011-07-20 | 夏翔 | 无线物联网眼镜 |
| KR101293776B1 (ko) | 2010-09-03 | 2013-08-06 | 주식회사 팬택 | 객체 리스트를 이용한 증강 현실 제공 장치 및 방법 |
| US8601380B2 (en) | 2011-03-16 | 2013-12-03 | Nokia Corporation | Method and apparatus for displaying interactive preview information in a location-based user interface |
| US9122321B2 (en) * | 2012-05-04 | 2015-09-01 | Microsoft Technology Licensing, Llc | Collaboration environment using see through displays |
| US9522096B2 (en) | 2012-05-17 | 2016-12-20 | Zoll Medical Corporation | CPR team performance |
-
2015
- 2015-10-30 EP EP15787617.8A patent/EP3215909A2/en not_active Withdrawn
- 2015-10-30 US US15/522,486 patent/US10241738B2/en active Active
- 2015-10-30 CN CN201580060239.0A patent/CN107077214A/zh active Pending
- 2015-10-30 WO PCT/EP2015/075349 patent/WO2016071244A2/en active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120206334A1 (en) * | 2010-02-28 | 2012-08-16 | Osterhout Group, Inc. | Ar glasses with event and user action capture device control of external applications |
| US20120293546A1 (en) * | 2011-05-18 | 2012-11-22 | Tomi Lahcanski | Augmented-reality mobile communicator with orientation |
| WO2013093906A1 (en) * | 2011-09-19 | 2013-06-27 | Eyesight Mobile Technologies Ltd. | Touch free interface for augmented reality systems |
| WO2014100688A2 (en) * | 2012-12-20 | 2014-06-26 | Accenture Global Services Limited | Context based augmented reality |
| WO2014134196A1 (en) * | 2013-02-26 | 2014-09-04 | Eastern Virginia Medical School | Augmented shared situational awareness system |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016071244A3 (en) | 2016-06-30 |
| US10241738B2 (en) | 2019-03-26 |
| WO2016071244A2 (en) | 2016-05-12 |
| EP3215909A2 (en) | 2017-09-13 |
| US20170315774A1 (en) | 2017-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107077214A (zh) | 用于在医院中使用的通信的方法和系统 | |
| CN109567954B (zh) | 图像引导程序的工作流程辅助系统及方法 | |
| US20220331028A1 (en) | System for Capturing Movement Patterns and/or Vital Signs of a Person | |
| JP4296278B2 (ja) | 医療用コクピットシステム | |
| JP6253311B2 (ja) | 画像処理装置、画像処理方法 | |
| EP2004039B1 (en) | Image output apparatus, image output method and image output program | |
| US20150320343A1 (en) | Motion information processing apparatus and method | |
| EP3570771B1 (en) | Augmented reality for radiation dose monitoring | |
| US20120313775A1 (en) | System and method for rapid location of an alarm condition | |
| CA3015179A1 (en) | Method and system for monitoring activity of an individual | |
| US20180014903A1 (en) | Head-mountable computing device, method and computer program product | |
| CN110832599A (zh) | 用于检测患者环境的光学图像数据和识别患者检查的方法、设备和计算机程序 | |
| JP6579411B1 (ja) | 介護設備又は病院用の監視システム及び監視方法 | |
| CN205359411U (zh) | 一种内窥镜图像控制系统 | |
| CN109551489B (zh) | 一种人体辅助机器人的控制方法及装置 | |
| JP6815104B2 (ja) | 映像表示装置及び映像表示方法 | |
| TWI635454B (zh) | 具投影功能之穿戴件 | |
| WO2016193973A1 (en) | Method and system for monitoring activity of an individual | |
| Fasko et al. | Towards human activity recognition and objective performance assessment in human patient simulation: A case study | |
| Jebakani et al. | Eye blink to voice for paralyzed patients | |
| WO2020241034A1 (ja) | 監視システム及び監視方法 | |
| WO2017115740A1 (ja) | 映像表示装置及び映像表示方法 | |
| EP4311479A1 (en) | State of consciousness analysis apparatus, state of consciousness analysis program, and observation system | |
| US20210298871A1 (en) | Cleaning support system, processing apparatus, and cleaning support method | |
| TWM663775U (zh) | 影像行為分析及互動系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170818 |
|
| RJ01 | Rejection of invention patent application after publication |