CN113473940A - 增强现实辅助手术工具对准 - Google Patents
增强现实辅助手术工具对准 Download PDFInfo
- Publication number
- CN113473940A CN113473940A CN202080016633.5A CN202080016633A CN113473940A CN 113473940 A CN113473940 A CN 113473940A CN 202080016633 A CN202080016633 A CN 202080016633A CN 113473940 A CN113473940 A CN 113473940A
- Authority
- CN
- China
- Prior art keywords
- surgical
- patient
- data
- surgeon
- cass
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title description 39
- 238000000034 method Methods 0.000 claims abstract description 141
- 238000001356 surgical procedure Methods 0.000 claims abstract description 124
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 104
- 230000000007 visual effect Effects 0.000 claims abstract description 22
- 238000013439 planning Methods 0.000 claims description 34
- 230000003287 optical effect Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 12
- 239000007943 implant Substances 0.000 description 96
- 239000012636 effector Substances 0.000 description 50
- 210000003484 anatomy Anatomy 0.000 description 43
- 238000002271 resection Methods 0.000 description 32
- 210000001624 hip Anatomy 0.000 description 27
- 238000005520 cutting process Methods 0.000 description 25
- 239000000523 sample Substances 0.000 description 19
- 210000001519 tissue Anatomy 0.000 description 18
- 230000003116 impacting effect Effects 0.000 description 17
- 230000033001 locomotion Effects 0.000 description 17
- 238000010801 machine learning Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 210000003127 knee Anatomy 0.000 description 15
- 230000002980 postoperative effect Effects 0.000 description 15
- 230000009471 action Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 14
- 210000003414 extremity Anatomy 0.000 description 14
- 238000011883 total knee arthroplasty Methods 0.000 description 14
- 238000002679 ablation Methods 0.000 description 13
- 238000005457 optimization Methods 0.000 description 13
- 210000000689 upper leg Anatomy 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000002604 ultrasonography Methods 0.000 description 11
- 210000000588 acetabulum Anatomy 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 210000002436 femur neck Anatomy 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 238000002591 computed tomography Methods 0.000 description 8
- 230000036541 health Effects 0.000 description 8
- 210000004394 hip joint Anatomy 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 238000011882 arthroplasty Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 7
- 208000014674 injury Diseases 0.000 description 7
- 210000003041 ligament Anatomy 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 210000004872 soft tissue Anatomy 0.000 description 7
- 210000002303 tibia Anatomy 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 208000027418 Wounds and injury Diseases 0.000 description 6
- 230000007547 defect Effects 0.000 description 6
- 210000000527 greater trochanter Anatomy 0.000 description 6
- 210000000528 lesser trochanter Anatomy 0.000 description 6
- 210000004197 pelvis Anatomy 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000006378 damage Effects 0.000 description 5
- 238000013499 data model Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000013150 knee replacement Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 230000008733 trauma Effects 0.000 description 5
- 208000002193 Pain Diseases 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000005553 drilling Methods 0.000 description 4
- 230000005021 gait Effects 0.000 description 4
- 210000000629 knee joint Anatomy 0.000 description 4
- 210000002414 leg Anatomy 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000000399 orthopedic effect Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 241001227561 Valgus Species 0.000 description 3
- 241000469816 Varus Species 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000001054 cortical effect Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000013503 de-identification Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000002683 foot Anatomy 0.000 description 3
- 238000011540 hip replacement Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 210000001503 joint Anatomy 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 210000004061 pubic symphysis Anatomy 0.000 description 3
- 238000007674 radiofrequency ablation Methods 0.000 description 3
- 230000000451 tissue damage Effects 0.000 description 3
- 231100000827 tissue damage Toxicity 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 241001653121 Glenoides Species 0.000 description 2
- 210000001264 anterior cruciate ligament Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 210000000845 cartilage Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000009850 completed effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000005672 electromagnetic field Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000002513 implantation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000000608 laser ablation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 208000014451 palmoplantar keratoderma and congenital alopecia 2 Diseases 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 210000002832 shoulder Anatomy 0.000 description 2
- 238000011541 total hip replacement Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000239290 Araneae Species 0.000 description 1
- 208000006820 Arthralgia Diseases 0.000 description 1
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 241000567769 Isurus oxyrinchus Species 0.000 description 1
- 206010024452 Ligament laxity Diseases 0.000 description 1
- 241000878128 Malleus Species 0.000 description 1
- 229910000791 Oxinium Inorganic materials 0.000 description 1
- 206010034246 Pelvic fractures Diseases 0.000 description 1
- 206010035148 Plague Diseases 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000007815 allergy Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 239000011011 black crystal Substances 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 239000003302 ferromagnetic material Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000005714 functional activity Effects 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 208000012285 hip pain Diseases 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005305 interferometry Methods 0.000 description 1
- 230000008407 joint function Effects 0.000 description 1
- 208000024765 knee pain Diseases 0.000 description 1
- 238000009533 lab test Methods 0.000 description 1
- 210000001930 leg bone Anatomy 0.000 description 1
- 230000005291 magnetic effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 210000002331 malleus Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000002483 medication Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012978 minimally invasive surgical procedure Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 201000008482 osteoarthritis Diseases 0.000 description 1
- 210000003049 pelvic bone Anatomy 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000010882 preoperative diagnosis Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 210000003689 pubic bone Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000000513 rotator cuff Anatomy 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/90—Identification means for patients or instruments, e.g. tags
- A61B90/98—Identification means for patients or instruments, e.g. tags using electromagnetic means, e.g. transponders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/90—Identification means for patients or instruments, e.g. tags
- A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
- A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
- A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
- A61B18/20—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
- A61B2090/061—Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
- A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
- A61B2090/066—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring torque
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
- A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/372—Details of monitor hardware
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
- G09B23/30—Anatomical models
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Robotics (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Gynecology & Obstetrics (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Algebra (AREA)
- Medicinal Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Electromagnetism (AREA)
Abstract
公开了用于使用一个或多个混合现实显示器辅助工具对准的计算机辅助手术系统和方法。所述系统可提供获得现有手术计划,所述现有手术计划可包括特定患者信息和关于手术程序的数据。所述系统可以从跟踪系统接收患者骨的位置信息,并且基于手术计划和位置信息确定使用手术装置的优选位置和角度。一旦确定,所述系统就可以在混合现实显示器上显示与优选位置和优选角度相关联的一个或多个视觉指示器。
Description
优先权
本专利申请要求2019年3月13日提交的名称为“AUGMENTED REALITY ASSISTEDSURGICAL TOOL ALIGNMENT(增强现实辅助手术工具对准)”的美国临时专利申请第62/818,092号的优先权,该专利申请通过引用以其整体并入本文中。
技术领域
本公开总体上涉及与计算机辅助手术系统有关的方法、系统和设备,所述计算机辅助手术系统包括一起工作以增强手术流程的各种硬件和软件部件。所公开的技术可以应用于例如肩、髋和膝关节置换术,以及其它外科手术,如关节镜手术、脊柱手术、颌面手术、肩袖手术、韧带修复和置换手术。
背景技术
增强现实(AR)是一种互动体验,通过该互动体验,存在于现实世界中的物体被计算机生成的信息“增强”。增强信息可以是建设性的(即,对自然环境具有附加性)或具有破坏性(即,掩蔽自然环境),并且可以与物理世界交织,使得观看者将信息感知为真实环境的沉浸式方面。这种增强可以在一种或多种感官模式,包括视觉、听觉、触觉、体觉和嗅觉中起作用。
近眼显示系统可用于增强现实。通过这种系统,可以改变正被组件的用户观察的场景。例如,该场景可被增强或补充有视觉材料。该改变可以是计算机生成的,并且包括实时视频和/或非实时图像,所述实时视频和/或非实时图像在用户凝视场景时呈现给用户。
先进的手术准备和辅助系统目前使用预先配准的3D成像器进行操作,并且这种系统可以向医疗专业人员提供的辅助是有限的。通常,此类系统提供在手术期间提供最小益处并且更适合于预演手术技术或提供关于如何执行手术程序的指令的图像。
需要一种改善并增强外科医生实时执行正在进行的手术的能力的系统,所述能力包括在增强现实显示系统中提供额外信息的能力。
发明内容
一个实施例提供了一种计算机辅助手术对准方法,其包括:使用处理器获得手术计划;以及从跟踪系统接收一个或多个患者骨的位置信息。基于所述手术计划和所述位置信息,可以确定一个或多个已知手术工具相对于所述一个或多个患者骨的优选位置和优选角度。一旦确定,使用一个或多个相关联的视觉指示器在混合现实显示器上显示所述优选位置和角度。
另一实施例提供了一种计算机辅助手术对准系统,其包括:处理器;混合现实显示器;跟踪系统;以及非暂时性处理器可读存储介质,所述非暂时性处理器可读存储介质存储可由所述处理器执行的指令。所述指令可用于获得手术计划,从跟踪系统接收一个或多个患者骨的位置信息,以及基于所述手术计划和所述位置信息确定一个或多个已知手术工具相对于所述一个或多个患者骨的优选位置和优选角度。所述系统可以在所述混合现实显示器上显示与所述优选位置和所述优选角度相关联的一个或多个视觉指示器。
在一些实施例中,所述系统和方法可以经由增强现实显示器显示信息,以与计算机辅助手术系统结合使用。计算机辅助手术系统可以使用基准标记或图像分析和光学识别来跟踪患者的解剖结构和一个或多个手术工具的位置和取向。然后,手术系统可以在增强现实显示器中显示虚拟地定位在手术工具中的一个或多个的表面上的一个或多个值,从而允许临床医生在手术程序期间保持对患者的关注。增强现实显示器可以显示各种引导标记以帮助临床医生定位一个或多个手术工具。
附图说明
并入本说明书中且形成本说明书的一部分的附图说明本公开的实施例,且连同书面描述一起用于解释本发明的原理、特性和特征。在附图中:
图1示出了根据实施例的包括示例性计算机辅助手术系统(CASS)的手术室。
图2示出了根据一些实施例的电磁传感器装置的示例。
图3A示出了根据一些实施例的具有三个垂直线圈的电磁传感器装置的替代性示例。
图3B示出了根据一些实施例的具有两个不平行固定线圈的电磁传感器装置的替代性示例。
图3C示出了根据一些实施例的具有两个不平行分离线圈的电磁传感器装置的替代性示例。
图4示出了根据一些实施例的电磁传感器装置和患者骨的示例。
图5A示出了根据实施例的手术计算机提供给CASS的其它部件的说明性控制指令。
图5B示出了根据实施例的CASS的部件提供给手术计算机的说明性控制指令。
图5C示出了根据实施例的手术计算机通过网络连接到手术数据服务器的说明性实施方式。
图6示出了根据实施例的手术患者护理系统和说明性数据源。
图7A示出了根据实施例的用于确定术前手术计划的示例性流程图。
图7B示出了根据实施例的用于确定护理期,包括术前、术中和术后动作的示例性流程图。
图7C示出了根据实施例的说明性图形用户界面,包括描绘植入物放置的图像。
图8示出了根据实施例的相对于髋臼杯定位的杯冲击器和锤骨的示意性示例。
图9示出了具有可跟踪图像的跟踪元件的说明性示例。
图10A示出了具有目标圆圈的杯冲击器的增强现实视图的说明性示例。
图10B示出了在目标圆圈内的杯冲击器的增强现实视图的说明性示例。
图11示出了具有为外科医生显示的额外数据的杯冲击器的增强现实视图的说明性示例。
图12示出了用于向计算机辅助手术规划系统提供导航和控制的框图。
具体实施方式
本公开不限于所描述的特定系统、装置和方法,因为其可以变化。描述中使用的术语仅用于描述特定版本或实施例的目的,而不旨在限制范围。
如本文件中所使用,除非上下文另外明确规定,否则单数形式“一个”、“一种”和“该/所述”包括复数指代。除非另有定义,否则本文所使用的所有科技术语具有与本领域普通技术人员通常所理解的相同含义。本公开中的任何内容均不应被解释为承认本公开中描述的实施例由于在前发明而无权把本公开的日期提前。如本文件中所使用,术语“包括”意指“包括但不限于”。
定义
出于本公开的目的,术语“植入物”用于指代制造成置换或增强生物结构的假体装置或结构。例如,在全髋关节置换程序中,使用假体髋臼杯(植入物)来置换或增强患者的磨损或损坏的髋臼。虽然术语“植入物”通常被认为表示人造结构(与移植形成对比),但是出于本说明书的目的,植入物可包括移植以置换或增强生物结构的生物组织或材料。
出于本说明书和相关权利要求书的目的,术语“植入物宿主”用于指患者。在某些情况下,术语“植入物宿主”还可用于更具体地指特定关节或特定患者的解剖结构内的预期植入物的位置。例如,在全髋关节置换手术中,植入物宿主可以指被置换或修复的患者的髋关节。
出于本公开的目的,术语“实时”用于指代事件发生或可操作系统接收到输入时即时执行的计算或操作。然而,术语“实时”的使用并不旨在排除在输入和响应之间引起某些延迟的操作,只要延迟是机器的性能特性引起的意外结果即可。
尽管本公开中的许多内容涉及按特定职衔或角色的外科医生或其他医疗专业人员,但本公开中的任何内容都不旨在限于特定的职衔或职能。外科医生或医疗专业人员可以包括任何医生、护士、医疗专业人员或技师。这些术语或职位中的任何一个都可以与本文公开的系统的用户互换使用,除非另有明确规定。例如,在一些实施例中,对外科医生的引用也可以适用于技师或护士。
CASS生态系统概述
图1提供了根据一些实施例的示例计算机辅助手术系统(CASS)100的图示。如以下各节中进一步详细所述,CASS使用计算机,机器人和成像技术来帮助外科医生执行骨科手术程序,例如全膝关节置换术(TKA)或全髋关节置换术(THA)。例如,手术导航系统可以帮助外科医生以高精度定位患者的解剖结构、引导手术器械以及植入医疗装置。诸如CASS 100的手术导航系统经常采用各种形式的计算技术来执行各种各样的标准和微创手术程序和技术。而且,这些系统允许外科医生更准确地计划、跟踪和导航相对于患者身体的器械和植入物的位置,以及进行术前和术中身体成像。
执行器平台105在手术期间相对于患者定位手术工具。执行器平台105的确切部件将根据所采用的实施例而变化。例如,对于膝手术,执行器平台105可以包括在其使用期间保持手术工具或器械的末端执行器105B。末端执行器105B可以是外科医生使用的手持式装置或器械(例如手持件或切割引导件或夹具),或者替代地,末端执行器105B可以包括由机器人臂105A保持或定位的装置或器械。尽管在图1中示出了一个机器人臂105A,但在一些实施例中,可以有多个装置。例如,在手术台T的每一侧可以有一个机器人臂105A,或者在手术台T的一侧可以有两个装置。机器人臂105A可以直接安装到手术台T,在手术台T的旁边位于地板平台(未示出)上,安装在落地杆上,或安装在手术室的墙壁或天花板上。地板平台可以是固定的或可移动的。在一个特定实施例中,机器人臂105A安装在位于患者的腿或脚之间的落地杆上。在一些实施例中,末端执行器105B可以包括缝合线保持器或吻合器以帮助闭合伤口。此外,在两个机器人臂105A的情况下,手术计算机150可以驱动机器人臂105A一起工作以在闭合时缝合伤口。替代地,手术计算机150可以驱动一个或多个机器人臂105A以在闭合时缝合伤口。
执行器平台105可以包括用于在手术期间定位患者的肢体的肢体定位器105C。肢体定位器105C的一个示例是SMITH AND NEPHEW SPIDER2系统。肢体定位器105C可以由外科医生手动操作,或者替代地,基于从手术计算机150(以下描述)接收到的指令来改变肢体位置。尽管在图1中示出了一个肢体定位器105C,但在一些实施例中可以有多个装置。作为示例,在手术台T的每一侧可以有一个肢体定位器105C,或者在手术台T的一侧可以有两个装置。肢体定位器105C可以直接安装到手术台T,在手术台T的旁边位于地板平台(未示出)上,安装在杆上,或安装在手术室的墙壁或天花板上。在一些实施例中,肢体定位器105C可以以非常规方式使用,例如牵开器或特定的骨保持器。作为示例,肢体定位器105C可以包括脚踝靴、软组织夹、骨夹或软组织牵开器匙,例如钩形、弯曲或成角的刀片。在一些实施例中,肢体定位器105C可以包括缝线保持器以辅助闭合伤口。
执行器平台105可以包括工具,如螺丝刀,指示轴线或平面的光或激光,水准仪,销驱动器,销拔出器,平面检查器,指示器,指状件,或它们的某种组合。
切除设备110(图1中未示出)使用例如机械、超声或激光技术执行骨或组织切除。切除设备110的示例包括钻孔装置、去毛刺装置、振荡锯切装置、振动冲击装置、铰刀、超声骨切割装置、射频消融装置、往复运动装置(例如锉刀或拉刀),以及激光消融系统。在一些实施例中,切除设备110在手术期间由外科医生保持和操作。在其他实施例中,执行器平台105可以用于在使用期间保持切除设备110。
执行器平台105还可以包括切割引导件或夹具105D,其用于引导在手术期间用于切除组织的锯或钻。这样的切割引导件105D可以一体地形成为执行器平台105或机器人臂105A的一部分,或者切割引导件可以是可以配合地和/或可移除地附接到执行器平台105或机器人臂105A的独立结构。可以由CASS 100控制执行器平台105或机器人臂105A,以根据术前或术中制定的手术计划将切割引导件或夹具105D定位在患者的解剖结构附近,使得切割引导件或夹具将根据手术计划产生精确的骨切割。
跟踪系统115使用一个或多个传感器来收集定位患者的解剖结构和手术器械的实时位置数据。例如,对于TKA程序,跟踪系统可以在程序期间提供末端执行器105B的位置和取向。除了位置数据之外,来自跟踪系统115的数据还可以用于推断解剖结构/器械的速度/加速度,其可以用于工具控制。在一些实施例中,跟踪系统115可以使用附接到末端执行器105B的跟踪器阵列来确定末端执行器105B的位置和取向。可以基于跟踪系统115的位置和取向以及跟踪系统115和末端执行器105B之间的三维空间中的已知关系来推断末端执行器105B的位置。在本发明的各种实施例中可以使用各种类型的跟踪系统,包括但不限于红外(IR)跟踪系统、电磁(EM)跟踪系统、基于视频或图像的跟踪系统以及超声配准和跟踪系统。使用由跟踪系统115提供的数据,手术计算机150可以检测对象并防止碰撞。例如,手术计算机150可以防止机器人臂105A与软组织碰撞。
任何合适的跟踪系统都可以用于跟踪手术室中的手术对象和患者解剖结构。例如,可以在阵列中使用红外和可见光相机的组合。各种照明源(例如红外LED光源)可以照亮场景,从而可以进行三维成像。在一些实施例中,这可以包括立体,三视,四视等成像。除了在一些实施例中固定到推车的相机阵列之外,还可以在整个手术室中放置附加相机。例如,操作者/外科医生穿戴的手持式工具或头戴件可以包括将图像传回中央处理器以将那些图像与相机阵列获取的图像相关的成像功能。这可以为使用多个视角进行建模的环境提供更鲁棒的图像。此外,一些成像装置可以在场景上具有合适的分辨率或具有合适的视角以拾取存储在快速响应(QR)代码或条形码中的信息。这有助于识别未用系统手动配准的特定对象。在一些实施例中,相机可以安装在机器人臂105A上。
如本文所论述的,尽管大多数跟踪和/或导航技术利用基于图像的跟踪系统(例如,IR跟踪系统、基于视频或图像的跟踪系统等等)。然而,基于电磁(EM)的跟踪系统由于各种原因变得越来越常见。例如,标准光学跟踪器的植入需要组织切除(例如,向下到皮质)以及后续钻孔和驱动皮质销。另外,由于光学跟踪器需要部位与跟踪系统的直达线,因此此类跟踪器的放置可能需要远离手术部位以确保它们不限制外科医生或医疗专业人员的移动。
通常,基于EM的跟踪装置包括一个或多个线圈和参考场发生器。一个或多个线圈可(例如,经由有线或无线电源)通电。一旦通电,线圈就产生可(例如,由参考场发生器或附加装置)以允许确定一个或多个线圈的位置和取向的方式检测和测量的电磁场。如所属领域的普通技术人员应理解的,例如图2中所示的单个线圈限于检测五(5)个总自由度(DOF)。例如,传感器200能够跟踪/确定X、Y或Z方向上的移动,以及围绕Y轴202或Z轴201的旋转。然而,由于线圈的电磁特性,不可能正确地跟踪围绕X轴线的旋转运动。
因此,在大多数电磁跟踪应用中,诸如图3A中所示的三线圈系统用于实现在可使刚性主体在三维空间中移动的所有六个自由度中的跟踪(即,前/后310、上/下320、左/右330、滚动340、俯仰350和偏航360)。然而,包括两个额外线圈及其定位的90°偏移角可能要求跟踪装置大得多。替代地,如本领域的技术人员所知,少于三个完整的线圈可用于跟踪所有6DOF。在一些基于EM的跟踪装置中,两个线圈可以彼此固定,例如图3B中所示的。由于两个线圈301B、302B彼此刚性地固定,不完全平行,并且具有相对于彼此已知的位置,因此可以使用此布置确定第六自由度303B。
尽管使用两个固定线圈(例如,301B、302B)允许在6DOF中使用基于EM的跟踪,但由于附加线圈,传感器装置的直径比单个线圈大得多。因此,在手术环境中使用基于EM的跟踪系统的实际应用可能需要组织切除并对患者骨的一部分进行钻孔以允许插入EM跟踪器。替代地,在一些实施例中,可以仅使用销(例如,不需要钻孔或切除大量骨)将单个线圈或5DOFEM跟踪装置植入/插入患者骨中。
因此,如本文所述,需要一种解决方案,该解决方案可以将EM跟踪系统的使用限于小到足以使用小直径针或销(即,不需要在骨中制造新切口或大直径开口)插入/嵌入的装置。因此,在一些实施例中,未附接到第一传感器且因此具有小直径的第二5DOF传感器可用于跟踪所有6DOF。现在参考图3C,在一些实施例中,两个5DOF EM传感器(例如,301C、302C)可以在不同位置处以不同角取向(例如,角303C是非零的)插入到患者中(例如,患者骨中)。
现在参考图4,示出了使用在大多数OR中典型的标准中空针405将第一5DOF EM传感器401和第二5DOF EM传感器402插入到患者骨403中的示例实施例。在另一实施例中,第一传感器401和第二传感器402可具有“a”404的角度偏移。在一些实施例中,偏移角“α”404可能需要大于预定值(例如,0.50°、0.75°等的最小角)。在一些实施例中,此最小值可以在手术计划期间由CASS确定并提供给外科医生或医学专业人员。在一些实施例中,最小值可以基于一个或多个因素,例如,跟踪系统的定向准确度、第一EM传感器与第二EM传感器之间的距离。场发生器的位置、场检测器的位置、EM传感器的类型、EM传感器的质量、患者解剖结构等等。
因此,如本文所论述的,在一些实施例中,销/针(例如,套管安装针等)可用于插入一个或多个EM传感器。通常,销/针将是一次性部件,而传感器本身可以是可重复使用的。然而,应理解,这仅是一个可能系统,并且可使用销/针和/或EM传感器是独立的一次性使用的或可重复使用的各种其它系统。在另一实施例中,EM传感器可(例如,使用鲁尔锁配件等)固定到安装针/销,这可以允许快速组装和拆卸。在另外的实施例中,EM传感器可以利用允许传感器最小地侵入放置的替代套筒和/或锚定系统。
在另一实施例中,上述系统可以允许多传感器导航系统,其可以检测和校正困扰电磁跟踪系统的场畸变。应理解,场畸变可以由参考场内的任何铁磁性材料的移动引起。因此,如本领域的普通技术人员所知,典型OR具有大量可造成干扰的装置(例如,手术台、LCD显示器、照明设备、成像系统、手术仪器等)。此外,众所周知,场畸变难以检测。使用多个EM传感器使得系统能够准确地检测场畸变,和/或警示用户当前位置测量值可能不准确。因为传感器(例如,经由销/针)牢固地固定到骨解剖结构,所以传感器位置(X、Y、Z)的相对测量可用于检测场畸变。作为非限制性示例,在一些实施例中,在EM传感器固定到骨骼之后,两个传感器之间的相对距离是已知的并且应当保持恒定。因此,此距离的任何改变都可以指示存在场畸变。
在一些实施例中,外科医生可以在术前或术中用系统手动配准特定对象。例如,通过与用户界面交互,外科医生可以识别工具或骨结构的起始位置。通过跟踪与该工具或骨结构相关的基准标记,或者通过使用其他常规图像跟踪方式,处理器可以在工具或骨在三维模型中移动通过环境时对其进行跟踪。
在一些实施例中,诸如在手术室中识别个人、重要工具或骨的基准标记的某些标记物可以包括可以由与跟踪系统关联的相机或相机阵列拾取的被动或主动标识。例如,红外LED可以闪烁图案,所述图案将唯一的标识传达给该图案的来源,从而提供动态识别标记。类似地,一维或二维光学代码(条形码、QR代码等)可以固定到手术室的对象以提供基于图像分析可以发生的被动识别。如果这些代码非对称地放置在对象上,则它们也可以用于通过将标识的位置与图像中对象的范围进行比较来确定对象的取向。例如,可以将QR码放置在工具托盘的角部中,从而允许跟踪该托盘的方向和标识。其他跟踪方式将在全文中进行说明。例如,在一些实施例中,外科医生和其他人员可以穿戴增强现实头戴件以提供附加的相机角度和跟踪能力。
除了光学跟踪外,还可以通过配准对象的物理性质并将其与可以跟踪的对象(例如固定到工具或骨的基准标记)关联来跟踪对象的某些特征。例如,外科医生可以执行手动配准过程,由此被跟踪工具和被跟踪骨可以相对于彼此被操纵。通过将工具的尖端撞击骨的表面,可以为该骨标绘三维表面,所述三维表面与相对于该基准标记的参考系的位置和取向关联。通过光学跟踪与该骨关联的基准标记的位置和取向(姿态),可以通过外推法在环境中跟踪该表面的模型。
将CASS 100配准到患者的相关解剖结构的配准过程还可能涉及使用解剖学标志,例如骨或软骨上的标志。例如,CASS 100可以包括相关骨或关节的3D模型,并且外科医生可以使用连接到CASS的探针在术中收集有关患者实际骨上的骨标志的位置的数据。骨标志可以包括例如内踝和外踝,股骨近端和胫骨远端的端部,以及髋关节的中心。CASS 100可以将外科医生用探针收集的骨标志的位置数据与3D模型中相同标志的位置数据进行比较和配准。替代地,CASS 100可以通过使用由外科医生使用CASS探针或其他手段收集的骨标志和骨表面的位置数据来构建没有术前图像数据的骨或关节的3D模型。配准过程还可以包括确定关节的各个轴。例如,对于TKA,外科医生可以使用CASS 100来确定股骨和胫骨的解剖和机械轴。外科医生和CASS 100可以通过在螺旋方向上移动患者的腿部(即,环转)来识别髋关节的中心,以便CASS可以确定髋关节中心的位置。
组织导航系统120(图1中未示出)为外科医生提供手术区域周围的患者的骨、软骨、肌肉、神经和/或血管组织的术中实时可视化。可以用于组织导航的系统的示例包括荧光成像系统和超声系统。
显示器125提供图形用户界面(GUI),其显示由组织导航系统120收集的图像以及与手术有关的其他信息。例如,在一个实施例中,显示器125覆盖术前或术中收集的从各种模态(例如,CT、MRI、X射线、荧光、超声等)收集的图像信息以为外科医生提供患者的解剖结构的各种视图以及实时状况。显示器125可以包括例如一个或多个计算机监视器。作为显示器125的替代或补充,手术人员中的一个或多个人员可以穿戴增强现实(AR)头戴式装置(HMD)。例如,在图1中,外科医生111穿戴AR HMD 155,其可以例如将术前图像数据覆盖在患者或提供手术计划建议。在以下各节中详细描述了AR HMD 155在手术程序中的各种示例性使用。
手术计算机150向CASS 100的各种部件提供控制指令,从那些部件收集数据,并为手术期间所需的各种数据提供一般处理。在一些实施例中,手术计算机150是通用计算机。在其他实施例中,手术计算机150可以是使用多个中央处理单元(CPU)或图形处理单元(GPU)来执行处理的并行计算平台。在一些实施例中,手术计算机150通过一个或多个计算机网络(例如,互联网)连接到远程服务器。远程服务器可以用于例如数据的存储或计算密集型处理任务的执行。
可以使用本领域中公知的各种技术来将手术计算机150连接到CASS 100的其他部件。而且,计算机可以使用多种技术来连接到手术计算机150。例如,末端执行器105B可以通过有线(即,串行)连接而连接到手术计算机150。跟踪系统115、组织导航系统120和显示器125可以类似地使用有线连接来连接到手术计算机150。替代地,跟踪系统115、组织导航系统120和显示器125可以使用无线技术连接到手术计算机150,所述无线技术例如但不限于Wi-Fi、蓝牙、近场通信(NFC)或ZigBee。
动力冲击和髋臼铰刀装置
以上关于图1描述的CASS设计的灵活性的一部分在于可以根据需要向CASS 100添加额外的或替代的装置以支持特定的手术程序。例如,在髋手术的情况下,CASS 100可以包括动力冲击装置。冲击装置设计成重复施加外科医生可以用来执行诸如植入物对准的活动的冲击力。例如,在全髋关节置换术(THA)中,外科医生通常会使用冲击装置将假体髋臼杯插入到植入宿主的髋臼中。尽管冲击装置本质上可以是手动的(例如,由外科医生用槌敲击冲击器来操作),但是动力冲击装置通常在手术环境中更容易且更快速地使用。动力冲击装置可以例如使用附接到该装置的电池来供电。各种附接件可以连接至动力冲击装置以允许在手术期间根据需要以各种方式来引导冲击力。同样在髋手术的情况下,CASS 100可以包括动力的、机器人控制的末端执行器,以使髋臼铰孔以容纳髋臼杯植入物。
在机器人辅助THA中,可以使用CT或其他图像数据、解剖标志的识别、附着到患者骨的跟踪器阵列以及一个或多个相机将患者的解剖结构配准到CASS 100。可以使用夹具和/或骨针将跟踪器阵列安装在髂嵴上,并且可以在外部通过皮肤或在内部(后外侧或前外侧)通过为了执行THA而制造的切口来安装这样的跟踪器阵列。对于THA,CASS 100可以利用插入股骨近端的一个或多个股骨皮质螺钉作为检查点以帮助配准过程。CASS 100还可以利用插入骨盆中的一个或多个检查点螺钉作为附加检查点以帮助配准过程。股骨跟踪器阵列可以固定或安装在股骨皮质螺钉中。CASS 100可以采用以下步骤,其中使用外科医生精确地放置在显示器125上为外科医生所识别的股骨近端和骨盆的关键区域上的探针进行验证。跟踪器可以位于机器人臂105A或末端执行器105B上以将臂和/或末端执行器配准到CASS 100。验证步骤还可以利用股骨近端和远端检查点。CASS 100可以利用颜色提示或其他提示来通知外科医生有关骨和机器人臂105A或末端执行器105B的配准过程已在一定程度的精度上(例如,在1mm内)被验证。
对于THA,CASS 100可以包括使用股骨阵列的拉刀跟踪选择,以允许外科医生在术中获取拉刀的位置和取向并计算患者的髋长度和偏移值。根据提供的有关患者髋关节的信息以及在完成拉刀跟踪后计划的植入物位置和取向的信息,外科医生可以对手术计划进行修改或调整。
对于机器人辅助THA,CASS 100可以包括连接或附接到机器人臂105A或末端执行器105B的一个或多个动力铰刀,其根据手术计划准备骨盆骨以接收髋臼植入物。机器人臂105A和/或末端执行器105B可以通知外科医生和/或控制铰刀的动力,以确保根据手术计划切除(铰孔)髋臼。例如,如果外科医生根据手术计划试图在要切除的骨的边界之外切除骨,则CASS 100可以切断铰刀的电源或指示外科医生切断铰刀的电源。CASS 100可以为外科医生提供选择以关闭或脱离铰刀的机器人控制。与使用不同颜色的手术计划相比,显示器125可以示出正被切除(铰孔)的骨的进度。外科医生可以查看正被切除(铰孔)的骨的显示以根据手术计划引导铰刀完成铰孔。CASS 100可以向外科医生提供视觉或听觉提示以警告外科医生正在进行不符合手术计划的切除。
在铰孔之后,CASS 100可以采用附接到或连接到机器人臂105A或末端执行器105B的手动或动力冲击器以将试验植入物和最终植入物冲击到髋臼中。机器人臂105A和/或末端执行器105B可以用于引导冲击器以根据手术计划将试验植入物和最终植入物冲击到髋臼中。CASS 100可以使试验植入物和最终植入物相对于骨的位置和取向被显示以告知外科医生如何将试验植入物和最终植入物的取向和位置与手术计划进行比较,显示器125可以在外科医生操纵腿部和髋部时显示植入物的位置和取向。如果外科医生对初始植入物位置和取向不满意,则通过准备新的手术计划,CASS 100可以为外科医生提供重新计划以及重做铰孔和植入物冲击的选择。
术前,CASS 100可以基于髋关节的三维模型和患者特定的其他信息(例如腿骨的机械和解剖轴,上髁轴,股骨颈轴,股骨和髋的尺寸(例如,长度),髋关节的中线轴,髋关节的ASIS轴,以及诸如小转子标志,远侧标志和髋关节旋转中心的解剖学标志的位置)来制定拟议的手术计划。CASS制定的手术计划可以根据髋关节的三维模型和患者特定的其他信息提供建议的最佳植入物尺寸以及植入物的位置和取向。CASS制定的手术计划可以包括有关偏移值、倾斜度和前倾值、旋转中心、杯尺寸、中度值、上下配合度、股骨柄尺寸和长度的建议细节。
对于THA,可以在术前和术中查看CASS制定的手术计划,而外科医生可以在术前或术中修改CASS制定的手术计划。CASS制定的手术计划可以显示计划的髋关节切除,并根据计划的切除将计划的植入物叠加到髋关节上。CASS 100可以为外科医生提供不同手术流程的选择,所述选择将根据外科医生的喜好显示给外科医生。例如,外科医生可以基于被检查和获取的解剖标志的数量和类型和/或在配准过程中使用的跟踪器阵列的位置和数量,从不同的工作流程进行选择。
根据一些实施例,与CASS 100一起使用的动力冲击装置可以以各种不同的设置来操作。在一些实施例中,外科医生通过手动开关或动力冲击装置上的其他物理机构来调整设置。在其他实施例中,可以使用数字接口,所述数字接口允许例如经由动力冲击装置上的触摸屏进行设置输入。这样的数字接口可以允许可用设置基于例如连接到电力附接装置的附接件的类型而变化。在一些实施例中,可以通过与CASS 100内的机器人或其他计算机系统通信来改变设置,而不是调整动力冲击装置本身上的设置。可以使用例如动力冲击装置上的蓝牙或Wi-Fi联网模块来建立这样的连接。在另一实施例中,冲击装置和端部件可以包含允许冲击装置知道什么端部件(杯冲击器,拉刀手柄等)被附接的特征而外科医生不需要采取任何动作,并相应地调整设置。这可以例如通过QR码、条形码、RFID标签或其他方法来实现。
可以使用的设置的示例包括杯冲击设置(例如,单向,指定频率范围,指定力和/或能量范围);拉刀冲击设置(例如,双向/在指定频率范围内振荡,指定力和/或能量范围);股骨头冲击设置(例如,以指定力或能量进行单向/单次打击);以及干冲击设置(例如,在指定频率下以指定力或能量进行的单向)。另外,在一些实施例中,动力冲击装置包括与髋臼内衬冲击有关的设置(例如,以指定力或能量进行的单向/单次打击)。对于每种类型的内衬(例如,聚合、陶瓷、黑晶(oxinium)或其他材料),可能会有多种设置。此外,动力冲击装置可以基于术前测试/成像/知识和/或外科医生的术中评估来提供针对不同骨质量的设置。在一些实施例中,动力冲击装置可以具有双重功能。例如,动力冲击装置不仅可以提供往复运动以提供冲击力,而且可以为拉刀或锉刀提供往复运动。
在一些实施例中,动力冲击装置包括反馈传感器,所述反馈传感器在器械使用期间收集数据,并将数据发送到计算装置,如装置内的控制器或手术计算机150。该计算装置然后可以记录数据以供以后分析和使用。可以收集的数据的示例包括但不限于声波、每种器械的预定共振频率、来自患者骨的反作用力或回弹能量、装置相对于配准的骨解剖结构的成像(例如,荧光、CT、超声、MRI等)的位置,和/或骨上的外部应变计。
一旦收集到数据,计算装置就可以实时或接近实时地执行一种或多种算法以帮助外科医生执行手术程序。例如,在一些实施例中,计算装置使用所收集的数据来导出诸如正确的最终拉刀尺寸(股骨)的信息;当干完全就位(股骨侧)时;或当杯对于THA就位(深度和/或取向)时。一旦知道该信息,其可以显示以供外科医生查看,或者其可以用于激活触觉或其他反馈机构以指导手术程序。
此外,从前述算法导出的数据可以用于驱动装置的操作。例如,在用动力冲击装置插入假体髋臼杯期间,装置可以自动伸出冲击头(例如,末端执行器),将植入物移动到适当的位置,或者一旦植入物完全就位就关闭装置的电源。在一个实施例中,导出的信息可以用于自动调整骨质量的设置,其中动力冲击装置应使用较少的动力来减轻股骨/髋臼/骨盆骨折或周围组织的损伤。
机器人臂
在一些实施例中,CASS 100包括机器人臂105A,所述机器人臂用作稳定和保持手术程序期间使用的各种器械的接口。例如,在髋手术的情况下,这些器械可以包括但不限于牵开器、矢状或往复锯、铰刀手柄、杯冲击器、拉刀手柄和干插入器。机器人臂105A可以具有多个自由度(类似Spider装置),并且具有锁定到位的能力(例如,通过按下按钮、语音激活、外科医生从机器人臂移开手或其他方法)。
在一些实施例中,机器人臂105A的移动可以通过使用内置在机器人臂系统中的控制面板来实现。例如,显示屏可以包括一个或多个输入源,例如指导机器人臂105A移动的物理按钮或具有一个或多个图标的用户界面。外科医生或其他保健专业人员可以在执行手术程序期间与一个或多个输入源接合以定位机器人臂105A。
附接或集成到机器人臂105A中的工具或末端执行器105B可以包括但不限于去毛刺装置、手术刀、切割装置、牵开器、关节张紧装置等。在使用末端执行器105B的实施例中,末端执行器可以定位在机器人臂105A的端部处,使得在机器人臂系统内执行任何马达控制操作。在使用工具的实施例中,工具可以固定在机器人臂105A的远端处,但是马达控制操作可以位于工具本身内。
机器人臂105A可在内部被机动化以稳定机器人臂,从而防止其跌落并撞击患者、手术台、手术人员等,并允许外科医生移动机器人臂而不必完全支撑其重量。在外科医生移动机器人臂105A的同时,机器人臂可提供一些阻力以防止机器人臂移动太快或一次激活太多自由度。机器人臂105A的位置和锁定状态可以例如通过控制器或手术计算机150来跟踪。
在一些实施例中,机器人臂105A可以用手(例如,由外科医生)或用内部马达移动到其理想位置和取向以进行正在执行的任务。在一些实施例中,机器人臂105A可以能够以“自由”模式操作,允许外科医生将臂定位在期望的位置而不受限制。在自由模式下,如上所述,仍可以跟踪机器人臂105A的位置和取向。在一个实施例中,在由手术计算机150跟踪的手术计划的指定部分期间,当来自用户(例如,外科医生)的输入时,可以选择性地释放一定的自由度。其中机器人臂105A通过液压或马达在内部提供动力或通过类似的手段提供对外部手动运动的阻力的设计可以被描述为动力机器人臂,而在没有动力反馈的情况下被手动操纵但是可以被手动或自动锁定在适当位置的臂可以被描述为被动机器人臂。
机器人臂105A或末端执行器105B可以包括触发器或其他装置以控制锯或钻的动力。外科医生对触发器或其他装置的接合可以使机器人臂105A或末端执行器105B从机动对准模式过渡到锯或钻被接合并通电的模式。另外,CASS 100可以包括脚踏板(未示出),所述脚踏板在被激活时使系统执行某些功能。例如,外科医生可以激活脚踏板以指示CASS 100将机器人臂105A或末端执行器105B置于自动模式,所述自动模式将机器人臂或末端执行器相对于患者的解剖结构置于适当的位置,以便执行必要的切除。CASS 100还可以将机器人臂105A或末端执行器105B置于协作模式,所述协作模式允许外科医生手动操纵机器人臂或末端执行器并将其定位在特定位置。协作模式可以配置成允许外科医生在限制其他方向上的运动的同时向内侧或外侧移动机器人臂105A或末端执行器105B。如所讨论的,机器人臂105A或末端执行器105B可以包括切割装置(锯、钻和磨刀)或将引导切割装置的切割引导件或夹具105D。在其他实施例中,机器人臂105A或机器人控制的末端执行器105B的运动可以完全由CASS100控制,而无需任何外科医生或其他医疗专业人员的帮助或输入,或仅需很少的帮助或输入。在另外的其他实施例中,外科医生或其他医疗专业人员可以使用与机器人臂或机器人控制的末端执行器装置分离的控制机构,例如使用操纵杆或交互式监视器或显示控制装置,来远程控制机器人臂105A或机器人控制的末端执行器105B的运动。
以下示例描述了在髋手术的情况下使用机器人装置;然而,应当理解,机器人臂在涉及膝、肩等的手术程序中可能还有其他应用。在于2018年8月28日提交的、标题为“机器人辅助韧带移植物放置和张紧(Robotic Assisted Ligament Graft Placement andTensioning)”的美国临时专利申请第62/723,898号中描述了在形成前十字韧带(ACL)移植隧道的情况下使用机器人臂的一个示例,其全部内容通过引用并入本文。
机器人臂105A可以用于保持牵开器。例如在一个实施例中,外科医生可以将机器人臂105A移动到期望位置。此时,机器人臂105A可以锁定到位。在一些实施例中,机器人臂105A被提供有关于患者位置的数据,使得如果患者移动,则机器人臂可以相应地调节牵开器位置。在一些实施例中,可以使用多个机器人臂,由此允许保持多个牵开器或同时执行一个以上的动作(例如,牵开器保持和铰孔)。
机器人臂105A还可以用于在制造股骨颈切口时帮助稳定外科医生的手。在该应用中,对机器人臂105A的控制可以施加某些限制以防止发生软组织损伤。例如,在一个实施例中,手术计算机150在机器人臂105A操作时跟踪其位置。如果跟踪的位置接近预测到组织损伤的区域,则可以向机器人臂105A发送命令以使其停止。替代地,在由手术计算机150自动控制机器人臂105A的情况下,手术计算机可以确保不向机器人臂提供导致其进入可能发生软组织损伤的区域的任何指令。手术计算机150可以对外科医生施加某些限制以防止外科医生铰孔到髋臼内侧壁中太深或以不正确的角度或取向铰孔。
在一些实施例中,机器人臂105A可以用于在杯冲击期间将杯冲击器保持在期望的角度或取向。当已达到最终位置时,机器人臂105A可以防止任何进一步的就位以防止损坏骨盆。
外科医生可以使用机器人臂105A将拉刀手柄定位在期望位置,并允许外科医生以期望取向将拉刀冲击到股骨管中。在一些实施例中,一旦手术计算机150接收到拉刀已完全就位的反馈,机器人臂105A可以限制手柄以防止拉刀进一步前进。
机器人臂105A还可以用于表面重修应用。例如,机器人臂105A可以在使用传统器械的同时稳定外科医生,并提供某些约束或限制以允许适当地放置植入部件(例如,导丝放置、倒角切割器、套筒切割器、平面切割器等)。在仅使用骨钻的情况下,机器人臂105A可以使外科医生的手持件稳定并且可以对手持件施加限制以防止外科医生违反手术计划而去除非期望的骨。
机器人臂105A可以是被动臂。作为示例,机器人臂105A可以是可从Brainlab AG获得的CIRQ机器人臂。CIRQ是德国慕尼黑Olof-Palme-Str.9 81829,Brainlab AG的注册商标。在一个特定实施例中,机器人臂105A是智能握持臂,如在授予Krinninger等人的美国专利申请第15/525,585号,授予Nowatschin等人的美国专利申请第15/561,042号,授予Nowatschin等人的美国专利第15/561,048号以及授予Nowatschin等人的美国专利第10,342,636号中所公开,上述每个专利的全部内容通过引用并入本文。
手术程序数据的生成和收集
医疗专业人员为治疗临床状况而提供的各种服务统称为“护理期”。对于特定的外科手术,护理期可以包括三个阶段:术前、术中和术后。在每个阶段期间,都会收集或生成可用于分析护理期的数据,以便了解程序的各个方面并识别可用于例如在训练模型中以最少的人工干预即可做出决策的模式。在护理期收集的数据可以作为完整数据集存储在手术计算机150或手术数据服务器180处。因此,对于每个护理期,存在一个数据集,所述数据集包括关于患者术前集体收集的所有数据,由CASS 100术中收集或存储的所有数据,以及由患者或由监控患者的医疗专业人员提供的任何术后数据。
如进一步详细解释,在护理期中收集的数据可以用于增强手术程序的执行或提供对手术程序和患者结果的整体理解。例如,在一些实施例中,在护理期中收集的数据可以用于生成手术计划。在一个实施例中,在手术期间收集数据时,在术中完善高级的术前计划。以该方式,当通过CASS 100的部件收集新数据时,可以将手术计划视为实时或近实时动态变化。在其他实施例中,可以使用术前图像或其他输入数据来术前制定在手术期间简单执行的鲁棒计划。在该情况下,由CASS 100在手术期间收集的数据可用于提出建议,以确保外科医生处于术前手术计划之内。例如,如果外科医生不确定如何实现某些规定的切割或植入物对准,则可以向手术计算机150查询以得到建议。在另外的其他实施例中,可以组合术前和术中计划方案,使得可以在手术程序期间根据需要或期望动态修改完善的术前计划。在一些实施例中,患者解剖结构的基于生物力学的模型贡献模拟数据以在制定术前、术中和术后/康复程序中由CASS 100考虑以优化患者的植入物性能结果。
除了改变手术程序本身之外,在护理期中收集的数据还可以用作其他手术辅助程序的输入。例如,在一些实施例中,可以使用护理期数据来设计植入物。在2011年8月15日提交的、标题为“用于骨科手术的参数优化的系统和方法(Systems and Methods forOptimizing Parameters for Orthopaedic Procedures)”的美国专利申请第13/814,531号;2012年7月20日提交的、标题为“用于优化植入物与解剖结构的配合的系统和方法(Systems and Methods for Optimizing Fit of an Implant to Anatomy)”的美国专利申请第14/232,958号;以及2008年9月19日提交的、标题为“用于提高性能的手术调节植入物(Operatively Tuning Implants for Increased Performance)”的美国专利申请第12/234,444号中描述了用于设计、尺寸确定和配合植入物的示例数据驱动技术,上述专利的每一个的全部内容在此通过引用并入本专利申请。
此外,数据可用于教育、培训或研究目的。例如,使用下面在图5C中描述的基于网络的方案,其他医生或学生可以在允许他们选择性地查看从CASS 100各个部件收集的数据的界面中远程地查看手术。在手术程序之后,可以使用类似的界面来“回放”手术以进行培训或其他教育目的,或找出手术中任何问题或并发症的根源。
术前阶段期获取的数据通常包括手术之前收集或生成的所有信息。因此,例如,可以从患者录入表或电子病历(EMR)获取有关患者的信息。可以收集的患者信息的示例包括但不限于患者人口统计学、诊断、病史、病历记录、生命体征、病史信息、过敏和实验室检查结果。术前数据还可以包括与感兴趣的解剖区域有关的图像。这些图像可以例如使用磁共振成像(MRI)、计算机断层摄影(CT)、X射线、超声或本领域已知的任何其他方式来获取。术前数据还可以包括从患者获取的生活质量数据。例如,在一个实施例中,术前患者使用移动应用程序(“app”)来回答关于他们当前生活质量的问卷。在一些实施例中,CASS 100所使用的术前数据包括关于患者的人口统计学、人体测量学、文化或其他特定特征,其可以与活动水平和特定患者活动相符合以为患者定制手术计划。例如,某些文化或人口统计学的人可能更愿意使用每天蹲便的厕所。
图5A和5B提供了可在护理期的术中阶段期间获取的数据的示例。这些示例基于以上参考图1描述的CASS 100的各种部件;然而,应当理解,可以基于手术期间使用的设备的类型及其使用来使用其他类型的数据。
图5A示出了根据一些实施例的手术计算机150提供给CASS 100的其他部件的一些控制指令的示例。注意,图5A的示例假定执行器平台105的部件均由手术计算机150直接控制。在其中部件由外科医生111手动控制的实施例中,可以在显示器125或AR HMD 155上提供指令以指示外科医生111如何移动部件。
包括在执行器平台105中的各种部件由手术计算机150控制,所述手术计算机提供位置指令,所述位置指令指示该部件在坐标系内移动的位置。在一些实施例中,手术计算机150向执行器平台105提供指令,所述指令定义当执行器平台105的部件偏离手术计划时如何反应。这些命令在图5A中作为“触觉”命令被参考。例如,末端执行器105B可以提供力以抵抗在计划切除的区域之外的运动。执行器平台105可以使用的其他命令包括振动和音频提示。
在一些实施例中,机器人臂10SA的末端执行器105B与切割引导件105D可操作地联接。响应于手术场景的解剖模型,机器人臂105A可以将末端执行器105B和切割引导件105D移动到适当位置以匹配根据手术计划要进行的股骨或胫骨切割的位置。这可以减少错误的可能性,从而允许视觉系统和利用该视觉系统的处理器实施手术计划,以将切割引导件105D放置在相对于胫骨或股骨的精确位置和取向以将切割引导件的切槽与要根据手术计划执行的切割对准。然后,外科医生可以使用任何合适的工具,例如振动或旋转锯或钻,以完美的放置和取向来执行切割(或钻孔),原因是该工具在机械上受到切割引导件105D的特征限制。在一些实施例中,切割引导件105D可以包括一个或多个销孔,在使用切割引导件执行患者组织的切除之前,外科医生使用所述钉孔来将切割引导件钻进和拧紧或钉扎到适当的位置。这可以释放机器人臂105A或确保切割引导件105D完全固定而不相对于要切除的骨移动。例如,该程序可以用于在全膝关节置换术期间制造股骨的第一远侧切口。在一些实施例中,在关节置换术是髋关节置换术的情况下,切割引导件105D可以固定到股骨头或髋臼以用于相应的髋关节置换术切除。应当理解,利用精确切口的任何关节置换术都可以以该方式使用机器人臂105A和/或切割引导件105D。
切除设备110提供有多种命令来执行骨或组织操作。与执行器平台105一样,位置信息可以被提供给切除设备110以指定在执行切除时应将其定位在何处。提供给切除设备110的其他命令可以取决于切除设备的类型。例如,对于机械或超声切除工具,命令可以指定工具的速度和频率。对于射频消融(RFA)和其他激光消融工具,这些命令可以指定强度和脉冲持续时间。
CASS 100的一些部件不需要由手术计算机150直接控制;而是,手术计算机150仅需要激活部件,所述部件然后在本地执行软件以指定收集数据并将其提供给手术计算机150的方式。在图5A的示例中,有两个部件以该方式操作:跟踪系统115和组织导航系统120。
手术计算机150向显示器125提供外科医生111在手术期间所需的任何可视化。对于监视器,手术计算机150可以使用本领域已知的技术来提供用于显示图像、GUI等的指令。显示器125可以包括手术计划的工作流程的各个方面。例如,在配准过程期间,显示器125可以显示术前构建的3D骨模型,并在外科医生使用探针收集患者身上的解剖学标志的位置时示出探针的位置。显示器125可以包括关于手术目标区域的信息。例如,结合TKA,显示器125可以示出股骨和胫骨的机械和解剖轴。显示器125可以基于手术计划示出膝关节的内翻和外翻角,并且CASS 100可以示出如果对手术计划进行预期的修正将如何影响这样的角。因此,显示器125是交互式接口,其可以动态地更新和显示对手术计划的改变将如何影响程序以及安装在骨上的植入物的最终位置和取向。
随着工作流程进行到骨切割或切除的准备,显示器125可以在执行任何切割之前示出计划的或推荐的骨切割。外科医生111可以操纵图像显示以提供目标区域的不同解剖视角,并且可以具有基于患者的术中评估来改变或修正计划的骨切割的选择。显示器125可以示出如果执行计划的骨切割将如何将选定植入物安装在骨上。如果外科医生111选择改变先前计划的骨切割,则显示器125可以示出经修正的骨切割将如何改变安装在骨上时的植入物的位置和取向。
显示器125可以向外科医生111提供关于患者,计划的外科手术和植入物的各种数据和信息。可以显示各种患者特定的信息,包括有关患者健康的实时数据,例如心率、血压等。显示器125还可以包括有关手术目标区域的解剖结构的信息,包括标志的位置、解剖结构的当前状态(例如,是否进行了任何切除,计划和执行的骨切割的深度和角度)以及随着手术计划的进展的解剖结构的未来状态。显示器125还可以提供或示出关于手术目标区域的附加信息。对于TKA,显示器125可以提供关于股骨和胫骨之间的间隙(例如,间隙平衡)以及如果执行计划的手术计划将如何改变这样的间隙的信息。对于TKA,显示器125可以提供关于膝关节的附加相关信息,例如关于关节的张力(例如,韧带松弛)的数据以及关于关节的旋转和对准的信息。显示器125可以示出当膝关节屈曲时计划的植入物的定位和位置将如何影响患者。显示器125可以示出不同植入物的使用或不同尺寸的相同植入物的使用将如何影响手术计划,并预览这样的植入物将如何定位在骨上。CASS 100可以在TKA或THA中为每个计划的骨切除术提供这样的信息。在TKA中,CASS 100可以为一个或多个计划的骨切除术提供机器人控制。例如,CASS 100只能为初始股骨远端切割提供机器人控制,并且外科医生111可以使用常规手段(例如4合1切割引导件或夹具105D)手动执行其他切除(前、后和倒角切割)。
显示器125可以采用不同的颜色来通知外科医生手术计划的状态。例如,可以以第一颜色显示未切除的骨,可以以第二颜色显示切除的骨,并且可以以第三颜色显示计划的切除。植入物可以叠加在显示器125中的骨上,并且植入物颜色可以改变或对应于不同类型或尺寸的植入物。
显示器125上示出的信息和选项可以根据所执行的手术程序的类型而变化。此外,外科医生111可以请求或选择与他或她的手术计划偏好匹配或一致的特定手术流程显示。例如,对于通常在TKA中在股骨切割之前执行胫骨切割的外科医生111,显示器125和关联的工作流程可以适于考虑该偏好。外科医生111还可以预先选择从标准手术流程显示中包括或删除某些步骤。例如,如果外科医生111使用切除测量来最终确定植入计划,但在最终确定植入计划时不分析韧带间隙平衡,则可以将手术流程显示组织为模块,并且外科医生可以根据外科医生的喜好或特定手术的情况选择要显示的模块和提供模块的顺序。例如,涉及韧带和间隙平衡的模块可以包括切除前和切除后的韧带/间隙平衡,并且外科医生111可以根据在进行骨切除术之前或之后(或之前和之后)是否执行这种韧带和间隙平衡来选择将哪些模块包括在其默认手术计划工作流程中。
对于更专业的显示设备,例如AR HMD,手术计算机150可以使用设备支持的数据格式来提供图像、文本等。例如,如果显示器125是诸如Microsoft HoloLensTM或Magic LeapOneTM的全息设备,则手术计算机150可以使用HoloLens应用程序接口(API)来发送命令,所述命令指定显示在外科医生111的视野中的全息图的位置和内容。
在一些实施例中,可以将一个或多个手术计划模型结合到CASS 100中,并在提供给外科医生111的手术计划的制定中使用。术语“手术计划模型”是指模拟各种情况下的解剖结构的生物力学性能以确定执行切割和其他手术活动的最佳方式的软件。例如,对于膝关节置换手术,手术计划模型可以测量功能活动的参数,例如深屈膝、步态等,并选择膝上的切割位置以优化植入物放置。手术计划模型的一个示例是来自SMITH AND NEPHEW公司的LIFEMODTM仿真软件。在一些实施例中,手术计算机150包括允许在手术期间完全执行手术计划模型的计算架构(例如,基于GPU的并行处理环境)。在其他实施例中,手术计算机150可以通过网络连接到允许这种执行的远程计算机,例如手术数据服务器180(见图5C)。作为对手术计划模型的完全执行的替代,在一些实施例中,导出一组传递函数,其将由模型获取的数学运算简化为一个或多个预测方程。然后,不同于在手术期间执行完全模拟,而是使用预测方程。关于传递函数的使用的更多细节在标题为“患者特定手术方法和系统(PatientSpecific Surgical Method and System)”的美国临时专利申请第62/719415中进行了描述,其全部内容通过引用并入本文。
图5B示出了可以从CASS 100的各个部件提供给手术计算机150的一些类型的数据的示例。在一些实施例中,部件可以在手术期间实时或接近实时地将数据流传输到手术计算机150。在其他实施例中,部件可以使数据排队并且以设定的间隔(例如,每秒)将其发送到手术计算机150。可以使用本领域中已知的任何格式来传送数据。因此,在一些实施例中,所有部件均以通用格式将数据传输至手术计算机150。在其他实施例中,每个部件可以使用不同的数据格式,并且手术计算机150配置有能够转换数据的一个或多个软件应用。
通常,手术计算机150可以用作收集CASS数据的中心点。数据的确切内容将取决于来源。例如,执行器平台105的每个部件向手术计算机150提供测量位置。因此,通过将测量位置与手术计算机150最初指定的位置(参见图5B)进行比较,手术计算机可以识别手术期间发生的偏差。
切除设备110可以根据所用设备的类型将各种类型的数据发送到手术计算机150。可以发送的示例性数据类型包括测量的扭矩、音频签名和测量的位移值。类似地,跟踪技术115可以根据所采用的跟踪方法来提供不同类型的数据。示例性跟踪数据类型包括被跟踪项(例如,解剖结构、工具等)、超声图像以及表面或标志收集点或轴的位置值。当系统操作时,组织导航系统120向手术计算机150提供解剖位置、形状等。
尽管显示器125通常用于输出数据以呈现给用户,但它也可以向手术计算机150提供数据。例如,对于将监视器用作显示器125的一部分的实施例,外科医生111可以与GUI交互以提供输入,所述输入被发送到手术计算机150以进行进一步处理。对于AR应用,可以将HMD的测量位置和位移发送到手术计算机150,使得其可以根据需要更新所呈现的视图。
在护理期的术后阶段期间,可以收集各种类型的数据以量化由于手术而导致的患者状况的总体改善或恶化。数据可以采取例如患者通过问卷调查报告的自我报告信息的形式。例如,在进行膝关节置换手术的情况下,可以使用牛津(Oxford)膝评分问卷来测量功能状态,并且可以通过EQ5D-5L问卷来测量术后生活质量。在髋关节置换手术的情况下的其他示例可以包括牛津髋评分、哈里斯(Harris)髋评分和WOMAC(西安大略和麦克马斯特大学骨关节炎指数)。这样的问卷可以例如由医护专业人员直接在临床环境中进行管理,或者使用允许患者直接回答问题的移动应用进行管理。在一些实施例中,可以为患者配备收集与手术有关的数据的一个或多个可穿戴设备。例如,在进行膝手术之后,可以为患者配备膝支架,所述膝支架包括用于监测膝位置、柔韧性等的传感器。可以收集该信息并将其传输到患者的移动装置以供外科医生查看以评估手术的结果并解决任何问题。在一些实施例中,一个或多个相机可以在术后指定的活动期间获取并记录患者的身体部位的运动。可以将该运动获取与生物力学模型进行比较以更好地了解患者关节的功能,并且更好地预测康复进展并确定可能需要的任何修正。
护理期的术后阶段可以在患者的整个生命周期中持续进行。例如,在一些实施例中,手术计算机150或包括CASS 100的其他部件可以在执行手术之后继续接收和收集与手术程序有关的数据。该数据可以包括例如图像、问题答案、“正常”患者数据(例如,血型、血压、状况、药物等)、生物统计数据(例如,步态等),以及有关特定问题(例如,膝或髋关节疼痛)的客观和主观数据。该数据可以由患者或患者的医师明确地提供给手术计算机150或其他CASS部件。替代地或附加地,手术计算机150或其他CASS部件可以监测患者的EMR并在其可用时检索相关信息。患者康复的该纵向视图允许手术计算机150或其他CASS部件提供对患者结果的更客观分析以测量和跟踪给定程序的成功与否。例如,可以通过对护理期中收集的各种数据项进行回归分析,将患者在手术程序后很长时间所经历的状况与手术联系起来。通过对具有相似程序和/或相似解剖结构的患者组进行分析,可以进一步增强该分析。
在一些实施例中,在中心位置收集数据以提供更容易的分析和使用。在一些情况下,可以从各种CASS部件手动收集数据。例如,可以将便携式存储设备(例如,USB棒)附接到手术计算机150,以便检索在手术期间收集的数据。然后可以将数据例如经由台式计算机传输到集中式存储装置。替代地,在一些实施例中,手术计算机150经由网络175直接连接到集中式存储装置,如图5C中所示。
图5C示出了“基于云的”实施方式,其中手术计算机150经由网络175连接到手术数据服务器180。该网络175可以是例如私有内联网或因特网。除了来自手术计算机150的数据之外,其他来源也可以将相关数据传输到手术数据服务器180。图5C的示例示出了3个附加数据源:患者160、医疗保健专业人员165和EMR数据库170。因此,患者160可以例如使用移动应用将术前和术后数据发送到手术数据服务器180。医疗保健专业人员165包括外科医生和他或她的职员以及与患者160一起工作的任何其他专业人员(例如,私人医生,康复专家等)。还应当注意的是,EMR数据库170可以用于术前和术后数据。例如,假设患者160已给予足够的许可,则手术数据服务器180可以收集患者术前的EMR。然后,手术数据服务器180可以继续监测EMR以进行手术后的任何更新。
在手术数据服务器180处,护理期数据库185用于存储在患者的护理期中收集的各种数据。护理期数据库185可以使用本领域中已知的任何技术来实现。例如,在一些实施例中,可以使用基于SQL的数据库,其中所有各种数据项都以允许它们容易地并入行和列的两个SQL集合中的方式结构化。然而,在其他实施例中,可以采用No-SQL数据库来允许非结构化数据,同时提供快速处理和响应查询的能力。如本领域中所理解的,术语“No-SQL”用于定义在其设计中不相关的一类数据库。各种类型的No-SQL数据库通常可以根据其基础数据模型进行分组。这些分组可以包括使用基于列的数据模型(例如,Cassandra)、基于文档的数据模型(例如,MongoDB)、基于键值的数据模型(例如,Redis)和/或基于图形的数据模型(例如Allego)的数据库。可以使用任何类型的No-SQL数据库来实现本文所述的各种实施例,并且在一些实施例中,不同类型的数据库可以支持护理期数据库185。
可以使用本领域中已知的任何数据格式和传输技术在各种数据源和手术数据服务器180之间传输数据。应当注意的是,图5C中所示的架构允许从数据源到手术数据服务器180的传输,以及由数据源从手术数据服务器180检索数据。例如,如下面详细解释的,在一些实施例中,手术计算机150可以使用来自过去手术、机器学习模型等的数据来帮助指导手术程序。
在一些实施例中,手术计算机150或手术数据服务器180可以执行去标识过程以确保存储在护理期数据库185中的数据满足健康保险流通与责任法案(HIPAA)标准或法律规定的其他要求。HIPAA提供了去标识期间必须从数据删除的某些标识列表。前述的去标识过程可以在传输到护理期数据库185以进行存储的数据中扫描这些标识。例如,在一个实施例中,手术计算机150在刚开始将特定数据项或一组数据项传输到手术数据服务器180之前执行去识别过程。在一些实施例中,唯一标识被分配给来自特定护理期的数据以便在必要时重新识别数据。
尽管图5A-5C讨论了在单个护理期的情况下的数据收集,但是应当理解,一般概念可以扩展到多个护理期的数据收集。例如,每次使用CASS 100进行手术时可以在整个护理期中收集手术数据,并将其存储在手术计算机150或手术数据服务器180处。如下面进一步详细解释,护理期数据的鲁棒数据库允许生成优化值、测量结果、距离或其他参数以及与手术程序有关的其他建议。在一些实施例中,以允许在手术程序期间快速检索相关信息的方式在数据库或其他存储介质中索引各种数据集。例如,在一个实施例中,可以使用以患者为中心的一组索引,以便可以容易地提取与特定患者或与特定患者相似的一组患者的数据。该概念可以类似地应用于外科医生、植入物特性、CASS部件型式等。
管理护理期数据的更多细节在2018年12月21日提交的、标题为“提供护理期的方法和系统(Methods and Systems for Providing an Episode of Care)”的美国专利申请第62/783,858号中进行了描述,其全部内容通过引用并入本文。
开放与封闭数字生态系统
在一些实施例中,CASS 100被设计成用作独立或“封闭”数字生态系统。CASS 100的每个部件专门设计成在封闭生态系统中使用,并且数字生态系统外部的装置通常无法访问数据。例如,在一些实施例中,每个部件包括实现用于诸如通信、存储、安全等的活动的专有协议的软件或固件。对于想要控制CASS 100的所有部件以确保满足某些兼容性、安全性和可靠性标准的公司而言,封闭数字生态系统的概念可能是理想的。例如,CASS 100可以设计成使得除非获得公司的认证,否则不能将新部件与CASS一起使用。
在其他实施例中,CASS 100被设计成用作“开放”数字生态系统。在这些实施例中,部件可以由各种不同的公司根据诸如通信、存储和安全性的活动的标准来生产。因此,通过使用这些标准,任何公司都可以自由地构建CASS平台的独立、合规部件。可以使用公共可用的应用编程接口(API)和开放的、可共享的数据格式在部件之间传输数据。
为了说明可以用CASS 100执行的一种类型的推荐,下面公开了一种用于优化手术参数的技术。在本文中术语“优化”是指基于某些指定的标准选择最佳的参数。在极端情况下,优化可以指基于来自整个护理期的数据(包括任何术前数据,给定时间点的CASS数据状态,以及术后目标)选择最佳参数。而且,可以使用历史数据来执行优化,例如在涉及例如相同外科医生、具有与当前患者相似的身体特性的过去患者等的过去手术期间生成的数据。
优化的参数可以取决于要对其进行手术的患者解剖结构的部分。例如,对于膝手术,手术参数可以包括股骨和胫骨部件的定位信息,包括但不限于旋转对准(例如,内翻/外翻旋转、外旋、股骨部件的屈曲旋转、胫骨部件的后倾角),切除深度(例如内翻膝,外翻膝),以及植入物的类型、大小和位置。定位信息还可以包括用于组合植入物的手术参数,例如整体肢体对准,组合胫股过度伸展和组合胫股切除。CASS 100可以针对给定的TKA股骨植入物优化参数的其他示例包括以下:
CASS 100可以为给定的TKA胫骨植入物优化的参数的其他示例包括以下:
对于髋手术,手术参数可以包括股骨颈切除位置和角度、杯倾斜角、杯前倾角、杯深度、股骨柄设计、股骨柄尺寸、股骨柄在管内的适合度、股骨偏移、腿长以及植入物的股骨型式。
肩参数可以包括但不限于肱骨切除深度/角度、肱骨干型式、肱骨偏移、关节盂型式和倾斜度,以及反向肩参数,例如肱骨切除深度/角度、肱骨干型式、关节盂倾斜度/型式、盂球方位、盂球偏移和偏移方向。
存在用于优化手术参数的各种常规技术。然而,这些技术通常需要大量的计算,因此,通常需要在术前确定参数。结果,外科医生基于在手术期间可能出现的问题来修改优化参数的能力受到限制。而且,常规的优化技术通常以“黑匣子”方式操作,很少或没有关于推荐参数值的解释。因此,如果外科医生决定偏离建议的参数值,则外科医生通常会在没有完全理解该偏离对其余手术流程的影响或偏离对患者手术后生活质量的影响的情况下这样做。
手术患者护理系统
使用手术患者护理系统620可以将优化的一般概念扩展到整个护理期,所述手术患者护理系统使用手术数据以及来自患者605和医疗保健专业人员630的其他数据来优化结果和患者满意度,如图6中所示。
常规地,术前诊断,术前手术计划,术中执行既定计划以及术后全关节置换术的管理都基于个人经验,已发表的文献和外科医生的培训知识库(最终,个体外科医生的部落知识及其对等“网络”和期刊出版物)以及他们利用指导和视觉提示对“平衡”进行准确的术中触觉辨别以及对平面切除进行准确的手动执行的本能。该现有的知识库和执行方式在为需要护理的患者提供的结果优化方面受到限制。例如,在以下方面存在限制:准确诊断患者以进行适当的,微创的既定护理;使动态的患者,医疗经济和外科医生的偏好与患者期望的结果保持一致;执行手术计划以使骨正确对准和保持平衡等;以及从具有难以调和到整体患者框架中的不同偏差的断开连接源接收数据。因此,更精确地模拟解剖反应并指导手术计划的数据驱动工具可以改善现有方法。
手术患者护理系统620设计成利用患者特定数据、外科医生数据、医疗机构数据和历史结果数据来制定算法,所述算法基于期望的临床结果为患者的整个护理期(术前、术中和术后)建议或推荐最佳总体治疗计划。例如,在一个实施例中,手术患者护理系统620跟踪对建议或推荐计划的遵守,并基于患者/护理提供者的表现来调整计划。一旦手术治疗计划完成,手术患者护理系统620就将收集的数据记录在历史数据库中。该数据库可供将来的患者访问和制定将来的治疗计划。除了利用统计和数学模型之外,还可以使用模拟工具(例如)基于初步或建议的手术计划来模拟结果,对准,运动学等,并且根据患者的概况或外科医生的喜好重新配置初步或建议的计划以实现期望或最佳结果。手术患者护理系统6320确保每个患者正在接受个性化的手术和康复护理,从而提高成功临床结果的机会并减轻与近期修正相关的设施的经济负担。
在一些实施例中,手术患者护理系统620采用数据收集和管理方法来提供详细的手术病例计划,该计划具有使用CASS 100监视和/或执行的不同步骤。用户的执行在每个步骤完成时计算并且用于建议对病例计划的后续步骤的更改。病例计划的生成依赖于存储在本地或云存储数据库中的一系列输入数据。输入数据既可以与当前接受治疗的患者相关,也可以与来自接受过类似治疗的患者的历史数据相关。
患者605向手术患者护理系统620提供诸如当前患者数据310和历史患者数据615的输入。本领域中通常已知的各种方法可以用于从患者605收集这样的输入。例如,在一些实施例中,患者605填写手术患者护理系统620解析的纸质或数字调查以提取患者数据。在其他实施例中,手术患者护理系统620可以从诸如电子病历(EMR)、健康历史文件以及付款人/提供商历史文件的现有信息源提取患者数据。在另外的其他实施例中,手术患者护理系统620可以提供允许外部数据源将数据推送到手术患者护理系统的应用程序接口(API)。例如,患者605可以具有移动电话、可穿戴装置或其他移动装置,其收集数据(例如,心率、疼痛或不适水平、运动或活动水平,或患者提交的对患者对任何数目的术前计划标准或条件依从性的反应)并将该数据提供给手术患者护理系统620。类似地,患者605可能在其移动或可穿戴装置上具有数字应用程序,该数字应用程序可以收集数据并将其传输到手术患者护理系统620。
当前患者数据610可以包括但不限于:活动水平、既往状况、合并症、康复前表现、健康和健身水平、术前预期水平(与医院、手术和康复有关)、都市统计区域(MSA)驱动评分、遗传背景、以前的损伤(运动、创伤等)、以前的关节置换术、以前的创伤手术、以前的运动医学手术、对侧关节或肢体的治疗、步态或生物力学信息(背和踝组织)、疼痛或不适水平、护理基础设施信息(付款人承保类型、家庭医疗基础设施水平等)以及手术预期理想结果的指示。
历史患者数据615可以包括但不限于:活动水平、既往状况、合并症、康复前表现、健康和健身水平、术前预期水平(与医院、手术和康复有关)、MSA驱动评分、遗传背景、以前的损伤(运动、创伤等)、以前的关节置换术、以前的创伤手术、以前的运动医学手术、对侧关节或肢体的治疗、步态或生物力学信息(背和踝组织)、疼痛或不适水平、护理基础设施信息(付款人承保类型、家庭医疗基础设施水平等)、手术的预期理想结果、手术的实际结果(患者报告结果[PRO]、植入物的生存期、疼痛程度、活动水平等)、所使用的植入物的尺寸、所使用的植入物的位置/取向/对准,实现的软组织平衡等。
进行手术或治疗的医疗保健专业人员630可以向手术患者护理系统620提供各种类型的数据625。该医疗保健专业人员数据625可包括例如对已知或优选手术技术的描述(例如,十字形保持(CR)与后稳定(PS)、尺寸增大与尺寸减小、有止血带与无止血带、股骨柄样式、THA的优选方案等),医疗保健专业人员630的培训水平(例如,从业年限、受训的职位、培训的地方、模仿的技术),包括历史数据(结果、患者满意度)的先前成功水平,以及关于运动范围、恢复天数和装置的生存期的预期理想结果。可以例如通过提供给医疗保健专业人员630的纸质或数字调查,经由医疗保健专业人员对移动应用的输入,或通过从EMR提取相关数据来获取医疗保健专业人员数据625。另外,CASS 100可以提供诸如概况数据(例如,患者专用膝器械概况)的数据或描述手术期间CASS的使用的历史记录。
与要进行手术或治疗所在的设施有关的信息可以包括在输入数据中。该数据可以包括但不限于以下:门诊手术中心(ASC)与医院,设施创伤水平,关节置换术全面医疗计划(CJR)或捆绑候选,MSA驱动评分,社区与都市,学术与非学术,术后网络访问(仅熟练护理设施[SNF],家庭健康等),医疗专业人员的可用性,植入物的可用性,以及手术设备的可用性。
这些设施输入可以例如但不限于通过调查(纸/数字),手术计划工具(例如,应用,网站,电子病历[EMR]等),医院信息数据库(在因特网上)等。也可以获取与关联医疗保健经济有关的输入数据,包括但不限于患者的社会经济概况,患者将获得的预期报销水平,以及治疗是否是患者特定的。
可以(例如但不限于)通过调查(纸/数字),直接付款人信息,社会经济状况数据库(在互联网上提供邮政编码)等来获取这些医疗保健经济输入。最后,获取从该程序的模拟导出的数据。模拟输入包括植入物尺寸、位置和取向。可以使用定制或可商购的解剖建模软件程序(例如AnyBody或OpenSIM)进行模拟。应当注意,上述数据输入可能并非对每个患者都可用,并且将使用可用数据来生成治疗计划。
在手术之前,可以获取患者数据610、615和医疗保健专业人员数据625并将其存储在基于云的数据库或在线数据库(例如,图5C中所示的手术数据服务器180)中。与该程序有关的信息通过无线数据传输或使用便携式媒体存储手动提供给计算系统。计算系统被配置成生成用于CASS 100的病例计划。以下将描述病例计划的生成。应当注意,该系统可以访问以前接受治疗的患者的历史数据,包括由计算机辅助的患者特定的膝器械(PSKI)选择系统或CASS 100本身自动生成的植入物尺寸、位置和取向。为此,外科销售代表或病例工程师使用在线门户将病例日志数据上传到历史数据库。在一些实施例中,到在线数据库的数据传输是无线的和自动化的。
来自在线数据库的历史数据集用作机器学习模型(例如循环神经网络(RNN)或其他形式的人工神经网络)的输入。如本领域通常所理解的,人工神经网络的功能类似于生物神经网络,并且由一系列节点和连接组成。训练机器学习模型以基于输入数据预测一个或多个值。对于以下各节,假定对机器学习模型进行训练以生成预测方程。可以优化这些预测方程以确定植入物的最佳尺寸、位置和取向,以实现最佳结果或满意度。
一旦程序完成,就收集所有患者数据和可用结果数据,包括由CASS 100确定的植入物尺寸、位置和取向,并将其存储在历史数据库中。通过RNN进行的目标方程的任何后续计算都将以该方式包括来自先前患者的数据,从而可以对系统进行持续改进。
除了或作为确定植入物定位的替代,在一些实施例中,预测方程和关联的优化可以用于生成与PSKI系统一起使用的切除平面。当与PSKI系统一起使用时,预测方程的计算和优化在手术前完成。使用医学图像数据(X射线,CT,MRI)估计患者的解剖结构。预测方程的全局优化可以提供植入物部件的理想尺寸和位置。植入物部件和患者解剖结构的布尔交集定义为切除体积。可以产生PSKI以去除优化的切除包络。在该实施例中,外科医生不能在术中改变手术计划。
外科医生可以选择在手术之前或期间的任何时候更改手术病例计划。如果外科医生选择偏离手术病例计划,则锁定更改后的部件的尺寸、位置和/或取向,并根据部件的新尺寸、位置和/或取向刷新全局优化(使用先前描述的技术)以找到其他部件的新理想位置,以及实现部件的新优化尺寸、位置和/或取向需要执行的相应切除。例如,如果外科医生确定术中需要更新或修改TKA中股骨植入物的尺寸、位置和/或取向,则股骨植入物的位置将相对于解剖结构锁定,并且将通过考虑外科医生对股骨植入物尺寸、位置和/或取向的改变计算(通过全局优化)胫骨的新最佳位置。此外,如果用于实施病例计划的手术系统是机器人辅助的(例如,使用或MAKO Rio),则可以实时监测手术期间的骨移除和骨形态。如果在该程序期间进行的切除偏离手术计划,则处理器可以考虑已进行的实际切除来优化附加部件的后续放置。
图7A示出了手术患者护理系统620如何可以适于执行病例计划匹配服务。在该示例中,获取与当前患者610有关的数据,并将其与患者数据和相关结果615的历史数据库的全部或部分进行比较。例如,外科医生可以选择将当前患者的计划与历史数据库的子集进行比较。可以对历史数据库中的数据进行过滤以包括例如仅具有良好结果的数据集,与概况与当前患者概况相同或相似的患者的历史手术对应的数据集,与特定外科医生对应的数据集,与手术计划的特定方面对应的数据集(例如,仅保留特定韧带的手术),或由外科医生或医疗专业人员选择的任何其他标准。例如,如果当前患者数据与经历良好结果的先前患者的数据匹配或相关,则可以访问并适应或采用先前患者的病例计划以用于当前患者。预测方程可以与识别或确定与病例计划相关的动作的术中算法结合使用。基于来自历史数据库的相关信息和/或预先选择的信息,术中算法确定一系列推荐操作以供外科医生执行。算法的每次执行都会在病例计划中产生下一个动作。如果外科医生执行该动作,则评估结果。外科医生执行动作的结果用于完善和更新术中算法的输入,用于生成病例计划中的下一步骤。一旦已完全执行病例计划,与病例计划相关的所有数据(包括外科医生对执行建议动作的任何偏差)都将存储在历史数据的数据库中。在一些实施例中,系统以分段方式使用术前、术中或术后模块,而不是整个连续护理。换句话说,护理人员可以规定治疗模块的任何排列或组合,包括使用单个模块。这些概念在图7B中示出,并且可以应用于使用CASS 100的任何类型的手术。
手术过程显示
如以上关于图1和图5A-5C所述,CASS 100的各个部件在手术期间产生详细的数据记录。CASS 100可以在手术的每个步骤期间跟踪和记录外科医生的各种动作和活动,并将实际活动与术前或术中手术计划进行比较。在一些实施例中,可以采用软件工具将该数据处理为可以有效地“回放”手术的格式。例如,在一个实施例中,可以使用一个或多个GUI,其示出手术期间在显示器125上呈现的所有信息。这可以用示出由不同工具收集的数据的图形和图像进行补充。例如,在组织切除期间提供膝的视觉图示的GUI可以提供与视觉图示相邻的切除设备的测量扭矩和位移,以更好地提供对发生的与计划切除区域的任何偏差的理解。查看手术计划的回放或在实际手术与手术计划的不同方面之间进行切换的能力可以为外科医生和/或手术人员带来好处,从而使此类人员可以识别出手术的任何不足或挑战性方面,从而在将来的手术中可以对其进行修改。类似地,在学术环境中,上述GUI可以用作培训未来的外科医生和/或手术人员的教学工具。另外,由于数据集有效地记录外科医生活动的许多方面,因此它也可以出于其他原因(例如,法律或合规性原因)用作特定手术程序正确或不正确执行的证据。
随着时间,随着越来越多的手术数据被收集,可能会获取丰富的数据库,其描述由不同的外科医生为不同患者针对各种类型的解剖结构(膝、肩、髋等)执行手术程序。而且,诸如植入物类型和尺寸,患者人口统计学等方面可以进一步用于增强整体数据集。一旦已建立数据集,就可以将其用于训练机器学习模型(例如,RNN),以基于CASS 100的当前状态来预测手术将如何进行。
机器学习模型的训练可以如下进行。在手术期间,可以在多个时间段内对CASS100的总体状态进行采样。然后可以训练机器学习模型以将第一时间段的当前状态转换为不同时间段的未来状态。通过分析CASS 100的整个状态而不是单独的数据项,可以获取CASS 100的不同部件之间相互作用的任何因果效应。在一些实施例中,可以使用多个机器学习模型而不是单个模型。在一些实施例中,不仅可以利用CASS 100的状态,而且还可以利用患者数据(例如,从EMR获取)和手术人员的身份来训练机器学习模型。这使模型可以以更大的特异性进行预测。而且,如果需要,它允许外科医生仅根据他们自己的手术经验选择性地做出预测。
在一些实施例中,可以将由前述机器学习模型做出的预测或推荐直接整合到手术流程中。例如,在一些实施例中,手术计算机150可以在后台执行机器学习模型,从而为即将来临的动作或手术状况做出预测或推荐。因此可以为每个时期预测或推荐多个状态。例如,手术计算机150可以以30秒的增量预测或推荐接下来的5分钟的状态。使用该信息,外科医生可以利用手术的“过程显示”视图以允许未来状态的可视化。例如,图7C示出了可以显示给外科医生的一系列图像,其示出了植入物放置界面。外科医生可以例如通过在CASS 100的显示器125中输入特定时间或指示系统使用触觉、口头或其他指令以特定的时间增量来前进或倒回显示来遍历这些图像。在一个实施例中,过程显示可以呈现在AR HMD中的外科医生视野的上部。在一些实施例中,过程显示可以被实时更新。例如,当外科医生在计划切除区域周围移动切除工具时,可以更新过程显示,使得外科医生可以看到他或她的动作如何影响手术的其他方面。
在一些实施例中,不是简单地使用CASS 100的当前状态作为机器学习模型的输入,而是模型的输入可以包括计划的未来状态。例如,外科医生可以指示他或她正计划进行膝关节的特定骨切除。该指示可以手动输入到手术计算机150中,或者外科医生可以口头提供指示。然后手术计算机150可以产生胶片,显示切口对手术的预期效果。这样的胶片可以在特定的时间增量上示出如果将执行预期的动作过程,则手术将如何受到影响,包括例如患者解剖结构的变化,植入物位置和取向的变化,以及有关外科手术和器械的变化。外科医生或医疗专业人员可以在手术的任何时候调用或请求该类型的胶片,以预览如果将执行预期动作则预期动作过程将如何影响手术计划。
应当进一步指出的是,使用经充分训练的机器学习模型和机器人CASS,可以使手术的各个方面实现自动化,从而使外科医生仅需最少地参与,例如,只需为手术的各个步骤提供批准。例如,随着时间,使用臂或其他手段的机器人控制可以逐渐整合到手术流程中,外科医生与机器人操作之间的手动交互逐渐越来越少。在该情况下,机器学习模型可以学习需要哪些机器人命令来实现CASS实施计划的某些状态。最终,机器学习模型可以用于产生胶片或类似的视图或显示,其可以预测并可以从初始状态预览整个手术。例如,可以定义包括患者信息、手术计划、植入物特性和外科医生偏好的初始状态。基于该信息,外科医生可以预览整个手术以确认CASS推荐的计划满足外科医生的期望和/或要求。而且,由于机器学习模型的输出是CASS 100本身的状态,因此可以导出命令来控制CASS的部件以实现每个预测状态。因此,在极端情况下,仅基于初始状态信息就可以使整个手术自动化。
在髋手术期间使用点探针获取关键区域的高分辨率
在标题为“用于计划和执行无图像植入物修正手术的系统和方法(Systems andMethods for Planning and Performing Image Free Implant Revision Surgery)”的美国专利申请第14/955,742号中描述了点探针的使用,其全部内容通过引用并入本文。简而言之,可以使用光学跟踪的点探针来标绘需要新植入物的目标骨的实际表面。在移除有缺陷或磨损的植入物之后,以及在移除任何患病或其他不需要的骨之后,执行标绘。通过用点探针的尖端刷或刮擦剩余的整个骨,可以在骨表面上收集多个点。这称为跟踪或“绘制”骨。所收集的点用于在计算机计划系统中创建骨表面的三维模型或表面图。然后将剩余骨的创建3D模型用作规划手术和必要植入物尺寸的基础。在2018年4月17日提交的、标题为“具有选择性骨匹配的三维指导(Three Dimensional Guide with Selective Bone Matching)”的美国临时专利申请第62/658,988号中描述了使用X射线确定3D模型的替代技术,其全部内容通过引用并入本文。
对于髋应用,点探针绘制可用于获取诸如髋臼缘和髋臼窝的关键区域的高分辨率数据。这可以使外科医生在开始铰孔之前获得详细的视图。例如,在一个实施例中,点探针可以用于识别髋臼的底部(窝)。如本领域中众所周知,在髋手术中,重要的是确保在铰孔期间不损害髋臼的底部以避免破坏内侧壁。如果内侧壁被无意中破坏,则手术将需要额外的骨移植步骤。考虑到这一点,在手术程序期间,来自点探针的信息可用于为髋臼铰刀提供操作指导。例如,髋臼铰刀可以被配置成在外科医生到达底部或以其他方式偏离手术计划时向外科医生提供触觉反馈。替代地,当到达底部时或当铰刀在阈值距离内时,CASS 100可以自动停止铰刀。
作为额外的保障,可以估计髋臼和内侧壁之间区域的厚度。例如,一旦将髋臼缘和髋臼窝绘制并将其配准到术前3D模型,即可通过比较髋臼表面的位置与内侧壁的位置来容易地估计厚度。使用该知识,在预测在铰孔时任何手术活动通过髋臼壁突出的情况下,CASS100可以提供警报或其他响应。
点探针还可以用于收集将3D模型定向到患者时使用的常见参考点的高分辨率数据。例如,对于像ASIS和耻骨联合之类的骨盆平面标志,外科医生可以使用点探针来绘制骨以代表真实的骨盆平面。已知这些标志的更完整视图,配准软件将具有更多信息来定向3D模型。
点探针还可用于收集描述可用于提高植入物放置的准确性的股骨近端参考点的高分辨率数据。例如,大转子(GT)的尖端与股骨头中心之间的关系通常用作在髋关节置换术期间对准股骨部件的参考点。对准高度取决于GT的正确位置;因此,在一些实施例中,点探针用于绘制GT以提供该区域的高分辨率视图。类似地,在一些实施例中,具有小转子(LT)的高分辨率视图可能是有用的。例如,在髋关节置换术期间,Dorr分类有助于选择将在手术期间最大化实现压入配合的能力的干,从而防止术后股骨部件发生微动并确保最佳的骨长入。如本领域中所理解的,Dorr分类测量LT处的管宽度与LT下方10cm处的管宽度之间的比率。分类的准确性高度取决于相关解剖结构的正确位置。因此,绘制LT以提供该区域的高分辨率视图可能是有利的。
在一些实施例中,点探针用于绘制股骨颈以提供高分辨率数据,允许外科医生更好地理解在哪里制造颈切口。然后导航系统可以在外科医生进行颈切割时引导他们。例如,如本领域中所理解的,通过将一条线放置在股骨柄的中心下方并且将第二条线放置在股骨颈的中心下方来测量股骨颈角度。因此,股骨颈(以及可能还有股骨柄)的高分辨率视图将提供股骨颈角度的更准确的计算。
高分辨率股骨头颈数据也可以用于导航表面重修程序,其中软件/硬件帮助外科医生准备股骨近端并放置股骨部件。如本领域中通常所理解的,在髋表面重修期间,股骨头和颈未被移除;而是修剪头部并用光滑的金属覆盖物盖住。在该情况下,对于外科医生来说,对股骨和帽进行绘制将是有利的,使得可以理解它们各自几何形状的精确评估并将其用于指导股骨部件的修剪和放置。
使用点探针将术前数据配准到患者解剖结构
如上所述,在一些实施例中,在术前阶段期间基于感兴趣的解剖区域的2D或3D图像来开发3D模型。在这样的实施例中,在手术程序之前执行3D模型与手术部位之间的配准。配准的3D模型可用于在术中跟踪和测量患者的解剖结构和手术工具。
在手术程序期间,获取标志以便于将该术前3D模型配准到患者的解剖结构。对于膝手术,这些点可能包括股骨头中心、股骨远端轴点、内侧和外侧上髁、内侧和外侧踝、胫骨近端机械轴点以及胫骨A/P方向。对于髋手术,这些点可能包括髂前上棘(ASIS)、耻骨联合、沿髋臼缘和半球内的点、大转子(GT)和小转子(LT)。
在修正手术中,外科医生可能绘制包含解剖缺陷的某些区域以便更好地可视化和导航植入物插入。这些缺陷可以基于术前图像的分析来识别。例如,在一个实施例中,将每个术前图像与示出“健康”解剖结构(即,无缺陷)的图像库进行比较。患者图像和健康图像之间的任何重大偏差都可以标记为潜在缺陷。然后,在手术期间,可以通过CASS 100的显示器125上的视觉警报来警告外科医生可能存在的缺陷。然后外科医生可以绘制区域以向手术计算机150提供有关潜在缺陷的更多详细信息。
在一些实施例中,外科医生可以使用非接触方法来进行骨解剖内切口的配准。例如,在一个实施例中,采用激光扫描进行配准。激光条投射在感兴趣的解剖区域上,并且该区域的高度变化被检测为线的变化。其他非接触式光学方法,例如白光干涉法或超声,也可以替代地用于表面高度测量或对解剖结构进行配准。例如,在配准点和被配准的骨之间存在软组织的地方(例如,髋手术中的ASIS,耻骨联合),超声技术可能是有益的,从而提供对解剖平面的更精确限定。
增强现实辅助手术工具对准
下文所描述的本教导的实施例并不意图为详尽性的或将教导限制于以下详细描述中所公开的精确形式。而是选择并描述了实施例,使得所属领域的技术人员可了解并理解本教导的原理和实践。
本公开描述了使用由增强现实系统增强的手术导航系统在手术期间跟踪患者骨结构的特定部分的示例系统和方法。另外,可以同时跟踪手术工具的位置和取向。通过术中跟踪骨结构,可以采取适当的措施来确保适当的关节功能。在以下描述中,出于解释的目的,阐述了许多具体细节以便提供对示例实施例的透彻理解。然而,所属领域的技术人员将显而易见,可在没有这些具体细节的情况下实践所述实施例。
所公开的跟踪系统特别适合于利用手术导航系统(例如手术导航系统)的手术程序。此类程序可包括膝关节置换手术、髋关节置换手术、修复手术等。NAVIO是宾夕法尼亚州匹兹堡的BLUE BELT TECHNOLOGIES公司的注册商标,该公司现在是田纳西州孟菲斯的SMITH&NEPHEW公司的子公司。
在手术中使用的手术导航和机器人通常依赖于跟踪系统以在手术期间跟踪骨和工具。在大多数使用中,跟踪“框架”牢固地附接到器械,并且使用骨固定硬件拧紧和/或夹持到一个或多个骨。此类跟踪系统通常基于光学传感器(例如,监测附接到其视线内的框架的一个或多个反射标记的相对位置的红外相机系统)。应注意,在一些实施例中,跟踪系统的传感器可适于感测电信号、磁场、电磁场、声音、身体、射频、x射线、光、有源信号、无源信号等。
这些系统的设计通常特定于手术室的约束。此外,框架能够被灭菌,通常由钢或铝制成,并且被设计得较大,使得能够从安装在手术室内的一个或多个相机观察到框架。
在手术导航期间,外科医生通常由图形用户界面(GUI)引导,所述图形用户界面显示在手术室中的一个或多个监视器上。这些监视器可以安装在推车、床等上。因为监视器很重并且需要各种有线连接,所以其相对于患者和/或外科医生的一般位置通常是固定的。正因为如此,外科医生经常需要把脸转过去或转动头部以查看显示器上呈现的信息。这导致外科医生将注意力从手术部位转移,这可能导致在手术期间出现问题。
为了简化外科医生的过程,本文论述了与使用增强现实显示器作为将GUI直接带到外科医生的视线中的方式相关的各种实施例。此类实施例可包括将虚拟屏幕投射到外科医生正在看的任何地方(例如,直接在手术部位上方)。使用增强现实,可以在手术期间将GUI投射到外科医生的视线中或附近的虚拟显示器上,并且因此,外科医生不必在操作时从手术部位转动。
在一些另外的实施例中,增强现实系统可以将手术数据(例如,手术计划信息)直接投射到患者的解剖结构上(例如,对于骨科手术,可以可视化患者的骨骼)。对手术程序使用增强现实的一个问题是确保所显示的数据在位置和信息方面都是准确的。为了使增强现实系统投射数据的图像,使得其与骨骼适当对准,系统必须计算如何显示与患者身体有关的信息,使得其与外科医生的场景视图(例如,通过近眼显示器、虚拟投影、显示装置等)对准。
当前“视频透视”增强现实系统能够通过跟踪场景中对象上的标记来实现这一点。然而,这些系统采用牢固地安装到增强现实显示器的摄像机,且此组件(即,显示器和相机)接着放置在用户与场景之间。当用户查看显示器时,显示器在单个视图中显示相机捕捉的场景以及覆盖的数据。因此,视频图像可以呈现与用户正在“仔细”查看显示器将看到的非常相似的图像。
为了将虚拟对象放置到场景中,视频透视增强现实系统可以将各种虚拟对象的图形渲染叠加到视频图像中。然而,如果虚拟对象被视为实际场景的一部分,则必须通过跟踪实际场景中的真实对象来将其锚定到场景。基于视频的增强现实系统通常使用可由某种形式的图像处理软件识别的标记。然后,通过算法来分析视频帧,所述算法识别一个或多个标记并且基于标记在视频图像中的显示方式计算标记必须相对于相机的位置如何定向和定位。使用这些标记,增强现实系统可以跟踪视频跟踪系统范围内的对象。
因此,在一些实施例中,如果正在跟踪至少一个骨骼且手术计划是已知的,手术增强现实系统可以相对于跟踪标记在骨骼和工具上的位置,而不是在虚拟GUI屏幕上显示的计划的抽象,显示直接叠加在手术室工作人员正在观察的任何东西上的手术计划。
因此,当在计算机辅助手术环境中工作时,增强现实显示器可以使用增强现实显示器(例如,近眼显示器、虚拟投影、显示装置等等)引导杯冲击器的导航。在另一实施例中,如图8中所示,创建患者的骨盆的配准的3-D模型,并且基于其已知特性校准具有附接跟踪器的杯冲击器。
因此,在一些实施例中,跟踪患者的骨盆以及一个或多个手术工具(例如,杯冲击器)。由此,创建“基于图像的”导航系统。在另一实施例中,患者的髂前上棘与耻骨一起配准,从而限定前骨盆平面。附加地或替代地,一些实施例可以配准髂后上棘。使用这些配准点作为参考,可以计算和显示手术工具的定向(例如,通常或优选的倾斜/放射前倾)。
在一些实施例中,包括可跟踪图像(例如,QR码或已知符号)的板可用于校准跟踪系统。图9中示出了该实施例的非限制性说明性示。具体地说,在一些实施例中,板、表面、物体等等可包括可跟踪图像901和一个或多个红外反射跟踪标记902。可跟踪图像和反射标记的位置可单独地且相对于彼此是已知的。因此,在一些实施例中,可以提供图像跟踪坐标与其他跟踪对象(例如,红外反射标记等)之间的转换方法。因此,只要增强现实系统能够用其相机定位(例如,看到)板,并且辅助跟踪方法也可以定位其跟踪标记,实施例就可以共同配准这两种不同的方法。因为可以共同配准两个或更多个跟踪模式,所以系统还可以(例如,在增强现实装置中)显示任何存储或先前配准的3D模型以及一个或多个手术工具(例如,在冲击器的端部处与杯对准的髋臼杯)的图像。
因此,在一些实施例中,增强现实系统可以绘制浮动在工具应位于的空间(例如,撞击器的钝头或平头端)中的目标圆圈。参考图10A,被跟踪的骨盆1001以及杯冲击器1003就位以定位髋臼杯1002。因此,在此实施例中,用户或外科医生只需要将真实工具1003的钝头端与浮动目标1004A对准。在另外的实施例中,并且如图中所示,目标圆圈可以具有脉动、跳动或颜色变化的直径。在这样的实施例中,即使外科医生没有直接专注于目标圆圈上,其仍可以警示外科医生适当或不适当的放置,因为圆圈更可能在外科医生的外周视觉中可见。在实施例中,当工具1003的钝头端正确对准时,目标圆圈的直径1004B可再次变化。
在另外的实施例中,如图11中所示,增强现实系统可以在工具1101(例如,冲击器的钝头端或平头端)上虚拟地显示外展和/或前倾值。因为外科医生专注于对准工具1003的后端(例如,要用锤敲击的部分),所以当外科医生用锤或类似装置撞击钝头端时,他们可关注该钝头端。因此,通过在工具的端部上虚拟地覆盖定向提示1101、实际值1102(例如,计算出的优选外展和前倾值或坐标系)和/或目标圆圈1103,外科医生不需要在显示器或屏幕上将目光从患者身上移开。
在另一实施例中,如果用户(例如,外科医生)将钝头端移动得太远使得优选位置不再可见或系统确定圆圈(脉动或不脉动)不足以警示外科医生他们的错误,就可以使用附加的视觉指示器。这种指示器的一个非限制性示例可以是浮动方向箭头1102,其围绕工具的钝头端旋转从而指向期望的目标位置。
图12是描绘了用于向计算机辅助手术规划系统提供导航和控制的示例性系统1200的框图。在实施例中,系统1200可以包括控制系统1201、跟踪系统1202和增强现实跟踪系统1203。系统1200还可包括显示装置(例如,近眼显示装置)1204和数据库1205。在实施例中,这些部件可以组合以在骨科(或类似的)假体植入手术期间提供导航和引导。
控制系统1201可包括一个或多个计算装置,该一个或多个计算装置被配置成协调从跟踪系统1202、1203接收的信息,并且以视频透视格式向近眼显示装置1204提供增强现实。在示例中,控制系统1201可以包括规划模块1201A、导航模块1201B、控制模块1201C和通信接口1201D。规划模块1201A可以提供术前规划服务,该术前规划服务使得临床医生能够在进入手术室之前虚拟地规划程序。各种术前规划方法是本领域众所周知的。一个具体示例可在名称为“计算机辅助手术规划器和术中指导系统(Computer-Assisted SurgeryPlanner and Intra-Operative Guidance System)”的美国专利第6,205,411号中找到,所述专利以引用的方式并入本文中。
在一个非限制性示例中,规划模块1201A可用于参考虚拟植入物宿主模型操纵植入物的虚拟模型,并且以视频透视格式向显示装置1204显示虚拟模型。虚拟植入物宿主模型可以由目标患者的扫描构建。此类扫描可包括计算机断层扫描(CT)、磁共振成像(MRI)、正电子发射断层摄影(PET)或关节和周围结构的超声扫描。替代地,可通过基于患者测量值或其它临床医师选择的输入从模型群组选择预定义植入宿主模型来执行术前规划。在某些示例中,通过测量患者的(目标植入物宿主的)实际解剖结构在术中细化术前规划。在示例中,本文论述的连接到跟踪系统1202、1203的点探针可用于测量目标植入物宿主的实际解剖结构和各种跟踪装置的相对位置(例如,图9)。
在实施例中,导航模块1201B可以相对于植入物或植入物宿主协调对跟踪装置100、200的位置和取向的跟踪。在某些示例中,导航模块1201B还可以协调对在规划模块1201A内的术前规划期间使用的虚拟模型的跟踪。跟踪虚拟模型可以包括例如通过经由跟踪系统1202、1203获得的数据将虚拟模型与植入物宿主对准的操作。在这些示例中,导航模块1201B从跟踪系统1202、1203接收关于患者的物理位置和取向以及患者的特定解剖结构的输入。跟踪植入物宿主可以包括跟踪多个单独的骨结构。例如,在全膝关节置换程序期间,跟踪系统1202、1203可以使用锚定到各个骨骼的跟踪装置(例如,200、900)个别地跟踪股骨和/或胫骨。
在实施例中,控制模块1201C可以处理由导航模块1201B提供的信息,以生成控制信号以控制近眼显示装置1204中所示的视图。在一些实施例中,控制模块1201C可以处理由导航模块1201B提供的信息,以产生在手术程序期间帮助外科医生的视觉动画。视觉动画可以经由显示装置1204显示。在实施例中,视觉动画可以包括患者解剖和/或植入物的实时3-D表示,以及其它内容(例如,与手术计划有关的信息)。在某些示例中,对视觉动画进行颜色编码以进一步在植入物的定位和取向方面帮助外科医生。
在实施例中,通信接口1201D促进控制系统1201与外部系统和装置之间的通信。通信接口1201D可包括有线和无线通信接口,例如以太网、IEEE 802.11无线或蓝牙等。在一些实施例中,经由通信接口1201D连接的外部系统包括跟踪系统1202、1203。尽管未示出,但数据库1205和显示装置1204以及其它装置也可以经由通信接口1201D连接到控制系统1201。在示例中,通信接口1201D通过内部总线与控制系统1201内的其它模块和硬件系统通信。
在示例中,跟踪系统1202、1203提供手术装置和跟踪器的位置和定向信息(例如1101),因为它们彼此相关以辅助半主动机器人手术装置的导航和控制。跟踪系统1202、1203可包括:跟踪器装置(例如,图3A-3C中所示),所述跟踪器装置包括或以其他方式提供基于至少三个位置和至少三个角度的跟踪数据;以及跟踪增强现实跟踪装置900。跟踪器装置可包括与植入物宿主相关联的一个或多个第一跟踪标记,以及与手术装置相关联的一个或多个第二标记。标记或标记中的一些可以是红外源、射频(RF)源、超声源和/或发射器中的一者或多者。跟踪系统因此可以是红外跟踪系统、光学跟踪系统、超声跟踪系统、惯性跟踪系统、有线系统和/或RF跟踪系统。一种说明性跟踪系统是3-D运动和位置测量和跟踪系统,但所属领域的技术人员将认识到,可使用其他准确性和/或分辨率的其他跟踪系统。
在以上详细描述中,参考形成其一部分的附图。在附图中,除非上下文另外规定,类似符号通常标识类似的部件。在详细描述、图式和权利要求中描述的说明性实施例并不意味着是限制性的。可以使用其它实施例,并且可以在不脱离本文所呈现的主题的精神或范围的情况下进行其它改变。容易理解的是,本公开的各方面(如本文大体上描述并在附图中示出的)可以被布置、取代、组合、分离和设计成各种各样的不同构造,所有这些构造都在本文中被明确设想。
本公开不限于本申请中所描述的特定实施例,其旨在作为各个方面的说明。在不脱离本领域技术人员显然明白的精神和范围的情况下,可以进行许多修改和变化。根据前述描述,本公开的范围内的功能等效方法和设备(除本文中所列举的那些之外)对于本领域技术人员将显而易见。此类修改和变化意图落在所附权利要求书的范围内。本公开将仅受所附权利要求书的措词以及这些权利要求书有资格享有的等效物的完整范围限制。应当理解,本公开不限于特定的方法、试剂、化合物、组合物或生物系统,其当然可以变化。还应理解,本文中使用的术语仅用于描述特定实施例的目的,而不意图是限制性的。
关于本文中基本上任何复数和/或单数术语的使用,本领域技术人员可以根据上下文和/或应用酌情从复数转换成单数和/或从单数转换为复数。为了清楚起见,各种单数/复数排列可在本文中明确阐述。
本领域内的技术人员应理解,一般来说,本文中且尤其在所附权利要求(例如,所附权利要求书的主体)中所使用的术语通常意图为“开放性”术语(例如,术语“包括”应解释为“包括但不限于”,术语“具有”应解释为“至少具有”,术语“包括”应解释为“包括但不限于”等等)。虽然各种组合物、方法和装置按照“包括”各种部件或步骤(解释为意为“包括但不限于”)描述,但组合物、方法和装置还可“基本上由各种部件和步骤组成”或“由各种部件和步骤组成”,并且此类术语应解释为定义基本上封闭的构件组。本领域技术人员还将理解,如果意图是特定数目的所引出的权利要求叙述物,那么在权利要求书中将明确详述此类意图,且在不存在此类详述时不存在此类意图。
例如,为了帮助理解,以下所附权利要求书可以包含使用介绍性短语“至少一个”和“一个或多个”来引出权利要求叙述物。然而,使用此类短语不应被解释为暗示由不定冠词“一(a/an)”引出的权利要求叙述物将包含此类引出的权利要求叙述物的任何特定权利要求限制到只包含这种叙述物的实施例,即使当同一权利要求包括介绍性短语“一个或多个”或“至少一个”时和诸如“一”的不定冠词时(例如,“一”应解释为意指“至少一个”或“一个或多个”);这同样适用于使用定冠词用于引出权利要求叙述物。
另外,即使明确叙述了特定数目的所引出权利要求叙述物,所属领域的技术人员将认识到,此类叙述应解释为意指至少所叙述的数字(例如,无其它修饰词只叙述“两个叙述物”,意味着至少两个叙述物或两个或更多个叙述物)。此外,在使用类似于“A、B和C等中的至少一个”的用语的那些情况下,一般来说,这种构造意在本领域技术人员将理解该用语的意义(例如,“具有A、B和C中的至少一个的系统”将包括但不限于只具有A、只具有B、只具有C、一起具有A和B、一起具有A和C、一起具有B和C和/或一起具有A、B和C的系统,等等)。在使用类似于“A、B或C等中的至少一个”的用语的那些情况下,一般来说,这种构造意在本领域技术人员将理解该用语的意义(例如,“具有A、B或C中的至少一个的系统”将包括但不限于只具有A、只具有B、只具有C、一起具有A和B、一起具有A和C、一起具有B和C和/或一起具有A、B和C的系统,等等)。本领域技术人员还将理解,不管在说明书、权利要求书或者附图中,呈现两个或更多个替代术语的几乎任何转折词和/或短语都应理解为考虑了包括术语之一、术语中任一个或两个术语的可能性。例如,短语“A或B”将理解为包括“A”或“B”或“A和B”的可能性。
另外,在根据马库什组描述的本公开的特征或方面的情况下,本领域的技术人员将认识到,本公开因此还根据马库什组的任何个别成员或成员的子组描述。
本领域技术人员将理解,出于任何和所有目的,例如就提供书面描述而言,本文公开的所有范围还涵盖任何可能的子范围和所有可能的子范围及其子范围的组合。任何列出的范围可被容易地认为是充分描述并且实现分解为至少相等的二分之一、三分之一、四分之一、五分之一、十分之一等等的相同范围。作为非限制性示例,本文中论述的每个范围可以容易地分解为下三分之一、中三分之一和上三分之一等等。本领域技术人员还将理解,诸如“达”、“至少”等的所有语言包括叙述的数字,并且指可以随后如上所述分解成子范围的范围。最后,所属领域的技术人员将理解,范围包括每个个别成员。因此,例如,具有1-3个细胞的基团是指具有1、2或3个细胞的基团。类似地,具有1-5个细胞的基团是指具有1、2、3、4或5个细胞的基团,诸如此类。
以上公开的各种特征和功能以及其替代方案可以组合成许多其它不同的系统或应用。本领域的技术人员随后可以进行各种目前不可预见或非预期的替代方案、修改、变化或改进,其中每一个也旨在由所公开的实施例涵盖。
Claims (15)
1.一种计算机辅助手术对准方法,包括:
使用处理器获得手术计划;
从跟踪系统接收一个或多个患者骨的位置信息;
从跟踪系统接收一个或多个患者骨的位置信息;
基于所述手术计划和所述位置信息确定一个或多个已知手术工具相对于所述一个或多个患者骨的优选位置和优选角度;
用图像捕获装置捕获与所述一个或多个已知手术工具的特征相关联的光学数据;
通过分析所述光学数据,识别所述一个或多个已知手术工具相对于所述优选位置和所述优选角度的偏移值;以及
在混合现实显示器上显示与所述偏移值相关联的一个或多个视觉指示器。
2.根据权利要求1所述的方法,其中所述一个或多个视觉指示器包括所述一个或多个已知手术工具的重影。
3.根据权利要求1所述的方法,其中所述一个或多个视觉指示器包括一个或多个目标形状,所述一个或多个目标形状被配置成在视觉上表示所述优选位置和所述优选角度。
4.根据权利要求3所述的方法,其中所述一个或多个目标形状是以下各项中的一种或多种:圆形、三角形、正方形、矩形、五边形、六边形、椭圆形、球体、圆锥体、圆柱体、立方体、长方体、四面体和椭圆体。
5.根据权利要求3所述的系统,其中所述一个或多个目标形状中的至少一个目标形状基于所述优选位置和所述优选角度改变形状。
6.根据权利要求3所述的系统,其中一个或多个目标形状中的至少一个目标形状基于所述优选位置和所述优选角度改变颜色。
7.根据权利要求1所述的方法,还包括从所述跟踪系统接收一个或多个手术工具的位置信息。
8.根据权利要求7所述的方法,其中确定优选位置和优选角度还基于所述一个或多个手术工具的位置。
9.根据权利要求8所述的方法,还包括计算所述一个或多个手术工具的位置信息与所述一个或多个患者骨的位置信息之间的关系数据。
10.根据权利要求9所述的方法,其中所述一个或多个视觉指示器包括与所述关系数据相关联的一个或多个数值。
11.根据权利要求9所述的方法,还包括基于所述关系数据计算患者骨的外展值和前倾值。
12.根据权利要求11所述的方法,其中所述一个或多个视觉指示器包括所述外展值和所述前倾值。
13.根据权利要求1所述的方法,还包括使用一个或多个扬声器基于所述关系数据发出音频提示。
14.根据权利要求1所述的方法,其中所述一个或多个视觉指示器包括所述偏移值。
15.一种计算机辅助手术对准系统,包括:
处理器;
混合现实显示器;
图像捕获装置;
跟踪系统;以及
非暂时性处理器可读存储介质,所述非暂时性处理器可读存储介质存储可由所述处理器执行的指令以:
获得手术计划,
从所述跟踪系统接收一个或多个患者骨的位置信息,
基于所述手术计划和所述位置信息确定一个或多个已知手术工具相对于所述一个或多个患者骨的优选位置和优选角度,
用所述图像捕获装置捕获与所述一个或多个已知手术工具的特征相关联的光学数据,
通过分析所述光学数据,识别所述一个或多个已知手术工具相对于所述优选位置和所述优选角度的偏移值,以及
在所述混合现实显示器上显示与所述优选位置和所述优选角度相关联的一个或多个视觉指示器。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962818092P | 2019-03-13 | 2019-03-13 | |
US62/818,092 | 2019-03-13 | ||
PCT/US2020/022706 WO2020186194A1 (en) | 2019-03-13 | 2020-03-13 | Augmented reality assisted surgical tool alignment |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113473940A true CN113473940A (zh) | 2021-10-01 |
Family
ID=72426459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080016633.5A Pending CN113473940A (zh) | 2019-03-13 | 2020-03-13 | 增强现实辅助手术工具对准 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220151705A1 (zh) |
EP (1) | EP3937825A4 (zh) |
CN (1) | CN113473940A (zh) |
WO (1) | WO2020186194A1 (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2955481B1 (fr) | 2010-01-27 | 2013-06-14 | Tornier Sa | Dispositif et procede de caracterisation glenoidienne d'une omoplate a protheser ou a resurfacer |
AU2014333516B2 (en) | 2013-10-10 | 2019-07-18 | Stryker European Operations Limited | Methods, systems and devices for pre-operatively planned shoulder surgery guides and implants |
WO2019245866A2 (en) | 2018-06-19 | 2019-12-26 | Tornier, Inc. | Mixed reality-aided surgical assistance in orthopedic surgical procedures |
US11287874B2 (en) | 2018-11-17 | 2022-03-29 | Novarad Corporation | Using optical codes with augmented reality displays |
US11918294B2 (en) * | 2019-01-31 | 2024-03-05 | Brainlab Ag | Virtual trajectory planning |
WO2021041155A1 (en) * | 2019-08-29 | 2021-03-04 | Mako Surgical Corp. | Robotic surgery system for augmented hip arthroplasty procedures |
TWI708591B (zh) * | 2019-12-06 | 2020-11-01 | 財團法人金屬工業研究發展中心 | 骨科手術之三維即時定位方法 |
US11237627B2 (en) | 2020-01-16 | 2022-02-01 | Novarad Corporation | Alignment of medical images in augmented reality displays |
CN111956325B (zh) * | 2020-07-01 | 2021-08-20 | 北京和华瑞博医疗科技有限公司 | 一种医用器械的精准定位装置、方法和系统 |
US12016633B2 (en) | 2020-12-30 | 2024-06-25 | Novarad Corporation | Alignment of medical images in augmented reality displays |
CN113509266A (zh) * | 2021-04-01 | 2021-10-19 | 上海复拓知达医疗科技有限公司 | 增强现实信息显示装置、方法、可读存储介质及设备 |
US12201375B2 (en) * | 2021-09-16 | 2025-01-21 | Globus Medical Inc. | Extended reality systems for visualizing and controlling operating room equipment |
US11948265B2 (en) | 2021-11-27 | 2024-04-02 | Novarad Corporation | Image data set alignment for an AR headset using anatomic structures and data fitting |
US20230169696A1 (en) * | 2021-11-27 | 2023-06-01 | Novarad Corporation | Transfer of Alignment Accuracy Between Visible Markers Used with Augmented Reality Displays |
ES2945484B2 (es) * | 2021-12-30 | 2023-12-15 | Planificacion Iqx Conrado Sl | Instrumental quirúrgico para cirugía vertebral mediante software de planificación y navegación quirúrgica |
FR3135560B1 (fr) * | 2022-05-13 | 2024-06-21 | Virtualisurg | Plateforme d’entraînement |
CN115778544B (zh) * | 2022-12-05 | 2024-02-27 | 方田医创(成都)科技有限公司 | 基于混合现实的手术导航精度指示系统、方法和存储介质 |
CA3223448A1 (en) * | 2022-12-20 | 2024-06-20 | Orthosoft Ulc | Tool navigation in mixed reality computer-assisted surgery |
US20240273740A1 (en) * | 2023-02-15 | 2024-08-15 | Novarad Corporation | Alignment Using Two-Part Marker and Image Visible Marker |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170027651A1 (en) * | 2015-03-23 | 2017-02-02 | Justin Esterberg | Systems and methods for assisted surgical navigation |
US20170312032A1 (en) * | 2016-04-27 | 2017-11-02 | Arthrology Consulting, Llc | Method for augmenting a surgical field with virtual guidance content |
US20180168740A1 (en) * | 2016-08-16 | 2018-06-21 | Insight Medical Systems, Inc. | Systems and methods for sensory augmentation in medical procedures |
EP3445048A1 (en) * | 2017-08-15 | 2019-02-20 | Holo Surgical Inc. | A graphical user interface for a surgical navigation system for providing an augmented reality image during operation |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9987092B2 (en) * | 2012-06-20 | 2018-06-05 | Intellijoint Surgical Inc. | Computer-assisted joint replacement surgery and patient-specific jig systems |
US10052170B2 (en) * | 2015-12-18 | 2018-08-21 | MediLux Capitol Holdings, S.A.R.L. | Mixed reality imaging system, apparatus and surgical suite |
CN111329551A (zh) * | 2016-03-12 | 2020-06-26 | P·K·朗 | 用于脊柱和关节手术的增强现实引导 |
-
2020
- 2020-03-13 CN CN202080016633.5A patent/CN113473940A/zh active Pending
- 2020-03-13 EP EP20770051.9A patent/EP3937825A4/en active Pending
- 2020-03-13 US US17/438,532 patent/US20220151705A1/en active Pending
- 2020-03-13 WO PCT/US2020/022706 patent/WO2020186194A1/en unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170027651A1 (en) * | 2015-03-23 | 2017-02-02 | Justin Esterberg | Systems and methods for assisted surgical navigation |
US20170312032A1 (en) * | 2016-04-27 | 2017-11-02 | Arthrology Consulting, Llc | Method for augmenting a surgical field with virtual guidance content |
US20180168740A1 (en) * | 2016-08-16 | 2018-06-21 | Insight Medical Systems, Inc. | Systems and methods for sensory augmentation in medical procedures |
EP3445048A1 (en) * | 2017-08-15 | 2019-02-20 | Holo Surgical Inc. | A graphical user interface for a surgical navigation system for providing an augmented reality image during operation |
Also Published As
Publication number | Publication date |
---|---|
WO2020186194A9 (en) | 2020-11-05 |
EP3937825A4 (en) | 2022-12-28 |
WO2020186194A1 (en) | 2020-09-17 |
EP3937825A1 (en) | 2022-01-19 |
US20220151705A1 (en) | 2022-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220151705A1 (en) | Augmented reality assisted surgical tool alignment | |
US20210369353A1 (en) | Dual-position tracking hardware mount for surgical navigation | |
CN112930149B (zh) | 髌骨跟踪方法和系统 | |
CN112533555A (zh) | 机器人辅助韧带移植物放置和张紧 | |
US20220160440A1 (en) | Surgical assistive robot arm | |
CN115210756A (zh) | 用于关节镜手术视频分割的方法及用于其的装置 | |
US11534185B2 (en) | Registration of intramedulary canal during revision total knee arthroplasty | |
US20220125535A1 (en) | Systems and methods associated with passive robotic arm | |
CN113993477A (zh) | 手术辅助装置 | |
US11974818B2 (en) | Surgical tracking methods and fiber optic shape sensing devices thereof | |
CN114901195A (zh) | 改进的和cass辅助的截骨术 | |
US20230072295A1 (en) | A joint tensioning device and methods of use thereof | |
CN113873962A (zh) | 计算机控制的手术旋转工具 | |
CN115989550A (zh) | 用于髋部建模和模拟的系统和方法 | |
US20230346478A1 (en) | Methods for protecting anatomical structures from resection and devices thereof | |
US20230301732A1 (en) | Robotic arm positioning and movement control | |
US20230087709A1 (en) | Fiducial tracking knee brace device and methods thereof | |
CN114040717A (zh) | 用于韧带平衡的方法和系统 | |
CN113286548A (zh) | 具有张力反馈的致动牵开器 | |
CN113573647A (zh) | 使用跟踪系统测量力的方法 | |
CN114929124A (zh) | 用于非骨水泥植入物的多阶段机器人辅助骨制备的方法和系统 | |
CN114901131A (zh) | 张紧器工具和与其一起使用的具有压力传感器网格的保护套 | |
US12232824B2 (en) | Reciprocal optical tracking system and methods thereof | |
US20240058063A1 (en) | Surgical system for cutting with navigated assistance | |
US11998278B1 (en) | Intraoperative computer-aided design of bone removal based on selected geometric shapes for robotic assisted surgery |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |