KR102612146B1 - 카테터 제어와의 변형-기반 형상 감지의 조합 - Google Patents

Abstract

변형-기반 형상 감지를 개선할 수 있는 내강 네트워크의 내비게이션을 위한 로봇 시스템 및 방법이 제공된다. 일 태양에서, 시스템은 변형-기반 형상 데이터를 로봇 데이터(예컨대, 운동학적 모델 데이터, 토크 측정치, 기계적 모델 데이터, 명령 데이터 등)에 기초하여 결정되는 형상 데이터와 비교하고, 필요에 따라 변형-기반 형상 데이터를 조절할 수 있다. 변형-기반 형상 데이터의 임의의 부분은 비교에 기초하여 조절되거나, 상이하게 가중되거나, 폐기될 수 있다. 예를 들어, 신뢰할 수 있는 소스로부터의 데이터는 기구의 형상이 하나 이상의 특성을 보이거나 보여야 함을 나타낼 수 있다. 시스템이 변형-기반 형상 데이터의 임의의 부분이 그러한 특성과 일치하지 않는 것으로 결정하는 경우, 시스템은 변형-기반 형상 데이터의 그러한 부분을 조절할 수 있어서 조절된 변형-기반 형상 데이터가 기구의 특성과 일치하도록 한다.

Description

카테터 제어와의 변형-기반 형상 감지의 조합

관련 출원의 상호 참조

본 출원은 전체적으로 본 명세서에 참고로 포함되는, 2018년 8월 7일자로 출원된 미국 가출원 제62/715,668호의 이익을 주장한다.

기술분야

본 명세서에 개시된 시스템 및 방법은 수술 로봇(surgical robotic)에 관한 것으로, 더 상세하게는 환자의 신체의 관상 네트워크(tubular network) 내에서의 의료 기구(medical instrument)의 내비게이션(navigation)에 관한 것이다.

기관지경술은 의사가 기관지 및 세기관지와 같은, 환자의 폐 기도의 내측 상태를 검사하도록 허용하는 의료 절차이다. 폐 기도는 기관(trachea) 또는 숨통(windpipe)으로부터 폐로 공기를 운반한다. 의료 절차 동안, 기관지경으로 알려진 얇은, 가요성 튜브형 도구가 환자의 입 내로 삽입되고 환자의 인후를 따라 그/그녀의 폐 기도 내로 통과될 수 있으며, 환자는 일반적으로 의료 절차 동안 수술 검사 및 수술을 위해 그들의 인후 및 폐 공동을 이완시키기 위해 마취된다.

기관지경은 의사가 환자의 숨통 및 기도를 검사하도록 허용하는 광원 및 소형 카메라를 포함할 수 있고, 강성 튜브가 수술 목적을 위해, 예컨대 환자의 폐 내에서 상당한 양의 출혈이 있을 때 또는 큰 객체가 환자의 인후를 차단하고 있을 때, 기관지경과 함께 사용될 수 있다. 강성 튜브가 사용될 때, 환자는 흔히 마취된다. 로봇 기관지경은 관상 네트워크를 통한 내비게이션에서 대단한 이점을 제공한다. 그들은 사용을 용이하게 하고 기관지경술 단계 동안에도 치료 및 생검이 편리하게 시행되도록 허용할 수 있다.

기계 장치 또는 플랫폼(platform), 예컨대 전술된 로봇 기관지경 외에도, 다양한 방법 및 소프트웨어 모델이 수술에 도움을 주기 위해 사용될 수 있다. 예로서, 환자의 폐의 컴퓨터 단층촬영(computerized tomography, CT) 스캔이 흔히 수술 검사의 수술전 동안에 수행된다. CT 스캔으로부터의 데이터는 환자의 폐의 기도의 3차원(3D) 모델을 생성하는 데 사용될 수 있고, 생성된 3D 모델은 의사가 수술 검사의 수술 절차 동안 유용할 수 있는 시각적 기준에 액세스하는 것을 가능하게 한다.

그러나, 관상 네트워크의 내비게이션을 위한 이전 기법은, 의료 장치(예컨대, 로봇 기관지경)를 이용할 때 및 기존 방법을 사용할(예컨대, CT 스캔을 수행하고 3D 모델을 생성할) 때에도, 여전히 문제를 갖는다. 일례로서, 환자의 신체 내측의 의료 장치(예컨대, 기관지경 도구)의 운동 추정은 장치의 위치 및 배향 변화에 기초하여 정확하지 않을 수 있고, 그 결과 장치의 위치는 환자의 신체 내측에서 실시간으로 정확하거나 정밀하게 위치결정되지 않을 수 있다. 그러한 기구에 대한 부정확한 위치 정보는 의료 수술 절차 동안 3D 모델을 시각적 기준으로서 사용하는 의사에게 오인하게 하는 정보를 제공할 수 있다.

따라서, 관상 구조의 네트워크를 통해 내비게이션하기 위한 개선된 기법에 대한 필요성이 존재한다.

변형-기반 형상 감지(strain-based shape sensing)를 개선할 수 있는 내강 네트워크(luminal network)의 내비게이션을 위한 로봇 시스템 및 방법이 기술된다. 일 태양에서, 시스템은 변형-기반 형상 데이터를 로봇 데이터(예컨대, 명령 데이터, 힘 및 거리 데이터, 기계적 모델 데이터, 운동학적 모델 데이터 등)에 기초하여 결정되는 형상 데이터와 비교하고, 필요에 따라 변형-기반 형상 데이터를 조절할 수 있다. 변형-기반 형상 데이터의 임의의 부분은 비교에 기초하여 조절되거나, 상이하게 가중되거나, 폐기될 수 있다. 예를 들어, 신뢰할 수 있는 소스들로부터의 데이터는 기구의 형상이 하나 이상의 특성들을 보이거나 보여야 함을 나타낼 수 있다. 시스템이 변형-기반 형상 데이터의 임의의 부분이 그러한 특성들과 일치하지 않는 것으로 결정하는 경우, 시스템은 변형-기반 형상 데이터의 그러한 부분을 조절할 수 있어서 조절된 변형-기반 형상 데이터가 기구의 특성들과 일치하도록 한다.

따라서, 일 태양은 신체의 내부 영역 내에서 기구를 내비게이션하는 방법에 관한 것이다. 방법은 기구에 관한 로봇 데이터(robotic data)에 액세스하는 단계; 신체의 내부 영역 내에 위치되는 기구의 일부분에 대한 변형을 나타내는, 기구 내에 위치된 광섬유로부터의 변형 데이터(strain data)에 액세스하는 단계; 변형 데이터에 기초하여 형상 데이터(shape data)를 결정하는 단계; 로봇 데이터와 형상 데이터를 비교하는 단계; 로봇 데이터와 형상 데이터의 비교에 기초하여 형상 데이터를 조절하는 단계; 조절된 형상 데이터에 기초하여 기구의 추정 상태(estimated state)를 결정하는 단계; 및 기구의 추정 상태를 출력하는 단계를 포함할 수 있다.

위의 단락에 기술된 태양은 또한 임의의 조합으로 하기 특징들 중 하나 이상을 포함할 수 있다: (a) 형상 데이터를 조절하는 단계는 형상 데이터의 적어도 일부분을 수정하여 기구의 추정 상태의 결정이 형상 데이터의 수정된 부분에 기초하도록 하는 단계를 포함함; (b) 형상 데이터를 조절하는 단계는 형상 데이터의 적어도 일부분을 제거하여 기구의 추정 상태의 결정이 형상 데이터의 제거된 부분에 기초하지 않도록 하는 단계를 포함함; (c) 방법은 (i) 기구의 팁(tip)에 근접하게 위치된 전자기(electromagnetic, EM) 센서 및 (ii) 신체의 외부에 위치된 적어도 하나의 외부 EM 센서 또는 EM 필드 발생기(field generator)를 사용하여 캡처되는 EM 데이터에 액세스하는 단계, EM 데이터와 형상 데이터를 비교하는 단계, 및 EM 데이터와 형상 데이터의 비교에 기초하여 형상 데이터를 추가로 조절하는 단계를 추가로 포함함; (d) 방법은 기구의 팁에 근접하게 위치된 이미징 장치(imaging device)에 의해 캡처되는 이미지 데이터에 액세스하는 단계, 이미지 데이터와 형상 데이터를 비교하는 단계, 및 이미지 데이터와 형상 데이터의 비교에 기초하여 형상 데이터를 추가로 조절하는 단계를 추가로 포함함; (e) 변형 데이터는 광섬유의 일부분 상에 생성된 섬유 브래그 격자(fiber Bragg grating, FBG)들에 기초하여 생성됨; (f) 형상 데이터는 기구의 일부분의 곡률 값(curvature value) 또는 기구의 일부분의 시간 이력 데이터(time history data) 중 하나를 포함함; (g) 방법은 곡률 값이 로봇 데이터 내의 임계 곡률 값 이상이라는 결정에 기초하여 형상 데이터를 조절하는 단계를 추가로 포함함; (h) 방법은 시간 이력 데이터가 로봇 데이터 내의 임계 시간 이력 조건을 충족시킨다는 결정에 기초하여 형상 데이터를 조절하는 단계를 추가로 포함함; (i) 방법은 온도의 변화에 기초하여 형상 데이터를 조절하는 단계를 추가로 포함함; (j) 방법은 기구의 팁이 관절운동되고(articulated) 있다는 결정에 기초하여 형상 데이터를 조절하는 단계를 추가로 포함함; (k) 방법은 비-형상-변경 변형(non-shape-changing strain)이 기구에 인가되고 있다는 결정에 기초하여 형상 데이터를 조절하는 단계를 추가로 포함함; (l) 방법은 기구의 제1 부분이 기구의 원위 단부를 포함한다는 결정에 기초하여, 제1 부분에 대응하는 형상 데이터에 할당되는 신뢰도 값(confidence value)보다 높은 신뢰도 값을 제1 부분에 대응하는 로봇 데이터에 할당하는 단계를 추가로 포함함; (m) 방법은 기구의 제1 부분이 기구의 근위 단부를 포함한다는 결정에 기초하여, 제1 부분에 대응하는 형상 데이터에 할당되는 신뢰도 값보다 낮은 신뢰도 값을 제1 부분에 대응하는 로봇 데이터에 할당하는 단계를 추가로 포함함; (n) 방법은 기구의 추정 상태에 기초하여 기구를 덮고 있는 시스(sheath)의 추정 상태를 결정하는 단계를 추가로 포함함; (o) 방법은 형상 데이터와 기구를 덮고 있는 시스의 형상을 나타내는 추가 데이터의 비교에 기초하여 형상 데이터에 신뢰도 값을 할당하는 단계를 추가로 포함함; (p) 방법은 기구의 추정 상태에 기초하여, 기구에 대한 손상이 임박한(imminent) 것으로 결정하는 단계, 및 손상이 회피되도록 기구를 제어하는 단계를 추가로 포함함; 및 (q) 방법은 로봇 데이터와 형상 데이터 사이의 불일치가 적어도 임계 시간량 동안 검출되었음을 결정하는 단계, 및 기구가 손상될 수 있음을 나타내는 경고(alert)를 출력하는 단계를 추가로 포함함.

다른 태양은 신체의 내부 영역 내에서 기구를 내비게이션하는 방법에 관한 것이다. 방법은 기구에 관한 로봇 데이터에 액세스하는 단계; 신체의 내부 영역 내에 위치되는 기구의 일부분에 대한 변형을 나타내는, 기구 내에 위치된 광섬유로부터의 변형 데이터에 액세스하는 단계; 변형 데이터에 기초하여 형상 데이터를 결정하는 단계; 로봇 데이터와 형상 데이터를 비교하는 단계; 로봇 데이터와 형상 데이터의 비교에 기초하여 형상 데이터와 연관되는 신뢰도 값을 조절하는 단계; 조절된 신뢰도 값에 기초하여 기구의 추정 상태를 결정하는 단계; 및 기구의 추정 상태를 출력하는 단계를 포함할 수 있다.

위의 단락에 기술된 태양은 또한 임의의 조합으로 하기 특징들 중 하나 이상을 포함할 수 있다: (a) 방법은 (i) 기구의 팁에 근접하게 위치된 전자기(EM) 센서 및 (ii) 신체의 외부에 위치된 적어도 하나의 외부 EM 센서 또는 EM 필드 발생기를 사용하여 캡처되는 EM 데이터에 액세스하는 단계, EM 데이터와 형상 데이터를 비교하는 단계, 및 EM 데이터와 형상 데이터의 비교에 추가로 기초하여 형상 데이터와 연관되는 신뢰도 값을 조절하는 단계를 추가로 포함함; (b) 방법은 기구의 팁에 근접하게 위치된 이미징 장치에 의해 캡처되는 이미지 데이터에 액세스하는 단계, 이미지 데이터와 형상 데이터를 비교하는 단계, 및 이미지 데이터와 형상 데이터의 비교에 추가로 기초하여 형상 데이터와 연관되는 신뢰도 값을 조절하는 단계를 추가로 포함함; (c) 변형 데이터는 광섬유의 일부분 상에 생성된 섬유 브래그 격자(FBG)들에 기초하여 생성됨; (d) 형상 데이터는 기구의 일부분의 곡률 값 또는 기구의 일부분의 시간 이력 데이터 중 하나를 포함함; (e) 방법은 곡률 값이 로봇 데이터 내의 임계 곡률 값 이상이라는 결정에 기초하여 신뢰도 값을 조절하는 단계를 추가로 포함함; (f) 방법은 시간 이력 데이터가 로봇 데이터 내의 임계 시간 이력 조건을 충족시킨다는 결정에 기초하여 신뢰도 값을 조절하는 단계를 추가로 포함함; (g) 방법은 온도의 변화에 기초하여 신뢰도 값을 조절하는 단계를 추가로 포함함; (h) 기구의 팁이 관절운동되고 있다는 결정에 기초하여 신뢰도 값을 조절하는 단계; (i) 방법은 비-형상-변경 변형이 기구에 인가되고 있다는 결정에 기초하여 신뢰도 값을 조절하는 단계를 추가로 포함함; (j) 방법은 기구의 제1 부분이 기구의 원위 단부를 포함한다는 결정에 기초하여, 제1 부분에 대응하는 형상 데이터에 할당되는 신뢰도 값보다 높은 신뢰도 값을 제1 부분에 대응하는 로봇 데이터에 할당하는 단계를 추가로 포함함; (k) 방법은 기구의 제1 부분이 기구의 근위 단부를 포함한다는 결정에 기초하여, 제1 부분에 대응하는 형상 데이터에 할당되는 신뢰도 값보다 낮은 신뢰도 값을 제1 부분에 대응하는 로봇 데이터에 할당하는 단계를 추가로 포함함; (l) 방법은 기구의 추정 상태에 기초하여 기구를 덮고 있는 시스의 추정 상태를 결정하는 단계를 추가로 포함함; (m) 방법은 형상 데이터와 기구를 덮고 있는 시스의 형상을 나타내는 추가 데이터의 비교에 추가로 기초하여 신뢰도 값을 조절하는 단계를 추가로 포함함; (n) 방법은 기구의 추정 상태에 기초하여, 기구에 대한 손상이 임박한 것으로 결정하는 단계, 및 손상이 회피되도록 기구를 제어하는 단계를 추가로 포함함; 및 (o) 방법은 로봇 데이터와 형상 데이터 사이의 불일치가 적어도 임계 시간량 동안 검출되었음을 결정하는 단계, 및 기구가 손상될 수 있음을 나타내는 경고를 출력하는 단계를 추가로 포함함.

개시된 태양은, 개시된 태양을 제한하지 않고 예시하기 위해 제공되는 첨부 도면과 함께 본 명세서에 후술될 것이며, 여기에서 유사한 명칭은 유사한 요소를 나타낸다.
도 1a는 일 실시예에 따른, 예시적인 수술 로봇 시스템을 도시한 도면.
도 1b 내지 도 1f는 일 실시예에 따른, 도 1a에 도시된 수술 로봇 시스템에 결합된 로봇 플랫폼의 다양한 사시도를 도시한 도면.
도 2는 일 실시예에 따른, 예시적인 수술 로봇 시스템을 위한 예시적인 명령 콘솔(command console)을 도시한 도면.
도 3a는 일 실시예에 따른, 도 1a에 도시된 기구 장치 조작기(instrument device manipulator, IDM)의 예시적인 독립적인 구동 메커니즘(independent drive mechanism)의 등각도를 도시한 도면.
도 3b는 일 실시예에 따른, 도 3a에 도시된 독립적인 구동 메커니즘의 스트레인 게이지(strain gauge)에 의해 힘이 측정될 수 있는 방법을 보여주는 개념도를 도시한 도면.
도 4a는 일 실시예에 따른, 예시적인 내시경의 평면도를 도시한 도면.
도 4b는 일 실시예에 따른, 도 4a에 도시된 내시경의 예시적인 내시경 단면을 도시한 도면.
도 4c는 일 실시예에 따른, 예시적인 변형-기반 형상 감지 메커니즘을 도시한 도면.
도 4d 및 도 4e는 일 실시예에 따른, 예시적인 내시경의 실제 형상 및 내시경의 변형-기반 예측을 도시한 도면.
도 5는 일 실시예에 따른, 수술 로봇 시스템 내에 포함된 EM 추적 시스템의 예시적인 개략적인 구성을 도시한 도면.
도 6a 및 도 6b는 일 실시예에 따른, 예시적인 해부학적 내강 및 해부학적 내강의 예시적인 3D 모델을 도시한 도면.
도 7은 일 실시예에 따른, 해부학적 공간을 표현하는 컴퓨터-생성 3D 모델을 도시한 도면.
도 8a는 일 실시예에 따른, 내비게이션 구성 시스템의 예시적인 블록도의 상위 수준의 개요(high-level overview)를 도시한 도면.
도 8b는 일 실시예에 따른, 변형-기반 알고리즘 모듈에 포함된 예시적인 모듈을 예시한 블록도를 도시한 도면.
도 8c는 일 실시예에 따른, 로봇 데이터 저장소에 저장된 로봇 데이터의 예를 예시한 블록도를 도시한 도면.
도 9는 일 실시예에 따른, 형상 데이터 결정 모듈의 예시적인 블록도를 도시한 도면.
도 10은 일 실시예에 따른, 형상 데이터 비교 모듈 및 형상 데이터 조절 모듈의 예시적인 블록도를 도시한 도면.
도 11은 일 실시예에 따른, 형상-기반 상태 추정 모듈의 예시적인 블록도를 도시한 도면.
도 12는 일 실시예에 따른, 형상 데이터를 결정 및 조절하기 위해 수술 로봇 시스템 또는 그의 구성요소(들)에 의해 작동가능한 예시적인 방법을 예시한 흐름도를 도시한 도면.
도 13은 일 실시예에 따른, 기구를 작동시키기 위해 수술 로봇 시스템 또는 그의 구성요소(들)에 의해 작동가능한 예시적인 방법을 예시한 개념도를 도시한 도면.
도 14는 일 실시예에 따른, 기구를 작동시키기 위해 수술 로봇 시스템 또는 그의 구성요소(들)에 의해 작동가능한 예시적인 방법을 예시한 개념도를 도시한 도면.
이제, 그 예가 첨부 도면에 예시된 여러 실시예를 상세히 참조할 것이다. 실행가능한 경우는 언제나, 유사하거나 동일한 도면 부호가 도면에 사용될 수 있으며, 유사하거나 동일한 기능을 나타낼 수 있다는 것에 유의한다. 도면은 단지 예시를 위해 기술된 시스템(또는 방법)의 실시예를 도시한다. 당업자는 하기 설명으로부터, 본 명세서에 예시된 구조 및 방법의 대안적인 실시예가 본 명세서에서 기술된 원리로부터 벗어남이 없이 채용될 수 있음을 용이하게 인식할 것이다.

I. 수술 로봇 시스템

도 1a는 일 실시예에 따른 예시적인 수술 로봇 시스템(100)을 도시한다. 수술 로봇 시스템(100)은 하나 이상의 로봇 아암(robotic arm), 예컨대 로봇 아암(102)에 결합되는 기부(101)를 포함한다. 기부(101)는 섹션 II. 명령 콘솔에서 도 2를 참조하여 추가로 기술되는 명령 콘솔에 통신가능하게 결합된다. 기부(101)는 의사와 같은 사용자가 명령 콘솔에서 편안하게 수술 로봇 시스템(100)을 제어할 수 있는 상태에서, 로봇 아암(102)이 환자에게 수술 절차를 수행하기 위해 접근할 수 있도록 위치될 수 있다. 일부 실시예에서, 기부(101)는 환자를 지지하기 위한 수술 테이블(table) 또는 베드(bed)에 결합될 수 있다. 명확성을 위해 도 1에 도시되지 않지만, 기부(101)는 제어 전자장치, 공압장치, 전원, 광원 등과 같은 서브시스템을 포함할 수 있다. 로봇 아암(102)은 조인트(joint)(111)에서 결합되는 다수의 아암 세그먼트(arm segment)(110)를 포함하며, 이는 로봇 아암(102)에 다중 자유도(degree of freedom), 예컨대 7개의 아암 세그먼트에 대응하는 7 자유도를 제공한다. 기부(101)는 전원(112), 공압부(113), 및 제어 및 센서 전자장치(114) - 중앙 처리 유닛, 데이터 버스, 제어 회로, 및 메모리와 같은 구성요소를 포함함 - 와 관련 액추에이터(actuator), 예컨대 모터를 포함하여 로봇 아암(102)을 이동시킬 수 있다. 기부(101) 내의 전자장치(114)는 또한 명령 콘솔로부터 전달되는 제어 신호를 처리하고 전송할 수 있다.

일부 실시예에서, 기부(101)는 수술 로봇 시스템(100)을 이송시키기 위한 휠(wheel)(115)을 포함한다. 수술 로봇 시스템(100)의 이동성은 수술실의 공간 제약을 수용할 뿐만 아니라 수술 장비의 적절한 위치설정 및 이동을 용이하게 하는 데 도움을 준다. 또한, 이동성은 로봇 아암(102)이 환자, 의사, 마취과 의사, 또는 임의의 다른 장비와 간섭되지 않도록 로봇 아암(102)이 구성되는 것을 허용한다. 절차 동안, 사용자가 제어 장치, 예컨대 명령 콘솔을 사용하여 로봇 아암(102)을 제어할 수 있다.

일부 실시예에서, 로봇 아암(102)은 브레이크(brake) 및 카운터-밸런스(counter-balance)의 조합을 사용하여 로봇 아암(102)의 위치를 유지시키는 셋업 조인트(set up joint)를 포함한다. 카운터-밸런스는 가스 스프링 또는 코일 스프링을 포함할 수 있다. 브레이크, 예컨대 고장 안전 브레이크(fail safe brake)는 기계 및/또는 전기 구성요소를 포함할 수 있다. 또한, 로봇 아암(102)은 중력-보조식 수동형 지지(gravity-assisted passive support) 유형 로봇 아암일 수 있다.

각각의 로봇 아암(102)은 메커니즘 체인저 인터페이스(mechanism changer interface, MCI)(116)를 사용하여 기구 장치 조작기(IDM)(117)에 결합될 수 있다. IDM(117)은 제거되고 상이한 유형의 IDM으로 교체될 수 있는데, 예를 들어 제1 유형의 IDM이 내시경을 조작하는 한편, 제2 유형의 IDM이 복강경을 조작한다. MCI(116)는 로봇 아암(102)으로부터 IDM(117)으로 공압, 전력, 전기 신호, 및 광학 신호를 전달하는 커넥터를 포함한다. MCI(116)는 세트 스크류 또는 기부 플레이트 커넥터일 수 있다. IDM(117)은 수술 기구, 예컨대 내시경(118)을, 직접 구동, 고조파 구동(harmonic drive), 기어식 구동, 벨트 및 풀리, 자기 구동(magnetic drive) 등을 포함하는 기법을 사용하여 조작한다. MCI(116)는 IDM(117)의 유형에 기초하여 교환가능하고, 소정 유형의 수술 절차에 대해 맞춤화될 수 있다. 쿠카 아게(KUKA AG)(등록상표) LBR5 로봇 아암과 같은 로봇 아암(102)은 원위 단부에 리스트(wrist) 및 조인트 레벨 토크 감지부(joint level torque sensing)를 포함할 수 있다.

내시경(118)은 해부학적 구조(예컨대, 신체 조직)의 이미지를 캡처하기 위해 환자의 해부학적 구조 내로 삽입되는 튜브형이고 가요성인 수술 기구이다. 특히, 내시경(118)은 이미지를 캡처하는 하나 이상의 이미징 장치(예컨대, 카메라 또는 다른 유형의 광학 센서)를 포함한다. 이미징 장치는 광섬유, 섬유 어레이, 또는 렌즈와 같은 하나 이상의 광학 구성요소를 포함할 수 있다. 광학 구성요소는 내시경(118)의 팁과 함께 이동하여, 내시경(118)의 팁의 이동이 이미징 장치에 의해 캡처되는 이미지에 대한 변화를 생성하게 한다. 내시경(118)은 섹션 IV. 내시경에서 도 3a 내지 도 4b를 참조하여 추가로 기술된다.

수술 로봇 시스템(100)의 로봇 아암(102)은 세장형 이동 부재를 사용하여 내시경(118)을 조작한다. 세장형 이동 부재는, 풀 또는 푸시 와이어(pull or push wire), 케이블, 섬유, 또는 가요성 샤프트로 또한 지칭되는 풀 와이어를 포함할 수 있다. 예를 들어, 로봇 아암(102)은 내시경(118)에 결합된 다수의 풀 와이어를 작동시켜 내시경(118)의 팁을 편향시킨다. 풀 와이어는 스테인리스 강, 케블라(Kevlar), 텅스텐, 탄소 섬유 등과 같은 금속 및 비-금속 재료 둘 모두를 포함할 수 있다. 내시경(118)은 세장형 이동 부재에 의해 인가되는 힘에 응답하여 비선형 거동을 나타낼 수 있다. 비선형 거동은 내시경(118)의 강직성 및 압축성뿐만 아니라, 상이한 세장형 이동 부재들 사이의 슬랙(slack) 또는 강직성의 변동에 기초할 수 있다.

도 1b 내지 도 1f는 다양한 실시예에 따른, 로봇 플랫폼(150)(또는 수술 베드)에 결합된 수술 로봇 시스템(100)의 다양한 사시도를 도시한다. 구체적으로, 도 1b는 로봇 아암(102)이 내시경(118)을 조작하여 환자의 신체 내측에 내시경을 삽입하는 수술 로봇 시스템(100)의 측면도를 도시하며, 환자는 로봇 플랫폼(150) 상에 누워 있다. 도 1c는 수술 로봇 시스템(100) 및 로봇 플랫폼(150)의 평면도를 도시하며, 로봇 아암에 의해 조작되는 내시경(118)은 환자의 신체 내측에 삽입된다. 도 1d는 수술 로봇 시스템(100) 및 로봇 플랫폼(150)의 사시도를 도시하며, 내시경(118)은 로봇 플랫폼과 수평으로 평행하게 위치되도록 제어된다. 도 1e는 수술 로봇 시스템(100) 및 로봇 플랫폼(150)의 다른 사시도를 도시하며, 내시경(118)은 로봇 플랫폼에 비교적 수직으로 위치되도록 제어된다. 더 상세하게는, 도 1e에서, 로봇 플랫폼(150)의 수평 표면과 내시경(118) 사이의 각도는 75도이다. 도 1f는 도 1e에 도시된 수술 로봇 시스템(100) 및 로봇 플랫폼(150)의 사시도를 도시하며, 더 상세하게는, 로봇 플랫폼으로부터 상대적으로 더 멀리 떨어져 위치된 로봇 아암(102)과 내시경(118)의 일 단부(180)를 연결하는 가상 선(160)과 내시경(118) 사이의 각도는 90도이다.

II. 명령 콘솔

도 2는 일 실시예에 따른, 예시적인 수술 로봇 시스템(100)을 위한 예시적인 명령 콘솔(200)을 도시한다. 명령 콘솔(200)은 콘솔 기부(201), 디스플레이 모듈(202), 예컨대 모니터, 및 제어 모듈, 예컨대 키보드(203) 및 조이스틱(204)을 포함한다. 일부 실시예에서, 명령 콘솔(200) 기능 중 하나 이상은 수술 로봇 시스템(100)의 기부(101) 또는 수술 로봇 시스템(100)에 통신가능하게 결합된 다른 시스템에 통합될 수 있다. 사용자(205), 예컨대 의사가 명령 콘솔(200)을 사용하여 인체공학적 위치로부터 수술 로봇 시스템(100)을 원격으로 제어한다.

콘솔 기부(201)는 카메라 이미지와 같은 신호의 해석과 처리 및 예컨대 도 1에 도시된 내시경(118)으로부터의 센서 데이터의 추적을 담당하는 중앙 처리 유닛, 메모리 유닛, 데이터 버스, 및 연관 데이터 통신 포트를 포함할 수 있다. 일부 실시예에서, 콘솔 기부(201) 및 기부(101) 둘 모두는 하중-균형(load-balancing)을 위한 신호 처리를 수행한다. 콘솔 기부(201)는 또한 제어 모듈(203, 204)을 통해 사용자(205)에 의해 제공되는 명령 및 명령어를 처리할 수 있다. 도 2에 도시된 키보드(203) 및 조이스틱(204)에 더하여, 제어 모듈은 다른 장치, 예를 들어 컴퓨터 마우스, 트랙패드, 트랙볼, 제어 패드, 비디오 게임 제어기, 및 손 제스처와 손가락 제스처를 캡처하는 센서(예컨대, 모션 센서 또는 카메라)를 포함할 수 있다.

사용자(205)는 속도 모드 또는 위치 제어 모드에서 명령 콘솔(200)을 사용하여 내시경(118)과 같은 수술 기구를 제어할 수 있다. 속도 모드에서, 사용자(205)는 제어 모듈을 사용한 직접 수동 제어에 기초하여 내시경(118)의 원위 단부의 피치(pitch) 및 요(yaw) 운동을 직접 제어한다. 예를 들어, 조이스틱(204)에 대한 이동은 내시경(118)의 원위 단부의 요 및 피치 이동에 매핑될(mapped) 수 있다. 조이스틱(204)은 사용자(205)에게 햅틱 피드백(haptic feedback)을 제공할 수 있다. 예를 들어, 조이스틱(204)은 내시경(118)이 소정 방향으로 추가로 병진하거나 회전할 수 없음을 나타내기 위해 진동한다. 명령 콘솔(200)은 또한 내시경(118)이 최대 병진 또는 회전에 도달하였음을 나타내기 위해 시각 피드백(예컨대, 팝-업 메시지) 및/또는 청각 피드백(예컨대, 비프음(beeping))을 제공할 수 있다.

위치 제어 모드에서, 명령 콘솔(200)은 수술 기구, 예컨대 내시경(118)을 제어하기 위해 환자의 3차원(3D) 맵(map) 및 환자의 사전-결정된 컴퓨터 모델을 사용한다. 명령 콘솔(200)은 내시경(118)을 표적 위치로 조작하기 위해 수술 로봇 시스템(100)의 로봇 아암(102)에 제어 신호를 제공한다. 3D 맵에 대한 의존성으로 인해, 위치 제어 모드는 환자의 해부학적 구조의 정확한 매핑을 필요로 한다.

일부 실시예에서, 사용자(205)는 명령 콘솔(200)을 사용함이 없이 수술 로봇 시스템(100)의 로봇 아암(102)을 수동으로 조작할 수 있다. 수술실에서의 구성 동안, 사용자(205)는 환자에게 접근하기 위해 로봇 아암(102), 내시경(118), 및 다른 수술 장비를 이동시킬 수 있다. 수술 로봇 시스템(100)은 로봇 아암(102) 및 장비의 적절한 구성을 결정하기 위해 사용자(205)로부터의 관성 제어 및 힘 피드백에 의존할 수 있다.

디스플레이 모듈(202)은 전자 모니터, 가상 현실 관찰 장치, 예컨대 고글 또는 안경, 및/또는 다른 디스플레이 장치 수단을 포함할 수 있다. 일부 실시예에서, 디스플레이 모듈(202)은 예를 들어 터치스크린을 갖는 태블릿 장치로서 제어 모듈과 통합된다. 또한, 사용자(205)는 통합된 디스플레이 모듈(202) 및 제어 모듈을 사용하여 데이터를 관찰할 뿐만 아니라 수술 로봇 시스템(100)에 명령을 입력할 수 있다.

디스플레이 모듈(202)은 입체 장치(stereoscopic device), 예컨대 바이저 또는 고글을 사용하여 3D 이미지를 디스플레이할 수 있다. 3D 이미지는 환자의 해부학적 구조를 예시하는 컴퓨터 3D 모델인 "엔도 뷰(endo view)"(즉, 내시경 뷰)를 제공한다. "엔도 뷰"는 환자 내부의 가상 환경 및 환자 내측의 내시경(118)의 예상된 위치를 제공한다. 사용자(205)는 "엔도 뷰" 모델을 카메라에 의해 캡처된 실제 이미지와 비교하여, 마음속으로 배향시키고 내시경(118)이 환자 내에서 정확한 - 또는 대략 정확한 - 위치에 있는지를 확인하는 데 도움을 준다. "엔도 뷰"는 내시경(118)의 원위 단부 주위의 해부학적 구조물, 예컨대 환자의 장 또는 결장의 형상에 관한 정보를 제공한다. 디스플레이 모듈(202)은 내시경(118)의 원위 단부 주위의 해부학적 구조의 컴퓨터 단층촬영(CT) 스캔 및 3D 모델을 동시에 디스플레이할 수 있다. 또한, 디스플레이 모듈(202)은 수술전 모델 데이터에 기초하여 생성되는 스캔/이미지(예컨대, CT 스캔) 및 3D 모델 상에 내시경(118)의 이미 결정된 내비게이션 경로를 오버레이할(overlay) 수 있다.

일부 실시예에서, 내시경(118)의 모델이 수술 절차의 상태를 나타내는 데 도움을 주기 위해 3D 모델과 함께 디스플레이된다. 예를 들어, CT 스캔은 생검이 필요할 수 있는 해부학적 구조 내의 병변을 식별한다. 작동 동안, 디스플레이 모듈(202)은 내시경(118)의 현재 위치에 대응하는, 내시경(118)에 의해 캡처된 기준 이미지를 보여줄 수 있다. 디스플레이 모듈(202)은 사용자 설정 및 특정 수술 절차에 따라 내시경(118)의 모델의 상이한 뷰를 자동으로 디스플레이할 수 있다. 예를 들어, 디스플레이 모듈(202)은 내시경(118)이 환자의 수술 영역에 접근함에 따라 내비게이션 단계 동안 내시경(118)의 오버헤드 형광투시 뷰(overhead fluoroscopic view)를 보여준다.

III. 기구 장치 조작기

도 3a는 일 실시예에 따른, 도 1에 도시된 IDM(117)의 예시적인 독립적인 구동 메커니즘의 등각도를 도시한다. 독립적인 구동 메커니즘은 각각 IDM(117)의 출력 샤프트(305, 306, 307, 308)를 회전시킴으로써 내시경의 풀 와이어(321, 322, 323, 324)를 (예컨대, 서로 독립적으로) 팽팽하게 하거나 느슨하게 할 수 있다. 출력 샤프트(305, 306, 307, 308)가 각도 운동을 통해 각각 풀 와이어(321, 322, 323, 324)를 따라 힘을 전달하는 것처럼, 풀 와이어(321, 322, 323, 324)는 힘을 다시 출력 샤프트로 전달한다. IDM(117) 및/또는 수술 로봇 시스템(100)은 센서, 예컨대 추가로 후술되는 스트레인 게이지를 사용하여 전달된 힘을 측정할 수 있다.

도 3b는 일 실시예에 따른, 도 3a에 도시된 독립적인 구동 메커니즘의 스트레인 게이지(334)에 의해 힘이 측정될 수 있는 방법을 보여주는 개념도를 도시한다. 힘(331)이 모터(337)의 모터 마운트(333)에 결합된 출력 샤프트(305)로부터 멀어지게 지향될 수 있다. 따라서, 힘(331)은 모터 마운트(333)의 수평 변위를 생성한다. 또한, 모터 마운트(333)에 수평으로 결합된 스트레인 게이지(334)는 힘(331)의 방향으로 변형을 겪는다. 변형은 스트레인 게이지(334)의 전체 수평 폭(336)에 대한 스트레인 게이지(334)의 팁(335)의 수평 변위의 비로서 측정될 수 있다.

일부 실시예에서, IDM(117)은 IDM(117)의 배향을 결정하기 위해 추가 센서, 예컨대 경사계 또는 가속도계를 포함한다. 추가 센서 및/또는 스트레인 게이지(334)로부터의 측정치에 기초하여, 수술 로봇 시스템(100)은 중력 하중 효과를 처리하기 위해 스트레인 게이지(334)로부터의 판독치를 교정할 수 있다. 예를 들어, IDM(117)이 IDM(117)의 수평측으로 배향되는 경우, IDM(117)의 소정 구성요소의 중량은 모터 마운트(333)에 대해 변형을 유발할 수 있다. 따라서, 중력 하중 효과를 처리하지 않으면, 스트레인 게이지(334)는 출력 샤프트에 대한 변형으로부터 생성되지 않은 변형을 측정할 수 있다.

IV. 내시경

IV. A. 내시경 평면도

도 4a는 일 실시예에 따른 예시적인 내시경(118)의 평면도를 도시한다. 내시경(118)은, 시스(411) 튜브형 구성요소 내측에 포개지거나 부분적으로 포개지고 그와 길이방향으로 정렬되는 리더(leader)(415) 튜브형 구성요소를 포함한다. 시스(411)는 근위 시스 섹션(412) 및 원위 시스 섹션(413)을 포함한다. 리더(415)는 시스(411)보다 작은 외경을 갖고, 근위 리더 섹션(416) 및 원위 리더 섹션(417)을 포함한다. 시스 기부(414) 및 리더 기부(418)는, 예를 들어 수술 로봇 시스템(100)의 사용자로부터의 제어 신호에 기초하여, 각각 원위 시스 섹션(413) 및 원위 리더 섹션(417)을 작동시킨다. 시스 기부(414) 및 리더 기부(418)는 예컨대 도 1에 도시된 IDM(117)의 일부이다.

시스 기부(414) 및 리더 기부(418) 둘 모두는 시스(411) 및 리더(415)에 결합된 풀 와이어를 제어하기 위한 구동 메커니즘(예컨대, 섹션 III. 기구 장치 조작기에서 도 3a 및 도 3b를 참조하여 추가로 기술되는 독립적인 구동 메커니즘)을 포함한다. 예를 들어, 시스 기부(414)는 원위 시스 섹션(413)을 편향시키기 위해 시스(411)에 결합된 풀 와이어에 인장 하중을 생성한다. 유사하게, 리더 기부(418)는 원위 리더 섹션(417)을 편향시키기 위해 리더(415)에 결합된 풀 와이어에 인장 하중을 생성한다. 시스 기부(414) 및 리더 기부(418) 둘 모두는 또한 각각 IDM으로부터 시스(411) 및 리더(415)로의 공압, 전력, 전기 신호, 또는 광학 신호의 라우팅을 위한 커플링을 포함할 수 있다. 풀 와이어가 시스(411) 또는 리더(415) 내에서 풀 와이어의 길이를 따라 강철 코일 파이프를 포함할 수 있으며, 이는 축방향 압축을 다시 하중의 시점, 예컨대 각각 시스 기부(414) 또는 리더 기부(418)로 전달한다.

내시경(118)은 시스(411) 및 리더(415)에 결합된 풀 와이어에 의해 제공되는 다중 자유도로 인해 용이하게 환자의 해부학적 구조를 내비게이션할 수 있다. 예를 들어, 4개 이상의 풀 와이어가 시스(411) 및/또는 리더(415)에 사용되어, 8 이상의 자유도를 제공할 수 있다. 다른 실시예에서, 최대 3개의 풀 와이어가 사용되어, 최대 6 자유도를 제공할 수 있다. 시스(411) 및 리더(415)는 길이방향 축(406)을 따라 최대 360도 회전되어, 더 많은 운동도(degree of motion)를 제공할 수 있다. 회전 각도 및 다중 자유도의 조합은 수술 로봇 시스템(100)의 사용자에게 내시경(118)의 사용자 친화적이고 직관적인 제어를 제공한다. 도 4a에 예시되지 않지만, 내시경(118)은 내시경(118)의 하나 이상의 부분 내에 형상을 감지하기 위한 하나 이상의 광섬유를 포함할 수 있다. 예를 들어, 도 4b에 예시된 바와 같이, 광섬유(들)는 내시경(118)의 리더 부분 내에 포함될 수 있다. 대안적으로 또는 추가적으로, 광섬유(들)는 내시경(118)의 시스 부분 내에 포함될 수 있다. 아래에서 더 상세히 설명될 바와 같이, 광섬유로부터의 정보는 내비게이션 시스템의 성능, 카테터 제어 등을 향상시키기 위해, 다른 입력 센서와 같은 다른 입력 소스로부터의 정보, 모델링 데이터, 내시경의 알려진 특성 및 특징 등과 조합되어 사용될 수 있다.

IV. B. 내시경 단면도

도 4b는 일 실시예에 따른, 도 4a에 도시된 내시경(118)의 예시적인 내시경 단면(430)을 예시한다. 도 4b에서, 내시경 단면(430)은 조명원(432), 전자기(EM) 코일(434), 및 형상-감지 섬유(436)를 포함한다. 조명원(432)은 해부학적 공간의 내부 부분을 조명하기 위한 광을 제공한다. 제공된 광은 내시경(118)의 팁에 제공된 이미징 장치가 그러한 공간의 이미지를 기록하도록 허용할 수 있으며, 이는 이어서 본 명세서에 기술된 바와 같은 처리를 위해 명령 콘솔(200)과 같은 컴퓨터 시스템으로 전송될 수 있다. EM 코일(434)은 내시경(118)의 팁의 위치 및 배향을, 그것이 해부학적 시스템 내에 배치된 상태에서 검출하도록 EM 추적 시스템과 함께 사용될 수 있다. 일부 실시예에서, 코일은 상이한 축을 따라 EM 필드에 대한 감도를 제공하도록 경사져, 최대 6 자유도: 3개의 위치 및 3개의 각도를 측정하는 능력을 제공할 수 있다. 다른 실시예에서, 단일 코일만이, 그의 축이 내시경(118)의 내시경 샤프트를 따라 배향된 상태로, 내시경(118)의 팁 내에 배치될 수 있으며; 그러한 시스템의 회전 대칭성으로 인해, 그것은 그의 축을 중심으로 하는 롤(roll)에 민감하지 않고, 따라서 그러한 경우에 5 자유도만이 검출될 수 있다. 내시경 단면(430)은, 생검 바늘과 같은 수술 기구가 그것을 통해 내시경 샤프트를 따라 삽입되어 내시경 팁 부근의 영역에 대한 접근을 허용할 수 있는 작업 채널(438)을 추가로 포함한다. 본 명세서에 사용되는 바와 같은 "기구"는 수술 기구, 의료 기구, 및 내강 네트워크 내에서 내비게이션될 수 있는 임의의 다른 기구 또는 장치를 지칭할 수 있다.

예시된 실시예가 조명원(432)과 EM 코일(434) 및 대응하는 이미징 장치와 EM 추적 시스템을 포함하는 것으로 개시되지만, 본 명세서에 기술된 내시경의 수정된 실시예는 그러한 특징부들 중 하나 이상이 없을 수 있는 것으로 예상된다. 또한, 형상-감지 섬유(436)가 내시경(118)에 통합되는 것으로 기술되지만, 다른 실시예에서, 하나 이상의 형상-감지 섬유들(436) 중 임의의 것은 대신에, 작업 채널(438) 내로 삽입되고 형상 감지가 수행된 후에 작업 채널(438)로부터 제거될 수 있는 제거가능 작업 채널 장치일 수 있다. 다른 실시예에서, 형상-감지 섬유(436)는 내시경(118)의 외부에 장착될 수 있다.

IV. C. 형상-감지 광섬유

도 4c는 기구의 형상을 결정하는 데 사용되는 광을 생성 및 검출하기 위해 사용될 수 있는 형상 검출기(452), 내시경(454), 및 광섬유(456)를 갖는 시스템(450)을 도시한다. 광섬유(456)는 다른 파장을 투과시키면서 광의 소정 파장을 반사하는 섬유 브래그 격자(FBG)(458)의 하나 이상의 세그먼트를 포함할 수 있다. 격자(458)는 굴절률의 공간적 주기성을 생성하도록 굴절률의 일련의 변조를 포함할 수 있다. 격자(458)의 제조 동안, 변조는 알려진 거리만큼 이격되어, 알려진 파장 대역의 반사를 유발할 수 있다. 형상 검출기(452)는 광섬유(456)를 통해 광을 투과시키고 광섬유(456)로부터 반사된 광을 수신할 수 있다. 형상 검출기(452)는 격자(458)에 의해 반사된 광의 파장에 기초하여 반사 스펙트럼 데이터를 추가로 생성할 수 있다.

도 4c에 도시된 바와 같이, 단일 광섬유가 섬유 브래그 격자들의 다수의 세트를 포함할 수 있다. 내시경(454)은 다수의 광섬유를 포함할 수 있고, 형상 검출기(452)는 하나 초과의 섬유로부터의 신호를 검출 및 분석할 수 있다. 하나 이상의 광섬유가 도 4a의 리더(415), 도 4a의 시스(411), 또는 둘 모두에 포함될 수 있다. 내시경(454)이 예로서 사용되지만, 본 명세서에 기술된 기법은 임의의 다른 세장형 기구에 적용될 수 있다. 형상 검출기(452)는 검출되는 반사된 광 신호의 스펙트럼 분석에 기초하여 광섬유(456) 및 그에 따라 내시경(454)(또는 카테터 등과 같은 다른 세장형 기구)의 적어도 일부분의 기하학적 형상 또는 구성을 결정하도록 구성되는 제어기와 작동가능하게 결합될 수 있다.

형상 검출기(452)(예컨대, 수술 로봇 시스템(500)) 내의 또는 그와 통신하는 제어기는 2차원 또는 3차원 공간 내에서 내시경(454)의 위치 및 배향 데이터를 생성하도록 반사 스펙트럼 데이터를 분석할 수 있다. 특히, 내시경(454)이 굽혀짐에 따라, 내측에 위치된 광섬유(456)가 또한 굽혀지고, 이는 광섬유(456)에 대한 변형을 유발한다. 광섬유(456)에 대해 변형이 유도될 때, 변조의 간격은 광섬유(456)에 대한 변형의 양에 따라 변경될 것이다. 변형을 측정하기 위해, 광이 광섬유(456)를 따라 전송되고, 복귀하는 광의 특성이 측정된다. 예를 들어, 격자(458)는 광섬유(456)에 대한 변형(및 온도와 같은 다른 인자)의 함수인 반사 파장을 생성할 수 있다. 격자(458)에 의해 반사된 광의 특정 파장에 기초하여, 시스템은 광섬유(456)에 대한 변형의 양을 결정하고, 추가로 변형의 양에 기초하여(예컨대, "곧은" 내시경의 변형 특성이 "만곡된" 내시경의 변형 특성과 어떻게 상이할 수 있는지에 기초하여) 광섬유(456)의 형상을 예측할 수 있다. 따라서, 시스템은 예를 들어 반사 스펙트럼 데이터의 차이를 식별함으로써 (예컨대, 수술 로봇 시스템(500)으로부터의 명령에 응답하여) 내시경(454)이 하나 이상의 방향으로 얼마나 많은 정도로 굽혀졌는지를 결정할 수 있다.

일부 실시예에서, 광섬유(456)는 단일 클래딩(cladding) 내에 다수의 코어를 포함한다. 그러한 실시예에서, 각각의 코어는 각각의 코어 내의 광이 다른 코어 내에서 전달되는 광과 유의하게 상호작용하지 않도록 충분한 거리 및 코어를 분리하는 클래딩을 갖고서 별개의 광섬유로서 작동할 수 있다. 다른 실시예에서, 코어의 수는 달라질 수 있거나, 각각의 코어는 별개의 광섬유 내에 포함될 수 있다. 변형 및 형상 분석이 다중코어 광섬유에 적용될 때, 광섬유(456)의 굽힘은 각각의 코어에서의 파장 시프트(wavelength shift)를 모니터링함으로써 측정될 수 있는 코어에 대한 변형을 유도할 수 있다. 2개 이상의 코어가 광섬유(456) 내에 축외(off-axis)로 배치됨으로써, 광섬유의 굽힘은 코어들 각각에 대해 상이한 변형을 유도한다. 이들 변형은 섬유의 국소 굽힘도(local degree of bending)의 함수이다. 예를 들어, 격자(458)를 포함하는 코어의 영역은, 광섬유(456)가 굽혀지는 지점에 위치된 경우, 이로써 그들 지점에서의 굽힘의 양을 결정하는 데 사용될 수 있다. 격자(458)의 알려진 간격과 조합된 이들 데이터는 광섬유(456)의 형상을 재구성하는 데 사용될 수 있다.

광섬유는 형상 감지 광섬유에 대한 가시선(line-of-sight)이 요구되지 않기 때문에 환자의 신체 내측에서의 데이터 수집에 적합하다. 3차원으로 광섬유의 형상 및 상대 위치를 모니터링하기 위한 다양한 시스템 및 방법이, 그 내용이 전체적으로 본 명세서에 참고로 포함되는, 발명의 명칭이 "광섬유 위치 및 형상 감지 장치 및 그에 관한 방법(Fiber optic position and shape sensing device and method relating thereto)"인, 2005년 7월 13일자로 출원된 미국 특허 출원 공개 제2006/0013523호 및 발명의 명칭이 "광섬유 굽힘 센서(Optical fiber bend sensor)"인, 1998년 6월 17일자로 출원된 미국 특허 제6,389,187호에 기술되어 있다.

예시된 실시예가 브래그 격자를 가진 섬유를 이용하지만, 수정된 변형예에서, 광섬유가 섬유 코어를 따라 굴절률 변동을 야기하는 약간의 결함을 포함할 수 있다. 이들 변동은 레일리 산란(Rayleigh scatter)으로 불리는 소량의 후방산란을 야기할 수 있다. 광섬유의 변형 또는 온도의 변화는 광섬유의 유효 길이에 대한 변화를 유발한다. 유효 길이의 이러한 변화는 레일리 산란 지점의 공간적 위치의 변동 또는 변화를 야기한다. 교차 상관 기법이 레일리 산란의 이러한 변화를 측정할 수 있고, 변형에 관한 정보를 추출할 수 있다. 이들 기법은 저 반사율 섬유 격자와 연관된 것과 매우 유사한 방식으로 광학 주파수 영역 반사계(optical frequency domain reflectometer) 기법을 사용하는 것을 포함할 수 있다.

레일리 산란에 기초하여 광섬유 내의 복굴절을 계산하기 위한 방법 및 장치뿐만 아니라, 레일리 산란의 스펙트럼 시프트를 사용하여 광섬유 내의 변형을 측정하기 위한 장치 및 방법이, 둘 모두 전체적으로 본 명세서에 참고로 포함되는, 2006년 3월 9일자로 출원된 PCT 공개 WO 2006/099056호 및 2000년 3월 24일자로 출원된 미국 특허 제6,545,760호에서 확인될 수 있다. 복굴절은 도파관 내의 축방향 변형 및/또는 온도를 측정하는 데 사용될 수 있다.

IV. D. 변형-기반 형상 데이터의 개선

변형-기반 형상 감지는 기구 내측에서 연장되는 광섬유를 따른 변형을 측정함으로써 내시경 또는 다른 기구의 형상의 재구성을 허용할 수 있다. 변형의 측정은 광섬유 내측의 격자 상에서의 광의 반사의 시공간적 변동을 캡처한다. 각각의 격자 사이의 거리는 반사에 영향을 미치고, 따라서 광섬유(또는 기구)를 따른 정확한 위치에서 변형을 측정하는 데 사용될 수 있다. 그러나, 일부 경우에, 변형-기반 형상 감지는 잡음에 의해 부정적인 영향을 받을 수 있다. 그러한 경우에, 변형의 실제 변화와 가성(false) 변화를 구별하는 것이 어려울 수 있다.

개선된 변형-기반 형상 감지 시스템이 그의 변형-기반 형상 감지 또는 그러한 변형-기반 형상 감지에 기초하여 결정되는 상태 추정의 정확도를 개선하기 위해(또는 신뢰도를 조절하기 위해) 시스템에 이용가능한 다른 데이터(예컨대, 로봇 데이터, 이미지 데이터, EM 데이터 등)를 이용할 수 있다. 대안적으로 또는 추가적으로, 개선된 변형-기반 형상 감지 시스템이 그의 다른 데이터(예컨대, 로봇 데이터, 이미지 데이터, EM 데이터 등) 또는 그러한 데이터에 기초하여 결정되는 상태 추정의 정확도를 개선하기 위해(또는 신뢰도를 조절하기 위해) 그의 변형-기반 형상 감지에 기초하여 결정되는 형상 데이터를 이용할 수 있다.

도 4d 및 도 4e는 시스템이 그의 변형-기반 형상 감지를 개선, 조절, 또는 가중하기 위해 시스템에 이용가능한 정보를 이용할 수 있는 방법을 예시한다. 시스템은 로봇 데이터(예컨대, 명령 데이터, 힘 및 거리 데이터, 기계적 모델 데이터, 운동학적 모델 데이터 등)와 같은 시스템에 이용가능한 데이터에 액세스하고, 그러한 데이터에 기초하여, 환자의 신체 내에서 내비게이션되는 기구(또는 그의 특정 부분)의 형상에 관한 소정 특성을 결정할 수 있다. 그러한 특성은 곡률 정보(예컨대, 기구가 나타낼 수 있는 최대 곡률, 또는 로봇 데이터에 의해 지시되는 현재 힘 및 거리 데이터를 고려하여 허용가능한 곡률 값의 범위), 이동 정보(예컨대, 기구가 이동할 수 있는 최대 속도, 또는 로봇 데이터에 의해 지시되는 현재 힘 및 거리 데이터를 고려하여 허용가능한 속도 값의 범위), 시스 정보(예컨대, 기구의 하나 이상의 부분을 덮고 있는 시스의 현재 형상) 등을 포함할 수 있다. 변형-기반 형상 예측이 로봇 데이터에 기초하여 결정되는 이들 특성에 의해 지시되는 하나 이상의 제약을 충족시키지 않는 것으로 결정할 때, 시스템은 조절된 변형-기반 형상 예측이 제약을 충족시키도록 변형-기반 형상 예측을 조절하거나, 특정 변형-기반 형상 예측과 연관된 신뢰도 또는 가중치를 감소시키거나, 변형-기반 형상 예측을 무시할 수 있다.

도 4d는 내시경(118)의 실제 형상(472), 로봇-데이터-기반 형상 예측(473), 및 내시경(118)의 변형-기반 형상 예측(474)을 도시한다. 실제 형상(472)은 실제 곡률(476)을 나타내는 반면, 로봇-데이터-기반 형상 예측(473)은 예측된 곡률(477)을 나타내고, 변형-기반 형상 예측(474)은 예측된 곡률(478)을 나타낸다. 도 4d의 예에서, 시스템은, 로봇 데이터에 기초하여, 내시경(118)이 충족시킬 것으로 예상되는 하나 이상의 조건을 결정할 수 있다(예컨대, 내시경(118)을 따른 주어진 지점에서의 곡률 값은 사전결정된 값의 범위 내에 있어야 하거나, 풀 와이어 상의 당김력 및/또는 풀 와이어가 작동된 거리에 기초하여 결정되는 값의 범위 내에 있어야 함). 변형-기반 형상 예측(474)의 일부분이 (예컨대, 내시경(118)에 대응하는 로봇 데이터에 기초하여 결정되는 바와 같은 예상된 곡률 값 범위 밖에 있는 예측된 곡률 값을 지시함으로써) 그러한 조건을 충족시키지 않는 것으로 결정할 때, 시스템은 변형-기반 형상 예측(474)의 그러한 부분이 조건을 충족시키도록(예컨대, 형상 데이터가 예상된 곡률 값 범위 밖에 있는 예측된 곡률 값을 더 이상 지시하지 않도록) 변형-기반 형상 예측(474)을 조절하거나, 변형-기반 형상 예측(474)의 그러한 부분과 연관된 신뢰도 또는 가중치를 감소시키거나, 변형-기반 형상 예측(474)의 그러한 부분을 무시할 수 있다(예컨대, 내시경(118)의 현재 상태를 추정하는 데에 변형-기반 형상 예측(474)의 그러한 부분을 사용하는 것을 억제함). 예를 들어, 도 4d에 도시된 바와 같이, 시스템은, 로봇 데이터(예컨대, 당김력 및 거리)에 기초하여, 주어진 지점에서 예측된 곡률(477)을 나타내는 로봇-데이터-기반 형상 예측(473)을 결정할 수 있다. 시스템은 예측된 곡률(477)을 변형-기반 형상 예측(474)이 나타내는 예측된 곡률(478)과 비교할 수 있다. 예측된 곡률(478)이 예측된 곡률(477)과 상이한 것으로 결정할 때, 시스템은 예측된 곡률(477)과 동일하도록 예측된 곡률(487)을 조절할 수 있다. 대안적으로, 예측된 곡률(478)이 예측된 곡률(477)로부터 주어진 임계 범위(예컨대, ± 10 퍼센트) 내에 있지 않은 것으로 결정할 때, 시스템은 예측된 곡률(487)을 임계 범위 내에 있도록 조절할 수 있다(예컨대, 예측된 곡률(478)이 범위를 초과하는 경우 임계 범위의 상한으로 설정하고, 예측된 곡률(478)이 범위에 미달하는 경우 임계 범위의 하한으로 설정함). 추가적으로 또는 대안적으로, 시스템은 예측된 곡률(478)이 예측된 곡률(477)과 상이하다는(또는 예측된 곡률(478)이 주어진 임계 범위 내에 있지 않다는) 결정에 기초하여 변형-기반 형상 예측(474)과 연관된 신뢰도 값을 낮추고, 그리고/또는 예측된 곡률(478)이 예측된 곡률(477)과 동일하다는(또는 예측된 곡률(478)이 주어진 임계 범위 내에 있다는) 결정에 기초하여 변형-기반 형상 예측(474)과 연관된 신뢰도 값을 증가시킬 수 있다.

도 4e는 내시경(118)의 로봇-데이터-기반 형상 예측(482) 및 내시경(118)의 변형-기반 형상 예측(484)을 도시한다. 로봇-데이터-기반 형상 예측(482)은 예측된 이동(486)을 나타내는 반면, 변형-기반 형상 예측(484)은 예측된 이동(488)을 나타낸다. 도 4d를 참조하여 기술된 바와 같이, 시스템은, 로봇 데이터에 기초하여, 내시경(118)이 충족시킬 것으로 예상되는 하나 이상의 조건을 결정할 수 있다. 예를 들어, 로봇 데이터에 기초하여, 시스템은 내시경(118)이 이동하는 속도가 소정의 값의 범위 내에 있어야 하는 것으로 결정할 수 있다. 변형-기반 형상 예측(484)의 일부분이 그러한 조건을 충족시키지 않는 것으로 결정할 때, 시스템은 변형-기반 형상 예측(484)의 그러한 부분이 조건을 충족시키도록(예컨대, 형상 데이터가 예상된 속도 값 범위 밖에 있는 예측된 속도 값을 더 이상 지시하지 않도록) 변형-기반 형상 예측(484)을 조절하거나, 변형-기반 형상 예측(484)의 그러한 부분과 연관된 신뢰도 또는 가중치를 감소시키거나, 변형-기반 형상 예측(484)의 그러한 부분을 무시할 수 있다(예컨대, 내시경(118)의 현재 상태를 추정하는 데에 변형-기반 형상 예측(484)의 그러한 부분을 사용하는 것을 억제함). 예를 들어, 도 4e에 도시된 바와 같이, 시스템은, 로봇 데이터(예컨대, 시간의 함수로서 당김력 및/또는 거리)에 기초하여, 예측된 이동(486)을 나타내는 로봇-데이터-기반 형상 예측(482)을 결정할 수 있다. 시스템은 예측된 이동(486)을 변형-기반 형상 예측(484)이 나타내는 예측된 이동(488)과 비교할 수 있다. 예측된 이동(488)이 예측된 이동(486)과 상이한 것으로 결정할 때, 시스템은 예측된 이동(486)과 동일하도록 예측된 이동(488)을 조절할 수 있다. 대안적으로, 예측된 이동(488)이 주어진 임계 범위 내에(예컨대, 이동 속도가 예측된 이동(486)의 이동 속도의 ± 10 퍼센트 이내임) 있지 않은 것으로 결정할 때, 시스템은 예측된 이동(488)을 임계 범위 내에 있도록 조절할 수 있다(예컨대, 변형-기반 형상 예측(484)의 예측된 이동 속도가 이동 속도 범위를 초과하는 경우 임계 이동 속도 범위의 상한으로 설정하고, 변형-기반 형상 예측(484)의 예측된 이동 속도가 이동 속도 범위에 미달하는 경우 임계 이동 속도 범위의 하한으로 설정함). 추가적으로 또는 대안적으로, 시스템은 예측된 이동(488)이 예측된 이동(486)과 상이하다는(또는 예측된 이동(488)이 주어진 임계치 내에 있지 않다는) 결정에 기초하여 변형-기반 형상 예측(484)과 연관된 신뢰도 값을 낮추고, 그리고/또는 예측된 이동(488)이 예측된 이동(486)과 동일하다는(또는 예측된 이동(488)이 주어진 임계치 내에 있다는) 결정에 기초하여 변형-기반 형상 예측(484)과 연관된 신뢰도 값을 증가시킬 수 있다.

변형 데이터 및 다른 데이터(그 중 일부 또는 전부가 변형-기반 형상 데이터를 개선하는 데 이용될 수 있음)를 수집하고 상태 추정을 결정하는 프로세스는 도 8 내지 도 11을 참조하여 더 상세히 후술된다.

V. 3D 모델에 대한 EM 시스템의 정합 변환(registration Transform)

V. A. EM 추적 시스템의 개략적인 구성

소정 실시예에서, EM 추적 시스템이 본 명세서에 기술된 시스템과 조합하여 사용될 수 있다. 도 5는 일 실시예에 따른, 수술 로봇 시스템(500) 내에 포함될 수 있는 그러한 EM 추적 시스템(505)의 예시적인 개략적인 구성을 도시한다. 도 5에서, 다수의 로봇 구성요소(예컨대, 후술되는 바와 같은 윈도우 필드 발생기(window field generator), 기준 센서)가 EM 추적 시스템(505) 내에 포함된다. 수술 로봇 시스템(500)은 환자의 신체를 유지시키기 위한 수술 베드(511)를 포함한다. EM 코일들(예컨대, 도 4b에 도시된 EM 코일들(434))의 세트를 순차적으로 활성화시키도록 구성되는 윈도우 필드 발생기(WFG)(512)가 베드(511) 아래에 있다. WFG(512)는 넓은 체적에 걸쳐 교류(AC) 자기 필드를 생성하는데; 예를 들어 일부 경우에, 그것은 약 0.5 x 0.5 x 0.5 m의 체적 내에 AC 필드를 생성할 수 있다.

추가 필드가 신체 내의 기구를 추적하는 데 도움을 주기 위해 추가 필드 발생기에 의해 인가될 수 있다. 예를 들어, 평면형 필드 발생기(planar field generator, PFG)가 환자에 인접한 시스템 아암에 부착되고 EM 필드를 일정 각도로 제공하도록 배향될 수 있다. 기준 센서(513)는 추적 정확도를 추가로 증가시키기 위해 국소 EM 필드를 제공하도록 환자의 신체 상에 배치될 수 있다. 기준 센서들(513) 각각은 케이블(514)에 의해 명령 모듈(515)에 부착될 수 있다. 케이블(514)은 그들 각각의 장치와의 통신을 취급할 뿐만 아니라 전력을 제공하는 인터페이스 유닛(516)을 통해 명령 모듈(515)에 연결된다. 인터페이스 유닛(516)은 위에서 언급된 다양한 엔티티에 대한 전체 인터페이스 제어기로서 작용하는 시스템 제어 유닛(system control unit, SCU)(517)에 결합된다. SCU(517)는 또한 필드 발생기(예컨대, WFG(512))를 구동시킬 뿐만 아니라, 인터페이스 유닛(516)으로부터의 센서 데이터를 수집하며, 이로부터 SCU가 신체 내의 센서의 위치 및 배향을 계산한다. SCU(517)는 사용자 액세스 및 제어를 허용하도록 개인용 컴퓨터(PC)(518)에 결합될 수 있다.

명령 모듈(515)은 또한 본 명세서에 기술된 바와 같이 수술 로봇 시스템(500)에 결합되는 다양한 IDM(519)에 연결된다. IDM(519)은 전형적으로 단일 수술 로봇 시스템(예컨대, 수술 로봇 시스템(500))에 결합되고, 그들 각각의 연결된 로봇 구성요소; 예를 들어, 로봇 내시경 도구 또는 로봇 아암을 제어하고 그로부터 데이터를 수신하기 위해 사용된다. 전술된 바와 같이, 예로서, IDM(519)은 수술 로봇 시스템(500)의 내시경 도구(여기에 도시되지 않음)에 결합된다.

명령 모듈(515)은 내시경 도구로부터 전달된 데이터를 수신한다. 수신된 데이터의 유형은 부착된 기구의 대응하는 유형에 의존한다. 예를 들어, 예시적인 수신된 데이터는 센서 데이터(예컨대, 이미지 데이터, EM 데이터), 로봇 데이터(예컨대, 명령 데이터, 힘 및 거리 데이터, 기계적 모델 데이터, 운동학적 모델 데이터 등), 제어 데이터, 및/또는 비디오 데이터를 포함한다. 비디오 데이터를 더 양호하게 취급하기 위해, 필드-프로그래머블 게이트 어레이(field-programmable gate array, FPGA)(520)가 이미지 처리를 취급하도록 구성될 수 있다. 다양한 센서, 장치, 및 필드 발생기로부터 획득된 데이터를 비교하는 것은 SCU(517)가 수술 로봇 시스템(500)의 상이한 구성요소의 이동, 및 예를 들어 이들 구성요소의 위치 및 배향을 정밀하게 추적하도록 허용한다.

환자의 해부학적 구조를 통해 센서를 추적하기 위해, EM 추적 시스템(505)은 "정합"으로 알려진 프로세스를 필요로 할 수 있으며, 여기에서 시스템은 상이한 좌표계들 사이에서 단일 객체를 정렬시키는 기하학적 변환을 발견한다. 예를 들어, 환자 상의 특정 해부학적 부위가 3D 모델 좌표에서 그리고 EM 센서 좌표에서 2개의 상이한 표현을 갖는다. 이들 2개의 상이한 좌표계들 사이의 일관성 및 공통 언어를 확립할 수 있도록 하기 위해, EM 추적 시스템(505)은 이들 2개의 표현을 링크시키는 변환, 즉 정합을 발견하여야 한다. 예를 들어, EM 필드 발생기의 위치에 대한 EM 추적기의 위치는 대응하는 3D 모델 내에서의 위치를 격리시키기 위해 3D 좌표계에 매핑될 수 있다.

V. B. 3D 모델 표현

도 6a 및 도 6b는 일 실시예에 따른, 예시적인 해부학적 내강(600) 및 해부학적 내강의 예시적인 3D 모델(620)을 도시한다. 더 구체적으로는, 도 6a 및 도 6b는 실제 해부학적 내강(600)과 그의 3D 모델(620) 사이의 중심선 좌표, 직경 측정치 및 해부학적 공간의 관계를 예시한다. 도 6a에서, 해부학적 내강(600)은 중심선 좌표(601, 602, 603, 604, 605, 606)에 의해 길이방향으로 대략적으로 추적되며, 여기에서 각각의 중심선 좌표는 내강의 단층촬영 슬라이스(tomographic slice)의 중심에 대략적으로 근사화된다. 중심선 좌표는 중심선(607)에 의해 연결되고 시각화된다. 내강의 체적은 각각의 중심선 좌표에서 내강의 직경을 측정함으로써 추가로 시각화될 수 있는데, 예컨대 직경(608, 609, 610, 611, 612, 613)은 좌표(601, 602, 603, 604, 605, 606)에 대응하는 해부학적 내강(600)의 측정치를 나타낸다.

도 6b는 일 실시예에 따른, 도 6a에 도시된 해부학적 내강(600)의 예시적인 3D 모델(620)을 도시한다. 도 6b에서, 해부학적 내강(600)은 먼저 중심선(607)에 기초하여 3D 공간에서 중심선 좌표(601, 602, 603, 604, 605, 606)의 위치를 찾아냄으로써 3D 공간에서 시각화된다. 일례로서, 각각의 중심선 좌표에서, 내강 직경은 직경(608, 609, 610, 611, 612, 613)을 가진 2D 원형 공간(예컨대, 2D 원형 공간(630))으로서 시각화된다. 3D 공간을 형성하기 위해 그들 2D 원형 공간을 연결함으로써, 해부학적 내강(600)은 3D 모델(620)로서 근사화되고 시각화된다. 더 정확한 근사화는 중심선 좌표 및 측정치의 해상도를 증가시킴으로써, 즉 주어진 내강 또는 서브섹션에 대한 중심선 좌표 및 측정치의 밀도를 증가시킴으로써 결정될 수 있다. 중심선 좌표는 또한 병변을 포함하여 의사에 대한 관심 대상의 지점을 나타내도록 마커를 포함할 수 있다.

일부 실시예에서, 수술전 소프트웨어 패키지가 또한 해부학적 공간의 생성된 3D 모델에 기초하여 내비게이션 경로를 분석하고 도출하는 데 사용된다. 예를 들어, 소프트웨어 패키지는 단일 병변으로의(중심선 좌표에 의해 마킹됨) 또는 여러 병변으로의 최단 내비게이션 경로를 도출할 수 있다. 이러한 내비게이션 경로는 조작자의 선호도에 따라 2차원 또는 3차원으로 수술중에 조작자에게 제시될 수 있다. 소정 구현예에서, 내비게이션 경로(또는 그의 일부분)는 조작자에 의해 수술전에 선택될 수 있다. 경로 선택은 환자의 해부학적 구조 내의 하나 이상의 표적 위치(간단히 "표적"으로 또한 지칭됨)의 식별을 포함할 수 있다.

도 7은 일 실시예에 따른, 해부학적 공간을 표현하는 컴퓨터-생성 3D 모델(700)을 도시한다. 도 6a 및 도 6b에서 위에서 논의된 바와 같이, 3D 모델(700)은 수술전에 생성되었던 CT 스캔을 검토함으로써 획득되었던 중심선(701)을 사용하여 생성될 수 있다. 일부 실시예에서, 컴퓨터 소프트웨어는 3D 모델(700) 내의 수술 부위(703)(또는 다른 표적)에 액세스하기 위해 관상 네트워크 내에서 내비게이션 경로(702)를 매핑하는 것이 가능할 수 있다. 일부 실시예에서, 수술 부위(703)는 개별 중심선 좌표(704)에 링크될 수 있으며, 이는 컴퓨터 알고리즘이 관상 네트워크 내에서의 최적 경로(702)에 대한 3D 모델(700)의 중심선 좌표를 위상적으로(topologically) 검색하도록 허용한다. 소정 실시예에서, 경로(702)에 대한 위상 검색은 하나 이상의 표적의 위치, 하나 이상의 웨이포인트(waypoint) 등과 같은, 소정의 조작자 선택 파라미터에 의해 제약될 수 있다.

일부 실시예에서, 환자의 해부학적 구조 내에서의 내시경 도구의 원위 단부는 추적되고, 환자의 해부학적 구조 내에서의 내시경 도구의 추적된 위치는 매핑되어 컴퓨터 모델 내에 배치되고, 이는 관상 네트워크의 내비게이션 능력을 향상시킨다. 내시경 도구의 원위 작업 단부, 즉 작업 단부의 위치 및 배향을 추적하기 위해, 다수의 접근법이 개별적으로 또는 조합으로 채용될 수 있다.

위치결정에 대한 센서-기반 접근법에서, EM 추적기와 같은 센서가 내시경 도구의 진행의 실시간 표시를 제공하기 위해 내시경 도구의 원위 작업 단부에 결합될 수 있다. EM-기반 추적에서, 내시경 도구 내에 매립된 EM 추적기가 하나 이상의 EM 전송기에 의해 생성되는 전자기 필드의 변동을 측정한다. 전송기(또는 필드 발생기)는 저 강도 자기 필드를 생성하기 위해 (예컨대, 수술 베드의 일부로서) 환자에 가깝게 배치될 수 있다. 이는 EM 추적기 내의 센서 코일에 소-전류(small-current)를 유도하며, 이는 센서와 발생기 사이의 거리 및 각도에 상관된다. 전기 신호는 이어서 인터페이스 유닛(온-칩(on-chip) 또는 PCB)에 의해 디지털화되고 케이블/배선을 통해 다시 시스템 카트(system cart)로 그리고 이어서 명령 모듈로 전송될 수 있다. 데이터는 이어서 현재 데이터를 해석하고 전송기에 대한 센서의 정확한 위치 및 배향을 계산하도록 처리될 수 있다. 다수의 센서가 내시경 도구 내의 상이한 위치에, 예를 들어 리더 및 시스 내에 사용되어 그들 구성요소의 개별 위치를 계산할 수 있다. 따라서, 인위적으로 생성된 EM 필드로부터의 판독치에 기초하여, EM 추적기는 그것이 환자의 해부학적 구조를 통해 이동함에 따라 필드 강도의 변화를 검출할 수 있다.

VI. 내비게이션 구성 시스템

VI. A. 내비게이션 구성 시스템의 상위 수준의 개요

도 8a는 일 실시예에 따른, 내비게이션 구성 시스템(900)의 예시적인 블록도를 도시한다. 도 8a에서, 내비게이션 구성 시스템(900)은 다수의 입력 데이터 저장소, 다수의 입력 데이터 저장소로부터 다양한 유형의 입력 데이터를 수신하는 내비게이션 모듈(905), 및 내비게이션 모듈(905)로부터 출력 내비게이션 데이터를 수신하는 출력 내비게이션 데이터 저장소(990)를 포함한다. 도 8a에 도시된 내비게이션 구성 시스템(900)의 블록도는 단지 일례이며, 도시되지 않은 대안적인 실시예에서, 내비게이션 구성 시스템(900)은 상이한 및/또는 추가 요소를 포함하거나 도 8a에 도시된 요소들 중 하나 이상을 포함하지 않을 수 있다. 마찬가지로, 내비게이션 구성 시스템(900)의 다양한 요소에 의해 수행되는 기능은 상이한 실시예에 따라 상이할 수 있다. 내비게이션 구성 시스템(900)은 전체적으로 본 명세서에 참고로 포함되는, 2017년 8월 8일자로 허여된 미국 특허 제9,727,963호에 기술된 내비게이션 시스템과 유사할 수 있다.

본 명세서에 사용되는 바와 같이, 입력 데이터는 출력 내비게이션 데이터뿐만 아니라 내시경(118)(또는 다른 기구)에 대한 추정 상태 정보를 생성하기 위해 입력 장치(예컨대, 명령 모듈, 광학 센서, EM 센서, IDM)로부터 수집된 원시 또는 처리된 데이터를 지칭한다. 다수의 입력 데이터 저장소(901 내지 941)는 변형 데이터 저장소(901), 이미지 데이터 저장소(910), EM 데이터 저장소(920), 로봇 데이터 저장소(930), 3D 모델 데이터 저장소(940), 및 다른 데이터 저장소(들)(941)를 포함할 수 있다. 입력 데이터 저장소(901 내지 941)의 각각의 유형은 내비게이션 모듈(905)에 의한 액세스 및 사용을 위한 명칭이 지시하는 유형의 데이터를 저장한다. 변형 데이터는 (예컨대, 도 4c의 형상 검출기(452)에 의해 생성 및/또는 저장된) 내시경(118)을 따른 변형의 하나 이상의 측정치를 포함할 수 있다.

이미지 데이터는 기구 팁에서 이미징 장치에 의해 캡처된 하나 이상의 이미지 프레임뿐만 아니라, 프레임들의 쌍들 사이에서 경과된 시간의 결정을 허용하는 타임스탬프 또는 프레임 레이트와 같은 정보를 포함할 수 있다.

로봇 데이터는 기구(예컨대, 내시경(118) 및/또는 그의 시스)의 제어, 및/또는 관상 네트워크 내에서의 기구 또는 기구의 일부(예컨대, 기구 팁 또는 시스)의 물리적 이동에 관련된 기능을 위해 시스템에 의해 전형적으로 사용되는 데이터를 포함할 수 있다. 로봇 데이터는 기구의 상태가 관상 네트워크 내에서 기구를 내비게이션하면서 측정된 데이터에 기초하여 추론되도록 허용할 수 있다. 운동학적 및 동역학적 모델은 교정 단계 동안 수집된 사전 정보(a priori information)에 기초하여 생성될 수 있다. 이러한 사전 정보는 장치 상에 저장되고, 기구의 구동, 제어, 및 내비게이션을 개선하도록 그리고 로봇에 이용가능한 다른 유형의 데이터(예컨대, EM 데이터, 이미지 데이터, 변형-기반 형상 데이터 등)를 개선하도록 로봇에 의해 판독 및 이용될 수 있다. 로봇 데이터는 각각의 기구에 특정되는 파라미터를 포함할 수 있다.

도 8c는 도 8a의 로봇 데이터 저장소(930)에 저장될 수 있는 로봇 데이터의 예를 예시한다. 도 8c에 도시된 바와 같이, 로봇 데이터는 기구 팁을 특정 해부학적 부위에 도달하게 하고/하거나 그의 배향을 변화시키게 하도록 지시하는 명령 데이터(931)(예컨대, 기구를 특정 피치, 롤, 및 요로 원하는 관절운동을 나타내게 하도록 지시하는 관절운동 데이터, 리더 및 시스 중 하나 또는 둘 모두에 대한 삽입 및 후퇴를 지시하는 삽입 및 후퇴 데이터 등), 힘 및 거리 데이터(932)(예컨대, 장치가 로봇 상에 로딩되었던 이후로 풀 와이어가 작동되었던 거리, IDM 내의 토크 센서에 의해 측정되는 바와 같은 풀 와이어에 인가되고 있는 힘의 양, 기구를 삽입 또는 후퇴시키기 위해 로봇 아암에 의해 가해진 삽입력의 양 등), 기구의 세장형 부재의 기계적 이동을 나타내는 기계적 모델 데이터(933)(예컨대, 관상 네트워크 내에서의 의료 기구의 실제 이동을 구동시키는 내시경의 하나 이상의 풀 와이어, 텐돈(tendon), 또는 샤프트의 운동), 기구의 운동 및 형상을 나타내는 운동학적 모델 데이터(934)(예컨대, 기구의 위치를 나타내는 기하학적 파라미터, 및/또는 사전결정된 또는 기준 위치 또는 좌표들의 세트에 대한 기하학적 파라미터에 대한 임의의 변화) 등을 포함할 수 있다.

EM 데이터는 전술된 바와 같이 하나 이상의 EM 센서(예컨대, 기구의 팁에 근접하게 위치됨) 및/또는 EM 추적 시스템에 의해 수집될 수 있다. 3D 모델 데이터는 특히 전술된 바와 같이 2D CT 스캔으로부터 도출될 수 있다.

출력 내비게이션 데이터 저장소(990)는 내비게이션 모듈(905)에 의해 제공되는 출력 내비게이션 데이터를 수신 및 저장한다. 출력 내비게이션 데이터는 관상 네트워크 내의 특정 목적지에 도달하기 위해 환자의 해부학적 구조를 통해 그리고 일례에서 관상 네트워크를 통해 기구를 지향시키는 것을 보조하기 위한 정보를 나타내고, 각각의 순간 시간(instant time)에 기구에 대한 추정 상태 정보에 기초한다. 추정 상태 정보는 관상 네트워크 내에서의 기구의 위치 및 배향을 포함할 수 있다. 일 실시예에서, 기구가 관상 네트워크 내측에서 이동함에 따라, 기구의 이동 및 위치/배향 정보의 업데이트를 나타내는 출력 내비게이션 데이터는 실시간으로 제공되고, 이는 관상 네트워크를 통한 그의 내비게이션을 더 양호하게 보조한다.

출력 내비게이션 데이터를 결정하기 위해, 내비게이션 모듈(905)은 관상 네트워크 내의 기구의 추정 상태의 위치를 찾아낸다(또는 결정한다). 도 8a에 도시된 바와 같이, 내비게이션 모듈(905)은 변형-기반 알고리즘 모듈(945), EM-기반 알고리즘 모듈(950), 이미지-기반 알고리즘 모듈(960), 로봇-기반 알고리즘 모듈(970), 다른 데이터에 기반한 알고리즘 모듈(971) 등과 같은 다양한 알고리즘 모듈을 추가로 포함한다. 이들 모듈은 각각 주로 소정 유형의 입력 데이터를 소비하고 상이한 유형의 데이터를 상태 추정기(980)에 제공할 수 있다. 도 8a에 예시된 바와 같이, (변형-기반 추정 상태 데이터, EM-기반 추정 상태 데이터, 이미지-기반 추정 상태 데이터, 및 로봇-기반 추정 상태 데이터, 및 다른 데이터에 기반한 추정 상태 데이터로 라벨링된) 이들 모듈에 의해 출력되는 상이한 종류의 데이터는 일반적으로 설명을 위해 "중간 데이터"로 지칭될 수 있다. 일부 경우에서, 내비게이션 모듈(905)은, 기구의 추정 상태에 기초하여, 기구에 대한 손상 또는 오작동(예컨대, 좌굴, 탈출 등)이 임박한 것으로 결정한다. 그러한 경우에, 내비게이션 모듈(905)은 기구가 손상 또는 오작동을 회피하는 방식으로 제어되게 할 수 있다. 각각의 알고리즘 모듈 및 상태 추정기(980)의 상세한 구성은 더 상세히 후술된다.

VI. B. 내비게이션 모듈

VI. B. 1. 상태 추정기

위에서 소개된 바와 같이, 내비게이션 모듈(905)은 관상 네트워크를 통해 내비게이션하기 위해 상이한 알고리즘을 채용하는 다수의 알고리즘 모듈뿐만 아니라 상태 추정기(980)를 추가로 포함한다. 설명의 명확성을 위해, 상태 추정기(980)가 먼저 기술되고, 상태 추정기(980)와 데이터를 교환하는 다양한 모듈의 설명이 이어진다.

내비게이션 모듈(905) 내에 포함된 상태 추정기(980)는 다양한 중간 데이터를 수신하고, 시간의 함수로서 기구 팁(또는 기구의 다른 부분)의 추정 상태를 제공하며, 여기에서 추정 상태는 관상 네트워크 내의 기구 팁(또는 기구의 다른 부분)의 추정 위치 및 배향 정보를 나타낸다. 추정 상태 데이터는 상태 추정기(980) 내에 포함되는 추정 상태 데이터 저장소(985)에 저장된다. 본 명세서의 설명이 관상 네트워크 내의 기구 팁(또는 기구의 다른 부분)의 추정 위치 및 배향 정보를 결정하는 맥락에서 기술되지만, 다른 배열에서, 정보는 일반적으로 환자에 대한 기구 팁(또는 기구의 다른 부분)의 추정 위치 및 배향 정보를 결정하는 데 사용될 수 있다.

VI. B. 2. 추정 상태 데이터 저장소

추정 상태 데이터 저장소(985)는 분기 데이터 저장소(bifurcation data store), 위치 데이터 저장소, 깊이 데이터 저장소, 및 배향 데이터 저장소를 포함할 수 있다. 그러나, 데이터 저장의 이러한 특정 명세는 단지 일례이며, 도시되지 않은 대안적인 실시예에서, 상이한 및/또는 추가 데이터 저장소가 추정 상태 데이터 저장소(985) 내에 포함될 수 있다.

위에서 소개된 다양한 저장소는 다양한 방식으로 추정 상태 데이터를 나타낸다. 분기 데이터는 관상 네트워크 내의 분지부(branch)들의 세트(예컨대, 3개 초과의 분지부로의 분기, 삼분기(trifurcation) 또는 분할)에 대한 기구의 위치를 지칭할 수 있다. 예를 들어, 분기 데이터는, 예를 들어 관상 네트워크의 전체를 매핑하는 3D 모델에 의해 제공되는 바와 같은 이용가능한 분지부들의 더 큰 세트에 기초하여, 기구가 관상 네트워크를 통해 가로지름에 따라 기구에 의해 선택되는 분지부 선택들의 세트일 수 있다. 분기 데이터는 기구 팁의 위치 전방의 정보, 예컨대 기구 팁이 부근에 있지만 아직 그것을 통해 가로지르지 않은, 그러나 예를 들어 3D 모델에 대한 팁의 현재 위치 정보에 기초하여, 또는 다가오는 분기의 캡처된 이미지에 기초하여 검출되었을 수 있는 분지부(분기)를 추가로 포함할 수 있다.

위치 데이터는 관상 네트워크 내의 기구의 일부 부분 또는 관상 네트워크 자체의 일부 부분의 3차원 위치를 나타낼 수 있다. 위치 데이터는 예를 들어 관상 네트워크의 3D 모델에 대한 절대 위치 또는 상대 위치의 형태일 수 있다. 일례로서, 위치 데이터는 특정 분지부 내에 있는 기구의 위치의 위치의 표시를 포함할 수 있다. 특정 분지부의 식별은 또한 기구 팁이 위치되는 모델의 특정 세그먼트를 고유하게 식별하는 세그먼트 식별(ID)로서 저장될 수 있다.

깊이 데이터는 관상 네트워크 내의 기구 팁의 깊이 정보를 나타낼 수 있다. 예시적인 깊이 데이터는 환자 내로의 기구의 총 삽입 (절대) 깊이뿐만 아니라 식별된 분지부(예컨대, 위치 데이터 저장소(1087)에 의해 식별된 세그먼트) 내의 (상대) 깊이를 포함한다. 깊이 데이터는 관상 네트워크 및 기구 둘 모두에 관한 위치 데이터에 기초하여 결정될 수 있다.

배향 데이터는 기구 팁의 배향 정보를 나타낼 수 있으며, 식별된 분지부 내에서의 피치, 롤, 요뿐만 아니라 3D 모델과 관련하여 전체 롤, 피치, 및 요를 포함할 수 있다.

VI. B. 3. 알고리즘 모듈로의 데이터 출력

도 8a에 예시된 바와 같이, 상태 추정기(980)는 추정 상태 데이터를 다시 알고리즘 모듈에 제공하여 더 정확한 중간 데이터를 생성하며, 이는 상태 추정기가 피드백 루프를 형성하는 개선된 및/또는 업데이트된 추정 상태 등을 생성하는 데 사용한다. 상태 추정기(980)는 도 8a에 도시된 하나 이상의 알고리즘 모듈로부터 추정 상태 데이터를 수신한다. 상태 추정기(980)는 이러한 데이터를 사용하여 타임스탬프 "t-1"과 연관된 "추정 상태 데이터(이전)"를 생성한다. 상태 추정기(980)는 이어서 데이터를 알고리즘 모듈들 중 하나 이상(이는 추정 상태 데이터가 이전에 수신되었던 알고리즘 모듈들의 조합과 상이한 알고리즘 모듈들의 조합일 수 있음)에 제공한다. "추정 상태 데이터(이전)"는 상이한 알고리즘 모듈로부터 생성 및 수신된 바와 같은 타임스탬프 "t-1"과 연관되는 상이한 유형의 중간 데이터(예컨대, 이미지 데이터, 기계적 모델 데이터, 명령 데이터, 운동학적 모델 데이터 등)의 조합에 기초할 수 있다. 예를 들어, 비-변형-기반 데이터(972)의 조합에 기반한 추정 상태 데이터는 변형-기반 알고리즘 모듈(945)에 제공될 수 있고, 변형-기반 알고리즘 모듈(945)은 변형-기반 추정 상태 데이터를 결정하고 상태 추정기(980)로 출력할 수 있다.

다음으로, 알고리즘 모듈들 중 하나 이상이 수신된 추정 상태 데이터(이전)를 사용하여 그들 각각의 알고리즘을 실행하여 상태 추정기(980)로 개선되고 업데이트된 추정 상태 데이터를 출력하고, 이는 각각의 알고리즘 모듈에 대해 도시되고 타임스탬프 "t"와 연관된 "추정 상태 데이터(현재)"에 의해 표현된다. 이러한 프로세스는 추정 상태 데이터를 생성하기 위해 미래의 타임스탬프에 대해 반복될 수 있다.

상태 추정기(980)가 관상 네트워크 내의 기구의 상태의 그의 추정치에 도달하기 위해 여러 상이한 종류의 중간 데이터를 사용할 수 있기 때문에, 상태 추정기(980)는 각각의 유형의 기본 데이터(로봇, EM, 이미지) 및 각각의 유형의 알고리즘 모듈이 추정 상태를 결정함에 있어서 고려하기 위해 사용되는 중간 데이터를 생성하거나 그것으로 달성할 수 있는 측정 및 분석 둘 모두에서의 다양한 상이한 종류의 오차 및 불확실성을 처리하도록 구성된다. 이들을 해결하기 위해, 2개의 개념, 즉 확률 분포의 개념 및 신뢰도 값의 개념이 논의된다.

본 명세서에 사용되는 바와 같이, 어구 "확률 분포" 내의 용어 "확률"은 기구의 가능한 위치 및/또는 배향의 추정이 정확할 가능성을 지칭한다. 예를 들어, 상이한 확률은 알고리즘 모듈들 중 하나에 의해 계산되어, 기구가 관상 네트워크 내의 여러 상이한 가능한 분지부들 중 하나 내에 있을 상대적 가능성을 나타낼 수 있다. 일 실시예에서, 확률 분포의 유형(예컨대, 이산 분포 또는 연속 분포)은 추정 상태의 특징(예컨대, 추정 상태의 유형, 예를 들어 연속 위치 정보 대 이산 분지부 선택)과 일치하도록 선택된다. 일례로서, 삼분기에 대해 기구가 어느 세그먼트 내에 있는지를 식별하기 위한 추정 상태는 이산 확률 분포에 의해 표현될 수 있으며, 알고리즘 모듈들 중 하나에 의해 결정되는 바와 같은 3개의 분지부들 각각 내측의 위치에 있을 가능성을 나타내는 20%, 30% 및 50%의 3개의 이산 값을 포함할 수 있다. 다른 예로서, 추정 상태는 40 ± 5도의 기구의 롤 각도를 포함할 수 있고, 분지부 내의 기구 팁의 세그먼트 깊이가 4 ± 1 mm일 수 있으며, 각각은 연속 확률 분포의 유형인 가우스 분포에 의해 표현된다. 상이한 방법 또는 기법이 확률을 생성하는 데 사용될 수 있으며, 이는 이하의 도면을 참조하여 더 완전히 후술되는 바와 같이 알고리즘 모듈에 의해 달라질 것이다.

대조적으로, 본 명세서에 사용되는 바와 같이, "신뢰도 값"은 하나 이상의 인자에 기초하여 알고리즘들 중 하나에 의해 제공되는 상태의 추정에서의 신뢰도의 측정치를 반영한다. 형상-감지 섬유를 사용하는 변형-기반 알고리즘의 경우, 온도, 카테터의 근위 단부에 대한 근접도 등과 같은 인자가 상태의 추정에서의 신뢰도에 영향을 미칠 수 있다. 예를 들어, 광섬유 부분의 열 팽창 및 수축은 기구가 굽혀지는 것으로 잘못 나타낼 수 있다. 또한, 일부 실시예에서, 기구의 원위 부분의 변형 측정치는 (예컨대, 형상 검출기(452)에 더 가까운) 기구의 근위 부분의 변형 측정치에 기초하여 결정되는 형상/위치 데이터에 의존하며, 근위 부분의 변형 측정치의 임의의 오차가 원위 부분의 변형 측정치에서 확대될 수 있다. EM-기반 알고리즘의 경우, EM 필드에 대한 왜곡, EM 정합의 부정확성, 환자의 이동 또는 움직임, 및 환자의 호흡과 같은 인자가 상태의 추정에서의 신뢰도에 영향을 미칠 수 있다. 특히, EM-기반 알고리즘에 의해 제공되는 상태의 추정에서의 신뢰도 값은 환자의 호흡 주기, 환자 또는 EM 필드 발생기의 이동, 및 기구 팁이 위치한 해부학적 구조 내의 위치에 의존할 수 있다. 이미지-기반 알고리즘의 경우, 상태의 추정에서의 신뢰도 값에 영향을 미칠 수 있는 예시적인 인자는 이미지가 캡처되는 해부학적 구조 내의 위치에 대한 조명 조건, 이미지를 캡처하는 광학 센서에 대항하는 또는 그 전방의 유체, 조직, 또는 다른 방해물의 존재, 환자의 호흡, 환자 자신의 관상 네트워크(예컨대, 폐)의 상태, 예컨대 관상 네트워크 내측의 전반적인 유체 및 관상 네트워크의 폐색, 및 예컨대 내비게이션 또는 이미지 캡처하는 데 사용되는 특정 작동 기법을 포함한다.

예를 들어, 하나의 인자는 특정 알고리즘이 환자의 폐 내의 상이한 깊이에서 상이한 수준의 정확도를 갖는 것일 수 있으며, 따라서 기도 개구에 비교적 가까이에서, 특정 알고리즘이 기구 위치 및 배향의 그의 추정에서 높은 신뢰도를 가질 수 있지만, 기구가 이동하는 폐의 저부 내로 더 멀리서, 그러한 신뢰도 값은 하락할 수 있다. 일반적으로, 신뢰도 값은 결과가 결정되는 프로세스와 관련된 하나 이상의 체계적 인자(systemic factor)에 기초하는 반면, 확률은 기본 데이터에 기초한 단일 알고리즘에 의한 다수의 가능성으로부터 정확한 결과를 결정하려고 할 때 발생하는 상대 측정치이다.

일례로서, 이산 확률 분포에 의해 표현되는 추정 상태의 결과(예컨대, 수반되는 추정 상태의 3개의 값으로 삼분기에 대한 분지부/세그먼트 식별)를 계산하기 위한 수학 방정식이 하기와 같을 수 있다:

위의 예시적인 수학 방정식에서, 은 3개의 가능한 세그먼트가 3D 모델에서 제시되거나 식별되는 경우에서의 추정 상태의 가능한 예시적인 값을 나타내고, , , 및 은 EM-기반 알고리즘, 이미지-기반 알고리즘, 및 로봇-기반 알고리즘에 대응하는 신뢰도 값을 나타내며, , , 및 은 세그먼트 i에 대한 확률을 나타낸다.

추정 상태와 연관된 확률 분포 및 신뢰도 값의 개념을 더 잘 예시하기 위해, 상세한 예가 여기에 제공된다. 이러한 예에서, 사용자는 기구 팁이 관상 네트워크의 중심 기도(예측된 영역) 내의 소정 삼분기 내에 위치되는 세그먼트를 식별하려고 하고, EM-기반 알고리즘, 이미지-기반 알고리즘, 및 로봇-기반 알고리즘을 포함하는 3개의 알고리즘 모듈이 사용된다. 이러한 예에서, EM-기반 알고리즘에 대응하는 확률 분포는 제1 분지부에서 20%, 제2 분지부에서 30%, 및 제3 (최종) 분지부에서 50%일 수 있고, 이러한 EM-기반 알고리즘 및 중심 기도에 적용된 신뢰도 값은 80%이다. 동일한 예에 대해, 이미지-기반 알고리즘에 대응하는 확률 분포는 제1, 제2, 및 제3 분지부에 대해 40%, 20%, 40%일 수 있고, 이러한 이미지-기반 알고리즘에 적용된 신뢰도 값은 30%인 한편; 로봇-기반 알고리즘에 대응하는 확률 분포는 제1, 제2, 및 제3 분지부에 대해 10%, 60%, 30%일 수 있고, 이러한 이미지-기반 알고리즘에 적용된 신뢰도 값은 20%이다. EM-기반 알고리즘 및 이미지-기반 알고리즘에 적용된 신뢰도 값의 차이는 EM-기반 알고리즘이 이미지-기반 알고리즘과 비교하여 중심 기도 내에서의 세그먼트 식별에 대한 더 양호한 선택일 수 있음을 나타낸다. 최종 추정 상태의 예시적인 수학적 계산은 다음과 같을 수 있다: 제1 분지부에 대해: 20%*80% + 40%*30% + 10%*20% = 30%; 제2 분지부에 대해: 30%*80% + 20%*30% + 60%*20% = 42%; 및 제3 분지부에 대해: 50%*80% + 40%*30% + 30%*20% = 58%.

이러한 예에서, 기구 팁에 대한 출력 추정 상태는 결과 값(예컨대, 결과적인 30%, 42%, 및 58%), 또는 이들 결과 값으로부터의 도함수 값, 예컨대 기구 팁이 제3 분지부 내에 있다는 결정일 수 있다.

위와 같이, 추정 상태는 다수의 상이한 방식으로 표현될 수 있다. 예를 들어, 추정 상태는 기도로부터 기구의 팁의 위치까지의 절대 깊이뿐만 아니라, 관상 네트워크 내에서 기구가 가로지르는 분지부들의 세트를 나타내는 데이터의 세트를 추가로 포함할 수 있으며, 분지부들의 세트는 예를 들어 환자의 폐의 3D 모델에 의해 제공되는 분지부들의 전체 세트의 서브세트이다. 추정 상태에 대한 확률 분포 및 신뢰도 값의 적용은 관상 네트워크 내에서의 기구 팁의 위치 및/또는 배향의 추정의 개선된 정확도를 허용한다.

VI. B. 4. 변형-기반 알고리즘 모듈

VI. B. 4. i. 변형-기반 알고리즘 모듈의 요소

변형-기반 알고리즘 모듈(945)은 관상 네트워크 내의 기구의 추정 상태를 결정하기 위해 변형 데이터를 사용한다. 도 8b 및 도 9 내지 도 11은 변형-기반 알고리즘 모듈(945)에 포함될 수 있는 모듈을 예시한다. 도 8b에 예시된 바와 같이, 변형-기반 알고리즘 모듈(945)은 (i) 변형 데이터에 기초하여 형상 데이터를 결정하기 위한 형상 데이터 결정 모듈(906), (ii) 형상 데이터를 로봇 데이터와 비교하기 위한 형상 데이터 비교 모듈(907), (iii) 형상 데이터와 로봇 데이터 사이의 비교에 기초하여 형상 데이터(또는 형상 데이터의 신뢰도)를 조절하기 위한 형상 데이터 조절 모듈(908), 및 (iv) 조절된 형상 데이터(또는 형상 데이터의 조절된 신뢰도)에 기초하여 형상-기반 추정 상태 데이터를 결정하기 위한 형상-기반 상태 추정 모듈(909)을 포함할 수 있다. 별개의 구성요소로서 예시되지만, 모듈(906 내지 909)은 하나 이상의 하드웨어 구성요소(예컨대, 단일 구성요소, 개별 구성요소, 또는 임의의 수의 구성요소), 하나 이상의 소프트웨어 구성요소(예컨대, 단일 구성요소, 개별 구성요소, 또는 임의의 수의 구성요소), 또는 이들의 임의의 조합으로서 구현될 수 있다. 모듈(906 내지 909)은 도 9 내지 도 11을 참조하여 더 상세히 후술된다.

VI. B. 4. ii. 형상 데이터의 결정

도 9는 변형-기반 알고리즘 모듈(945)에 포함될 수 있는 예시적인 형상 데이터 결정 모듈을 도시한다. 도 9에 도시된 바와 같이, 형상 데이터 결정 모듈(906)은 변형 데이터 저장소(901)로부터 변형 데이터를 수신하고 형상 데이터를 형상 데이터 저장소(902)로 출력한다. 형상 데이터 결정 모듈(906)은 변형 데이터 저장소(901)로부터 수신된 변형 데이터에 기초하여 형상 데이터를 결정할 수 있다. 도 8a를 참조하여 논의된 바와 같이, 변형 데이터는 도 4c의 형상 검출기(452)에 의해 생성 및/또는 저장되는 하나 이상의 광섬유(456)(또는 그 내부의 하나 이상의 코어)를 따른 변형의 하나 이상의 측정치를 포함할 수 있다. 형상 데이터는 기구의 현재 형상을 나타내는 각도, 좌표, 또는 이들의 조합을 포함할 수 있다. 일부 경우에, 형상 데이터는 곡률 정보(예컨대, 기구의 하나 이상의 부분의 곡률 값), 배향 정보(예컨대, 기구의 하나 이상의 부분의 롤, 피치, 및/또는 요), 위치 정보(예컨대, 예를 들어 기구를 내비게이션하기 위해 시스템에 의해 사용되는 기준 좌표계 내의 기구의 하나 이상의 부분의 위치), 및/또는 기구의 형상을 나타내기 위해 사용될 수 있는 다른 정보를 포함할 수 있다.

VI. B. 4. iii. 로봇 데이터를 사용한 형상 데이터의 개선

도 10은 변형-기반 알고리즘 모듈(945)에 포함될 수 있는 예시적인 형상 데이터 비교 모듈 및 형상 데이터 조절 모듈을 도시한다. 도 10에 도시된 바와 같이, 형상 데이터 비교 모듈(907)은 복수의 데이터 저장소(902 내지 941)로부터 데이터를 수신한다. 예를 들어, 수신된 데이터는 형상 데이터 저장소(902)로부터의 형상 데이터 및 로봇 데이터 저장소(930)로부터의 로봇 데이터를 포함할 수 있다. 형상 데이터 비교 모듈(907)은 수신된 형상 데이터를 수신된 로봇 데이터와 비교하고 수신된 형상 데이터가 수신된 로봇 데이터와 일치하는지 여부를 결정할 수 있다.

본 명세서에 기술된 바와 같이, 로봇 데이터는, 일례로서, 주어진 제어 명령들의 세트로부터 기인할 것으로 예상되는 기구의 이동을 나타내는 운동학적 모델 데이터를 포함할 수 있다. 형상 데이터 비교 모듈(907)은 로봇 데이터에 의해 지시되는 이동을 형상 데이터 결정 모듈(906)로부터 수신된 형상 데이터에 의해 지시되는 이동과 비교할 수 있다. 비교에 기초하여, 형상 데이터 비교 모듈(907)은 형상 데이터가 로봇 데이터와 일치하는지 또는 그렇지 않은지 여부 및 형상 데이터와 로봇 데이터 사이의 차이의 정도를 나타내는 비교 결과를 출력할 수 있다. 예를 들어, 비교 결과는 형상 데이터에 의해 지시되는 기구의 곡률이 로봇 데이터에 의해 지시되는 허용가능한 곡률의 범위 밖에 있음(예컨대, 가장 높은 허용가능한 곡률을 특정 양만큼 초과함)을 나타낼 수 있다. 다른 예로서, 비교 결과는 기구의 특정 부분에 대응하는 형상 데이터가 로봇 데이터에 포함된 토크 측정치(예컨대, 풀 와이어에 인가되는 토크의 측정치)와 일치하지 않음을 나타낼 수 있다.

VI. B. 4. iv. 로봇 데이터 이외의 데이터를 사용한 형상 데이터의 개선

다른 실시예에서, 형상 데이터 비교 모듈(907)은 형상 데이터를 이미지 데이터 저장소(910)로부터 수신된 이미지 데이터와, 형상 데이터를 EM 데이터 저장소(920)로부터 수신된 EM 데이터와, 형상 데이터를 3D 모델 데이터 저장소(940)로부터 수신된 3D 모델 데이터와, 형상 데이터를 다른 데이터 저장소(들)(941)로부터 수신된 다른 데이터, 및/또는 데이터 저장소들(910 내지 941) 중 2개 이상으로부터 수신된 데이터의 임의의 조합과 비교할 수 있다.

예를 들어, 형상 데이터 비교 모듈(907)은, 이미지 데이터 저장소(910)로부터 수신된 이미지 데이터에 기초하여, (예컨대, 기구의 원위 단부에서의 또는 그 부근에서의) 기구의 예상된 배향을 결정할 수 있다. 형상 데이터 비교 모듈(907)은 이어서 형상 데이터가 기구의 예상된 배향과 불일치하는지 여부를 결정할 수 있다(예컨대, 이미지 데이터는 기구의 팁이 해부학적 내강에 평행한 방향으로 지향되고 있음을 나타내지만, 형상 데이터는 기구의 팁이 해부학적 내강의 내벽으로 지향되고 있음을 나타냄).

다른 예에서, 형상 데이터 비교 모듈(907)은, 3D 모델 데이터 저장소(940)로부터 수신된 3D 모델 데이터에 기초하여, 기구가 위치되는 해부학적 내강이 가능한 좌표 값의 범위를 갖는지를 결정할 수 있다. 형상 데이터 비교 모듈(907)은 이어서 형상 데이터가 기구가 가능한 좌표 값의 범위 밖에 위치됨을 나타내는지 여부 또는 형상 데이터가 기구가 해부학적 내강 내에 맞춰지지 않을 방식으로 형상화됨을 나타내는지 여부를 결정할 수 있다.

또 다른 예에서, 형상 데이터 비교 모듈(907)은, EM 데이터 저장소(920)로부터 수신된 EM 데이터에 기초하여, 기준 좌표계 내의 기구의 현재 위치에 대응하는 좌표 값들의 세트를 결정할 수 있다. 형상 데이터 비교 모듈(907)은 이어서 형상 데이터가 기구의 예상된 배향과 불일치하는지 여부를 결정할 수 있다(예컨대, 형상 데이터에 의해 지시되는 좌표 값들의 세트는 EM 데이터에 의해 지시되는 좌표 값들의 세트와 상이하거나, EM 데이터에 의해 지시되는 좌표 값들의 세트로부터 임계량 초과만큼 벗어남).

또 다른 예에서, 형광투시법 (X-선) 이미지가 기구의 실루엣을 추출하기 위해 컴퓨터 비전 알고리즘에 의해 분석될 수 있고, 형상 데이터 비교 모듈(907)은 이어서 형상 데이터가 기구의 추출된 실루엣과 불일치하는지 여부를 결정할 수 있다.

또 다른 예에서, 상이한 감지 기법이 작업 채널(438)에 맞춰질 수 있고, 시스템과 함께 작동하도록 연결될 수 있다. 이들 감지 기법은 방사상 기관지내 초음파(radial endobronchial ultrasound, REBUS) 프로브, 다중스펙트럼 이미징(분광기), 단층촬영 이미징(광학 간섭성 단층촬영, 공초점 현미경, 2-광자 여자 현미경 등)을 포함한다. 이들 감지 기법에 의해 생성된 센서 데이터를 사용하여, 형상 데이터 비교 모듈(907)은 형상 데이터가 센서 데이터와 불일치하는지 여부를 결정할 수 있다.

VI. B. 4. v. 형상 데이터 비교의 다른 예

일부 실시예에서, 형상 데이터 비교 모듈(907)은 형상 데이터와 로봇 데이터 사이의 불일치가 임계 시간량 이상 동안 검출되었음을 결정하고, 기구가 손상될 수 있음을 나타내는 경고를 출력한다. 예를 들어, 형상 데이터 비교 모듈(907)은 형상 데이터 조절 모듈(908)로 출력된 최종 5개의 비교 결과가 형상 데이터가 로봇 데이터와 불일치하였음을 나타낸 것으로 결정하고, (예컨대, 기구가 손상되거나, 고착되거나, 달리 오작동할 수 있음을 나타내는) 경고를 출력할 수 있다

도 10에 예시되지 않지만, 형상 데이터 비교 모듈(907)은 추가적으로 또는 대안적으로 형상 데이터를 상태 추정기(980)로부터 수신된 추정 상태 데이터와 비교할 수 있다. 일부 경우에, 시스의 형상은 (예컨대, 시스 내측의 광섬유를 사용한 형상-감지 또는 시스에 대응하는 로봇 데이터에 기초하여) 알려질 수 있다. 그러한 경우에, 형상 데이터 비교 모듈(907)은 기구를 둘러싸는 시스에 대응하는 형상 데이터에 액세스하고, 기구의 형상 데이터를 시스의 형상 데이터와 비교할 수 있다.

일부 경우에, 형상 데이터 비교 모듈(907)은 로봇 데이터가 형상 데이터보다 높은 신뢰도 값을 갖는 것으로 결정하고, 결정에 기초하여, 형상 데이터를 로봇 데이터와 비교한다. 대안적으로, 일부 경우에, 형상 데이터 비교 모듈(907)은 로봇 데이터가 형상 데이터보다 낮은 신뢰도 값을 갖는 것으로 결정하고, 결정에 기초하여, 형상 데이터를 로봇 데이터와 비교하는 것을 억제한다.

예를 들어, 기구의 원위 단부에서 또는 그 부근에서, 형상 데이터 또는 변형 데이터에 할당된 신뢰도 값은 로봇 데이터에 할당된 신뢰도 값보다 낮을 수 있는데, 이는 위에서 논의된 바와 같이, 기구의 원위 부분의 변형 측정치가 (예컨대, 형상 검출기(452)에 더 가까운) 기구의 근위 부분의 변형 측정치에 기초하여 결정되는 형상/위치 데이터에 의존할 수 있고, 근위 부분의 변형 측정치의 임의의 오차가 원위 부분의 변형 측정치에서 확대될 수 있기 때문이다. 다른 한편으로, 기구의 근위 단부에서 또는 그 부근에서, 형상 데이터 또는 변형 데이터에 할당된 신뢰도 값은 로봇 데이터에 할당된 신뢰도 값보다 높을 수 있다.

일부 실시예에서, 형상 데이터는 기구의 원위 단부에서 또는 그 부근에서 로봇 데이터와 비교되고 필요에 따라 조절되지만, 형상 데이터는 기구의 근위 단부에서 또는 그 부근에서 로봇 데이터와 비교되지 않는다. 다른 실시예에서, 형상 데이터는 기구의 원위 단부 및 근위 단부 둘 모두에서 또는 그 부근에서 로봇 데이터와 비교되고 필요에 따라 조절된다.

VI. B. 4. vi. 비교 결과를 사용한 형상 데이터의 조절

형상 데이터 비교 모듈(907)은 형상 데이터 조절 모듈(908)로 비교의 결과를 출력한다. 비교의 결과는 형상 데이터의 어느 부분이, 존재할 경우, 형상 데이터가 비교되는 데이터(예컨대, 로봇 데이터)에 의해 지시되는 하나 이상의 조건을 충족시키지 않는지를 나타낼 수 있다. 예를 들어, 도 4d를 참조하여 논의된 바와 같이, 비교 결과는, 내시경(118)의 일부분에 대응하는 형상 데이터가 그 부분이 로봇 데이터와 일치하지 않는 곡률 값을 보인다는 것을 지시함을 나타낼 수 있다. 다른 예에서, 도 4e를 참조하여 논의된 바와 같이, 비교 결과는, 내시경(118)의 일부분에 대응하는 형상 데이터가 그 부분이 로봇 데이터와 일치하지 않는 속도로 이동하고 있다는 것을 지시함을 나타낼 수 있다.

다른 경우에, 비교 결과는, 형상 데이터에 의해 지시되는 기구 팁의 방향이 로봇 데이터에 의해 지시되는 기구 팁의 방향으로부터 임계량 초과만큼 벗어난다는 것, 기구의 형상이 기구의 일부분이 해부학적 내강 밖에 있도록 하는 것을 형상 데이터가 지시한다는 것, 또는 형상 데이터에 의해 지시되는 기구의 위치가 로봇 데이터에 의해 지시되는 기구의 위치로부터 임계량 초과만큼 벗어난다는 것을 나타낼 수 있다. 비교 결과는 다양한 소스로부터의 데이터 및/또는 상태 추정기(980)로부터의 추정 상태 중 하나 이상에 기초하여 시스템이 예상하는 것으로부터의 임의의 오차 또는 편차를 나타낼 수 있다.

수신된 비교 결과에 기초하여, 형상 데이터 조절 모듈(908)은 형상 데이터를 조절하고 조절된 형상 데이터를 형상 데이터 저장소(902)로 출력한다. 예를 들어, 형상 데이터에 의해 지시되는 곡률 값이 로봇 데이터와 일치하지 않는 것으로 결정할 때, 형상 데이터 조절 모듈(908)은 곡률 값이 로봇 데이터에 의해 지시되는 허용가능한 곡률 범위 내에 있도록 형상 데이터를 수정할 수 있다. 다른 예로서, 형상 데이터에 의해 지시되는 현재 속도가 로봇 데이터와 일치하지 않는 것으로 결정할 때, 형상 데이터 조절 모듈(908)은 현재 속도가 로봇 데이터에 의해 지시되는 허용가능한 속도 범위 내에 있도록 형상 데이터를 수정할 수 있다. 또 다른 예에서, 형상 데이터의 일부분 또는 전부가 로봇 데이터에 의해 지시되는 하나 이상의 조건을 충족시키지 않는 것으로 결정할 때, 형상 데이터 조절 모듈(908)은 형상 데이터를 조절하는 대신에, 그러한 형상 데이터를 폐기할 수 있다. 또 다른 예에서, 형상 데이터의 일부분 또는 전부가 로봇 데이터에 의해 지시되는 하나 이상의 조건을 충족시키지 않는 것으로 결정할 때, 형상 데이터 조절 모듈(908)은 형상 데이터를 조절하는 대신에, (예컨대, 형상 데이터와 연관된 신뢰도 값을 감소시킴으로써) 형상 데이터의 신뢰도를 감소시킬 수 있다. 조절된 형상 데이터는 형상 데이터 저장소(902)에 저장된다. 일부 경우에, 조절된 형상 데이터는 형상 데이터 저장소(902)와 상이한 다른 데이터 저장소에 저장된다.

일부 경우에, 형상 데이터 조절 모듈(908)은 다른 인자에 기초하여 대안적인 또는 추가적인 조절을 행할 수 있다. 예를 들어, 형상 데이터 조절 모듈(908)은 온도의 변화에 기초하여 형상 데이터를 조절할 수 있다(또는 형상 데이터의 신뢰도를 조절할 수 있음). 그러한 예에서, 형상 데이터 조절 모듈(908)은 광섬유의 열 팽창 및 수축 특성에 기초하여 형상 데이터를 조절할 수 있다(또는 형상 데이터의 신뢰도를 조절할 수 있음). 형상 데이터 조절 모듈(908)은 수신된 비교 결과가 형상 데이터가 적어도 하나의 다른 데이터와 상충된다는 것을 나타내는 것으로 결정하는 것에 응답하여 그러한 조절을 행할 수 있다. 다른 경우에, 형상 데이터 결정 모듈(906)은 수신된 변형 데이터에 기초하여 형상 데이터를 결정할 때 현재 온도를 고려하고, 형상 데이터 조절 모듈(908)은 형상 데이터에 대한 추가적인 온도-기반 조절을 행하지 않는다.

일부 실시예에서, 형상 데이터 조절 모듈(908)은 기구의 팁이 관절운동되고 있는지 또는 그렇지 않은지 여부에 기초하여 형상 데이터를 조절할 수 있다(또는 형상 데이터의 신뢰도를 조절할 수 있음). 대안적으로 또는 추가적으로, 형상 데이터 조절 모듈(908)은 비-형상-변경 변형(예컨대, 온도, 관절운동 모드 등)이 기구에 인가되고 있는지 여부에 기초하여 형상 데이터를 조절할 수 있다(또는 형상 데이터의 신뢰도를 조절할 수 있음). 형상 데이터 조절 모듈(908)은 수신된 비교 결과가 형상 데이터가 적어도 하나의 다른 데이터와 상충된다는 것을 나타내는 것으로 결정하는 것에 응답하여 이들 조절들 중 하나 또는 둘 모두를 행할 수 있다.

도 11은 변형-기반 알고리즘 모듈(945)에 포함될 수 있는 예시적인 형상-기반 상태 추정 모듈을 도시한다. 도 11에 도시된 바와 같이, 형상-기반 상태 추정 모듈(909)은 형상 데이터 저장소(902)로부터 조절된 형상 데이터를 수신하고, 조절된 형상 데이터 및 추정 상태 데이터 저장소(985)로부터 수신된 이전 추정 상태 데이터에 기초하여 형상-기반 추정 상태 데이터를 결정한다. 형상-기반 상태 추정 모듈(909)은 형상-기반 추정 상태 데이터를 추정 상태 데이터 저장소(985)로 출력한다. 이러한 프로세스는 미래의 타임스탬프에 대한 추정 상태 데이터를 생성하기 위해 반복될 수 있다. 일부 경우에, 형상-기반 상태 추정 모듈(909)은 기구의 추정 상태에 기초하여 기구를 덮고 있는 시스의 추정 상태를 결정한다.

VII. A. 로봇 데이터에 기초한 형상 데이터 조절의 개요

도 12는 일 실시예에 따른, 로봇 데이터와 같은 수술 로봇 시스템에 이용가능한 다른 데이터에 기초하여 형상 데이터를 결정 및 조절하기 위해 수술 로봇 시스템 또는 그의 구성요소(들)에 의해 작동가능한 예시적인 방법을 예시한 흐름도이다. 예를 들어, 도 12에 예시된 방법(1200)의 단계는 의료 로봇 시스템(예컨대, 수술 로봇 시스템(500)) 또는 연관 시스템(들)(예컨대, 내비게이션 구성 시스템(900)의 변형-기반 알고리즘 모듈(945))의 프로세서(들) 및/또는 다른 구성요소(들)에 의해 수행될 수 있다. 편의상, 방법(1200)은, 방법(1200)의 설명과 관련하여 간단히 "시스템"으로 또한 지칭되는, 수술 로봇 시스템에 의해 수행되는 것으로 기술된다.

방법(1200)은 블록(1201)에서 시작된다. 블록(1205)에서, 시스템은 신체의 내부 영역 내에서 내비게이션된(또는 내비게이션될) 기구에 관한 로봇 데이터에 액세스한다. 로봇 데이터는 기구(예컨대, 내시경(118) 및/또는 그의 시스)의 제어, 및/또는 관상 네트워크 내에서의 기구 또는 기구의 일부(예컨대, 기구 팁 또는 시스)의 물리적 이동에 관련된 데이터를 포함할 수 있다. 전술된 바와 같이, 로봇 데이터는 명령 데이터, 힘 및 거리 데이터, 기계적 모델 데이터, 운동학적 모델 데이터 등을 포함할 수 있다.

블록(1210)에서, 시스템은 기구 내에 위치된 광섬유로부터의 변형 데이터에 액세스한다. 변형 데이터는 신체의 내부 영역 내에 위치된 기구의 일부분에 대한 변형을 나타낼 수 있다. 일부 경우에, 변형 데이터는 기구의 원위 단부에 대한 변형 및 기구의 근위 단부에 대한 변형 중 하나 또는 둘 모두를 나타낸다. 변형 데이터는 형상 검출기(452)에 의해 생성되고 변형 데이터 저장소(901)에 저장될 수 있고, 시스템은 변형 데이터 저장소(901)로부터의 변형 데이터에 액세스할 수 있다.

블록(1215)에서, 시스템은 변형 데이터에 기초하여 형상 데이터를 결정한다. 예를 들어, 변형 데이터에 의해 지시되는 기구의 특정 부분에 대한 변형에 기초하여, 시스템은 기구의 특정 부분의 형상을 예측할 수 있다. 형상 데이터는 기구의 현재 형상을 나타내는 각도, 좌표, 또는 이들의 조합을 포함할 수 있다. 일부 경우에, 형상 데이터는 곡률 정보(예컨대, 기구의 하나 이상의 부분의 곡률 값), 배향 정보(예컨대, 기구의 하나 이상의 부분의 롤, 피치, 및/또는 요), 위치 정보(예컨대, 예를 들어 기구를 내비게이션하기 위해 시스템에 의해 사용되는 기준 좌표계 내의 기구의 하나 이상의 부분의 위치), 및/또는 기구의 형상을 나타내기 위해 사용될 수 있는 다른 정보를 포함할 수 있다.

블록(1220)에서, 시스템은 로봇 데이터와 형상 데이터를 비교한다. 일부 실시예에서, 비교는 형상 데이터에 포함된 특정 값이 로봇 데이터에 의해 지시되는 대응하는 조건을 충족시키는지 여부를 결정하는 것을 포함한다. 예를 들어, 시스템에 의해 액세스되는 로봇 데이터는 기구가 최대 곡률 값을 초과하거나 주어진 곡률 값의 범위 밖에 있는 곡률 값을 생성하는 방식으로 제어될 수 없다는 것을 나타낼 수 있다. 그러한 예에서, 시스템은 형상 데이터에 의해 지시되는 기구의 주어진 부분의 곡률 값이 최대 곡률 값을 초과하는지 또는 기구의 주어진 부분에 대한 로봇 데이터에 의해 지시되는 주어진 곡률 값의 범위 밖에 있는지 여부를 결정할 수 있다. 다른 예에서, 시스템에 의해 액세스되는 로봇 데이터는 기구가 최대 속도보다 빠르게 또는 특정 이동 범위 밖으로 이동될 수 없다는 것을 나타낼 수 있다. 그러한 예에서, 시스템은 형상 데이터에 의해 지시되는 기구의 주어진 부분의 이동(예컨대, 속도, 이동 경로, 또는 다른 시간 이력 데이터)이 기구의 주어진 부분에 대한 로봇 데이터에 의해 지시되는 이동 조건(예컨대, 최대 속도, 이동 속도 범위 등)을 충족시키는지 여부를 결정할 수 있다. 형상 데이터에 의해 지시되는 임의의 파라미터 값이 로봇 데이터에 의해 지시되는 대응하는 형상 조건(예컨대, 형상 데이터 내의 주어진 파라미터 값이 잘못된 것인지 또는 잘못될 가능성이 있는지 여부를 나타낼 수 있는 최소, 최대, 및/또는 범위 값)을 충족시키는지 여부를 시스템이 결정할 수 있도록 다른 경우에 유사한 기법이 적용될 수 있다.

블록(1225)에서, 시스템은 로봇 데이터와 형상 데이터의 비교에 기초하여 형상 데이터를 조절한다. 일부 실시예에서, 조절은 형상 데이터의 적어도 일부분을 수정하여 (블록(1230)에서의) 기구의 추정 상태의 결정이 형상 데이터의 수정된 부분에 기초하도록 하는 것을 포함한다. 예를 들어, 형상 데이터에 의해 지시되는 곡률 값이 로봇 데이터에 의해 지시되는 최대 곡률 값을 초과하는 것으로 결정할 때, 시스템은 곡률 값이 로봇 데이터에 의해 지시되는 최대 곡률 값 이하이도록 형상 데이터를 수정할 수 있다. 다른 예로서, 형상 데이터에 의해 지시되는 현재 속도가 로봇 데이터에 의해 지시되는 속도를 초과하는 것으로 결정할 때, 시스템은 현재 속도가 로봇 데이터에 의해 지시되는 최대 속도 이하이도록 형상 데이터를 수정할 수 있다. 다른 실시예에서, 조절은 형상 데이터의 적어도 일부분을 제거하여 (블록(1230)에서의) 기구의 추정 상태의 결정이 형상 데이터의 제거된 부분에 기초하지 않도록 하는 것을 포함한다. 예를 들어, 형상 데이터의 일부분 또는 전부가 로봇 데이터에 의해 지시되는 하나 이상의 조건을 충족시키지 않는 것으로 결정할 때, 시스템은 그러한 형상 데이터를 폐기하거나 블록(1230)에서의 추정 상태의 결정에서 그러한 형상 데이터를 무시할 수 있다.

형상 데이터를 조절하는 것은 또한 형상 데이터에 신뢰도 값 또는 가중치를 할당하는 것 또는 형상 데이터에 할당된 그러한 신뢰도 값 또는 가중치를 조절하는 것을 포함할 수 있다. 예를 들어, 형상 데이터가 로봇 데이터에 의해 지시되는 하나 이상의 조건을 충족시키는 것으로 결정할 때, 시스템은 형상 데이터와 연관된 신뢰도 값 또는 가중치를 증가시킬 수 있다. 대안적으로, 형상 데이터가 로봇 데이터에 의해 지시되는 하나 이상의 조건을 충족시키지 않는 것으로 결정할 때, 시스템은 형상 데이터와 연관된 신뢰도 값 또는 가중치를 감소시킬 수 있다.

블록(1230)에서, 시스템은 조절된 형상 데이터에 기초하여 기구의 추정 상태를 결정한다. 일부 경우에, 시스템은 조절된 형상 데이터와 도 8a에 도시된 하나 이상의 데이터 저장소로부터의 데이터 및/또는 도 8a의 상태 추정기(980)로부터의 하나 이상의 추정 상태 데이터의 조합에 기초하여 기구의 추정 상태를 결정할 수 있다. 블록(1235)에서, 시스템은 기구의 추정 상태를 출력한다. 방법(1200)은 블록(1240)에서 종료된다.

VII. B. 형상 데이터 조절 프로세스의 개요

도 13은 일 실시예에 따른, 기구를 작동시키기 위해 수술 로봇 시스템 또는 그의 구성요소(들)에 의해 작동가능한 예시적인 방법을 예시한 개념도이다. 예를 들어, 도 13에 예시된 도면(1300)에 도시된 단계는 의료 로봇 시스템(예컨대, 수술 로봇 시스템(500)) 또는 연관 시스템(들)(예컨대, 내비게이션 구성 시스템(900)의 변형-기반 알고리즘 모듈(945))의 프로세서(들) 및/또는 다른 구성요소(들)에 의해 수행될 수 있다. 편의상, 도면(1300)에 예시된 프로세스는, 간단히 "시스템"으로 또한 지칭되는, 수술 로봇 시스템에 의해 수행되는 것으로 기술된다.

도 13에 도시된 바와 같이, 형상 데이터(1305) 및 로봇 데이터(1310)는 결정 블록(1315)으로 공급된다. 블록(1315)에서, 시스템은 형상 데이터(1305)가 로봇 데이터(1310)를 고려하여 허용가능한지 여부를 결정한다. 형상 데이터가 허용가능하지 않은 것으로 결정할 때, 시스템은 블록(1320)으로 진행하여 형상 데이터를 조절한다. 형상 데이터가 허용가능한 것으로 결정할 때, 시스템은 블록(1325)으로 진행하여 적어도 형상 데이터(또는 조절된 형상 데이터)에 기초하여 기구를 구동시키고 그리고/또는 블록(1330)으로 진행하여 적어도 형상 데이터(또는 조절된 형상 데이터)에 기초하여 기구를 내비게이션한다.

VII. C. 형상 데이터 신뢰도 조절 프로세스의 개요

도 14는 일 실시예에 따른, 기구를 작동시키기 위해 수술 로봇 시스템 또는 그의 구성요소(들)에 의해 작동가능한 예시적인 방법을 예시한 개념도이다. 예를 들어, 도 14에 예시된 도면(1400)에 도시된 단계는 의료 로봇 시스템(예컨대, 수술 로봇 시스템(500)) 또는 연관 시스템(들)(예컨대, 내비게이션 구성 시스템(900)의 변형-기반 알고리즘 모듈(945))의 프로세서(들) 및/또는 다른 구성요소(들)에 의해 수행될 수 있다. 편의상, 도면(1400)에 예시된 프로세스는, 간단히 "시스템"으로 또한 지칭되는, 수술 로봇 시스템에 의해 수행되는 것으로 기술된다.

도 14에 도시된 바와 같이, 시스템은 형상 데이터(1405) 및 로봇 데이터(1410)를 취하고, 가중 데이터(1415)를 생성한다. 가중 데이터(1415)는 형상 데이터(1405)와 로봇 데이터(1410)의 가중 합일 수 있으며, 여기에서 형상 데이터(1405)와 로봇 데이터(1410)는 그들 각각의 신뢰도 값에 기초하여 가중된다. 형상 데이터(1405)와 연관된 신뢰도 값이 로봇 데이터(1410)의 신뢰도 값보다 높은 경우, 가중 데이터(1415)에 의해 표현되는 형상은 형상 데이터(1405)에 의해 표현되는 형상에 더 가까울 수 있다. 다른 한편으로, 로봇 데이터(1410)와 연관된 신뢰도 값이 형상 데이터(1405)의 신뢰도 값보다 높은 경우, 가중 데이터(1415)에 의해 표현되는 형상은 로봇 데이터(1410)에 의해 표현되는 형상에 더 가까울 수 있다. 블록(1420)에서, 시스템은 형상 데이터(1405)가 로봇 데이터(1410)를 고려하여 허용가능한지 여부를 결정한다. 형상 데이터(1405)가 허용가능하지 않은 것으로 결정할 때, 시스템은 블록(1425)으로 진행하여 형상 데이터(1405)와 연관된 신뢰도 값을 조절한다. 시스템은 이어서 블록(1430)으로 진행하여 적어도 조절된 신뢰도 값을 반영하는 가중 데이터에 기초하여 기구를 구동시키고 그리고/또는 블록(1435)으로 진행하여 적어도 조절된 신뢰도 값을 반영하는 가중 데이터에 기초하여 기구를 내비게이션한다. 다른 한편으로, 형상 데이터(1405)가 허용가능한 것으로 결정할 때, 시스템은 블록(1430)으로 진행하여 적어도 가중 데이터(1415)에 기초하여 기구를 구동시키고 그리고/또는 블록(1435)으로 진행하여 적어도 가중 데이터(1415)에 기초하여 기구를 내비게이션한다.

도 14와 관련하여 방금 논의된 바와 같이, 본 명세서에 기술된 다수의 실시예는 의료 기구의 내비게이션 또는 제어를 개선하기 위해 신뢰도 값을 조절할 수 있다. 예를 들어, 일부 경우에, 내비게이션 시스템이, 환자의 수술전 모델에 의해 표현될 수 있는 바와 같이, 환자의 해부학적 구조에 대한 의료 기구의 위치를 결정하기 위해 변형-기반 형상 데이터에 주어진 가중치를 낮추도록 조절된 신뢰도 값을 사용할 수 있다. 본 개시의 다른 부분에서 논의된 바와 같이, 내비게이션 시스템(예컨대, 도 8a 참조)이 대응하는 상태 추정기로부터 의료 기구의 다수의 상이한 상태 추정치를 수신할 수 있고, 도 14에 도시된 실시예에 따르면, 내비게이션 시스템은 비교에 기초하여 변형-기반 형상 데이터로부터 도출되는 상태에 주어진 가중치를 낮출 수 있다. 조절된 신뢰도에 따라, 내비게이션 시스템은 변형-기반 형상 데이터를 사용하여 상태 추정기로부터 도출되는 상태 추정치를 무시할 수 있거나, 상태 추정기가 의료 장치의 추정 상태를 결정하는 것에 미치는 영향을 낮출 수 있다.

본 개시에 의해 고려되는 실시예에 대해 정반대가 또한 가능하다는 것이 인식되어야 한다. 즉, 변형-기반 형상 데이터와 로봇 데이터-기반 형상 데이터 사이의 비교가 2가지 유형의 데이터가 (임계량에 의해 결정될 수 있는 바와 같이) 밀접하게 일치하는 것으로 결정하면, 내비게이션 시스템은 변형-기반 형상 데이터로부터 도출되는 상태 추정치의 신뢰도 또는 가중치를 증가시킬 수 있다.

도 14에서 유사하게 기술된 바와 같이, 일부 실시예는 변형-기반 형상 데이터와 로봇 데이터 사이의 비교에 기초하여 의료 기구의 구동을 제어하는 제어 시스템을 포함할 수 있다. 그러한 제어 시스템은, 비교에 기초하여, 의료 기구의 자세를 제어할 때 변형-기반 형상 데이터를 사용하거나 무시할 수 있다.

도 4d, 도 4e, 및 도 9 내지 도 14가 로봇 데이터와 관련하여 본 명세서에 기술되지만, 다른 실시예에서, 로봇 데이터 대신에 또는 로봇 데이터와 조합하여 다른 데이터가 사용될 수 있다. 또한, 본 명세서에 기술된 일부 기법이 수술 로봇 시스템과 관련하여 기술되지만, 다른 실시예에서, 그러한 기법은 수술을 수반하지 않는 신체의 내부 영역 내의 기구를 제어하기 위한 시스템 및 의료 로봇 시스템과 같은 비-수술 시스템에 적용될 수 있다.

VIII. 구현 시스템 및 용어

본 명세서에 개시된 구현예는 내강 네트워크의 내비게이션 동안 생리학적 잡음을 검출하기 위한 시스템, 방법 및 장치를 제공한다.

본 명세서에 사용되는 바와 같은 용어 "결합하다", "결합하는", "결합된" 또는 단어 결합하다의 다른 변형은 간접적인 연결 또는 직접적인 연결을 나타낼 수 있다는 것에 유의하여야 한다. 예를 들어, 제1 구성요소가 제2 구성요소에 "결합된" 경우, 제1 구성요소는 다른 구성요소를 통해 제2 구성요소에 간접적으로 연결되거나 제2 구성요소에 직접적으로 연결될 수 있다.

본 명세서에 기술된 기능은 프로세서-판독가능 또는 컴퓨터-판독가능 매체 상에 하나 이상의 명령어로서 저장될 수 있다. 용어 "컴퓨터-판독가능 매체"는 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 이용가능한 매체를 지칭한다. 제한이 아닌 예로서, 그러한 매체는 랜덤 액세스 메모리(RAM), 판독-전용 메모리(ROM), 전기적 소거가능 프로그램가능 판독-전용 메모리(EEPROM), 플래시 메모리, 콤팩트 디스크 판독-전용 메모리(CD-ROM)를 포함할 수 있고 또는 다른 광학 디스크 저장장치는 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM 또는 다른 광학 디스크 저장 장치, 자기 디스크 저장 장치 또는 다른 자기 저장 장치, 또는 명령어 또는 데이터 구조의 형태로 원하는 프로그램 코드를 저장하는 데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 컴퓨터-판독가능 매체는 유형적이고 비-일시적일 수 있음에 유의하여야 한다. 본 명세서에 사용되는 바와 같이, 용어 "코드"는 컴퓨팅 장치 또는 프로세서에 의해 실행가능한 소프트웨어, 명령어, 코드 또는 데이터를 지칭할 수 있다.

본 명세서에 개시된 방법은 기술된 방법을 달성하기 위한 하나 이상의 단계 또는 동작을 포함한다. 방법 단계 및/또는 동작은 청구범위의 범주로부터 벗어남이 없이 서로 교환될 수 있다. 다시 말하면, 기술되는 방법의 적절한 작동을 위해 특정 순서의 단계 또는 동작이 요구되지 않는 한, 특정 단계 및/또는 동작의 순서 및/또는 사용은 청구범위의 범주로부터 벗어남이 없이 수정될 수 있다.

본 명세서에 사용되는 바와 같이, 용어 "복수"는 2개 이상을 나타낸다. 예를 들어, 복수의 구성요소는 2개 이상의 구성요소를 나타낸다. 용어 "결정하는"은 매우 다양한 동작을 포함하며, 따라서 "결정하는"은 계산, 컴퓨팅, 처리, 도출, 조사, 검색(예컨대, 테이블, 데이터베이스 또는 다른 데이터 구조에서의 검색), 확인 등을 포함할 수 있다. 또한, "결정하는"은 수신(예컨대, 정보를 수신함), 액세스(예컨대, 메모리의 데이터에 액세스함) 등을 포함할 수 있다. 또한, "결정하는"은 해석, 선택, 선정, 설정 등을 포함할 수 있다.

어구 "~에 기초한"은, 달리 명백히 명시되지 않는 한, "단지 ~에 기초한"을 의미하지는 않는다. 다시 말하면, 어구 "~에 기초한"은 "단지 ~에 기초한" 및 "적어도 ~에 기초한" 둘 모두를 기술한다.

개시된 구현예의 이전의 설명은 당업자가 본 발명을 제조하거나 사용하는 것을 가능하게 하도록 제공된다. 이들 구현예에 대한 다양한 수정은 당업자에게 용이하게 명백해질 것이고, 본 명세서에서 정의된 일반적인 원리는 본 발명의 범주로부터 벗어남이 없이 다른 구현예에 적용될 수 있다. 예를 들어, 당업자가 다수의 대응하는 대안적인 그리고 동등한 구조적 상세사항, 예컨대 도구 구성요소를 체결, 장착, 결합, 또는 맞물리게 하는 동등한 방식, 특정 작동 운동을 생성하기 위한 동등한 메커니즘, 및 전기 에너지를 전달하기 위한 동등한 메커니즘을 채용할 수 있을 것임이 인식될 것이다. 따라서, 본 발명은 본 명세서에 도시된 구현예로 제한되도록 의도되는 것이 아니라, 본 명세서에 개시된 원리 및 신규한 특징과 일치하는 가장 넓은 범주에 따른다.

Claims (72)

1. 하나 이상의 프로세서에 의해, 신체의 내부 영역 내에서 기구(instrument)를 제어하는 방법으로서,
   상기 기구의 팁(tip)을 명령된 위치로 지시하는 로봇 명령 데이터(robotic command data)에 액세스하는 단계;
   상기 신체의 상기 내부 영역 내에 위치되는 상기 기구의 일부분에 대한 변형을 나타내는, 상기 기구 내에 위치된 광섬유로부터의 변형 데이터(strain data)에 액세스하는 단계;
   상기 변형 데이터에 기초하여 형상 데이터(shape data)를 결정하는 단계;
   상기 형상 데이터가 상기 로봇 명령 데이터에 의해 지시되는 곡률 값(curvature value)을 초과하는 곡률 값을 지시하는 것을 결정하는 단계;
   상기 형상 데이터가 상기 로봇 명령 데이터에 의해 지시되는 곡률 값을 초과하는 곡률 값을 지시하는 결정에 기초하여, 상기 로봇 명령 데이터에 의해 지시되는 곡률 값을 초과하는 곡률 값을 식별하는 단계;
   상기 로봇 명령 데이터에 의해 지시되는 곡률 값을 초과하는 곡률 값에 기초하여 상기 형상 데이터를 조절하여 상기 로봇 명령 데이터에 의해 지시되는 곡률 값을 초과하는 곡률 값이 더 이상 존재하지 않도록 하는 단계;
   상기 조절된 형상 데이터에 기초하여 상기 기구의 추정 상태(estimated state)를 결정하는 단계; 및
   상기 기구의 상기 추정 상태를 출력하는 단계를 포함하는, 방법.
2. 삭제
3. 삭제
4. 제1항에 있어서,
   (i) 상기 기구의 팁에 근접하게 위치된 전자기(electromagnetic, EM) 센서 및 (ii) 상기 신체의 외부에 위치된 EM 필드 발생기(field generator)를 사용하여 캡처되는 EM 데이터에 액세스하는 단계;
   상기 EM 데이터와 상기 형상 데이터를 비교하는 단계; 및
   상기 EM 데이터와 상기 형상 데이터의 비교에 기초하여 상기 형상 데이터를 추가로 조절하는 단계를 추가로 포함하는, 방법.
5. 제1항에 있어서,
   상기 기구의 팁에 근접하게 위치된 이미징 장치(imaging device)에 의해 캡처되는 이미지 데이터에 액세스하는 단계;
   상기 이미지 데이터와 상기 형상 데이터를 비교하는 단계; 및
   상기 이미지 데이터와 상기 형상 데이터의 비교에 기초하여 상기 형상 데이터를 추가로 조절하는 단계를 추가로 포함하는, 방법.
6. 제1항에 있어서, 상기 변형 데이터는 상기 광섬유의 일부분 상에 생성된 섬유 브래그 격자(fiber Bragg grating, FBG)들에 기초하여 생성되는, 방법.
7. 제1항에 있어서, 상기 형상 데이터는 상기 기구의 상기 일부분의 시간 이력 데이터(time history data)를 포함하는, 방법.
8. 삭제
9. 제7항에 있어서, 상기 시간 이력 데이터가 상기 로봇 명령 데이터 내의 임계 시간 이력 조건을 충족시킨다는 결정에 기초하여 상기 형상 데이터를 조절하는 단계를 추가로 포함하는, 방법.
10. 제1항에 있어서, 비-형상-변경 변형(non-shape-changing strain)이 상기 기구에 인가되고 있다는 결정에 기초하여 상기 형상 데이터를 조절하는 단계를 추가로 포함하는, 방법.
11. 제1항에 있어서, 상기 기구의 제1 부분이 상기 기구의 원위 단부를 포함한다는 상기 프로세서의 결정에 기초하여, 상기 제1 부분에 대응하는 상기 형상 데이터에 할당되는 신뢰도 값(confidence value)보다 높은 신뢰도 값을 상기 제1 부분에 대응하는 상기 로봇 명령 데이터에 할당하는 단계를 추가로 포함하는, 방법.
12. 신체의 내부 영역 내에서 기구를 제어하기 위한 의료 로봇 시스템(medical robotic system)으로서,
    광섬유를 갖는 기구로서, 상기 광섬유는 상기 기구 내에 위치되는, 상기 기구;
    상기 신체의 상기 내부 영역 내에 위치되는 상기 기구의 일부분에 대한 변형을 나타내는 변형 데이터를 생성하도록 구성되는 센서;
    상기 기구에 부착되고 상기 기구를 이동시키도록 구성되는 기구 위치설정 장치(instrument positioning device);
    실행가능 명령어들을 저장한 적어도 하나의 컴퓨터-판독가능 메모리; 및
    상기 적어도 하나의 컴퓨터-판독가능 메모리와 통신하고, 상기 명령어들을 실행하여 상기 시스템으로 하여금 적어도,
    상기 기구의 팁을 명령된 위치로 지시하는 로봇 명령 데이터에 액세스하고;
    상기 변형 데이터에 액세스하고;
    상기 변형 데이터에 기초하여 형상 데이터를 결정하고;
    상기 형상 데이터가 상기 로봇 명령 데이터에 의해 지시되는 곡률 값을 초과하는 곡률 값을 지시하는 것을 결정하고;
    상기 형상 데이터가 상기 로봇 명령 데이터에 의해 지시되는 곡률 값을 초과하는 곡률 값을 지시하는 결정에 기초하여, 상기 로봇 명령 데이터에 의해 지시되는 곡률 값을 초과하는 곡률 값을 식별하고;
    상기 로봇 명령 데이터에 의해 지시되는 곡률 값을 초과하는 곡률 값에 기초하여 상기 형상 데이터를 조절하여 상기 로봇 명령 데이터에 의해 지시되는 곡률 값을 초과하는 곡률 값이 더 이상 존재하지 않도록 하고;
    상기 조절된 형상 데이터에 기초하여 상기 기구의 추정 상태를 결정하고;
    상기 기구의 상기 추정 상태를 출력하게 하도록 구성되는 하나 이상의 프로세서들을 포함하는, 의료 로봇 시스템.
13. 삭제
14. 삭제
15. 제12항에 있어서, 상기 명령어들은, 실행될 때, 추가로 상기 시스템으로 하여금, 상기 기구의 제1 부분이 상기 기구의 원위 단부를 포함한다는 상기 프로세서의 결정에 기초하여, 상기 제1 부분에 대응하는 상기 형상 데이터에 할당되는 신뢰도 값보다 높은 신뢰도 값을 상기 제1 부분에 대응하는 상기 로봇 명령 데이터에 할당하게 하는, 의료 로봇 시스템.
16. 제12항에 있어서, 상기 명령어들은, 실행될 때, 추가로 상기 시스템으로 하여금, 상기 기구의 제1 부분이 상기 기구의 근위 단부를 포함한다는 상기 프로세서의 결정에 기초하여, 상기 제1 부분에 대응하는 상기 형상 데이터에 할당되는 신뢰도 값보다 낮은 신뢰도 값을 상기 제1 부분에 대응하는 상기 로봇 명령 데이터에 할당하게 하는, 의료 로봇 시스템.
17. 제12항에 있어서, 상기 명령어들은, 실행될 때, 추가로 상기 시스템으로 하여금, 상기 기구의 상기 추정 상태에 기초하여 상기 기구를 덮고 있는 시스의 추정 상태를 결정하게 하는, 의료 로봇 시스템.
18. 제12항에 있어서, 상기 명령어들은, 실행될 때, 추가로 상기 시스템으로 하여금, 상기 형상 데이터와 상기 기구를 덮고 있는 시스의 형상을 나타내는 추가 데이터의 비교에 기초하여 상기 형상 데이터에 신뢰도 값을 할당하게 하는, 의료 로봇 시스템.
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제
37. 삭제
38. 삭제
39. 삭제
40. 삭제
41. 삭제
42. 삭제
43. 삭제
44. 삭제
45. 삭제
46. 삭제
47. 삭제
48. 삭제
49. 삭제
50. 삭제
51. 삭제
52. 삭제
53. 삭제
54. 삭제
55. 삭제
56. 삭제
57. 삭제
58. 삭제
59. 삭제
60. 삭제
61. 삭제
62. 삭제
63. 삭제
64. 삭제
65. 삭제
66. 삭제
67. 삭제
68. 삭제
69. 삭제
70. 삭제
71. 삭제
72. 삭제

Images