KR20230144555A - 진단적 중요도의 순서대로 세포 및 조직을 동적으로 우선순위를 매기고 조직화하며 표시하는 시스템 및 방법 - Google Patents

Abstract

표본 슬라이드를 검토하기 위해 병리학자에 의해 사용되는 상호작용하는 표시를 만드는 시스템 및 방법. 상기 시스템은 디지털화된 슬라이드 상에 모든 정보를 포함하는 일련의 슬라이드를 만들고, 진단적 중요도의 순서에 따라 선상의 방식으로 타일들을 나타낸다. 또한, 높은 정도의 비정상성을 가지는 세포를 포함하는 타일들은 검토하는 병리학자에게 비정상성을 결정하기에 도움이 되는 맥락과 함께 제공되도록 이웃하는 세포/조직의 이미지와 함께 제공된다.

Description

진단적 중요도의 순서대로 세포 및 조직을 동적으로 우선순위를 매기고 조직화하며 표시하는 시스템 및 방법

본 출원은 2021년 2월 8일 제출된 미국 가출원 63/146,956호의 우선권을 주장하며, 그 내용은 여기에 참조로서 영입된다.

기술분야

본 발명은 전반적으로, 잠재적으로 유해한 조직 및 세포를 확인하고 카테고리화하며 표시하는 분야에 대한 것이다. 더욱 구체적으로, 본 발명은 슬라이드 상의 조직과 세포의 디지털 현미경 이미지를 분석하고, 그 다음 가장 관심있는(예를 들어 잠재적으로 암인) 슬라이드 상의 특정 구역을 동적으로 식별하고 우선순위를 매기며 강조하여, 의료 전문가가 진단, 예후 평가 및 치료 결정을 하고, 종래 기술보다 더 큰 효율성과 정확도로 치료할 수 있도록 하는 개선된 컴퓨터 시스템 및 방법에 대한 것이다.

세포를 포함하는 현미경 슬라이드를 검토하는 것은 시간소모적인 일이며, 인간의 오류가 나기 쉽다. 예를 들어, 조직과 세포의 세포학적 표본은 여러 진단 시나리오에서 통상적으로 얻어지고 병리학자에 의해 수동으로 분석된다. 다른 맥락에서, 조직과 세포의 적절한 시료를 얻기 위해 조직으로 침투하기에 적당한 뻣뻣한 브러시를 사용하여 조직의 비-열상(non-lacerational) 브러시 생검 시료가 얻어진다. 이런 전체 두께 조직 표본을 얻는 과정에서, 단일 세포, 세포 무리 및 조직 단편이 수집되고 현미경 슬라이드로 옮겨져서 비정상 세포(예: 이상형성(dysplasia))가 있는지 병리학자가 검사하게 되는데, 그것은 아래 논의될 바와 같이, 성가시고, 시간 소모적이며, 진단을 놓치고 부적합하거나 이상적이지 않거나 부적절한 치료로 이어질 수 있다.

병리학자에 의해 검사될 다른 유형의 세포 표본은 세포 블록 슬라이드 제조물을 포함한다. 세포 블록은 튜브 안의 액체 배지 안에 세포와 조직을 현탁하고 그 다음 제조물이 침전되도록 원심분리함으로써 준비될 수 있다. 원심분리 후에, 용액을 버리고, 침전물을 파라핀이나 유사한 매체에 묻어서 펠렛을 형성한다. 일단 만들어지면, 펠렛이 일련의 슬라이스로 잘려서, 각 슬라이스는 펠렛 안의 주어진 평면 상의 세포/조직의 단면을 나타낸다. 슬라이스를 현미경 슬라이드에 고정하고 병리학자에 의해 현미경 하에서 검사되도록 가공한다.

조직과 세포 시료를 수집하기 위해 어떤 생검 기술이 쓰이든지 상관없이, 생검 표본은 전형적으로 슬라이드 표면에 걸쳐 무작위로 퍼져 있는 수십만의 세포를 포함한다. 세포 제작물은 전형적으로 균일한 형태가 아니어서 슬라이드 상에는 높은 세포 밀도를 가지는 영역이 있고, 다른 영역은 낮은 세포 밀도를 가지며, 또 다른 영역에는 세포가 전혀 없다. 질병을 선별하고 찾아내기 위해, 병리학자는 슬라이드 상의 모든 세포, 세포 무리 및 조직 단편을 검사할 필요가 있다. 이것은 매우 도전적인데, 왜냐하면 그것은 현미경을 사용하여 수동으로 슬라이드 전체 면을 훑어보고 세포와 조직을 검사해야 함을 의미하기 때문이다.

이 수동적인 접근법과 연관된 문제는 복합적이다.

우선, 병리학자는 병을 나타내는 세포를 찾기 위해 슬라이드의 어디부터 보기 시작해야 할지 모를 것이다. 종종, 병리학자는 병의 아무런 징후가 없는 슬라이드 영역을 선택할 것이고, 그 다음 질병을 나타내는 세포를 찾기 위해 슬라이드 전체를 훑어야만 한다. 결과적으로, 수동적인 접근법은 병리학자가 슬라이드의 어떤 구역에 문제가 있고 어떤 구역에 질병의 징후가 없는지 처음에 아는 경우보다 그렇지 않을 때 더 시간 소모적이다.

두 번째로, 병리학자는 세포의 각 영역을 검사하기 위해 슬라이드를 가로지르며 구획 구획별로 이동할 필요가 있다. 이는 병리학자가 비정상 세포를 찾기 위해 슬라이드 상의 방대한 표면적을 천천히 주의깊게 훑고, 그 다음 어떤 세포를 검사했고, 거기에서 비정상 세포가 슬라이드 상의 어디에 있었으며, 어떤 세포가 비정상인지를 수동으로 추적하도록 요구한다. 이런 수동적인 과정은 지루하고, 병리학자가 관심 세포 또는 조직(예: 이상형성, 화생 등)을 못 보고 넘어가는 것과 같은 인간의 오류를 종종 일으킬 수 있다. 슬라이드를 스크리닝하는 동안, 병리학자는 우선 관심 영역을 확인하기 위해 저배율에서 슬라이드를 검토한다. 일단 추가적인 분석이 필요한 영역이 확인되면, 병리학자는 세포와 조직을 더 자세히 볼 수 있도록 현미경을 고배율로 바꾼다. 그러나, 병리학자가 이 과정에서 작은 또는 분리된 악성 세포를 놓칠 수 있고, 그 경우 질병 또는 비정상의 증거를 놓칠 수 있다.

세 번째로, 병리학자가 슬라이드 상에서 진단적 관심이 있는 분리된 세포 또는 조직(예: 악성 세포)을 확인했을 때, 그 관심 세포 또는 조직의 이웃하는 영역의 세포와 조직에 대한 정보를 볼 수 있으면 병리학자에게 매우 도움이 될 것이다. 이런 관점에서, 종종, 관심 있는 분리된 세포 또는 조직은 질병의 표지자일 필요는 없다. 그러나, 주변의 세포 또는 조직 또한 진단적 관심이 있는 것이라면(예: 그것들도 역시 비정상 또는 악성임) 질병의 가능성은 훨씬 크다. 역으로, 주변 세포 및 조직이 건강하다면, 질병은 가능성이 적다.

진단적 관심의 특정 세포 또는 조직의 결정(determination) 또는 태그와 결합된 관심 타일로 나타내는 컴퓨터 기반 시스템, 예를 들어 인디카 랩스(Indica Labs)에서 제공되는 것과 같은 시스템이 존재한다. 그러나, 본 발명의 발명자가 깨달은 바와 같이, 이러한 컴퓨터 기반 시스템은 동적으로 타일의 크기를 조정하는, 예를 들어 슬라이드의 주변 영역에서의 진단적 관심이 있는 다양한 별개요소의 확인에 기반하여 크기를 조정하는 컴퓨터 기반 기술을 사용하지 않는다. 오히려, 본 발명의 발명자들이 깨달았다시피, 그것들은 단순히 진단적 관심의 결정 또는 태그와 관련된 개별 타일을 표시하거나 단순히 전체 슬라이드를 보여줄 뿐이다.

불행히도, 본 발명의 발명자가 인식한 것처럼, 알려진 컴퓨터 시스템에 의해 생성된 관심 타일을 검사할 때, 병리학자가 주어진 타일 또는 전체 슬라이드를 검토하는 동안 주변 영역에 특이적으로 있는 세포 및 조직에 대한 정보가 병리학자에게 이용가능하지 않다. 결과적으로, 질병의 존재 또는 부재를 판단하기 위해서, 병리학자는 관심 세포 또는 조직 주변의 영역을 살펴보느라 물리적(또는 디지털) 표본 슬라이드에 많은 시간을 보내야 한다.

앞서의 과정은 매우 시간 소모적이고 성가시며, 병리학자가 주변 영역을 살펴보느라 상당한 시간을 허비한 후에야 그 주변 영역에 관심 세포 또는 조직이 없다는(예: 비정상이 아님) 것을 알게 되는 경우도 종종 있다.

본 발명의 발명자가 인식한 바와 같이, 만약 병리학자가 관심 세포 또는 조직 영역의 이웃하는 영역의 세포 또는 조직에 대한 정보에 즉시 접근할 수 있다면 그(녀)가 높은 효율로 질병을 배제하거나 진단을 내릴 수 있어서 엄청난 진단적 이익과 효율 향상이 있을 것이다. 불행히도, 그런 알려진 시스템이나 방법은 존재하지 않는다.

네 번째로, 병리학자가 이미 검토했거나 검토하지 않은 슬라이드의 영역과, 어디에 비정상 세포가 있었는지 정확하게 추적하는 것은 매우 어렵다. 이런 어려움 때문에, 병리학자들은 슬라이드의 동일한 영역을 종종 여러 번 검토하고, 그것이 그 과정을 더 시간소모적이고, 자원을 낭비하게 만들며, 심지어 더 많은 인간의 오류까지 일으킬 수 있다.

마지막으로, 이런 슬라이드의 검토는 통상적으로 비-시스템적이고 무질서한 방식으로 수행되는데, 왜냐하면 관심 세포 및 조직 단편(예: 이상형성 조직)이 슬라이드 전체의 여러 영역에 걸쳐 무작위로 분포하기 때문이다. 이와 같이, 병리학자는 비정상 세포를 찾기 위해 정상의 또는 관심 없는 세포를 살펴보느라 소중한 시간을 허비할 수 있고, 종종 중요한 병든 세포를 놓치는 위험도 있다.

이런 이유로, 병리학자들이 슬라이드 상의 세포 및 조직을 검토하고 분석하는 수동적인 방법은 무질서하고, 시간소모적이며, 종종 질병(암과 같은)의 진단을 놓치는 결과를 만들 수 있다.

종래의 시스템들은 표본 슬라이드의 컴퓨터-보조 분석을 수행할 목적으로 만들어졌는데, 그것은 병리학자에 의해 사용되는 수동적인 방법과 관련된 문제의 일부는 해결하지만 전부는 아니다. 이러한 이전의 시스템은 출원인과 그 선임자에 의해 만들어진 컴퓨터와 소프트웨어 시스템을 포함한다(예: 미국 특허 6,327,377호). 이 시스템은 분류기 및, 표본 슬라이드 상의 가장 비정상으로 보이는 세포를 식별하도록 구성된 특별히 훈련된 신경망 컴퓨터를 포함한다.

그러나, 이런 시스템은 오직 각개의 개별 세포들을 분리해서 확인할 뿐이고, 확인된 개별 세포 주변의 조직 영역을 보여주지 않는다. 위장관 조직(및 다른 체부위)과 관련된 비정상성을 진단할 때, 하나의 비정상 세포를 기초로 진단을 내리기는 매우 어렵다. 따라서, 병리학자가 동일한 영역에 다른 비정상 세포가 있는지 평가하기 위해 비정상 세포 주변의 조직을 검토하는 것은 매우 중요하다. 주변 세포들의 완전한 무리 또는 군집이 병리학자에게 보여진다면, 진단을 내리기 위해 필요한 맥락이 병리학자에게 제공될 것이다. 따라서, 이웃하는 세포들에 대한 정보를 가지는 것은 진단을 내릴 때 병리학자의 확신과 정확성을 높일 것이다. 본 발명의 발명자는, 불행히도 이전 기술이, 고려 중인 세포와 함께 이웃하는 세포들의 진단적 관심 수준에 기반한 이웃하는 세포에 대한 유용한 정보를 선택적으로 제공하는 데 실패했다는 것을 깨달았다. 더욱이, 본 발명의 발명자는 그러한 어떠한 목적에서든, 동적인 크기 조절과 같은 컴퓨터화된 방법론을 채용하는 데 실패했다는 것을 깨달았다.

또한, 비정상성에 양성인 세포들은 무리로 모이는 경향이 있다. 그러나, 이전 시스템은 전형적으로 이러한 무리의 전부가 아니라 오직 한 부분 또는 구획만 나타냈다. 특히, 본 발명의 발명자들은 현재의 컴퓨터 기반 시스템이 이웃의 세포 또는 조직의 특징(군집과 같은)을 기반으로 하여 진단적 중요성을 가지는 세포 또는 조직과 연관되어 나타나는 이미지를 동적으로 크기 조절하는 것에 관여하기에 실패했다는 것을 깨달았다. 결과적으로, 병리학자는 무리 전체 맥락의 이익을 지속적으로 갖지 못할 것이고, 그래서 진단 정확성을 망칠 수 있다. 또는, 병리학자가 표시된 부분적인 정보는 결정적이지 않으며, 표시되지 않은 정보를 찾기 위해 현미경 하의 전체 무리를 수동으로 찾아봐야만 한다고 여길 수도 있다. 이는 시간소모적인 과정이고, 만약 병리학자가 군집의 나머지를 찾는 데 실패한다면, 이러한 실패는 오진단으로 이어질 수 있다.

종래 시스템이 유용하다고 하더라도, 그것들은 병리학자에게 모든 비정상 세포가 표시되었다거나 세포의 완전한 무리 또는 군집이 표시되었다는 합리적인 확신을 주지 않는다. 이는 이러한 이전 시스템이, 슬라이드의 동적으로 크기 조절된 구역 내의 모든 비정상 세포에 대한 믿을만한 컴퓨터 처리 결정을 내리고 표시하도록 구성되지 않았고, 대신 오직 이러한 세포의 서브세트의 개별적이고 종합되지 않은 고려에 기반한 타일만을 보여주기 때문이다. 또한, 종래 시스템은 병리학자에게 그(녀)가 슬라이드 상의 모든 개별 구역 및 관심 세포를 검토했다고 확인시켜주는 수단을 제공하지 않는다. 종래 시스템은 높은 진단적 관심이 있는 표본의 구역을 확인하고 조직화하지도 않고, 병리학자가 높은 관심 구역에 초점을 맞춰 분석할 수 있도록 스마트 갤러리 안에 그러한 구역을 우선적으로 조직화하지 않았다. 이러한 결점은 또한 진단을 놓치거나 또는 불완전한 진단 및 오진단으로 이어질 수 있다.

앞선 논의에서 인식된 바와 같이, 병리학자에 의해 사용되는 방법(종래의 컴퓨터 시스템을 쓰는 것과 쓰지 않는 것 모두)은 표본 슬라이드의 상당한 양의 수동적인 검토와 관련된다. 그러나, 수동적인 검토는 매우 성가시고 시간 소모적이며 오류가 나기 쉽고 진단을 놓치거나 오진단을 일으킬 수 있어서, 진단을 내리기 위해 필요한 수동 검토의 정도를 경감시키는 것이 좋을 것이다. 질병(암과 같은) 탐색을 다룰 때, 목표는 늘 오류를 최소화하고 정확도를 최대화하는 것이다. 다른 목표는 정확도를 희생함이 없이 슬라이드를 검토하는 효율을 극대화하는 것이다. 종래의 방법들이 이런 목적을 달성하는 데 어느 정도 성공을 거뒀다고 하더라도, 이전 방법의 정확성과 효율성을 개선한 시스템과 슬라이드의 무질서한 수동 검토를 대신할 시스템에 대한 오랜 요구가 있다.

시료 슬라이드에서 악성, 전-악성 및 병리에 대한 확인을 진행할 때 공간적 및 시간적 비효율에 대한 문제 뿐만 아니라 비효율적인 업무 중복, 오진단 및 정확성에 대한 문제도 본 발명에 의해 해결된다.

발명의 요약

본 발명의 구현예들은 컴퓨터 시스템을 제공하는데, 구체적으로: (1) 표본 슬라이드 상의 세포 및 조직을 자동으로 스캔 및 분석하고; (2) 이러한 세포와 조직을 그것들의 진단적 중요성의 정도에 따라 분류하며; 그리고 (3) 조합된 복수의 관심 영역을 영입한 디지털 슬라이드의 컴퓨터화된 동적 크기 조절을 채용해서 개별 관심 구역이 컴퓨터 수행 점수화 방법론에 따라 결정된 크기를 가지도록 하고; (4) 전체 표본 슬라이드에 대응하는 이미지 타일의 갤러리를 형성하고; 그리고 (5) 진단적 중요도 순서로 이미지 타일을 조직화하고 병리학자에게 나타내는 시스템이다.

진단적 중요성은 개별 비정상 세포의 존재, 그리고 이러한 비정상 세포가 물리적 또는 공간적으로 서로 모였는지 여부의 확인과 직접 관련된다. 이런 관점에서, 비정상성에 대해 양성인 세포들은 보통 분리되어 나타나지 않고, 오히려 그것들은 전형적으로 다른 비정상 세포들과(예를 들어 주변 영역에서) 무리짓는다. 따라서, 비정상 세포들의 무리의 존재는 진단적으로 중요하며, 그리고 확인되었을 때, "양성" 진단이 정확하다는 일정 수준의 확신을 병리학자에게 준다.

발명의 구현예들에서, 본 발명의 시스템은 진단적으로 중요한 세포들의 무리(예: 비정상 세포 무리)를 동적으로 확인하고, 그 다음 그러한 진단적으로 중요한 무리를 표시장치 상에 조직화하여(예: 동적으로 크기 조절된 타일의 일부로서 함께) 병리학자가 슬라이드 분석을 시작할 때 이러한 무리를 즉시 검토할 수 있도록 한다. 이런 점에서, 본 발명의 구현예들에 따르면, 본 시스템은 병리학자가 이런 모둠을 우선 검토할 수 있게 하는 방식으로 이런 진단적으로 중요한 모둠을 나타낸다. 예를 들어, 구현예들에서, 본 시스템은, 분리된 세포와 같이 진단적으로 중요하지 않은 세포보다(더 작은 타일로 표시될 것이다) 진단적으로 중요한 세포들에 대한 이미지 타일을 좀 더 두드러지게 생성할 것이다(예: 더 큰 이미지 타일로).

본 발명의 구현예들에서, 더 큰 타일(진단적으로 가장 중요한 것)이 선형 전시에서 첫 번째로 표시될 수 있는데, 왜냐하면 그것들이 진단을 내리기 위해 필요한 가장 중요한 정보(예: 관심 세포 및 조직의 모둠)을 담고 있기 때문이다. 분리된 및/또는 무리짓지 않은 비정상 세포는 진단적으로 덜 중요한 정보를 담고 있기 때문에 더 작은 타일로 표시되고, 큰 타일보다 나중에 보여진다. 이미지의 크기는 동일한 인접구역에서의 양성 건의 수와 비례한다. 동일한 인접구역에서의 더 많은 건, 더 큰 이미지, 그리고 그런 이미지의 크기는 더 높은 확실성을 나타낸다. 동일 인접구역이라는 것은 검사될 세포 유형 또는 군집에 의해 결정될 수 있다. 일반적으로, 시료 안에서 세포 사이의 거리가 세포의 무리 사이의 거리보다 종종 다소 작다. 구현예들에서, 인접 거리는 세포 사이의 거리보다는 크지만 군집 사이의 거리보다는 작은 거리에서 발견된다. 구현예들에서, GI 또는 식도 표본에서 5.5x 내지 6.5x, 예를 들어 6x 세포 간 거리가 적합하다. 예를 들어서, 양성 건 사이의 거리가 세포 간 거리의 6x 미만일 때, 그것은 동일 군집 내의 2개의 건이라고 여겨질 수 있다. 다른 신체 부위에서는 다른 거리일 수 있다. 인접구역의 예는 도 18에 나타냈다.

본 발명의 구현예들에서, 시스템이 디지털 메모리에 저장된 디지털화된 표본 슬라이드를 분석하고, 디지털화된 표본의 각 구역에, 예를 들어 비정상성의 정도에 따라 점수를 부여한다. 즉, 예시적인 구현예들에서, 연속된 점수를 따라, 높게 비정상으로 여겨지는 표본 구역은 높은 점수를 받고, 정상 표본 구역은 낮은 점수를 받는다. 예시적인 구현예들에서, 시스템이 관심 영역을 지정하기 위해 상기 점수를 사용하고, 그로써 높은 점수는 더 큰 관심 영역을, 낮은 점수는 더 적은 관심의(작은) 더 작은 영역을 산출한다. 관심 영역은 진단적 관심의 세포 또는 조직을 이웃하는(예: 둘러싸는) 이미지 구획 또는 이미지 구역이다. 본 발명의 구현예들에서, 점수에 의해 정해진 이 관심 영역들은 관심 세포 또는 조직을 둘러싸는 얼마나 많은 이미지 영역이 이미지 타일에 포함되었느냐를 판단하기 위해 쓰이고, 병리학자에게 하나의 유닛으로 제공된다. 구현예들에서, 한계값이 적용될 수 있는데, 예를 들어, 점수가 소정의 한계값, 예를 들어 0.5 또는 0.8을 초과해야만 관심 영역이 지정될 수 있다.

본 발명의 구현예들에서, 앞의 점수화 시스템을 이용하여 일단 관심 영역(예: 진단적으로 중요한 세포의 모둠 또는 디지털 슬라이드의 구역들에 대응하는 기하학적으로 결합된 형태)이 확인되면, 시스템이 동적으로 일련의 타일을 생성하는데(예: 적어도 초기에는 이러한 기하학적으로 결합된 형태에 대응되게), 그 각각은 임의의 조합의 세포, 세포 무리 및/또는 조직 단편의 이미지를 포함할 수 있다. 구현예들에서, 타일들은 표시장치 상에 진단적 중요성의 정도에 따라(예: 가장 높은 진단적 중요성을 가지는 세포를 가진 타일부터 가장 낮은 진단적 중요성을 가지는 타일까지) 선형 방식으로 표시되고 조직화되고 순서가 매겨질 수 있다(예: 왼쪽에서 오른쪽으로 또는 위쪽에서 아래쪽으로 또는 시계열적 순서에서의 표시 또는 강조를 통해서). 랭킹은 신경망 점수를 기반으로 할 수 있다. 신경망은 비정상성을 인식하도록 훈련되고 통상 0과 1 사이의 점수를 주는데, 1은 비정상이라는 것이 가장 확실할 때이다. 본 발명의 구현예들에 따르면, 전체 슬라이드가 이미지화되고, 압축되고 순서가 정해진 방식으로 병리학자에게 보여진다. 왜냐하면, 구현예들에서, 표본 정보의 전부, 또는 진단적 관련성에 대해 컴퓨터 프로세싱을 통해 정해진 표본 정보의 전부가, 예를 들어 전자적 표시장치 상에, 일련의 타일로 표시되기 때문에 본 시스템은 표본 슬라이드를 개별적으로 검토할 필요 없이 병리학자가 타일을 검토할 수 있게 한다. 높은 점수가 할당되었더라도 그것이 위양성 건일 가능성이 제한되지만 작게 있을 수 있다(확률론적으로). 그를 고려하면, 주변의 양성 건을 확인하는 것이 이 문제를 개선할 것이다. 만약 동일 인접구역 내에 여러 개의 양성 건이 있다면, 이 조합된 건들이 위양성일 가능성은 더 적다. 이는 양성 세포가 자연적으로 어떻게 발생하는지, 그것들의 수가 매우 적더라도 그것들이 나타난다면 그것들은 무리지어 나타난다는 것을 반영한다. 이는 병리학자가 표본 슬라이드를, 진단적 중요성을 가지는 잠재적으로 유해한 세포 및 조직을 간과할 가능성을 줄이면서 좀 더 효율적으로, 그리고 더 큰 정확성으로 검토할 수 있게 한다.

구현예들에 따르면, 일련의 타일을 형성하기 위해, 현미경 슬라이드를 우선 디지털화하고 그 다음 컴퓨터에 의해 형태적으로 분류한다. 이런 자동화된 분류의 일부로, 슬라이드 상에 나타난 세포들은 그것들의 비정상성의 정도에 대한 단위에 따라 컴퓨터에 의해 점수가 매겨진다. 시스템은 관심 세포를 둘러싼 얼마나 큰 이미지 영역을 병리학자에게 나타낼지 결정하기 위해 컴퓨터 생성 점수를 이용한다. 예를 들어 본 발명의 구현예들에서, 세포가 비정상에 대해 더 높은 순위가 되면, 높은 순위의 세포와 이웃하는 더 큰 크기의 이미지 영역이 타일에 포함된다. r-tree 데이터 구조화 방법이 사용될 수 있다. 이런 관점에서, 병리학자가 비정상 세포를 탐지하면, 정확한 진단을 제공하기 위해 비정상 세포와 이웃하는 조직 및 세포를 검사하는 것이 중요하다. 이것은 조직(예: 위장관 또는 식도의)을 진단할 때, 정확한 진단을 내리기 위해 충분한 정보를 하나의 비정상 세포가 항상 제공하지는 않기 때문이다. 오히려, 둘러싸는 조직 역시 검토하는 것이 종종 필요하다. 만약 이웃하는 세포들이 비정상이거나 또는 비정상 경계라면, 그때는 이웃하는 세포들이 타일에 포함되지 않았을 때보다 병리학자가 더욱 효율적인 진단(예: 더 빠른)을 내리고, 더 정확한 진단을 내릴 수 있을 것이다.

이와 같이, 본 발명의 구현예들에서, 가장 진단적 관심이 있는 타일들이(그리고, 예를 들어 이후에 여기서 추가로 논의될 바와 같이 컴퓨터 수행 접근법이 여러 접촉 구역을 모둠화했기 때문에 물리적으로 함께 모둠화된 타일들이) 진단적으로 관심없는 및/또는 분리된(isolated) 성질을 가지는 타일보다 더 클 것인데, 왜냐하면, 더 큰 타일은 관심 세포에 더해, 관심 세포 및/또는 동반하는 주변의 양성 영역 또는 영역들의 진단적 중요성에 대해 결정된 주변 영역을 포함할 것이기 때문이다. 더 큰 타일은 병리학자의 전자 표시장치 상에 시계열적으로 또는 위치적으로 일련의 타일로 표시될 때 우선적으로 위치하는데, 왜냐하면 그것들이 가장 중요할 수 있기 때문이고, 더 작은 타일은 그것들이 단독이고, 가장 덜 중요할 수 있기 때문에 시리즈에서 가장 나중에 위치할 것이다. 결과적으로, 가장 중요할 것 같은 슬라이드의 영역이 병리학자에 의해 먼저 검토될 수 있거나, 또는 이와 다르게 이 영역들에 병리학자가 가장 큰 정도의 주의를 기울여야 한다고 병리학자에게 제안하는 방식으로 병리학자에게 표시될 수도 있다.

본 발명의 구현예들에서는 또한 슬라이드의 "사구역(dead areas)(예: 세포가 없거나 또는 확실한 진단적 관련성을 가지는, 소정 정도보다 적은 세포를 가지는 영역)"을 제거할 수 있고, 그럼으로써 병리학자에 의해 검토될, 예를 들어 전자 표시장치 상에서의 2차원 표면적을 상당히 줄임으로써 그러지 않았다면 슬라이드를 검토하기 위해 들일 시간을 감소시킨다.

이와 같이, 본 발명의 목적은 표본 제작물을 일련의 또는 다른 방식으로 순서가 매겨져 표시되는 타일로 만들어서 병리학자가 종래의 슬라이드를 전체적으로 훑을 필요가 없게 하고, 그럼으로써 병리학자가 훑어보기 위해 필요한 시간 및/또는 2차원 슬라이드 표면적을 줄이는 것이다.

본 발명의 다른 목적은 진단적 중요도에 따른 우선순위로 병리학자에게 타일을 나타내는 것이다.

본 발명의 또 다른 목적은 병리학자에게 얼마나 많은 보조적인 이미지 맥락을 제공할지 결정하는 것이다.

본 발명의 또 다른 목적은 전체 슬라이드 이미지로부터 선형으로 또는 다르게 순서 매겨진 전시물을 만드는 것이다.

본 발명의 다른 목적은 이용자의 검토 활동을 추적하는 진단 표시 플랫폼을 제공하는 것이다.

본 발명의 또 다른 목적은 비정상성에 대해 양성 및/또는 음성인 표본 구역을 사용자가 선택할 수 있고, 그것을 비교하고 나타낼 수 있는 임의의 여러 가지 전시 포맷을 만들 수 있게 하는 진단 디스플레이를 제공하는 것이다.

추가로, 본 발명은 악성, 전-악성 및 병태를 확인하기 위해 시료 슬라이드에서 진행할 때의 공간적 및 시간적 비효율성의 문제 뿐만 아니라, 비효율적인 업무 중복, 오진단 및 정확성의 문제를 실제 세상의 실용적인 해결책으로써 해결한다. 여기 설명된 방법 및 시스템은 초기 시료로부터 제공된 이미지 데이터를 전시물로 변형하는 동적인 상호작용에서, 시료 슬라이드에서 악성, 전-악성 및 병태를 확인하기 위해 진행할 때의 공간적 및 시간적 비효율성 뿐만 아니라, 비효율적인 업무 중복, 오진단의 문제를 해결하고 및 부정확성의 문제를 줄이도록 영향을 준다. 본 발명이 없을 때, 시료의 정량화 및 등급화가 더 느려지고, 덜 정량화되며 질적으로 다르다.

본 발명은 개선된 컴퓨터 시스템 및 방법으로 앞서의 목적을 달성하는데, 구체적으로: (1) 생검으로 채취하여 슬라이드 상에 놓인 세포 및 조직의 디지털 현미경 이미지를 분석하고; (2) 세포와 조직의 잠재적인 악성을 등급화하는 점수에 기초하여 동적으로 디지털 이미지 타일을 출력하며 그것은: (a) 가장 위험할 것 같은(예: 암인) 여러 세포 및/또는 조직을 포함하여 병리학자에 의해 우선적으로 매우 주의깊게 검토될 필요가 있는 슬라이드 상의 구역을 식별하고 강조하고; 그리고 (b) 세포가 분리되어 있는(그래서 양성일 것 같은) 슬라이드 상의 구역을 식별하고 강조하지 않음으로써, 이런 구역은 덜 중요하고 빠르게 검토할 수 있다고 병리학자에게 가리키며; (3) 병리학자가 검토한 슬라이드 상의 구역을 추적하는데, 그것은 이 소프트웨어가 없으면 매우 하기 힘든 일이며; 그리고 (4) 병리학자가 슬라이드에 주석을 달 수 있게 하는 시스템 및 방법이다.

이 시스템 및 방법은 앞서 설명된 종래의 방법과 시스템과 관련된 오류의 가능성을 줄이고, 한편으로 질병의 탐지 및 진단의 정확성을 높인다. 본 발명의 시스템은 또한 종래의 방법과 시스템에 비해 진단적 발견의 정확도를 희생함이 없이 병리학자에 의해 슬라이드가 검토되고 진단이 내려지는 효율을 높인다.

대상체로부터의 표본에서 암의 진단 또는 확인을 받는 것을 포함하는 대상체의 암 치료방법으로서, 여기서 암은 여기 설명된 방법을 이용하여 표본으로부터 진단되거나 확인되며, 진단되거나 확인된 암에 대한 일정량의 처치를 상기 대상체에게 투여하는 것을 포함한다.

대상체에서의 암의 가능성을 줄이거나 또는 이상형성을 치료하는 방법으로서, 상기 방법은 대상체로부터의 표본에서 이상형성을 진단 또는 확인받는 것을 포함하고, 여기서 이상형성은 여기 설명된 방법을 사용하여 표본으로부터 진단되거나 확인되며; 그리고 암의 가능성을 줄이거나 또는 이상형성을 치료하는 일정량의 처치를 상기 대상체에게 투여하는 것을 포함한다.

구현예들에서, 상기 처치는 항암 저분자 치료, 항암 방사선 요법, 항암 화학요법, 항암 수술 또는 항암 면역요법이다.

구현예들에서, 상기 처치는 이상형성에 대한 저분자 치료, 방사선 요법, 화학요법, 수술 또는 면역요법이다.

대상체의 암을 치료하는 방법으로서, 상기 방법은 대상체로부터의 표본에서 암의 진단 또는 확인을 받고, 여기서 암은 적어도 부분적으로는 여기 설명된 시스템 또는 방법을 사용하여 진단되거나 확인되며, 그리고 진단 또는 확인된 암에 대한 일정량의 처치가 상기 대상체에게 투여되는 것을 포함한다. 일 구현예에서, 투여하는 건강관리 제공자는 여기 설명된 과정 또는 방법을 사용한 식별 또는 진단에 의해 상기 대상체로부터의 표본에서 전체 또는 부분적인 암의 진단 또는 확인을 제공받는다.

대상체의 암의 가능성을 줄이거나 이상형성을 치료하는 방법으로서, 상기 방법은 대상체로부터의 표본에서 이상형성의 진단 또는 확인을 받고, 여기서 진단 또는 확인의 일부로서 여기 설명된 시스템을 사용하여 표본에서 이상형성이 진단되거나 확인되며, 그리고 상기 대상체에게 암의 가능성을 줄이거나 이상형성을 치료하는 일정량의 처치를 투여하는 것을 포함한다.

구현예들에서, 상기 처치는 항암 저분자 치료, 항암 방사선 요법, 항암 화학요법, 항암 수술 또는 항암 면역요법이다.

구현예들에서, 상기 처치는 이상형성에 대한 저분자 치료, 방사선 요법, 화학요법, 양자 요법(proton therapy), 수술 또는 면역요법이다. 구현예들에서, 수술은 스텐트를 삽입한다. 구현예들에서, 수술은 악성 조직을 제거한다. 구현예들에서, 암은 식도암 또는 구강암이다. 구현예들에서, 식도암은 선암종 또는 편평세포암종이다. 구현예들에서, 암은 ESCC(esophageal squamous cell carcinoma, 식도 편평세포암)이다. 구현예들에서, 치료는 펨브롤리주맙(pembrolizumab)을 포함한다. 구현예들에서 치료는 니볼루맙(nivolumab)을 포함한다.

본 발명의 특징 및 장점이, 첨부된 도면과 연결하여 다음의 상세한 설명을 참고할 때 더 완전히 이해될 것이다.
도 1은 본 발명의 예시적 구현예에 따른 시스템 아키텍처의 개략도이다.
도 2는 본 발명의 예시적 구현예에 따라 동적으로 타일을 형성하는 예시적 단계를 보여주는 순서도이다.
도 3a는 본 발명의 예시적 구현예에 따른 시스템에서 생성되는 세 개의 예시적인 겹쳐지는 상자(envelopes)를 나타내는 디지털화된 슬라이드 영역의 개략도이다.
도 3b는 도 3a의 겹쳐지는 상자를 캡처하여 시스템에 의해 동적으로 생성된 프레임의 개략도이다.
도 3c는 도 3a 및 3b에 따라 형성된 결과적인 타일의 개략도이다.
도 4는 본 발명의 예시적인 실시예에 따른, 나누어진 스크린의 한쪽 면 상의 일련의 타일과 나누어진 스크린의 두 번째 면 상의 디지털화된 전체 슬라이드의 줌-아웃 보기를 나타내는 표시장치 스크린의 개략도이다.
도 5는 본 발명의 예시적인 실시예에 따른, 나누어진 스크린의 첫 번째 면의 일련의 타일과, 나누어진 스크린의 두 번째 면에서 전체 디지털화 슬라이드 상의 타일이 유래된 영역의 줌인 보기를 나타내는 표시장치 스크린의 개략도이다.
도 6은 본 발명의 예시적인 구현예에 따른, 나누어진 스크린의 첫 번째 면에서의 일련의 타일과, 두 번째 면에 나타낸 전체 디지털화 슬라이드의 두 개의 각각 태그된 영역의 줌 아웃 보기를 나타내는 표시장치 스크린의 개략도이다.
도 7은 본 발명의 구현예에 따른, 나누어진 스크린의 첫 번째 면의 일련의 타일과 그 타일들이 도 6에 나타낸 타일보다 전체적으로 작은 것을 보여주는 표시장치 스크린의 개략도이다.
도 8은 본 발명의 구현예에 따른, 나누어진 스크린의 첫 번째 면의 일련의 타일과 그 타일들이 도 7에 나타낸 타일들보다 전체적으로 작은 것을 보여주는 표시장치 스크린의 개략도이다.
도 9는 본 발명의 구현예에 따른, 나누어진 스크린의 첫 번째 면의 일련의 타일들과 그 타일들이 도 8에 나타낸 타일들보다 전체적으로 작은 것을 보여주는 표시장치 스크린의 개략도이다.
도 10은 본 발명의 구현예에 따른, 나누어진 스크린의 첫 번째 면의 일련의 타일들과 그 타일들이 도 9에 나타낸 타일들보다 전체적으로 작은 것을 보여주는 표시장치 스크린의 개략도이다.
도 11은 본 발명의 구현예에 따른, 면역조직화학 염색에서 양성으로 염색된 조직 영역이 시스템에 의해 태그된 보기 판(viewing pane)을 나타내는 표시장치 스크린의 개략도이다.
도 12는 본 발명의 구현예에 따른, 면역조직화학 염색에서 음성인 조직 영역이 시스템에 의해 태그된 보기 판을 나타내는 표시장치 스크린의 개략도이다.
도 13은 본 발명의 구현예에 따른, 면역조직화학 염색에서 각각 양성 및 음성인 조직 영역이 시스템에 의해 태그된 보기 판을 나타내는 표시장치 스크린의 개략도이다.
도 14는 본 발명의 구현예에 따라 양성 표본 영역을 나타내는 상단 보기 판과 음성 표본 영역을 나타내는 하단 보기 판을 보여주는 표시장치 스크린의 개략도이다.
도 15는 본 발명의 구현예에 따른, 구불구불한(serpentine) 검색 특성을 제공하는 보기 판을 나타내는 표시장치 스크린의 개략도이다.
도 16은 본 발명의 실시예에 따라 사용자에 의해 검토된 슬라이드의 영역을 추적하기 위한 시각적 추적 시스템을 제공하는 보기 판을 보여주는 표시장치 스크린의 개략도이다.
도 17은 본 발명의 구현예에 따라 나란히 이동하도록 구성된 나누어진 스크린의 두 개의 각 면의 개략도인데, 예를 들어, 유사하게 구성된 시료의 서로 다른 염색 또는 다른 처리를 대응하는 면-대-면 보기로 동시에 볼 수 있게 한다.
도 18은 인접구역 결정의 비제한적인 예시 및 뒤이은 표시할 타일의 선택을 나타낸다. 어두운 직사각형 영역은 높은 확실성으로 표시되는 타일이다.

본 발명의 구현예들이 도면의 앞서 확인된 특징들을 참고하여 이제 설명될 것이다. 그러나, 본 발명의 명세서의 도면과 상세한 설명은 본 발명의 범위를 한정하려는 것은 아니다. 본 발명의 사상으로부터 벗어남이 없이 본 발명의 본 상세한 설명의 여러 가지 변형이 가능하다는 것이 이해될 것이다. 또한, 본 발명의 사상으로부터 벗어남 없이, 여기 설명된 특징들이 생략되거나, 부가적인 특징이 포함되거나 및/또는 여기 설명된 특징들이 여기 언급된 특정 조합과 다른 방식으로 조합될 수 있다.

위에서 논의된 바와 같이, 본 발명의 구현예들은 세포 제작물을 디지털화하고, 디지털화된 이미지를 진단적으로 중요한 정보에 대해 분석하며, 그 다음 디지털화된 전체 슬라이드를 진단적 중요도에 따라 조직화된 일련의 타일로 묶는 것과 관련된다. 상기 분석은 세포 및 조직의 형태 및 다른 생물학적 특징을 잡아내기 위해 알고리즘 분류기, 신경망 컴퓨터, 또는 둘 다를 이용하는 것을 포함한다. 예를 들어, 이런 분류기 또는 컴퓨터는 세포 성숙의 결여와 동반되는 악성을 나타내는 경향이 있는, 비정상적인 세포질 대 핵 비율을 가지는 세포를 확인하기 위해 쓰일 수 있다. 구현예들에서, 입력물 및/또는 신경망 분류기의 훈련 세트의 이미지로서 제공되는 이미지의 크기가 21 x 21 또는 50 x 50 픽셀이거나 그 비슷한 정도일 수 있고, 구현예들에서, 각 방향으로 둘, 셋 또는 네 개의 세포의 너비를 반영하는 크기일 수 있다. 시스템은 그 다음 세포 또는 조직의 진단적으로 중요한 무리를 확인한다. 그 다음, 가장 진단적으로 중요한(예: 의심스러운) 세포의 모둠을 포함하는 서로 다른 크기를 가지는 타일이 동적으로 형성된다.

전형적으로, 병리학을 위한 세포 표본의 제작 시에, 임상의는 세포 및/또는 조직을 유리 현미경 슬라이드 상에 옮겨서 고정한다. 슬라이드는 그 다음 추가적인 가공과 의학적 진단을 위해 연구실에 보내진다. 추가적인 가공은 시료의 대비(또는 시료의 특정 특징)를 증강시키거나, 현미경 하에서 보여질 때 특정 단백질을 강조하기 위해 이 단백질에 결합하는 항체를 이용하여 슬라이드를 염색하는 것을 포함할 수 있다. 이러한 염색은, 예를 들어, 풀젠(Feulgen), 파파니콜라우(Papanicolaou), 헤마톡실린 및 에오신(H&E), 알리샨 블루(alcian blue) 및, 예를 들어 cdx2, muc2 및 p53 등과 같은 면역조직화학 염색을 포함할 수 있다. 실험실 테크니션은 또한 슬라이드에 커버슬립을 덮고 라벨을 붙일 수 있다.

몇몇 세포/조직 제작물은 상대적으로 편평하고, 2차원 평면을 차지한다. 그러나, 다른 시료는 3차원성을 보유할 수 있음이 이해될 것이다. 예를 들어, 시료 상피 조직을 채취하기 위해 뻣뻣한 브러시를 사용하는 상피 통과(transepithelial) 브러시 생검 기구는 종종 세포, 세포 군집 및 조직 단편을 집어낸다. 결과로 만들어지는 표본은 독특하게 두껍고, 슬라이드에 펼쳐진 생물학적 재료는, 적어도 일부 구역에서 삼차원의 성질일 수 있다. 이러한 두꺼운 삼차원 표본은, 예를 들어 환자의 식도의 상피 조직을 채취하기 위해 출원인의 WATS3D 시료채취 기구를 사용하여 만들어질 수 있다. 구현예들에서, 시료는 광역 상피 통과 샘플링(wide area transepithelial sampling)으로 만들어진다. 구현예들에서, 시료는 브러시 또는 스파츌라로 채취되고, 액상 고정제를 담은, 단지와 같은 용기에 놓인다. 구현예들에서, 생물학적 시료를 얻기 위해 쓰이는 브러시 기구의 털(bristle) 포함 부분이 브러시 기구의 나머지 부분에서 떼어내지고, 시료를 함유하는 상기 털 포함 부분은 액상 고정제를 담은 단지에 놓인다. 그러한 액체 함유 시료가 실험실로 보내지고, 거기서 단지가 개봉되고 시료 슬라이드를 만드는 장치 위에 놓인다.

본 발명의 구현예들은 종래의 편평한 제작물 또는 두껍고 삼차원의 성질을 가지는 제작물을 스캔하는 것과 관련된다.

예를 들어 도 1에 나타낸 것과 같은 본 발명의 구현예에서, 본 발명의 구현예에 따른 시스템 아키텍처 20는 슬라이드로부터 이미지를 수집하는 광학 시스템 21을 포함한다. 광학 시스템 21은 현미경(예: 고해상도 현미경), 슬라이드 받침대(slide positioning stage) 및 카메라를 포함할 수 있다. 예를 들어 컴퓨터의 프로세서 24가, 예를 들어 z-방향 및/또는 다른 방향으로의 받침대의 이동을 제어해서 표본 슬라이드의 전체 슬라이드 이미지를 구성하기에 적절한 수의 이미지를 얻는다. 시스템 20은 얻어진 이미지를 저장하기 위한 저장 장치 26를 추가로 포함한다. 저장 장치 26는 하드 드라이브 또는 SSD(solid state drives) 또는 다른 유형의 메모리 장치(예: 고속 메모리 장치), 및/또는 클라우드-기반 저장소와 같은 분산 저장소를 포함할 수 있다. 프로세서 24(또는 함께 작동하는 여러 개의 프로세서)가 디지털화된 전체 슬라이드 이미지를 생성하기 위해 수집된 슬라이드 이미지를 가공한다. 프로세서 24는 가공 속도를 높이기 위해 특화된 이미지 가공 하드웨어(그래픽 가공 유닛 또는 "GPU")와 연결되거나 이와 연결되어 사용될 수 있다.

당업자라면 광학 시스템 21이 받침대의 모든 이동 후에 이미지를 캡처하고 저장하도록 구성되거나 또는, 예를 들어 X 또는 Y 방향을 따라 일정한 또는 변화하는 속도로 받침대가 이동하는 동안 일정 시간 또는 거리 간격으로 연속적으로 계속 이미지를 캡처하도록 구성될 수 있음을 이해할 것이다. 구현예에서, 상기 간격은 관심 세포 유형의 평균 크기에 따라, 예를 들어 세포 너비의 0.25, 0.5, 0.75 또는 1배 간격으로 정해질 수 있다. 구현예에서, 상기 간격은 각 위치에서 찍히는 이미지의 크기에 따라, 예를 들어 이미지 너비의 0.125, 0.25 또는 0.5배로 정해질 수 있다. 슬라이드 전체의 이미지화를 제공하기 위해 구불구불한 또는 다른 경로가 채용될 수 있다. 예를 들어, 이러한 경로에서 X 및 Y 방향 모두로 이동이 일어나서, 신경망에 규칙적이고 작은 간격에서의 결과가 제공될 수 있다. 구현예에서, 하나의 또는 적은 수의 높은 점수(예: 0.5 또는 그보다 높은 한계값을 초과하는)의 이동 경로를 따라 주변이 낮은 점수일 때 선택적으로 버려질 수 있고(예: 위양성 일 수 있어서), 한편 더 긴 일련의 높은 점수들은 상자(envelope) 형성을 위해 선택적으로 쓰일 수 있는데, 예를 들어 일련의 높은 점수 또는 고득점 경로 분획을 따라 최대한으로 높은 점수의 중앙부 주변에 형성되는 상자로 만들어진다. 예를 들어, 3, 5, 또는 7개의 연속적인 높은 점수가 상자 형성을 위해 필요할 수 있고, 거기서 2번째, 3번째, 4번째 또는 중간값 점수의 위치가 상자의 중앙부로서 쓰일 수 있다. 구현예들에서, 경로 분획을 만드는 높은 점수의 수가 초기 상자 크기를 결정하는 데 고려될 수 있다. 예를 들어, 구현예에서 상자 크기는 고려되는 높은 점수의 수에 비례할 수 있거나, 또는 이 수에 비례하는 인자를 곱할 수 있다. 이롭게도, 이것은 잠재적인 관심의 세포 또는 세포 무리 또는 조직 또는 다른 특징의 크기에 더 가깝게 맞춰지거나 비례하는 상자 크기를 만들 수 있다. 구현예에서, 높은 점수를 가지는 위치의 발견은 경로의 변화 또는 추가를, 예를 들어 높은 점수(예: 0.9 또는 그보다 높은)는 미리 정해진 분획 길이에 대해(예: 3, 5, 7, 9 또는 11개의 간격 또는 캡처) 높은 점수의 위치에서 이전 경로에 수직인 추가적인 경로를 만들 수 있다. 예를 들어 z 방향에서의 초점화가 수동으로 또는 자동으로 수행될 수 있다. 본 발명의 구현예에서, 디지털화된 전체 슬라이드 이미지를 생성할 때 연속적이고 계속적인 접근이 더 빠를 수 있다. 구현예에서, APERIO 또는 3DHISTECH의 것과 같은 상업적인 스캐너가 이용될 수 있다.

본 발명의 구현예에서, 삼차원 성질을 가지는 표본 슬라이드는 병리학자 및/또는 컴퓨터 시스템에 의해 검토되기 전에 추가적인 가공을 거친다. 구체적으로, 세포 표본의 캡처된 디지털 현미경 이미지가, 진단적으로 중요한 대상체와 그것의 다른 것과의 공간적 관계를 보존하는 향상된 인-포커스 디지털 이미지를 생산하는 향상된 EDF 시스템에 의해 추가로 가공될 수 있다. 이는 오점과 잘못된 이미지를 줄이고 관심 있는 진단적으로 중요한 대상물을 초점을 맞춰(in focus) 컴퓨터에 나타내기 때문에 컴퓨터 분석 시스템의 정확도를 높인다. 예를 들어, 본 발명의 구현예에서, 표본 슬라이드가 미국 특허 8,199,997에 개시된 이미지 가공 기술에 따라디지털화될 수 있고, 그 특허의 내용은 여기 참조로서 전부 영입된다.

구현예에서, 세포 또는 조직 이미지화, 예를 들어 식도 세포 또는 조직의 이미지화는, 브러시 기반 샘플링 기술(예: WATS 또는 WATS-3D 브러시, 또는 광역 상피 통과 샘플링 기술 및 기구를 이용해서)을 이용하여 얻어질 수 있다. 구현예에서, 이러한 접근법은 여기 논의된 것과 같은 시스템에 의해 분석되기 위한 입력물을 공급하기 위해, 또는 여기 논의된 바와 같은 신경망의 훈련 세트에 쓰일 수 있는 라이브러리에 이미지들을 제공하기 위해, 또는 둘 다를 위해 쓰일 수 있다.

표본 슬라이드가 디지털화된 후에, 슬라이드의 디지털 이미지는 관심 있는 세포, 세포 무리 및 조직 단편을 찾기 위해 예를 들어 컴퓨터의 프로세서(예: 24)에 의해 분석된다. 본 발명의 구현예에서, 디지털화된 전체 슬라이드 이미지는 알고리즘 분류기에 의해 초기 처리되고, 그 다음 2차적으로 신경망 컴퓨터에 의해 처리된다. 알고리즘 분류기는 세포의 핵일 수 있는 디지털화된 이미지 안의 후보 대상물의 첫 번째 모둠의 위치를 찾는다. 그 다음 디지털화 이미지는 2차적으로 신경망 컴퓨터에 의해 분석된다. 구현예에서, 알고리즘 분류기 또는 신경망은 또한 세포에 대한 점수를 계산할 수 있다. 예를 들어, 점수의 수치적 양은, 예를 들어 암 또는 이상형성 세포와 연관된 것과 같은 형태적 특징의 존재, 그럴 듯함 또는 개연적 존재에 비례할 수 있다. 알고리즘 분류는 미국 특허 5,939,278, 5,287,272 및 6,327,377에 전반적으로 설명되어 있으며, 이 특허들은 모두 여기에 참조로서 영입된다. 적당한 신경망은 합성곱 신경망(convolutional neural network)을 포함한다.

본 발명의 구현예들에서, 개선된 알고리즘 분류기가 진단적으로 관심 있는 특징, 예를 들어 이상형성 또는 암 세포와 일치하는 형태적 특징을 가진 개별 세포를 동정한다. 본 발명의 구현예에서, 이러한 분류는 이상형성 또는 암 세포 또는 세포 군집을 가장 가능성 있게 나타내는 것 같은 세포 또는 세포 군집을 식별하도록 훈련된 신경망에 의해, 예를 들어 저장장치 26와 조합된 프로세서 24 상에서 수행된다. 본 발명의 구현예에서, 신경망은 알고리즘 분류기 뒤에 2차 분류를 제공하도록 이용될 수 있다. 본 발명의 구현예에서, 신경망은 입력물로서, 알고리즘 분류기에 의해 1차 통과하여 식별된 이미지(들)을 제공받는다. 신경망은 형태적 특징에 따른 점수가 표지된 다수의 세포 또는 조직의 이미지를 포함하는 훈련 세트로 훈련될 수 있다. 예시적 구현예에서, 이미지들은 적어도 한 세트의 라이브러리 이미지를 가지는 데이터베이스에서 얻거나 거기에 저장될 수 있다. 예시적 구현예에서, 이미지는, 예를 들어 비정상 상태를 가진 세포 또는 조직인지 여부가 병리학자에 의해 이전에 부과된 표시로 표지될 수 있다(예를 들어, 1은 양성 진단 또는 판단과 관련되고, 0은 음성 진단 또는 판단과 관련된다). 다른 구현예에서, 진단적 확실성이 낮은 정도의 라이브러리 이미지들은 가능성있는 점수, 예를 들어 0.5를 부여받을 수 있다. 다른 구현예에서, 예를 들어 0 내지 100(예를 들어 퍼센티지로 나타낸 가능성의 지표로)의 여러 스케일을 따라 점수가 부여될 수 있다.

구현예들에서, 훈련 세트 데이터는 걸러진 이미지 데이터, 예를 들어, 여러 병리학자가 그 평가에 대해 서로 동의했거나 지정 퍼센티지(예를 들어 80%)보다 많이 동의했는지에 따라 걸러진 이미지를 포함할 수 있다. 이러한 평가는, 예를 들어 본 명세서의 다른 부분에서 논의된 표시 및 평가 방법론을 통해 하나 또는 여러 병리학자에 의해 제공될 수 있다. 구현예들에서, 이러한 결과들은 예를 들어 인터넷을 통한 보안접속을 통해 신경망(들)과 연결된 프로세서에 전자적으로 전송되어 훈련 데이터가 그에 맞게 걸러질 수 있도록 할 수 있다.

본 발명의 구현예들에서 선택적으로, 검사 중인 세포 또는 조직이 이미지 데이터로 훈련된 복수의 신경망에 제공될 수 있다. 예를 들어, 본 발명의 구현예들에서, 정상 및 비정상 세포의 명확한 또는 비교적 명확한 이미지이며 그렇게 라벨링된(예: 0 또는 1) 이미지가 훈련된(예: 라이브러리를 따라서) 신경망에 입력물로서 제공될 수 있다. 이러한 신경망에 의해 결정된 결과가 충분히 단정적이지 않은 경우(예: 0.3 내지 0.7 사이), 덜 명확하거나 또는 경계선상의 세포 또는 조직이지만 그럼에도 불구하고 그것들이 정상 또는 비정상 상태를 나타내는지 병리학자에 의해 표지된 이미지를 포함하는 훈련 세트(예를 들어, 제 2 라이브러리 또는 병리학자들 사이에 평가가 다양한 이미지를 품은 라이브러리로부터의)로 훈련된 제2 신경망에 상기 입력물이 선택적으로 제공될 수 있다. 이와 같이, 입력된 세포 또는 조직 이미지에 좀 더 적용될만한 이미지 세트를 통해 평가가 이루어질 수 있다. 예시적 구현예에서, 예를 들어 점수화에 관여하는 신경망을 위한 훈련 세트로 사용된 이미지들 또는 그 일부의 추가적인 라이브러리에 따라, 반복적인 방식으로 추가 평가가 수행될 수 있다. 구현예들에서, 여러 신경망 또는 다양한 훈련 세트가 특정 세포 유형, 특히 비정상 상태, 또는 둘 다에 관련된 이미지에 따라 훈련되도록 쓰일 수 있다.

구현예들에서, 예를 들어, 신경망에 의한 점수화 결과가 병리학자에 의한, 또는 여러 병리학자들의 투표 또는 평균 평가에 의한 이후의 평가(예: 본 출원의 다른 곳에서 논의될 바와 같은 표시 기능 장치를 이용하여 검토하는 동안)와 일치하는지 여부를 평가한 결과에 따라 관련 타일에 대한 신경망의 최적화가 이루어질 수 있다. 신경망과 관련된, 예를 들어 훈련 세트 내의 특정 이미지가 가질 수 있는 결과 점수의 중요도를 결정할 수 있는, 예를 들어, 가중치가 조정될 수 있다. 구현예들에서, 이것은 역전파(backpropagation) 과정에 따라 일어날 수 있고, 신경망 또는 훈련 데이터와 관련된 오류 곡선에 대한 기울기 함수에 기초할 수 있다. 구현예들에서, 이러한 최적화가 합성곱 신경망 상에서 수행될 수 있다.

구현예들에서, 신경망 및/또는 훈련 세트는 초기 분류에 따라, 예를 들어 개선된 알고리즘 분류기의 분류에 따라 특별하게 선택될 수 있다. 예를 들어, 알고리즘 분류기가 이상형성처럼 보이는 세포를 확인하면, 이상형성이라고 명확하게 진단받을 수 있는 다양한 수준의 세포로 훈련된 신경망이 선택적으로 채용될 수 있고, 알고리즘 분류기가 암으로 보이는 세포를 확인하면, 다양한 수준의 명확한 암 세포로 훈련된 신경망이 선택적으로 채용될 수 있다.

본 발명의 구현예에 따르면, 신경망 컴퓨터가, 주어진 이미지가 이상형성 또는 암과 관련된 형태적 이상을 나타내는 것 같은지의 가능성에 따라 디지털화된 이미지 내에서 개별 이미지에 점수를 부여하도록 훈련된다. 비정상일 것 같은 세포 또는 대상체가 신경망 컴퓨터에 의해 높은 점수를 받고, 반면 비정상일 낮은 가능성을 가지는 대상체는 낮은 점수를 받는다. 예를 들어, 구현예들에서, 비정상 특징을 가지는 명확한 가능성에 기반하여 0 내지 1 값의 점수가 부여될 수 있다. 예를 들어 구현예들에서, 양성 세포의 형태적 특징을 나타내는 세포는 약 0.1 정도의 신경망 점수를 받을 수 있고, 한편 알려진 악성 이미지와 매우 가까운 세포는 0.9 정도의 점수를 받을 수 있다. 이러한 경계 사이의 어딘가로 보이는 세포는, 그 범위 내의 어딘가의 점수, 예를 들어 약 0.5, 또는 0.3 내지 0.7 사이의 점수를 받을 것이다. 이처럼, 예시적인 구현예에서, 훈련된 신경망의 결과 범위는 비정상 세포의 확실성의 정도에 대응하는 연속값(continuum)을 나타낼 수 있다. 예시적 구현예에서, 프로세서 24 및/또는 저장소 26가, 예를 들어 표시장치를 통해 병리학자에게 나타내기 위해서, 또는 컴퓨터화된 역동적 크기 조절 및 여기서 논의된 표시 과정에 사용하기 위해 분류 과정을 추적할 수 있다.

본 발명의 구현예들에서, 시스템은 신경망의 결과 점수를 이용하여(단독으로 또는, 예를 들어 분류와 같은 다른 추가적인 정보와 조합하여) 주어진 관심 세포에 덧붙일 정보의 양을 결정한다. 예를 들어, 도 2의 순서도를 참고로 하여, 우선 현미경 슬라이드가 단계 51에서 슬라이드의 이미지를 전체적으로 캡처하는 광학 시스템을 통과한다. 디지털화되는 슬라이드가 3차원 성질을 가지는 경우, 진단 정보를 캡처하고 세포 간의 공간적 관계를 보존하기 위해 깊이 확장 초점화(Extended Depth of Focusing) 루틴(51.1 단계)이 시작될 수 있다. 52 단계에서, 현미경 슬라이드의 디지털 이미지가 예를 들어 프로세서 24에 의해 만들어지고 컴퓨터 상에 또는 저장소 26와 같은 디지털 저장 매체에 저장된다. 그 다음, 53 단계에서, 컴퓨터가 관심 있는 진단 대상체를 찾기 위해 이미지 분석을 수행한다. 54 단계에서, 세포의 비정상성의 정도에 기반하여 각 세포 이미지에 신경망 컴퓨터가 점수를 부여한다. 55 단계에서, 시스템은 관심 있는 개별 세포들로부터 바깥으로 뻗어나간, 여기서 "상자(envelope)"라 부르는 이미지 영역을 할당한다.

예시적 구현예들에서, 신경망 점수는, 비정상 상태의 가능성에 대한 상기 논의된 특징에 더해, 또는 그 대신에, 세포핵의 크기, 모양 및/또는 광학 밀도, 또는 진단적 관련성을 결정하는 데 쓰일 수 있는 세포의 다른 특징을 기반으로 할 수 있다. 이런 관점에서, 예를 들어, 구현예에 따르면, 매우 비전형적인 핵을 보이는 세포는 높은 점수(그리고 그에 따라 그것의 더 큰 상자에 기반한 더 큰 영향 범위)를 받을 수 있다. 이와 같이, 예를 들어, 예시적인 구현예에서, 큰 핵을 가지는 세포(이상형성 또는 암의 지표인 이수성(aneuploid) 상태를 나타내는 것일 수 있음)는 병리학자가 진단을 내리기 위한 추가적인 맥락의 혜택을 받을 수 있다.

도 3a-3c는 본 발명의 구현예에 따라 슬라이드로부터 타일을 생성하는 예시적인 방법을 보여주는데, 여기서 타일 크기는 신경망 점수에 따른다. 도 3a를 참고하면, 디지털화 슬라이드 영역 28이 보인다. 슬라이드 영역 28은 개별 세포들(예: 34, 38, 42)로 형성된 조직 단편(예: 32)의 이미지를 포함한다. 신경망 점수화 단계에서, 영역 28 안의 각 세포가 신경망 점수를 받을 수 있다. 예를 들어 세포 34에 비정상성에 대해 비교적 높은 순위가 매겨질 수 있다(예: 0.75). 결과적으로, 시스템은 세포 34를 정확한 중심 또는 대략적인 중심에 놓고, 대응하는 큰 상자 36을 생성한다(예: 경계를 이루는 정사각형의 모서리에 대해, 예를 들어 점수에 고정된 상수, 예를 들어 20 마이크론을 곱하여 계산된, 15x15 마이크론). 구현예들에서, 상자의 크기는 검사 중인 세포 유형의 평균 크기를 참고하여 결정될 수 있다. 예를 들어 구현예들에서, 만약 검사 중인 세포가 소정 마이크론 지름의 평균 크기를 가지는 세포라면(예: 식도 세포의 경우 5-10 마이크론), 상자의 크기는 점수 및 평균 크기의 배수에 기초해서, 예를 들어 점수에 평균 크기의 2 또는 3 또는 4 또는 5 또는 6배를 곱하여 결정될 수 있다. 구현예들에서, 상자의 크기는 점수에 따라, 예를 들어 단위 크기에 정수 기수(constant base)(예 2, 3, 4)를 점수의 거듭제곱으로 곱하거나, 1 미만의 상수 기수(예: 0.5, 0.75)를 점수의 역수의 거듭제곱으로 곱함으로써 지수적으로 변화할 수 있고, 그럼으로써 점수가 클 때의 단위 크기에 비해 점수가 낮을 때의 단위 크기를 크게 줄인다.

다른 구현예에서, 점수가 일정 한계(예 0.5 또는 0.8)을 초과한다면 상자 크기는 고정된 크기(예: 평균 크기의 2 또는 3 또는 4 또는 5 또는 6배)일 수 있다. 한계값은 결과적인 위양성 또는 위음성 비율이, 예를 들어 여기서 논의된 표시 방법론을 이용하여 예를 들어 이후의 병리학자의 평가에 의해 측정되었을 때 일정 비율을 초과하는지에 따라 역동적으로 변화할 수 있다.

반면, 세포 38가 형태적으로 정상에 가깝기 때문에 낮은 점수를 받았으면, 결과적으로 시스템은 세포 38 주변의 상자 40를 상자 36보다 작은 크기로 생성한다.

세포 42는 또한 중간 정도의 비정상 수준을 나타낼 수 있고, 그에 맞게 시스템은 세포 42를 둘러싸는 상자 44를 생성한다. 상자 44는, 상자 40 안의 세포보다 더 높은 확신 또는 특이성(즉 더 높은 신경망 점수)을 가지는 세포를 가지기 때문에 상자 40보다 크다. 그러나, 도시된 바와 같이 상자 44 안에 포함된 세포보다 상자 36의 세포가 더욱 비정상이기 때문에 상자 44보다 상자 36이 더 크다.

각각의 상자는 우측 및 좌측 경계선(예 36a, 36b) 및 위쪽 및 아래쪽 경계선(예 36c, 36d)을 가지는 정사각형 또는 직사각형일 수 있다. 예를 들어, 직사각 형태라면, 구현예들에서, 병리학자에 의해 사용되는 스크린의 알려진 화면 비율(예: 이러한 통상적인 화면 비율 중 하나에 따르면 16:9)에 맞는 너비가 되도록 소정 높이에 고정값을 곱할 수 있다. 예시적인 구현예에서, 점수가 유래된 세포를 둘러싸는 원형과 같은 다른 형태가 이용될 수 있다(예: 중심점 및 반지름에 의해 정의되는 원). 추가로 보여지다시피, 상자 44는 상자 36의 위쪽 경계선 36c과 겹쳐지는 영역을 가지며, 상자 36은 상자 40의 위쪽 부분과 겹치는 아랫쪽 부분을 가진다. 상자 44, 36 및 40이 상자 각각의 안에 있는 높은 점수를 받은 세포의 존재 때문에 상대적으로 크다는 것이 이해될 것이다. 상자 44, 36 및 40 각각 안의 점수가 높은 세포의 존재는 이 세 개의 상자가 상대적으로 커지게 하며, 그에 따라 그것들은 겹쳐지는 구역을 가진다. 여기 논의된 바와 같이, 여러 구현예들에서, 각 상자가 면에서는 겹치지 않지만 공통의 경계선 또는 그의 일부를 공유하는(즉, 각 상자가 접하거나 인접하는) 비슷한 처리가 가능하거나 가능하지 않을 수 있음이 이해될 것이다.

본 발명의 구현예들에서, 상자 크기는 시스템이 하나의 군집 또는 세포의 모둠을 포함하는 세포들의 실질적인 전부를 캡처할 수 있도록 기여하는 요소들과의 조합에 의해, 조합을 통해 결정될 수 있다. 수백만 개의 세포를 가지는 슬라이드에서, 각 세포의 이웃하는 것들을 식별하는 것은 골치 아픈 문제이다. 구현예들에서, 이웃하는 사각 구역들을 합쳐서 더 큰 사각형을 만들기 위해서, r-tree 데이터 구조가 속도 목적에서 바람직하게 사용될 수 있다. 무리 지은 세포들(예: 하나의 세포 군집으로)은 그 무리와 관련 없는 세포들보다 서로에게 더 가까이 자리잡는 경향이 있다. 시스템은 이러한 공간적 경향성을 고려하여, 높은 확신성으로 무리짓기가 상자 안에 나타나도록 상자가 세포의 무리짓기를 포함할 수 있게 하는 적절한 크기를 가지게 한다. 예시적 구현예에서, 상자의 크기는 신경망 점수에서 바로 또는 단독으로 정해지지 않고, 오히려 신경망 점수가 추가로 변형될 수 있다. 예를 들어, 본 발명의 구현예들에서, 신경망 점수에 동적으로 생성된 승수(multiplier), 예를 들어, 세포 사이의 거리에 기반한 것이 곱해질 수 있다. 예를 들어, 본 발명의 구현예들에서, 상기 승수는 주어진 시료 또는 시료 영역(예를 들어 곱하기 전에 신경망 점수에 따라 만들어진 면적 결정에 따라 정의된 영역)에서 각 세포 핵 사이의 평균 거리를 계산하고, 그 다음 평균 거리에 하나의 숫자(예: 2, 3 또는 그 이상)를 곱함으로써 정해질 수 있다. 예컨대, 만약 세포 핵 사이의 평균 거리에 2가 곱해지면, 그 다음 승수는 세포 사이 거리의 두 배를 나타낼 것이다. 다른 구현예에서, 승수, 또는 추가적인 승수는 분류에 따를 수 있다. 예를 들어, 전반적으로 빽빽한 세포 무리짓기와 관련되는 첫 번째 유형의 추정 비정상 세포들은 0.7과 같은 1보다 적은 관련 승수를 가질 수 있고, 전반적으로 분산된 세포 무리짓기와 관련된 두 번째 유형의 추정 비정상 세포들은 1.5와 같은 1보다 큰 관련 승수를 가질 수 있다. 본 발명의 구현예들에서, 신경망 점수에 승수를 곱하거나 최종 곱(product)이 나오도록 승수가 곱해진다. 최종 곱은 그 다음 상자를 형성하기 위한 거리 단위로 전환된다. 전반적으로 또는 통상적으로 주어진 지점, 예를 들어 관심 세포 주변에서 발생하는 경향이 있는 관련 있는 특징부를 둘러싸는 영향 구역을 포함하도록 특정 승수가 정해지거나 리셋될 수 있다. 시료에서 세포 핵 사이의 평균 거리가 예를 들어 관심 세포 유형에 대한 평균 세포 너비의 0.5로 정해지면, 영향 구역은, 예를 들어 이러한 세포 너비의 0.5 내지 1.5로 정해지고, 이 영역 안에 속하게 되는 세포는 영향 구역 안에 있다고 여겨진다. 이는 전체 영향 구역을 결정하기 위해 각 세포에 대해 반복될 수 있다. 세포로부터 이러한 세포 너비의 예를 들어 2.0 값에 해당하는 세포들은 영향 구역 바깥이라고 여겨질 수 있다.

본 발명의 구현예에서 개시된 승수는 타일이 적절한 크기를 갖도록 보장하고, 세포 모둠의 각 세포들이 포함되었다고 높은 수준으로 확신하는 데 도움이 된다. 이런 면에서, 예를 들어, 세포들이 서로 빽빽하게 무리짓고, 그래서, 각 세포 사이의 거리가 짧다면, 작은 승수가 사용된다. 그러나, 세포가 더 느슨하게 연결되고 서로로부터 더 멀리 자리잡았다면, 충분한 대표 세포들이 산출되는 것을 보장할 수 있도록 더 큰 승수가 생성되어 더 큰 상자 크기가 형성된다. 피드백 기전이 도입될 수 있는데, 예를 들어, 본 발명의 시스템을 이용하여 하나 이상의 병리학자에 의해 상자가 너무 크거나 또는 너무 작은지에 대한 피드백이 제공될 수 있으며, 이러한 피드백은 사용된 타일 크기 또는 승수를 조정하거나 동적으로 조정하도록 쓰일 수 있다. 예를 들어 승수가 더 커져야 한다든지(이미지가 전체 군집을 포함하지 않는 경우), 작아져야 한다든지(이미지가 전체 군집보다 훨씬 많이 포함하는 경우), 또는 유지되면 된다든지(이미지가 적절하게 전체 군집을 보여주는 경우)에 대한 표시가 태그된 최적 및 차선의 크기의 세포 군집의 이미지로 훈련된 신경망 또한 이러한 피드백을 제공할 수 있다.

본 발명의 구현예들에서, 일단 상자가 형성되면, 시스템은 그 다음 겹쳐진, 또는 일부 구현예에서는 인접한 영역을 포함하는 상자를 탐지하고(단계 56, 도 2) 모든 인접한 겹친 상자를 통합하는 크기를 갖고 모양이 만들어진 타일을, 예를 들어 도 3B에 도시된 바와 같이 생성한다. 구체적으로, 시스템은 상자 44, 36 및 40을 캡처하기 위한 크기와 모양을 가지는 프레임 46을 동적으로 생성한다. 도 3B에 도시된 바와 같이, 상자 44, 36 및 40을 하나의 타일 안에 캡처하기 위해, 일 구현예에서, 상자 44의 위쪽 경계선 44a로 한정되는 최고점과, 상자 40의 아래쪽 경계선 40d로 한정되는 최저점, 상자 44의 왼쪽 경계선 44b로 한정되는 최좌측점, 그리고 상자 40의 오른쪽 경계선 40a로 한정되는 최우측점을 영입하기에 충분히 큰 프레임 46이, 결합된 가장 작은 직사각형의 형태로 형성된다. 다른 구현예들에서, 상기 직사각형이 병리학자에게 전자적으로 표시되는 것과 관련되는 비율(예: 16:9)과 같은 특정 화면 비율을 유지하는 상자들을 포함하도록 형성될 수 있다. 다른 구현예들에서, 프레임 46은 그것의 조합된 형태만으로 구성되거나 또는 조합된 형태를 기반으로 하기 위해 잠재적으로 직사각형이 아니도록 형성될 수 있다. 예를 들어, 모서리 주변에서 영역을 공유하는 두 개의 직사각형이 오목한 8변형 프레임으로 합쳐질 수 있다. 직사각형들을 합치기 위해 R-tree가 사용될 수 있다. 또는 두 개의 겹쳐진 원이 이러한 구성 원들을 둘러싸는 더 큰 원, 타원 또는 다른 형태로 합쳐질 수 있다. 두 개의 원 사이의 겹쳐지는 부분의 존재는 예를 들어 그것들의 중심 사이의 거리가 그것들의 반지름의 합보다 작은지(또는 겹치는 것보다 인접하는 것이 적절한 일부 구현예에서는 더 작거나 또는 같은지)에 따라 정해질 수 있다. 그러나 정사각형 또는 직사각형을 사용하는 것이, 예를 들어 이러한 상자 또는 타일을 더 큰 타일로 재형성하는 것과 관련된 컴퓨터의 자원을 더 유리하게 아낄 수 있다. 이러한 더 복잡한 또는 더 큰 프레임은 그것의 대응하는 결합된 직사각형 또는 다른 프레임과 함께 예를 들어 특정 표시 소프트웨어에 따라, 또는 그 프로그램을 사용하는 병리학자의 특정 선택에 따라 각각에 대한 보기(view)가 선택적으로 선택되거나 나타날 수 있도록 저장된다.

도 3C는 본 발명의 여러 구현예에 따라, 예를 들어 전체 슬라이드를 나타내는 일련의 타일의 부분으로서, 또는 적절한 진단적 관련성이 있다고 결정된 측면의 일부로서 형성되고 표시되는 결과 타일 41(단계 S7, 도 2)을 보여준다.

본 발명의 구현예들에서, 시스템은 겹쳐지는 상자들을 합칠 것인지 말 것인지에 대해 결정하는 한계 기준을 적용하도록 구성된다. 예를 들어, 본 발명의 구현예들에서, 시스템은 특정 한계값을 초과하는 신경망 점수의 세포를 가지는 상자만 합친다. 본 발명의 구현예들에서, 겹쳐지는 상자들은 신경망 점수가 최소 0.6 또는 최소 0.7, 또는 최소 0.8일 때 합쳐진다. 이와 같이, 본 발명의 구현예들에서, 시스템은 맹목적으로 겹쳐지는 상자를 합치지 않고, 진단적으로 중요한 정보를 담고 있는 상자들이 합쳐지도록 보장하는 이러한 기준들을 적용한다.

이와 같이, 구현예들에서, "나쁜" 세포, 예를 들어 악성 세포를 식별하기 위해서, 겹쳐짐을 결정하는 영향 구역 과정을 사용하여 군집을 만들 수 있지만, 겹쳐지는 것으로 결정될 세포에 확신 점수를 부여하기 위해 신경망 점수 및/또는 분류기 결과를 사용할 수 있다. 예를 들어, 확신 점수는, 신경망(예를 들어 세포가 병들었는지 아닌지, 또는 또는 병들었을 가능성에 기초한 가능성 점수가 각각 태그된, 병든 및 병들지 않은 세포 군집의 이미지로 훈련된 것)에 의해 결정되는 바와 같이 병리적인 전형(archetype)을 보이는 세포는 최고 1.0까지, 정상 세포들은 최하 0까지의 확신 점수를 받을 수 있다. 구현예들에서, 세포 또는 결정 구역이 인접 세포와 겹쳐졌다고 여겨질지를 확립하는 거리의 승수로서 확신점수가 사용되거나 또는 건강한 정상의 세포들을 가지는 또는 그에 기반한 결정 구역은 0의 승수를 가져서 제외되도록 쓰일 수 있다. 구현예들에서, 표시되는 창(field) 또는 구역으로 이러한 결과가 종합되어, 세포 또는 구역들의 인접성 및 이러한 세포/구역의 명확한 병리의 함수로 만들어질 수 있다. 예를 들어, "나쁜" 또는 잠재적으로 "나쁜" 세포(예: 악성, 이상형성 등) 서로에 대한 위치 및 인접함이, 최종 표시 타일에서, 합병을 포함하여 고려된다. 예시적 구현예에서, 분류 유형(예: 암일 가능성, 이상형성일 가능성 등) 또한 합병을 결정할 때의 승수로서 고려될 수 있다. 궁극적으로는, 구현예들에서, 사용자 예를 들어 병리학자에게 아주 중요한 정보로서, 예를 들어 가독성 있고 스크린 공간 제약 하에서 적용될 수 있는 병리학자에게 보여질 빈-패킹(bin-packing) 또는 전자 표시장치 상의 가능한 다른 표현이 주어진 표시 장치에 뜰 수 있다. 예를 들어, 가장 중요한 구역은, 그 다음으로 가장 중요한 구역 기타 등등과 함께 표시 장치 안에서 스크린에 추가적인 구역을 더하는 것이 불가능해질 때까지 읽을 수 있는 크기로 표시된다. 표시된 결과는, 예를 들어 크기, 또는 구성 세포를 포함하는 구성 상자의 연합 또는 평균 점수, 또는 확신도에 의해 가중되거나 강조되거나 분류된다. 일 구현예에서 가장 큰 중요한 타일 정보가 좌변에, 그리고 더 작은 타일 크기/덜 중요한 정보가 오른쪽에 점차적으로 선형으로 있도록 일직선 상으로 표시가 된다. 구현예들에서, 유리하게도, 이것은 종래 기술 대비 식별 또는 진단을 하기 위해 필요한 평가 시간이 5x 또는 그 이상으로 줄어들게 할 수 있다.

특히, 시스템에 의해 생성된 상자가 주변 상자와 겹치거나 접하지 않는 구현예들에서, 그 상자들은 그 자체로 타일이 될 수 있다. 예를 들어, 도 3A를 참조하면, 예를 들어, 상자 44의 구성 세포가 상당히 더 위쪽 및/또는 왼쪽에 자리 잡았기 때문에, 상자 44가 상자 36과 겹치거나 접하지 않는다면, 상자 44는 그 자체로 타일이 될 수 있고(상자 36의 세포들을 포함하지 않을 것이다) 겹쳐지는 상자들로부터 만들어지는 타일(예를 들어 상자 36 및 40의 조합으로 만들어지는 타일)보다 작을 수 있다.

도 4는 본 발명의 구현예에 따라 본 발명의 소프트웨어에 의해 생성된 타일을 보여주는 표시 스크린 48을 보여준다. 도시된 바와 같이, 표시장치 48는 왼쪽 보기 판 50과 오른쪽 표시 판 52으로 나뉜다. 구현예들에서, 판들 50, 52은 구분선 54에 의해 분리될 수 있다. 도시된 바와 같이 보기 판 50은 위쪽 경계선 56, 아래쪽 경계선 58, 왼쪽 경계선 60 및 오른쪽 경계선(그것은 예를 들어 도시된 바와 같이 구분선 54일 수 있음)을 가진다. 본 발명의 구현예들에서, 왼쪽 보기 판 50은 본 발명의 구현예들에 따른 타일을 표시하고, 오른쪽 판 52은 전체 슬라이드의 디지털화된 이미지를 표시한다. 구현예들에서, 판들 50, 52 각각에 표시된 이미지들은 이미지 위 또는 그 안을 클릭하거나, 마우스 스크롤 휠 또는 보기 소프트웨어, 또는 표시 스크린에 구비되거나 통합된 다른 도구(들)를 이용함으로써 펼쳐지고(panned) 줌될 수 있다.

본 발명의 구현예들에서, 왼쪽 판 50에 표시되는 타일들은 y 방향으로 위쪽 경계선 56과 아래쪽 경계선 58 사이로 제한될 수 있다. 구현예들에서, 타일들은 y 방향으로만 스크롤될 수 있다(또는 다른 구현예에서는, x 방향으로만). 구현예들에서, 스크롤링 또는 이동이 여러 방향으로 일어날 수 있지만(예: x 방향으로, 또는 다른 구현예들에서는 y 방향으로), 병리학자가 y 방향으로의 스크롤링을 일단 마쳤을 때 모든 관련 이미지들이 병리학자의 스크린 상에 최적으로 나타날 수 있도록, 이미지가 경계선들 사이의 영역을 포함하는 보기 안으로 자동으로 스냅 전환되거나 다른 방식으로 되돌리기 전환(예를 들어, 이동을 위해 사용된 마우스 버튼이 풀렸을 때)된다. 구현예들에서, 스냅 전환 또는 되돌리기 전환은 병리학자에 의한 입력을 필요로 하지만(예: 마우스 클릭), 주 방향에서의 추가적인 스크롤링이 일어나기 전에 필요하다. 이와 같이, 이용자 최적화(customizability)된 보기(view) 및 검토의 완전성이 이롭게 달성될 수 있다. 추가적으로, 그리고 유리하게, 구현예들에서, 타일들은 가장 진단적 중요성이 높은 영역부터(예: 큰 타일(들) 또는 그와 달리, 높은 확신 점수 또는 종합 점수 또는 중요한 분류 유형과 관련된 타일들) 진단적 중요도가 가장 적은 타일까지(예: 더 작은 타일 또는 그와 달리, 낮은 확신 점수 또는 덜 중요한 분류 유형과 관련된 타일들) 선상의 연속체로 표시될 수 있다. 구현예들에서, 더 큰 타일들이 가장 진단적으로 중요한 정보들(관련 세포의 무리)을 포함하고 있기 때문에 병리학자는 큰 타일을 먼저 검토할 수 있고, 가장 높은 진단적 중요성의 앞쪽 타일이 병리학적 검토가 의뢰된 것에 대해 즉시 "나쁜"(예: 악성) 결과로 확정되는 경우 빠르고 정확한 진단을 내릴 수 있다. 구현예들에서, 더 작은 타일은, 이러한 타일들이 임의의 관심 있는 세포들을 포함할 가능성을 덜 가질 수 있어서(또는 갖지 않을 수 있어서) 과정 중 더 늦게 검토될 수 있다.

이런 관점에서, 언급된 바와 같이, 겹쳐지는 상자들을 포함하는 타일들은 단일의 상자로 형성되는 타일에 비해 종종 더 커지는 경향이 있다. 본 발명의 구현예들에서, 가장 큰 것부터(진단적으로 가장 중요한 것) 가장 작은 것까지(진단적으로 가장 덜 중요한 것) 크기의 내림차순으로 생성된 타일을 선택적으로 묶도록 빈 패킹 알고리즘(bin packing algorithm)이 적용될 수 있다. 이는 가장 큰 타일을 선상으로 표시되는 것의 처음에 두고, 가장 덜 중요한 타일은 선상 표시의 꼬리쪽 끝에 나타낸다.

구현예들에서, 이용되는 빈 패킹 알고리즘은 1상 알고리즘, 2상 알고리즘, 하이브리드 퍼스트-핏(hybrid first-fit), 하이브리드 넥스트-핏(hybrid-next fit), 하이브리드 페스트-핏(hybrid fest-fit), 플로어-실링(floor-ceiling), 피니트 넥스트-핏(finite next-fit), 피니트 퍼스트-핏(finite first-fit), 피니트 보텀-레프트(finite bottom-left), 넥스트 보텀-레프트(next bottom-left), 얼터네이트 디렉션즈(alternate directions) 2차원 빈 패킹 알고리즘 및 렉트팩(rectpack)과 같은 2차원 빈 패킹 알고리즘일 수 있다. 구현예들에서, 더 큰 타일이 맨 처음 놓이고, 그 다음 더 작은 타일들이 공간이 허락한다면 큰 타일들 사이에 놓일 수 있다.

예를 들어, 슬라이드가 별개의 세트로 분류되어(각각이 개별 분류에 대한 것) 서로 다른 상태에 대한 검토가 병리학자에 의해 순서대로 수행되거나 또는 병리학자 또는 소프트웨어 프로그래밍의 선택 순서에 따라 수행될 수 있도록 하는 다른 또는 추가적인 구성이 구현예에서 채용될 수 있다. 구현예들에서, 타일들은 검토를 위해 2차원 공간으로 묶이기 보다는 선상으로 표시될 수 있다(어떤 타일도 다른 타일 위에 놓이지 않도록 한 줄로).

예를 들어, 도 6 내지 10을 보면, y 방향으로의 사용자 스크롤(예: 오른쪽에서 왼쪽으로)에 따른 보기 판 50의 개별 보기를 나타내는 연속적인 스크린 48이 도시되었다. 다른 구현예들에서, 위쪽에서 아래쪽(예, x 방향으로) 또는 오른쪽에서 왼쪽, 또는 아래쪽에서 위쪽으로 스크롤이 이뤄질 수 있다. 보여지다시피, 도 6의 판 50에는 적은 수의 큰 타일이 있다. 이 타일들은 표본에서 가장 진단적으로 중요한 정보를 나타낼 수 있다. 도 7에서, 타일들은 전체적으로 도 6의 것들보다 크기가 작다. 도 8 및 9를 보면, y방향으로 진행됨에 따라 타일들이 크기가 점점 작아진다. 도 10은 일련의 타일의 꼬리 끝의 타일을 보여준다. 분명하게, 도 6 내지 9의 타일들이 조직 단편 또는 세포 군집을 포함하는 데 반해, 도시된 바와 같이 대부분 하나의 세포만 포함하고 있는 도 10에 도시된 타일들은, 설명된 바와 같이, 최소량의 군집된 진단 정보를 줄 수 있다.

구현예들에서, 병리학자들은 가장 큰 타일들(여기서는 도 6)을 먼저 검토하고, 이 타일들을 검토하는 데 대부분의 시간을 보낼 수 있는데, 그것들이 진단적으로 가장 중요한 정보를 포함할 수 있기 때문이다. 본 발명이 없을 때는, 병리학자들은 슬라이드의 어디서부터 세포의 검토를 시작할지 모를 것이고, 그래서, 무작위의 구역을 선택하여 시작할 것이다. 따라서, 종종 그렇듯이, 병리학자들은 종래의 컴퓨터 수행 및 비-컴퓨터 수행 검토 수단을 이용하여, 어림짐작을 통해, 종종 슬라이드 상의 진단적으로 가장 덜 중요한 영역부터 시작하고 더 중요한 영역을 찾느라 막대한 시간을 보낼 수 있다.

일단 병리학자가 도 6의 타일의 검토를 마치면, 그(그녀)는 도 7의 다음 시리즈의 타일로 이동할 수 있는데, 그것들이 다음으로 가장 진단적으로 중요하기 때문이다. 병리학자는 그 다음 도 8 내지 10의 타일들로 진행할 수 있고, 그것들이 더 작아지고 더 작아질수록 각 시리즈의 타일에 시간을 더 적게 더더 적게 보낼 수 있다. 이는 타일이 작아지면, 그것들이 진단적으로 중요한 정보를 덜 가질 것이기 때문이다.

가장 큰 타일 안에 가장 진단적으로 중요한 정보를 포함함으로써, 그리고 타일을 가장 큰 것부터 가장 작은 것까지 정렬함으로써, 병리학자는 가장 진단적으로 중요한 정보부터 시작하도록(그리고 대부분의 검토 시간을 보내도록) 도움을 받는다. 이것은 알려진 수동 그리고 컴퓨터화된 검토 방법을 가지고 병리학자들이 대면하는 중대한 문제를 해결한다. 사실, 종래 기술에서는, 병리학자들이 슬라이드의 어디서부터 시작해야 할지 무턱대고 추측하고 종종 진단 목적에 대해 중요하지 않은 슬라이드의 구역에서 너무 많은 시간을 보낼 것이었다.

더욱이, 가장 큰 타일에 진단적으로 가장 중요한 세포들을 함께 모았기 때문에, 병리학자가 우선 관심 세포를 찾고 그 다음 관심 세포와 이웃하는 그것들의 상대적인 위치를 지도로 그려야만 했던 종래의 진단 방법에 비해, 병리학자가 더 정확한 진단을 내릴 수 있도록 할 가능성이 아주 높다. 종래의 방법은 번거로울 뿐 아니라 심각한 사람의 실수가 생기기 쉽다.

본 발명의 구현예들에서, 왼쪽 보기 판 50에 표시된 타일들은 오른쪽 보기 판 52에 위치 맵핑(map)된다. 이런 점에서, 사용자가 보기 판 50에서 타일을 선택하면, 그것은 오른쪽 보기 판 52에서 전체 디지털화된 슬라이드의 맥락에서 표시된다. 예를 들어, 도 4는 왼쪽 보기 판 40의 타일 모둠을 보여준다. 오른쪽 보기 판 52은 전체 디지털화된 슬라이드의 줌아웃 보기를 보여준다. 구현예들에서, 사용자가 예를 들어 타일 41의 정보가 디지털화된 슬라이드의 맥락 안에서 어디에 있는지 보기를 원한다면, 사용자는 도 5에 도시된 것처럼 타일 41을 선택할 수 있고, 오른쪽 보기 판 52이 어디서 타일 41이 유래되었는지 슬라이드의 구역을 확대(zoom)할 수 있다. 구현예들에서 사용자는 주변 영역을 보기 위해 줌아웃하거나 또는 이와 달리, 사용자가 관심 세포를 더 자세히 보기 위해 줌인할 수 있다. 이는 병리학자가 검사하는 세포가(예: 보기 판 50 안의 타일들) 슬라이드 상의 전체 정보(보기 판 52에 나타난다)에 대해 상대적으로 어디에 위치하는지 쉽게 추적할 수 있게 한다. 이는 종래의 수동 및 컴퓨터화 방법에 비해 상당히 개선된 것인데, 왜냐하면 종래 기술에서 병리학자는 슬라이드 상의 관심 세포의 위치를 수동으로 찾아내야 했기 때문이다. 본 발명의 구현예들에서, 예를 들어 타일이 줌아웃 또는 상대적으로 줌아웃된 보기에서 보여질 때, 슬라이드 일부의 표시 버전은 압축된 이미지 데이터를 바탕으로 할 수 있다. 유리하게도 이미지에 대해 이용가능한 전체 데이터가 표시 컴퓨터에 전송될 필요가 없기 때문에 데이터 전송 요구량이 그에 따라 줄어들 수 있다. 일부 구현예에서, 압축되지 않은 슬라이드의 전체 크기는 예를 들어, 20기가바이트에 이를 수 있고, 그에 따라, 전체의 압축되지 않은 슬라이드 이미지를 병리학자에게 동시에 보여줄 필요를 피함으로써 상당한 시간과 데이터 전송의 절약을 이룰 수 있다. 구현예들에서, 전체의 압축되지 않은 이미지를 수신하기 전에 초기 검토를 할 수 있도록 압축되지 않은 슬라이드 이미지가 검토 과정 동안 병리학자의 표시 장치로 스트리밍될 수 있다. 병리학자가 더 앞쪽의, 예를 들어 더 중요한 타일을 검토하는 동안, 표시될 더 뒤의 타일에 대한 스트리밍이 다운로드될 수 있음에 따라, 추가로 지연을 피하도록 슬라이드의 타일들이 병리학자에게 보여지는 순서에 따라 스트리밍이 일어날 수 있다. 만약 사용자가 더 크게 줌인하면, 줌인된 타일에 표시된 이미지의 관련 부분이 검토에 적당한 해상도로 보여질 수 있도록 추가 데이터가 사용자의 컴퓨터에 제공될 수 있다. 유리하게도, 표시장치를 보는 병리학자는 이로써, 예를 들어 이러한 줌인 보기를 할 때 진단에 적합한 세포의 핵에 대한 세부 사항을 볼 수 있다. 구현예들에서, 슬라이드 이미지의 서로 다른 타일들이 병리학자의 검토에 대해 맞춤화되도록 병리학자에 의해 별개로 줌인 및 줌아웃될 수 있다.

도 6을 참조하면, 본 발명의 다른 구현예들에서, 시스템은 더 큰 전체 슬라이드 이미지의 맥락에서 두 개의 다른 타일의 관계를 사용자가 검토할 수 있게 한다. 예를 들어, 도시된 바와 같이, 사용자가 타일 41 및 22를 택할 수 있고, 이 타일들 각각이 유래된 슬라이드의 영역이 오른쪽 보기 판 52에서 강조된다.

도 11을 보면, 구현예들에서, 시스템이 이전에 컴퓨터에 의해 비정상에 대해 "양성"으로 인식된 디지털화된 슬라이드의 부분 및/또는 비정상에 대해 "음성"으로 인식된 부분을 표지하도록(예를 들어 깃발(flag)로) 구성될 수 있다. 시스템은 임의의 다양한 구성으로 양성과 음성에 대한 정보를 나타내도록 구성된다. 이러한 특성은 병리학자가 슬라이드를 검토할 때 진단적 중요성이 있는 세포로 쉽게 "점프백" 할 수 있게 한다. 구현예들에서 서로 다른 표지들이 병리학자에게 표시되는 데 이용가능할 수 있는데, 예를 들어, 특별히 높은 점수의 영역에 대한 마킹, 특정 분류에 부가되는 마킹, 및 조합된 타일 및/또는 그것들의 구성 부분의 마킹, 및 여기서 논의되고 컴퓨터화 시스템 및/또는 신경망에 의해 만들어지는 다른 결정사항 등에 대한 마킹이다.

예를 들어, 일 구현예에서, 시스템은 사용자가 여러 보기 사이에서 특정 보기를 출력하고, 끄기/켜기(toggle)를 하는 작동을 선택할 수 있게 하는 툴바 또는 유사한 메뉴 56를 제공한다. 일 구현예에서, 사용자는 디지털 슬라이드 상의 모든 "양성" 구역을 표시하도록 선택할 수 있다. 도 11에 도시된 바와 같이, 슬라이드 상의 양성 영역을 표시하라는 사용자의 선택에 의해 시스템이 이런 슬라이드 영역을, 예를 들어 정사각형 58 형태의 또는 다른 이미지 마커 안에 특정하여 표시할 수 있다. 사용자는 임의의 정사각형(예 58)을 클릭하여 표시된 양성 영역의 이미지를 확대할 수 있다. 본 발명의 구현예들에서, 양성 구역을 알아보게 하는 마크는 제 1 색상 또는 다른 색이거나 시각적 명확화일 수 있다(예: 빨강, 또는 번쩍거림 또는 파선 안에 나타내는 등).

본 발명의 구현예들에서, 시스템은 유사하게 비정상성에 대해 "음성"인 디지털 슬라이드의 부분을 마킹하도록 구성된다. 예를 들어, 도 12를 참고하면, 사용자는 디지털화된 슬라이드의 "음성"인 영역을 표지하라고 선택할 수 있고(메뉴 56 상의 옵션으로부터), 이러한 선택을 통해 시스템은 음성 슬라이드 영역 상의 마킹을 예를 들어 정사각형 60의 형태 또는 다른 이미지 마커로 표시한다. 사용자는 아무 사각형(예: 60)이나 클릭하여 음성 영역의 이미지를 확대할 수 있다. 본 발명의 구현예들에서, 음성 영역을 식별하는 마크는 제 2의 색일 수 있다(예: 파랑).

본 발명의 구현예들에서, 사용자는 스크린 상에 표시된 마커를 껐다켰다(toggle) 할 수 있거나 사용자가 양성 마커(예: 58) 및 음성 마커(예: 60) 모두를 동시에 표시하는 옵션을 선택할 수 있다. 예를 들어, 도 13에 도시된 바와 같이, 시료의 디지털화 이미지에 각 양성 및 음성 슬라이드 영역을 마킹하는 양성 및 음성 마커가 제공된다(예: 28, 60).

"양성" 및 "음성" 영역은 본 발명의 여러 구현예에서의 다양한 기술 중 임의의 것으로 결정될 수 있음이 이해될 것이다. 예를 들어, 상부 위장관으로부터 얻은 조직과 같은 샘 상피를 분석할 때, 비정상 원주세포에 결합하여 그런 비정상 세포를 특정 색(예: 갈색)으로 물들이는 염색(예: cdx2)이 흔히 사용된다. 그 다음 시스템은 관심 염색 색상(예: 갈색)을 찾음으로써 비정상인 원주 세포를 식별할 수 있다. 염색되지 않은(즉, 음성인) 원주 세포를 식별하기 위해, 분류기 및/또는 훈련된 신경망 컴퓨터와 같은 이미지-인식 시스템을 사용하는 시스템은 형태적 특징에 기반하여 원주 세포를 식별한다. 상기 시스템은 이와 같이 염색된 영역에 관련된 정보(색깔 분석을 통해 얻어지는) 및 염색되지 않은 원주 세포에 대한 정보(예: 컴퓨터 이미지 분석을 통해 얻어지는)를 저장한다.

예를 들어, 본 발명의 구현예들에서, 시스템은 슬라이드 상의 음성 대 양성 영역의 비율을 시각적으로 나타내고 공간적 관계에 기반하여 퍼센티지 값을 계산하도록 구성된다. 본 발명의 구현예들에서, 시스템은 디지털화 슬라이드의 모든 양성 및 음성 영역에 대해 디지털 이미지에(또는 상기 디지털 이미지에 기반한 정보를 담은 데이터베이스에) 질문한다(query). 그 다음 시스템은 각 양성 영역을 모으고, 그것들을 표시 장치의 첫 번째 구역에 나타낸다. 시스템은 유사하게, 각 음성 영역을 모으고, 그것들을 표시장치의 두 번째 구역에, 검토자가 양성 영역의 전체를 음성 영역의 전체와 비교하며 관찰할 수 있도록 하는 방식으로 첫 번째 구역 옆에 또는 그 근처에 나타낸다.

예를 들어, 도 14를 참고하면, 본 발명의 구현예들에 따라, 상부 보기 판 62 및 하부 보기 판 64을 가지는 표시 스크린이 도시되었다. 상부 및 하부 보기 판 62, 64을 분리하는 구분선 66이 있을 수 있다. 도시된 바와 같이, 구분선 66은 슬라이드의 연속적 퍼센티지 값을 구분하는 마커와 함께 제공된다. 예를 들어, 10% 마커 68 및 똑같은 간격의 20% 마커 70이 구분선 66 상에 도시되었다. 오직 약 20%의 음성 세계가 도 14에 도시되었고, 음성 영역의 전체(즉, 100%까지)는 오른쪽으로 스크롤함으로써 관찰될 수 있다. 도시된 바와 같이, 양성 세포 72들의 군집은 음성 세포들 74의 군집의 공간적으로 약 12%를 나타낸다(즉, 음성 영역 대비 x 축 방향을 따라 상당히 공간을 덜 차지한다). 이는 병리학자에게 양성 표본은 어떠할 수 있는지의 시각적 표현을 제공한다.

본 발명의 구현예들에서, 시스템은 탐색 창 기능을 제공하는데, 그것은 사용자가 전체 슬라이드 이미지 안에서 하위 분류 또는 유사한 사용자-정의 검색 영역을 동적으로 생성할 수 있게 한다. 예를 들어, 도 15를 보면, 시스템은 사용자가 컴퓨터 마우스를 사용하거나 유사한 명령어를 통해 탐색창 76을 끌(draw) 수 있게 한다. 본 발명의 구현예들에서, 탐색창 76의 크기는 사용자에 의해 맞춰질 수 있다.

본 발명의 구현예에서, 검색 단계의 시작에서, 시스템은 보기 판 52 안에 또는 근처에 동반 툴바 78를 표시한다. 도 15에 도시된 구현예에서, 툴바 78는 오른쪽 보기 판 52의 오른쪽 구석 상단에 도시되었다. 툴바 78는 사용자에 의해 선택되었을 때 사용자가 탐색창 76 안에서 돌아다닐 수 있게 하는 네비게이션 도구와 같은 조절 아이콘을 포함한다.

본 발명의 구현예들에서, 시스템은 사용자가 탐색 창 76 안의 주어진 영역에서 돌아다니는 각 경우를 추적하고 저장한다. 예를 들어, 도 16을 보면, 시스템은 사용자-지정 탐색 창 76의 지도 80를 제공하고, 그 안에서 사용자가 돌아다닌 영역은 음영처리되고, 한 번 넘게 돌아다닌 영역은 한 번만 돌아다닌 영역에 비해 더 어두운 색(예: 82)으로 음영처리된다. 이와 같이, 본 발명의 구현예들에서, 지도 80가 탐색 창 76 안의 어떤 영역이 검토되었는지의 시각적 도움을 준다. 본 발명의 구현예들에서, 시스템은 탐색 창 76 안의 주어진 영역에서 각 시간 사용자가 훑은 지도 80의 영역을 음영처리한다. 이런 관점에서, 사용자는 어떤 영역이 다른 영역보다 오랜 시간 검토되었는지에 대한 시각적 일러스트레이션을 제공받는다. 예시적 구현예에서, 영역들이 또한 사용자(예: 병리학자)에 의해 선택되고, 예를 들어 잠재적 관심이 있음, 또는 잠재적 관심이 없음, 추가 검토가 필요함 등으로 표시될 수 있다. 구현예들에서, 사용자는 예를 들어 이메일 자동 생성 또는 비밀번호로 보호된 파일 디렉토리로 자동으로 삽입되게 함으로써 타일 또는 구역의 선택된 세트를 다른 사람들과 공유할 수 있다.

본 발명의 구현예들에서, 시스템은 고정된 세포 블럭 부분을 포함하는 슬라이드를 분석하도록 구성된다. 예를 들어, 시스템은 슬라이드에 고정된 세포 블럭 슬라이스를 포함하는 슬라이드를 디지털화하고 여기 개시된 타일들의 갤러리를 생성한다. 설명된 바와 같이, 세포 블럭은 보통 아주 가깝게 잇달아 잘라지기 때문에, 두 개의 이웃하는 세포 블럭 슬라이스는 서로 매우 유사할 것이고, 심지어 똑같아 보일 수도 있다. 따라서, 본 발명의 구현예에서, 시스템은 병리학자에게 두 개의 다른 염색 또는 면역조직화학적 마커에 대한 동일한 조직 구조의 반응을 비교할 수 있는 능력을 제공한다.

예를 들어, 도 17을 보면, 제 1 보기 판 84과 이웃하는 제 2 보기 판 86을 가지는 표시장치가 도시되었다. 본 발명의 구현예들에서, 첫 번째 세포 블럭 슬라이스(또는 그것의 부분)이 제 1 보기 판 84에 표시되었고, 두 번째 세포 블럭 슬라이스는 제 2 보기 판 86에 표시되었다. 두 번째 세포 블럭 슬라이스는 첫 번째 세포 블럭 슬라이스와 연속적으로 잘린 것일 수 있고, 또는 첫 번째 세포 블럭 슬라이스에 인접하여 가깝게 잘린 것일 수 있다. 이와 같이, 첫 번째 및 두 번째의 세포 블럭 슬라이스는, 실질적으로 동일한 조직 및 세포 구조를 포함한다. 따라서, 시스템은 제 1 염색으로 염색된 첫 번째 세포 블럭과 제 2 염색으로 염색된 두 번째 세포 블럭을 표시하여 병리학자가 두 개의 다른 염색 상태 하의 동일한 조직 영역을 면-대-면 방식으로 검토할 수 있게 한다.

본 발명의 구현예들에서, 시스템은 또한 사용자가 제 1 및 제 2 보기 판 84, 86안에 표시된 이미지를 동시에 움직이게(lockstep) 하는 기능을 제공한다. 예를 들어 도 17에 도시된 바와 같이, 시스템은 보기 판 84, 96 안의 각 개별 이미지 상의 고정점(anchor point)을 선택하는 옵션을 사용자에게 제공한다. 도시된 바와 같이, 사용자는 첫 번째 이미지 안의 한 점인 첫 번째 이미지 고정점 88 및 두 번째 이미지 안의 한 점인 두 번째 이미지 고정점 90을 각 판 84, 86의 어느 쪽이든 대응하는 지점을 선택함에 따라, 예를 들어 동시에, 찍을 수 있다. 이렇게, 여러 비교와 이동 옵션이 가능하도록 양 이미지가 사용자에 의해 동시에 움직이고 줌된다.

본 발명이 상기 개략적으로 묘사된 구현예와 함께 설명되었으나, 많은 대안, 변형 및 변화가 당업자에게 명백할 것이라는 것은 분명하다. 따라서, 상기 개시된 본 발명의 예시적 구현예는, 제한하는 것이 아니라 오직 설명하려는 의도이다. 본 발명의 사상과 범위에서 벗어남이 없이 다양한 변형이 만들어질 수 있다.

Claims (22)

1. 진단적 중요성을 나타내는 방식으로 시료의 세포를 동적으로 표시하는 컴퓨터 수행 방법으로서, 상기 방법은
   a. 비정상의 정도에 따라 디지털화된 표본 상의 세포들의 등급을 매기는 단계;
   b. 등급 매기기에 기반하여, 첫 번째 세포 모둠의 적어도 하나의 세포가 진단적으로 중요한 것인 첫 번째 세포 모둠을 형성하는 단계;
   c. 등급 매기기에 기반하여, 첫 번째 세포 모둠보다 진단적으로 덜 중요한 세포들의 두 번째 세포 모둠을 형성하는 단계;
   d. 첫 번째 세포 모둠을 포함하는 첫 번째 이미지 타일을 생성하는 단계; 및
   e. 두 번째 세포 모둠을 포함하는 두 번째 이미지 타일을 생성하는 단계를 포함하며,
   여기서 첫 번째 이미지 타일은 두 번째 이미지 타일보다 큰 것인 방법.
   
2. 제 1 항에 있어서, 첫 번째 세포 모둠은 두 번째 세포 모둠의 진단적으로 중요한 세포의 양보다 더 많은 양의 진단적으로 중요한 세포를 포함하는 것인 방법.
   
3. 제 1 항에 있어서, 첫 번째 세포 모둠과 두 번째 세포 모둠 사이의 공간적 겹침을 탐색하고, 첫 번째 세포 모둠과 두 번째 세포 모둠을 첫 번째 세포 모둠과 두 번째 세포 모둠을 포함하는 이미지 타일로 통합하는 단계를 더 포함하는 방법.
   
4. 제 1 항에 있어서, 표시 장치 상에 첫 번째 이미지 타일과 두 번째 이미지 타일을 표시하는 단계를 더 포함하는 방법.
   
5. 제 4 항에 있어서, 상기 표시는 이미지 타일들을 선형으로 나타내는 것을 포함하는 것인 방법.
   
6. 제 5 항에 있어서, 타일의 선형 전시에서 첫 번째 이미지 타일이 두 번째 이미지 타일보다 먼저 전시되는 것인 방법.
   
7. 동적으로 이미지 타일을 생성하는 시스템으로서:
   전자 표시장치;
   세포를 함유하는 디지털화된 세포 표본을 저장하는 저장 매체;
   상기 저장 매체 및 상기 전자 표시장치에 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는
   i) 상기 저장 매체에 저장된 디지털화된 세포 표본에 접근하고;
   ii) 분류기의 사용을 통해 디지털화된 세포 표본에서 첫 번째 적어도 하나의 세포와 관련된 첫 번째 비정상 특징 및 디지털화된 세포 표본에서 두 번째 적어도 하나의 세포와 관련된 두 번째 비정상 특징을 식별하며;
   iii) 첫 번째 적어도 하나의 세포와 관련된 첫 번째 비정상 특징에 기반하여 첫 번째 점수를 계산하고;
   iv) 두 번째 적어도 하나의 세포와 연관된 두 번째 비정상 특징에 기반하여 두 번째 점수를 계산하며;
   v) 첫 번째 적어도 하나의 세포를 둘러싸는 디지털화된 세포 표본의 첫 번째 관심 영역을 생성하는데, 첫 번째 관심 영역의 크기는 첫 번째 점수에 기반하여 프로세서에 의해 계산되고;
   vi) 두 번째 적어도 하나의 세포를 둘러싸는 디지털화된 세포 표본의 두 번째 관심 영역을 생성하는데, 두 번째 관심 영역의 크기는 두 번째 점수에 기반하여 프로세서에 의해 계산되며;
   vii) 다음 중 적어도 하나에 기반하여 첫 번째 관심 영역이 두 번째 관심 영역과 접하는지를 판정하고: (i) 첫 번째 관심 영역과 두 번째 관심 영역이 공통의 둘레 부분을 포함하는지 판정 및 (ii) 첫 번째 관심 영역과 두 번째 관심 영역이 각각 공통의 내부 부분을 포함하는지 판정; 및
   viii) 선택적으로 첫 번째 관심 영역이 두 번째 관심 영역과 접했다고 판정되었을 때;
   a. 첫 번째 관심 영역과 두 번째 관심 영역을 첫 번째 관심 영역과 두 번째 관심 영역을 포함하는 디지털화된 세포 표본의 세 번째 관심 영역으로 통합하고; 그리고
   b. 상기 전자 표시장치 상에 첫 번째 적어도 하나의 세포, 두 번째 적어도 하나의 세포 및 세 번째 관심 영역을 나타내는 통합된 이미지 타일을 표시하도록 구성되는 것인 시스템.
   
8. 제 7 항에 있어서, 상기 프로세서가 선택적으로, 첫 번째 관심 영역이 두 번째 관심 영역과 접하지 않는다고 판정되었을 때, 첫 번째 적어도 하나의 세포 및 첫 번째 관심 영역을 보여주는 첫 번째 이미지 타일을 전자 표시장치 상에 표시하고, 두 번째 적어도 하나의 세포 및 두 번째 관심 영역을 보여주는 두 번째 이미지 타일을 전자 표시장치 상에 표시하도록 추가적으로 구성되는 것인 시스템.
   
9. 제 7 항에 있어서, 디지털화된 표본은 세포학적 표본을 포함하는 것인 시스템.
   
10. 제 7 항에 있어서, 디지털화된 표본은 세포 블럭의 적어도 하나의 슬라이스를 포함하는 것인 시스템.
    
11. 제 7 항에 있어서, 첫 번째 관심 영역 및 두 번째 관심 영역은 모양이 실질적으로 정사각형인 시스템.
    
12. 제 7 항에 있어서, 첫 번째 점수는 비정상성의 표시로 태그된 다수의 세포 이미지를 포함하는 훈련 세트를 사용하여 훈련된 신경망에 적어도 하나의 첫 번재 세포의 이미지를 입력물로서 제공한 것을 기반으로 하여 신경망의 출력물인 신경망 점수로 컴퓨터 프로세서에 의해 결정된 신경망 점수를 포함하는 것인 시스템.
    
13. 제 12 항에 있어서, 신경망 점수는 비정상성의 정도를 포함하는 연속적인 점수로부터 신경망에 의해 선택되는 것인 시스템.
    
14. 대상체의 암을 치료하는 방법으로서, 상기 방법은 대상체로부터의 표본에서 암의 진단 또는 확인을 받는 것을 포함하고, 여기서 상기 암은 제 1 항 내지 제 6 항 중 어느 한 항에 따른 방법을 사용하여 상기 표본으로부터 암이 진단되거나 확인되며, 상기 대상체에게 진단된 또는 확인된 암에 대한 일정량의 처치를 수행하는 것을 포함하는 방법.
    
15. 대상체에서 암의 가능성을 줄이거나 이상형성(dysplasia)을 치료하는 방법으로서, 상기 방법은 대상체로부터의 표본에서 이상형성의 진단 또는 확인을 받는 것을 포함하고, 여기서 제 1 항 내지 제 6 항 중 어느 한 항의 방법을 사용하여 상기 표본으로부터 이상형성이 진단되거나 확인되며, 상기 대상체에게 암의 가능성을 줄이거나 이상형성을 치료하는 일정량의 처치를 수행하는 것을 포함하는 방법.
    
16. 제 14 항에 있어서, 상기 처치는 항암 소분자 치료, 항암 방사선 요법, 항암 화학요법, 항암 수술 또는 항암 면역 요법인 것인 방법.
    
17. 제 15 항에 있어서, 상기 처치는 이상형성에 대한 소분자 치료, 방사선 요법, 화학요법, 수술 또는 면역 요법인 것인 방법.
    
18. 대상체의 암을 치료하는 방법으로서, 상기 방법은 대상체로부터의 표본에서 암의 진단 또는 확인을 받는 것을 포함하고, 여기서 암은 제 7 항 내지 제 13 항 중 어느 한 항의 시스템을 사용하여 표본에서 진단되거나 확인되며, 상기 대상체에게 진단되거나 확인된 암의 치료를 위한 일정량의 처치를 제공하는 것을 포함하는 방법.
    
19. 대상체에서 암의 가능성을 줄이거나 이상형성(dysplasia)을 치료하는 방법으로서, 상기 방법은 대상체로부터의 표본에서 이상형성의 진단 또는 확인을 받는 것을 포함하고, 여기서 이상형성은 제 7 항 내지 제 13 항 중 어느 한 항의 시스템을 사용하여 표본에서 진단되거나 확인되며, 상기 대상체에게 암의 가능성을 줄이거나 이상형성을 치료하는 일정량의 처치를 제공하는 것을 포함하는 방법.
    
20. 제 18 항에 있어서, 상기 처치는 항암 소분자 치료, 항암 방사선요법, 항암 화학요법, 항암 수술 또는 항암 면역 요법인 것인 방법.
    
21. 제 19 항에 있어서, 상기 처치는 이상형성에 대한 소분자 치료, 방사선요법, 화학요법, 수술 또는 면역 요법인 것인 방법.
    
22. 제 14 항, 제 16항 또는 제 18 항 내지 제 21 항 중 어느 한 항에 있어서, 상기 암이 식도암 또는 구강암인 것인 방법.