[go: up one dir, main page]

WO2024228362A1 - 画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム、並びに学習装置 - Google Patents

画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム、並びに学習装置 Download PDF

Info

Publication number
WO2024228362A1
WO2024228362A1 PCT/JP2024/016298 JP2024016298W WO2024228362A1 WO 2024228362 A1 WO2024228362 A1 WO 2024228362A1 JP 2024016298 W JP2024016298 W JP 2024016298W WO 2024228362 A1 WO2024228362 A1 WO 2024228362A1
Authority
WO
WIPO (PCT)
Prior art keywords
tissue
image
specimen
evaluation value
training
Prior art date
Application number
PCT/JP2024/016298
Other languages
English (en)
French (fr)
Inventor
充 根岸
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2024228362A1 publication Critical patent/WO2024228362A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the technology disclosed herein relates to an image processing device, an operating method for an image processing device, an operating program for an image processing device, and a learning device.
  • U.S. Patent Application Publication No. 2021/0342570 describes a technology that uses a machine learning model such as an autoencoder to extract features from patch images, which are tissue images obtained by dividing a specimen image of a tissue specimen such as an animal liver, and determines whether or not the tissue specimen in the patch image has a morphological abnormality (hyperplasia, infiltration, congestion, inflammation, tumor, canceration, proliferation, bleeding, glycogen depletion, etc.) based on the extracted features, and clusters patch images determined to have a morphological abnormality into one of multiple clusters based on the features.
  • a machine learning model such as an autoencoder to extract features from patch images, which are tissue images obtained by dividing a specimen image of a tissue specimen such as an animal liver, and determines whether or not the tissue specimen in the patch image has a morphological abnormality (hyperplasia, infiltration, congestion, inflammation, tumor, canceration, proliferation, bleeding, glycogen depletion, etc.) based on the extracted features
  • Drug discovery staff including toxicological pathology specialists (known as pathologists) who are involved in drug discovery work, are highly interested in morphological abnormalities that contribute greatly to estimating the mechanism of action of toxicity based on their specialized knowledge. If the degree of this interest is referred to as the degree of abnormality, the degree of abnormality differs depending on the type and severity of the morphological abnormality. For example, if three types of morphological abnormalities, "necrosis,” “cellular infiltration,” and “eosinophilic change,” are ranked by the degree of abnormality, they generally appear in this order.
  • one possible learning method would be to rank all the abnormality degrees of the multiple types of morphological abnormalities on a unified scale and have the machine learning model learn all of the abnormality degrees ranked on the unified scale.
  • annotation work is required, in which the degree of morphological abnormality is classified and identified using a unified scale while looking at tissue images, and annotations are added to the tissue images according to the degree of abnormality.
  • the workload of such annotation work is very large.
  • One problem is the large qualitative workload. In other words, there are many types of morphological abnormalities, and specialized knowledge is required to classify and identify such diverse morphological abnormalities. In addition, the criteria for judging the degree of abnormality vary from person to person. Therefore, it is very difficult to classify and identify the degree of abnormality of all morphological abnormalities using a unified scale in terms of accuracy and uniformity of judgment. This is especially difficult when annotation is performed by an operator with little knowledge of morphological abnormalities. The other problem is the large quantitative workload. Since a very large number of tissue images are required as learning data, the number of tissue images to be subject to annotation work is also large.
  • the task of accurately classifying and identifying morphological abnormalities while closely examining the morphological abnormalities of such a large number of tissue images is also an enormous amount of work.
  • the conventional method of creating learning data has the problem that the workload of annotation work is large both qualitatively and quantitatively.
  • One embodiment of the technology disclosed herein provides an image processing device, an operating method for the image processing device, an operating program for the image processing device, and a learning method that can reduce the workload when creating learning data for a machine learning model that estimates an evaluation value according to the morphological features of a tissue image, compared to conventional methods.
  • the image processing device includes a processor and uses a machine learning model to estimate an evaluation value according to the morphological characteristics of a tissue image obtained by dividing a specimen image showing a tissue specimen of a subject.
  • the machine learning model is trained using a plurality of tissue image sets including a plurality of training tissue images, each of which is a tissue image used for training.
  • the plurality of tissue image sets are assigned a relative order based on the morphological characteristics of the training tissue images, and the relative order between the training tissue images within each of the tissue image sets is assigned as teacher information.
  • the learning is a learning process in which the machine learning model estimates an evaluation value according to the morphological characteristics of the training tissue images and adapts the estimated evaluation value to the relative order assigned in the tissue image set to which the training tissue image belongs.
  • the processor executes an acquisition process for acquiring a tissue image with an unknown evaluation value as an evaluation target, and an estimation process for estimating an evaluation value of the acquired evaluation target using a trained machine learning model.
  • each of the multiple tissue image sets contains at least one training tissue image with a different relative order.
  • tissue image set there are two levels of relative ordering.
  • At least one of the multiple tissue image sets is an image set that contains a mixture of multiple learning tissue images divided from two or more specimen images each of two or more different tissue specimens derived from one or more subjects.
  • the specimen image is preferably an image of a tissue specimen that has been used in a test to evaluate at least one of the efficacy and toxicity of a substance administered to a subject.
  • the specimen images preferably include a first specimen image of a tissue specimen from a subject to which a substance has been administered, and a second specimen image of a tissue specimen from a subject to which a substance has not been administered, and each of the multiple tissue image sets preferably includes, as learning tissue images, a first learning tissue image divided from the first specimen image, and a second learning tissue image divided from the second specimen image.
  • each of the multiple tissue image sets is composed of only multiple training tissue images derived from one or more subjects on which a single test was performed.
  • the relative order is two-level;
  • the two-stage hierarchy is preferably distinguished based on whether or not the training tissue images contain major abnormal findings for each test evaluating at least one of efficacy and toxicity of a substance administered to a subject.
  • the relative ranking based on the morphological features is preferably based on either the degree of abnormality of the morphological features, the severity of the lesion having the morphological features, or the progression of the lesion.
  • the processor preferably outputs an evaluation result based on the estimated evaluation value for the evaluation target.
  • the processor preferably outputs the magnitude of the evaluation value of the evaluation target as the evaluation result in a manner that allows comparison with other evaluation targets.
  • the processor When the evaluation targets are multiple images divided from a single specimen image, it is preferable for the processor to output, as the evaluation result, the magnitude of the evaluation value for each area in the specimen image that corresponds to the multiple evaluation targets in an identifiable manner.
  • the processor preferably generates a heat map that allows the magnitude of the evaluation value for each region to be identified by the shade of color and that can be superimposed on the specimen image.
  • the operating method of an image processing device includes a processor, and uses a machine learning model to estimate an evaluation value according to the morphological characteristics of a tissue image obtained by dividing a specimen image showing a tissue specimen of a subject.
  • the machine learning model is trained using a plurality of tissue image sets including a plurality of training tissue images, each of which is a tissue image used for training.
  • the plurality of tissue image sets are assigned a relative order based on the morphological characteristics of the training tissue images, and the relative order between the training tissue images within each of the tissue image sets is assigned as teacher information.
  • the learning is a learning process in which the machine learning model estimates an evaluation value according to the morphological characteristics of the training tissue images, and the estimated evaluation value is adapted to the relative order assigned in the tissue image set to which the training tissue images belong.
  • the processor executes an acquisition process for acquiring a tissue image with an unknown evaluation value as an evaluation target, and an estimation process for estimating an evaluation value of the acquired evaluation target using a trained machine learning model that has been trained.
  • the operating program of the image processing device includes a processor, and causes a computer to function as an image processing device that uses a machine learning model to estimate an evaluation value according to the morphological characteristics of tissue images obtained by dividing a specimen image showing a tissue specimen of a subject.
  • the machine learning model is trained using a plurality of tissue image sets including a plurality of training tissue images, each of which is a tissue image used for training.
  • the plurality of tissue image sets are assigned a relative order based on the morphological characteristics of the training tissue images, and the relative order between the training tissue images within each of the tissue image sets is assigned as teacher information.
  • the learning is a learning in which the machine learning model estimates an evaluation value according to the morphological characteristics of the training tissue images and adapts the estimated evaluation value to the relative order assigned in the tissue image set to which the training tissue images belong.
  • the program causes the computer to execute an acquisition process for acquiring a tissue image with an unknown evaluation value as an evaluation target, and an estimation process for estimating an evaluation value of the acquired evaluation target using a trained machine learning model.
  • the learning device includes a processor and trains a machine learning model that estimates an evaluation value according to the morphological features of tissue images obtained by subdividing a specimen image of a tissue specimen from a subject.
  • the machine learning model is trained using a plurality of tissue image sets including a plurality of training tissue images that are tissue images used for training.
  • the plurality of tissue image sets are assigned a relative ranking based on the morphological features of the training tissue images, and the relative ranking between the training tissue images within each tissue image set is assigned as teacher information.
  • the learning is performed by having the machine learning model estimate an evaluation value according to the morphological features of the training tissue images and adapting the estimated evaluation value to the relative ranking assigned to the tissue image set to which the training tissue images belong.
  • the technology disclosed herein makes it possible to reduce the workload involved in creating training data for a machine learning model when using a machine learning model that estimates an evaluation value based on the morphological characteristics of a tissue image, compared to conventional methods.
  • FIG. 1 is a diagram illustrating a method for creating a specimen image and an image processing device.
  • FIG. 11 is a diagram showing an example of an evaluation result output by the image processing device.
  • FIG. 2 is a block diagram showing a computer constituting the image processing apparatus.
  • FIG. 2 is a block diagram showing a processor of the image processing device.
  • FIG. 13 is a diagram illustrating an overview of a process for estimating an evaluation value from a patch image.
  • FIG. 13 is a diagram illustrating a feature space used for estimating an evaluation value.
  • FIG. 13 is a diagram showing the relationship between findings of morphological abnormality in patch images and the degree of abnormality.
  • FIG. 2 is a diagram illustrating a learning unit that learns an estimation model.
  • FIG. 1 is a diagram illustrating a method for creating a specimen image and an image processing device.
  • FIG. 11 is a diagram showing an example of an evaluation result output by the image processing device.
  • FIG. 2 is a block diagram showing a
  • FIG. 13 is a diagram showing labels assigned to a set of tissue images.
  • FIG. 13 is a diagram conceptually illustrating an example in which a label and an evaluation value do not match in learning.
  • FIG. 13 is a diagram conceptually illustrating an example in which a label and an evaluation value match in learning.
  • FIG. 13 is a diagram conceptually illustrating another example in which labels and evaluation values match in learning.
  • FIG. 13 is a diagram showing the relationship between labels indicating relative rankings within a tissue image set and evaluation values.
  • 13 is a flowchart showing a processing procedure of the image processing device in a learning phase.
  • 13 is a flowchart showing a processing procedure of the image processing device in an operation phase.
  • FIG. 13 is a diagram showing an example of a display screen that displays a heat map as an evaluation result.
  • FIG. 13 is a diagram showing an example of a display screen that displays a heat map as an evaluation result.
  • FIG. 13 is a diagram showing another example of a display screen displaying a heat map as an evaluation result.
  • FIG. 13 is a diagram showing a display screen for displaying another aspect of the evaluation result.
  • FIG. 1 is a diagram showing an example of a toxicity test report.
  • FIG. 13 shows three labels with relative rankings.
  • an image processing device 10 of the present disclosure is used to evaluate the efficacy and toxicity of a drug candidate substance 11.
  • the image processing device 10 is, for example, a desktop personal computer, and includes a display 12 that displays various screens, and an input device 13 such as a keyboard, a mouse, a touch panel, and/or a microphone for voice input.
  • the image processing device 10 is installed, for example, in a drug development facility, and is operated by drug development staff DS who are involved in drug development at the drug development facility.
  • the drug development staff DS also includes pathologists.
  • the drug development staff DS is an example of a "user" related to the technology of the present disclosure.
  • a specimen image 15 is input to the image processing device 10.
  • the specimen image 15 is an image for evaluating the efficacy and toxicity of the candidate substance 11 administered to the subject S.
  • the image processing device 10 detects morphological abnormalities in the specimen image 15 caused by the candidate substance 11 using a machine learning model.
  • the specimen image 15 is generated, for example, by the following procedure. First, a subject S such as a rat prepared for evaluation of the candidate substance 11 is autopsied, and a plurality of tissue specimens (hereinafter referred to as liver specimens) LVS of the organs of the subject S, here the cross section of the liver LV, are collected.
  • liver specimens tissue specimens
  • the collected liver specimens LVS are attached one by one to a slide glass 16, and then the liver specimens LVS are stained, here stained with hematoxylin-eosin dye.
  • the stained liver specimen LVS is covered with a cover glass 17 to complete the slide specimen 18.
  • the slide specimen 18 is set in an imaging device 19 such as a digital optical microscope, and the specimen image 15 is captured by the imaging device 19.
  • the specimen image 15 thus obtained is assigned a specimen ID (Identification Data) for uniquely identifying the specimen S, a specimen image ID for uniquely identifying the specimen image 15, and the date and time of photographing.
  • tissue specimen is also called a tissue section
  • specimen image 15 is an image of an entire tissue section, it is also called a WSI (Whole Slide Image).
  • staining may be performed using hematoxylin dye alone, nuclear fast red dye, etc.
  • the administration group is made up of multiple subjects S to whom the candidate substance 11 was administered.
  • the control group is the opposite of the administration group, made up of multiple subjects S to whom the candidate substance 11 was not administered.
  • an image of the liver specimen LVS of the subjects S in the administration group is used as the specimen image 15.
  • an image of the liver specimen LVS of the subjects S in the control group may also be used as the specimen image 15.
  • the specimen images 15 for the learning data of the machine learning model used by the image processing device 10 include images of the liver specimens LVS of the control group in addition to the specimen images 15 of the liver specimens LVS of the treatment group.
  • the number of subjects S constituting the treatment group and the number of subjects S constituting the control group are, for example, about 5 to 10.
  • the subjects S constituting the treatment group and the subjects S constituting the control group have the same attributes and are placed in the same rearing environment.
  • the same attributes include, for example, the same age in weeks and/or the same sex.
  • the same attributes also includes the same composition ratio of age in weeks and/or the same composition ratio of sex (e.g., 5 males and 5 females).
  • the same rearing environment includes, for example, the same food given, the same temperature and humidity of the rearing space, and/or the same size of the rearing space.
  • the “same” in “same rearing environment” refers not only to the exact same, but also to the sameness in the sense of a degree of error that is generally acceptable in the technical field to which the technology of this disclosure pertains and that does not go against the spirit of the technology of this disclosure.
  • the dosage of the candidate substance 11 is varied in three stages, such as a high dosage group, a medium dosage group, and a low dosage group. In this way, the effect of the dosage of the candidate substance 11 on the subject S can be ascertained.
  • two dosage groups are shown as examples: a low dosage group and a high dosage group.
  • the image processing device 10 recognizes the liver specimen LVS shown in the input specimen image 15 using a known image recognition technique, and subdivides the recognized liver specimen LVS into a plurality of patch images 65.
  • the patch image 65 is an image in which the area of the liver specimen LVS, which is the entire tissue slice, is divided into small sections.
  • the patch image 65 has a preset size that can be handled by the machine learning model of the image processing device 10.
  • the image processing device 10 assigns an image ID to each subdivided patch image 65, and associates the image ID with position information indicating which part of the specimen image 15 each patch image 65 is cut out from. Note that in FIG. 2, the patch image 65 does not have an area that overlaps with other patch images 65, but the patch image 65 may partially overlap with other patch images 65.
  • the image processing device 10 uses a machine learning model to estimate an evaluation value 66 (see FIG. 4, etc.) representing the degree of morphological abnormality for each of the patch images 65 thus subdivided.
  • the machine learning model of the image processing device 10 is trained to estimate an evaluation value 66 that matches the judgment criteria of the drug discovery staff DS, including a pathologist, for the morphological abnormality of the patch image 65.
  • the judgment criteria of the drug discovery staff DS are the judgment criteria by which the drug discovery staff DS considers the degree of abnormality to be high or low for the morphological abnormality of the patch image 65.
  • Morphological abnormalities refer to lesions that are not observed in normal liver specimens LVS. Morphological abnormalities are an example of "morphological features" related to the technology of the present disclosure. Findings of morphological abnormalities include, for example, “necrosis,” “cell infiltration,” and “eosinophilic changes.” “Cell infiltration” is, for example, inflammatory cell infiltration. In the normal case, no abnormal findings are observed, and the degree of abnormality is the lowest. In general, the higher the degree of abnormality of the morphological abnormality or the more severe the morphological abnormality is, the higher the degree of interest of the drug discovery staff DS.
  • the image processing device 10 estimates an evaluation value 66 that represents the degree of abnormality of morphological abnormality for the patch images 65, and outputs an evaluation result that enables the highlighting or preferential display of areas with a high degree of abnormality in the liver specimen LVS.
  • the heat map HMP shown in FIG. 2 is an example of an evaluation result output by the image processing device 10.
  • the patch image 65 to be evaluated is a plurality of patch images 65 divided from one specimen image 15.
  • the heat map HMP has the contour of the liver specimen LVS, and displays the magnitude of the evaluation value 66 representing the degree of abnormality for each region in the specimen image 15 corresponding to the plurality of patch images 65 in a manner that makes it possible to identify the magnitude.
  • the heat map HMP has, for example, the contour of the liver specimen LVS.
  • the heat map HMP makes it possible to identify the magnitude of the evaluation value 66 representing the degree of abnormality for each region of the liver specimen LVS by the shade of color, and the higher the degree of abnormality, the darker the color is, and the lower the degree of abnormality, the lighter the color is.
  • the color of the necrotic region which has the highest degree of morphological abnormality, is dark, and the color gradually changes to lighter in the order of necrosis, cell infiltration, acidophilic change, and normal.
  • Such a heat map HMP is an example of a display mode that highlights regions with high abnormality.
  • necrosis a malignant neoplasm originating from a neoplasm originating from a neoplasm originating from a neoplasm originating from a neoplasm originating from a neoplasm originating from a neoplasm originating from a neoplasm originating from a neoplasm originating from a neoplasm originating from a neoplasmic fibroblasts, and hematoma, cystic originating from hematoma, hematoma, hematoma, hematoma, hematoma, hematoma, hematoma, hematoma hematoma hematoma hematoma hematoma originating from hematoma hematoma hematoma hematoma hematoma originating from hematoma hematoma hematoma hematoma hematoma hematoma hematoma hematoma hematoma hematoma hematoma
  • the computer constituting the image processing device 10 includes, in addition to the display 12 and input device 13 mentioned above, storage 30, memory 31, a CPU (Central Processing Unit) 32, and a communication unit 33. These are interconnected via a bus line 34.
  • CPU Central Processing Unit
  • Storage 30 is a hard disk drive built into the computer constituting image processing device 10 or connected via a cable or network.
  • storage 30 is a disk array consisting of multiple hard disk drives.
  • Storage 30 stores control programs such as an operating system, various application programs, and various data associated with these programs. Note that a solid state drive may be used instead of a hard disk drive.
  • Memory 31 is a work memory for CPU 32 to execute processing.
  • CPU 32 loads programs stored in storage 30 into memory 31 and executes processing according to the programs. In this way, CPU 32 comprehensively controls each part of the computer.
  • CPU 32 is an example of a "processor" according to the technology of this disclosure. Note that memory 31 may be built into CPU 32.
  • Communication unit 33 controls the transmission of various information to external devices such as the imaging device 19.
  • an operating program 40 is stored in the storage 30 of the image processing device 10.
  • the operating program 40 is an application program for causing a computer to function as the image processing device 10.
  • the operating program 40 is an example of an "operating program of an image processing device" according to the technology of the present disclosure.
  • the storage 30 also stores an estimation model 41.
  • the estimation model 41 is a machine learning model that is part of the operating program 40, and the estimation model 41 is an example of a "machine learning model" according to the technology of the present disclosure.
  • the CPU 32 of the computer constituting the image processing device 10 works in cooperation with the memory 31 etc. to function as a processor 36 having a read/write (hereinafter abbreviated as RW (Read Write)) control unit 50, an estimation unit 51, a division unit 52, and an evaluation result output unit 53.
  • RW Read Write
  • the RW control unit 50 controls the storage of various data in the storage 30 and the reading of various data from the storage 30.
  • the RW control unit 50 stores the specimen image 15 from the imaging device 19 in the storage 30. Note that since multiple specimen images 15 are obtained from one subject S, multiple specimen images 15 derived from one subject S are stored in the storage 30.
  • the RW control unit 50 acquires the specimen image 15 by reading it from the storage 30 according to the specification of the drug discovery staff DS via the input device 13.
  • the specimen image 15 acquired by the RW control unit 50 is, for example, a target for determining whether or not morphological abnormalities have occurred in the liver specimen LVS due to the administration of the candidate substance 11.
  • the RW control unit 50 outputs the specimen image 15 to the division unit 52.
  • the division unit 52 subdivides the specimen image 15 and divides it into multiple patch images 65.
  • the division unit 52 outputs the divided multiple patch images 65 to the estimation unit 51.
  • the RW control unit 50 reads the estimation model 41 from the storage 30 and outputs the read estimation model 41 to the estimation unit 51.
  • the estimation model 41 has a feature extractor 411 and an evaluation value estimator 412.
  • the estimation unit 51 uses the feature extractor 411 to extract a feature 60 from a patch image 65.
  • the estimation unit 51 uses the evaluation value estimator 412 to estimate an evaluation value 66 based on the feature 60, and outputs the estimated evaluation value 66 to the evaluation result output unit 53.
  • patch image 65 is an example of a "tissue image with an unknown evaluation value" according to the technology of the present disclosure.
  • Processor 46 which has RW control unit 50 and estimation unit 51, executes an acquisition process for acquiring patch image 65 with an unknown evaluation value as an evaluation target, and an estimation process for estimating evaluation value 66 of acquired patch image 65, which is an evaluation target, using trained estimation model 41 that has undergone learning, which will be described later.
  • the evaluation result output unit 53 generates and outputs, for example, a heat map HMP of the liver specimen LVS based on the evaluation values 66 of each of the multiple patch images 65.
  • the feature extractor 411 is a well-known convolutional neural network having a convolutional layer 411A and a pooling layer 411B, and extracts feature values 60 representing the morphological features of the patch image 65. That is, the convolutional layer 411A uses a filter having a matrix of coefficients of a square size, such as 3 ⁇ 3, to output the sum of products of the pixel values of the patch image 65 and the coefficients of the filter as feature values. The convolutional layer 411A then applies the filter to each region of the patch image 65 while shifting it, thereby outputting a feature map 60A as the feature value 60.
  • the feature map 60A is two-dimensional data that retains the spatial features of the patch image 65, and represents the shape and texture features of the liver specimen LVS depicted in the patch image 65.
  • the feature extractor 411 a number of different types of filters are prepared in order to extract various morphological features of the patch image 65, and the feature maps 60A are output in the same number as the number of filters.
  • the feature map 60A is output in a number corresponding to the number of filters.
  • the pooling layer 411B gradually reduces the size of the patch image 65 by maximum value pooling or the like according to the pixel values of the patch image 65.
  • the convolutional layer 411A outputs the feature map 60A by applying a filter to the patch image 65 whose size is gradually reduced. In other words, the convolutional layer 411A outputs the feature map 60A for each of the patch images 65 of different sizes. This allows various features of the patch image 65 to be extracted, from minute features to global features. In this way, the feature maps 60A are output in a number corresponding to the type of filter and the number of patch images 65 of different sizes.
  • Such a feature extractor 411 is, for example, the encoder section of an autoencoder, which is one of the machine learning models used for images.
  • an autoencoder has an encoder section that performs convolution processing and pooling processing on an input image to extract features of the input image, and a decoder section that restores the input image from the extracted features.
  • the encoder section and the decoder section are trained so that the input image is accurately restored in the decoder section.
  • Accurate restoration of the input image in the decoder section means that appropriate features of the input image have been extracted in the encoder section. Therefore, in an autoencoder that is capable of appropriately restoring an input image, it is possible to use only the encoder section as the feature extractor 411.
  • the evaluation value estimator 412 has, for example, a flattening layer 412A and a fully connected layer 412B.
  • the flattening layer 412A converts the feature map 60A into an N-dimensional vector.
  • N-dimension is, for example, an order of dimensionality such as 512 dimensions and 1024 dimensions.
  • the flattening layer 412A performs a first flattening process (shown as "flattening process 1" in FIG. 6).
  • the feature map 60A has a size of W (width) x H (height) x C (number of channels).
  • the first flattening process converts into a vector with a number of dimensions of W x H x C. In other words, the first flattening process converts into a vector with the number of data elements (W x H x C) of the feature map 60A.
  • the flattening layer 412A may convert the feature map 60A into an N-dimensional vector by a second flattening process (shown as "flattening process 2" in FIG. 6).
  • the second flattening process is, for example, global average pooling, in which case the feature map 60A is converted into a vector with 1x1xC dimensions. That is, in global average pooling, the feature map 60A with a size of WxHxC is pooled to a size of 1x1xC.
  • the flattening layer 412A outputs the N-dimensional vector flattened in this way by the first flattening process or the second flattening process as the feature vector 60B.
  • the fully connected layer 412B is composed of a neural network that combines multiple perceptrons, each of which has multiple input nodes to which multiple input values are input, and an output node that outputs a single output value that is the sum of the products of the input values input to each input node and the coefficients, and is a layer that connects all the input values input to all the input nodes of the multiple perceptrons.
  • the fully connected layer 412B receives the feature vector 60B as input, and outputs the evaluation value 66, which is a single scalar value.
  • the evaluation value estimator 412 outputs the estimated evaluation value 66 as a standardized value in the range of 1 to 100, for example.
  • the feature extractor 411 extracts features according to the morphological features of the patch image 65, so that for patch images 65 having similar morphological features, similar features are extracted. That is, the evaluation value estimator 412 outputs evaluation values 66 of approximately the same magnitude for patch images 65 having similar morphological features.
  • the evaluation value estimator 412 is trained to output a larger evaluation value 66 as the more morphological features corresponding to findings with a higher degree of abnormality of morphological abnormality are found in each patch image 65. That is, the evaluation values 66 for morphological abnormalities corresponding to the findings of "necrosis,” “cellular infiltration,” and “eosinophilic change” are larger in this order.
  • the processor 36 also functions as a learning unit 56 that trains the estimation model 41.
  • the learning unit 56 includes an estimation unit 51 and a model update unit 57.
  • the learning unit 56 trains the estimation model 41 using learning data stored in a learning data DB (Data Base) 58, and updates the estimation model 41 by correcting various parameters of the estimation model 41 using the model update unit 57.
  • the image processing device 10 having the learning unit 56 is an example of a learning device related to the technology disclosed herein.
  • the learning data DB 58 stores tissue image sets TDS.
  • the tissue image sets TDS are created for each type of test, such as a toxicity test, that has been performed.
  • FIG. 8 illustrates tissue image set TDS1 including patch image 65L (see FIG. 9) for test 1, tissue image set TDS2 including patch image 65L for test 2, and tissue image set TDS3 including patch image 65L for test 3.
  • the multiple tissue image sets TDS1 to TDS3 belong to one of multiple test groups with different types of tests, such as toxicity tests.
  • subdivision codes "1" to "3" are added after the code "TDS", but when no distinction is necessary, the code "TDS" is simply added without using a subdivision code.
  • Patch image 65L is a patch image of the learning data, so "L” is added to patch image 65 as a subdivision code.
  • patch image 65L is an example of a "learning tissue image.”
  • the tissue image set TDS includes multiple patch images 65L for learning.
  • the patch images 65L are tissue images obtained by subdividing the specimen images 15 of the liver specimens LVS used in a test to evaluate at least one of the efficacy and toxicity of a substance administered to the subject S.
  • the tissue image set TDS is a collection of patch images 65L for which a test has already been performed.
  • the specimen images 15 include a specimen image 15 (an example of a first specimen image related to the technology disclosed herein) of the liver specimen LVS of the administration group (subject S to which the candidate substance 11 has been administered) and a specimen image 15 (an example of a second specimen image related to the technology disclosed herein) of the liver specimen LVS of the control group (subject S to which the candidate substance 11 has not been administered).
  • the multiple tissue image sets TDS1 to TDS3 include both patch images 65L (an example of a first learning tissue image according to the technology disclosed herein) divided from a specimen image 15 derived from the treatment group, and patch images 65L (an example of a second learning tissue image according to the technology disclosed herein) divided from a specimen image 15 derived from a control group.
  • each of the multiple tissue image sets TDS1 to TDS3 is an image set that contains a mixture of multiple patch images 65L (an example of a learning tissue image) that are divided from two or more specimen images 15 that each depict two or more different liver specimens LVS (an example of a tissue specimen) derived from one or more subjects S. Furthermore, each of the multiple tissue image sets TDS1 to TDS3 is created for each type of test, and is therefore composed only of multiple patch images 65L derived from one or more subjects S on which a single test was performed.
  • a label LB is assigned to the patch image 65L.
  • the label LB is a relative order between the patch images 65L in each tissue image set TDS, and indicates a relative order based on morphological features.
  • the label LB is an example of "teaching information" according to the technology of the present disclosure.
  • the estimation model 41 outputs the degree of abnormality of the morphological abnormality of the patch image 65 as an evaluation value 66, so the label LB indicating the relative order of the patch image 65L in the tissue image set TDS indicates an order corresponding to the degree of abnormality.
  • the relative order is information indicating which patch image 65L has a high degree of abnormality in the tissue image set TDS, and is not an index that can be compared between patch images 65L included in another tissue image set TDS.
  • the evaluation value 66 is a scalar value output based on morphological features extracted from each patch image 65L, as shown in Figures 5 to 7, and has a similar magnitude for similar morphological features. Therefore, the evaluation value 66 is an index that allows comparison between patch images 65L included in different tissue image sets TDS. In this respect, the evaluation value 66 differs from the label LB, which indicates a relative ranking.
  • the patch image 65L in which "cellular infiltration” is observed as a finding is given the label LB "2".
  • the other patch images 65L i.e., the patch image 65L in which "eosinophilic change” is observed as a finding and the normal patch image 65L in which no abnormal findings are observed, are given the label LB "1".
  • the ranking of the label LB is prioritized in the case of a larger number. In other words, "2" is ranked higher than "1".
  • the morphological abnormality with the highest degree of abnormality is "cellular infiltration”, and whether or not "cellular infiltration” is observed is the main abnormal finding that the drug discovery staff DS is most interested in. Therefore, in the tissue image set TDS1 of Test 1, the patch image 65L in which "cellular infiltration” is observed is given the highest ranking "2" in the tissue image set TDS1. Furthermore, in Test 1, “acidophilic changes” are considered relatively unimportant, and patch images 65L in which "acidophilic changes” are observed as findings are given the label LB of "1," the same rank as normal patch images 65L.
  • the label LB for that patch image 65L will be assigned the same rank as "eosinophilic change.”
  • the morphological abnormality with the highest degree of abnormality is "necrosis", and whether or not "necrosis” is observed is the main abnormality that the drug discovery staff DS is most interested in. Therefore, in the tissue image set TDS2 of Test 2, the patch image 65L in which "necrosis” is observed is given the highest rank “2" in the tissue image set TDS2. In addition, “cellular infiltration” is relatively unimportant in Test 2, and the patch image 65L in which "cellular infiltration” is observed as a finding is given the label LB of "1", which is the same rank as the normal patch image 65L.
  • the label LB of the patch image 65L in the tissue image set TDS2 in which "eosinophilic change" is observed as a finding is also given the label LB of "1".
  • the label LB of the patch image 65L in which, in addition to “cellular infiltration”, a finding less abnormal than "necrosis”, such as “eosinophilic change” is also given the label LB of "1".
  • the morphological abnormality with the highest degree of abnormality was "eosinophilic change," and whether or not "eosinophilic change” was observed was the main abnormal finding of greatest interest to the drug discovery staff DS. Therefore, in the tissue image set TDS3 for Test 3, the label LB of the patch image 65L in which "eosinophilic change" was observed as a finding is given the number "2,” and the label LB of the other patch images 65L, i.e., normal patch images 65L in which no abnormal findings were observed, is given the number "1.”
  • the degree of abnormality of the morphological abnormality of the patch image 65 is, in order of increasing degree, "necrosis,” “cellular infiltration,” and “eosinophilic change.”
  • the label LB is a relative ranking within the tissue image set TDS, the label LB is assigned in a manner that conforms to the judgment criteria of the drug discovery staff DS. In other words, the label LB is not assigned regardless of the morphological characteristics of the patch image 65L, but is a relative ranking based on the morphological characteristics. In this example, in both tissue image sets TDS, the ranking of the label LB of "necrosis" is superior to other findings.
  • the ranking is superior to "cellular infiltration,” but in another tissue image set TDS, a reversal of the ranking does not basically occur, such as a ranking of "necrosis” being superior to "cellular infiltration,” but being inferior to “cellular infiltration.”
  • a reversal of the ranking does not basically occur, such as a ranking of "necrosis” being superior to "cellular infiltration,” but being inferior to “cellular infiltration.”
  • the estimation model 41 can learn the order of the majority, that is, the order of abnormal findings that meets the judgment criteria of the drug discovery staff DS.
  • each of the multiple tissue image sets TDS1 to TDS3 contains at least one patch image 65L with a different relative order. Also, in this example, within one tissue image set TDS, there are two labels LB, "2" and "1", and there are two levels of relative order. Furthermore, the two levels of order are distinguished depending on whether the patch image 65L contains the main abnormal finding for each test.
  • the learning method by the learning unit 56 using the multiple tissue image sets TDS to which such labels LB have been assigned will be described using Figures 10 to 12.
  • the learning unit 56 performs ranking learning on the estimation model 41 based on the respective labels LB of the multiple tissue image sets TDS.
  • ranking learning is a type of machine learning, and is a method suitable for ranking multiple items, such as determining in what order search results should be displayed.
  • the estimation model 41 in this example aims to estimate an evaluation value 66 that indicates the degree of morphological abnormality for each of the multiple patch images 65, and the degree of abnormality can be an index for ranking the patch images 65. Therefore, ranking learning can be applied to the estimation model 41.
  • the learning unit 56 performs ranking learning on the estimation model 41, for example, using pairwise loss.
  • Ranking learning using pairwise loss is a learning method that enables overall ranking of multiple items based on information about the ranking, i.e., which of two items selected from multiple items is more highly rated.
  • Pairwise loss is one of the loss functions used in ranking learning, and is used to evaluate the relative importance between two items. Pairwise loss incurs a large loss for results that do not match the information about the ranking.
  • the model update unit 57 performs a loss calculation to calculate a pairwise loss based on two evaluation values 66 estimated by the estimation model 41.
  • a label LB indicating the relative order within the tissue image set TDS is assigned in advance to the patch image 65L.
  • the model update unit 57 increases the pairwise loss, and if it matches, decreases the pairwise loss. If the pairwise loss is large, the model update unit 57 updates the estimation model 41 by adjusting the parameters of the estimation model 41 so that the pairwise loss is small. The amount of parameter adjustment changes depending on the magnitude of the pairwise loss.
  • the estimation unit 51 estimates the evaluation value 66 of the patch image 65L of "eosinophilic change" to which the label LB of "1" is assigned in the tissue image set TDS1 as "40".
  • the estimation unit 51 estimates the evaluation value 66 of the patch image 65L of "cellular infiltration” to which the label LB of "2" is assigned as "20".
  • the order of the magnitudes of the two evaluation values 66 does not match the order of the labels LB, so the pairwise loss is large. In this case, the amount of adjustment of the parameters of the estimation model 41 is large.
  • the estimation unit 51 estimates the evaluation value 66 of the patch image 65L of "eosinophilic change" to which the label LB of "1" is assigned in the tissue image set TDS1 as "30".
  • the estimation unit 51 estimates the evaluation value 66 of the patch image 65L of "cellular infiltration” to which the label LB of "2" is assigned as "70".
  • the order of the magnitudes of the two evaluation values 66 matches the order of the labels LB, so the pairwise loss is small.
  • the amount of adjustment of the parameters of the estimation model 41 is small.
  • the learning unit 56 repeatedly performs a learning process for all combinations of two patch images 65L selected from the multiple patch images 65L included in the tissue image set TDS1, for example, so as to reduce the pairwise loss.
  • the estimation model 41 is trained to output an evaluation value 66 that matches the label LB for each patch image 65L in the tissue image set TDS1.
  • the learning unit 56 When learning using the learning data of tissue image set TDS1 of test 1 is completed, the learning unit 56 performs learning using the learning data of tissue image sets TDS2 and TDS3 other than test 1, for example, in the order of test 2 and test 3.
  • the learning unit 56 estimates two evaluation values 66 for two patch images 65L in the tissue image set TDS2 by the estimation unit 51. Then, the model update unit 57 performs loss calculation to calculate the pairwise loss of the two evaluation values 66. The learning unit 56 adjusts the parameters of the estimation model 41 according to the magnitude of the calculated pairwise loss. In the example shown in FIG.
  • the evaluation value 66 of the patch image 65L to which the label LB of "2" is assigned is "90”
  • the evaluation value 66 of the patch image 65L to which the label LB of "1” is assigned is "70”
  • the estimation model 41 is trained to match the evaluation value 66 of the patch image 65L to the label LB of each patch image 65L in the multiple tissue image sets TDS.
  • learning is performed for each tissue image set TDS based on the label LB, but as described above, the order of the labels LB in each tissue image set TDS is assigned in a form that matches the judgment criteria of the drug discovery staff DS (the order of abnormality levels such as "necrosis,” “cellular infiltration,” and “eosinophilic change"). Therefore, by performing learning to match the label LB for each tissue image set TDS, the evaluation value 66 estimated by the estimation model 41 also becomes a value that matches the order of abnormality levels in the judgment criteria of the drug discovery staff DS.
  • the evaluation value 66 estimated by the estimation model 41 is a value according to the morphological characteristics of the patch image 65L, and when multiple patch images 65L show similar morphological characteristics, the evaluation values 66 will be of approximately the same magnitude. Based on this estimation model 41, learning is performed so that the order of the magnitudes of the evaluation values 66 estimated by the estimation model 41 matches the relative ranking according to the labels LB.
  • the estimation model 41 also learns the correspondence between the feature amount of each of the patch images 65L included in each of the tissue image sets TDS1 to TD3 and the evaluation value 66 corresponding to the degree of abnormality. For example, through learning the tissue image set TDS1 of Test 1, the estimation model 41 learns that the feature amount corresponding to the morphological abnormality of "cellular infiltration” has a higher degree of abnormality and a larger evaluation value 66 than the feature amounts corresponding to the morphological abnormality of "eosinophilic change" and "normal".
  • the estimation model 41 learns that the feature amount corresponding to the morphological abnormality of "necrosis” has a higher degree of abnormality and a larger evaluation value 66 than the feature amounts corresponding to the morphological abnormality of "cellular infiltration” and "normal".
  • the estimation model 41 learns that the feature value corresponding to the morphological abnormality of "eosinophilic change” is more abnormal and has a larger evaluation value 66 than the feature value corresponding to "normal.”
  • the estimation model 41 direct comparisons are made between the feature amounts in each combination of "cellular infiltration” and “eosinophilic change and normal,” “necrosis” and “cellular infiltration and normal,” and “eosinophilic change” and “normal,” and the estimation model 41 learns the superiority/inferiority relationship between the feature amounts in each combination.
  • the estimation model 41 can learn the superiority/inferiority relationship between the feature amounts in each combination. In other words, as shown in the lower part of FIG.
  • the estimation model 41 learns so that the evaluation value 66 for the feature amount of "necrosis” is the largest, followed by "cellular infiltration,” “eosinophilic change,” and "normal,” in that order. Therefore, the evaluation value 66 becomes a value that can be compared between multiple patch images 65L that are associated with different tissue image sets TDS.
  • the label LB is assigned so as to conform to the judgment criteria of the drug discovery staff DS, and therefore the magnitude of the evaluation value 66 is determined in order of conformity with the judgment criteria of the drug discovery staff DS.
  • the processor 36 of the image processing device 10 executes a learning process according to the processing procedure shown in the flowchart in Fig. 14.
  • the processor 36 acquires two patch images 65L from one tissue image set TDS.
  • the processor 36 estimates the evaluation value 66 of each of the two acquired patch images 65L.
  • the processor 36 performs a pairwise loss calculation based on the evaluation value 66 of the two patch images 65L and the label LB.
  • the processor 36 updates the estimation model 41 so that the evaluation value 66 matches the label LB. More specifically, the processor 36 adjusts the parameters of the estimation model 41 according to the magnitude of the pairwise loss.
  • step ST1400 if there is an unlearned combination of patch images 65L in the tissue image set TDS (YES in step ST1400), the processor 36 returns to step ST1000. Then, for a new combination of two patch images 65L, the processes from step ST1000 onwards are repeated. In step ST1400, if there is no unlearned patch image 65L in the tissue image set TDS (NO in step ST1400), the processor 36 proceeds to step ST1500.
  • step ST1500 If there is an unlearned tissue image set TDS in step ST1500 (YES in step ST1500), the processor 36 returns to step ST1000 and repeats the processes from step ST1000 onwards for the unlearned tissue image set TDS. The processor 36 repeats the processes from step ST1000 to step ST1400 until there are no unlearned tissue image sets TDS.
  • the learning of the estimation model 41 is repeated until there are no unlearned patch images 65L and tissue image sets TDS remaining.
  • the learning termination condition may be another condition, such as until the pairwise loss falls below a preset threshold.
  • the processor 36 performs evaluation processing of the specimen image 15 according to the processing procedure shown in the flowchart of FIG. 15.
  • the drug discovery staff DS uses the image processing device 10 to evaluate the toxicity of the specimen image 15 of the subject S to which the candidate substance 11 has been administered.
  • the processor 36 acquires one specimen image 15 selected by the drug discovery staff DS.
  • the processor 36 subdivides the specimen image 15 into multiple patch images 65 of a preset size.
  • the processor 36 estimates an evaluation value 66 for each divided patch image 65.
  • step ST2300 if there is an unevaluated patch image 65 among the divided patch images 65 (YES in step ST2300), the processor 36 returns to step ST2000 and repeats the processing from step ST2000 onwards. If there are no unevaluated patch images 65 (NO in step ST2300), the processor 36 proceeds to step ST2400.
  • step ST2400 the processor 36 outputs the evaluation result of the specimen image 15. Specifically, the processor 36 generates a heat map HMP based on the evaluation value 66 for the liver specimen LVS of the specimen image 15 from which the patch image 65 is divided, and outputs the heat map HMP as the evaluation result. Since the evaluation value 66 is an index of the degree of morphological abnormality, the heat map HMP displays the degree of abnormality for each region of the liver specimen LVS in an identifiable manner, as shown in FIG. 2.
  • step ST2500 If there is another specimen image 15 to be evaluated in step ST2500, the processor 36 returns to step ST2000 and repeats the processes from step ST2000 onwards. If there is not another specimen image 15 to be evaluated, the processor 36 ends the operation phase.
  • FIG. 16 is an example of a display screen 71 that displays the evaluation results.
  • the display screen 71 displays a heat map HMP and a legend that indicates the correspondence between the shade of color and the level of abnormality.
  • the heat map HMP may be displayed in a manner that allows it to be superimposed on the liver specimen LVS so that the correspondence between the liver specimen LVS of the specimen image 15 and each region of the heat map HMP can be seen at a glance. It may be possible to switch between superimposed display and separate display of the liver specimen LVS and the heat map HMP.
  • the example in FIG. 17 shows a separate display of the liver specimen LVS and the heat map HMP while maintaining the correspondence between the regions. Separate display makes it easier to confirm the morphological characteristics of the liver specimen LVS.
  • the evaluated patch images 65 may be displayed in order of the degree of abnormality corresponding to the evaluation value 66.
  • the names of each finding “necrosis,” “cellular infiltration,” and “eosinophilic change,” are written on the display screen 17 within the frame shown by the dashed rectangle, but this is a convenient description to make the explanation easier to understand, and the names of the findings are not displayed on the display screen 71.
  • the names of findings may be displayed on the display screen 71.
  • a finding name estimation model that estimates the finding names is required.
  • the number of patch images 65 displayed may be all evaluated patch images 65, or may be limited to a preset number, such as the top 100.
  • the heat map HMP is not displayed in this manner, it is preferable to display the specimen image 15 alongside the patch images 65 and display the correspondence between the patch images 65 and the areas of the liver specimen LVS, as shown in FIG. 18.
  • the correspondence is displayed by an arrow connecting the specified patch image 65 and the corresponding area in the liver specimen LVS. Even in the manner shown in FIG. 18, it is possible to display the magnitude of the evaluation value 66 of the patch image 65 being evaluated in a manner that allows comparison with other patch images 65 being evaluated.
  • the image processing device 10 is an image processing device that includes a processor 36 and estimates an evaluation value 66 according to the morphological features of patch images 65 (an example of a tissue image) obtained by dividing a specimen image 15 in which a tissue specimen of a subject 2 is captured, using an estimation model 41 (an example of a machine learning model).
  • the estimation model 41 is trained using a plurality of tissue image sets TDS each including a plurality of patch images 65L (an example of a tissue image for training) used for training.
  • the plurality of tissue image sets TDS are assigned a relative order based on the morphological features of the patch images 65L, that is, a relative order between the patch images 65L within each of the tissue image sets TDS, as teacher information.
  • the training is a training in which the estimation model 41 estimates an evaluation value 66 according to the morphological features of the patch images 65L, and the estimated evaluation value 66 is adapted to the relative order assigned in the tissue image set TDS to which the patch images 65L belong.
  • the processor 36 executes an acquisition process to acquire a patch image 65 with an unknown evaluation value 66 as an evaluation target, and an estimation process to estimate the evaluation value 66 of the acquired evaluation target using a trained estimation model 41 that has undergone learning.
  • a conventional method for creating training data involves ranking the abnormality levels of morphological abnormalities using a unified scale and adding annotations corresponding to the ranked abnormality levels to tissue images.
  • morphological abnormalities there are many types of morphological abnormalities, and specialized knowledge is required to classify and identify such diverse morphological abnormalities.
  • the criteria for judging the abnormality level vary from person to person. Therefore, it is very difficult to classify and identify the abnormality levels of all morphological abnormalities using a unified scale in terms of accuracy and uniformity of judgment. This is particularly difficult when an operator with little knowledge of morphological abnormalities performs annotation.
  • the conventional method for creating training data has the problem that the workload of annotation work is large both qualitatively and quantitatively.
  • the report includes only the main abnormal findings considered by the pathologist for each test, along with the tissue image to be evaluated.
  • the liver specimen LVS described in the report 76 may have abnormal findings such as "cellular infiltration” in addition to "necrosis".
  • the annotation worker assigns a label of abnormality corresponding to "necrosis" to patch images 65L obtained by subdividing the specimen image 15 in which the liver specimen LVS is shown, for patch images 65L in which the main abnormal finding "necrosis” is observed.
  • patch images 65L obtained by subdividing the specimen image 15 in which the liver specimen LVS is shown, for patch images 65L in which the main abnormal finding "necrosis” is observed.
  • no label is assigned to patch images 65L in which "cellular infiltration” is observed.
  • a label LB of "2" indicating a relatively superior ranking is assigned to patch images 65L in which the main abnormal finding of "necrosis” is found.
  • a label LB of "1" indicating a relatively inferior ranking is assigned to other patch images 65L.
  • estimation model 41 can estimate evaluation value 66 for patch image 65, which is an example of a tissue image to be evaluated, that is comparable between patch images 65L, which are examples of tissue images in tissue image set TDS.
  • the technology disclosed herein achieves the effect of reducing the workload when creating training data by performing weakly supervised learning that trains a machine learning model using training data having an incomplete label LB compared to conventional methods of creating training data.
  • each of the multiple tissue image sets TDS includes at least one patch image 65L (an example of a tissue image) with a different relative order.
  • each tissue image set TDS includes at least one patch image 65L with a label LB of "2" and one with a label LB of "1". Therefore, learning efficiency is improved compared to a case where a tissue image set TDS that includes only patch images 65L (an example of a tissue image) with the same relative order is used for learning.
  • the two-stage hierarchy is distinguished by whether or not the patch image 65L (an example of a tissue image) contains the main abnormal findings for each test described above. Therefore, for example, in annotation work, it is easy to assign a label LB (an example of teaching information) based on a report 76 that contains only the main abnormal findings as shown in FIG. 19.
  • a label LB an example of teaching information
  • Each of the multiple tissue image sets TDS contains a mixture of multiple patch images 65L (an example of a tissue image) divided from two or more specimen images 15, each of which depicts two or more different liver specimens LVS (an example of a tissue specimen) derived from one or more subjects S for which a single test was performed. Since morphological abnormalities are estimated for multiple tissue specimens, generalization performance for estimating morphological abnormalities in unknown tissue specimens may be improved.
  • the specimen image 15 is an image of a liver specimen LVS (an example of a tissue specimen) that has been used in a test to evaluate at least one of the efficacy and toxicity of a candidate substance 11 (an example of a substance) administered to a subject S. This improves the ability to estimate morphological abnormalities in the evaluation of tests in drug discovery.
  • the specimen image 15 includes a specimen image 15 (an example of a first specimen image) from the administration group, which is a picture of a liver specimen LVS (an example of a tissue specimen) of a subject S to which the candidate substance 11 (an example of a substance) has been administered, and a specimen image 15 (an example of a second specimen image) from the control group, which is a picture of a liver specimen LVS (an example of a tissue specimen) of a subject S to which the candidate substance 11 has not been administered, and each of the multiple tissue image sets TDS includes a patch image 65L (an example of a tissue image) divided from the specimen image 15 from the administration group, and a patch image 65L (an example of a tissue image) divided from the specimen image 15 from the control group.
  • the tissue image set includes tissue images from the administration group and tissue images from the control group, it is possible to efficiently learn about morphological abnormalities caused by the medicinal effects or toxicity of a substance.
  • each of the multiple tissue image sets TDS is an image set that belongs to one of multiple test groups with different types of tests. This makes it possible to evaluate various morphological abnormalities observed in multiple tests.
  • the relative ranking based on the morphological characteristics is the degree of morphological abnormality, which is an example of a morphological characteristic.
  • the degree of morphological abnormality is an indicator that is generally noted in tests such as toxicity tests. Therefore, it is highly useful to estimate an evaluation value 66 that represents such a degree of abnormality.
  • the relative ranking based on morphological characteristics may also be, for example, the severity of a lesion having morphological characteristics, or the progression of the lesion. Since the severity and progression of a lesion are also indicators that are of interest in the test, it is highly useful to estimate an evaluation value 66 that represents the severity or progression.
  • the processor 36 outputs an evaluation result based on an evaluation value 66 estimated for the patch image 65 (an example of a tissue image to be evaluated). Because it has such an output function, it is not necessary to prepare an output device separate from the image processing device 10. Note that output modes include display on a display and output to a file, as well as distribution to a client terminal if the image processing device 10 is a server.
  • the processor 36 outputs, as an evaluation result, the magnitude of the evaluation value 66 for the patch image 65 (an example of a tissue image to be evaluated) in a form that allows comparison with other patch images 65.
  • the output is in the form of a heat map HMP, or as shown in FIG. 18, the patch images 65 are output in the order of the evaluation value 66 that indicates the degree of abnormality. This makes it easy to identify patch images 65 with different evaluation values 66.
  • the processor 36 when the patch image 65 (an example of an evaluation target) is a plurality of images divided from one specimen image 15, the processor 36 outputs, as an evaluation result, a heat map HMP as an example, in a manner in which the magnitude of the evaluation value 66 for each region in the specimen image 15 corresponding to the plurality of patch images 65 can be identified.
  • a heat map HMP that shows the difference in evaluation value 66 with shades of color has been shown as a manner in which the magnitude of the evaluation value 66 can be identified, a mode in which, instead of shades of color, for example, a numerical value of the evaluation value 66 is assigned to each region and displayed may also be used.
  • the processor 36 generates a heat map HMP in which the magnitude of the evaluation value 66 for each region can be identified by the shade of color and which can be superimposed on the specimen image 15.
  • the heat map HMP can be displayed superimposed on the liver specimen LVS of the specimen image 15. This makes it easy to recognize regions with different evaluation values 66 in the liver specimen LVS of the specimen image 15, etc. Note that instead of superimposing the heat map HMP on the specimen image 15, it may be displayed in parallel. Even when displayed in parallel, it is possible to identify the magnitude of the evaluation value 66 for each region in the liver specimen LVS of the specimen image 15.
  • the organ is not limited to the liver, etc., as given by way of example. It may be the stomach, lungs, small intestine, or large intestine, etc.
  • the subject S is not limited to a rat. It may be a mouse, guinea pig, gizzard shad, hamster, ferret, rabbit, dog, cat, monkey, etc.
  • the image processing device 10 may be a personal computer installed in a pharmaceutical development facility as shown in FIG. 1, or it may be a server computer installed in a data center independent of the pharmaceutical development facility.
  • the specimen images 15 are sent from personal computers installed at each pharmaceutical development facility to the server computer via a network such as the Internet.
  • the server computer distributes various screens such as the display screen 71 to the personal computer in the form of screen data for web distribution created using a markup language such as XML (Extensible Markup Language).
  • the personal computer reproduces the screen to be displayed on the web browser based on the screen data, and displays this on the display.
  • JSON Javascript (registered trademark) Object Notation
  • JSON Javascript (registered trademark) Object Notation
  • the image processing device 10 relating to the technology disclosed herein can be widely used across all stages of pharmaceutical development, from the earliest stage of drug discovery target setting to the final stage of clinical trials.
  • the hardware configuration of the computer constituting the image processing device 10 according to the technology disclosed herein can be modified in various ways.
  • the image processing device 10 can be composed of multiple computers separated as hardware in order to improve processing power and reliability.
  • the functions of the processor 36 can be distributed to two computers.
  • the image processing device 10 is composed of two computers.
  • the hardware configuration of the computer of the image processing device 10 can be changed as appropriate according to the required performance such as processing power, safety, and reliability.
  • application programs such as the operating program 40 can of course be duplicated or stored in a distributed manner across multiple storage devices in order to ensure safety and reliability.
  • the various processors shown below can be used as the hardware structure of the processing unit that executes various processes, such as the processor 36.
  • the various processors include the CPU 32, which is a general-purpose processor that executes software (operation program 40) and functions as various processing units, as well as programmable logic devices (PLDs), which are processors whose circuit configuration can be changed after manufacture, such as FPGAs (Field Programmable Gate Arrays), and dedicated electrical circuits, such as ASICs (Application Specific Integrated Circuits), which are processors with a circuit configuration designed specifically to execute specific processes.
  • the CPU 32 which is a general-purpose processor that executes software (operation program 40) and functions as various processing units, as well as programmable logic devices (PLDs), which are processors whose circuit configuration can be changed after manufacture, such as FPGAs (Field Programmable Gate Arrays), and dedicated electrical circuits, such as ASICs (Application Specific Integrated Circuits), which are processors with a circuit configuration designed specifically to execute specific processes.
  • a single processing unit may be configured with one of these various processors, or may be configured with a combination of two or more processors of the same or different types (e.g., a combination of multiple FPGAs and/or a combination of a CPU and an FPGA). Also, multiple processing units may be configured with a single processor.
  • Examples of configuring multiple processing units with a single processor include, first, a form in which one processor is configured with a combination of one or more CPUs and software, as typified by client and server computers, and this processor functions as multiple processing units. Second, a form in which a processor is used to realize the functions of the entire system, including multiple processing units, with a single IC (Integrated Circuit) chip, as typified by system-on-chip (SoC). In this way, the various processing units are configured as a hardware structure using one or more of the various processors listed above.
  • SoC system-on-chip
  • the hardware structure of these various processors can be an electrical circuit that combines circuit elements such as semiconductor elements.
  • An image processing device including a processor, the image processing device using a machine learning model to estimate an evaluation value according to a morphological feature of a tissue image obtained by dividing a specimen image in which a tissue specimen of a subject is captured, the machine learning model is trained using a plurality of tissue image sets, each of which includes a plurality of training tissue images that are tissue images used for training, and the plurality of tissue image sets are assigned with teacher information in the form of a relative order based on morphological features of the training tissue images, the relative order among the training tissue images within each of the tissue image sets;
  • the learning is a learning process in which a machine learning model is made to estimate an evaluation value according to the morphological features of the training tissue image, and the estimated evaluation value is adapted to a relative ranking assigned to the tissue image set to which the training tissue image belongs;
  • the processor an acquisition process of acquiring a tissue image having an unknown evaluation value as an evaluation target; An estimation process is performed to estimate an evaluation value of the obtained evaluation target using a trained machine learning
  • Each of the plurality of tissue image sets includes at least one tissue image having a different relative order; 2.
  • the relative ranking is two-level: 3.
  • At least one of the plurality of tissue image sets is an image set including a mixture of a plurality of learning tissue images divided from two or more specimen images each of which depicts two or more different tissue specimens derived from one or more subjects.
  • the image processing device according to claim 1 [Additional Note 5]
  • the specimen image is an image of a tissue specimen used in a test to evaluate at least one of the efficacy and toxicity of a substance administered to a subject. 5.
  • the specimen images include a first specimen image of a tissue specimen of a subject to which a substance has been administered, and a second specimen image of a tissue specimen of a subject to which a substance has not been administered;
  • Each of the plurality of tissue image sets includes, as learning tissue images, a first learning tissue image divided from a first specimen image and a second learning tissue image divided from a second specimen image. 6.
  • Each of the plurality of tissue image sets is composed of only a plurality of training tissue images derived from one subject on which one test has been performed. 7. The image processing device according to claim 6.
  • the two-stage hierarchy is distinguished by whether the training tissue images contain major abnormal findings for each test that evaluate at least one of the efficacy and toxicity of the substance administered to the subject; 8.
  • the relative ranking based on the morphological features is given based on any of the following: the degree of abnormality of the morphological features, the severity of the lesions having the morphological features, and the progression of the lesions.
  • the image processing device according to claim 1 [Additional Item 10]
  • the processor outputs an evaluation result based on the estimated evaluation value of the evaluation target. 10.
  • the image processing device according to claim 1, [Additional Note 11]
  • the processor outputs, as the evaluation result, the magnitude of the evaluation value of the evaluation target in a manner that allows comparison with other evaluation targets.
  • the image processing device 11.
  • the image processing device 10.
  • [Additional Item 12] In the case where the evaluation target is a plurality of images divided from a single sample image, the processor outputs, as the evaluation result, the magnitude of the evaluation value for each region in the specimen image corresponding to the plurality of evaluation targets in a distinguishable manner; 12.
  • a method for operating an image processing device including a processor, the method using a machine learning model to estimate an evaluation value according to a morphological feature of a tissue image obtained by dividing a specimen image showing a tissue specimen of a subject, the method comprising: the machine learning model is trained using a plurality of tissue image sets, each of which includes a plurality of training tissue images that are tissue images used for training, and the plurality of tissue image sets are assigned with teacher information in the form of a relative order based on morphological features of the training tissue images, the relative order among the training tissue images within each of the tissue image sets;
  • the learning is a learning process in which a machine learning model is made to estimate an evaluation value according to the morphological features of the training tissue image, and the estimated evaluation value is adapted to a relative ranking assigned to the tissue image set to which the training tissue image belongs;
  • the processor an acquisition process of acquiring a tissue image having an unknown evaluation value as an evaluation target; An estimation process is performed to estimate an evaluation value of the obtained evaluation target using
  • An operating program for an image processing device that includes a processor and causes a computer to function as an image processing device that estimates an evaluation value according to a morphological feature of a tissue image obtained by dividing a specimen image in which a tissue specimen of a subject is captured, using a machine learning model, the machine learning model is trained using a plurality of tissue image sets, each of which includes a plurality of training tissue images that are tissue images used for training, and the plurality of tissue image sets are assigned with teacher information in the form of a relative order based on morphological features of the training tissue images, the relative order among the training tissue images within each of the tissue image sets;
  • the learning is a learning process in which a machine learning model is made to estimate an evaluation value according to the morphological features of the training tissue image, and the estimated evaluation value is adapted to a relative ranking assigned to the tissue image set to which the training tissue image belongs; an acquisition process of acquiring a tissue image having an unknown evaluation value as an evaluation target;
  • a learning device including a processor, which learns a machine learning model that estimates an evaluation value according to a morphological feature of a tissue image obtained by dividing a specimen image in which a tissue specimen of a subject is captured, the machine learning model is trained using a plurality of tissue image sets, each of which includes a plurality of training tissue images that are tissue images used for training, and the plurality of tissue image sets are assigned with teacher information in the form of a relative order based on morphological features of the training tissue images, the relative order among the training tissue images within each of the tissue image sets;
  • the learning is a learning process in which a machine learning model is made to estimate an evaluation value according to the morphological features of the training tissue image, and the estimated evaluation value is adapted to a relative ranking assigned to the tissue image set to which the training tissue image belongs. Learning device.
  • a and/or B is synonymous with “at least one of A and B.”
  • a and/or B means that it may be just A, or just B, or a combination of A and B.
  • the same concept as “A and/or B” is also applied when three or more things are linked together with “and/or.”

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

プロセッサを備えており、機械学習モデルを用いて、組織画像の形態的特徴に応じた評価値を推定する画像処理装置であって、機械学習モデルは、複数の学習用組織画像を含組織画像セットであって、学習用組織画像の形態的特徴に基づく相対的な序列が付与されており、学習は、学習用組織画像の形態的特徴に応じた評価値を機械学習モデルに推定させ、推定させた評価値を、相対的な序列に適合させる学習であり、プロセッサは、学習が行われた学習済みの機械学習モデルを用い、取得した評価対象の評価値を推定する。

Description

画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム、並びに学習装置
　本開示の技術は、画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム、並びに学習装置に関する。
　米国特許出願公開第２０２１／０３４２５７０号明細書には、オートエンコーダ等の機械学習モデルを用いて、動物の肝臓等の組織標本が写された標本画像を細分化した組織画像であるパッチ画像から特徴量を抽出し、抽出した特徴量に基づいて、パッチ画像に写る組織標本に形態異常（過形成、浸潤、鬱滞、炎症、腫瘍、癌化、増殖、出血、グリコーゲン減少等）が発生しているか否かを判定し、形態異常が発生していると判定されたパッチ画像を、特徴量に基づいて複数のクラスタのうちの１つにクラスタリングする技術が記載されている。
　毒性病理専門家（パソロジストなどと呼ばれる）を含む創薬作業にかかわる創薬スタッフは、専門的な知見に基づいて毒性の作用機序推定に寄与が大きい形態異常に高い関心を示す。この関心の度合いを異常度とすると、異常度は形態異常の種類およびその程度に応じて異なる。例えば、「壊死」、「細胞浸潤」、および「好酸性変化」といった３種類の形態異常を異常度で序列化すると、一般的にはこの順番になる。機械学習モデルを用いて、このような複数種類の形態異常を異常度順に出力することを考えた場合、学習方法の１つとしては、複数種類の形態異常の異常度をすべて統一的な尺度で序列化し、統一的な尺度で序列化した異常度のすべてを機械学習モデルに学習させる方法が考えられる。
　この方法では、学習データを作成する場合、組織画像を見ながら、統一的な尺度で形態異常の異常度の分類および識別を行って、組織画像に対して異常度に応じたアノテーションを付与するアノテーション作業が必要となる。しかし、こうしたアノテーション作業の作業負荷は非常に大きいという問題がある。
　１つは、質的な作業負荷が大きいという問題である。すなわち、形態異常の種類は多様であり、このような多様な形態異常の分類および識別には専門的な知見が必要である。また、人によって異常度の判断基準にもばらつきが生じる。そのため、すべての形態異常の異常度を統一的な尺度で分類および識別することは、判断の正確性および統一性の観点で非常に難しい。特に、形態異常の知見に乏しい作業者がアノテーションを行う場合は困難を極める。もう１つは、量的な作業負荷が大きいという問題である。学習データとして非常に多くの組織画像が必要となるため、アノテーション作業の対象の組織画像の数も多くなる。このように多数の組織画像について、形態異常を詳細に見ながら、正確に形態異常の分類および識別を行っていく作業は、作業量としても膨大となる。このように、従来の学習データの作成方法は、アノテーション作業の作業負荷が質的にも量的にも大きいという問題があった。
　本開示の技術に係る１つの実施形態は、組織画像の形態的特徴に応じた評価値を推定する機械学習モデルを用いる場合において、機械学習モデルの学習データを作成する際の作業負荷を、従来と比べて軽減することが可能な画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム、並びに学習方法を提供する。
　本開示の技術に係る画像処理装置は、プロセッサを備えており、機械学習モデルを用いて、被検体の組織標本が写された標本画像を細分化した組織画像の形態的特徴に応じた評価値を推定する画像処理装置であって、機械学習モデルは、それぞれが、学習に用いられる組織画像である複数の学習用組織画像を含む複数の組織画像セットにより学習が行われ、複数の組織画像セットには、学習用組織画像の形態的特徴に基づく相対的な序列であって、組織画像セットのそれぞれの内部における学習用組織画像間の相対的な序列が、教師情報として付与されており、学習は、学習用組織画像の形態的特徴に応じた評価値を機械学習モデルに推定させ、推定させた評価値を、学習用組織画像が帰属する組織画像セットにおいて付与された相対的な序列に適合させる学習であり、プロセッサは、評価値が未知の組織画像を評価対象として取得する取得処理と、学習が行われた学習済みの機械学習モデルを用い、取得した評価対象の評価値を推定する推定処理と、を実行する。
　複数の組織画像セットのそれぞれには、相対的な序列が異なる学習用組織画像が少なくとも１枚ずつ含まれていることが好ましい。
　１つの組織画像セット内において、相対的な序列は２段階であることが好ましい。
　複数の組織画像セットの少なくとも１つは、１つ以上の被検体に由来する異なる２つ以上の組織標本をそれぞれ写した２枚以上の標本画像から分割された複数の学習用組織画像が混在する画像セットであることが好ましい。
　標本画像は、組織標本として、被検体に投与される物質の薬効および毒性の少なくとも１つを評価する試験に用いられた組織標本を写した画像であることが好ましい。
　標本画像は、物質が投与された被検体の組織標本を写した第１標本画像と、物質が投与されていない被検体の組織標本を写した第２標本画像とを含み、複数の組織画像セットのそれぞれは、学習用組織画像として、第１標本画像から分割された第１学習用組織画像と、第２標本画像から分割された第２学習用組織画像とを含むことが好ましい。
　複数の組織画像セットのそれぞれは、１つの試験が実施された１つ以上の被検体に由来する複数の学習用組織画像のみによって構成されることが好ましい。
　１つの前記組織画像セット内において、前記相対的な序列は２段階であり、
　２段階の序列は、被検体に投与される物質の薬効および毒性の少なくとも１つを評価する試験毎の主要な異常所見を、学習用組織画像が含むか否かで区別されることが好ましい。
　形態的特徴に基づく相対的な序列は、形態的特徴の異常度、形態的特徴を有する病変の重篤度、および病変の進行度のうちのいずれかに基づいて与えられることが好ましい。
　プロセッサは、評価対象について推定した評価値に基づく評価結果を出力することが好ましい。
　プロセッサは、評価結果として、評価対象の評価値の大きさを他の評価対象と比較可能な態様で出力することが好ましい。
　評価対象が、１つの標本画像から分割された複数の画像である場合において、プロセッサは、評価結果として、標本画像において複数の評価対象に対応する領域毎の評価値の大きさを識別可能な態様で出力することが好ましい。
　プロセッサは、領域毎の評価値の大きさを色の濃淡で識別可能で、かつ標本画像に重畳可能なヒートマップを生成することが好ましい。
　本開示の技術に係る画像処理装置の作動方法は、プロセッサを備えており、機械学習モデルを用いて、被検体の組織標本が写された標本画像を細分化した組織画像の形態的特徴に応じた評価値を推定する画像処理装置の作動方法であって、機械学習モデルは、それぞれが、学習に用いられる組織画像である複数の学習用組織画像を含む複数の組織画像セットにより学習が行われ、複数の組織画像セットには、学習用組織画像の形態的特徴に基づく相対的な序列であって、組織画像セットのそれぞれの内部における学習用組織画像間の相対的な序列が、教師情報として付与されており、学習は、学習用組織画像の形態的特徴に応じた評価値を機械学習モデルに推定させ、推定させた評価値を、学習用組織画像が帰属する組織画像セットにおいて付与された相対的な序列に適合させる学習であり、プロセッサは、評価値が未知の組織画像を評価対象として取得する取得処理と、学習が行われた学習済みの機械学習モデルを用い、取得した評価対象の評価値を推定する推定処理と、を実行する。
　本開示の技術に係る画像処理装置の作動プログラムは、プロセッサを備えており、機械学習モデルを用いて、被検体の組織標本が写された標本画像を細分化した組織画像の形態的特徴に応じた評価値を推定する画像処理装置としてコンピュータを機能させる画像処理装置の作動プログラムであって、機械学習モデルは、それぞれが、学習に用いられる組織画像である複数の学習用組織画像を含む複数の組織画像セットにより学習が行われ、複数の組織画像セットには、学習用組織画像の形態的特徴に基づく相対的な序列であって、組織画像セットのそれぞれの内部における学習用組織画像間の相対的な序列が、教師情報として付与されており、学習は、学習用組織画像の形態的特徴に応じた評価値を機械学習モデルに推定させ、推定させた評価値を、学習用組織画像が帰属する組織画像セットにおいて付与された相対的な序列に適合させる学習であり、評価値が未知の組織画像を評価対象として取得する取得処理と、学習が行われた学習済みの機械学習モデルを用い、取得した評価対象の評価値を推定する推定処理と、をコンピュータに実行させる。
　本開示の技術に係る学習装置は、プロセッサを備えており、被検体の組織標本が写された標本画像を細分化した組織画像の形態的特徴に応じた評価値を推定する機械学習モデルを学習させる学習装置であって、機械学習モデルは、それぞれが、学習に用いられる組織画像である複数の学習用組織画像を含む複数の組織画像セットにより学習が行われ、複数の組織画像セットには、学習用組織画像の形態的特徴に基づく相対的な序列であって、組織画像セットのそれぞれの内部における学習用組織画像間の相対的な序列が、教師情報として付与されており、学習は、学習用組織画像の形態的特徴に応じた評価値を機械学習モデルに推定させ、推定させた評価値を、学習用組織画像が帰属する組織画像セットにおいて付与された相対的な序列に適合させる学習である。
　本開示の技術によれば、組織画像の形態的特徴に応じた評価値を推定する機械学習モデルを用いる場合において、機械学習モデルの学習データを作成する際の作業負荷を、従来と比べて軽減することができる。
標本画像の作成方法、および画像処理装置を示す図である。 画像処理装置が出力する評価結果の一例を示す図である。 画像処理装置を構成するコンピュータを示すブロック図である。 画像処理装置のプロセッサを示すブロック図である。 パッチ画像から評価値を推定する処理の概要を示す図である。 評価値の推定に用いる特徴量空間を示す図である。 パッチ画像の形態異常の所見と異常度との関係を示す図である。 推定モデルを学習させる学習部を示す図である。 組織画像セットに付与されるラベルを示す図である。 学習においてラベルと評価値が適合しない例を概念的に示す図である。 学習においてラベルと評価値が適合する例を概念的に示す図である。 学習においてラベルと評価値が適合する別の例を概念的に示す図である。 組織画像セット内の相対的な序列を示すラベルと評価値の関係を示す図である。 学習フェーズにおける画像処理装置の処理手順を示すフローチャートである。 運用フェーズにおける画像処理装置の処理手順を示すフローチャートである。 評価結果としてヒートマップを表示する表示画面の一例を示す図である。 評価結果としてヒートマップを表示する表示画面の別の例を示す図である。 評価結果の別の態様を表示する表示画面を示す図である。 毒性試験のレポートの一例を示す図である。 相対的な序列が３つのラベルを示す図である。
　［第１実施形態］
　一例として図１に示すように、本開示の画像処理装置１０は、医薬の候補物質１１の薬効および毒性の評価に用いられる。画像処理装置１０は例えばデスクトップ型のパーソナルコンピュータであり、各種画面を表示するディスプレイ１２と、キーボード、マウス、タッチパネル、および／または音声入力用のマイクといった入力デバイス１３とを備える。画像処理装置１０は、例えば医薬開発施設に設置され、医薬開発施設において医薬の開発に携わる創薬スタッフＤＳにより操作される。創薬スタッフＤＳには病理医も含まれる。創薬スタッフＤＳは、本開示の技術に係る「ユーザ」の一例である。
　画像処理装置１０には標本画像１５が入力される。標本画像１５は、被検体Ｓに投与される候補物質１１の薬効および毒性の評価を行うための画像である。画像処理装置１０は、機械学習モデルを用いて、候補物質１１に起因する標本画像１５の形態異常を検出する。標本画像１５は、例えば以下の手順によって生成される。まず、候補物質１１の評価のために用意されたラット等の被検体Ｓを剖検し、被検体Ｓの臓器、ここでは肝臓ＬＶの横断面の複数の組織標本（以下、肝臓標本と表記）ＬＶＳを採取する。次いで、採取した肝臓標本ＬＶＳを１つずつスライドガラス１６に貼り付けた後、肝臓標本ＬＶＳを染色、ここではヘマトキシリン・エオジン色素により染色する。続いて、染色後の肝臓標本ＬＶＳをカバーガラス１７で覆って、スライド標本１８を完成させる。そして、スライド標本１８をデジタル光学顕微鏡等の撮影装置１９にセットし、撮影装置１９により標本画像１５を撮影する。こうして得られた標本画像１５には、被検体Ｓを一意に識別するための被検体ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ　Ｄａｔａ）、標本画像１５を一意に識別するための標本画像ＩＤ、および撮影日時等が付される。なお、組織標本は組織切片とも呼ばれ、標本画像１５は、１つの組織切片の全体を写す画像であるため、ＷＳＩ（Whole Slide Image）とも呼ばれる。また、染色は、ヘマトキシリン色素単独による染色、ニュークリア・ファスト・レッド色素による染色等でもよい。
　ここで、投与群と対照群について説明する。投与群は、候補物質１１が投与された複数の被検体Ｓで構成される。対照群は、投与群とは逆に、候補物質１１が投与されなかった複数の被検体Ｓで構成される。候補物質１１の薬効および毒性を評価する場合は、標本画像１５には、投与群の被検体Ｓの肝臓標本ＬＶＳが写された画像が使用される。もちろん、参照用として対照群の被検体Ｓの肝臓標本ＬＶＳが写された画像を標本画像１５として使用してもよい。
　また、後述するように、画像処理装置１０が使用する機械学習モデルの学習データ用の標本画像１５には、投与群の肝臓標本ＬＶＳが写された標本画像１５に加えて、対照群の肝臓標本ＬＶＳが写された画像が含まれる。投与群を構成する被検体Ｓの数と対照群を構成する被検体Ｓの数は、ともに例えば５～１０程度である。投与群を構成する被検体Ｓと対照群を構成する被検体Ｓとは同じ属性を有し、かつ同じ飼育環境下に置かれた被検体Ｓである。同じ属性とは、例えば週齢が同じ、および／または、性別が同じ、等である。また、同じ属性とは、週齢の構成比が同じ、および／または、性別の構成比が同じ（オス、メスが５匹ずつ等）、といったことも含む。同じ飼育環境とは、例えば与える餌が同じ、飼育空間の温湿度が同じ、および／または、飼育空間の広さが同じ、等である。同じ飼育環境の「同じ」は、完全な同じの他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの同じを指す。
　なお、投与群には、候補物質１１の投与量が異なる複数のグループが存在する。例えば高投与量グループ、中投与量グループ、低投与量グループといった３段階で候補物質１１の投与量を異ならせる。こうすれば、候補物質１１の投与量による被検体Ｓへの影響を見極めることができる。図１においては、投与群について、低投与量グループと高投与量グループの２つのグループを例示している。
　一例として図２に示すように、画像処理装置１０は、周知の画像認識技術を用いて入力された標本画像１５に写る肝臓標本ＬＶＳを認識し、認識した肝臓標本ＬＶＳを複数のパッチ画像６５に細分化する。つまり、パッチ画像６５は、組織切片の全体である肝臓標本ＬＶＳの領域を小区画に分割した画像である。パッチ画像６５は、画像処理装置１０の機械学習モデルで扱うことが可能な予め設定されたサイズを有する。画像処理装置１０は、細分化したパッチ画像６５毎に画像ＩＤを付し、各パッチ画像６５の標本画像１５のいずれの位置を切り出した画像であるかを示す位置情報と画像ＩＤとを関連付ける。なお、図２においては、パッチ画像６５は他のパッチ画像６５と重複する領域をもたないが、パッチ画像６５は他のパッチ画像６５と一部重複していてもよい。
　画像処理装置１０は、このように細分化された各パッチ画像６５のそれぞれについて、機械学習モデルを用いて形態異常の異常度を表す評価値６６（図４等参照）を推定する。画像処理装置１０の機械学習モデルは、パッチ画像６５の形態異常について、病理医を含む創薬スタッフＤＳの判断基準に適合する評価値６６を推定するように学習されている。創薬スタッフＤＳの判定基準とは、創薬スタッフＤＳが、パッチ画像６５の形態異常について、異常度が高いあるいは低いと考える判断基準である。
　形態異常とは、正常な肝臓標本ＬＶＳでは認められない病変をいう。形態異常は、本開示の技術に係る「形態的特徴」の一例である。形態異常の所見としては、例えば、「壊死」、「細胞浸潤」、および「好酸性変化」がある。「細胞浸潤」は、例えば炎症細胞浸潤である。正常の場合は、異常な所見が認められないため、異常度は最も低い。一般的に、形態異常の異常の程度が強い、または形態異常が重篤と認められるほど、創薬スタッフＤＳの関心の程度は高い。創薬スタッフＤＳが観察しなければならないパッチ画像６５は多数あるため、創薬スタッフＤＳとしては、パッチ画像６５については、異常度が高い部分を中心に観察したいという要望がある。そのため、画像処理装置１０は、パッチ画像６５について形態異常の異常度を表す評価値６６を推定することにより、肝臓標本ＬＶＳにおいて異常度が高い領域の強調表示または優先的な表示を可能とする評価結果を出力する。
　図２に示すヒートマップＨＭＰは、画像処理装置１０が出力する評価結果の一例である。本例において、評価対象であるパッチ画像６５は、１つの標本画像１５から分割された複数のパッチ画像６５である。ヒートマップＨＭＰは、肝臓標本ＬＶＳの輪郭を有しており、標本画像１５において複数のパッチ画像６５に対応する領域毎の異常度を表す評価値６６の大きさを識別可能な態様で表示する。ヒートマップＨＭＰは、例えば、肝臓標本ＬＶＳの輪郭を有している。ヒートマップＨＭＰは、肝臓標本ＬＶＳの領域毎の異常度を表す評価値６６の大きさを色の濃淡で識別可能であり、異常度が高いほど色を濃く、低いほど淡く示す。本例では、形態異常の異常度が最も高い壊死の領域の色が濃く、壊死に続いて、細胞浸潤、好酸性変化、正常の順番で色が徐々に淡くなるように変化させている。このようなヒートマップＨＭＰは、異常度が高い領域を強調表示する表示態様の一例である。
　なお、本例において、形態異常の所見として、壊死、細胞浸潤、および好酸性変化の３種類を例示しているが、その他、過形成、鬱滞、炎症、腫瘍、癌化、増殖、出血、およびグリコーゲン減少等がある。
　一例として図３に示すように、画像処理装置１０を構成するコンピュータは、前述のディスプレイ１２および入力デバイス１３に加えて、ストレージ３０、メモリ３１、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３２、および通信部３３を備えている。これらはバスライン３４を介して相互接続されている。
　ストレージ３０は、画像処理装置１０を構成するコンピュータに内蔵、またはケーブル、ネットワークを通じて接続されたハードディスクドライブである。もしくはストレージ３０は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージ３０には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、およびこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。
　メモリ３１は、ＣＰＵ３２が処理を実行するためのワークメモリである。ＣＰＵ３２は、ストレージ３０に記憶されたプログラムをメモリ３１へロードして、プログラムにしたがった処理を実行する。これによりＣＰＵ３２は、コンピュータの各部を統括的に制御する。ＣＰＵ３２は、本開示の技術に係る「プロセッサ」の一例である。なお、メモリ３１は、ＣＰＵ３２に内蔵されていてもよい。通信部３３は、撮影装置１９等の外部装置との各種情報の伝送制御を行う。
　一例として図４に示すように、画像処理装置１０のストレージ３０には、作動プログラム４０が記憶されている。作動プログラム４０は、コンピュータを画像処理装置１０として機能させるためのアプリケーションプログラムである。すなわち、作動プログラム４０は、本開示の技術に係る「画像処理装置の作動プログラム」の一例である。ストレージ３０には、推定モデル４１も記憶されている。推定モデル４１は、作動プログラム４０の一部である機械学習モデルであり、推定モデル４１は、本開示の技術に係る「機械学習モデル」の一例である。
　作動プログラム４０が起動されると、画像処理装置１０を構成するコンピュータのＣＰＵ３２は、メモリ３１等と協働して、リードライト（以下、ＲＷ（Ｒｅａｄ　Ｗｒｉｔｅ）と略す）制御部５０、推定部５１、分割部５２、および評価結果出力部５３を有するプロセッサ３６として機能する。
　ＲＷ制御部５０は、ストレージ３０への各種データの記憶、およびストレージ３０内の各種データの読み出しを制御する。例えばＲＷ制御部５０は、撮影装置１９からの標本画像１５をストレージ３０に記憶する。なお、標本画像１５は、１つの被検体Ｓから複数得られるので、ストレージ３０には１つの被検体Ｓに由来する複数の標本画像１５が記憶される。
　ＲＷ制御部５０は、入力デバイス１３を通じた創薬スタッフＤＳの指定に応じた標本画像１５をストレージ３０から読み出すことで取得する。ＲＷ制御部５０が取得する標本画像１５は、例えば、候補物質１１の投与により、肝臓標本ＬＶＳに形態異常が発生しているか否かを判定したりする対象である。ＲＷ制御部５０は、標本画像１５を分割部５２に出力する。分割部５２は、標本画像１５を細分化し、複数のパッチ画像６５に分割する。分割部５２は、分割した複数のパッチ画像６５を推定部５１に出力する。
　ＲＷ制御部５０は、推定モデル４１をストレージ３０から読み出し、読み出した推定モデル４１を推定部５１に出力する。
　推定モデル４１は、特徴量抽出器４１１と評価値推定器４１２とを有する。推定部５１は、特徴量抽出器４１１を用いて、パッチ画像６５から特徴量６０を抽出する。推定部５１は、評価値推定器４１２を用いて、特徴量６０に基づく評価値６６を推定し、推定した評価値６６を評価結果出力部５３に出力する。
　ここで、パッチ画像６５は、本開示の技術に係る「評価値が未知の組織画像」の一例である。ＲＷ制御部５０および推定部５１を有するプロセッサ４６は、評価値が未知のパッチ画像６５を評価対象として取得する取得処理と、後述する学習が行われた学習済みの推定モデル４１を用い、取得した評価対象であるパッチ画像６５の評価値６６を推定する推定処理とを実行する。
　評価結果出力部５３は、複数のパッチ画像６５のそれぞれの評価値６６に基づいて、例えば、肝臓標本ＬＶＳのヒートマップＨＭＰを生成し、出力する。
　一例として図５に示すように、特徴量抽出器４１１は、畳み込み層４１１Ａとプーリング層４１１Ｂとを有する周知の畳み込みニューラルネットワークであり、パッチ画像６５の形態的特徴を表す特徴量６０を抽出する。すなわち、畳み込み層４１１Ａは、例えば３×３などの正方サイズの係数のマトリックスを有するフィルタを用いて、パッチ画像６５の画素値とフィルタの係数との積和を特徴量として出力する。そして、畳み込み層４１１Ａは、パッチ画像６５の各領域に対してフィルタをずらしながら適用することにより、特徴量６０として特徴マップ６０Ａを出力する。特徴マップ６０Ａは、パッチ画像６５の空間的な特徴を保持した二次元のデータであり、パッチ画像６５に写る肝臓標本ＬＶＳの形状およびテクスチャーの特徴を表している。特徴量抽出器４１１においては、パッチ画像６５の様々な形態的な特徴を抽出するために、種類が異なる複数のフィルタが用意されており、各フィルタの数だけ特徴マップ６０Ａが出力される。特徴マップ６０Ａは、フィルタの数に応じた数が出力される。
　プーリング層４１１Ｂは、パッチ画像６５の画素値に応じて最大値プーリング等によりパッチ画像６５のサイズを段階的に縮小する。畳み込み層４１１Ａは、段階的にサイズが縮小されるパッチ画像６５に対して、フィルタを適用することにより、特徴マップ６０Ａを出力する。つまり、畳み込み層４１１Ａは、サイズが異なるパッチ画像６５のそれぞれに対して特徴マップ６０Ａを出力する。これにより、パッチ画像６５が有する微細な特徴から、大局的な特徴まで様々な特徴が抽出される。このように、特徴マップ６０Ａは、フィルタの種類、およびサイズが異なるパッチ画像６５の数に応じた数だけ出力される。
　このような特徴量抽出器４１１は、例えば、画像に用いられる機械学習モデルの１つであるオートエンコーダのエンコーダ部が転用される。オートエンコーダは、周知のように、入力画像に対して畳み込み処理とプーリング処理とを施し、入力画像の特徴量を抽出するエンコーダ部と、抽出した特徴量から入力画像を復元するデコーダ部とを有する。デコーダ部において入力画像が正確に復元されるようにエンコーダ部とデコーダ部の学習が行われる。デコーダ部において入力画像が正確に復元されるということは、エンコーダ部において入力画像の適切な特徴量が抽出されていることを意味する。そのため、入力画像の適切な復元が可能なオートエンコーダにおいて、エンコーダ部だけを取り出すことにより、特徴量抽出器４１１として用いることが可能である。
　評価値推定器４１２は、例えば、平坦化層４１２Ａと全結合層４１２Ｂとを有している。平坦化層４１２Ａは、特徴マップ６０ＡをＮ次元のベクトルに変換する。Ｎ次元は、例えば、５１２次元および１０２４次元といったオーダの次元数である。一例として図６に示すように、平坦化層４１２Ａは、第１平坦化処理（図６において「平坦化処理１」と示す）を行う。特徴マップ６０Ａは、Ｗ（幅）×Ｈ（高さ）×Ｃ（チャンネル数）のサイズを有する。第１平坦化処理は、Ｗ×Ｈ×Ｃの次元数のベクトルに変換する。つまり、第１平坦化処理は、特徴マップ６０Ａの要素となるデータの数（Ｗ×Ｈ×Ｃ）のベクトルに変換する。
　あるいは、平坦化層４１２Ａは、第２平坦化処理（図６において「平坦化処理２」と示す）によって特徴マップ６０ＡをＮ次元のベクトルに変換してもよい。第２平坦化処理は、例えば、グローバル平均プーリングであり、この場合、特徴マップ６０Ａは、１×１×Ｃの次元数のベクトルに変換される。つまり、グローバル平均プーリングでは、Ｗ×Ｈ×Ｃのサイズの特徴マップ６０Ａを１×１×Ｃのサイズにプーリングする。平坦化層４１２Ａは、このように第１平坦化処理または第２平坦化処理によって平坦化されたＮ次元のベクトルを特徴量ベクトル６０Ｂとして出力する。
　全結合層４１２Ｂは、例えば、複数の入力値が入力される複数の入力ノードと、各入力ノードに入力された入力値と係数の積和である１つの出力値を出力する出力ノードとを有するパーセプトロンが複数組み合わされたニューラルネットワークで構成されており、複数のパーセプトロンのすべての入力ノードに入力される入力値をすべて結合する層である。全結合層４１２Ｂには、特徴量ベクトル６０Ｂを入力として、１つのスカラ値である評価値６６を出力する。
　図７は、評価値推定器４１２が出力する評価値６６の大きさと形態異常の異常度の関係を概念的に示す図である。一例として図７に示すように、評価値推定器４１２は、推定する評価値６６を、例えば、１～１００の範囲で規格化された値として出力する。特徴量抽出器４１１は、パッチ画像６５の形態的特徴に応じた特徴量を抽出するため、類似する形態的特徴を有するパッチ画像６５については、類似する特徴量を抽出する。すなわち、評価値推定器４１２は、類似する形態的特徴を有するパッチ画像６５については、同程度の大きさの評価値６６を出力する。評価値推定器４１２は、各パッチ画像６５において、形態異常の異常度が高い所見に対応する形態的特徴が認められるほど、大きな値の評価値６６を出力するように学習される。すなわち、「壊死」、「細胞浸潤」、および「好酸性変化」の各所見に対応する形態異常は、この順で評価値６６が大きい。
　以下において、図８～図１３を参照しながら、このような評価値６６を推定する推定モデル４１を学習させるための学習データおよび学習方法について説明する。
　一例として図８に示すように、プロセッサ３６は、推定モデル４１を学習させる学習部５６としても機能する。学習部５６は、推定部５１とモデル更新部５７とを含んで構成される。学習部５６は、学習データＤＢ（Ｄａｔａ　Ｂａｓｅ）５８に格納されている学習データを用いて推定モデル４１を学習させ、モデル更新部５７によって推定モデル４１の各種のパラメータを修正することにより、推定モデル４１を更新する。学習部５６を有する画像処理装置１０は、本開示の技術に係る学習装置の一例である。
　学習データＤＢ５８には、組織画像セットＴＤＳが格納されている。組織画像セットＴＤＳは、実施した毒性試験等の試験の種類毎に作成されている。図８においては、試験１を実施したパッチ画像６５Ｌ（図９参照）が含まれる組織画像セットＴＤＳ１、試験２を実施したパッチ画像６５Ｌが含まれる組織画像セットＴＤＳ２、および試験３を実施したパッチ画像６５Ｌが含まれる組織画像セットＴＤＳ３が例示されている。このように、複数の組織画像セットＴＤＳ１～ＴＤＳ３は、毒性試験等の試験の種類が異なる複数の試験グループのいずれかに帰属している。なお、以下において、試験の種類毎に組織画像セットＴＤＳを区別する場合は、「ＴＤＳ」の符号の後に「１」～「３」の細別符号を付すが、区別が不要な場合には、細別符号を用いずに単に「ＴＤＳ」の符号を付す。パッチ画像６５Ｌは、学習データのパッチ画像であるため、パッチ画像６５に対して、細別符号として「Ｌ」を付している。本開示の技術において、パッチ画像６５Ｌは、「学習用組織画像」の一例である。
　一例として図９に示すように、組織画像セットＴＤＳは、学習用の複数のパッチ画像６５Ｌを含んでいる。パッチ画像６５Ｌは、被検体Ｓに投与される物質の薬効および毒性の少なくとも１つを評価する試験に用いられた肝臓標本ＬＶＳを写した標本画像１５を細分化した組織画像である。すなわち、組織画像セットＴＤＳは、試験を実施済みのパッチ画像６５Ｌの集合である。上述のとおり、標本画像１５には、投与群（候補物質１１が投与された被検体Ｓ）の肝臓標本ＬＶＳを写した標本画像１５（本開示の技術に係る第１標本画像の一例）と、対照群（候補物質１１が投与されていない被検体Ｓ）の肝臓標本ＬＶＳを写した標本画像１５（本開示の技術に係る第２標本画像の一例）とが含まれている。本例では、複数の組織画像セットＴＤＳ１～ＴＤＳ３には、投与群に由来する標本画像１５から分割されたパッチ画像６５Ｌ（本開示の技術に係る第１学習用組織画像の一例）と、対照群に由来する標本画像１５から分割されたパッチ画像６５Ｌ（本開示の技術に係る第２学習用組織画像の一例）の両方が含まれている。
　このように、複数の組織画像セットＴＤＳ１～ＴＤＳ３のそれぞれは、１つ以上の被検体Ｓに由来する異なる２つ以上の肝臓標本ＬＶＳ（組織標本の一例）をそれぞれ写した２枚以上の標本画像１５から分割された複数のパッチ画像６５Ｌ（学習用組織画像の一例）が混在する画像セットである。また、複数の組織画像セットＴＤＳ１～ＴＤＳ３のそれぞれは、試験の種類毎に作成されるため、１つの試験が実施された１つ以上の被検体Ｓに由来する複数のパッチ画像６５Ｌのみによって構成される。
　パッチ画像６５Ｌには、ラベルＬＢが付与されている。ラベルＬＢは、組織画像セットＴＤＳのそれぞれの内部におけるパッチ画像６５Ｌ間の相対的な序列であって、形態的特徴に基づく相対的な序列を示す。ラベルＬＢは、本開示の技術に係る「教師情報」の一例である。本例において、推定モデル４１は、パッチ画像６５の形態異常の異常度を評価値６６として出力するものであるため、組織画像セットＴＤＳにおけるパッチ画像６５Ｌの相対的な序列を示すラベルＬＢは異常度に対応する序列を示す。つまり、相対的な序列は、組織画像セットＴＤＳ内においてどのパッチ画像６５Ｌの異常度が高いかを示す情報であり、別の組織画像セットＴＤＳに含まれるパッチ画像６５Ｌとの間で比較可能な指標ではない。これに対して、評価値６６は、図５から図７において示したとおり、各パッチ画
像６５Ｌから抽出される形態的特徴に基づいて出力されるスカラ値であり、類似する形態的特徴については、同程度の大きさとなる。そのため、評価値６６は、異なる組織画像セットＴＤＳに含まれるパッチ画像６５Ｌ間においても比較可能な指標である。この点で、相対的な序列を示すラベルＬＢと評価値６６とは異なる。
　具体的には、試験１の組織画像セットＴＤＳ１においては、所見として「細胞浸潤」が認められるパッチ画像６５Ｌには、ラベルＬＢとして「２」が付与されている。一方、その他のパッチ画像６５Ｌ、すなわち、所見として「好酸性変化」が認められるパッチ画像６５Ｌおよび異常所見が認められない正常なパッチ画像６５Ｌには、ラベルＬＢとして「１」が付与されている。本例において、ラベルＬＢの序列は数字が大きい方が優位である。すなわち、「２」の方が「１」よりも序列は高い。試験１においては、異常度が最も高い形態異常は「細胞浸潤」であり、「細胞浸潤」が認められるか否かが、創薬スタッフＤＳが最も関心を有する主要な異常所見である。そのため、試験１の組織画像セットＴＤＳ１においては、「細胞浸潤」が認められるパッチ画像６５Ｌに対して、組織画像セットＴＤＳ１内の最高位の序列である「２」が付与される。また、試験１においては「好酸性変化」は相対的に重要視されておらず、所見として「好酸性変化」が認められるパッチ画像６５Ｌについては、ラベルＬＢとして、正常なパッチ画像６５Ｌと同順位の「１」が付与される。
　なお、本例では例示していないが、組織画像セットＴＤＳ１において、仮に「好酸性変化」以外に、「細胞浸潤」よりも異常度が低い所見が認められるパッチ画像６５Ｌがある場合は、そのパッチ画像６５Ｌに対してもラベルＬＢとしては、「好酸性変化」と同順位の「１」が付与される。
　一方、試験２においては、試験２において異常度が最も高い形態異常は「壊死」であり、「壊死」が認められるか否かが、創薬スタッフＤＳが最も関心を有する主要な異常所見である。そのため、試験２の組織画像セットＴＤＳ２においては、「壊死」が認められるパッチ画像６５Ｌに対して、組織画像セットＴＤＳ２内の最高位の序列である「２」が付与される。また、試験２においては「細胞浸潤」は相対的に重要視されておらず、所見として「細胞浸潤」が認められるパッチ画像６５Ｌについては、ラベルＬＢとして、正常なパッチ画像６５Ｌと同順位の「１」が付与される。なお、図示していないが、組織画像セットＴＤＳ２において、所見として「好酸性変化」が認められるパッチ画像６５Ｌについても、ラベルＬＢとしては「１」が付与される。組織画像セットＴＤＳ２においても、「細胞浸潤」以外に、「好酸性変化」など、「壊死」よりも異常度が低い所見が認められるパッチ画像６５Ｌについては、ラベルＬＢとして「１」が付与される。
　同様に、試験３においては、試験３において異常度が最も高い形態異常は「好酸性変化」であり、「好酸性変化」が認められるか否かが、創薬スタッフＤＳが最も関心を有する主要な異常所見である。そのため、試験３の組織画像セットＴＤＳ３においては、所見として「好酸性変化」が認められるパッチ画像６５ＬのラベルＬＢとして「２」が付与されており、その他のパッチ画像６５Ｌ、すなわち、異常所見が認められない正常なパッチ画像６５ＬのラベルＬＢは「１」が付与されている。
　もちろん、創薬スタッフＤＳの判断基準では、パッチ画像６５の形態異常の異常度は、「壊死」、「細胞浸潤」、および「好酸性変化」の順番で高い。ラベルＬＢは組織画像セットＴＤＳ内の相対的な序列ではあるが、このような創薬スタッフＤＳの判断基準に適合した形でラベルＬＢは付与される。つまり、ラベルＬＢは、パッチ画像６５Ｌの形態的特徴と無関係に付与されるものではなく、形態的特徴に基づく相対的な序列である。本例においては、いずれの組織画像セットＴＤＳにおいても、「壊死」は、その他の所見よりもラベルＬＢの序列は優位である。そのため、ある組織画像セットＴＤＳにおいては、「細胞浸潤」よりも序列は優位であるが、別の組織画像セットＴＤＳにおいては、「細胞浸潤」よりも序列が劣後するといった序列の逆転は基本的には生じない。もちろん、例外的に一部の組織画像セットＴＤＳにおいて序列の逆転が生じてしまう場合もあるが、その場合でも、序列の逆転が生じない組織画像セットＴＤＳの数の方が多くなるはずである。そのため、推定モデル４１は、多数派の序列、すなわち、創薬スタッフＤＳの判断基準に適合した異常所見の序列を学習することができる。
　このように、複数の組織画像セットＴＤＳ１～ＴＤＳ３のそれぞれには、相対的な序列が異なるパッチ画像６５Ｌが少なくとも１枚ずつ含まれている。また、本例においては、１つの組織画像セットＴＤＳ内において、ラベルＬＢは「２」と「１」の２つであり、相対的な序列は２段階である。さらに、２段階の序列は、パッチ画像６５Ｌが、試験毎の主要な異常所見を含むかによって区別される。
　図１０～図１２を用いて、このようなラベルＬＢを付与した複数の組織画像セットＴＤＳを用いた学習部５６による学習方法について説明する。学習部５６は、複数の組織画像セットＴＤＳのそれぞれのラベルＬＢに基づいて、推定モデル４１に対してランキング学習を行わせる。ランキング学習は、周知のように、機械学習の１つであり、検索結果をどのような順番で示すのが適切かといった複数の項目の順位付けに適した手法である。本例の推定モデル４１は、複数のパッチ画像６５のそれぞれに対して、形態異常の異常度を表す評価値６６を推定することを目的としており、異常度はパッチ画像６５を順位付けする指標となり得る。そのため、推定モデル４１に対してランキング学習を適用することができる。
　本例においては、学習部５６は、推定モデル４１に対して、例えばペアワイズ損失を用いたランキング学習を行わせる。ペアワイズ損失を用いたランキング学習は、複数の項目の中から選択された２つの項目のどちらが高評価であるかという序列に関する情報に基づいて、複数の項目について全体的な順位付けを可能とする学習方法である。ペアワイズ損失は、ランキング学習において用いられる損失関数の１つで、２つの項目間の相対的な重要度を評価するために用いられる。ペアワイズ損失は、序列に関する情報に適合しない結果に対して損失が大きくなる。
　本例に当てはめると、モデル更新部５７は、推定モデル４１が推定する２つの評価値６６に基づいてペアワイズ損失を計算する損失演算を行なう。パッチ画像６５Ｌには組織画像セットＴＤＳ内の相対的な序列を表すラベルＬＢが予め付与されている。モデル更新部５７は、損失演算において、２つの評価値６６の関係が、ラベルＬＢが示す相対的な序列に対して適合しない場合（不適合の場合）は、ペアワイズ損失を大きくし、適合する場合は、ペアワイズ損失を小さくする。モデル更新部５７は、ペアワイズ損失が大きい場合は、ペアワイズ損失が小さくなるように、推定モデル４１のパラメータを調整することにより推定モデル４１を更新する。ペアワイズ損失の大きさに応じてパラメータの調整量は変化する。
　図１０に示す例では、推定部５１は、組織画像セットＴＤＳ１において、ラベルＬＢとして「１」が付与されている「好酸性変化」のパッチ画像６５Ｌの評価値６６を「４０」と推定している。一方、ラベルＬＢとして「２」が付与されている「細胞浸潤」のパッチ画像６５Ｌの評価値６６を「２０」と推定している。この場合は、２つの評価値６６の大きさの順番とラベルＬＢの序列とが不適合であるため、ペアワイズ損失は大きくなる。この場合は推定モデル４１のパラメータの調整量が大きくなる。
　対して、図１１に示す例では、推定部５１は、組織画像セットＴＤＳ１において、ラベルＬＢとして「１」が付与されている「好酸性変化」のパッチ画像６５Ｌの評価値６６を「３０」と推定している。一方、ラベルＬＢとして「２」が付与されている「細胞浸潤」のパッチ画像６５Ｌの評価値６６を「７０」と推定している。この場合は、２つの評価値６６の大きさの順番とラベルＬＢの序列とが適合しているため、ペアワイズ損失は小さくなる。この場合は推定モデル４１のパラメータの調整量は小さくなる。
　学習部５６は、例えば、組織画像セットＴＤＳ１に含まれる複数のパッチ画像６５Ｌの中から選択される２つのパッチ画像６５Ｌのすべての組み合わせについて、ペアワイズ損失が小さくなるように、学習処理を繰り返し実施する。これにより、推定モデル４１は、組織画像セットＴＤＳ１内の各パッチ画像６５Ｌについては、ラベルＬＢに適合する評価値６６が出力されるように学習される。
　試験１の組織画像セットＴＤＳ１の学習データによる学習が終了した場合は、学習部５６は、例えば、試験２、試験３の順に、試験１以外の組織画像セットＴＤＳ２およびＴＤＳ３の学習データによる学習を実施する。
　一例として図１２に示すように、試験２の組織画像セットＴＤＳ２についても、試験１の組織画像セットＴＤＳ１と同様に、学習部５６は、組織画像セットＴＤＳ２内の２つのパッチ画像６５Ｌについて、推定部５１により２つの評価値６６を推定する。そして、モデル更新部５７の損失演算により、２つの評価値６６のペアワイズ損失を計算する。学習部５６は、計算したペアワイズ損失の大きさに応じて推定モデル４１のパラメータを調整する。図１２に示す例では、ラベルＬＢとして「２」が付与されているパッチ画像６５Ｌの評価値６６が「９０」で、ラベルＬＢとして「１」が付与されているパッチ画像６５Ｌの評価値６６が「７０」であり、評価値６６の大きさの順番とラベルＬＢの序列とが適合している。そのため、ペアワイズ損失は小さくなる。
　このように、推定モデル４１は、複数の組織画像セットＴＤＳ内のそれぞれのパッチ画像６５ＬのラベルＬＢに、パッチ画像６５Ｌの評価値６６を適合させる学習が行われる。図１３にも示すように、学習は、ラベルＬＢに基づいて組織画像セットＴＤＳ毎に行われるが、上述したとおり、各組織画像セットＴＤＳ内のラベルＬＢの序列は、創薬スタッフＤＳの判断基準（「壊死」、「細胞浸潤」、および「好酸性変化」といった異常度の順番）に適合した形で付与されている。そのため、組織画像セットＴＤＳ毎のラベルＬＢに適合させる学習を行わせることにより、結果として、推定モデル４１が推定する評価値６６も、創薬スタッフＤＳの判断基準における異常度の順番に適合した値となる。
　より具体的に説明すると、次のとおりである。上述したとおり、推定モデル４１が推定する評価値６６は、パッチ画像６５Ｌの形態的特徴に応じた値であり、複数のパッチ画像６５Ｌが類似の形態的特徴を示す場合は同程度の大きさになる。こうした推定モデル４１を前提に、推定モデル４１が推定する評価値６６の大きさの順番を、ラベルＬＢによる相対的な序列に適合させるように学習が行われる。
　すなわち、推定モデル４１は、試験１～試験３の各組織画像セットＴＤＳ１～ＴＤＳ３の学習を通じて、各組織画像セットＴＤＳ１～ＴＤ３に含まれるパッチ画像６５Ｌのそれぞれの特徴量と、異常度に対応する評価値６６との対応関係も学習する。例えば、試験１の組織画像セットＴＤＳ１の学習を通じて、「細胞浸潤」の形態異常に対応する特徴量は、「好酸性変化」の形態異常および「正常」に対応する特徴量よりも、異常度は高く、評価値６６が大きくなることを、推定モデル４１は学習する。また、試験２の組織画像セットＴＤＳ２の学習を通じて、「壊死」の形態異常に対応する特徴量は、「細胞浸潤」の形態異常および「正常」に対応する特徴量よりも、異常度は高く、評価値６６が大きくなることを、推定モデル４１は学習する。同様に、試験３の組織画像セットＴＤＳ３の学習を通じて、「好酸性変化」の形態異常に対応する特徴量は、「正常」に対応する特徴量よりも、異常度は高く、評価値６６が大きくなることを、推定モデル４１は学習する。
　こうした学習により、推定モデル４１において、「細胞浸潤」と「好酸性変化および正常」、「壊死」と「細胞浸潤および正常」、「好酸性変化」と「正常」の各組み合わせにおける特徴量同士の直接的な比較が行われ、推定モデル４１は、各組み合わせにおける特徴量同士の評価値６６の優劣関係をそれぞれ学習する。その結果、例えば「壊死」と「好酸性変化」のような、帰属する組織画像セットＴＤＳが異なるため、直接的な比較が行われていない組み合わせについても、それぞれの特徴量同士の評価値６６の優劣関係を推定モデル４１は学習することができる。つまり、推定モデル４１は、図１３の下段に示すように、「壊死」の特徴量に対する評価値６６が最も大きく、以後「細胞浸潤」、「好酸性変化」、「正常」の順番で評価値６６が小さくなるように学習する。このため、評価値６６は、帰属する組織画像セットＴＤＳが異なる複数のパッチ画像６５Ｌ間で比較可能な値となる。
　また、上述したとおり、各組織画像セットＴＤＳにおいて、ラベルＬＢは、創薬スタッフＤＳの判断基準に適合するように付与されるため、評価値６６の大きさは、創薬スタッフＤＳの判断基準に適合する順番となる。
　なお、図１３において、各所見に対応する評価値６６の範囲を示しているが、これは説明の便宜上示したものであり、各所見の境界領域が明確に設定されているわけではない。本例の推定モデル４１は、評価値６６というスカラ値を推定するものであり、所見名まで識別しているわけではないためである。上述したとおり、推定モデル４１は、類似する形態異常については同程度の大きさの評価値６６を出力する。そのため、結果としては、図１３に示すように、各所見の異常度に応じて評価値６６の範囲も決まることになる。
　次に、上記構成による作用について、一例として図１４および図１５に示すフローチャートを参照して説明する。まず、画像処理装置１０のプロセッサ３６は、学習フェーズにおいては、図１４のフローチャートに示す処理手順に従って、学習処理を実行する。ステップＳＴ１０００において、プロセッサ３６は、１つの組織画像セットＴＤＳから２つのパッチ画像６５Ｌを取得する。ステップＳＴ１１００において、取得した２つのパッチ画像６５Ｌのそれぞれの評価値６６を推定する。ステップＳＴ１２００において、プロセッサ３６は、２つのパッチ画像６５Ｌの評価値６６とラベルＬＢとに基づいてペアワイズ損失の損失計算を行う。ステップＳＴ１３００において、プロセッサ３６は、評価値６６がラベルＬＢに適合するように推定モデル４１を更新する。より具体的には、プロセッサ３６は、ペアワイズ損失の大きさに応じて、推定モデル４１のパラメータを調整する。
　ステップＳＴ１４００において、組織画像セットＴＤＳ内に未学習のパッチ画像６５Ｌの組み合わせがある場合（ステップＳＴ１４００でＹＥＳ）は、プロセッサ３６は、ステップＳＴ１０００に復帰する。そして、新たな２つのパッチ画像６５Ｌの組み合わせに対して、ステップＳＴ１０００以降の処理を繰り返す。ステップＳＴ１４００において、組織画像セットＴＤＳ内に未学習のパッチ画像６５Ｌが無い場合（ステップＳＴ１４００でＮＯ）は、プロセッサ３６は、ステップＳＴ１５００に移行する。
　ステップＳＴ１５００において、未学習の組織画像セットＴＤＳがある場合（ステップＳＴ１５００でＹＥＳ）は、プロセッサ３６は、ステップＳＴ１０００に復帰し、未学習の組織画像セットＴＤＳについて、ステップＳＴ１０００以降の処理を繰り返す。プロセッサ３６は、未学習の組織画像セットＴＤＳが無くなるまで、ステップＳＴ１０００～ステップＳＴ１４００までの処理を繰り返す。
　なお、図１４に示す例では、未学習のパッチ画像６５Ｌおよび組織画像セットＴＤＳが無くなることを終了条件として、推定モデル４１の学習を繰り返しているが、学習の終了条件は、例えば、ペアワイズ損失が予め設定された閾値以下になるまでといった他の条件でもよい。
　学習フェーズが終了した後の運用フェーズにおいては、プロセッサ３６は、図１５のフローチャートに示す処理手順に従って、標本画像１５の評価処理を実行する。運用フェーズでは、例えば、創薬スタッフＤＳは候補物質１１を投与した被検体Ｓの標本画像１５について、画像処理装置１０を用いて毒性の評価を行う。ステップＳＴ２０００において、プロセッサ３６は、創薬スタッフＤＳによって選択された１つの標本画像１５を取得する。ステップＳＴ２１００において、プロセッサ３６は、標本画像１５を予め設定されたサイズの複数のパッチ画像６５に細分化する。ステップＳＴ２２００において、プロセッサ３６は、分割したパッチ画像６５毎に評価値６６を推定する。ステップＳＴ２３００において、分割したパッチ画像６５のうち、未評価のパッチ画像６５がある場合（ステップＳＴ２３００でＹＥＳ）は、プロセッサ３６は、ステップＳＴ２０００に復帰し、ステップＳＴ２０００以降の処理を繰り返す。未評価のパッチ画像６５が無い場合（ステップＳＴ２３００でＮＯ）は、プロセッサ３６は、ステップＳＴ２４００に移行する。
　ステップＳＴ２４００において、プロセッサ３６は、標本画像１５の評価結果を出力する。具体的には、プロセッサ３６は、パッチ画像６５の分割元である標本画像１５の肝臓標本ＬＶＳについて、評価値６６に基づくヒートマップＨＭＰを生成し、ヒートマップＨＭＰを評価結果として出力する。評価値６６は、形態異常の異常度の指標であるため、ヒートマップＨＭＰは、図２に示したように、肝臓標本ＬＶＳの領域毎の異常度を識別可能に表示する。
　ステップＳＴ２５００において、評価対象の別の標本画像１５がある場合は、プロセッサ３６は、ステップＳＴ２０００に復帰し、ステップＳＴ２０００以降の処理を繰り返す。評価対象の別の標本画像１５が無い場合は、プロセッサ３６は、運用フェーズを終了する。
　図１６は、評価結果を表示する表示画面７１の一例である。表示画面７１には、ヒートマップＨＭＰと、色の濃淡と異常度の高低との対応関係を示す凡例とが表示される。
　また、図１７に示すように、標本画像１５の肝臓標本ＬＶＳとヒートマップＨＭＰの各領域の対応関係が一見してわかるように、ヒートマップＨＭＰを肝臓標本ＬＶＳに重畳可能な態様で表示してもよい。肝臓標本ＬＶＳとヒートマップＨＭＰの重畳表示と分離表示とを切り替え可能としてもよい。図１７の例は、肝臓標本ＬＶＳとヒートマップＨＭＰの各領域の対応関係を保持した状態で分離表示している例である。分離表示すれば、肝臓標本ＬＶＳの形態的特徴を確認しやすい。
　また、評価結果としては、必ずしもヒートマップＨＭＰを表示しなくてもよい。例えば、図１８に示すように、評価済みのパッチ画像６５を評価値６６に対応する異常度順に表示してもよい。なお、図１８において、破線の四角形で示す枠内の「壊死」、「細胞浸潤」、および「好酸性変化」の各所見名を表示画面１７内に記載しているが、これは説明をわかりやすくするための便宜的な記載であり、表示画面７１では所見名は表示されない。もちろん、表示画面７１に所見名を表示してもよい。この場合は、例えば、パッチ画像６５に基づいて評価値６６を推定する推定モデル４１の他に、所見名を推定する所見名推定モデルが必要となる。
　パッチ画像６５の表示数は、評価したパッチ画像６５をすべて表示してもよいし、例えば、上位１００位までなど、予め設定された表示数に限定してもよい。このようにヒートマップＨＭＰを表示しない場合は、図１８に示すように、パッチ画像６５と並べて標本画像１５を表示し、パッチ画像６５と肝臓標本ＬＶＳの領域との対応関係を表示することが好ましい。対応関係は、例えば、マウスなどの入力デバイスでパッチ画像６５を指定された場合に、指定されたパッチ画像６５と、それに対応する肝臓標本ＬＶＳ内の領域とを結ぶ矢印で表示される。図１８に示すような態様でも、評価対象のパッチ画像６５の評価値６６の大きさを、他の評価対象であるパッチ画像６５と比較可能な態様で表示することが可能である。
　以上説明したように、本開示の技術に係る画像処理装置１０は、プロセッサ３６を備えており、推定モデル４１（機械学習モデルの一例）を用いて、被検体２の組織標本が写された標本画像１５を細分化したパッチ画像６５（組織画像の一例）の形態的特徴に応じた評価値６６を推定する画像処理装置である。推定モデル４１は、それぞれが、学習に用いられる複数のパッチ画像６５Ｌ（学習用組織画像の一例）を含む複数の組織画像セットＴＤＳにより学習が行われる。複数の組織画像セットＴＤＳには、パッチ画像６５Ｌの形態的特徴に基づく相対的な序列であって、組織画像セットＴＤＳのそれぞれの内部におけるパッチ画像６５Ｌ間の相対的な序列が、教師情報として付与されている。学習は、パッチ画像６５Ｌの形態的特徴に応じた評価値６６を推定モデル４１に推定させ、推定させた評価値６６を、パッチ画像６５Ｌが帰属する組織画像セットＴＤＳにおいて付与された相対的な序列に適合させる学習である。プロセッサ３６は、評価値６６が未知のパッチ画像６５を評価対象として取得する取得処理と、学習が行われた学習済みの推定モデル４１を用い、取得した評価対象の評価値６６を推定する推定処理と、を実行する。
　これにより、組織画像の形態的特徴に応じた評価値を推定する機械学習モデルを用いる場合において、機械学習モデルの学習データを作成する際の作業負荷を、従来と比べて軽減することができる。
　上述したとおり、複数種類の形態異常に応じた評価値を推定する推定モデル４１のような機械学習モデルを学習させる場合において、従来の学習データの作成方法としては、統一的な尺度で形態異常の異常度を序列化し、序列化した異常度に対応するアノテーションを組織画像に付与するといった方法がある。しかし、形態異常の種類は多様であり、このような多様な形態異常の分類および識別には専門的な知見が必要である。また、人によって異常度の判断基準にもばらつきが生じる。そのため、すべての形態異常の異常度を統一的な尺度で分類および識別することは、判断の正確性および統一性の観点で非常に難しい。特に、形態異常の知見に乏しい作業者がアノテーションを行う場合は困難を極める。また、学習データとして非常に多くの組織画像が必要となるため、アノテーション作業の対象の組織画像の数も多くなる。このように多数の組織画像について、形態異常を詳細に見ながら、正確に形態異常の分類および識別を行っていく作業は、作業量としても膨大となる。このように、従来の学習データの作成方法は、アノテーション作業の作業負荷が質的にも量的にも大きいという問題があった。
　本開示の技術に係る画像処理装置１０では、教師情報であるラベルＬＢとして付与するのは、組織画像セットＴＤＳ内の相対的な序列であり、統一的な尺度で分類および識別が必要な異常度そのものではない。そのため、アノテーション作業においては、主要な形態的特徴に着目するだけで済む。そのため、従来と比較して、アノテーション作業の作業負荷を軽減することができる。
　こうした効果をより具体的に説明すると次のとおりである。アノテーション作業者が、パッチ画像６５Ｌを見て、異常度に応じたラベルＬＢを付与する作業を考える。この場合、アノテーション作業者が、異常度を判断する拠り所の一つとして、例えば、毒性試験のレポートがある。レポートには、評価対象の組織画像とともに、試験毎に病理医が考える主要な異常所見のみが記載される場合が多い。例えば、図１９に示すレポート７６は、「壊死」が主要な異常所見であるため、「壊死が認められる」といった主要な異常所見のみが記載されている。しかし、レポート７６に記載されている肝臓標本ＬＶＳには、「壊死」の他にも「細胞浸潤」等の異常所見が存在する場合がある。この場合、アノテーション作業者は、肝臓標本ＬＶＳが写る標本画像１５を細分化したパッチ画像６５Ｌにおいて、主要な異常所見の「壊死」が認められるパッチ画像６５Ｌに対しては、「壊死」に対応する異常度のラベルを付与する。一方、「細胞浸潤」についてはレポート７６に記載されていないため、「細胞浸潤」が認められるパッチ画像６５Ｌについては何のラベルも付与しない。従来の学習データにおいは、すべての形態異常について異なるラベルが付与されていないと、有効な学習処理を行うことができないため、形態異常の見落としがあると、有効な学習処理を行うことができない。
　これに対して、本開示の技術に係る画像処理装置１０においては、例えば、レポート７６の記載を根拠に、主要な異常所見である「壊死」が認められるパッチ画像６５Ｌに対して、相対的に優位な序列を示す「２」のラベルＬＢを付与する。そして、それ以外のパッチ画像６５Ｌに対しては、相対的に劣後する序列を示す「１」のラベルＬＢを付与する。つまり、本開示の技術に係る画像処理装置１０においては、主要な異常所見以外の形態異常については見落としがあっても許容される。そのため、アノテーション作業の作業負荷は質的にも量的にも軽減される。
　学習においては、図１０～図１２で示したとおり、ラベルＬＢが示す序列に評価値６６が適合するように学習を行わせる。これにより、図１３で示したとおり、推定モデル４１は、評価対象の組織画像の一例であるパッチ画像６５の評価値６６として、組織画像セットＴＤＳ内の組織画像の一例であるパッチ画像６５Ｌ間においても比較可能な評価値６６を推定することが可能となる。要するに、本開示の技術は、従来の学習データの作成方法と比較して不完全なラベルＬＢを有する学習データを用いて、機械学習モデルを学習させる弱教師有り学習を行うことにより、学習データを作成する際の作業負荷の軽減という効果を得ている。
　また、上記実施形態では、複数の組織画像セットＴＤＳのそれぞれには、相対的な序列が異なるパッチ画像６５Ｌ（組織画像の一例）が少なくとも１枚ずつ含まれている。例えば、各組織画像セットＴＤＳには、「２」のラベルＬＢと「１」のラベルＬＢのパッチ画像６５Ｌが少なくとも１枚ずつ含まれている。そのため、相対的な序列が同じパッチ画像６５Ｌ（組織画像の一例）しか含まれない組織画像セットＴＤＳを学習に用いる場合と比べて、学習効率が向上する。
　また、上記実施形態では、１つの組織画像セットＴＤＳ内において、相対的な序列は２段階である。そのため、相対的な序列が３段階以上ある場合と比較して、ラベルＬＢ（教師情報の一例）を付与しやすい。
　なお、上記実施形態では、２段階の序列の一方に「２」のラベルＬＢを付与し、他方に「１」のラベルＬＢを付与する例で説明した。しかし、２段階の序列の場合は、例えば、一方に「２」のラベルＬＢを付与し、他方はラベルＬＢを省略するといった態様も可能である。こうすれば、序列が異なるパッチ画像６５の一方にのみラベルＬＢを付与すれば済むため、アノテーション作業の作業負荷をより軽減することができる。
　また、上記実施形態では、２段階の序列は、パッチ画像６５Ｌ（組織画像の一例）が、上述した試験毎の主要な異常所見を含むか否かで区別される。そのため、例えば、アノテーション作業において、図１９に示したような主要な異常所見しか記載されていないレポート７６を根拠にして、ラベルＬＢ（教師情報の一例）を付与しやすい。
　複数の組織画像セットＴＤＳのそれぞれは、１つの試験が実施された１つ以上の被検体Ｓに由来する異なる２つ以上の肝臓標本ＬＶＳ（組織標本の一例）をそれぞれ写した２枚以上の標本画像１５から分割された複数のパッチ画像６５Ｌ（組織画像の一例）が混在する。複数の組織標本に対する形態異常の推定が行われるため、未知の組織標本の形態異常の推定に対する汎化性能が向上する場合がある。
　また、上記実施形態では、標本画像１５は、肝臓標本ＬＶＳ（組織標本の一例）として、被検体Ｓに投与される候補物質１１（物質の一例）の薬効および毒性の少なくとも１つを評価する試験に用いられた肝臓標本ＬＶＳを写した画像である。このため、創薬における試験の評価における形態異常の推定性能が向上する。
　また、上記実施形態において、標本画像１５は、候補物質１１（物質の一例）が投与された被検体Ｓの肝臓標本ＬＶＳ（組織標本の一例）を写した投与群由来の標本画像１５（第１標本画像の一例）と、候補物質１１が投与されていない被検体Ｓの肝臓標本ＬＶＳ（組織標本の一例）を写した対照群由来の標本画像１５（第２標本画像の一例）とを含み、複数の組織画像セットＴＤＳのそれぞれは、投与群由来の標本画像１５から分割されたパッチ画像６５Ｌ（組織画像の一例）と、対照群由来の標本画像１５から分割されたパッチ画像６５Ｌ（組織画像の一例）とを含む。このように組織画像セットには、投与群由来の組織画像と対照群由来の組織画像とが含まれているため、物質の薬効または毒性に起因する形態異常の学習を効率的に行うことができる。
　また、上記実施形態において、複数の組織画像セットＴＤＳのそれぞれは、試験の種類が異なる複数の試験グループのいずれかに帰属する画像セットである。このため、複数の試験において認められる多様な形態異常の評価が可能となる。
　また、上記実施形態において、形態的特徴に基づく相対的な序列は、形態的特徴の一例である形態異常の異常度である。形態異常の異常度は、毒性試験等の試験において一般的に注目される指標である。そのため、このような異常度を表す評価値６６を推定することは有用性が高い。
　なお、形態的特徴に基づく相対的な序列は、異常度の他に、例えば、形態的特徴を有する病変の重篤度、または病変の進行度などでもよい。病変の重篤度および進行度も、試験において注目される指標であるため、重篤度または進行度を表す評価値６６を推定しても、有用性が高い。
　また、上記実施形態において、プロセッサ３６は、パッチ画像６５（評価対象の組織画像の一例）について推定した評価値６６に基づく評価結果を出力する。このような出力機能を有しているため、画像処理装置１０と別に出力装置を用意しなくて済む。なお、出力の態様としては、ディスプレイへの表示およびファイルへの出力の他、画像処理装置１０がサーバである場合は、クライアント端末への配信等を含む。
　また、上記実施形態において、プロセッサ３６は、評価結果として、パッチ画像６５（評価対象の組織画像の一例）について、評価値６６の大きさを他のパッチ画像６５と比較可能な態様で出力する。上記実施形態では、図１６に示したように、ヒートマップＨＭＰの態様で出力したり、図１８に示したようにパッチ画像６５を、異常度を表す評価値６６の順番で並べた態様で出力している。このため、評価値６６が異なるパッチ画像６５の識別がしやすい。
　また、上記実施形態において、パッチ画像６５（評価対象の一例）が、１つの標本画像１５から分割された複数の画像である場合において、プロセッサ３６は、評価結果として、ヒートマップＨＭＰを一例として示したように、標本画像１５において複数のパッチ画像６５に対応する領域毎の評価値６６の大きさを識別可能な態様で出力する。これにより、標本画像１５内において評価値６６が異なる領域の識別がしやすい。なお、評価値６６の大きさを識別可能な態様として、色の濃淡で評価値６６の違いを表すヒートマップＨＭＰを示したが、色の濃淡ではなく、例えば評価値６６の数値を領域毎に割り当てて表示する態様でもよい。
　また、上記実施形態では、図１６および図１７に示したように、プロセッサ３６は、領域毎の評価値６６の大きさを色の濃淡で識別可能で、かつ、標本画像１５に重畳可能なヒートマップＨＭＰを生成する。図１７に示すように、ヒートマップＨＭＰは、標本画像１５の肝臓標本ＬＶＳと重畳表示させることが可能である。このため、標本画像１５の肝臓標本ＬＶＳ等において評価値６６が異なる領域の認識がしやすい。なお、ヒートマップＨＭＰを標本画像１５と重畳させる代わりに、並列的に表示してもよい。並列的に表示しても、標本画像１５の肝臓標本ＬＶＳ内の領域毎の評価値６６の大きさを識別することが可能である。
　（変形例１）
　また、上記実施形態では、図９に示したように、教師情報としての相対的な序列の例として、２段階の序列の例で説明したが、図２０に示すように、相対的な序列は、３段階以上でもよい。図２０に示す例では、形態異常の異常度に応じて、「３」、「２」、および「１」、の３つのラベルＬＢが付与されている。変形例１においても、相対的な序列は数字が大きい方が優位である。
　また、臓器は例示の肝臓等に限らない。胃、肺、小腸、または大腸等でもよい。また、被検体Ｓはラットに限らない。マウス、モルモット、砂ネズミ、ハムスター、フェレット、ウサギ、イヌ、ネコ、あるいはサル等でもよい。
　画像処理装置１０は、図１で示したように医薬開発施設に設置されたパーソナルコンピュータであってもよいし、医薬開発施設からは独立したデータセンターに設置されたサーバコンピュータであってもよい。
　画像処理装置１０をサーバコンピュータで構成する場合は、インターネット等のネットワークを介して、各医薬開発施設に設置されたパーソナルコンピュータからサーバコンピュータに、標本画像１５を送信してもらう。サーバコンピュータは、例えばＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）等のマークアップ言語によって作成されるウェブ配信用の画面データの形式で、表示画面７１等の各種画面をパーソナルコンピュータに配信する。パーソナルコンピュータは、画面データに基づきウェブブラウザ上に表示する画面を再現し、これをディスプレイに表示する。なお、ＸＭＬに代えて、ＪＳＯＮ（Ｊａｖａｓｃｒｉｐｔ（登録商標）　Ｏｂｊｅｃｔ　Ｎｏｔａｔｉｏｎ）等の他のデータ記述言語を利用してもよい。
　本開示の技術に係る画像処理装置１０は、最初期段階である創薬ターゲットの設定から最終段階の臨床試験まで、医薬の開発の全段階にわたって幅広く用いることができる。
　本開示の技術に係る画像処理装置１０を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、画像処理装置１０を、処理能力および信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。例えば、プロセッサ３６の機能とを、２台のコンピュータに分散して担わせる。この場合は２台のコンピュータで画像処理装置１０を構成する。
　このように、画像処理装置１０のコンピュータのハードウェア構成は、処理能力、安全性、および信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム４０等のアプリケーションプログラムについても、安全性および信頼性の確保を目的として、二重化したり、あるいは、複数のストレージに分散して格納することももちろん可能である。
　上記各実施形態において、プロセッサ３６といった各種の処理を実行する処理部（Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）のハードウェア的な構造としては、次に示す各種のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（作動プログラム４０）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ３２に加えて、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ:ＰＬＤ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、および／または、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ　Ｏｎ　Ｃｈｉｐ:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（ｃｉｒｃｕｉｔｒｙ）を用いることができる。
　以上の記載から、下記の付記項に記載の技術を把握することができる。
　［付記項１］
　プロセッサを備えており、機械学習モデルを用いて、被検体の組織標本が写された標本画像を細分化した組織画像の形態的特徴に応じた評価値を推定する画像処理装置であって、
　機械学習モデルは、それぞれが、学習に用いられる組織画像である複数の学習用組織画像を含む複数の組織画像セットにより学習が行われ、複数の組織画像セットには、学習用組織画像の形態的特徴に基づく相対的な序列であって、組織画像セットのそれぞれの内部における学習用組織画像間の相対的な序列が、教師情報として付与されており、
　学習は、学習用組織画像の形態的特徴に応じた評価値を機械学習モデルに推定させ、推定させた評価値を、学習用組織画像が帰属する組織画像セットにおいて付与された相対的な序列に適合させる学習であり、
　プロセッサは、
　評価値が未知の組織画像を評価対象として取得する取得処理と、
　学習が行われた学習済みの機械学習モデルを用い、取得した評価対象の評価値を推定する推定処理と、を実行する、
　画像処理装置。
　［付記項２］
　複数の組織画像セットのそれぞれには、相対的な序列が異なる組織画像が少なくとも１枚ずつ含まれている、
　付記項１に記載の画像処理装置。
　［付記項３］
　１つの組織画像セット内において、相対的な序列は２段階である、
　付記項２に記載の画像処理装置。
　［付記項４］
　複数の組織画像セットの少なくとも１つは、１つ以上の被検体に由来する異なる２つ以上の組織標本をそれぞれ写した２枚以上の標本画像から分割された複数の学習用組織画像が混在する画像セットである、
　付記項１～付記項３のいずれか１項に記載の画像処理装置。
　［付記項５］
　標本画像は、組織標本として、被検体に投与される物質の薬効および毒性の少なくとも１つを評価する試験に用いられた組織標本を写した画像である、
　付記項４に記載の画像処理装置。
　［付記項６］
　標本画像は、物質が投与された被検体の組織標本を写した第１標本画像と、物質が投与されていない被検体の組織標本を写した第２標本画像とを含み、
　複数の組織画像セットのそれぞれは、学習用組織画像として、第１標本画像から分割された第１学習用組織画像と、第２標本画像から分割された第２学習用組織画像とを含む、
　付記項５に記載の画像処理装置。
　［付記項７］
　複数の組織画像セットのそれぞれは、１つの試験が実施された１つの被検体に由来する複数の学習用組織画像のみによって構成される、
　付記項６に記載の画像処理装置。
　［付記項８］
　２段階の序列は、被検体に投与される物質の薬効および毒性の少なくとも１つを評価する試験毎の主要な異常所見を、学習用組織画像が含むか否かで区別される、
　付記項７に記載の画像処理装置。
　［付記項９］
　形態的特徴に基づく相対的な序列は、形態的特徴の異常度、形態的特徴を有する病変の重篤度、および病変の進行度のうちのいずれかに基づいて与えられる、
　付記項１～付記項９のうちのいずれか１項に記載の画像処理装置。
　［付記項１０］
　プロセッサは、評価対象について推定した評価値に基づく評価結果を出力する、
　付記項１～付記項９のうちのいずれか１項に記載の画像処理装置。
　［付記項１１］
　プロセッサは、評価結果として、評価対象の評価値の大きさを他の評価対象と比較可能な態様で出力する、
　付記項１０に記載の画像処理装置。
　［付記項１２］
　評価対象が、１つの標本画像から分割された複数の画像である場合において、
　プロセッサは、評価結果として、標本画像において複数の評価対象に対応する領域毎の評価値の大きさを識別可能な態様で出力する、
　付記項１１に記載の画像処理装置。
　［付記項１３］
　プロセッサは、領域毎の評価値の大きさを色の濃淡で識別可能で、かつ標本画像に重畳可能なヒートマップを生成する
　付記項１２に記載の画像処理装置。
　［付記項１４］
　プロセッサを備えており、機械学習モデルを用いて、被検体の組織標本が写された標本画像を細分化した組織画像の形態的特徴に応じた評価値を推定する画像処理装置の作動方法であって、
　機械学習モデルは、それぞれが、学習に用いられる組織画像である複数の学習用組織画像を含む複数の組織画像セットにより学習が行われ、複数の組織画像セットには、学習用組織画像の形態的特徴に基づく相対的な序列であって、組織画像セットのそれぞれの内部における学習用組織画像間の相対的な序列が、教師情報として付与されており、
　学習は、学習用組織画像の形態的特徴に応じた評価値を機械学習モデルに推定させ、推定させた評価値を、学習用組織画像が帰属する組織画像セットにおいて付与された相対的な序列に適合させる学習であり、
　プロセッサは、
　評価値が未知の組織画像を評価対象として取得する取得処理と、
　学習が行われた学習済みの機械学習モデルを用い、取得した評価対象の評価値を推定する推定処理と、を実行する、
　画像処理装置の作動方法。
　［付記項１５］
　プロセッサを備えており、機械学習モデルを用いて、被検体の組織標本が写された標本画像を細分化した組織画像の形態的特徴に応じた評価値を推定する画像処理装置としてコンピュータを機能させる画像処理装置の作動プログラムであって、
　機械学習モデルは、それぞれが、学習に用いられる組織画像である複数の学習用組織画像を含む複数の組織画像セットにより学習が行われ、複数の組織画像セットには、学習用組織画像の形態的特徴に基づく相対的な序列であって、組織画像セットのそれぞれの内部における学習用組織画像間の相対的な序列が、教師情報として付与されており、
　学習は、学習用組織画像の形態的特徴に応じた評価値を機械学習モデルに推定させ、推定させた評価値を、学習用組織画像が帰属する組織画像セットにおいて付与された相対的な序列に適合させる学習であり、
　評価値が未知の組織画像を評価対象として取得する取得処理と、
　学習が行われた学習済みの機械学習モデルを用い、取得した評価対象の評価値を推定する推定処理と、をコンピュータに実行させる、
　画像処理装置の作動プログラム。
　［付記項１６］
　プロセッサを備えており、被検体の組織標本が写された標本画像を細分化した組織画像の形態的特徴に応じた評価値を推定する機械学習モデルを学習させる学習装置であって、
　機械学習モデルは、それぞれが、学習に用いられる組織画像である複数の学習用組織画像を含む複数の組織画像セットにより学習が行われ、複数の組織画像セットには、学習用組織画像の形態的特徴に基づく相対的な序列であって、組織画像セットのそれぞれの内部における学習用組織画像間の相対的な序列が、教師情報として付与されており、
　学習は、学習用組織画像の形態的特徴に応じた評価値を機械学習モデルに推定させ、推定させた評価値を、学習用組織画像が帰属する組織画像セットにおいて付与された相対的な序列に適合させる学習である、
　学習装置。
　本開示の技術は、上述の種々の実施形態および／または種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
　以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａおよび／またはＢ」は、「ＡおよびＢのうちの少なくとも１つ」と同義である。つまり、「Ａおよび／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、ＡおよびＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「および／または」で結び付けて表現する場合も、「Ａおよび／またはＢ」と同様の考え方が適用される。
　２０２３年５月１日に出願された日本国特許出願２０２３-０７５８５５号の開示は、その全体が参照により本明細書に取り込まれる。また、本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (16)

  1. 　プロセッサを備えており、機械学習モデルを用いて、被検体の組織標本が写された標本画像を細分化した組織画像の形態的特徴に応じた評価値を推定する画像処理装置であって、
    　前記機械学習モデルは、それぞれが、学習に用いられる前記組織画像である複数の学習用組織画像を含む複数の組織画像セットにより学習が行われ、複数の前記組織画像セットには、前記学習用組織画像の前記形態的特徴に基づく相対的な序列であって、前記組織画像セットのそれぞれの内部における前記学習用組織画像間の相対的な序列が、教師情報として付与されており、
    　前記学習は、前記学習用組織画像の前記形態的特徴に応じた評価値を前記機械学習モデルに推定させ、推定させた前記評価値を、前記学習用組織画像が帰属する前記組織画像セットにおいて付与された前記相対的な序列に適合させる学習であり、
    　前記プロセッサは、
    　前記評価値が未知の前記組織画像を評価対象として取得する取得処理と、
    　前記学習が行われた学習済みの前記機械学習モデルを用い、取得した前記評価対象の前記評価値を推定する推定処理と、を実行する、
    　画像処理装置。
  2. 　複数の前記組織画像セットのそれぞれには、前記相対的な序列が異なる前記学習用組織画像が少なくとも１枚ずつ含まれている、
    　請求項１に記載の画像処理装置。
  3. 　１つの前記組織画像セット内において、前記相対的な序列は２段階である、
    　請求項２に記載の画像処理装置。
  4. 　複数の前記組織画像セットの少なくとも１つは、１つ以上の前記被検体に由来する異なる２つ以上の前記組織標本をそれぞれ写した２枚以上の前記標本画像から分割された複数の前記学習用組織画像が混在する画像セットである、
    　請求項１に記載の画像処理装置。
  5. 　前記標本画像は、前記組織標本として、前記被検体に投与される物質の薬効および毒性の少なくとも１つを評価する試験に用いられた組織標本を写した画像である、
    　請求項４に記載の画像処理装置。
  6. 　前記標本画像は、前記物質が投与された前記被検体の前記組織標本を写した第１標本画像と、前記物質が投与されていない前記被検体の前記組織標本を写した第２標本画像とを含み、
    　複数の前記組織画像セットのそれぞれは、前記学習用組織画像として、前記第１標本画像から分割された第１学習用組織画像と、前記第２標本画像から分割された第２学習用組織画像とを含む、
    　請求項５に記載の画像処理装置。
  7. 　複数の前記組織画像セットのそれぞれは、１つの前記試験が実施された１つ以上の前記被検体に由来する複数の前記学習用組織画像のみによって構成される、
    　請求項６に記載の画像処理装置。
  8. 　１つの前記組織画像セット内において、前記相対的な序列は２段階であり、
    　前記２段階の序列は、前記試験毎の主要な異常所見を、前記学習用組織画像が含むか否かで区別される、
    　請求項７に記載の画像処理装置。
  9. 　前記形態的特徴に基づく相対的な序列は、前記形態的特徴の異常度、前記形態的特徴を有する病変の重篤度、および前記病変の進行度のうちのいずれかに基づいて与えられる、
    　請求項１に記載の画像処理装置。
  10. 　前記プロセッサは、前記評価対象について推定した前記評価値に基づく評価結果を出力する、
    　請求項１に記載の画像処理装置。
  11. 　前記プロセッサは、前記評価結果として、前記評価対象の前記評価値の大きさを他の評価対象と比較可能な態様で出力する、
    　請求項１０に記載の画像処理装置。
  12. 　前記評価対象が、１つの標本画像から分割された複数の画像である場合において、
    　前記プロセッサは、前記評価結果として、標本画像において複数の前記評価対象に対応する領域毎の前記評価値の大きさを識別可能な態様で出力する、
    　請求項１０に記載の画像処理装置。
  13. 　前記プロセッサは、前記領域毎の前記評価値の大きさを色の濃淡で識別可能で、かつ前記標本画像に重畳可能なヒートマップを生成する
    　請求項１２に記載の画像処理装置。
  14. 　プロセッサを備えており、機械学習モデルを用いて、被検体の組織標本が写された標本画像を細分化した組織画像の形態的特徴に応じた評価値を推定する画像処理装置の作動方法であって、
    　前記機械学習モデルは、それぞれが、学習に用いられる前記組織画像である複数の学習用組織画像を含む複数の組織画像セットにより学習が行われ、複数の前記組織画像セットには、前記学習用組織画像の前記形態的特徴に基づく相対的な序列であって、前記組織画像セットのそれぞれの内部における前記学習用組織画像間の相対的な序列が、教師情報として付与されており、
    　前記学習は、前記学習用組織画像の前記形態的特徴に応じた評価値を前記機械学習モデルに推定させ、推定させた前記評価値を、前記学習用組織画像が帰属する前記組織画像セットにおいて付与された前記相対的な序列に適合させる学習であり、
    　前記プロセッサは、
    　前記評価値が未知の前記組織画像を評価対象として取得する取得処理と、
    　前記学習が行われた学習済みの前記機械学習モデルを用い、取得した前記評価対象の前記評価値を推定する推定処理と、を実行する、
    　画像処理装置の作動方法。
  15. 　プロセッサを備えており、機械学習モデルを用いて、被検体の組織標本が写された標本画像を細分化した組織画像の形態的特徴に応じた評価値を推定する画像処理装置としてコンピュータを機能させる画像処理装置の作動プログラムであって、
    　前記機械学習モデルは、それぞれが、学習に用いられる前記組織画像である複数の学習用組織画像を含む複数の組織画像セットにより学習が行われ、複数の前記組織画像セットには、前記学習用組織画像の前記形態的特徴に基づく相対的な序列であって、前記組織画像セットのそれぞれの内部における前記学習用組織画像間の相対的な序列が、教師情報として付与されており、
    　前記学習は、前記学習用組織画像の前記形態的特徴に応じた評価値を前記機械学習モデルに推定させ、推定させた前記評価値を、前記学習用組織画像が帰属する前記組織画像セ
    ットにおいて付与された前記相対的な序列に適合させる学習であり、
    　前記評価値が未知の前記組織画像を評価対象として取得する取得処理と、
    　前記学習が行われた学習済みの前記機械学習モデルを用い、取得した前記評価対象の前記評価値を推定する推定処理と、を前記コンピュータに実行させる、
    　画像処理装置の作動プログラム。
  16. 　プロセッサを備えており、被検体の組織標本が写された標本画像を細分化した組織画像の形態的特徴に応じた評価値を推定する機械学習モデルを学習させる学習装置であって、
    　前記機械学習モデルは、それぞれが、学習に用いられる前記組織画像である複数の学習用組織画像を含む複数の組織画像セットにより学習が行われ、複数の前記組織画像セットには、前記学習用組織画像の前記形態的特徴に基づく相対的な序列であって、前記組織画像セットのそれぞれの内部における前記学習用組織画像間の相対的な序列が、教師情報として付与されており、
    　前記学習は、前記学習用組織画像の前記形態的特徴に応じた評価値を前記機械学習モデルに推定させ、推定させた前記評価値を、前記学習用組織画像が帰属する前記組織画像セットにおいて付与された前記相対的な序列に適合させる学習である、
    　学習装置。
PCT/JP2024/016298 2023-05-01 2024-04-25 画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム、並びに学習装置 WO2024228362A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-075855 2023-05-01
JP2023075855 2023-05-01

Publications (1)

Publication Number Publication Date
WO2024228362A1 true WO2024228362A1 (ja) 2024-11-07

Family

ID=93333012

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/016298 WO2024228362A1 (ja) 2023-05-01 2024-04-25 画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム、並びに学習装置

Country Status (1)

Country Link
WO (1) WO2024228362A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022015819A1 (en) * 2020-07-15 2022-01-20 Genentech, Inc. Assessing heterogeneity of features in digital pathology images using machine learning techniques
WO2022170235A1 (en) * 2021-02-08 2022-08-11 Cdx Medical Ip, Inc. Dynamically prioritizing, organizing and displaying cells and tissue in order of their diagnostic significance

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022015819A1 (en) * 2020-07-15 2022-01-20 Genentech, Inc. Assessing heterogeneity of features in digital pathology images using machine learning techniques
WO2022170235A1 (en) * 2021-02-08 2022-08-11 Cdx Medical Ip, Inc. Dynamically prioritizing, organizing and displaying cells and tissue in order of their diagnostic significance

Similar Documents

Publication Publication Date Title
US11935644B2 (en) Deep learning automated dermatopathology
US20240062376A1 (en) Systems and methods for processing electronic images to detect contamination in specimen preparations
US20220366619A1 (en) Systems and methods to process electronic images to adjust attributes of the electronic images
WO2021095037A2 (en) Method and apparatus for visualization of bone marrow cell populations
Appan K et al. Retinal image synthesis for cad development
WO2023172912A1 (en) Systems and methods to process electronic images for model selection
Holzhüter et al. Visualizing uncertainty in biological expression data
US20230022030A1 (en) Systems and methods for processing images for image matching
WO2024228362A1 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム、並びに学習装置
CN113496484A (zh) 病理切片图像处理方法、电子设备及存储介质
US20240105314A1 (en) Method and apparatus for outputting information related to a pathological slide image
US20230010654A1 (en) Systems and methods to process electronic images to provide blur robustness
CA3216960A1 (en) Systems and methods to process electronic images to adjust stains in electronic images
Sharma et al. Cotton Crop Disease Detection System Using Deep Learning Approach
Alkrimi et al. Using knowledge discovery to enhance classification techniques for detect malaria-infected red blood cells
US20240212146A1 (en) Method and apparatus for analyzing pathological slide images
US20250022131A1 (en) Drug discovery support apparatus, method for operating drug discovery support apparatus, and program for operating drug discovery support apparatus
WO2025041681A1 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム
Lyashenko et al. Wavelet Ideology and Morphological Operations for Analyzing RGB Images of Cytological Preparations
US20240378866A1 (en) Cell nuclei classification with artifact area avoidance
EP4207095A1 (en) System and method for similarity learning in digital pathology
WO2024096013A1 (ja) 組織切片厚さ推定装置、組織切片厚さ評価装置、組織切片厚さ推定方法、組織切片厚さ推定プログラムおよび記録媒体
Latha et al. Skin Cancer Classification using ConvNET
Qaid et al. Segmentation of Diabetic Retinopathy Using Entropy-Based Thresholding-A Review
Levy et al. PathFlowAI: A convenient high-throughput workflow for preprocessing, deep learning analytics and interpretation in digital pathology

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24800093

Country of ref document: EP

Kind code of ref document: A1