RU2122733C1

RU2122733C1 - Device for automated classification of blood corpuscles

Info

Publication number: RU2122733C1
Application number: RU96108566/14A
Authority: RU
Inventors: Г.Д. Ашуров; В.А. Балабуткин; зов А.Ю. В; А.Ю. Вязов; В.Ю. Елизарьев; шук Б.Г. Иль; Б.Г. Ильяшук; Г.И. Козинец; Л.Б. Строгонова
Original assignee: Московский государственный институт электронной техники (технический университет); Малое внедренческое предприятие "Аист"
Priority date: 1996-04-26
Filing date: 1996-04-26
Publication date: 1998-11-27

Abstract

FIELD: hematology. SUBSTANCE: device contains connected in-series optic microscope, color TV camera, and analog-numerical converter, output of which is connected with the first input of time storage device, which, in turn, is connected with external disk storage device. The two storage devices are linked to microcomputer connected with numerical- analogous converter. TV monitor, printing device, keyboard, and mover- control unit are also available. Mover-control unit is connected with (i) movers displacing slides along X and Y-axes and microscope-focusing mechanism and (ii) microcomputer. Additional equipment: display, videosignal binarization and encoding block, and cell nucleus area computation unit. The first display input is connected with microcomputer, the other with numerical-analogous converter output. One videosignal binarization and encoding block input is connected with analog-numerical converter output, and the other with microcomputer output; the first output with the second output of time storage device, and the second one with input of the cell nucleus area computation unit. Output of the latter is linked to microcomputer input. In addition, TV camera output is directly linked to TV monitor input. EFFECT: increased reliability of device. 2 dwg

Description

Изобретение относится к автоматическим гематологическим анализаторам. The invention relates to automatic hematological analyzers.

Известны устройства для автоматической классификации клеток крови по их изображению в сухих мазках с использованием телевизионной камеры и компьютера. Known devices for the automatic classification of blood cells by their image in dry smears using a television camera and computer.

Первое из известных устройств [1] содержит оптический микроскоп с автоматической фокусировкой, телекамеру с телевизионным монитором, аналого-цифровой преобразователь, блок выделения данных о специфике внешнего вида клеток крови, компьютер, память и дисплей. В данном устройстве компьютер классифицирует клетки на основе информации от блока выделения данных о специфике внешнего вида клетки и через память выносит на дисплей. The first known device [1] contains an optical microscope with automatic focusing, a television camera with a television monitor, an analog-to-digital converter, a unit for extracting data on the specific appearance of blood cells, a computer, memory, and display. In this device, the computer classifies cells on the basis of information from the data extraction unit about the specifics of the appearance of the cell and displays it through the memory.

Недостаток этого устройства состоит в низкой достоверности при распознавании клеток лейкоцитарного ряда сложной формы, поэтому его можно использовать только для автоматического выделения рекулоцитов. The disadvantage of this device is its low reliability in recognizing cells of a complex white blood cell series, therefore it can only be used for automatic isolation of reculocytes.

Известно также устройство [2], в котором кроме анализа изображения имеется система автоматического подсчета количества форменных элементов, содержащихся в определенном объеме отобранного и надлежащим образом разбавленного образца исследуемой крови. A device [2] is also known, in which, in addition to image analysis, there is a system for automatically counting the number of shaped elements contained in a certain volume of a selected and properly diluted sample of the test blood.

Наиболее близким к данному изобретению является устройство [3], содержащее оптический микроскоп с системой автоматической фокусировки, телевизионную камеру, аналого-цифровой и цифроаналоговый преобразователи, микрокомпьютер, временное запоминающее устройство, внешнее запоминающее устройство, телевизионный монитор, печатающее устройство и клавиатуру. Микрокомпьютер на основе информации из временного запоминающего устройства, где записан преобразованный в цифровую форму видеосигнал изображения, классифицирует клетки. Если при анализе обнаруживается неизвестная клетка или данных об изображении недостаточно для автоматического распознавания клетки, вводится команда для записи данных о клетке во внешнее запоминающее устройство с последующим преобразованием изображения из цифровой формы в аналоговый сигнал и передачей на экран телевизионного монитора для последующего распознавания врачом типа клетки и ввода его в компьютер через клавиатуру. Closest to this invention is a device [3] containing an optical microscope with an autofocus system, a television camera, analog-to-digital and digital-to-analog converters, a microcomputer, temporary storage device, an external storage device, a television monitor, a printing device, and a keyboard. A microcomputer based on information from a temporary storage device, where a digitally converted video signal of an image is recorded, classifies the cells. If an unknown cell is detected during the analysis or the image data is insufficient for automatic cell recognition, a command is entered to record the cell data into an external storage device, and then convert the image from a digital form to an analog signal and transfer it to a television monitor screen for subsequent recognition by the doctor of the cell type and entering it into the computer via the keyboard.

Недостатками устройства являются низкое быстродействие при анализе компьютером записанного во временное запоминающее устройство изображения клетки, а также низкая достоверность автоматической классификации клеток. Второе вызвано тем, что система автофокусировки микроскопа с использованием специального датчика обеспечивает сфокусированное изображение на основе интегрального анализа параметров изображения всех попавших в поле зрения микроскопа клеток крови. Так как в толщине монослоя мазка имеется некоторый разброс расположения клеток по его высоте, а статистически значимыми параметрами для системы фокусировки будут являться параметры изображения эритроцитов, то изображения клеток лейкоцитов могут оказаться недостаточно отфокусированным для проведения компьютером достоверной классификации без участия в этом процессе врача. The disadvantages of the device are the low speed when the computer analyzes the image of the cell recorded in the temporary storage device, as well as the low reliability of the automatic classification of cells. The second is due to the fact that the microscope autofocus system using a special sensor provides a focused image based on the integrated analysis of image parameters of all blood cells that have come into view of the microscope. Since there is a certain spread in the thickness of the smear monolayer of the cells by their height, and the parameters of the erythrocyte image will be statistically significant parameters for the focusing system, the images of leukocyte cells may not be sufficiently focused for the computer to carry out reliable classification without the participation of a doctor in this process.

Задача изобретения состоит в повышении быстродействия и достоверности автоматической классификации форменных элементов крови. The objective of the invention is to increase the speed and reliability of the automatic classification of blood cells.

Поставленная задача достигается тем, что в устройство, содержащее соединенные последовательно оптический микроскоп, телевизионную камеру и аналого-цифровой преобразователь, выход которого соединен с первым входом временного запоминающего устройства, которое соединено с внешним запоминающим устройством, при этом оба запоминающих устройства соединены с микрокомпьютером, который соединен с цифро-аналоговым преобразователем, а также телевизионный монитор, печатающее устройство, клавиатуру, блок управления двигателями, соединенный с двигателями перемещения предметного стола по осям X, Y и узла фокусировки микроскопа, а также с микрокомпьютером, введены дисплей, блок бинаризации и кодирования видеосигнала, блок вычисления площади ядра клеток, при этом первый вход дисплея соединен с микрокомпьютером, а второй - с выходом цифроаналогового преобразователя, один вход блока бинаризации и кодирования видеосигнала соединен с выходом аналого-цифрового преобразователя, а второй с выходом микрокомпьютера, первый вход - со вторым входом временного запоминающего устройства, а второй выход - со входом блока вычисления площади ядра клеток, выход которого соединен со входом микрокомпьютера, кроме того, выход телевизионной камеры непосредственно соединен со входом телевизионного монитора. The problem is achieved in that in a device containing an optical microscope connected in series, a television camera and an analog-to-digital converter, the output of which is connected to the first input of a temporary storage device that is connected to an external storage device, while both storage devices are connected to a microcomputer, which connected to a digital-to-analog converter, as well as a television monitor, printing device, keyboard, engine control unit, connected to The table, the binarization and coding unit of the video signal, the unit for calculating the area of the cell nucleus, the first input of the display is connected to the microcomputer, and the second to the output of the digital-to-analog converter , one input of the binarization and coding unit of the video signal is connected to the output of the analog-to-digital converter, and the second to the output of the microcomputer, the first input to the second input of the temporary storage device, and the second second output - to the input of calculating unit cell nucleus area, whose output is connected to the input of a microcomputer, furthermore, the television camera output is directly coupled to the input of a television monitor.

В известных на сегодня устройствах для автоматической классификации форменных элементов крови неизвестно применение блока бинаризации и кодирования видеосигнала, а также блока вычисления площади ядра клеток, а также вновь введенных связей, поэтому авторы считают, что предлагаемое устройство соответствует критерию технического уровня. In currently known devices for the automatic classification of blood cells, the use of a block of binarization and video coding, as well as a block for calculating the area of the nucleus of cells, as well as newly introduced connections, is unknown, therefore, the authors believe that the proposed device meets the criterion of a technical level.

На фиг. 1 представлена структурная блок-схема предлагаемого устройства. In FIG. 1 presents a structural block diagram of the proposed device.

На фиг. 2 представлена структурная блок-схема блока бинаризации и кодирования видеосигнала. In FIG. 2 is a structural block diagram of a binarization and video coding unit.

Устройство содержит (см. фиг. 1) оптический микроскоп 1, цветную телевизионную камеру 2, двигатели перемещения предметного стола по осям X, Y и узла фокусировки микроскопа 3, блок управления двигателями 4, аналого-цифровой преобразователь (АЦП) 5, блок бинаризации и кодирования видеосигнала 6, временное запоминающее устройство (временное ЗУ) 7, блок вычисления площади ядра клетки 8, микрокомпьютер 9, цифроаналоговый преобразователь (ЦАП) 10, дисплей 11, печатающее устройство 12, телевизионный монитор 13, внешнее дисковое запоминающее устройство (внешнее ЗУ) 14, клавиатуру 15. The device contains (see Fig. 1) an optical microscope 1, a color television camera 2, motors for moving the object table along the X, Y axes and the focusing unit of the microscope 3, an engine control unit 4, an analog-to-digital converter (ADC) 5, a binarization unit, and video encoding 6, temporary storage device (temporary memory) 7, cell core area calculating unit 8, microcomputer 9, digital-to-analog converter (DAC) 10, display 11, printing device 12, television monitor 13, external disk storage device (external e memory) 14, a keyboard 15.

Предлагаемое устройство работает следующим образом. Сухой окрашенный мазок крови помещается на предметный стол оптического микроскопа 1. Изображение клеток крови через оптическую систему микроскопа передается на матрицу твердотельной цветной телевизионной камеры 2. Аналоговый видеосигнал изображения с выхода телевизионной камеры 2 поступает для визуального наблюдения текущего фрагмента мазка на телевизионный монитор 13 и вход АЦП 5. В АЦП 5 преобразуются в цифровую форму сигналы каждой составляющей сигнала изображения (яркостной, цветоразностных красной и синей), а также выделяются кадровый и строчный синхроимпульсы. Видеосигналы в цифровой форме и синхроимпульсы поступают на вход блока бинаризации и кодирования видеосигнала 6. The proposed device operates as follows. A dry stained blood smear is placed on the object table of an optical microscope 1. The image of blood cells through the optical system of the microscope is transmitted to the matrix of a solid-state color television camera 2. The analog video signal from the output of the television camera 2 is supplied for visual observation of the current fragment of the smear to the television monitor 13 and the ADC input 5. In ADC 5, the signals of each component of the image signal (luminance, color difference red and blue) are converted to digital form, and the frame is also highlighted New, and horizontal sync. Video signals in digital form and clock pulses are fed to the input of the binarization unit and the encoding of the video signal 6.

Блок бинаризации и кодирования видеосигнала (см. фиг. 2) содержит три одинаковых двухуровневых цифровых компаратора 16, 17 и 18, генератор тактовых импульсов 19, счетчики координат точек телевизионного растра по оси X 20 и по оси Y 21, формирователь окна анализа 22, элемент И 23, селектор хорд 24. Блок работает следующим образом. На первые входы цифровых компараторов поступают цифровые видеосигналы яркостной и цветоразностных красной и синей составляющих видеосигнала соответственно. Через вторые входы микрокомпьютер записывает в компараторы значения верхнего и нижнего порогов для выделения в каждой составляющей видеосигнала заданного интервала яркости. Если условие нахождения в заданном интервале выполняется для данной точки телевизионного растра, то на выходе соответствующего компаратора появляется сигнал логической единицы, в противном - сигнал логического нуля. Генератор тактовых импульсов 19 предназначен для формирования отсчетов дискретизации телевизионного растра вдоль строки. Отсчитываемые счетчиками 20 и 21 координаты точек растра подаются на первый вход формирователя окна, на второй вход которого микрокомпьютер передает координаты окна анализа на телевизионном растре. Выходы всех компараторов и формирователя окна соединены со входами элемента И 23. Таким образом, логическая единица на его выходе будет соответствовать точке изображения, имеющей определенную уровнями бинаризации окраску и лежащую в заданной окном области телевизионного растра. Так как сигнал изображения с телевизионной камеры формируется строка за строкой, полученное бинарное изображение структурной составляющей клетки представляет последовательность отрезков - хорд. Сигнал бинарного изображения поступает на второй выход блока бинаризации и кодирования, а также на вход селектора хорд 24. На второй выход блока поступают также импульсы с выхода генератора тактовых импульсов 19. Формируемые селектором сигналы признаков наличия начала и конца хорд, а также значения координат по осям X и Y, сигнал окна поступают на первый выход блока бинаризации и кодирования. The binarization and coding block of the video signal (see Fig. 2) contains three identical two-level digital comparators 16, 17 and 18, a clock pulse generator 19, coordinate counters of the points of the television raster along the X axis 20 and Y axis 21, the analysis window shaper 22, element And 23, selector chords 24. The unit operates as follows. The first inputs of the digital comparators receive digital video signals of the brightness and color difference of the red and blue components of the video signal, respectively. Through the second inputs, the microcomputer writes to the comparators the values of the upper and lower thresholds for highlighting in each component of the video signal a specified interval of brightness. If the condition of being in the specified interval is satisfied for a given point of the television raster, then the output of the corresponding comparator displays a signal of a logical unit, otherwise - a signal of logical zero. The clock generator 19 is intended for the formation of sampling samples of a television raster along the line. The coordinates of the raster points counted by the counters 20 and 21 are fed to the first input of the window shaper, to the second input of which the microcomputer transmits the coordinates of the analysis window on the television raster. The outputs of all the comparators and the window driver are connected to the inputs of the And 23. element. Thus, the logical unit at its output will correspond to an image point having a certain color and that lies in the area of the television raster defined by the window. Since the image signal from the television camera is formed line by line, the resulting binary image of the structural component of the cell represents a sequence of segments - chords. The binary image signal is fed to the second output of the binarization and coding unit, as well as to the input of the chord selector 24. The second output of the block also receives pulses from the output of the clock generator 19. The signals generated by the selector indicate the presence of the beginning and end of the chords, as well as coordinate values along the axes X and Y, the window signal is fed to the first output of the binarization and coding unit.

Таким образом, получаемые со скоростью поступления видеосигнала от телекамеры бинарные изображения записываются во временное ЗУ 7 в виде последовательности координат начала и конца хорд, которыми описывается изображение на дискретизированном растре. Thus, the binary images obtained with the video signal arrival rate from the camera are recorded in the temporary memory 7 in the form of a sequence of coordinates of the beginning and end of the chords that describe the image on the sampled raster.

Затем микрокомпьютер 9 считывает сжатые изображения из временного ЗУ 7 и производит классификацию клетки. В случае если клетка не идентифицируется, микрокомпьютер 9 дает команду на запись во временное ЗУ 7 оцифрованного видеосигнала цветовых составляющих выделенного сигналом окна части кадра изображения, в которой находится клетка. Затем из временного ЗУ 7 оцифрованное изображение переносится на внешнее дисковое ЗУ 14. После окончания анализа клеток в наблюдаемом в поле зрения телекамеры фрагменте мазка микрокомпьютер 9 задает в блок управления двигателями 4 размер перемещения по координатам X и Y для помещения в поле зрения объектива микроскопа соседнего фрагмента. Then, the microcomputer 9 reads the compressed images from the temporary memory 7 and classifies the cell. If the cell is not identified, the microcomputer 9 gives a command to record in the temporary memory 7 the digitized video signal of the color components of the selected portion of the image frame in which the cell is located by the window signal. Then, from the temporary memory 7, the digitized image is transferred to the external disk memory 14. After the cells are analyzed in the smear fragment observed in the camera’s field of view, the microcomputer 9 sets the size of movement along the X and Y coordinates in the engine control unit 4 to place the neighboring fragment in the field of view of the microscope objective .

После окончания перемещения для проведения процесса автофокусировки в микрокомпьютер 9 с выхода блока вычисления площади ядра клетки 8 поступает значение площади ядра клетки. Блок вычисления ядра клетки представляет собой счетчик поступающих на его вход тактовых импульсов, на вход разрешения счета которого подается сигнал бинарного изображения хорды. Таким образом, при задании компьютером в блок бинаризации и кодирования порогов бинаризации, соответствующих уровню видеосигнала в изображении ядра клетки, и границ окна телевизионного раствора, в которых находится клетка, на выходе счетчика будет значение площади ядра клетки. After moving to complete the autofocus process, the microcomputer 9 receives the value of the area of the cell nucleus from the output of the unit for calculating the area of the cell nucleus 8. The cell nucleus calculation unit is a counter of clock pulses arriving at its input, and the signal of the binary image of the chord is fed to the input of the resolution of the count. Thus, when a computer assigns binarization and coding to binarization thresholds corresponding to the level of the video signal in the image of the cell nucleus and the boundaries of the window of the television solution in which the cell is located, the output of the counter will be the square of the cell nucleus.

Затем микрокомпьютер 9 дает команду на перемещение двигателя узла фокусировки на размер шага. Вновь производится вычисление площади ядра клетки. Этот процесс продолжается до тех пор, пока площадь ядра клетки в оцифрованном видеосигнале не достигнет максимального значения. Это будет соответствовать точной фокусировке микроскопа на анализируемую клетку. Then, the microcomputer 9 gives a command to move the motor of the focusing unit by the step size. Once again, the calculation of the area of the cell nucleus. This process continues until the cell nucleus area in the digitized video signal reaches its maximum value. This will correspond to the exact focusing of the microscope on the analyzed cell.

После окончания сканирования и анализа мазка по достижению необходимого суммарного числа обнаруженных клеток крови лейкоцитарного ряда микрокомпьютер 9 считывает из внешнего ЗУ 14 записанные изображения нераспознанных клеток и через ЦАП 10 выводит их на дисплей 11. Врач наблюдает нераспознанные клетки на экране дисплея 11 и с клавиатуры 15 указывает микрокомпьютеру 9 тип клетки. После завершения процесса полного распознавания микрокомпьютер 9 выводит процентное содержание форменных элементов крови (лейкоцитарную формулу) на экран дисплея 11 и на печатающее устройство 12. After scanning and analyzing the smear is completed, the microcomputer 9 reads the recorded images of the unrecognized cells from the external memory 14 and, through the DAC 10, displays them on the display 11. The doctor observes the unrecognized cells on the display screen 11 and indicates 15 from the keyboard 15 microcomputer type 9 cells. After completion of the process of complete recognition, the microcomputer 9 displays the percentage of blood cells (leukocyte formula) on the display screen 11 and on the printing device 12.

Введение новых связей и блока бинаризации и кодирования позволило существенно повысить быстродействие распознавания, а введение блока вычисления площади ядра клетки - повысить достоверность автоматической классификации клеток крови лейкоцитарного ряда сложной формы. The introduction of new connections and the binarization and coding unit made it possible to significantly increase recognition performance, and the introduction of a unit for calculating the area of the nucleus of a cell increased the reliability of the automatic classification of blood cells of a complex white blood cell count.

Источники информации:
1. Патент Японии N 63-10787, G 01 N 3/48.Sources of information:
1. Japan patent N 63-10787, G 01 N 3/48.

2. Патент Японии N 2-25151, G 04 33/49, ИСМ вып. 84 07-91. 2. Japan patent N 2-25151, G 04 33/49, ISM issue. 84 07-91.

3. Патент Японии N 2-3137, G 01 N 21/00, ИСМ вып. 108 18-90 (прототип). 3. Japan patent N 2-3137, G 01 N 21/00, ISM issue. 108 18-90 (prototype).

Claims

A device for automatically classifying blood cells, comprising an optical microscope connected in series, a television camera and an analog-to-digital converter, the input of which is connected to the first input of a temporary storage device that is connected to an external storage device, while both storage devices are connected to a microcomputer that is connected with a digital-to-analog converter, as well as a television monitor, an engine control unit connected to the motors the object table along the X, Y axes and the focusing unit of the microscope, as well as with a microcomputer, characterized in that it further comprises a display, a binarization and video coding unit, a unit for calculating the area of the cell nucleus, while the first input of the display is connected to the microcomputer, and the second - with the output of the digital-to-analog converter, one input of the binarization and coding unit of the video signal is connected to the output of the analog-to-digital converter, and the second to the output of the microcomputer, the first output to the second input of the temporary memory a device, and the second output - with the input of the unit for calculating the area of the cell nucleus, the output of which is connected to the input of the microcomputer, in addition, the output of the television camera is directly connected to the input of the television monitor.