DE4200001A1

DE4200001A1 - OPTICAL CLASSIFICATION OF PLANTS

Info

Publication number: DE4200001A1
Application number: DE4200001A
Authority: DE
Inventors: Robert Prof Dr Ing Massen
Original assignee: Individual
Current assignee: Individual
Priority date: 1992-01-01
Filing date: 1992-01-01
Publication date: 1993-07-08
Also published as: DE59202988D1; WO1993013491A1; EP0619905B1; EP0619905A1; JPH07502408A

Abstract

For the automatic optical quality control and/or classification of plants, an electronic colour camera takes a picture of a plant from above and an electronic half-tone camera takes a picture of the plant from the side. The electric image signals provided by each camera are digitised and evaluated by an image computer to determine characteristics of the plant. The height of the plant, in particular, can be found via the half-tone camera. Each camera has a light source. In order to prevent the mutual impairment of the images and their evaluation, each camera is preferably so constructed that it is insensitive to the light from the light source allocated to the other one. Mutual impairment can also be avoided by causing a control circuit to switch the two light sources on alternately and trigger the pictures taken of the plant by each camera at a time at which only the light source allocated to the camera is switched on.

Description

Zur Automatisierung im Gewächshaus und in der Freilandaufzucht müssen die vorwiegend rein visuelle Prüfung und Sortierung durch den Gärtner von Automaten durchgeführt werden. In der Patentanmeldung DE 39 06 215 A1 (Erfinder: MASSEN) ist ein System zur automatischen Klassifikation von Pflanzen mit Hilfe einer Stereo-Anordnung von Farbkameras und einer Farb- und Formauswertung der Pflanzen mit Methoden der Digitalen Bildverarbei tung beschrieben.For automation in the greenhouse and in outdoor cultivation the predominantly purely visual inspection and sorting by the gardener of Vending machines are carried out. In patent application DE 39 06 215 A1 (Inventor: MASSEN) is a system for the automatic classification of Plants using a stereo arrangement of color cameras and a color and form evaluation of the plants using digital image processing methods tion described.

Die Auswertung der Höhe einer Pflanze über eine Stereo-Anordnung von zwei Farbkameras ist ein recht teures und von der Rechenzeit her an spruchsvolles Verfahren. In manchen Situationen ist es nicht erforderlich, die Höhe der Pflanze von oben zu messen, weil z. B. die Pflanzen vereinzelt an einer optischen Sichtstation vorbeigeführt werden können. In diesem Fall ist es einfacher, mit einer getrennten Kamera die Pflanze von der Seite aufzu nehmen und aus dieser Seitenaufnahme die Höhe der Pflanze zu bestim men. Allerdings ist es problematisch, die Pflanze gleichzeitig von der Seite und von oben zu beleuchten da insbesondere Licht von der Seite nach oben in die Farbkamera reflektiert wird und dort die Farbauswertung stört.The evaluation of the height of a plant using a stereo arrangement of two color cameras is quite expensive and in terms of computing time sophisticated process. In some situations it is not necessary to measure the height of the plant from above, because e.g. B. the plants isolated can be guided past an optical viewing station. In this case it is easier to open the plant from the side with a separate camera take and determine the height of the plant from this side view men. However, it is problematic to get the plant from the side at the same time and to illuminate from above, especially light from the side is reflected into the color camera at the top and interferes with the color evaluation there.

Die vorliegende Erfindung betrifft ein Verfahren und eine Anordnung zur gleichzeitigen Farbklassifikation und Höhenmessung von Pflanzen mit Hilfe einer Anordnung aus einer Farbkamera mit Weißlichbeleuchtung welche die Pflanze von oben betrachtet und einer Grauwertkamera mit einer spektral schmalbandigen Beleuchtung und Empfindlichkeit, welche die Pflanze von der Seite aufnimmt, wobei das schmalbandige Spektrum der Seitenbeleuch tung so gewählt ist, daß es außerhalb der Empfindlichkeit der Farbkamera liegt. Alternativ werden beide Beleuchtungsquellen zeitlich versetzt strobo skopisch ausgelöst und die Farbaufnahme von oben und die Seitenaufnah me zu unterschiedlichen Zeitpunkten aufgenommen.The present invention relates to a method and an arrangement for simultaneous color classification and height measurement of plants with the help an arrangement of a color camera with white light illumination which the Plant viewed from above and a grayscale camera with a spectral narrow band lighting and sensitivity which the plant of the side, with the narrow band spectrum of the side lighting tion is chosen so that it is outside the sensitivity of the color camera lies. Alternatively, both lighting sources are strobo at different times scopically triggered and the color image from above and the side image me recorded at different times.

Der Erfindungsgedanke sei beispielhaft anhand von Fig. 1 und Fig. 3 erläutert:The inventive concept is by way of example with reference to Figure 1 and Figure 3 is explained..:

Fig. 1 zeigt schematisch eine Anordnung von Farbkamera und Grauwert- Kamera zur Farbmessung von oben und Höhenmessung von der Seite, Fig. 1 shows schematically an array of color camera and camera gray scale for color measurement from above and altitude measurement from the side,

Fig. 2 zeigt beispielhaft das Original-Farbbild im s/w Druck, das Farbklassenbild "Blüte" einer Topfpflanze und die Seitenaufnahme zur Höhenmessung Fig. 2 shows an example of the original color image in b / w printing, the color class image "flower" of a potted plant and the side view for height measurement

Fig. 3 zeigt den Aufbau für die Farb- und Höhenmessung mit zeitlich versetzt ausgelösten Beleuchtungsquellen. Fig. 3 shows the configuration for the color and height measurement with a time delay triggered illumination sources.

Der Erfindungsgedanke sei beispielhaft aber nicht einschränkend anhand der Farbklassifikation und Höhensortierung von Topfpflanzen beschrieben. Die Topfpflanze -6- wird mechanisch und vereinzelt an einer Anordnung von zwei Kameras und Beleuchtungseinrichtungen vorbeigeführt. Die Farbkame ra -1- erfaßt eine Aufnahme von oben, wobei die Pflanze von der Weißlichtbeleuchtung -2- ausgeleuchtet wird. Das Farbsignal wird digitali siert und im Farb-Bildrechner -3a- nach den z. B. in der Patentmeldung MASSEN beschriebenen Verfahren ausgewertet. Gleichzeitig wird mit Hilfe einer Grauwertkamera -4- mit vorgeschaltetem Schmalbandfilter -5- die Pflanze von der Seite beobachtet. Die ebenfalls schmalbandige Beleuch tungsquelle -7- beleuchtet die Pflanze flächenmäßig, so daß eine Durchlichtaufnahme von der Kamera -4- in den Grauwertbildrechner -3b- eingespeist wird.The idea of the invention is described by way of example but not by way of limitation on the basis of the color classification and height sorting of potted plants. The potted plant - 6 - is mechanically and occasionally guided past an arrangement of two cameras and lighting devices. The color camera ra - 1 - captures a picture from above, with the plant being illuminated by the white light illumination - 2 -. The color signal is digitized and in the color image calculator - 3 a- after the z. B. evaluated method described in the patent application MASSEN. At the same time, the plant is observed from the side with the aid of a gray-scale camera - 4 - with an upstream narrow-band filter - 5 . The likewise narrow-band lighting source - 7 - illuminates the plant in terms of area, so that a transmitted light image from the camera - 4 - is fed into the gray-scale image computer - 3 b-.

Alternativ kann die Beleuchtungsquelle -7- die Pflanze aus der gleichen Richtung beleuchten wie die Kamera -4- die Pflanze erfaßt, wobei dann zweckmäßigerweise der Hintergrund durch ein in diesem Spektalbereich entweder sehr stark oder sehr schwach reflektierendem Material gebildet wird. Im Falle eines stark reflektierenden Hintergrundes erscheint das Sil houettenbild der Pflanze dunkel auf hellem Hintergrund. Im Falle eines sehr schwach reflektierenden Hintergrundes erscheint das Pflanzenbild hell auf dunklem Hintergrund.Alternatively, the illumination source - 7 - illuminates the plant from the same direction as the camera - 4 - detects the plant, in which case the background is expediently formed by a material that is either very strongly or very weakly reflective in this spectral region. In the case of a highly reflective background, the silhouette image of the plant appears dark on a light background. In the case of a very weakly reflecting background, the plant image appears bright on a dark background.

Erfindungsgemäß besteht die schmalbandige Beleuchtung aus einer NIR- Beleuchtungsquelle (Nahes InfraRot), welche kostengünstig z. B. für Video- Überwachungsanlagen hergesetellt werden. Entsprechend wird das Filter -5- als NIR-Durchlaßfilter (sog. Langpaß-Filter) ausgelegt. Da die Farbfilter in der Farbkamera den NIR-Bereich ausschließen, stören unvermeidliche NIR- Reflektionen, wie sie durch den Strahl -8- angedeutet sind, die Farbaufnah me nicht. Entsprechend ist die Grauwertkamera -4- wegen des vorgeschalte ten NIR-Durchlaßfilter unempfindlich für Weißlicht, so daß Lichteinstreun gen von oben, wie sie durch den Strahl -9- angedeutet sind, die Seitenauf nahme nicht stören. Die Verwendung einer NIR-Beleuchtung hat weiterhin den Vorteil, daß übliche CCD-Kameras in diesem Bereich besonders emp findlich sind. According to the invention, the narrow-band illumination consists of an NIR illumination source (near infrared), which is inexpensive, for. B. for video surveillance systems. Correspondingly, the filter - 5 - is designed as an NIR pass filter (so-called long-pass filter). Since the color filters in the color camera exclude the NIR range, inevitable NIR reflections, as indicated by the beam - 8 - do not interfere with the color recording. Accordingly, the grayscale camera - 4 - due to the upstream NIR pass filter insensitive to white light, so that light interferences from above, as indicated by the beam - 9 - do not interfere with the side recording. The use of NIR lighting has the further advantage that conventional CCD cameras are particularly sensitive in this area.

Die Kameras bestehen zweckmäßigerweise aus Matrix-Kameras, wobei die Auslösung der Bildaufnahme durch einen externen Näherungssensor er folgt. Alternativ können beide oder eine von beiden Kameras als Zeilenkame ras ausgebildet sein, welche quer zur Vorwärstbewegung der Pflanze orien tiert sind. Die Bildaufnahme geschieht durch Einlesen zahlreicher Zeilenab tastungen der bewegten Pflanze, welche vom Bildrechner zu einem Matrix bild zusammengesetzt werden. Solche Verfahren der Bildgewinnung sind dem Fachmann der Digitalen Bildverarbeitung bekannt (siehe z. B. Ahlers/ Warnecke: Industrielle Bildverarbeitung, Addison-Wesley 1991).The cameras expediently consist of matrix cameras, the Triggering of the image acquisition by an external proximity sensor follows. Alternatively, both or one of the two cameras can be used as a line ras are formed, which orien across the forward movement of the plant are. The image is captured by reading in numerous lines palpation of the moving plant, which from the image calculator to a matrix picture can be put together. Such methods of image acquisition are known to the specialist in digital image processing (see e.g. Ahlers / Warnecke: Industrial Image Processing, Addison-Wesley 1991).

Fig. 2 verdeutlicht die mit dem erfindungsgemäßen Verfahren erzielbaren Bilder. Hierbei stellt Fig. 2a ein (als Strichvorlage s/w gedrucktes) Farbbild der Aufnahme der Pflanze von oben dar; Fig. 2b ist ein Beispiel für ein Farbklassenbild, wie es bei dem von MASSEN beschriebenen Verfahren er zielt wird. Aus diesem Bild können die Qualitätskriterien berechnet werden, welche für das Merkmal "Blüte" gelten wie z. B. Anzahl der Blüten, Blütenfläche usw. Fig. 2c stellt die Grauwertaufnahme der Seitenansicht dar. Aus dieser Aufnahme wird erfindungsgemäß die Höhe der Pflanze er mittelt, indem vom oberen Bildrand die Zeile mit dem ersten signifikanten Kontrastsprung mit bekannten Verfahren der Digitalen Bildverarbeitung er mittelt wird. Erfindungsgemäß kann von unten ausgehend auch die Höhe des Topfes bestimmt werden, indem der Kontrastsprung mit Methoden der Digitalen Bildverarbeitung ermittelt wird. FIG. 2 shows the achievable with the inventive process images. In this case, Figure 2a (as a line original b / w printed) color image of the absorption of the plant from above is. Fig. 2b is an example of a color class image, as it is aimed in the method described by MASSEN. From this picture the quality criteria can be calculated, which apply to the characteristic "blossom" such as B. Number of flowers, flower area, etc. Fig. 2c shows the grayscale image of the side view. According to the invention, the height of the plant is averaged from this image, by averaging the line with the first significant contrast jump using known digital image processing methods becomes. According to the invention, the height of the pot can also be determined, starting from below, by determining the jump in contrast using methods of digital image processing.

Erfindungsgemäß werden aus der Seitenaufnahme diejenigen für die Qualitätskontrolle und Klassifikation der Pflanze nützlichen Merkmale er mittelt, welche sich aus der Farbaufnahme von oben nicht ergeben. Die sind z. B. eine Näherung für das Volumen der Pflanzenkrone, welche sich aus dem Produkt der Projektionsfläche der Krone von oben und der Querschnittsfläche von der Seite her ergibt.According to the invention, those for the Quality control and classification of the plant useful features averages, which do not result from the color recording from above. They are e.g. B. an approximation for the volume of the plant crown, which is made up of the product of the projection surface of the crown from above and the Cross-sectional area from the side results.

Fig. 3 zeigt eine alternative Aufnahmetechnik. Hierbei werden beide Beleuchtungsquellen -1- und -2- stroboskopisch nacheinander ausgelöst und zwei zeitlich versetzte Bildaufnahmen gewonnen. Insbesondere werden sowohl die Farbkamera als auch die Grauwertkamera mit Hilfe einer mecha nischen oder elektronischen Blende nur dann beleuchtet, wenn auch die entsprechende Lichtquelle aktiv ist. Da immer nur eine Lichtquelle und eine Kamera aktiv ist, stören reflektierende Lichtstrahlen nicht mehr. Fig. 3 shows an alternative recording technique. Here, both lighting sources - 1 - and - 2 - are triggered one after the other by stroboscopy and two time-delayed images are obtained. In particular, both the color camera and the grayscale camera are only illuminated with the aid of a mechanical or electronic diaphragm if the corresponding light source is also active. Since only one light source and one camera is active at a time, reflecting light rays no longer interfere.

Claims

1. Process for the optical quality control and classification of plants, in particular with the aid of digital color image processing, characterized in that
that the plant is simultaneously captured by a color camera with associated white light illumination and a spectrally selectively sensitive gray value camera with associated spectral narrowband illumination,
that the sensitivity range of the grayscale camera and the associated lighting are selected so that they do not overlap with the sensitivity range of the color camera and that the color classification of the plant with the help of a computer-controlled color image processing takes place exclusively on the basis of the image supplied by the color camera and the determination the height of the plant is made exclusively from the page image supplied by the gray-scale camera using gray-scale or black-and-white image processing.

2. The method according to claim 1, characterized in that that the color camera the plant from above and the grayscale camera the Plant from the side 3. The method according to claim 1 to 2, characterized in that the narrowband lighting is a lighting source in the near Represents infrared range and the grayscale camera a camera in the represents a sensitive image sensor.

4. The method according to claim 3, characterized in that the grayscale camera is sensitive in the visible spectrum Camera has an upstream optical filter, its passband lies outside the visible spectrum and with the spectral maxi mum of the lighting matches.

5. The method according to claim 1 to 4, characterized in that the height of the plant from the first significant jump in contrast between the image of the plant and the background is determined.

6. The method according to claim 5, characterized in that the height of the plant pot from the contrast jump of the top Edge of the plant pot is determined against the background.

7. The method according to claim 1 to 6, characterized in that that criteria for the quality assessment of plants simultaneously from the image determined by the color camera and the image of the gray scale camera be determined.

8. The method according to claim 6, characterized in that that the volume of the plant crown from the weighted product the projection surface of the leaf crown on the color camera in one Shooting position from above and the projection surface of the crown on the Grayscale camera is formed from the side in a recording position.

9. The method according to claim 1, characterized in that both the color camera with assigned lighting and the gray Value camera with assigned lighting in the same spectral range are sensitive and that the recordings of both cameras by strobo scopic lighting and synchronous mechanical or electronic aperture can be created at different times.

10. The method according to claim 1 to 9, characterized in that the cameras used are matrix cameras.

11. The method according to claim 1 to 9, characterized in that one or both cameras are line scan cameras and image capture occurs while the plant or camera is advancing.

12. The method according to claim 1 to 12, characterized in that there is an arrangement of color references in the field of view of the color camera and the color vector of each pixel of the plant as a difference is determined for the color vectors of the color references.

13. Arrangement according to claim 1 to 12, characterized in that there is an arrangement of grayscale in the field of view of the grayscale camera and the gray value of each pixel of the plant is determined as the difference to these references.

14. Arrangement for performing the method according to claim 1 to 11, characterized in that a plant to be checked by a color camera from above taken and illuminated with white light lighting and that the plant taken from the side with a grayscale camera and with separate lighting that is illuminated for the side view by using optical filters or Illumination sources of corresponding spectral emission in one Wavelength range is set for which the color camera is not is sensitive that the video signal of the color camera with a color Image calculator and the video signal of the grayscale camera with a gray value calculator can be evaluated.

15. The arrangement according to claim 12, characterized in that the side lighting illuminates the plant from behind and the Grayscale camera takes a transmitted light image of the plant.

16. The arrangement according to claim 13, characterized in that the side lights the plant from the front from the same direction illuminates how the grayscale camera looks at the plant and that the Background consists of a material that is compared to the Plant clearly shows different reflectivities.