NL1035701C2

NL1035701C2 - Dairy animal i.e. cow, treatment system, has pair of three-dimensional sensors including image fields whose central lines diverge and enclose view angle that is smaller than maximum angle of view of image fields in horizontal plane

Info

Publication number: NL1035701C2
Application number: NL1035701A
Authority: NL
Inventors: Karel Van Den Berg
Original assignee: Lely Patent Nv
Priority date: 2008-07-15
Filing date: 2008-07-15
Publication date: 2010-01-18

Abstract

The system has an object recognition device connected to a control device, comprising a three-dimensional (3D) sensor (1) with a two-dimensional arrangement of optical sensors and horizontally positioned at a distance from another 3D sensor (2). A central line (10) of an image field (3) of the latter 3D sensor and another central line (11) of another image field (4) of the former 3D sensor enclose an angle unequal to zero degree, where the lines diverge and enclose a view angle (alpha) that is smaller than a maximum angle of view of the image fields in a horizontal plane.

Description

MelkdierbehandelingsinrichtingDairy animal treatment device

De uitvinding heeft betrekking op een melkdierbehandelingssysteem met een met een besturingsinrichting verbonden bestuurbare robotarm, ingericht 5 voor het naar een deel van een melkdier verplaatsen van een dierbehandelingsinrichting, en met een met de besturingsinrichting verbonden objectherkenningsinrichting die een lichtbron, een 3D-sensor met een tweedimensionale rangschikking van optische sensoren en een signaalverwerkingsinrichting voor verwerken van door de optische sensoren 10 afgegeven signalen omvat.The invention relates to a dairy animal treatment system with a controllable robot arm connected to a control device, arranged for moving an animal treatment device to a part of a dairy animal, and to an object recognition device connected to the control device comprising a light source, a 3D sensor with a two-dimensional arrangement of optical sensors and a signal processing device for processing signals emitted by the optical sensors 10.

Dergelijke systemen zijn op zich bekend. Zo openbaart W007/104124 een speenpositiebepalingssysteem voor geautomatiseerde melksystemen, met een lichtbron en een camera met een tweedimensionale rangschikking van beeldelementen die looptijdinformatie kunnen verschaffen, met behulp waarvan een 15 dieptebeeld kan worden verkregen.Such systems are known per se. For example, WO7 / 104124 discloses a teat position determining system for automated milking systems, with a light source and a camera with a two-dimensional arrangement of picture elements that can provide runtime information, with the aid of which a depth image can be obtained.

Een nadeel van dit bekende systeem is dat het, ondanks het ruimtelijke beeld, toch vaak niet goed bijvoorbeeld alle spenen van het melkdier kan detecteren. Ook is het bezwaarlijk om een voldoende grote beeldhoek van het beeldveld te verschaffen.A disadvantage of this known system is that, despite the spatial image, it is often difficult to detect, for example, all teats of the dairy animal. It is also difficult to provide a sufficiently large field of view of the field of view.

20 De onderhavige uitvinding heeft ten doel om althans een deel van de bovengenoemde nadelen weg te nemen ofte verminderen.The present invention has for its object to eliminate or reduce at least a part of the above-mentioned disadvantages.

De uitvinding bereikt dit doel met het systeem volgens conclusie 1, dat wordt gekenmerkt doordat de objectherkenningsinrichting een tweede 3D-sensor met een tweedimensionale rangschikking van optische sensoren omvat, die op een 25 afstand van de eerste 3D-sensor is geplaatst. Met "op een afstand geplaatst” wordt hier bedoeld dat er sprake is van twee ruimtelijk duidelijk gescheiden 3D-sensoren, met daartussen een afstand van minimaal 5 cm. Met het systeem volgens de uitvinding wordt bereikt dat niet alleen de kans wordt verkleind dat bijvoorbeeld een speen of ander deel van een dier verdekt wordt door een andere speen, resp. een 30 ander deel van het dier, maar ook dat de beeldhoek van elk van de 3D-sensoren betrekkelijk klein kan blijven, althans kleiner dan bij een enkele 3D-sensor die eenzelfde beeldveld bestrijkt. Dit is gunstig voor de gevoeligheid van de sensoren. Daarnaast bestaat er de mogelijkheid dat de nauwkeurigheid en de betrouwbaarheid 1035701 2 groter worden, vooral in situaties dat er geen bedekking optreedt, omdat dan twee beelden voor het zelfde deel van het dier beschikbaar komen.The invention achieves this object with the system according to claim 1, characterized in that the object recognition device comprises a second 3D sensor with a two-dimensional arrangement of optical sensors, which is placed at a distance from the first 3D sensor. By "placed at a distance" is meant here that there are two spatially clearly separated 3D sensors, with a distance of at least 5 cm between them. With the system according to the invention it is achieved that not only is the chance reduced for instance a teat or other part of an animal is covered by another teat or another part of the animal, but also that the angle of view of each of the 3D sensors can remain relatively small, at least smaller than with a single 3D sensor which covers the same image field, which is beneficial for the sensitivity of the sensors, and there is the possibility that the accuracy and reliability 1035701 2 may increase, especially in situations where no coverage occurs, because then two images for the same part of the image animal become available.

Hier wordt opgemerkt dat het bij niet~3D-sensoren nodig is om minimaal twee sensoren op te stellen in een driehoek om een afstand te kunnen 5 bepalen, hetgeen niet nodig is bij 3D-sensoren. Merk ook op dat bijvoorbeeld EP1555544 gebruikmaakt van twee lasers en roterende spiegels om op compacte wijze een grote beeldhoek te krijgen. De lasers hebben echter niet het nadeel van een divergentie die nodig is bij de onderhavige lichtbron(nen) voor bereiken van een 3D-beeld, terwijl roterende spiegels in het geheel niet gebruikt worden. Het in 10 EP1555544 genoemde probleem noch de oplossing daarvan zijn dan ook van toepassing op de onderhavige uitvinding.It is noted here that with non-3D sensors it is necessary to arrange at least two sensors in a triangle to be able to determine a distance, which is not necessary with 3D sensors. Also note that for example EP1555544 uses two lasers and rotating mirrors to get a large viewing angle in a compact manner. However, the lasers do not have the disadvantage of a divergence needed with the present light source (s) to achieve a 3D image, while rotating mirrors are not used at all. Neither the problem mentioned in EP 1555544 nor the solution thereof apply to the present invention.

Bijzondere uitvoeringsvormen van de onderhavige uitvinding worden hieronder en in de afhankelijke conclusies beschreven.Particular embodiments of the present invention are described below and in the dependent claims.

In het bijzonder sluiten een eerste centrale lijn van een eerste 15 beeldveld van de eerste 3D-sensor en een tweede centrale lijn van een tweede beeldveld van de tweede 3D-sensor een hoek ongelijk 0° in. Met een dergelijke opstelling kan een optimum van overlap van de beeldvelden en totale beeldhoek worden gekozen. Met "centrale lijn" wordt bedoeld de bissectrice van het respectieve beeldveld.In particular, a first central line of a first image field of the first 3D sensor and a second central line of a second image field of the second 3D sensor enclose an angle unequal to 0 °. With such an arrangement, an optimum of overlap of the image fields and total image angle can be chosen. By "central line" is meant the bisector of the respective field of view.

20 In uitvoeringsvormen gaan de eerste en tweede centrale lijn uiteen, en sluiten deze een hoek in die kleiner is dan een maximale beeldhoek van het eerste en tweede beeldveld, in het bijzonder in het horizontale vlak. Hierbij wordt met Kin het horizontale vlak” bedoeld de horizontale component van de (beeld)hoek, terwijl met de maximale beeldhoek de grootste van de beeldhoeken van het eerste en het 25 tweede beeldveld wordt bedoeld. Bij deze uitvoeringsvormen is er dus een betrekkelijk geringe overlap maar een groot totaal beeldveld. Een dergelijke opstelling verdient aanbeveling bij melkdierbehandelingssystemen waarin betrouwbaar een afstand dient te worden bepaald, waarbij zelden last ondervonden wordt van voorwerpen die elkaar bedekken. Een voordeel van deze uitvoeringsvorm 30 is namelijk dat deze, door eenvoudig combineren van twee 3D-sensoren met een kleine beeldhoek, toch een grote totale beeldhoek kan bestrijken. Dergelijke 3D-sensoren met kleine beeldhoek, zoals met een beeldhoek tussen 30° en 40°, zijn veel eenvoudiger met een nog goede gevoeligheid te maken dan die met een grotere beeldhoek.In embodiments, the first and second central lines separate, and enclose an angle that is less than a maximum image angle of the first and second image field, in particular in the horizontal plane. Herein, Kin is the horizontal plane "is meant the horizontal component of the (image) angle, while with the maximum image angle is meant the largest of the image angles of the first and second image field. In these embodiments, therefore, there is a relatively small overlap but a large total image field. Such an arrangement is recommended for dairy animal treatment systems in which a distance must be reliably determined, in which objects that overlap each other are seldom bothered. This is because an advantage of this embodiment is that, by simply combining two 3D sensors with a small viewing angle, it can nevertheless cover a large overall viewing angle. Such 3D sensors with a small viewing angle, such as with a viewing angle between 30 ° and 40 °, are much easier to make with still good sensitivity than those with a larger viewing angle.

33

In andere uitvoeringsvormen naderen de eerste en tweede centrale lijn elkaar, waarbij zij elkaar in het bijzonder snijden, en is de hoek ten minste gelijk aan een maximale beeldhoek van het eerste en tweede beeld veld, in het bijzonder in het horizontale vlak. Hierbij wordt met “elkaar in hoofdzaak snijden” bedoeld dat het 5 systeem zodanig is ontworpen dat beoogd is dat de eerste en tweede centrale lijn elkaar snijden. Daar dit in de praktijk nooit exact het geval zal zijn, en de centrale lijnen elkaar dus in beginsel kruisen, dient een beoogd symmetrisch ontwerp te worden verstaan als aan deze maatregel voldoend. Overigens is het ook mogelijk dat de centrale lijnen elkaar beoogd kruisen, dat wil zeggen elkaar niet meer dan op 10 een zekere afstand naderen. Op deze wijze, althans door in verticale richting niet-evenwijdige centrale lijnen, kan namelijk ook de beeldhoek in verticale richting worden vergroot. Een algemeen voordeel van de hier genoemde uitvoeringsvorm is dat er juist een betrekkelijk grote overlap tussen de twee beeldvelden bestaat. In deze overlap worden dus telkens twee 3D-beelden van zich daarin bevindende 15 objecten gemaakt. Door de beide 3D-beelden met elkaar te vergelijken kan de betrouwbaarheid van de afstandmeting worden verbeterd. Met name voor grotere afstanden binnen het meetbereik kan daardoor een duidelijk hogere betrouwbaarheid worden verkregen.In other embodiments, the first and second central lines approach each other, intersecting each other in particular, and the angle is at least equal to a maximum image angle of the first and second image fields, in particular in the horizontal plane. In this context, "substantially cutting each other" is understood to mean that the system is designed such that the first and second central line intend to intersect. Since in practice this will never be exactly the case, and the central lines therefore in principle intersect, an intended symmetrical design should be understood as satisfying this measure. Incidentally, it is also possible that the central lines intersect with one another, that is to say, do not approach each other more than a certain distance. Namely, in this way, at least by central lines that are not parallel in the vertical direction, the angle of view in the vertical direction can also be increased. A general advantage of the embodiment mentioned here is that there is just a relatively large overlap between the two image fields. In this overlap, therefore, two 3D images are each time made of objects located therein. By comparing the two 3D images with each other, the reliability of the distance measurement can be improved. In particular for larger distances within the measuring range, a considerably higher reliability can therefore be obtained.

In het bijzonder bedraagt de ingesloten hoek tussen 5° en 30° meer 20 dan de beeldhoek van het eerste en het tweede beeldveld, in het bijzonder in het horizontale vlak. Merk op dat deze uitvoeringsvorm geldt voor gelijke eerste en tweede beeldhoeken. Bij asymmetrische uitvoeringsvormen dient er een overeenkomstige geometrische aanpassing te worden gemaakt. Bij deze uitvoeringsvorm is de totale beeldhoek eveneens tussen 5° en 30° meer dan de som 25 van de beeldhoeken van het eerste en het tweede beeldveld, zij het dat er sprake is van een blind gebied tussen de twee 3D-sensoren, dat loopt tot het meest nabije snijpunt van de twee beeldvelden en vanaf het verst afgelegen snijpunt van de twee beeldvelden. Niettemin is de vergroting van de totale beeldhoek een zeer groot voordeel van deze uitvoeringsvorm. Immers is er vaak sprake van een beperkt 30 meetbereik, niet alleen als gegeven voor de beeldsensor maar ook als verwachtingswaarde voor te onderzoeken objecten. Als voorbeeld beschouwe men een speendetectieinrichting bij bijvoorbeeld een koe in een melkrobot. De maximale verwachte afstand is dan bijvoorbeeld 50 tot 100 cm, of is deze althans eenvoudig tot een dergelijke afstand te beperken. Bovendien zal de afstand bijvoorbeeld ten 4 minste 10 of 20 cm zijn, alleen al vanwege de wens om de spenen niet aan te raken met de sensoren. Aldus loopt het meetbereik bijvoorbeeld van 10-20 tot 50-100 cm. Een dergelijk bereik is eenvoudig te verkrijgen met betrekkelijk standaard 3D-sensoren, met bijvoorbeeld beeld velden van 40°, en dan met een door de centrale 5 lijnen ingesloten hoek van bijvoorbeeld 40-60°.In particular, the enclosed angle between 5 ° and 30 ° is more than the image angle of the first and the second image field, in particular in the horizontal plane. Note that this embodiment applies to equal first and second image angles. For asymmetrical embodiments, a corresponding geometric adjustment must be made. In this embodiment, the total image angle is also between 5 ° and 30 ° more than the sum of the image angles of the first and the second image field, although there is a blind area between the two 3D sensors that runs to the closest intersection of the two image fields and from the furthest intersection of the two image fields. Nevertheless, the enlargement of the total angle of view is a very big advantage of this embodiment. After all, there is often a limited measuring range, not only as data for the image sensor, but also as an expectation value for objects to be examined. One example is a teat detection device in, for example, a cow in a milking robot. The maximum expected distance is then, for example, 50 to 100 cm, or can it at least easily be limited to such a distance. Moreover, the distance will, for example, be at least 10 or 20 cm, simply because of the desire not to touch the teats with the sensors. Thus, the measuring range is, for example, from 10-20 to 50-100 cm. Such a range can easily be obtained with relatively standard 3D sensors, with image fields of 40 ° for example, and then with an angle of 40-60 ° enclosed by the central lines.

In het bijzonder zijn de afstand tussen de eerste en de tweede 3D-sensor en de hoek zodanig gekozen dat het verst weg gelegen punt dat in zowel het eerste als het tweede beeldveld valt op een afstand van ten minste 2 m, met voordeel ten minste 0,5 m, van de eerste of de tweede 30-sensor ligt. In het 10 bijzonder bedraagt de afstand tussen de eerste en de tweede 3D-sensor ten minste 100 mm, en meer in het bijzonder tussen 150 en 250 mm. Deze uitvoeringsvorm reflecteert de hierboven genoemde omstandigheden in een voordelige vorm. Daar zowel de afstand tussen de 3D-sensoren als de hoek tussen de centrale lijnen in beginsel vrij kan worden gekozen kan de gunstigste combinatie die voldoet aan dit 15 kenmerk door de vakman eenvoudig worden gekozen. Een en ander hangt bijvoorbeeld af van de afmetingen van de robotarm enz. Merk op dat er overigens zeker ook sprake kan zijn van evenwijdige centrale lijnen, al voegen die in beginsel weinig toe aan de eigenschappen van bijvoorbeeld een enkele 3D-sensor die in tweeën is geknipt.In particular, the distance between the first and the second 3D sensor and the angle are chosen such that the farthest point that falls in both the first and the second image field at a distance of at least 2 m, advantageously at least 0 5 m from the first or the second 30 sensor. In particular, the distance between the first and the second 3D sensor is at least 100 mm, and more particularly between 150 and 250 mm. This embodiment reflects the above-mentioned conditions in an advantageous form. Since both the distance between the 3D sensors and the angle between the central lines can in principle be freely selected, the most favorable combination that satisfies this characteristic can easily be chosen by a person skilled in the art. This depends, for example, on the dimensions of the robot arm, etc. Note that incidentally there can certainly also be parallel central lines, although these in principle add little to the properties of, for example, a single 3D sensor that is in two cut out.

20 In een bijzondere uitvoeringsvorm is ten minste een van de eerste en tweede 3D-sensor op de robotarm aangebracht onder een overkapping van ondoorschijnend materiaal, die uitsteekt voorbij de respectieve 3D-sensor(en), en in het bijzonder ten minste 100 mm uitsteekt voorbij de respectieve 3D-sensor(en). Een groot voordeel van de opstelling volgens de uitvinding is dat het "echte", grote 25 beeldveld in feite pas begint op een zekere afstand van de 3D-sensoren. Daardoor kunnen de 3D-sensoren enigszins teruggetrokken in de robotarm liggen, met name onder een overkapping die invallend vuil en dergelijke kan tegenhouden. In beginsel kan de overkapping zover voorbij de 3D-sensoren uitsteken dat de meest nabije rand van het beeldveld net de overkapping raakt. Merk op dat “onder een overkapping” 30 hier betekent dat de overkapping de sensor en het direct aangrenzende deel van het beeldveld omgeeft, bij voorkeur rondom. Aan de voorzijde zal de overkapping uiteraard open zijn (geen kans op beeldverstoring door krassen of vervuiling) of doorzichtig (maximale bescherming tegen inwaaiend vuil).In a special embodiment, at least one of the first and second 3D sensors is mounted on the robot arm under a cover of opaque material, which protrudes beyond the respective 3D sensor (s), and in particular protrudes at least 100 mm beyond the respective 3D sensor (s). A major advantage of the arrangement according to the invention is that the "real", large image field actually only starts at a certain distance from the 3D sensors. As a result, the 3D sensors can lie somewhat withdrawn in the robot arm, in particular under a roof that can prevent incident dirt and the like. In principle, the roof can protrude so far beyond the 3D sensors that the closest edge of the image field just touches the roof. Note that "under a roof" here means that the roof surrounds the sensor and the immediately adjacent portion of the image field, preferably all around. At the front, the roof will of course be open (no chance of image disturbance due to scratches or dirt) or transparent (maximum protection against blowing in dirt).

55

Met voordeel is de objectherkenningsinrichting ingericht om een afstand van een object tot een van de 3D-sensoren te bepalen uit door die 3D-sensor afgegeven signalen, in het bijzonder looptijd- of faseverschuivingssignalen. Deze uitvoeringsvorm heeft in het bijzonder betrekking op 3D-sensoren die werken 5 op basis van looptijd van een gereflecteerd lichtsignaal, of op basis van faseverschuiving van een gemoduleerd lichtsignaal. Dergelijke systemen worden op zichzelf bekend verondersteld. Door de bijzondere opstelling volgens de uitvinding wordt de meting betrouwbaarder doordat er minder kans is op afgeschermde objecten in het beeld.Advantageously, the object recognition device is adapted to determine a distance from an object to one of the 3D sensors from signals emitted by said 3D sensor, in particular transit time or phase shift signals. This embodiment relates in particular to 3D sensors that operate on the basis of the transit time of a reflected light signal, or on the basis of phase shift of a modulated light signal. Such systems are assumed to be known per se. The special arrangement according to the invention makes the measurement more reliable because there is less chance of screened objects in the image.

10 Met voordeel is de objectherkenningsinrichting ingericht om een afstand van een object tot een van de 3D-sensoren te bepalen uit door beide 3D-sensoren afgegeven helderheidssignalen. Op deze wijze kan, volgens op zichzelf bekende technieken, de afstand zeer betrouwbaar worden bepaald door vergelijken van delen van het beeld met overeenkomstige helderheid. Bijvoorbeeld zal een 15 speen veel lichter zijn dan de omgeving. Door vergelijken van de twee 3D-sensorbeelden kan betrouwbaarder het juiste deel van het beeld als het gewenste object worden aangeduid, en kan de afstand van dat betreffende deel van het beeld betrouwbaarder worden bepaald, bijvoorbeeld door middelen van de twee gevonden afstanden.The object recognition device is advantageously adapted to determine a distance from an object to one of the 3D sensors from brightness signals emitted by both 3D sensors. In this way, according to techniques known per se, the distance can be determined very reliably by comparing parts of the image with corresponding brightness. For example, a teat will be much lighter than the environment. By comparing the two 3D sensor images, the correct part of the image can be more reliably designated as the desired object, and the distance of that particular part of the image can be more reliably determined, for example, by means of the two distances found.

2020

In het bijzonder zijn de eerste en tweede centrale lijn elk omhoog gericht ten opzichte van de horizontaal, in het bijzonder onder een hoek tussen 0° en 30° met de horizontaal. In veel gevallen is een dergelijke opstelling betrekkelijk gunstig door het nog verder terugdringen van de kans op bedekking van objecten in 25 het beeldveld. Met name in het geval dat spenen worden gedetecteerd zal aldus de kans op verdekte spenen zeer gering worden. Met name in het geval dat de 3D-sensoren onder een overkapping zijn aangebracht kan optimaal gebruik worden gemaakt van de opstelling volgens de uitvinding, doordat ondanks de omhoog gerichte opstelling de 3D-sensoren toch beschermd zijn tegen invallend vuil.In particular, the first and second central lines are each directed upwards with respect to the horizontal, in particular at an angle between 0 ° and 30 ° with the horizontal. In many cases, such an arrangement is relatively favorable by reducing the chance of covering objects in the image field even further. In particular in the case that teats are detected, the chance of concealed teats will thus become very low. Particularly in the case that the 3D sensors are arranged under a roof, optimum use can be made of the arrangement according to the invention, because despite the upwardly oriented arrangement the 3D sensors are still protected against incident dirt.

30 De uitvinding zal hierna nader worden toegelicht aan de hand van enkele niet-beperkende uitvoeringsvoorbeelden en de tekening, waarinThe invention will be explained in more detail below with reference to a few non-limiting exemplary embodiments and the drawing, in which

Figuur 1 beschrijft schematisch een opstelling volgens de uitvinding, Figuur 2a-2d toont schematisch vier uitvoeringsvormen van het systeem volgens de uitvinding, en 6Figure 1 schematically describes an arrangement according to the invention, Figures 2a-2d schematically shows four embodiments of the system according to the invention, and 6

Figuur 3 toont schematisch een zijaanzicht van een dierbehandelingssysteem volgens de uitvinding.Figure 3 schematically shows a side view of an animal treatment system according to the invention.

In figuur 1 zijn een eerste en een tweede 3D-sensor aangeduid met de 5 verwijzingscijfers 1 respectievelijk 2, met een eerste beeldveld 3 respectievelijk een tweede beeldveld 4. Voorts zijn ingetekend vier spenen 5, 6, 7, 8, waarbij speen 7 ligt in de schaduw 9 van speen 5.In Fig. 1, a first and a second 3D sensor are indicated with the reference numerals 1 and 2, respectively, with a first image field 3 and a second image field 4. Furthermore, four teats 5, 6, 7, 8 are shown, wherein teat 7 lies in the shadow 9 of teat 5.

In deze uitvoeringsvorm wordt duidelijk dat in de stand van de techniek, die uitgaat van een enkele 3D-sensor, een object kan worden afgedekt 10 door een ander object. In het getoonde voorbeeld ligt speen 7 verdekt achter speen 5 in de schaduw 9. Hoewel de 3D-sensor een ruimtelijk beeld kan vormen, kan deze niet om een hoek kijken, zodat de plaatsbepaling van alle objecten in het beeldveld niet altijd mogelijk is. Daarom zal ook het dierbehandelingssysteem dat een dergelijke 3D-sensor gebruikt, niet altijd kunnen functioneren.In this embodiment it becomes clear that in the prior art, which starts from a single 3D sensor, an object can be covered by another object. In the example shown, teat 7 is concealed behind teat 5 in the shadow 9. Although the 3D sensor can form a spatial image, it cannot look around an angle, so that the location of all objects in the image field is not always possible. Therefore, the animal treatment system that uses such a 3D sensor will not always be able to function.

15 Door nu volgens de uitvinding een tweede 3D-sensor 2 te verschaffen, op een afstand van de eerste 3D-sensor 1, kan het nadeel van het bedekken grotendeels worden weggenomen. In figuur 1 is duidelijk dat de speen 7 niet in de schaduw van speen 5 ligt ten opzichte van het tweede beeldveld 4. Daardoor zal in dit geval de tweede 3D-sensor 2 een beeld kunnen vormen waarin speen 7 duidelijk 20 zichtbaar is. Op basis van deze informatie kan het dierbehandelingssysteem wel goed functioneren. De kans dat een object in beide beeldvelden 3 en 4 verdekt is, is zeer klein, en duidelijk minder dan de helft van de kans op bedekken bij een enkel beeldveld.By providing a second 3D sensor 2 according to the invention, at a distance from the first 3D sensor 1, the disadvantage of covering can largely be eliminated. In figure 1 it is clear that the teat 7 is not in the shadow of teat 5 relative to the second image field 4. As a result, in this case the second 3D sensor 2 can form an image in which teat 7 is clearly visible. On the basis of this information, the animal treatment system can function properly. The chance that an object is concealed in both image fields 3 and 4 is very small, and clearly less than half the chance of covering with a single image field.

Voorts wordt opgemerkt dat het gebruik van twee 3D-sensoren ook 25 voordelig kan zijn zelfs indien een object zoals speen 5 voor beide sensoren 1 en 2 zichtbaar is. Niet alleen zal de afstandbepaling, en ook de positiebepaling, nauwkeuriger zijn door bijvoorbeeld uitmiddelen van fouten. Ook kan een andere plaats- of afstandbepaling worden toegepast, namelijk triangulatie op basis van helderheidsvergelijkingen van overeenkomstige onderdelen in de twee beelden. 30 Door middel van beeldherkenning kan de speen 5 in het beeld van de 3D-sensor 1 en van de 3D-sensor 2 worden herkend, zodat de richting van de speen 5 ten opzichte van de twee 3D-sensoren 1 en 2 kan worden bepaald. Daar de afstand tussen de sensoren 1 en 2 bekend is kan dan door triangulatie een aanvullende afstandmeting worden uitgevoerd. Door aldus vergelijken van de waarden voor de 7 afstand bepaald met de 3D-sensor 1, de 3D-sensor 2 en de triangulatie met beide sensoren kan een zeer nauwkeurige plaats- en/of afstandbepaling worden verricht.It is further noted that the use of two 3D sensors can also be advantageous even if an object such as teat 5 is visible to both sensors 1 and 2. Not only will the distance determination, and also the position determination, be more accurate by, for example, averaging errors. Another location or distance determination can also be applied, namely triangulation based on brightness comparisons of corresponding parts in the two images. By means of image recognition, the teat 5 can be recognized in the image of the 3D sensor 1 and of the 3D sensor 2, so that the direction of the teat 5 relative to the two 3D sensors 1 and 2 can be determined. Since the distance between the sensors 1 and 2 is known, an additional distance measurement can then be carried out by triangulation. By thus comparing the values for the 7 distance determined with the 3D sensor 1, the 3D sensor 2 and the triangulation with both sensors, a very accurate location and / or distance determination can be performed.

De 3D-sensoren 1 en 2 zelf kunnen volgens enig bekend dieptebeeldsensorbeginsel werken. Voorbeelden zijn een looptijdsensor voor licht of 5 een ultrasoonsensor voor geluid. Ingeval van optische sensoren omvatten deze een lichtbron die gepulst en/of gemoduleerd licht (zichtbaar en/of infrarood) uitzendt. Deze bron is niet getoond. Er kan voor elke sensor een bron zijn verschaft, of bijvoorbeeld in totaal een bron voor beide sensoren.The 3D sensors 1 and 2 themselves can operate according to any known depth image sensor principle. Examples are a running time sensor for light or an ultrasonic sensor for sound. In the case of optical sensors, these comprise a light source that emits pulsed and / or modulated light (visible and / or infrared). This source is not shown. A source may be provided for each sensor, or, for example, a total source for both sensors.

Figuren 2a-2d geven vier uitvoeringsvormen van een opstelling van 10 twee 3D-sensoren volgens de uitvinding weer.Figures 2a-2d show four embodiments of an arrangement of two 3D sensors according to the invention.

In figuur 2a zijn de sensoren 1 en 2 zodanig opgesteld dat de respectieve centrale lijnen 10 en 11 van hun beeldvelden 3 en 4 in hoofdzaak evenwijdig lopen. Voorts zijn ingetekend het eerste snijpunt A waar de beeldvelden bijeenkomen, het blinde gebied C en het overlapgebied B. Met α is aangeduid de 15 totale openingshoek van de gecombineerde beeldvelden 3 en 4.In Fig. 2a the sensors 1 and 2 are arranged such that the respective central lines 10 and 11 of their image fields 3 and 4 are substantially parallel. Furthermore, the first intersection point A where the image fields meet is drawn, the blind area C and the overlap area B. The total opening angle of the combined image fields 3 and 4 is indicated by α.

In deze uitvoeringsvorm is te zien dat de totale openingshoek α precies overeenkomt met de openingshoek van elk van de sensoren 1 en 2. Hoewel het voordeel van de uitvinding met betrekking tot verminderen van de kans op bedekking ook hier is verschaft, is het aanvullende voordeel van aanpassen van de totale 20 openingshoek niet gegeven. Daarentegen is het overlapgebied B zeer groot. Een dergelijke opstelling is dan ook zeer geschikt voor die behandelingssystemen die werken met betrekkelijk grote mogelijke afstanden.In this embodiment it can be seen that the total opening angle α corresponds exactly to the opening angle of each of the sensors 1 and 2. Although the advantage of the invention with regard to reducing the chance of covering is also provided here, the additional advantage of adjusting the total opening angle not given. In contrast, the overlap area B is very large. Such an arrangement is therefore very suitable for those treatment systems that operate at relatively large possible distances.

Figuur 2b toont een opstelling waarbij de centrale lijnen 10 en 11 wijken. Gelijke verwijzingscijfers geven hier, zoals in de rest van de tekening, 25 soortgelijke onderdelen aan.Figure 2b shows an arrangement in which the central lines 10 and 11 give way. Like reference numerals here, like reference numerals indicate like parts.

Duidelijk is te zien dat de openingshoek α sterk toeneemt, terwijl het overlapgebied B sterk afneemt. Deze opstelling is zeer geschikt om met eenvoudige middelen, zoals standaard 3D-sensoren 1 en 2, een vrij grote openingshoek te verkrijgen. Een nadeel kan zijn dat het totale gebied van overlap B klein is, en 30 daardoor mede de verbetering van de kans op wegnemen van bedekking van objecten.It can clearly be seen that the opening angle α increases sharply, while the overlap area B decreases sharply. This arrangement is very suitable for obtaining a fairly large opening angle with simple means, such as standard 3D sensors 1 and 2. A drawback may be that the total area of overlap B is small, and thereby also the improvement of the chance of removal of cover from objects.

Figuur 2c toont een opstelling waarbij de centrale lijnen 10 en 11 zodanig zijn opgesteld dat er een in hoofdzaak bandvormig overlapgebied B ontstaat. Dit kan worden bereikt door de centrale lijnen 10 en 11 een hoek te laten 8 maken die gelijk is aan de openingshoek van het beeldveld 3, 4. Deze opstelling heeft een grote totale openingshoek α die gelijk is aan twee keer de openingshoek van de individuele 3D-sensor 1, 2. Daarnaast is er een groot overlapgebied B dat in beginsel tot in het oneindige doorloopt. Daardoor is deze opstelling buitengewoon 5 geschikt voor metingen en systemen waarbij de afstand sterk kan variëren, maar het te bestrijken beeldveld in een dimensie, de breedte, sterk beperkt is. Dit geldt bijvoorbeeld voor speendetectie in een melkbox, waarbij de zijdelingse speelruimte voor de dieren beperkt is.Figure 2c shows an arrangement in which the central lines 10 and 11 are arranged such that a substantially band-shaped overlap area B is created. This can be achieved by having the central lines 10 and 11 make an angle 8 equal to the opening angle of the image field 3, 4. This arrangement has a large total opening angle α equal to twice the opening angle of the individual 3D. -sensor 1, 2. In addition, there is a large overlap area B that extends in principle to infinity. This arrangement is therefore extremely suitable for measurements and systems in which the distance can vary considerably, but the image field to be covered in a dimension, the width, is strongly limited. This applies, for example, to teat detection in a milk box, in which the lateral playing space for the animals is limited.

Figuur 2d tenslotte geeft een opstelling waarbij de centrale lijnen 10 en 10 11 een grote hoek met elkaar maken, waardoor de totale beeldhoek α bijna een gestrekte hoek wordt. Merk op dat de totale beeldhoek α groter is dan de som van de individuele hoeken van de beeldvelden. Voordeel van een dergelijke opstelling is een zeer groot totaal beeldveld, een zeer klein blind gebied C, terwijl het gebied van overlap B toch nog groot is. Een dergelijke opstelling is zeer geschikt indien de 15 maximale afstand van objecten beperkt is, hetgeen vaak toch reeds door de gevoeligheid van de 3D-sensoren gegeven is, en de afstand van objecten tot de sensoren 1, 2 ook klein kan worden en er dus slechts een klein blind gebied C mag zijn. Deze opstelling is met name geschikt voor een speendetectieinrichting en daarvan gebruikmakende dierbehandelingssystemen zoals met name een melkrobot 20 of een robot die is ingericht voor speenbehandeling, met name reiniging, desinfectie, voorbehandeling. Hierbij zijn de afstanden vaak beperkt tot tussen ca. 5-10 cm en 50-100 cm.Finally, Figure 2d shows an arrangement in which the central lines 10 and 10 11 make a large angle with each other, so that the total image angle α becomes almost a straight angle. Note that the total image angle α is greater than the sum of the individual angles of the image fields. The advantage of such an arrangement is a very large total image field, a very small blind area C, while the area of overlap B is still large. Such an arrangement is very suitable if the maximum distance of objects is limited, which is often already given by the sensitivity of the 3D sensors, and the distance of objects from the sensors 1, 2 can also become small and therefore only a small blind area may be C. This arrangement is particularly suitable for a teat detection device and animal treatment systems using it, such as in particular a milking robot or a robot which is adapted for teat treatment, in particular cleaning, disinfection, pre-treatment. The distances are often limited to between 5-10 cm and 50-100 cm.

Figuur 3 geeft schematisch een zijaanzicht van een dierbehandelingssysteem volgens de uitvinding. Hierin zijn, naast de eerste 3D-25 sensor 1 met beeldveld 3 en daarin spenen 5 en 7 van een uier 14 tevens getoond een melkslang 12 en een melkbeker 16 op een robotarm 13. Met 15 is een overkapping aangeduid.Figure 3 schematically shows a side view of an animal treatment system according to the invention. In addition to the first 3D-25 sensor 1 with image field 3 and teats 5 and 7 of an udder 14, a milk hose 12 and a teat cup 16 on a robot arm 13 are also shown here.

Voorts is te zien dat de centrale lijn 10 van het beeldveld 3 een hoek maakt met de horizontaal. Doordat hierdoor het beeldveld in hoofdzaak schuin 30 ophoog is gericht, zullen met name spenen zoals spenen 5 en 7, die zich vaak ruwweg op gelijke hoogte bevinden, minder vaak elkaar bedekken.It can further be seen that the central line 10 of the image field 3 makes an angle with the horizontal. Because the image field is thereby oriented obliquely upwards, teats such as teats 5 and 7, which are often roughly at the same height, will cover each other less often.

Merk op dat de bovenzijde van de melkbeker 16 zich in het beeldveld 3 bevindt, zodat bij positioneren daarvan ten opzichte van een speen 5, 7 de afstand 9 daartussen kan worden geminimaliseerd in een en hetzelfde beeld van de 3D-sensor1.Note that the upper side of the teat cup 16 is in the image field 3, so that when it is positioned relative to a teat 5, 7 the distance 9 between them can be minimized in one and the same image of the 3D sensor 1.

Ten overvloede wordt opgemerkt dat slechts een deel van de 3D-sensoren, van de melkbekers en van de spenen is getoond. Het is overigens 5 mogelijk dat slechts een enkele melkbeker 16 tegelijk is verschaft. Met name omvat de dierbehandelingsinrichting ook een robotarm met een grijper die melkbekers afzonderlijk plaatst. Daarnaast kan ook een reinigingsborstel of dergelijke verschaft zijn in plaats van een of meer melkbekers 16. Voorts wordt opgemerkt dat het voordelig is om de 3D-sensor 1 zodanig te positioneren dat de melkslang 12 niet of 10 nauwelijks in beeld komt, aangezien deze niet of nauwelijks bijdraagt aan het positioneren van de melkbeker 16 ten opzichte van de speen 5,7.Needless to say, only a part of the 3D sensors, of the teat cups and of the teats is shown. Incidentally, it is possible that only a single teat cup 16 is provided at a time. In particular, the animal treatment device also comprises a robot arm with a gripper that places teat cups separately. In addition, a cleaning brush or the like can also be provided instead of one or more teat cups 16. It is further noted that it is advantageous to position the 3D sensor 1 in such a way that the milk hose 12 does not or hardly comes into view, since it does not hardly contributes to the positioning of the teat cup 16 relative to the teat 5,7.

De overkapping 15 is verschaft om de 3D-sensor 1 te beschermen tegen vuil en dergelijke, alsmede te beschermen tegen storend omgevingslicht of dergelijke. Daartoe is de overkapping 15 vervaardigd van lichtondoorlatend materiaal 15 (bij voorkeur). Uiteraard is de overkapping gezien in de richting van het beeldveld 3 open, dan wel lichtdoorlatend. Duidelijk is te zien dat de overkapping 15 uitsteekt tot voorbij de 3D-sensor 1. Dit heeft tot gevolg dat deze laatste zeer goed beschermd is tegen van boven invallend vuil. Een dergelijke verdiept liggende opstelling is mogelijk doordat het grote beeldveld in feite pas ontstaat vanaf een punt voorbij de 3D-20 sensoren. In figuren 2c en 2d is duidelijker te zien dat het grote beeldveld ontstaat vanaf punt A, dat zich op een afstand voor de sensoren 1 en 2 bevindt.The covering 15 is provided to protect the 3D sensor 1 against dirt and the like, as well as to protect against disturbing ambient light or the like. For this purpose, the roof 15 is made of light-impermeable material 15 (preferably). Of course, the roof is viewed in the direction of the image field 3, or is transparent. It can clearly be seen that the covering 15 protrudes beyond the 3D sensor 1. This has the result that the latter is very well protected against dirt falling from above. Such a deepened arrangement is possible because the large image field does in fact only arise from a point beyond the 3D-20 sensors. In figures 2c and 2d it can be seen more clearly that the large image field is created from point A, which is at a distance for the sensors 1 and 2.

De getoonde uitvoeringsvormen zijn geenszins beperkend bedoeld. De beschermingsomvang van de uitvinding wordt bepaald door de aangehechte 25 conclusies.The embodiments shown are in no way intended to be limiting. The scope of the invention is determined by the appended claims.

1 03 5 7011 03 5 701

Claims

A dairy animal treatment system with a controllable robot arm connected to a control device, arranged for moving an animal treatment device to a part of a dairy animal, and to an object recognition device connected to the control device comprising a controllable light source, a first 3D sensor with a two-dimensional arrangement of optical sensors and a signal processing device for processing signals emitted by the optical sensors, characterized in that the object recognition device comprises a second 3D sensor with a two-dimensional arrangement of optical sensors, which is placed at a distance from the first 3D sensor , in particular at a horizontal distance.

A dairy animal treatment system according to claim 1, wherein a first central line of a first image field of the first 3D sensor and a second central line of a second image field of the second 3D sensor enclose an angle of unequal 0 °.

A dairy animal treatment system according to claim 2, wherein the first and second central lines disintegrate, and include an angle that is smaller than a maximum image angle of the first and the second image field, in particular in the horizontal plane.

A dairy animal treatment system according to claim 2, wherein the first and second central line are approaching each other, in particular substantially cutting each other, and the angle is at least equal to a maximum image angle of the first and second image field, in particular in the horizontal plane .

A dairy animal treatment system according to claim 4, wherein the enclosed angle is between 5 ° and 30 ° more than the image angle of the first and the second image field, in particular in the horizontal plane. 1 03 5 701

A dairy animal treatment system according to claim 5, wherein the distance between the first and the second 3D sensor and the angle are chosen such that the farthest point that falls in both the first and the second image field at a distance of at least 2 m, advantageously lies at least 0.5 m from the first or the second 3D sensor, in particular wherein the distance between the first and the second 3D sensor is at least 100 mm, and more particularly between 150 and 250 mm.

7. Dairy animal treatment system according to any one of the preceding claims, wherein the first and second central line are each directed upwards with respect to the horizontal, in particular at an angle between 0 ° and 30 ° with the horizontal.

8. A dairy animal treatment system according to any one of the preceding claims, wherein at least one of the first and second 3D sensor is arranged on the robot arm under a covering of opaque material which projects beyond the respective 3D sensor (s), in particular at least 100 mm protrudes beyond the respective 3D sensor (s).

A dairy animal treatment system according to any one of the preceding claims, wherein the object recognition device is adapted to determine a distance from an object to one of the 3D sensors from signals emitted by said 3D sensor, in particular transit time or phase shift signals.

A dairy animal treatment system according to any one of the preceding claims, wherein the object recognition device is adapted to determine a distance from an object to one of the 3D sensors from brightness signals emitted by both 3D sensors. 1035701