DE69709482T2

DE69709482T2 - Erntegutlinie-Ortungsvorrichtung mit Bildverarbeitung

Info

Publication number: DE69709482T2
Application number: DE69709482T
Authority: DE
Inventors: Kerien Fitzpatrick; Regis Hoffman; Mark Ollis; Anthony Stentz; William Whittaker
Original assignee: Carnegie Mellon University
Current assignee: Carnegie Mellon University
Priority date: 1996-04-19
Filing date: 1997-04-15
Publication date: 2002-11-07
Anticipated expiration: 2017-04-16
Also published as: EP0801885A1; US5911669A; DE69709482D1; EP0801885B1

Description

Die vorliegende Erfindung bezieht sich aufi landwirtschaftliche Maschinen und insbesondere auf selbstfahrende Erntegut-Erntemaschinen, die als Teil des Erntevorganges das Erntegut oder die Pflanzen, auf denen das Erntegut gewachsen ist, mähen. Die Erfindung ergibt eine automatische Lenkungssteuerung, die in der Lage ist, die Erntegut-Linie zwischen dem gemähten und ungemähten Erntegut zu bestimmen und die Erntemaschine entlang der Erntegut-Linie zu lenken, während die Erntemaschine das Feld überquert.
In den vergangenen Jahren wurden viele der Funktionen von Erntemaschinen, die normalerweise manuell von einem Fahrer gesteuert wurden, automatisiert. Die akustische und optische Wahrnehmung durch den Fahrer wurde durch optische, akustische, magnetische, Funkfrequenz- und andere Arten von Sensoren ersetzt. Mikroprozessoren, die in Abhängigkeit von Bedingungen arbeiten, die von den Sensoren gemessen werden, haben die manuelle Fahrer-Steuerung der mechanischen Funktionen ersetzt. Es ist jedoch immer noch erforderlich, einen Fahrer einzusetzen, um die Erntemaschine so zu steuern, daß sie sich entlang einer Erntegut-Linie bewegt.
Die menschlichen Fähigkeiten stellen eine wesentliche Beschränkung des Wirkungsgrades des Erntevorganges dar. Die Erntemaschine wird am wirkungsvollsten mit maximaler Geschwindigkeit betrieben, wobei ein Ende des Mähmechanismus geringfügig die Erntegut-Linie zwischen gemähtem und ungemähtem Erntegut überlappt. Wenn keine Überlappung vorliegt, so verbleibt ein ungemähter Streifen von Erntegut in dem Feld. Wenn andererseits die Überlappung zu groß ist, so wird nicht die maximale Breite des Erntegutes gemäht.
Derzeit verfügbare Erntemaschinen sind mit Fahrgeschwindigkeiten von 6 bis 8 km/h betreibbar, und zukünftige Erntemaschinen werden für einen Betrieb bei höheren Geschwindigkeiten konstruiert. Obwohl ein Fahrer leicht eine Erntemaschine entlang der Erntegut-Linien mit Geschwindigkeiten von 6 bis 8 km/h lenken kann, ist die dauernde Aufmerksamkeit, die hierfür erforderlich ist, äußerst ermüdend, und der Fahrer kann den maximalen Erntewirkungsgrad bei dieser Geschwindigkeit über lange Zeitperioden nicht aufrechterhalten. Somit könnte der Nutzwirkungsgrad der Erntemaschine dadurch vergrößert werden, daß irgendeine Art von "Fahrsteuerung" vorgesehen wird, die automatisch die Erntemaschine entlang einer Erntegut-Linie mit der maximalen Erntemaschinen-Geschwindigkeit lenkt, wobei ein Eingriff des Fahrers allenfalls dann erforderlich ist, wenn sich die Erntemaschine dem Ende eines Erntegut- Feldes nähert.
Vorrichtungen, die dazu verwendet werden können, die Erntegut-Linie zu erfassen, können in zwei Kategorien unterteilt werden: Verfahren auf Entfernungsbasis, die versuchen, den Höhenunterschied zwischen dem gemähten und dem ungemähten Erntegut festzustellen, und auf Sicht oder Abbildungen beruhende Verfahren, die versuchen, Unterschiede des Erscheinungsbildes zwischen dem Erntegut auf der gemähten und der ungemähten Seite der Erntegut-Linie festzustellen. Verfahren auf Entfernungsbasis können einen Laser-Abtast-Entfernungsrnesser, ein Laserlicht- Streifengerät, ein Stereo-Kamerasystem und ein optisches Ablaufverfahren einschließen. Auf Sicht oder Abbildungen beruhende Verfahren können eine Merkmal- Verfolgungstechnik und eine Segmentierung oder Unterteilung auf der Grundlage der Textur, Intensität und Farbe einschließen.
Während der Entwicklung der vorliegenden Erfindung wurde ein Konfiguration in Erwägung gezogen, die einen Zweiachsen-Laserabtast-Entfemungsmesser verwendet. Dieser Sensor lenkt einen Laserstrahl über eine Szene ab und mißt die Zeit, die erforderlich ist, damit das reflektierte Licht zum Sensor zurückkehrt. Das System liefert eine Tiefeninformation über ein Sichtfeld von 360º in Azimutrichtung und 40º in Elovationsrichtung zurück. Der Sensor führt ungefähr zehn Ablenkvorgänge pro Sekunde aus und benötigt somit grob gerechnet 20 Sekunden, um ein vollständiges 2048 · 200-Entfernungsbild zu erzeugen. Diese Abtasteinrichtung ist in der Lage Höhendifferenzen von lediglich wenigen Zentimetern in einer Entfernung von 20 Metern festzustellen, und in Feldversuchen war die Höhendifferenz zwischen dem gemähten und dem ungemähten Erntematerial ziemlich klar zu erkennen. Die Nachteile dieses Systems schließen eine langsame Zykluszeit, hohe Kosten und Bedenken hinsichtlich der mechanischen Zuverlässigkeit ein.
Ein weiteres alternatives System, das für eine Auswertung betrachtet wurde, war ein Laserlicht-Streifensensor. Lichtstreifensysteme haben zwei Bauteile: eine Lichtquelle und eine Kamera, die so abgestimmt ist, daß sie lediglich die von der Lichtquelle emittierten Frequenzen erfaßt. Typischerweise wird ein Laserstrahl durch eine Zylinderlinse geschickt, die den geradlinigen Strahl in eine Ebene aufspreizt. Diese Ebene schneidet die Szene in einer beleuchteten Linie. Entfernungen zu allen Punkten auf der Linie können dann durch Triangulation bestimmt werden.
Die Lichtstreifeneinrichtung hat keine sich bewegenden Teile, erfordert lediglich eine minimale Rechenleistung und ist mit möglicherweise wenig aufwendig. Weil Erntemaschinen jedoch im freien Gelände arbeiten, würde ein Laser mit einer seine Anwendung ausschließenden Leistung zur Vermeidung einer Überdeckung durch Sortnenlicht erforderlich sein, um Entfernungsinformationen über die erforderliche Entfernung (ungefähr 5 Meter) zu erfassen. Das Lichtstreifensystem weist weiterhin den Nachteil auf, daß es lediglich eine geradlinige Gruppe von Tiefen zurückliefert, so daß lediglich ein Punkt entlang der Mählinie zu einer Zeit erfaßt werden.
Stereo-Kameras ergeben eine weitere mögliche alternative Lösung auf Entfernungsbasis zur Erfassung der Erntegut-Mählinie, und zwar auf der Grundlage eines weiteren Verfahrens auf der Grundlage der Triangulation. Eine Tiefeninformation wird dadurch erzielt, daß das gleiche Objekt von zwei oder mehreren unterschiedlichen Blickpunkten aus gleichzeitig betrachtet wird, wie dies bei dem Sichtsystem des Menschen der Fall ist. Bei dieser Anwendung ist eine extrem präzise Tiefeninformation nichterforderlich. Daher wurden zwei Kamerasysteme mitrelativ kleinen Basislinien (zwischen 15 und 60 cm) untersucht. Der Storm-Stereoalgorithmus, wie er in einer Veröffentlichung für die IEEE Conference on Computer Vision and Pattern Recognition 1993 von Bill Ross mit dem Titel "A Practical Stereo Vision System" definiert wurde, wurde zur Berechnung der Korrespondenzen verwendet. Obwohl festgestellt wurde, daß ein Alfalfa-Feld eine ausreichende Textur aufweist; um das Korrespondenz- Problem zu lösen, bleibt die Berechnungsgeschwindigkeit ein Hauptproblem bei der Stereo-basierten Nachführung.
Die US-A-4 077 488 offenbart eine Technik auf Sicht- oder Bild-Grundlage zum Lenken eines landwirtschaftlichen Fahrzeuges. Hier wird das Feld durch eine Kombination eines Kollimators und einer rotierenden Scheibe abgetastet, die mit einer Vielzahl von Öffnungen versehen ist. Ein optisches Bandpaßfilter ermöglicht es Licht, mit einer vorgegebenen Wellenlänge den Photosensor in dem Kollimator zu erreichen. Das Vorbeilaufen der Scheiben-Öffnungen vor dem Kollimator erzeugt ein Signal, das die Verteilung von mehr oder weniger reflektierenden Teilen in dem Feld anzeigt. Eine geeignete Wahl des Filters ermöglicht eine Unterscheidung zwischen Reflexionen von dem gemähten und ungemähten Erntegut. Das Signal wird in eine Rechteckschwingung transformiert, in der die Nulldurchgänge die Position der Kante des nicht gemähten Erntegutes anzeigen. Die Fahrtrichtung des Fahrzeuges wird so eingestellt, daß der Nulldurchgang und damit die Erntegut-Kante zur Mitte des Abtastfensters verschoben wird. Das System tastet das Erntegut entlang lediglich einer Linie ab, die die Erntegut-Kante überquert, derart, daß lediglich ein Überkreuzungspunkt berücksichtigt wird. Entsprechend ist das System sehr empfindlich gegenüber Störungen, die sich aus unregelmäßigen Kantenmustern ergeben, beispielsweise wenn sich das Fahrzeug Stellen nähert, an denen der Erntegutertrag schlecht ist oder an denen das Erntematerial vollständig fehlt.
Eine alternative Technik auf Sicht- oder Bildgrundlage ist als ein Fenster-basiertes Merkmal-Verfolgungsverfahren definiert, wie es in dem Carnegie-Mellon Technical Report, 1991, veröffentlicht von C. Tomasi und T. Kanade mit dem Titel "Detection and Tracking of Point Features" beschrieben ist. Ausgehend von einem Bild der Erntegut- Mählinie wurde ein Satz von kleinen (angenähert 20 · 30-Pixeln) Fenstern, die die Mählinien-Begrenzung überlappen, von Hand ausgewählt. Diese Fenster wurden dann als Merkmale in den Algorithmus eingegeben und dann von einem Bild zum nächsten verfolgt. Auf diese Weise war es möglich, die Erntegut-Linie über eine Folge von 20 Bildern hinweg zu verfolgen. Dieses Verfahren erfordert immer noch, daß die anfänglichen Merkmalsfenster entlang der Erntegut-Linie gewählt werden.
Ein weiteres alternatives Verfahren, das in Betracht gezogen wurde, verwendet einen örtlichen 2-D-Fourier-Transformationsoperator als Basis für eine Textur-basierte Segmentierung, die dies in einer Veröffentlichung von 1994 mit dem Titel "Segmenting textured 3D surfaces using the space/frequency representation" in Spatial Vision, Band 8, Nr. 2, beschrieben ist. Der Sinn dieses Verfahrens bestand darin, ein Raumfrequenzband mit einem erheblichen Unterschied zwischen gemähtem und ungemähtem Erntegut zu lokalisieren. Leider zeigten Vorversuche jedoch keinen klaren Nachweis einer derartigen Anzeige.
Eine visuelle Überprüfung einiger Erntegut-Linien-Bilder zeigte, daß Teile des Bildes, die ungemähtes Erntematerial enthielten, einen wesentlich dunkler waren und einen etwas anderen Farbton aufwiesen, als die Teile, die gemähtes Erntematerial enthalten. Von diesen beiden ist der Farbunterschied allgemein stärker ausgeprägt, was sich weitgehend aus dem ausschließlichen Vorhandensein eines Blätterdaches auf der nicht gemähten Seite der Erntegut-Linie ergibt. Aufgrund der Konstantheit dieses Farbeffektes, der relativen Robustheit des Sensors und der geringeren Sensorkosten stellt ein Bild-basiertes System unter Verwendung von Farbsegmentierungstechniken das vielversprechendste Verfahren dar, das für die Erntegut-Mählinien-Nachführung verfolgt werden sollte.
Die Bild-basierte Lenkung von landwirtschaftlichen Fahrzeugen ist keine neue Idee, und andere haben das Wahrnehmungsproblem untersucht, das hier auftritt. Beispielsweise beschreiben J. F. Reid und S. W. Searcy in einem Artikel für die ASAE im November/Dezember 1988 mit dem Titel "An Algorithm for Separating Guidance Information from Row Crop Images" ein Verfahren zur Segmentierung verschiedener unterschiedlicher Erntegut-Bedeckungen gegenüber dem Boden durch lntensitäts- Schwellenwertbildung. Sie verwenden jedoch nicht tatsächlich den Algorithmus zum Lenken eines Fahrzeuges. M. Hayashi und Y. Fujii haben in einem Artikel für das "USA-Japan Symposium on Flexible Automation" mit dem Titel "Automatic Lawn Mower Guidance Using a Vision System" eine Glättung, Kantendetektion und eine Hough-Transformation verwendet, um einen Rasenmäher entlang einer Begrenzung zwischen gemähten und ungemähten Bereichen zu lenken. Ihr Algorithmus findet jedoch nur geradlinige Begrenzungen; und sie erwähnen nicht die Geschwindigkeit, bei der sie diese Aufgabe ausführen können: Gerhard Jahns liefert einen Überblick über automatische Lenkungstechniken für landwirtschaftliche Fahrzeuge in einer ASAE-Veröffentlichung von 1983 mit dem Titel "Automatic Guidance in Agriculture: A Review".
Die DE-A-35 07 570 offenbart ein automatisches Lenkungssystem für ein landwirtschaftliches Fahrzeug, das entlang eines Feldes oder durch ein Feld mit in Reihen von gewachsenem Erntegut gefahren wird. Das System leitet die Ausrichtung der Pflanzenreihen aus einem Anfangsbild ab. Dann wird dieses Bild entlang von Zeilen abgetastet, die parallel zu der abgeleiteten Ausrichtung sind, und die mittleren Grauwerte pro Linie werden in einem Speicher gespeichert. Während der Bewegung über das Feld wird das Feld entlang der gleichen Zeilen abgetastet. Die Abtastergebnisse pro Zeile werden mit den Werten in dem Speicher verglichen, und eine Verschiebung zwischen den Ist-Werten und den Bezugswerten wird dadurch kompensiert, daß das Fahrzeug nach links oder rechts gelenkt wird. Dieses System ist speziell für Erntegut ausgelegt, das in geraden Reihen gewachsen ist, doch ist es nicht sehr wirkungsvoll, wenn eine Erntegut-Kante oder noch schlimmer, eine gekrümmte Erntegut-Kante verfolgt werden soll.
Nach Wissen des Anmelders ist die nachfolgend beschriebene Arbeit das einzige System, das jemals erfolgreich dazu verwendet wurde, eine Erntemaschine zu lenken.
Es ist ein Ziel der vorliegenden Erfindung, ein Bild-basiertes Verfahren und eine Vorrichtung zur automatischen Lenkung einer selbstfahrenden Erntemaschine entlang einer Erntegut-Linie zu schaffen.
Gemäß einem Gesichtspunkt der vorliegenden Erfindung wird ein Verfahren zum Lenken einer landwirtschaftlichen Erntemaschine entlang einer Erntegut-Linie geschaffen, wobei die Erntemaschine Steuereinrichtungen für lenkbare Räder aufweist, um auf diese Weise die Erntemaschine zu lenken, wobei das Verfahren folgendes umfaßt:
a) Befestigen einer Betrachtungseinrichtung auf der Erntemaschine; wobei die Betrachtungseinrichtung so ausgerichtet ist, daß sie eine eine Erntegut-Linie einschließende Landschaft vor der Erntemaschine betrachtet und ein Bild hiervon bildet, und
b) Abtasten von zumindest einem Fenster des Bildes Zeile für Zeile und Pixel für Pixel, um Informationssignale zu erzeugen, die das Bild darstellen, wobei das Verfahren durch die folgenden weiteren Schritte gekennzeichnet ist:
c) Ableiten, aus den Informationssignalen jeder Abtastzeile i, einer Vielzahl von Diskriminanten-Funktionswerten d (i, j), worin i die Abtastzeile identifiziert und j die relative Position eines Pixels auf der Abtastzeile i ist,
d) Bestimmen, für jede Abtastzeile i; einer Pixelposition jn, die die Pixelposition j einer Stufe in einer Stufenfunktion darstellt, die die beste Anpassung an die Diskriminanten-Funktionswerte d (i, j) darstellt, die für die Abtastzeile i erzeugt wurden,
e) Entwickeln, für jede Pixelposition j, einer Summe der Anzahl von Malen, zu denen die Stufenposition jn bei dieser Pixelposition j während einer vollständigen Abtastung des Fenster auftritt, um für dieses Fenster Votenzählungen zu entwickeln, die bevorzugte Lenkrichtungen darstellen,
f) Zuführen eines Lenksignals an die Steuereinrichtungen, das aus den entwickelten Votenzählungen bestimmt ist.
Gemäß einem weiteren Gesichtspunkt der vorliegenden Erfindung wird eine selbstfahrende landwirtschaftliche Erntemaschine (10) geschaffen, die folgendes umfaßt:
eine Betrachtungseinrichtung (30); die auf der Erntemaschine (10) befestigt und so ausgerichtet ist, daß sie eine eine Erntegut-Linie (16) einschließende Landschaft vor der Erntemaschine betrachtet und Bilder hiervon bildet, wobei der Betrachtungseinrichtung (30) eine Abtasteinrichtung zur Abtastung von zumindest einem Fenster eines Bildes Zeile für Zeile und Pixel für Pixel zugeordnet ist, um Informationssignale zu erzeugen, die dieses Fenster darstellen, und
Steuereinrichtungen (40, 50, 46, 48) für lenkbare Räder (22, 24), um auf diese Weise die Erntemaschine (10) in Abhängigkeit von den Informationssignalen zu lenken,
wobei die Erntemaschine dadurch gekennzeichnet ist, daß sie weiterhin folgendes umfaßt:
erste Einrichtungen (42) zur Erzeugung, aus den Informationssignalen jeder Abtastzeile i, einer Vielzahl von Diskriminanten-Funktionswerten d(i, j) worin i die Abtastzeile und j die relative Position eines Pixels auf der Abtastzeile i identifiziert;
zweite Einrichtungen (42), die auf die ersten Einrichtungen ansprechen; um für jede Abtastzeile eine Pixelposition jn zu bestimmen, die die Pixelposition j einer Stufe in der Stufenfunktion darstellt, die eine beste Anpassung an die Diskriminanten- Funktionswerte d(i, j) ergibt, die für die Abtastzeile i erzeugt wurden,
eine Vielzahl von Zählern, wobei zumindest ein Zähler jeder Pixelposition j des Fenster entspricht, wobei die Zähler auf die zweiten Einrichtungen (42) ansprechen, um die Anzahl von Malen zu akkumulieren, zu denen die Stufenposition jn an dieser Pixelposition j während einer vollständigen Abtastung des Fensters auftritt, um hieraus Votenzählungen zu entwickeln, die bevorzugte Lenkrichtungen anzeigen, und dritte Einrichtungen (42), die auf die Votenzählungen ansprechen, um den Steuereinrichtungen (40, 50, 46, 48) ein Lenksignal zuzuführen, das aus den Votenzählungen bestimmt ist.
Bei dieser Vorrichtung und dem Verfahren kann die eine beste Anpassung ergebende Stufenfunktion aus Berechnungen bestimmt werden, die das Fehlerquadrat- Fehlerkriterium verwenden. Wenn rekursive Verfahren zur Berechnung der eine beste Anpassung darstellenden Stufenfunktion verwendet werden, kann die Berechnungszeit beträchtlich verringert werden.
Die Votenzählungen können dadurch normalisiert werden, daß die entwickelten Summen durch die Anzahl von Abtastzeilen dividiert werden. Die Lenkungszuverlässigkeit wird durch Ableiten von bevorzugten Lenkrichtungen aus einer Vielzahl von Bildern verbessert. Das Lenksignal kann dann von den gemittelten Votenzählungen abgeleitet werden. Die Zählungen können zeitlich bewertet sein, so daß Votenzählungen, die für neuere Bilder erzeugt wurden, eine größere Wertigkeit bei der Bestimmung des Lenksignals haben.
Benachbarte Pixelposition können Fächern zugeordnet werden, die unterschiedlichen Radpositionen entsprechen, und die Votenzählungen können aus der Anzahl von Malen entwickelt werden, zu denen die Stufenposition jn, an der Pixelposition auftritt, die einem Fach zugeordnet ist.
Die Diskriminanten-Funktion kann die prozentuale Intensität eines einzelnen Spektralbandes oder das Intensitätsverhältnis zwischen zwei Spektralbändern sein.
Die Betrachtungseinrichtungen können eine Farb-Videokamera oder eine Schwarz- Weiß-Kamera umfassen, die ein oder mehrere zugehörige Bandpaßfilter aufweist.
Die Erfindung wird nunmehr ausführlicher unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, in denen:
Fig. 1 eine Erntemaschine zeigt, die sich über ein Feld bewegt; auf dem ein Teil des Erntegutes gemäht wurde,
Fig. 2 eine teilweise fortgeschnittene Seitenansicht einer selbstfahrenden Erntemaschine zeigt, auf der die Erfindung verwendet werden kann,
Fig. 3 ein schematisches Blockschaltbild der Hardware zeigt, die das Erntemaschinen-Steuersystem bildet;
Fig. 4A-4E Diagramme sind, die zur Erläuterung der mathematischen Grundlage des Betriebs der Erntegut-Linien-Verfolgungseinrichtung nützlich sind,
Fig. 5A und 5B ein Ablaufdiagramm bilden, das die Betriebsweise der Erntegut-Linien-Verfolgungseinrichtung erläutert, und
Figure 6 graphische Darstellungen umfaßt, die die Wirkung der zeitlichen Bewertung und der Mittelwertbildung von Erntegut-Linien-Verfolgungseinrichtungs- Lenksignalen erläutert.
Fig. 1 zeigt eine selbstfahrende landwirtschaftliche Erntemaschine 10 während des Mähens eines Erntegutes auf einem Feld, das eine Umgrenzung 12 aufweist. Der nicht gemähte Teil des Erntegutes ist durch den schattierten Bereich 14 angezeigt. Die Kante oder Unterteilung zwischen dem gemähten Erntegut und dem ungemähten Erntegut vor der Erntemaschine wird allgemein als die Erntegut-Linie bezeichnet, und ist mit der Bezugsziffer 16 bezeichnet. Üblicherweise ist nicht die gesamte Fläche des Feldes mit Erntegut bepflanzt. Ein Wendebereich mit einer Breite D bleibt an jedem Ende des Feldes unbepflanzt und ergibt einen Bereich, in dem die Erntemaschine gewendet werden kann. Die Unterteilung zwischen dem Wendebereich und dem Teil des Feldes, das mit Erntegut bepflanzt ist, wird allgemein als das "Ende einer Reihe" bezeichnet und ist mit der Bezugsziffer 18 markiert. Die Erfindung ist nicht auf die Verwendung in rechtwinkligen Feldern beschränkt, und die zu mähende Erntegutfläche kann eine unregelmäßige Form aufweisen.
Die Erntemaschine 10 kann vielfältige Formen annehmen (Mähdrescher, Feldhäcksler, usw.), doch wurden die Versuche unter Verwendung einer Maschine vom Typ 2550 Speedrower TM ausgeführt, die im Handel von der Firma New Holland North America Inc. erhältlich ist. Diese Erntemaschine ist ähnlich der, die in Fig. 2 gezeigt ist. Sie mäht Feldfrucht-Erntegut und bereitet dies auf und gibt das geerntete Erntegut auf den Boden entweder in einem verdichteten Schwad oder einem Schwad ab, der im wesentlichen so breit ist, wie die Mähbreite der Maschine. Die Erntemaschine weist einen Mähbalken 13 auf, der angehoben und abgesenkt werden kann, und der geringfügig über der Bodenhöhe an der Vorderseite der Erntemaschine gehaltert wird, wenn Erntegut gemäht wird. Eine Haspel 20 lenkt das gemähte Erntegut-Material in Aufbereitungswalzen 21 zur weiteren Aufbereitung, und das aufbereitete Erntematerial wird dann ausgeworfen.
Zur Verwendung bei der vorliegenden Erfindung wurde die im Handel erhältliche Erntemaschine nachträglich mit linken und rechten elektrohydraulisch gesteuerten Antriebsmotoren 46 und 48 (Fig. 3) zum differenziellen und reversiblen Antreiben der Vorderräder 22, 24 ausgerüstet. Die auf diese Weise modifizierte Erntemaschine wird dadurch gelenkt, daß die Vorderräder mit unterschiedlichen Relativgeschwindigkeiten angetrieben werden.
Die Erntemaschine 10 ist mit zumindest einer Videokamera 30 (Fig. 2) versehen, die auf einem Arm befestigt ist, der sich von einer Seite der Erntemaschine aus nach außen erstreckt. Für Versuchszwecke wurde die Kamera von einem Arm gehaltert, der in der Nähe der Oberseite der Fahrerkabine 26 befestigt war und sich zur linken Seite der Erntemaschine in einer Höhe von ungefähr 4 Metern oberhalb des Bodens erstreckte. Die Kamera ist auf einen Bereich ungefähr 4 Meter vor der Erntemaschine gerichtet, um ein Bild der Landschaft vor der Erntemaschine zu erfassen. Die Kamera ist geringfügig einwärts bezüglich des linken Endes des Erntemaschinen-Mähbalkens gehaltert, so daß sie sich direkt über der Erntegut-Linie befindet, wenn die Erntemaschine der Erntegut-Linie richtig folgt. Dies vermeidet die Notwendigkeit von Berechnungen, die sich auf die Versetzung beziehen, und ermöglicht es, daß der Lenksteueralgorithmus ausschließlich auf der Lenkung der Erntemaschine zum Halten der Erntegut-Linie in der Mitte des Bildes beruht. Wenn daher die Erntemaschine so gelenkt wird, daß die Kamera im wesentlichen über der Erntegut-Linie bleibt, so überlappt der Mähbalken geringfügig die Erntegut-Linie. Diese Überlappung stellt sicher, daß keine schmalen Streifen von ungemähtem Erntegut-Material auf dem Feld verbleiben.
Weil die Kamera über der Erntegut-Linie gehaltert ist, beschränkt die Verwendung einer einzigen Kamera die Feld-Überdeckungspläne oder Bewegungsmuster, denen der Fahrer beim Mähen eines Feldes folgen kann, während er den Vorteil der vorliegenden Erfindung ausnutzt. Wenn beispielsweise die Erntemaschine eine einzige Kamera aufweist, die auf der linken Seite der Fahrerkabine 26 befestigt ist, so daß sie die Erntegut-Linie 16 (Fig. 1) verfolgt, so ist es nicht möglich, die Erntemaschine beim Erreichen des Endes der Reihe um 180º um das rechte Vorderrad 24 als Schwenkpunkt zuwenden und das Mähen wieder aufzunehmen. Die neue Erntegut- Linie 16' befindet sich dann auf der rechten Seite der Erntemaschine, doch befindet sich die Kamera immer noch auf der linken Seite. Daher kann es bei manchen Anwendungen wünschenswert sein, eine zweite Kamera 30, die auf der rechten Seite der Erntemaschine befestigt ist, und einen Videoschalter 32 vorzusehen, der so gesteuert ist, daß er das Video-Ausgangssignal von der passenden Kamera auswählt. Eine einzige Kamera ermöglicht jedoch die Verwendung einer derart großen Vielzahl von Feldüberdeckungsplänen, daß die Notwendigkeit für zwei Kameras äußerst begrenzt ist.
Wie dies in Fig. 3 gezeigt ist, schließen die hauptsächlichen Hardware-Komponenten des Systems eine und möglicherweise zwei Videokameras 30, einen Videoschalter 32, wenn zwei Kameras verwendet werden, einen Computer 40 für die mechanische Steuerung, einen Video-Verarbeitungscomputer 42, linke und rechte Radantriebsmotoren 46, 48, ein elektrisch gesteuertes hydrostatisches Getriebe 50 und übliche, vom Fahrer betätigte Steuerungen 78 ein. Der Computer 40 für die mechanische Steuerung empfängt Befehle von den Steuerungen 78 und erzeugt in Abhängigkeit von diesen Befehlen Geschwindigkeits- und Lenkungssignale und Anbaugeräte- Steuerbefehle zur Steuerung des Mähbalken-Steuermechanismus 66. Die Erntemaschine wurde mit linken und rechten Vorderrad-Codierern 34 und 36 zu Zwecken versehen, die für die vorliegende Erfindung ohne Bedeutung sind.
Der Computer 40 für die mechanische Steuerung kann ein Motorola-Modell MC68040 sein, das von dem V · Works-Echtzeit-Betriebssystem unterstützt wird. Der Video- Verarbeitungscomputer 42 kann eine Sun Sparc 20-Karte sein, auf der Unix läuft, und er schließt einen Digitalisierer 56 zur Digitalisierung von Videosignalen ein, die von dem Videoschalter 32 empfangen werden. Die Computer 40 und 42 sind über eine serielle Ethernet-Verbindungsstrecke 58 miteinander verbunden.
Ein (nicht gezeigter) Manuell/Automatik-Betriebsartschalter steuert den Computer 40 für die mechanische Steuerung derart, daß dieser auf manuelle Lenkbefehle von den Steuerungen 78 oder auf automatische Lenkbefehle anspricht, die von dem Video- Verarbeitungs-Computer 42 entwickelt werden, wie dies weiter unten beschrieben wird.
Der Computer 40 erzeugt seinerseits Lenkbefehle, die dem elektrisch gesteuerten hydrostatischen Getriebe 50 zugeführt werden. Ein Lenkbefehl hat einen Wert, der der reziproke Wert des Krümmungsradius der Kurve ist, für die ein Befehl gegeben wurde. Ein Lenkbefehl kann beispielsweise einen von 21 Werten zwischen -0,1 (maximale linke Kurve) und +0,1 (maximale rechte Kurve) haben, wobei der Wert von Null eine Geradeauslenkung befiehlt. Das elektrisch gesteuerte hydrostatische Getriebe 50 schließt Einrichtungen zum Auflösen der Befehle und zur Erzeugung von zwei Analogsignalen ein. Diese Analogsignale steuern die Aufteilung der insgesamt verfügbaren Hydraulikflüssigkeits-Strömung zwischen den Radantriebsmotoren 46, 48, die ihrerseits die Vorderräder mit unterschiedlichen Geschwindigkeiten antreiben, um zu bewirken, daß die Erntemaschine eine Kurve fährt. Eine Gashebel-Steuerung 76 regelt die insgesamt verfügbare Hydraulikflüssigkeit-Strömung und stellt somit die Erntemaschinen-Fahrgeschwindigkeit ein.
Die Kamera 30 ist vorzugsweise eine Farbvideokamera, und bei der Entwicklung der Erfindung wurde eine RGB-(rot-grün-blau-) Kamera verwendet. Der Zweck der Kamera besteht darin, ein elektronisches Bild der Landschaft vor der Erntemaschine zu bilden und das Bild Zeile für Zeile und Pixel für Pixel abzutasten, um ein Signal zu erzeugen, das Informationen hinsichtlich des Spektralinhaltes des Bildes an jeder Pixelposition enthält.
Es ist nicht erforderlich, ein gesamtes Bild abzutasten. Die Abtastung kann auf lediglich ein Fenster des Bildes beschränkt sein. Weiterhin ist es innerhalb eines Fensters nicht erforderlich, jede mögliche Abtastzeile zu verwenden. Fahrerbefehle, die in das System von einem (nicht gezeigten) Bedienfeld oder einer Tastatur eingegeben werden, können in einer bekannten Weise verwendet werden, um die Ablenkschaltungen der Kamera zu steuern, um die Größe des Fensters auszuwählen und somit Zeilenabtastungen zu überspringen. Ein Fenster kann beispielsweise 400 · 300 Pixel umfassen, doch kann diese Größe beträchtlich verändert werden. Der Zweck des Video-Verarbeitungs-Computers 42 besteht darin, das digitalisierte Videosignal, das die Szene innerhalb des Blickfeldes der Kamera 30 darstellt, zu analysieren und eine Anzeige dafür zu liefern, wo sich die Erntegut-Linie bezogen auf den Mittelpunkt der Szene befindet. Der Computer 42 ist so programmiert, daß er gerätemäßig einen Diskriminator und einen Segmentierer ausbildet.
Die Schaffung eines Farb-Segmenierungsalgorithmus kombiniert zwei Teile: einen Diskriminator und einen Segmentierer. Der Diskriminator berechnet eine Funktion d (i, j) von einzelnen Pixeln, von denen die Signale eine gewisse Information darüber liefern, ob sich dieser Pixel in dem gemähten Bereich oder dem ungemähten Bereich befindet. Der Segmentierer verwendet dann die Diskriminante, um eine Segmentierung zu erzeugen. Damit der Segmentierer zuverlässig arbeitet, ist es wünschenswert, daß die Differenz in der Diskriminanten zwischen der gemähten Seite und der ungemähten Seite so groß wie möglich verglichen mit der Standardabweichung (S. D.) ist. Es wurden Experimente unter Verwendung einer RGB-Kamera durchgeführt, wobei die Diskriminante d (i, j) die prozentuale Intensität innerhalb eines vorgegebenen Spektralbandes oder das Verhältnis zwischen zwei Spektralbändern ist. Die Ergebnisse sind in der Tabelle I angegeben.

TABELLE 1

Es wurden weiterhin Experimente unter Verwendung einer Schwarz-Weiß-Kamera mit sechs Bandpaßfiltern ausgeführt, die von 300-900 nm reichen, wobei jedes Filter ein Durchlaßband von 100 nm hatte. Es sei bemerkt, daß die Empfindlichkeit von im Handel erhältlichen CCD-Kameras außerhalb dieses Bereiches scharf abfällt. Die Ergebnisse sind in der Tabelle II gezeigt.

TABELLE II

Die Filterdaten deuten an, daß die Verwendung einer speziell hergestellten Kamera, die für lediglich einige wenige schmale Frequenzbänder empfindlich ist, einen Vorteil gegenüber einer RGB-Kamera ergeben kann.
Auf der Grundlage der vorstehenden Tabellen und durch qualitative Beobachtung einer Anzahl von Segmentierungen wurde das Verhältnis von Rot zu Grün als die Diskriminanten-Funktion d (i, j) ausgewählt. Wenn eine erhebliche Datenbank an Bildern gewonnen wurde, kann eine lineare Fischer-Diskriminante, wie sie in einer Veröffentlichung aus dem Jahre 1974 von T. Young und T. Calvert mit dem Titel "Classification, Estimation and Pattern Recognition", veröffentlicht von der American Elsevier Publishing Co., beschrieben ist, dazu verwendet werden, die optimale lineare Diskriminante im Farbraum zu finden. Die Verwendung eines Maßes gleich diesem an einem kleinen Satz von Daten kann jedoch irreführend sein, weil die Qualität einer vorgegebenen Diskriminante sich beträchtlich für unterschiedliche Bilder ändert. Der Diskriminator berechnet aus dem digitalisierten Ausgangssignal einer Kamera eine Funktion d (i, j) von einzelnen Pixeln innerhalb eines Fensters oder eines interessierenden Bereiches von beispielsweise 400 · 300 Pixeln, die sich am Mittelpunkt des Videokamera-Bildschirmes befinden.
Fig. 4 zeigt eine Kurve von d (i, j) für einen Teil einer Abtastzeile in der Nähe des Mittelpunktes einer Abtastzeile i, wobei die Diskriminanten-Funktion die Intensität des grünen prozentualen Anteils ist. Für jede Pixelposition j erzeugt der Diskriminator ein Ausgangssignal mit einer Größe d (i, j), die auf die prozentuale grüne Intensität an der Pixelposition bezogen ist. Aufgrund des Blätterwerks des ungemähten Erntegutes gruppieren sich die d (i, j) um einen ersten Mittelwert mr (Fig. 4E) für ungemähtes Erntegut und um einen zweiten Mittelwert ml für gemähtes Erntegut.
Für die Aufgabe der Definition eines Segmentierers wurde beschlossen, die Anstrengungen auf die Darstellung von Segmentierungen zu beschränken, die das Bild in genau zwei verbundene Bereiche unterteilen. Es wurde weiterhin angenommen, daß die Grenze zwischen diesen Bereichen eine einwertige Funktion der Reihenkoordinate i ist, und daß diese Grenze weder die linke noch die rechte Kante des Bildes schneidet. Diese Grenzfunktion ist explizit durch den Satz von Pixeln (i, j) dargestellt, die auf ihr liegen, so daß nichts weiter über die Form der Grenze angenommen wird.
Fig. 4A zeigt eine darstellbare Segmentierung, und die Fig. 4B und 4C zeigen einige nicht darstellbare Segmentierungen. Diese Darstellung wurde nicht gewählt, weil sie genau alle die Bilder genau charakterisiert, die segmentiert werden müssen, sondern weil sie schnell berechnet werden. Obwohl Bilder, wie diejenigen in Fig. 4B und 4C auftreten, deckt die gewählte Darstellung die große Mehrzahl der Bilder ab, die bei einem Erntevorgang auftreten.
Fig. 4E schlägt eine Stufenfunktion vor, die durch drei Parameter definiert ist: jn, die j-Koordinate der Diskontinuität, ml, den Mittelwert der Stufenfunktion auf der linken Seite der Diskontinuität, und mr, den Mittelwert der Stufenfunktion auf der rechten Seite der Diskontinuität. Das Auffinden der besten Segmentierung ist damit eine Frage des Auffindens der die beste Anpassung darstellenden Stufenfunktion (niedrigster Fehlerquadrat = Fehler) zu d (i, j) entlang einer vorgegebenen Abtastzeile.
Der Segmentierer kann jn, entsprechend dem folgenden Algorithmus bestimmen:
kleinster Fehler = unendlich
für jedes mögliche jd von jmin bis jmax
berechne ml
berechnet mr
berechne Fehler
wenn (Fehler < kleinster_Fehler)
kleinster_Fehler = Fehler
jn = nd
Ende wenn
Ende für.
Der Hauptteil der Rechenzeit für diesen Algorithmus ergibt sich aus der Berechnung von ml, mr und des Fehlers e. Die Berechnung der Mittelwerte und der Fehler für den ersten Wert jd erfordert eine Zeit in der Größenordnung von (jmax - jmin) Dies erfordert jedoch lediglich eine kleine konstante Anzahl von Operationen zur Neuberechnung von ml, mr und des Fehlers e für nachfolgende Werte von jd. Das Endergebnis besteht darin, daß der gesamte Algorithmus lediglich eine Zeit in der Größenordnung von (jmax - jmin) zum Auffinden der eine beste Anpassung darstellenden Stufenfunktion für eine vorgegebene Abtastzeile erfordert. Unter Verwendung eines 400 · 300- Pixelfensters des Bildes kann eine Zykluszeit von ungefähr von 4 Hz für das gesamte System unter Verwendung des nachfolgend abgeleiteten Algorithmus erzielt werden.
Wenn jd als die am weitesten rechts liegenden Spalte oder das Pixel auf der linken Seite der Diskontinuität definiert ist, und wenn sich die Spaltennummern von 0 bis jmax ändern, so können ml, mr und der Fehler e als Funktionen von jd berechnet werden, wobei diese Ausdrücke für jd von 0 bis jmax - 1 definiert sind.
Es ist eine Zeit in der Größenordnung von n zur Berechnung von Fehler(jd) aus d (i, j) allein erforderlich. Es ist jedoch möglich, Fehler (jd + 1) aus Fehler (jd) in einer konstanten Zeit dadurch zu berechnen, daß die Berechnung von Fehler (jd) in Ausdrücken der folgenden Funktionen ausgedrückt wird.
tl(jd) = d(i, j) (1)
tr(jd) = d(i, j) (2)
t2l(jd) = [d(i, j)]² (3)
t2r(jd) = [d(i, j)]² (4)
i = i~+1
Aus den Gleichungen 1-4 kann Fehler(jd) berechnet werden:
Als nächstes können die Gleichungen 1-4 rekursiv erneut ausgedrückt werden:
tl (0) = d (i, 0) (6a)
tl(jd) = tl(jd - 1) + d(i; jd) (6b)
tr(0) = d(i, j) (7a)
tr(jd) = tr(jd - 1) - d(i, jd) (7b)
t2l(0) = [d(i, 0]² (8a)
t2r(jd) = t2l(jd - 1) + [d(i, jd)]² (8b)
t2r(0) = [d(i, j)]² (9a)
t2r(jd) = t2r(jd - 1) - [d(i, jd)]² (9b)
Es erfordert lediglich eine konstante Anzahl von Operationen zur Berechnung von t&sub1;, tr, t2l und t2r bei jd + 1, sofern ihre Werte bei jd gegeben sind. Die Gleichung 5 wird dann zur Berechnung des Fehlers bei jd + 1 verwendet.
Die Berechnung kann mit noch weniger Schritten durchgeführt werden, wenn irgendeine monotone 1-zu-1-Funktion von Fehler (jd) anstelle von Fehler (jd) berechnet wird. Beispielsweise erspart die Berechnung
f(jd) = [e(jd)·(jmax + 1)]² (10)
eine Quadratwurzel- und Divisions-Operation bei jedem Schritt. Es ist noch besser,
f(jd) = [e(jd)·(jmax + 1)]² - d(i, j) (11)
zu berechnen, wobei diese Gleichung rekursiv unter Verwendung der folgenden drei Gleichungen berechnet werden kann.
tl(0) = d(i, 0) (12a)
tl(jd) = tl(jd - 1) + d(i, jd) (12b)
tr(0) = d(i, j) (13a)
tr(jd) = tr(jd - 1) - d(i, jd) (13b)
Verglichen mit der direkten Berechnung von Fehler (jd) führt dies zu einer Vergrößerung der Zyklusrate (Verringerung der Rechenzeit) von ungefähr 30%.
Die Fig. 5A und 5B erläutern eine Programmroutine, die von dem Video- Verarbeitungs-Computer 42 ausgeführt wird, um einen Lenkbefehl aus den digitalisierten Videosignalen zu erzeugen, die durch die Abtastung elektronischer Bilder gewonnen werden, die auf dem Schirm der Kamera 30 gebildet werden, während die Kamera die Landschaft vor der Erntemaschine sieht. Der Schritt 100 berechnet und speichert den Diskriminanten-Wert d (i, j) für ein Pixel j entsprechend der verwendeten Diskriminanten-Funktion, beispielsweise dem Verhältnis Rot/Grün. Der Schritt 101 bestimmt, ob dies das letzte Pixel (i, j) ist, das in der derzeitigen Abtastzeile i zu untersuchen ist, und wenn dies nicht das letzte Pixel ist, so wird der Schritt 100 erneut wiederholt, um einen Diskriminanten-Wert d (i, j + 1) für das nächste Pixel zu entwickeln und zu speichern. Unter der Annahme, daß das zu analysierende Fanster 400 Pixel breit ist, werden die Schritte 100 und 101 400 mal wiederholt, um 400 Werte d (i, 1) bis d (i, 400) zu entwickeln und zu speichern. Nachdem ein Wert d (i, j) für jede Position j auf einer Abtastzeile berechnet wurde, erweist sich die Prüfung im Schritt 101 als wahr, und die Routine geht zum Schritt 102 über, die eine eine beste Anpassung darstellende Stufenfunktion für diese Werte berechnet. Die Position des Schrittes definiert eine Pixelposition in, die ihrerseits die Segmentierung darstellt, d. h. die Position der Erntegut-Linie zwischen gemähtem und ungemähtem Erntegut, wie sie aus der derzeitigen Abtastzeile i bestimmt wird. Das im Schritt 102 erzeugte Segmentierer-Ausgangssignal ist ein Binärsignal, das eine jeder Pixelposition j auf einer einzigen Abtastzeile i und innerhalb des interessierenden Fensters entsprechende Bit-Position aufweist. In dem Signal ist ein einziges 1-Bit in der Position enthalten, die der berechneten Stufenfunktions-Pixelposition jn entspricht. Dieses Bit stellt ein Erntegut-Linien-Verfolgungs-"Votum" hinsichtlich des Lenkwinkels oder der Richtung dar, in die die Erntemaschine gesteuert werden sollte, damit der Erntegut-Linie gefolgt wird und damit das Erntegut-Linien-Bild am Mittelpunkt des Fensters gehalten wird.
In idealer Weise sollten die Voten hinsichtlich der Lenkrichtung in der gleichen Bit- Position in jedem Ausgangssignal auftreten, wenn die Erntemaschine der Erntegut- Linie folgt. In der tatsächlichen Praxis bewirken jedoch Erntegut-freie leere Bereiche, Bereiche von schlechtem oder totem Erntematerial und andere Anomalien eine Verteilung der Voten auf unterschiedliche Bit-Positionen für unterschiedliche Abtastzeilen. Es ist ein Akkumulator für jede Pixelposition vorgesehen, und im Schritt 103 wird das im Schritt 102 erzeugte Votum in den Akkumulator addiert, der Voten für die Grenz-Position j, akkumuliert. Der Segmentierer erzeugt ein Ausgangssignal oder ein Votum für jede Abtastzeile i innerhalb des Fensters oder des interessierenden Bereichs. Der Schritt 104 bestimmt, ob die letzte Abtastzeile des Fensters verarbeitet wurde. Wenn die letzte Abtastzeile noch nicht verarbeitet wurde, so erfolgt eine Rückkehr zum Schritt 100, und die Schritte 100-103 werden wiederholt, um ein Votum hinsichtlich der Lenkrichtung für die nächste Abtastzeile zu entwickeln.
Unter der Annahme, daß das Fenster 100 Pixel hoch ist, so stellt der Schritt 104 fest, wenn alle 100 Abtastzeilen des Bildes innerhalb des Fensters verarbeitet wurden, und das Programm geht zum Schritt 105 über. An diesem Punkt hat die Erntegut-Linien- Verfolgungseinrichtung aus einer vollständigen Abtastung des Bildes 100 Voten hinsichtlich der Lenkrichtung entwickelt, wobei diese Voten auf 400 Voten- Akkumulatoren verteilt sind. Die elektrischen Steuerungen des hydrostatischen Getriebes 50 (Fig. 3) sind jedoch lediglich in der Lage, die Lenkung bei ungefähr 21 unterschiedlichen Krümmungsgraden zu steuern. Daher werden die 400 Pixelpositionen in Gruppen von benachbarten Positionen unterteilt und 21 Fächern zugeordnet. Die akkumulierten Voten-Zählungen für alle Pixelpositionen, die einem vorgegebenen Fach zugeordnet werden, werden dann im Schritt 105 summiert, um 21 Fach-Votenzählungen zu gewinnen. Im Schritt 106 werden die Fach- Votenzählungen dadurch normalisiert, daß sie durch die Anzahl von Abtastzeilen (100) dividiert werden, und die normalisierten Voten-Zählungen werden gespeichert. Somit erzeugt die Erntegut-Linie-Verfolgungseinrichtung für jedes Bild 21 normalisierte Fach-Voten hinsichtlich der Lenkrichtung, wobei jedes normalisierte Votum einen Wert zwischen 0,0 und 1,0 hat, und die Summe der normalisierten Voten gleich 1 ist. Die normalisierten Fach-Voten werden im Speicher für eine Weiterverarbeitung gespeichert, die nachfolgend beschrieben wird.
Wie dies weiter oben erwähnt wurde, muß die Größe des Bildfensters nicht 400 · 100 Pixel betragen, und es ist nicht erforderlich, jede Pixelposition des Bildes innerhalb des Fensters zu verarbeiten. Beispielsweise kann die Verarbeitung jedes dritten oder vierten Pixels fortgelassen werden, um die Signalverarbeitungszeit zu verringern, wenn das ungemähte Erntegut relativ gleichförmig über das Feld hinweg verteilt ist und es leicht ist, dieses Erntegut von dem gemähten Abschnitt des Feldes zu unterscheiden.
Die normalisierten Fach-Votenzählungen, die im Schritt 106 als Ergebnis der Abtastung eines Bildes gespeichert werden, sind zeitlich abklingend, und sie werden mit dem Fach-Votenzählungen gemittelt, die sich aus Abtastungen vorhergehender Bilder ergeben. Der Grund hierfür kann unter Bezugnahme auf Fig. 6 erläutert, werden, die eine typische Situation für den Fall eines schlechten Ernteguts erläutert. Die Figur ist für den Fall von mehr als 21 Lenkrichtungen gezeichnet, um klarer die Glättungsfunktion zu demonstrieren. In Fig. 6 sei angenommen, daß die graphischen Darstellungen (a)-(d) die Fach-Votenzählungen darstellen, die als Ergebnis der Abtastung von vier aufeinanderfolgenden Bildern erzeugt werden, wobei die graphische Darstellung (a) für das letzte Bild gilt. Jeder vertikale Balken in einer graphischen Darstellung stellt die Votenzählung in einem der Fächer dar, d. h. die akkumulierte Votenzählung für ein Fach, wie sie von der Erntegut-Linien-Verfolgungseinrichtung im Schritt 105 in Fig. 5A entwickelt wurde, und bevor die Votenzählungen normalisiert sind. In jeder graphischen Darstellung wurden die für jedes Bild akkumulierten Voten durch einen Faktor zeitlich bewertet, wie dies auf der linken Seite jeder graphischen Darstellung gezeigt ist.
In der graphischen Darstellung (a) hat das Fach oder die Lenkrichtung, die mit 220 bezeichnet ist, die höchste Votensumme, so daß, wenn die für dieses Bild abgeleiteten Voten allein betrachtet wurden, ein Befehl an die Erntemaschine geliefert würde, eine ziemlich extreme Kurve nach links zu fahren, weil dieses Fach von dem "geradeaus"-Fach, das durch 0 dargestellt ist, um ungefähr 15 Fächer getrennt ist. Andererseits sind für die drei vorhergehenden Bilder die Votensummierungen für die mit 221, 222 bzw. 223 bezeichneten Fächer am größten, so daß, wenn die Votensummierungen für diese Bilder allein berücksichtigt würden, ein Befehl an die Erntemaschine gegeben würde, leicht nach rechts in sich geringfügig ändernden Ausmaß zu steuern.
Die Votensummierungen in der graphischen Darstellung (a) ergaben sich offensichtlich aus irgendeiner Anomalie, und sie würden eine unerwünschte Lenkung nach links hervorrufen, wenn sie allein berücksichtigt würden. Um einen derartigen Vorgang zu vermeiden, werden die Fach-Votenzählungen für mehrere Bilder gespeichert, und sie klingen in ihrem Wert mit der Zeit ab, und die abklingenden Votenzählungs-Werte werden dann miteinander addiert. Die graphische Darstellung (e), die nicht in dem gleichen Maßstab gezeichnet ist, wie die graphischen Darstellungen (a-d), zeigt das Ergebnis. Durch die zeitliche Bewertung und Summierung der normalisierten Votenzählungen in entsprechenden Fächern für die vier Bilder hat das mit 224 bezeichnete Fach die größte Summe. Damit kann durch die Berücksichtigung der Voten über vier Bilder die fehlerhafte Lenkungsanzeige, die in der graphischen Darstellung (a) dargestellt ist, ausgefiltert oder ausgemittelt werden, und es kann ein Befehl an die Erntemaschine geliefert werden, leicht nach rechts zu lenken, obwohl die Analyse des letzten Bildes anzeigt, daß eine starke Lenkung nach links erforderlich ist.
Gemäß Fig. 5B bewertet der Schritt 107 jede der 21 normalisierten Fach- Votenzählungen, die sich aus den Abtastungen der letzten n Bilder ergeben, in zeitlicher Weise oder er läßt diese abklingen. Obwohl Fig. 6 die Summierung von Voten für n = 4 Bilder zeigt, kann n irgendeine feste Anzahl oder die Anzahl von Bildern sein, die von der Erntegut-Linien-Verfolgungseinrichtung 102 innerhalb eines festen Intervalls von beispielsweise ein oder zwei Sekunden verarbeitet werden.
Der Schritt 108 mittelt die zeitlich abklingenden normalisierten Fach-Votenzählungen, die im Schritt 107 erzeugt wurden, um ein Vorzugs-Lenksignal zu erzeugen. Aus der folgenden Beschreibung ist ersichtlich, daß dieses Vorzugs-Lenksignal 21 Fächer oder Werte umfaßt. Das Vorzugs-Lenksignal wird dann im Schritt 109 gespeichert. Nachdem das Vorzugs-Lenksignal gespeichert wurde, prüft der Schritt 110 einen Zeitgeber, ob 0,1 Sekunden abgelaufen sind. Lenkbefehle werden unter Intervallen von 0,1 Sekunden erzeugt. Wenn der Schritt 110 feststellt, daß noch nicht 0,1 Sekunden seit der Erzeugung des letzten Lenkbefehls abgelaufen sind, so werden die Schritte 107-109 wiederholt. Nach 0,1 Sekunden erweist sich die Prüfung im Schritt 110 als wahr, und der Schritt 111 wird ausgeführt. Der Schritt 111 überprüft jeden der 21 Fach-Gesamtsummen, die im Schritt 109 gespeichert wurden, und bestimmt, welches Fach die größte Gesamtsumme hat. Ein Lenkbefehl wird dann erzeugt (Schritt 112), wobei der Lenkbefehl ein 1-Bit an der Position hat, die der Position des Faches entspricht, von dem festgestellt wurde, daß es den größten Wert hat.
Die im Schritt 112 erzeugten Lenkbefehle werden von dem Computer 42 über den Computer 40 an die elektrischen Steuerungen des Getriebes 50 übertragen, die die Befehle in der vorstehend beschriebenen Weise decodieren, um die Vorderräder in unterschiedlicher Weise anzutreiben und damit die Erntemaschine in der befohlenen Richtung zu lenken.
Die vorstehend beschriebene Erfindung ist in der Lage, als eine "Fahrsteuerung" zu wirken, was den Fahrer von der Verantwortlichkeit für das Lenken der Erntemaschine entlastet. Sie kann in Verbindung mit einem das Ende einer Reihe feststellenden Detektor verwendet werden, der die Vorwärtsbewegung der Erntemaschine verlangsamt oder stoppt und dem Fahrer signalisiert, daß er eine manuelle Steuerung übernehmen kann, um das Wenden durchzuführen. Die Erfindung kann weiterhin in ein vollständig automatisiertes Steuersystem eingefügt werden, das außerdem das Wenden steuert, wodurch die Notwendigkeit eines Fahrers auf der Erntemaschine entfallen kann.
Obwohl die Erfindung bezüglich einer bevorzugten Ausführungsform beschrieben wurde, ist es verständlich, daß verschiedene Ersetzungen und/oder andere Modifikationen bei der beschriebenen Ausführungsform durchgeführt werden können, ohne von dem Grundgedanken und dem Schutzumfang der Erfindung abzuweichen, wie er in den beigefügten Ansprüchen definiert ist.

Claims

1. Verfahren zum Lenken einer landwirtschaftlichen Erntemaschine (10) entlang einer Erntegut-Linie (16), wobei die Erntemaschine Steuereinrichtungen (40, 50, 46, 48) für lenkbare Räder (22, 24) aufweist, um auf diese Weise die Erntemaschine (10) zu lenken, wobei das Verfahren folgende Schritte umfaßt:

a) Befestigen einer Betrachtungseinrichtung (30) auf der Erntemaschine, wobei die Betrachtungseinrichtung so ausgerichtet ist, daß sie eine eine Erntegut- Linie (16) einschließende Landschaft vor der Erntemaschine betrachtet und ein Bild hiervon bildet, und

b) Abtasten von zumindest einem Fenster des Bildes Zeile für Zeile und Pixel für Pixel, um Informationssignale zu erzeugen, die das Bild darstellen, wobei das Verfahren durch die folgenden weiteren Schritte gekennzeichnet ist:

c) Ableiten, aus den Informationssignalen jeder Abtastzeile i, einer Vielzahl von Diskriminanten-Funktionswerten d (i, j), worin i die Abtastzeile identifiziert und j die relative Position eines Pixels auf der Abtastzeile i ist,

d) Bestimmen, für jede Abtastzeile i, einer Pixelposition jn, die die Pixelposition j einer Stufe in einer Stufenfunktion darstellt, die die beste Anpassung an die Diskriminanten-Funktionswerte d (i, j) darstellt, die für die Abtastzeile i erzeugt wurden,

e) Entwickeln, für jede Pixelposition j, einer Summe der Anzahl von Malen, zu denen die Stufenposition jn bei dieser Pixelposition j während einer vollständigen Abtastung des Fensters auftritt, um für dieses Fenster Votenzählungen zu entwickeln, die bevorzugte Lenkrichtungen darstellen,

f) Zuführen eines Lenksignals an die Steuereinrichtungen (40, 50, 46, 48), das aus den entwickelten Votenzählungen bestimmt ist.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß im Schritt d) die eine beste Anpassung darstellende Stufenfunktion unter Verwendung des Fehlerquadrat-Fehlerkriteriums bestimmt wird.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die eine beste Anpassung darstellende Stufenfunktion unter Verwendung einer Berechnung von auf den quadrierten Fehler bezogenen Werten für einen Bereich von Pixelpositionen jd in einer rekursiven Weise bestimmt wird.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß:

im Schritt e) die Votenzählungen dadurch normalisiert werden, daß die für jede Pixelposition j entwickelte Summe durch die Anzahl von Abtastzeilen dividiert wird, und

im Schritt f) das Lenksignal aus den normalisierten Votenzählungen bestimmt wird:

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß: die Schritte b) bis e) für eine Vielzahl von Bildern wiederholt werden, und im Schritt f) das den Steuereinrichtungen (40, 50, 46, 48) zugeführte Lenksignal aus den Votenzählungen bestimmt wird, die für die Vielzahl von Bildern entwickelt wurden.

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß während des Schrittes f) die für eine Vielzahl von Bildern entwickelten Votenzählungen gemittelt werden, um das Lenksignal zu bestimmen.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß im Schritt f) die für eine Vielzahl von Bildern entwickelten Votenzählungen zeitlich bewertet und dann gemittelt werden, so daß die für die neuesten Bilder erzeugten Votenzählungen eine größere Wertigkeit bei der Bestimmung des Lenksignals aufweisen.

8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß im Schritt e) Gruppen von benachbarten Pixelpositionen j Fächern (220-223) zugeordnet werden, und daß für jedes Fach eine Fach-Summe entwickelt wird, die die Anzahl von Malen darstellt, zu denen die Stufenposition jn der Stufenfunktion an irgendeiner Pixelposition j auftritt, die dem Fach zugeordnet ist, um die Votenzählungen zu entwickeln.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß im Schritt e) die Votenzählungen durch Dividieren der Fach-Summe für jedes Fach (220-223) durch die Anzahl von Abtastzeilen normalisiert werden.

10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß der Schritt a) die Befestigung einer Farbvideokamera (30) auf der Erntemaschine (10) umfaßt.

11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, daß die Farbvideokamera eine RGB-Videokamera (30) ist.

12. Verfahren nach einem der Ansprüche 1-9, dadurch gekennzeichnet, daß der Schritt a) die Befestigung einer Schwarz-Weiß-Videokamera (30) mit einem oder mehreren zugehörigen Bandpaßfiltern auf der Erntemaschine (10) umfaßt.

13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Diskriminanten-Funktion d(i, j) das Intensitätsverhältnis zwischen zwei vorgegebenen Spektralbändern ist.

14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, daß die Diskriminanten- Funktion d(i, j) das Intensitätsverhältnis der roten zur grünen Farbe ist.

15. Verfahren nach einem der Ansprüche 1-12, dadurch gekennzeichnet, daß die Diskriminanten-Funktion d(i, j) die prozentuale Intensität eines vorgegebenen Spektralbandes ist.

16. Selbstfahrende landwirtschaftliche Erntemaschine (10), die folgendes umfaßt:

eine Betrachtungseinrichtung (30), die auf der Erntemaschine (10) befestigt und so ausgerichtet ist, daß sie eine eine Erntegut-Linie (16) einschließende Landschaft vor der Erntemaschine betrachtet und Bilder hiervon bildet, wobei der Betrachtungseinrichtung (30) eine Abtasteinrichtung zur Abtastung von zumindest einem Fenster eines Bildes Zeile für Zeile und Pixel für Pixel zugeordnet ist, um Informationssignale zu erzeugen, die dieses Fenster darstellen, und

Steuereinrichtungen (40, 50, 46, 48) für lenkbare Räder (22, 24), um auf diese Weise die Erntemaschine (10) in Abhängigkeit von den Informationssignalen zu lenken,

wobei die Erntemaschine dadurch gekennzeichnet ist, daß sie weiterhin folgendes umfaßt:

erste Einrichtungen (42) zur Erzeugung, aus den Informationssignalen jeder Abtastzeile i, einer Vielzahl von Diskriminanten-Funktionswerten d (i, j), worin i die Abtastzeile und j die relative Position eines Pixels auf der Abtastzeile i identifiziert;

zweite Einrichtungen (42), die auf die ersten Einrichtungen ansprechen; um für jede Abtastzeile eine Pixelposition jn zu bestimmen, die die Pixelposition j einer Stufe in der Stufenfunktion darstellt, die eine beste Anpassung an die Diskriminanten- Funktionswerte d (i, j) ergibt, die für die Abtastzeile i erzeugt wurden;

eine Vielzahl von Zählern, wobei zumindest ein Zähler jeder Pixelposition j des Fensters entspricht, wobei die Zähler auf die zweiten Einrichtungen (42) ansprechen, um die Anzahl von Malen zu akkumulieren, zu denen die Stufenposition jn an dieser Pixelposition j während einer vollständigen Abtastung des Fensters auftritt, um hieraus Votenzählungen zu entwickeln, die bevorzugte Lenkrichtungen anzeigen, und

dritte Einrichtungen (42), die auf die Votenzählungen ansprechen, um den Steuereinrichtungen (40, 50, 46, 48) ein Lenksignal zuzuführen, das aus den Votenzählungen bestimmt ist.

17. Erntemaschine nach Anspruch 16, dadurch gekennzeichnet, daß die dritten Einrichtungen Einrichtungen (42) zum Mitteln der Votenzählungen umfassen, die von den Zählern während der Abtastung von Fenstern von aufeinanderfolgenden Bildern erzeugt werden.

18. Erntemaschine nach Anspruch 17, dadurch gekennzeichnet, daß die dritten Einrichtungen (42) weiterhin Einrichtungen zur zeitlichen Bewertung der für aufeinanderfolgende Bilder erzeugten Votenzählungen vor deren Mittelung aufweisen, so daß die für jüngere Bilder erzeugten Votenzählungen eine größere Wertigkeit bei der Bestimmung des Lenksignals haben:

19. Erntemaschine nach einem der Ansprüche 16-18, dadurch gekennzeichnet, daß die dritten Einrichtungen (42) Akkumulatoreinrichtungen zur Akkumulation von Fach-Votenzählungen durch Bildung der Gesamtsumme der Votenzählungen einschließen, die von den Zählern für Gruppen (220-224) von benachbarten Pixelpositionen erzeugt werden.

20. Erntemaschine nach einem der Ansprüche 16-19, dadurch gekennzeichnet, daß die ersten Einrichtungen (42) einen Diskriminanten-Funktionswert d(i, j), der durch das Intensitätsverhältnis zwischen zwei vorgegebenen Spektralbändern bestimmt ist, an jeder Pixelposition (i, j) erzeugen.

21. Erntemaschine nach einem der Ansprüche 16-20, dadurch gekennzeichnet, daß die ersten Einrichtungen (42) einen Diskriminanten-Funktionswert d(i, j), der durch die prozentuale Intensität eines vorgegebenen Spektralbandes bestimmt ist, an jeder Pixelposition (i, j) erzeugen.

22. Erntemaschine nach einem der Ansprüche 16-21, dadurch gekennzeichnet, daß die Betrachtungseinrichtungen eine RGB-Farbvideokamera (30) oder eine Schwarz-Weiß-Videokamera mit einem oder mehreren zugeordneten Bandpaßfiltern umfassen.

23. Erntemaschine nach einem der Ansprüche 16-22, dadurch gekennzeichnet, daß die Steuereinrichtungen (40, 50, 46, 48) zum Lenken der Räder (22, 24) erste und zweite Antriebsmotoren (46, 48) zum Antrieb eines ersten und eines zweiten der Antriebsräder, jeweils bei unterschiedlichen Drehgeschwindigkeiten, umfassen, um die Erntemaschine (10) zu steuern.