DE60124345T2

DE60124345T2 - Bildzusammensetzungssystem und -verfahren

Info

Publication number: DE60124345T2
Application number: DE60124345T
Authority: DE
Inventors: Tsuyoshi Yokosuka-shi Okada; Ryosuke Iida; Masato Nishizawa; Katsumasa Onda; Michio Urayasu-shi Miwa
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp
Priority date: 2000-07-07
Filing date: 2001-07-06
Publication date: 2007-05-16
Anticipated expiration: 2021-07-07
Also published as: EP1170173B1; EP1170173A2; CN1333626A; KR20020005496A; EP1170173A3; JP2002083285A; CN1212724C; US20020018047A1; KR100414708B1; US7034861B2; ATE344742T1; DE60124345D1

Description

Die vorliegende Erfindung betrifft eine Bildzusammensetzungsvorrichtung und ein Bildzusammensetzungsverfahren und insbesondere eine Bildzusammensetzungsvorrichtung und ein Bildzusammensetzungsverfahren, die für eine Verwendung in einem System geeignet sind, das entworfen ist, um Abbildungen umzuwandeln/zu kombinieren, die durch die Verwendung mehrerer in einem Kraftfahrzeug angebrachter Abbildungsaufnahmemittel erfasst werden, um eine Abbildung um das Kraftfahrzeug einem Fahrer anzuzeigen, um das Fahren beim Einparken oder dergleichen zu unterstützen. Sie betrifft ferner eine Bildanzeigevorrichtung, eine Bilderfassungs-/Warnvorrichtung und eine Kraftfahrzeugpositionserkennungs-/Entscheidungsvorrichtung.
Bisher wurden in einem derartigen Typ einer Bildzusammensetzungsvorrichtung beim Erzeugen eines Bilds mit weitem Gesichtsfeld, wie etwa ein Panoramabild, auf der Grundlage mehrerer Abbildungen mittels einer Bildzusammensetzung die mehreren Abbildungen von den entsprechenden Abbildungsaufnahmevorrichtungen auf eine gemeinsame gekrümmte Ebene, die durch eine zylindrische Fläche dargestellt wurde, projiziert und durch eine Aufnahmevorrichtung für ein virtuelles Bild aufgenommen. Diese herkömmliche Prozedur wird im Folgenden unter Bezugnahme auf die 14 bis 15B beschrieben.
14 ist eine Darstellung einer Zusammensetzungsprozedur für ein Panoramabild 55, in dem eine Szene 52 durch die Verwendung von zwei Abbildungsaufnahmevorrichtungen (nicht gezeigt), die an einem Kraftfahrzeug A angebracht sind, aufgenommen, um Abbildung 53 und 54 zu erfassen, die daraufhin auf eine zylindrische Fläche 66 projiziert werden. 15A zeigt dreidimensional eine Prozedur zum Projizieren einer durch eine Abbildungsaufnahmevorrichtung 61a aufgenommen Abbildung 62 und einer durch eine Abbildungsaufnahmevorrichtung 61b aufgenommenen Abbildung 63, um ein zusammengesetztes Bild auf der zylindrischen Fläche 66 zu erzeugen. Ein Punkt 64 in der Abbildung 62 wird zu einem Punkt 67 projiziert und weiter durch ein Aufnahmemittel 62 für eine virtuelle Abbildung zu einem Punkt 69 auf einer Ebene 73 eines zusammengesetzten Bilds projiziert. Außerdem wird ein Punkt 65 in der Abbildung 63 zu einem Punkt 68 auf der zylindrischen Fläche 66 projiziert und weiter durch die Verwendung des gleichen Aufnahmemittels 72 für eine virtuelle Abbildung zu einem Punkt 70 auf der Ebene 73 des zusammengesetzten Bilds projiziert. 15B zeigt dreidimensional einen Zustand, der auf eine Ebene 71 senkrecht zu einer Achse der zylindrischen Fläche 66 projiziert ist. Bei der oben erwähnten Prozedur wird jeder Punkt in den Abbildung 53 und 54 durch eine Abbildung umgewandelt, um ein Bild aufzubauen, wie etwa das in 14 gezeigte Panoramabild.
Als ein Beispiel der oben beschriebenen herkömmlichen Technik ist eine Technik bekannt, die in der japanischen ungeprüften Patentveröffentlichung (Hei) Nr. JP-A-5-14751 offenbart ist. Als Beispiele der dreidimensionalen Projektion auf eine Ebene sind außerdem Techniken bekannt, die in den japanischen ungeprüften Patentveröffentlichungen (Hei) Nr. JP-A-6-20189 und Nr. JP-A-2000-134537 offenbart sind. Des Weiteren ist als ein Beispiel der Projektion auf eine sphärische Fläche eine Technik bekannt, die in der japanischen ungeprüften Patentveröffentlichung (Hei) Nr. JP-A-9-322040 (US-B-6,389,179) offenbart ist.
Derartige herkömmliche Bildzusammensetzungsverfahren sind jedoch entworfen, um ein zusammengesetztes Bild aus mehreren Abbildungen herzustellen, die durch mehrere Abbildungsaufnahmevorrichtungen aufgenommen werden, die an Positionen mit unterschiedlichen Projektions zentren angebracht sind; deswegen erscheinen diskontinuierliche Punkte 56a, 56b und 56c in der Weise, die in dem zusammengesetzten Panoramabild 55 von 14 gezeigt ist, wobei ein Problem dadurch entsteht, dass es schwierig ist, die Abbildungen an den Verbindungsstellen zwischen den unterschiedlichen Abbildungen auszurichten. Bei der Projektion auf einen Zylinder unterscheiden sich darüber hinaus nicht nur Bildverzerrungen an Positionen nahe oder entfernt von einer Abbildungsaufnahmevorrichtung stark, so dass es für einen Fahrer schwierig ist, ein Gefühl des Abstands zu erfassen, sondern eine Abbildung ist außerdem an dem Karosserieheckabschnitt, wie etwa eine Stoßstange oder ein Kotflügel eines Kraftfahrzeugs, wie in einem benachbarten Bild 57 in der Panoramabildebene von 12 gezeigt ist, stark verzerrt, wodurch es schwierig ist, die Verfahren auf eine Kraftfahrzeugsicherheitsfahrhilfe, wie etwa eine Parkunterstützung, anzuwenden.
Die vorliegende Erfindung wurde im Hinblick auf die Eliminierung der oben erwähnten Probleme entwickelt und es ist deswegen eine Aufgabe der Erfindung, eine Bildzusammensetzungsvorrichtung und ein Bildzusammensetzungsverfahren zu schaffen, die in der Lage sind, Informationen über einen extrem weiten Bereich (weites Gesichtsfeld) unter Verwendung mehrerer Abbildungen bereitzustellen, die von mehreren unterschiedlichen Blickpunkten aufgenommen werden, für eine leichte Erfassung der Positionsbeziehung zwischen der Umgebungssituation (oder Status) und einem Kraftfahrzeug, und die Abbildungen ohne den Eindruck einer Unverträglichkeit miteinander zu verbinden, um ein natürliches Bild mit einer guten Sichtbarkeit zu bilden, das nett anzuschauen ist.
Zu diesem Zweck wird gemäß der vorliegenden Erfindung eine Bildzusammensetzungsvorrichtung geschaffen, die umfasst: mehrere Abbil dungsaufnahmemittel zum Aufnahmen mehrerer Abbildungen und ein Erzeugungsmittel für ein zusammengesetztes Bild zum Projizieren der durch die Abbildungsaufnahmemittel aufgenommenen Abbildungen auf eine Ebene, um projizierte Abbildungen zu erzeugen, und virtuellen Aufnehmen der projizierten Abbildungen, um ein zusammengesetztes Bild aus den projizierten Abbildungen zu erhalten, dadurch gekennzeichnet, dass Erzeugungsmittel für ein zusammengesetztes Bild Abbildungsaufnahmesituations-Detektionsmittel zum Detektieren der Abbildungsaufnahmesituation der Abbildungsaufnahmemittel, die die relative Position oder die relative Stellung der Abbildungsaufnahmemittel zu der Projektionsebene oder eine Abbildungsaufnahmeeigenschaft der Abbildungsaufnahmemittel bezeichnen; ein erstes Projektionsmittel zum Projizieren der durch das Abbildungsaufnahmemittel aufgenommenen Abbildungen auf die Projektionsebene gemäß der durch das Abbildungsaufnahmesituations-Detektionsmittel detektierten Abbildungsaufnahmesituation, um mehrere erste projizierte Abbildungen zu erzeugen; ein Ermittlungsmittel für ein dreidimensionales Projektionsmodell zum Ermitteln der Position eines dreidimensionalen Projektionsmodells und der Form von diesem; ein zweites Projektionsmittel zum Projizieren der mehreren ersten projizierten Abbildungen auf das durch das Ermittlungsmittel für ein dreidimensionales Projektionsmodell ermittelte dreidimensionale Projektionsmodell, um eine zweite projizierte Abbildung zu erzeugen; ein Aufnahmemittel für eine virtuelle Abbildung zum virtuellen Aufnehmen der zweiten projizierten Abbildung, um das zusammengesetzte Bild zu erhalten; und ein Aufnahmesituations-Ermittlungsmittel zum Ermitteln der Aufnahmesituation des Aufnahmemittels für eine virtuelle Abbildung, wobei die Abbildungsaufnahmesituation der Aufnahmemittels für eine virtuelle Abbildung die Positionsbeziehung zwischen dem Blickpunkt des Aufnahmemittels für eine virtuelle Abbildung und dem dreidimensionalen Projektionsmodell angibt, wobei die zweite projizierte Abbildung durch das Aufnahmemittel für eine virtuelle Abbildung in der durch das Aufnahmesituations-Ermittlungsmittel ermittelten Abbildungsaufnahmesituation aufgenommen wird, um die durch die mehreren Abbildungsaufnahmemittel aufgenommenen mehreren Abbildungen zu kombinieren.
Da gemäß dieser Konfiguration die Abbildungen, die durch die Abbildungsaufnahmemittel aufgenommen werden, auf den ersten Projektionsabschnitt und dann auf das dreidimensionale Projektionsmodell projiziert werden, ist es möglich, ein Bild zusammenzusetzen, dessen Verbindungsstellen nicht deutlich auffallen.
Bei der Bildzusammensetzungsvorrichtung gemäß der vorliegenden Erfindung sind außerdem die mehreren Abbildungsaufnahmemittel an einem Kraftfahrzeug angebracht und die Bildzusammensetzungsvorrichtung umfasst ferner Kraftfahrzeugfahrtrichtungs-Detektionsmittel zum Detektieren einer Fahrtrichtung des Kraftfahrzeugs. Demzufolge ist der Blickpunkt auf eine gerade Linie durch ein Projektionszentrum eines Projektionsabschnitts eines dreidimensionalen Projektionsmodells parallel zu der durch das Kraftfahrzeugfahrtrichtungs-Detektionsmittel detektierten Fahrtrichtung des Kraftfahrzeugs eingestellt, wodurch eine gerade Linie, die eine spezielle Bedingung erfüllt, selbst in einem zusammengesetzten Bild als eine gerade Linie dargestellt werden kann.
In der Bildzusammensetzungsvorrichtung gemäß der vorliegenden Erfindung sind außerdem die mehreren Abbildungsaufnahmemittel an einem Kraftfahrzeug angebracht und die Bildzusammensetzungsvorrichtung umfasst ferner ein Kraftfahrzeugkarosseriepositions-Detektionsmittel zum Detektieren einer Karosserieposition des Kraftfahrzeugs. Bei dieser Konfiguration ist der Blickpunkt der Aufnahmemittel für eine virtuelle Abbildung auf eine Ebene eingestellt, die durch eine Ebene der projizierten Ab bildung und ein Projektionszentrum eines Projektionsabschnitts des dreidimensionalen Projektionsmodells verläuft, wodurch eine gerade Linie, die eine spezielle Bedingung erfüllt, selbst in einem zusammengesetzten Bild als eine gerade Linie angezeigt werden kann.
Das dreidimensionale Projektionsmodell kann eine sphärische Fläche sein und die Aufnahmemittel für eine virtuelle Abbildung können Umwandlungsmittel zum Ausbreiten der zweiten projizierten Abbildung über eine Ebene um einen Punkt auf der sphärischen Fläche enthalten, um das zusammengesetzte Bild zu erhalten. Bei dieser Konfiguration ist es selbst dann, wenn die Position der sphärischen Fläche verändert wird, möglich, eine spezielle gerade Linie als eine gerade Linie in einem zusammengesetzten Bild zu projizieren, indem der Mittelpunkt beim Ausbreiten einer Abbildung über einer Ebene eingestellt wird.
Gemäß der vorliegenden Erfindung wird darüber hinaus ein Bildzusammensetzungsverfahren geschaffen, das umfasst: einen Abbildungsaufnahmeschritt zum Aufnehmen mehrerer Abbildungen durch Verwenden mehrerer Abbildungsaufnahmemittel; und einen Erzeugungsschritt für ein zusammengesetztes Bild zum Projizieren der in dem Abbildungsaufnahmeschritt aufgenommenen Abbildungen auf eine Ebene, um projizierte Abbildungen zu erzeugen, und virtuellen Aufnehmen der projizierten Abbildungen, um ein zusammengesetztes Bild aus den projizierten Abbildungen zu erhalten, dadurch gekennzeichnet, dass der Erzeugungsschritt für ein zusammengesetztes Bild umfasst: einen Abbildungsaufnahmesituations-Detektionsschritt zum Detektieren der relativen Position oder der relativen Stellung der Abbildungsaufnahmemittel zu der Projektionsebene oder einer Abbildungsaufnahmeeigenschaft der Abbildungsaufnahmemittel; einen ersten Projektionsschritt zum Projizieren der aufgenommenen Abbildungen auf die Projektionsebene gemäß der in dem Abbildungsauf nahmesituations-Detektionsschritt detektierten Abbildungsaufnahmesituationen, um mehrere erste projizierte Abbildungen zu erzeugen; einen Ermittlungsschritt für ein dreidimensionales Projektionsmodell zum ermitteln der Position eines dreidimensionalen Projektionsmodells und der Form von diesem; einen zweiten Projektionsschritt zum Projizieren der mehreren ersten projizierten Abbildungen auf das in dem Ermittlungsschritt für ein dreidimensionales Projektionsmodell ermittelte dreidimensionale Projektionsmodell, um eine zweite projizierte Abbildung zu erzeugen; einen Aufnahmeschritt für eine virtuelle Abbildung zum virtuellen Aufnehmen der zweiten projizierten Abbildung durch Verwenden eines Aufnahmemittels für eine virtuelle Abbildung, um das zusammengesetzte Bild zu erhalten; und einen Abbildungsaufnahmesituations-Ermittlungsschritt zum Ermitteln der Abbildungsaufnahmesituation des Aufnahmemittels für eine virtuelle Abbildung in dem Aufnahmeschritt für eine virtuelle Abbildung, wobei die Abbildungsaufnahmesituation des Aufnahmemittels für eine virtuelle Abbildung die Positionsbeziehung zwischen dem Blickpunkt des Aufnahmemittels für eine virtuelle Abbildung und dem dreidimensionalen Projektionsmodell angibt, wobei die zweite projizierte Abbildung in dem Aufnahmeschritt für eine virtuelle Abbildung in der in dem Abbildungsaufnahmesituations-Ermittlungsschritt ermittelten Abbildungsaufnahmesituation aufgenommen wird, um die in dem Abbildungsaufnahmeschritt aufgenommenen mehreren Abbildungen zu kombinieren.
Bei dieser Anordnung ist es möglich, ein natürliches Bild zusammenzusetzen, bei dem Verbindungsstellen an zusammengesetzten Abschnitten nicht auffallen und das keinen Eindruck der Unverträglichkeit vermittelt, sowie ferner die Verzerrung des zusammengesetzten Bildes durch die Verwendung einer Kombination z. B. aus einem Zylinder und einer Kugel als ein dreidimensionales Modell zu verringern.
Das dreidimensionale Projektionsmodell kann eine sphärische Fläche sein. Die Position der sphärischen Fläche kann in dem Aufnahmeschritt für eine virtuelle Abbildung ermittelt werden und die zweite projizierte Abbildung kann auf einer zweiten Ebene um einen Punkt auf der sphärischen Oberfläche in dem Aufnahmeschritt einer virtuellen Abbildung ausgebreitet werden, um das zusammengesetzte Bild zu erzeugen.
Bei dieser Konfiguration kann eine gerade Linie, die eine bestimmte Bedingung erfüllt, selbst in einem zusammengesetzten Bild als eine scharfe und durchgehende gerade Linie dargestellt werden und das zusammengesetzte Bild ist als ein natürliches Bild erkennbar, das keinen Eindruck der Unverträglichkeit vermittelt.
Die Bildzusammensetzungsvorrichtung kann ein Anzeigemittel zum Anzeigen eines Bilds und ein Anzeigedatenumwandlungssteuermittel zum Umwandeln des durch die Aufnahmemittel für eine virtuelle Abbildung bereitgestellten zusammengesetzten Bilds in Daten, die an das Anzeigemittel anpassbar sind, umfassen.
Gemäß dieser Konfiguration ist es möglich, die durch die Abbildungsaufnahmemittel aufgenommenen Abbildungen, projizierte Abbildungen oder ein zusammengesetztes Bild auf dem Anzeigemittel anzuzeigen, wodurch es für einen Fahrer ermöglicht wird, die Umgebungssituation und die Positionsbeziehung in Bezug auf das Kraftfahrzeug leicht einzuschätzen.
Die Vorrichtung kann ein Detektionsmittel zum Detektieren der Annäherung eines Objekts und ein Warnmittel zum Ausgeben von Warninformationen, wenn die durch das Detektionsmittel detektierte Annäherung des zweiten Objekts an das erste Objekt eine vorbestimmte Objektannäherungssituation erreicht, umfassen.
Bei dieser Konfiguration können dann, wenn ein anzukoppelndes Objekt an einem Heckabschnitt einer Karosserie eines Kraftfahrzeugs angekoppelt wird, Warninformationen gemäß des Annäherungszustands des anzukoppelnden Objekts ausgegeben werden, wodurch eine Warnung an einen Bediener ausgegeben wird. Außerdem kann bei Beendigung der Kopplung der gekoppelte Zustand bestätigt werden.
Die Vorrichtung kann ein Abbildungsdetektionsmittel umfassen, um, wenn mindestens eines der mehreren Abbildungsaufnahmemittel ein an der Rückseite eines Kraftfahrzeugs angeordnetes nach hinten gerichtetes Abbildungsaufnahmemittel ist, eine Abbildung eines beliebigen Objekts von durch das nach hinten gerichtete Abbildungsaufnahmemittel aufgenommenen Abbildungen, durch Projizieren der aufgenommenen Abbildung auf das dreidimensionale Projektionsmodell erhaltenen Abbildungen, oder einem durch Kombinieren der in dem Aufnahmemittel für eine virtuelle Abbildung aufgenommenen Abbildungen erhaltenen Bild zu detektieren; ein Erkennungsmittel zum Erkennen der Positionsbeziehung zwischen der durch das Abbildungsdetektionsmittel detektierten Abbildung und einer Abbildung des Kraftfahrzeugs; und ein Entscheidungsmittel zum Treffen einer Entscheidung über die Positionsdifferenz zwischen dem Kraftfahrzeug und dem Objekt auf der Grundlage der durch das Erkennungsmittel erkannten Positionsbeziehung.
Bei dieser Konfiguration können Abbildungen, die durch die Abbildungsaufnahmemittel aufgenommen wurden, projizierte Abbildungen oder ein zusammengesetztes Bild auf Anzeigemitteln angeordnet werden, wodurch ein Bediener (Fahrer) die umgebende Situation, insbesondere eine Position eines Objektes (einschließlich Objektanzeige) aus einer Abbildung eines willkürlich eingestellten Objektes und die Positionsbeziehung in Bezug auf ein Kraftfahrzeug abschätzen kann.
Weitere Aufgaben und Merkmale der vorliegenden Erfindung werden aus der folgenden genauen Beschreibung der bevorzugten Ausführungsformen leichter erkannt, die in Verbindung mit der beigefügten Zeichnung erfolgt, in der:
1 ein Blockschaltplan ist, der eine Konfiguration einer Bildzusammensetzungsvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt;
2 eine Darstellung ist, die für die Erläuterung eines Verarbeitungsablaufs gemäß der ersten Ausführungsform der vorliegenden Erfindung nützlich ist;
3A und 3B Darstellungen des Prinzips eines Projektionsprozesses sind, der auszuführen ist, bis ein zusammengesetztes Bild fertig gestellt ist;
4A und 4B Darstellungen sind, die für die Erläuterung der Tatsache nützlich sind, dass ein Bereich, auf den an einer zylindrischen Fläche projiziert werden soll, und ein Bereich, auf den an einer sphärischen Fläche projiziert werden soll, sich mit der Änderung einer Position eines dreidimensionales Projektionsmodells, das eine Kombination aus einer zylindrischen Fläche und einer sphärischen Fläche darstellt, sich in der ersten Ausführungsform der vorliegenden Erfindung ändern;
5 ein Blockschaltplan ist, der eine Konfiguration einer Bildzusammensetzungsvorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt;
6A und 6B Darstellungen sind, die zur Erläuterung einer Position eines Blickpunkts eines Aufnahmemittels für eine virtuelle Abbildung und einer Veränderung einer Abbildung in der zweiten Ausführungsform der vorliegenden Erfindung nützlich sind;
7 ein Blockschaltplan ist, der eine Konfiguration einer Bildzusammensetzungsvorrichtung gemäß einer dritten Ausführungsform der vorliegenden Erfindung zeigt;
8A bis 8D Darstellungen sind, die zur Erläuterung einer Position eines Blickpunkts eines Aufnahmemittels für eine virtuelle Abbildung nützlich sind, bei dem ein Karosserieheckabschnitt eine gerade Linie in einem zusammengesetzten Bild in der dritten Ausführungsform der vorliegenden Erfindung zeigt;
9 ein Blockschaltplan ist, der eine Konfiguration einer Bildzusammensetzungsvorrichtung gemäß einer vierten Ausführungsform der vorliegenden Erfindung zeigt;
10A und 10B Prinzipdarstellungen sind, die zur Erläuterung einer Prozedur nützlich sind, die auszuführen ist, bis ein zusammengesetztes Bild gemäß der vierten Ausführungsform der vorliegenden Erfindung erfasst ist;
11 ein Blockschaltplan ist, der eine Konfiguration einer Bildanzeigevorrichtung gemäß einer fünften Ausführungsform der vorliegenden Erfindung zeigt;
12 ein Blockschaltplan ist, der eine Konfiguration einer Bilderfassungs-/Warnvorrichtung gemäß einer sechsten Ausführungsform der vorliegenden Erfindung zeigt;
13 ein Blockschaltplan ist, der eine Konfiguration einer Kraftfahrzeugeignererkennungs/Entscheidungsvorrichtung gemäß einer siebten Ausführungsform der vorliegenden Erfindung zeigt;
14 eine Darstellung einer Prozedur zum Zusammensetzen eines Panoramabilds gemäß einem herkömmlichen Bildzusammensetzungsverfahren ist; und
15A und 15B eine Prozedur zum Zusammensetzen eines Panoramabilds gemäß des herkömmlichen Bildzusammensetzungsverfahrens dreidimensional zeigt.
Ausführungsformen der vorliegenden Erfindung werden im Folgenden unter Verwendung der Zeichnung beschrieben. Obwohl in der Beschreibung der Ausführungsformen der vorliegenden Erfindung Abbildungen, die durch die Verwendung von zwei Abbildungsaufnahmemitteln aufgenommen werden, zu einem zusammengesetzten Bild kombiniert werden, selbst wenn drei oder mehr Abbildungsaufnahmemittel verwendet werden, ist es natürlich durch die Wiederholung der gleichen Prozedur möglich, ein zusammengesetztes Bild aus Abbildungen, die durch viele Bildaufnahmemittel aufgenommen werden, zusammenzusetzen.
(Erste Ausführungsform)
1 ist ein Blockschaltplan, der eine Konfiguration einer Bildzusammensetzungsvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt. Wie 1 zeigt, ist diese Bildzusammensetzungsvorrichtung aus einem Abbildungsaufnahmemittel 1, einem Abbildungsaufnahmesituations-Detektionsmittel 2, einem ebenen Projektionsabschnitt 3, einem Ermittlungsabschnitt 4 eines dreidimensionalen Projektionsmodells, einem Projektionsabschnitt 5 eines dreidimensionalen Projektionsmodells, einem Aufnahmesituations-Ermittlungsabschnitt 6 des Aufnahmemittels für eine virtuelle Abbildung und einem Aufnahmemittel 7 für eine virtuelle Abbildung aufgebaut.
Das Abbildungsaufnahmemittel 1 umfasst zwei Abbildungsaufnahmevorrichtungen eines ersten Abbildungsaufnahmemittels 1a und eines zweiten Abbildungsaufnahmemittels 1b. Das Abbildungsaufnahmesituations-Detektionsmittel 2 umfasst ein erstes Abbildungsaufnahmesituations-Detektionsmittel 2a zum Detektieren einer Abbildungsaufnahmesituation des ersten Abbildungsaufnahmemittels 1a und ein zweites Abbildungsaufnahmesituations-Detektionsmittel 2b zum Detektieren einer Abbildungsaufnahmesituation des zweiten Abbildungsaufnahmemittels 1b, der ebene Projektionsabschnitt 3 empfängt die Ausgaben des ersten Abbildungsaufnahmemittels 1a, des zweiten Abbildungsaufnahmemittels 1b, des ersten Abbildungsaufnahmesituations-Detektionsmittels 2a und des zweiten Abbildungsaufnahmesituations-Detektionsmittels 2b. Die Ausgabe des ebenen Projektionsabschnitts 3 und die Ausgabe des Ermittlungsabschnitts 4 des dreidimensionalen Projektionsmodells werden in den Projektionsab schnitt 5 des dreidimensionalen Projektionsmodells eingegeben. Außerdem werden die Ausgabe des Projektionsabschnitts 5 des dreidimensionalen Projektionsmodells und die Ausgabe des Aufnahmesituations-Ermittlungsabschnitts 6 des Aufnahmemittels für eine virtuelle Abbildung in das Aufnahmemittel 7 für eine virtuelle Abbildung eingegeben.
In diesem Fall wird ein Projektionsabschnitt, der in dem ebenen Projektionsabschnitt 3 verwendet werden soll, als eine Ebene eingestellt, auf der ein Kraftfahrzeug angeordnet wird, d. h. eine Straßenoberfläche. Um genau zu sein, die Straßenoberfläche ist keine vollständige Ebene, sondern sie kann so betrachtet werden, dass die Straßenoberfläche eine wesentliche Ebene aufweist. Außerdem wird ein dreidimensionales Projektionsmodell, das in dem Projektionsabschnitt 5 des dreidimensionalen Projektionsmodells verwendet werden soll, als eine gekrümmte Fläche eingestellt, die eine glatte Kombination aus einer zylindrischen Fläche, die senkrecht zu der Straßenoberfläche ist, und einer sphärischen Fläche bildet, wobei das Projektionszentrum als ein Punkt auf der Achse der zylindrischen Fläche eingestellt wird.
Zuerst ordnet der Aufnahmesituations-Detektionsabschnitt 2 des Abbildungsaufnahmemittels mehrere Punkte auf einer Straßenoberfläche, deren Positionen gefunden oder identifiziert werden können, mehreren Punkten auf einer durch das erste Abbildungsaufnahmemittel 1a oder das zweite Abbildungsaufnahmemittel 1b aufgenommenen Abbildung zu, wodurch eine Abbildungsaufnahmesituation des Abbildungsaufnahmemittels 1a oder 1b detektiert wird. Die Abbildungsaufnahmesituation kennzeichnet zum Beispiel die folgenden Parameter oder dergleichen:

(1) einen Anbringungsort des Abbildungsaufnahmemittels in Bezug auf eine Straßenoberfläche;
(2) eine Richtung, in der das Abbildungsaufnahmemittel in Bezug auf die Straßenoberfläche angeordnet ist; und
(3) Werte, die verschiedene Abbildungsaufnahmeeigenschaften darstellen, wie etwa Feldwinkel, Brennlänge und Linsenverzerrung.

Wenn diese Parameter detektiert werden, ist es für ein Objekt, das in Form und Position relativ zu dem Abbildungsaufnahmemittel bereits bekannt ist, möglich, durch logische numerische Berechnungen einen Zustand des Objekts auf einer durch das Abbildungsaufnahmemittel aufgenommenen Abbildung zu erhalten. Um im Voraus notwendige Parameter zu sammeln und sie in einem Speicher oder dergleichen zu erfassen, wird vor dem Versand aus einer Fabrik tatsächlich ein gitterähnliches Objekt in der Einstellungsphase verwendet, um Koordinaten in einem dreidimensionalen Raum und numerische Werte von projizierten ebenen Abbildungskoordinaten in einen Computer einzugeben, um geschätzte Werte der Parameter zu erhalten, wobei Alternativpositionen und Winkel, die einen Montagezustand des Abbildungsaufnahmemittels darstellen, durch Sensoren detektiert werden, um diese Daten in einen Computer einzugeben, um Parameter mechanisch (automatisch) zu erhalten.
Zusätzlich zu dem oben genannten Verfahren zum Erhalten von Parametern kann der Aufnahmesituations-Detektionsabschnitt 2 des Abbildungsaufnahmemittels ferner außerdem eine Abbildungsaufnahmesituation von jedem der Abbildungsaufnahmemittel detektieren, indem eine Transformationsmatrix von einer Abbildung zu einer Straßenoberfläche erhalten wird. Diese Transformationsmatrix kann erhalten werden, indem jeder von einer Vielzahl von Punkten auf der Straßenoberfläche, die bereits in Position gefunden wurden, jedem aus einer Vielzahl von Punkten auf einer Abbildung zugeordnet wird. Diese Transformationsmatrix er möglicht eine ebene Projektion von einer Abbildung auf eine Straßenoberfläche.
Zweitens erfolgt unter Bezugnahme auf die 2 und 3A im Folgenden eine Beschreibung der Verarbeitung in jedem der Projektionsabschnitte. 2 ist ein Ablaufplan, der einen Verarbeitungsablauf in der Bildzusammensetzungsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung zeigt, und 3A ist eine Darstellung, die zur Erläuterung des Prinzips eines Prozesses zum Bilden eines zusammengesetzten Bilds durch das Projizieren von Abbildungen, die durch die Abbildungsaufnahmemittel 1a und 1b aufgenommen wurden, nützlich ist.
In 2 bezeichnet ein Fortschritt zu einem Schritt 2 einen Prozess, bei dem der Abschnitt 3 für eine ebene Projektion jede der in einem Schritt 1 durch die Abbildungsaufnahmemittel 1a und 1b aufgenommenen Abbildungen auf einen Projektionsabschnitt (Straßenoberfläche) gemäß jeder der Abbildungsaufnahmesituationen, die durch den Aufnahmesituations-Detektionsabschnitt 2 des Abbildungsaufnahmemittels erfasst wurden, projiziert. Wie in 3A dreidimensional gezeigt ist, entspricht die Projektion der Umwandlung eines Punkts 15 auf einer Abbildung 8, die durch das Abbildungsaufnahmemittel 1a aufgenommen wurde, und eines Punkts 16 auf einer Abbildung 9, die durch das Abbildungsaufnahmemittel 1b aufgenommen wurde, in einen Punkt 17. In dieser Stufe erfolgt die Umwandlung in der Weise, dass die Abbildungen des gleichen Objekts auf einer Straßenoberfläche, die aufgenommen werden und in der Abbildung 8 bzw. der Abbildung 9 enthalten sind, genau übereinander liegen. Das heißt, eine weiße Linie auf einer Straßenoberfläche wird z. B. exakt angezeigt, ohne dass sie doppelt projiziert wird. Dieser Abschnitt 3 der ebenen Projektion wandelt die Koordinaten des Punkts 15 auf der Abbildung 8 und des Punkts 16 auf der Abbildung 9 in die Koordinaten des Punkts 17 auf der Straßenoberfläche um.
In 2 bezeichnet außerdem ein Fortschritt zu einem Schritt 3 einen Prozess bei dem der Projektionsabschnitt 5 eines dreidimensionalen Projektionsmodells eine Abbildung, die durch den Abschnitt 3 der ebenen Projektion auf die Straßenoberfläche projiziert wurde, auf ein dreidimensionales Projektionsmodell 11 projiziert. Die Projektion auf das dreidimensionale Projektionsmodell 11 bedeutet, dass der Punkt 17 auf der Straßenoberfläche zu einem Schnittpunkt 18 einer geraden Linie, die den Punkt 17 mit einem Projektionszentrum 12 des dreidimensionalen Projektionsmodells verbindet und eine Fläche des dreidimensionalen Projektionsmodells 11 projiziert.
In 2 bedeutet des Weiteren ein Fortschritt zu einem Schritt 4 einen Prozess, in dem das Aufnahmemittel 7 für eine virtuelle Abbildung eine Abbildung, die auf das dreidimensionale Projektionsmittel 11 in dem Projektionsabschnitt 5 eines dreidimensionalen Projektionsmodells gezeichnet wurde, gemäß einer Abbildungsaufnahmesituation, die durch den Aufnahmesituations-Ermittlungsabschnitt 6 des Aufnahmemittels für eine virtuelle Abbildung ermittelt wird, aufnimmt. Wie in 3A dreidimensional gezeigt ist, entspricht diese Abbildungsaufnahme der Umwandlung in einen Schnittpunkt 19 einer geraden Linie, die den Punkt 18 mit einem Blickpunkt 13 des Aufnahmemittels 7 für eine virtuelle Abbildung verbindet, mit einer Bildzusammensetzungsfläche 14. Ein Bild, das durch das Aufnahmemittel 7 für eine virtuelle Abbildung erhalten wird, wird ein zusammengesetztes Bild.
Wenn die Abbildungen, die in dem Zustand erhalten werden, der in der Abbildung 52 von 14 gezeigt ist, auf diese Weise kombiniert werden, ist ein Panoramabild erreichbar, wie in 3B gezeigt ist. Die geraden Linien sowie andere Linien auf der Straßenoberfläche sind glatt miteinander verbunden, wie an Verbindungsabschnitten 20 gezeigt ist. Außerdem fällt selbst ein Verbindungsabschnitt eines dreidimensionalen Objekts, das von dem Abbildungsaufnahmemittel ausreichend entfernt ist, nicht auf, wie in einem Verbindungsabschnitt 21 gezeigt ist.
Wenn ferner die Position des dreidimensionalen Projektionsmodells 11 oder des Projektionszentrums 12 in einer Richtung senkrecht zu der Straßenoberfläche verschoben wird, ist es möglich, die Grenzen eines Bereichs, der auf eine zylindrische Fläche projiziert werden soll, und eines Bereichs, der auf eine sphärische Fläche projiziert werden soll, zu ändern. Wie 4A zeigt, wenn z. B. die Grenze zwischen der zylindrischen Fläche und der sphärischen Fläche des dreidimensionalen Projektionsmodells 11 und das Projektionszentrum so eingestellt werden, dass sie eine gleiche Höhe besitzen, wird eine Abbildung, die an einer Position vorhanden ist, die niedriger als das Projektionszentrum 12 ist, auf eine sphärische Fläche projiziert, während die andere Abbildung auf die zylindrische Fläche projiziert wird. Wie 4B zeigt, wenn außerdem die Position des dreidimensionalen Projektionsmodells 11 auf eine Position eingestellt ist, die niedriger als die in 4A gezeigte Position ist, bedeckt in einem Zustand, bei dem das Projektionszentrum 12 intakt bleibt, der Bereich, der auf die sphärische Fläche projiziert werden soll, lediglich die Umgebung des Projektionszentrums 12, wohingegen der Bereich, der auf die zylindrische Fläche projiziert werden soll, größer wird. Auf diese Weise ist es möglich, ein zusammengesetztes Bild zu erzeugen, das an die durch einen Fahrer vorgesehene Anwendungsmöglichkeit angepasst werden kann.
Da, wie oben beschrieben wurde, gemäß der ersten Ausführungsform der vorliegenden Erfindung der Projektionsabschnitt auf eine Straßenoberflä che eingestellt ist, sind selbst bei der Zusammensetzung von Abbildungen, die durch mehrere Abbildungsaufnahmemittel aufgenommen werden, die untereinander verschiedene Positionen haben, Abbildungen einer weißen Linie oder dergleichen auf der Straßenoberfläche an den Verbindungsstellen zwischen unterschiedlichen Abbildungen vollständig aufeinander ausgerichtet, so dass die Situation der Straßenoberfläche für einen Fahrer verständlich ist. Obwohl in diesem Fall im Allgemeinen ein dreidimensionales Objekt, das sich von einem Objekt auf einer Ebene der Straßenoberfläche unterscheidet, die Ausrichtung an den Verbindungsstellen zwischen unterschiedlichen Abbildungen nicht erfüllt, erfüllt ein dreidimensionales Objekt, das an einer ausreichenden entfernten Position in Bezug auf einen Abstand zwischen den Positionen der unterschiedlichen Abbildungsaufnahmemittel vorhanden ist, im Wesentlichen die Ausrichtung an den Verbindungsstellen zwischen unterschiedlichen Abbildungen. Demzufolge wird die zusammengesetzte Abbildung ein natürliches Bild, das keinen Eindruck der Unverträglichkeit vermittelt.
Die Abbildungsaufnahmesituations-Detektionsmittel detektieren außerdem im Voraus eine Position und/oder Stellung und/oder Abbildungsaufnahmeeigenschaft des Abbildungsaufnahmemittels in Bezug auf den Projektionsabschnitt, wodurch eine leichte Übereinstimmung einer durch das Abbildungsaufnahmemittel aufgenommenen Abbildung mit der ebenen Projektion auf der Straßenoberfläche erreicht wird.
Außerdem projiziert der Abschnitt der ebenen Projektion Punkte auf einer aufgenommenen Abbildung auf den Projektionsabschnitt durch die Verwendung der Transformationsmatrix, die aus Kombinationen von entsprechenden Punkten auf der aufgenommenen Abbildung und dem Projektionsabschnitt erhalten wird, wodurch die Projektion von der durch das Abbildungsaufnahmemittel aufgenommenen Abbildung auf die Straßenoberfläche ermöglicht wird.
Da darüber hinaus mehrere Flächen mit unterschiedlichen Formen kombiniert werden, um ein dreidimensionales Projektionsmodell zu bilden, kann die Projektion auf ein Modell erfolgen, das einem zu projizierenden Objekt möglichst nahe ist.
Da darüber hinaus die mehreren Flächen mit unterschiedlichen Formen in der Weise kombiniert werden, dass die Verbindungsstellen zwischen ihnen nicht auffallen, kann verhindert werden, dass eine gerade Linie oder dergleichen auf einer Straßenoberfläche in einem gebogenen Zustand auf einem zusammengesetzten Bild zusammengesetzt wird, wodurch ein natürliches Bild angeboten wird, das insgesamt keinen Eindruck der Unverträglichkeit vermittelt.
Das dreidimensionale Projektionsmodell umfasst des Weiteren eine Kombination aus einer Kugel und einem Zylinder, und wenn die Projektion auf das dreidimensionale Projektionsmodell erfolgt, wird eine entfernte Stelle auf den Zylinder projiziert, während die andere Stelle auf die Kugel projiziert wird, d. h. eine Stelle nahe an einem Kraftfahrzeug wird auf die Kugel projiziert, während eine von diesem entfernte Stelle auf den Zylinder projiziert wird; dadurch kann im Vergleich mit der Projektion, die lediglich auf den Zylinder erfolgt, die Bildverzerrung an der nahegelegenen Stelle verringert werden und ein Gefühl der Entfernung kann leicht empfunden werden. Wenn in diesem Fall das Zentrum der sphärischen Fläche auf der Achse der zylindrischen Fläche angeordnet wird und die sphärische Fläche und die zylindrische Fläche so eingestellt werden, dass sie einen gleichen Radius aufweisen, wird die Grenze zwischen der sphärischen Fläche und der zylindrischen Fläche glatt. Im Vergleich mit einem Fall, bei dem eine Ebene und ein Zylinder kombiniert und an dem Grenzabschnitt zwischen ihnen glatt verbunden werden, kann die Verzerrung an der nahegelegenen Stelle stärker verringert werden, wodurch ein Bild mit einem sehr geringen Eindruck der Unverträglichkeit zusammengesetzt wird.
Obwohl in der obigen Beschreibung das dreidimensionale Projektionsmodell aus einer Kombination eines Zylinders und einer Kugel aufgebaut wurde, ist es außerdem akzeptabel, lediglich die Kugel zu verwenden. In diesem Fall ist es bei der Zusammensetzung eines Bilds mit weitem Gesichtsfeld möglich, ein Bild zu schaffen, das insgesamt frei von starken Verzerrungen ist. Ein Bild wie eine Abbildung, die durch Verwendung einer Fischaugenlinse aufgenommen wird, kann in einer Weise hergestellt werden, dass eine Kugel als ein dreidimensionales Projektionsmodell verwendet wird, und obwohl in dem gesamten Bild eine gleichförmige Verzerrung auftritt, kann ein Fahrer leicht den Typ eines benachbarten Objekts erkennen.
Selbst wenn ein Zylinder und eine elliptische Kugel kombiniert werden, so dass die Verbindungsstelle zwischen ihnen glatt wird und eine entfernte Stelle auf den Zylinder projiziert wird, während die andere Stelle auf die elliptische Kugel projiziert wird, können ebenfalls Wirkungen erreicht werden, die den Wirkungen bei der Kombination eines Zylinders und einer Kugel ähnlich sind.
Es ist außerdem möglich, dass eine Ebene und ein Zylinder zu einem dreidimensionalen Projektionsmodell kombiniert werden und bei der Projektion auf dieses dreidimensionale Projektionsmodell eine entfernte Stelle auf den Zylinder projiziert wird, während die andere Stelle auf die Ebene projiziert wird. Da in diesem Fall eine nahe am Kraftfahrzeug gelegene Stelle auf die Ebene projiziert wird, kann eine gerade Linie, wie etwa eine weiße Linie auf einer Straßenoberfläche, selbst auf dem zusammengesetzten Bild als eine gerade Linie projiziert werden. Da darüber hinaus eine entfernte Stelle auf die zylindrische Fläche projiziert wird, kann verhindert werden, dass die Abbildung eine starke Verzerrung aufweist. Demzufolge kann ein Fahrzeug leicht längs weißer Linien auf einem Parkplatz oder dergleichen geparkt werden, wobei die umgebende Situation über einen weiten Bereich einschätzbar wird. In einem Fall, bei dem eine zylindrische Fläche einzig als ein dreidimensionales Projektionsmodell verwendet wird, wird darüber hinaus ein nahe an dem Abbildungsaufnahmemittel gelegener Bereich in dem zusammengesetzten Bild größer, was zur Folge hat, dass es schwierig ist, das Gefühl des Abstands zu empfinden. Es ist jedoch möglich, dieses Problem zu lösen, indem der benachbarte Bereich auf eine Ebene projiziert wird.
Es ist ferner außerdem vorteilhaft, als ein dreidimensionales Projektionsmodell eine Kombination aus einem Zylinder, einer Ebene und einer gekrümmten Fläche zu verwenden, wobei eine glatte Grenze zwischen ihnen gebildet wird. Wenn somit Abbildungen, die durch das Aufnehmen von entfernten Szenen erhalten werden, miteinander kombiniert werden, kann eingeschätzt werden, dass die entfernten Szenen Abbildungen sind, die auf einem vertikal stehenden Zylinder gebildet werden. Ein Problem, dass eine stark verzerrte Abbildung dann erscheint, wenn ein Objekt, das sich unmittelbar unter dem Abbildungsaufnahmemittel befindet, auf eine zylindrische Fläche projiziert wird, kann dagegen in der Weise eliminiert werden, dass eine entfernte Stelle auf einen Zylinder projiziert wird, eine Stelle in mittlerer Entfernung auf eine gekrümmte Fläche projiziert wird, die die glatte Grenze zwischen dem Zylinder und einer Ebene bildet, und die andere Stelle auf die Ebene projiziert wird.
Es wird demzufolge ein Fall angenommen, bei dem ein Lastanhänger durch Verwendung einer an dem Kraftfahrzeug angebrachten Anhängekupplung mit einem Kraftfahrzeug gekoppelt wird, wobei in dem anfänglichen Zustand, in dem der Lastanhänger in einer von den Kraftfahrzeug getrennten Position ist, d. h. wenn das Kraftfahrzeug näher an den Lastanhänger bewegt wird, der Lastanhänger lediglich auf die oben genannte zylindrische Projektionsfläche projiziert und angezeigt wird, so dass es möglich ist, die umgebende Situation und die Beziehung zwischen Objekten leicht einzuschätzen und die Positionsbeziehung an der Anhängekupplung durch den Projektionsabschnitt der sphärischen Fläche unmittelbar vor der Kopplung des Lastanhängers genau zu erkennen, wodurch eine einfache Kopplung zwischen dem Lastanhänger und dem Kraftfahrzeug möglich ist.
Beim Parken auf einem eingeschränkten Parkraum oder beim Zeigen der Positionsbeziehung in Bezug auf nachfolgende Kraftfahrzeuge auf mehreren Verkehrsspuren ist es des Weiteren natürlich möglich, ein Bild anzubieten, das von einem Fahrer leicht verstanden werden kann.
(Zweite Ausführungsform)
5 ist ein Blockschaltplan, der eine Konfiguration einer Bildzusammensetzungsvorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt. In 5 sind die gleichen Funktionsabschnitte wie die in 1 gezeigten Funktionsabschnitte mit den gleichen Bezugszeichen markiert und deren genaue Beschreibung ist zur Einfachheit weggelassen. Diese Bildzusammensetzungsvorrichtung umfasst zusätzlich zu der Konfiguration der in 1 gezeigten Bildzusammensetzungsvorrichtung einen Kraftfahrzeugfahrtrichtungs-Detektionsabschnitt 22 zum Detektieren einer Fahrrichtung eines Kraftfahrzeugs sowie ferner zum Einge ben des Detektionsergebnisses in den Aufnahmesituations-Ermittlungsabschnitt 6 des Aufnahmemittels für eine virtuelle Abbildung.
Wie bei der ersten Ausführungsform wird ebenfalls in der zweiten Ausführungsform eine Projektionsfläche, die in dem Abschnitt 3 der ebenen Projektion verwendet werden soll, als eine Straßenoberfläche eingestellt und ein dreidimensionales Projektionsmodell, das in dem Projektionsabschnitt 5 des dreidimensionalen Projektionsmodells verwendet werden soll, wird als eine gekrümmte Fläche auf der Grundlage einer glatten Verbindung zwischen einer zylindrischen Fläche, die senkrecht zu der Straßenoberfläche ist, und einer sphärischen Fläche eingestellt, wobei das Projektionszentrum auf einen Punkt auf der Achse des Zylinders eingestellt ist.
6A zeigt dreidimensional einen Fall, bei dem das Aufnahmemittel für eine virtuelle Abbildung ein zusammengesetztes Bild erzeugt, wenn ein Kraftfahrzeug geradeaus fährt. In 6A ist der Prozess weggelassen (Prozess bis zum Schritt 2 von 2), bei dem der Abschnitt 3 der ebenen Projektion jede der Abbildungen, die durch die Abbildungsaufnahmemittel 1a und 1b aufgenommen wurden, gemäß einer Abbildungsaufnahmesituation auf die Straßenoberfläche projiziert.
In der zweiten Ausführungsform der vorliegenden Erfindung wird bei der Abbildungsaufnahme durch das Aufnahmemittel 7 für eine virtuelle Abbildung die Position des Blickpunkts 13 des Aufnahmemittels 7 für eine virtuelle Abbildung auf eine gerade Linie eingestellt, die durch das Projektionszentrum 12 des Projektionsabschnitts 5 des dreidimensionalen Projektionsmodells parallel zu der Fahrtrichtung des Kraftfahrzeugs, die durch den Kraftfahrzeugfahrtrichtungs-Detektionsabschnitt 22 detektiert wird, verläuft. Zu diesem Zeitpunkt werden gerade Linien, die parallel zu der Fahrtrichtung des Kraftfahrzeugs verlaufen, selbst in einem zusam mengesetzten Bild gerade Linien und gerade Linien in dem zusammengesetzten Bild schneiden einander an einem Punkt, und da feststehende Objekte, die um das Kraftfahrzeug vorhanden sind, eine relative geradlinige Bewegung parallel zu der Fahrtrichtung des Kraftfahrzeugs ausführen, wenn diese von dem Kraftfahrzeug betrachtet werden, führen diese Objekte dann, wenn das Kraftfahrzeug geradeaus fährt, selbst in dem zusammengesetzten Bild eine geradlinige Bewegung aus.
Dieses Prinzip wird im Folgenden unter Verwendung der geometrischen Beziehung zwischen dem Aufnahmemittel 7 für eine virtuelle Abbildung und dem dreidimensionalen Projektionsmodell 11 in 6A beschrieben. Ein Liniensegment 23, das das Projektionszentrum 12 des dreidimensionalen Projektionsmodells 11 mit dem Blickpunkt 13 des Aufnahmemittels 7 für eine virtuelle Abbildung verbindet, verläuft parallel zu der Kraftfahrzeugfahrtrichtung 24. Zu diesem Zeitpunkt liegen eine Linie 25, die parallel zu der Fahrtrichtung des Kraftfahrzeugs verläuft und auf die Straßenoberfläche gezeichnet ist, und das Liniensegment 23 auf der gleichen Ebene 26. Eine Abbildung 27, die durch Projizieren der oben genannten parallelen Linie 25 auf das dreidimensionale Projektionsmodell 11 erzeugt wird, bildet eine Schnittlinie zwischen dem dreidimensionalen Projektionsmodell 11 und der Ebene 26 und eine Abbildung 28, die erzeugt wird, wenn das Aufnahmemittel 7 für eine virtuelle Abbildung die Abbildung 27 aufnimmt, befindet sich an einer Schnittlinie zwischen der Bildzusammensetzungsfläche 14 und der Ebene 26. Die Abbildung 28 ist eine gerade Linie, da sie eine Schnittlinie zwischen einer Ebene und einer weiteren Ebene ist, wobei die gerade Linie durch einen Schnittpunkt 29 zwischen dem Liniensegment 23 und der Bildzusammensetzungsfläche 14 verläuft.
Die obige Beschreibung ist nicht auf die Straßenoberfläche beschränkt, sondern gilt außerdem für beliebige gerade Linien, die auf der Ebene vor handen sind, auf der sich das Liniensegment 23 befindet, wobei sich alle Erweiterungen dieser Abbildungen an einem Punkt 29 treffen.
Wenn das Kraftfahrzeug geradeaus fährt, bewegt sich ein feststehendes Objekt, das um das Kraftfahrzeug vorhanden ist, relativ auf einer geraden Linie, die parallel zu dem Liniensegment 23 verläuft, wenn es von dem Kraftfahrzeug betrachtet wird. Wie in einem Panoramabild von 6B gezeigt ist, führt dementsprechend eine Abbildung 30 des feststehenden Objekts eine gerade Bewegung zu einem Punkt 29 aus.
Somit werden gemäß der zweiten Ausführungsform der vorliegenden Erfindung die mehreren Abbildungsaufnahmemittel an einem Kraftfahrzeug angebracht, wobei ferner das Fahrzeugfahrtrichtungs-Detektionsmittel daran angebracht ist, und die Position des Blickpunkts des Aufnahmemittels für eine virtuelle Abbildung ist auf eine gerade Linie eingestellt, die durch das Projektionszentrum des Projektionsabschnitts des dreidimensionalen Projektionsmodells parallel zu der Fahrtrichtung des Kraftfahrzeugs verläuft; wobei deshalb als ein Merkmal eine gerade Linie, die parallel zu der Fahrtrichtung des Kraftfahrzeugs verläuft, selbst auf einen zusammen Bild als eine gerade Linie projiziert wird. Demzufolge führt dann, wenn das Kraftfahrzeug eine geradlinige Bewegung ausführt, ein feststehendes Objekt um das Kraftfahrzeug eine relative geradlinige Bewegung parallel zu der Fahrtrichtung des Kraftfahrzeugs aus, wenn es von dem Kraftfahrzeug betrachtet wird, wobei sich das feststehende Objekt auf einem zusammengesetzten Bild auf einer geraden Linie bewegt, wodurch eine Abbildung geschaffen wird, die für den Fahrer in der Situation verständlich ist.
(Dritte Ausführungsform)
7 ist ein Blockschaltplan, der eine Konfiguration einer Bildzusammensetzungsvorrichtung gemäß einer dritten Ausführungsform der vorliegenden Erfindung zeigt. In 7 sind ebenfalls die gleichen Funktionsabschnitte, wie die in 1 gezeigten Funktionsabschnitte mit den gleichen Bezugszeichen gekennzeichnet, wobei deren genaue Beschreibung zur Einfachheit weggelassen ist. Diese Bildzusammensetzungsvorrichtung umfasst zusätzlich zu der in 1 gezeigten Konfiguration einen Kraftfahrzeugkarosseriepositions-Detektionsabschnitt 31 zum Detektieren einer Position einer Karosserie eines Kraftfahrzeugs, um das Detektionsergebnis in den Aufnahmesituations-Detektionsabschnitt 6 eines Aufnahmemittels für eine virtuelle Abbildung einzugeben.
Wie bei der ersten Ausführungsform ist ebenfalls in der dritten Ausführungsform eine Projektionsfläche, die in den Abschnitt 3 der ebenen Projektion verwendet werden soll, als eine Straßenoberfläche eingestellt und ein dreidimensionales Modell, das in dem Projektionsabschnitt 5 des dreidimensionalen Modells verwendet werden soll, ist als eine gekrümmte Fläche auf der Grundlage einer glatten Verbindung zwischen einer zylindrischen Fläche, die senkrecht zur Straßenoberfläche ist, und einer sphärischen Fläche eingestellt, wobei das Projektionszentrum auf die Achse des Zylinders eingestellt ist.
8A zeigt schematisch einen Prozess in der dritten Ausführungsform der Erfindung zum Erhalten einer Projektion des Fahrzeugkarosserieheckabschnitts 32, derart, dass ein Fahrzeugkarosserieheckabschnitt 321 eines Kraftfahrzeugs A, der durch das erste Abbildungsaufnahmemittel 1a aufgenommen wird, auf eine Straßenoberfläche projiziert wird durch die Verwendung einer Fahrzeugkarosserieposition, die durch den an dem Kraftfahrzeug A angebrachten Kraftfahrzeugkarosseriepositions-Detektionsabschnitt 31 detektiert wird. 8B zeigt dreidimensional eine Anordnung in der dritten Ausführungsform der Erfindung, um die Projektion des Fahrzeugkarosserieheckabschnitts 32, die durch Projizieren des Fahrzeugkarosserieheckabschnitts 321 auf die Straßenoberfläche durch die Verwendung der Fahrzeugkarosserieposition erhalten wird, die durch den an dem Kraftfahrzeug A angebrachten Kraftfahrzeugkarosseriepositions-Detektionsabschnitt 31 detektiert wird, mittels des Aufnahmemittels 7 für eine virtuelle Abbildung als ein zusammengesetztes Bild gebildet wird. In 8B ist ebenso wie in 6A der Prozess bis zum Schritt 2 von 2 weggelassen, d. h. der Prozess, bei dem der Abschnitt 3 der ebenen Projektion jede der Aufnahmen, die durch die Abbildungsaufnahmemittel 1a und 1b aufgenommen werden, auf eine Straßenoberfläche in Übereinstimmung mit jeder der Abbildungsaufnahmesituationen projiziert.
Eine Position des Blickpunkts 13 des Aufnahmemittels 7 für eine virtuelle Abbildung wird gemäß der folgenden Prozedur festgelegt. Wenn dabei angenommen wird, dass der Fahrzeugkarosserieheckabschnitt 321 des Kraftfahrzeugs A die Konfiguration einer geraden Linie aufweist, besitzt die Abbildung 32, die durch die ebene Projektion des Fahrzeugkarosserieheckabschnitts 321 erhalten wird, ebenfalls die Konfiguration einer geraden Linie. Der Blickpunkt 13 des Aufnahmemittels 7 für eine virtuelle Abbildung ist auf eine Ebene 33 eingestellt, die die Abbildung 32 und das Projektionszentrum 12 enthält. Zu diesem Zeitpunkt ist eine Abbildung 34, die durch Projizieren der Abbildung 32 auf das dreidimensionale Projektionsmodell erhalten wird, ebenfalls auf der Ebene 33 vorhanden und eine Abbildung 35 in einem zusammengesetzten Bild anhand der Abbildung 34 liegt ebenfalls auf der Ebene 33. Dadurch ist die Abbildung 35 auf einer Schnittlinie zwischen der Ebene 33 und der Bildzusammensetzungsfläche 14 vorhanden und besitzt eine Konfiguration einer geraden Linie. Wie in einem Panoramabild von 8C gezeigt ist, wird demzufolge in dem zusammengesetzten Bild ein Fahrzeugkarosserieheckabschnitt 36 zu einer geraden Linie ohne Biegung und ohne Unterbrechung. Wie 8D zeigt, ist es außerdem möglich, dass eine Seitenfläche des eigenen Kraftfahrzeugs in eine gerade Linie umgewandelt wird, um ein Bild zusammenzusetzen, das für eine Verwendung bei der Überwachung der seitlichen Situation des Kraftfahrzeugs geeignet ist. Es ist weiterhin außerdem möglich, ein Bild zusammenzusetzen, in dem eine Spur, die zu einer Spur benachbart ist, in der das eigene Kraftfahrzeug fährt, oder eine geschnittene Mittellinie einer Straße an einer Kreuzung eine Konfiguration einer geraden Linie aufweist.
Wie oben beschrieben wurde, sind gemäß der dritten Ausführungsform der vorliegenden Erfindung mehrere Abbildungsaufnahmemittel an einem Kraftfahrzeug angebracht und ein Kraftfahrzeugkarosseriepositions-Detektionsmittel ist vorgesehen, um eine Karosserieposition des Kraftfahrzeugs zu detektieren, während die Position des Blickpunkts des Aufnahmemittels für eine virtuelle Abbildung auf eine Ebene eingestellt ist, die eine Abbildung enthält, die durch ebene Projektion eines Heckabschnitts der Karosserie des Kraftfahrzeugs und das Projektionszentrum des zweiten Projektionsmittels erhalten wird; deswegen wird der Karosserieheckabschnitt des Kraftfahrzeugs sogar in dem zusammengesetzten Bild als eine gerade Linie projiziert.
(Vierte Ausführungsform)
9 ist ein Blockschaltplan, der eine Konfiguration einer Bildzusammensetzungsvorrichtung gemäß einer vierten Ausführungsform der vorliegenden Erfindung zeigt.
In 9 sind ebenfalls die gleichen Funktionsabschnitte wie die Funktionsabschnitte in 1 mit den gleichen Bezugszeichen gekennzeichnet, wobei deren genaue Beschreibung zur Einfachheit weggelassen ist.
Wie 9 zeigt, verwendet diese Bildzusammensetzungsvorrichtung eine sphärische Fläche als ein dreidimensionales Projektionsmodell, das in dem Projektionsabschnitt 5 des dreidimensionalen Projektionsmodells verwendet werden soll, und umfasst ferner einen Positionsermittlungsabschnitt 37 einer sphärischen Fläche zum Ermitteln der Position der sphärischen Fläche. Außerdem wird zum Zusammensetzen eines Bilds ein Ausbreitungsabschnitt 38 einer sphärischen Fläche anstelle des in 1 gezeigten Aufnahmemittels für eine virtuelle Abbildung verwendet.
Unter Bezugnahme auf die 10A und 10B erfolgt im Folgenden eine Beschreibung einer Bildzusammensetzungsprozedur gemäß der vierten Ausführungsform. 10A zeigt geometrisch und dreidimensional eine Prozedur zum Ausbreiten oder Entfalten der sphärischen Fläche auf einer Ebene nach der Projektion auf das sphärische Flächenmodell. Wie bei der ersten Ausführungsform wird eine durch das Abbildungsaufnahmemittel aufgenommene Abbildung auf eine Straßenoberfläche eben projiziert und wird ferner auf eine sphärische Fläche projiziert, wie in 10A gezeigt ist. Zu diesem Zeitpunkt ist das Projektionszentrum 39 auf das Zentrum der Kugel eingestellt. Eine Abbildung 40, die durch die Projektion auf die sphärische Fläche erhalten wird, wird um einen Punkt 41 auf der sphärischen Fläche ausgebreitet. Durch diese Operation wird die Abbildung 40 in einen Punkt 42 umgewandelt. 10B ist eine Schnittansicht, die einen Zustand zeigt, in dem die sphärische Fläche und das zusammengesetzte Bild 14, die in 10A gezeigt sind, durch eine Ebene geschnitten werden, die durch vier Punkte 39, 40, 41 und 42 verläuft. Wie in dieser Schnittansicht gezeigt ist, führt der Ausbreitungsabschnitt 38 der sphäri schen Fläche die Ausbreitungsoperation in der Weise aus, dass die Länge des Kreisbogens von dem Punkt 41 zu dem Punkt 40 gleich der Länge der geraden Linie von dem Punkt 41 zu dem Punkt 42 ist. Die Abbildung, die auf die Bildzusammensetzungsfläche 14 ausgebreitet wird, wird auf diese Weise ein zusammengesetztes Bild.
Durch diese Umwandlung wird eine gerade Linie, die auf einer Ebene vorhanden ist, die eine gerade Linie 43 enthält, die den Punkt 39 mit dem Punkt 41 verbindet, selbst in dem zusammengesetzten Bild eine gerade Linie. Dementsprechend werden die Punkte 39 und 41 in der Weise eingestellt, dass die gerade Linie 43 parallel zu der Fahrtrichtung des Kraftfahrzeugs wird, wobei unabhängig von der Position der sphärischen Fläche eine gerade Linie, die parallel zu der Fahrtrichtung des Kraftfahrzeugs verläuft, selbst in dem zusammengesetzten Bild eine gerade Linie wird, wodurch Wirkungen geschaffen werden, die den Wirkungen der zweiten Ausführungsform ähnlich sind. Außerdem wird dann, wenn die Punkte 39 und 41 in der Weise ausgewählt werden, dass der Fahrzeugkarosserieheckabschnitt, der auf eine Straßenoberfläche 10 projiziert wird, und die gerade Linie 43 auf der gleichen Ebene vorhanden sind, der Fahrzeugkarosserieheckabschnitt ebenfalls in dem zusammengesetzten Bild als eine gerade Linie projiziert wird, wodurch Wirkungen bereitgestellt werden, die den Wirkungen der dritten Ausführungsform ähnlich sind.
Wie oben beschrieben wurde, werden gemäß der vierten Ausführungsform der vorliegenden Erfindung mehrere Abbildungen, die durch die Abbildungsaufnahmemittel aufgenommen werden, auf eine Straßenoberfläche eben projiziert und diese Abbildung einer ebenen Projektion wird auf eine sphärische Fläche projiziert, wobei des Weiteren die Projektionsabbildung der sphärischen Fläche über eine Ebene um einen Punkt auf der sphärischen Fläche ausgebreitet wird; deswegen ist es unabhängig von Änderungen der Position der sphärischen Fläche möglich, eine bestimmte gerade Linie in dem zusammengesetzten Bild als eine gerade Linie zu projizieren, indem der Mittelpunkt so eingestellt wird, dass er bei der Ausbreitung auf der Ebene verwendet wird.
11 ist ein Blockschaltplan, der eine Konfiguration einer Bildanzeigevorrichtung gemäß einer fünften Ausführungsform der vorliegenden Erfindung zeigt. Wie 11 zeigt, umfasst eine Bildanzeigevorrichtung gemäß einer fünften Ausführungsform der Erfindung zusätzlich zu der oben beschriebenen Konfiguration ein Anzeigedatenumwandlungssteuermittel 80 und ein Anzeigemittel 81, wie etwa ein Spiegel mit einer Anzeigefunktion. Das Anzeigedatenumwandlungssteuermittel 80 dient zum Umwandeln einer anzuzeigenden Abbildung in Daten, die an das Anzeigemittel 81 anpassbar sind. Bei dieser Konfiguration wird ein Bild auf einem Spiegel mit Anzeigefunktion angezeigt, damit ein Bediener eine umgebende Situation oder Kraftfahrzeugposition leicht erkennen kann. Als Spiegel mit Anzeigefunktion gibt es eine erste Spiegelstruktur, bei der eine Hälfte des Spiegels auf einer Fläche eines Anzeigeabschnitts eines Anzeigemittels, wie etwa ein Flüssigkristallelement oder ein organisches EL-Element (Elektrolumineszenz), angeordnet ist. In diesem Fall ist es akzeptabel, dass der Flüssigkristall- oder organische EL-Abschnitt einen Anzeigeabschnitt als ganzes oder eine Kombination aus mehreren Anzeigeabschnitten umfasst.
Außerdem ist die erste Spiegelstruktur umschaltbar zwischen einem Zustand, in dem sie als gewöhnlicher Spiegel wirkt, und einem Zustand, in dem sie als Bildanzeigebildschirm dient. Sie kann außerdem dann, wenn es Nacht wird, automatisch mittels eines Beleuchtungssensor, der in das Kraftfahrzeug eingebaut ist, in den Bildanzeigezustand geschaltet werden. Es ist außerdem vorteilhaft, dass die Schaltoperation in Reaktion auf eine Scheinwerferbeleuchtungsoperation durch einen Bediener ausgeführt wird. Es ist darüber hinaus außerdem möglich, dass das Schalten in den Bildanzeigezustand z. B. ausgeführt wird, indem ein Schalter für einen Heizdraht in einem Heckfenster betätigt wird, wenn das Heckfenster infolge Regen beschlagen ist oder die Sicht nach hinten infolge von Schnee oder Frost im Winter eingeschränkt ist. Es ist darüber hinaus außerdem möglich, dass das Schalten mit einem Gang verknüpft ist und der Bildanzeigezustand nur dann eingestellt wird, wenn der Rückwärtsgang eingelegt ist.
Da die gesamte Fläche des Spiegels zwischen dem gewöhnlichen Spiegelzustand und dem Bildanzeigezustand umgeschaltet werden kann, kann der Bediener somit leicht die Situation hinter dem Kraftfahrzeug durch eine breite Anzeigefläche erkennen, wodurch ein sicheres Fahren ermöglicht wird.
Als eine zweite Spiegelstruktur ist dagegen außerdem die Verwendung sowohl eines gewöhnlichen Spiegels als auch eines Anzeigeabschnitts, wie etwa ein Flüssigkristall- oder ein organischer EL-Abschnitt vorgesehen. Bei dieser zweiten Spiegelstruktur kann der gewöhnliche Spiegelabschnitt verwendet werden, um die Situation hinter dem Fahrzeug schematisch zu erkennen, während der zusätzliche vorgesehene Anzeigeabschnitt in einem vergrößerten Zustand einen Abschnitt anzeigt, der bei der Verwendung des gewöhnlichen Spiegelabschnitts einen toten Winkel bildet, oder einen Objektabschnitt vergrößert, dem eine besondere Aufmerksamkeit zu widmen ist.
Dabei sind diese Anzeigemittel nicht auf die Spiegel beschränkt, sondern ein Anzeigeabschnitt, der auf einem Armaturenbrett angeordnet ist, eine Anzeige, die mit einem Navigationssystem verbunden ist, ein tragbares Informationsendgerät, eine Überkopfanzeige oder dergleichen sind außerdem akzeptabel.
(Sechste Ausführungsform)
12 ist ein Blockschaltplan, der eine Konfiguration einer Bilderfassungs-/Warnvorrichtung gemäß einer sechsten Ausführungsform der vorliegenden Erfindung zeigt. Wie 12 zeigt umfasst diese Bilderfassungs/Warnvorrichtung zusätzlich zu der in 11 gezeigten Konfiguration der Bildanzeigevorrichtung ein Detektionsmittel 82 und ein Warnmittel 83. Das Detektionsmittel 82 detektiert z. B. die Annäherung eines Campinganhängers, der ein Kopplungsobjekt an das Kraftfahrzeug bildet, durch die Verwendung eines Annäherungssensors. Das Detektionssignal von dem Detektionsmittel 82 wird zu dem Warnmittel 83 geleitet. Somit kann der Fahrer den Annäherungszustand einschätzen, während er das Bild auf dem Anzeigemittel 81 betrachtet. Wenn der Campinganhänger mit dem Kraftfahrzeug durch Verwendung von Anhängekupplungen, die an dem Kraftfahrzeug und dem Campinganhänger angebracht sind, gekoppelt ist, gibt das Warnmittel 83, wie etwa ein Lautsprecher, einen Warnton an den Fahrer aus, wenn der Abstand zwischen den Anhängekupplungen an dem Kraftfahrzeug und dem Campinganhänger einen Wert von 1 m oder weniger erreicht bzw. wenn er einen Wert unter 50 cm erreicht. In diesem Fall gibt das Warnmittel 83 vorzugsweise verschiedene Töne aus, die jeweils den Abständen zwischen den Anhängekupplungen entsprechen. Auf diese Weise ist es bei der Anhängekupplungsoperation möglich, eine geeignete Warnung in Übereinstimmung mit dem Annäherungszustand auszugeben (bei den Abständen, die willkürlich für die Kopplungsoperation eingestellt sind), während die Kopplungsoperation durch Bilder bestätigt wird. Dies ermöglicht eine gefahrlose und sichere Kopplungsoperation.
Dabei ist das Warnmittel 83 nicht auf den Lautsprecher beschränkt, wobei es außerdem möglich ist, dass das Warnmittel 83 mit dem Anzeigedatenumwandlungssteuermittel 80 verbunden ist, wie in 12 durch eine gestrichelte Linie angegeben ist, um ein Warnsignal an dieses zu senden, so dass eine Warnsymbolabbildung, eine Blitzabbildung, eine Farbe, die geeignet ist, um Aufmerksamkeit zu erzeugen, oder dergleichen einem Bild auf dem Anzeigemittel 81 überlagert wird. Außerdem kann der Zustand bei der Abgabe der Warninformationen willkürlich auf der Grundlage der Größe, des Gewichts, der Geschwindigkeit oder dergleichen des Kraftfahrzeugs oder des Kopplungsobjekts ermittelt werden.
Das Abbildungsaufnahmemittel kann außerdem an der Anhängerkupplung angebracht sein, um die vollständige Kopplung zu bestätigen. Als Anzeigeabbildung kann außerdem die Ausgabe eines Abschnitts 3 der ebenen Projektion oder eine Kombination des Ausgangs des Abschnitts 3 der ebenen Projektion und einer Abbildung von einem Aufnahmemittel 7 für eine virtuelle Abbildung anstelle der Abbildung von dem Aufnahmemittel 7 für eine virtuelle Abbildung verwendet werden.
Das Detektionsmittel kann darüber hinaus vom Ultraschalltyp, vom elektromagnetischen Typ, vom optischen Typ (einschließlich Infrarottyp) oder dergleichen sein. Es ist darüber hinaus außerdem möglich, einen Typ zu verwenden, der aus einer Abbildung einen Warnabstand direkt berechnet.
Obwohl das Kopplungsobjekt als Campinganhänger erwähnt wurde, ist diese Ausführungsform außerdem auf weitere Objekte, wie etwa ein Anhänger zum Befördern eines Bootes, anwendbar.
(Siebte Ausführungsform)
13 ist ein Blockschaltplan, der eine Konfiguration einer Kraftfahrzeugpositionserkennungs-/Entscheidungsvorrichtung gemäß einer siebten Ausführungsform der vorliegenden Erfindung zeigt. Wie 13 zeigt, umfasst die Kraftfahrzeugpositionserkennungs-/Entscheidungsvorrichtung gemäß einer siebten Ausführungsform der Erfindung zusätzlich zu der in 1 gezeigten Konfiguration ein Abbildungsdetektionsmittel 84, ein Erkennungsmittel 85 und ein Vergleichs-/Entscheidungsmittel 86.
Das Abbildungsdetektionsmittel 84 dient dazu, wenn mindestens eines der mehreren Abbildungsaufnahmemittel ein an der Rückseite eines Kraftfahrzeugs angeordnetes nach hinten gerichtetes Abbildungsaufnahmemittel ist, eine Abbildung eines beliebigen Objekts von durch das nach hinten gerichtete Abbildungsaufnahmemittel aufgenommenen Abbildungen projizierte Abbildungen hiervon oder kombinierte Abbildungen hierfür zu detektieren. Die Erkennungsmittel dienen zum Erkennen einer Positionsbeziehung zwischen der Abbildung, die durch das Abbildungsdetektionsmittel detektiert wird, und einer Abbildung eines Kraftfahrzeugs. Das Vergleichs-/Entscheidungsmittel dient zum Ausführen eines Vergleichs/Entscheidung in Bezug auf eine beliebig eingestellte Bedingung. Genauer gesagt nimmt in der Kraftfahrzeugpositionserkennungs-/Entscheidungsvorrichtung gemäß dieser Ausführungsform eine oder mehrere Kameras, die als ein rückwärtsgerichtetes Abbildungsaufnahmemittel dienen, das an der Rückseite eines Kraftfahrzeugs angebracht ist, Abbildungen der weißen Linien eines Parkplatzes auf und das Abbildungsdetektionsmittel detektiert die Abbildungen der weißen Linien aus den aufgenommenen Abbildungen, Abbildungen, die durch das Projizieren der aufgenommenen Abbildungen auf ein dreidimensionales Projektionsmodell auf der Grundlage einer Kombination aus einer zylindrischen Fläche und einer sphärischen Fläche erhalten werden, oder einer zusammengesetzten Abbildung, die durch das Aufnahmemittel 7 für eine virtuelle Abbildung erzeugt wird. Außerdem berechnet und erkennt das Erkennungsmittel 85 die Positionsbeziehung zwischen den durch das Abbildungsdetektionsmittel 84 detektierten weißen Linien und der Abbildung des Kraftfahrzeugs auf der Grundlage der Abbildungsdaten von dem Abbildungsdetektionsmittel 84 und das Vergleichs-/Entscheidungsmittel 86 führt einen Vergleich durch bzw. trifft eine Entscheidung auf Grundlage einer Differenz zwischen dem Kraftfahrzeug und den weißen Linien auf der Grundlage der Positionsbeziehung, die durch das Erkennungsmittel 85 berechnet werden (führt einen Vergleich aus bzw. trifft eine Entscheidung auf der Grundlage der Abbildungspositionen oder der Erkennung von Daten die durch das Erkennungsmittel erhalten werden), so dass das Kraftfahrzeug zwischen den rechten und linken weißen Linien angeordnet wird.
Bei dieser Konfiguration kann der Fahrer die Positionsbeziehung des Kraftfahrzeugs zusätzlich zu den hinteren und umgebenden Situationen leicht einschätzen, wodurch ein sicheres Fahren ermöglicht wird.
Es sollte klar sein, dass die vorliegende Erfindung nicht auf die oben beschriebenen Ausführungsformen beschränkt ist und vorgesehen ist, alle Änderungen und Modifikationen der Ausführungsformen der Erfindung abzudecken, die keine Abweichungen vom Umfang der Erfindung darstellen, der in den beigefügten Ansprüchen dargestellt ist.

Claims

Bildzusammensetzungsvorrichtung, die umfasst: mehrere Abbildungsaufnahmemittel (1) zum Aufnehmen mehrerer Abbildungen; und ein Erzeugungsmittel (2; 3; 4; 5; 6; 7) für ein zusammengesetztes Bild zum Projizieren der durch die Abbildungsaufnahmemittel (1) aufgenommenen Abbildungen auf eine Ebene, um projizierte Abbildungen zu erzeugen, und virtuellen Aufnehmen der projizierten Abbildungen, um ein zusammengesetztes Bild aus den projizierten Abbildungen zu erhalten, dadurch gekennzeichnet, dass das Erzeugungsmittel (2; 3; 4; 5; 6; 7) für ein zusammengesetztes Bild umfasst: ein Abbildungsaufnahmesituations-Detektionsmittel (2) zum Detektieren der relativen Position oder der relativen Stellung der Abbildungsaufnahmemittel (1) zu der Projektionsebene oder einer Abbildungsaufnahmeeigenschaft der Abbildungsaufnahmemittel (1); ein erstes Projektionsmittel (3) zum Projizieren der durch das Abbildungsaufnahmemittel (1) aufgenommenen Abbildungen auf die Projektionsebene gemäß der durch das Abbildungsaufnahmesituations-Detektionsmittel (2) detektierten Abbildungsaufnahmesituation, um mehrere erste projizierte Abbildungen zu erzeugen; ein Ermittlungsmittel (4) für ein dreidimensionales Projektionsmodell zum Ermitteln der Position eines dreidimensionalen Projektionsmodells und der Form von diesem; ein zweites Projektionsmittel (5) zum Projizieren der mehreren ersten projizierten Abbildungen auf das durch das Ermittlungsmittel (4) für ein dreidimensionales Projektionsmodell ermittelte dreidimensionale Projektionsmodell, um eine zweite projizierte Abbildung zu erzeugen; ein Aufnahmemittel (7) für eine virtuelle Abbildung zum virtuellen Aufnehmen der zweiten projizierten Abbildung, um das zusammengesetzte Bild zu erhalten; und ein Aufnahmesituations-Ermittlungsmittel (6) zum Ermitteln der Abbildungsaufnahmesituation des Aufnahmemittels (7) für eine virtuelle Abbildung, wobei die Abbildungsaufnahmesituation des Aufnahmemittels (7) für eine virtuelle Abbildung die Positionsbeziehung zwischen dem Blickpunkt des Aufnahmemittels (7) für eine virtuelle Abbildung und dem dreidimensionalen Projektionsmodell angibt, wobei die zweite projizierte Abbildung durch das Aufnahmemittel (7) für eine virtuelle Abbildung in der durch das Aufnahmesituations-Ermittlungsmittel (6) ermittelten Abbildungsaufnahmesituation aufgenommen wird, um die durch die mehreren Abbildungsaufnahmemittel (1) aufgenommenen mehreren Abbildungen zu kombinieren.
Bildzusammensetzungsvorrichtung nach Anspruch 1, wobei das erste Projektionsmittel (3) Punkte in den durch die Abbildungsaufnahmemittel (1) aufgenommenen Abbildungen über die Verwendung einer durch zuordnen mehrerer Punkte in den aufgenommenen Abbildungen mehreren Punkten in der Projektionsebene erhaltenen Transformationsmatrix auf die Projektionsebene projiziert.
Bildzusammensetzungsvorrichtung nach Anspruch 1 oder 2, wobei das dreidimensionale Projektionsmodell eine sphärische Fläche ist.
Bildzusammensetzungsvorrichtung nach Anspruch 1 oder 2, wobei das dreidimensionale Projektionsmodell eine Kombination mehrerer Flächen mit voneinander verschiedenen Formen ist.
Bildzusammensetzungsvorrichtung nach Anspruch 4, wobei das dreidimensionale Projektionsmodell eine Kombination einer Ebene und eines Zylinders ist, und wenn das zweite Projektionsmittel (5) die Projektion auf das dreidimensionale Projektionsmodell ausführt, eine entfernte Stelle auf den Zylinder projiziert wird und die andere Stelle auf die Ebene projiziert wird und das Aufnahmemittel (7) für eine virtuelle Abbildung die projizierte Abbildung aufnimmt.
Bildzusammensetzungsvorrichtung nach Anspruch 4, wobei das dreidimensionale Projektionsmodell eine Kombination einer Kugel und eines Zylinders ist, und wenn das zweite Projektionsmittel (5) die Projektion auf das dreidimensionale Projektionsmodell ausführt, eine entfernte Stelle auf den Zylinder projiziert wird und die andere Stelle auf die Kugel projiziert wird und das Aufnahmemittel (7) für eine virtuelle Abbildung die projizierte Abbildung aufnimmt.
Bildzusammensetzungsvorrichtung nach Anspruch 4, 5 oder 6, wobei die mehreren Flächen verschiedener Form so kombiniert sind, dass die oder jede Verbindungsstelle dazwischen nicht auffällt.
Bildzusammensetzungsvorrichtung nach Anspruch 7, wobei das dreidimensionale Projektionsmodell eine Kombination aus drei Typen von Flächen eines Zylinders, einer Ebene und einer gekrümmten Fläche ist, wobei eine glatte Grenze zwischen dem Zylinder und der Ebene hergestellt ist.
Bildzusammensetzungsvorrichtung nach einem der vorangehenden Ansprüche, wobei ein Liniensegment in der durch die Abbildungsaufnahmemittel (1) aufgenommenen Abbildung in eine gerade Linie in einem zusammengesetzten Bild umgewandelt wird.
Bildzusammensetzungsvorrichtung nach einem der vorangehenden Ansprüche, wobei die mehreren Abbildungsaufnahmemittel (1) an einem Kraftfahrzeug angebracht sind, und ferner ein Kraftfahrzeugfahrtrichtungs-Detektionsmittel (22) vorgesehen ist, um die Richtung zu detektieren, in der das Kraftfahrzeug fährt.
Bildzusammensetzungsvorrichtung nach Anspruch 10, wobei die Position des Blickpunkts des Aufnahmemittels (7) für eine virtuelle Abbildung auf eine gerade Linie eingestellt ist, die parallel zu der Richtung, in der das Kraftfahrzeug fährt, durch das Projektionszentrum des zweiten Projektionsmittels (5) führt.
Bildzusammensetzungsvorrichtung nach Anspruch 10 oder 11, wobei ein Liniensegment, das die Richtung darstellt, in der das Kraftfahrzeug fährt, in eine gerade Linie in einem zusammengesetzten Bild umgewandelt wird.
Bildzusammensetzungsvorrichtung nach einem der vorangehenden Ansprüche, wobei die mehreren Abbildungsaufnahmemittel (1) an einem Kraftfahrzeug angebracht sind, und ferner ein Kraftfahrzeugkarosseriepositions-Detektionsmittel (31) vorgesehen ist, um die Position der Karosserie des Kraftfahrzeugs zu detektieren.
Bildzusammensetzungsvorrichtung nach Anspruch 13, wobei die Position eines Blickpunkts des Aufnahmemittels (7) für eine virtuelle Abbildung auf eine Ebene eingestellt ist, die durch die durch Projizieren eines Endabschnitt der Karosserie des Kraftfahrzeugs in einer Ebene erhaltene Abbildung und das Projektionszentrum des zweiten Projektionsmittels (5) führt.
Bildzusammensetzungsvorrichtung nach Anspruch 11, wobei das Abbildungsaufnahmemittel (1) an dem Heckabschnitt eines Kraftfahrzeugs angebracht ist und der Heckabschnitt des Kraftfahrzeugs in eine gerade Linie in einem zusammengesetzten Bild umgewandelt wird.
Bildzusammensetzungsvorrichtung nach Anspruch 9, wobei das Abbildungsaufnahmemittel (1) an einem Seitenabschnitt eines Kraftfahrzeugs angebracht ist und der Seitenabschnitt des Kraftfahrzeugs in eine gerade Linie in einem zusammengesetzten Bild umgewandelt wird.
Bildzusammensetzungsvorrichtung nach Anspruch 9, wobei das Abbildungsaufnahmemittel (1) an einem Seitenabschnitt eines Kraftfahrzeugs angebracht ist und die Mittellinie einer zu der Spur, auf der das Kraftfahrzeug fährt, benachbarten Spur in eine gerade Linie in einem zusammengesetzten Bild umgewandelt wird.
Bildzusammensetzungsvorrichtung nach Anspruch 9, wobei das Abbildungsaufnahmemittel (1) an dem Heckabschnitt eines Kraftfahrzeugs angebracht ist und die Mittellinie einer zu der Straße, auf der das Kraftfahrzeug fährt, senkrechten Straße in eine gerade Linie in einem zusammengesetzten Bild umgewandelt wird.
Bildzusammensetzungsvorrichtung nach Anspruch 9, wobei das Abbildungsaufnahmemittel (1) an dem Frontabschnitt eines Kraftfahrzeugs angebracht ist und die Mittellinie einer zu der Straße, auf der das Kraftfahrzeug fährt, senkrechten Straße in eine gerade Linie in einem zusammengesetzten Bild umgewandelt wird.
Bildzusammensetzungsvorrichtung nach Anspruch 1, wobei: das dreidimensionale Projektionsmodell eine sphärische Fläche ist, und das Aufnahmemittel (7) für eine virtuelle Abbildung ein Umwandlungsmittel zum Ausbreiten der zweiten projizierten Abbildung auf einer Ebene um einen Punkt auf der sphärischen Fläche umfasst, um das zusammengesetzte Bild zu erhalten.
Bildzusammensetzungsverfahren, das umfasst: einen Abbildungsaufnahmeschritt zum Aufnehmen mehrerer Abbildungen durch Verwenden mehrerer Abbildungsaufnahmemittel (1); und einen Erzeugungsschritt für ein zusammengesetztes Bild zum Projizieren der in dem Abbildungsaufnahmeschritt aufgenommenen Abbildungen auf eine Ebene, um projizierte Abbildungen zu erzeugen, und virtuellen Aufnehmen der projizierten Abbildungen, um ein zusammengesetztes Bild aus den projizierten Abbildungen zu erhalten, dadurch gekennzeichnet, dass der Erzeugungsschritt für ein zusammengesetztes Bild umfasst: einen Abbildungsaufnahmesituations-Detektionsschritt zum Detektieren der relativen Position oder der relativen Stellung der Abbildungsaufnahmemittel (1) zu der Projektionsebene oder einer Abbildungsaufnahmeeigenschaft der Abbildungsaufnahmemittel (1); einen ersten Projektionsschritt zum Projizieren der aufgenommenen Abbildungen auf die Projektionsebene gemäß der in dem Abbildungsaufnahmesituations-Detektionsschritt detektierten Abbildungsaufnahmesituation, um mehrere erste projizierte Abbildungen zu erzeugen; einen Ermittlungsschritt für ein dreidimensionales Projektionsmodell zum Ermitteln der Position eines dreidimensionalen Projektionsmodells und der Form von diesem; einen zweiten Projektionsschritt zum Projizieren der mehreren ersten projizierten Abbildungen auf das in dem Ermittlungsschritt für ein dreidimensionales Projektionsmodell ermittelte dreidimensionale Projektionsmodell, um eine zweite projizierte Abbildung zu erzeugen; einen Aufnahmeschritt für eine virtuelle Abbildung zum virtuellen Aufnehmen der zweiten projizierten Abbildung durch Verwenden eines Aufnahmemittels (7) für eine virtuelle Abbildung, um das zusammengesetzte Bild zu erhalten; und einen Abbildungsaufnahmesituations-Ermittlungsschritt zum Ermitteln der Abbildungsaufnahmesituation des Aufnahmemittels (7) für eine virtuelle Abbildung in dem Aufnahmeschritt für eine virtuelle Abbildung, wobei die Abbildungsaufnahmesituation des Aufnahmemittels (7) für eine virtuelle Abbildung die Positionsbeziehung zwischen dem Blickpunkt des Aufnahmemittels (7) für eine virtuelle Abbildung und dem dreidimensionalen Projektionsmodell angibt, wobei die zweite projizierte Abbildung in dem Aufnahmeschritt für eine virtuelle Abbildung in der in dem Abbildungsaufnahmesituations-Ermittlungsschritt ermittelten Abbildungsaufnahmesituation aufgenommen wird, um die in dem Abbildungsaufnahmeschritt aufgenommenen mehreren Abbildungen zu kombinieren.
Bildzusammensetzungsverfahren nach Anspruch 21, ferner umfassend den Schritt zum Senden von Signalinformationen von einem Kraftfahrzeugfahrtrichtungs-Detektionsmittel (22), das die Richtung detektiert, in der ein Kraftfahrzeug fährt, an ein Abbildungsaufnahmesitutions-Ermittlungsmittel (2), das für den Abbildungsaufnahmesituations-Ermittlungsschritt verwendet wird.
Bildzusammensetzungsverfahren nach Anspruch 21, ferner umfassend den Schritt zum Senden von Signalinformationen von einem Kraftfahrzeugkarosseriepositions-Detektionsmittel (31), das die Karosserieposition eines Kraftfahrzeugs detektiert, an ein Abbildungsaufnahmesituations-Ermittlungsmittel (2), das für den Abbildungsaufnahmesituations-Ermittlungsschritt verwendet wird.
Bildzusammensetzungsverfahren nach Anspruch 23, wobei das dreidimensionale Projektionsmodell eine sphärische Fläche ist, und die Position der sphärischen Fläche in dem Aufnahmeschritt für eine virtuelle Abbildung ermittelt wird und die zweite projizierte Abbildung auf einer zweiten Ebene um einen Punkt auf der sphärischen Fläche in dem Aufnahmeschritt für eine virtuelle Abbildung ausgebreitet wird, um das zusammengesetzte Bild zu erzeugen.
Bildzusammensetzungsvorrichtung nach Anspruch 1, ferner umfassend: ein Anzeigemittel (81) zum Anzeigen eines Bilds; und ein Anzeigedatenumwandlungssteuermittel (80) zum Umwandeln des durch das Aufnahmemittel (7) für eine virtuelle Abbildung bereitgestellten zusammengesetzten Bilds in Daten, die an das Anzeigemittel (81) anpassbar sind.
Bildzusammensetzungsvorrichtung nach Anspruch 1, ferner umfassend: ein Detektionsmittel (82) zum Detektieren der Annäherung eines Objekts, von dem Abbildungen durch die Abbildungsaufnahmemittel (1) aufgenommen werden, während ein Bediener das durch das Aufnahmemittel (7) für eine virtuelle Abbildung erhaltene zusammengesetzte Bild sieht; und ein Warnmittel (83) zum Ausgeben beliebiger Warninformationen auf der Grundlage eines durch das Detektionsmittel gelieferten Detektionssignals, wenn die durch das Detektionsmittel (82) detektierte Annäherung des zweiten Objekts an das erste Objekt eine vorbestimmte Objektannäherungssituation erreicht.
Zusammensetzungsvorrichtung nach Anspruch 1, ferner umfassend: ein Abbildungsdetektionsmittel (84), um, wenn mindestens eines der mehreren Abbildungsaufnahmemittel (1) ein an der Rückseite eines Kraftfahrzeugs angeordnetes nach hinten gerichtetes Abbildungsaufnahmemittel ist, eine Abbildung eines beliebigen Objekts von durch das nach hinten gerichtete Abbildungsaufnahmemittel aufgenommenen Abbildungen, durch Projizieren der aufgenommenen Ab bildung auf das dreidimensionale Projektionsmodell erhaltenen Abbildungen, oder einem durch Kombinieren der in dem Aufnahmemittel (1) für eine virtuelle Aufnahme aufgenommenen Abbildungen erhaltenen Bild zu detektieren; ein Erkennungsmittel (85) zum Erkennen der Positionsbeziehung zwischen der durch das Abbildungsdetektionsmittel (84) detektierten Abbildung und einer Abbildung des Kraftfahrzeugs; und ein Entscheidungsmittel (86) zum Treffen einer Entscheidung über die Positionsdifferenz zwischen dem Kraftfahrzeug und dem Objekt auf der Grundlage der durch das Erkennungsmittel (85) erkannten Positionsbeziehung.