[go: up one dir, main page]

WO2024154271A1 - 運転支援装置、運転支援方法及び記録媒体 - Google Patents

運転支援装置、運転支援方法及び記録媒体 Download PDF

Info

Publication number
WO2024154271A1
WO2024154271A1 PCT/JP2023/001386 JP2023001386W WO2024154271A1 WO 2024154271 A1 WO2024154271 A1 WO 2024154271A1 JP 2023001386 W JP2023001386 W JP 2023001386W WO 2024154271 A1 WO2024154271 A1 WO 2024154271A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
information
environment recognition
measurement range
recognition device
Prior art date
Application number
PCT/JP2023/001386
Other languages
English (en)
French (fr)
Inventor
育郎 後藤
Original Assignee
株式会社Subaru
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Subaru filed Critical 株式会社Subaru
Priority to JP2024571514A priority Critical patent/JP7708985B2/ja
Priority to PCT/JP2023/001386 priority patent/WO2024154271A1/ja
Priority to US18/746,434 priority patent/US20240336140A1/en
Publication of WO2024154271A1 publication Critical patent/WO2024154271A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/176Camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/186Displaying information according to relevancy
    • B60K2360/1868Displaying information according to relevancy according to driving situations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Definitions

  • This disclosure relates to a driving assistance device, a driving assistance method, and a recording medium.
  • a known technology for preventing head-on collisions at intersections is to use vehicle-to-vehicle or road-to-vehicle communication to have the vehicle being assisted acquire information about other vehicles detected by sensors or cameras other than the vehicle being assisted, and to display a warning light to the driver.
  • Patent Document 1 proposes a surrounding vehicle information providing device that uses vehicle-to-vehicle communication to appropriately display surrounding traffic conditions, including surrounding vehicles, to the driver.
  • Patent Document 1 discloses a technology that obtains information indicating the situation around the vehicle, such as the presence or absence of obstacles ahead, from a radar device, obtains information indicating the driving state, such as the driving speed, of the vehicle from on-board sensors, grasps the position of the vehicle and the road it is traveling on using a navigation device, extracts information on intersections that the vehicle should pay attention to in operation, obtains information indicating the driving state of other vehicles, such as their relative position and direction to the vehicle, from other vehicles around the vehicle using a wireless communication device, determines the position, type, etc.
  • Patent Document 2 also discloses an information providing device that provides occupants of a vehicle with vehicle-to-vehicle communication capabilities with information about moving objects that do not have vehicle-to-vehicle communication capabilities and that may approach the vehicle on the path of the vehicle.
  • an information providing device is proposed that transmits vehicle information, moving object information including the object's position, traveling speed, and traveling direction, and the time when this information was obtained to a base station, receives predicted information about moving objects that are present within a specified range including the vehicle's position determined by the base station, and provides information to the occupants of the vehicle.
  • a gap occurs between the area that the vehicle's system can recognize and the area that the driver can recognize, and the driver may not recognize the display by the device as correct, and there is a risk that the evasive action expected from the driving assistance may not be taken.
  • the vehicle's system may be able to recognize the blind spot on the left side of the intersection from the vehicle's perspective, but may not be able to recognize the blind spot on the right side.
  • This disclosure has been made in consideration of the above problems, and the purpose of this disclosure is to provide a driving assistance device, a driving assistance method, and a recording medium having a program recorded thereon that are capable of causing the driver to perform appropriate driving behavior by displaying information about the surrounding environment acquired by the assisted vehicle from an external environment recognition device together with the measurement range of the environment recognition device.
  • a driving assistance device that assists a driver in driving a vehicle
  • the driving assistance device comprising one or more processors and one or more memories communicably connected to the one or more processors, the one or more processors executing an acquisition process for acquiring information on the measurement range of the environmental recognition device and information on the measurement results by the environmental recognition device from at least one environmental recognition device provided outside the vehicle, and a display process for displaying the information on the measurement range visible to the driver of the vehicle and the information on the measurement results on an image display unit, superimposed on map data, real space, or an image captured in real space.
  • a driving assistance method for assisting a driver in driving a vehicle including: acquiring, from at least one environmental recognition device provided outside the vehicle, information on the measurement range of the environmental recognition device and information on the measurement results by the environmental recognition device; and displaying, on an image display unit, the information on the measurement range visible to the driver of the vehicle and the information on the measurement results superimposed on map data, real space, or an image captured in real space.
  • a non-transitory tangible recording medium records a program for causing a computer to acquire information on the measurement range of the environmental recognition device and information on the measurement results by the environmental recognition device from at least one environmental recognition device provided other than the vehicle, and to superimpose the information on the measurement range visible to the driver of the vehicle and the information on the measurement results on map data, real space, or a captured image of real space, and display them on an image display unit.
  • the vehicle to be assisted can display information about the surrounding environment acquired from an external environment recognition device together with the measurement range of the environment recognition device, thereby enabling the driver to perform appropriate driving behavior.
  • FIG. 1 is a schematic diagram showing a basic configuration of a driving assistance system including a driving assistance device according to an embodiment of the present disclosure.
  • 2 is a block diagram showing an example of the configuration of an environment recognition device (road camera) of the driving assistance system according to the present embodiment.
  • FIG. 4 is a flowchart showing a processing operation by an environment recognition device (road camera) of the driving assistance system according to the present embodiment.
  • 1 is a block diagram showing a configuration example of an information processing device of a driving assistance system according to an embodiment of the present invention. 4 is a flowchart showing a processing operation by an information processing device of the driving assistance system according to the present embodiment.
  • FIG. 1 is a schematic diagram showing a configuration example of a vehicle equipped with a driving assistance device according to an embodiment of the present invention
  • 1 is a block diagram showing an example of the configuration of a driving assistance device according to an embodiment of the present invention
  • 4 is a flowchart showing a main routine of a processing operation performed by the driving assistance device according to the present embodiment.
  • 4 is a flowchart showing a surrounding environment recognition process performed by the driving assistance device according to the present embodiment.
  • 5 is a flowchart showing a first display process performed by the driving assistance device according to the present embodiment.
  • FIG. 11 is an explanatory diagram showing the effect of a first display process.
  • FIG. 11 is an explanatory diagram showing the contents of a display by a first display process.
  • FIG. 11 is an explanatory diagram showing the contents of a display by a first display process.
  • 5 is a flowchart showing a second display process performed by the driving assistance device according to the present embodiment.
  • FIG. 13 is an explanatory diagram showing a reference example in which the measurement range is not displayed.
  • FIG. 13 is an explanatory diagram showing a reference example in which the measurement range is not displayed.
  • FIG. 13 is an explanatory diagram showing a reference example in which the measurement range is not displayed.
  • FIG. 11 is an explanatory diagram showing the display contents of the second display process.
  • FIG. 11 is an explanatory diagram showing the display contents of the second display process.
  • FIG. 11 is an explanatory diagram showing the display contents of the second display process.
  • FIG. 11 is an explanatory diagram showing the display contents of the second display process.
  • FIG. 11 is an explanatory diagram showing the display contents of the second display process.
  • FIG. 11 is an explanatory diagram showing the display contents of the second display process.
  • FIG. 11 is an explanatory diagram showing the display contents of the second display process.
  • FIG. 11 is an explanatory diagram showing the display contents of the second display process.
  • 10 is a flowchart showing a display process according to a first modified example of the embodiment.
  • FIG. 13 is an explanatory diagram showing the contents of a display according to a second modified example of the embodiment.
  • FIG. 13 is an explanatory diagram showing the contents of a display according to a second modified example of the embodiment.
  • FIG. 13 is an explanatory diagram showing the contents of a display according to a second modified example of the embodiment.
  • FIG. 13 is an explanatory diagram showing the contents of a display according to a second modified example of the embodiment.
  • FIG. 1 is an explanatory diagram showing an example of a basic configuration of a driving assistance system 100.
  • the driving assistance system 100 includes a first vehicle 1a and a second vehicle 1b, a road camera 150 installed on a road, for example, and an information processing device 110.
  • the driving assistance system 100 shown in FIG. 1 includes the first vehicle 1a, the second vehicle 1b, the road camera 150, and the information processing device 110, but a plurality of vehicles, road cameras 150, and information processing devices 110 may be provided.
  • the first vehicle 1a and the second vehicle 1b will be collectively referred to as the vehicle 1, and the driving assistance devices 50a and 50b will be referred to as the driving assistance device 50.
  • the first vehicle 1a and the second vehicle 1b are equipped with driving assistance devices 50a and 50b, respectively, each of which is configured with one or more processors.
  • the road camera 150 is equipped with a control device 160, which is configured with one or more processors.
  • the driving assistance devices 50a, 50b and the control device 160 of the road camera 150 are each communicatively connected to the information processing device 110 via one or more communication networks 105.
  • the driving assistance devices 50a, 50b are communicatively connected to the information processing device 110 via a mobile communication network.
  • the control device 160 of the road camera 150 is communicatively connected to the information processing device 110 via a wireless or wired communication network.
  • the driving assistance device 50a of the first vehicle 1a and the driving assistance device 50b of the second vehicle 1b are communicatively connected to each other via the vehicle-to-vehicle communication means 120.
  • Vehicle 1 transmits position information of vehicle 1 to information processing device 110 at a predetermined calculation cycle.
  • the position information of vehicle 1 includes information on the current position of vehicle 1 on map data, information on the moving direction of vehicle 1, and information on the moving speed of vehicle 1.
  • the driving assistance device 50 acquires latitude and longitude information as the current position information of vehicle 1 based on satellite signals transmitted from a satellite system such as GPS (Global Positioning System).
  • GPS Global Positioning System
  • the driving assistance device 50 calculates information on the moving direction and moving speed of vehicle 1 based on changes in the current position of vehicle 1 acquired, for example, in a time series.
  • the vehicle 1 is also equipped with a surrounding environment recognition device. If the first vehicle 1a is the vehicle to be assisted, the surrounding environment recognition device equipped in the second vehicle 1b corresponds to an environment recognition device provided on a vehicle other than the first vehicle 1a.
  • the surrounding environment recognition device is configured with one or more sensors, for example, a camera, LiDAR, a radar sensor, and an ultrasonic sensor.
  • the driving assistance device 50 of the vehicle 1 acquires measurement data from each surrounding environment recognition device at a predetermined calculation period, and executes surrounding environment recognition processing to detect the surrounding environment of the vehicle 1.
  • the driving assistance device 50 uses surrounding environment recognition processing to detect moving objects such as vehicles, bicycles, and pedestrians that exist in the surroundings recognized by each surrounding environment recognition device, as well as guardrails, curbs, buildings and other stationary objects, and lane boundaries.
  • the driving assistance devices 50a and 50b of the first vehicle 1a and the second vehicle 1b transmit and receive information on the measurement results based on the measurement data of the surrounding environment recognition device, together with information on the measurement range of the surrounding environment recognition device and the position information of the vehicle 1, via the vehicle-to-vehicle communication means 120.
  • “Information on the measurement results by the surrounding environment recognition device” includes information on the type of object recognized, the position of the object in the measurement range of the surrounding environment recognition device, and the direction and speed of movement. "Information on the measurement range of the surrounding environment recognition device” is set in advance according to the sensor specifications, etc., as a range in which the accuracy of the measurement results can be guaranteed for each sensor, and is recorded in the driving assistance device 50. "Information on the measurement range of the surrounding environment recognition device” includes, for example, information on the inclination of the central axis of the measurement range with respect to the longitudinal direction of the vehicle 1, information on the angle of the measurement range around the central axis, and information on the distance of the measurement range in the direction along the central axis.
  • the road camera 150 is one aspect of an environment recognition device, and is installed on a road or in a building.
  • the control device 160 of the road camera 150 acquires image data of the measurement range at a predetermined calculation cycle, and executes object recognition processing using the image data.
  • the environment recognition device is not limited to the road camera 150, and may be a LiDAR or radar sensor, an ultrasonic camera, or other device that is installed at a predetermined position and is capable of executing object recognition processing.
  • control device 160 of the road camera 150 detects moving objects such as vehicles, bicycles, and pedestrians at a predetermined calculation cycle, and performs object recognition processing to determine the moving direction and moving speed of the moving object based on the change in the position of the detected moving object over time.
  • the control device 160 of the road camera 150 transmits information on the measurement results from the object recognition processing and information on the measurement range of the road camera 150 on the map data to the information processing device 110 at a predetermined calculation cycle.
  • “Information on the measurement results by the road camera 150” includes information on the type of object recognized, the position of the object within the measurement range of the road camera 150, the direction of movement, and the speed of movement.
  • “Information on the measurement range of the road camera 150” includes, for example, information on the installation location of the road camera 150, and information on the angle of view and shooting direction of the road camera 150.
  • Information on the installation location of the road camera 150 is recorded in advance in the control device 160, for example, as longitude and latitude information on map data.
  • Information on the angle of view and shooting direction of the road camera 150 may also be recorded in the control device 160, for example, as vector values in a coordinate system with longitude and latitude as the x and y axes.
  • Information on the angle of view and shooting direction of the road camera 150 may also be recorded in the control device 160 as information on the inclination with respect to the direction in which the road on which the road camera 150 is installed extends.
  • the information processing device 110 is communicatively connected to the control device 160 of the road camera 150 and the driving assistance devices 50a, 50b via the communication network 105 using, for example, cloud computing technology.
  • the information processing device 110 receives information on the measurement range of the road camera 150 and information on the measurement results from the control device 160 of the road camera 150 at a predetermined calculation cycle.
  • the information on the measurement results includes the type of moving object detected, and information on the position, moving direction, and moving speed of the moving object.
  • the information processing device 110 also receives position information of the vehicle 1 from the driving assistance device 50 at a predetermined calculation cycle.
  • the information processing device 110 identifies road cameras 150 that exist within a predetermined area corresponding to the position of the vehicle 1 to be assisted.
  • the information processing device 110 then transmits information on the measurement range and measurement result information of the road camera 150 received from the control device 160 of the road camera 150 to the driving assistance device 50.
  • the information processing device 110 collects information from the road cameras 150, and provides the vehicle 1 to be assisted with information on other moving objects that exist within the area surrounding the driving position of the vehicle 1 to be assisted.
  • the driving assistance device 50a of the first vehicle 1a acquires information on the measurement range and measurement results of the road camera 150 via the communication network 105.
  • the driving assistance device 50a of the assisted first vehicle 1a also acquires information on the measurement range and measurement results of the environment recognition device provided in the second vehicle 1b via the vehicle-to-vehicle communication means 120.
  • the first vehicle 1a performs a predetermined display visible to the driver of the first vehicle 1a based on the information on the measurement range and measurement results of the road camera 150 and the information on the measurement range and measurement results of the environment recognition device provided in the second vehicle 1b, and executes a process to alert the driver.
  • the functional configurations and operations of the road camera 150, the information processing device 110, and the driving assistance device 50 will be specifically described below.
  • FIG. 2 is a block diagram showing the configuration of the road camera 150.
  • the road camera 150 includes an image generation unit 151 and a control device 160.
  • the image generation unit 151 includes an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor), and generates image data of the measurement range.
  • the image generation unit 151 generates image data at a predetermined calculation cycle and transmits the image data to the control device 160.
  • the control device 160 includes a communication unit 161, a processing unit 163, and a memory unit 169.
  • the communication unit 161 is an interface for communicating with the information processing device 110 via the communication network 105.
  • the processing unit 163 includes one or more CPUs (Central processing Units) such as a GPU (Graphics Processing Unit).
  • the processing unit 163 executes a computer program stored in the memory unit 169, thereby transmitting information on the measurement results based on image data transmitted from the image generation unit 151 to the information processing device 110 at a predetermined calculation period.
  • the storage unit 169 includes one or more memories, and stores computer programs executed by the processing unit 163, various parameters used in the calculation processing, and information on the calculation results. A part of the storage unit 169 is used as a work area for the processing unit 163.
  • the storage unit 169 may be a magnetic medium such as a hard disk, a floppy disk, or a magnetic tape, an optical recording medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD (Digital Versatile Disk), or a Blu-ray (registered trademark), a magnetic optical medium such as a floptical disk, a memory element such as a RAM (Random Access Memory) or a ROM (Read Only Memory), a flash memory such as a USB (Universal Serial Bus) memory or an SSD (Solid State Drive), or other recording medium.
  • a magnetic medium such as a hard disk, a floppy disk, or a magnetic tape
  • an optical recording medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD (Digital Versatile Disk), or a Blu-ray (registered trademark)
  • a magnetic optical medium such as a floptical disk
  • a memory element such as a RAM (Random Access Memory) or a
  • the processing unit 163 includes an image processing unit 165 and a communication control unit 167. The functions of these units are realized by the execution of a computer program by the processor.
  • the image processing unit 165 executes object recognition processing based on image data sent from the image generation unit 151 at a predetermined calculation cycle.
  • the road camera 150 mainly recognizes moving objects such as other vehicles, pedestrians, and bicycles.
  • the image processing unit 165 executes processing to determine the position, moving speed, and moving direction of the recognized moving object.
  • the communication control unit 167 transmits information on the measurement results of the object by the image processing unit 165 to the information processing device 110 at a predetermined calculation cycle.
  • the information on the measurement results of the object includes information on the type of object, the position of the object in the measurement range of the road camera 150, the moving speed, and the moving direction.
  • the communication control unit 167 also transmits information on the measurement range of the road camera 150 to the information processing device 110.
  • the information on the measurement range of the road camera 150 includes information on the installation position, angle of view, and shooting direction of the road camera 150, and is recorded in advance in the storage unit 169. If the information processing device 110 has a database that records information on the measurement range of each road camera 150, the road camera 150 may transmit only identification information for identifying each individual road camera 150 to the information processing device 110.
  • Fig. 3 is a flowchart showing the processing operation by the control device 160 of the road camera 150. The flowchart shown in Fig. 3 is repeatedly executed at a predetermined calculation cycle.
  • the image processing unit 165 of the processing unit 163 acquires the image data sent from the image generation unit 151 (step S11).
  • the image processing unit 165 executes object recognition processing based on the received image data (step S13). For example, the image processing unit 165 extracts feature points from the image data using techniques such as edge detection processing, and performs matching with pre-stored data on the feature points of various objects (also called pattern matching processing), thereby executing processing to recognize objects that exist within the measurement range.
  • the road camera 150 mainly recognizes moving objects such as other vehicles, pedestrians, and bicycles.
  • the image processing unit 165 also calculates the moving speed and moving direction of the recognized moving object in real space.
  • the image processing unit 165 can calculate the moving speed and moving direction of the moving object in real space based on the time change in the position and size of the moving object in the image data transmitted at a predetermined calculation cycle.
  • the method of calculating the speed and moving direction of the recognized moving object can be performed using conventionally known technology and is not particularly limited.
  • the communication control unit 167 transmits information on the measurement results of the object by the image processing unit 165 and information on the measurement range of the road camera 150 to the information processing device 110 (step S15).
  • the control device 160 repeatedly executes the above-mentioned processes of steps S11 to S15 at a predetermined calculation cycle.
  • the control device 160 may constantly transmit information on the measurement range of the road camera 150 and information on the measurement results to the information processing device 110. Alternatively, the control device 160 may transmit information on the measurement range of the object and information on the measurement results after receiving a transmission request from the information processing device 110.
  • FIG. 4 is a block diagram showing the configuration of the information processing device 110.
  • the information processing device 110 includes a communication unit 111, a processing unit 113, and a storage unit 119.
  • the communication unit 111 is an interface for communicating with the road cameras 150 and the driving assistance device 50 via the communication network 105.
  • the processing unit 113 includes one or more CPUs, acquires information transmitted from the road cameras 150 and the driving assistance device 50 at a predetermined calculation period, and transmits information acquired from the road cameras 150 present within a predetermined area corresponding to the position of the driving assistance device 50 of the vehicle 1 to be assisted to the driving assistance device 50.
  • the storage unit 119 has one or more memories, and stores computer programs executed by the processing unit 113, various parameters used in the calculation processing, and information on the calculation results. A part of the storage unit 119 is used as a work area for the processing unit 113.
  • the storage unit 119 may be a magnetic medium such as a hard disk, floppy disk, or magnetic tape, an optical recording medium such as a CD-ROM, DVD, or Blu-ray (registered trademark), a magneto-optical medium such as a floptical disk, a memory element such as a RAM or ROM, a flash memory such as a USB memory or SSD, or other recording medium.
  • the processing unit 113 includes a data processing unit 115 and a communication control unit 117.
  • the functions of these units are realized by the execution of a computer program by a processor.
  • the data processing unit 115 identifies the position of the vehicle 1 to be assisted on the map data based on the position information of the vehicle 1 transmitted from the driving assistance device 50, and identifies road cameras 150 that exist within an area of a specified radius from the position of the vehicle 1.
  • the communication control unit 117 transmits information on the measurement range of the road camera 150 and information on the measurement results received from the identified road camera 150 to the driving assistance device 50.
  • the data processing unit 115 may identify road cameras 150 installed on roads leading to (intersecting) the road in the direction of travel of the vehicle 1, based on the position information, direction of travel, and speed of travel of the vehicle 1 transmitted from the driving assistance device 50. This makes it possible to prevent information other than information for predicting a collision between the vehicle 1 to be assisted and a moving object with a risk of collision from being transmitted to the driving assistance device 50, thereby reducing the computational load of the information processing device 110 and the driving assistance device 50.
  • Fig. 5 shows a flowchart of the processing operation by the information processing device 110.
  • the flowchart shown in Fig. 5 is repeatedly executed at a predetermined calculation period.
  • the first vehicle 1a is the support target vehicle.
  • the data processing unit 115 of the processing unit 113 acquires information on the measurement range and measurement result information of one or more road cameras (environment recognition devices) 150 transmitted from the road cameras 150 (step S21).
  • the information on the measurement range and measurement result information of the road cameras 150 is information that makes it possible to determine what type of moving object is moving, in what position, in what direction, and at what speed.
  • the data processing unit 115 acquires the position information, moving direction, and moving speed information of the first vehicle 1a from the driving assistance device 50a mounted on the first vehicle 1a to be assisted (step S23).
  • the position information of the first vehicle 1a is information indicating the position of the first vehicle 1a on the map data, and is indicated by, for example, longitude and latitude.
  • the data processing unit 115 identifies road cameras 150 that are present within a predetermined distance from the position of the first vehicle 1a to be supported (step S25). For example, the data processing unit 115 identifies road cameras 150 that are present within an area of a predetermined radius from the position of the first vehicle 1a. In this embodiment, the data processing unit 115 further identifies road cameras 150 installed on roads that lead to (intersect with) the road in the direction of movement of the first vehicle 1a, based on information on the direction and speed of movement of the first vehicle 1a.
  • the communication control unit 117 transmits the information on the measurement range of the road camera 150 and the information on the measurement results acquired from each of the identified road cameras 150 to the vehicle 1 to be supported (step S27).
  • the information processing device 110 repeatedly executes the above-mentioned processes of steps S21 to S27 at a predetermined calculation cycle.
  • the information processing device 110 may request the road camera 150 to transmit information on the measurement range and measurement results of the road camera 150. In this case, after making the transmission request, the information processing device 110 obtains information on the measurement range and measurement results of the road camera 150 transmitted from the road camera 150 at a specified calculation cycle.
  • Driving support device (4-1. Vehicles) Before describing the configuration of the driving assistance device 50 according to the embodiment of the present disclosure, an example of the overall configuration of an assisted vehicle 1 equipped with the driving assistance device 50 will be described.
  • FIG. 6 is a schematic diagram showing an example of the configuration of a vehicle 1 equipped with a driving assistance device 50.
  • the vehicle 1 is configured as a two-wheel drive four-wheel vehicle in which a driving torque output from a driving force source 9 that generates a driving torque is transmitted to a left front wheel and a right front wheel.
  • the driving force source 9 may be an internal combustion engine such as a gasoline engine or a diesel engine, or may be a driving motor.
  • the vehicle 1 may also be equipped with both an internal combustion engine and a driving motor as the driving force source 9.
  • Vehicle 1 may be a four-wheel drive vehicle that transmits drive torque to the front and rear wheels.
  • Vehicle 1 may also be an electric vehicle equipped with two drive motors, for example a motor for driving the front wheels and a motor for driving the rear wheels, or an electric vehicle equipped with drive motors corresponding to each wheel. If vehicle 1 is an electric vehicle or hybrid electric vehicle, vehicle 1 is equipped with a secondary battery that stores power supplied to the drive motor, and a generator such as a motor or fuel cell that generates power to charge the battery.
  • Vehicle 1 is equipped with a driving force source 9, an electric steering device 15, and brake devices 17LF, 17RF, 17LR, 17RR (hereinafter collectively referred to as “brake devices 17" unless a distinction is required) as devices used to control the operation of vehicle 1.
  • Driving force source 9 outputs driving torque that is transmitted to front wheel drive shaft 5F via a transmission and differential mechanism 7 (not shown).
  • the operation of driving force source 9 and the transmission is controlled by a vehicle control unit 41 that includes one or more electronic control devices (ECU: Electronic Control Unit).
  • ECU Electronic Control Unit
  • the front-wheel drive shaft 5F is provided with an electric steering device 15.
  • the electric steering device 15 includes an electric motor and a gear mechanism (not shown), and is controlled by the vehicle control unit 41 to adjust the steering angle of the front wheels.
  • the vehicle control unit 41 controls the electric steering device 15 based on the steering angle of the steering wheel 13 by the driver.
  • the vehicle control unit 41 controls the electric steering device 15 based on the set steering angle or steering angular speed.
  • Brake devices 17LF, 17RF, 17LR, and 17RR apply braking force to each wheel.
  • Brake devices 17 are configured as hydraulic brake devices, for example, and vehicle control unit 41 adjusts the hydraulic pressure supplied to each brake device 17 by controlling the drive of hydraulic unit 16. If vehicle 1 is an electric vehicle or hybrid electric vehicle, brake devices 17 are used in conjunction with regenerative braking using a drive motor.
  • the vehicle control unit 41 includes one or more electronic control devices that control the driving of the driving force source 9, the electric steering device 15, and the hydraulic unit 16. If the vehicle 1 is equipped with a transmission that changes the speed of the output from the driving force source 9 and transmits it to the wheels 3, the vehicle control unit 41 has a function of controlling the driving of the transmission.
  • the vehicle control unit 41 is configured to be able to acquire information transmitted from the driving assistance device 50, and is configured to be able to execute automatic driving control of the vehicle 1.
  • the vehicle 1 is also equipped with forward-facing cameras 31LF, 31RF, a rear-facing camera 31R, a vehicle position detection sensor 33, and a display device 43.
  • the front photographing cameras 31LF, 31RF and the rear photographing camera 31R constitute a surrounding environment recognition device for acquiring information on the surrounding environment of the vehicle 1.
  • the front photographing cameras 31LF, 31RF photograph the front of the vehicle 1 and generate image data.
  • the rear photographing camera 31R photographs the rear of the vehicle 1 and generates image data.
  • the front photographing cameras 31LF, 31RF and the rear photographing camera 31R are equipped with imaging elements such as CCD (Charged Coupled Devices) or CMOS (Complementary Metal Oxide Semiconductor), and transmit the generated image data to the driving assistance device 50.
  • the front photographing cameras 31LF, 31RF are configured as stereo cameras including a pair of left and right cameras, but the front photographing cameras may be monocular cameras.
  • the surrounding environment recognition device may also include a camera mounted on a side mirror to capture images of the left rear or right rear.
  • the surrounding environment sensor may include one or more of the following sensors: LiDAR (Light Detection And Ranging), a radar sensor such as a millimeter-wave radar, and an ultrasonic sensor.
  • the vehicle position detection sensor 33 receives satellite signals from positioning satellites of the GNSS (Global Navigation Satellite System), such as GPS (Global Positioning System) satellites.
  • the vehicle position detection sensor 33 transmits the position information of the vehicle 1 contained in the received satellite signals to the driving assistance device 50.
  • the vehicle position detection sensor 33 may also be equipped with an antenna that receives satellite signals from other satellite systems that identify the position of the vehicle 1.
  • the display device 43 is driven by the driving assistance device 50 and displays various information visible to the driver.
  • the display device 43 may be, for example, a display device provided in an instrument panel, or may be a display device of a navigation system.
  • the display device 43 is a display panel or the like, the display screen corresponds to the image display unit.
  • the display device 43 may also be a HUD (head-up display) that displays information visible to the driver on the front window, superimposed on the real space around the vehicle 1.
  • the front window corresponds to the image display unit.
  • the display device 43 is not a HUD but is a display device capable of displaying map data.
  • the driving assistance device 50 functions as a device that assists the driver in driving the vehicle 1 by executing a computer program using one or more processors such as a CPU.
  • the computer program is a computer program for causing the processor to execute the operation described below.
  • the computer program executed by the processor may be recorded in a recording medium that functions as a storage unit (memory) 53 provided in the driving support device 50.
  • the information may be recorded on a recording medium built into the driving assistance device 50 or on any recording medium that can be attached externally to the driving assistance device 50 .
  • Recording media for recording computer programs may include magnetic media such as hard disks, floppy disks, and magnetic tapes; optical recording media such as CD-ROMs, DVDs, and Blu-ray (registered trademark); magneto-optical media such as floptical disks; memory elements such as RAM and ROM; flash memories such as USB memory and SSDs; and other media capable of storing programs.
  • FIG. 7 is a block diagram showing an example of the configuration of the driving support device 50 according to this embodiment.
  • the driving support device 50 is connected to a surrounding environment recognition device (forward imaging cameras 31LF, 31RF, rear imaging camera 31R, etc.) 31, a vehicle position detection sensor 33, a vehicle control unit 41, and a display device 43 via a dedicated line or a communication means such as a controller area network (CAN) or a local inter net (LIN).
  • CAN controller area network
  • LIN local inter net
  • the driving support device 50 is not limited to an electronic control device mounted on the vehicle 1, and may be a terminal device such as a touch pad or a wearable device.
  • the driving assistance device 50 includes a communication unit 51, a vehicle-to-vehicle communication unit 53, a processing unit 55, a memory unit 57, and a map data memory unit 59.
  • the processing unit 55 includes one or more processors such as a CPU and various peripheral components. A part or all of the processing unit 55 may be configured with updatable firmware or the like, or may be a program module executed by commands from the CPU or the like.
  • the communication unit 51 is an interface for communicating with the information processing device 110.
  • the driving assistance device 50 transmits and receives information to and from the information processing device 110 via the communication unit 51.
  • the vehicle-to-vehicle communication unit 53 is an interface for communicating with other vehicles that are present within a predetermined distance from the vehicle 1.
  • the driving assistance device 50 transmits and receives information to and from other vehicles via the vehicle-to-vehicle communication unit 53.
  • the storage unit 57 is configured with one or more storage media such as RAM or ROM, HDD, CD, DVD, SSD, USB flash, storage device, etc., communicably connected to the processing unit 55.
  • the type and number of the storage units 57 are not particularly limited.
  • the storage unit 57 stores information such as computer programs executed by the processing unit 55, various parameters used in arithmetic processing, detection data, and arithmetic results. A part of the storage unit 57 is used as a work area for the processing unit 55.
  • the memory unit 57 stores information on the measurement ranges of the front photographing cameras 31LF, 31RF and rear photographing camera 31R that constitute the surrounding environment recognition device 31.
  • the information on the measurement ranges of the front photographing cameras 31LF, 31RF and rear photographing camera 31R includes, for example, information on the inclination of the central axis of the measurement range relative to the front-to-rear direction of the vehicle 1, information on the angle of the measurement range around the central axis, and information on the distance of the measurement range in the direction along the central axis.
  • the map data storage unit 59 is configured with a storage element such as a RAM or a ROM communicably connected to the processing unit 55, or a storage medium such as a HDD, a CD, a DVD, an SSD, a USB flash, or a storage device.
  • the map data stored in the map data storage unit 59 is configured to be associated with the position of the vehicle 1 based on position information detected by the vehicle position detection sensor 33.
  • the map data is associated with latitude and longitude information, and the processing unit 55 can identify the position of the vehicle 1 on the map data based on the latitude and longitude information of the vehicle 1 detected by the vehicle position detection sensor 33.
  • the processing unit 55 includes a communication control unit 61, a vehicle-to-vehicle communication control unit 63, a vehicle information acquisition unit 65, a surrounding environment recognition processing unit 67, and a display control unit 69.
  • the functions of these units are realized by the execution of a computer program by a processor.
  • some of the communication control unit 61, the vehicle-to-vehicle communication control unit 63, the vehicle information acquisition unit 65, the surrounding environment recognition processing unit 67, and the display control unit 69 may be configured by hardware such as an analog circuit.
  • the communication control unit 61 transmits the position information of the vehicle 1 sent from the vehicle position detection sensor 33 to the information processing device 110 at a predetermined calculation cycle.
  • the communication control unit 61 may transmit information on the moving direction and moving speed of the vehicle 1 together with the position information of the vehicle 1 to the information processing device 110.
  • the communication control unit 61 also acquires information on the measurement range of the road camera 150 and information on the measurement results sent from the information processing device 110.
  • the vehicle-to-vehicle communication control unit 63 communicates with other vehicles within a specified distance from the vehicle 1 at a specified calculation cycle, and transmits the position information of the vehicle 1, information on the measurement range of the surrounding environment recognition device 31 mounted on the vehicle 1, and information on the measurement results to the other vehicles.
  • the information on the measurement results by the surrounding environment recognition device 31 is information that indicates the results of the surrounding environment recognition processing by the surrounding environment recognition processing unit 67.
  • Information on the measurement range of the surrounding environment recognition device 31 is recorded in advance in the memory unit 57.
  • the vehicle-to-vehicle communication control unit 63 also communicates with other vehicles that are within a specified distance from the vehicle 1, and obtains information on the positions of the other vehicles, the measurement ranges of the surrounding environment recognition devices installed in the other vehicles, and information on the measurement results.
  • the vehicle information acquisition unit 65 acquires information related to the traveling of the vehicle 1.
  • the vehicle information acquisition unit 65 acquires the position information of the vehicle 1 transmitted from the vehicle position detection sensor 33.
  • the vehicle information acquisition unit 65 also calculates the moving direction and moving speed of the vehicle 1 based on changes in the position information of the vehicle 1.
  • the vehicle information acquisition unit 65 can calculate the moving speed of the vehicle 1, for example, by dividing the distance from the position of the vehicle 1 acquired in the previous calculation cycle to the position of the vehicle 1 acquired in the current calculation cycle by a unit time equivalent to the calculation cycle.
  • the vehicle information acquisition unit 65 may calculate the moving speed of the vehicle 1 based on a sensor signal from a wheel speed sensor or a vehicle speed sensor (not shown).
  • the surrounding environment recognition processing unit 67 executes the surrounding environment recognition process using the measurement data transmitted from the surrounding environment recognition device 31 mounted on the vehicle 1.
  • the surrounding environment recognition processing unit 67 detects moving objects and stationary objects around the vehicle 1 through the surrounding environment recognition process.
  • the processing contents by the surrounding environment recognition processing unit 67 will be explained in detail later.
  • the display control unit 69 executes a process of displaying on the display device 43 information on the measurement range and measurement result information of the environment recognition device provided other than the vehicle 1, superimposing it on the map data as information visible to the driver of the vehicle 1.
  • the information on the measurement range and measurement result information of the environment recognition device provided other than the vehicle 1 includes information on the measurement range and measurement result information of the road camera 150 obtained from the information processing device 110, and information on the measurement range and measurement result information of the surrounding environment recognition device mounted on the other vehicle obtained from the other vehicle.
  • Fig. 8 shows a flowchart of a main routine of the processing operation by the processing unit 55 of the driving assistance device 50.
  • the flowchart shown in Fig. 8 is repeatedly executed at a predetermined calculation period when the function of the technology of the present disclosure is activated.
  • the first vehicle 1a is the vehicle to be assisted and the second vehicle 1b is the other vehicle.
  • the vehicle information acquisition unit 65 acquires the position information of the first vehicle 1a transmitted from the vehicle position detection sensor 33 (step S33).
  • the assistance function according to the technology disclosed herein may be activated in conjunction with the activation of the system of the first vehicle 1a, or may be activated by an input operation by the driver or the like.
  • the position information of the first vehicle 1a is identified as, for example, latitude and longitude information.
  • the vehicle information acquisition unit 65 calculates the moving direction and moving speed of the first vehicle 1a (step S35). Specifically, the vehicle information acquisition unit 65 calculates the moving direction and moving speed of the first vehicle 1a based on the acquired position information of the first vehicle 1a and the position information of the first vehicle 1a acquired before the previous calculation cycle.
  • the moving direction of the first vehicle 1a is obtained as the direction in which the position indicated by the position information of the first vehicle 1a changes.
  • the moving speed of the first vehicle 1a is obtained, for example, by dividing the distance from the position of the first vehicle 1a acquired in the previous calculation cycle to the position of the first vehicle 1a acquired in the current calculation cycle by a unit time equivalent to the calculation cycle.
  • the vehicle information acquisition unit 65 can also calculate the moving speed of the first vehicle 1a based on the sensor signal of the wheel speed sensor or the vehicle speed sensor. Furthermore, if the position information of the vehicle 1 transmitted from the vehicle position detection sensor 33 includes information on the orientation of the vehicle 1, the vehicle information acquisition unit 65 can determine the moving direction of the vehicle 1 based on that information.
  • the communication control unit 61 transmits the position information, moving direction, and moving speed information of the first vehicle 1a acquired in the current calculation cycle to the information processing device 110 (step S37).
  • the position information, moving direction, and moving speed information of the first vehicle 1a transmitted here corresponds to the information acquired by the information processing device 110 in step S23 of the processing operation of the information processing device 110 shown in FIG. 5.
  • the communication control unit 61 acquires information on the measurement range and measurement result information of the road camera (environment recognition device) 150 from the information processing device 110 (step S39).
  • the information on the measurement range and measurement result information of the road camera (environment recognition device) 150 received here corresponds to the information transmitted by the information processing device 110 in step S27 of the processing operation of the information processing device 110 shown in FIG. 5.
  • the driving assistance device 50a acquires information on objects detected by the road camera 150 that are present within a predetermined distance from the position of the first vehicle 1a from the information processing device 110, together with information on the measurement range of the road camera 150.
  • the vehicle-to-vehicle communication control unit 63 acquires information on the measurement range and measurement result information of the surrounding environment recognition device mounted on the other vehicle (second vehicle 1b) from the other vehicle (second vehicle 1b) through the vehicle-to-vehicle communication means (step S41).
  • the driving assistance device 50a communicates with the second vehicle 1b that is present within a predetermined distance from the first vehicle 1a, and acquires information on objects detected by the surrounding environment recognition device of the second vehicle 1b from the driving assistance device 50b of the second vehicle 1b, together with information on the measurement range of the surrounding environment recognition device of the second vehicle 1b.
  • the information on the recognition range obtained from the second vehicle 1b in step S41 is information obtained as a result of the surrounding environment recognition process executed in the second vehicle 1b.
  • the second vehicle 1b transmits information on the results of the surrounding environment recognition process to the first vehicle 1a together with information on the measurement range of the surrounding environment recognition device.
  • the driving assistance device 50b of the second vehicle 1b transmits to the driving assistance device 50a of the first vehicle 1a, for example, information on the tilt of the central axis of the measurement range of the front photographing cameras 31LF, 31RF and the rear photographing camera 31R relative to the longitudinal direction of the vehicle 1, information on the angle of the measurement range around the central axis, and information on the distance of the measurement range in the direction along the central axis.
  • the driving assistance device 50b of the second vehicle 1b transmits information on the position, movement direction, and movement speed of the object detected by the front photographing cameras 31LF, 31RF and the rear photographing camera 31R within the measurement range to the driving assistance device 50a of the first vehicle 1a.
  • the surrounding environment recognition processing unit 67 acquires measurement data transmitted from the surrounding environment recognition device 31 (in this embodiment, the front photographing cameras 31LF, 31RF and the rear photographing camera 31R) provided on the first vehicle 1a (step S43). The surrounding environment recognition processing unit 67 then executes the surrounding environment recognition process using the acquired measurement data (step S45).
  • FIG. 9 is a flowchart showing an example of the surrounding environment recognition process performed by the surrounding environment recognition processing unit 67.
  • the surrounding environment recognition processing unit 67 extracts feature points from the measurement data acquired from the surrounding environment recognition device 31 (step S51). For example, the surrounding environment recognition processing unit 67 extracts feature points from the image data generated by the front photographing cameras 31LF, 31RF and the rear photographing camera 31R by using a technique such as edge detection processing.
  • the surrounding environment recognition processing unit 67 then performs a matching process to match the extracted feature points with pre-stored data on feature points of various objects (also called a pattern matching process) to detect the object and identify the type of object and its position in real space (step S53).
  • the surrounding environment recognition processing unit 67 identifies the type of object to be detected by matching the extracted feature points with data on feature points representing, for example, moving objects such as vehicles, bicycles, and pedestrians, guardrails, curbs, buildings and other stationary objects, and lane boundaries.
  • the surrounding environment recognition processing unit 67 also identifies the position of the object in real space based on the position of the object in the measurement range and the distance to the object.
  • the surrounding environment recognition processing unit 67 calculates the direction and speed of movement of the detected object in real space (step S55). For example, the surrounding environment recognition processing unit 67 uses the measurement data acquired in the current calculation cycle and the measurement data acquired in the calculation cycle before the previous one to calculate the direction and speed of movement of the object in real space based on the change in the position of the same object over time.
  • the surrounding environment recognition processing executed in steps S51 and S53 may be executed using conventionally known technology, and is not particularly limited.
  • the measurement data information includes information on the speed of the measurement point, so the process of calculating the movement speed by the surrounding environment recognition processing unit 67 may be omitted.
  • the surrounding environment recognition processing unit 67 records information on the type, position, moving direction, and moving speed of the detected object together with the time data as measurement result information in the memory unit 57 (step S57).
  • the surrounding environment recognition processing unit 67 determines whether there is another vehicle (second vehicle 1b) that is performing vehicle-to-vehicle communication with the first vehicle 1a (step S59). For example, the surrounding environment recognition processing unit 67 determines whether there is another vehicle with which the vehicle-to-vehicle communication control unit 63 is performing vehicle-to-vehicle communication. If the surrounding environment recognition processing unit 67 does not determine that there is another vehicle performing vehicle-to-vehicle communication (S59/No), it ends the surrounding environment recognition process.
  • the surrounding environment recognition processing unit 67 determines that there is another vehicle performing vehicle-to-vehicle communication (S59/Yes), it causes the vehicle-to-vehicle communication control unit 63 to transmit to the other vehicle the detection range information of the surrounding environment recognition device 31 that has been recorded in advance in the memory unit 57, and the detection result information recorded in the memory unit 57 in step S57.
  • the detection range information and detection result information transmitted here correspond to the information acquired by the assisted vehicle in step S41 of the flowchart shown in Figure 8. After causing the detection range information and detection result information to be transmitted to the other vehicle, the surrounding environment recognition processing unit 67 terminates the surrounding environment recognition process.
  • the display control unit 69 then executes a display process in which the information on the measurement range and measurement result information of the road camera 150 obtained from the information processing device 110, and the information on the measurement range and measurement result information of the surrounding environment recognition device of the other vehicle obtained from the other vehicle, are superimposed on the map data as information visible to the driver of the first vehicle 1a and displayed on the display device 43 (step S47).
  • the environment recognition devices from which the driving assistance device 50a obtains information on the measurement range and the measurement results include environment recognition devices whose positions change and environment recognition devices whose positions do not change.
  • the road camera 150 is an environment recognition device whose installation position is fixed, and the surrounding environment recognition devices of other vehicles are environment recognition devices whose positions change.
  • the display processing by the display control unit 69 will be described as a first display processing that displays information on the measurement range and measurement results of the stationary environment recognition device, and a second display processing that displays information on the measurement range and measurement results of the stationary environment recognition device.
  • the display control unit 69 may execute either the first display processing or the second display processing, or may execute both simultaneously.
  • the first display process is a process for when the measurement range of the environment recognition device in real space does not change.
  • FIG. 10 shows a flowchart of the first display process by the display control unit 69.
  • the display control unit 69 reads out information on the measurement range and measurement results of the road camera 150 acquired from the information processing device 110, which information is recorded in the storage unit 57 (step S71).
  • the display control unit 69 determines whether or not there is a moving object moving forward in the moving direction of the first vehicle 1a based on the information on the measurement range and measurement results of the road camera 150 and the information on the position and moving direction of the first vehicle 1a (step S73). Specifically, the display control unit 69 maps the first vehicle 1a and the moving object on the map data according to the position information (latitude and longitude) of the first vehicle 1a and the detected moving object. In addition, the display control unit 69 determines whether or not there is a moving object moving forward on the road on which the first vehicle 1a is traveling based on the information on the first vehicle 1a and the moving direction of the moving object (vector on the map data).
  • the display control unit 69 may limit the area in which it is determined whether or not a moving object exists, based on at least one of the moving direction and moving speed of the first vehicle 1a. Furthermore, the display control unit 69 may exclude from the determination targets moving objects that are not likely to collide with or approach the first vehicle 1a, based on a trajectory estimated from the moving direction and moving speed of the moving object and a trajectory estimated from the moving direction and moving speed of the first vehicle 1a.
  • the display control unit 69 determines that there is a moving object moving forward in the direction of travel of the first vehicle 1a (S73/Yes), it superimposes the detected moving object on the map data in accordance with its detected position in real space (step S75).
  • the display control unit 69 also superimposes the measurement range of the surrounding environment recognition device 31 of the first vehicle 1a and the measurement range of the road camera 150 on the map data (step S77).
  • the display control unit 69 converts the position information included in the measurement range and measurement results of the road camera 150 acquired from the information processing device 110 and the measurement range and measurement results of the surrounding environment recognition device 31 of the first vehicle 1a into latitude and longitude information, respectively, and superimposes them on the map data.
  • 11 and 12 are diagrams shown for explaining the operation of the first display process.
  • 11 shows a driving scene in which a first road 141 on which a first vehicle 1a is traveling intersects with a second road 143, and from the position of the first vehicle 1a, the second road 143 beyond the intersection of the first road 141 and the second road 143 is in blind spots 121a and 121b. Note that FIG. 11 does not show the contents displayed by the display device 43.
  • a road camera 150 is installed at the intersection of a third road 145 and a second road 143, which are separated by a section between the first road 141 on which the first vehicle 1a is traveling, and the road camera 150 has its measurement direction facing the first road 141.
  • a blind spot 121a close to the road camera 150 is included in the measurement range 153 of the road camera 150, while a blind spot 121b is outside the measurement range 153 of the road camera 150.
  • a first vehicle 90 without vehicle-to-vehicle communication means passes from the top to the bottom of the second road 143.
  • the first vehicle 1a which has acquired the information of the measurement results of the road camera 150, notifies the driver of the presence of the first vehicle 90. Therefore, the driver can recognize in advance that the first vehicle 90 will pass the intersection.
  • the road camera 150 does not detect the second vehicle, and the first vehicle 1a does not notify the driver of the presence of the second vehicle. For this reason, the driver may assume that no other vehicles will pass after the first vehicle 90 has passed, and enter the intersection without sufficient confirmation or avoidance action.
  • FIG. 12 is an explanatory diagram showing the contents of the display by the first display process.
  • FIG. 12 shows an example in which information on the first other vehicle 90 detected in the situation shown in FIG. 11, the measurement range 125 of the surrounding environment recognition device 31 of the first vehicle 1a, and the measurement range 153 of the road camera 150 are superimposed on the map data.
  • the display control unit 69 superimposes information indicating the first other vehicle 90 identified based on information on the measurement results of the road camera 150 acquired via the information processing device 110 on the detected position on the map data.
  • the display control unit 69 also superimposes information indicating the measurement range 125 of the first vehicle 1a and information indicating the measurement range 153 of the road camera 150 on the map data.
  • the entire range of the map data is displayed in gray transparency, and the measurement range 125 of the first vehicle 1a and the measurement range 153 of the road camera 150 are displayed in white.
  • the system can also alert the driver to areas not measured by the road camera 150 or the surrounding environment recognition device 31. Therefore, the driver can pay attention to the possibility of another vehicle entering the intersection from outside the measurement range 153 of the road camera 150, even after the first other vehicle 90 has passed.
  • areas that vehicles or pedestrians cannot pass through are displayed in gray transparency even if they are within the measurement range 125 of the first vehicle 1a and the measurement range 153 of the road camera 150 based on the specifications. This allows the driver to easily understand the range measured by the first vehicle 1a and the road camera 150 among the areas in which other vehicles, bicycles, pedestrians, and other moving objects can move.
  • the information on the moving object to be superimposed on the map data may be any of figures, characters, or icons, so long as the information is capable of identifying the type of moving object.
  • the information on the moving object to be superimposed on the map data may be an image of the moving object captured by the road camera 150.
  • the information on the measurement range 153 of the road camera 150 and the measurement range 125 of the surrounding environment recognition device 31 is not particularly limited as long as it is displayed in a way that can be distinguished from areas outside the measurement range.
  • the display control unit 69 may display the measurement range 153 of the road camera 150 and the measurement range 125 of the surrounding environment recognition device 31 in a color different from other areas.
  • the display control unit 69 may display the measurement range 153 of the road camera 150 and the measurement range 125 of the surrounding environment recognition device 31 clearly, and display other areas unclearly.
  • the display control unit 69 determines whether or not a moving object moving forward in the direction of movement of the first vehicle 1a was detected before the previous calculation cycle (step S79). In other words, the display control unit 69 determines whether or not there is a moving object that was detected up until the previous calculation cycle but is no longer detected in the current calculation cycle.
  • step S77 If the display control unit 69 does not determine that a moving object was detected before the previous calculation cycle (S79/No), it proceeds to step S77 and displays the measurement range of the surrounding environment recognition device 31 of the first vehicle 1a and the measurement range of the road camera 150 superimposed on the map data (step S77).
  • the display control unit 69 converts the position information included in the measurement range and measurement results of the road camera 150 acquired from the information processing device 110 and the measurement range and measurement results of the surrounding environment recognition device 31 of the first vehicle 1a into latitude and longitude information, respectively, and displays them superimposed on the map data. This allows the driver to understand that there is no moving object at least within the measurement range of the road camera 150, and that the presence or absence of a moving object is unknown outside the measurement range of the road camera 150.
  • the display control unit 69 determines that a moving object moving forward in the direction of movement of the first vehicle 1a was detected before the previous calculation cycle (S79/Yes), it calculates the movement range in which the moving object is estimated to exist (step S81). Based on the information on the moving direction and moving speed of the moving object contained in the information on the measurement results of the road camera 150 acquired before the previous calculation cycle, the display control unit 69 determines the moving direction and moving distance from when the moving object was last detected to the current calculation cycle, and estimates the position of the moving object.
  • the display control unit 69 superimposes the moving object on the estimated position on the map data (step S83).
  • the display control unit 69 also superimposes the measurement range of the surrounding environment recognition device 31 of the first vehicle 1a and the measurement range of the road camera 150 on the map data (step S77).
  • the display control unit 69 converts the position information included in the measurement range and measurement results of the road camera 150 acquired from the information processing device 110 and the measurement range and measurement results of the surrounding environment recognition device 31 of the first vehicle 1a into latitude and longitude information, respectively, and superimposes it on the map data.
  • the display control unit 69 in order to let the driver understand that the displayed position of the moving object is an estimated range of movement, and taking into consideration the deviation between the estimated range of movement and the actual position, the display control unit 69 superimposes and displays the moving object in a manner different from that in the case where the moving object is actually detected.
  • the display control unit 69 may change the color of the moving object, display the outline vaguely, display it by blinking, or display the outline enlarged.
  • the display control unit 69 may gradually change the display of the moving object. For example, the display control unit 69 calculates the time required for the moving object to reach a position where it enters ahead in the moving direction of the first vehicle 1a from the position where it was last detected, based on information about the position, moving speed, and moving direction of the moving object when it was last detected. Specifically, the display control unit 69 calculates the required time by dividing the distance from the position where the moving object was last detected to the position where it enters ahead in the moving direction of the first vehicle 1a, by the moving speed. The display control unit 69 sets the calculated required time as 100 (%) and gradually changes the display of the moving object according to the percentage of the elapsed time since the moving object was no longer detected.
  • the display control unit 69 may change the display of the moving object from yellow to red, and may change the outline of the moving object from a "thin line with a dark color” to a "thick line with a light color.” This allows the estimated position of the moving object to be displayed uncertainly as time passes since the moving object was no longer detected, even after the moving object has moved out of the measurement range 153 of the road camera 150, making the driver of the first vehicle 1a aware that the moving object is approaching in front of the first vehicle 1a.
  • FIG. 13 is an explanatory diagram showing a situation in which the first other vehicle 90 that was detected in the calculation cycle following the state shown in FIG. 12 is no longer detected.
  • the information showing the first other vehicle 90 that is no longer detected is enlarged and gradually changes more than the information showing the first other vehicle 90 shown in FIG. 12, and the outline is displayed vaguely with a dotted line. This allows the driver to know the position where the first other vehicle 90 is likely to be present, even though the first other vehicle 90 is no longer detected by the road camera 150. This allows the driver to continue to pay attention to the first other vehicle 90.
  • the display of the measurement range 153 of the road camera 150 which is installed in a fixed position, is the same as the display of the measurement range 153 in FIG. 12, while the display of the measurement range 125 of the surrounding environment recognition device 31, which moves together with the first vehicle 1a, has changed from the display of the measurement range 125 in FIG. 12.
  • the display control unit 69 executes a first display process that displays information on the measurement range and measurement results of the stationary environment recognition device (road camera 150).
  • the display control unit 69 displays the measurement range of the stationary road camera 150 by superimposing it on the map data, and also displays a moving object detected by the road camera 150 in the measurement range by superimposing it on the map data. Even if a moving object that was detected is no longer detected, the display control unit 69 displays the movement range of the moving object by superimposing it on the map data.
  • the display control unit 69 displays the measurement range and measurement results of the surrounding environment recognition device 31 of the first vehicle 1a by superimposing them on the map data.
  • the second display process is a process that is performed when the measurement range of the environment recognition device in real space changes.
  • FIG. 14 shows a flowchart of the second display process by the display control unit 69.
  • the display control unit 69 reads out information on the measurement range and measurement results of the surrounding environment measuring device obtained from another vehicle (second vehicle 1b) that is recorded in the memory unit 57 (hereinafter also referred to as the "measurement range of the second vehicle” or the “measurement results by the second vehicle”) (step S91).
  • the display control unit 69 determines whether or not there is a moving object moving ahead in the moving direction of the first vehicle 1a, based on the information on the measurement range and measurement results of the second vehicle 1b and the information on the position and moving direction of the first vehicle 1a (step S93). Specifically, the display control unit 69 determines whether or not there is a moving object moving ahead in the moving direction of the first vehicle 1a, using a procedure similar to the processing of step S73 of the first display processing.
  • the display control unit 69 determines that there is a moving object moving forward in the direction of travel of the first vehicle 1a (S93/Yes), it superimposes the detected moving object on the map data according to its detected position in real space (step S95).
  • the display control unit 69 converts the position information included in the measurement range and measurement results of the surrounding environment recognition device acquired from the second vehicle 1b and the position information included in the measurement range and measurement results of the surrounding environment recognition device 31 of the first vehicle 1a into latitude and longitude information, respectively, and superimposes it on the map data.
  • the display control unit 69 also superimposes the measurement range of the surrounding environment recognition device 31 of the first vehicle 1a and the measurement range of the surrounding environment recognition device of the second vehicle 1b on the map data (step S97). At this time, the display control unit 69 superimposes the measurement range of the surrounding environment recognition device of the second vehicle 1b from the calculation cycle before the previous one to the current calculation cycle on the map data.
  • FIGS. 15 to 21 are diagrams shown to explain the operation of the second display process.
  • FIGS. 15 to 17 are diagrams to explain the issues that arise when the technology disclosed herein is not applied. Note that FIGS. 15 to 17 do not show the content displayed by the display device 43.
  • the driving assistance device 50a of the first vehicle 1a which has acquired information on the measurement results of the second vehicle 1b at this time t1, can recognize that no moving object is present in the blind spots 121a, 121b.
  • the second vehicle 1b leaves the intersection of the first road 141 and the second road 143, and the blind spot areas 121a and 121b are outside the measurement ranges 123b and 123c. Therefore, the driving assistance device 50a of the first vehicle 1a, which has acquired information on the measurement results of the second vehicle 1b at times t2 and t3, cannot recognize whether or not there is a moving object in the blind spot areas 121a and 121b. However, in this case, there is a possibility that another moving object will enter the blind spot areas 121a and 121b after time t1.
  • the driver of the first vehicle 1a may pass through the intersection of the first road 141 and the second road 143 without paying attention to the blind spots 121a and 121b. Therefore, when the first vehicle 1a passes through the intersection and a moving object appears from the blind spots 121a and 121b, the driver may not be able to avoid a collision.
  • FIGS. 18 to 21 are explanatory diagrams showing the second display process by the display control unit 69, and are explanatory diagrams showing an example in which information on the measurement ranges 125a to 125c of the surrounding environment recognition device 31 of the first vehicle 1a and the measurement ranges 123a to 123d of the surrounding environment recognition device of the second vehicle 1b are superimposed on map data.
  • FIGS. 18 to 20 show the display contents at times t1 to t3 shown in FIGS. 15 to 17, respectively, and FIG. 21 shows the display contents at time t4, after further time has passed.
  • the display control unit 69 superimposes information indicating the moving object identified based on the information of the measurement results of the second vehicle 1b obtained from the second vehicle 1b on the detected position on the map data.
  • the moving object is not displayed because it has not been detected by the surrounding environment recognition device of the second vehicle 1b.
  • the display control unit 69 superimposes on the map data information indicating the measurement range 123a of the second vehicle 1b, which is acquired from the driving assistance device 50b of the second vehicle 1b passing through the intersection of the first road 141 and the second road 143.
  • the entire range of the map data is displayed in gray transparency, and the measurement range 123a of the second vehicle 1b is displayed in white.
  • the driver of the first vehicle 1a recognizes that there is no moving object in the blind spot area 121 of the intersection that will be passed next, based on the displayed information on the measurement range 123a of the second vehicle 1b and the absence of any moving object displayed.
  • the display control unit 69 superimposes information indicating the measurement ranges 123b to 123d of the second vehicle 1b obtained from the driving assistance device 50b of the second vehicle 1b on the map data at times t2 to t4. At this time, the display control unit 69 displays the information indicating the latest measurement ranges 123b to 123d obtained at each of times t2 to t4 in white.
  • the display control unit 69 also displays, at each of times t2 to t4, information indicating the measurement ranges 123a to 123c acquired at the time before the previous time. At this time, the display control unit 69 changes the display so that it transitions sequentially from a white display to a gray display going back in time. In other words, the display control unit 69 transitions the display of the non-measurement range outside the measurement range 123 to a display of the non-measurement range as time passes.
  • the driver of the first vehicle 1a can therefore recognize information on the measurement results of the second vehicle 1b as well as changes in the measurement ranges 123a-123d of the second vehicle 1b. This allows him to simultaneously recognize not only the measurement results by the second vehicle 1b at each of times t1-t4, but also the measurement results by the second vehicle 1b at past times. As a result, the driver of the first vehicle 1a can determine whether to take evasive action, considering that there is a low possibility of another vehicle entering the intersection, even after the second vehicle 1b has passed that intersection.
  • the display control unit 69 may determine the set time until the previous measurement range is returned to the same display as the area outside the measurement range (gray display in the above example) based on the recognition performance of the surrounding environment recognition device provided in the second vehicle 1b. In other words, the number of measurement ranges from the previous or previous calculation cycles to be displayed may be determined based on the recognition performance of the surrounding environment recognition device.
  • the information of the moving object superimposed on the map data may be any of figures, characters, or icons as long as the information is capable of identifying the type of moving object.
  • the information of the moving object superimposed on the map data may be an image of the moving object captured by the second vehicle 1b.
  • step S99 determines whether or not a moving object was detected before the previous calculation cycle. In other words, the display control unit 69 determines whether or not there is a moving object that was detected up until the previous calculation cycle but is no longer detected in the current calculation cycle.
  • step S97 If the display control unit 69 does not determine that a moving object was detected before the previous calculation cycle (S99/No), it proceeds to step S97 and superimposes the measurement range 125 of the surrounding environment recognition device 31 of the first vehicle 1a and the measurement range 123 of the surrounding environment recognition device of the second vehicle 1b on the map data (step S97).
  • the display control unit 69 converts the position information included in the measurement range and measurement results of the surrounding environment recognition device acquired from the second vehicle 1b and the measurement range and measurement results of the surrounding environment recognition device 31 of the first vehicle 1a into latitude and longitude information, respectively, and superimposes them on the map data.
  • the display control unit 69 also superimposes the measurement range of the surrounding environment recognition device of the second vehicle 1b from the previous calculation cycle to the current calculation cycle on the map data. This allows the driver to understand that there is no moving object at least within the measurement range 123 of the second vehicle 1b, and that the presence or absence of a moving object outside the measurement range 123 of the second vehicle 1b is unknown.
  • the display control unit 69 determines that a moving object was detected before the previous calculation cycle (S99/Yes), it calculates the movement range in which the moving object is estimated to exist (step S101). Based on the information on the movement direction and movement speed of the moving object contained in the information on the measurement results of the second vehicle 1b acquired before the previous calculation cycle, the display control unit 69 determines the movement direction and movement distance from when the moving object was last detected until the current calculation cycle, and estimates the movement range of the moving object.
  • the display control unit 69 superimposes the movement range of the moving object on the map data (step S103).
  • the display control unit 69 also superimposes the measurement range 125 of the surrounding environment recognition device 31 of the first vehicle 1a and the measurement range 123 of the second vehicle 1b on the map data (step S97).
  • the display control unit 69 converts the position information included in the measurement range and measurement results of the surrounding environment recognition device acquired from the second vehicle 1b and the measurement range and measurement results of the surrounding environment recognition device 31 of the first vehicle 1a into latitude and longitude information, respectively, and superimposes them on the map data.
  • the display control unit 69 superimposes the measurement range of the surrounding environment recognition device of the second vehicle 1b from the previous calculation cycle to the current calculation cycle on the map data. Furthermore, in order to make the driver understand that the displayed position of the moving object is an estimated movement range, and taking into consideration the deviation between the estimated movement range and the actual position, the display control unit 69 superimposes and displays the moving object in a manner different from that in the case where the moving object is actually detected. For example, the display control unit 69 may change the color of the moving object, display the outline vaguely, display the outline in a blinking manner, or display the outline in an enlarged manner. At this time, the display control unit 69 may gradually change the display of the moving object, as in the first display process.
  • FIGS. 22 to 25 show examples of displays in the situation shown in FIG. 18 to FIG. 21, where a pedestrian 127 is detected by the second vehicle 1b at time t1 (FIG. 22), but the pedestrian 127 is no longer detected from time t2 onward (FIGS. 23 to 25).
  • the information indicating the pedestrian 127 that is no longer detected is displayed larger than the information indicating the pedestrian 127 shown in Figure 22, and the outline is displayed vaguely with a dotted line. Furthermore, because the range of movement of the pedestrian 127 expands over time, the size of the displayed information indicating the pedestrian 127 increases and gradually changes over time. Therefore, the driver of the first vehicle 1a can know the position where the pedestrian 127 is likely to be present, even though the pedestrian 127 is no longer detected by the second vehicle 1b. This makes it possible to have the driver continue to pay attention to the pedestrian 127.
  • the display control unit 69 executes the second display process to display information on the measurement range and the measurement result of the environment recognition device (surrounding environment recognition device of the second vehicle 1b) whose position moves.
  • the display control unit 69 displays the measurement range 123 of the second vehicle 1b superimposed on the map data, and displays the moving object detected by the road camera 150 in the measurement range 123 superimposed on the map data.
  • the display control unit 69 also displays the measurement range of the second vehicle 1b acquired in the calculation cycle before the previous time superimposed on the map data. Even if a moving object that was detected is no longer detected, the display control unit 69 displays the movement range of the moving object superimposed on the map data.
  • the display control unit 69 displays the measurement range and the measurement result of the surrounding environment recognition device 31 of the first vehicle 1a superimposed on the map data.
  • step S49 the processing unit 55 determines whether or not the activation of the assistance function by the driving assistance device 50a has been stopped. If the processing unit 55 does not determine that the activation of the assistance function has been stopped (S49/No), the processing unit 55 returns to step S33 and repeats the execution of the processing of each step described up to this point. On the other hand, if the processing unit 55 determines that the activation of the assistance function has been stopped (S49/Yes), the processing unit 55 ends the series of processes.
  • the driving assistance device 50a acquires information on the measurement ranges 123, 153 and information on the measurement results from environmental recognition devices (road cameras 150 and the surrounding environment recognition device of the second vehicle 1b) installed other than the first vehicle 1a to be assisted.
  • the driving assistance device 50a displays information on the measurement ranges 123, 153 visible to the driver of the first vehicle 1a and information on detected moving objects by superimposing them on the map data.
  • the driver of the first vehicle 1a to be assisted can recognize not only the presence or absence of moving objects detected by an environment recognition device other than the first vehicle 1a, but also the measurement range of the environment recognition device. This can increase the driver's reliability in the information on the presence or absence of moving objects displayed by the driving assistance device 50a. As a result, the driver of the first vehicle 1a can be guided to take evasive action expected from the driving assistance performed by the driving assistance device 50a.
  • the driving assistance device 50a also displays information on the measurement range 125 of the surrounding environment recognition device 31 provided in the first vehicle 1a to be assisted and information on the detected moving object superimposed on the map data. This allows the driver of the first vehicle 1a to be assisted to recognize the measurement range and measurement results of the surrounding environment recognition device 31 of the first vehicle 1a, and can guide the driver of the first vehicle 1a to take evasive action expected from the driving assistance performed by the driving assistance device 50a.
  • the driving assistance device 50a continues to display a moving object even after the moving object that was detected by an environment recognition device other than the first vehicle 1a is no longer detected. This allows the driver of the first vehicle 1a to continue to pay attention to the moving object even if the moving object that is not recognized by the first vehicle 1a is no longer measured by an environment recognition device other than the first vehicle 1a.
  • the driving assistance device 50a when a moving object detected by an environment recognition device other than the first vehicle 1a moves to an area ahead of the first vehicle 1a in the direction of movement, gradually changes the display of the moving object after the moving object is no longer detected. As a result, even if a moving object that is not recognized by the first vehicle 1a is no longer measured by an environment recognition device other than the first vehicle 1a, the driver of the first vehicle 1a can know the location where the moving object is likely to be located and can determine appropriate avoidance action.
  • the driving assistance device 50a estimates the moving range of the moving object based on the position and moving speed of the detected moving object, and displays the expected range in which the moving object is present. This allows the driver of the first vehicle 1a to determine evasive action based on the expected range in which the moving object may be present.
  • the display control unit 69 executes the first display process when the measurement range of the road camera 150 does not change.
  • the display control unit 69 executes the second display process using the information on the measurement range of the road camera 150 and the information on the measurement results. This makes it possible to allow the driver of the first vehicle 1a to determine appropriate driving behavior based on the information on the measurement range and the measurement results at each time, even when the measurement range of the road camera 150 changes.
  • the display control unit 69 of the driving assistance device 50a may continue to display the moving object at the position just before it was no longer detected by the environmental recognition device if the moving object stops or moves in a direction away from the area ahead of the direction of movement of the first vehicle 1a just before it becomes no longer detected by an environmental recognition device other than the first vehicle 1a.
  • FIG. 26 shows a flowchart applied to the display process by the display control unit of the driving assistance device according to the first modified example.
  • the flowchart shown in FIG. 26 is executed after a negative determination is made in step S79 of the first display process shown in FIG. 10, and after a negative determination is made in step S99 of the second display process shown in FIG. 14.
  • step S79 or step S99 is judged as negative (S79/No or S99/No)
  • the display control unit 69 judges whether or not there was a moving object that was stopped or moving away from the front of the direction of movement of the first vehicle 1a before the previous calculation cycle (step S111).
  • step S111 If the display control unit 69 judges step S111 to be negative (S111/No), the display control unit 69 proceeds to step S77 in FIG. 10 or step S97 in FIG. 14 to display the measurement range of the surrounding environment recognition device 31 of the first vehicle 1a and the measurement range of the environment recognition device other than the first vehicle 1a. On the other hand, if the display control unit 69 judges step S111 to be positive (S111/Yes), the display control unit 69 continues to display the moving object on the map data at the position detected immediately before the moving object stopped or moved away from the vehicle was no longer detected (step S113). After that, the display control unit 69 proceeds to step S77 in FIG. 10 or step S97 in FIG. 14 to display the measurement range of the surrounding environment recognition device 31 of the first vehicle 1a and the measurement range of the environment recognition device other than the first vehicle 1a.
  • the display control unit 69 maintains the display of a moving object at the position where it was last detected, even if the moving object is no longer detected as having stopped or moving away from the area ahead of the direction of movement of the first vehicle 1a. This allows the driver of the first vehicle 1a to recognize the position where a moving object that was not in danger of colliding with the first vehicle 1a was located in the past, and can determine evasive action while taking into account that the moving object moves after it leaves the measurement range of the environment recognition device other than the first vehicle 1a.
  • the display control unit 69 superimposes the information visible to the driver on the map data, but the information visible to the driver may be superimposed on the real space.
  • the vehicle 1 is provided with a head-up display that displays information on the front window as the display device 43.
  • the surrounding environment recognition processing unit 67 acquires information on the driver's eye position and line of sight direction in real space, which is detected based on image data sent from the in-vehicle camera, and determines the blind spot area as seen by the driver based on the information on the driver's eye position and line of sight direction in real space and the information on the measurement results by the surrounding environment recognition device 31. For example, the surrounding environment recognition processing unit 67 sets the area behind the three-dimensional object detected by the surrounding environment recognition device 31 as the blind spot area as seen by the driver.
  • the driver's eye position and line of sight direction can be detected by pattern matching processing, for example.
  • the method for determining the blind spot area is not particularly limited.
  • the display control unit 69 also acquires information on the driver's eye position and line of sight direction in real space, and identifies the scenery seen by the driver through the front window based on the information on the driver's eye position and line of sight direction and the information on the measurement results by the surrounding environment recognition device 31.
  • the display control unit 69 also drives the display device 43 based on the information on the scenery seen by the driver through the front window, the information on the blind spot area, and the information on the measurement ranges and the measurement results of the environment recognition devices other than the first vehicle 1a, and displays the information on the measurement ranges and the measurement results of the environment recognition devices other than the first vehicle 1a superimposed on the real space.
  • FIGS. 27 to 29 are explanatory diagrams showing the display process according to the second modified example.
  • FIG. 27 to FIG. 29 show a time series (times t11 to t13) of a preceding vehicle 171 capable of vehicle-to-vehicle communication with the first vehicle 1a traveling ahead of the first vehicle 1a.
  • the display control unit 69 identifies the scenery seen by the driver through the front window 177 based on the information on the measurement results from the surrounding environment recognition device 31 of the first vehicle 1a and the information on the driver's eye position and line of sight.
  • the display control unit 69 also acquires information on the blind spot area as seen by the driver, and calculates the measurement range 173 and detected moving objects in the blind spot area based on the information on the measurement range of the surrounding environment recognition device acquired from the preceding vehicle 171 and the information on the measurement results.
  • the display control unit 69 drives the display device 43 to display information on the measurement ranges 173a-173c visible to the driver and information on moving objects (pedestrians in the illustrated example) 175a-175c, superimposed on real space.
  • the method of driving the display device 43 to display specific information superimposed on real space may be performed using known technology, so a detailed description will be omitted.
  • the display control unit 69 displays the measurement ranges 173a to 175c of the preceding vehicle 171 from the previous calculation cycle to the current calculation cycle superimposed on the real space.
  • the display control unit 69 displays them transparently in different colors so that the driver looking ahead can easily notice them with peripheral vision. This makes it easier for the driver to grasp the transition of the measurement range even with peripheral vision, and information can be provided without excessively consuming attention resources from safety checks such as looking ahead.
  • the display control unit 69 sets the time required for the moving object to reach a position where it enters ahead of the first vehicle 1a in the direction of movement from the position when the moving object was last detected as 100 (%), and gradually changes the display of the moving object according to the percentage of time that has elapsed since the moving object was no longer detected.
  • the estimated position of the moving object is displayed as uncertain as time passes since the moving object was no longer detected, making the driver of the first vehicle 1a aware that the moving object is approaching ahead of the first vehicle 1a.
  • the specified information is superimposed on the real space, but the specified information may also be superimposed on a captured image of the real space and displayed on a display panel, windshield, etc.
  • the driving assistance device provides the driver with predetermined information by display means, allowing the driver to determine appropriate driving behavior, but the technology disclosed herein is not limited to the above example.
  • the driving assistance device may issue a warning or perform driving assistance or automatic driving by vehicle control based on information on the measurement range and measurement result information of an environment recognition device other than the vehicle to be assisted.
  • the environment recognition device (road camera, etc.) is configured to transmit information to the driving assistance device via an information processing device, but the technology disclosed herein is not limited to such an example.
  • the environment recognition device (road camera, etc.) may be configured to transmit information directly to the driving assistance device via road-to-vehicle communication means. Even in such a configuration, the same effects as those of the above embodiment can be obtained.
  • the driving assistance device is configured by an electronic control device mounted on the vehicle, but the technology disclosed herein is not limited to the above example.
  • the driving assistance device may be configured by a mobile terminal capable of communicating with an environment recognition device other than the vehicle and transmitting a drive command signal to the display device.
  • the technology disclosed herein can also be realized as a vehicle equipped with the driving assistance device described in the above embodiment, a driving assistance method using the driving assistance device, a computer program that causes a computer to function as the above driving assistance device, and a non-transitory tangible recording medium on which the computer program is recorded.
  • vehicle 1a first vehicle 1b: second vehicle 31: surrounding environment recognition device 33: vehicle position detection sensor 41: vehicle control unit 43: display device 50: driving assistance device 51: communication unit 53: vehicle-to-vehicle communication unit 55: processing unit 57: memory unit 59: map data memory unit 61: communication control unit 63: vehicle-to-vehicle communication control unit 65: vehicle information acquisition unit 67: surrounding environment recognition processing unit 69: display control unit 90: first other vehicle 100: driving assistance system 105: communication network 110: information processing device 111: communication unit 113: processing unit 115: data processing unit 117: communication control unit 119: memory unit 120: vehicle-to-vehicle communication means 121: blind spot area 123: measurement range 125: measurement range 150: road camera 151: image generation unit 153 : Measurement range 160 : Control device 161 : Communication unit 163 : Processing unit 165 : Image processing unit 167 : Communication control unit 169 : Storage unit 171 : Leading vehicle 173 : Measurement range

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

ドライバによる車両の運転を支援する運転支援装置は、前記車両以外に設けられた少なくとも一つの環境認識装置から、前記環境認識装置の計測範囲の情報と、前記環境認識装置による計測結果の情報とを取得する取得処理と、地図データ上、現実空間上、又は現実空間の撮像画像上に、前記車両の前記ドライバが視認可能な前記計測範囲の情報及び前記計測結果の情報を重畳して画像表示部に表示させる表示処理と、を実行する。

Description

運転支援装置、運転支援方法及び記録媒体
 本開示は、運転支援装置、運転支援方法及び記録媒体に関する。
 交差点における出会い頭の事故を防ぐ技術として、車車間通信手段又は路車間通信手段を利用して、支援対象の車両以外のセンサやカメラ等により検出された他車両の情報を支援対象の車両が取得し、ドライバへ警告灯を行う技術が知られている。
 例えば特許文献1には、車車間通信を利用して、運転者に対して、周辺車両を含む周辺の交通状況を適切に表示する周辺車両情報提供装置が提案されている。具体的に、特許文献1には、レーダ装置から、前方の障害物の有無等自車両の周辺の状況を示す情報を入手し、車両搭載センサ類から、自車両の走行速度等の走行状態を示す情報を入手し、ナビゲーション装置により、自車両の位置や走行道路を把握し、自車両が運行上注目すべき交差点の情報を抽出し、無線通信装置を用いて、自車両の周辺の他車両から、自車両との相対位置、方位等の他車両の走行状態を示す情報を入手し、特定された交差点に向かう他車両に関する位置、車種等を他車両の走行状態を示す情報から判断し、他車両に対して自車両の走行が影響を与える可能性について判断し、影響を与えそうな他車両を抽出して表示手段へ表示する情報をキャラクタとして提供する技術が開示されている。
 また、特許文献2には、車車間通信機能を持つ車両の進路上で当該車両に接近する可能性がある車車間通信機能を持たない移動物の情報を当該車両の乗員に提供する情報提供装置が開示されている。具体的に、自車情報と、移動物の位置、走行速度及び走行方向を含む移動物情報と、これらの情報が得られた時刻とを基地局に送信し、基地局で求められた自車位置を含む所定範囲内に存在する移動物の予測情報を受信し、自車の乗員への情報提供を行う情報提供装置が提案されている。
特開2002-340583号公報 特開2010-224762号公報
 しかしながら、特許文献1及び2に記載の技術では、それぞれの車両のシステムが認識可能な領域とドライバが認識可能な領域とにギャップが生じ、装置による表示をドライバが正しいものと認識できず、運転支援により期待される回避行動が行われないおそれがある。例えば見通しの悪い交差点に向かって車両が走行している場合に、車両のシステムが、交差点の左右の死角のうち車両から見て左側の死角を認識できている一方、右側の死角を認識できていない場合がある。この場合、特許文献1及び2に記載の技術では、車両のシステムが認識可能な領域をドライバが把握する手段が無いため、左側の死角に関する運転支援が行われる一方で右側の死角に関する運転支援が行われない場合に、ドライバは、右側の死角からの歩行者の飛び出しなどの危険が無いと判断し、回避行動を取らないおそれがある。このことは、路上に設置されたカメラ等による計測結果を利用する場合も同様であり、カメラ等が認識可能な領域とドライバが認識可能な領域とにギャップが生じ、運転支援により期待される回避行動が行われないおそれがある。
 本開示は、上記問題に鑑みてなされたものであり、本開示の目的とするところは、支援対象の車両が外部の環境認識装置から取得した周囲環境の情報を、環境認識装置の計測範囲と併せて表示することで、ドライバに適切な運転行動を実行させることが可能な運転支援装置、運転支援方法及びプログラムを記録した記録媒体を提供することにある。
 上記課題を解決するために、本開示のある観点によれば、ドライバによる車両の運転を支援する運転支援装置において、一つ又は複数のプロセッサと、上記一つ又は複数のプロセッサと通信可能に接続された一つ又は複数のメモリと、を備え、上記一つ又は複数のプロセッサは、上記車両以外に設けられた少なくとも一つの環境認識装置から、上記環境認識装置の計測範囲の情報と、上記環境認識装置による計測結果の情報とを取得する取得処理と、地図データ上、現実空間上、又は現実空間の撮像画像上に、上記車両の上記ドライバが視認可能な上記計測範囲の情報及び上記計測結果の情報を重畳して画像表示部に表示させる表示処理と、を実行する運転支援装置が提供される。
 また、上記課題を解決するために、本開示の別の観点によれば、ドライバによる車両の運転を支援する運転支援方法において、コンピュータが、上記車両以外に設けられた少なくとも一つの環境認識装置から、上記環境認識装置の計測範囲の情報と、上記環境認識装置による計測結果の情報とを取得することと、地図データ上、現実空間上、又は現実空間の撮像画像上に、上記車両の上記ドライバが視認可能な上記計測範囲の情報及び上記計測結果の情報を重畳して画像表示部に表示させることと、を実行する運転支援方法が提供される。
 また、上記課題を解決するために、本開示の別の観点によれば、コンピュータに、上記車両以外に設けられた少なくとも一つの環境認識装置から、上記環境認識装置の計測範囲の情報と、上記環境認識装置による計測結果の情報とを取得することと、地図データ上、現実空間上、又は現実空間の撮像画像上に、上記車両の上記ドライバが視認可能な上記計測範囲の情報及び上記計測結果の情報を重畳して画像表示部に表示させることとと、を実行させるプログラムを記録した、非一時的な有形の記録媒体が提供される。
 以上説明したように本開示によれば、支援対象の車両が外部の環境認識装置から取得した周囲環境の情報を、環境認識装置の計測範囲と併せて表示することで、ドライバに適切な運転行動を実行させることができる。
本開示の実施の形態に係る運転支援装置を備えた運転支援システムの基本構成を示す模式図である。 本実施形態による運転支援システムの環境認識装置(路上カメラ)の構成例を示すブロック図である。 本実施形態による運転支援システムの環境認識装置(路上カメラ)による処理動作を示すフローチャートである。 本実施形態による運転支援システムの情報処理装置の構成例を示すブロック図である。 本実施形態による運転支援システムの情報処理装置による処理動作を示すフローチャートである。 本実施形態に係る運転支援装置を備えた車両の構成例を示す模式図である。 本実施形態に係る運転支援装置の構成例を示すブロック図である。 本実施形態に係る運転支援装置による処理動作のメインルーチンを示すフローチャートである。 本実施形態に係る運転支援装置による周囲環境認識処理を示すフローチャートである。 本実施形態に係る運転支援装置による第1の表示処理を示すフローチャートである。 第1の表示処理の作用を示す説明図である。 第1の表示処理による表示の内容を示す説明図である。 第1の表示処理による表示の内容を示す説明図である。 本実施形態に係る運転支援装置による第2の表示処理を示すフローチャートである。 計測範囲を表示しない参考例の表示を示す説明図である。 計測範囲を表示しない参考例の表示を示す説明図である。 計測範囲を表示しない参考例の表示を示す説明図である。 第2の表示処理の表示の内容を示す説明図である。 第2の表示処理の表示の内容を示す説明図である。 第2の表示処理の表示の内容を示す説明図である。 第2の表示処理の表示の内容を示す説明図である。 第2の表示処理の表示の内容を示す説明図である。 第2の表示処理の表示の内容を示す説明図である。 第2の表示処理の表示の内容を示す説明図である。 第2の表示処理の表示の内容を示す説明図である。 本実施形態の第1の変形例に係る表示処理を示すフローチャートである。 本実施形態の第2の変形例に係る表示の内容を示す説明図である。 本実施形態の第2の変形例に係る表示の内容を示す説明図である。 本実施形態の第2の変形例に係る表示の内容を示す説明図である。
 以下、添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 <1.運転支援システムの基本構成>
 はじめに、本開示の実施の形態に係る運転支援システムの基本構成を説明する。
 図1は、運転支援システム100の基本構成の一例を示す説明図である。
 運転支援システム100は、第1の車両1a及び第2の車両1bと、例えば路上に設置される路上カメラ150と、情報処理装置110とを備える。本開示の技術の理解を容易にするために、図1に示す運転支援システム100は、第1の車両1a、第2の車両1b、路上カメラ150及び情報処理装置110を備えて構成されているが、車両、路上カメラ150及び情報処理装置110は、いずれも複数備えられていてよい。以下、特に区別を要しない限り、第1の車両1a及び第2の車両1bを車両1と総称し、運転支援装置50a,50bを運転支援装置50と表記する。
 第1の車両1a及び第2の車両1bは、それぞれ一つ又は複数のプロセッサを備えて構成される運転支援装置50a,50bを備えている。路上カメラ150は、一つ又は複数のプロセッサを備えて構成される制御装置160を備えている。
 運転支援装置50a,50b及び路上カメラ150の制御装置160は、それぞれ一つ又は複数の通信ネットワーク105を介して情報処理装置110と通信可能に接続されている。例えば運転支援装置50a,50bは、移動体通信ネットワークを介して情報処理装置110と通信可能に接続される。路上カメラ150の制御装置160は、無線又は有線の通信ネットワークを介して情報処理装置110と通信可能に接続される。また、第1の車両1aの運転支援装置50aと第2の車両1bの運転支援装置50bとは、車車間通信手段120により互いに通信可能に接続される。
 車両1は、所定の演算周期で車両1の位置情報を情報処理装置110へ送信する。車両1の位置情報は、地図データ上における車両1の現在位置の情報、車両1の移動方向の情報及び車両1の移動速度の情報を含む。運転支援装置50は、車両1の現在位置の情報として、例えばGPS(Global Positioning System)等の衛星システムから送信される衛星信号に基づいて緯度及び経度の情報を取得する。また、運転支援装置50は、例えば時系列で取得される車両1の現在位置の変化に基づいて、車両1の移動方向及び移動速度の情報を算出する。
 また、車両1は、周囲環境認識装置を備えている。第1の車両1aを支援対象の車両とした場合、第2の車両1bに備えられた周囲環境認識装置は、第1の車両1a以外に設けられた環境認識装置に相当する。周囲環境認識装置は、例えばカメラ、LiDAR、レーダセンサ及び超音波センサのうちの一つ又は複数のセンサを備えて構成される。車両1の運転支援装置50は、所定の演算周期で、それぞれの周囲環境認識装置から計測データを取得し、車両1の周囲環境を検出する周囲環境認識処理を実行する。
 例えば運転支援装置50は、周囲環境認識処理により、それぞれの周囲環境認識装置の認識周囲に存在する車両や自転車、歩行者等の移動体、ガードレールや縁石、建造物その他の静止物、及び、走行車線の境界線等を検出する。また、第1の車両1a及び第2の車両1bの運転支援装置50a,50bは、周囲環境認識装置の計測データに基づく計測結果の情報を、周囲環境認識装置の計測範囲の情報及び車両1の位置情報とともに、車車間通信手段120により互いに送受信する。
 「周囲環境認識装置による計測結果の情報」は、認識された物体の種類、周囲環境認識装置の計測範囲における物体の位置、移動方向及び移動速度の情報を含む。「周囲環境認識装置の計測範囲の情報」は、それぞれのセンサごとに計測結果の精度を保証し得る範囲として、あらかじめセンサの諸元等に応じて設定されて運転支援装置50に記録されている。「周囲環境認識装置の計測範囲の情報」は、例えば車両1の前後方向に対する計測範囲の中心軸の傾きの情報、中心軸を中心とする計測範囲の角度の情報、及び、中心軸に沿った方向の計測範囲の距離の情報を含む。
 路上カメラ150は、環境認識装置の一態様であり、路上あるいは建造物等に設置される。路上カメラ150の制御装置160は、所定の演算周期で計測範囲を撮像した撮像データを取得し、撮像データを用いて物体認識処理を実行する。ただし、環境認識装置は、路上カメラ150に限定されるものではなく、所定の位置に設置されたLiDARやレーダセンサ、超音波カメラその他の物体認識処理を実行可能な装置であってもよい。
 本開示において、路上カメラ150の制御装置160は、所定の演算周期で、車両や自転車、歩行者等の移動体を検出するとともに、検出した移動体の位置の時間変化に基づき移動体の移動方向及び移動速度を求める物体認識処理を実行する。路上カメラ150の制御装置160は、所定の演算周期で、物体認識処理による計測結果の情報と、地図データ上での路上カメラ150の計測範囲の情報とを情報処理装置110へ送信する。
 「路上カメラ150による計測結果の情報」は、認識された物体の種類、路上カメラ150の計測範囲における物体の位置、移動方向及び移動速度の情報を含む。「路上カメラ150の計測範囲の情報」は、例えば路上カメラ150の設置位置の情報、及び、路上カメラ150の画角及び撮影方向の情報を含む。路上カメラ150の設置位置の情報は、例えば地図データ上の経度及び緯度の情報としてあらかじめ制御装置160に記録されている。また、路上カメラ150の画角及び撮影方向の情報は、例えば経度及び緯度をxy軸とする座標系におけるベクトルの値として制御装置160に記録されていてもよい。路上カメラ150の画角及び撮影方向の情報は、路上カメラ150が設置されている道路が延びる方向に対する傾きの情報として制御装置160に記録されていてもよい。
 情報処理装置110は、例えばクラウドコンピューティングの技術により通信ネットワーク105を介して路上カメラ150の制御装置160、及び運転支援装置50a,50bと通信可能に接続されている。情報処理装置110は、所定の演算周期で路上カメラ150の制御装置160から、路上カメラ150の計測範囲の情報と計測結果の情報とを受信する。計測結果の情報は、検出された移動体の種類、及び、当該移動体の位置、移動方向並びに移動速度の情報を含む。
 また、情報処理装置110は、所定の演算周期で運転支援装置50から車両1の位置情報を受信する。情報処理装置110は、支援対象の車両1の位置に応じた所定エリア内に存在する路上カメラ150を特定する。そして、情報処理装置110は、当該路上カメラ150の制御装置160から受信した路上カメラ150による計測範囲の情報及び計測結果の情報を運転支援装置50へ送信する。つまり、情報処理装置110は、路上カメラ150から情報を収集するとともに、支援対象の車両1の走行位置の周囲のエリア内に存在する他の移動体の情報を支援対象の車両1に提供する。
 第1の車両1aを支援対象の車両とした場合、第1の車両1aの運転支援装置50aは、通信ネットワーク105を介して、路上カメラ150の計測範囲の情報及び計測結果の情報を取得する。また、支援対象の第1の車両1aの運転支援装置50aは、車車間通信手段120により、第2の車両1bに備えられた環境認識装置の計測範囲の情報及び計測結果の情報を取得する。第1の車両1aは、路上カメラ150の計測範囲の情報及び計測結果の情報と、第2の車両1bに備えられた環境認識装置の計測範囲の情報及び計測結果の情報とに基づいて、第1の車両1aのドライバが視認可能な所定の表示を行い、ドライバに注意を促す処理を実行する。
 以下、路上カメラ150、情報処理装置110及び運転支援装置50それぞれの機能構成及び動作を具体的に説明する。
 <2.路上カメラ>
 まず、環境認識装置の一態様としての路上カメラ150について詳しく説明する。
 (2-1.機能構成)
 図2は、路上カメラ150の構成を示すブロック図である。
 路上カメラ150は、画像生成ユニット151及び制御装置160を備える。画像生成ユニット151は、例えばCCD(Charge Coupled Device)又はCMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子を備え、計測範囲の画像データを生成する。画像生成ユニット151は、所定の演算周期で画像データを生成し制御装置160へ送信する。
 制御装置160は、通信部161、処理部163及び記憶部169を備える。通信部161は、通信ネットワーク105を介して情報処理装置110と通信するためのインタフェースである。処理部163は、GPU(Graphics Processing Unit)等の一つ又は複数のCPU(Central processing Unit)を備えて構成される。処理部163は、記憶部169に記憶されたコンピュータプログラムを実行することにより、所定の演算周期で画像生成ユニット151から送信される画像データに基づく計測結果の情報を情報処理装置110へ送信する。
 記憶部169は、一つ又は複数のメモリを備え、処理部163により実行されるコンピュータプログラムや演算処理に用いられる各種パラメータ、演算結果の情報を記憶する。記憶部169の一部は、処理部163のワーク領域として利用される。
 記憶部169は、ハードディスク、フロッピーディスク及び磁気テープ等の磁気媒体、CD-ROM(Compact Disk Read Only Memory)、DVD(Digital Versatile Disk)、及びBlu-ray(登録商標)等の光記録媒体、フロプティカルディスク等の磁気光媒体、RAM(Random Access Memory)及びROM(Read Only Memory)等の記憶素子、並びにUSB(Universal Serial Bus)メモリ及びSSD(Solid State Drive)等のフラッシュメモリ、その他の記録媒体であってよい。
 処理部163は、画像処理部165及び通信制御部167を備える。これらの各部の機能は、プロセッサによるコンピュータプログラムの実行により実現される。画像処理部165は、所定の演算周期で画像生成ユニット151から送信される画像データに基づいて物体認識処理を実行する。路上カメラ150は、主に他車両や歩行者、自転車等の移動体を認識する。また、画像処理部165は、認識した移動体の位置、移動速度及び移動方向を求める処理を実行する。
 通信制御部167は、所定の演算周期で、画像処理部165による物体の計測結果の情報を情報処理装置110へ送信する。物体の計測結果の情報は、物体の種類、路上カメラ150の計測範囲における物体の位置、移動速度及び移動方向の情報を含む。このとき、通信制御部167は、路上カメラ150の計測範囲の情報を併せて情報処理装置110へ送信する。路上カメラ150の計測範囲の情報は、路上カメラ150の設置位置、画角及び撮影方向の情報を含み、あらかじめ記憶部169に記録されている。情報処理装置110が、それぞれの路上カメラ150の計測範囲の情報を記録したデータベースを備えている場合、路上カメラ150は、個々の路上カメラ150を特定するための識別情報のみを情報処理装置110へ送信してもよい。
 (2-2.処理動作)
 図3は、路上カメラ150の制御装置160による処理動作のフローチャートを示す。図3に示すフローチャートは、所定の演算周期で繰り返し実行される。
 処理部163の画像処理部165は、画像生成ユニット151から送信される画像データを取得する(ステップS11)。
 次いで、画像処理部165は、受信した画像データに基づいて物体認識処理を実行する(ステップS13)。例えば画像処理部165は、画像データからエッジ検出処理等の技術を利用して特徴点を抽出し、あらかじめ記憶された種々の物体の特徴点のデータとのマッチング(パターンマッチング処理ともいう)を行い、計測範囲に存在する物体を認識する処理を実行する。路上カメラ150は、主に他車両や歩行者、自転車等の移動体を認識する。
 また、画像処理部165は、認識した移動体の現実空間上での移動速度及び移動方向を演算により求める。例えば画像処理部165は、所定の演算周期で送信される画像データ中における移動体の位置及び大きさの時間変化に基づいて、現実空間上での移動体の移動速度及び移動方向を演算により求めることができる。ただし、認識された移動体の速度及び移動方向を求める方法は、従来公知の技術を利用して実行されればよく、特に限定されるものではない。
 次いで、通信制御部167は、画像処理部165による物体の計測結果の情報及び路上カメラ150の計測範囲の情報を情報処理装置110へ送信する(ステップS15)。制御装置160は、上記のステップS11~ステップS15の処理を所定の演算周期で繰り返し実行する。
 なお、制御装置160は、常時情報処理装置110へ路上カメラ150の計測範囲の情報及び計測結果の情報を送信してもよい。あるいは、制御装置160は、情報処理装置110からの送信要求を受けた後に、物体の計測範囲の情報及び計測結果の情報を送信してもよい。
 <3.情報処理装置>
 続いて、情報処理装置110について詳しく説明する。
 (3-1.機能構成)
 図4は、情報処理装置110の構成を示すブロック図である。
 情報処理装置110は、通信部111、処理部113及び記憶部119を備える。通信部111は、通信ネットワーク105を介して路上カメラ150及び運転支援装置50と通信するためのインタフェースである。処理部113は、一つ又は複数のCPUを備え、所定の演算周期で路上カメラ150及び運転支援装置50から送信される情報を取得し、支援対象の車両1の運転支援装置50の位置に応じた所定エリア内に存在する路上カメラ150から取得した情報を、当該運転支援装置50に送信する。
 記憶部119は、一つ又は複数のメモリを備え、処理部113により実行されるコンピュータプログラムや演算処理に用いられる各種パラメータ、演算結果の情報を記憶する。記憶部119の一部は、処理部113のワーク領域として使用される。記憶部119は、ハードディスク、フロッピーディスク及び磁気テープ等の磁気媒体、CD-ROM、DVD、及びBlu-ray(登録商標)等の光記録媒体、フロプティカルディスク等の磁気光媒体、RAM及びROM等の記憶素子、並びにUSBメモリ及びSSD等のフラッシュメモリ、その他の記録媒体であってよい。
 処理部113は、データ処理部115及び通信制御部117を備える。これらの各部の機能は、プロセッサによるコンピュータプログラムの実行により実現される。データ処理部115は、運転支援装置50から送信される車両1の位置情報に基づいて支援対象の車両1の地図データ上の位置を特定し、当該車両1の位置から所定の半径のエリア内に存在する路上カメラ150を特定する。通信制御部117は、特定した路上カメラ150から受信した路上カメラ150の計測範囲の情報及び計測結果の情報を運転支援装置50へ送信する。
 データ処理部115は、運転支援装置50から送信される車両1の位置情報、移動方向及び移動速度に基づいて、車両1の移動方向の道路に通じる(交差する)道路に設置された路上カメラ150を特定してもよい。これにより、支援対象の車両1と衝突のおそれのある移動体との衝突を予測するための情報以外の情報が運転支援装置50に送信されることを防ぐことができ、情報処理装置110及び運転支援装置50の演算処理の負荷を軽減することができる。
 (3-2.処理動作)
 図5は、情報処理装置110による処理動作のフローチャートを示す。図5に示すフローチャートは、所定の演算周期で繰り返し実行される。以下の説明では、第1の車両1aが支援対象の車両である例を説明する。
 処理部113のデータ処理部115は、一つ又は複数の路上カメラ(環境認識装置)150から送信される路上カメラ150の計測範囲の情報及び計測結果の情報を取得する(ステップS21)。路上カメラ150の計測範囲の情報及び計測結果の情報は、どの種類の移動体が、どの位置をどの方向に向かってどれくらいの速度で移動しているかを把握することができる情報である。
 次いで、データ処理部115は、支援対象の第1の車両1aに搭載された運転支援装置50aから、第1の車両1aの位置情報、移動方向及び移動速度の情報を取得する(ステップS23)。第1の車両1aの位置情報は、地図データ上の第1の車両1aの位置を示す情報であり、例えば経度及び緯度により示される。
 次いで、データ処理部115は、支援対象の第1の車両1aの位置から所定距離内に存在する路上カメラ150を特定する(ステップS25)。例えばデータ処理部115は、第1の車両1aの位置から所定の半径のエリア内に存在する路上カメラ150を特定する。本実施形態では、データ処理部115は、さらに第1の車両1aの移動方向及び移動速度の情報に基づいて、第1の車両1aの移動方向の道路に通じる(交差する)道路に設置された路上カメラ150を特定する。
 次いで、通信制御部117は、特定した路上カメラ150からそれぞれ取得した路上カメラ150の計測範囲の情報及び計測結果の情報を、支援対象の車両1へ送信する(ステップS27)。情報処理装置110は、上記のステップS21~ステップS27の処理を所定の演算周期で繰り返し実行する。
 なお、情報処理装置110は、支援対象の車両1の位置から所定距離内に存在する路上カメラ150を特定した後で、当該路上カメラ150に対して路上カメラ150の計測範囲の情報及び計測結果の情報の送信要求をしてもよい。この場合、情報処理装置110は、送信要求をした後に、所定の演算周期で路上カメラ150から送信される路上カメラ150の計測範囲の情報及び計測結果の情報を取得する。
 <4.運転支援装置>
 (4-1.車両)
 本開示の実施形態に係る運転支援装置50の構成を説明する前に、運転支援装置50を搭載した支援対象の車両1の全体構成の一例を説明する。
 図6は、運転支援装置50を備えた車両1の構成例を示す模式図である。
 車両1は、駆動トルクを生成する駆動力源9から出力される駆動トルクを左前輪及び右前輪に伝達する二輪駆動の四輪自動車として構成されている。駆動力源9は、ガソリンエンジンやディーゼルエンジン等の内燃機関であってもよく、駆動用モータであってもよい。また、車両1は、駆動力源9として、内燃機関及び駆動用モータをともに備えていてもよい。
 なお、車両1は、駆動トルクを前輪及び後輪に伝達する四輪駆動車であってもよい。また、車両1は、例えば前輪駆動用モータ及び後輪駆動用モータの二つの駆動用モータを備えた電気自動車であってもよく、それぞれの車輪に対応する駆動用モータを備えた電気自動車であってもよい。また、車両1が電気自動車やハイブリッド電気自動車の場合、車両1には、駆動用モータへ供給される電力を蓄積する二次電池や、バッテリに充電される電力を発電するモータや燃料電池等の発電機が搭載される。
 車両1は、車両1の運転制御に用いられる機器として、駆動力源9、電動ステアリング装置15及びブレーキ装置17LF,17RF,17LR,17RR(以下、特に区別を要しない場合には「ブレーキ装置17」と総称する)を備えている。駆動力源9は、図示しない変速機や差動機構7を介して前輪駆動軸5Fに伝達される駆動トルクを出力する。駆動力源9や変速機の駆動は、一つ又は複数の電子制御装置(ECU:Electronic Control Unit)を含んで構成された車両制御部41により制御される。
 前輪駆動軸5Fには電動ステアリング装置15が設けられている。電動ステアリング装置15は図示しない電動モータやギヤ機構を含み、車両制御部41により制御されることによって前輪の操舵角を調節する。車両制御部41は、手動運転中には、ドライバによるステアリングホイール13の操舵角に基づいて電動ステアリング装置15を制御する。また、車両制御部41は、自動運転中には、設定される操舵角又は操舵角速度に基づいて電動ステアリング装置15を制御する。
 ブレーキ装置17LF,17RF,17LR,17RRは、それぞれの車輪に制動力を付与する。ブレーキ装置17は、例えば油圧式のブレーキ装置として構成され、車両制御部41は、液圧ユニット16の駆動を制御することによりそれぞれのブレーキ装置17に供給する油圧を調節する。車両1が電気自動車あるいはハイブリッド電気自動車の場合、ブレーキ装置17は、駆動用モータによる回生ブレーキと併用される。
 車両制御部41は、駆動力源9、電動ステアリング装置15及び液圧ユニット16の駆動を制御する一つ又は複数の電子制御装置を含む。車両1が駆動力源9から出力された出力を変速して車輪3へ伝達する変速機を備えている場合、車両制御部41は、変速機の駆動を制御する機能を備えている。車両制御部41は、運転支援装置50から送信される情報を取得可能に構成され、車両1の自動運転制御を実行可能に構成されている。
 また、車両1は、前方撮影カメラ31LF,31RF、後方撮影カメラ31R、車両位置検出センサ33及び表示装置43を備えている。
 前方撮影カメラ31LF,31RF及び後方撮影カメラ31Rは、車両1の周囲環境の情報を取得するための周囲環境認識装置を構成する。前方撮影カメラ31LF,31RFは、車両1の前方を撮影し、画像データを生成する。後方撮影カメラ31Rは、車両1の後方を撮影し、画像データを生成する。前方撮影カメラ31LF,31RF及び後方撮影カメラ31Rは、CCD(Charged Coupled Devices)又はCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備え、生成した画像データを運転支援装置50へ送信する。図6に示した車両1では、前方撮影カメラ31LF,31RFは、左右一対のカメラを含むステレオカメラとして構成されているが、前方撮影カメラは単眼カメラであってもよい。
 なお、周囲環境認識装置は、前方撮影カメラ31LF,31RF及び後方撮影カメラ31R以外に、例えばサイドミラーに設けられて左後方又は右後方を撮影するカメラを含んでいてもよい。この他、周囲環境センサは、LiDAR(Light Detection And Ranging)、ミリ波レーダ等のレーダセンサ及び超音波センサのうちのいずれか一つ又は複数のセンサを含んでいてもよい。
 車両位置検出センサ33は、GPS(Global Positioning System)衛星に代表されるGNSS(Global Navigation Satellite System)の測位衛星からの衛星信号を受信する。車両位置検出センサ33は、受信した衛星信号に含まれる車両1の位置情報を運転支援装置50へ送信する。なお、車両位置検出センサ33は、GPSセンサ以外に、車両1の位置を特定する他の衛星システムからの衛星信号を受信するアンテナが備えられていてもよい。
 表示装置43は、運転支援装置50により駆動され、ドライバに視認可能な種々の情報を表示する。表示装置43は、例えばインストルメントパネル内に設けられた表示装置であってもよく、ナビゲーションシステムの表示装置であってもよい。表示装置43が表示パネル等である場合、表示画面が画像表示部に相当する。また、表示装置43は、車両1の周囲の現実空間上に重畳して、ドライバが視認可能な情報をフロントウィンドウ上へ表示するHUD(ヘッドアップディスプレイ)であってもよい。表示装置43がHUDである場合、フロントウィンドウが画像表示部に相当する。
 なお、以下の説明では、表示装置43が、HUDではない、地図データを表示可能な表示装置である場合を例に採って説明する。
 (4-2.運転支援装置)
 続いて、本実施形態に係る運転支援装置50を具体的に説明する。
 (4-2-1.構成例)
 運転支援装置50は、一つ又は複数のCPU等のプロセッサがコンピュータプログラムを実行することで、ドライバによる車両1の運転を支援する装置として機能する。当該コンピュータプログラムは、運転支援装置50が実行すべき後述する動作をプロセッサに実行させるためのコンピュータプログラムである。プロセッサにより実行されるコンピュータプログラムは、運転支援装置50に備えられた記憶部(メモリ)53として機能する記録媒体に記録されていてもよく、運転支援装置50に内蔵された記録媒体又は運転支援装置50に外付け可能な任意の記録媒体に記録されていてもよい。
 コンピュータプログラムを記録する記録媒体としては、ハードディスク、フロッピーディスク及び磁気テープ等の磁気媒体、CD-ROM、DVD、及びBlu-ray(登録商標)等の光記録媒体、フロプティカルディスク等の磁気光媒体、RAM及びROM等の記憶素子、並びにUSBメモリ及びSSD等のフラッシュメモリ、その他のプログラムを格納可能な媒体であってよい。
 図7は、本実施形態に係る運転支援装置50の構成例を示すブロック図である。
 運転支援装置50には、専用線又はCAN(Controller Area Network)やLIN(Local Inter Net)等の通信手段を介して、周囲環境認識装置(前方撮影カメラ31LF,31RF、後方撮影カメラ31R等)31、車両位置検出センサ33、車両制御部41及び表示装置43が接続されている。なお、運転支援装置50は、車両1に搭載された電子制御装置に限られるものではなく、タッチパッドやウェアラブル機器等の端末装置であってもよい。
 運転支援装置50は、通信部51、車車間通信部53、処理部55、記憶部57及び地図データ記憶部59を備えている。処理部55は、CPU等の一つ又は複数のプロセッサや種々の周辺部品を備えて構成される。処理部55の一部又は全部は、ファームウェア等の更新可能なもので構成されてもよく、また、CPU等からの指令によって実行されるプログラムモジュール等であってもよい。
   (通信部)
 通信部51は、情報処理装置110と通信するためのインタフェースである。運転支援装置50は、通信部51を介して情報処理装置110との間で情報の送受信を行う。
   (車車間通信部)
 車車間通信部53は、車両1から所定の距離内に存在する他車両と通信するためのインタフェースである。運転支援装置50は、車車間通信部53を介して他車両との間で情報の送受信を行う。
   (記憶部)
 記憶部57は、処理部55と通信可能に接続された一つ又は複数のRAM又はROM、HDDやCD、DVD、SSD、USBフラッシュ、ストレージ装置等の記憶媒体により構成される。ただし、記憶部57の種類や数は特に限定されない。記憶部57は、処理部55により実行されるコンピュータプログラムや、演算処理に用いられる種々のパラメータ、検出データ、演算結果等の情報を記憶する。記憶部57の一部は、処理部55のワーク領域として使用される。
 本実施形態では、記憶部57は、周囲環境認識装置31を構成する前方撮影カメラ31LF,31RF及び後方撮影カメラ31Rの計測範囲の情報を記憶している。前方撮影カメラ31LF,31RF及び後方撮影カメラ31Rの計測範囲の情報は、例えば車両1の前後方向に対する計測範囲の中心軸の傾きの情報、中心軸を中心とする計測範囲の角度の情報、及び、中心軸に沿った方向の計測範囲の距離の情報を含む。
   (地図データ記憶部)
 地図データ記憶部59は、処理部55と通信可能に接続されたRAM又はROM等の記憶素子、あるいは、HDDやCD、DVD、SSD、USBフラッシュ、ストレージ装置等の記憶媒体により構成される。地図データ記憶部59に記憶される地図データは、車両位置検出センサ33により検出される位置情報に基づいて車両1の位置と関連付け可能に構成されている。例えば地図データは、緯度及び経度の情報に関連付けられており、処理部55は、車両位置検出センサ33により検出される車両1の緯度及び経度の情報に基づいて地図データ上の車両1の位置を特定することができる。
   (処理部)
 処理部55は、通信制御部61、車車間通信制御部63、車両情報取得部65、周囲環境認識処理部67及び表示制御部69を備える。これらの各部の機能は、プロセッサによるコンピュータプログラムの実行により実現される。なお、通信制御部61、車車間通信制御部63、車両情報取得部65、周囲環境認識処理部67及び表示制御部69のうちの一部が、アナログ回路等のハードウェアにより構成されていてもよい。
 通信制御部61は、所定の演算周期で、車両位置検出センサ33から送信される車両1の位置情報を情報処理装置110へ送信する。通信制御部61は、車両1の位置情報と併せて、車両1の移動方向及び移動速度の情報を情報処理装置110へ送信してもよい。また、通信制御部61は、情報処理装置110から送信される路上カメラ150の計測範囲の情報及び計測結果の情報を取得する。
 車車間通信制御部63は、所定の演算周期で、車両1から所定の距離内に存在する他車両と通信し、車両1の位置情報、車両1に搭載された周囲環境認識装置31の計測範囲の情報及び計測結果の情報を他車両へ送信する。周囲環境認識装置31による計測結果の情報は、周囲環境認識処理部67による周囲環境認識処理の結果を示す情報である。周囲環境認識装置31の計測範囲の情報は、あらかじめ記憶部57に記録されている。
 また、車車間通信制御部63は、車両1から所定の距離内に存在する他車両と通信し、他車両の位置、他車両に搭載された周囲環境認識装置の計測範囲の情報及び計測結果の情報を取得する。
 車両情報取得部65は、車両1の走行に関する情報を取得する。車両情報取得部65は、車両位置検出センサ33から送信される車両1の位置情報を取得する。また、車両情報取得部65は、車両1の位置情報の変化に基づいて、車両1の移動方向及び移動速度を算出する。車両情報取得部65は、例えば前回の演算周期で取得した車両1の位置から今回の演算周期で取得した車両1の位置までの距離を、演算周期に相当する単位時間で割ることにより車両1の移動速度を算出することができる。車両情報取得部65は、図示しない車輪速センサあるいは車速センサのセンサ信号に基づいて車両1の移動速度を算出してもよい。
 周囲環境認識処理部67は、車両1に搭載された周囲環境認識装置31から送信された計測データを用いて周囲環境認識処理を実行する。周囲環境認識処理部67は、周囲環境認識処理により車両1の周囲の移動体及び静止物を検出する。周囲環境認識処理部67による処理内容は、後で詳しく説明する。
 表示制御部69は、車両1以外に設けられた環境認識装置の計測範囲の情報及び計測結果の情報を、車両1のドライバが視認可能な情報として地図データ上に重畳して表示装置43に表示させる処理を実行する。車両1以外に設けられた環境認識装置の計測範囲の情報及び計測結果の情報は、情報処理装置110から取得した、路上カメラ150の計測範囲の情報及び計測結果の情報と、他車両から取得した、他車両に搭載された周囲環境認識装置の計測範囲の情報及び計測結果の情報とを含む。
 (4-2-2.処理動作)
 図8は、運転支援装置50の処理部55による処理動作のメインルーチンのフローチャートを示す。図8に示すフローチャートは、本開示の技術の機能が起動された状態において、所定の演算周期で繰り返し実行される。また、以下の説明では、第1の車両1aが支援対象の車両であり、第2の車両1bが他車両である例を説明する。
 第1の車両1aに搭載された運転支援装置50aの処理部55が運転支援装置50aによる支援機能の起動を検知すると(ステップS31)、車両情報取得部65は、車両位置検出センサ33から送信される第1の車両1aの位置情報を取得する(ステップS33)。本開示の技術による支援機能は、第1の車両1aのシステムの起動に伴って起動されてもよく、ドライバ等による入力操作により起動されてもよい。第1の車両1aの位置情報は、例えば緯度及び経度の情報として特定される。
 次いで、車両情報取得部65は、第1の車両1aの移動方向及び移動速度を算出する(ステップS35)。具体的に、車両情報取得部65は、取得した第1の車両1aの位置情報と、前回の演算周期以前に取得した第1の車両1aの位置情報に基づいて、第1の車両1aの移動方向及び移動速度を算出する。第1の車両1aの移動方向は、第1の車両1aの位置情報が示す位置が変化する方向として求められる。第1の車両1aの移動速度は、例えば前回の演算周期で取得した第1の車両1aの位置から今回の演算周期で取得した第1の車両1aの位置までの距離を、演算周期に相当する単位時間で割ることにより求められる。
 ただし、車両情報取得部65は、車輪速センサあるいは車速センサのセンサ信号に基づいて第1の車両1aの移動速度を算出することもできる。また、車両位置検出センサ33から送信される車両1の位置情報に車両1の向きの情報が含まれる場合、車両情報取得部65は、当該情報に基づいて車両1の移動方向を求めてもよい。
 次いで、通信制御部61は、今回の演算周期で取得した第1の車両1aの位置情報、移動方向及び移動速度の情報を情報処理装置110へ送信する(ステップS37)。ここで送信される第1の車両1aの位置情報、移動方向及び移動速度の情報は、図5に示した情報処理装置110の処理動作のステップS23で、情報処理装置110により取得される情報に相当する。
 次いで、通信制御部61は、路上カメラ(環境認識装置)150の計測範囲の情報及び計測結果の情報を、情報処理装置110から取得する(ステップS39)。ここで受信される路上カメラ(環境認識装置)150の計測範囲の情報及び計測結果の情報は、図5に示した情報処理装置110の処理動作のステップS27で、情報処理装置110により送信された情報に相当する。つまり、運転支援装置50aは、第1の車両1aの位置から所定の距離内に存在する路上カメラ150により検出された物体の情報を、路上カメラ150の計測範囲の情報とともに情報処理装置110から取得する。
 次いで、車車間通信制御部63は、車車間通信手段により、当該他車両(第2の車両1b)に搭載された周囲環境認識装置の計測範囲の情報及び計測結果の情報を、他車両(第2の車両1b)から取得する(ステップS41)。つまり、運転支援装置50aは、第1の車両1aから所定の距離内に存在する第2の車両1bと通信を行い、第2の車両1bの周囲環境認識装置により検出された物体の情報を、第2の車両1bの周囲環境認識装置の計測範囲の情報とともに、第2の車両1bの運転支援装置50bから取得する。
 なお、ステップS41で第2の車両1bから取得される認識範囲の情報は、第2の車両1bにおいて実行される周囲環境認識処理の結果として得られる情報である。第2の車両1bは、周囲環境認識処理の結果の情報を、周囲環境認識装置の計測範囲の情報とともに第1の車両1aへ送信する。
 例えば第2の車両1bが第1の車両1aと同様の構成を有する場合、第2の車両1bの運転支援装置50bは、例えば車両1の前後方向に対する前方撮影カメラ31LF,31RF及び後方撮影カメラ31Rの計測範囲の中心軸の傾きの情報、中心軸を中心とする計測範囲の角度の情報、及び、中心軸に沿った方向の計測範囲の距離の情報を、第1の車両1aの運転支援装置50aへ送信する。また、第2の車両1bの運転支援装置50bは、前方撮影カメラ31LF,31RF及び後方撮影カメラ31Rにより検出された物体の計測範囲内での位置、移動方向及び移動速度の情報を、第1の車両1aの運転支援装置50aへ送信する。
 次いで、周囲環境認識処理部67は、第1の車両1aに備えられた周囲環境認識装置31(本実施形態では、前方撮影カメラ31LF,31RF及び後方撮影カメラ31R)から送信される計測データを取得する(ステップS43)。次いで、周囲環境認識処理部67は、取得した計測データを用いて周囲環境認識処理を実行する(ステップS45)。
 図9は、周囲環境認識処理部67による周囲環境認識処理の一例を示すフローチャートである。
 周囲環境認識処理部67は、周囲環境認識装置31から取得した計測データから特徴点を抽出する(ステップS51)。例えば周囲環境認識処理部67は、前方撮影カメラ31LF,31RF及び後方撮影カメラ31Rにより生成された画像データからエッジ検出処理等の技術を利用して特徴点を抽出する。
 次いで、周囲環境認識処理部67は、マッチング処理により、抽出した特徴点と、あらかじめ記憶された種々の物体の特徴点のデータとのマッチング(パターンマッチング処理ともいう)を行い物体を検出するとともに、当該物体の種類及び現実空間上での物体の位置を特定する(ステップS53)。周囲環境認識処理部67は、例えば車両や自転車、歩行者等の移動体、ガードレールや縁石、建造物その他の静止物、及び、走行車線の境界線等を表す特徴点群のデータと抽出した特徴点群とを適合することにより、検出される物体の種類を特定する。また、周囲環境認識処理部67は、計測範囲における物体の位置と、物体までの距離とに基づいて、現実空間上での物体の位置を特定する。
 次いで、周囲環境認識処理部67は、検出した物体の現実空間上での移動方向及び移動速度を算出する(ステップS55)。例えば周囲環境認識処理部67は、今回の演算周期で取得した計測データと、前回以前の演算周期で取得した計測データとを用いて、同一の物体の位置の時間変化に基づいて物体の現実空間上での移動方向及び移動速度を算出する。
 なお、ステップS51及びステップS53において実行される周囲環境認識処理は従来公知の技術を利用して実行されればよく、特に限定されるものではない。例えば周囲環境認識装置の一つがLiDARである場合、計測データの情報は計測点の速度の情報を含むため、周囲環境認識処理部67による移動速度を算出する処理は省略されてもよい。
 次いで、周囲環境認識処理部67は、検出した物体の種類、位置、移動方向及び移動速度の情報を、計測結果の情報として時刻のデータとともに記憶部57に記録する(ステップS57)。
 次いで、周囲環境認識処理部67は、第1の車両1aと車車間通信を行う他車両(第2の車両1b)が存在するか否かを判定する(ステップS59)。例えば周囲環境認識処理部67は、車車間通信制御部63が車車間通信を行っている他車両が存在するか否かを判定する。周囲環境認識処理部67は、車車間通信を行う他車両が存在すると判定しない場合(S59/No)、周囲環境認識処理を終了する。
 一方、周囲環境認識処理部67は、車車間通信を行う他車両が存在すると判定した場合(S59/Yes)、車車間通信制御部63に、あらかじめ記憶部57に記録されている周囲環境認識装置31の検出範囲の情報と、ステップS57で記憶部57に記録した検出結果の情報とを他車両に送信させる。ここで送信される検出範囲の情報及び検出結果の情報は、支援対象の車両が図8に示すフローチャートのステップS41で取得する情報に相当する。周囲環境認識処理部67は、検出範囲の情報及び検出結果の情報を他車両に送信させた後、周囲環境認識処理を終了する。
 図8に戻り、次いで、表示制御部69は、情報処理装置110から取得した、路上カメラ150の計測範囲の情報及び計測結果の情報、及び、他車両から取得した、他車両の周囲環境認識装置の計測範囲の情報及び計測結果の情報を、第1の車両1aのドライバが視認可能な情報として、地図データ上に重畳して表示装置43に表示させる表示処理を実行する(ステップS47)。
 本実施形態において、運転支援装置50aが計測範囲の情報及び計測結果の情報を取得する対象の環境認識装置は、位置が移動する環境認識装置と、位置が移動しない環境認識装置とを含む。具体的に、路上カメラ150は、設置位置が固定された環境認識装置であり、他車両の周囲環境認識装置は、位置が移動する環境認識装置である。
 以下、表示制御部69による表示処理を、位置が移動しない環境認識装置の計測範囲の情報及び計測結果の情報を表示させる第1の表示処理と、位置が移動する環境認識装置の計測範囲の情報及び計測結果の情報を表示させる第2の表示処理とに分けて説明する。ただし、表示制御部69は、第1の表示処理及び第2の表示処理のいずれかを実行してもよく、両方を同時に実行してもよい。
 まず、第1の表示処理を説明する。第1の表示処理は、環境認識装置の現実空間での計測範囲が変化しない場合の処理である。
 図10は、表示制御部69による第1の表示処理のフローチャートを示す。
 表示制御部69は、記憶部57に記録されている、情報処理装置110から取得した路上カメラ150の計測範囲及び計測結果の情報を読み出す(ステップS71)。
 次いで、表示制御部69は、路上カメラ150の計測範囲及び計測結果の情報と、第1の車両1aの位置及び移動方向の情報とに基づいて、第1の車両1aの移動方向の前方に向かっている移動体が存在しているか否かを判定する(ステップS73)。具体的に、表示制御部69は、第1の車両1a及び検出されている移動体の位置情報(緯度及び経度)に応じて、第1の車両1a及び移動体を地図データ上にマッピングする。また、表示制御部69は、第1の車両1a及び移動体の移動方向の情報(地図データ上のベクトル)に基づいて、第1の車両1aが走行中の道路の前方に向かって移動する移動体が存在するか否かを判定する。
 表示制御部69は、第1の車両1aの移動方向又は移動速度の少なくともいずれか一方に基づいて、移動体が存在するか否かを判定するエリアを制限してもよい。また、表示制御部69は、移動体の移動方向及び移動速度から推定される軌跡と、第1の車両1aの移動方向及び移動速度から推定される軌跡とに基づいて、第1の車両1aに衝突あるいは接近するおそれのない移動体については、判定対象から除外してもよい。
 表示制御部69は、第1の車両1aの移動方向の前方に向かっている移動体が存在していると判定した場合(S73/Yes)、検出されている移動体を、現実空間上の検出位置に合わせて地図データ上に重畳表示させる(ステップS75)。また、表示制御部69は、第1の車両1aの周囲環境認識装置31の計測範囲及び路上カメラ150の計測範囲を地図データ上に重畳表示させる(ステップS77)。表示制御部69は、情報処理装置110から取得した路上カメラ150の計測範囲及び計測結果に含まれる位置情報と、第1の車両1aの周囲環境認識装置31の計測範囲及び計測結果に含まれる位置情報とをそれぞれ緯度及び経度の情報に変換し、地図データ上に重畳表示させる。
 図11~図12は、第1の表示処理の作用を説明するために示す図である。
 図11は、第1の車両1aが走行する第1の道路141に第2の道路143が交差し、第1の車両1aの位置からは、第1の道路141と第2の道路143との交差点を曲がった先の第2の道路143が死角領域121a,121bとなっている走行シーンを示している。なお、図11は、表示装置43による表示の内容を示すものではない。
 図11において、第1の車両1aが走行する第1の道路141との間に一区画を挟んだ第3の道路145と第2の道路143とが交差する地点に、計測方向を第1の道路141の方に向けた路上カメラ150が設置されている。路上カメラ150に近い死角領域121aは、路上カメラ150の計測範囲153に含まれる一方、死角領域121bは路上カメラ150の計測範囲153の外となっている。
 この状況において、第2の道路143の図示の上側から下側へ、車車間通信手段を持たない第1の他車両90が通過するとする。このとき、路上カメラ150の計測結果の情報を取得した第1の車両1aは、第1の他車両90の存在をドライバに通知する。したがって、ドライバは、第1の他車両90が交差点を通過することを事前に認識することができる。しかし、第1の他車両90が交差点を通過した後、第2の道路143の図示の下側から上側へ通過する第2の他車両が存在する場合、路上カメラ150は当該第2の他車両を検出しないため、第1の車両1aは、第2の他車両の存在を通知しない。このため、ドライバは、第1の他車両90が通過した後にさらなる他車両の通過は無いものと思い込み、確認あるいは回避行動が不十分なままで交差点に進入するおそれがある。
 図12は、第1の表示処理による表示の内容を示す説明図である。図12は、図11に示す状況において検出されている第1の他車両90、第1の車両1aの周囲環境認識装置31の計測範囲125及び路上カメラ150の計測範囲153の情報を地図データ上に重畳表示させた例を示す。
 表示制御部69は、情報処理装置110を介して取得される、路上カメラ150の計測結果の情報に基づいて特定される第1の他車両90を示す情報を、地図データ上の検出位置に重畳表示させる。また、表示制御部69は、第1の車両1aの計測範囲125を示す情報及び路上カメラ150の計測範囲153を示す情報を、地図データ上に重畳表示させる。図12に示した例では、地図データの全範囲が灰色の透過表示とされ、第1の車両1aの計測範囲125及び路上カメラ150の計測範囲153が白抜きで表示されている。
 これにより、第1の車両1aのドライバは、情報処理装置110から取得した路上カメラ150の計測結果の情報及び第1の車両1aの周囲環境認識装置31の計測結果の情報が、どの領域をカバーしているか容易に理解することができる。したがって、運転支援装置50aが表示する移動体の有無の情報に対するドライバの信頼度を高めることができる。
 また、ドライバに、検出されている移動体に注意を促すだけでなく、路上カメラ150や周囲環境認識装置31によって計測されていない領域に対しても注意を促すことができる。したがって、ドライバは、第1の他車両90が通過した後であっても、路上カメラ150の計測範囲153の外から別の他車両が交差点に進入する可能性に注意を払うことができる。
 なお、図12に示した例では、諸元上、第1の車両1aの計測範囲125及び路上カメラ150の計測範囲153に入る領域であっても、車両又は歩行者等が通過できない領域は、灰色の透過表示とされている。これにより、ドライバは、他車両や自転車、歩行者等の移動体が移動可能な領域のうち、第1の車両1a及び路上カメラ150により計測されている範囲を容易に理解することができる。
 地図データ上に重畳表示させる移動体の情報は、移動体の種類を判別可能な情報であれば図形、文字又はアイコンのいずれであってもよい。あるいは、地図データ上に重畳表示させる移動体の情報は、路上カメラ150により撮影された移動体の画像であってもよい。
 また、路上カメラ150の計測範囲153及び周囲環境認識装置31の計測範囲125の情報は、計測範囲外の領域と区別可能な表示であれば特に限定されるものではない。例えば表示制御部69は、路上カメラ150の計測範囲153及び周囲環境認識装置31の計測範囲125をその他の領域と異なる色を付して表示させてもよい。また、表示制御部69は、路上カメラ150の計測範囲153及び周囲環境認識装置31の計測範囲125を鮮明な表示とし、その他の領域を不鮮明な表示としてもよい。
 図10に戻り、表示制御部69は、第1の車両1aの移動方向の前方に向かっている移動体が存在していると判定しない場合(S73/No)、前回の演算周期以前に第1の車両1aの移動方向の前方に向かっている移動体が検出されていたか否かを判定する(ステップS79)。つまり、表示制御部69は、前回の演算周期まで検出されていたものの、今回の演算周期では検出されなくなった移動体が存在するか否かを判定する。
 表示制御部69は、前回の演算周期以前に移動体が検出されていたと判定しない場合(S79/No)、ステップS77へ進み、第1の車両1aの周囲環境認識装置31の計測範囲及び路上カメラ150の計測範囲を地図データ上に重畳表示させる(ステップS77)。表示制御部69は、情報処理装置110から取得した路上カメラ150の計測範囲及び計測結果に含まれる位置情報と、第1の車両1aの周囲環境認識装置31の計測範囲及び計測結果に含まれる位置情報とをそれぞれ緯度及び経度の情報に変換し、地図データ上に重畳表示させる。これにより、ドライバは、少なくとも路上カメラ150の計測範囲内には移動体が存在しないこと、及び、路上カメラ150の計測範囲外では移動体の有無が不明であることを理解することができる。
 一方、表示制御部69は、前回の演算周期以前に第1の車両1aの移動方向の前方に向かっている移動体が検出されていたと判定した場合(S79/Yes)、当該移動体が存在すると推定される移動範囲を演算する(ステップS81)。表示制御部69は、前回の演算周期以前において取得された路上カメラ150の計測結果の情報に含まれていた移動体の移動方向及び移動速度の情報に基づいて、当該移動体が最後に検出されてから今回の演算周期までの移動方向及び移動距離を求め、当該移動体の位置を推定する。
 次いで、表示制御部69は、地図データ上の推定位置に移動体を重畳表示させる(ステップS83)。また、表示制御部69は、第1の車両1aの周囲環境認識装置31の計測範囲及び路上カメラ150の計測範囲を地図データ上に重畳表示させる(ステップS77)。表示制御部69は、情報処理装置110から取得した路上カメラ150の計測範囲及び計測結果に含まれる位置情報と、第1の車両1aの周囲環境認識装置31の計測範囲及び計測結果に含まれる位置情報とをそれぞれ緯度及び経度の情報に変換し、地図データ上に重畳表示させる。
 また、表示制御部69は、表示される移動体の位置が推定した移動範囲であることをドライバに理解させるために、また、推定した移動範囲と実際の位置とのずれを考慮して、移動体が実際に検出されている場合の表示と異なる態様で重畳表示させる。例えば表示制御部69は、移動体の色を異ならせてもよく、輪郭をあいまいに表示させてもよく、点滅表示させてもよく、輪郭を拡大表示させてもよい。
 このとき、表示制御部69は、移動体の表示を漸次変化させてもよい。例えば表示制御部69は、移動体が最後に検出されたときの移動体の位置、移動速度及び移動方向の情報に基づいて、当該移動体が最後に検出されたときの位置から第1の車両1aの移動方向の前方に進入する位置に到達するまでの所要時間を算出する。具体的には、表示制御部69は、当該移動体が最後に検出されたときの位置から第1の車両1aの移動方向の前方に進入する位置までの距離を、移動速度で割ることで、上記の所要時間を算出する。表示制御部69は、算出した所要時間を100(%)として、移動体が検出されなくなってからの経過時間の割合(%)に応じて、移動体の表示を漸次変化させる。
 例えば表示制御部69は、移動体の表示を黄色から赤色へと遷移させてもよく、移動体を表示する輪郭線を「濃い色の細線」から「淡い色の太線」へと遷移させてもよい。これにより、移動体が路上カメラ150の計測範囲153から外れた後においても、移動体が検出されなくなってからの時間経過に伴って移動体の推定位置が不確かに表示され、第1の車両1aのドライバに対して、当該移動体が第1の車両1aの前方に接近していることを意識させることができる。
 図13は、図12に示した状態の次の演算周期で、検出されていた第1の他車両90が検出されなくなった状況を示す説明図である。図13に示した例では、検出されなくなった第1の他車両90を示す情報が、図12に示した第1の他車両90を示す情報よりも拡大されて漸次変化するとともに、輪郭を点線で曖昧に表示されている。このため、ドライバは、第1の他車両90が路上カメラ150により検出されなくなったものの、第1の他車両90が存在する可能性の高い位置を知ることができる。したがって、ドライバに、引き続き当該第1の他車両90にも注意を払わせることができる。
 なお、図13において、設置位置が固定されている路上カメラ150の計測範囲153の表示は図12の計測範囲153の表示と変わらない一方、第1の車両1aとともに移動する周囲環境認識装置31の計測範囲125の表示は、図12の計測範囲125の表示から変化している。
 表示制御部69は、以上のようにして、位置が移動しない環境認識装置(路上カメラ150)の計測範囲の情報及び計測結果の情報を表示させる第1の表示処理を実行する。第1の表示処理では、表示制御部69は、位置が移動しない路上カメラ150の計測範囲を地図データ上に重畳して表示させるとともに、当該計測範囲において路上カメラ150により検出された移動体を地図データ上に重畳して表示させる。また、表示制御部69は、検出されていた移動体が検出されなくなった場合においても、当該移動体の移動範囲を地図データ上に重畳して表示させる。また、第1の表示処理では、表示制御部69は、第1の車両1aの周囲環境認識装置31の計測範囲及び計測結果を地図データ上に重畳して表示させる。
 続いて、第2の表示処理を説明する。第2の表示処理は、環境認識装置の現実空間での計測範囲が変化する場合の処理である。
 図14は、表示制御部69による第2の表示処理のフローチャートを示す。
 表示制御部69は、記憶部57に記録されている、他車両(第2の車両1b)から取得した周囲環境計測装置の計測範囲及び計測結果の情報(以下、「第2の車両の計測範囲」あるいは「第2の車両による計測結果」ともいう)を読み出す(ステップS91)。
 次いで、表示制御部69は、第2の車両1bの計測範囲及び計測結果の情報と、第1の車両1aの位置及び移動方向の情報とに基づいて、第1の車両1aの移動方向の前方に向かっている移動体が存在しているか否かを判定する(ステップS93)。具体的に、表示制御部69は、第1の表示処理のステップS73の処理と同様の手順で、第1の車両1aの移動方向の前方に向かっている移動体が存在しているか否かを判定する。
 表示制御部69は、第1の車両1aの移動方向の前方に向かっている移動体が存在していると判定した場合(S93/Yes)、検出されている移動体を、現実空間上の検出位置に合わせて地図データ上に重畳表示させる(ステップS95)。表示制御部69は、第2の車両1bから取得した周囲環境認識装置の計測範囲及び計測結果に含まれる位置情報と、第1の車両1aの周囲環境認識装置31の計測範囲及び計測結果に含まれる位置情報とをそれぞれ緯度及び経度の情報に変換し、地図データ上に重畳表示させる。
 また、表示制御部69は、第1の車両1aの周囲環境認識装置31の計測範囲及び第2の車両1bの周囲環境認識装置の計測範囲を地図データ上に重畳表示させる(ステップS97)。このとき、表示制御部69は、例えば前回以前の演算周期から今回の演算周期までの第2の車両1bの周囲環境認識装置の計測範囲を地図データ上に重畳表示させる。
 図15~図21は、第2の表示処理の作用を説明するために示す図である。図15~図17は、本開示の技術を適用しない場合の課題を説明するための図を示している。なお、図15~図17は、表示装置43による表示の内容を示すものではない。
 図15に示すように、第1の車両1aに先行して第2の車両1bが第1の道路141を走行している場合、第2の車両1bが、第1の道路141と第2の道路143との交差点を通過する時刻t1に、第2の道路143の死角領域121a,121bが第2の車両1bに備えられた周囲環境認識装置の計測範囲123aに入る。このため、この時刻t1での第2の車両1bの計測結果の情報を取得した第1の車両1aの運転支援装置50aは、死角領域121a,121bに移動体が存在しないことを認識することができる。
 一方、図16~図17に示すように、時間が経過した時刻t2,t3では、第2の車両1bが第1の道路141と第2の道路143との交差点から離れるため、死角領域121a,121bが計測範囲123b,123cの外となる。このため、時刻t2,t3での第2の車両1bの計測結果の情報を取得した第1の車両1aの運転支援装置50aは、死角領域121a,121bに移動体が存在するかしないかを認識することができない。ただし、このケースでは、時刻t1以降に死角領域121a,121bへ他の移動体が進入する可能性がある。それにもかかわらず、第1の車両1aのドライバが、時刻t1において死角領域121a,121bに移動体が存在することの通知を受けていない場合、死角領域121a,121bに注意を払うことなく第1の道路141と第2の道路143との交差点を通過するおそれがある。したがって、第1の車両1aが当該交差点を通過する際に死角領域121a,121bから移動体が現れたときに、衝突を回避することができないおそれがある。
 図18~図21は、表示制御部69による第2の表示処理を示す説明図であり、第1の車両1aの周囲環境認識装置31の計測範囲125a~125c及び第2の車両1bの周囲環境認識装置の計測範囲123a~123dの情報を地図データ上に重畳表示させた例を示す説明図である。図18~図20は、それぞれ図15~図17に示した時刻t1~t3における表示の内容を示し、図21は、さらに時間が経過した時刻t4における表示の内容を示す。
 表示制御部69は、第2の車両1bから取得される、第2の車両1bの計測結果の情報に基づいて特定される移動体を示す情報を、地図データ上の検出位置に重畳表示させる。ただし、図18~図21に示した例では、第2の車両1bの周囲環境認識装置によって移動体は検出されていないため、移動体は表示されていない。
 また、図18に示すように、表示制御部69は、時刻t1において、第1の道路141と第2の道路143との交差点を通過する第2の車両1bの運転支援装置50bから取得した第2の車両1bの計測範囲123aを示す情報を、地図データ上に重畳表示させる。図18に示した例では、地図データの全範囲が灰色の透過表示とされ、第2の車両1bの計測範囲123aが白抜きで表示されている。時刻t1において、第1の車両1aのドライバは、表示されている第2の車両1bの計測範囲123aの情報と、移動体の表示がないことから、この後に通過する交差点の死角領域121に移動体が存在しないことを認識する。
 図19~図21に示すように、表示制御部69は、時刻t2~t4において、第2の車両1bの運転支援装置50bから取得した第2の車両1bの計測範囲123b~123dを示す情報を、地図データ上にそれぞれ重畳表示させる。このとき、表示制御部69は、それぞれの時刻t2~t4で取得した最新の計測範囲123b~123dを示す情報を白抜きで表示する。
 また、表示制御部69は、それぞれの時刻t2~t4において、前回以前の時刻に取得した計測範囲123a~123cを示す情報を併せて表示する。このとき、表示制御部69は、時刻を遡るにしたがって、白抜きの表示から灰色の表示へと順次移り変わるように表示を変化させる。つまり、表示制御部69は、計測範囲123から外れた非計測範囲の表示を、時間の経過にしたがって非計測範囲の表示へと遷移させる。
 したがって、第1の車両1aのドライバは、第2の車両1bの計測範囲123a~123dの変化とともに第2の車両1bの計測結果の情報を認識することができる。このため、それぞれの時刻t1~t4における、第2の車両1bによる計測結果だけでなく、過去の時刻における、第2の車両1bによる計測結果を同時に認識することができる。その結果、第1の車両1aのドライバは、第2の車両1bが交差点を通過した後であっても、当該交差点に他車両が進入する可能性が低いと考えて回避行動を判断することができる。
 表示制御部69は、過去の計測範囲を計測範囲外の領域と同じ表示(上記の例では灰色の表示)に戻すまでの設定時間を、第2の車両1bに備えられた周囲環境認識装置の認識性能に基づいて決定してもよい。つまり、表示される前回以前の演算周期の計測範囲の数は、周囲環境認識装置の認識性能に基づいて決定されてよい。
 例えば図18~図21に示した例において、第2の車両1bの横方向の計測範囲が50mであるとし、第2の道路143の制限速度が30km/時であるとすると、表示制御部69は、第2の道路143から40km/時で他車両が進入すると仮定して、上記の設定時間を4秒(50m÷40km/時×3.6=4.5の小数点以下を切り捨て)としてもよい。これにより、他車両が交差点に進入する4秒以内に当該交差点に進入した場合、第1の車両1aのドライバが、過去の計測結果の情報に基づいて不必要な回避行動(完全な停車など)を行うことを避けることができる。
 なお、図18~図21に示した例においても、諸元上、第1の車両1aの計測範囲125及び第2の車両1bの周囲環境認識装置の計測範囲123に入る領域であっても、車両又は歩行者等が通過できない領域は、灰色の透過表示とされている。また、地図データ上に重畳表示させる移動体の情報は、移動体の種類を判別可能な情報であれば図形、文字又はアイコンのいずれであってもよい。あるいは、地図データ上に重畳表示させる移動体の情報は、第2の車両1bにより撮影された移動体の画像であってもよい。
 図14に戻り、表示制御部69は、第1の車両1aの移動方向の前方に向かっている移動体が存在していると判定しない場合(S93/No)、前回の演算周期以前に移動体が検出されていたか否かを判定する(ステップS99)。つまり、表示制御部69は、前回の演算周期まで検出されていたものの、今回の演算周期では検出されなくなった移動体が存在するか否かを判定する。
 表示制御部69は、前回の演算周期以前に移動体が検出されていたと判定しない場合(S99/No)、ステップS97へ進み、第1の車両1aの周囲環境認識装置31の計測範囲125及び第2の車両1bの周囲環境認識装置の計測範囲123を地図データ上に重畳表示させる(ステップS97)。表示制御部69は、第2の車両1bから取得した周囲環境認識装置の計測範囲及び計測結果に含まれる位置情報と、第1の車両1aの周囲環境認識装置31の計測範囲及び計測結果に含まれる位置情報とをそれぞれ緯度及び経度の情報に変換し、地図データ上に重畳表示させる。
 また、表示制御部69は、例えば前回以前の演算周期から今回の演算周期までの第2の車両1bの周囲環境認識装置の計測範囲を地図データ上に重畳表示させる。これにより、ドライバは、少なくとも第2の車両1bの計測範囲123には移動体が存在しないこと、及び、第2の車両1bの計測範囲123の外では移動体の有無が不明であることを理解することができる。
 一方、表示制御部69は、前回の演算周期以前に移動体が検出されていたと判定した場合(S99/Yes)、当該移動体が存在すると推定される移動範囲を演算する(ステップS101)。表示制御部69は、前回の演算周期以前において取得された第2の車両1bの計測結果の情報に含まれていた移動体の移動方向及び移動速度の情報に基づいて、当該移動体が最後に検出されてから今回の演算周期までの移動方向及び移動距離を求め、当該移動体の移動範囲を推定する。
 次いで、表示制御部69は、地図データ上に移動体の移動範囲を重畳表示させる(ステップS103)。また、表示制御部69は、第1の車両1aの周囲環境認識装置31の計測範囲125及び第2の車両1bの計測範囲123を地図データ上に重畳表示させる(ステップS97)。表示制御部69は、第2の車両1bから取得した周囲環境認識装置の計測範囲及び計測結果に含まれる位置情報と、第1の車両1aの周囲環境認識装置31の計測範囲及び計測結果に含まれる位置情報とをそれぞれ緯度及び経度の情報に変換し、地図データ上に重畳表示させる。
 このとき、表示制御部69は、例えば前回以前の演算周期から今回の演算周期までの第2の車両1bの周囲環境認識装置の計測範囲を地図データ上に重畳表示させる。また、表示制御部69は、表示される移動体の位置が推定した移動範囲であることをドライバに理解させるために、また、推定した移動範囲と実際の位置とのずれを考慮して、移動体が実際に検出されている場合の表示と異なる態様で重畳表示させる。例えば表示制御部69は、移動体の色を異ならせてもよく、輪郭をあいまいに表示させてもよく、点滅表示させてもよく、輪郭を拡大表示させてもよい。このとき、表示制御部69は、第1の表示処理と同様に、移動体の表示を漸次変化させてもよい。
 図22~図25は、図18~図21に示した状況で、時刻t1(図22)では第2の車両1bにより歩行者127が検出されていたものの、以降の時刻t2以降(図23~図25)では歩行者127が検出されなくなった場合の表示の例を示す。
 図23~図25に示した例では、検出されなくなった歩行者127を示す情報が、図22に示した歩行者127を示す情報よりも拡大されるとともに、輪郭を点線で曖昧に表示されている。また、歩行者127の移動範囲は、時間の経過とともに広がることから、表示される歩行者127を示す情報の大きさは時間の経過とともに拡大されて漸次変化する。このため、第1の車両1aのドライバは、歩行者127が第2の車両1bにより検出されなくなったものの、歩行者127が存在する可能性の高い位置を知ることができる。したがって、ドライバに、引き続き当該歩行者127にも注意を払わせることができる。
 表示制御部69は、以上のようにして、位置が移動する環境認識装置(第2の車両1bの周囲環境認識装置)の計測範囲の情報及び計測結果の情報を表示させる第2の表示処理を実行する。第2の表示処理では、表示制御部69は、第2の車両1bの計測範囲123を地図データ上に重畳して表示させるとともに、当該計測範囲123において路上カメラ150により検出された移動体を地図データ上に重畳して表示させる。また、表示制御部69は、前回以前の演算周期に取得した第2の車両1bの計測範囲も併せて地図データ上に重畳して表示させる。また、表示制御部69は、検出されていた移動体が検出されなくなった場合においても、当該移動体の移動範囲を地図データ上に重畳して表示させる。また、第2の表示処理では、表示制御部69は、第1の車両1aの周囲環境認識装置31の計測範囲及び計測結果を地図データ上に重畳して表示させる。
 図8に戻り、ステップS47において、表示制御部69が、第1の表示処理及び第2の表示処理のいずれか一方又は両方の処理を実行した後、処理部55は、運転支援装置50aによる支援機能の起動が停止されたか否かを判定する(ステップS49)。処理部55は、支援機能の起動が停止されたと判定しない場合(S49/No)、ステップS33に戻って、ここまでに説明した各ステップの処理の実行を繰り返す。一方、処理部55は、支援機能の起動が停止されたと判定した場合(S49/Yes)、一連の処理を終了させる。
 以上説明したように、本実施形態に係る運転支援装置50aは、支援対象の第1の車両1a以外に設けられた環境認識装置(路上カメラ150及び第2の車両1bの周囲環境認識装置)から、計測範囲123,153の情報と計測結果の情報とを取得する。また、運転支援装置50aは、第1の車両1aのドライバが視認可能な計測範囲123,153の情報及び検出された移動体の情報を地図データ上に重畳して表示させる。
 これにより、支援対象の第1の車両1aのドライバは、第1の車両1a以外の環境認識装置による移動体の有無だけでなく、環境認識装置の計測範囲を認識することができる。したがって、運転支援装置50aが表示する移動体の有無の情報に対するドライバの信頼度を高めることができる。その結果、第1の車両1aのドライバに、運転支援装置50aが実行する運転支援により期待される回避行動を行わせるように誘導することができる。
 また、本実施形態に係る運転支援装置50aは、支援対象の第1の車両1aに備えられた周囲環境認識装置31の計測範囲125の情報及び検出された移動体の情報を地図データ上に重畳して表示させる。これにより、支援対象の第1の車両1aのドライバは、第1の車両1aの周囲環境認識装置31の計測範囲及び計測結果を認識することができ、第1の車両1aのドライバに、運転支援装置50aが実行する運転支援により期待される回避行動を行わせるように誘導することができる。
 また、本実施形態に係る運転支援装置50aは、第1の車両1a以外の環境認識装置の現実空間での計測範囲が変化する場合、計測範囲から外れた非計測範囲の表示を、時間の経過にしたがって非計測範囲の表示へと遷移させる。これにより、第1の車両1aのドライバは、過去の時刻における、第2の車両1bによる計測結果を同時に認識することができ、計測範囲から外れた領域での過去の移動体の有無を考慮した回避行動を判断することができる。
 また、本実施形態に係る運転支援装置50aは、第1の車両1a以外の環境認識装置により検出されていた移動体が検出されなくなった後においても、移動体の表示を継続させる。これにより、第1の車両1aから認識されない移動体が第1の車両1a以外の環境認識装置により計測されなくなった場合であっても、第1の車両1aのドライバに、引き続き当該移動体に注意を払わせることができる。
 また、本実施形態に係る運転支援装置50aは、第1の車両1a以外の環境認識装置により検出された移動体が第1の車両1aの移動方向の前方の領域へ移動している場合、当該移動体が検出されなくなった後に移動体の表示を漸次変化させる。これにより、第1の車両1aから認識されない移動体が第1の車両1a以外の環境認識装置により計測されなくなった場合であっても、第1の車両1aのドライバは、当該移動体が存在する可能性が高い位置を知ることができ、適切な回避行動を判断することができる。
 また、本実施形態に係る運転支援装置50aは、第1の車両1a以外の環境認識装置により移動体が検出されなくなった後、検出されていた移動体の位置及び移動速度に基づいて移動体の移動範囲を推定し、想定される移動体の存在範囲を表示させる。これにより、第1の車両1aのドライバに、移動体が存在し得る範囲を想定した回避行動を判断させることができる。
 なお、上記実施形態の説明においては、表示制御部69が、路上カメラ150の計測範囲が変わらない場合に第1の表示処理を実行する例を説明した。ただし、例えば路上カメラ150の撮影方向が変化し、路上カメラ150の計測範囲が変化する場合には、表示制御部69は、路上カメラ150の計測範囲の情報及び計測結果の情報を用いて第2の表示処理を実行する。これにより、路上カメラ150の計測範囲が変化する場合であっても、第1の車両1aのドライバに、それぞれの時刻での計測範囲及び計測結果の情報に基づいて適切な運転行動を判断させることができる。
 <5.その他の実施の形態>
 ここまで、本開示の一実施形態の運転支援装置を説明したが、上記実施形態は、種々の変形が可能である。以下、変形例の幾つかを説明する。
 (5-1.第1の変形例)
 運転支援装置50aの表示制御部69は、第1の車両1a以外の環境認識装置によって検出されていた移動体が検出されなくなる直前に、当該移動体が停止し、又は、第1の車両1aの移動方向の前方の領域から遠ざかる方向へ移動していた場合、当該移動体が環境認識装置により検出されなくなる直前の位置での移動体の表示を継続させてもよい。
 図26は、第1の変形例に係る運転支援装置の表示制御部による表示処理に適用されるフローチャートを示す。図26に示したフローチャートは、図10に示す第1の表示処理のステップS79が否定判定された後、及び、図14に示す第2の表示処理のステップS99が否定判定された後に実行される。
 表示制御部69は、ステップS79又はステップS99が否定判定された場合(S79/No又はS99/No)、表示制御部69は、前回の演算周期以前に、停止又は第1の車両1aの移動方向の前方から遠ざかる方向へ移動していた移動体が存在したか否かを判定する(ステップS111)。
 表示制御部69は、ステップS111を否定判定した場合(S111/No)、図10のステップS77、又は、図14のステップS97へ進んで、第1の車両1aの周囲環境認識装置31の計測範囲及び第1の車両1a以外の環境認識装置の計測範囲を表示させる。一方、表示制御部69は、ステップS111を肯定判定した場合(S111/Yes)、表示制御部69は、停止又は上記の遠ざかる方向へ移動していた移動体が検出されなくなる直前に検出されていた位置で、地図データ上に移動体の表示を継続させる(ステップS113)。その後、表示制御部69は、図10のステップS77、又は、図14のステップS97へ進んで、第1の車両1aの周囲環境認識装置31の計測範囲及び第1の車両1a以外の環境認識装置の計測範囲を表示させる。
 第1の変形例に係る表示処理では、表示制御部69は、停止又は第1の車両1aの移動方向の前方の領域から遠ざかる方向へ移動していた移動体が検出されなくなった場合であっても、最後に移動体が検出されていた位置に当該移動体の表示を維持する。このため、第1の車両1aのドライバは、過去に第1の車両1aと衝突するおそれのなかった移動体が存在した位置を認識することができ、当該移動体が第1の車両1a以外の環境認識装置の計測範囲から外れた後に移動することを考慮しながら、回避行動を判断することができる。
 (5-2.第2の変形例)
 上記の実施の形態では、表示制御部69は、地図データ上に、ドライバが視認可能な情報を重畳表示していたが、現実空間上に、ドライバが視認可能な情報を重畳表示してもよい。第2の変形例では、例えば車両1は、表示装置43として、フロントウィンドウに表示を行うヘッドアップディスプレイを備える。
 周囲環境認識処理部67は、車内撮影カメラから送信される画像データに基づいて検出された、現実空間でのドライバの目の位置及び視線の向きの情報を取得し、現実空間でのドライバの目の位置及び視線の向きの情報と、周囲環境認識装置31による計測結果の情報とに基づいて、ドライバから見た死角領域を求める。例えば周囲環境認識処理部67は、ドライバから見て、周囲環境認識装置31により検出された立体物の奥側の領域を死角領域として設定する。ドライバの目の位置及び視線の向きは、例えばパターンマッチング処理により検出することができる。死角領域を求める手法は特に限定されるものではない。
 また、表示制御部69は、現実空間でのドライバの目の位置及び視線の向きの情報を取得し、ドライバの目の位置及び視線の向きの情報と、周囲環境認識装置31による計測結果の情報とに基づいて、ドライバからフロントウィンドウ越しに見える風景を特定する。また、表示制御部69は、ドライバからフロントウィンドウ越しに見える風景の情報と、死角領域の情報と、第1の車両1a以外の環境認識装置の計測範囲の情報及び計測結果の情報とに基づいて表示装置43を駆動し、第1の車両1a以外の環境認識装置の計測範囲の情報及び計測結果の情報を現実空間上に重畳表示させる。
 図27~図29は、第2の変形例による表示処理を示す説明図である。図27~図29は、第1の車両1aと車車間通信可能な先行車両171が、第1の車両1aの前方を走行する状況を時系列(時刻t11~t13)で示している。
 それぞれの時刻t11~t13において、表示制御部69は、第1の車両1aの周囲環境認識装置31による計測結果の情報と、ドライバの目の位置及び視線の向きの情報とに基づいて、ドライバからフロントウィンドウ177越しに見える風景を特定する。また、表示制御部69は、ドライバから見た死角領域の情報を取得し、先行車両171から取得した周囲環境認識装置の計測範囲の情報及び計測結果の情報に基づいて、当該死角領域における計測範囲173及び検出された移動体を算出する。
 表示制御部69は、表示装置43を駆動し、ドライバから視認可能な計測範囲173a~173cの情報及び移動体(図示した例では歩行者)175a~175cの情報を現実空間上に重畳して表示させる。表示装置43を駆動して所定の情報を現実空間上に重畳して表示させる手法は、公知の技術により行われてよいため、詳細な説明は省略する。
 図示した例では、表示制御部69は、前回以前の演算周期から今回の演算周期までの先行車両171の計測範囲173a~175cを現実空間上に重畳表示させている。例えば表示制御部69は、前方を見ているドライバが周辺視でも気づきやすいように、色違いで透明表示させる。これにより、ドライバに、周辺視であっても計測範囲の遷移を把握させやすくなり、前方注視等の安全確認から過度に注意資源を消費させることなく情報を提供することができる。
 また、図示した例では、表示制御部69は、検出されていた移動体が先行車両171の計測範囲から外れた場合であっても、当該移動体が最後に検出されたときの位置から第1の車両1aの移動方向の前方に進入する位置に到達するまでの所要時間を100(%)として、移動体が検出されなくなってからの経過時間の割合(%)に応じて、移動体の表示を漸次変化させている。これにより、移動体が先行車両171の計測範囲173から外れた後においても、移動体が検出されなくなってからの時間経過に伴って移動体の推定位置が不確かに表示され、第1の車両1aのドライバに対して、当該移動体が第1の車両1aの前方に接近していることを意識させることができる。
 なお、第2の変形例では、現実空間上に所定の情報を重畳表示させているが、現実空間を撮影した撮像画像上に所定の情報を重畳して、表示パネルやフロントウィンドウ等に表示させてもよい。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば上記実施形態において、運転支援装置は、表示の手段によってドライバに所定の情報を提供し、ドライバに適切な運転行動を判断させていたが、本開示の技術は上記の例に限定されない。例えば運転支援装置は、支援対象の車両以外の環境認識装置の計測範囲の情報及び計測結果の情報に基づいて、警告を通知したり、車両制御による運転支援あるいは自動運転を実行させてもよい。
 また、上記実施形態で説明した情報処理装置及び運転支援装置がそれぞれ有する機能の一部が、他の装置に備えられていてもよい。
 また、上記実施形態では、環境認識装置(路上カメラ等)が情報処理装置を介して運転支援装置へ情報を送信する構成となっていたが、本開示の技術はかかる例に限定されない。環境認識装置(路上カメラ等)が、路車間通信手段を介して直接運転支援装置へ情報を送信可能に構成されていてもよい。このように構成される場合であっても、上記実施形態と同様の効果を得ることができる。
 また、上記実施形態では、運転支援装置は、車両に搭載された電子制御装置により構成されていたが、本開示の技術は上記の例に限定されない。例えば運転支援装置は、車両以外の環境認識装置と通信可能であり、表示装置に対して駆動指令信号を送信可能な携帯端末により構成されてもよい。
 また、本開示の技術は、上記実施形態に記載された運転支援装置を搭載した車両、運転支援装置による運転支援方法、コンピュータを上記の運転支援装置として機能させるコンピュータプログラム、及び当該コンピュータプログラムを記録した非一時的な有形の記録媒体としても実現することができる。
1    :車両
1a   :第1の車両
1b   :第2の車両
31   :周囲環境認識装置
33   :車両位置検出センサ
41   :車両制御部
43   :表示装置
50   :運転支援装置
51   :通信部
53   :車車間通信部
55   :処理部
57   :記憶部
59   :地図データ記憶部
61   :通信制御部
63   :車車間通信制御部
65   :車両情報取得部
67   :周囲環境認識処理部
69   :表示制御部
90   :第1の他車両
100  :運転支援システム
105  :通信ネットワーク
110  :情報処理装置
111  :通信部
113  :処理部
115  :データ処理部
117  :通信制御部
119  :記憶部
120  :車車間通信手段
121  :死角領域
123  :計測範囲
125  :計測範囲
150  :路上カメラ
151  :画像生成ユニット
153  :計測範囲
160  :制御装置
161  :通信部
163  :処理部
165  :画像処理部
167  :通信制御部
169  :記憶部
171  :先行車両
173  :計測範囲

Claims (9)

  1.  ドライバによる車両の運転を支援する運転支援装置において、
     一つ又は複数のプロセッサと、前記一つ又は複数のプロセッサと通信可能に接続された一つ又は複数のメモリと、を備え、
     前記一つ又は複数のプロセッサは、
     前記車両以外に設けられた少なくとも一つの環境認識装置から、前記環境認識装置の計測範囲の情報と、前記環境認識装置による計測結果の情報とを取得する取得処理と、
     地図データ上、現実空間上、又は現実空間の撮像画像上に、前記車両の前記ドライバが視認可能な前記計測範囲の情報及び前記計測結果の情報を重畳して画像表示部に表示させる表示処理と、
     を実行する、運転支援装置。
  2.  前記環境認識装置の現実空間での前記計測範囲が変化する場合、
     前記一つ又は複数のプロセッサは、
     前記計測範囲から外れた非計測範囲の表示を、時間の経過にしたがって前記非計測範囲の表示へと遷移させる、
     請求項1に記載の運転支援装置。
  3.  前記一つ又は複数のプロセッサは、
     前記環境認識装置により検出された移動体を前記重畳して表示させるとともに、前記移動体が前記環境認識装置により検出されなくなった後も当該移動体の表示を継続させる、
     請求項2に記載の運転支援装置。
  4.  前記移動体が前記車両の移動方向の前方の領域へ移動している場合、
     前記一つ又は複数のプロセッサは、
     前記移動体が前記環境認識装置により検出されなくなった後における当該移動体の表示を漸次変化させる、
     請求項3に記載の運転支援装置。
  5.  前記一つ又は複数のプロセッサは、
     前記移動体が前記環境認識装置により検出されなくなった後、前記移動体の位置及び移動速度に基づいて、前記移動体の移動範囲を推定し、
     想定される前記移動体の存在範囲を表示させる、
     請求項4に記載の運転支援装置。
  6.  前記移動体が停止し、又は、前記車両の移動方向の前方の領域から遠ざかる方向へ移動していた場合、
     前記一つ又は複数のプロセッサは、
     前記移動体が前記環境認識装置により検出されなくなる直前に検出されていた位置で、前記移動体の表示を継続させる、
     請求項3に記載の運転支援装置。
  7.  前記一つ又は複数のプロセッサは、
     さらに前記車両に搭載された周囲環境認識装置による計測範囲を、前記地図データ上、前記現実空間上、又は前記現実空間の撮像画像上に重畳して前記画像表示部に表示させる、
     請求項1に記載の運転支援装置。
  8.  ドライバによる車両の運転を支援する運転支援方法において、
     コンピュータが、
     前記車両以外に設けられた少なくとも一つの環境認識装置から、前記環境認識装置の計測範囲の情報と、前記環境認識装置による計測結果の情報とを取得することと、
     地図データ上、現実空間上、又は現実空間の撮像画像上に、前記車両の前記ドライバが視認可能な前記計測範囲の情報及び前記計測結果の情報を重畳して画像表示部に表示させることと、
     を実行する、運転支援方法。
  9.  コンピュータに、
     前記車両以外に設けられた少なくとも一つの環境認識装置から、前記環境認識装置の計測範囲の情報と、前記環境認識装置による計測結果の情報とを取得することと、
     地図データ上、現実空間上、又は現実空間の撮像画像上に、前記車両の前記ドライバが視認可能な前記計測範囲の情報及び前記計測結果の情報を重畳して画像表示部に表示させることとと、
     を実行させるプログラムを記録した、非一時的な有形の記録媒体。
     
PCT/JP2023/001386 2023-01-18 2023-01-18 運転支援装置、運転支援方法及び記録媒体 WO2024154271A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2024571514A JP7708985B2 (ja) 2023-01-18 2023-01-18 運転支援装置、運転支援方法及び記録媒体
PCT/JP2023/001386 WO2024154271A1 (ja) 2023-01-18 2023-01-18 運転支援装置、運転支援方法及び記録媒体
US18/746,434 US20240336140A1 (en) 2023-01-18 2024-06-18 Driving assistance apparatus, driving assistance method, and non-transitory recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/001386 WO2024154271A1 (ja) 2023-01-18 2023-01-18 運転支援装置、運転支援方法及び記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/746,434 Continuation US20240336140A1 (en) 2023-01-18 2024-06-18 Driving assistance apparatus, driving assistance method, and non-transitory recording medium

Publications (1)

Publication Number Publication Date
WO2024154271A1 true WO2024154271A1 (ja) 2024-07-25

Family

ID=91955629

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/001386 WO2024154271A1 (ja) 2023-01-18 2023-01-18 運転支援装置、運転支援方法及び記録媒体

Country Status (3)

Country Link
US (1) US20240336140A1 (ja)
JP (1) JP7708985B2 (ja)
WO (1) WO2024154271A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018195289A (ja) * 2017-05-18 2018-12-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 車両システム、車両情報処理方法、プログラム、交通システム、インフラシステムおよびインフラ情報処理方法
WO2020183892A1 (ja) * 2019-03-13 2020-09-17 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、並びに移動体装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018195289A (ja) * 2017-05-18 2018-12-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 車両システム、車両情報処理方法、プログラム、交通システム、インフラシステムおよびインフラ情報処理方法
WO2020183892A1 (ja) * 2019-03-13 2020-09-17 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、並びに移動体装置

Also Published As

Publication number Publication date
JP7708985B2 (ja) 2025-07-15
JPWO2024154271A1 (ja) 2024-07-25
US20240336140A1 (en) 2024-10-10

Similar Documents

Publication Publication Date Title
CN109466542B (zh) 车辆控制装置、车辆控制方法及存储介质
CN110114253B (zh) 车辆控制装置、车辆控制方法及存储介质
CN112537295B (zh) 驾驶辅助装置
CN112644494B (zh) 车辆控制装置、车辆控制方法及存储介质
EP3121076A2 (en) Vehicle control device
CN113631452A (zh) 一种变道区域获取方法以及装置
EP4102323B1 (en) Vehicle remote control device, vehicle remote control system, vehicle remote control method, and vehicle remote control program
JP7666549B2 (ja) 画像処理装置
JP2025061744A (ja) 情報処理装置、および情報処理システム、並びにプログラム
JP2021149319A (ja) 表示制御装置、表示制御方法およびプログラム
US20240326789A1 (en) Driving assistance apparatus, vehicle, non-transitory recording medium containing computer program, and driving assistance method
US20240399866A1 (en) Display apparatus for vehicle, display method, and display program
CN115140078A (zh) 驾驶支援装置、驾驶支援方法及存储介质
JP7708985B2 (ja) 運転支援装置、運転支援方法及び記録媒体
JP7659700B2 (ja) 運転支援システム及び車両並びにコンピュータプログラムを記録した記録媒体
JP2023053520A (ja) 運転支援装置及びコンピュータプログラム
JP2022035667A (ja) 車両用表示制御装置、車両用表示制御システム、及び車両用表示制御方法
WO2024195065A1 (ja) 運転支援装置、運転支援方法、及び記録媒体
WO2024189867A1 (ja) 危険予測装置、危険予測方法及び記録媒体
JP7633474B2 (ja) 運転支援システム、車両、コンピュータプログラムを記録した記録媒体及び運転支援方法
US20250074194A1 (en) Display device
JP7582092B2 (ja) 車両用表示制御装置及び車両用表示制御プログラム
TWI876714B (zh) 載具於高速移動狀態下偵測靜止物之方法
JP7713814B2 (ja) 移動体制御装置、移動体制御方法、およびプログラム
US20250218065A1 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2024571514

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23917484

Country of ref document: EP

Kind code of ref document: A1