WO2018021444A1 - 物標検出装置 - Google Patents
物標検出装置 Download PDFInfo
- Publication number
- WO2018021444A1 WO2018021444A1 PCT/JP2017/027126 JP2017027126W WO2018021444A1 WO 2018021444 A1 WO2018021444 A1 WO 2018021444A1 JP 2017027126 W JP2017027126 W JP 2017027126W WO 2018021444 A1 WO2018021444 A1 WO 2018021444A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- target
- image detection
- image
- detection target
- determination unit
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 340
- 230000002159 abnormal effect Effects 0.000 claims description 33
- 230000003287 optical effect Effects 0.000 claims description 20
- 230000001629 suppression Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 43
- 230000008569 process Effects 0.000 description 37
- 230000000694 effects Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V11/00—Prospecting or detecting by methods combining techniques covered by two or more of main groups G01V1/00 - G01V9/00
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Definitions
- This disclosure relates to a target detection apparatus that detects a target.
- a configuration for detecting a target using a radar and an image sensor has been proposed (see Patent Document 1). Specifically, the target is detected independently by the radar and the image sensor, and when the positional relationship between the targets satisfies the determination criterion, it is determined that the targets are the same target ( Hereinafter referred to as fusion determination).
- an image detection target is detected by analyzing an image signal transmitted from a monocular camera and performing a matching process using a target model of a specific target registered in advance.
- the specific target is mainly a vehicle or a pedestrian that is a target for avoiding a collision.
- the pedestrian crossing may be erroneously detected as a silhouette in a specific direction of the target model of the specific target.
- the radar detects a target such as a manhole or a road sign in the vicinity of the position of the erroneously detected image detection target, there is a possibility that these targets are erroneously determined as the same target.
- the present disclosure has been made to solve the above-described problem, and its main purpose is to suppress erroneous determination that a radar detection target and an image detection target are the same target for a specific target.
- An object of the present invention is to provide a target detection device capable of doing things.
- the present disclosure acquires a reflection information based on a reflected wave from a radar device that transmits a search wave forward in the traveling direction of the vehicle and receives a reflected wave reflected by a target, while forward of the traveling direction of the vehicle
- An object detection device that acquires image information from a monocular camera that picks up an image, a radar detection target position detection unit that detects a position of a radar detection target that is a target detected based on the reflection information, and the image An image detection target position detecting unit that detects a specific target that may collide with the vehicle based on information and detects a position of an image detection target that is the detected specific target; and the radar detection target
- the radar target and the image detection target are temporarily determined to be the same target provisional determination unit
- the image detection target is the vehicle A predetermined target determination unit that determines whether or not the target is passable, and the radar target and the image detection target are temporarily determined to be the same target by the
- the predetermined target determination unit determines that the image detection target is the predetermined target, the radar detection target and the image detection target are not the same target.
- the radar target and the image detection target are provisionally determined to be the same target by the same target temporary determination unit, and the image detection target is determined by the predetermined target determination unit.
- a same target determination unit that determines that the radar detection target and the image detection target are the same target when it is determined that the target is not the predetermined target.
- the same target temporary determination unit causes the radar detection target and the image detection target to be the same target. It is temporarily determined that there is. At this time, the specific target that may collide with the vehicle cannot be accurately detected as the image detection target, and the predetermined target that the vehicle can pass may be erroneously detected as the specific target. . In this case, if it is determined that they are the same target based on the position information of the erroneously detected image detection target, the determination accuracy of the same target regarding the specific target is lowered.
- a predetermined target judgment unit is provided.
- the radar target and the image detection target are temporarily determined to be the same target by the same target temporary determination unit, and the image detection target is determined to be the predetermined target by the predetermined target determination unit.
- the radar target and the image target are determined not to be the same target by the same target determination unit.
- the radar target and the image detection target are temporarily determined to be the same target by the same target temporary determination unit, and the predetermined target determination unit determines that the image detection target is not the predetermined target.
- the same target determination unit determines that the radar detection target and the image detection target are the same target. If the image detection target is not a predetermined target, the possibility that the specific target is detected as an image detection target is increased, and the accuracy of the same target determination regarding the specific target can be improved. It becomes.
- FIG. 1 is a schematic configuration diagram of a driving support device according to the present embodiment.
- FIG. 2 is a diagram illustrating a state in which the radar detection target and the image detection target are determined to be the same target.
- FIG. 3 is a control flowchart executed by the detection ECU according to the present embodiment.
- FIG. 4 is a subroutine process of step S150 described in FIG.
- FIG. 5 is a subroutine process of step S160 described in FIG.
- FIG. 6 is a subroutine process of step S170 described in FIG.
- FIG. 7 is a control flowchart executed by a detection ECU according to another example.
- FIG. 8 shows the subroutine processing of step S375 described in FIG.
- This driving support control functions as a PCS system that performs control to avoid collision with a target or to reduce collision damage.
- the driving support device 100 is configured by a detection ECU 10, a radar device 21, and a monocular camera 22.
- the radar device 21 is, for example, a known millimeter wave radar that uses a high frequency signal in the millimeter wave band as a transmission wave.
- the radar device 21 is a detection that is provided at the front end portion of the host vehicle and that can detect a target within a predetermined detection angle.
- the position of the target within the detection range (referred to as a radar detection target) is detected.
- an exploration wave is transmitted at a predetermined period, and a reflected wave is received by a plurality of antennas.
- the distance from the radar detection target is calculated from the transmission time of the exploration wave and the reception time of the reflected wave. Further, the relative velocity is calculated from the frequency of the reflected wave reflected by the radar detection target, which is changed by the Doppler effect.
- the azimuth of the radar detection target is calculated from the phase difference of the reflected waves received by the plurality of antennas. If the position and orientation of the radar detection target can be calculated, the relative position of the radar detection target with respect to the host vehicle can be specified.
- the radar device 21 performs transmission of the exploration wave, reception of the reflected wave, calculation of the reflection position and relative velocity at predetermined intervals, and transmits the calculated reflection position and relative velocity to the detection ECU 10.
- the monocular camera 22 is attached at a predetermined height in the center in the vehicle width direction of the host vehicle, and images a region that extends in a predetermined angle range toward the front of the host vehicle from an overhead viewpoint. Then, the captured image information is transmitted to the detection ECU 10.
- a radar device 21 and a monocular camera 22 are connected to the detection ECU 10.
- the detection ECU 10 is a computer that includes a CPU 11, a RAM 12, a ROM 13, an I / O, and the like.
- the detection ECU 10 realizes each function by the CPU 11 executing a program installed in the ROM 13. For this reason, since the detection ECU 10 can function as a target detection device, a radar detection target position detection unit, an image detection target position detection unit, an identical target provisional determination unit, and a predetermined target determination unit This corresponds to the same target determination unit, the count unit, the flow calculation unit, the road sign determination unit, and the collision suppression unit.
- the pattern matching program detects the luminance in the image information transmitted by the monocular camera 22, and performs pattern matching with the target template related to the specific target stored in advance based on the detected luminance.
- a target template related to a specific target is a target template related to at least one of a vehicle and a pedestrian. That is, in the present embodiment, the pattern matching program is processing for detecting at least one of a vehicle and a pedestrian from the image information.
- the specific pattern matching method is as follows. On the image, the target template related to the specific target is moved in the vertical direction and the horizontal direction by a minute amount in a predetermined order, and pattern matching is performed at each position. Pattern matching at each position is the degree of matching between the brightness of the image at that position and the brightness of the target template for the specific target, and determines whether the calculated degree of matching is greater than a reference value. Refers to judgment processing. In this determination process, when it is determined that the degree of coincidence between the brightness in the image at the position and the brightness of the target template related to the specific target is larger than the reference value, the target template related to the specific target is matched ( It is determined that a location having luminance information to be matched exists in the image, and the location is detected as an image detection target.
- the same target temporary determination program temporarily determines whether or not each target indicates the same target based on the radar detection target information and the image detection target information. Specifically, the radar detection target position that is a position obtained from the radar detection target and the image detection target position that is a position obtained from the image detection target detected by pattern matching are located in the vicinity. Corresponding things are based on the same target.
- an XY plane is constructed with the vehicle width direction of the host vehicle as the X axis and the vehicle length direction of the host vehicle as the Y axis, and the detected image detection target position and radar detection
- An error range in XY coordinates is constructed around the target position. Then, there is an overlap between an error range centered on the radar detection target position (hereinafter referred to as a radar search range) and an error range centered on the image detection target position (hereinafter referred to as an image search range). Determine if it exists. Since the radar search range and the image search range setting method are well known, detailed description is omitted.
- This state in which the position of the target can be accurately acquired by the radar device 21 and the monocular camera 22 is referred to as a fusion state.
- a target determined to be in the fusion state it is temporarily determined that a target (hereinafter referred to as the same target) exists at that position.
- the driving support program will be described later.
- the detection ECU 10 having such a configuration, when an image containing a pedestrian crossing or a road surface pattern is acquired from the monocular camera 22, if pattern matching is performed on the acquired image with a target template, the pedestrian crossing or the road surface There is a possibility that the pattern is erroneously detected as a silhouette in a specific direction of the target template related to the specific target.
- the radar apparatus 21 detects a target such as a manhole or a road sign near the position of the erroneously detected image detection target, there is a possibility that these targets are erroneously determined as the same target. is there.
- the detection ECU 10 determines what the radar detection target is based only on the information acquired from the radar device 21. Therefore, since it detects as a radar detection target, without distinguishing the kind of target, for example, the road sign may be detected as a radar detection target. In this case, if a specific target existing in the vicinity of a road sign is detected as an image detection target from the image information, there is a risk of erroneously determining that the image detection target and the radar detection target are the same target.
- the ROM 13 further includes a predetermined target determination program, a road sign determination program, and the same target determination program.
- the predetermined target determination program determines whether or not the predetermined target exists within the image search range in the image information.
- the predetermined target is a target through which the vehicle can pass and a target that may be erroneously detected as an image detection target by pattern matching with a target template related to the specific target.
- the predetermined target assumes a pedestrian crossing and a road surface pattern.
- the predetermined target determination program is Each determination is performed individually.
- the method for determining whether or not there is a pedestrian crossing within the image search range in the image information is as follows. Many pedestrian crossings are areas where multiple white lines are drawn intermittently in the direction crossing the roadway, so it is assumed that the luminance is detected in a predetermined pattern at locations where pedestrian crossings exist in the image information. The Considering this, when there is a portion where the luminance changes in a predetermined pattern in the image search range in the image information, the number of changes in the luminance is counted. Then, when the counted number of changes in luminance is greater than the predetermined number, it is determined that there is a pedestrian crossing within the image search range and that there is a possibility that the pedestrian crossing is detected as an image detection target.
- the method for determining whether or not a road surface pattern exists within the image search range in the image information is as follows.
- road patterns such as letters and arrows written in white lines on the road.
- Such a road surface pattern is assumed to have a complicated configuration as compared with a white line that divides a lane and a white line that forms a pedestrian crossing. Therefore, since it is assumed that the road surface pattern having a complicated configuration does not change in luminance in a predetermined pattern like a pedestrian crossing, it is difficult to detect the road surface pattern from the luminance change. Therefore, instead of directly determining the road surface pattern, it is determined whether or not there is only a road surface within the image search range. If only the road surface exists within the image search range, the road surface pattern is detected as an image detection object. It is determined that there is a possibility of detection as a mark.
- the optical flow within the image search range (that is, the image detection target) is calculated, and similarity determination between the calculated optical flow and the optical flow model of the road surface stored in advance is performed.
- the optical flow is obtained by detecting a plurality of boundary points as points for constructing a boundary line whose luminance has changed in an image, and expressing the detected boundary points as motion vectors.
- the road sign determination program determines whether there is a road sign within the radar search range based on the image information acquired from the monocular camera 22. Specifically, the brightness within the range corresponding to the radar search range in the image information is comprehensively detected. Then, the target template related to the road sign is moved in a predetermined order, and the degree of coincidence between the luminance at that position and the target template related to the road sign is calculated. When it is determined that there is a location where the calculated degree of coincidence is greater than the reference value, it is determined that there is a possibility that a road sign exists within the radar search range and the road sign is detected as a radar detection target. To do.
- the position of the target can be accurately acquired by the radar device 21 and the monocular camera 22, and if the same target exists, it is provisionally determined by the same target temporary determination program, and the predetermined target is
- the predetermined target determination program that there is a possibility of detection as an image detection target
- the position of the target can be accurately acquired by the radar device 21 and the monocular camera 22, and if the same target exists, it is temporarily determined by the same target temporary determination program, and the road sign is detected as a radar detection target. If it is determined by the road sign determination program that there is a possibility of being detected, the radar detection target and the image detection target are determined not to be the same target.
- the position of the target can be acquired with high precision by the radar device 21 and the monocular camera 22, and if the same target exists, it is provisionally determined by the same target temporary determination program, and the predetermined target is converted into the image detection target. If it is determined by the predetermined target determination program that the detection is low, and the road sign determination program determines that the road sign is not likely to be detected as a radar detection target, the radar It is determined that the detection target and the image detection target are the same target.
- the driving support program determines the position of the host vehicle and the same target on the condition that the radar target and the image target are determined to be the same target by the same target determination program. Based on the relationship, prescribed driving support processing is performed.
- the driving support process corresponds to a braking process (corresponding to suppression control) for braking the host vehicle when there is a possibility of collision with a specific target existing ahead of the host vehicle.
- the host vehicle is provided with a brake device 31 as a safety device that is driven by a control command from the detection ECU 10.
- the brake device 31 is a braking device that brakes the host vehicle.
- the detection ECU 10 calculates a collision prediction time (TTC: Time-to-collation) that is the time until the same target collides with the host vehicle, and the collision prediction time is shorter than a predetermined time.
- TTC Time-to-collation
- the brake device 31 is actuated by a control command from the detection ECU 10. Specifically, the braking force with respect to the brake operation by the driver is increased (brake assist function), or automatic braking is performed if the brake operation is not performed by the driver (automatic brake function).
- the detection target ECU 10 performs the same target determination control described later with reference to FIG.
- the same target determination control shown in FIG. 3 is repeatedly performed at a predetermined cycle by the detection ECU 10 during a period in which the detection ECU 10 is powered on.
- step S100 position information of a radar detection target detected by the radar device 21 is acquired.
- step S110 a radar search range is constructed around the acquired position information of the radar detection target.
- step S120 an image detection target is detected from the image information acquired from the monocular camera 22.
- step S130 an image search range is set around the position information of the detected image detection target.
- step S140 whether or not the radar detection target and the image detection target are the same target is determined by determining whether or not there is an overlapping portion between the set radar search range and the image search range. judge. When it is determined that there is no overlapping portion between the radar search range and the image search range and the radar detection target and the image detection target are not the same target (S140: NO), this control is terminated. When there is an overlapping portion between the radar search range and the image search range, and it is temporarily determined that the radar detection target and the image detection target are the same target (S140: YES), the process proceeds to step S150.
- step S150 it is determined based on the image information acquired from the monocular camera 22 whether a road sign exists within the radar search range. If it is determined that there is no road sign within the radar search range (S150: NO), the process proceeds to step S160. In step S160, it is determined whether or not a pedestrian crossing exists within the image search range in the image information. If it is determined that there is no pedestrian crossing within the image search range in the image information (S160: NO), the process proceeds to step S170. In step S170, it is determined whether or not a road surface pattern exists within the image search range in the image information. If it is determined that there is no road surface pattern within the image search range in the image information (S170: NO), the process proceeds to step S180. In step S180, it is determined that the radar detection target and the image detection target are the same target, and the process proceeds to step S190.
- step S190 it is determined whether or not the same target determined in step S180 may collide with the host vehicle.
- the present control is finished as it is. If it is determined that there is a possibility that the same target may collide with the host vehicle (S190: YES), the process proceeds to step S200, where the braking process by the brake device 31 (the prescribed travel support process) is performed, and this control is performed. finish.
- step S210 it is determined that the radar detection target and the image detection target are not the same target, and this control is terminated.
- the road sign determination control which is a subroutine process corresponding to step S150 shown in FIG. 3, will be described.
- the road sign determination control is performed by the ECU 10.
- step S152 the brightness of the range corresponding to the radar search range is comprehensively detected in the image information.
- step S154 the target template related to the road sign is moved in a predetermined order, and the degree of coincidence between the luminance at the position and the luminance of the target template is calculated.
- step S156 it is determined whether or not there is a location where the degree of coincidence calculated in step S154 is greater than the reference value. If it is determined that there is no location where the degree of coincidence with the brightness of the target template is greater than the reference value (S156: NO), this control is terminated. If it is determined that there is a location where the degree of coincidence with the brightness of the target template is greater than the reference value (S156: YES), the process proceeds to step S158, where a road sign exists within the radar search range, and the road It is determined that there is a possibility that the sign is detected as a radar detection target, and this control is terminated.
- pedestrian crossing determination control which is a subroutine process corresponding to step S160 shown in FIG. 3, will be described with reference to FIG.
- the pedestrian crossing determination control is performed by the ECU 10.
- step S162 it is determined whether or not there is a location where the luminance changes in a predetermined pattern corresponding to the pedestrian crossing within the image search range.
- this control is terminated. If it is determined that there is a portion where the luminance changes in a predetermined pattern within the image search range (S162: YES), the process proceeds to step S164.
- step S164 the number of luminance changes at the location where the luminance changes is counted.
- step S166 it is determined whether the counted number of changes in luminance is greater than a predetermined number. When it is determined that the counted number of changes in luminance is not greater than the predetermined number (S166: NO), this control is terminated. If it is determined that the counted number of changes in luminance is greater than the predetermined number (S166: YES), the process proceeds to step S168, where there is a pedestrian crossing within the image search range, and the pedestrian crossing is used as an image detection target. It is determined that there is a possibility of detection, and this control is terminated.
- road surface pattern determination control which is a subroutine process corresponding to step S170 shown in FIG. 3, will be described with reference to FIG.
- the road surface pattern determination control is performed by the ECU 10.
- step S172 an optical flow within the image search range is calculated.
- step S174 an optical flow model of a road surface stored in advance is read.
- step S176 it is determined whether or not the similarity between the calculated optical flow within the image search range and the read optical flow model of the road surface is greater than a threshold value.
- a threshold value When it is determined that the similarity between the calculated optical flow within the image search range and the optical flow model of the read road surface is not greater than the threshold value (S176: NO), this control is terminated as it is. If it is determined that the similarity between the calculated optical flow within the image search range and the optical flow model of the read road surface is greater than the threshold value (S176: YES), the process proceeds to step S178.
- step S178 it is determined that there is a road surface pattern within the image search range, and there is a possibility that the road surface pattern is detected as an image detection target, and this control is terminated.
- this embodiment has the following effects.
- the position of the target can be acquired with high accuracy by the radar device 21 and the monocular camera 22, it is temporarily determined that the same target exists, and the predetermined target may be detected as an image detection target. Is determined, the radar detection target and the image detection target are determined not to be the same target. Alternatively, there is a possibility that the position of the target can be accurately acquired by the radar device 21 and the monocular camera 22, it is temporarily determined that the same target exists, and a road sign is detected as a radar detection target. Is determined, the radar detection target and the image detection target are determined not to be the same target.
- the radar detection target And the image detection target can be determined not to be the same target.
- the position of the target can be accurately acquired by the radar device 21 and the monocular camera 22, it is temporarily determined that the same target exists, and the predetermined target does not exist within the image search range in the image information. And when it is determined that there is no road sign in the radar search range, it is determined that the radar detection target and the image detection target are the same target. When the predetermined target does not exist within the image search range, the possibility that the specific target is normally detected as the image detection target increases. Further, by determining that there is no road sign in the radar search range, it is highly likely that the specific target is normally detected as the radar detection target. Therefore, it is possible to perform the same target determination in a situation where it is highly likely that both the radar detection target and the image detection target have detected the specific target normally. The accuracy can be improved.
- the predetermined target includes a pedestrian crossing.
- the number of changes in the luminance is counted. Then, when the counted number of changes in luminance is greater than a predetermined number, it may be determined that there is a possibility that a pedestrian crossing exists within the image search range and that the pedestrian crossing is detected as an image detection target. it can.
- the road surface pattern is included in the predetermined target. As a result, even if the road surface pattern is detected as an image detection target and the radar detection target and the image detection target are temporarily determined to be the same target, the road surface pattern is detected as the image detection target. It can be determined that there is a possibility that For this reason, when it is determined that the road surface pattern may be detected as the image detection target, it is possible to determine that the radar detection target and the image detection target are not the same target. .
- the driving support process is performed on the condition that the radar detection target and the image detection target are determined to be the same target. For this reason, it is possible to appropriately carry out the driving support process in a situation where there is a high possibility that the target determined as the same target is a specific target.
- Targets that may collide with a running vehicle are mainly moving objects such as pedestrians and vehicles. Therefore, if a pedestrian or vehicle existing in the forward direction of the vehicle is detected from the image information as an image detection target and a radar detection target whose positional relationship with the detected image detection target has a predetermined relationship can be obtained, The position information of the detection target can be obtained with high accuracy from the position information of the radar detection target. That is, it is possible to accurately grasp the trends of people and vehicles existing in front of the vehicle.
- the target template related to the specific target is a target template related to at least one of the vehicle and the pedestrian.
- it is good also as a template regarding at least one of a vehicle, a pedestrian, and a bicycle by adding a bicycle to the target template regarding a specific target.
- the driving support process corresponds to a braking process in which the brake device 31 brakes the host vehicle when there is a possibility of collision with a specific target existing in front of the host vehicle.
- electric power steering is provided, and when there is a possibility of collision with a specific target existing in front of the host vehicle, the electric power steering is controlled in a direction to avoid collision with the same target.
- a driving support process may be performed.
- the road sign determination program determines whether or not there is a road sign within the radar search range based on the image information acquired from the monocular camera 22.
- the determination by the road sign determination program is not necessarily performed. Even with such a configuration, the effects and effects according to the above-described embodiment are exhibited.
- the same target temporary determination program determines that the radar detection target and the image detection target are the same target when there is an overlapping portion between the radar search range and the image detection search range. I was judging. Regarding this, it is not always necessary to construct a radar search range. If a radar detection target is included in the image search range, it is temporarily determined that the radar detection target and the image detection target are the same target. Also good.
- the target position can be accurately acquired by the radar device 21 and the monocular camera 22, and the same target determination is performed when the same target is temporarily determined by the same target temporary determination program.
- the program determines whether the radar detection target and the image detection target are the same target based on the determination result of the predetermined target determination program or the road sign determination program. About this, it is good also as a structure which deleted the same target temporary determination program and added the same target determination confirmation program.
- the same target determination program performs the same determination process as the same target provisional determination program according to the embodiment.
- the same target determination confirmation program Based on the determination result of the target determination program or the road sign determination program, the determination result of the same target determination program that the radar detection target and the image detection target are the same target is affirmed or denied. Even with this configuration, the same operations and effects as the above-described embodiment can be obtained.
- whether or not a road sign exists within the radar search range is determined based on image information acquired from the monocular camera 22.
- a crosswalk and a manhole may be added to the determination target.
- pedestrian bridges and manholes may also be detected as radar detection targets.
- the radar detection target is detected.
- the target and the image detection target are erroneously determined to be the same target.
- whether or not at least one of a road sign, a pedestrian bridge, and a manhole exists in the radar search range is determined based on image information acquired from the monocular camera 22.
- the predetermined target corresponds to a pedestrian crossing and a road surface pattern.
- the lateral width of the viaduct differs greatly from the vehicle Nevertheless, there is a possibility of erroneously detecting a viaduct as a vehicle.
- the ROM 13 may further include a target type determination program, a dimension calculation program, and an abnormal size determination program.
- the target template related to the specific target corresponds to a template related to at least one of a vehicle, a pedestrian, and a bicycle.
- the target type determination program is such that when the image detection target is detected by the pattern matching program, the brightness of the position where the image detection target is detected in the image is any of a vehicle, a pedestrian, and a bicycle.
- the type (vehicle, pedestrian, or bicycle) of the image detection target is determined based on whether the brightness and the matching degree of the target template are higher than the reference value. For example, if the degree of coincidence between the brightness of the position where the image detection target is detected in the image and the brightness of the target template related to the vehicle is higher than a reference value, the image detection target is determined to be a vehicle. To do. For this reason, the target type determination program corresponds to a type determination unit.
- the dimension that is assumed to be longer among the width (or total length) and height is referred to as a long dimension.
- the dimension calculation program determines the long dimension to be calculated based on the type of the image detection target determined by the target type determination program (the horizontal width (or the total length) is the long dimension, or the height is the long dimension) And the long dimension of the image detection target in the real space (hereinafter referred to as the real length dimension) is calculated. For this reason, a dimension calculation program corresponds to a long dimension calculation part.
- the dimension calculation program will be explained in more detail.
- the target type determination program determines that the image detection target is a vehicle, since the width of many vehicles is longer than the height, the width is defined as the long dimension, and the dimension calculation program is an image in real space.
- the width of the detected target is calculated.
- the target type determination program determines that the image detection target is a pedestrian
- the height of the pedestrian is longer than the horizontal width.
- the height of the image detection target at is calculated.
- the relationship between the horizontal width and the height changes depending on the direction in which the bicycle faces.
- the dimension calculation program calculates the height of the image detection target in real space.
- the total length is longer than the height, so the total length is determined as a long dimension, The dimension calculation program calculates the total length of the image detection target in real space.
- the distance from the lens of the monocular camera 22 in real space to the image detection target (hereinafter referred to as the actual distance) is divided by the distance from the lens of the monocular camera 22 in the image to the image detection target (hereinafter referred to as the image distance).
- the value is equal to a value obtained by dividing the actual length dimension by the length dimension of the image detection target in the image (hereinafter referred to as the image length dimension). Based on this relationship, an equation for calculating the actual length shown in Equation (1) is derived.
- Actual length dimension (actual distance ⁇ image length dimension) / image distance (1)
- the actual distance is calculated as the distance to the image detection target in the real space, depending on how much the image detection target position in the image is below (or above) the vertical center of the image.
- the image length dimension is calculated by calculating the height or width to be calculated in the image detection target by the number of pixels and multiplying the calculated number of pixels by the inverse of the resolution of the image.
- the image distance is calculated by calculating the distance to the image detection target by the number of pixels and multiplying the calculated number of pixels by the inverse of the resolution of the image.
- the resolution of the image is defined as the number of pixels per meter.
- the height or width of the image detection target on the image is calculated in units of meters by calculating the product of the value obtained by calculating the height or width of the image detection target in pixels and the reciprocal of the resolution.
- the distance to the image detection target on the image can be converted into meters. That is, the unit of the image length dimension and the image distance can be unified to meters.
- the abnormal size determination program determines whether or not the image detection target has an abnormal size by determining whether or not the actual dimension calculated by the dimension calculation program is longer than the determination value. For this reason, the abnormal size determination program corresponds to an abnormal size determination unit.
- the determination value is set longer by a predetermined value (a value considering the detection error) than the upper limit value of the dimension assumed when the image detection target is a specific target. More specifically, when it is determined by the target type determination program that the image detection target is a vehicle, it is set to be longer by a predetermined value than the assumed upper limit of the lateral width of the vehicle (for example, the upper limit is set to 3). .5 m, the judgment value is set to 4.5 m). When it is determined by the target type determination program that the image detection target is a pedestrian, it is set longer by a predetermined value than the assumed upper limit of the pedestrian height (for example, the upper limit is set to 2.5 m). Then, the determination value is set to 3.5 m).
- a predetermined value a value considering the detection error
- the determination value is variably set according to the type of the image detection target determined by the target type determination program.
- FIG. 7 is a modification of a part of the flowchart of FIG. That is, step S375 is inserted between step S370 corresponding to step S170 and step S380 corresponding to step S180.
- step S375 it is determined whether or not the detected image detection target has an abnormal size.
- S375: YES it is determined that the image detection target has an abnormal size
- the process proceeds to step S410 corresponding to step S210. If it is determined that the image detection target is not an abnormal size (S375: NO), the process proceeds to step S380.
- steps S300, 310, 320, 330, 340, 350, 360, 390, and 400 in FIG. 7 are respectively performed in steps S100, 110, 120, 130, 140, and FIG.
- the processing is the same as 150, 160, 190, and 200.
- the abnormal size determination control which is a subroutine process corresponding to step S375 described in FIG. 7, will be described with reference to FIG.
- the abnormal size determination control is performed by the ECU 10.
- step S500 the type of the image detection target is determined based on whether the image detection target corresponds to a vehicle, a pedestrian, or a bicycle among the specific targets.
- step S510 a determination value is set based on the type of target determined in step S500.
- step S520 based on the image information acquired from the monocular camera 22, the actual distance and image distance from the lens of the monocular camera 22 to the image detection target and the long dimension of the image detection target in the image are calculated. To do.
- step S530 the actual length dimension of the image detection target in real space is calculated based on the actual distance, image distance, and image length dimension calculated in step S520.
- step S540 it is determined whether or not the actual length dimension calculated in step S530 is longer than the determination value set in step S510.
- the process proceeds to step S550, where it is determined that the image detection target is larger than the determined target type size and is an abnormal size. This control is terminated.
- this control is terminated as it is.
- this example has the following effects.
- the radar detection target and the image detection object are assumed to be not a specific target for an image detection target that is larger than the upper limit of the size assumed as the specific target. It can be determined that the target is not the same target.
- the difference in height is greater than the difference in width.
- the viaduct and the vehicle are compared, a greater difference is caused in the lateral width than in the height.
- the actual length dimension is a length that tends to cause a significant difference between a specific target and a target that may be erroneously detected. Therefore, more accurate abnormal size determination can be performed by using the actual length dimension as a determination target.
- the abnormal size determination was performed with the actual length dimension as the determination target.
- the short dimension is a shorter dimension of the width (or the total length) and the height in the type determined by the target type determination program.
- the actual short dimension is a short dimension of the image detection target in real space.
- step S350 in FIG. 7 road sign determination control
- step S360 in FIG. 7 pedestrian crossing determination control
- step S370 in FIG. 7 road surface pattern determination control
- step S375 in FIG. 7 abnormal size determination control
- the type of the image detection target is determined by the target type determination program.
- the height and width (or total length) of the image detection target in the real space are calculated by the dimension calculation program, respectively, and the calculated height and width of the image detection target are set for each. Is determined by the abnormal size determination program.
- the determination value for the height is set to the height upper limit value of a target (for example, a vehicle) having the largest upper limit value among the types included in the specific target.
- the determination value for the horizontal width is set to the horizontal width upper limit value of a target (for example, a vehicle) having the largest horizontal width upper limit value among the types included in the specific target.
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
レーダ装置(21)と単眼カメラ(22)とを備える物標検出装置(10)であって、レーダ検出物標の位置を検出するレーダ検出物標位置検出部と、特定物標である画像検出物標の位置を検出する画像検出物標位置検出部と、レーダ検出物標と画像検出物標とは同一物標であると仮判定され、且つ、画像検出物標が所定物標であると判定された場合に、レーダ検出物標と画像検出物標とは同一物標ではないと判定し、レーダ検出物標と画像検出物標とは同一物標であると仮判定され、且つ、所定物標判定部により画像検出物標が所定物標ではないと判定された場合に、レーダ検出物標と画像検出物標とは同一物標であると判定する同一物標判定部と、を備えることを特徴とする物標検出装置。
Description
本出願は、2016年7月29日に出願された日本出願番号2016-149673号と、2017年3月8日に出願された日本出願番号2017-044243号に基づくもので、ここにその記載内容を援用する。
本開示は、物標を検出する物標検出装置に関する。
車両の衝突回避システムでは、他の車両や歩行者等の物標を精度よく検出することが求められる。そこで、レーダ及び画像センサを用いて物標を検出する構成が提案されている(特許文献1参照)。具体的には、レーダ及び画像センサによりそれぞれ独立して物標を検出し、それら物標の位置関係が判断基準を満たしている場合に、それらの物標が同一物標であると判定する(以下、フュージョン判定と呼称)。
特許文献1では、単眼カメラから送信される画像信号を解析して、予め登録されている特定物標の物標モデルを用いたマッチング処理を行うことで、画像検出物標を検出している。特定物標は、衝突を回避する対象である車両や歩行者が主となっている。この場合、例えば、横断歩道を収めた画像に対してマッチング処理を行うと、横断歩道を特定物標の物標モデルの特定方向のシルエットとして誤検出するおそれがある。このとき、例えば、誤検出した画像検出物標の位置付近において、レーダがマンホールや道路標識などの物標を検出した場合、これらの物標が同一物標であると誤判定するおそれがある。
本開示は、上記課題を解決するためになされたものであり、その主たる目的は、特定物標についてレーダ検出物標と画像検出物標とが同一物標であると誤判定することを抑制する事が可能な物標検出装置を提供することにある。
本開示は、車両の進行方向前方に探査波を送信し、物標により反射された反射波を受信するレーダ装置からその反射波に基づく反射情報を取得し、その一方で前記車両の進行方向前方を撮像する単眼カメラから画像情報を取得する物体検出装置であって、前記反射情報に基づいて検出した物標であるレーダ検出物標の位置を検出するレーダ検出物標位置検出部と、前記画像情報に基づいて前記車両に衝突するおそれのある特定物標を検出し、検出した前記特定物標である画像検出物標の位置を検出する画像検出物標位置検出部と、前記レーダ検出物標と前記画像検出物標との位置関係が所定関係となった場合に、前記レーダ検出物標と前記画像検出物標とは同一物標であると仮判定する同一物標仮判定部と、前記画像検出物標が、前記車両が通過可能な所定物標であるか否かの判定を行う所定物標判定部と、前記同一物標仮判定部により前記レーダ検出物標と前記画像検出物標とは同一物標であると仮判定され、且つ、前記所定物標判定部により前記画像検出物標が前記所定物標であると判定された場合に、前記レーダ検出物標と前記画像検出物標とは同一物標ではないと判定し、一方で、前記同一物標仮判定部により前記レーダ検出物標と前記画像検出物標とは同一物標であると仮判定され、且つ、前記所定物標判定部により前記画像検出物標が前記所定物標ではないと判定された場合に、前記レーダ検出物標と前記画像検出物標とは同一物標であると判定する同一物標判定部と、を備える。
上記構成によれば、レーダ検出物標と画像検出物標との位置関係が所定関係となった場合に、同一物標仮判定部によりレーダ検出物標と画像検出物標とは同一物標であると仮判定される。このとき、車両に衝突するおそれのある特定物標を画像検出物標として正確に検出することができず、車両が通行可能な所定物標を特定物標だとして誤検出している場合がある。この場合、誤検出した画像検出物標の位置情報に基づいて同一物標であると判定すると、特定物標に関する同一物標の判定精度が低くなる。
この対策として、所定物標判定部が備わっている。同一物標仮判定部によりレーダ検出物標と画像検出物標とは同一物標であると仮判定され、且つ、所定物標判定部により画像検出物標が所定物標であると判定された場合に、レーダ検出物標と画像検出物標とは同一物標ではないと同一物標判定部により判定される。これにより、検出対象ではない所定物標を特定物標であるとして誤検出し、誤検出した画像検出物標を基に、特定物標に関する同一物標判定を実施することを抑制することが可能となる。一方で、同一物標仮判定部によりレーダ検出物標と画像検出物標とは同一物標であると仮判定され、且つ、所定物標判定部により画像検出物標が所定物標でないと判定された場合に、レーダ検出物標と画像検出物標とは同一物標であると同一物標判定部により判定される。画像検出物標が所定物標でなければ、それだけ正常に特定物標を画像検出物標として検出している可能性が高くなり、特定物標に関する同一物標判定の精度を向上させることが可能となる。
本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図1は、本実施形態に係る走行支援装置の概略構成図であり、
図2は、レーダ検出物標と画像検出物標とが同一物標であると判定される状態を示す図であり、
図3は、本実施形態に係る検出ECUが実施する制御フローチャートであり、
図4は、図3に記載のステップS150のサブルーチン処理であり、
図5は、図3に記載のステップS160のサブルーチン処理であり、
図6は、図3に記載のステップS170のサブルーチン処理であり、
図7は、別例に係る検出ECUが実施する制御フローチャートであり、
図8は、図7に記載のステップS375のサブルーチン処理である。
図1に記載の走行支援装置100は、車両(自車両)に搭載され、自車両の進行方向前方等の周囲に存在する物標を検知し、走行支援制御を実施する。この走行支援制御は、物標との衝突を回避すべく、若しくは衝突被害を軽減すべく制御を行うPCSシステムとして機能する。
図1において、走行支援装置100は、検出ECU10、レーダ装置21、及び単眼カメラ22とから構成されている。
レーダ装置21は、例えば、ミリ波帯の高周波信号を送信波とする公知のミリ波レーダであり、自車両の前端部に設けられ、所定の検知角に入る領域を物標を検知可能な検知範囲とし、検知範囲内の物標(レーダ検出物標と呼称)の位置を検出する。具体的には、所定周期で探査波を送信し、複数のアンテナにより反射波を受信する。この探査波の送信時刻と反射波の受信時刻とにより、レーダ検出物標との距離を算出する。また、レーダ検出物標に反射された反射波の、ドップラー効果により変化した周波数により、相対速度を算出する。加えて、複数のアンテナが受信した反射波の位相差により、レーダ検出物標の方位を算出する。なお、レーダ検出物標の位置及び方位が算出できれば、そのレーダ検出物標の、自車両に対する相対位置を特定することができる。レーダ装置21は、所定周期毎に、探査波の送信、反射波の受信、反射位置及び相対速度の算出を行い、算出した反射位置と相対速度とを検出ECU10に送信する。
単眼カメラ22は、自車両の車幅方向中央の所定高さに取り付けられることで、自車両前方へ向けて所定角度範囲で広がる領域を俯瞰視点から撮像する。そして、撮像した画像情報を検出ECU10に送信する。
検出ECU10には、レーダ装置21と単眼カメラ22とが接続されている。検出ECU10は、CPU11、RAM12、ROM13、I/O等を備えたコンピュータである。この検出ECU10は、CPU11が、ROM13にインストールされているプログラムを実行することで各機能を実現する。このため、検出ECU10は物標検出装置として機能することができるので、レーダ検出物標位置検出部と、画像検出物標位置検出部と、同一物標仮判定部と、所定物標判定部と、同一物標判定部と、カウント部と、フロー演算部と、道路標識判定部と、衝突抑制部と、に該当する。
本実施形態において、ROM13にインストールされているプログラムは複数あり、具体的にはパターンマッチングプログラムと、同一物標仮判定プログラムと、走行支援プログラムと、がある。
パターンマッチングプログラムは、単眼カメラ22により送信された画像情報内の輝度を検出し、検出した輝度に基づいて、予め記憶された特定物標に関する物標テンプレートとのパターンマッチングを行う。特定物標に関する物標テンプレートとは、車両及び歩行者の少なくとも一方に関する物標テンプレートである。つまり、本実施形態において、パターンマッチングプログラムは、画像情報内から車両及び歩行者の少なくとも一方を検出する処理である。
具体的なパターンマッチング方法は以下の通りである。画像上において所定の順序で微小量ずつ縦方向及び横方向に特定物標に関する物標テンプレートを動かし、各位置においてパターンマッチングを行う。各位置におけるパターンマッチングとは、その位置における画像の輝度と特定物標に関する物標テンプレートの輝度との一致の度合いを算出し、算出した一致の度合いが基準値よりも大きいか否かを判定する判定処理を指す。この判定処理にて、その位置における画像内の輝度と特定物標に関する物標テンプレートの輝度との一致の度合いが基準値よりも大きいと判定した場合に、特定物標に関する物標テンプレートと適合(マッチング)する輝度情報を有する箇所が画像内に存在すると判定し、その箇所を画像検出物標として検出する。
同一物標仮判定プログラムは、レーダ検出物標の情報と画像検出物標の情報とに基づいて、それぞれの物標が同一の物標を示しているのか否かを仮判定する。具体的には、レーダ検出物標から得られる位置であるレーダ検出物標位置と、パターンマッチングにより検出された画像検出物標から得られる位置である画像検出物標位置とについて、近傍に位置するものを、同じ物標に基づくものであるとして対応付ける。
詳しくは、図2に記載されるように、自車両の車幅方向をX軸、自車両の車長方向をY軸としたXY平面を構築し、検出された画像検出物標位置及びレーダ検出物標位置を中心に、それぞれXY座標における誤差範囲を構築する。そして、レーダ検出物標位置を中心とする誤差範囲(以降、レーダ探索範囲と呼称)と、画像検出物標位置を中心とする誤差範囲(以降、画像探索範囲と呼称)と、で重なる箇所が存在するか否かを判定する。なお、レーダ探索範囲及び画像探索範囲の設定方法は周知であるため、詳細な説明は省略する。レーダ探索範囲と画像検探索範囲とで重なる箇所が存在する場合に、レーダ探索範囲内に実際に物標が存在する可能性が高い。この、レーダ装置21及び単眼カメラ22により物標の位置が精度よく取得できている状態を、フュージョン状態と称する。フュージョン状態であると判定した物標については、その位置に物標(以下、同一物標と呼称)が存在していると仮判定する。
走行支援プログラムについては後述する。
このような構成の検出ECU10では、横断歩道や路面模様が収められた画像を単眼カメラ22から取得した場合に、取得した画像に対して物標テンプレートとのパターンマッチングを行うと、横断歩道や路面模様を特定物標に関する物標テンプレートの特定方向のシルエットとして誤検出するおそれがある。このとき、例えば、誤検出した画像検出物標の位置付近において、レーダ装置21がマンホールや道路標識などの物標を検出した場合、これらの物標が同一物標であると誤判定するおそれがある。
一方で、レーダ装置21から取得した情報のみではレーダ検出物標がどのような物標であるか、検出ECU10が判別することは困難である。したがって、物標の種類を区別する事無く、レーダ検出物標として検出することになるため、例えば道路標識をレーダ検出物標として検出している場合がある。この場合、画像情報から道路標識付近に存在する特定物標を画像検出物標として検出すると、画像検出物標とレーダ検出物標とが同一物標であると誤判定するおそれがある。
この対策として、ROM13には、更に所定物標判定プログラムと道路標識判定プログラムと同一物標判定プログラムとが備わっている。
所定物標判定プログラムは、画像情報内の画像探索範囲内に所定物標が存在するか否かの判定を行う。所定物標とは、車両が通過可能な物標であり、且つ、特定物標に関する物標テンプレートとのパターンマッチングで画像検出物標と誤検出するおそれのある物標のことである。本実施形態において、所定物標は、横断歩道及び路面模様を想定している。このとき、画像探索範囲内に横断歩道が存在するか否かの判定と、画像探索範囲内に路面模様が存在するか否かの判定とでは、判定方法が異なるため、所定物標判定プログラムは、それぞれの判定を個別に実施する。
画像情報内の画像探索範囲内に横断歩道が存在するか否かの判定方法は以下の通りである。横断歩道の多くは、車道を横切る方向に、白線が間欠的に複数描かれた領域であるため、画像情報内において横断歩道が存在する箇所では、輝度が所定パターンで検出されることが想定される。これを考慮し、画像情報内の画像探索範囲内において、輝度が所定パターンで変化する箇所がある場合に、その輝度の変化回数をカウントする。そして、カウントした輝度の変化回数が所定回数よりも多い場合に、画像探索範囲内に横断歩道が存在しており、横断歩道を画像検出物標として検出している可能性があると判定する。
画像情報内の画像探索範囲内に路面模様が存在するか否かの判定方法は以下の通りである。道路には、横断歩道以外にも、例えば白線で書かれた文字や矢印などの路面模様が存在する。このような路面模様は、車線を区画する白線や横断歩道を構成する白線と比較して、複雑な構成をしていることが想定される。したがって、複雑な構成をした路面模様は、横断歩道のように輝度が所定パターンで変化するものではないことが想定されるため、輝度変化から路面模様を検出することは困難である。よって、路面模様を直接判別するのではなく、画像探索範囲内には路面が存在するのみか否かを判定し、画像探索範囲内に路面が存在するのみであれば、路面模様を画像検出物標として検出している可能性があると判定する。
具体的には、画像探索範囲内(すなわち画像検出物標)のオプティカルフローを演算し、演算したオプティカルフローと、予め記憶された路面のオプティカルフローモデルと、の類似判定を実施する。オプティカルフローとは、画像中において輝度変化した境界線を構築する点としての境界点を複数検出し、検出した複数の境界点を動きベクトルとして表したものである。ここで、画像検出物標が平面上の物体である場合と立体物である場合とで、オプティカルフローに相違が生じる。このため、境界点を多く検出し、それら全ての動きベクトルを表すことで、画像検出物標が平面なのか立体物なのかを精密に判定することができる。このことから、演算された画像探索範囲内のオプティカルフローと、予め記憶された路面のオプティカルフローモデルと、の類似度が閾値よりも高い場合に、画像探索範囲内に路面模様が存在しており、路面模様を画像検出物標として検出している可能性があると判定する。
道路標識判定プログラムは、レーダ探索範囲内に道路標識が存在するか否かを単眼カメラ22から取得した画像情報に基づいて判定する。具体的には、画像情報内のレーダ探索範囲に該当する範囲内の輝度を網羅的に検出する。そして、道路標識に関する物標テンプレートを所定の順序で動かし、その位置における輝度と道路標識に関する物標テンプレートとの一致度合いを算出する。算出した一致度合いが基準値よりも大きい箇所が存在すると判定した場合に、レーダ探索範囲内に道路標識が存在しており、道路標識をレーダ検出物標として検出している可能性があると判定する。
同一物標判定プログラムは、レーダ装置21及び単眼カメラ22により物標の位置が精度よく取得できており、同一物標が存在すると同一物標仮判定プログラムにより仮判定され、且つ、所定物標を画像検出物標として検出している可能性があると所定物標判定プログラムにより判定された場合に、レーダ検出物標と画像検出物標とが同一物標ではないと判定する。又は、レーダ装置21及び単眼カメラ22により物標の位置が精度よく取得できており、同一物標が存在すると同一物標仮判定プログラムにより仮判定され、且つ、道路標識をレーダ検出物標として検出している可能性があると道路標識判定プログラムにより判定された場合に、レーダ検出物標と画像検出物標とが同一物標ではないと判定する。
一方で、レーダ装置21及び単眼カメラ22により物標の位置が精度よく取得できており、同一物標が存在すると同一物標仮判定プログラムにより仮判定され、且つ、所定物標を画像検出物標として検出している可能性は低いと所定物標判定プログラムにより判定され、且つ、道路標識をレーダ検出物標として検出している可能性は低いと道路標識判定プログラムにより判定された場合に、レーダ検出物標と画像検出物標とが同一物標であると判定する。
本実施形態において、走行支援プログラムは、レーダ検出物標と画像検出物標とが同一物標であると同一物標判定プログラムにより判定されたことを条件として、自車両と同一物標との位置関係に基づいて、規定の走行支援処理を実施させる。
本実施形態において、走行支援処理とは、自車両前方に存在する特定物標と衝突する可能性が懸念される場合に自車両を制動させる制動処理(抑制制御に該当)に該当する。したがって、自車両には、検出ECU10からの制御指令により駆動する安全装置として、ブレーキ装置31が備えられている。
ブレーキ装置31は、自車両を制動する制動装置である。例えば、検出ECU10が、同一物標が自車両と衝突するまでの時間である衝突予測時間(TTC:Time-to-collision)を算出し、衝突予測時間が所定時間よりも縮まり、物標に自車両が衝突する可能性が高まったと判定した場合に、検出ECU10からの制御指令により、ブレーキ装置31が作動する。具体的には、ドライバによるブレーキ操作に対する制動力をより強くしたり(ブレーキアシスト機能)、ドライバによりブレーキ操作が行われてなければ自動制動を行ったりする(自動ブレーキ機能)。
本実施形態では、検出ECU10により後述する図3に記載の同一物標判定制御を実施する。図3に示す同一物標判定制御は、検出ECU10が電源オンしている期間中に検出ECU10によって所定周期で繰り返し実施される。
まず、ステップS100にて、レーダ装置21により検出されたレーダ検出物標の位置情報を取得する。ステップS110では、取得したレーダ検出物標の位置情報を中心としてレーダ探索範囲を構築する。
ステップS120では、単眼カメラ22から取得した画像情報より画像検出物標を検出する。ステップS130では、検出した画像検出物標の位置情報を中心として画像探索範囲を設定する。
ステップS140では、設定したレーダ探索範囲と画像探索範囲とで重なる箇所が存在するか否かを判定することで、レーダ検出物標と画像検出物標とが同一物標であるか否かを仮判定する。レーダ探索範囲と画像探索範囲とで重なる箇所が存在せず、レーダ検出物標と画像検出物標とが同一物標ではないと判定した場合には(S140:NO)、本制御を終了する。レーダ探索範囲と画像探索範囲とで重なる箇所が存在し、レーダ検出物標と画像検出物標とが同一物標であると仮判定した場合には(S140:YES)、ステップS150に進む。
ステップS150では、レーダ探索範囲内に道路標識が存在するか否かを単眼カメラ22から取得した画像情報に基づいて判定する。レーダ探索範囲内に道路標識が存在しないと判定した場合には(S150:NO)、ステップS160に進む。ステップS160では、画像情報内の画像探索範囲内に横断歩道が存在するか否かを判定する。画像情報内の画像探索範囲内に横断歩道が存在しないと判定した場合には(S160:NO)、ステップS170に進む。ステップS170では、画像情報内の画像探索範囲内に路面模様が存在するか否かを判定する。画像情報内の画像探索範囲内に路面模様が存在しないと判定した場合には(S170:NO)、ステップS180に進む。ステップS180では、レーダ検出物標と画像検出物標とが同一物標であると判定し、ステップS190に進む。
ステップS190では、ステップS180で判定した同一物標が自車両と衝突する可能性があるか否かを判定する。同一物標が自車両と衝突する可能性は低いと判定した場合には(S190:NO)、そのまま本制御を終了する。同一物標が自車両と衝突する可能性があると判定した場合には(S190:YES)、ステップS200に進み、ブレーキ装置31による制動処理(規定の走行支援処理)を実施させ、本制御を終了する。
一方で、レーダ探索範囲内に道路標識が存在すると判定した場合(S150:YES)、画像情報内の画像探索範囲内に横断歩道が存在すると判定した場合(S160:YES)、画像情報内の画像探索範囲内に路面模様が存在すると判定した場合(S170:YES)、ステップS210に進む。ステップS210では、レーダ検出物標と画像検出物標とが同一物標ではないと判定し、本制御を終了する。
次に、図4を参照して、図3に記載のステップS150に相当するサブルーチン処理である道路標識判定制御について説明する。道路標識判定制御はECU10により実施される。
まず、ステップS152では、画像情報内においてレーダ探索範囲に該当する範囲の輝度を網羅的に検出する。ステップS154では、道路標識に関する物標テンプレートを所定の順序で動かし、その位置における輝度と物標テンプレートの輝度との一致度合いを算出する。
ステップS156では、ステップS154で算出した一致度合いが基準値よりも大きい箇所が存在したか否かを判定する。物標テンプレートの輝度との一致度合いが基準値よりも大きい箇所が存在しないと判定した場合には(S156:NO)、本制御を終了する。物標テンプレートの輝度との一致度合いが基準値よりも大きい箇所が存在したと判定した場合には(S156:YES)、ステップS158に進み、レーダ探索範囲内に道路標識が存在しており、道路標識をレーダ検出物標として検出している可能性があると判定し、本制御を終了する。
次に、図5を参照して、図3に記載のステップS160に相当するサブルーチン処理である横断歩道判定制御について説明する。横断歩道判定制御はECU10により実施される。
まず、ステップS162では、画像探索範囲内に輝度が横断歩道に対応する所定パターンで変化する箇所が存在するか否かを判定する。画像探索範囲内に輝度が所定パターンで変化する箇所が存在しないと判定した場合には(S162:NO)、本制御を終了する。画像探索範囲内に輝度が所定パターンで変化する箇所が存在すると判定した場合には(S162:YES)、ステップS164に進む。
ステップS164では、輝度が変化する箇所の輝度の変化回数をカウントする。ステップS166では、カウントした輝度の変化回数が所定回数よりも多いか否かを判定する。カウントした輝度の変化回数が所定回数よりも多くないと判定した場合には(S166:NO)、本制御を終了する。カウントした輝度の変化回数が所定回数よりも多いと判定した場合には(S166:YES)、ステップS168に進み、画像探索範囲内に横断歩道が存在しており、横断歩道を画像検出物標として検出している可能性があると判定して、本制御を終了する。
次に、図6を参照して、図3に記載のステップS170に相当するサブルーチン処理である路面模様判定制御について説明する。路面模様判定制御はECU10により実施される。
ステップS172では、画像探索範囲内のオプティカルフローを演算する。ステップS174では、予め記憶された路面のオプティカルフローモデルを読み込む。
ステップS176では、演算した画像探索範囲内のオプティカルフローと、読み込んだ路面のオプティカルフローモデルと、の類似度が閾値よりも大きいか否かを判定する。演算した画像探索範囲内のオプティカルフローと、読み込んだ路面のオプティカルフローモデルと、の類似度が閾値よりも大きくないと判定した場合には(S176:NO)、そのまま本制御を終了する。演算した画像探索範囲内のオプティカルフローと、読み込んだ路面のオプティカルフローモデルと、の類似度が閾値よりも大きいと判定した場合には(S176:YES)、ステップS178に進む。ステップS178では、画像探索範囲内に路面模様が存在しており、路面模様を画像検出物標として検出している可能性があると判定して、本制御を終了する。
上記構成により、本実施形態は、以下の効果を奏する。
・レーダ装置21及び単眼カメラ22により物標の位置が精度よく取得できており、同一物標が存在すると仮判定され、且つ、所定物標を画像検出物標として検出している可能性があると判定された場合に、レーダ検出物標と画像検出物標とが同一物標ではないと判定される。又は、レーダ装置21及び単眼カメラ22により物標の位置が精度よく取得できており、同一物標が存在すると仮判定され、且つ、道路標識をレーダ検出物標として検出している可能性があると判定された場合に、レーダ検出物標と画像検出物標とが同一物標ではないと判定される。これにより、検出対象ではない所定物標を画像検出物標であるとして誤検出した可能性がある状況、又は、道路標識をレーダ検出物標として検出した可能性がある状況では、レーダ検出物標と画像検出物標とが同一物標ではないと判定することが可能となる。
一方で、レーダ装置21及び単眼カメラ22により物標の位置が精度よく取得できており、同一物標が存在すると仮判定され、且つ、画像情報内の画像探索範囲内に所定物標が存在しないと判定され、且つ、レーダ探索範囲内に道路標識が存在しないと判定された場合に、レーダ検出物標と画像検出物標とが同一物標であると判定される。画像探索範囲内に所定物標が存在しない場合、それだけ正常に特定物標を画像検出物標として検出している可能性が高くなる。また、レーダ探索範囲内に道路標識が存在しないことを判定することで、それだけ正常に特定物標をレーダ検出物標として検出している可能性が高くなる。よって、レーダ検出物標及び画像検出物標がどちらも正常に特定物標を検出している可能性の高い状況で同一物標判定を行うことができるので、特定物標に関する同一物標判定の精度を向上させることが可能となる。
・所定物標には横断歩道が含まれる。これにより、横断歩道が画像検出物標として検出された上で、レーダ検出物標と画像検出物標とが同一物標であると仮判定されたとしても、横断歩道を画像検出物標として検出している可能性があると判定することができる。このため、横断歩道を画像検出物標として検出している可能性があると判定された場合に、レーダ検出物標と画像検出物標とが同一物標ではないと判定することが可能となる。
・画像情報内の画像探索範囲内において、輝度が所定パターンで変化する箇所がある場合に、その輝度の変化回数がカウントされる。そして、カウントされた輝度の変化回数が所定回数よりも多い場合に、画像探索範囲内に横断歩道が存在し、横断歩道を画像検出物標として検出している可能性があると判定することができる。
・所定物標には路面模様が含まれる。これにより、路面模様が画像検出物標として検出された上で、レーダ検出物標と画像検出物標とが同一物標であると仮判定されたとしても、路面模様を画像検出物標として検出している可能性があると判定することができる。このため、路面模様を画像検出物標として検出している可能性があると判定された場合に、レーダ検出物標と画像検出物標とが同一物標ではないと判定することが可能となる。
・画像情報内の画像検出物標のオプティカルフローと、予め記憶された路面のオプティカルフローモデルと、の類似度が閾値よりも高い場合に、画像探索範囲内に路面模様が存在しており、路面模様を画像検出物標として検出している可能性があると判定することができる。
・レーダ検出物標と画像検出物標とが同一物標であると判定されたことを条件として、走行支援処理が行われる。このため、同一物標と判定された物標が特定物標である可能性が高い状況で走行支援処理を適宜実施する事が可能となる。
・走行中の車両と衝突するおそれのある物標は、主に歩行者や車両のように動く移動物体である。したがって、画像情報から車両の進行方向前方に存在する歩行者や車両を画像検出物標として検出し、検出した画像検出物標との位置関係が所定関係となるレーダ検出物標を取得できれば、画像検出物標の位置情報をレーダ検出物標の位置情報から精度高く取得することができる。つまり、車両前方に存在する人や車両の動向を精度高く把握することができる。
上記実施形態を、以下のように変更して実施することもできる。
・上記実施形態において、特定物標に関する物標テンプレートとは、車両及び歩行者の少なくとも一方に関する物標テンプレートであった。このことについて、特定物標に関する物標テンプレートに自転車を追加し、車両、歩行者、及び自転車の少なくとも一方に関するテンプレートとしてもよい。
・上記実施形態において、走行支援処理とは、自車両前方に存在する特定物標と衝突する可能性が懸念される場合に、ブレーキ装置31により自車両を制動させる制動処理に該当していた。このことについて、電動式パワーステアリングを備えさせ、自車両前方に存在する特定物標と衝突する可能性が懸念される場合に、同一物標との衝突を回避する方向に電動式パワーステアリングを制御する走行支援処理を実施してもよい。
・上記実施形態において、道路標識判定プログラムは、レーダ探索範囲内に道路標識が存在するか否かを単眼カメラ22から取得した画像情報に基づいて判定していた。この道路標識判定プログラムによる判定は、必ずしも実施する必要はない。かかる構成によっても、上記実施形態に準じた作用と効果が奏される。
・上記実施形態において、同一物標仮判定プログラムは、レーダ探索範囲と画像検探索範囲とで重なる箇所が存在する場合に、レーダ検出物標と画像検出物標とが同一物標であると仮判定していた。このことについて、必ずしもレーダ探索範囲を構築する必要はなく、画像探索範囲内にレーダ検出物標が含まれる場合にレーダ検出物標と画像検出物標とが同一物標であると仮判定してもよい。
・上記実施形態では、レーダ装置21及び単眼カメラ22により物標の位置が精度よく取得できており、同一物標が存在すると同一物標仮判定プログラムにより仮判定された場合に、同一物標判定プログラムは、所定物標判定プログラム又は道路標識判定プログラムの判定結果に基づいて、レーダ検出物標と画像検出物標とが同一物標であるか否かを判定していた。このことについて、同一物標仮判定プログラムを削除し、同一物標判定確認プログラムを加えた構成としてもよい。本構成において、同一物標判定プログラムは、上記実施形態に係る同一物標仮判定プログラムと同じ判定処理を行う。このとき、レーダ装置21及び単眼カメラ22により物標の位置が精度よく取得できており、同一物標が存在すると同一物標判定プログラムにより判定された場合、同一物標判定確認プログラムは、所定物標判定プログラム又は道路標識判定プログラムの判定結果に基づいて、レーダ検出物標と画像検出物標とが同一物標であるとの同一物標判定プログラムの判定結果を肯定又は否定する。かかる構成によっても、上記実施形態と同様の作用と効果が奏される。
・上記実施形態において、レーダ探索範囲内に道路標識が存在するか否かを単眼カメラ22から取得した画像情報に基づいて判定していた。このことについて、判定の対象に横断歩道橋とマンホールを追加してもよい。道路標識だけでなく、横断歩道橋やマンホールもまたレーダ検出物標として検出されることがあり、この場合にレーダ検出物標付近に存在する特定物標を画像検出物標として検出すると、レーダ検出物標と画像検出物標とが同一物標であると誤判定されるおそれがある。この対策として、レーダ探索範囲内に道路標識、横断歩道橋、及びマンホールの少なくとも一方が存在するか否かが単眼カメラ22から取得した画像情報に基づいて判定される。この判定処理を行う事で、正常に特定物標をレーダ検出物標として検出している可能性を更に高めることができ、ひいては、特定物標に関する同一物標判定の精度を向上させることが可能となる。
・上記実施形態において、所定物標は、横断歩道及び路面模様に該当していた。このことについて、横断歩道及び路面模様の他、マンホールを所定物標に含めてもよい。
(1)上記実施形態において、横断歩道や路面模様が収められた画像を単眼カメラ22から取得した場合に、取得した画像に対して物標テンプレートとのパターンマッチングを行うと、横断歩道や路面模様を特定物標に関する物標テンプレートの特定方向のシルエットとして誤検出するおそれがあると記載した。しかし、誤検出するおそれのあるものは横断歩道や路面模様に限らない。
パターンマッチングでは、特定物標に関する物標テンプレートの輝度との一致の度合いが基準値よりも大きい箇所が画像内にある場合に、その箇所が画像検出物標として検出される。このとき、検出された画像検出物標について、その高さや車幅方向における長さ(以降、横幅と呼称)は考慮されない。したがって、画像内に中央分離帯や歩道に植えられた木が写りこみ、木が存在する位置の輝度と歩行者に関する物標テンプレートの輝度との一致度合いが基準値よりも大きいと判定されると、木と歩行者とでは高さが大きく異なるにも関わらず、中央分離帯や歩道に植えられた木を歩行者と誤検出する可能性がある。あるいは、画像内に高架橋が写りこみ、高架橋が存在する位置の輝度と車両に関する物標テンプレートの輝度との一致度合いが基準値よりも大きいと判定されると、高架橋と車両とでは横幅が大きく異なるにも関わらず、高架橋を車両と誤検出する可能性がある。
この対策として、上記実施形態に係るROM13に、物標種類判定プログラムと、寸法算出プログラムと、異常サイズ判定プログラムと、を更に備えさせてもよい。なお、本別例において、特定物標に関する物標テンプレートとは、車両、歩行者、及び自転車の少なくとも一つに関するテンプレートに該当する。
物標種類判定プログラムは、パターンマッチングプログラムにより画像検出物標が検出された場合に、画像内における画像検出物標が検出された位置の輝度が、車両、歩行者、及び自転車のうちいずれの物標テンプレートの輝度と一致度合いが基準値よりも高かったかで、画像検出物標の種類(車両,歩行者,自転車)を判定する。例えば、画像内における画像検出物標が検出された位置の輝度と、車両に関する物標テンプレートの輝度との一致度合いが基準値よりも高かった場合には、画像検出物標は車両であると判定する。このため、物標種類判定プログラムは、種類判定部に該当する。
以下、物標種類判定プログラムにより判定された種類において、横幅(又は全長)及び高さのうちより長いことが想定される寸法を長寸法として呼称する。寸法算出プログラムは、物標種類判定プログラムにより判定された画像検出物標の種類に基づいて算出するべき長寸法を定め(横幅(又は全長)を長寸法とするか、高さを長寸法とするかを定め)、実空間における画像検出物標の長寸法(以下、実長寸法と呼称)を算出する。このため、寸法算出プログラムは、長寸法算出部に該当する。
寸法算出プログラムについて、より詳細に説明する。物標種類判定プログラムにより画像検出物標が車両であると判定された場合、車両の多くは高さよりも横幅の方が長いことから、横幅を長寸法として定め、寸法算出プログラムは実空間における画像検出物標の横幅を算出する。物標種類判定プログラムにより画像検出物標が歩行者であると判定された場合、歩行者は横幅よりも高さの方が長いことから、高さを長寸法として定め、寸法算出プログラムは実空間における画像検出物標の高さを算出する。物標種類判定プログラムにより画像検出物標が自転車であると判定された場合、自転車の向く方向によって、横幅と高さの関係は変化する。したがって、自転車が自車両の進行方向と平行な方向に移動している自転車(以降、縦向き自転車と呼称)である場合、横幅よりも高さの方が長くなる為、高さを長寸法として定め、寸法算出プログラムは実空間における画像検出物標の高さを算出する。一方で、自転車が自車両の進行方向と直交する方向に移動している自転車(以降、横向き自転車と呼称)である場合、高さよりも全長の方が長くなる為、全長を長寸法として定め、寸法算出プログラムは実空間における画像検出物標の全長を算出する。
実空間における画像検出物標の長寸法の具体的な算出法を以下に説明する。
実空間における単眼カメラ22のレンズから画像検出物標までの距離(以降、実距離と呼称)を、画像内における単眼カメラ22のレンズから画像検出物標までの距離(以降、画像距離)で割った値は、実長寸法を、画像内における画像検出物標の長寸法(以降、画像長寸法と呼称)で割った値に等しい。この関係に基づいて、(1)式に示される実長寸法を算出するための式が導出される。
実長寸法=(実距離×画像長寸法)/画像距離…(1)
このとき、実距離は、画像内における画像検出物標の位置が画像の縦方向の中央からどれだけ下(あるいは上)の位置にいるかで、実空間上における画像検出物標までの距離を算出する。画像長寸法は、画像検出物標において算出したい高さ又は幅をピクセル数で算出し、算出したピクセル数に画像の解像度の逆数を掛けることにより算出される。画像距離は、画像検出物標までの距離をピクセル数で算出し、算出したピクセル数に画像の解像度の逆数を掛けることにより算出される。
このとき、実距離は、画像内における画像検出物標の位置が画像の縦方向の中央からどれだけ下(あるいは上)の位置にいるかで、実空間上における画像検出物標までの距離を算出する。画像長寸法は、画像検出物標において算出したい高さ又は幅をピクセル数で算出し、算出したピクセル数に画像の解像度の逆数を掛けることにより算出される。画像距離は、画像検出物標までの距離をピクセル数で算出し、算出したピクセル数に画像の解像度の逆数を掛けることにより算出される。
なお、本別例において、実長寸法の長さをメートル単位で算出する場合、画像の解像度は1メートルあたりのピクセル数として規定される。このため、画像検出物標において算出したい高さ又は幅をピクセル数で算出した値と、解像度の逆数との積を算出することで、画像上における画像検出物標の高さ又は幅をメートル単位に換算することができる。同様に、画像検出物標までの距離をピクセル数で算出した値と解像度の逆数との積を算出することで、画像上における画像検出物標までの距離をメートル単位に換算することができる。つまり、画像長寸法及び画像距離の単位をメートルに統一することができる。
異常サイズ判定プログラムは、寸法算出プログラムにより算出された実寸法が判定値よりも長いか否かを判定することで、画像検出物標が異常サイズであるか否かを判定する。このため、異常サイズ判定プログラムは、異常サイズ判定部に該当する。
本別例において、判定値は、画像検出物標が特定物標である場合に想定される寸法の上限値よりも所定値(検出誤差を考慮した値)長く設定される。より具体的には、物標種類判定プログラムにより画像検出物標が車両であると判定された場合、想定される車両の横幅の上限値よりも所定値長く設定される(例えば、上限値を3.5mとすると判定値は4.5mに設定される)。物標種類判定プログラムにより画像検出物標が歩行者であると判定された場合、想定される歩行者の高さの上限値よりも所定値長く設定される(例えば、上限値を2.5mとすると判定値は3.5mに設定される)。物標種類判定プログラムにより画像検出物標が横向き自転車であると判定された場合、想定される横向きバイクの全長の上限値よりも所定値長く設定される(例えば、上限値を2.5mとすると判定値は3.5mに設定される)。物標種類判定プログラムにより画像検出物標が縦向き自転車であると判定された場合、想定される縦向き自転車の高さの上限値よりも所定値長く設定される(例えば、上限値を1.5mとすると判定値は3.0mに設定される)。このように、判定値は、物標種類判定プログラムにより判定された画像検出物標の種類によって可変に設定される。
図7は、図3のフローチャートの一部を変容したものである。すなわち、ステップS170に該当するステップS370と、ステップS180に該当するステップS380との間には、ステップS375が挿入される。
ステップS370の判定処理にてNO判定だった場合には、ステップS375に進む。ステップS375では、検出した画像検出物標が異常サイズであるか否かを判定する。画像検出物標が異常サイズであると判定した場合には(S375:YES)、ステップS210に該当するステップS410に進む。画像検出物標が異常サイズではないと判定した場合には(S375:NO)、ステップS380に進む。
それ以外のステップについて、図7の各ステップS300,310,320,330,340,350,360,390,及び400の処理は、それぞれ、図3の各ステップS100,110,120,130,140,150,160,190,及び200の処理と同一である。
次に、図8を参照して、図7に記載のステップS375に相当するサブルーチン処理である異常サイズ判定制御について説明する。異常サイズ判定制御はECU10により実施される。
まずステップS500では、画像検出物標が、特定物標のうち、車両、歩行者、及び自転車のいずれの物標に該当するかで、画像検出物標の種類を判定する。ステップS510では、ステップS500で判定された物標の種類に基づいて、判定値を設定する。
ステップS520では、単眼カメラ22から取得した画像情報に基づいて、単眼カメラ22のレンズから画像検出物標までの、実距離及び画像距離と、画像内における画像検出物標の長寸法と、を算出する。ステップS530では、ステップS520で算出した実距離,画像距離,画像長寸法に基づいて、実空間における画像検出物標の実長寸法を算出する。
ステップS540では、ステップS530で算出した実長寸法がステップS510で設定した判定値よりも長いか否かを判定する。実長寸法が判定値よりも長いと判定した場合には(S540:YES)、ステップS550に進み、判定した物標種類のサイズよりも画像検出物標は大きく、異常サイズであると判定し、本制御を終了する。実長寸法が判定値よりも長くないと判定した場合には(S540:NO)、そのまま本制御を終了する。
上記構成により、本別例は、以下の効果を奏する。
・本別例に係る異常サイズ判定制御が行われる事で、特定物標として想定されるサイズの上限を超えて大きい画像検出物標について特定物標ではないとして、レーダ検出物標と画像検出物標とが同一物標ではないと判定することが可能となる。
・例えば、木と人とを比較すると、横幅の差よりも高さに大きな差が生じる。また、高架橋と車両とを比較すると、高さの差よりも横幅により大きな差が生じる。このように、実長寸法は、特定物標と誤検出する可能性のある物標とで顕著な差が生じる傾向にある長さであるといえる。したがって、実長寸法を判定対象とすることで、より正確な異常サイズ判定を実施することができる。
(1)に係る別例を、以下のように変更して実施することもできる。
・(1)に係る別例では、実長寸法を判定対象として、異常サイズ判定を実施していた。このことについて、実短寸法を判定対象として、異常サイズ判定を実施してもよい。短寸法は、物標種類判定プログラムにより判定された種類において、横幅(又は全長)及び高さのうちより短い寸法のことである。そして、実短寸法は、実空間における画像検出物標の短寸法のことである。
・(1)に係る別例では、道路標識判定制御(図7におけるステップS350)と、横断歩道判定制御(図7におけるステップS360)と、路面模様判定制御(図7におけるステップS370)と、の後に、異常サイズ判定制御(図7におけるステップS375)を実施していた。これらの判定制御の順序は上記に限定されるものではなく、適宜変更可能である。
・(1)に係る別例では、物標種類判定プログラムにより画像検出物標の種類が判定されていた。このことについて、物標種類判定プログラムを削除した構成としてもよい。この場合、実空間における画像検出物標の高さ及び横幅(又は全長)が寸法算出プログラムによりそれぞれ算出され、算出された画像検出物標の高さ及び横幅がそれぞれに対して設定される判定値よりも長いか否かが異常サイズ判定プログラムにより判定される。そして、画像検出物標の高さ及び横幅のうち少なくとも一方が判定値よりも長いと判定された場合に、画像検出物標は異常サイズであると判定される。このとき、高さに対する判定値は、特定物標に含まれる種類のうち最も高さの上限値が大きい物標(例えば車両)の高さ上限値に設定される。また、横幅に対する判定値は、特定物標に含まれる種類のうち最も横幅の上限値が大きい物標(例えば車両)の横幅上限値に設定される。
本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
Claims (13)
- 車両の進行方向前方に探査波を送信し、物標により反射された反射波を受信するレーダ装置(21)からその反射波に基づく反射情報を取得し、その一方で前記車両の進行方向前方を撮像する単眼カメラ(22)から画像情報を取得する物標検出装置(10)であって、
前記反射情報に基づいて検出した物標であるレーダ検出物標の位置を検出するレーダ検出物標位置検出部と、
前記画像情報に基づいて前記車両に衝突するおそれのある特定物標を検出し、検出した前記特定物標である画像検出物標の位置を検出する画像検出物標位置検出部と、
前記レーダ検出物標と前記画像検出物標との位置関係が所定関係となった場合に、前記レーダ検出物標と前記画像検出物標とは同一物標であると仮判定する同一物標仮判定部と、
前記画像検出物標が、前記車両が通過可能な所定物標であるか否かの判定を行う所定物標判定部と、
前記同一物標仮判定部により前記レーダ検出物標と前記画像検出物標とは同一物標であると仮判定され、且つ、前記所定物標判定部により前記画像検出物標が前記所定物標であると判定された場合に、前記レーダ検出物標と前記画像検出物標とは同一物標ではないと判定し、一方で、前記同一物標仮判定部により前記レーダ検出物標と前記画像検出物標とは同一物標であると仮判定され、且つ、前記所定物標判定部により前記画像検出物標が前記所定物標ではないと判定された場合に、前記レーダ検出物標と前記画像検出物標とは同一物標であると判定する同一物標判定部と、
を備える物標検出装置。 - 前記所定物標は、横断歩道を含む請求項1に記載の物標検出装置。
- 前記単眼カメラにより検出された前記画像情報内の前記画像検出物標の位置において、輝度が所定パターンで変化する箇所がある場合に、前記輝度の変化回数をカウントするカウント部を備え、
所定物標判定部は、前記カウント部によりカウントされた前記変化回数が所定回数よりも多い場合に、前記画像検出物標を前記横断歩道であると判定する請求項2に記載の物標検出装置。 - 前記所定物標は、路面模様を含む請求項1乃至3のいずれか1項に記載の物標検出装置。
- 前記単眼カメラから取得された前記画像情報内の前記画像検出物標のオプティカルフローを演算するフロー演算部を備え、
前記所定物標判定部は、前記フロー演算部により演算された前記オプティカルフローと、予め記憶された前記路面のオプティカルフローモデルと、の類似度が閾値よりも高い場合に、前記画像検出物標を前記路面模様と判定する請求項4に記載の物標検出装置。 - 前記レーダ検出物標位置検出部により検出された前記レーダ検出物標の位置に、道路標識が存在するか否かを前記単眼カメラから取得した前記画像情報に基づいて判定する道路標識判定部を備え、
前記同一物標判定部は、前記同一物標仮判定部により前記レーダ検出物標と前記画像検出物標とは同一物標であると仮判定され、且つ、前記道路標識判定部により前記画像情報内に前記道路標識が存在すると判定された場合に、前記レーダ検出物標と前記画像検出物標とは同一物標ではないと判定する請求項1乃至5のいずれか1項に記載の物標検出装置。 - 前記同一物標判定部により前記レーダ検出物標と前記画像検出物標とが同一物標であると判定されたことを条件として、前記車両と前記同一物標との位置関係に基づいて、前記車両と前記同一物標との衝突を抑制する抑制制御を行う衝突抑制部(31)を備える請求項1乃至6のいずれか1項に記載の物標検出装置。
- 前記特定物標は、車両及び歩行者の少なくとも一方を含む請求項1乃至7のいずれか1項に記載の物標検出装置。
- 実空間における前記画像検出物標のサイズが、前記特定物標である場合に想定されるサイズよりも大きい異常サイズであるか否かを判定する異常サイズ判定部を備え、
前記同一物標判定部は、前記同一物標仮判定部により前記レーダ検出物標と前記画像検出物標とは同一物標であると仮判定され、且つ、前記所定物標判定部により前記画像検出物標が前記所定物標ではないと判定され、且つ、前記異常サイズ判定部により前記画像検出物標が前記異常サイズであると判定された場合に、前記レーダ検出物標と前記画像検出物標とは同一物標ではないと判定し、一方で、前記同一物標仮判定部により前記レーダ検出物標と前記画像検出物標とは同一物標であると仮判定され、且つ、前記所定物標判定部により前記画像検出物標が前記所定物標ではないと判定され、且つ、前記異常サイズ判定部により前記画像検出物標が前記異常サイズではないと判定された場合に、前記レーダ検出物標と前記画像検出物標とは同一物標であると判定する請求項1乃至7のいずれか1項に記載の物標検出装置。 - 前記特定物標は、複数種類の前記物標を含み、
前記画像検出物標位置検出部により検出された前記画像検出物標が、前記特定物標のうちいずれの種類の物標であるかを判定する種類判定部と、
前記種類判定部により判定された前記種類において車幅方向の長さとしての横幅と高さとのうちより長いことが想定される寸法としての長寸法を定め、実空間における前記画像検出物標の前記長寸法を算出する長寸法算出部と、
を備え、
前記異常サイズ判定部は、前記長寸法算出部により算出された実空間における前記画像検出物標の前記長寸法が、前記種類判定部により特定された前記種類において想定される前記長寸法の上限値以上に長く設定された判定値よりも長いか否かで、前記画像検出物標が前記異常サイズであるか否かを判定する請求項9に記載の物標検出装置。 - 前記特定物標は、歩行者を含み、
前記長寸法算出部は、前記種類判定部により前記画像検出物標が前記歩行者であると判定された場合に、実空間における前記画像検出物標の高さを算出し、
前記異常サイズ判定部は、前記長寸法算出部により算出された実空間における前記画像検出物標の前記高さが前記判定値よりも長いか否かで、前記画像検出物標が前記異常サイズであるか否かを判定する請求項10に記載の物標検出装置。 - 前記特定物標は、車両を含み、
前記長寸法算出部は、前記種類判定部により前記画像検出物標が前記車両であると判定された場合に、実空間における前記画像検出物標の横幅を算出し、
前記異常サイズ判定部は、前記長寸法算出部により算出された実空間における前記画像検出物標の前記横幅が前記判定値よりも長いか否かで、前記画像検出物標が前記異常サイズであるか否かを判定する請求項10又は11に記載の物標検出装置。 - 前記特定物標は、自転車を含み、
前記画像検出物標位置検出部により検出された前記画像検出物標が、前記特定物標のうちいずれの種類の物標であるかを判定する種類判定部と、
前記種類判定部により判定された前記種類において車幅方向の長さとしての全長と高さとのうちより長いことが想定される寸法としての長寸法を定め、実空間における前記画像検出物標の前記長寸法を算出する長寸法算出部と、
を備え、
前記異常サイズ判定部は、前記種類判定部により前記画像検出物標が前記縦向き自転車であると判定された場合、前記長寸法算出部により算出された実空間における前記画像検出物標の前記高さが前記判定値よりも長いか否かで、前記画像検出物標が前記異常サイズであるか否かを判定し、前記種類判定部により前記画像検出物標が前記横向き自転車であると判定された場合、前記長寸法算出部により算出された実空間における前記画像検出物標の前記全長が前記判定値よりも長いか否かで、前記画像検出物標が前記異常サイズであるか否かを判定する請求項9に記載の物標検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/321,171 US11086007B2 (en) | 2016-07-29 | 2017-07-26 | Target detection device |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016149673 | 2016-07-29 | ||
JP2016-149673 | 2016-07-29 | ||
JP2017-044243 | 2017-03-08 | ||
JP2017044243A JP6547785B2 (ja) | 2016-07-29 | 2017-03-08 | 物標検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018021444A1 true WO2018021444A1 (ja) | 2018-02-01 |
Family
ID=61016203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/027126 WO2018021444A1 (ja) | 2016-07-29 | 2017-07-26 | 物標検出装置 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2018021444A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115436899A (zh) * | 2022-08-31 | 2022-12-06 | 中国第一汽车股份有限公司 | 毫米波雷达探测数据的处理方法、装置、设备和存储介质 |
JP7214024B1 (ja) | 2022-03-09 | 2023-01-27 | 三菱電機株式会社 | 物体位置検出装置 |
CN115683060A (zh) * | 2022-11-30 | 2023-02-03 | 浙江天钰地理信息技术有限公司 | 一种基于倾斜摄影技术的地形测绘方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1138142A (ja) * | 1997-07-23 | 1999-02-12 | Denso Corp | 車両用障害物認識装置 |
JP2002189075A (ja) * | 2000-12-20 | 2002-07-05 | Fujitsu Ten Ltd | 道路上方静止物検知方法 |
JP2009031053A (ja) * | 2007-07-25 | 2009-02-12 | Fujitsu Ten Ltd | 前方障害物検出装置 |
JP2010127717A (ja) * | 2008-11-26 | 2010-06-10 | Sumitomo Electric Ind Ltd | 対象物検出装置及び対象物検出システム |
JP2013186663A (ja) * | 2012-03-07 | 2013-09-19 | Toyota Motor Corp | 横断歩道認識装置および横断歩道認識方法 |
WO2016047495A1 (ja) * | 2014-09-24 | 2016-03-31 | 株式会社デンソー | 物体検出装置 |
-
2017
- 2017-07-26 WO PCT/JP2017/027126 patent/WO2018021444A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1138142A (ja) * | 1997-07-23 | 1999-02-12 | Denso Corp | 車両用障害物認識装置 |
JP2002189075A (ja) * | 2000-12-20 | 2002-07-05 | Fujitsu Ten Ltd | 道路上方静止物検知方法 |
JP2009031053A (ja) * | 2007-07-25 | 2009-02-12 | Fujitsu Ten Ltd | 前方障害物検出装置 |
JP2010127717A (ja) * | 2008-11-26 | 2010-06-10 | Sumitomo Electric Ind Ltd | 対象物検出装置及び対象物検出システム |
JP2013186663A (ja) * | 2012-03-07 | 2013-09-19 | Toyota Motor Corp | 横断歩道認識装置および横断歩道認識方法 |
WO2016047495A1 (ja) * | 2014-09-24 | 2016-03-31 | 株式会社デンソー | 物体検出装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7214024B1 (ja) | 2022-03-09 | 2023-01-27 | 三菱電機株式会社 | 物体位置検出装置 |
JP2023131274A (ja) * | 2022-03-09 | 2023-09-22 | 三菱電機株式会社 | 物体位置検出装置 |
CN115436899A (zh) * | 2022-08-31 | 2022-12-06 | 中国第一汽车股份有限公司 | 毫米波雷达探测数据的处理方法、装置、设备和存储介质 |
CN115683060A (zh) * | 2022-11-30 | 2023-02-03 | 浙江天钰地理信息技术有限公司 | 一种基于倾斜摄影技术的地形测绘方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6547785B2 (ja) | 物標検出装置 | |
CN108698551B (zh) | 道路信息识别系统以及道路信息识别方法 | |
CN106463064B (zh) | 物体识别装置和使用该物体识别装置的车辆行驶控制装置 | |
CN107251127B (zh) | 车辆的行驶控制装置以及行驶控制方法 | |
CN107077792B (zh) | 行驶控制系统 | |
US20200074192A1 (en) | Vehicle-Mounted Image Processing Device | |
JP4420011B2 (ja) | 物体検知装置 | |
JP6981197B2 (ja) | 車両制御装置 | |
CN110045736B (zh) | 一种基于无人机的弯道障碍物避让方法 | |
EP3557527B1 (en) | Object detection device | |
CN107209998B (zh) | 车道线识别装置以及车道线识别方法 | |
JP6614108B2 (ja) | 車両制御装置、車両制御方法 | |
JP6985089B2 (ja) | 立体物接地判定装置 | |
JP2014528063A (ja) | 車両があるオブジェクトを通過可能であるかを判断するための3dカメラを用いた方法 | |
CN202169907U (zh) | 车外环境识别装置 | |
TW201704067A (zh) | 防撞方法、實現該防撞方法之電腦程式產品及防撞系統 | |
CN107004368A (zh) | 车辆的行驶控制装置、行驶控制方法以及行驶控制程序 | |
US11042759B2 (en) | Roadside object recognition apparatus | |
JP7454685B2 (ja) | 車両走行路内のデブリの検出 | |
JP2018124768A (ja) | 車両制御装置 | |
JP7239353B2 (ja) | 車両における制動支援制御装置、制動支援制御システムおよび制動支援制御方法 | |
WO2018021444A1 (ja) | 物標検出装置 | |
JP2021064056A (ja) | ゼブラゾーン認識装置、車両制御装置、ゼブラゾーン認識方法、およびプログラム | |
JP7043765B2 (ja) | 車両走行制御方法及び装置 | |
JP6143184B2 (ja) | 走行可否判定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17834446 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17834446 Country of ref document: EP Kind code of ref document: A1 |