WO2023157394A1 - 認識システム、認識装置、認識方法、認識プログラム - Google Patents
認識システム、認識装置、認識方法、認識プログラム Download PDFInfo
- Publication number
- WO2023157394A1 WO2023157394A1 PCT/JP2022/041385 JP2022041385W WO2023157394A1 WO 2023157394 A1 WO2023157394 A1 WO 2023157394A1 JP 2022041385 W JP2022041385 W JP 2022041385W WO 2023157394 A1 WO2023157394 A1 WO 2023157394A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- scanning
- recognition
- space
- scanning space
- dimensional
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 11
- 238000013507 mapping Methods 0.000 claims abstract description 44
- 230000009467 reduction Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 description 50
- 238000004891 communication Methods 0.000 description 26
- 238000012545 processing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000007613 environmental effect Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000007717 exclusion Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241001074085 Scophthalmus aquosus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Definitions
- the present disclosure relates to recognition technology for recognizing moving objects.
- Patent Literature 1 compares 3D range image data with 3D environment map data, and clusters points that do not exist in the 3D environment map data in the 3D range image data. Recognizing mobile objects.
- Patent Document 1 between a plurality of stationary objects that are separated back and forth in the scanning direction of the laser rangefinder, which is a scanning device, ghost pixels are generated due to overlapping of scanning echoes from each stationary object.
- An erroneous scanning point cloud called .
- Such a problem may also occur between a plurality of moving bodies that overlap when viewed in the scanning direction of the laser rangefinder.
- An object of the present disclosure is to provide a recognition system that recognizes moving objects with high accuracy. Another object of the present disclosure is to provide a recognition device that recognizes a moving object with high accuracy. Yet another object of the present disclosure is to provide a recognition method for recognizing a moving object with high accuracy. Yet another object of the present disclosure is to provide a recognition program that recognizes a moving object with high accuracy.
- a recognition system having a processor for recognizing a target mobile movable in a scanning space scanned by a scanning device of a host mobile, comprising: The processor obtaining three-dimensional scan data representing a cloud of scanning points scanned through the scanning space; reading from a storage medium a three-dimensional dynamic map representing a mapping point cloud mapping an object present in the scanning space; By clustering the scanning point cloud based on the identification information for identifying the state of the scanning space for each of a plurality of three-dimensional voxels obtained by dividing the scanning space in the three-dimensional dynamic map, recognizing a moving target among a plurality of stationary objects and generating recognition data.
- a second aspect of the present disclosure is A recognition device having a processor, configured to be mountable on a host mobile body, and recognizing a target mobile body movable in a scanning space scanned by a scanning device of the host mobile body, The processor obtaining three-dimensional scan data representing a cloud of scanning points scanned through the scanning space; reading from a storage medium a three-dimensional dynamic map representing a mapping point cloud mapping an object present in the scanning space; By clustering the scanning point cloud based on the identification information for identifying the state of the scanning space for each of a plurality of three-dimensional voxels obtained by dividing the scanning space in the three-dimensional dynamic map, recognizing a moving target among a plurality of stationary objects and generating recognition data.
- a third aspect of the present disclosure is A recognition method executed by a processor for recognizing a target mobile movable in a scanning space scanned by a scanning device of a host mobile, comprising: obtaining three-dimensional scan data representing a cloud of scanning points scanned through the scanning space; reading from a storage medium a three-dimensional dynamic map representing a mapping point cloud mapping an object present in the scanning space; By clustering the scanning point cloud based on the identification information for identifying the state of the scanning space for each of a plurality of three-dimensional voxels obtained by dividing the scanning space in the three-dimensional dynamic map, and generating recognition data that recognizes the moving target among the plurality of stationary objects.
- a fourth aspect of the present disclosure is A recognition program comprising instructions stored on a storage medium and executed by a processor for recognizing a target vehicle movable in a scanning space scanned by a scanning device of a host vehicle, comprising: the instruction is obtaining three-dimensional scan data representing a cloud of scanning points scanned through the scanning space; retrieving from a storage medium a three-dimensional dynamic map representing a mapping point cloud mapping an object present in the scanning space; By clustering the scanning point cloud based on the identification information for identifying the state of the scanning space for each of a plurality of three-dimensional voxels obtained by dividing the scanning space in the three-dimensional dynamic map, generating recognition data that recognizes a moving target among a plurality of stationary objects.
- recognition data is generated that recognizes a moving target object among a plurality of stationary objects that are separated back and forth in the scanning direction of the scanning device in the scanning space.
- a plurality of The misscanned point cloud can be excluded from the scanning point cloud clustered corresponding to the stationary objects. Therefore, it is possible to highly accurately recognize the moving target that has entered between a plurality of stationary objects.
- a fifth aspect of the present disclosure includes: A recognition system having a processor for recognizing a target mobile movable in a scanning space scanned by a scanning device of a host mobile, comprising: The processor obtaining three-dimensional scan data representing a cloud of scanning points scanned through the scanning space; reading from a storage medium a three-dimensional dynamic map representing a mapping point cloud mapping an object present in the scanning space; By clustering scanning point groups based on identification information for identifying the state of the scanning space for each of a plurality of three-dimensional voxels obtained by dividing the scanning space in the three-dimensional dynamic map, they are superimposed when viewed in the scanning direction of the scanning device in the scanning space. recognizing a plurality of target vehicles and generating recognition data.
- a sixth aspect of the present disclosure is A recognition device having a processor, configured to be mountable on a host mobile body, and recognizing a target mobile body movable in a scanning space scanned by a scanning device of the host mobile body, The processor obtaining three-dimensional scan data representing a cloud of scanning points scanned through the scanning space; reading from a storage medium a three-dimensional dynamic map representing a mapping point cloud mapping an object present in the scanning space; By clustering scanning point groups based on identification information for identifying the state of the scanning space for each of a plurality of three-dimensional voxels obtained by dividing the scanning space in the three-dimensional dynamic map, they are superimposed when viewed in the scanning direction of the scanning device in the scanning space. recognizing a plurality of target vehicles and generating recognition data.
- a seventh aspect of the present disclosure comprises: A recognition method executed by a processor for recognizing a target mobile movable in a scanning space scanned by a scanning device of a host mobile, comprising: obtaining three-dimensional scan data representing a cloud of scanning points scanned through the scanning space; reading from a storage medium a three-dimensional dynamic map representing a mapping point cloud mapping an object present in the scanning space; By clustering scanning point groups based on identification information for identifying the state of the scanning space for each of a plurality of three-dimensional voxels obtained by dividing the scanning space in the three-dimensional dynamic map, they are superimposed when viewed in the scanning direction of the scanning device in the scanning space. and generating recognition data that recognizes the plurality of target vehicles.
- An eighth aspect of the present disclosure comprises: A recognition program comprising instructions stored on a storage medium and executed by a processor for recognizing a target vehicle movable in a scanning space scanned by a scanning device of a host vehicle, comprising: the instruction is obtaining three-dimensional scan data representing a cloud of scanning points scanned through the scanning space; retrieving from a storage medium a three-dimensional dynamic map representing a mapping point cloud mapping an object present in the scanning space; By clustering scanning point groups based on identification information for identifying the state of the scanning space for each of a plurality of three-dimensional voxels obtained by dividing the scanning space in the three-dimensional dynamic map, they are superimposed when viewed in the scanning direction of the scanning device in the scanning space. and generating recognition data recognizing the plurality of target vehicles.
- recognition data is generated by recognizing a plurality of target moving bodies overlapping each other in the scanning space as viewed from the scanning device in the scanning direction.
- recognition data is generated by recognizing a plurality of target moving bodies overlapping each other in the scanning space as viewed from the scanning device in the scanning direction.
- identification information for identifying the state of the scanning space for each of a plurality of three-dimensional voxels obtained by dividing the scanning space in the three-dimensional dynamic map a plurality of The misscanned point cloud can be excluded from the scanning point cloud clustered corresponding to the target moving bodies. Therefore, it is possible to recognize each target moving body that is superimposed when viewed in the scanning direction with high accuracy.
- FIG. 1 is a block diagram showing the overall configuration of a recognition system according to a first embodiment
- FIG. FIG. 4 is a schematic diagram showing the relationship between the scanning device of the host moving body and the target moving body according to the first embodiment
- 1 is a block diagram showing the functional configuration of a recognition system according to a first embodiment
- FIG. It is a flowchart which shows the recognition flow by 1st embodiment. It is a schematic diagram for demonstrating the recognition flow by 1st embodiment. It is a schematic diagram for demonstrating the recognition flow by 1st embodiment. It is a schematic diagram for demonstrating the recognition flow by 1st embodiment. It is a schematic diagram for demonstrating the recognition flow by 1st embodiment. It is a schematic diagram for demonstrating the recognition flow by 1st embodiment. It is a schematic diagram for demonstrating the recognition flow by 1st embodiment. It is a schematic diagram for demonstrating the recognition flow by 1st embodiment. It is a schematic diagram for demonstrating the recognition flow by 1st embodiment.
- 9 is a flowchart showing a superimposition recognition subroutine of the recognition flow according to the first embodiment; It is a schematic diagram for demonstrating the recognition flow by 1st embodiment. It is a schematic diagram for demonstrating the recognition flow by 2nd embodiment. It is a schematic diagram for demonstrating the recognition flow by 2nd embodiment. It is a schematic diagram for demonstrating the recognition flow by 2nd embodiment. 10 is a flow chart showing a high reflection extraction subroutine of the recognition flow according to the second embodiment; 10 is a flow chart showing a high reflection recognition subroutine of the recognition flow according to the second embodiment;
- the recognition system 1 of the first embodiment shown in FIG. 1 recognizes a movable target moving body 9 in a scanning space 30 scanned by a scanning device 3 mounted on a host moving body 2 as shown in FIG.
- the host mobile body 2 to which the recognition system 1 is applied is a vehicle, such as an automobile, which can travel on roads with a passenger on board.
- the target mobile object 9 to be recognized by the recognition system 1 is of a plurality of types, such as vehicles other than the host mobile object 2, motorcycles, people, animals, autonomous mobile robots, remote mobile robots, and the like.
- the automatic driving mode is executed so that the level is divided according to the degree of manual intervention of the passenger in the dynamic driving task.
- Autonomous driving modes may be achieved by autonomous cruise control, such as conditional driving automation, advanced driving automation, or full driving automation, in which the system, when activated, performs all dynamic driving tasks.
- Autonomous driving modes may be provided by advanced driving assistance controls, such as driving assistance or partial driving automation, in which the occupants perform some or all of the dynamic driving tasks.
- the automatic driving mode may be realized by either one, combination, or switching of the autonomous driving control and advanced driving support control.
- the host mobile 2 is equipped with the sensor system 4, communication system 5, and information presentation system 6 shown in FIG.
- the sensor system 4 acquires sensor information that can be used for operation control of the host mobile body 2 in the recognition system 1 with respect to the external world and the internal world of the host mobile body 2 .
- the sensor system 4 includes an external sensor 40 and an internal sensor 41 .
- the external sensor 40 acquires information on the external environment, which is the surrounding environment of the host mobile body 2, as sensor information.
- the external sensor 40 includes a scanning device 3 that acquires sensor information by scanning the scanning space 30 in the external world of the host mobile body 2 .
- the scanning device 3 is, for example, a three-dimensional LiDAR (Light Detection and Ranging/Laser Imaging Detection and Ranging), a three-dimensional radar, or the like, and is at least one type capable of generating three-dimensional scanning data Dt, which will be described later.
- the external sensor 40 other than the scanning device 3 may include at least one type of sensor that senses the external environment of the host mobile body 2, such as a camera and a sonar.
- the scanning device 3 scans a scanning space 30 (see FIG. 2) determined according to the viewing angle set toward the outside world of the host moving body 2, thereby sensing an object existing in the space 30.
- the sensor information acquired by the scanning device 3 of the first embodiment is scanning data Dt that three-dimensionally represents the state of the scanning point cloud scanned in the scanning space 30 .
- the scanning data Dt includes three-dimensional state values relating to at least one of distance, azimuth angle, position coordinates, velocity, and beam reflection intensity.
- the distance represents a value measured by dTOF (direct Time Of Flight) based on the flight time from irradiation of the scanning beam to reception of the reflected beam.
- the azimuth angle represents the scanning direction that changes in at least one of the horizontal direction and the vertical direction with respect to the scanning space 30 .
- the inner world sensor 41 acquires information about the inner world, which is the internal environment of the host mobile body 2, as sensor information.
- the internal world sensor 41 may include a physical quantity detection type that detects a specific motion physical quantity in the internal world of the host mobile body 2 .
- the physical quantity sensing type internal sensor 41 is at least one of, for example, a running speed sensor, an acceleration sensor, a gyro sensor, and the like.
- the internal world sensor 41 may include an occupant detection type that detects a specific state of an occupant in the internal world of the host mobile body 2 .
- the occupant detection type internal sensor 41 is at least one of, for example, a driver status monitor (registered trademark), a biosensor, a seating sensor, an actuator sensor, an in-vehicle device sensor, and the like.
- the communication system 5 acquires communication information that can be used for operation control of the host mobile body 2 in the recognition system 1 by wireless communication.
- the communication system 5 may include a V2X type that transmits and receives communication signals to and from a V2X system existing outside the host mobile body 2 .
- the V2X type communication system 5 is, for example, at least one of a DSRC (Dedicated Short Range Communications) communication device, a cellular V2X (C-V2X) communication device, and the like.
- the communication system 5 may include a positioning type that receives positioning signals from artificial satellites of GNSS (Global Navigation Satellite System) existing outside the host mobile body 2 .
- the positioning type communication system 5 is, for example, a GNSS receiver or the like.
- the communication system 5 may include a terminal communication type that transmits and receives communication signals to and from terminals existing in the inner world of the host mobile body 2 .
- the terminal communication type communication system 5 is, for example, at least one of Bluetooth (registered trademark) equipment, Wi-Fi (registered trademark) equipment, infrared communication equipment, and the like.
- the information presentation system 6 presents notification information to the crew members in the host mobile body 2 .
- the information presentation system 6 may be of a visual stimulus type that stimulates the visual sense of the occupant through display.
- the visual stimulus type information presentation system 6 is at least one of, for example, a HUD (Head-Up Display), an MFD (Multi-Function Display), a combination meter, a navigation unit, and the like.
- the information presentation system 6 may be of an auditory stimulation type that stimulates the auditory sense of the occupant with sound.
- the auditory stimulus type information presentation system 6 is at least one of a speaker, a buzzer, a vibration unit, and the like.
- the recognition system 1 is connected to a sensor system 4, a communication system 5, and an information presentation system 6 via at least one of LAN (Local Area Network) lines, wire harnesses, internal buses, wireless communication lines, and the like. ing.
- the recognition system 1 includes at least one dedicated computer.
- the dedicated computer that configures the recognition system 1 may be a recognition control ECU (Electronic Control Unit) that controls recognition of existing objects in the scanning space 30 based on scanning data Dt as sensor information from the scanning device 3 .
- the recognition control ECU may have a function of integrating sensor information from multiple external sensors 40 including the scanning device 3 .
- a dedicated computer that configures the recognition system 1 may be an operation control ECU that controls the operation of the host mobile unit 2 .
- a dedicated computer that constitutes the recognition system 1 may be a navigation ECU that navigates the travel route of the host mobile body 2 .
- a dedicated computer that constitutes the recognition system 1 may be a locator ECU that estimates the self-state quantity including the self-position of the host mobile body 2 .
- the dedicated computer that constitutes the recognition system 1 may be an HCU (HMI (Human Machine Interface) Control Unit) that controls information presentation by the information presentation system 6 in the host mobile body 2 .
- the dedicated computer that constitutes the recognition system 1 may be a computer other than the host mobile body 2 that constructs an external center or a mobile terminal capable of communicating with the communication system 5, for example.
- a dedicated computer that constitutes the recognition system 1 has at least one memory 10 and at least one processor 12 .
- the memory 10 stores computer-readable programs and data non-temporarily, for example, at least one type of non-transitory physical storage medium (non-transitory storage medium) among semiconductor memory, magnetic medium, optical medium, etc. tangible storage medium).
- the processor 12 is, for example, CPU (Central Processing Unit), GPU (Graphics Processing Unit), RISC (Reduced Instruction Set Computer)-CPU, DFP (Data Flow Processor), GSP (Graph Streaming Processor), etc. At least one type as a core.
- the memory 10 in the recognition system 1 stores map information that can be used for operation control of the host mobile body 2 .
- the memory 10 acquires and stores the latest map information through communication with an external center through the V2X type communication system 5, for example.
- the map information of the first embodiment is a three-dimensional dynamic map Mt as digital data of a high-precision map that is three-dimensionally represented as the traveling environment of the host mobile body 2 .
- the dynamic map Mt represents the state of a mapping point cloud in which an object at a fixed position existing in the scanning space 30 of the scanning device 3 is mapped.
- the dynamic map Mt includes three-dimensional state values relating to at least one of target position coordinates, distance, azimuth angle, shape, and the like.
- Objects to be mapped by the dynamic map Mt are at least a plurality of types positioned at fixed points among, for example, roads, signs, traffic lights, structures, railroad crossings, vegetation, space division objects, space division lines, and marking lines.
- a processor 12 comprises a plurality of recognition programs contained in a recognition program stored in memory 10 for recognizing a target vehicle 9 movable in a scanning space 30 scanned by a scanning device 3 of a host vehicle 2 . execute the command.
- the recognition system 1 constructs a plurality of functional blocks for recognizing the target moving body 9 in the scanning space 30 .
- a plurality of functional blocks constructed in the recognition system 1 include a matching block 100 and a clustering block 110 as shown in FIG.
- a flow of a recognition method (hereinafter referred to as a recognition flow) in which the recognition system 1 recognizes the target moving body 9 in the scanning space 30 in cooperation with these blocks 100 and 110 will be described below with reference to FIG.
- the recognition flow algorithm cycle is repeatedly executed during host mobile unit 2 start-up.
- Each "S" in the recognition flow means a plurality of steps executed by a plurality of instructions included in the recognition program.
- the matching block 100 acquires scanning data Dt from the scanning device 3 .
- the matching block 100 reads from the memory 10 the dynamic map Mt corresponding to the acquisition point of the scanning data Dt in S101.
- the acquisition point of the scanning data Dt may be determined by self-position estimation based on information acquired by the sensor system 4 and the communication system 5, for example.
- each voxel 300 in the dynamic map Mt is defined as a three-dimensional grid of cubes or rectangular parallelepipeds having six sides along the three-dimensional absolute coordinate axes assigned to the scanning space 30 .
- the voxels 300 are preferably defined in the partial shape of a three-dimensional grid that is part of a cube or rectangular parallelepiped.
- the lattice size of each voxel 300 is set to either the same size or a plurality of sizes different from each other, as long as there is no gap space between the voxels 300 in the scanning space 30 .
- identification information Ii for identifying the state of the scanning space 30 is individually associated with each voxel 300 that is set.
- the identification information Ii includes an index number Iii as an identification ID associated with the position coordinates of each voxel 300 .
- the identification information Ii includes distribution information Iis representing the distribution feature of the mapping point cloud corresponding to the object in the scanning space 30 for each voxel 300 .
- the distribution information Iis may represent the presence/absence of the point cloud in the scanning space 30 for each voxel 300 by a value exceeding 0 representing the feature quantity of the point cloud distribution, such as the Mahalanobis distance, and a 0 value.
- the identification information Ii in the dynamic map Mt includes type information Iik representing the type of the scanning space 30 for each voxel 300 .
- the type information Iik represents a type that characterizes the environmental state of the scanning space 30 by a type number as an identification ID.
- At least one type number (number 5 in the examples of FIGS. 6 and 7) is included.
- FIG. 8 exemplifies a guard rail and a vertical wall as the plurality of stationary objects 8 that move back and forth in the scanning direction.
- the type information Iik of the first embodiment includes at least one type number (in the examples of FIGS. 6 and 7, Numbers 6-8, 10-15) are included.
- 9 and 10 multiple target moving bodies 9 overlap in the scanning space 30 when viewed in the scanning direction of the scanning device 3, as shown in FIGS.
- FIG. 9 exemplifies other vehicles passing each other in different directions as a plurality of target moving bodies 9 superimposed when viewed in the scanning direction on a narrow path that allows passage in both directions.
- FIG. 10 illustrates a plurality of people waiting for a railroad crossing as a plurality of target moving bodies 9 superimposed when viewed in the scanning direction around the railroad crossing.
- the type information Iik of the first embodiment includes at least one type number (number 9 in the examples of FIGS. )It is included.
- the vegetation 7 at the fixed-point position as shown in FIG. Recognition state Sf is applicable.
- the fixed point recognition state Sf can be said to be a state in which erroneous recognition as the target moving body 9 is likely to occur due to the growth or felling of the vegetation 7 at the fixed point position.
- the matching block 100 adjusts the grid size of each voxel 300 set in the dynamic map Mt in the memory 10 according to the driving scene based on the information acquired by the sensor system 4 and the communication system 5, for example. It may be resized to an optimum value for recognition of the target moving body 9 .
- the index number Iii of the identification information Ii is re-assigned to each voxel 300 after resizing.
- the distribution information Iis of the identification information Ii is added again by converting the distribution feature amount for each voxel 300 before resizing into the distribution feature amount for each voxel 300 after resizing.
- the type information Iik of the identification information Ii is obtained by dividing or integrating the environmental state corresponding to the type number of each voxel 300 before resizing as the environmental state of each voxel 300 after resizing.
- the type number corresponding to the environmental state of the is reassigned.
- the priority is set in advance for each type of environmental state, different environmental states in the plurality of voxels 300 before resizing are integrated into an environmental state with a high priority. good.
- the setting of each voxel 300 and the assignment of identification information Ii to the dynamic map Mt described so far may be performed by the source of the latest map information.
- the setting of each voxel 300 and the assignment of the identification information Ii to the dynamic map Mt may be performed based on the past or present scanning data Dt acquired in S101 by a voxel setting flow different from this recognition flow.
- the matching block 100 matches the scanning data Dt acquired at S101 and the dynamic map Mt read at S102.
- the matching block 100 may perform map matching on the scanning data Dt for each voxel 300 set in the dynamic map Mt based on, for example, an NDT (Normal Distribution Transform) algorithm.
- NDT Normal Distribution Transform
- the matching block 100 identifies, in the dynamic map Mt read at S102, a plurality of voxels 300 corresponding to each position coordinate of the scanning point group in the scanning data Dt map-matched at S103.
- the matching block 100 acquires the identification information Ii assigned to each of the voxels 300 specified at S104 (hereinafter referred to as specified voxels 300) from the dynamic map Mt read at S102.
- the matching block 100 performs candidate extraction processing on each specific voxel 300 according to at least the type information Iik among the identification information Ii acquired in S105 for the scanning point cloud in the scanning data Dt map-matched in S103. be implemented every time. A specific example of the candidate extraction process will be described below.
- the candidate extraction processing of S111 to S113 shown in FIG. 12 is performed.
- a normal extraction subroutine is executed. Specifically, in S111, the matching block 100 determines the distribution feature value represented by the distribution information Iis in the identification information Ii acquired in S105, and the scanning point group in the scanning data Dt map-matched in S103 within the specific voxel 300. It compares with the distribution feature amount. As a result, when it is determined that the distribution feature values are deviated from each other, the normal extraction subroutine proceeds to S112.
- the determination of divergence between the distribution feature values is made when the deviation between the distribution feature values exceeds or exceeds a threshold value, and the threshold value is preferably defined as a numerical value of 0 or more.
- the matching block 100 extracts the point group within the specific voxel 300 as the candidate point group Pc from the scanning point group in the scanning data Dt map-matched in S103. Therefore, the matching block 100 in S112 stores the extracted list data Dc of the candidate point group Pc in the memory 10 . Thus, the normal extraction subroutine ends.
- the normal extraction subroutine proceeds to S113.
- the matching block 100 recognizes the point group in the specific voxel 300 among the scanning point groups in the scanning data Dt map-matched in S103 as the mapping point group of the object at the fixed point position, and stores it in the memory 10. It is excluded from the point group Pc.
- the normal extraction subroutine ends.
- the front-back extraction subroutine is executed so that the candidate extraction processing of S121 to S123 shown in FIG. 13 is performed in S106. is executed.
- the matching block 100 determines the distribution feature value represented by the distribution information Iis in the identification information Ii acquired in S105, and the scanning point group in the scanning data Dt map-matched in S103 within the specific voxel 300. It compares with the distribution feature amount. As a result, when it is determined that the distribution feature values are deviated from each other, the before-and-after extraction subroutine proceeds to S122.
- the determination of divergence between distribution feature quantities conforms to the normal extraction subroutine.
- the threshold used as the criterion for discrepancy determination in the before-and-after extraction subroutine may be adjusted so as to allow a larger discrepancy than the threshold in the normal recognition subroutine.
- the matching block 100 extracts the point group within the specific voxel 300 as the candidate point group Pc from the scanning point group in the scanning data Dt map-matched in S103. Therefore, the matching block 100 in S122 stores the extracted list data Dc of the candidate point group Pc in the memory 10 . As described above, the before-and-after extraction subroutine ends.
- the before-and-after extraction subroutine proceeds to S123.
- the matching block 100 recognizes the point group in the specific voxel 300 among the scanning point groups in the scanning data Dt map-matched in S103 as the mapping point group of the object at the fixed point position, and stores it in the memory 10. It is excluded from the point group Pc. As described above, the before-and-after extraction subroutine ends.
- the superimposition extraction subroutine is executed in S106 so as to perform the candidate extraction processing of S131 to S133 shown in FIG. is executed.
- the matching block 100 determines the distribution feature value represented by the distribution information Iis in the identification information Ii acquired in S105, and the scanning point cloud in the scanning data Dt map-matched in S103 within the specific voxel 300. It compares with the distribution feature amount. As a result, when it is determined that the distribution feature values are deviated from each other, the superimposition extraction subroutine proceeds to S132.
- the determination of divergence between distribution feature quantities conforms to the normal extraction subroutine.
- the threshold used as the criterion for discrepancy determination in the superimposition extraction subroutine may be adjusted so as to allow a larger discrepancy than the threshold in the normal recognition subroutine.
- the matching block 100 extracts the point group within the specific voxel 300 as the candidate point group Pc from the scanning point group in the scanning data Dt map-matched in S103. Therefore, the matching block 100 in S132 stores the extracted list data Dc of the candidate point group Pc in the memory 10 . Thus, the superposition extraction subroutine ends.
- the superimposition extraction subroutine proceeds to S133.
- the matching block 100 recognizes the point group in the specific voxel 300 among the scanning point groups in the scanning data Dt map-matched in S103 as the mapping point group of the object at the fixed point position, and stores it in the memory 10. It is excluded from the point group Pc.
- the superposition extraction subroutine ends.
- the fixed point extraction subroutine is executed in S106 so as to perform the candidate extraction process of S141 shown in FIG. be done.
- the matching block 100 treats the point group within the specific voxel 300 among the scanning point groups in the scanning data Dt map-matched in S103 as the mapping point group of an object that may move at a fixed position. It is recognized and excluded from the candidate point group Pc stored in the memory 10 .
- the fixed point extraction subroutine ends.
- the clustering block 110 clusters the candidate point group Pc stored in the memory 10 by the extraction in S106 according to the type information Iik among the identification information Ii acquired in S105. is performed for each specific voxel 300 .
- recognition processing will be described below.
- the candidate extraction processing of S151 to S153 shown in FIG. A normal recognition subroutine is executed. Specifically, in S151, the clustering block 110 sets the clustering range Rc for clustering the candidate point group Pc within the specific voxel 300 to the default range for the scanning data Dt map-matched in S103.
- the clustering range Rc in which the candidate point group Pc is clustered is defined as a range having the same distance in each dimension direction along the three-dimensional absolute coordinate axes assigned to the scanning space 30 .
- the default range of the clustering range Rc is defined as a fixed range (for example, 1 m) necessary for searching and properly recognizing the target moving body 9 under environmental conditions other than the states Sg, Ss, and Sf.
- the default range of the clustering range Rc may be adjusted to a variable range that increases as the distance to the specific voxel 300 increases.
- the clustering block 110 clusters the scanning point group whose Euclidean distance falls within the clustering range Rc set at S151 from the candidate point group Pc within the specific voxel 300 in the scanning data Dt map-matched at S103. Therefore, in S153, the clustering block 110 recognizes the target moving body 9 based on the clustered scanning point group.
- the clustering block 110 at S153 may filter the clustered scan point cloud to recognize the target moving object 9 putatively distinct from ghost pixels caused, for example, by sensor noise.
- the estimation model used for filtering at this time may be a rule-based model or an AI model. Especially when using a rule-based model, filtering may be performed based on criteria such as the number of clustering points, clustering size, and spatial location of the scanning point clouds combined by S152. Thus, the normal recognition subroutine ends.
- the front-back recognition subroutine is executed in S107 so that the recognition processing of S161 to S163 shown in FIG. 17 is performed. executed. Specifically, in S161, the clustering block 110 adjusts the clustering range Rc for the scan data Dt map-matched in S103 to the smaller side (for example, 0.2 m or less) than the default range of the normal recognition subroutine.
- the range in which the candidate point group Pc between the stationary objects 8 is clustered Rc will be reduced from the default range by the adjustment in S161.
- the clustering block 110 clusters the scanning point group whose Euclidean distance falls within the clustering range Rc set in S161 from the candidate point group Pc within the specific voxel 300 in the scanning data Dt map-matched in S103. Therefore, in S163, the clustering block 110 recognizes the target moving body 9 based on the clustered scanning point group. At this time, when the scanning point groups corresponding to the plurality of stationary objects 8 that are positioned one behind the other in the scanning space 30 within the specific voxel 300 are clustered, the target moving object 9 (see FIG. 8) between the stationary objects 8 is clustered. can be recognized.
- the determination threshold for the above-described determination index is set higher than the default value of the normal recognition subroutine. may also be adjusted to the side that increases the ghost pixel exclusion probability.
- the front/rear recognition subroutine is completed.
- the superimposition recognition subroutine is executed in S107 so that the recognition processing of S171 to S173 shown in FIG. 18 is performed. executed. Specifically, in S171, the clustering block 110 adjusts the clustering range Rc for the scan data Dt map-matched in S103 to the reduction side (for example, 0.2 m or less) from the default range.
- the clustering block 110 clusters the scanning point group whose Euclidean distance falls within the clustering range Rc set at S171 from the candidate point group Pc within the specific voxel 300 in the scanning data Dt map-matched at S103. Therefore, in S173, the clustering block 110 recognizes the target moving body 9 based on the clustered scanning point group.
- the scanning space 30 within the specific voxel 300 when the scanning point groups respectively corresponding to the plurality of target moving bodies 9 are superimposed and clustered when viewed in the scanning direction of the scanning device 3, these target movement It becomes possible to separate and recognize the body 9 (see FIGS. 9 and 10).
- the default value of the normal recognition subroutine is used as the determination threshold value for the above-described determination index in order to distinguish between the multiple target moving bodies 9 superimposed in the scanning direction and the ghost pixels, particularly in the rule-based model. It may be adjusted so as to increase the ghost pixel exclusion probability.
- the superimposition recognition subroutine ends.
- the candidate point group Pc is not extracted by the fixed point extraction subroutine of S106 for the specific voxel 300 for which the type information Iik acquired in S105 represents the type number of the fixed point recognition state Sf.
- the recognition process of S107 is not executed for the specific voxel 300 in the fixed point recognition state Sf.
- the clustering block 110 generates recognition data Dr so as to represent the result of recognition processing of the target moving body 9 by clustering at S107. Therefore, in S ⁇ b>109 , the clustering block 110 stores the generated recognition data Dr in the memory 10 . At this time, the clustering block 110 may control the display of the generated or further stored recognition data Dr by the information presentation system 6 on the host mobile body 2 as shown in FIG. 19, for example. The clustering block 110 may control the transmission so that the generated or further stored recognition data Dr is transmitted to the outside of the host mobile body 2 (for example, an external center or another vehicle) via the communication system 5 . This completes the current execution of the recognition flow. Note that the recognition data Dr stored in the memory 10 is used for operation control of the host mobile unit 2 .
- the recognition data Dr is generated by recognizing the target moving body 9 between a plurality of stationary objects 8 separated in the scanning direction of the scanning device 3 in the scanning space 30 .
- the recognition data Dr is generated by recognizing the target moving body 9 between a plurality of stationary objects 8 separated in the scanning direction of the scanning device 3 in the scanning space 30 .
- a plurality of static voxels in the scanning data Dt are obtained. Misscanned point clouds can be excluded from the scanning point clouds clustered correspondingly among the objects 8 . Therefore, the moving target 9 that has entered between the plurality of stationary objects 8 can be recognized with high accuracy.
- the clustering range Rc in which the scanning point groups corresponding to the plurality of stationary objects 8 are clustered in the scanning data Dt is adjusted to the reduction side based on the identification information Ii. According to this, among the scanning point clouds corresponding to the plurality of stationary objects 8, the misscanned point clouds with low point cloud density are excluded from the clustering range Rc, while the target moving object 9 with high point cloud density is excluded from the clustering range Rc. can be appropriately clustered within the clustering range Rc. Therefore, it is possible to ensure the reliability of high-precision recognition of the moving target 9 that has entered between the plurality of stationary objects 8 .
- the clustering range Rc for the scanning point cloud between the stationary objects 8 is adjusted based on the type information Iik representing the type of the scanning space 30, among the identification information Ii.
- the type represented by the type information Iik in the dynamic map Mt is a type that is highly likely to cause an erroneous scanning point group between the stationary objects 8 in the scanning direction
- the size is reduced to the reduction side according to the possibility. can make it easier to exclude misscanned point groups from the clustering range Rc. Therefore, it is possible to achieve clustering focused on the scanning point group of the target moving body 9 that has entered between a plurality of stationary objects 8, and to increase the reliability of highly accurate recognition of the target moving body 9.
- recognition data Dr is generated by recognizing a plurality of target moving bodies 9 overlapping each other in the scanning space 30 when viewed from the scanning device 3 in the scanning direction.
- identification information Ii for identifying the state of the scanning space 30 for each of a plurality of voxels 300 obtained by dividing the scanning space 30 in the dynamic map Mt
- a plurality of targets can be detected in the scanning data Dt. Misscanned point groups can be excluded from the scanning point groups clustered corresponding to the moving bodies 9 . Therefore, it is possible to recognize each target moving body 9 superimposed when viewed in the scanning direction with high accuracy.
- the clustering range Rc in which the scanning point groups corresponding to each target moving body 9 are clustered in the scanning data Dt is adjusted to the reduction side based on the identification information Ii. According to this, among the scanning point groups corresponding to the plurality of target moving bodies 9, misscanning point groups with low point group density are excluded from the clustering range Rc, while each target moving with high point group density is excluded from the clustering range Rc.
- the scanning point groups of the body 9 can be appropriately clustered by fitting them into individual clustering ranges Rc. Therefore, it is possible to ensure the reliability of high-precision recognition of the target moving bodies 9 overlapping each other when viewed in the scanning direction.
- the clustering range Rc for the scanning point cloud of each target moving body 9 is adjusted based on the type information Iik representing the type of the scanning space 30, among the identification information Ii.
- the type represented by the type information Iik in the dynamic map Mt is a type with a high possibility that the target moving body 9 is superimposed when viewed in the scanning direction
- adjustment to the reduction side according to the possibility is performed.
- by adjusting to the reduction side according to such possibility it is possible to easily fit the scanning point cloud of each target moving body 9 into the individual clustering range Rc. For these reasons, it is possible to improve the reliability of high-precision recognition of the target moving bodies 9 overlapping each other when viewed in the scanning direction.
- the candidate point group Pc which is the clustered scanning point group, is extracted based on the type information Iik representing the type of the scanning space 30, among the identification information Ii.
- the type represented by the type information Iik in the dynamic map Mt is a type in which an object may move at a fixed point position, such as a vegetation environment, it is excluded from the candidate point group Pc to be clustered. obtain. Therefore, it is possible to suppress the situation where the recognition accuracy of the target moving body 9 is lowered due to the clustering of the scanning point group corresponding to the moving object at the fixed point position.
- the candidate point group Pc to be the clustered scanning point group is extracted based on the distribution information Iis representing the feature quantity of the point group distribution in the scanning space 30, among the identification information Ii.
- the candidate point group Pc of the specific voxel 300 corresponding to the point cloud distribution can be subjected to clustering. Therefore, it is possible to implement clustering focused on the scanning point group of the target moving body 9, which does not have a matching point group in the dynamic map Mt, and to increase the reliability of high-precision recognition of the target moving body 9. .
- the second embodiment is a modification of the first embodiment.
- the type information Iik of the dynamic map Mt read in S101 in the recognition flow of the second embodiment includes, as shown in FIG. , at least one type number (number 16 in the example of FIG. 20).
- 21 and 22 there exists a highly reflective stationary object 80 in the scanning space 30 whose reflectance for the scanning beam of the scanning device 3 is out of the allowable range.
- the high reflection recognition state Sr in which erroneous recognition is likely to occur before the high reflection stationary object 80 in the scanning direction corresponds to the high reflection recognition state Sr. Therefore, the reflectance on the high reflection side is defined as the reflectance outside the allowable range in which it is possible to predict that erroneous recognition due to ghost pixels will not occur in front of the highly reflective stationary object 80 .
- FIG. 21 exemplifies a sign and a mirror as the highly reflective stationary object 80 .
- FIG. 22 exemplifies a windowpane in a building as the highly reflective stationary object 80 .
- a high reflectance extraction subroutine is executed. Specifically, in S181, the matching block 100 determines the distribution feature value represented by the distribution information Iis in the identification information Ii acquired in S105, and the scanning point group in the scanning data Dt map-matched in S103 within the specific voxel 300. It compares with the distribution feature amount. As a result, when it is determined that the distribution feature values are deviated from each other, the high reflection extraction subroutine proceeds to S182.
- the determination of divergence between the distribution feature amounts conforms to the normal extraction subroutine described in the first embodiment.
- the threshold used as the criterion for discrepancy determination in the high reflection extraction subroutine may be adjusted so as to allow a larger discrepancy than the threshold in the normal recognition subroutine.
- the first A normal recognition subroutine similar to the embodiment is executed.
- a front-back recognition subroutine similar to that of the first embodiment is executed in S107.
- a superimposition recognition subroutine similar to that of the first embodiment is executed in S107 for the specific voxel 300 whose type information Iik represents the type number of the superimposition recognition state Ss.
- the recognition processing of S191 to S193 shown in FIG. the high reflectance recognition subroutine is executed.
- the clustering block 110 adjusts the clustering range Rc for the scan data Dt map-matched in S103 to the reduction side (for example, 0.2 m or less) from the default range.
- the range in which the candidate point group Pc in the front area is clustered Rc will be reduced from the default range by the adjustment in S191.
- the clustering block 110 clusters the scanning point group whose Euclidean distance falls within the clustering range Rc set in S191 from the candidate point group Pc within the specific voxel 300 in the scanning data Dt map-matched in S103. Therefore, in S193, the clustering block 110 recognizes the target moving body 9 based on the clustered scanning point group. At this time, in the scanning space 30 within the specific voxel 300, when the scanning point group corresponding to the area in front of the highly reflective stationary object 80 is clustered, the target moving body 9 in the area in front (see FIGS. 21 and 22) ) can be recognized.
- the determination index described in the first embodiment is determined.
- the threshold may be adjusted to increase the ghost pixel exclusion probability over the default value of the normal recognition subroutine.
- the recognition data Dr that recognizes the target moving body 9 in front of the highly reflective stationary object 80 in the scanning direction when the reflectance for the scanning beam of the scanning device 3 is high is out of the allowable range. generated.
- the identification information Ii for identifying the state of the scanning space 30 for each of a plurality of voxels 300 obtained by dividing the scanning space 30 in the dynamic map Mt highly reflective still images are detected in the scanning data Dt. Misscanned point groups can be excluded from the scanning point groups clustered in front of the object 80 . Therefore, it is possible to recognize the target moving object 9 that has entered in front of the highly reflective stationary object 80 with high accuracy.
- the clustering range Rc in which the scanning point cloud corresponding to the front side of the highly reflective stationary object 80 in the scanning data Dt is clustered is adjusted to the reduction side based on the identification information Ii. According to this, among the scanning point groups corresponding to the front of the high-reflection stationary object 80, the misscanned point groups with low point group density are excluded from the clustering range Rc, while the target moving object with high point group density is excluded from the clustering range Rc. 9 scanning point groups can be properly clustered within the clustering range Rc. Therefore, it is possible to ensure the reliability of highly accurate recognition of the moving target 9 that has entered in front of the highly reflective stationary object 80 .
- the clustering range Rc for the scanning point cloud in front of the highly reflective stationary object 80 is adjusted based on the type information Iik representing the type of the scanning space 30, among the identification information Ii.
- the type represented by the type information Iik in the dynamic map Mt is a type that is highly likely to cause an erroneous scanning point cloud in front of the highly reflective stationary object 80
- the size is reduced to the reduction side according to the possibility. can make it easier to exclude misscanned point groups from the clustering range Rc. Therefore, it is possible to achieve clustering focused on the scanning point group of the target moving body 9 that has entered in front of the highly reflective stationary object 80, and to increase the reliability of high-precision recognition of the target moving body 9.
- the dedicated computer that constitutes the recognition system 1 may have at least one of digital circuits and analog circuits as a processor.
- Digital circuits here include, for example, ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), SOC (System on a Chip), PGA (Programmable Gate Array), and CPLD (Complex Programmable Logic Device).
- ASIC Application Specific Integrated Circuit
- FPGA Field Programmable Gate Array
- SOC System on a Chip
- PGA Programmable Gate Array
- CPLD Complex Programmable Logic Device
- the normal extraction subroutine may be executed for the fixed point recognition state Sf corresponding to the fixed point extraction subroutine without executing the fixed point extraction subroutine.
- the normal recognition subroutine may be executed for the fixed point recognition state Sf.
- the host mobile body to which the recognition system 1 is applied may be, for example, a traveling robot capable of transporting packages or collecting information by autonomous traveling or remote traveling.
- the above-described embodiments and modifications are configured to be mountable on a host mobile body and have at least one processor 12 and at least one memory 10 as a recognition device, and a processing circuit (for example, a processing ECU, etc.) or in the form of a semiconductor device (such as a semiconductor chip).
- a recognition system having a processor (12) for recognizing a target vehicle (9) movable in a scanning space (30) scanned by a scanning device (3) of a host vehicle (2), comprising: The processor obtaining three-dimensional scan data (Dt) representing a scanning point cloud scanned through the scanning space; reading from a storage medium (10) a three-dimensional dynamic map (Mt) representing a mapping point cloud mapping an object existing in the scanning space; By clustering the scanning point group based on identification information (Ii) for identifying the state of the scanning space for each of a plurality of three-dimensional voxels (300) obtained by dividing the scanning space in the three-dimensional dynamic map, the scanning space is generating recognition data (Dr) recognizing said moving target between a plurality of stationary objects (8) spaced back and forth in the scanning direction of said scanning device in .
- (Technical idea 2) Generating the recognition data includes: Technical idea 1, including adjusting a clustering range (Rc) in which the scanning point groups corresponding to the plurality of stationary objects in the three-dimensional scanning data are clustered to a reduction side based on the identification information. recognition system.
- Rc clustering range
- Generating the recognition data includes: clustering the scanning point group based on the identification information (Ii) to generate the recognition data that recognizes a plurality of the target moving bodies overlapping in the scanning direction in the scanning space; The recognition system according to Thought 1 or 2.
- a recognition system having a processor (12) for recognizing a target vehicle (9) movable in a scanning space (30) scanned by a scanning device (3) of a host vehicle (2), comprising: The processor obtaining three-dimensional scan data (Dt) representing a scanning point cloud scanned through the scanning space; reading from a storage medium (10) a three-dimensional dynamic map (Mt) representing a mapping point cloud mapping an object existing in the scanning space; By clustering the scanning point group based on identification information (Ii) for identifying the state of the scanning space for each of a plurality of three-dimensional voxels (300) obtained by dividing the scanning space in the three-dimensional dynamic map, the scanning space is generating recognition data (Dr) recognizing a plurality of the target moving bodies that are superimposed when viewed in the scanning direction of the scanning device.
- Generating the recognition data includes: Technical idea 3 or 4, including adjusting a clustering range (Rc) in which the scanning point groups corresponding to each target moving body are clustered in the three-dimensional scanning data to a reduction side based on the identification information. Recognition system as described.
- Generating the recognition data includes: 6.
- Generating the recognition data includes: By clustering the scanning point group based on the identification information, the scanning point group is positioned nearer in the scanning direction than a highly reflective stationary object (80) whose reflectance with respect to the scanning beam of the scanning device in the scanning space is out of the allowable range. 7.
- the recognition system according to any one of technical ideas 1 to 6, including generating the recognition data that recognizes the target moving body.
- Generating the recognition data includes: The recognition system according to technical idea 8, including adjusting the clustering range based on type information (Iik) representing a type of the scanning space among the identification information.
- type information Iik
- Generating the recognition data includes: Recognition according to any one of technical ideas 1 to 9, including extracting the clustered scanning point group based on type information (Iik) representing the type of the scanning space among the identification information. system.
- Generating the recognition data includes: any one of technical ideas 1 to 10, including extracting the clustered scanning point cloud based on distribution information (Iis) representing a feature quantity of the point cloud distribution in the scanning space among the identification information A recognition system as described in paragraph.
- distribution information Iis
- the processor 12 The recognition system according to any one of the technical ideas 1 to 11, further configured to store the generated recognition data in a storage medium (10).
- the processor 13 The recognition system according to any one of the technical ideas 1 to 12, further configured to control display of the generated recognition data.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Remote Sensing (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Data Mining & Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本開示の課題は、移動体を高精度で認識する認識システムを、提供することにある。 ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識する認識システム(1)のプロセッサ(12)は、走査空間(30)を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、走査空間(30)に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、三次元ダイナミックマップ(Mt)において走査空間(30)を分割した複数の三次元ボクセル(300)毎に走査空間(30)の状態を識別するための識別情報(Ii)に基づく走査点群のクラスタリングにより、走査空間(30)において走査デバイス(3)の走査方向に前後に離れた複数の静止物体(8)間のターゲット移動体(9)を認識した、認識データ(Dr)を生成することとを、実行するように構成される。
Description
この出願は、2022年2月15日に日本に出願された特許出願第2022-21553号、及び、2022年9月19日に日本に出願された特許出願第2022-148667号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
本開示は、移動体を認識する認識技術に、関する。
走査デバイスにより走査された走査空間において移動可能な移動体を認識する認識技術は、近年、重要となってきている。例えば特許文献1に開示される認識技術は、三次元距離画像データを三次元環境地図データと比較して、三次元環境地図データに存在しない点群を三次元距離画像データにおいてクラスタリングすることで、移動体を認識している。
しかし、特許文献1の開示技術において、走査デバイスとなるレーザ距離計の走査方向に前後に離れた複数の静止物体間には、それら各静止物体からの走査エコーの重なりに起因して、ゴーストピクセルと呼ばれる誤走査点群の生じるおそれがある。この場合、各静止物体間へ進入した移動体に対応する正規点群を、クラスタリングにより誤走査点群から分離することは難しくなるため、当該進入移動体に対する認識精度が低下してしまう。こうした問題は、レーザ距離計の走査方向に視て重畳する複数の移動体間においても、生じるおそれがあった。
本開示の課題は、移動体を高精度で認識する認識システムを、提供することにある。本開示の別の課題は、移動体を高精度で認識する認識装置を、提供することにある。本開示のさらに別の課題は、移動体を高精度で認識する認識方法を、提供することにある。本開示のまたさらに別の課題は、移動体を高精度で認識する認識プログラムを、提供することにある。
以下、課題を解決するための本開示の技術的手段について、説明する。
本開示の第一態様は、
プロセッサを有し、ホスト移動体の走査デバイスにより走査された走査空間において移動可能なターゲット移動体を認識する認識システムであって、
プロセッサは、
走査空間を走査した走査点群を表す三次元走査データを、取得することと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップを、記憶媒体から読み出すことと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル毎に走査空間の状態を識別するための識別情報に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に前後に離れた複数の静止物体間のターゲット移動体を認識した、認識データを生成することとを、実行するように構成される。
プロセッサを有し、ホスト移動体の走査デバイスにより走査された走査空間において移動可能なターゲット移動体を認識する認識システムであって、
プロセッサは、
走査空間を走査した走査点群を表す三次元走査データを、取得することと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップを、記憶媒体から読み出すことと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル毎に走査空間の状態を識別するための識別情報に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に前後に離れた複数の静止物体間のターゲット移動体を認識した、認識データを生成することとを、実行するように構成される。
本開示の第二態様は、
プロセッサを有し、ホスト移動体に搭載可能に構成され、当該ホスト移動体の走査デバイスにより走査された走査空間において移動可能なターゲット移動体を認識する認識装置であって、
プロセッサは、
走査空間を走査した走査点群を表す三次元走査データを、取得することと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップを、記憶媒体から読み出すことと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル毎に走査空間の状態を識別するための識別情報に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に前後に離れた複数の静止物体間のターゲット移動体を認識した、認識データを生成することとを、実行するように構成される。
プロセッサを有し、ホスト移動体に搭載可能に構成され、当該ホスト移動体の走査デバイスにより走査された走査空間において移動可能なターゲット移動体を認識する認識装置であって、
プロセッサは、
走査空間を走査した走査点群を表す三次元走査データを、取得することと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップを、記憶媒体から読み出すことと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル毎に走査空間の状態を識別するための識別情報に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に前後に離れた複数の静止物体間のターゲット移動体を認識した、認識データを生成することとを、実行するように構成される。
本開示の第三態様は、
ホスト移動体の走査デバイスにより走査された走査空間において移動可能なターゲット移動体を認識するために、プロセッサにより実行される認識方法であって、
走査空間を走査した走査点群を表す三次元走査データを、取得することと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップを、記憶媒体から読み出すことと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル毎に走査空間の状態を識別するための識別情報に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に前後に離れた複数の静止物体間のターゲット移動体を認識した、認識データを生成することとを、含む。
ホスト移動体の走査デバイスにより走査された走査空間において移動可能なターゲット移動体を認識するために、プロセッサにより実行される認識方法であって、
走査空間を走査した走査点群を表す三次元走査データを、取得することと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップを、記憶媒体から読み出すことと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル毎に走査空間の状態を識別するための識別情報に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に前後に離れた複数の静止物体間のターゲット移動体を認識した、認識データを生成することとを、含む。
本開示の第四態様は、
ホスト移動体の走査デバイスにより走査された走査空間において移動可能なターゲット移動体を認識するために記憶媒体に記憶され、プロセッサにより実行される命令を含む認識プログラムであって、
命令は、
走査空間を走査した走査点群を表す三次元走査データを、取得させることと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップを、記憶媒体から読み出させることと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル毎に走査空間の状態を識別するための識別情報に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に前後に離れた複数の静止物体間のターゲット移動体を認識した、認識データを生成させることとを、含む。
ホスト移動体の走査デバイスにより走査された走査空間において移動可能なターゲット移動体を認識するために記憶媒体に記憶され、プロセッサにより実行される命令を含む認識プログラムであって、
命令は、
走査空間を走査した走査点群を表す三次元走査データを、取得させることと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップを、記憶媒体から読み出させることと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル毎に走査空間の状態を識別するための識別情報に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に前後に離れた複数の静止物体間のターゲット移動体を認識した、認識データを生成させることとを、含む。
これら第一~第四態様では、走査空間において走査デバイスの走査方向に前後に離れた複数の静止物体間のターゲット移動体を認識した、認識データが生成される。このとき第一~第四態様によると、三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル毎に走査空間の状態を識別するための識別情報に基づくことで、三次元走査データにおいて複数の静止物体間に対応してクラスタリングされる走査点群からは、誤走査点群を除外することができる。故に、複数の静止物体間に進入したターゲット移動体を、高精度に認識することが可能となる。
本開示の第五態様は、
プロセッサを有し、ホスト移動体の走査デバイスにより走査された走査空間において移動可能なターゲット移動体を認識する認識システムであって、
プロセッサは、
走査空間を走査した走査点群を表す三次元走査データを、取得することと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップを、記憶媒体から読み出すことと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル毎に走査空間の状態を識別するための識別情報に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に視て重畳する複数のターゲット移動体を認識した、認識データを生成することとを、実行するように構成される。
プロセッサを有し、ホスト移動体の走査デバイスにより走査された走査空間において移動可能なターゲット移動体を認識する認識システムであって、
プロセッサは、
走査空間を走査した走査点群を表す三次元走査データを、取得することと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップを、記憶媒体から読み出すことと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル毎に走査空間の状態を識別するための識別情報に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に視て重畳する複数のターゲット移動体を認識した、認識データを生成することとを、実行するように構成される。
本開示の第六態様は、
プロセッサを有し、ホスト移動体に搭載可能に構成され、当該ホスト移動体の走査デバイスにより走査された走査空間において移動可能なターゲット移動体を認識する認識装置であって、
プロセッサは、
走査空間を走査した走査点群を表す三次元走査データを、取得することと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップを、記憶媒体から読み出すことと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル毎に走査空間の状態を識別するための識別情報に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に視て重畳する複数のターゲット移動体を認識した、認識データを生成することとを、実行するように構成される。
プロセッサを有し、ホスト移動体に搭載可能に構成され、当該ホスト移動体の走査デバイスにより走査された走査空間において移動可能なターゲット移動体を認識する認識装置であって、
プロセッサは、
走査空間を走査した走査点群を表す三次元走査データを、取得することと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップを、記憶媒体から読み出すことと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル毎に走査空間の状態を識別するための識別情報に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に視て重畳する複数のターゲット移動体を認識した、認識データを生成することとを、実行するように構成される。
本開示の第七態様は、
ホスト移動体の走査デバイスにより走査された走査空間において移動可能なターゲット移動体を認識するために、プロセッサにより実行される認識方法であって、
走査空間を走査した走査点群を表す三次元走査データを、取得することと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップを、記憶媒体から読み出すことと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル毎に走査空間の状態を識別するための識別情報に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に視て重畳する複数のターゲット移動体を認識した、認識データを生成することとを、含む。
ホスト移動体の走査デバイスにより走査された走査空間において移動可能なターゲット移動体を認識するために、プロセッサにより実行される認識方法であって、
走査空間を走査した走査点群を表す三次元走査データを、取得することと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップを、記憶媒体から読み出すことと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル毎に走査空間の状態を識別するための識別情報に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に視て重畳する複数のターゲット移動体を認識した、認識データを生成することとを、含む。
本開示の第八態様は、
ホスト移動体の走査デバイスにより走査された走査空間において移動可能なターゲット移動体を認識するために記憶媒体に記憶され、プロセッサにより実行される命令を含む認識プログラムであって、
命令は、
走査空間を走査した走査点群を表す三次元走査データを、取得させることと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップを、記憶媒体から読み出させることと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル毎に走査空間の状態を識別するための識別情報に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に視て重畳する複数のターゲット移動体を認識した、認識データを生成させることとを、含む。
ホスト移動体の走査デバイスにより走査された走査空間において移動可能なターゲット移動体を認識するために記憶媒体に記憶され、プロセッサにより実行される命令を含む認識プログラムであって、
命令は、
走査空間を走査した走査点群を表す三次元走査データを、取得させることと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップを、記憶媒体から読み出させることと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル毎に走査空間の状態を識別するための識別情報に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に視て重畳する複数のターゲット移動体を認識した、認識データを生成させることとを、含む。
これら第五~第八態様では、走査空間において走査デバイスから走査方向に視て重畳する複数のターゲット移動体を認識した、認識データが生成される。このとき第五~第八態様によると、三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル毎に走査空間の状態を識別するための識別情報に基づくことで、三次元走査データにおいて複数のターゲット移動体間に対応してクラスタリングされる走査点群からは、誤走査点群を除外することができる。故に、走査方向に視て重畳する各ターゲット移動体を、高精度に認識することが可能となる。
(第一実施形態)
以下、本開示の実施形態を図面に基づき複数説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。また、各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。さらに、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。
以下、本開示の実施形態を図面に基づき複数説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。また、各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。さらに、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。
図1に示す第一実施形態の認識システム1は、図2に示すようにホスト移動体2に搭載の走査デバイス3により走査された走査空間30において、移動可能なターゲット移動体9を認識する。ここで、認識システム1の適用されるホスト移動体2は、例えば自動車等、乗員の搭乗状態において道路を走行可能な車両である。認識システム1の認識対象とするターゲット移動体9は、例えばホスト移動体2以外の他車両、バイク、人、動物、自律走行ロボット、及び遠隔走行ロボット等のうち、複数種類である。
ホスト移動体2では、動的運転タスクにおける乗員の手動介入度に応じてレベル分けされるように、自動運転モードが実行される。自動運転モードは、条件付運転自動化、高度運転自動化、又は完全運転自動化といった、作動時のシステムが全ての動的運転タスクを実行する自律走行制御により、実現されてもよい。自動運転モードは、運転支援、又は部分運転自動化といった、乗員が一部若しくは全ての動的運転タスクを実行する高度運転支援制御により、実現されてもよい。自動運転モードは、それら自律走行制御と高度運転支援制御とのいずれか一方、組み合わせ、又は切り替えにより実現されてもよい。
ホスト移動体2には、図1に示すセンサ系4、通信系5、及び情報提示系6が搭載される。センサ系4は、認識システム1においてホスト移動体2の運転制御に利用可能なセンサ情報を、ホスト移動体2の外界と内界とに対して取得する。そのためにセンサ系4は、外界センサ40と内界センサ41とを含んで構成される。
外界センサ40は、ホスト移動体2の周辺環境となる外界の情報を、センサ情報として取得する。外界センサ40には、ホスト移動体2の外界のうち走査空間30を走査することでセンサ情報を取得する、走査デバイス3が含まれている。走査デバイス3は、例えば三次元LiDAR(Light Detection and Ranging / Laser Imaging Detection and Ranging)、及び三次元レーダ等のうち、後述する三次元走査データDtを生成可能な少なくとも一種類である。尚、走査デバイス3以外の外界センサ40には、ホスト移動体2の外界をセンシングする、例えばカメラ、及びソナー等のうち、少なくとも一種類が含まれていてもよい。
ここで走査デバイス3は、ホスト移動体2の外界へ向けて設定された視野角に応じて決まる走査空間30(図2参照)を走査することで、当該空間30に存在する物体をセンシングしたセンサ情報を取得する。特に第一実施形態の走査デバイス3により取得されるセンサ情報は、走査空間30において走査した走査点群の状態を三次元で表す、走査データDtである。走査データDtは、例えば距離、方位角、位置座標、速度、及びビーム反射強度等のうち、少なくとも一種類に関する三次元状態値を含んでいる。走査データDtに含まれる状態値のうち距離は、走査ビームの照射から反射ビームを受光するまでの飛行時間に基づいたdTOF(direct Time Of Flight)による測定値を、表している。走査データDtに含まれる状態値のうち方位角は、走査空間30に対して水平方向及び垂直方向のうち少なくとも一方に変化する走査方向を、表している。
内界センサ41は、ホスト移動体2の内部環境となる内界の情報を、センサ情報として取得する。内界センサ41には、ホスト移動体2の内界において特定の運動物理量を検知する、物理量検知タイプが含まれていてもよい。物理量検知タイプの内界センサ41は、例えば走行速度センサ、加速度センサ、及びジャイロセンサ等のうち、少なくとも一種類である。内界センサ41には、ホスト移動体2の内界において乗員の特定状態を検知する、乗員検知タイプが含まれていてもよい。乗員検知タイプの内界センサ41は、例えばドライバーステータスモニター(登録商標)、生体センサ、着座センサ、アクチュエータセンサ、及び車内機器センサ等のうち、少なくとも一種類である。
通信系5は、認識システム1においてホスト移動体2の運転制御に利用可能な通信情報を、無線通信により取得する。通信系5には、ホスト移動体2の外界に存在するV2Xシステムとの間において通信信号を送受信する、V2Xタイプが含まれていてもよい。V2Xタイプの通信系5は、例えばDSRC(Dedicated Short Range Communications)通信機、及びセルラV2X(C-V2X)通信機等のうち、少なくとも一種類である。通信系5には、ホスト移動体2の外界に存在するGNSS(Global Navigation Satellite System)の人工衛星から測位信号を受信する、測位タイプが含まれていてもよい。測位タイプの通信系5は、例えばGNSS受信機等である。通信系5には、ホスト移動体2の内界に存在する端末との間において通信信号を送受信する、端末通信タイプが含まれていてもよい。端末通信タイプの通信系5は、例えばブルートゥース(Bluetooth:登録商標)機器、Wi-Fi(登録商標)機器、及び赤外線通信機器等のうち、少なくとも一種類である。
情報提示系6は、ホスト移動体2において乗員へ向けた報知情報を提示する。情報提示系6は、乗員の視覚を表示により刺激する、視覚刺激タイプであってもよい。視覚刺激タイプの情報提示系6は、例えばHUD(Head-Up Display)、MFD(Multi-Function Display)、コンビネーションメータ、及びナビゲーションユニット等のうち、少なくとも一種類である。情報提示系6は、乗員の聴覚を音により刺激する、聴覚刺激タイプであってもよい。聴覚刺激タイプの情報提示系6は、例えばスピーカ、ブザー、及びバイブレーションユニット等のうち、少なくとも一種類である。
認識システム1は、例えばLAN(Local Area Network)回線、ワイヤハーネス、内部バス、及び無線通信回線等のうち、少なくとも一種類を介してセンサ系4、通信系5、及び情報提示系6に接続されている。認識システム1は、少なくとも一つの専用コンピュータを含んで構成されている。
認識システム1を構成する専用コンピュータは、走査デバイス3によるセンサ情報としての走査データDtに基づき走査空間30における存在物体の認識を制御する、認識制御ECU(Electronic Control Unit)であってもよい。ここで認識制御ECUは、走査デバイス3を含む複数外界センサ40のセンサ情報を統合する機能を、有していてもよい。認識システム1を構成する専用コンピュータは、ホスト移動体2の運転を制御する、運転制御ECUであってもよい。認識システム1を構成する専用コンピュータは、ホスト移動体2の走行経路をナビゲートする、ナビゲーションECUであってもよい。認識システム1を構成する専用コンピュータは、ホスト移動体2の自己位置を含む自己状態量を推定する、ロケータECUであってもよい。認識システム1を構成する専用コンピュータは、ホスト移動体2において情報提示系6による情報提示を制御する、HCU(HMI(Human Machine Interface) Control Unit)であってもよい。認識システム1を構成する専用コンピュータは、例えば通信系5との間において通信可能な外部センタ又はモバイル端末等を構築する、ホスト移動体2以外のコンピュータであってもよい。
認識システム1を構成する専用コンピュータは、メモリ10とプロセッサ12とを、少なくとも一つずつ有している。メモリ10は、コンピュータにより読み取り可能なプログラム及びデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。プロセッサ12は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、RISC(Reduced Instruction Set Computer)-CPU、DFP(Data Flow Processor)、及びGSP(Graph Streaming Processor)等のうち、少なくとも一種類をコアとして含んでいる。
認識システム1においてメモリ10は、ホスト移動体2の運転制御に利用可能な地図情報を、記憶する。メモリ10は、例えばV2Xタイプの通信系5を通じた外部センタとの通信等により、最新の地図情報を取得して記憶する。特に第一実施形態の地図情報は、ホスト移動体2の走行環境を表すように三次元にデータ化された高精度地図のデジタルデータとしての、三次元ダイナミックマップMtである。ダイナミックマップMtは、走査デバイス3の走査空間30に存在する定点位置の物体をマッピングした、マッピング点群の状態を表している。ダイナミックマップMtは、例えば物標の位置座標、距離、方位角、及び形状等のうち、少なくとも一種類に関する三次元状態値を含んでいる。ダイナミックマップMtのマッピング対象とする物体は、例えば道路、標識、信号機、構造物、踏切、植生、スペース区画物、スペース区画線、及び標示線等のうち、少なくとも定点に位置する複数種類である。
認識システム1においてプロセッサ12は、ホスト移動体2の走査デバイス3により走査された走査空間30において移動可能なターゲット移動体9を認識するためにメモリ10に記憶された、認識プログラムに含まれる複数の命令を実行する。これにより認識システム1は、走査空間30のターゲット移動体9を認識するための機能ブロックを、複数構築する。認識システム1において構築される複数の機能ブロックには、図3に示すようにマッチングブロック100、及びクラスタリングブロック110が含まれる。
これら各ブロック100,110の共同により、認識システム1が走査空間30のターゲット移動体9を認識する認識方法のフロー(以下、認識フローという)を、図4に従って以下に説明する。認識フローのアルゴリズムサイクルは、ホスト移動体2の起動中において繰り返し実行される。尚、認識フローにおける各「S」は、認識プログラムに含まれた複数命令によって実行される複数ステップを、それぞれ意味する。
S101においてマッチングブロック100は、走査デバイス3から走査データDtを取得する。S102においてマッチングブロック100は、S101による走査データDtの取得地点に対応するダイナミックマップMtを、メモリ10から読み出す。このとき走査データDtの取得地点は、例えばセンサ系4及び通信系5の取得情報等に基づく自己位置推定により、判断されるとよい。
S101において読み出されるダイナミックマップMtには、走査空間30を複数に分割した三次元ボクセル300が、図5に示すように設定されている。ダイナミックマップMtにおいて各ボクセル300は、走査空間30に割り当てられる三次元絶対座標軸に沿って六辺を有した、立方体又は直方体の三次元格子状に定義される。但し、走査デバイス3の視野角に応じて決まる走査空間30の最外縁付近では、立方体又は直方体の一部となる、三次元格子の部分形状にボクセル300が定義されるとよい。こうした各ボクセル300の格子サイズは、走査空間30内に各ボクセル300間の隙間空間が発生しない限りにおいて、互いに同一サイズ、又は互いに異なる複数サイズのいずれかに、設定される。
図6に示すようにダイナミックマップMtでは、設定された各ボクセル300毎に、走査空間30の状態を識別するための識別情報Iiが、それぞれ個別に対応付けて付与されている。識別情報Iiは、各ボクセル300の位置座標に対応付けられた識別IDとして、インデックスナンバーIiiを含んでいる。識別情報Iiは、各ボクセル300毎の走査空間30において物体に対応するマッピング点群の分布特徴量を表す、分布情報Iisを含んでいる。分布情報Iisは、例えばマハラノビス距離等といった、点群分布の特徴量を表す0超過の値と、0値とによって、走査空間30における点群有無を各ボクセル300毎に表しているとよい。
さらにダイナミックマップMtにおいて識別情報Iiは、各ボクセル300毎に走査空間30の種別を表す、種別情報Iikを含んでいる。種別情報Iikは、図6,7に示すように、走査空間30の環境状態を識別可能に特徴化した種別を、識別IDとしての種別ナンバーにより表している。
ここで第一実施形態の種別情報Iikには、走査データDtにおいてゴーストピクセルの招来による誤走査点群の発生確率が例えば閾値超過又は閾値以上の許容範囲外となる環境状態を識別するために、少なくとも一つの種別ナンバー(図6,7の例ではナンバー5)が含まれている。ここで、誤走査点群の発生確率が許容範囲外となる環境状態には、図8に示すように走査空間30において走査デバイス3の走査方向に前後に離れて複数の静止物体8が存在することで、層状のゴーストピクセル(図8のGP)による誤認識の発生し易い前後認識状態Sgが、該当する。尚、図8は、走査方向に前後する複数の静止物体8として、ガードレールと立壁とを例示している。
また第一実施形態の種別情報Iikには、走査データDtにおいてゴーストピクセル又は点群重畳を招来する可能性のある環境状態を識別するために、少なくとも一つの種別ナンバー(図6,7の例ではナンバー6~8,10~15)が含まれている。ここで、ゴーストピクセル又は点群重畳の招来可能性がある環境状態には、図9,10に示すように走査デバイス3の走査方向に視て複数のターゲット移動体9が走査空間30において重畳する可能性が高いことで、誤認識の発生し易い重畳認識状態Ssが、該当する。尚、図9は、両方向に通行可能な狭幅の小道上において走査方向に視て重畳する複数のターゲット移動体9として、相異なる方向にすれ違いをする他車両を例示している。一方で図10は、踏切の周辺において走査方向に視て重畳する複数のターゲット移動体9として、踏切待ちをする複数の人を例示している。
さらにまた第一実施形態の種別情報Iikには、走査データDtにおいて定点位置の物体が動く可能性のある環境状態を識別するために、少なくとも一つの種別ナンバー(図6,7の例ではナンバー9)が含まれている。ここで、定点位置物体の動く可能性がある環境状態には、図11に示すような定点位置の植生物7が風になびいて動くことで、ターゲット移動体9として誤認識の発生し易い定点認識状態Sfが、該当する。また定点認識状態Sfは、定点位置の植生物7の成長又は伐採により、ターゲット移動体9として誤認識の発生し易い状態ともいえる。
図4に示すS102ではマッチングブロック100は、メモリ10においてダイナミックマップMtに設定されている各ボクセル300の格子サイズを、例えばセンサ系4及び通信系5の取得情報等に基づく走行シーンに応じた、ターゲット移動体9の認識に最適化な値へリサイズしてもよい。このとき識別情報IiのうちインデックスナンバーIiiは、リサイズ後の各ボクセル300に対して再付与される。識別情報Iiのうち分布情報Iisは、リサイズ前の各ボクセル300毎での分布特徴量がリサイズ後の各ボクセル300毎での分布特徴量に変換されることで、再付与される。識別情報Iiのうち種別情報Iikは、リサイズ前の各ボクセル300毎での種別ナンバーに対応する環境状態がリサイズ後の各ボクセル300毎での環境状態として振り分け又は統合されることで、当該リサイズ後の環境状態に対応する種別ナンバーを再付与される。ここで特に統合の場合には、環境状態の種別毎に優先度が事前設定されていることで、リサイズ前の複数ボクセル300での相異なる環境状態は優先度の高い環境状態に統合されるとよい。
ここまで説明のダイナミックマップMtに対する各ボクセル300の設定及び識別情報Iiの付与は、最新地図情報の生成元において実施されていてもよい。ダイナミックマップMtに対する各ボクセル300の設定及び識別情報Iiの付与は、本認識フローとは別のボクセル設定フローにより、過去又は現在のS101によって取得された走査データDtに基づき実施されてもよい。
図4に示すようにS103においてマッチングブロック100は、S101により取得された走査データDtと、S102により読み出されたダイナミックマップMtとを、マッチングする。このときマッチングブロック100は、走査データDtに対するマップマッチングを、ダイナミックマップMtに設定の各ボクセル300毎に、例えばNDT(Normal Distribution Transform)アルゴリズム等に基づき実施するとよい。
S104においてマッチングブロック100は、S103によりマップマッチングされた走査データDtにおける走査点群の各位置座標に対応する複数のボクセル300を、S102により読み出されたダイナミックマップMtにおいて特定する。S105においてマッチングブロック100は、S104により特定されたボクセル300(以下、特定ボクセル300という)の各々に付与されている識別情報Iiを、S102により読み出されたダイナミックマップMtから取得する。S106においてマッチングブロック100は、S103によりマップマッチングされた走査データDtにおける走査点群に対して、S105により取得された識別情報Iiのうち少なくとも種別情報Iikに応じた候補抽出処理を、各特定ボクセル300毎に実施する。以下、候補抽出処理の具体例を説明する。
S105により取得された種別情報Iikが状態Sg,Ss,Sf以外の種別ナンバーを表している特定ボクセル300に対しては、S106において図12に示すS111~S113の候補抽出処理を実施するように、通常抽出サブルーチンが実行される。具体的にS111においてマッチングブロック100は、S105により取得された識別情報Iiのうち分布情報Iisの表す分布特徴量と、S103によりマップマッチングされた走査データDtにおける走査点群の特定ボクセル300内での分布特徴量とを、比較する。その結果、分布特徴量同士が乖離していると判定された場合には、通常抽出サブルーチンがS112へ移行する。ここで、分布特徴量同士の乖離判定は、それら分布特徴量間の偏差が閾値超過又は以上となる場合に下されるとよく、当該閾値は0以上の数値に規定されるとよい。
S112においてマッチングブロック100は、S103によりマップマッチングされた走査データDtにおける走査点群のうち、特定ボクセル300内の点群を候補点群Pcとして抽出する。そこで、S112におけるマッチングブロック100は、抽出した候補点群PcのリストデータDcをメモリ10に記憶する。以上により、通常抽出サブルーチンが終了する。
一方、S111において分布特徴量同士が乖離していないと判定された場合には、通常抽出サブルーチンがS113へ移行する。S113においてマッチングブロック100は、S103によりマップマッチングされた走査データDtにおける走査点群のうち、特定ボクセル300内の点群を定点位置の物体のマッピング点群と認識して、メモリ10に記憶する候補点群Pcからは除外する。以上により、通常抽出サブルーチンが終了する。
S105により取得された種別情報Iikが前後認識状態Sgの種別ナンバーを表している特定ボクセル300に対しては、S106において図13に示すS121~S123の候補抽出処理を実施するように、前後抽出サブルーチンが実行される。具体的にS121においてマッチングブロック100は、S105により取得された識別情報Iiのうち分布情報Iisの表す分布特徴量と、S103によりマップマッチングされた走査データDtにおける走査点群の特定ボクセル300内での分布特徴量とを、比較する。その結果、分布特徴量同士が乖離していると判定された場合には、前後抽出サブルーチンがS122へ移行する。ここで、分布特徴量同士の乖離判定は、通常抽出サブルーチンに準ずる。但し、前後抽出サブルーチンにおいて乖離判定の基準となる閾値は、通常認識サブルーチンでの閾値よりも大きな乖離分までは許容するように、調整されてもよい。
S122においてマッチングブロック100は、S103によりマップマッチングされた走査データDtにおける走査点群のうち、特定ボクセル300内の点群を候補点群Pcとして抽出する。そこで、S122におけるマッチングブロック100は、抽出した候補点群PcのリストデータDcをメモリ10に記憶する。以上により、前後抽出サブルーチンが終了する。
一方、S121において分布特徴量同士が乖離していないと判定された場合には、前後抽出サブルーチンがS123へ移行する。S123においてマッチングブロック100は、S103によりマップマッチングされた走査データDtにおける走査点群のうち、特定ボクセル300内の点群を定点位置の物体のマッピング点群と認識して、メモリ10に記憶する候補点群Pcからは除外する。以上により、前後抽出サブルーチンが終了する。
S105により取得された種別情報Iikが重畳認識状態Ssの種別ナンバーを表している特定ボクセル300に対しては、S106において図14に示すS131~S133の候補抽出処理を実施するように、重畳抽出サブルーチンが実行される。具体的にS131においてマッチングブロック100は、S105により取得された識別情報Iiのうち分布情報Iisの表す分布特徴量と、S103によりマップマッチングされた走査データDtにおける走査点群の特定ボクセル300内での分布特徴量とを、比較する。その結果、分布特徴量同士が乖離していると判定された場合には、重畳抽出サブルーチンがS132へ移行する。ここで、分布特徴量同士の乖離判定は、通常抽出サブルーチンに準ずる。但し、重畳抽出サブルーチンにおいて乖離判定の基準となる閾値は、通常認識サブルーチンでの閾値よりも大きな乖離分までは許容するように、調整されてもよい。
S132においてマッチングブロック100は、S103によりマップマッチングされた走査データDtにおける走査点群のうち、特定ボクセル300内の点群を候補点群Pcとして抽出する。そこで、S132におけるマッチングブロック100は、抽出した候補点群PcのリストデータDcをメモリ10に記憶する。以上により、重畳抽出サブルーチンが終了する。
一方、S131において分布特徴量同士が乖離していないと判定された場合には、重畳抽出サブルーチンがS133へ移行する。S133においてマッチングブロック100は、S103によりマップマッチングされた走査データDtにおける走査点群のうち、特定ボクセル300内の点群を定点位置の物体のマッピング点群と認識して、メモリ10に記憶する候補点群Pcからは除外する。以上により、重畳抽出サブルーチンが終了する。
S105により取得された種別情報Iikが定点認識状態Sfの種別ナンバーを表している特定ボクセル300に対しては、S106において図15に示すS141の候補抽出処理を実施するように、定点抽出サブルーチンが実行される。具体的にS141においてマッチングブロック100は、S103によりマップマッチングされた走査データDtにおける走査点群のうち、特定ボクセル300内の点群を、定点位置にて動く可能性のある物体のマッピング点群と認識して、メモリ10に記憶する候補点群Pcからは除外する。以上により、定点抽出サブルーチンが終了する。
図4に示すようにS107においてクラスタリングブロック110は、S106での抽出によりメモリ10に記憶された候補点群Pcに対して、S105により取得された識別情報Iiのうち特に種別情報Iikに応じたクラスタリングによる認識処理を、各特定ボクセル300毎に実施する。以下、認識処理の具体例を説明する。
S105により取得された種別情報Iikが状態Sg,Ss,Sf以外の種別ナンバーを表している特定ボクセル300に対しては、S107において図16に示すS151~S153の候補抽出処理を実施するように、通常認識サブルーチンが実行される。具体的にS151においてクラスタリングブロック110は、S103によりマップマッチングされた走査データDtに対して、特定ボクセル300内での候補点群Pcをクラスタリングするクラスタリング範囲Rcを、デフォルト範囲に設定する。ここで、候補点群Pcがクラスタリングされるクラスタリング範囲Rcは、走査空間30に割り当てられる三次元絶対座標軸に沿った各次元方向において、それぞれ同一距離となる範囲に、定義される。そこでクラスタリング範囲Rcのデフォルト範囲は、状態Sg,Ss,Sf以外の環境状態においてターゲット移動体9を探索して適正に認識するために必要な、固定範囲(例えば1m)に規定される。但し、クラスタリング範囲Rcのデフォルト範囲は、特定ボクセル300までの距離が増大するほど大きくなる可変範囲に、調整されてもよい。
S152においてクラスタリングブロック110は、S103によりマップマッチングされた走査データDtにおける特定ボクセル300内での候補点群Pcから、S151により設定されたクラスタリング範囲Rcにユークリッド距離が収まる走査点群を、クラスタリングする。そこでS153においてクラスタリングブロック110は、クラスタリングされた走査点群に基づくことで、ターゲット移動体9を認識する。ここでS153におけるクラスタリングブロック110は、例えばセンサノイズ等に起因するゴーストピクセルからは推定的に区別してターゲット移動体9を認識するために、クラスタリングされた走査点群をフィルタリングしてもよい。このときのフィルタリングに用いられる推定モデルは、ルールベースのモデルであってもよいし、AIモデルであってもよい。特にルールベースのモデルを用いた場合には、S152により結合された走査点群の、例えばクラスタリング点数、クラスタリングサイズ、及び空間位置等の判断指標に基づき、フィルタリングが遂行されてもよい。以上により、通常認識サブルーチンが終了する。
S105により取得された種別情報Iikが前後認識状態Sgの種別ナンバーを表している特定ボクセル300に対しては、S107において図17に示すS161~S163の認識処理を実施するように、前後認識サブルーチンが実行される。具体的にS161においてクラスタリングブロック110は、S103によりマップマッチングされた走査データDtに対するクラスタリング範囲Rcを、通常認識サブルーチンのデフォルト範囲よりも縮小側(例えば0.2m以下)に調整する。このとき、特定ボクセル300内の走査空間30において前後する複数の静止物体8間に対応して候補点群Pcが存在する場合には、それら静止物体8間の候補点群Pcがクラスタリングされる範囲Rcは、S161での調整によってデフォルト範囲よりも縮小されることになる。
S162においてクラスタリングブロック110は、S103によりマップマッチングされた走査データDtにおける特定ボクセル300内での候補点群Pcから、S161により設定されたクラスタリング範囲Rcにユークリッド距離が収まる走査点群を、クラスタリングする。そこでS163においてクラスタリングブロック110は、クラスタリングされた走査点群に基づくことで、ターゲット移動体9を認識する。このとき、特定ボクセル300内の走査空間30において前後する複数の静止物体8間に対応した走査点群がクラスタリングされている場合には、それら静止物体8間のターゲット移動体9(図8参照)を認識することが可能となる。そこでS163においても、ターゲット移動体9を認識するために、S153と同様なフィルタリングが遂行されてもよい。但し、前後認識サブルーチンのS163では、特に静止物体8間のターゲット移動体9とゴーストピクセルとをルールベースのモデルで区別するために、上述の判断指標に対する判断閾値が、通常認識サブルーチンのデフォルト値よりもゴーストピクセルの除外確率を増大させる側に、調整されてもよい。以上により、前後認識サブルーチンが終了する。
S105により取得された種別情報Iikが重畳認識状態Ssの種別ナンバーを表している特定ボクセル300に対しては、S107において図18に示すS171~S173の認識処理を実施するように、重畳認識サブルーチンが実行される。具体的にS171においてクラスタリングブロック110は、S103によりマップマッチングされた走査データDtに対するクラスタリング範囲Rcを、デフォルト範囲よりも縮小側(例えば0.2m以下)に調整する。このとき、特定ボクセル300内の走査空間30において複数のターゲット移動体9にそれぞれ対応する候補点群Pcが、走査デバイス3の走査方向に視て重畳している場合には、それらターゲット移動体9の各候補点群Pcがクラスタリングされる範囲Rcは、S161での調整によってデフォルト範囲よりも縮小されることになる。
S172においてクラスタリングブロック110は、S103によりマップマッチングされた走査データDtにおける特定ボクセル300内での候補点群Pcから、S171により設定されたクラスタリング範囲Rcにユークリッド距離が収まる走査点群を、クラスタリングする。そこでS173においてクラスタリングブロック110は、クラスタリングされた走査点群に基づくことで、ターゲット移動体9を認識する。このとき、特定ボクセル300内の走査空間30において複数のターゲット移動体9にそれぞれ対応する走査点群が、走査デバイス3の走査方向に視て重畳してクラスタリングされている場合には、それらターゲット移動体9(図9,10参照)を分離して認識することが可能となる。そこでS173においても、ターゲット移動体9を認識するために、S153と同様なフィルタリングが遂行されてもよい。但し、重畳認識サブルーチンのS173では、特に走査方向に重畳する複数ターゲット移動体9とゴーストピクセルとをルールベースのモデルで区別するために、上述の判断指標に対する判断閾値が、通常認識サブルーチンのデフォルト値よりもゴーストピクセルの除外確率を増大させる側に、調整されてもよい。以上により、重畳認識サブルーチンが終了する。
尚、S105により取得された種別情報Iikが定点認識状態Sfの種別ナンバーを表している特定ボクセル300に対しては、S106のうち定点抽出サブルーチンにより候補点群Pcは抽出されない。その結果、定点認識状態Sfの特定ボクセル300に対しては、S107の認識処理は実行されないこととなる。
図4に示すようにS108においてクラスタリングブロック110は、S107でのクラスタリングによりターゲット移動体9を認識処理した結果を表すように、認識データDrを生成する。そこでS109においてクラスタリングブロック110は、生成された認識データDrをメモリ10に記憶する。このときクラスタリングブロック110は、生成又はさらに記憶された認識データDrを、例えば図19に示すようにホスト移動体2において情報提示系6により表示させるために、当該表示を制御してもよい。クラスタリングブロック110は、生成又はさらに記憶された認識データDrを、通信系5によりホスト移動体2の外部(例えば外部センタ若しくは他車両等)へ送信するように、当該送信を制御してもよい。以上により、認識フローの今回実行が終了する。尚、メモリ10に記憶された認識データDrは、ホスト移動体2の運転制御に利用される。
(作用効果)
以上説明した第一実施形態の作用効果を、以下に説明する。
以上説明した第一実施形態の作用効果を、以下に説明する。
第一実施形態では、走査空間30において走査デバイス3の走査方向に前後に離れた複数の静止物体8間のターゲット移動体9を認識した、認識データDrが生成される。このとき第一実施形態によると、ダイナミックマップMtにおいて走査空間30を分割した複数のボクセル300毎に走査空間30の状態を識別するための識別情報Iiに基づくことで、走査データDtにおいて複数の静止物体8間に対応してクラスタリングされる走査点群からは、誤走査点群を除外することができる。故に、複数の静止物体8間に進入したターゲット移動体9を、高精度に認識することが可能となる。
第一実施形態によると、走査データDtにおいて複数の静止物体8間に対応する走査点群がクラスタリングされるクラスタリング範囲Rcは、識別情報Iiに基づき縮小側に調整される。これによれば、複数の静止物体8間に対応する走査点群のうち、点群密度が低くなる誤走査点群をクラスタリング範囲Rcからは除外する一方、点群密度が高くなるターゲット移動体9の走査点群をクラスタリング範囲Rcに収めて適正にクラスタリングすることができる。故に、複数の静止物体8間に進入したターゲット移動体9の高精度認識に対して、信頼性を確保することが可能となる。
第一実施形態によると、各静止物体8間の走査点群に対するクラスタリング範囲Rcは、識別情報Iiのうち特に、走査空間30の種別を表す種別情報Iikに基づき調整される。これによれば、ダイナミックマップMtにおいて種別情報Iikの表す種別が、走査方向の静止物体8間において誤走査点群の生じる可能性が高い種別の場合には、当該可能性に応じた縮小側への調整によりクラスタリング範囲Rcから誤走査点群を除外し易くすることができる。故に、複数の静止物体8間に進入したターゲット移動体9の走査点群に絞るクラスタリングを実現して、当該ターゲット移動体9の高精度認識に対する信頼性を高めることが可能となる。
第一実施形態では、走査空間30において走査デバイス3から走査方向に視て重畳する複数のターゲット移動体9を認識した、認識データDrが生成される。このとき第一実施形態によると、ダイナミックマップMtにおいて走査空間30を分割した複数のボクセル300毎に走査空間30の状態を識別するための識別情報Iiに基づくことで、走査データDtにおいて複数のターゲット移動体9間に対応してクラスタリングされる走査点群からは、誤走査点群を除外することができる。故に、走査方向に視て重畳する各ターゲット移動体9を、高精度に認識することが可能となる。
第一実施形態によると、走査データDtにおいて各ターゲット移動体9に対応する走査点群がクラスタリングされるクラスタリング範囲Rcは、識別情報Iiに基づき縮小側に調整される。これによれば、複数のターゲット移動体9間に対応する走査点群のうち、点群密度が低くなる誤走査点群をクラスタリング範囲Rcからは除外する一方、点群密度が高くなる各ターゲット移動体9の走査点群同士をそれぞれ個別のクラスタリング範囲Rcに収めて適正にクラスタリングすることができる。故に、走査方向に視て重畳する各ターゲット移動体9の高精度認識に対して、信頼性を確保することが可能となる。
第一実施形態によると、各ターゲット移動体9の走査点群に対するクラスタリング範囲Rcは、識別情報Iiのうち特に、走査空間30の種別を表す種別情報Iikに基づき調整される。これによれば、ダイナミックマップMtにおいて種別情報Iikの表す種別が、走査方向に視てターゲット移動体9の重畳する可能性が高い種別の場合には、当該可能性に応じた縮小側への調整により、クラスタリング範囲Rcから誤走査点群を除外し易くすることができる。また、そうした可能性に応じた縮小側への調整により、各ターゲット移動体9の走査点群をそれぞれ個別のクラスタリング範囲Rcに収め易くすることができる。これらのことから、走査方向に視て重畳する各ターゲット移動体9の高精度認識に対する信頼性を、高めることが可能となる。
第一実施形態によると、クラスタリングされる走査点群となる候補点群Pcは、識別情報Iiのうち特に、走査空間30の種別を表す種別情報Iikに基づき抽出される。これによれば、ダイナミックマップMtにおいて種別情報Iikの表す種別が、定点位置において物体の動く可能性がある、例えば植生環境等といった種別の場合には、クラスタリングされる候補点群Pcからは除外され得る。故に、定点位置において動く物体と対応した走査点群のクラスタリングによりターゲット移動体9の認識精度が低下する事態を、抑制することが可能となる。
第一実施形態によると、クラスタリングされる走査点群となる候補点群Pcは、識別情報Iiのうち特に、走査空間30における点群分布の特徴量を表す分布情報Iisに基づき抽出される。これによれば、ダイナミックマップMtにおいて分布情報Iisの表す特徴量が、走査データDtにおける点群分布の特徴量から乖離する場合には、当該点群分布に対応する特定ボクセル300の候補点群Pcがクラスタリングに供され得る。故に、ダイナミックマップMtにはマッチングする点群が存在しない、ターゲット移動体9の走査点群に絞ったクラスタリングを実現して、ターゲット移動体9の高精度認識に対する信頼性を高めることが可能となる。
(第二実施形態)
第二実施形態は、第一実施形態の変形例である。
第二実施形態は、第一実施形態の変形例である。
第二実施形態の認識フローにおいてS101により読み出されるダイナミックマップMtの種別情報Iikには、図20に示されるように、走査データDtにおいてゴーストピクセルを招来する可能性のある環境状態を識別するための、少なくとも一つの種別ナンバー(図20の例ではナンバー16)が含まれている。ここで、ゴーストピクセルの招来可能性がある環境状態には、図21,22に示すように走査空間30において走査デバイス3の走査ビームに対する反射率が許容範囲外に高い高反射静止物体80が存在することで、当該高反射静止物体80よりも走査方向の手前では誤認識の発生し易い高反射認識状態Srが、該当する。そこで、高反射静止物体80の手前においてゴーストピクセルによる誤認識が生じないと予測可能な反射率の許容範囲に対して、高反射側となる反射率が許容範囲外の反射率として規定される。尚、図21は、高反射静止物体80として、標識及びミラーを例示している。一方で図22は、高反射静止物体80として、建造物における窓ガラスを例示している。
こうした第二実施形態の認識フローにおいてS105により取得された種別情報Iikが状態Sg,Ss,Sf,Sr以外の種別ナンバーを表している特定ボクセル300に対しては、S106において第一実施形態と同様な通常抽出サブルーチンが実行される。第二実施形態の認識フローにおいて種別情報Iikが前後認識状態Sgの種別ナンバーを表している特定ボクセル300に対しては、S106において第一実施形態と同様な前後抽出サブルーチンが実行される。第二実施形態の認識フローにおいて種別情報Iikが重畳認識状態Ssの種別ナンバーを表している特定ボクセル300に対しては、S106において第一実施形態と同様な重畳抽出サブルーチンが実行される。第二実施形態の認識フローにおいて種別情報Iikが定点認識状態Sfの種別ナンバーを表している特定ボクセル300に対しては、S106において第一実施形態と同様な定点抽出サブルーチンが実行される。
さらに第二実施形態の認識フローでは、種別情報Iikが高反射認識状態Srの種別ナンバーを表している特定ボクセル300に対して、S106では図23に示すS181~S183の候補抽出処理を実施するように、高反射抽出サブルーチンが実行される。具体的にS181においてマッチングブロック100は、S105により取得された識別情報Iiのうち分布情報Iisの表す分布特徴量と、S103によりマップマッチングされた走査データDtにおける走査点群の特定ボクセル300内での分布特徴量とを、比較する。その結果、分布特徴量同士が乖離していると判定された場合には、高反射抽出サブルーチンがS182へ移行する。ここで、分布特徴量同士の乖離判定は、第一実施形態で説明した通常抽出サブルーチンに準ずる。但し、高反射抽出サブルーチンにおいて乖離判定の基準となる閾値は、通常認識サブルーチンでの閾値よりも大きな乖離分までは許容するように、調整されてもよい。
こうしたS106の後に、第二実施形態の認識フローにおいてS105により取得された種別情報Iikが状態Sg,Ss,Sf,Sr以外の種別ナンバーを表している特定ボクセル300に対しては、S107において第一実施形態と同様な通常認識サブルーチンが実行される。第二実施形態の認識フローにおいて種別情報Iikが前後認識状態Sgの種別ナンバーを表している特定ボクセル300に対しては、S107において第一実施形態と同様な前後認識サブルーチンが実行される。第二実施形態の認識フローにおいて種別情報Iikが重畳認識状態Ssの種別ナンバーを表している特定ボクセル300に対しては、S107において第一実施形態と同様な重畳認識サブルーチンが実行される。
さらに第二実施形態の認識フローでは、種別情報Iikが高反射認識状態Srの種別ナンバーを表している特定ボクセル300に対して、S107では図24に示すS191~S193の認識処理を実施するように、高反射認識サブルーチンが実行される。具体的にS191においてクラスタリングブロック110は、S103によりマップマッチングされた走査データDtに対するクラスタリング範囲Rcを、デフォルト範囲よりも縮小側(例えば0.2m以下)に調整する。このとき、特定ボクセル300内の走査空間30において高反射静止物体80よりも手前のエリアに対応して候補点群Pcが存在する場合には、当該手前エリアの候補点群Pcがクラスタリングされる範囲Rcは、S191での調整によってデフォルト範囲よりも縮小されることになる。
S192においてクラスタリングブロック110は、S103によりマップマッチングされた走査データDtにおける特定ボクセル300内での候補点群Pcから、S191により設定されたクラスタリング範囲Rcにユークリッド距離が収まる走査点群を、クラスタリングする。そこでS193においてクラスタリングブロック110は、クラスタリングされた走査点群に基づくことで、ターゲット移動体9を認識する。このとき、特定ボクセル300内の走査空間30において高反射静止物体80よりも手前エリアに対応した走査点群がクラスタリングされている場合には、当該手前エリアのターゲット移動体9(図21,22参照)を認識することが可能となる。そこでS193においても、ターゲット移動体9を認識するために、第一実施形態で説明のS153と同様なフィルタリングが遂行されてもよい。但し、高反射認識サブルーチンのS193では、高反射静止物体80よりも手前エリアのターゲット移動体9とゴーストピクセルとをルールベースのモデルで区別するために、第一実施形態で説明の判断指標に対する判断閾値が、通常認識サブルーチンのデフォルト値よりもゴーストピクセルの除外確率を増大させる側に、調整されてもよい。以上により、高反射認識サブルーチンが終了する。
このように第二実施形態では、走査デバイス3の走査ビームに対する反射率が許容範囲外に高い高反射静止物体80よりも走査方向に視て手前にターゲット移動体9を認識した、認識データDrが生成される。このとき第二実施形態によると、ダイナミックマップMtにおいて走査空間30を分割した複数のボクセル300毎に走査空間30の状態を識別するための識別情報Iiに基づくことで、走査データDtにおいて高反射静止物体80の手前に対応してクラスタリングされる走査点群からは、誤走査点群を除外することができる。故に、高反射静止物体80の手前に進入したターゲット移動体9を、高精度に認識することが可能となる。
第二実施形態によると、走査データDtにおいて高反射静止物体80よりも手前に対応する走査点群がクラスタリングされるクラスタリング範囲Rcは、識別情報Iiに基づき縮小側に調整される。これによれば、高反射静止物体80の手前に対応した走査点群のうち、点群密度が低くなる誤走査点群をクラスタリング範囲Rcからは除外する一方、点群密度が高くなるターゲット移動体9の走査点群をクラスタリング範囲Rcに収めて適正にクラスタリングすることができる。故に、高反射静止物体80の手前に進入したターゲット移動体9の高精度認識に対して、信頼性を確保することが可能となる。
第二実施形態によると、高反射静止物体80よりも手前の走査点群に対するクラスタリング範囲Rcは、識別情報Iiのうち特に、走査空間30の種別を表す種別情報Iikに基づき調整される。これによれば、ダイナミックマップMtにおいて種別情報Iikの表す種別が、高反射静止物体80の手前において誤走査点群の生じる可能性が高い種別の場合には、当該可能性に応じた縮小側への調整によりクラスタリング範囲Rcから誤走査点群を除外し易くすることができる。故に、高反射静止物体80の手前に進入したターゲット移動体9の走査点群に絞るクラスタリングを実現して、当該ターゲット移動体9の高精度認識に対する信頼性を高めることが可能となる。
(他の実施形態)
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態に適用することができる。
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態に適用することができる。
変形例において認識システム1を構成する専用コンピュータは、デジタル回路及びアナログ回路のうち、少なくとも一方をプロセッサとして有していてもよい。ここでデジタル回路とは、例えばASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、SOC(System on a Chip)、PGA(Programmable Gate Array)、及びCPLD(Complex Programmable Logic Device)等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを記憶したメモリを、有していてもよい。
変形例のS106では、前後抽出サブルーチン及び重複抽出サブルーチンのうちいずれか一方が実行されずに、前後認識状態Sg及び重畳認識状態Ssのうち当該いずれか一方に対応する環境状態に対しては、通常抽出サブルーチンが実行されてもよい。この場合にS107では、前後認識サブルーチン及び重複認識サブルーチンのうちいずれか一方が実行されずに、前後認識状態Sg及び重畳認識状態Ssのうち当該いずれか一方に対応する環境状態に対しては、通常認識サブルーチンが実行されるとよい。
変形例のS106では、定点抽出サブルーチンが実行されずに、当該定点抽出サブルーチンに対応する定点認識状態Sfに対しては、通常抽出サブルーチンが実行されてもよい。この場合にS107では、定点認識状態Sfに対して通常認識サブルーチンが実行されるとよい。
変形例において認識システム1の適用されるホスト移動体は、例えば自律走行又は遠隔走行により荷物搬送若しくは情報収集等の可能な、走行ロボットであってもよい。ここまでの説明形態の他に上述の実施形態及び変形例は、ホスト移動体に搭載可能に構成されてプロセッサ12及びメモリ10を少なくとも一つずつ有する認識装置として、処理回路(例えば処理ECU等)の形態、又は半導体装置(例えば半導体チップ等)の形態で実施されてもよい。
(付言)
本明細書には、以下に列挙する複数の技術的思想と、それらの複数の組み合わせが開示されている。
本明細書には、以下に列挙する複数の技術的思想と、それらの複数の組み合わせが開示されている。
(技術的思想1)
プロセッサ(12)を有し、ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識する認識システムであって、
前記プロセッサは、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に前後に離れた複数の静止物体(8)間の前記ターゲット移動体を認識した、認識データ(Dr)を生成することとを、実行するように構成される認識システム。
プロセッサ(12)を有し、ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識する認識システムであって、
前記プロセッサは、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に前後に離れた複数の静止物体(8)間の前記ターゲット移動体を認識した、認識データ(Dr)を生成することとを、実行するように構成される認識システム。
(技術的思想2)
前記認識データを生成することは、
前記三次元走査データにおいて複数の前記静止物体間に対応する前記走査点群がクラスタリングされるクラスタリング範囲(Rc)を、前記識別情報に基づき縮小側に調整することを、含む技術的思想1に記載の認識システム。
前記認識データを生成することは、
前記三次元走査データにおいて複数の前記静止物体間に対応する前記走査点群がクラスタリングされるクラスタリング範囲(Rc)を、前記識別情報に基づき縮小側に調整することを、含む技術的思想1に記載の認識システム。
(技術的思想3)
前記認識データを生成することは、
前記識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査方向に視て重畳する複数の前記ターゲット移動体を認識した、前記認識データを生成することを、含む技術的思想1又は2に記載の認識システム。
前記認識データを生成することは、
前記識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査方向に視て重畳する複数の前記ターゲット移動体を認識した、前記認識データを生成することを、含む技術的思想1又は2に記載の認識システム。
(技術的思想4)
プロセッサ(12)を有し、ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識する認識システムであって、
前記プロセッサは、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に視て重畳する複数の前記ターゲット移動体を認識した、認識データ(Dr)を生成することとを、実行するように構成される認識システム。
プロセッサ(12)を有し、ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識する認識システムであって、
前記プロセッサは、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に視て重畳する複数の前記ターゲット移動体を認識した、認識データ(Dr)を生成することとを、実行するように構成される認識システム。
(技術的思想5)
前記認識データを生成することは、
前記三次元走査データにおいて各前記ターゲット移動体に対応する前記走査点群がクラスタリングされるクラスタリング範囲(Rc)を、前記識別情報に基づき縮小側に調整することを、含む技術的思想3又は4に記載の認識システム。
前記認識データを生成することは、
前記三次元走査データにおいて各前記ターゲット移動体に対応する前記走査点群がクラスタリングされるクラスタリング範囲(Rc)を、前記識別情報に基づき縮小側に調整することを、含む技術的思想3又は4に記載の認識システム。
(技術的思想6)
前記認識データを生成することは、
前記識別情報のうち前記走査空間の種別を表す種別情報(Iik)に基づき、前記クラスタリング範囲を調整することを、含む技術的思想2又は5に記載の認識システム。
前記認識データを生成することは、
前記識別情報のうち前記走査空間の種別を表す種別情報(Iik)に基づき、前記クラスタリング範囲を調整することを、含む技術的思想2又は5に記載の認識システム。
(技術的思想7)
前記認識データを生成することは、
前記識別情報に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査ビームに対する反射率が許容範囲外に高い高反射静止物体(80)よりも前記走査方向に視て手前に前記ターゲット移動体を認識した、前記認識データを生成することを、含む技術的思想1~6のいずれか一項に記載の認識システム。
前記認識データを生成することは、
前記識別情報に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査ビームに対する反射率が許容範囲外に高い高反射静止物体(80)よりも前記走査方向に視て手前に前記ターゲット移動体を認識した、前記認識データを生成することを、含む技術的思想1~6のいずれか一項に記載の認識システム。
(技術的思想8)
前記認識データを生成することは、
前記三次元走査データにおいて前記高反射静止物体よりも手前に対応する前記走査点群がクラスタリングされるクラスタリング範囲(Rc)を、前記識別情報に基づき縮小側に調整することを、含む技術的思想7に記載の認識システム。
前記認識データを生成することは、
前記三次元走査データにおいて前記高反射静止物体よりも手前に対応する前記走査点群がクラスタリングされるクラスタリング範囲(Rc)を、前記識別情報に基づき縮小側に調整することを、含む技術的思想7に記載の認識システム。
(技術的思想9)
前記認識データを生成することは、
前記識別情報のうち前記走査空間の種別を表す種別情報(Iik)に基づき、前記クラスタリング範囲を調整することを、含む技術的思想8に記載の認識システム。
前記認識データを生成することは、
前記識別情報のうち前記走査空間の種別を表す種別情報(Iik)に基づき、前記クラスタリング範囲を調整することを、含む技術的思想8に記載の認識システム。
(技術的思想10)
前記認識データを生成することは、
クラスタリングされる前記走査点群を、前記識別情報のうち前記走査空間の種別を表す種別情報(Iik)に基づき、抽出することを、含む技術的思想1~9のいずれか一項に記載の認識システム。
前記認識データを生成することは、
クラスタリングされる前記走査点群を、前記識別情報のうち前記走査空間の種別を表す種別情報(Iik)に基づき、抽出することを、含む技術的思想1~9のいずれか一項に記載の認識システム。
(技術的思想11)
前記認識データを生成することは、
クラスタリングされる前記走査点群を、前記識別情報のうち前記走査空間における点群分布の特徴量を表す分布情報(Iis)に基づき、抽出することを、含む技術的思想1~10のいずれか一項に記載の認識システム。
前記認識データを生成することは、
クラスタリングされる前記走査点群を、前記識別情報のうち前記走査空間における点群分布の特徴量を表す分布情報(Iis)に基づき、抽出することを、含む技術的思想1~10のいずれか一項に記載の認識システム。
(技術的思想12)
前記プロセッサは、
生成された前記認識データを記憶媒体(10)に記憶することを、さらに実行するように構成される技術的思想1~11のいずれか一項に記載の認識システム。
前記プロセッサは、
生成された前記認識データを記憶媒体(10)に記憶することを、さらに実行するように構成される技術的思想1~11のいずれか一項に記載の認識システム。
(技術的思想13)
前記プロセッサは、
生成された前記認識データの表示を制御することを、さらに実行するように構成される技術的思想1~12のいずれか一項に記載の認識システム。
前記プロセッサは、
生成された前記認識データの表示を制御することを、さらに実行するように構成される技術的思想1~12のいずれか一項に記載の認識システム。
尚、以上説明した技術的思想1~13は、装置、方法及びプログラムの各形態で実現されてもよい。
Claims (19)
- プロセッサ(12)を有し、ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識する認識システムであって、
前記プロセッサは、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に前後に離れた複数の静止物体(8)間の前記ターゲット移動体を認識した、認識データ(Dr)を生成することとを、実行するように構成される認識システム。 - 前記認識データを生成することは、
前記三次元走査データにおいて複数の前記静止物体間に対応する前記走査点群がクラスタリングされるクラスタリング範囲(Rc)を、前記識別情報に基づき縮小側に調整することを、含む請求項1に記載の認識システム。 - 前記認識データを生成することは、
前記識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査方向に視て重畳する複数の前記ターゲット移動体を認識した、前記認識データを生成することを、含む請求項1に記載の認識システム。 - プロセッサ(12)を有し、ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識する認識システムであって、
前記プロセッサは、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に視て重畳する複数の前記ターゲット移動体を認識した、認識データ(Dr)を生成することとを、実行するように構成される認識システム。 - 前記認識データを生成することは、
前記三次元走査データにおいて各前記ターゲット移動体に対応する前記走査点群がクラスタリングされるクラスタリング範囲(Rc)を、前記識別情報に基づき縮小側に調整することを、含む請求項4に記載の認識システム。 - 前記認識データを生成することは、
前記識別情報のうち前記走査空間の種別を表す種別情報(Iik)に基づき、前記クラスタリング範囲を調整することを、含む請求項2又は5に記載の認識システム。 - 前記認識データを生成することは、
前記識別情報に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査ビームに対する反射率が許容範囲外に高い高反射静止物体(80)よりも前記走査方向に視て手前に前記ターゲット移動体を認識した、前記認識データを生成することを、含む請求項1又は4に記載の認識システム。 - 前記認識データを生成することは、
前記三次元走査データにおいて前記高反射静止物体よりも手前に対応する前記走査点群がクラスタリングされるクラスタリング範囲(Rc)を、前記識別情報に基づき縮小側に調整することを、含む請求項7に記載の認識システム。 - 前記認識データを生成することは、
前記識別情報のうち前記走査空間の種別を表す種別情報(Iik)に基づき、前記クラスタリング範囲を調整することを、含む請求項8に記載の認識システム。 - 前記認識データを生成することは、
クラスタリングされる前記走査点群を、前記識別情報のうち前記走査空間の種別を表す種別情報(Iik)に基づき、抽出することを、含む請求項1又は4に記載の認識システム。 - 前記認識データを生成することは、
クラスタリングされる前記走査点群を、前記識別情報のうち前記走査空間における点群分布の特徴量を表す分布情報(Iis)に基づき、抽出することを、含む請求項1又は4に記載の認識システム。 - 前記プロセッサは、
生成された前記認識データを記憶媒体(10)に記憶することを、さらに実行するように構成される請求項1又は4に記載の認識システム。 - 前記プロセッサは、
生成された前記認識データの表示を制御することを、さらに実行するように構成される請求項1又は4に記載の認識システム。 - プロセッサ(12)を有し、ホスト移動体(2)に搭載可能に構成され、当該ホスト移動体の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識する認識装置であって、
前記プロセッサは、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に前後に離れた複数の静止物体(8)間の前記ターゲット移動体を認識した、認識データ(Dr)を生成することとを、実行するように構成される認識装置。 - プロセッサ(12)を有し、ホスト移動体(2)に搭載可能に構成され、当該ホスト移動体の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識する認識装置であって、
前記プロセッサは、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に視て重畳する複数の前記ターゲット移動体を認識した、認識データ(Dr)を生成することとを、実行するように構成される認識装置。 - ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識するために、プロセッサ(12)により実行される認識方法であって、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に前後に離れた複数の静止物体(8)間の前記ターゲット移動体を認識した、認識データ(Dr)を生成することとを、含む認識方法。 - ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識するために、プロセッサ(12)により実行される認識方法であって、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に視て重畳する複数の前記ターゲット移動体を認識した、認識データ(Dr)を生成することとを、含む認識方法。 - ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識するために記憶媒体(10)に記憶され、プロセッサ(12)により実行される命令を含む認識プログラムであって、
前記命令は、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得させることと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出させることと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に前後に離れた複数の静止物体(8)間の前記ターゲット移動体を認識した、認識データ(Dr)を生成させることとを、含む認識プログラム。 - ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識するために記憶媒体(10)に記憶され、プロセッサ(12)により実行される命令を含む認識プログラムであって、
前記命令は、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得させることと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出させることと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に視て重畳する複数の前記ターゲット移動体を認識した、認識データ(Dr)を生成させることとを、含む認識プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202280088767.7A CN118541622A (zh) | 2022-02-15 | 2022-11-07 | 识别系统、识别装置、识别方法、识别程序 |
US18/803,237 US20240404198A1 (en) | 2022-02-15 | 2024-08-13 | Recognition system, recognition device, recognition method, and program product |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022021553 | 2022-02-15 | ||
JP2022-021553 | 2022-02-15 | ||
JP2022-148667 | 2022-09-19 | ||
JP2022148667A JP7605198B2 (ja) | 2022-02-15 | 2022-09-19 | 認識システム、認識装置、認識方法、認識プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US18/803,237 Continuation US20240404198A1 (en) | 2022-02-15 | 2024-08-13 | Recognition system, recognition device, recognition method, and program product |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023157394A1 true WO2023157394A1 (ja) | 2023-08-24 |
Family
ID=87577928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/041385 WO2023157394A1 (ja) | 2022-02-15 | 2022-11-07 | 認識システム、認識装置、認識方法、認識プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20240404198A1 (ja) |
WO (1) | WO2023157394A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014178789A (ja) * | 2013-03-14 | 2014-09-25 | Advanced Telecommunication Research Institute International | 追跡装置、追跡プログラムおよび追跡方法 |
JP2015152319A (ja) * | 2014-02-10 | 2015-08-24 | 株式会社デンソー | 物体識別方法、および物体識別装置 |
JP2021516355A (ja) * | 2019-01-30 | 2021-07-01 | バイドゥ ドットコム タイムス テクノロジー (ベイジン) カンパニー リミテッド | 自動運転車のための地図区画システム |
CN113076773A (zh) * | 2020-01-03 | 2021-07-06 | 广州汽车集团股份有限公司 | 目标检测聚类方法、系统、计算机设备及可读存储介质 |
-
2022
- 2022-11-07 WO PCT/JP2022/041385 patent/WO2023157394A1/ja active Application Filing
-
2024
- 2024-08-13 US US18/803,237 patent/US20240404198A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014178789A (ja) * | 2013-03-14 | 2014-09-25 | Advanced Telecommunication Research Institute International | 追跡装置、追跡プログラムおよび追跡方法 |
JP2015152319A (ja) * | 2014-02-10 | 2015-08-24 | 株式会社デンソー | 物体識別方法、および物体識別装置 |
JP2021516355A (ja) * | 2019-01-30 | 2021-07-01 | バイドゥ ドットコム タイムス テクノロジー (ベイジン) カンパニー リミテッド | 自動運転車のための地図区画システム |
CN113076773A (zh) * | 2020-01-03 | 2021-07-06 | 广州汽车集团股份有限公司 | 目标检测聚类方法、系统、计算机设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20240404198A1 (en) | 2024-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111886626B (zh) | 信号处理设备和信号处理方法、程序及移动体 | |
JP7320001B2 (ja) | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 | |
CN110959143B (zh) | 信息处理装置、信息处理方法、程序和移动体 | |
CN111044066B (zh) | 支援控制系统 | |
US12125237B2 (en) | Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object | |
CN107798699A (zh) | 用立体图像进行深度图估计 | |
WO2019044652A1 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, PROGRAM, AND MOBILE OBJECT | |
WO2020021842A1 (ja) | 車両用表示制御装置、車両用表示制御方法、制御プログラム、および持続的有形コンピュータ読み取り媒体 | |
CA3134088A1 (en) | Information processing method, program, and information processing apparatus | |
CN112105956B (zh) | 用于自动驾驶的系统和方法 | |
US20230260254A1 (en) | Information processing device, information processing method, and program | |
CN112041210B (zh) | 用于自动驾驶的系统和方法 | |
JP7605198B2 (ja) | 認識システム、認識装置、認識方法、認識プログラム | |
WO2023157394A1 (ja) | 認識システム、認識装置、認識方法、認識プログラム | |
CN118541622A (zh) | 识别系统、识别装置、识别方法、识别程序 | |
US20230121905A1 (en) | Information processing apparatus, information processing method, and program | |
CN113826145B (zh) | 距离测量的系统和方法 | |
WO2022259823A1 (ja) | 物体認識システム、物体認識方法、物体認識プログラム | |
WO2023223659A1 (ja) | 認識システム、認識装置、認識方法、認識プログラム、認識データ生成方法 | |
JP2022187400A (ja) | 処理システム、処理装置、処理方法、処理プログラム | |
JP2023171241A (ja) | 認識システム、認識装置、認識方法、認識プログラム、認識データ生成方法 | |
JP2023024014A (ja) | 処理システム、処理装置、処理方法、処理プログラム | |
CN118871816A (zh) | 识别系统、识别装置、识别方法、识别程序、识别数据生成方法 | |
JP7647397B2 (ja) | 推定システム、推定装置、推定方法、推定プログラム | |
WO2023286522A1 (ja) | 処理システム、処理装置、処理方法、処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22927288 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 202280088767.7 Country of ref document: CN |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 22927288 Country of ref document: EP Kind code of ref document: A1 |