[go: up one dir, main page]

WO2022195954A1 - センシングシステム - Google Patents

センシングシステム Download PDF

Info

Publication number
WO2022195954A1
WO2022195954A1 PCT/JP2021/041642 JP2021041642W WO2022195954A1 WO 2022195954 A1 WO2022195954 A1 WO 2022195954A1 JP 2021041642 W JP2021041642 W JP 2021041642W WO 2022195954 A1 WO2022195954 A1 WO 2022195954A1
Authority
WO
WIPO (PCT)
Prior art keywords
scanning
unit
information
sensing system
image
Prior art date
Application number
PCT/JP2021/041642
Other languages
English (en)
French (fr)
Inventor
和俊 北野
祐介 川村
恒介 高橋
剛史 久保田
勝己 北野
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US18/550,069 priority Critical patent/US20240219567A1/en
Priority to JP2023506732A priority patent/JPWO2022195954A1/ja
Priority to KR1020237029473A priority patent/KR20230158474A/ko
Priority to EP21931697.3A priority patent/EP4310549A4/en
Priority to CN202180095514.8A priority patent/CN116997821A/zh
Publication of WO2022195954A1 publication Critical patent/WO2022195954A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/34—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates

Definitions

  • the present disclosure relates to sensing systems.
  • a camera can obtain a captured image of an object included in its field of view (angle of view). An object included in the captured image can be detected and recognized by performing calculation processing on the captured image acquired by the camera.
  • the greater the distance to the target object the smaller the number of pixels in the partial image corresponding to the target object in the captured image. accuracy is reduced.
  • a camera with a high-resolution image sensor it is possible to reduce the decrease in accuracy according to the distance to the target object.
  • LiDAR Laser Imaging Detection and Ranging
  • a scanner, a focal plane array type detector, etc. are used together to perform ranging for each angle in the field of view, and data called a point cloud based on angle and distance information is generated, for example, at a constant frame rate. to output.
  • JP 2019-114280 A Japanese Patent Application Laid-Open No. 2019-101000 JP-A-2003-272061
  • the accuracy of target object detection and recognition processing using a camera depends on the external light. For example, when detecting and recognizing a target object using a camera in a low-light environment, the brightness of the captured image decreases, which may reduce the accuracy of detection and recognition of the target object contained in the captured image. be.
  • the camera when capturing an image of the target object, the camera also captures images of minute obstructions such as raindrops and dust that exist between the target object and the target object. Therefore, the image area corresponding to the target object in the captured image captured by the camera becomes a partial image of the target object, and the accuracy of detection and recognition of the target object included in the captured image decreases. There is a risk of
  • LiDAR the measurement results are less affected by external light due to its operating principle, so it is possible to stably detect and recognize target objects even in low-light environments, for example.
  • each specification of LiDAR is in a trade-off relationship in terms of its operating principle, it is necessary to keep the resolution low in order to secure a frame rate above a certain level, for example. Therefore, in LiDAR, the greater the distance to the target object, the smaller the number of points in the partial point cloud corresponding to the target object, which may reduce the accuracy of detection and recognition of the target object.
  • An object of the present disclosure is to provide a sensing system that can stably detect and recognize a target object under various environments.
  • a sensing system outputs a velocity image based on velocity point group information based on received signals reflected by an object as information on the object, and photodetection using continuous frequency modulated waves. and a solid-state imaging device that outputs a picked-up image of the object as information of the object, wherein the light detection ranging device and the solid-state imaging device are arranged on the same side of the object. arranged to obtain information from
  • FIG. 1 is a block diagram showing an example configuration of a sensing system applicable to each embodiment of the present disclosure
  • FIG. FIG. 3 is a block diagram showing an example configuration of a light detection and ranging unit applicable to each embodiment of the present disclosure
  • 4 is a schematic diagram schematically showing scanning of transmission light by a scanning unit
  • FIG. 1 is a block diagram showing an example configuration of a signal sensing system according to a first embodiment
  • FIG. It is a figure which shows the example of a distance image typically.
  • FIG. 4 is a diagram schematically showing an example of velocity images
  • FIG. 10 is a diagram schematically showing an example of a synthesized image
  • FIG. 4 is a schematic diagram showing an arrangement example of sensor units according to the first embodiment; 6 is a flowchart of an example showing processing by the sensing system according to the first embodiment;
  • FIG. 4 is a diagram schematically showing an example of a velocity point group;
  • FIG. 4 is a diagram schematically showing an example of 3D area information extracted from a velocity point cloud;
  • FIG. 4 is a schematic diagram showing an example of 3D region information in more detail; It is a figure which shows the example of a captured image typically.
  • FIG. 4 is a diagram schematically showing how 3D area information is obtained from a synthesized image frame;
  • FIG. 4 is a diagram schematically showing an example of a partial image extracted based on 3D area information;
  • FIG. 5 is a schematic diagram showing an arrangement example of a plurality of sensor units 10 according to a modified example of the first embodiment
  • FIG. 11 is a block diagram showing an example configuration of a sensing system according to a modification of the first embodiment
  • FIG. 10 is a schematic diagram showing an example of arrangement of sensor units according to the second embodiment
  • FIG. 10 is a block diagram showing an example configuration of a sensing system according to a second embodiment
  • 9 is a flowchart of an example showing processing by a signal processing unit according to the second embodiment
  • FIG. 11 is a schematic diagram for explaining a process of generating ROI scanning control information according to the second embodiment
  • FIG. 11 is a schematic diagram for explaining ROI scanning according to the second embodiment
  • FIG. 11 is a schematic diagram for explaining ROI scanning according to the second embodiment;
  • FIG. 11 is a schematic diagram showing ROI scanning when a plurality of sensor units are arranged according to a modification of the second embodiment;
  • FIG. 11 is a block diagram showing an example configuration of a sensing system according to a modification of the second embodiment; It is a figure which shows roughly the structure of the people flow analysis system which concerns on 3rd Embodiment.
  • FIG. 11 is a block diagram showing in more detail an example configuration of the people flow analysis system according to the third embodiment;
  • FIG. 4 is a diagram schematically showing an example of a flow of people displayed on a display device by an information presentation device;
  • FIG. 11 is a flow chart showing an example of processing by the people flow analysis system according to the third embodiment;
  • FIG. 11 is a block diagram showing in more detail an example configuration of an anomaly detection system according to a fourth embodiment;
  • FIG. 11 is a flow chart showing an example of processing by an anomaly detection system according to a fourth embodiment;
  • FIG. 11 is a flow chart showing an example of processing by an anomaly detection system according to a fourth embodiment;
  • FIG. 11 is a flow chart showing an example of processing by an anomaly detection system according to a fourth embodiment;
  • the present disclosure relates to techniques suitable for use in object detection, particularly detection and tracking of moving objects.
  • object detection particularly detection and tracking of moving objects.
  • an existing technology related to the technology of the present disclosure will be briefly described to facilitate understanding.
  • a method using a camera is conventionally known as one of methods for detecting and tracking a moving object (for example, Patent Document 1).
  • a camera can obtain a captured image of an object included in its angle of view.
  • a target object can be detected and recognized from the captured image by performing calculation processing on the captured image acquired by the camera. This processing is performed for a plurality of captured images captured at different times, for example, and a target object commonly recognized in each captured image is tracked.
  • the angle of view of the camera will be referred to as the field of view as appropriate, assuming that the image acquired through the lens of the camera corresponds to the image acquired by the human eye.
  • the greater the distance to the target object the smaller the number of pixels in the partial image corresponding to the target object in the captured image. accuracy is reduced.
  • a camera with a high-resolution image sensor it is possible to reduce the decrease in accuracy according to the distance to the target object.
  • the brightness of the target object changes depending on the external light conditions such as sunlight and illumination light, so the accuracy of target object detection and recognition processing using a camera depends on the external light.
  • the brightness of the captured image decreases, which may reduce the accuracy of detection and recognition of the target object contained in the captured image. be.
  • the camera when capturing an image of the target object, the camera also captures images of minute obstructions such as raindrops and dust that exist between the target object and the target object at the same time. Therefore, the image area corresponding to the target object in the captured image captured by the camera becomes a partial image of the target object, and the accuracy of detection and recognition of the target object included in the captured image decreases. There is a risk of
  • LiDAR Laser Imaging Detection and Ranging
  • LiDAR is a light detection ranging device that measures the distance to a target object based on a received light signal obtained by receiving the reflected light of the laser beam irradiated to the target object.
  • a scanner that scans laser light and a focal plane array type detector as a light receiving unit are used together.
  • distance measurement is performed for each fixed angle in the scanning range of laser light, and data called a point group is output based on information on angles and distances.
  • a point cloud is a sample of the position and spatial structure of an object included in the scanning range of the laser beam, and is generally output at regular frame times. By performing calculation processing on this point cloud data, it is possible to detect and recognize the accurate position and orientation of the target object (for example, Patent Documents 2 and 3).
  • the scanning range seen from the light receiving unit in LiDAR is assumed to correspond to the range recognizable by the human eye, and the scanning range is appropriately called the field of view or the field of view range.
  • LiDAR Due to its operating principle, LiDAR's measurement results are not easily affected by external light, so it is possible to stably detect and recognize target objects, for example, even in low-illumination environments.
  • Various photodetection ranging methods using LiDAR have been conventionally proposed.
  • the pulse ToF (Time-of-Flight) method which combines pulse modulation and direct detection, is widespread.
  • the light detection ranging method by pulse ToF using LiDAR will be referred to as dToF (direct ToF)-LiDAR as appropriate.
  • LiDAR Due to the principle of operation of LiDAR, each specification has a trade-off relationship, so for example, in order to ensure a frame rate above a certain level, it is necessary to keep the resolution low. Therefore, in LiDAR, the greater the distance to the target object, the smaller the number of points in the partial point cloud corresponding to the target object, which may reduce the accuracy of detection and recognition of the target object.
  • LiDAR generally can measure the surface reflectance of an object, but does not measure the color of the object. Therefore, it can be said that LiDAR is not suitable for recognition applications such as advanced object identification and classification that are performed using cameras.
  • dToF-LiDAR is a method of receiving light energy and performing distance measurement, it is possible to detect whether the received light is reflected light of laser light emitted by LiDAR or light from another light source. It was difficult to distinguish. Therefore, in dToF-LiDAR, in an environment where there is a high illuminance light source such as the sun, ambient light affects the received light, which may lead to increased noise and interference.
  • dToF-LiDAR will receive the reflected light from the minute object at the same time as the reflected light from the target object if there is a minute object in the space within the scanning range. Therefore, when the microscopic objects have a certain number and size or more, a plurality of pulses including the pulse of the reflected light from the microscopic object are detected in the received signal. It was difficult to distinguish the pulse from the light reflected from the object. Therefore, in the point cloud output from dToF-LiDAR, while the number of points corresponding to the target object decreases or disappears, the detection points caused by the minute object appear scattered in the space of the scanning range. .
  • point clouds are generally output at regular intervals (frames). By comparing the point clouds of each frame, it is possible to estimate the movement (moving speed, direction, etc.) of the object detected in the point cloud.
  • the target object is not a rigid body and its shape changes (such as humans), it is difficult to associate point clouds between frames.
  • point clouds when a plurality of target objects exist simultaneously in the space of the scanning range and they are moving differently, it is extremely difficult to associate point groups between frames.
  • it is difficult to accurately detect the movement of a target object when the target object is far away has a complicated shape, or multiple target objects are moving in a complicated manner at the same time. Become.
  • FMCW-LiDAR Frequency Modulated Continuous Wave
  • FMCW-LiDAR uses, as emitted laser light, chirped light in which the pulse frequency is changed, for example, linearly over time.
  • FMCW-LiDAR performs distance measurement by coherent detection of a received signal obtained by synthesizing a laser beam emitted as chirped light and a reflected light of the emitted laser beam.
  • FMCW-LiDAR can measure velocity at the same time as distance measurement by using the Doppler effect. Therefore, by using FMCW-LiDAR, it becomes easy to quickly grasp the position of an object with speed, such as a person or other moving object.
  • coherent detection is less susceptible to interference from other light sources, so it is possible to avoid crosstalk, and is less affected by noise from high-intensity light sources such as sunlight. Therefore, measurement by FMCW-LiDAR is resistant to environmental changes, and it is possible to stably measure a target object even in a low-illuminance environment.
  • the camera and FMCW-LiDAR are linked to detect and recognize the target object. This makes it possible to achieve stable, high-speed, and highly accurate detection and recognition in various environments.
  • FIG. 1 is a block diagram showing an example configuration of a sensing system 1 applicable to each embodiment of the present disclosure.
  • the sensing system 1 includes a sensor unit 10 and a signal processing section 13 that performs predetermined signal processing on an output signal output from the sensor unit 10 .
  • the output of the signal processing unit 13 is supplied to, for example, an information processing device (not shown) that executes a predetermined application program.
  • the sensor unit 10 includes a light detection rangefinder 11 and a camera 12. FMCW-LiDAR is applied to the photodetector and distance measuring unit 11 for performing distance measurement using laser light whose frequency is continuously modulated. The results of detection and distance measurement by the light detection and distance measurement unit 11 are supplied to the signal processing unit 13 as point group information having three-dimensional spatial information.
  • the camera 12 captures light in the visible light wavelength region, for example, and outputs a captured image based on two-dimensional information including information on each color of R (red), G (green), and B (blue).
  • a captured image output from the camera 12 is supplied to the signal processing unit 13 .
  • the light detection and ranging unit 11 and the camera 12 are arranged to acquire information from the same side of the object to be measured.
  • the angle range of the transmission direction of the light by the light detection and distance measurement unit 11 and the angle of view by the camera 12 are directed in substantially the same direction, and the light detection and distance measurement unit 11 and the camera 12 are arranged so as to be close to each other. can be considered.
  • the signal processing unit 13 performs signal processing on the detection and distance measurement results supplied from the light detection and distance measurement unit 11 and the captured image supplied from the camera 12 to obtain attribute information and area information about the object.
  • Output information including
  • the sensing system 1 is shown to have one sensor unit 10 and one signal processing unit 13 corresponding to the sensor unit 10, but this is not limited to this example.
  • the sensing system 1 may be configured to have a plurality of sensor units 10 for one signal processing section 13 .
  • FIG. 2 is a block diagram showing an example configuration of the light detection and ranging unit 11 applicable to each embodiment of the present disclosure.
  • the light detection and distance measurement section 11 includes a scanning section 100 , a scanning control section 101 and an angle detection section 102 .
  • the light detection and ranging unit 11 further includes a transmission light control unit 110 , an optical transmission unit 111 , an optical reception unit 112 and a reception signal processing unit 113 .
  • the light detection and distance measurement unit 11 includes a point group generation unit 120 , a pre-processing unit 130 and an interface (I/F) unit 131 .
  • I/F interface
  • the light transmission unit 111 includes, for example, a light source such as a laser diode for emitting laser light as transmission light, an optical system for emitting light emitted by the light source, and a laser output modulation device for driving the light source. including.
  • the optical transmitter 111 causes the light source to emit light in response to an optical transmission control signal supplied from the transmission light controller 110, which will be described later. Emit transmission light.
  • the transmitted light is sent to the scanning unit 100 and also sent to the optical receiving unit 112 as local light.
  • the transmission light control unit 110 generates a signal whose frequency linearly changes (eg increases) within a predetermined frequency range over time. Such a signal whose frequency changes linearly within a predetermined frequency range over time is called a chirp signal. Based on this chirp signal, the transmission light control section 110 is a modulation timing signal that is input to the laser output modulation device included in the optical transmission section 111 . Generating an optical transmission control signal. The transmission light control unit 110 supplies the generated optical transmission control signal to the optical transmission unit 111 and the point group generation unit 120 .
  • the light receiving unit 112 includes, for example, a light receiving unit that receives (lights) received light from the scanning unit 100, and a drive circuit that drives the light receiving unit.
  • a light receiving unit for example, a pixel array in which light receiving elements such as photodiodes each forming a pixel are arranged in a two-dimensional lattice can be applied.
  • the optical receiver 112 further includes a synthesizing unit that synthesizes the received light received from the scanning unit and the local light sent from the optical transmitter 111 . If the received light is the reflected light of the transmitted light from the object, the received light becomes a signal delayed according to the distance from the object with respect to the local light. , becomes a signal of constant frequency (beat signal). The optical receiver 112 supplies this signal to the received signal processor 113 as a received signal.
  • the received signal processing unit 113 performs signal processing such as fast Fourier transform on the received signal supplied from the optical receiving unit 112 . Through this signal processing, the received signal processing unit 113 obtains the distance to the object and the speed indicating the speed of the object, and generates measurement information including distance information and speed information indicating the distance and speed, respectively. . The received signal processing unit 113 may further obtain reflectance information indicating the reflectance of the object based on the received signal and include it in the measurement information. The received signal processing unit 113 supplies the generated measurement information to the point group generation unit 120 .
  • signal processing such as fast Fourier transform
  • the scanning unit 100 transmits the transmission light sent from the optical transmission unit 111 at an angle according to the scanning control signal supplied from the scanning control unit 101, and receives the incident light from the angle as reception light.
  • a two-axis mirror scanning device can be applied as a scanning mechanism for transmission light.
  • the scanning control signal is, for example, a driving voltage signal applied to each axis of the two-axis mirror scanning device.
  • the scanning control unit 101 generates a scanning control signal that changes the transmission/reception angle of the scanning unit 100 within a predetermined angle range, and supplies the scanning control signal to the scanning unit 100 .
  • the scanning unit 100 can scan a certain range with the transmitted light according to the supplied scanning control signal.
  • the scanning unit 100 has a sensor that detects the emission angle of emitted transmission light, and outputs an angle detection signal indicating the emission angle of the transmission light detected by this sensor.
  • the angle detection unit 102 obtains the transmission/reception angle based on the angle detection signal output from the scanning unit 100, and generates angle information indicating the obtained angle.
  • the angle detection unit 102 supplies the generated angle information to the point cloud generation unit 120 .
  • FIG. 3 is a schematic diagram schematically showing scanning of transmission light by the scanning unit 100.
  • the scanning unit 100 performs scanning according to a predetermined number of scanning lines 210 within a predetermined angular range 200 .
  • a scanning line 210 corresponds to one trajectory scanned between the left and right ends of the angular range 200 .
  • the scanning unit 100 scans between the upper end and the lower end of the angular range 200 along the scanning line 210 according to the scanning control signal.
  • the scanning unit 100 sequentially sets the emission points of the chirp light to points 220 1 , 220 2 , 220 3 , . change discretely. Therefore, the points 220 1 , 220 2 , 220 3 , .
  • the optical transmitter 111 may emit chirped light one or more times to one emission point according to the optical transmission control signal supplied from the transmission light controller 110 .
  • Point cloud information is generated based on the measurement information. More specifically, based on the angle information and the distance information included in the measurement information, the point group generation unit 120 identifies one point in space by the angle and the distance. The point cloud generation unit 120 acquires a point cloud as a set of specified points under predetermined conditions. The point group generation unit 120 obtains a velocity point group in which the velocity of each specified point is added to the point group based on the velocity information included in the measurement information.
  • the point cloud generation unit 120 supplies the obtained velocity point cloud to the pre-processing unit 130 .
  • the pre-processing unit 130 performs predetermined signal processing such as format conversion on the supplied velocity point group.
  • the speed point group signal-processed by the pre-processing unit 130 is output to the outside of the light detection and distance measurement unit 11 via the I/F unit 131 .
  • the point cloud generation unit 120 performs pre-processing on each piece of information (distance information, velocity information, reflectance information, etc.) included in the measurement information supplied from the reception signal processing unit 113. It may be output to the outside via the section 130 and the I/F section 131 .
  • FIG. 4 is a block diagram showing an example configuration of the sensing system 1 according to the first embodiment.
  • the sensing system 1 includes one sensor unit 10 and one signal processing section 13, respectively.
  • the signal processing unit 13 includes a point group synthesis unit 140, a 3D (Three Dimensions) object detection unit 141, a 3D object recognition unit 142, an image synthesis unit 150, a 2D (Two dimensions) object detection unit 151, a 2D object A recognition unit 152 and an I/F unit 160 are included.
  • These point cloud synthesis unit 140, 3D object detection unit 141, 3D object recognition unit 142, image synthesis unit 150, 2D object detection unit 151, 2D object recognition unit 152 and I/F unit 160 are CPU (Central Processing Unit) etc. can be configured by executing an information processing program according to the present disclosure on the processor of the Not limited to this, part or All may be configured by hardware circuits working in cooperation with each other.
  • CPU Central Processing Unit
  • the point cloud synthesis unit 140, the 3D object detection unit 141, and the 3D object recognition unit 142 perform processing related to point cloud information. Also, the image synthesizing unit 150, the 2D object detecting unit 151, and the 2D object recognizing unit 152 perform processing related to captured images.
  • the point cloud synthesizing unit 140 acquires the velocity point cloud from the light detection and ranging unit 11 and acquires the captured image from the camera 12 .
  • the point cloud synthesizing unit 140 combines color information and other information based on the velocity point cloud and the captured image, and adds new information to each measurement point of the velocity point cloud. Generate groups.
  • the point group synthesizing unit 140 refers to the pixels of the captured image corresponding to the angle coordinates of each measurement point in the velocity point group by coordinate system transformation, and for each measurement point, converts each measurement point into a color representing the point. Get information.
  • the measurement points correspond to the points at which reflected light is received for each of the points 220 1 , 220 2 , 220 3 , . . . described with reference to FIG.
  • the point group synthesizing unit 140 adds each acquired color information of each measurement point to the measurement information of each measurement point.
  • the point cloud synthesizing unit 140 outputs a synthetic point cloud in which each measurement point has speed information and color information.
  • the coordinate system conversion between the velocity point group and the captured image is performed, for example, by previously performing a calibration process based on the positional relationship between the light detection and ranging unit 11 and the camera 12, and using the result of this calibration as the angle of the velocity point group. It is preferable to execute the operation after reflecting the coordinates and the coordinates of the pixels in the captured image.
  • the 3D object detection unit 141 acquires the synthesized point cloud output from the point cloud synthesis unit 140, and detects measurement points indicating the 3D object included in the acquired synthesized point cloud.
  • expressions such as ⁇ detect a measurement point indicating a 3D object included in the synthesized point cloud'' will be replaced with expressions such as ⁇ detect a 3D object included in the synthesized point cloud.'' described in
  • the 3D object detection unit 141 extracts, as a localized point group, a point group of measurement points representing a 3D object detected from the synthetic point group.
  • the 3D object detection unit 141 discriminates between a static object and a dynamic object included in the synthesized point cloud, so that the velocity point cloud ignoring the color information in the synthesized point cloud is used to detect a velocity above a certain level. Extract points with absolute value.
  • the 3D object detection unit 141 detects a set of velocity point clouds localized in a certain spatial range (equivalent to the size of the target object) (referred to as a localized velocity point cloud) from the velocity point cloud of the extracted points. Extract.
  • the 3D object detection unit 141 may extract a plurality of local velocity point clouds from the combined point cloud.
  • the 3D object detection unit 141 generates area information, which is information indicating the existence range of the target object, that is, the localized point group in the point group representing the entire target space. More specifically, when the number of points included in each localized velocity point group is equal to or greater than a first constant, the 3D object detection unit 141 detects, for example, the minimum area including the localized velocity point group. Estimate the position, size and pose and generate region information for the estimated region.
  • the area information about the point cloud is hereinafter referred to as 3D area information.
  • the 3D area information is represented, for example, by a rectangular parallelepiped like a 3D bounding box.
  • the 3D object detection unit 141 outputs a localized point group and 3D area information corresponding to the localized point group.
  • the 3D object recognition unit 142 acquires the localized point group and 3D region information output from the 3D object detection unit 141.
  • the 3D object recognition unit 142 also acquires area information and attribute information output from the 2D object recognition unit 152, which will be described later.
  • the 3D object recognition section 142 performs object recognition for the localized point group based on the acquired localized point group and 3D area information and the area information and attribute information acquired from the 2D object recognition section 152 .
  • the 3D object recognition unit 142 Based on the 3D point cloud area information, if the number of points included in the local velocity point cloud is equal to or greater than a second constant, which is the number of points that can be used to recognize the target object, the 3D object recognition unit 142 Point cloud recognition processing is performed on the localized velocity point cloud. The 3D object recognition unit 142 estimates attribute information about the recognized object by this point group recognition processing. Attribute information based on the point group is hereinafter referred to as 3D attribute information.
  • the 3D object recognition unit 142 when the certainty of the estimated 3D attribute information is above a certain level, that is, when the recognition process can be significantly executed, the 3D object recognition unit 142 combines the time information indicating the time when the measurement was performed and the 3D area information. , and the 3D attribute information are integrated and output.
  • the attribute information is information indicating the attributes of the target object, such as the type and unique classification of the target object to which the unit belongs, for each point of the point cloud or pixel of the image as a result of the recognition processing. If the target object is a person, the 3D attribute information can be represented, for example, as a unique numerical value assigned to each point of the point cloud and belonging to the person.
  • the image synthesizing unit 150 acquires the velocity point cloud from the light detection and ranging unit 11 and acquires the captured image from the camera 12 .
  • the image synthesizing unit 150 generates a distance image and a velocity image based on the velocity point cloud and the captured image.
  • FIG. 5 is a diagram schematically showing an example of the distance image 50.
  • the distance image 50 is an image containing information indicating the distance from the measurement point.
  • the distance image 50 indicates the distance in stages by shading.
  • objects 500, 501, and 502 are shown increasing in distance from the measurement point.
  • objects 503 and 504 are shown to be farther from the measurement point than object 502 and to be approximately the same distance from each other.
  • Object 505 is shown to be farther from the measurement point than objects 503 and 504 .
  • the blackened area indicates an area at infinity or an area where range measurement is impossible.
  • FIG. 6 is a diagram schematically showing an example of the velocity image 51.
  • objects 512 to 515 included in velocity image 51 respectively correspond to objects 502 to 505 included in distance image 50 shown in FIG.
  • the velocity image 51 is an image produced by the Doppler effect, and includes, for example, information indicating the velocity and the direction of the velocity with respect to the measurement point.
  • the objects 513, 514, and 515 moving closer to the measurement point are colored in the first color
  • the object 512 moving away from the measurement point is colored It is displayed in a second color.
  • the area 516 where the velocity with respect to the measurement point is [0] is displayed in the third color.
  • the moving speed of the object may be represented by the densities of the first color and the second color.
  • the image synthesizing unit 150 synthesizes the distance image 50 and the velocity image 51 with the captured image while making the coordinates match by coordinate transformation, and produces R (red), G (green), and B (blue) colors.
  • a composite image is generated from RGB images with information.
  • the synthesized image generated here is an image in which each pixel has color, distance and speed information. Note that the distance image 50 and the speed image 51 have lower resolutions than the captured image output from the camera 12 . Therefore, the image synthesizing unit 150 may perform processing such as upscaling on the distance image 50 and the velocity image 51 to match the resolution with the captured image.
  • the image composition unit 150 outputs the captured image and the generated composite image.
  • the synthetic image refers to an image in which new information is added to each pixel of the image by combining distance, speed, and other information.
  • FIG. 7 is a diagram schematically showing an example of the composite image 52.
  • FIG. Objects 520 to 525 in FIG. 7 correspond to objects 500 to 505 shown in FIG. 5, respectively.
  • the synthesized image 52 shown in FIG. 7 can be expressed as an image obtained by pasting the captured image as a texture to the velocity point cloud, for example.
  • the composite image 52 is an image in which each of the objects 520 to 525 can be easily recognized, for example, when observed by a person.
  • the 2D object detection unit 151 Based on the 3D area information output from the 3D object detection unit 141, the 2D object detection unit 151 extracts a partial image corresponding to the 3D area information from the synthesized image supplied from the image synthesis unit 150. In addition, the 2D object detection unit 151 detects an object from the extracted partial image, and generates area information indicating, for example, a rectangular area with a minimum area including the detected object. This area information based on the captured image is called 2D area information.
  • the 2D region information is represented as a set of points or pixels whose values assigned to each measurement point or pixel by the light detection and distance measurement unit 11 fall within a specified range.
  • the 2D object detection unit 151 outputs the generated partial image and 2D area information.
  • the 2D object recognition unit 152 acquires the partial image output from the 2D object detection unit 151, performs image recognition processing such as inference processing on the acquired partial image, and estimates attribute information related to the partial image.
  • the attribute information is expressed as a unique number assigned to each pixel of the image, which indicates that the pixel belongs to the vehicle. Attribute information based on a partial image (captured image) is hereinafter referred to as 2D attribute information.
  • the 2D object recognition unit 152 When the certainty of the estimated 2D attribute information is equal to or higher than a certain level, that is, when the recognition process can be executed significantly, the 2D object recognition unit 152 performs time information indicating the time when the image was captured, 2D area information, and 2D attribute information. Information is integrated and output. Note that the 2D object recognition unit 152 integrates and outputs the time information and the 2D region information when the confidence of the estimated 2D attribute information is less than a certain level.
  • the I/F unit 160 receives the synthetic point cloud output from the point cloud synthesizing unit 140 and the 3D attribute information and 3D area information output from the 3D object recognition unit 142 . Also, the I/F unit 160 receives the synthesized image and the captured image output from the image synthesizing unit 150 and the 2D attribute information and the 2D area information output from the 2D object recognition unit 152 . The I/F unit 160 selects information to be output from the input synthetic point cloud, 3D attribute information, 3D area information, synthetic image, captured image, 2D attribute information, and 2D area information, for example, according to external settings. select.
  • FIG. 8 is a schematic diagram showing an arrangement example of the sensor units 10 according to the first embodiment.
  • a space 3 is a space including a target space to be subjected to spatial measurement. Space 3 may contain mobile objects 40 that are in motion and static objects 41 that are stationary.
  • a sensor unit 10 is arranged in the space 3 . In the sensor unit 10 , for example, the light detection and distance measurement unit 11 scans the target within the angle range of the angle ⁇ , and measures the target range 30 in the space 3 .
  • the target range 30 is shown as a plane, but in reality the target range 30 also includes a range in the height direction. Further, the sensor unit 10 scans not only in the horizontal direction but also in the vertical direction as described with reference to FIG. Description is omitted.
  • FIG. 9 is a flow chart showing an example of processing by the sensing system 1 according to the first embodiment.
  • steps S100 to S112 shown on the left side are processing related to 3D data, which are mainly executed by the point group synthesizing unit 140, the 3D object detecting unit 141, and the 3D object recognizing unit 142.
  • steps S200 to S207 shown on the right side are processing related to 2D data, which are mainly executed by the image synthesizing unit 150, the 2D object detecting unit 151, and the 2D object recognizing unit 152.
  • FIG. 9 steps S100 to S112 shown on the left side are processing related to 3D data, which are mainly executed by the point group synthesizing unit 140, the 3D object detecting unit 141, and the 3D object recognizing unit 142.
  • steps S200 to S207 shown on the right side are processing related to 2D data, which are mainly executed by the image synthesizing unit 150, the 2D object detecting unit 151, and the 2D object recognizing unit 152.
  • step S100 the point cloud synthesizing unit 140 performs one frame based on the velocity point cloud measured by scanning within the angle range 200 by the light detection and ranging unit 11 and the captured image captured by the camera 12. acquire a composite point cloud (called a composite point cloud frame).
  • FIG. 10 is a diagram schematically showing an example of a velocity point group.
  • the sensor unit 10 is arranged outside the lower right corner of the figure, and the speed point group detected by the light detection and distance measurement section 11 of the sensor unit 10 is shown in a bird's-eye view.
  • the velocity point group 60 can be expressed as an image in which the spots of the transmitted light emitted from the photodetector and distance measuring unit 11 are aligned on the scanning line 210, for example.
  • the velocity point cloud 60 includes objects 600-605 corresponding to the objects 520-525 in FIG. 7, respectively.
  • the areas 613 to 615 of the objects 603 to 605 are the first color, respectively, and are shown to be moving closer to the sensor unit 10, respectively.
  • the object 602 is shown moving away from the sensor unit 10, with the region 612 having a second color.
  • the objects 600 and 601 the area corresponding to the ground and the area corresponding to a fixed object such as a building are given a third color, indicating that they are stationary with respect to the sensor unit 10.
  • the 3D object detection unit 141 extracts points having a velocity absolute value greater than or equal to a certain value from the combined point group generated in step S100.
  • the 3D object detection unit 141 generates a set of velocity point groups (local velocity point group) localized in a certain spatial range among the points extracted in step S101.
  • the 3D object detection unit 141 can generate a plurality of local velocity point clouds from the combined point cloud frame in step S102.
  • the 3D object detection unit 141 extracts one localized velocity point group to be processed from the localized velocity point group generated at step S102.
  • the signal processing unit 13 uses the 3D object detection unit 141 to determine whether or not the number of points included in the extracted local velocity point group is equal to or greater than a first constant. If the 3D object detection unit 141 determines that the number of points is less than the first constant (step S104, "No"), the 3D object detection unit 141 returns the process to step S103, and returns the local velocity point group generated in step S102. Extract the next localized velocity point cloud from among them, and continue the process.
  • step S104 the 3D object detection unit 141 determines that the number of points is equal to or greater than the first constant (step S104, "Yes"), the process proceeds to step S105.
  • step S105 the 3D object detection unit 141 estimates area information (position, size, orientation) of, for example, the smallest area including the target localized velocity point group, and acquires 3D area information.
  • FIG. 11 is a diagram schematically showing an example of 3D area information extracted from the velocity point cloud 60.
  • 3D region information 621 to 625 are generated according to objects 601 to 605 having velocity absolute values above a certain level in the velocity point group 60, respectively.
  • Each 3D region information 621-625 is shown as, for example, a rectangular parallelepiped with the smallest volume containing the localized velocity point cloud that constitutes each object 601-605.
  • the object 601 is shown as moving with a speed absolute value equal to or greater than a certain value.
  • FIG. 12 is a schematic diagram showing an example of 3D area information in more detail. Section (a) of FIG. 12 shows an example of 3D region information 622 for object 602 . Also, section (b) of FIG. 12 shows an example of 3D region information for the object 601 .
  • step S105 When the 3D area information is acquired in step S105, the 3D object detection unit 141 shifts the process to step S106. At the same time, the 3D object detection unit 141 passes the 3D area information to the 2D object detection unit 151 for processing in step S201, which will be described later.
  • step S106 the 3D object recognition unit 142 acquires the local velocity point cloud and 3D region information from the 3D object detection unit 141. After the process of step S106, the process proceeds to step S107, which will be described later.
  • step S200 the process of step S200 is executed in parallel with the process of acquiring the composite image frame of step S100 described above.
  • the image synthesizing unit 150 generates a synthesized image for one frame (synthetic image frames).
  • FIG. 13 is a diagram schematically showing an example of a composite image frame.
  • a composite image frame 70 may correspond to a captured image frame captured by the camera 12 .
  • composite image frame 70 includes objects 700-705 corresponding to objects 600-605 of FIG. 10, respectively.
  • the 2D object detection unit 151 acquires the 3D area information estimated by the 3D object detection unit 141 at step S105 described above.
  • the 2D object detection unit 151 uses the acquired 3D region information to extract a partial image from the composite image as the entire image corresponding to the entire captured image.
  • FIG. 14 is a diagram schematically showing how 3D area information is acquired from the composite image frame 70.
  • FIG. FIG. 14 shows how 3D region information 721 to 725 are acquired for objects 701 to 705, among objects 700 to 705, which have velocity absolute values greater than a certain value, respectively.
  • Each of the 3D region information 721-725 may be obtained, for example, as the smallest rectangular region containing the objects 701-705, respectively.
  • Each of the 3D area information 721 to 725 is not limited to this, and may be area information indicating an area having a margin with respect to the minimum rectangular area.
  • FIG. 15 is a diagram schematically showing an example of partial images extracted based on 3D area information.
  • Section (a) of FIG. 15 shows an example of a partial image with 3D region information 723 corresponding to object 703 .
  • Section (b) of FIG. 15 shows an example of a partial image based on 3D area information 721 corresponding to the object 701 .
  • the 2D object detection unit 151 determines whether the brightness of the partial image acquired at step S201 is sufficient. As an example, the 2D object detection unit 151 calculates, for example, the average value of the luminance values of the pixels of the partial image as the luminance value of the partial image. The 2D object detection unit 151 determines that the brightness of the partial image is sufficient when the calculated brightness value is equal to or greater than the threshold.
  • step S202 determines that the luminance value of the partial image is insufficient (step S202, "No")
  • step S206 determines that the brightness value of the partial image is sufficient
  • step S203 proceeds to step S203.
  • step S203 the 2D object recognition unit 152 acquires a partial image from the 2D object detection unit 151, and performs recognition processing on the acquired partial image.
  • the 2D object recognition unit 152 estimates 2D attribute information based on the result of recognition processing.
  • step S204 the 2D object recognition unit 152 determines whether or not the certainty of the recognition result obtained in step S203 is equal to or higher than a certain level.
  • step S204 determines that the certainty is less than the certain level (step S204, "No")
  • step S206 determines that the certainty factor is equal to or higher than the certain level.
  • step S ⁇ b>205 the 3D object recognition unit 142 integrates the time information indicating the time when the captured image was captured, the 2D attribute information, and the 2D area information, and outputs them to the I/F unit 160 .
  • step S202 when it is determined in step S202 that the brightness of the partial image is not sufficient (step S202, "No"), or when it is determined in step S204 that the certainty is less than a certain level ( Step S204, "No"), the process proceeds to step S206.
  • the 2D attribute information is not acquired by the 2D object recognition unit 152 . Therefore, the 2D object recognition unit 152 integrates the time information and the 2D area information and outputs them to the I/F unit 160 in step S206.
  • step S207 the 2D object recognition unit 152 outputs time information and 2D attribute information to the 3D object recognition unit 142 .
  • the 3D object recognition unit 142 acquires the time information and 2D attribute information output from the 2D object recognition unit 152 in step S207.
  • step S107 the 3D object recognition unit 142 determines whether or not the number of points included in the localized velocity point cloud acquired in step S106 is equal to or greater than a second constant.
  • step S107, "No" the process proceeds to step S111.
  • step S107, "Yes" the process proceeds to step S108.
  • step S108 the 3D object recognition unit 142 executes object recognition processing on the target localized velocity point cloud to estimate 3D attribute information.
  • step S109 the 3D object recognition unit 142 determines whether or not the certainty of the 3D attribute information estimated in step S108 is equal to or higher than a certain level.
  • step S109 the process proceeds to step S111.
  • step S109 the 3D object recognition unit 142 determines that the certainty is equal to or higher than the certain level (step S109, "Yes")
  • step S109 determines that the certainty is equal to or higher than the certain level
  • step S110 the 3D object recognition unit 142 integrates the time information indicating the time when the measurement was performed, the 3D area information, and the 3D attribute information.
  • the 3D object recognition unit 142 determines whether or not the processing for all the local velocity point groups generated at step S103 has been completed.
  • the signal processing unit 13 determines that the processing for all the generated localized velocity point groups has not been completed (step S111, “No”), the process returns to step S103, and the local velocity points generated in step S102 are The next localized velocity point group is extracted from the localized velocity point group, and the processing is continued.
  • step S111 determines that the processing for all the generated localized velocity point clouds has ended (step S111, "Yes")
  • the process proceeds to step S112.
  • step S112 the 3D object recognition unit 142 outputs the time information, 3D attribute information, and 3D area information integrated in step S110 to the I/F unit 160 for all the generated local velocity point groups. .
  • step S112 When the time information, 3D attribute information, and 3D area information are output in step S112, the series of processing according to the flowchart of FIG. 9 ends.
  • the speed point cloud output from the light detection and ranging unit 11 and the captured image output from the camera 12 are compared.
  • the captured image has higher resolution than the velocity point cloud. Therefore, the recognition processing using the captured image can be made more accurate than the recognition processing using the velocity point cloud.
  • recognition processing using captured images has a higher computational load than recognition processing using velocity point clouds. Three-dimensional position estimation is difficult with a captured image that does not have three-dimensional spatial information, but it is easy because a velocity point cloud has three-dimensional spatial information.
  • the speed point group has speed information, it is easy to detect a moving object, and since the captured image has color information, it is easy to acquire and estimate attribute information.
  • the velocity point group output from the light detection and ranging unit 11 and the captured image output from the camera 12 have different characteristics. Therefore, by performing object detection and recognition processing by combining the output of the light detection and distance measurement unit 11 and the output of the camera 12 according to the processing of the flowchart of FIG. It can be executed stably.
  • a plurality of sensor units 10 are arranged for measuring and photographing from different directions with respect to the space 3 including the target space, and the velocity measured by the plurality of sensor units 10 Integrate point clouds.
  • FIG. 16 is a schematic diagram showing an arrangement example of a plurality of sensor units 10 according to a modification of the first embodiment.
  • the sensing system 1a includes two sensor units 10 1 and 10 2 arranged in the space 3, and a signal processing section 13a.
  • the light detection and distance measurement section 11 scans the target within the angle range of angle ⁇ 1
  • the sensor unit 10 2 the light detection and distance measurement section 11 scans the target within the angle range of the angle ⁇ 2 .
  • the sensor units 10 1 and 10 2 are arranged at positions facing each other with respect to a common target range 31, and scan and photograph the target range 31 from mutually different directions.
  • a static object 42 generates a shielded area 43 in an angular range of angle ⁇ during measurement and photographing by the sensor unit 10 1 .
  • the other sensor unit 10 2 can measure and photograph the target object included in the shielded area 43 by the sensor unit 10 1 .
  • LiDAR for example, dToF-LiDAR using pulsed ToF
  • dToF-LiDAR using pulsed ToF
  • Coherent detection typically does not cause interference. Therefore, in FMCW-LiDAR that performs coherent detection, even when the same target object is irradiated with light from multiple directions at the same time, there is little possibility that defects will occur in the measured point cloud.
  • FIG. 17 is a block diagram illustrating an example configuration of a sensing system according to a modification of the first embodiment; FIG. In FIG. 17, the sensing system 1a includes two sensor units 10 1 and 10 2 .
  • the sensor unit 10 1 includes a light detection rangefinder 11 1 and a camera 12 1 .
  • the sensor unit 10 2 includes a light detection rangefinder 11 2 and a camera 12 2 .
  • the signal processing unit 13a includes a point group synthesis unit 140a, a 3D object detection unit 141, a 3D object recognition unit 142, an image synthesis unit 150a, a 2D object detection unit 151a, a 2D object recognition unit 152a, an I/F and a portion 160a.
  • the point cloud synthesizing unit 140a acquires the velocity point cloud and the captured image respectively output from the light detection and ranging unit 11 1 and the camera 12 1 of the sensor unit 10 1 . Similarly, the point cloud synthesizing unit 140a obtains the velocity point cloud and the captured image respectively output from the light detection and ranging unit 11 2 and the camera 12 2 of the sensor unit 10 2 .
  • the point group synthesizing unit 140a for the velocity point groups acquired for each of the sensor units 10 1 and 10 2 , similarly to the first embodiment, converts the pixels of the captured image corresponding to the angular coordinates of each measurement point into Reference is made by coordinate system transformation, and for each measurement point, color information representing that point is obtained.
  • the point group synthesizing unit 140a adds the obtained color information of each measurement point to the measurement information of each measurement point for each of the sensor units 10 1 and 10 2 .
  • the point cloud synthesizing unit 140a generates synthesized point clouds in which each measurement point has speed information and color information for each of the sensor units 10 1 and 10 2 .
  • the point group synthesizing unit 140a may include a processing unit that performs processing related to the sensor unit 10 1 and a processing unit that performs processing related to the sensor unit 10 2 . Not limited to this, the point group synthesizing unit 140a may time-divisionally perform the processing regarding the sensor unit 10-1 and the processing regarding the sensor unit 10-2 by a common processing unit.
  • the point cloud synthesizer 140a combines the synthesized point cloud generated based on the output of the sensor unit 10 1 and the synthesized point cloud generated based on the output of the sensor unit 10 2 into the angular coordinates of each measurement point of each velocity point cloud. , and generate an integrated synthetic point cloud.
  • An integrated point group refers to a single point group in which a plurality of point groups (combined point groups) are combined with their spatial positional relationships.
  • the combined point cloud may be integrated using angular coordinates calibrated in advance based on the positional relationship between the light detection and distance measurement sections 11 1 and 11 2 of the sensor units 10 1 and 10 2 .
  • the speed measurement of FMCW-LiDAR applied to the light detection and distance measurement units 11 1 and 11 2 is performed based on the Doppler principle. Therefore, the velocity represented by each velocity point group is only the velocity of the component in the radial direction (radial velocity).
  • the point group synthesizing unit 140a performs vector synthesis of the normal and radial velocities estimated at each measurement shop and their spatial interpolation, thereby integrating each synthesized point cloud.
  • the point cloud synthesizing unit 140a outputs the generated synthetic synthesized point cloud to the 3D object detecting unit 141 and the I/F unit 160a.
  • the processing in the 3D object detection unit 141 and the 3D object recognition unit 142 is the same as that of the 3D object detection unit 141 and the 3D object recognition unit 142 according to the first embodiment described above, so detailed description thereof will be omitted here. .
  • the 3D object detection unit 141 acquires the integrated synthetic point cloud output from the point cloud synthesizing unit 140a, and extracts the localized point cloud from the acquired integrated synthetic point cloud.
  • the 3D object detection unit 141 also generates area information, which is information indicating the existence range of the target object, that is, the localized point group in the point group representing the entire target space.
  • the 3D object detection unit 141 outputs a localized point group and 3D area information corresponding to the localized point group.
  • the 3D object recognition unit 142 acquires the localized point group and 3D region information output from the 3D object detection unit 141.
  • the 3D object recognition unit 142 also acquires 2D area information and 2D attribute information output from a 2D object recognition unit 152a, which will be described later.
  • the 3D object recognition section 142 performs object recognition for the localized point group based on the acquired localized point group and 3D area information, and the 2D area information and 2D attribute information acquired from the 2D object recognition section 152a.
  • the 3D object recognition unit 142 estimates 3D attribute information about the recognized object based on the result of object recognition.
  • the 3D object recognition unit 142 when the certainty of the estimated 3D attribute information is above a certain level, that is, when the recognition process can be significantly executed, the 3D object recognition unit 142 combines the time information indicating the time when the measurement was performed and the 3D area information. , and the 3D attribute information are integrated and output.
  • the image synthesizing unit 150a acquires the velocity point cloud and the captured image respectively output from the light detection and ranging unit 11 1 and the camera 12 1 of the sensor unit 10 1 . Similarly, the image synthesizing unit 150a acquires the velocity point cloud and the captured image respectively output from the light detection and ranging unit 11 2 and the camera 12 2 of the sensor unit 10 2 .
  • the image synthesizing unit 150a, the 2D object detecting unit 151a, and the 2D object recognizing unit 152a process the output of the sensor unit 101 and the output of the sensor unit 102 , respectively.
  • the image synthesizing unit 150a, the 2D object detecting unit 151a, and the 2D object recognizing unit 152a perform processing on the output of the sensor unit 10 1 and processing on the output of the sensor unit 10 2 in parallel or in time division. Run.
  • the image synthesizing unit 150a does not integrate the captured image output from the sensor unit 10 1 and the captured image output from the sensor unit 10 2 . That is, each 3D point cloud acquired at different angles can be easily integrated by three-dimensionally combining them in consideration of their respective postures and positions. On the other hand, since it is difficult to synthesize captured images taken at different angles on a two-dimensional plane, they are not integrated.
  • the image combining section 150a outputs the captured image and the generated combined image for each of the sensor units 10 1 and 10 2 .
  • the 2D object detection unit 151a Based on the 3D area information output from the 3D object detection unit 141, the 2D object detection unit 151a converts each synthesized image supplied from the image synthesis unit 150a into the 3D area information for each of the sensor units 10 1 and 10 2 . Extract each corresponding partial image. The 2D object detection unit 151a also detects an object from each extracted partial image and generates 2D area information including the detected object.
  • the 2D object detection section 151a outputs each partial image and each 2D region information generated for each of the sensor units 10 1 and 10 2 .
  • the 2D object recognition unit 152a performs image recognition processing on the partial images output from the 2D object detection unit 151a for each of the sensor units 10 1 and 10 2 .
  • the 2D object recognition unit 152a estimates 2D attribute information related to the partial image for each of the sensor units 10 1 and 10 2 .
  • the 2D object recognition unit 152a For each of the sensor units 10 1 and 10 2 , the 2D object recognition unit 152a performs time information indicating the time when the image was captured, 2D area information, and 2D Integrate with attribute information. The 2D object recognition unit 152a integrates the time information, 2D area information, and 2D attribute information regarding the sensor unit 10 1 and outputs them to the I/F unit 160a. Also, the 2D object recognition unit 152a integrates the time information, 2D area information, and 2D attribute information regarding the sensor unit 10 2 and outputs them to the I/F unit 160a.
  • the I/F unit 160a receives the integrated synthetic point cloud output from the point cloud synthesizing unit 140a and the 3D attribute information and the 3D area information output from the 3D object recognition unit 142.
  • the I/F section 160a receives the synthesized image and the captured image output from the image synthesizing section 150a for the sensor units 10 1 and 10 2 respectively.
  • the I/F unit 160a receives the 2D attribute information and the 2D area information output from the 2D object recognition unit 152a for the sensor units 10 1 and 10 2 respectively.
  • the I / F unit 160 for example, according to the setting from the outside, the input integrated synthesized point cloud, 3D attribute information and 3D area information, and the synthesized image input for each of the sensor units 10 1 and 10 2 Information to be output is selected from the image, 2D attribute information, and 2D area information.
  • the range to be measured and photographed by the sensor unit 10 is set narrower than the scannable range of the sensor unit 10 .
  • FMCW-LiDAR due to its characteristics, has a lower resolution than a camera, and in general, when the target object is far away from the device, or when the target object is small, measurement by the point cloud corresponding to the target object less points. Therefore, there is a possibility that the detection probability and the recognition accuracy for a target object that is far away from the apparatus or a target object that is smaller than a certain level may be lowered.
  • a point group corresponding to the target object in the point group acquired from the entire target space to be measured is called a partial point group.
  • a region including a target object such as a person or other moving body in the target space to be measured is selectively locally scanned as a region of interest (ROI).
  • ROI region of interest
  • FIG. 18 is a schematic diagram showing an arrangement example of sensor units according to the second embodiment.
  • a sensing system 1b according to the second embodiment includes a sensor unit 10a and a signal processing section 13b.
  • the scanning mode of the sensor unit 10a is a first scanning mode for scanning an angle range (first scanning range) of an angle ⁇ that can be scanned by the light detection and distance measuring unit 11a, which will be described later. and a second scanning mode for scanning an angle range (second scanning range) of an angle ⁇ with respect to ⁇ .
  • first scanning range for scanning an angle range
  • second scanning range for scanning an angle range of an angle ⁇ with respect to ⁇ .
  • the light detection and distance measurement unit 11a can scan the attention area 32 in the angle range of the angle ⁇ in the second scanning mode.
  • the signal processing section 13b supplies the sensor unit 10a with local scanning area information for controlling the light detection and distance measuring section 11a so as to scan the attention area 32. .
  • FIG. 19 is a block diagram showing an example configuration of a sensing system 1b according to the second embodiment.
  • the signal processing unit 13b has a local scanning control unit 170 added to the configuration of the signal processing unit 13 according to the first embodiment shown in FIG.
  • the local scanning control unit 170 acquires 3D region information from the 3D object recognition unit 142 .
  • the scanning mode of the light detection and distance measurement unit 11a is the second scanning mode
  • the local scanning control unit 170 generates a local scanning control signal based on the 3D area information acquired from the 3D object recognition unit 142, and performs light detection measurement. Output to distance section 11a.
  • the light detection and distance measurement unit 11 a scans the attention area 32 with the scanning unit 100 controlled according to the local scanning control signal output from the local scanning control unit 170 .
  • the basic functions of the point group synthesizing unit 140, the 3D object detecting unit 141 and the 3D object recognizing unit 142, and the image synthesizing unit 150, the 2D object detecting unit 151 and the 2D object recognizing unit 152 in the signal processing unit 13b are Since they are the same as the corresponding units in the signal processing unit 13 described with reference to FIG. 4, descriptions thereof are omitted here.
  • FIG. 20 is a flow chart showing an example of processing by the signal processing unit 13b according to the second embodiment.
  • the processing according to the flowchart of FIG. 20 is started, for example, immediately before the processing of step S206 in the flowchart of FIG. That is, prior to the processing of the flowchart of FIG. 20, the processing of the flowchart of FIG. 9 is started with the scanning mode of the light detection and distance measuring section 11a as the first scanning mode.
  • step S201 For example, assume that the partial image extracted in step S201 is an image corresponding to an area in which motion is detected from the velocity point cloud.
  • the 2D object detection unit 151 determines in step S202 that the luminance value of the partial image is not sufficient (step S202, "No"), and when the process proceeds to step S206, the process according to the flowchart of FIG. is executed.
  • step S204 the 2D object recognition unit 152 determines that the certainty is less than a certain level (step S204, "No"), and when the process shifts to step S206, the process according to the flowchart of FIG. 20 is executed. .
  • the recognition result of the partial image corresponding to the area where the motion is detected from the velocity point cloud is the preset target object, and more detailed three-dimensional motion analysis is required for the target object. If so, the process according to the flowchart of FIG. 20 may be executed. This determination may be made by a person using the sensing system 1b, or may be automatically made by the sensing system 1b itself or an application program that uses the measurement results of the sensing system 1b.
  • a partial image corresponding to an area in which movement is detected from the speed point cloud may be presented to the user, and the processing according to the flowchart of FIG. good.
  • the scanning mode of the light detection and distance measuring section 11a is shifted from the first scanning mode to the second scanning mode.
  • the local scanning control unit 170 acquires 3D area information as a region of interest from the 3D object recognition unit 142, and generates local scanning control information based on the acquired 3D area information. More specifically, the local scanning control unit 170 transforms the 3D area information as the region of interest, which indicates the presence area of the target object, into the scanning coordinate system defined by the scanning coordinate system of the light detection and distance measurement unit 11a by coordinate system conversion. Convert to area information.
  • the local scanning control section 170 generates local scanning control information based on this scanning area information.
  • the local scanning control section 170 inputs the generated local scanning control information to the scanning section 100 of the light detection and distance measurement section 11a.
  • FIG. 21 is a schematic diagram for explaining processing for generating local scanning control information according to the second embodiment.
  • the sensor unit 10a scans the object in the angle range of the angle ⁇ in the first scanning mode, and measures the inside of the object range 30 in the space 3.
  • the moving object 47 in motion is the object of interest.
  • the moving object 47 is, for example, a person moving at a speed higher than a predetermined speed.
  • the moving object 47 is not limited to this, and may be another object as long as it is a moving object such as a moving vehicle.
  • the 3D object detection unit 141 extracts area information of an area 230 including the moving object 47 of interest from the angular range 200 scanned by the sensor unit 10a. Based on the area information of the area 230, the local scanning control section 170 generates local scanning control information so that the light detection and distance measurement section 11a performs scanning in the second scanning mode.
  • the photodetection and distance measurement unit 11a starts scanning (referred to as local scanning) for the area 230 designated by the local scanning control information. Based on the measurement results obtained by this local scanning, the point cloud synthesizing unit 140 obtains a synthetic point cloud frame through the processing described in step S100 of the flowchart of FIG. 9, for example. Further, the 3D object detection unit 141 acquires a localized velocity point group through the processing described in steps S101 to S103 of the flowchart.
  • FIG. 22 is a schematic diagram for explaining local scanning according to the second embodiment.
  • the photodetector and distance measuring unit 11a performs local scanning at an angle ⁇ smaller than the angle ⁇ according to the local scanning control information.
  • the light detection and ranging unit 11a scans the local scanning region 231 having the angular range 200a corresponding to the region 230. done.
  • FIG. 23 is a schematic diagram for explaining local scanning according to the second embodiment. Section (a) of FIG. 23 corresponds to FIG. 3 described above, and shows how the entire angular range 200 is scanned.
  • the light detection and distance measurement unit 11a scans the angle range 200 defined by the angle ⁇ according to the scanning line 210 (first scanning pattern).
  • a region 230 including the moving object 47 is the region of interest.
  • Section (b) of FIG. 23 is a diagram more specifically showing the local scanning of the region 230.
  • the light detection and distance measuring section 11 a scans a local scanning area 231 corresponding to the area 230 according to the local scanning control signal supplied from the local scanning control section 170 .
  • This scan is a local scan over an angular range 200a with an angle ⁇ that is less than the angle ⁇ of the angular range 200, as opposed to a global scan over the angular range 200.
  • the light detection and distance measurement unit 11a scans the angular range 200a with the same or substantially the same number of scanning lines as the scanning lines 210 for the angular range 200 according to the local scanning control information (second scanning pattern).
  • the second scanning pattern has more scanning lines per unit area than the first scanning pattern.
  • the angular range 200a is scanned by the second scanning pattern at a higher density than the scanning of the angular range 200 by the first scanning pattern.
  • the 3D object detection unit 141 extracts a velocity point group related to the region of interest based on the measurement results obtained from the local scanning region 231 by this local scanning.
  • the 3D object recognition unit 142 acquires the local velocity point cloud from the 3D object detection unit 141.
  • the 3D object recognition unit 142 determines whether or not the number of points included in the localized velocity point group acquired in step S302 is equal to or greater than a second constant.
  • the 3D object recognition unit 142 determines that the number of points is less than the second constant (step S303, "No"), the 3D object recognition unit 142 terminates the series of processes according to the flowchart in FIG. The process proceeds to step S206 of the flowchart.
  • step S304 the 3D object recognition unit 142 performs object recognition processing on the localized velocity point cloud acquired in step S302.
  • step S305 the 3D object recognition unit 142 determines whether or not the certainty of the recognition result obtained by the object recognition processing in step S304 is equal to or higher than a certain level.
  • step S305, "No” the 3D object recognition unit 142 terminates the series of processes according to the flowchart of FIG. migrated.
  • step S305, "Yes” the 3D object recognition unit 142 shifts the process to step S306.
  • the 3D object recognition unit 142 integrates the 3D area information acquired at step S300 and the recognition information indicating the result of the object recognition processing at step S304.
  • step S206 instead of 2D area information, 3D area information integrated with recognition information may be integrated with time information. Also, in the next step S207, 3D attribute information included in the recognition information of the object recognition processing in step S304 may be acquired instead of the 2D attribute information.
  • the sensing system 1b is configured as a single-angle system in which only one sensor unit 10a is arranged in the space 3 including the target space to be space-measured.
  • the sensing system is configured as a multi-angle system in which a plurality of sensor units 10a are arranged with respect to the space 3.
  • FIG. 24 is a schematic diagram showing ROI scanning when a plurality of sensor units are arranged according to a modification of the second embodiment.
  • the sensing system 1a includes two sensor units 10a 1 and 10a 2 arranged in the space 3, and a signal processing section 13c.
  • the sensor units 10a 1 and 10a 2 are capable of scanning the object over an angular range of angles ⁇ 1 and ⁇ 2 respectively in the second scanning mode.
  • the sensor units 10a 1 and 10a 2 are arranged at positions facing each other with respect to the common area of interest 33, and scan and photograph the area of interest 33 from mutually different directions.
  • FIG. 25 is a block diagram showing an example configuration of a sensing system according to a modification of the second embodiment.
  • the sensing system 1c includes two sensor units 10a 1 and 10a 2 .
  • the sensor unit 10a 1 includes a light detection rangefinder 11 1 and a camera 12 1 .
  • the sensor unit 10a 2 includes a light detection rangefinder 11 2 and a camera 12 2 .
  • the signal processing unit 13c includes a point group synthesis unit 140a, a 3D object detection unit 141, a 3D object recognition unit 142, an image synthesis unit 150a, a 2D object detection unit 151a, a 2D object recognition unit 152a, an I/F and a portion 160a.
  • the point cloud synthesizing unit 140a acquires the velocity point cloud and the captured image respectively output from the light detection and ranging unit 11 1 and the camera 12 1 of the sensor unit 10a 1 . Similarly, the point cloud synthesizing unit 140a obtains the velocity point cloud and the captured image respectively output from the light detection and ranging unit 11 2 and the camera 12 2 of the sensor unit 10a 2 .
  • the point cloud synthesis unit 140a combines the synthesized point cloud generated based on the output of the sensor unit 10a 1 and the synthesized point cloud generated based on the output of the sensor unit 10a 2 into the angle coordinates of each measurement point of each velocity point cloud. , and generate an integrated synthetic point cloud. Integration of the combined point cloud may be performed using angle coordinates calibrated in advance based on the positional relationship between the light detection and distance measurement sections 11 1 and 11 2 of the sensor units 10a 1 and 10a 2 .
  • the point cloud synthesizing unit 140 a outputs the generated synthetic synthesized point cloud to the 3D object detecting unit 141 and the I/F unit 160 .
  • the processing in the 3D object detection unit 141 and the 3D object recognition unit 142 is the same as that of the 3D object detection unit 141 and the 3D object recognition unit 142 according to the modified example of the first embodiment described above, so description thereof will be omitted.
  • the image synthesizing unit 150a acquires the velocity point cloud and the captured image respectively output from the light detection and ranging unit 11 1 and the camera 12 1 of the sensor unit 10a 1 . Similarly, the image synthesizing unit 150a obtains the velocity point cloud and the captured image respectively output from the light detection and ranging unit 11 2 and the camera 12 2 of the sensor unit 10a 2 .
  • the image synthesizing unit 150a, the 2D object detecting unit 151a, and the 2D object recognizing unit 152a process the output of the sensor unit 10a1 and the output of the sensor unit 10a2, respectively .
  • the processing in the 2D object detection unit 151a and the 2D object recognition unit 152a is the same as that of the 2D object detection unit 151a and the 2D object recognition unit 152a according to the modified example of the first embodiment described above, so the description here is omitted. do.
  • the local scanning control unit 170 acquires 3D region information from the 3D object recognition unit 142 .
  • the local scanning control section 170 generates a local scanning control signal based on the 3D area information acquired from the 3D object recognition section 142, and outputs it to the light detection and ranging sections 11 1 and 11 2 .
  • the local scanning control unit 170b controls the angle ⁇ 1 at which the light detection and ranging unit 11 1 scans and the light It is preferable to set the angle ⁇ 2 at which the detection and ranging unit 11 2 scans.
  • the processing by the signal processing unit 13c in the modified example of the second embodiment is executed in substantially the same manner as the processing by the signal processing unit 13b according to the second embodiment described using the flowchart of FIG.
  • the processing after step S302 is performed on the integrated local velocity point group obtained by integrating the local velocity point group based on the output of the sensor unit 10a 1 and the local velocity point group based on the output of the sensor unit 10a 2 . you can
  • the processing according to the flowchart of FIG. 20 may be started immediately before the processing of step S206 in the flowchart of FIG. 9, as in the second embodiment.
  • the processing may be started.
  • the recognition result of the partial image corresponding to the area where the motion is detected from the velocity point cloud is the preset target object, and more detailed three-dimensional motion analysis is required for the target object. If so, the process according to the flowchart of FIG. 20 may be executed.
  • a partial image corresponding to an area in which movement is detected from the speed point cloud may be presented to the user, and the processing according to the flowchart of FIG. good.
  • the number of measurement points for the target object can be reduced while reducing the influence of shielding. , can be locally increased. Thereby, it is possible to recognize the target object with higher accuracy.
  • the third embodiment is an example in which the sensing system according to the present disclosure is applied to a people flow analysis system that analyzes people flow.
  • FIG. 26 is a diagram schematically showing the configuration of an example of the people flow analysis system according to the third embodiment.
  • a people flow analysis system 300 includes a plurality of sensing systems 1 each including a sensor unit 10 and a signal processing unit 13, a people flow analysis device 320, a people flow database (DB) 330, and an information presentation device 340. .
  • Each signal processing unit 13 is connected to a people flow analyzer 320 via a network 310 such as a LAN (Local Area Network) or the Internet. Not limited to this, each signal processing unit 13 may be directly connected to the people flow analysis device 320 without going through the network 310 or the like.
  • a network 310 such as a LAN (Local Area Network) or the Internet.
  • each signal processing unit 13 may be directly connected to the people flow analysis device 320 without going through the network 310 or the like.
  • Each signal processing unit 13 executes processing according to the flowchart of FIG. 9 in the above-described first embodiment, for example, based on the measurement result and captured image by each sensor unit 10, and performs time information, 2D and 3D area information, 2D and 3D attribute information is acquired periodically. These time information, 2D and 3D area information, and 2D and 3D attribute information are transmitted to people flow analysis device 320 via network 310 .
  • the people flow analyzer 320 analyzes the measurement target of each sensor unit 10 based on the time information, 2D and 3D area information, 2D and 3D attribute information transmitted from each signal processing unit 13, and information stored in the people flow DB 330. Detecting and recognizing persons 44 in each given area of interest 30 .
  • the people flow analysis device 320 analyzes the people flow, which is the flow of people 44 in each target area 30 , based on the detection and recognition results of the people 44 .
  • the people flow analysis device 320 passes the analysis result of the people flow by the people flow analysis device 320 to the information presentation device 340 .
  • the information presentation device 340 can apply, for example, a general computer device, and presents the analysis result of the people flow passed from the people flow analysis device 320 to the user as visualization information.
  • FIG. 27 is a block diagram showing in more detail the configuration of an example of the people flow analysis system 300 according to the third embodiment.
  • the people flow analysis system 300 has one or more sensing systems each including the sensor unit 10 and the signal processing section 13 . Since the configurations of each sensor unit 10 and each signal processing section 13 are the same as those of the sensor unit 10 and signal processing section 13 described with reference to FIG. 4, description thereof will be omitted here.
  • Each sensing system 1 performs measurement and photography, for example, at a predetermined cycle, and outputs time information, 2D and 3D area information, and 2D and 3D attribute information.
  • the time information, 2D and 3D area information, and 2D and 3D attribute information output from each signal processing unit 13 are transmitted to the people flow analysis device 320 via the network 310 (not shown).
  • the people flow analysis device 320 includes a person recognition unit 321, a people flow analysis unit 322, and a people flow DB 330.
  • the person recognition unit 321 periodically acquires time information, 2D and 3D area information, and 2D and 3D attribute information via the network 310 . Based on the acquired time information, 2D and 3D area information, and 2D and 3D attribute information, the person recognition unit 321 estimates the time when the person 44 was measured and photographed in the target range 30, the position, posture, and moving speed of the person 44. do. Thereby, the person recognition unit 321 can recognize a person who is moving in the target range 30 .
  • the time, position, posture, and moving speed of the person 44 will be collectively referred to as people flow information.
  • the person recognition unit 321 recognizes the person 44 detected from each target range 30 based on the time information, 2D and 3D area information, and 2D and 3D attribute information acquired from the plurality of sensor units 10 . identify a person 44 that is commonly detected in .
  • the person recognition unit 321 integrates and outputs the people flow information about one or more people 44 acquired from the plurality of sensing systems 1 .
  • the people flow analysis unit 322 registers the integrated people flow information output from the person recognition unit 321 in the people flow DB 330 as time-series data.
  • the people flow analysis unit 322 also performs statistical analysis on the people flow information as time-series data, and obtains statistical analysis information such as the staying time of the people 44 in one place and the degree of congestion in the target range 30, for example.
  • the people flow analysis unit 322 outputs the people flow information and the statistical analysis information to the information presentation device 340 .
  • the information presentation device 340 acquires the people flow information and statistical analysis information output from the people flow analysis unit 322 .
  • the information presentation device 340 has in advance a map of each target range 30 to be measured and photographed by each sensor unit 10 .
  • the information presentation device 340 causes the display device to display a map, and based on the acquired people flow information, superimposes and displays the movement trajectory of the person 44 on the map.
  • the information presentation device 340 may cause the display device to display the statistical analysis information along with the movement trajectory of the person 44 .
  • FIG. 28 is a diagram schematically showing an example of the flow of people displayed on the display device by the information presentation device 340.
  • a map 341 including static objects 41 arranged in each target range 30 is displayed on the display device.
  • the information presentation device 340 causes the persons 44 1 to 44 4 and the trajectories 45 1 to 45 4 of the persons 44 1 to 44 4 to be superimposed and displayed on the map 341 .
  • the user can grasp the flow of people in each target range 30 by observing this map 341 .
  • FIG. 29 is a flow chart showing an example of processing by the people flow analysis system 300 according to the third embodiment.
  • description of the processing common to the flowchart of FIG. 9 will be omitted as appropriate.
  • Each process shown in FIG. 29 is executed by each part in each signal processing part 13 included in the people flow analysis system 300 . More specifically, the processing of steps S400 to S413 shown on the left side in FIG. becomes. Also, the processing of steps S500 to S507 shown on the right side is processing related to 2D data, which is mainly executed by the image synthesizing unit 150, the 2D object detecting unit 151, and the 2D object recognizing unit 152.
  • FIG. 29 is executed by each part in each signal processing part 13 included in the people flow analysis system 300 . More specifically, the processing of steps S400 to S413 shown on the left side in FIG. becomes. Also, the processing of steps S500 to S507 shown on the right side is processing related to 2D data, which is mainly executed by the image synthesizing unit 150, the 2D object detecting unit 151, and the 2D object recognizing unit 152.
  • step S400 the point cloud synthesizing unit 140 obtains a velocity point cloud frame based on the velocity point cloud measured by scanning within the angle range 200 by the light detection and distance measuring unit 11.
  • the 3D object detection unit 141 extracts points having a velocity absolute value greater than or equal to a certain value from the velocity point cloud frame generated at step S400. In the next step S402, the 3D object detection unit 141 generates a set of velocity point groups (localized velocity point group) localized in a certain spatial range among the points extracted in step S401.
  • the 3D object detection unit 141 extracts one localized velocity point group to be processed from the localized velocity point group generated at step S402.
  • the signal processing unit 13 uses the 3D object detection unit 141 to determine whether or not the number of points included in the extracted local velocity point group is equal to or greater than a first constant. If the 3D object detection unit 141 determines that the number of points is less than the first constant (step S404, "No"), the 3D object detection unit 141 returns the process to step S403, and returns the localized velocity point group generated in step S402. Extract the next localized velocity point cloud from among them, and continue the process.
  • step S404 determines that the number of points is equal to or greater than the first constant (step S404, "Yes")
  • the process proceeds to step S405.
  • step S405 the 3D object detection unit 141 acquires 3D region information based on the target local velocity point cloud.
  • step S505 When the 3D area information is acquired in step S505, the 3D object detection unit 141 shifts the process to step S406 and passes the 3D area information to the 2D object detection unit 151 for the process of step S501 described later.
  • step S ⁇ b>406 the 3D object recognition unit 142 acquires the local velocity point cloud and 3D area information from the 3D object detection unit 141 .
  • step S407 After the process of step S406, the process proceeds to step S407, which will be described later.
  • step S500 is executed in parallel with the process of acquiring the composite image frame of step S400 described above.
  • step S ⁇ b>500 the image synthesizing unit 150 generates a synthetic image frame based on the velocity point cloud acquired by scanning within the angular range 200 by the light detection and distance measuring unit 11 and the captured image acquired by the camera 12 .
  • steps S500 to S507 is the same as the processing of steps S200 to S207 in the flowchart of FIG. That is, in step S501, the 2D object detection unit 151 acquires the 3D area information estimated by the 3D object detection unit 141 in step S405 described above. The 2D object detection unit 151 extracts partial images from the entire image using the acquired 3D region information.
  • the 2D object detection unit 151 determines whether the brightness of the partial image acquired at step S501 is sufficient. If the 2D object detection unit 151 determines that the luminance value of the partial image is not sufficient (step S502, "No"), the process proceeds to step S506. On the other hand, when the 2D object detection unit 151 determines that the brightness value of the partial image is sufficient (step S502, "Yes"), the process proceeds to step S503.
  • step S503 the 2D object recognition unit 152 acquires a partial image from the 2D object detection unit 151, and performs recognition processing on the acquired partial image.
  • the 2D object recognition unit 152 estimates 2D attribute information based on the result of recognition processing.
  • step S504 the 2D object recognition unit 152 determines whether or not the certainty of the recognition result obtained in step S503 is equal to or higher than a certain level. If the 2D object recognition unit 152 determines that the certainty is less than the certain level (step S504, "No"), the process proceeds to step S506. On the other hand, when the 2D object recognition unit 152 determines that the certainty is equal to or higher than the certain level (step S504, "Yes"), the 2D object recognition unit 152 shifts the process to step S505.
  • step S ⁇ b>505 the 3D object recognition unit 142 integrates the time information indicating the time when the captured image was captured, the 2D attribute information, and the 2D area information, and outputs them to the I/F unit 160 .
  • step S502 when it is determined in step S502 that the luminance of the partial image is not sufficient (step S502, "No"), or when it is determined in step S504 that the certainty is less than a certain level ( Step S504, "No"), the process proceeds to step S506.
  • step S ⁇ b>506 the 2D object recognition unit 152 integrates the time information and the 2D area information and outputs the result to the I/F unit 160 .
  • step S505 the process proceeds to step S507.
  • step S ⁇ b>507 the 2D object recognition unit 152 acquires the integrated time information and 2D attribute information and outputs them to the 3D object recognition unit 142 .
  • the 3D object recognition unit 142 acquires the time information and 2D attribute information output from the 2D object recognition unit 152 in step S507.
  • the 3D object recognition unit 142 determines whether or not the 2D attribute information corresponding to the localized velocity point group forming the 3D area information acquired at step S406 indicates a person.
  • the process proceeds to step S411.
  • the process proceeds to step S408.
  • step S408 the 3D object recognition unit 142 estimates the position and posture of the person with respect to the target local velocity point cloud.
  • step S409 the 3D object recognition unit 142 determines whether or not the certainty of the position and orientation estimated in step S408 is equal to or higher than a certain level. If the 3D object recognition unit 142 determines that the certainty is less than the certain level (step S409, "No"), the process proceeds to step S411. On the other hand, if the 3D object recognition unit 142 determines that the certainty factor is equal to or higher than the certain level (step S409, "Yes"), the process proceeds to step S410.
  • the 3D object recognition unit 142 updates the corresponding 3D region information based on the position and orientation estimated at step S408.
  • step S411 the 3D object recognition unit 142 determines whether the processing for all the local velocity point groups generated at step S403 has been completed.
  • the signal processing unit 13 determines that the processing for all the generated local velocity point groups has not been completed (step S411, “No”), the process returns to step S403, and the local velocity points generated in step S402 are The next localized velocity point group is extracted from the localized velocity point group, and the processing is continued.
  • step S412 the 3D object recognition unit 142 determines that the processing for all the generated localized velocity point clouds has ended (step S411, "Yes"), the process proceeds to step S412.
  • step S412 the 3D object recognition unit 142 outputs time information, 3D attribute information, and 3D area information to the I/F unit 160 for all generated local velocity point groups.
  • the signal processing unit 13 determines whether or not the monitoring operation by the people flow analysis system 300 has ended.
  • the process proceeds to steps S400 and S500, and acquires the next velocity point cloud frame and image frame.
  • step S413, "Yes" it ends the series of processes according to the flowchart of FIG.
  • the people flow analysis system 300 can perform A person 44 is detected and recognized. Therefore, people flow analysis can be performed with higher accuracy.
  • a single angle system in which one sensor unit 10 is arranged in each target range 30 is applied in the people flow analysis system 300, but this is not limited to this example.
  • the multi-angle system described using the modified example of the first embodiment may be applied to the people flow analysis system 300 according to the third embodiment.
  • the fourth embodiment is an example in which the sensing system according to the present disclosure is applied to an anomaly detection system that detects an anomaly in a target range.
  • anomalous events involve physical changes in location. Examples of such an abnormal event include a person's fall, suspicious behavior, abnormal start or sudden stop of a vehicle, and the like. These events are assumed to have some velocity. Therefore, it is considered possible to detect an abnormality by monitoring the area around the point where the speed is generated.
  • FIGS. 30A and 30B are schematic diagrams for explaining the anomaly detection system according to the fourth embodiment.
  • FIG. 30A shows the state of normal operation.
  • FIG. 30B shows the state of the local abnormality detection operation after the abnormality is detected.
  • the sensing system 1b that performs local scanning described in the second embodiment with reference to FIGS. 18 to 23 is applied as the sensing system used by the anomaly detection system.
  • section (a) shows an example configuration of the anomaly detection system 400 according to the third embodiment when the above is not detected.
  • the anomaly detection system 400 includes a sensor unit 10 a , a signal processing section 13 b (not shown), an anomaly analyzer 410 , an anomaly event database (DB) 420 and a notification device 430 .
  • DB anomaly event database
  • one sensor unit 10a is arranged in the space 3, and the measurement result and captured image by the sensor unit 10a are input to the signal processing section 13b (not shown). Although not shown, a local scanning control signal is supplied from the signal processing section 13b to the sensor unit 10a.
  • a single angle system in which one sensor unit 10a is arranged with respect to the space 3 is applied to the anomaly detection system 400, but this is not limited to this example.
  • the anomaly detection system 400 may employ a multi-angle system in which a plurality of sensor units are arranged with respect to the space 3 .
  • the sensor unit 10a (signal processing unit 13b) and the abnormality analysis device 410 are shown to be directly connected, but this is not limited to this example.
  • the sensor unit 10a (signal processing unit 13b) and the abnormality analysis device 410 may be connected via a network such as a LAN (Local Area Network) or the Internet.
  • LAN Local Area Network
  • the light detection and distance measurement unit 11a performs measurement by scanning the target range 30 in the angle range of the angle ⁇ in the first scanning mode, and also captures a range including the target range 30 with the camera 12. .
  • a signal processing unit 13b executes processing according to the flowchart of FIG. 2D and 3D attribute information is acquired periodically.
  • the signal processing unit 13b outputs the time information, 2D and 3D area information, and 2D and 3D attribute information.
  • the signal processing section 13b shifts the scanning mode of the light detection and distance measuring section 11a in the sensor unit 10a from the first scanning mode to the second scanning mode, and detects the movement.
  • a local scanning control signal for controlling the sensor unit 10a to perform local scanning in accordance with the detected area 34 is generated.
  • the sensor unit 10a detects light with respect to a region of interest 32 tgt , which is a region corresponding to the region 34, with an angle ⁇ tgt that is narrower than the angle ⁇ and that corresponds to the region 34. Scanning is performed by the distance measuring unit 11a.
  • the abnormality analysis device 410 acquires time information, 2D and 3D area information, and 2D and 3D attribute information output from the signal processing unit 13b.
  • the time information indicates the time when the anomaly was detected
  • the 2D and 3D area information indicates the area where the anomaly was detected.
  • the 2D and 3D attribute information is attribute information of the object 46 in which an abnormality has been detected.
  • the anomaly analyzer 410 detects an anomaly occurring within the target range 30 based on the acquired time information, 2D and 3D area information, 2D and 3D attribute information, and information stored in the anomaly event DB 420.
  • the abnormality analysis device 410 transmits abnormality detection information indicating the detection of the abnormality to the notification device 430 .
  • the notification device 430 notifies a user or the like of the occurrence of an abnormality in accordance with the abnormality detection information.
  • FIG. 31 is a block diagram showing in more detail the configuration of an example of the anomaly detection system 400 according to the fourth embodiment.
  • the anomaly detection system 400 has a sensing system 1b including a sensor unit 10a and a signal processing section 13b.
  • the configuration of the sensing system 1b according to the fourth embodiment is the same as that of the sensing system 1b described with reference to FIG. 19, so description thereof will be omitted here.
  • the sensing system 1b performs measurement and photography, for example, at predetermined intervals, and outputs time information, 2D and 3D area information, and 2D and 3D attribute information.
  • the anomaly analysis device 410 includes an anomaly analysis unit 411 and an anomaly event database (DB) 420.
  • the abnormality analysis unit 411 acquires time information, 2D and 3D area information, and 2D and 3D attribute information output from the signal processing unit 13b.
  • the anomaly analysis unit 411 identifies the position where the anomaly occurred based on the 2D area information and the 3D area information.
  • the abnormality analysis unit 411 extracts a partial image and a partial point cloud around the abnormal event occurrence position from the 2D area information and the 3D area information based on the specified abnormal event occurrence position.
  • the abnormal event analysis unit 411 registers the content (attribute), occurrence position, partial image, and partial point cloud related to the abnormal event in the abnormal event DB 420 .
  • the anomaly analysis unit 411 also refers to the information registered in the anomaly event DB 420 to analyze the content and duration of the anomaly event.
  • the abnormality analysis unit 411 determines the importance of the abnormal event based on the analysis result, and outputs a notification command to the notification device 430 when notification is required based on the determination result.
  • the notification device 430 outputs a notification indicating the occurrence of an abnormal event in accordance with the notification command output from the abnormality analysis unit 411.
  • the notification device 430 may output this notification as visual information, may output it as sound information, or may combine these. Not limited to this, the notification device 430 may output notifications to other devices.
  • FIGS. 32 and 33 are flowcharts of an example of processing by the anomaly detection system according to the fourth embodiment.
  • symbols "A” and “B” indicate that the process is shifted to corresponding symbols between FIGS.
  • description of the processing common to the flowchart of FIG. 9 will be omitted as appropriate.
  • FIG. 32 Each process shown in FIG. 32 is executed by each part in the signal processing part 13b included in the anomaly detection system 400.
  • steps S700 to S706 shown on the right side are processing related to 2D data, which are mainly executed by the image synthesizing unit 150, the 2D object detecting unit 151, and the 2D object recognizing unit 152.
  • step S600 the point cloud synthesizing unit 140 obtains a velocity point cloud frame based on the velocity point cloud measured by scanning within the angle range 200 in the first scanning mode of the light detection and distance measuring unit 11.
  • the 3D object detection unit 141 extracts points having a velocity absolute value greater than or equal to a certain value from the velocity point cloud frame generated at step S600. In the next step S602, the 3D object detection unit 141 generates a set of velocity point groups (localized velocity point group) localized in a certain spatial range among the points extracted in step S601.
  • the 3D object detection unit 141 extracts one localized velocity point group to be processed from the localized velocity point group generated at step S602.
  • the signal processing unit 13 uses the 3D object detection unit 141 to determine whether or not the number of points included in the extracted local velocity point group is equal to or greater than a first constant.
  • the process returns to step S603, and the localized velocity point group generated in step S602 Extract the next localized velocity point cloud from among them, and continue the process.
  • step S605 the 3D object detection unit 141 estimates area information (position, size, orientation) of, for example, the smallest area including the target localized velocity point group, and acquires 3D area information.
  • step S505 When the 3D area information is acquired in step S505, the 3D object detection unit 141 shifts the process to step S606, and passes the 3D area information to the 2D object detection unit 151 for the process of step S701, which will be described later.
  • step S ⁇ b>606 the 3D object recognition unit 142 acquires the local velocity point cloud and 3D region information from the 3D object detection unit 141 .
  • step S606 After the process of step S606, the process proceeds to step S607, which will be described later.
  • step S700 is executed in parallel with the process of acquiring the composite image frame of step S600 described above.
  • step S ⁇ b>700 the image synthesizing unit 150 generates a synthetic image frame based on the velocity point cloud obtained by scanning within the angular range 200 by the light detection and distance measuring unit 11 and the captured image obtained by the camera 12 .
  • the 2D object detection unit 151 acquires the 3D area information estimated by the 3D object detection unit 141 at step S605 described above.
  • the 2D object detection unit 151 extracts a partial image from the captured whole image using the acquired 3D area information.
  • the 2D object detection unit 151 determines whether the partial image acquired at step S701 has a sufficient amount of information. For example, the 2D object detection unit 151 determines the amount of information by comparing the luminance and visibility of the partial image with threshold values. Visibility can be obtained by, for example, edge detection on a partial image.
  • step S702, "No" the process proceeds to step S800 in FIG.
  • step S702, "Yes” the process proceeds to step S703.
  • the 2D object recognition unit 152 acquires a partial image from the 2D object detection unit 151 and executes abnormal event recognition processing for recognizing an abnormal event on the acquired partial image.
  • the 2D object recognition unit 152 estimates abnormal event attribute information, which is an attribute related to the abnormal event, based on the result of the abnormal event recognition processing.
  • Abnormal event attribute information can apply, for example, the type of abnormal event, the subject (such as a person), the scale, and the like.
  • the 2D object recognition unit 152 may, for example, perform learning based on the recognition result of the abnormal event and generate a learning model for recognizing the abnormal event through this learning. Without being limited to this, the 2D object recognition unit 152 may recognize an abnormal event from a partial image using an existing learning model.
  • step S704 the 2D object recognition unit 152 determines whether or not the certainty of the recognition result obtained by the abnormal event recognition processing in step S703 is above a certain level.
  • step S704, "No” the 2D object recognition unit 152 shifts the process to step S800 in the flowchart of FIG.
  • step S704, "Yes” the process proceeds to step S705.
  • step S ⁇ b>705 the 3D object recognition unit 142 integrates the time information indicating the time when the captured image was captured and the abnormal event attribute information, and outputs them to the I/F unit 160 .
  • step S702 when it is determined in step S702 that the information amount of the partial image is not sufficient (step S702, "No"), or when it is determined in step S704 that the certainty is less than a certain level (Step S704, "No"), the process proceeds to step S800 in FIG.
  • step S705 or step S806 in the flowchart of FIG. 33 which will be described later, the process proceeds to step S706.
  • step S ⁇ b>706 the 2D object recognition unit 152 acquires the integrated time information and abnormal event attribute information and outputs them to the 3D object recognition unit 142 .
  • the 3D object recognition unit 142 acquires the time information and the abnormal event attribute information output from the 2D object recognition unit 152 in step S706. .
  • step S607 the 3D object recognition unit 142 determines whether or not the processing for all the localized velocity point clouds generated at step S602 has ended.
  • the signal processing unit 13 determines that the processing for all the generated local velocity point groups has not been completed (step S607, “No”), the process returns to step S603, and the local velocity points generated in step S602 are The next localized velocity point group is extracted from the localized velocity point group, and the processing is continued.
  • step S607 determines that the processing for all the generated localized velocity point groups has ended (step S607, "Yes")
  • the process proceeds to step S608.
  • step S608 the 3D object recognition unit 142 outputs time information and abnormal event attribute information to the I/F unit 160 for all generated local velocity point groups.
  • step S609 the signal processing unit 13b determines whether or not the monitoring operation by the abnormality detection system 400 has ended.
  • step S609 determines that the monitoring operation has not ended (step S609, "No")
  • the process proceeds to steps S600 and S700, and acquires the next velocity point cloud frame and image frame.
  • step S609 determines that the monitoring operation by the anomaly detection system 400 has ended (step S609, "Yes"), it ends the series of processes according to the flowchart of FIG.
  • step S800 the local scanning control unit 170 acquires 3D region information as a region of interest from the 3D object recognition unit 142, and generates local scanning control information based on the acquired 3D region information.
  • the local scanning control section 170 inputs the generated local scanning control information to the scanning section 100 of the light detection and distance measuring section 11a.
  • the light detection and distance measurement unit 11a shifts the scanning mode from the first scanning mode to the second scanning mode, and starts local scanning with respect to the attention area 32 tgt specified by the local scanning control information. .
  • the point cloud synthesizing unit 140 obtains a synthetic point cloud frame through the processing described in step S100 of the flowchart of FIG. 9, for example.
  • the 3D object detection unit 141 acquires a localized velocity point group through the processing described in steps S101 to S103 of the flowchart.
  • the 3D object detection unit 141 extracts a local velocity point group related to the attention area 32 tgt based on the measurement result obtained from the attention area 32 tgt by this local scanning.
  • the 3D object recognition unit 142 acquires the local velocity point cloud from the 3D object detection unit 141.
  • the 3D object recognition unit 142 determines whether or not the number of points included in the localized velocity point cloud acquired in step S802 is equal to or greater than a second constant.
  • the 3D object recognition unit 142 determines that the number of points is less than the second constant (step S803, "No"), the 3D object recognition unit 142 terminates the series of processes according to the flowchart in FIG. The process proceeds to step S706 of the flowchart.
  • step S804 the 3D object recognition unit 142 executes abnormal event recognition processing on the localized velocity point cloud acquired in step S802 to estimate abnormal event attribute information.
  • the abnormal event recognition processing by the 3D object recognition unit 142 may be executed in the same manner as the abnormal event recognition processing by the 2D object recognition unit 152 described in step S703.
  • step S805 the 3D object recognition unit 142 determines whether or not the certainty of the recognition result obtained by the abnormal event recognition processing in step S804 is above a certain level.
  • step S805, "No” the 3D object recognition unit 142 terminates the series of processes according to the flowchart of FIG. 33, and the process proceeds to step S706 of the flowchart of FIG. be done.
  • step S805, "Yes" the 3D object recognition unit 142 shifts the process to step S806.
  • step S806 the 3D object recognition unit 142 integrates the 3D region information acquired at step S800 and the recognition information indicating the result of the abnormal event recognition processing at step S804. After the process of step S806, the process proceeds to step S706 in the flowchart of FIG.
  • an abnormality occurring in the target range is detected. Detecting events. Abnormal event detection itself based on object motion is possible without using a velocity point cloud.
  • the velocity point cloud is used in addition to the captured image, and the area where the abnormal event has occurred is set as the attention area, and the angular range is narrowed for scanning. Therefore, it is possible to analyze the abnormal event that has occurred in more detail.
  • the present technology can also take the following configuration.
  • a photodetector and distance measuring device using continuous frequency modulation waves which outputs a velocity image based on velocity point group information based on a received signal reflected by an object and received as the information of the object;
  • a solid-state imaging device that outputs a captured image obtained by capturing the object as information about the object; with wherein the light detection ranging device and the solid-state imaging device are arranged to acquire information from the same side of the object; sensing system.
  • the resolution of the solid-state imaging device is higher than the resolution of the light detection ranging device, The sensing system according to (1) above.
  • the light detection and ranging device comprises: a scanning control unit that controls a scanning range for scanning the received signal;
  • the scanning control unit As scanning modes for scanning the scanning range, a first scanning mode is controlled to scan a first scanning range, and a second scanning range narrower than the first scanning range is controlled to be scanned. a second scanning mode;
  • the sensing system according to any one of (1) to (3) above. (5) wherein the second scanning range is included in the first scanning range;
  • the light detection and ranging device comprises: acquiring the velocity point cloud information at a first density in the first scanning mode, and acquiring the velocity point cloud information at a second density higher than the first density in the second scanning mode; The sensing system according to (4) or (5) above. (7) wherein the second scan range includes the object in motion; The sensing system according to any one of (4) to (6) above. (8) wherein the second scan range includes the object, which is a person moving at a speed greater than or equal to a predetermined speed; The sensing system according to any one of (4) to (7) above.
  • the scanning control unit switching from the first scanning mode to the second scanning mode based on the captured image captured by the solid-state imaging device; The sensing system according to any one of (4) to (8) above.
  • the scanning control unit Switching from the first scanning mode to the second scanning mode based on a partial image corresponding to a region in which movement is detected based on the speed point group information in the captured image; The sensing system according to (9) above.
  • (11) The scanning control unit scanning the first scanning area with a first scanning pattern in the first scanning mode, and scanning the second scanning area with a second scanning pattern in the second scanning mode; The sensing system according to any one of (4) to (10) above.
  • the second scanning pattern has more scanning lines per unit area than the first scanning pattern.
  • a signal processing unit that extracts a partial image including the object from the captured image based on the velocity point cloud information; a recognition unit that recognizes an abnormal event included in the partial image; a scanning control unit that controls a scanning range in which the received signal is scanned by the photodetection and ranging device; further comprising The scanning control unit As scanning modes for scanning the scanning range, a first scanning mode is controlled to scan a first scanning range, and a second scanning range narrower than the first scanning range is controlled to be scanned. a second scanning mode; When the partial image does not have a sufficient amount of information for the recognition unit to recognize the abnormal situation, the scanning mode for scanning the received signal is changed from the first scanning mode to the partial image. switching to the second scanning mode for scanning a second scanning range corresponding to an area of The sensing system according to any one of (1) to (12) above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本開示に係るセンシングシステム（１）は、対象物で反射されて受信された受信信号に基づく速度点群情報を元にした速度画像を前記対象物の情報として出力する、周波数連続変調波を用いた光検出測距装置（１１）と、前記対象物を撮像した撮像画像を前記対象物の情報として出力する固体撮像装置（１２）と、を備え、前記光検出測距装置および前記固体撮像装置は、前記対象物の同一の側からの情報を取得するように配置される。

Description

センシングシステム
　本開示は、センシングシステムに関する。
　従来から、対象空間中に存在する、人やその他の移動体の行動や動作を計測あるいは監視する目的で、カメラが広く利用されている（例えば特許文献１）。カメラは、その視野（画角）に含まれる物体を撮像した撮像画像を取得することができる。カメラにより取得された撮像画像に対して計算処理を施すことで、撮像画像に含まれる物体を検出、認識することができる。
　カメラは、その光学特性上、対象物体との間の距離が大きくなるほど、撮像画像における当該対象物体に対応する部分画像の画素数が少なくなり、カメラの撮像画像に基づく当該対象物体の検出および認識の精度が低下してしまう。高解像度のイメージセンサを用いたカメラを利用することで、この対象物体との間の距離に応じた精度の低下を軽減することが可能である。
　一方、対象物体に照射したレーザ光の反射光を受光した受光信号に基づき当該対象物体までの距離を計測する、ＬｉＤＡＲ(Laser　Imaging　Detection　and　Ranging)と呼ばれる光学測距装置が知られている。ＬｉＤＡＲでは、走査器や焦点面アレイ型検出器などを併せて用い、視野範囲における角度ごとに測距を実行し、角度と距離との情報に基づき点群と呼ばれるデータを、例えば一定のフレームレートで出力する。この点群データに対して計算処理を施すことで、対象物体の正確な位置、姿勢などを検出、認識することができる（例えば特許文献２、特許文献３）。
特開２０１９－１１４２８０号公報 特開２０１９－１０１０００号公報 特開２００３－２７２０６１号公報
　カメラを用いた検出、認識処理において、高解像度のイメージセンサを用いた場合、撮像画像に対する計算処理の負荷が増大することになる。特に、視野全域に対する計測、監視の目的で撮像画像全体に対して処理を繰り返す高度な検出処理や認識処理では、処理時間、計算コスト、消費電力の増大を招いてしまうことになる。
　また、対象物体表面の輝度は、太陽光や照明光といった外光条件に応じて変化するため、カメラを用いた対象物体の検出、認識処理の精度は、外光に依存することになる。例えば、低照度の環境下におけるカメラを用いた対象物体の検出、認識処理においては、撮像画像の輝度が低下し、撮像画像に含まれる対象物体に対する検出、認識の精度が低下してしまうおそれがある。
　さらに、カメラは、その光学特性上、対象物体の撮像に際し、対象物体との間に存在する、雨滴や塵埃といった微小遮蔽物も対象物体と共に撮像してしまう。そのため、カメラによって撮像された撮像画像における対象物体に対応する画像領域は、本来の対象物体の画像に対して部分的なものとなり、撮像画像に含まれる対象物体に対する検出、認識の精度が低下してしまうおそれがある。
　一方、ＬｉＤＡＲでは、その動作原理上、計測結果が外光の影響を受けにくいため、例えば低照度の環境下においても、安定的に対象物体を検出、認識することができる。しかしながら、ＬｉＤＡＲは、その動作原理上、各仕様が相互にトレード・オフの関係にあるため、例えば一定以上のフレームレートを確保するためには、解像度を低く抑える必要が生じる。そのため、ＬｉＤＡＲでは、対象物体までの距離が大きいほど、当該対象物体に対応する部分点群における点の数が少なくなり、対象物体に対する検出、認識の精度が低下してしまうおそれがある。
　本開示は、対象物体の検出および認識を、多様な環境下において安定的に実行可能なセンシングシステムを提供することを目的とする。
　本開示に係るセンシングシステムは、対象物で反射されて受信された受信信号に基づく速度点群情報を元にした速度画像を前記対象物の情報として出力する、周波数連続変調波を用いた光検出測距装置と、前記対象物を撮像した撮像画像を前記対象物の情報として出力する固体撮像装置と、を備え、前記光検出測距装置および前記固体撮像装置は、前記対象物の同一の側からの情報を取得するように配置される。
本開示の各実施形態に適用可能なセンシングシステムの一例の構成を示すブロック図である。 本開示の各実施形態に適用可能な光検出測距部の一例の構成を示すブロック図である。 走査部による送信光の走査を概略的に示す模式図である。 第１の実施形態に係る信センシングシステムの一例の構成を示すブロック図である。 距離画像の例を模式的に示す図である。 速度画像の例を模式的に示す図である。 合成画像の例を模式的に示す図である。 第１の実施形態に係る、センサユニットの配置例を示す模式図である。 第１の実施形態に係るセンシングシステムによる処理を示す一例のフローチャートである。 速度点群の例を模式的に示す図である。 速度点群から抽出される３Ｄ領域情報の例を模式的に示す図である。 ３Ｄ領域情報の例をより詳細に示す模式図である。 撮像画像の例を模式的に示す図である。 合成画像フレームから３Ｄ領域情報をする様子を模式的に示す図である。 ３Ｄ領域情報に基づき抽出される部分画像の例を模式的に示す図である。 第１の実施形態の変形例に係る、複数のセンサユニット１０の配置例を示す模式図である。 第１の実施形態の変形例に係るセンシングシステムの一例の構成を示すブロック図である。 第２の実施形態に係る、センサユニットの配置例を示す模式図である。 第２の実施形態に係るセンシングシステムの一例の構成を示すブロック図である。 第２の実施形態に係る信号処理部による処理を示す一例のフローチャートである。 第２の実施形態に係るＲＯＩ走査制御情報の生成処理を説明するための模式図である。 第２の実施形態に係るＲＯＩ走査を説明するための模式図である。 第２の実施形態に係るＲＯＩ走査を説明するための模式図である。 第２の実施形態の変形例に係る、複数のセンサユニットを配置した場合のＲＯＩ走査を示す模式図である。 第２の実施形態の変形例に係るセンシングシステムの一例の構成を示すブロック図である。 第３の実施形態に係る人流解析システムの構成を概略的に示す図である。 第３の実施形態に係る人流解析システムの一例の構成をより詳細に示すブロック図である。 情報提示装置により表示装置に表示される人流の例を模式的に示す図である。 第３の実施形態に係る人流解析システムによる処理を示す一例のフローチャートである。 第４の実施形態に係る異常検知システムの構成を概略的に示す図である。 第４の実施形態に係る異常検知システムの構成を概略的に示す図である。 第４の実施形態に係る異常検知システムの一例の構成をより詳細に示すブロック図である。 第４の実施形態に係る異常検知システムによる処理を示す一例のフローチャートである。 第４の実施形態に係る異常検知システムによる処理を示す一例のフローチャートである。
　以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
　以下、本開示の実施形態について、下記の順序に従って説明する。
１．既存技術について
　１－１．カメラを用いた方法
　１－２．ＬｉＤＡＲを用いた方法
　１－３．ＦＭＣＷ－ＬｉＤＡＲについて
２．本開示の概略
３．第１の実施形態
　３－１．第１の実施形態の変形例
４．第２の実施形態
　４－１．第２の実施形態の変形例
５．第３の実施形態
６．第４の実施形態
［１．既存技術について］
　本開示は、物体の検出、特に移動物体の検出および追跡に用いて好適な技術に関する。本開示の各実施形態の説明に先立って、理解を容易とするために、本開示の技術に関連する既存技術について、概略的に説明する。
（１－１．カメラを用いた方法）
　移動物体の検出および追跡を行う方法の一つとして、カメラを用いた方法が従来から知られている（例えば特許文献１）。カメラは、その画角に含まれる物体を撮像した撮像画像を取得することができる。カメラにより取得された撮像画像に対して計算処理を行うことで、当該撮像物から対象物体を検出および認識することができる。この処理を、例えば異なる時刻に撮像された複数の撮像画像に対して行い、各撮像画像において共通に認識された対象物体を追跡する。
　以降、カメラのレンズを通して取得される画像が、人の眼により取得される画像と対応すると見做して、カメラの画角を適宜、視野と呼ぶ。
　カメラは、その光学特性上、対象物体との間の距離が大きくなるほど、撮像画像における当該対象物体に対応する部分画像の画素数が少なくなり、カメラの撮像画像に基づく当該対象物体の検出および認識の精度が低下してしまう。高解像度のイメージセンサを用いたカメラを利用することで、この対象物体との間の距離に応じた精度の低下を軽減することが可能である。
　一方で、カメラを用いた検出、認識処理において、高解像度のイメージセンサを用いた場合、撮像画像に対する計算処理の負荷が増大することになる。特に、画角全域に対する計測、監視の目的で撮像画像全体に対して処理を繰り返す高度な検出処理や認識処理では、処理時間、計算コスト、消費電力の増大を招いてしまうことになる。
　また、対象物体における輝度は、太陽光や照明光といった外光条件に応じて変化するため、カメラを用いた対象物体の検出、認識処理の精度は、外光に依存することになる。例えば、低照度の環境下におけるカメラを用いた対象物体の検出、認識処理においては、撮像画像の輝度が低下し、撮像画像に含まれる対象物体に対する検出、認識の精度が低下してしまうおそれがある。
　さらに、カメラは、その光学特性上、対象物体の撮像に際し、対象物体との間に存在する、雨滴や塵埃といった微小遮蔽物も対象物体と同時に撮像してしまう。そのため、カメラによって撮像された撮像画像における対象物体に対応する画像領域は、本来の対象物体の画像に対して部分的なものとなり、撮像画像に含まれる対象物体に対する検出、認識の精度が低下してしまうおそれがある。
（１－２．ＬｉＤＡＲを用いた方法）
　移動物体の検出および追跡を行う別の方法として、ＬｉＤＡＲ(Laser　Imaging　Detection　and　Ranging)を用いる方法が知られている。ＬｉＤＡＲは、対象物体に照射したレーザ光の反射光を受光した受光信号に基づき当該対象物体までの距離を計測する光検出測距装置である。ＬｉＤＡＲでは、レーザ光の走査を行う走査器や、受光部としての焦点面アレイ型検出器などを併せて用いる。ＬｉＤＡＲでは、レーザ光の走査範囲において、一定の角度ごとに測距を実行し、角度と距離との情報に基づき点群と呼ばれるデータを出力する。
　点群は、レーザ光の走査範囲に含まれる物体の位置や空間構造を標本化したものであり、一般的には、一定周期のフレーム時間ごとに出力される。この点群データに対して計算処理を施すことで、対象物体の正確な位置、姿勢などを検出、認識することができる（例えば特許文献２、特許文献３）。
　以降、ＬｉＤＡＲにおける受光部から見た走査範囲を、人の眼により認識可能な範囲に対応すると見做して、当該走査範囲を適宜、視野あるいは視野範囲と呼ぶ。
　ＬｉＤＡＲは、その動作原理上、計測結果が外光の影響を受けにくいため、例えば低照度の環境下においても、安定的に対象物体を検出、認識することができる。ＬｉＤＡＲを用いた光検出測距方法は、従来から様々に提案されている。長距離計測用途向けでは、パルス変調と直接検出とを組み合わせたパルスＴｏＦ(Time-of-Flight)方式が普及している。以下、ＬｉＤＡＲを用いたパルスＴｏＦによる光検出測距方法を、適宜、ｄＴｏＦ(direct　ToF)－ＬｉＤＡＲと呼ぶ。
　ＬｉＤＡＲは、その動作原理上、各仕様が相互にトレード・オフの関係にあるため、例えば一定以上のフレームレートを確保するためには、解像度を低く抑える必要が生じる。そのため、ＬｉＤＡＲでは、対象物体までの距離が大きいほど、当該対象物体に対応する部分点群における点の数が少なくなり、対象物体に対する検出、認識の精度が低下してしまうおそれがある。また、ＬｉＤＡＲは、一般的には、物体の表面反射率の計測は可能である一方で、物体色の計測は行わない。したがって、ＬｉＤＡＲは、カメラを用いて行うような、高度な物体の識別、分類などの認識用途には適していないといえる。
　また、ｄＴｏＦ－ＬｉＤＡＲは、光のエネルギを受信して測距を行う方式であるため、受信光が、ＬｉＤＡＲにより射出されたレーザ光の反射光であるか、他の光源の光であるかを区別することが困難であった。そのため、ｄＴｏＦ－ＬｉＤＡＲでは、太陽などの高照度光源が存在する環境においては、環境光が受信光に対して影響を及ぼし、ノイズの増大や混信の発生を招くおそれがある。
　さらに、ｄＴｏＦ－ＬｉＤＡＲは、走査範囲の空間中に微小物体が存在する場合は、対象物体からの反射光と同時に、その微小物体からの反射光を受信することになる。そのため、当該微小物体が一定以上の数と大きさを有する場合は、受信信号に当該微小物体からの反射光によるパルスを含む複数のパルスが検出され、対象物体からの反射光によるパルスと、微小物体からの反射光によるパルスとを区別することが困難であった。そのため、ｄＴｏＦ－ＬｉＤＡＲから出力される点群は、対象物体に対応する点の数が減少あるいは消失する一方で、走査範囲の空間中に当該微小物体に起因する検出点が散らばって現れるようになる。
　さらにまた、ｄＴｏＦ－ＬｉＤＡＲでは、上述したように、一般的には、点群を一定周期（フレーム）ごとに出力する。各フレームの点群を比較することで、点群中に検出された物体の移動（移動速度、方向など）を推定することが可能である。
　しかしながら、対象物体が剛体ではなく形状が変化する場合（人間など）、フレーム間での点群の対応付けが困難である。特に、走査範囲の空間に複数の対象物体が同時に存在し、それらが異なる移動を行っている場合には、フレーム間での点群の対応付けが極めて困難となる。また、対象物体が遠方に存在する、形状が複雑である、あるいは、複数の対象物体が同時に複雑な移動を行っている、などの場合は、対象物体の移動を正確に検出することも困難となる。
（１－３．ＦＭＣＷ－ＬｉＤＡＲについて）
　ここで、ＬｉＤＡＲを用いた光検出測距方法の一つとしての、ＦＭＣＷ(周波数連続変調：Frequency　Modulated　Continuous　Wave)－ＬｉＤＡＲについて説明する。ＦＭＣＷ－ＬｉＤＡＲは、射出するレーザ光として、時間の経過に応じてパルスの周波数を例えば直線的に変化させたチャープ光を用いる。ＦＭＣＷ－ＬｉＤＡＲでは、チャープ光として射出するレーザ光と、射出されたレーザ光の反射光とを合成した受信信号に対し、コヒーレント検出により測距を行う。
　ＦＭＣＷ－ＬｉＤＡＲでは、ドップラー効果を利用することで、測距と同時に速度を計測することができる。そのため、ＦＭＣＷ－ＬｉＤＡＲを用いることで、人やその他の移動物体などの、速度を持った物体の位置を迅速に把握することが容易となる。また、コヒーレント検出は、他の光源からの干渉を受けにくいため、混信を避けることが可能であり、さらには、太陽光などの高照度の光源によるノイズの影響が少ない。そのため、ＦＭＣＷ－ＬｉＤＡＲによる計測は、環境変化に対して強く、低照度環境でも、安定的に対象物体の計測を行うことが可能である。
　本開示では、カメラとＦＭＣＷ－ＬｉＤＡＲとを連携させて対象物体の検出および認識を行う。これにより、様々な環境において、安定的、高速、高精度な検出および認識を実現することが可能となる。
［２．本開示の概略］
　次に、本開示について概略的に説明する。図１は、本開示の各実施形態に適用可能なセンシングシステム１の一例の構成を示すブロック図である。図１において、センシングシステム１は、センサユニット１０と、センサユニット１０から出力される出力信号に対して所定の信号処理を実行する信号処理部１３と、を含む。信号処理部１３の出力は、例えば所定のアプリケーションプログラムが実行される情報処理装置（図示しない）に供給される。
　センサユニット１０は、光検出測距部１１と、カメラ１２とを含む。光検出測距部１１は、周波数連続変調されたレーザ光を用いて測距を行うＦＭＣＷ－ＬｉＤＡＲが適用される。光検出測距部１１による検出および測距結果は、３次元空間情報を持つ点群情報として信号処理部１３に供給される。
　カメラ１２は、例えば可視光波長領域の光を撮像し、Ｒ（赤色）、Ｇ（緑色）およびＢ（青色）の各色の情報を含む、２次元情報による撮像画像を出力する。カメラ１２から出力された撮像画像は、信号処理部１３に供給される。
　センサユニット１０において、光検出測距部１１およびカメラ１２は、計測を行う対象物の同一の側からの情報を取得するように配置される。例えば、光検出測距部１１による光の送信方向の角度範囲とカメラ１２による画角とが略同一の方向を向くと共に、光検出測距部１１とカメラ１２とを互いに近接するように配置することが考えられる。
　信号処理部１３は、光検出測距部１１から供給された検出および測距結果と、カメラ１２から供給された撮像画像と、に対して信号処理を実行し、対象物に関する属性情報や領域情報を含む情報を出力する。
　なお、図１の例では、センシングシステム１が１つのセンサユニット１０と、当該センサユニット１０に対応する１つの信号処理部１３とを有するように示されているが、これはこの例に限定されない。例えば、センシングシステム１は、１つの信号処理部１３に対して複数のセンサユニット１０を有する構成としてもよい。
　図２は、本開示の各実施形態に適用可能な光検出測距部１１の一例の構成を示すブロック図である。図２において、光検出測距部１１は、走査部１００と、走査制御部１０１と、角度検出部１０２と、を含む。光検出測距部１１は、さらに、送信光制御部１１０と、光送信部１１１と、光受信部１１２と、受信信号処理部１１３と、を含む。さらにまた、光検出測距部１１は、点群生成部１２０と、前段処理部１３０と、インタフェース（Ｉ／Ｆ）部１３１と、を含む。
　光送信部１１１は、例えば、送信光であるレーザ光を発光するためのレーザダイオードなどの光源と、光源で発光された光を射出するための光学系と、当該光源を駆動するレーザ出力変調装置とを含む。光送信部１１１は、後述する送信光制御部１１０から供給された光送信制御信号に応じて光源を発光させ、時間の経過に応じて所定周波数範囲内で周波数が直線的に変化するチャープ光による送信光を射出する。送信光は、走査部１００に送られると共に、局発光として光受信部１１２に送られる。
　送信光制御部１１０は、時間の経過に応じて、周波数が所定周波数範囲内で直線的に変化（例えば増加）する信号を生成する。このような、時間の経過に応じて所定周波数範囲内で周波数が直線的に変化する信号を、チャープ信号と呼ぶ。送信光制御部１１０は、このチャープ信号に基づき、光送信部１１１が含むレーザ出力変調装置に入力される変調動機タイミング信号である。光送信制御信号を生成する。送信光制御部１１０は、生成した光送信制御信号を、光送信部１１１と点群生成部１２０とに供給する。
　光受信部１１２は、例えば、走査部１００からの受信光を受信（受光）する受光部と、当該受光部を駆動する駆動回路とを含む。受光部は、例えば、それぞれ画素を構成するフォトダイオードなどの受光素子が２次元格子状に配列された画素アレイを適用することができる。光受信部１１２は、走査部から受信した受信光と、光送信部１１１から送られた局発光とを合成する合成部をさらに含む。受信光が送信光の対象物からの反射光であれば、受信光は、局発光に対して対象物との距離に応じて遅延した信号となり、受信光と局発光とを合成した合成信号は、一定周波数の信号（ビート信号）となる。光受信部１１２は、この信号を受信信号として受信信号処理部１１３に供給する。
　受信信号処理部１１３は、光受信部１１２から供給された受信信号に対して、例えば高速フーリエ変換などの信号処理を行う。受信信号処理部１１３は、この信号処理により、対象物までの距離と、対象物の速度を示す速度と、を求め、これら距離および速度をそれぞれ示す距離情報および速度情報を含む計測情報を生成する。受信信号処理部１１３は、さらに、受信信号に基づき対象物の反射率を示す反射率情報を求めて計測情報に含めてよい。受信信号処理部１１３は、生成した計測情報を点群生成部１２０に供給する。
　走査部１００は、光送信部１１１から送られる送信光を、走査制御部１０１から供給される走査制御信号に従った角度で送信すると共に、当該角度から入射される光を受信光として受信する。走査部１００において、送信光の走査機構として、例えば２軸ミラースキャン装置を適用することができる。この場合、走査制御信号は、例えば、当該２軸ミラースキャン装置の各軸に印加される駆動電圧信号となる。
　走査制御部１０１は、走査部１００による送受信の角度を所定の角度範囲内で変化させる走査制御信号を生成し、走査部１００に供給する。走査部１００は、供給された走査制御信号に従い、送信光による一定の範囲の走査を実行することができる。
　走査部１００は、射出する送信光の射出角度を検出するセンサを有し、このセンサにより検出された送信光の射出角度を示す角度検出信号を出力する。角度検出部１０２は、走査部１００から出力された角度検出信号に基づき送受信の角度を求め、求めた角度を示す角度情報を生成する。角度検出部１０２は、生成した角度情報を点群生成部１２０に供給する。
　図３は、走査部１００による送信光の走査を概略的に示す模式図である。走査部１００は、所定の角度範囲２００内において、所定の本数の走査線２１０に従い走査を行う。走査線２１０は、角度範囲２００の左端と右端との間を走査した１本の軌跡に対応する。走査部１００は、走査制御信号に応じて、走査線２１０に従い角度範囲２００の上端と下端との間を走査する。
　このとき、走査部１００は、走査制御信号に従い、チャープ光の射出ポイントを、例えばポイント２２０1、２２０2、２２０3、…のように、例えば一定のポイントレートで走査線２１０に沿って順次、離散的に変化させる。そのため、各ポイント２２０1、２２０2、２２０3、…は、角度範囲２００において格子状に並ぶとは限らない。なお、光送信部１１１は、送信光制御部１１０から供給される光送信制御信号に従い、１つの射出ポイントに対して、１または複数回、チャープ光を射出してよい。
　図２の説明に戻り、点群生成部１２０は、角度検出部１０２から供給される角度情報と、送信光制御部１１０から供給される光送信制御信号と、受信信号処理部１１３から供給される計測情報と、に基づき、点群情報を生成する。よリ具体的には、点群生成部１２０は、角度情報と、計測情報に含まれる距離情報とに基づき、角度と距離とにより空間中の１点が特定される。点群生成部１２０は、特定された点の、所定の条件下における集合としての点群を取得する。点群生成部１２０は、計測情報に含まれる速度情報に基づき、特定された各点の速度を点群に加味した速度点群を求める。
　点群生成部１２０は、求めた速度点群を前段処理部１３０に供給する。前段処理部１３０は、供給された速度点群に対してフォーマット変換など所定の信号処理を施す。前段処理部１３０により信号処理された速度点群は、Ｉ／Ｆ部１３１を介して光検出測距部１１の外部に出力される。
　また、図２では省略されているが、点群生成部１２０は、受信信号処理部１１３から供給された計測情報に含まれる各情報（距離情報、速度情報、反射率情報など）を、前段処理部１３０およびＩ／Ｆ部１３１を介して外部に出力させてよい。
［３．第１の実施形態］
　次に、本開示の第１の実施形態について説明する。図４は、第１の実施形態に係るセンシングシステム１の一例の構成を示すブロック図である。
　図４において、センシングシステム１は、それぞれ１つのセンサユニット１０および信号処理部１３を含む。信号処理部１３は、点群合成部１４０と、３Ｄ(Three　Dimensions)物体検出部１４１と、３Ｄ物体認識部１４２と、画像合成部１５０と、２Ｄ(Two　Dimensions)物体検出部１５１と、２Ｄ物体認識部１５２と、Ｉ／Ｆ部１６０と、を含む。
　これら点群合成部１４０、３Ｄ物体検出部１４１、３Ｄ物体認識部１４２、画像合成部１５０、２Ｄ物体検出部１５１、２Ｄ物体認識部１５２およびＩ／Ｆ部１６０は、ＣＰＵ(Central　Processing　Unit)などのプロセッサ上で本開示に係る情報処理プログラムが実行されることで構成することができる。これに限らず、これら点群合成部１４０、３Ｄ物体検出部１４１、３Ｄ物体認識部１４２、画像合成部１５０、２Ｄ物体検出部１５１、２Ｄ物体認識部１５２およびＩ／Ｆ部１６０の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。
　図４において、点群合成部１４０、３Ｄ物体検出部１４１および３Ｄ物体認識部１４２は、点群情報に関する処理を行う。また、画像合成部１５０、２Ｄ物体検出部１５１および２Ｄ物体認識部１５２は、撮像画像に関する処理を行う。
　点群合成部１４０は、光検出測距部１１から速度点群を取得し、カメラ１２から撮像画像を取得する。点群合成部１４０は、速度点群と撮像画像とに基づき、色情報やその他の情報を組み合わせて、速度点群の各計測点に対して新たな情報などを追加した点群である合成点群を生成する。
　より具体的には、点群合成部１４０は、速度点群における各計測点の角度座標に対応する撮像画像の画素を、座標系変換によって参照し、各計測点について、その点を代表する色情報を取得する。計測点は、図３を用いて説明した各ポイント２２０1、２２０2、２２０3、…に対して反射光が受信されたポイントに対応する。点群合成部１４０は、取得した各計測点の各色情報を、各計測点の計測情報に付加する。点群合成部１４０は、各計測点が速度情報および色情報を持つ合成点群を出力する。
　なお、速度点群と撮像画像との間の座標系変換は、例えば、予め光検出測距部１１およびカメラ１２の位置関係に基づいた校正処理を行い、この校正結果を、速度点群の角度座標と、撮像画像における画素の座標とに反映した上で、実行することが好ましい。
　３Ｄ物体検出部１４１は、点群合成部１４０から出力された合成点群を取得し、取得した合成点群に含まれる、３Ｄ物体を示す計測点を検出する。なお、以下では、煩雑さを避けるため、「合成点群に含まれる、３Ｄ物体を示す計測点を検出する」などの表現を、「合成点群に含まれる３Ｄ物体を検出する」などのように記載する。
　３Ｄ物体検出部１４１は、合成点群から検出した３Ｄ物体を示す計測点による点群を、局在点群として抽出する。
　より具体的には、３Ｄ物体検出部１４１は、合成点群に含まれる静的物体と動的物体とを弁別するため、合成点群における色情報を無視した速度点群から、一定以上の速度絶対値を持つ点を抽出する。３Ｄ物体検出部１４１は、抽出した点による速度点群の中から、一定の空間範囲（対象物体の大きさに相当）に局在する速度点群の集合（局在速度点群と呼ぶ）を抽出する。３Ｄ物体検出部１４１は、合成点群から複数の局在速度点群を抽出してよい。
　また、３Ｄ物体検出部１４１は、対象空間の全体を表現する点群の中で対象物体すなわち局在点群の存在範囲を示す情報である領域情報を生成する。より具体的には、３Ｄ物体検出部１４１は、各局在速度点群に対して、含まれる点の数が第１の定数以上である場合、その局在速度点群を含む例えば最小の領域の位置、大きさおよび姿勢を推定し、推定された領域の領域情報を生成する。以下、点群に関する領域情報を、３Ｄ領域情報と呼ぶ。３Ｄ領域情報は、例えば、３Ｄによるバウンティングボックスのような直方体で表現される。
　３Ｄ物体検出部１４１は、局在点群と、当該局在点群に対応する３Ｄ領域情報を出力する。
　３Ｄ物体認識部１４２は、３Ｄ物体検出部１４１から出力された局在点群および３Ｄ領域情報を取得する。また、３Ｄ物体認識部１４２は、後述する２Ｄ物体認識部１５２から出力された領域情報および属性情報を取得する。３Ｄ物体認識部１４２は、取得した局在点群および３Ｄ領域情報と、２Ｄ物体認識部１５２から取得した領域情報および属性情報と、に基づき、局在点群に対する物体認識を行う。
　３Ｄ物体認識部１４２は、３Ｄ点群領域情報に基づき、局在速度点群に含まれる点の数が、対象物体の認識に利用できる点の数である第２の定数以上の場合に、その局在速度点群に対して点群認識処理を行う。３Ｄ物体認識部１４２は、この点群認識処理により、認識された物体に関する属性情報を推定する。以下では、点群に基づく属性情報を、３Ｄ属性情報と呼ぶ。
　３Ｄ物体認識部１４２は、推定された３Ｄ属性情報の確信度が一定以上である、すなわち、有意に認識処理が実行できた場合に、計測を行った時刻を示す時刻情報と、３Ｄ領域情報と、３Ｄ属性情報とを統合して出力する。
　なお、属性情報は、認識処理の結果、点群の点や画像の画素ごとに、その単位が属する対象物体の種別や固有分類などの対象物体の属性を示す情報である。３Ｄ属性情報は、対象物体が人であれば、例えば点群の各点に対して付与された、その人に属する固有数値として表現することができる。
　画像合成部１５０は、光検出測距部１１から速度点群を取得し、カメラ１２から撮像画像を取得する。画像合成部１５０は、速度点群と撮像画像とに基づき、距離画像および速度画像を生成する。
　図５は、距離画像５０の例を模式的に示す図である。距離画像５０は、計測点からの距離を示す情報を含む画像である。図５の例では、距離画像５０は、距離を濃淡により段階的に示している。図５において、オブジェクト５００、５０１、５０２の順に、計測点から距離が大きくなっていることが示されている。また、オブジェクト５０３および５０４は、オブジェクト５０２よりも計測点からの距離が大きく、また、互いに同程度の距離にあることが示されている。オブジェクト５０５は、オブジェクト５０３および５０４より計測点からの距離がさらに大きいことが示されている。なお、距離画像５０において、黒く塗り潰されている領域は、無限遠あるいは測距不可の領域を示している。
　図６は、速度画像５１の例を模式的に示す図である。図６において、速度画像５１に含まれるオブジェクト５１２～５１５のそれぞれは、図５に示した距離画像５０に含まれるオブジェクト５０２～５０５にそれぞれ対応している。
　速度画像５１は、ドップラー効果による画像であって、例えば計測点に対する速度および速度の方向を示す情報を含む。図６の例では、速度画像５１は、計測点に対して接近するように移動するオブジェクト５１３、５１４、５１５は第１の色で、計測点に対して遠ざかるように移動しているオブジェクト５１２は第２の色で表示されている。また、図６において、計測点に対する速度が［０］である領域５１６は、第３の色で表示されている。なお、図６では省略されているが、さらに、第１の色および第２の色の濃度により、オブジェクトの移動速度を表してよい。
　画像合成部１５０は、距離画像５０および速度画像５１と、撮像画像とを、座標件変換により座標を一致させつつ合成して、Ｒ（赤色）、Ｇ（緑色）およびＢ（青色）各色の色情報を持つＲＧＢ画像による合成画像を生成する。ここで生成された合成画像は、各画素が色、距離および速度の情報を持つ画像である。なお、距離画像５０および速度画像５１は、カメラ１２から出力される撮像画像よりも解像度が低い。そのため、画像合成部１５０は、距離画像５０および速度画像５１に対してアップスケーリングなどの処理により、解像度を撮像画像に一致させてよい。
　画像合成部１５０は、撮像画像と、生成した合成画像とを出力する。なお、合成画像は、距離、速度やその他の情報を組み合わせて、画像の各画素に対して新たな情報を追加した画像を指す。
　図７は、合成画像５２の例を模式的に示す図である。図７において、オブジェクト５２０～５２５のそれぞれは、図５に示した各オブジェクト５００～５０５にそれぞれ対応している。図７に示す合成画像５２は、例えば、速度点群に対して撮像画像をテクスチャとして貼り付けた画像として表現することができる。合成画像５２は、例えば、人が観察した場合に各オブジェクト５２０～５２５を容易に認識できる画像となる。
　２Ｄ物体検出部１５１は、３Ｄ物体検出部１４１から出力された３Ｄ領域情報に基づき、画像合成部１５０から供給された合成画像から当該３Ｄ領域情報に対応する部分画像を抽出する。また、２Ｄ物体検出部１５１は、抽出した部分画像から物体を検出し、検出された物体を含む例えば最小面積の矩形領域を示す領域情報を生成する。この、撮像画像に基づく領域情報を、２Ｄ領域情報と呼ぶ。２Ｄ領域情報は、光検出測距部１１による計測点や画素ごとに付与された値が指定の範囲に入る点や画素の集合として表される。
　２Ｄ物体検出部１５１は、生成した部分画像と２Ｄ領域情報とを出力する。
　２Ｄ物体認識部１５２は、２Ｄ物体検出部１５１から出力された部分画像を取得し、取得した部分画像に対して、推論処理などの画像認識処理を行い、当該部分画像に係る属性情報を推定する。この場合、属性情報は、例えば対象が車両である場合、画像の各画素に対して付与された車両に属することを示す固有数値として表現される。以下では、部分画像（撮像画像）に基づく属性情報を、２Ｄ属性情報と呼ぶ。
　２Ｄ物体認識部１５２は、推定した２Ｄ属性情報の確信度が一定以上、すなわち、有意に認識処理が実行できた場合に、撮像を行った時刻を示す時刻情報と、２Ｄ領域情報と、２Ｄ属性情報とを統合して出力する。なお、２Ｄ物体認識部１５２は、推定した２Ｄ属性情報の確信度が一定未満の場合、時刻情報と２Ｄ領域情報とを統合して出力する。
　Ｉ／Ｆ部１６０は、点群合成部１４０から出力された合成点群と、３Ｄ物体認識部１４２から出力された３Ｄ属性情報および３Ｄ領域情報とが入力される。また、Ｉ／Ｆ部１６０は、画像合成部１５０から出力された合成画像および撮像画像と、２Ｄ物体認識部１５２から出力された２Ｄ属性情報および２Ｄ領域情報とが入力される。Ｉ／Ｆ部１６０は、例えば外部からの設定に応じて、入力された合成点群、３Ｄ属性情報、３Ｄ領域情報、合成画像、撮像画像、２Ｄ属性情報および２Ｄ領域情報から、出力する情報を選択する。
　図８は、第１の実施形態に係る、センサユニット１０の配置例を示す模式図である。空間３は、空間計測の対象となる対象空間を含む空間である。空間３は、移動している移動物体４０や、静止している静的物体４１を含んでよい。空間３に対して、センサユニット１０が配置される。センサユニット１０は、例えば光検出測距部１１が角度αの角度範囲で対象を走査し、空間３内の対象範囲３０内を計測する。
　なお、図８の例では、説明のため、対象範囲３０が平面であるように示されているが、実際には、対象範囲３０は高さ方向の範囲も含む。また、センサユニット１０は、図３を用いて説明したように、水平方向のみならず垂直方向にも走査を行うが、ここでは、水平方向の角度範囲に注目し、垂直方向の角度範囲については説明を省略する。
　図９は、第１の実施形態に係るセンシングシステム１による処理を示す一例のフローチャートである。
　図９に示される各処理は、信号処理部１３における各部により実行される。より具体的には、図９において、左側に示すステップＳ１００～ステップＳ１１２は、主に点群合成部１４０、３Ｄ物体検出部１４１および３Ｄ物体認識部１４２により実行される、３Ｄデータに関する処理となる。また、右側に示すステップＳ２００～ステップＳ２０７は、主に画像合成部１５０、２Ｄ物体検出部１５１および２Ｄ物体認識部１５２により実行される、２Ｄデータに関する処理となる。
　図９において、ステップＳ１００で、点群合成部１４０は、光検出測距部１１による角度範囲２００内の走査により計測した速度点群と、カメラ１２により撮影した撮像画像とに基づき、１フレーム分の合成点群（合成点群フレームと呼ぶ）を取得する。
　図１０は、速度点群の例を模式的に示す図である。なお、図１０の例では、図の右下隅の外部にセンサユニット１０が配置されているものとし、センサユニット１０の光検出測距部１１により検出された速度点群が俯瞰で示されている。速度点群６０は、例えば光検出測距部１１から射出された送信光によるスポットが走査線２１０上に整列した画像として表現できる。
　図１０において、速度点群６０は、例えば図７のオブジェクト５２０～５２５にそれぞれ対応するオブジェクト６００～６０５を含む。オブジェクト６００～６０５のうち、オブジェクト６０３～６０５は、それぞれ領域６１３～６１５が第１の色とされ、それぞれセンサユニット１０に対して接近するように移動していることが示されている。また、オブジェクト６０２は、領域６１２が第２の色とされ、センサユニット１０から遠ざかるように移動していることが示されている。一方、オブジェクト６００および６０１、ならびに、地面に相当する領域および建造物など固定物に相当する領域は、第３の色とされ、センサユニット１０に対して静止していることが示されている。
　次のステップＳ１０１で、３Ｄ物体検出部１４１は、ステップＳ１００で生成された合成点群から、一定以上の速度絶対値を持つ点を抽出する。次のステップＳ１０２で、３Ｄ物体検出部１４１は、ステップＳ１０１で抽出された点のうち、一定の空間範囲に局在する速度点群の集合（局在速度点群）を生成する。３Ｄ物体検出部１４１は、ステップＳ１０２において、合成点群フレームから複数の局在速度点群を生成することができる。
　次のステップＳ１０３で、３Ｄ物体検出部１４１は、ステップＳ１０２で生成された局在速度点群から、処理の対象とする１つの局在速度点群を抽出する。次のステップＳ１０４で、信号処理部１３は、３Ｄ物体検出部１４１により、抽出した局在速度点群に含まれる点の数が第１の定数以上であるか否かを判定する。３Ｄ物体検出部１４１は、当該点の数が第１の定数未満であると判定した場合（ステップＳ１０４、「Ｎｏ」）、処理をステップＳ１０３に戻し、ステップＳ１０２で生成された局在速度点群のうち次の局在速度点群を抽出し、処理を続行させる。
　３Ｄ物体検出部１４１は、当該点の数が第１の定数以上であると判定した場合（ステップＳ１０４、「Ｙｅｓ」）、処理をステップＳ１０５に移行させる。ステップＳ１０５で、３Ｄ物体検出部１４１は、対象の局在速度点群を含む例えば最小の領域の領域情報（位置、大きさ、姿勢）を推定し、３Ｄ領域情報を取得する。
　図１１は、速度点群６０から抽出される３Ｄ領域情報の例を模式的に示す図である。図１１の例では、速度点群６０において一定以上の速度絶対値を持つオブジェクト６０１～６０５それぞれに応じて、３Ｄ領域情報６２１～６２５が生成されている様子が示されている。各３Ｄ領域情報６２１～６２５は、各オブジェクト６０１～６０５を構成する局在速度点群を含む、例えば体積が最小の直方体として示されている。なお、図１１の例では、オブジェクト６０１が一定以上の速度絶対値で移動しているものとして示している。
　図１２は、３Ｄ領域情報の例をより詳細に示す模式図である。図１２のセクション（ａ）は、オブジェクト６０２に対する３Ｄ領域情報６２２の例を示している。また、図１２のセクション（ｂ）は、オブジェクト６０１に対する３Ｄ領域情報の例を示している。
　３Ｄ物体検出部１４１は、ステップＳ１０５で３Ｄ領域情報が取得されると、処理をステップＳ１０６に移行させる。３Ｄ物体検出部１４１は、それと共に、後述するステップＳ２０１の処理に対して、３Ｄ領域情報を２Ｄ物体検出部１５１に渡す。
　ステップＳ１０６で、３Ｄ物体認識部１４２は、３Ｄ物体検出部１４１から局在速度点群と３Ｄ領域情報とを取得する。ステップＳ１０６の処理の後、処理は、後述するステップＳ１０７に移行される。
　一方、上述したステップＳ１００の合成画像フレームの取得処理と並行して、ステップＳ２００の処理が実行される。ステップＳ２００で、画像合成部１５０は、光検出測距部１１による角度範囲２００内の走査により取得した速度点群と、カメラ１２により取得した撮像画像とに基づき、１フレーム分の合成画像（合成画像フレームと呼ぶ）を生成する。
　図１３は、合成画像フレームの例を模式的に示す図である。図１３において、合成画像フレーム７０は、カメラ１２により撮像された撮像画像のフレームと対応してよい。図１３の例では、合成画像フレーム７０は、それぞれ図１０のオブジェクト６００～６０５に対応するオブジェクト７００～７０５を含む。
　次のステップＳ２０１で、２Ｄ物体検出部１５１は、上述したステップＳ１０５で３Ｄ物体検出部１４１により推定された３Ｄ領域情報を取得する。２Ｄ物体検出部１５１は、取得した３Ｄ領域情報を用いて、撮像画像の全体に対応する全体画像としての合成画像から部分画像を抽出する。
　図１４は、合成画像フレーム７０から３Ｄ領域情報を取得する様子を模式的に示す図である。図１４において、各オブジェクト７００～７０５のうち、一定以上の速度絶対値を持つオブジェクト７０１～７０５に対して、それぞれ３Ｄ領域情報７２１～７２５が取得されている様子が示されている。各３Ｄ領域情報７２１～７２５は、例えば、それぞれオブジェクト７０１～７０５を含む最小の矩形領域として取得してよい。これに限らず、各３Ｄ領域情報７２１～７２５は、当該最小の矩形領域に対してマージンを持たせた領域を示す領域情報であってもよい。
　図１５は、３Ｄ領域情報に基づき抽出される部分画像の例を模式的に示す図である。図１５のセクション（ａ）は、オブジェクト７０３に対応する３Ｄ領域情報７２３による部分画像の例を示している。また、図１５のセクション（ｂ）は、オブジェクト７０１に対応する３Ｄ領域情報７２１による部分画像の例を示している。
　次のステップＳ２０２で、２Ｄ物体検出部１５１は、ステップＳ２０１で取得した部分画像の輝度が十分であるか否かを判定する。一例として、２Ｄ物体検出部１５１は、当該部分画像の各画素の輝度値の例えば平均値を、部分画像の輝度値として算出する。２Ｄ物体検出部１５１は、算出した当該輝度値が閾値以上である場合に、部分画像の輝度が十分であると判定する。
　２Ｄ物体検出部１５１は、部分画像の輝度値が十分ではないと判定した場合（ステップＳ２０２、「Ｎｏ」）、処理をステップＳ２０６に移行させる。一方、２Ｄ物体検出部１５１は、部分画像の輝度値が十分であると判定した場合（ステップＳ２０２、「Ｙｅｓ」）、処理をステップＳ２０３に移行させる。
　ステップＳ２０３で、２Ｄ物体認識部１５２は、２Ｄ物体検出部１５１から部分画像を取得し、取得した部分画像に対して認識処理を実行する。２Ｄ物体認識部１５２は、認識処理の結果に基づき、２Ｄ属性情報を推定する。
　次のステップＳ２０４で、２Ｄ物体認識部１５２は、ステップＳ２０３による認識結果の確信度が一定以上であるか否かを判定する。２Ｄ物体認識部１５２は、確信度が一定未満であると判定した場合（ステップＳ２０４、「Ｎｏ」）、処理をステップＳ２０６に移行させる。一方、２Ｄ物体認識部１５２は、確信度が一定以上であると判定した場合（ステップＳ２０４、「Ｙｅｓ」）、処理をステップＳ２０５に移行させる。
　ステップＳ２０５で、３Ｄ物体認識部１４２は、撮像画像を撮像した時刻を示す時刻情報と、２Ｄ属性情報と、２Ｄ領域情報とを統合して、Ｉ／Ｆ部１６０に対して出力する。
　一方、上述したように、ステップＳ２０２で部分画像の輝度が十分ではないと判定された場合（ステップＳ２０２、「Ｎｏ」）、あるいは、ステップＳ２０４で確信度が一定未満であると判定された場合（ステップＳ２０４、「Ｎｏ」）、処理がステップＳ２０６に移行される。これらの場合には、２Ｄ物体認識部１５２において２Ｄ属性情報が取得されていない。したがって、２Ｄ物体認識部１５２は、ステップＳ２０６で、時刻情報と２Ｄ領域情報とを統合して、Ｉ／Ｆ部１６０に対して出力する。
　ステップＳ２０５あるいはステップＳ２０６の処理の後、処理がステップＳ２０７に移行される。ステップＳ２０７で、２Ｄ物体認識部１５２は、時刻情報および２Ｄ属性情報を、３Ｄ物体認識部１４２に対して出力する。
　図９の左側の処理の説明に戻り、ステップＳ１０６からステップＳ１０７への移行に際し、３Ｄ物体認識部１４２は、ステップＳ２０７で２Ｄ物体認識部１５２から出力された時刻情報および２Ｄ属性情報を取得する。
　ステップＳ１０７で、３Ｄ物体認識部１４２は、ステップＳ１０６で取得した局在速度点群に含まれる点の数が第２の定数以上であるか否かを判定する。３Ｄ物体認識部１４２は、当該点の数が第２の定数未満であると判定した場合（ステップＳ１０７、「Ｎｏ」）、処理をステップＳ１１１に移行させる。一方、３Ｄ物体認識部１４２は、当該点の数が第２の定数以上であると判定した場合（ステップＳ１０７、「Ｙｅｓ」）、処理をステップＳ１０８に移行させる。
　ステップＳ１０８で、３Ｄ物体認識部１４２は、対象の局在速度点群に対して物体認識処理を実行し、３Ｄ属性情報を推定する。次のステップＳ１０９で、３Ｄ物体認識部１４２は、ステップＳ１０８で推定された３Ｄ属性情報の確信度が一定以上であるか否かを判定する。３Ｄ物体認識部１４２は、確信度が一定未満であると判定した場合（ステップＳ１０９、「Ｎｏ」）、処理をステップＳ１１１に移行させる。一方、３Ｄ物体認識部１４２は、確信度が一定以上であると判定した場合（ステップＳ１０９、「Ｙｅｓ」）、処理をステップＳ１１０に移行させる。
　ステップＳ１１０で、３Ｄ物体認識部１４２は、計測を行った時刻を示す時刻情報と、３Ｄ領域情報と、３Ｄ属性情報とを統合する。
　次のステップＳ１１１で、３Ｄ物体認識部１４２は、ステップＳ１０３で生成された全ての局在速度点群に対する処理が終了したか否かを判定する。信号処理部１３は、生成された全ての局在速度点群に対する処理が終了していないと判定した場合（ステップＳ１１１、「Ｎｏ」）、処理をステップＳ１０３に戻し、ステップＳ１０２で生成された局在速度点群のうち次の局在速度点群を抽出し、処理を続行させる。
　一方、３Ｄ物体認識部１４２は、生成された全ての局在速度点群に対する処理が終了したと判定した場合（ステップＳ１１１、「Ｙｅｓ」）、処理をステップＳ１１２に移行させる。ステップＳ１１２で、３Ｄ物体認識部１４２は、生成された全ての局在速度点群について、ステップＳ１１０で統合された時刻情報、３Ｄ属性情報および３Ｄ領域情報をＩ／Ｆ部１６０に対して出力する。
　ステップＳ１１２で時刻情報、３Ｄ属性情報および３Ｄ領域情報が出力されると、この図９のフローチャートによる一連の処理が終了される。
　ここで、光検出測距部１１から出力される速度点群と、カメラ１２から出力される撮像画像とを比較する。撮像画像は、速度点群と比較して解像度が高い。そのため、撮像画像を用いた認識処理は、速度点群を用いた認識処理に対して高精度とすることができる。その一方で、撮像画像を用いた認識処理は、速度点群を用いた認識処理に対して計算負荷が高い。３次元の位置推定は、３次元空間情報を持たない撮像画像では困難であるが、速度点群は３次元空間情報を持つため容易である。また、速度点群は、速度情報を持つため動体検出が容易であり、撮像画像は、色情報を持つため属性情報の取得および推定が容易である。
　このように、光検出測距部１１から出力される速度点群と、カメラ１２から出力される撮像画像とは、互いに異なる特性を持つ。したがって、図９のフローチャートによる処理に従い、光検出測距部１１の出力とカメラ１２の出力とを組み合わせて物体検出、認識処理を行うことで、対象物体の検出および認識を、多様な環境下において安定的に実行可能となる。
（３－１．第１の実施形態の変形例）
　次に、第１の実施形態の変形例について説明する。上述した第１の実施形態では、空間計測の対象となる対象空間を含む空間３に対して、１つのセンサユニット１０のみを配置し、計測および撮影を１方向から行っていた。この、対象空間に対する計測および撮影を１方向から行うシステムを、シングルアングルシステムと呼ぶ。
　シングルアングルシステムの場合、対象空間中に物体が多数存在する場合や、物体が大きい場合、遮蔽が発生する確率が高くなる。そのため、シングルアングルシステムでは、対象物体の一部しか計測できずに計測点数が減少してしまうおそれがある。対象物体に対する計測点数の減少は、当該対象物体に対する検出確率および認識精度の低下を招くことに繋がる。
　そこで、この第１の実施形態の変形例では、対象空間を含む空間３に対して、それぞれ異なる方向から計測および撮影を行う複数のセンサユニット１０を配置し、複数のセンサユニット１０により計測した速度点群を統合する。複数の方向から計測および撮影を行うことで、ある方向からの計測および撮影において遮蔽が発生する場合でも、他の方向からの計測および撮影を行うことで、遮蔽の発生を防ぐことができる。この、対象空間に対する計測および撮影を複数の方向から行うシステムを、マルチアングルシステムと呼ぶ。
　図１６は、第１の実施形態の変形例に係る、複数のセンサユニット１０の配置例を示す模式図である。図１６において、センシングシステム１ａは、空間３に配置される２つのセンサユニット１０1および１０2と、信号処理部１３ａとを含む。センサユニット１０1は、光検出測距部１１が角度α1の角度範囲で対象を走査し、センサユニット１０2は、光検出測距部１１が角度α2の角度範囲で対象を走査する。図１６の例では、センサユニット１０1および１０2は、共通する対象範囲３１に対して互いに対向する位置に配置され、対象範囲３１を互いに異なる方向から走査および撮影を行う。
　図１６の例では、例えばセンサユニット１０1からの計測および撮影の際に、静的物体４２により角度βの角度範囲で遮蔽領域４３が発生している。マルチアングルシステムでは、このような場合であっても、他のセンサユニット１０2により、センサユニット１０1による遮蔽領域４３に含まれる対象物体の計測および撮影を行うことが可能となる。
　なお、一般のＬｉＤＡＲ、例えばパルスＴｏＦを用いたｄＴｏＦ－ＬｉＤＡＲでは、複数の方向から同一の対象物体に対して同時に光を照射する場合には、混信が発生して計測された点群に不具合が生じるおそれがある。これに対して、コヒーレント検出では、通常、混信が発生しない。そのため、コヒーレント検出を行うＦＭＣＷ－ＬｉＤＡＲでは、複数の方向から同一の対象物体に対して同時に光を照射した場合であっても、計測された点群に不具合が生じる可能性が小さい。
　図１７は、第１の実施形態の変形例に係るセンシングシステムの一例の構成を示すブロック図である。図１７において、センシングシステム１ａは、２つのセンサユニット１０1および１０2を含む。センサユニット１０1は、光検出測距部１１1とカメラ１２1とを含む。同様に、センサユニット１０2は、光検出測距部１１2とカメラ１２2とを含む。
　信号処理部１３ａは、点群合成部１４０ａと、３Ｄ物体検出部１４１と、３Ｄ物体認識部１４２と、画像合成部１５０ａと、２Ｄ物体検出部１５１ａと、２Ｄ物体認識部１５２ａと、Ｉ／Ｆ部１６０ａと、を含む。
　点群合成部１４０ａは、センサユニット１０1の光検出測距部１１1およびカメラ１２1からそれぞれ出力された速度点群および撮像画像を取得する。同様に、点群合成部１４０ａは、センサユニット１０2の光検出測距部１１2およびカメラ１２2からそれぞれ出力された速度点群および撮像画像を取得する。
　点群合成部１４０ａは、センサユニット１０1および１０2ごとに、取得された速度点群について、第１の実施形態と同様にして、各計測点の角度座標に対応する撮像画像の画素を、座標系変換によって参照し、各計測点について、その点を代表する色情報を取得する。点群合成部１４０ａは、センサユニット１０1および１０2ごとに、取得した各計測点の各色情報を、各計測点の計測情報に付加する。点群合成部１４０ａは、センサユニット１０1および１０2ごとに、各計測点が速度情報および色情報を持つ合成点群を生成する。
　なお、点群合成部１４０ａは、センサユニット１０1に関する処理を行う処理部と、センサユニット１０2に関する処理を行う処理部と、を有してよい。これに限らず、点群合成部１４０ａは、共通の処理部によりセンサユニット１０1に関する処理と、センサユニット１０2に関する処理とを時分割で行ってもよい。
　点群合成部１４０ａは、センサユニット１０1の出力に基づき生成した合成点群と、センサユニット１０2の出力に基づき生成した合成点群とを、それぞれの速度点群の各計測点の角度座標に基づき統合し、統合合成点群を生成する。統合点群（統合合成点群）は、複数の点群（合成点群）を、それぞれの空間的位置関係を合わせて単一の点群に統合したものを指す。合成点群の統合は、センサユニット１０1および１０2それぞれが有する光検出測距部１１1および１１2の位置関係に基づいて予め校正した角度座標を用いて実行してよい。
　ここで、光検出測距部１１1および１１2に適用されるＦＭＣＷ－ＬｉＤＡＲの速度計測は、ドップラー原理に基づき行われる。そのため、各速度点群により表される速度は、動径方向成分の速度（動径速度）のみである。点群合成部１４０ａは、各計測店で推定された法線および動径速度と、それらの空間的補間をベクトル合成することで、各合成点群の統合を行う。
　点群合成部１４０ａは、生成した統合合成点群を、３Ｄ物体検出部１４１とＩ／Ｆ部１６０ａとに出力する。
　３Ｄ物体検出部１４１および３Ｄ物体認識部１４２における処理は、上述した第１の実施形態に係る３Ｄ物体検出部１４１および３Ｄ物体認識部１４２と同様であるので、ここでの詳細な説明を省略する。
　３Ｄ物体検出部１４１は、点群合成部１４０ａから出力された統合合成点群を取得し、取得した統合合成点群から局在点群を抽出する。また、３Ｄ物体検出部１４１は、対象空間の全体を表現する点群の中で対象物体すなわち局在点群の存在範囲を示す情報である領域情報を生成する。３Ｄ物体検出部１４１は、局在点群と、当該局在点群に対応する３Ｄ領域情報を出力する。
　３Ｄ物体認識部１４２は、３Ｄ物体検出部１４１から出力された局在点群および３Ｄ領域情報を取得する。また、３Ｄ物体認識部１４２は、後述する２Ｄ物体認識部１５２ａから出力された２Ｄ領域情報および２Ｄ属性情報を取得する。３Ｄ物体認識部１４２は、取得した局在点群および３Ｄ領域情報と、２Ｄ物体認識部１５２ａから取得した２Ｄ領域情報および２Ｄ属性情報と、に基づき、局在点群に対する物体認識を行う。３Ｄ物体認識部１４２は、物体認識の結果に基づき、認識された物体に関する３Ｄ属性情報を推定する。
　３Ｄ物体認識部１４２は、推定された３Ｄ属性情報の確信度が一定以上である、すなわち、有意に認識処理が実行できた場合に、計測を行った時刻を示す時刻情報と、３Ｄ領域情報と、３Ｄ属性情報とを統合して出力する。
　画像合成部１５０ａは、センサユニット１０1の光検出測距部１１1およびカメラ１２1からそれぞれ出力された速度点群および撮像画像を取得する。同様に、画像合成部１５０ａは、センサユニット１０2の光検出測距部１１2およびカメラ１２2からそれぞれ出力された速度点群および撮像画像を取得する。
　画像合成部１５０ａ、２Ｄ物体検出部１５１ａおよび２Ｄ物体認識部１５２ａは、それぞれ、センサユニット１０1の出力と、センサユニット１０2の出力と、に対して、それぞれ処理を行う。例えば、画像合成部１５０ａ、２Ｄ物体検出部１５１ａおよび２Ｄ物体認識部１５２ａは、センサユニット１０1の出力に対する処理と、センサユニット１０2の出力に対する処理と、を並列的に、あるいは、時分割で実行する。
　このように、画像合成部１５０ａは、上述した点群合成部１４０ａとは異なり、センサユニット１０1から出力された撮像画像と、センサユニット１０2から出力された撮像画像との統合を行わない。すなわち、異なるアングルで取得した各３Ｄ点群は、それぞれの姿勢や位置を考慮して３次元的に合体させることで、容易に統合が可能である。これに対して、異なるアングルで撮影した各撮像画像は、２次元平面上で合成することが困難であるため、統合は行わない。
　画像合成部１５０ａは、センサユニット１０1および１０2それぞれについて、撮像画像と、生成した合成画像とを出力する。
　２Ｄ物体検出部１５１ａは、３Ｄ物体検出部１４１から出力された３Ｄ領域情報に基づき、センサユニット１０1および１０2のそれぞれについて、画像合成部１５０ａから供給された各合成画像から当該３Ｄ領域情報に対応する各部分画像を抽出する。また、２Ｄ物体検出部１５１ａは、抽出した各部分画像から物体を検出し、検出された物体を含む２Ｄ領域情報を生成する。
　２Ｄ物体検出部１５１ａは、センサユニット１０1および１０2それぞれについて生成した各部分画像と各２Ｄ領域情報とを出力する。
　２Ｄ物体認識部１５２ａは、２Ｄ物体検出部１５１ａからセンサユニット１０1および１０2それぞれについて出力された部分画像に対して画像認識処理を行う。２Ｄ物体認識部１５２ａは、センサユニット１０1および１０2それぞれについて、当該部分画像に係る２Ｄ属性情報を推定する。
　２Ｄ物体認識部１５２ａは、センサユニット１０1および１０2それぞれについて、推定した２Ｄ属性情報の確信度が一定以上である場合に、撮像を行った時刻を示す時刻情報と、２Ｄ領域情報と、２Ｄ属性情報とを統合する。２Ｄ物体認識部１５２ａは、センサユニット１０1に関する時刻情報と、２Ｄ領域情報と、２Ｄ属性情報とを統合して、Ｉ／Ｆ部１６０ａに出力する。また、２Ｄ物体認識部１５２ａは、センサユニット１０2に関する時刻情報と、２Ｄ領域情報と、２Ｄ属性情報とを統合して、Ｉ／Ｆ部１６０ａに出力する。
　Ｉ／Ｆ部１６０ａは、点群合成部１４０ａから出力された統合合成点群と、３Ｄ物体認識部１４２から出力された３Ｄ属性情報および３Ｄ領域情報とが入力される。また、Ｉ／Ｆ部１６０ａは、画像合成部１５０ａからセンサユニット１０1および１０2それぞれについて出力された合成画像および撮像画像が入力される。さらに、Ｉ／Ｆ部１６０ａは、２Ｄ物体認識部１５２ａからセンサユニット１０1および１０2それぞれについて出力された２Ｄ属性情報および２Ｄ領域情報が入力される。Ｉ／Ｆ部１６０は、例えば外部からの設定に応じて、入力された統合合成点群、３Ｄ属性情報および３Ｄ領域情報、ならびに、センサユニット１０1および１０2それぞれについて入力された合成画像、撮像画像、２Ｄ属性情報および２Ｄ領域情報から、出力する情報を選択する。
　なお、実際の処理としては、例えば、図９のフローチャートによる処理のうちステップＳ２００～ステップＳ２０７の処理が、センシングシステム１ａが有するセンサユニット１０の数（図１６および図１７の例では２つ）に応じて並列的に実行されることになる。
［４．第２の実施形態］
　次に、本開示の第２の実施形態について説明する。第２の実施形態は、センサユニット１０による計測および撮影の対象範囲を、センサユニット１０が走査可能な範囲に対して狭く設定する。
　ＦＭＣＷ－ＬｉＤＡＲは、その特性上、カメラよりも解像度が低く、一般的には、対象物体が装置から遠距離にある場合、あるいは、対象物体が小さい場合、当該対象物体に対応する点群による計測点数が少なくなる。そのため、装置から遠距離にある対象物体や、ある程度以上小さい対象物体に対する検出確率および認識精度が低下してしまうおそれがある。なお、計測の対象となる対象空間の全体から取得された点群における対象物体に対応する部分の点群を、部分点群と呼ぶ。
　そのため、第２の実施形態では、計測の対象となる対象空間中の、人やその他の移動体などの対象物体を含む領域を、注目領域（ＲＯＩ：Region　of　Interest）として選択的に局所走査する。この局所走査により、当該対象物体に対応する部分点群の計測点数を、対象空間の全体を走査した場合に比べて増加させることができ、点群の解像度を局所的に向上させることができる。また、対象物体が移動する場合、走査を行う注目領域を移動に追従させることで、当該対象物体に対する局所的な高解像度を維持することが可能である。
　図１８は、第２の実施形態に係る、センサユニットの配置例を示す模式図である。図１８において、第２の実施形態に係るセンシングシステム１ｂは、センサユニット１０ａと信号処理部１３ｂとを含む。
　第２の実施形態では、センサユニット１０ａの走査モードとして、後述する光検出測距部１１ａが走査可能な角度αの角度範囲（第１の走査範囲）を走査する第１の走査モードと、角度αに対して角度γの角度範囲（第２の走査範囲）を走査する第２の走査モードとを有する。このように、第２の走査モードでは、第１の走査範囲より狭い第２の走査範囲に対する走査を行う。
　光検出測距部１１ａは、注目領域３２に対して、第２の走査モードにより角度γの角度範囲で走査を行うことができる。信号処理部１３ｂは、走査モードが第２の走査モードの場合に、注目領域３２に対する走査を行うように光検出測距部１１ａを制御するための局所走査領域情報を、センサユニット１０ａに供給する。
　図１９は、第２の実施形態に係るセンシングシステム１ｂの一例の構成を示すブロック図である。センシングシステム１ｂにおいて、信号処理部１３ｂは、図４に示した第１の実施形態に係る信号処理部１３の構成に対して、局所走査制御部１７０が追加されている。局所走査制御部１７０は、３Ｄ物体認識部１４２から３Ｄ領域情報を取得する。局所走査制御部１７０は、光検出測距部１１ａの走査モードが第２の走査モードの場合に、３Ｄ物体認識部１４２から取得した３Ｄ領域情報に基づき局所走査制御信号を生成し、光検出測距部１１ａに対して出力する。
　光検出測距部１１ａは、局所走査制御部１７０から出力された局所走査制御信号に応じて走査部１００が制御され、注目領域３２の走査を行う。
　なお、信号処理部１３ｂにおける点群合成部１４０、３Ｄ物体検出部１４１および３Ｄ物体認識部１４２、ならびに、画像合成部１５０、２Ｄ物体検出部１５１および２Ｄ物体認識部１５２の基本的な機能は、図４を用いて説明した信号処理部１３における対応する各部と同様であるので、ここでの説明を省略する。
　図２０は、第２の実施形態に係る信号処理部１３ｂによる処理を示す一例のフローチャートである。この図２０のフローチャートによる処理は、例えば、図９のフローチャートにおけるステップＳ２０６の処理の直前に開始される。すなわち、この図２０のフローチャートの処理に先立って、図９のフローチャートによる処理が、光検出測距部１１ａの走査モードを第１の走査モードとして開始される。
　例えば、ステップＳ２０１において抽出された部分画像が、速度点群から動きが検出された領域に対応する画像であるものとする。この場合において、ステップＳ２０２において２Ｄ物体検出部１５１により部分画像の輝度値が十分ではないと判定され（ステップＳ２０２、「Ｎｏ」）、処理がステップＳ２０６に移行する際に、図２０のフローチャートによる処理が実行される。また、ステップＳ２０４において２Ｄ物体認識部１５２により確信度が一定未満であると判定され（ステップＳ２０４、「Ｎｏ」）、処理がステップＳ２０６に移行する際に、図２０のフローチャートによる処理が実行される。
　これに限らず、速度点群から動きが検知された領域に対応する部分画像の認識結果が、予め設定していた対象物体であって、当該対象物体に対するより詳細な３次元動作分析が必要と判断された場合に、図２０のフローチャートによる処理を実行してもよい。この判断は、センシングシステム１ｂを利用する人が行ってもよいし、センシングシステム１ｂそのもの、あるいは、センシングシステム１ｂによる計測結果を利用するアプリケーションプログラムが自動で行ってもよい。
　また、速度点群から動きが検知された領域に対応する部分画像をユーザに提示し、この提示に応じたユーザによる詳細解析などの要求に応じて、図２０のフローチャートによる処理を実行してもよい。
　図２０において、ステップＳ３００で、光検出測距部１１ａの走査モードが第１の走査モードから第２の走査モードに移行される。局所走査制御部１７０は、３Ｄ物体認識部１４２から注目領域としての３Ｄ領域情報を取得し、取得した３Ｄ領域情報に基づき局所走査制御情報を生成する。より具体的には、局所走査制御部１７０は、座標系変換により、対象物体の存在領域を示す、注目領域としての３Ｄ領域情報を、光検出測距部１１ａの走査座標系で定義される走査領域情報に変換する。局所走査制御部１７０は、この走査領域情報に基づき局所走査制御情報を生成する。局所走査制御部１７０は、生成した局所走査制御情報を、光検出測距部１１ａの走査部１００に入力する。
　図２１は、第２の実施形態に係る局所走査制御情報の生成処理を説明するための模式図である。図２１のセクション（ａ）に示されるように、センサユニット１０ａにより第１の走査モードにより角度αの角度範囲で対象を走査し、空間３内の対象範囲３０内を計測する。ここで、移動している移動物体４７が注目すべき対象であるものとする。移動物体４７は、例えば、所定以上の速度で移動している人である。移動物体４７は、これに限らず、移動している車両など、移動する物体であれば他の物体であってもよい。
　図２１のセクション（ｂ）に示されるように、３Ｄ物体検出部１４１は、センサユニット１０ａによる走査の角度範囲２００から、注目すべき移動物体４７を含む領域２３０の領域情報を抽出する。局所走査制御部１７０は、この領域２３０の領域情報に基づき、光検出測距部１１ａが第２の走査モードによる走査を行うように、局所走査制御情報を生成する。
　次のステップＳ３０１で、光検出測距部１１ａは、局所走査制御情報により指定された領域２３０に対する走査（局所走査と呼ぶ）を開始する。この局所走査による計測結果に基づき、点群合成部１４０により例えば図９のフローチャートのステップＳ１００で説明した処理により合成点群フレームが取得される。さらに、３Ｄ物体検出部１４１により、同フローチャートのステップＳ１０１～ステップＳ１０３で説明した処理により局在速度点群が取得される。
　図２２は、第２の実施形態に係る局所走査を説明するための模式図である。図２２のセクション（ａ）に示されるように、光検出測距部１１ａは、局所走査制御情報に従い、角度αより小さい角度γで局所走査を行う。この局所走査では、図２２のセクション（ｂ）に示されるように、角度範囲２００において、領域２３０に対応する角度範囲２００ａを有する局所走査領域２３１に対して、光検出測距部１１ａによる走査が行われる。
　図２３は、第２の実施形態に係る局所走査を説明するための模式図である。図２３のセクション（ａ）は、上述した図３と対応するもので、角度範囲２００の全体を走査する全体走査の様子を示している。光検出測距部１１ａが、角度αによる角度範囲２００内を、走査線２１０に従い走査する（第１の走査パターン）。この例では、移動物体４７を含む領域２３０が注目領域となる。
　図２３のセクション（ｂ）は、領域２３０に対する局所走査をより具体的に示す図である。光検出測距部１１ａは、局所走査制御部１７０から供給される局所走査制御信号に従い、領域２３０に対応する局所走査領域２３１に対する走査を行う。この走査は、角度範囲２００に対する全体走査に対し、角度範囲２００の角度αより小さい角度γによる角度範囲２００ａによる局所走査である。
　このとき、光検出測距部１１ａは、局所走査制御情報に従い、角度範囲２００に対する走査線２１０と同一あるいは略同一の走査線数で、角度範囲２００ａの走査を行う（第２の走査パターン）。この場合、第２の走査パターンは、第１の走査パターンに対して、単位面積あたりの走査線数が多いことになる。換言すれば、第２の実施形態に係る局所走査では、第１の走査パターンによる角度範囲２００の走査よりも高い密度で、第２の走査パターンによる角度範囲２００ａに対する走査を行う。
　３Ｄ物体検出部１４１は、この局所走査により局所走査領域２３１から取得した計測結果に基づき、注目領域に関する速度点群を抽出する。
　次のステップＳ３０２で、３Ｄ物体認識部１４２は、３Ｄ物体検出部１４１から局所速度点群を取得する。次のステップＳ３０３で、３Ｄ物体認識部１４２は、ステップＳ３０２で取得した局在速度点群に含まれる点の数が第２の定数以上であるか否かを判定する。３Ｄ物体認識部１４２は、当該点の数が第２の定数未満であると判定した場合（ステップＳ３０３、「Ｎｏ」）、図２０のフローチャートによる一連の処理を終了させ、処理が例えば図９のフローチャートのステップＳ２０６に移行される。
　一方、３Ｄ物体認識部１４２は、当該点の数が第２の定数以上であると判定した場合（ステップＳ３０３、「Ｙｅｓ」）、処理をステップＳ３０４に移行させる。ステップＳ３０４で、３Ｄ物体認識部１４２は、ステップＳ３０２で取得した局在速度点群に対して物体認識処理を実行する。
　次のステップＳ３０５で、３Ｄ物体認識部１４２は、ステップＳ３０４の物体認識処理による認識結果の確信度が一定以上であるか否かを判定する。３Ｄ物体認識部１４２は、確信度が一定未満であると判定した場合（ステップＳ３０５、「Ｎｏ」）、図２０のフローチャートによる一連の処理を終了させ、処理が例えば図９のフローチャートのステップＳ２０６に移行される。一方、３Ｄ物体認識部１４２は、確信度が一定以上であると判定した場合（ステップＳ３０５、「Ｙｅｓ」）、処理をステップＳ３０６に移行させる。
　ステップＳ３０６で、３Ｄ物体認識部１４２は、ステップＳ３００で取得した３Ｄ領域情報と、ステップＳ３０４の物体認識処理の結果を示す認識情報とを統合する。
　ステップＳ３０６の処理の後、処理が例えば図９のフローチャートのステップＳ２０６に移行される。この場合、ステップＳ２０６では、時刻情報に対して、２Ｄ領域情報の代わりに、認識情報が統合された３Ｄ領域情報を統合してよい。また、次のステップＳ２０７では、２Ｄ属性情報の代わりに、ステップＳ３０４の物体認識処理の認識情報に含まれる３Ｄ属性情報を取得してよい。
（４－１．第２の実施形態の変形例）
　次に、第２の実施形態の変形例について説明する。上述した第２の実施形態では、センシングシステム１ｂが、空間計測の対象となる対象空間を含む空間３に対して、１つのセンサユニット１０ａのみを配置したシングルアングルシステムとして構成されていた。これに対して、第２の実施形態の変形例では、センシングシステムを、空間３に対して複数のセンサユニット１０ａを配置したマルチアングルシステムとして構成する。
　図２４は、第２の実施形態の変形例に係る、複数のセンサユニットを配置した場合のＲＯＩ走査を示す模式図である。図２４において、センシングシステム１ａは、空間３に配置される２つのセンサユニット１０ａ1および１０ａ2と、信号処理部１３ｃとを含む。センサユニット１０ａ1および１０ａ2は、第２の走査モードにおいてそれぞれ角度γ1およびγ2の角度範囲で対象を走査することができる。図２４の例では、センサユニット１０ａ1および１０ａ2は、共通する注目領域３３に対して互いに対向する位置に配置され、注目領域３３を互いに異なる方向から走査および撮影を行う。
　図２５は、第２の実施形態の変形例に係るセンシングシステムの一例の構成を示すブロック図である。図２５において、センシングシステム１ｃは、２つのセンサユニット１０ａ1および１０ａ2を含む。センサユニット１０ａ1は、光検出測距部１１1とカメラ１２1とを含む。同様に、センサユニット１０ａ2は、光検出測距部１１2とカメラ１２2とを含む。
　信号処理部１３ｃは、点群合成部１４０ａと、３Ｄ物体検出部１４１と、３Ｄ物体認識部１４２と、画像合成部１５０ａと、２Ｄ物体検出部１５１ａと、２Ｄ物体認識部１５２ａと、Ｉ／Ｆ部１６０ａと、を含む。
　点群合成部１４０ａは、センサユニット１０ａ1の光検出測距部１１1およびカメラ１２1からそれぞれ出力された速度点群および撮像画像を取得する。同様に、点群合成部１４０ａは、センサユニット１０ａ2の光検出測距部１１2およびカメラ１２2からそれぞれ出力された速度点群および撮像画像を取得する。
　点群合成部１４０ａは、センサユニット１０ａ1の出力に基づき生成した合成点群と、センサユニット１０ａ2の出力に基づき生成した合成点群とを、それぞれの速度点群の各計測点の角度座標に基づき統合し、統合合成点群を生成する。合成点群の統合は、センサユニット１０ａ1および１０ａ2それぞれが有する光検出測距部１１1および１１2の位置関係に基づいて予め校正した角度座標を用いて実行してよい。
　点群合成部１４０ａは、生成した統合合成点群を、３Ｄ物体検出部１４１とＩ／Ｆ部１６０とに出力する。３Ｄ物体検出部１４１および３Ｄ物体認識部１４２における処理は、上述した第１の実施形態の変形例に係る３Ｄ物体検出部１４１および３Ｄ物体認識部１４２と同様であるので、説明を省略する。
　画像合成部１５０ａは、センサユニット１０ａ1の光検出測距部１１1およびカメラ１２1からそれぞれ出力された速度点群および撮像画像を取得する。同様に、画像合成部１５０ａは、センサユニット１０ａ2の光検出測距部１１2およびカメラ１２2からそれぞれ出力された速度点群および撮像画像を取得する。
　画像合成部１５０ａ、２Ｄ物体検出部１５１ａおよび２Ｄ物体認識部１５２ａは、それぞれ、センサユニット１０ａ1の出力と、センサユニット１０ａ2の出力と、に対して、処理を行う。２Ｄ物体検出部１５１ａおよび２Ｄ物体認識部１５２ａにおける処理は、上述した第１の実施形態の変形例に係る２Ｄ物体検出部１５１ａおよび２Ｄ物体認識部１５２ａと同様であるので、ここでの説明を省略する。
　局所走査制御部１７０は、３Ｄ物体認識部１４２から３Ｄ領域情報を取得する。局所走査制御部１７０は、３Ｄ物体認識部１４２から取得した３Ｄ領域情報に基づき局所走査制御信号を生成し、光検出測距部１１1および１１2に対して出力する。
　このとき、局所走査制御部１７０ｂは、光検出測距部１１1および１１2それぞれが共通する注目領域３２を走査するように、光検出測距部１１1が走査を行う角度γ1と、光検出測距部１１2が走査を行う角度γ2と、を設定すると好ましい。
　第２の実施形態の変形例での信号処理部１３ｃによる処理は、図２０のフローチャートを用いて説明した第２の実施形態に係る信号処理部１３ｂによる処理と、略同様に実行される。この場合において、ステップＳ３０２以降の処理は、センサユニット１０ａ1の出力に基づく局所速度点群と、センサユニット１０ａ2の出力に基づく局所速度点群とを統合した統合局所速度点群に対して行ってよい。
　また、図２０のフローチャートによる処理は、第２の実施形態と同様に、図９のフローチャートにおけるステップＳ２０６の処理の直前に開始してよい。この場合において、２Ｄ物体検出部１５１ａにより部分画像の輝度値が十分ではないと判定された場合や、２Ｄ物体認識部１５２により確信度が一定未満であると判定された場合に、開始してよい。これに限らず、速度点群から動きが検知された領域に対応する部分画像の認識結果が、予め設定していた対象物体であって、当該対象物体に対するより詳細な３次元動作分析が必要と判断された場合に、図２０のフローチャートによる処理を実行してもよい。また、速度点群から動きが検知された領域に対応する部分画像をユーザに提示し、この提示に応じたユーザによる詳細解析などの要求に応じて、図２０のフローチャートによる処理を実行してもよい。
　第２の実施形態の変形例によれば、ＲＯＩ走査とマルチアングルシステムとを組み合わせているため、遮蔽が発生し易い環境条件においても、遮蔽の影響を減らしつつ、対象物体に対する計測点の数を、局所的に増加させることができる。それにより、対象物体を、より高精度に認識することが可能である。
［５．第３の実施形態］
　次に、本開示の第３の実施形態について説明する。第３の実施形態は、本開示に係るセンシングシステムを、人流を解析する人流解析システムに応用した例である。
　図２６は、第３の実施形態に係る人流解析システムの一例の構成を概略的に示す図である。図２６において、人流解析システム３００は、それぞれセンサユニット１０および信号処理部１３を含む複数のセンシングシステム１と、人流分析装置３２０と、人流データベース（ＤＢ）３３０と、情報提示装置３４０と、を含む。
　各信号処理部１３は、ＬＡＮ(Local　Area　Network)やインターネットなどのネットワーク３１０を介して人流分析装置３２０に接続される。これに限らず、各信号処理部１３は、ネットワーク３１０などを介さずに、直接的に人流分析装置３２０に接続されてもよい。
　各信号処理部１３は、各センサユニット１０による計測結果および撮影画像に基づき、例えば上述した第１の実施形態における図９のフローチャートに従った処理を実行し、時刻情報、２Ｄおよび３Ｄ領域情報、２Ｄおよび３Ｄ属性情報を周期的に取得する。これら時刻情報、２Ｄおよび３Ｄ領域情報、２Ｄおよび３Ｄ属性情報は、ネットワーク３１０を介して人流分析装置３２０に送信される。
　人流分析装置３２０は、各信号処理部１３から送信された時刻情報、２Ｄおよび３Ｄ領域情報、２Ｄおよび３Ｄ属性情報と、人流ＤＢ３３０に格納される情報とに基づき、各センサユニット１０の計測対象である各対象範囲３０に含まれる人４４を検出および認識する。人流分析装置３２０は、人４４の検出および認識結果に基づき、各対象範囲３０における人４４の流れである人流を解析する。人流分析装置３２０は、人流分析装置３２０による人流の解析結果を情報提示装置３４０に渡す。
　情報提示装置３４０は、例えば一般的なコンピュータ装置を適用することができ、人流分析装置３２０から渡された人流の解析結果を可視化情報としてユーザに提示する。
　図２７は、第３の実施形態に係る人流解析システム３００の一例の構成をより詳細に示すブロック図である。
　人流解析システム３００は、それぞれセンサユニット１０と信号処理部１３とを含む１以上のセンシングシステムを有する。各センサユニット１０および各信号処理部１３の構成は、例えば図４を用いて説明したセンサユニット１０および信号処理部１３と同等であるので、ここでの説明を省略する。各センシングシステム１は、例えば所定の周期で計測および撮影を行い、時刻情報、２Ｄおよび３Ｄ領域情報、２Ｄおよび３Ｄ属性情報を出力する。各信号処理部１３から出力された時刻情報、２Ｄおよび３Ｄ領域情報、２Ｄおよび３Ｄ属性情報は、図示されないネットワーク３１０を介して人流分析装置３２０に送信される。
　人流分析装置３２０は、人物認識部３２１と、人流解析部３２２と、人流ＤＢ３３０と、を含む。
　人物認識部３２１は、時刻情報、２Ｄおよび３Ｄ領域情報、２Ｄおよび３Ｄ属性情報を、ネットワーク３１０を介して周期的に取得する。人物認識部３２１は、取得した時刻情報、２Ｄおよび３Ｄ領域情報、２Ｄおよび３Ｄ属性情報に基づき、対象範囲３０において人４４が計測および撮影された時刻、人４４の位置、姿勢および移動速度を推定する。これにより、人物認識部３２１は、対象範囲３０において移動している人を認識することができる。以下では、これら人４４に関する時刻、位置、姿勢および移動速度を纏めて、人流情報と呼ぶ。
　また、人物認識部３２１は、複数のセンサユニット１０から取得した時刻情報、２Ｄおよび３Ｄ領域情報、２Ｄおよび３Ｄ属性情報に基づき、各対象範囲３０から検出された人４４のうち、各対象範囲３０に共通して検出される人４４を特定する。
　人物認識部３２１は、複数のセンシングシステム１から取得した、１以上の人４４に関する人流情報を統合して出力する。人流解析部３２２は、人物認識部３２１から出力された、統合された人流情報を時系列データとして人流ＤＢ３３０に登録する。また、人流解析部３２２は、時系列データとしての人流情報に対して統計分析を施し、例えば人４４が１箇所に滞留する滞留時間や、対象範囲３０における混雑度といった統計分析情報を取得する。人流解析部３２２は、人流情報と統計分析情報とを情報提示装置３４０に出力する。
　情報提示装置３４０は、人流解析部３２２から出力された人流情報と統計分析情報とを取得する。ここで、情報提示装置３４０は、各センサユニット１０の計測および撮影対象である各対象範囲３０のマップを予め有しているものとする。情報提示装置３４０は、表示装置に対してマップを表示させ、取得した人流情報に基づき、人４４が移動した移動軌跡を、当該マップに重畳して表示させる。情報提示装置３４０は、表示装置に対して、人４４の移動軌跡と共に、統計分析情報を表示させてもよい。
　図２８は、情報提示装置３４０により表示装置に表示される人流の例を模式的に示す図である。図２８において、当該表示装置に対して、各対象範囲３０に配置される静的物体４１を含むマップ３４１が表示される。情報提示装置３４０は、このマップ３４１に対して、人４４1～４４4と、各人４４1～４４4が移動した各軌跡４５1～４５4と、を重畳して表示させる。ユーザは、このマップ３４１を観察することで、各対象範囲３０における人流を把握することができる。
　図２９は、第３の実施形態に係る人流解析システム３００による処理を示す一例のフローチャートである。なお、図２９において、上述した図９のフローチャートと共通する処理については、適宜、省略して説明を行う。
　図２９に示される各処理は、人流解析システム３００に含まれる各信号処理部１３における各部により実行される。より具体的には、図２９において、左側に示すステップＳ４００～ステップＳ４１３の処理は、主に点群合成部１４０、３Ｄ物体検出部１４１および３Ｄ物体認識部１４２により実行される、３Ｄデータに関する処理となる。また、右側に示すステップＳ５００～ステップＳ５０７の処理は、主に画像合成部１５０、２Ｄ物体検出部１５１および２Ｄ物体認識部１５２により実行される、２Ｄデータに関する処理となる。
　図２９において、ステップＳ４００～ステップＳ４０６の処理は、図９におけるステップＳ１００～ステップＳ１０６の処理と同様である。すなわち、ステップＳ４００で、点群合成部１４０は、光検出測距部１１による角度範囲２００内の走査により計測された速度点群に基づき、速度点群フレームを取得する。
　次のステップＳ４０１で、３Ｄ物体検出部１４１は、ステップＳ４００で生成された速度点群フレームから、一定以上の速度絶対値を持つ点を抽出する。次のステップＳ４０２で、３Ｄ物体検出部１４１は、ステップＳ４０１で抽出された点のうち、一定の空間範囲に局在する速度点群の集合（局在速度点群）を生成する。
　次のステップＳ４０３で、３Ｄ物体検出部１４１は、ステップＳ４０２で生成された局在速度点群から、処理の対象とする１つの局在速度点群を抽出する。次のステップＳ４０４で、信号処理部１３は、３Ｄ物体検出部１４１により、抽出した局在速度点群に含まれる点の数が第１の定数以上であるか否かを判定する。３Ｄ物体検出部１４１は、当該点の数が第１の定数未満であると判定した場合（ステップＳ４０４、「Ｎｏ」）、処理をステップＳ４０３に戻し、ステップＳ４０２で生成された局在速度点群のうち次の局在速度点群を抽出し、処理を続行させる。
　３Ｄ物体検出部１４１は、当該点の数が第１の定数以上であると判定した場合（ステップＳ４０４、「Ｙｅｓ」）、処理をステップＳ４０５に移行させる。ステップＳ４０５で、３Ｄ物体検出部１４１は、対象の局在速度点群に基づき３Ｄ領域情報を取得する。
　３Ｄ物体検出部１４１は、ステップＳ５０５で３Ｄ領域情報が取得されると、処理をステップＳ４０６に移行させると共に、後述するステップＳ５０１の処理に対して、３Ｄ領域情報を２Ｄ物体検出部１５１に渡す。ステップＳ４０６で、３Ｄ物体認識部１４２は、３Ｄ物体検出部１４１から局在速度点群と３Ｄ領域情報とを取得する。ステップＳ４０６の処理の後、処理は、後述するステップＳ４０７に移行される。
　一方、上述したステップＳ４００の合成画像フレームの取得処理と並行して、ステップＳ５００の処理が実行される。ステップＳ５００で、画像合成部１５０は、光検出測距部１１による角度範囲２００内の走査により取得した速度点群と、カメラ１２により取得した撮像画像とに基づき、合成画像フレームを生成する。
　なお、ステップＳ５００～ステップＳ５０７の処理は、図９のフローチャートにおけるステップＳ２００～ステップＳ２０７の処理と同一である。すなわち、ステップＳ５０１で、２Ｄ物体検出部１５１は、上述したステップＳ４０５で３Ｄ物体検出部１４１により推定された３Ｄ領域情報を取得する。２Ｄ物体検出部１５１は、取得した３Ｄ領域情報を用いて全体画像から部分画像を抽出する。
　次のステップＳ５０２で、２Ｄ物体検出部１５１は、ステップＳ５０１で取得した部分画像の輝度が十分であるか否かを判定する。２Ｄ物体検出部１５１は、部分画像の輝度値が十分ではないと判定した場合（ステップＳ５０２、「Ｎｏ」）、処理をステップＳ５０６に移行させる。一方、２Ｄ物体検出部１５１は、部分画像の輝度値が十分であると判定した場合（ステップＳ５０２、「Ｙｅｓ」）、処理をステップＳ５０３に移行させる。
　ステップＳ５０３で、２Ｄ物体認識部１５２は、２Ｄ物体検出部１５１から部分画像を取得し、取得した部分画像に対して認識処理を実行する。２Ｄ物体認識部１５２は、認識処理の結果に基づき、２Ｄ属性情報を推定する。
　次のステップＳ５０４で、２Ｄ物体認識部１５２は、ステップＳ５０３による認識結果の確信度が一定以上であるか否かを判定する。２Ｄ物体認識部１５２は、確信度が一定未満であると判定した場合（ステップＳ５０４、「Ｎｏ」）、処理をステップＳ５０６に移行させる。一方、２Ｄ物体認識部１５２は、確信度が一定以上であると判定した場合（ステップＳ５０４、「Ｙｅｓ」）、処理をステップＳ５０５に移行させる。
　ステップＳ５０５で、３Ｄ物体認識部１４２は、撮像画像を撮像した時刻を示す時刻情報と、２Ｄ属性情報と、２Ｄ領域情報とを統合して、Ｉ／Ｆ部１６０に対して出力する。
　一方、上述したように、ステップＳ５０２で部分画像の輝度が十分ではないと判定された場合（ステップＳ５０２、「Ｎｏ」）、あるいは、ステップＳ５０４で確信度が一定未満であると判定された場合（ステップＳ５０４、「Ｎｏ」）、処理がステップＳ５０６に移行される。ステップＳ５０６で、２Ｄ物体認識部１５２は、時刻情報と２Ｄ領域情報とを統合して、Ｉ／Ｆ部１６０に対して出力する。
　ステップＳ５０５あるいはステップＳ５０６の処理の後、処理がステップＳ５０７に移行される。ステップＳ５０７で、２Ｄ物体認識部１５２は、統合された時刻情報および２Ｄ属性情報を取得し、３Ｄ物体認識部１４２に対して出力する。
　図２９の左側の処理の説明に戻り、ステップＳ４０６からステップＳ４０７への移行に際し、３Ｄ物体認識部１４２は、ステップＳ５０７で２Ｄ物体認識部１５２から出力された時刻情報および２Ｄ属性情報を取得する。
　ステップＳ４０７で、３Ｄ物体認識部１４２は、ステップＳ４０６で取得した３Ｄ領域情報を構成する局在速度点群に対応する２Ｄ属性情報が人物を示しているか否かを判定する。３Ｄ物体認識部１４２は、当該２Ｄ属性情報が人物を示していないと判定した場合（ステップＳ４０７、「Ｎｏ」）、処理をステップＳ４１１に移行させる。一方、３Ｄ物体認識部１４２は、当該２Ｄ属性情報が人物を示していると判定した場合（ステップＳ４０７、「Ｙｅｓ」）、処理をステップＳ４０８に移行させる。
　ステップＳ４０８で、３Ｄ物体認識部１４２は、対象の局在速度点群に対して人物の位置および姿勢を推定する。次のステップＳ４０９で、３Ｄ物体認識部１４２は、ステップＳ４０８で推定された位置および姿勢の確信度が一定以上であるか否かを判定する。３Ｄ物体認識部１４２は、確信度が一定未満であると判定した場合（ステップＳ４０９、「Ｎｏ」）、処理をステップＳ４１１に移行させる。一方、３Ｄ物体認識部１４２は、確信度が一定以上であると判定した場合（ステップＳ４０９、「Ｙｅｓ」）、処理をステップＳ４１０に移行させる。
　ステップＳ４１０で、３Ｄ物体認識部１４２は、ステップＳ４０８で推定された位置および姿勢に基づき、対応する３Ｄ領域情報を更新する。
　次のステップＳ４１１で、３Ｄ物体認識部１４２は、ステップＳ４０３で生成された全ての局在速度点群に対する処理が終了したか否かを判定する。信号処理部１３は、生成された全ての局在速度点群に対する処理が終了していないと判定した場合（ステップＳ４１１、「Ｎｏ」）、処理をステップＳ４０３に戻し、ステップＳ４０２で生成された局在速度点群のうち次の局在速度点群を抽出し、処理を続行させる。
　一方、３Ｄ物体認識部１４２は、生成された全ての局在速度点群に対する処理が終了したと判定した場合（ステップＳ４１１、「Ｙｅｓ」）、処理をステップＳ４１２に移行させる。ステップＳ４１２で、３Ｄ物体認識部１４２は、生成された全ての局在速度点群について、時刻情報、３Ｄ属性情報および３Ｄ領域情報をＩ／Ｆ部１６０に対して出力する。
　次のステップＳ４１３で、信号処理部１３は、人流解析システム３００による監視動作が終了したか否かを判定する。信号処理部１３は、監視動作が終了していないと判定した場合（ステップＳ４１３、「Ｎｏ」）、処理をステップＳ４００およびステップＳ５００に移行させ、次の速度点群フレームおよび画像フレームを取得する。
　一方、信号処理部１３は、人流解析システム３００による監視動作が終了したと判定した場合（ステップＳ４１３、「Ｙｅｓ」）、この図２９のフローチャートによる一連の処理を終了させる。
　このように、第３の実施形態に係る人流解析システム３００は、光検出測距部１１の計測結果から取得される点群と、カメラ１２により撮影された撮像画像と、に基づき対象範囲３０における人４４を検出および認識している。そのため、より高精度に人流解析を実行することができる。
　なお、上述では、人流解析システム３００において、各対象範囲３０に１つのセンサユニット１０が配置されたシングルアングルシステムが適用されているが、これはこの例に限定されない。例えば、第３の実施形態に係る人流解析システム３００に、第１の実施形態の変形例を用いて説明したマルチアングルシステムを適用させてもよい。
［６．第４の実施形態］
　次に、本開示の第４の実施形態について説明する。第４の実施形態は、本開示に係るセンシングシステムを、対象範囲における異常を検知する異常検知システムに応用した例である。
　異常事象の多くは、物理的に位置の変化を伴うものが多い。このような異常事象の例として、人の転倒や不審行動、車両の異常発進や急停車などが挙げられる。これらの事象では、何かしらの速度が発生することが想定される。したがって、速度が発生している点の周囲を監視することで、異常の検知が可能であると考えられる。
　図３０Ａおよび図３０Ｂは、第４の実施形態に係る異常検知システムを説明するための模式図である。図３０Ａは、通常動作の様子を示している。また、図３０Ｂは、異常が検知された後の局所異常検知動作の様子を示している。第４の実施形態では、異常検知システムが用いるセンシングシステムとして、第２の実施形態で図１８～図２３を用いて説明した、局所走査を行うセンシングシステム１ｂが適用される。
　図３０Ａにおいて、セクション（ａ）は、第３の実施形態に係る異常検知システム４００の、以上が検知されてない場合の一例の構成を示している。異常検知システム４００は、センサユニット１０ａと、信号処理部１３ｂ（図示しない）と、異常分析装置４１０と、異常事象データベース（ＤＢ）４２０と、通知装置４３０と、を含む。
　図３０Ａのセクション（ａ）の例では、空間３に対して１つのセンサユニット１０ａが配置され、センサユニット１０ａによる計測結果および撮像画像が図示されない信号処理部１３ｂに入力される。また、図示は省略するが、信号処理部１３ｂからセンサユニット１０ａに対して、局所走査制御信号が供給される。
　なお、この例では、異常検知システム４００に対して、空間３に対して１つのセンサユニット１０ａが配置されるシングルアングルシステムが適用されているが、これはこの例に限定されない。例えば、異常検知システム４００は、空間３に対して複数のセンサユニットが配置されるマルチアングルシステムが適用されてもよい。また、この例では、センサユニット１０ａ（信号処理部１３ｂ）と異常分析装置４１０とが直接的に接続されるように示されているが、これはこの例に限定されない。例えば、センサユニット１０ａ（信号処理部１３ｂ）と異常分析装置４１０とがＬＡＮ(Local　Area　Network)やインターネットといったネットワークを介して接続されていてもよい。
　センサユニット１０ａにおいて、光検出測距部１１ａは、第１の走査モードにより角度αの角度範囲で対象範囲３０を走査して計測を行うと共に、カメラ１２により対象範囲３０を含む範囲の撮影を行う。
　図示されない信号処理部１３ｂは、センサユニット１０ａによる計測結果および撮影画像に基づき、例えば上述した第１の実施形態における図９のフローチャートに従った処理を実行し、時刻情報、２Ｄおよび３Ｄ領域情報、２Ｄおよび３Ｄ属性情報を周期的に取得する。信号処理部１３ｂは、これら時刻情報、２Ｄおよび３Ｄ領域情報、２Ｄおよび３Ｄ属性情報を出力する。
　ここで、センサユニット１０ａによる計測および撮影の結果に基づき異常と推定される動きが、オブジェクト４６において検知されたものとする。オブジェクト４６は、図３０Ａのセクション（ｂ）に示すように、対象範囲３０における領域３４内に存在するものとする。
　信号処理部１３ｂは、異常と推定される動きが検出されると、センサユニット１０ａにおける光検出測距部１１ａによる走査モードを第１の走査モードから第２の走査モードに移行させ、当該動きが検出された領域３４に合わせて局所走査を行うようにセンサユニット１０ａを制御する局所走査制御信号を生成する。センサユニット１０ａは、この局所走査制御信号に従い、角度αより角度範囲が狭く、且つ、領域３４に対応する角度γtgtにより、領域３４に対応する領域である注目領域３２tgtに対して、光検出測距部１１ａによる走査を行う。
　この局所走査により、オブジェクト４６の異常をより詳細に検出することが可能である。
　異常分析装置４１０は、信号処理部１３ｂから出力された、時刻情報、２Ｄおよび３Ｄ領域情報、２Ｄおよび３Ｄ属性情報と、を取得する。時刻情報は、異常が検出された時刻を示し、２Ｄおよび３Ｄ領域情報は、異常が検出された領域を示す。また、２Ｄおよび３Ｄ属性情報は、異常が検出されたオブジェクト４６の属性情報である。
　異常分析装置４１０は、取得した時刻情報、２Ｄおよび３Ｄ領域情報、２Ｄおよび３Ｄ属性情報と、異常事象ＤＢ４２０に格納される情報とに基づき、対象範囲３０内で発生する異常の検知を行う。異常分析装置４１０は、対象範囲３０内で異常が検知されると、異常の検知を示す異常検知情報を通知装置４３０に送信する。通知装置４３０は、異常検知情報に応じて、ユーザなどに異常の発生を通知する。
　図３１は、第４の実施形態に係る異常検知システム４００の一例の構成をより詳細に示すブロック図である。
　異常検知システム４００は、センサユニット１０ａと信号処理部１３ｂとを含むセンシングシステム１ｂを有する。第４の実施形態に係るセンシングシステム１ｂの構成は、図１９を用いて説明したセンシングシステム１ｂと同等であるので、ここでの説明を省略する。センシングシステム１ｂは、例えば所定の周期で計測および撮影を行い、時刻情報、２Ｄおよび３Ｄ領域情報、２Ｄおよび３Ｄ属性情報を出力する。
　異常分析装置４１０は、異常解析部４１１と、異常事象データベース（ＤＢ）４２０と、を含む。異常解析部４１１は、信号処理部１３ｂから出力された時刻情報、２Ｄおよび３Ｄ領域情報、２Ｄおよび３Ｄ属性情報を取得する。異常解析部４１１は、２Ｄ領域情報および３Ｄ領域情報に基づき、異常事象が発生した発生位置を特定する。異常解析部４１１は、特定した異常事象の発生位置に基づき、２Ｄ領域情報および３Ｄ領域情報から、異常事象の発生位置周辺の部分画像および部分点群を抽出する。
　異常解析部４１１は、異常事象に係る内容（属性）、発生位置、部分画像および部分点群を、異常事象ＤＢ４２０に登録する。異常解析部４１１は、また、異常事象ＤＢ４２０に登録された情報を参照することで、当該異常事象の内容や継続時間などを分析する。異常解析部４１１は、分析の結果に基づき当該異常事象の重要度を判定し、判定結果に基づき通知が必要とされた場合に、通知装置４３０に対して通知指令を出力する。
　通知装置４３０は、異常解析部４１１から出力された通知司令に応じて、異常事象の発生を示す通知を出力する。通知装置４３０は、この通知を視覚的な情報として出力してもよいし、音情報として出力してもよいし、これらを組み合わせてもよい。これに限らず、通知装置４３０は、他の装置に対して通知を出力してもよい。
　図３２および図３３は、第４の実施形態に係る異常検知システムによる処理を示す一例のフローチャートである。なお、図３２および図３３において、符号「Ａ」および「Ｂ」は、図３２と図３３との間で、対応する符号に処理が移行されることを示している。なお、図３２において、上述した図９のフローチャートと共通する処理については、適宜、省略して説明を行う。
　図３２に示される各処理は、異常検知システム４００に含まれる信号処理部１３ｂにおける各部により実行される。より具体的には、図３２において、左側に示すステップＳ６００～ステップＳ６０９の処理は、主に点群合成部１４０、３Ｄ物体検出部１４１および３Ｄ物体認識部１４２により実行される、３Ｄデータに関する処理となる。また、右側に示すステップＳ７００～ステップＳ７０６は、主に画像合成部１５０、２Ｄ物体検出部１５１および２Ｄ物体認識部１５２により実行される、２Ｄデータに関する処理となる。
　図３２において、ステップＳ６００～ステップＳ６０６の処理は、図９におけるステップＳ１００～ステップＳ１０６の処理と同様である。すなわち、ステップＳ６００で、点群合成部１４０は、光検出測距部１１の第１の走査モードによる角度範囲２００内の走査で計測された速度点群に基づき、速度点群フレームを取得する。
　次のステップＳ６０１で、３Ｄ物体検出部１４１は、ステップＳ６００で生成された速度点群フレームから、一定以上の速度絶対値を持つ点を抽出する。次のステップＳ６０２で、３Ｄ物体検出部１４１は、ステップＳ６０１で抽出された点のうち、一定の空間範囲に局在する速度点群の集合（局在速度点群）を生成する。
　次のステップＳ６０３で、３Ｄ物体検出部１４１は、ステップＳ６０２で生成された局在速度点群から、処理の対象とする１つの局在速度点群を抽出する。次のステップＳ６０４で、信号処理部１３は、３Ｄ物体検出部１４１により、抽出した局在速度点群に含まれる点の数が第１の定数以上であるか否かを判定する。３Ｄ物体検出部１４１は、当該点の数が第１の定数未満であると判定した場合（ステップＳ６０４、「Ｎｏ」）、処理をステップＳ６０３に戻し、ステップＳ６０２で生成された局在速度点群のうち次の局在速度点群を抽出し、処理を続行させる。
　３Ｄ物体検出部１４１は、当該点の数が第１の定数以上であると判定した場合（ステップＳ６０４、「Ｙｅｓ」）、処理をステップＳ６０５に移行させる。ステップＳ６０５で、３Ｄ物体検出部１４１は、対象の局在速度点群を含む例えば最小の領域の領域情報（位置、大きさ、姿勢）を推定し、３Ｄ領域情報を取得する。
　３Ｄ物体検出部１４１は、ステップＳ５０５で３Ｄ領域情報が取得されると、処理をステップＳ６０６に移行させると共に、後述するステップＳ７０１の処理に対して、３Ｄ領域情報を２Ｄ物体検出部１５１に渡す。ステップＳ６０６で、３Ｄ物体認識部１４２は、３Ｄ物体検出部１４１から局在速度点群と３Ｄ領域情報とを取得する。ステップＳ６０６の処理の後、処理は、後述するステップＳ６０７に移行される。
　一方、上述したステップＳ６００の合成画像フレームの取得処理と並行して、ステップＳ７００の処理が実行される。ステップＳ７００で、画像合成部１５０は、光検出測距部１１による角度範囲２００内の走査により取得した速度点群と、カメラ１２により取得した撮像画像とに基づき、合成画像フレームを生成する。
　ステップＳ７０１で、２Ｄ物体検出部１５１は、上述したステップＳ６０５で３Ｄ物体検出部１４１により推定された３Ｄ領域情報を取得する。２Ｄ物体検出部１５１は、取得した３Ｄ領域情報を用いて撮像全体画像から部分画像を抽出する。
　次のステップＳ７０２で、２Ｄ物体検出部１５１は、ステップＳ７０１で取得した部分画像が十分な情報量を持つか否かを判定する。例えば、２Ｄ物体検出部１５１は、当該部分画像の輝度や視認度に対する閾値比較により、情報量の判定を行う。視認度は、例えば部分画像に対するエッジ検出などにより取得することが考えられる。
　２Ｄ物体検出部１５１は、部分画像の情報量が十分ではないと判定した場合（ステップＳ７０２、「Ｎｏ」）、処理を、図３３のステップＳ８００に移行させる。一方、２Ｄ物体検出部１５１は、部分画像の情報量が十分であると判定した場合（ステップＳ７０２、「Ｙｅｓ」）、処理をステップＳ７０３に移行させる。
　ステップＳ７０３で、２Ｄ物体認識部１５２は、２Ｄ物体検出部１５１から部分画像を取得し、取得した部分画像に対して異常事象を認識する異常事象認識処理を実行する。２Ｄ物体認識部１５２は、異常事象認識処理の結果に基づき、異常事象に関する属性である異常事象属性情報を推定する。異常事象属性情報は、例えば、異常事象の種類、主体（人など）、規模などを適用することができる。
　２Ｄ物体認識部１５２は、例えば、異常事象の認識結果に基づく学習を行い、この学習により異常事象を認識するための学習モデルを生成してよい。これに限らず、２Ｄ物体認識部１５２は、既存の学習モデルを用いて、部分画像から異常事象を認識してよい。
　次のステップＳ７０４で、２Ｄ物体認識部１５２は、ステップＳ７０３による異常事象認識処理による認識結果の確信度が一定以上であるか否かを判定する。２Ｄ物体認識部１５２は、確信度が一定未満であると判定した場合（ステップＳ７０４、「Ｎｏ」）、処理を図３３のフローチャートのステップＳ８００に移行させる。一方、２Ｄ物体認識部１５２は、確信度が一定以上であると判定した場合（ステップＳ７０４、「Ｙｅｓ」）、処理をステップＳ７０５に移行させる。
　ステップＳ７０５で、３Ｄ物体認識部１４２は、撮像画像を撮像した時刻を示す時刻情報と、異常事象属性情報とを統合して、Ｉ／Ｆ部１６０に対して出力する。
　一方、上述したように、ステップＳ７０２で部分画像の情報量が十分ではないと判定された場合（ステップＳ７０２、「Ｎｏ」）、あるいは、ステップＳ７０４で確信度が一定未満であると判定された場合（ステップＳ７０４、「Ｎｏ」）、処理が図３３のステップＳ８００に移行される。
　ステップＳ７０５、あるいは、後述する図３３のフローチャートのステップＳ８０６の処理の後、処理がステップＳ７０６に移行される。ステップＳ７０６で、２Ｄ物体認識部１５２は、統合された時刻情報および異常事象属性情報を取得し、３Ｄ物体認識部１４２に対して出力する。
　図３２の左側の処理の説明に戻り、ステップＳ６０６からステップＳ６０７への移行に際し、３Ｄ物体認識部１４２は、ステップＳ７０６で２Ｄ物体認識部１５２から出力された時刻情報および異常事象属性情報を取得する。
　ステップＳ６０７で、３Ｄ物体認識部１４２は、ステップＳ６０２で生成された全ての局在速度点群に対する処理が終了したか否かを判定する。信号処理部１３は、生成された全ての局在速度点群に対する処理が終了していないと判定した場合（ステップＳ６０７、「Ｎｏ」）、処理をステップＳ６０３に戻し、ステップＳ６０２で生成された局在速度点群のうち次の局在速度点群を抽出し、処理を続行させる。
　一方、３Ｄ物体認識部１４２は、生成された全ての局在速度点群に対する処理が終了したと判定した場合（ステップＳ６０７、「Ｙｅｓ」）、処理をステップＳ６０８に移行させる。ステップＳ６０８で、３Ｄ物体認識部１４２は、生成された全ての局在速度点群について、時刻情報および異常事象属性情報をＩ／Ｆ部１６０に対して出力する。
　次のステップＳ６０９で、信号処理部１３ｂは、異常検知システム４００による監視動作が終了したか否かを判定する。信号処理部１３ｂは、監視動作が終了していないと判定した場合（ステップＳ６０９、「Ｎｏ」）、処理をステップＳ６００およびステップＳ７００に移行させ、次の速度点群フレームおよび画像フレームを取得する。
　一方、信号処理部１３ｂは、異常検知システム４００による監視動作が終了したと判定した場合（ステップＳ６０９、「Ｙｅｓ」）、この図３２のフローチャートによる一連の処理を終了させる。
　図３３のフローチャートによる処理について説明する。なお、図３３のフローチャートにおいて、上述した図２０のフローチャートと共通する処理については、適宜、省略して説明を行う。
　図３３において、ステップＳ８００で、局所走査制御部１７０は、３Ｄ物体認識部１４２から注目領域としての３Ｄ領域情報を取得し、取得した３Ｄ領域情報に基づき局所走査制御情報を生成する。局所走査制御部１７０は、生成した局所走査制御情報を、光検出測距部１１ａの走査部１００に入力する。
　次のステップＳ８０１で、光検出測距部１１ａは、走査モードが第１の走査モードから第２の走査モードに移行され、局所走査制御情報により指定された注目領域３２tgtに対する局所走査を開始する。この局所走査による計測結果に基づき、点群合成部１４０により例えば図９のフローチャートのステップＳ１００で説明した処理により合成点群フレームが取得される。さらに、３Ｄ物体検出部１４１により、同フローチャートのステップＳ１０１～ステップＳ１０３で説明した処理により局在速度点群が取得される。
　３Ｄ物体検出部１４１は、この局所走査により注目領域３２tgtから取得した計測結果に基づき、注目領域３２tgtに関する局所速度点群を抽出する。
　次のステップＳ８０２で、３Ｄ物体認識部１４２は、３Ｄ物体検出部１４１から局所速度点群を取得する。次のステップＳ８０３で、３Ｄ物体認識部１４２は、ステップＳ８０２で取得した局在速度点群に含まれる点の数が第２の定数以上であるか否かを判定する。３Ｄ物体認識部１４２は、当該点の数が第２の定数未満であると判定した場合（ステップＳ８０３、「Ｎｏ」）、図３３のフローチャートによる一連の処理を終了させ、処理が例えば図３２のフローチャートのステップＳ７０６に移行される。
　一方、３Ｄ物体認識部１４２は、当該点の数が第２の定数以上であると判定した場合（ステップＳ８０３、「Ｙｅｓ」）、処理をステップＳ８０４に移行させる。ステップＳ８０４で、３Ｄ物体認識部１４２は、ステップＳ８０２で取得した局在速度点群に対して異常事象認識処理を実行し、異常事象属性情報を推定する。３Ｄ物体認識部１４２による異常事象認識処理は、ステップＳ７０３で説明した、２Ｄ物体認識部１５２による異常事象認識処理と同様にして実行してよい。
　次のステップＳ８０５で、３Ｄ物体認識部１４２は、ステップＳ８０４の異常事象認識処理による認識結果の確信度が一定以上であるか否かを判定する。３Ｄ物体認識部１４２は、確信度が一定未満であると判定した場合（ステップＳ８０５、「Ｎｏ」）、図３３のフローチャートによる一連の処理を終了させ、処理が図３２のフローチャートのステップＳ７０６に移行される。一方、３Ｄ物体認識部１４２は、確信度が一定以上であると判定した場合（ステップＳ８０５、「Ｙｅｓ」）、処理をステップＳ８０６に移行させる。
　ステップＳ８０６で、３Ｄ物体認識部１４２は、ステップＳ８００で取得した３Ｄ領域情報と、ステップＳ８０４の異常事象認識処理の結果を示す認識情報とを統合する。ステップＳ８０６の処理の後、処理が図３２のフローチャートのステップＳ７０６に移行される。
　上述のように、第４の実施形態では、センサユニット１０ａにおいて光検出測距部１１ａの計測により取得した速度点群と、カメラ１２により撮影された撮像画像とに基づき、対象範囲において発生した異常事象を検知するようにしている。オブジェクトの動きに基づく異常事象の検知そのものは、速度点群を用いずとも可能である。第４の実施形態では、撮像画像に加えて速度点群を用いて、異常事象が発生した領域を注目領域として角度範囲を狭めて走査している。そのため、発生した異常事象をより詳細に解析することが可能となる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　対象物で反射されて受信された受信信号に基づく速度点群情報を元にした速度画像を前記対象物の情報として出力する、周波数連続変調波を用いた光検出測距装置と、
　前記対象物を撮像した撮像画像を前記対象物の情報として出力する固体撮像装置と、
を備え、
　前記光検出測距装置および前記固体撮像装置は、前記対象物の同一の側からの情報を取得するように配置される、
センシングシステム。
（２）
　前記固体撮像装置の解像度は、前記光検出測距装置の解像度よりも高い、
前記（１）に記載のセンシングシステム。
（３）
　それぞれ前記光検出測距装置と前記固体撮像装置とを含む複数のユニットを有し、
　前記複数のユニットのそれぞれは、前記対象物の互いに異なる側からの情報を取得するように配置される、
前記（１）または（２）に記載のセンシングシステム。
（４）
　前記光検出測距装置は、
　前記受信信号を走査する走査範囲を制御する走査制御部を有し、
　前記走査制御部は、
　前記走査範囲を走査する走査モードとして、第１の走査範囲を走査するように制御する第１の走査モードと、前記第１の走査範囲よりも狭い第２の走査範囲を走査するように制御する第２の走査モードと、を有する、
前記（１）乃至（３）の何れかに記載のセンシングシステム。
（５）
　前記第２の走査範囲は、前記第１の走査範囲に含まれる、
前記（４）に記載のセンシングシステム。
（６）
　前記光検出測距装置は、
　前記第１の走査モードにより第１の密度で前記速度点群情報を取得し、前記第２の走査モードにより前記第１の密度より高い第２の密度で前記速度点群情報を取得する、
前記（４）または（５）に記載のセンシングシステム。
（７）
　前記第２の走査範囲は、移動している前記対象物を含む、
前記（４）乃至（６）の何れかに記載のセンシングシステム。
（８）
　前記第２の走査範囲は、所定以上の速度で移動している人である前記対象物を含む、
前記（４）乃至（７）の何れかに記載のセンシングシステム。
（９）
　前記走査制御部は、
　前記固体撮像装置により撮影された前記撮像画像に基づき前記第１の走査モードから前記第２の走査モードに切り替える、
前記（４）乃至（８）の何れかに記載のセンシングシステム。
（１０）
　前記走査制御部は、
　前記撮像画像における、前記速度点群情報に基づき動きが検知された領域に対応する部分画像に基づき、前記第１の走査モードから前記第２の走査モードに切り替える、
前記（９）に記載のセンシングシステム。
（１１）
　前記走査制御部は、
　前記第１の走査モードにより第１の走査パターンで前記第１の走査範囲を走査し、前記第２の走査モードにより第２の走査パターンで前記第２の走査範囲を走査する、
前記（４）乃至（１０）の何れかに記載のセンシングシステム。
（１２）
　前記第２の走査パターンは、単位面積当たりの走査線数が前記第１の走査パターンより多い、
前記（１１）に記載のセンシングシステム。
（１３）
　前記光検出測距装置の出力と、前記固体撮像装置の出力と、に基づき移動している人を認識する認識部と、
　前記認識部により認識された前記移動している人を時系列で取得して人流を解析する人流解析部と、
をさらに備える、
前記（１）乃至（１２）の何れかに記載のセンシングシステム。
（１４）
　前記速度点群情報に基づき、前記撮像画像から前記対象物を含む部分画像を抽出する信号処理部と、
　前記部分画像に含まれる異常事象を認識する認識部と、
　前記光検出測距装置による前記受信信号を走査する走査範囲を制御する走査制御部と、
をさらに備え、
　前記走査制御部は、
　前記走査範囲を走査する走査モードとして、第１の走査範囲を走査するように制御する第１の走査モードと、前記第１の走査範囲よりも狭い第２の走査範囲を走査するように制御する第２の走査モードと、を有し、
　前記認識部が前記異常事態の認識を行うための十分な情報量を前記部分画像が有していない場合に、前記受信信号を走査する走査モードを、前記第１の走査モードから、前記部分画像の領域に対応する第２の走査範囲を走査する前記第２の走査モードに切り替える、
前記（１）乃至（１２）の何れかに記載のセンシングシステム。
１，１ａ，１ｂ，１ｃ　センシングシステム
３　空間
１０，１０1，１０2，１０ａ，１０ａ1，１０ａ2　センサユニット
１１，１１1，１１2，１１ａ　光検出測距部
１２，１２1，１２2　カメラ
１３，１３ａ，１３ｂ，１３ｃ　信号処理部
３０，３１　対象範囲
３２，３２tgt，３３　注目領域
４０，４７　移動物体
４１，４２　静的物体
４３　遮蔽領域
５０　距離画像
５１　速度画像
５２　合成画像
６０　速度点群
７０　合成画像フレーム
１００　走査部
１０１　走査制御部
１０２　角度検出部
１１０　送信光制御部
１１１　光送信部
１１２　光受信部
１１３　受信信号処理部
１２０　点群生成部
１４０，１４０ａ　点群合成部
１４１　３Ｄ物体検出部
１４２　３Ｄ物体認識部
１５０，１５０ａ　画像合成部
１５１，１５１ａ　２Ｄ物体検出部
１５２，１５２ａ　２Ｄ物体認識部
１６０，１６０ａ　Ｉ／Ｆ部
１７０　局所走査制御部
２００，２００ａ　角度範囲
２１０　走査線
２３１　局所走査領域
３００　人流解析システム
３２０　人流分析装置
３２１　人物認識部
３２２　人流解析部
３３０　人流ＤＢ
３４０　情報提示装置
３４１　マップ
４００　異常検知システム
４１０　異常分析装置
４１１　異常解析部
４２０　異常事象ＤＢ
４３０　通知装置

Claims (14)

  1. 　対象物で反射されて受信された受信信号に基づく速度点群情報を元にした速度画像を前記対象物の情報として出力する、周波数連続変調波を用いた光検出測距装置と、
    　前記対象物を撮像した撮像画像を前記対象物の情報として出力する固体撮像装置と、
    を備え、
    　前記光検出測距装置および前記固体撮像装置は、前記対象物の同一の側からの情報を取得するように配置される、
    センシングシステム。
  2. 　前記固体撮像装置の解像度は、前記光検出測距装置の解像度よりも高い、
    請求項１に記載のセンシングシステム。
  3. 　それぞれ前記光検出測距装置と前記固体撮像装置とを含む複数のユニットを有し、
    　前記複数のユニットのそれぞれは、前記対象物の互いに異なる側からの情報を取得するように配置される、
    請求項１に記載のセンシングシステム。
  4. 　前記光検出測距装置は、
    　前記受信信号を走査する走査範囲を制御する走査制御部を有し、
    　前記走査制御部は、
    　前記走査範囲を走査する走査モードとして、第１の走査範囲を走査するように制御する第１の走査モードと、前記第１の走査範囲よりも狭い第２の走査範囲を走査するように制御する第２の走査モードと、を有する、
    請求項１に記載のセンシングシステム。
  5. 　前記第２の走査範囲は、前記第１の走査範囲に含まれる、
    請求項４に記載のセンシングシステム。
  6. 　前記光検出測距装置は、
    　前記第１の走査モードにより第１の密度で前記速度点群情報を取得し、前記第２の走査モードにより前記第１の密度より高い第２の密度で前記速度点群情報を取得する、
    請求項４に記載のセンシングシステム。
  7. 　前記第２の走査範囲は、移動している前記対象物を含む、
    請求項４に記載のセンシングシステム。
  8. 　前記第２の走査範囲は、所定以上の速度で移動している人である前記対象物を含む、
    請求項４に記載のセンシングシステム。
  9. 　前記走査制御部は、
    　前記固体撮像装置により撮影された前記撮像画像に基づき前記第１の走査モードから前記第２の走査モードに切り替える、
    請求項４に記載のセンシングシステム。
  10. 　前記走査制御部は、
    　前記撮像画像における、前記速度点群情報に基づき動きが検知された領域に対応する部分画像に基づき、前記第１の走査モードから前記第２の走査モードに切り替える、
    請求項９に記載のセンシングシステム。
  11. 　前記走査制御部は、
    　前記第１の走査モードにより第１の走査パターンで前記第１の走査範囲を走査し、前記第２の走査モードにより第２の走査パターンで前記第２の走査範囲を走査する、
    請求項４に記載のセンシングシステム。
  12. 　前記第２の走査パターンは、単位面積当たりの走査線数が前記第１の走査パターンより多い、
    請求項１１に記載のセンシングシステム。
  13. 　前記光検出測距装置の出力と、前記固体撮像装置の出力と、に基づき移動している人を認識する認識部と、
    　前記認識部により認識された前記移動している人を時系列で取得して人流を解析する人流解析部と、
    をさらに備える、
    請求項１に記載のセンシングシステム。
  14. 　前記速度点群情報に基づき、前記撮像画像から前記対象物を含む部分画像を抽出する信号処理部と、
    　前記部分画像に含まれる異常事象を認識する認識部と、
    　前記光検出測距装置による前記受信信号を走査する走査範囲を制御する走査制御部と、
    をさらに備え、
    　前記走査制御部は、
    　前記走査範囲を走査する走査モードとして、第１の走査範囲を走査するように制御する第１の走査モードと、前記第１の走査範囲よりも狭い第２の走査範囲を走査するように制御する第２の走査モードと、を有し、
    　前記認識部が前記異常事象の認識を行うための十分な情報量を前記部分画像が有していない場合に、前記受信信号を走査する走査モードを、前記第１の走査モードから、前記部分画像の領域に対応する第２の走査範囲を走査する前記第２の走査モードに切り替える、
    請求項１に記載のセンシングシステム。
PCT/JP2021/041642 2021-03-17 2021-11-11 センシングシステム WO2022195954A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US18/550,069 US20240219567A1 (en) 2021-03-17 2021-11-11 Sensing system
JP2023506732A JPWO2022195954A1 (ja) 2021-03-17 2021-11-11
KR1020237029473A KR20230158474A (ko) 2021-03-17 2021-11-11 센싱 시스템
EP21931697.3A EP4310549A4 (en) 2021-03-17 2021-11-11 DETECTION SYSTEM
CN202180095514.8A CN116997821A (zh) 2021-03-17 2021-11-11 感测系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163162210P 2021-03-17 2021-03-17
US63/162,210 2021-03-17

Publications (1)

Publication Number Publication Date
WO2022195954A1 true WO2022195954A1 (ja) 2022-09-22

Family

ID=83320269

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/041642 WO2022195954A1 (ja) 2021-03-17 2021-11-11 センシングシステム

Country Status (7)

Country Link
US (1) US20240219567A1 (ja)
EP (1) EP4310549A4 (ja)
JP (1) JPWO2022195954A1 (ja)
KR (1) KR20230158474A (ja)
CN (1) CN116997821A (ja)
TW (1) TW202238172A (ja)
WO (1) WO2022195954A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230161000A1 (en) * 2021-11-24 2023-05-25 Smart Radar System, Inc. 4-Dimensional Radar Signal Processing Apparatus
WO2024214470A1 (ja) * 2023-04-10 2024-10-17 ソニーセミコンダクタソリューションズ株式会社 計測システム、計測装置、および計測方法
WO2025033101A1 (ja) * 2023-08-10 2025-02-13 株式会社小糸製作所 測定装置、測定装置の測定方法、および、測定装置の製造方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152287A (zh) * 2021-11-22 2023-05-23 北京图森智途科技有限公司 一种数据处理方法、装置和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003272061A (ja) 2002-03-13 2003-09-26 Omron Corp 監視装置
JP2018138930A (ja) * 2016-02-24 2018-09-06 パナソニックＩｐマネジメント株式会社 変位検出装置および変位検出方法
JP2019101000A (ja) 2017-12-08 2019-06-24 コニカミノルタ株式会社 測距点群データ測定システム、および制御プログラム
JP2019114280A (ja) 2014-09-26 2019-07-11 日本電気株式会社 物体追跡装置、物体追跡システム、物体追跡方法、表示制御装置、物体検出装置、プログラムおよび記録媒体
JP2020080147A (ja) * 2018-11-13 2020-05-28 株式会社東芝 保全活動サポートシステムおよび保全活動サポート方法
JP2020087464A (ja) * 2018-11-15 2020-06-04 トヨタ リサーチ インスティテュート，インコーポレイティド ３ｄデータを２ｄ画像データに登録するためのシステム及び方法
WO2020116195A1 (ja) * 2018-12-07 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
CN112859033A (zh) * 2021-02-23 2021-05-28 加特兰微电子科技(上海)有限公司 目标探测的方法、装置及相关设备
JP2021527227A (ja) * 2018-09-05 2021-10-11 ブラックモア センサーズ アンド アナリティクス エルエルシー コヒーレントｌｉｄａｒのピッチ−キャッチスキャニングのための方法およびシステム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018067158A1 (en) * 2016-10-06 2018-04-12 Strobe, Inc. Lidar system
US10663596B2 (en) * 2017-09-15 2020-05-26 Aeye, Inc. Ladar receiver with co-bore sited camera
US11567209B2 (en) * 2018-01-23 2023-01-31 Innoviz Technologies Ltd. Distributed LIDAR systems and methods thereof
US10491885B1 (en) * 2018-06-13 2019-11-26 Luminar Technologies, Inc. Post-processing by lidar system guided by camera information

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003272061A (ja) 2002-03-13 2003-09-26 Omron Corp 監視装置
JP2019114280A (ja) 2014-09-26 2019-07-11 日本電気株式会社 物体追跡装置、物体追跡システム、物体追跡方法、表示制御装置、物体検出装置、プログラムおよび記録媒体
JP2018138930A (ja) * 2016-02-24 2018-09-06 パナソニックＩｐマネジメント株式会社 変位検出装置および変位検出方法
JP2019101000A (ja) 2017-12-08 2019-06-24 コニカミノルタ株式会社 測距点群データ測定システム、および制御プログラム
JP2021527227A (ja) * 2018-09-05 2021-10-11 ブラックモア センサーズ アンド アナリティクス エルエルシー コヒーレントｌｉｄａｒのピッチ−キャッチスキャニングのための方法およびシステム
JP2020080147A (ja) * 2018-11-13 2020-05-28 株式会社東芝 保全活動サポートシステムおよび保全活動サポート方法
JP2020087464A (ja) * 2018-11-15 2020-06-04 トヨタ リサーチ インスティテュート，インコーポレイティド ３ｄデータを２ｄ画像データに登録するためのシステム及び方法
WO2020116195A1 (ja) * 2018-12-07 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
CN112859033A (zh) * 2021-02-23 2021-05-28 加特兰微电子科技(上海)有限公司 目标探测的方法、装置及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4310549A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230161000A1 (en) * 2021-11-24 2023-05-25 Smart Radar System, Inc. 4-Dimensional Radar Signal Processing Apparatus
WO2024214470A1 (ja) * 2023-04-10 2024-10-17 ソニーセミコンダクタソリューションズ株式会社 計測システム、計測装置、および計測方法
WO2025033101A1 (ja) * 2023-08-10 2025-02-13 株式会社小糸製作所 測定装置、測定装置の測定方法、および、測定装置の製造方法

Also Published As

Publication number Publication date
EP4310549A4 (en) 2024-08-21
US20240219567A1 (en) 2024-07-04
KR20230158474A (ko) 2023-11-20
CN116997821A (zh) 2023-11-03
TW202238172A (zh) 2022-10-01
EP4310549A1 (en) 2024-01-24
JPWO2022195954A1 (ja) 2022-09-22

Similar Documents

Publication Publication Date Title
US11422265B2 (en) Driver visualization and semantic monitoring of a vehicle using LiDAR data
WO2022195954A1 (ja) センシングシステム
TWI709943B (zh) 深度估計裝置、自動駕駛車輛及其深度估算方法
CN103852754B (zh) 飞行时间(tof)测量系统中的干扰抑制的方法
US9432593B2 (en) Target object information acquisition method and electronic device
WO2022126427A1 (zh) 点云处理方法、点云处理装置、可移动平台和计算机存储介质
CN110325879A (zh) 用于压缩三维深度感测的系统和方法
US20060221250A1 (en) Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
JP7594539B2 (ja) ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法
JP6772639B2 (ja) 視差演算システム、移動体及びプログラム
KR20200071960A (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
WO2022135594A1 (zh) 目标物体的检测方法及装置、融合处理单元、介质
US20220221584A1 (en) Laser radar and method for generating laser point could data
JP2018031776A (ja) ステレオ三角測量のためのシステム及び方法
WO2021111747A1 (ja) 画像処理装置、監視システム、及び画像処理方法
JP4691701B2 (ja) 人数検出装置及び方法
EP3276576A1 (en) Disparity estimation by fusion of range data and stereo data
US20250224516A1 (en) Information processing apparatus, system, information processing method, information processing program, and computer system
US20240151853A1 (en) Measurement device, measurement method, and information processing device
US20220003875A1 (en) Distance measurement imaging system, distance measurement imaging method, and non-transitory computer readable storage medium
US20250028047A1 (en) Detection of hidden object using non-line-of-sight (nlos) imaging
EP4509878A1 (en) Laser radar point cloud processing method and apparatus
Kong et al. High-resolution single-photon LiDAR without range ambiguity using hybrid-mode imaging
CN112364741B (zh) 无人机单目远距离障碍检测方法、装置及无人机
US12051152B2 (en) Method and system for generating a colored tridimensional map

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21931697

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023506732

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202180095514.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18550069

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2021931697

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021931697

Country of ref document: EP

Effective date: 20231017

WWW Wipo information: withdrawn in national office

Ref document number: 1020237029473

Country of ref document: KR

WWW Wipo information: withdrawn in national office

Ref document number: 2021931697

Country of ref document: EP