WO2023113246A1 - 움직임 보정을 통한 운전자 호흡수 추출 장치 및 그 방법 - Google Patents
움직임 보정을 통한 운전자 호흡수 추출 장치 및 그 방법 Download PDFInfo
- Publication number
- WO2023113246A1 WO2023113246A1 PCT/KR2022/017572 KR2022017572W WO2023113246A1 WO 2023113246 A1 WO2023113246 A1 WO 2023113246A1 KR 2022017572 W KR2022017572 W KR 2022017572W WO 2023113246 A1 WO2023113246 A1 WO 2023113246A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- signal
- driver
- motion
- current time
- phase signal
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 156
- 238000012937 correction Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000005540 biological transmission Effects 0.000 claims abstract description 9
- 230000001131 transforming effect Effects 0.000 claims abstract description 5
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 85
- 230000036387 respiratory rate Effects 0.000 claims description 63
- 238000000605 extraction Methods 0.000 claims description 29
- 238000011002 quantification Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000007423 decrease Effects 0.000 claims description 6
- 230000000241 respiratory effect Effects 0.000 abstract description 10
- 230000009466 transformation Effects 0.000 abstract 3
- 238000010586 diagram Methods 0.000 description 24
- 230000008859 change Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 230000001788 irregular Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000036391 respiratory frequency Effects 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 206010006334 Breathing abnormalities Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000002565 electrocardiography Methods 0.000 description 2
- 238000002567 electromyography Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 208000008784 apnea Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000035565 breathing frequency Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 208000000122 hyperventilation Diseases 0.000 description 1
- 230000000870 hyperventilation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Measuring devices for evaluating the respiratory organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb occurring during breathing
Definitions
- the present invention relates to an apparatus and method for extracting a driver's respiratory rate through motion compensation, and more particularly, to a motion correction capable of more accurately extracting a driver's respiratory rate by correcting a distorted breathing signal generated in a driver's movement section. It relates to a driver's respiratory rate extraction device and method through
- driver bio-signal monitoring methods monitor factors outside the body by detecting driver's eyelid movements, head nods, electromyography (EMG) and electrocardiography (ECG) through cameras and motion sensors inside the vehicle.
- EMG electromyography
- ECG electrocardiography
- the existing method has difficulty in directly recognizing the driver's movement in a low-light environment such as night driving.
- the method of using the EMG and ECG sensors has problems such as requiring physical contact between the driver's skin and the sensor or occupying a large space inside the vehicle for installing the sensor.
- Bio-signal monitoring using FMCW (Frequency Modulated Continuous Wave) radar is a non-contact method using electromagnetic waves and has the advantage of low power consumption and small packaging, thus solving the problems of the existing method.
- Existing methods for monitoring the driver's vital signs estimate the respiratory rate in a situation where the driver's condition is stable and the driver's movement is not considered.
- FMCW radar is a telecommunication equipment using electromagnetic waves.
- the driver's movement causes irregular fluctuations in the radar signal, which reduces the accuracy of bio-signal monitoring using the FMCW radar. Therefore, in order to increase the accuracy of signal extraction, it is necessary to correct the breathing signal reflecting the driver's movement in the moving situation.
- An object of the present invention is to provide an apparatus and method for extracting a driver's respiration rate through motion compensation capable of accurately extracting a driver's respiration rate by correcting distortion of a respiration signal due to movement in a driver's movement situation.
- the present invention is a method for extracting a driver's breathing rate performed by a driver's breathing rate extraction device, comprising the steps of receiving a signal transmitted through a radar and reflected from a target, and generating a signal using a transmission signal and a reception signal of the radar. Fast Fourier transforming an intermediate frequency signal and extracting a phase signal from the fast Fourier transform signal, and using the deviation between the fast Fourier transform signal at the current time and the fast Fourier transform signal at the previous time, the motion index of the target at the current time is calculated. Calculating, correcting the phase signal extracted from the fast Fourier transform signal at the current time using the motion index, and extracting the respiratory rate of the target at the current time using the corrected phase signal. It provides a driver's respiratory rate extraction method comprising a.
- the calculating of the motion index may include the motion index at the current time point. can be calculated by the equation below.
- k is a distance index corresponding to the distance resolution index of the radar
- t is a current time point
- t-1 is a previous time point
- the fast Fourier transform signal at the current time represents the fast Fourier transform signal at the previous point in time.
- the step of correcting the phase signal may include calculating a motion quantification value corresponding to the motion index of the current view using a sigmoid function that quantifies the motion index to a value between 0 and 1; and
- the method may include calculating a phase signal correction value at the current view using a motion quantification value at the current view, the phase signal at the current view, and a pre-corrected phase signal at a previous view.
- the motion quantification value can be calculated using the sigmoid function below.
- the motion index represents the threshold value of the motion index.
- the output corresponding to the motion quantification value converges to 0 as the motion index increases above the threshold value, and the output converges to 1 as the motion index value decreases below the threshold value, and the output corresponding to the threshold value If equal, the output can be set to a value of 0.5.
- the step of correcting the phase signal is a phase signal correction value at the current time using the following equation.
- Is the phase signal at the current time denotes a phase signal at a time immediately before the pre-correction.
- a window may be applied for each hour to the phase signal correction value calculated according to time, and the respiration rate of the target may be extracted for each time from a frequency component analyzed within the window.
- a signal acquisition unit for receiving a signal transmitted through a radar and reflected from a target, and a fast Fourier transform of an intermediate frequency signal generated using a transmission signal and a reception signal of the radar, and a fast Fourier transform signal
- a signal processing unit extracting a phase signal from the current view, a calculation unit calculating a motion index of the target at the current view using a deviation between the fast Fourier transform signal at the current view and the fast Fourier transform signal at the previous view, and the fast Fourier transform at the current view.
- a driver's breathing rate extraction device including a correction unit for correcting a phase signal extracted from a signal using the motion index, and an extraction unit for extracting a target's breathing rate for a current time point using the corrected phase signal.
- the respiration signal can be accurately extracted by correcting the distortion of the respiration signal due to the driver's movement in the driver's movement situation, and the driver's respiration rate can be accurately estimated from the extracted respiration signal.
- FIG. 1 is a diagram showing the configuration of a driver's respiratory rate extraction device according to an embodiment of the present invention.
- FIG. 2 is a diagram illustrating a method for extracting a driver's respiratory rate using the apparatus of FIG. 1 .
- FIG. 3 is a diagram showing an example of a driver's breathing signal measured by FMCW radar.
- FIG. 4 is a diagram showing the accuracy of a motion index for detecting a driver's motion according to an embodiment of the present invention.
- FIG. 5 is a diagram illustrating a relationship function between a motion index and a motion quantification value according to an embodiment of the present invention.
- FIG. 6 is a diagram showing an example of correcting a distorted phase signal in a driver's movement section according to an embodiment of the present invention.
- FIG. 7 is a diagram showing the result of calculating the number of breaths per minute of a driver using a corrected phase signal according to an embodiment of the present invention.
- FIG. 8 is a diagram showing the specifications of an FMCW radar for an embodiment of the present invention.
- FIG. 9 is a diagram showing an in-vehicle test environment according to an embodiment of the present invention.
- FIG. 10 is a diagram showing respiration signals and respiration rate estimation results for driving situations (situations 1 and 2) in which the driver does not move in an embodiment of the present invention.
- FIG. 11 is a diagram showing respiration signals and respiration rate estimation results for driving situations (situations 3 and 4) accompanied by a driver's motion in an embodiment of the present invention.
- FIG. 12 is a diagram showing respiration signals and respiration rate estimation results for driving situations (situations 5, 6, and 7) accompanied by a driver's motion in an embodiment of the present invention.
- the present invention relates to a method for extracting a driver's respiratory rate through motion correction, and proposes a method for more accurately extracting a driver's respiratory rate by correcting a distorted breathing signal according to a driver's movement.
- FIG. 1 is a diagram showing the configuration of a driver's respiratory rate extraction device according to an embodiment of the present invention.
- the respiratory rate extraction device 100 includes a signal acquisition unit 110, a signal processing unit 120, a calculation unit 130, a correction unit 140 and an extraction unit 150, and an FMCW radar. (10) may be further included.
- the operation of each unit 110 to 150 and the flow of data between each unit may be controlled by a controller (not shown).
- FMCW radar is divided into several types according to the modulation scheme of the transmission and reception signals.
- the use of a frequency modulated continuous wave (FMCW) radar using component modulation in terms of frequency is exemplified.
- the FMCW radar 10 transmits a chirp signal using a linearly increasing frequency.
- the signal acquisition unit 110 may receive and acquire a signal reflected from a target after transmission through the FMCW radar 10 .
- the FMCW radar 10 may transmit a linearly modulated frequency signal, receive a signal reflected from a target, and transmit the signal to the signal processing unit 120 .
- the FMCW radar 10 may be embedded in a seat of a vehicle or installed in the front of the vehicle.
- the signal processing unit 120 may generate an intermediate frequency (IF) signal using the transmitted signal and the received signal of the FMCW radar 10, perform Fast Fourier Transform (FFT), and obtain the fast Fourier transform signal from the signal. Phase signals can be extracted.
- the signal processing unit 120 may transmit the fast Fourier transform signal generated by time to the calculation unit 130 and may transmit the phase signal extracted by time to the correction unit 140 .
- the calculator 130 may calculate a motion index of the target at the current time point by using a deviation between the Fast Fourier Transform signal at the current time point and the Fast Fourier Transform signal at the previous time point.
- the calculation unit 130 may calculate the movement index of the target according to time in this way and transfer it to the correction unit 140 .
- the correction unit 140 may correct the phase signal included in the fast Fourier transform signal at the current time by using the motion index calculated by the operation unit 130 .
- the correction unit 140 may acquire the phase signal correction value every hour and transmit it to the extraction unit 150 .
- the extraction unit 150 extracts the respiratory rate of the target at the current time point using the phase signal corrected by the correction unit 140 .
- the extraction unit 150 may estimate the respiratory rate of the target for each hour based on the phase signal correction value obtained through the correction unit 140 every hour.
- FIG. 2 is a diagram illustrating a method for extracting a driver's respiratory rate using the apparatus of FIG. 1 .
- the signal acquisition unit 110 acquires the received signal reflected from the target after being transmitted from the FMCW radar 10 over time (S210).
- the signal processing unit 120 generates an intermediate frequency signal (IF signal) using the transmission signal and the reception signal of the FMCW radar 10 and performs fast Fourier transform (S220).
- IF signal intermediate frequency signal
- S220 fast Fourier transform
- the signal processing unit 120 mixes the radar transmission signal and the received signal through a mixer and passes the mixed signal through a low-pass filter to obtain an intermediate frequency signal as shown in Equation 1 below. can be extracted.
- the linear frequency increase rate of the chirp signal is the chirp duration, is the delay time between the transmitted and received signals, is the carrier frequency, represents the magnitude of the radar signal.
- Equation 1 can be approximated as Equation 2 below.
- the FMCW radar 10 estimates the distance to the target using the frequency and phase of the intermediate frequency signal.
- the time delay between the transmitted and received signals is affected by the phase component due to the change in the position of the object. is converted to Is and c is the speed of light.
- Equation 3 represents the phase component of the current radar signal.
- n is the sampling index of the chirp and d represents the distance from the target.
- Equation 4 The result of fast Fourier transform of the intermediate frequency signal of Equation 3 is shown in Equation 4 below.
- N is the number of chirp samples
- k represents the range index corresponding to the range resolution index of the FMCW radar.
- the range index can be determined within the radar measurement range, and the measurement range can be predefined by product standards or preset by the user.
- biosignals such as respiration or heartbeat are detected by extracting a phase change from a signal obtained by fast Fourier transforming an intermediate frequency signal over time.
- the signal processing unit 120 is a fast Fourier transform signal
- a phase signal for each time can be extracted using Equation 5 below, and the extracted phase signal can be transmitted to the correction unit 140.
- FIG. 3 is a diagram showing an example of a driver's breathing signal measured by FMCW radar.
- 3(a) is an image of the driver's IF signal (intermediate frequency signal), and the color bar on the right represents the amplitude of the IF signal.
- Time on the horizontal axis is the radar scan time, and n on the vertical axis represents the sampling time of the chirp.
- the section where the driver's movement occurs is indicated as Movement at the top of the figure.
- the displacement difference per hour of the radar signal due to the driver's breathing may form an irregular waveform. It can be seen that the irregular distortion of the breathing signal occurred in the movement section, and it can be seen that the driver's breathing signal is regular in other parts.
- Figure 4(b) shows the result of comparing the respiration signal derived from the IF signal and the reference respiration signal (Reference) derived from the reference sensor.
- the respiration signal was derived from the phase component of the radar signal obtained after fast Fourier transform processing of the IF signal.
- the phase component was derived from a radar signal within a specific range.
- the specific range refers to the distance between the radar and the driver and was extracted using the Magnitude-Phase Coherency (MPC) technique.
- MPC Magnitude-Phase Coherency
- the embodiment of the present invention calculates the driver's movement index every hour and corrects the phase signal therefrom.
- the calculation unit 130 calculates a motion index of the target at the current time point using the deviation between the fast Fourier transform signal at the current time point and the previous time point (S230).
- the calculation unit 130 is a motion index at the current time. Can be calculated by Equation 6 below.
- k is the distance index corresponding to the range resolution index of the radar
- t is the current time point
- t-1 is the previous time point
- the fast Fourier transform signal at the current time represents the fast Fourier transform signal at the previous point in time.
- the breathing signal in the movement section is a distorted signal, and in order to correct the radar signal irregularly distorted by the movement, the difference in magnitude of the radar signal between the current and the previous one is used as a movement indicator.
- FIG. 4 is a diagram showing the accuracy of a motion index for detecting a driver's motion according to an embodiment of the present invention.
- Figure 4 (a) shows the driver's breathing signal and the driver's movement index value derived from a driving situation in which the driver's movement exists
- Figure 4 (b) shows an acceleration sensor worn on the driver's chest, right arm, and right foot. Indicates the driver's body acceleration value measured by .
- the radar signal was measured through a radar installed inside the driver's car seat.
- the motion index derived from the radar signal according to an embodiment of the present invention is compared with the actual driver's acceleration value detected through the acceleration sensor.
- the correction unit 140 corrects the phase signal included in the fast Fourier transform signal at the current time by using the motion index (S240).
- the correction unit 140 is the current phase signal shown in Equation 5.
- the motion index of Equation 6 The phase signal correction value for the current point in time by correcting using can be obtained.
- the correction unit 140 is a motion index at the current time point.
- Motion quantification value corresponding to Can be calculated using the sigmoid function shown in Equation 7 below.
- the movement index represents the threshold of the motion index, denotes the slope (slope) coefficient.
- the threshold may be set as an average value of motion indicators for the entire measurement time up to now.
- the motion index can be quantified as a value between 0 and 1.
- FIG. 5 is a diagram illustrating a relationship function between a motion index and a motion quantification value according to an embodiment of the present invention.
- the motion index Output corresponding to the motion quantification value as the value increases above the threshold It can be seen that the output converges to 1 as it converges to 0 and decreases below the threshold value, and the output is set to a value of 0.5 when it is equal to the threshold value.
- the embodiment of the present invention corrects the distorted radar signal using the motion quantification value in order to detect breathing more accurately than the existing breathing detection method in the driver's motion situation.
- the correction unit 140 calculates the motion quantification value at the current point in time. and the current phase signal and the pre-corrected phase signal at the immediately preceding point in time
- the extraction unit 150 extracts the respiratory rate of the target at the current time using the corrected phase signal as above (S250).
- the extraction unit 150 calculates the phase signal correction value over time by Equation 8. It is possible to apply a window for each hour and extract the target's respiration rate for each hour from the frequency components analyzed within the window.
- the window means a time window
- the target's respiration rate at the current time point is estimated by applying a window of a set time length to past data including the current time point for each hour and analyzing frequency components within the window.
- a sliding window method can be applied for real-time respiratory rate detection.
- a fast Fourier transform (FFT) may be used for frequency analysis.
- the extractor 150 uses Equation 9 below to final correct the phase signal.
- a window is applied to and FFT processing is performed to analyze the frequency component.
- M is the window length, time, means frequency.
- the respiratory rate of the target can be extracted.
- the extractor 150 performs a fast Fourier transform on the data on the window applied at the current point in time t and detects a plurality of peak frequencies ( ) to the respiratory frequency value determined from the window at the previous time point (t-1) ( ) and individual comparisons, the peak frequency with the minimum frequency deviation (min) is the respiratory frequency value ( ) to determine
- the respiratory frequency value determined at the current time point (t) ( ) can be applied to the following Equation 11 to calculate the respiratory rate (RR) of the target at the current time point (t).
- 6 is a diagram showing an example of correcting a distorted phase signal in a driver's movement section according to an embodiment of the present invention. 6 shows a process of correcting a phase signal distorted by motion and a change in a corresponding frequency component.
- (a) of FIG. 6 corresponds to a correction process of a distorted signal, is the phase signal before correction, Is the motion quantification value by Equation 7, Represents the phase signal after correction by Equation 8. Looking at the phase signal before correction, it can be seen that the signal is greatly distorted in the driver's motion occurrence section.
- the phase signal may be corrected using the motion quantization value. Due to driver movement converges to 0, and at this time, the phase component can be corrected through Equation 8 reflecting this. Looking at the phase signal after correction, it can be confirmed that the phase signal is corrected in the driver's movement occurrence section.
- 6(b) shows frequency components of the driver observed at a point in time when the driver is not in a dynamic state in order to check the correction accuracy of the distortion signal.
- the frequency extracted from the corrected driver's breathing signal is compared with the frequency of the non-corrected signal, it can be confirmed that it matches the frequency (Reference) of the actual breathing signal. As such, it can be confirmed that the driver's breathing signal distorted by the motion is corrected through the frequency component comparison.
- FIG. 7 is a diagram showing the result of calculating the number of breaths per minute of a driver using a corrected phase signal according to an embodiment of the present invention.
- the driver's respiratory rate was estimated by peak tracking using the frequency components of the driver's vital signs.
- Figure 7 shows the frequency components of the original phase signal and the distorted phase signal
- (c) shows the result of estimating the respiratory rate from the distorted phase signal.
- the respiratory rate estimated in the movement including the driver's movement is less accurate than the reference respiratory rate.
- the reference respiratory rate corresponds to the correct respiratory rate measured by the sensor.
- FIG. 7 shows the frequency component extracted from the phase signal corrected by the method proposed in Equation 8.
- the frequency value of the corrected phase signal is strongly confirmed at 0.35 to 0.4 Hz, and it can be seen that it is similar to the original signal.
- Figure 7 (d) shows the respiratory rate estimated using the peak tracking technique to verify the accuracy of the signal correction. It can be seen that the respiration rate estimated from the corrected phase signal coincides with the actual respiration rate and the estimation accuracy is high.
- FIG. 8 is a diagram showing the specifications of an FMCW radar for an embodiment of the present invention. All experimental procedures and recordings were performed using the FMCW radar (Bitsensing INC, Korea) shown in FIG. 8, and the proposed algorithm was implemented using the parameters shown in FIG. A radar of this specification can detect objects in front within a range of 0-3.187 m.
- FIG. 9 is a diagram showing an in-vehicle test environment according to an embodiment of the present invention.
- FIG. 9 shows an experimental environment for detecting driver's biological signals equipped with a car seat for an actual vehicle and equipment for realizing an actual driving situation.
- a baseline respiratory rate for comparison was measured using a respiratory monitoring belt sensor (Neulog Inc, Israel).
- FIG. 9 shows the attachment position of the corresponding sensor, and the motion of the driver was measured using a motion capture device, Perception Neuron Studio (Noitom Inc, China). At this time, among 14 motion sensors attachable to the human body, acceleration values obtained from three sensors worn on the chest, right wrist, and right foot were used.
- the radar is installed inside the car seat so as to face the center of the driver's chest as shown in (b) of FIG. 7 .
- the driver's vital signals were monitored for the seven driving situations in Table 1 according to the driver's movement.
- FIG. 10 is a diagram showing respiration signals and respiration rate estimation results for driving situations (situations 1 and 2) in which the driver does not move.
- FIG. 10 (a) and (b) are respiration signal measurement data for situations 1 and 2 (going straight 1 and 2) in Table 1. Since the driver does not move, the measured respiration signal is regular and the signal correction index The value is 1.
- Figure 10 (c), (d) shows the respiration rate estimation results for the previous two situations, the respiration rate estimated from the frequency component of the respiration signal using the peak value tracking for the two situations coincides with the reference respiration rate can confirm that
- FIG. 11 is a diagram showing respiration signals and respiration rate estimation results for driving situations (situations 3 and 4) accompanied by a driver's motion in an embodiment of the present invention.
- FIG. 11 show the result of estimating the driver's breathing signal and respiratory rate for driving conditions of a direction change, that is, a left turn and a right turn, respectively.
- the irregular distortion of the driver's breathing signal can be corrected by Equation 8 in the direction change situation. From the results of (c) and (d) of FIG. 11, it can be seen that the respiratory rate estimated from the driver's respiratory signal corrected according to the embodiment of the present invention has a high correlation with the reference respiratory rate measured by the actual sensor. there is.
- FIG. 12 is a diagram showing respiration signals and respiration rate estimation results for driving situations (situations 5, 6, and 7) accompanied by a driver's motion in an embodiment of the present invention.
- FIG. 12 shows the result of estimating the driver's respiratory signal and respiratory rate in a driving situation including complex movements such as deceleration, acceleration, and straight ahead and lane change.
- a sudden stop causes a large movement of the driver's body. Therefore, in this case, the variability of the motion index is higher than that of other driving situations.
- the movement index is relatively small because the driver's movement is smaller than the situation in which the driver suddenly stops.
- the distorted breathing signal of the driver is corrected by detecting the section in which the driver is moving.
- FIG. 12 shows that the breathing signal during a lane change is similar to a direction change situation, but is related to a relatively small movement of the driver's body. Although the distortion of the breathing signal is caused by the body movement, relatively little change in the movement index is observed because there is almost no change in the body movement when changing lanes.
- the following describes the accuracy analysis results for the respiratory rate estimation technique according to an embodiment of the present invention.
- the average error and accuracy of the respiratory rate estimated from the corrected respiratory signals according to the driving situation of each driver were calculated.
- the accuracy represents the absolute difference between the reference respiratory rate and the respiratory rate estimated from the estimated respiratory signal, and the average error was estimated by the standard deviation of the respiratory rate.
- the respiratory rate estimated from the corrected respiratory signal has a smaller error compared to the reference respiratory rate than the respiratory rate estimated from the respiratory signal before correction.
- the p-value is an index representing the confidence interval of the result, and when p-value ⁇ 0.05, it means that the two groups compared at a confidence level of about 95% remain significantly different.
- the two groups compared represent the results of the respiratory rate extracted from the pre-correction signal and the respiratory rate extracted from the corrected signal, respectively. Since the p-value for each situation is less than 0.05, it can be seen that the difference between the two compared groups is significant at the 95% confidence level.
- the respiration signal can be accurately extracted by correcting the distortion of the respiration signal due to the driver's movement in the driver's movement situation, and the driver's respiration rate can be accurately estimated from the extracted respiration signal.
- the proposed signal correction technique can be usefully applied to monitoring bio-signals in all fields where motion exists during monitoring.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Pulmonology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은 움직임 보정을 통한 운전자 호흡수 추출 장치 및 그 방법에 관한 것이다. 본 발명에 따르면, 레이더를 통해 송출된 후 타겟으로부터 반사된 신호를 수신하는 단계와, 상기 레이더의 송신 신호와 수신 신호를 이용하여 생성한 중간 주파수 신호를 고속 푸리에 변환하는 단계와, 현재 시점의 고속 푸리에 변환 신호와 직전 시점의 고속 푸리에 변환 신호 간의 편차를 이용하여 현재 시점의 타겟의 움직임 지표를 산출하는 단계와, 현재 시점의 고속 푸리에 변환 신호에 포함된 위상 신호를 상기 움직임 지표를 이용하여 보정하는 단계, 및 상기 보정된 위상 신호를 이용하여 현재 시점에 대한 타겟의 호흡수를 추출하는 단계를 포함하는 호흡수 추출 방법을 제공한다. 본 발명에 따르면, 운전자의 움직임 상황에서 호흡 신호의 왜곡을 보정하여 호흡 신호를 정확하게 추출할 수 있고, 운전자의 호흡수를 정확하게 추정할 수 있다.
Description
본 발명은 움직임 보정을 통한 운전자 호흡수 추출 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 운전자의 움직임 구간에서 발생되는 왜곡된 호흡 신호를 보정하여 운전자의 호흡수를 보다 정확하게 추출할 수 있는 움직임 보정을 통한 운전자 호흡수 추출 장치 및 그 방법에 관한 것이다.
운전이 일상생활에서 큰 부분을 차지하게 되면서, 다양한 요인으로 인한 교통사고 발생률이 증가하고 있다. 무호흡이나 과호흡과 같은 운전자 호흡 이상과 졸음 운전은 매년 교통사고 주요 원인 중 하나이다. 최근 연구에 따르면 교통사고의 약 20%가 졸음으로 인한 것으로 전체 교통 사고의 많은 부분을 차지한다. 운전자의 호흡 이상 및 졸음 운전을 사전에 감지하고 실시간으로 측정을 할 수 있다면 대형 사고를 예방할 수 있다. 이와 관련하여 매우 정확한 운전자 생체 모니터링 연구가 필요하다.
기존 운전자 생체 신호 모니터링 방법은 차량 내부의 카메라와 모션 센서를 통해 운전자의 눈꺼풀 움직임, 고개 끄덕임, 혹은 근전도(EMG, Electromyography) 및 심전도(ECG, electrocardiography) 등을 탐지하여 신체 외적인 요인을 모니터링하였다. 그러나 기존의 방식은 야간 운전과 같이 저 조도 환경에서 운전자의 움직임을 직접적으로 인식하는데 어려움이 있었다. 또한 EMG 및 ECG 센서를 사용하는 방법은 운전자의 피부와 센서가 물리적으로 접촉해야 하거나, 센서 설치를 위하여 차량 내부 공간을 크게 차지해야 하는 등의 문제점이 있었다.
FMCW(Frequency Modulated Continuous Wave, 주파수 변조 연속파) 레이더를 이용한 생체 신호 모니터링은 전자파를 이용한 비 접촉식 방식으로 소비 전력이 낮고 패키징이 작은 장점이 있어 기존 방식이 가진 문제점을 해결하였다. 운전자의 생체 신호를 모니터링 하는 기존의 방법은 운전자의 상태가 안정적이고 운전자의 움직임이 고려되지 않은 상황에서 호흡수를 추정한다. 그러나 실제 운전 환경에서 운전 중 운전자의 움직임과 같은 외부 요인으로 인하여 생체 신호를 정확하게 모니터링 하는 것은 매우 어렵다.
FMCW 레이더는 전자파를 이용한 원거리 통신 장비이다. 이 경우 운전자의 움직임은 레이더 신호에 불규칙한 변동을 발생시키며, 이는 FMCW 레이더를 이용한 생체 신호 모니터링의 정확도를 감소시킨다. 따라서 신호 추출의 정확도를 높이기 위해서는 움직임 상황에서 운전자의 움직임을 반영한 호흡 신호를 보정할 필요성이 있다.
본 발명의 배경이 되는 기술은 한국공개특허 제10-2021-0001217호(2021.01.07 공개)에 개시되어 있다.
본 발명은 운전자의 움직임 상황에서 움직임으로 인한 호흡 신호의 왜곡을 보정하여 운전자의 호흡수를 정확하게 추출할 수 있는 움직임 보정을 통한 운전자 호흡수 추출 장치 및 그 방법을 제공하는데 목적이 있다.
본 발명은, 운전자 호흡수 추출 장치에 의해 수행되는 운전자 호흡수 추출 방법에 있어서, 레이더를 통해 송출된 후 타겟으로부터 반사된 신호를 수신하는 단계와, 상기 레이더의 송신 신호와 수신 신호를 이용하여 생성한 중간 주파수 신호를 고속 푸리에 변환하고 고속 푸리에 변환 신호로부터 위상 신호를 추출하는 단계와, 현재 시점의 고속 푸리에 변환 신호와 직전 시점의 고속 푸리에 변환 신호 간의 편차를 이용하여 현재 시점의 타겟의 움직임 지표를 산출하는 단계와, 상기 현재 시점의 고속 푸리에 변환 신호에서 추출된 위상 신호를 상기 움직임 지표를 이용하여 보정하는 단계, 및 상기 보정된 위상 신호를 이용하여 현재 시점에 대한 타겟의 호흡수를 추출하는 단계를 포함하는 운전자 호흡수 추출 방법을 제공한다.
또한, 상기 움직임 지표를 산출하는 단계는, 상기 현재 시점의 움직임 지표 
를 아래의 수학식에 의해 산출할 수 있다.
여기서, k는 상기 레이더의 거리 해상도 지표에 해당한 거리 인덱스, t는 현재 시점, t-1는 직전 시점, 
는 현재 시점의 고속 푸리에 변환 신호, 
는 직전 시점의 고속 푸리에 변환 신호를 나타낸다.
또한, 상기 위상 신호를 보정하는 단계는, 상기 움직임 지표를 0과 1 사이의 값으로 정량화하는 시그모이드 함수를 이용하여 상기 현재 시점의 움직임 지표에 대응한 움직임 정량화 값을 연산하는 단계, 및 상기 현재 시점의 움직임 정량화 값과 상기 현재 시점의 위상 신호 및 기 보정된 직전 시점의 위상 신호를 이용하여 현재 시점의 위상 신호 보정값을 연산하는 단계를 포함할 수 있다.
또한, 상기 위상 신호를 보정하는 단계는, 상기 움직임 정량화 값 
을 아래의 시그모이드 함수를 이용하여 연산할 수 있다.
여기서, 
는 상기 움직임 지표, 
는 상기 움직임 지표의 임계값을 나타낸다.
또한, 상기 시그모이드 함수는, 상기 움직임 지표가 임계값 이상으로 높아질수록 상기 움직임 정량화 값에 해당한 출력이 0에 수렴하고 상기 임계값 미만으로 낮아질수록 상기 출력이 1에 수렴하고 상기 임계값과 동일하면 상기 출력이 0.5의 값으로 설정될 수 있다.
또한, 상기 위상 신호를 보정하는 단계는, 아래의 수학식을 이용하여 현재 시점의 위상 신호 보정값 
을 결정할 수 있다.
여기서, 
는 상기 현재 시점의 움직임 정량화 값, 
는 상기 현재 시점의 위상 신호, 
는 상기 기 보정된 직전 시점의 위상 신호를 나타낸다.
또한, 상기 호흡수를 추출하는 단계는, 시간에 따라 연산되는 위상 신호 보정 값에 대해 매시간 별로 윈도우를 적용하고 상기 윈도우 내에서 분석되는 주파수 성분으로부터 상기 타겟의 호흡수를 시간 별로 추출할 수 있다.
그리고, 본 발명은, 레이더를 통해 송출된 후 타겟으로부터 반사된 신호를 수신하는 신호 획득부와, 상기 레이더의 송신 신호와 수신 신호를 이용하여 생성한 중간 주파수 신호를 고속 푸리에 변환하고 고속 푸리에 변환 신호로부터 위상 신호를 추출하는 신호 처리부와, 현재 시점의 고속 푸리에 변환 신호와 직전 시점의 고속 푸리에 변환 신호 간의 편차를 이용하여 현재 시점의 타겟의 움직임 지표를 산출하는 연산부와, 상기 현재 시점의 고속 푸리에 변환 신호에서 추출된 위상 신호를 상기 움직임 지표를 이용하여 보정하는 보정부, 및 상기 보정된 위상 신호를 이용하여 현재 시점에 대한 타겟의 호흡수를 추출하는 추출부를 포함하는 운전자 호흡수 추출 장치를 제공한다.
본 발명에 따르면, 운전자의 움직임 상황에서 움직임으로 인한 호흡 신호의 왜곡을 보정하여 호흡 신호를 정확하게 추출할 수 있고, 추출한 호흡 신호로부터 운전자의 호흡수를 정확하게 추정할 수 있다.
도 1은 본 발명의 실시예에 따른 운전자 호흡수 추출 장치의 구성을 나타낸 도면이다.
도 2는 도 1의 장치를 이용한 운전자 호흡수 추출 방법을 설명하는 도면이다.
도 3은 FMCW 레이더로 측정한 운전자 호흡 신호의 예를 보여주는 도면이다.
도 4는 본 발명의 실시예에 따른 운전자의 움직임 감지를 위한 움직임 지표의 정확도를 보여주는 도면이다.
도 5는 본 발명의 실시예에 따른 움직임 지표와 움직임 정량화 값의 관계 함수를 도식화한 도면이다.
도 6은 본 발명의 실시예에 따라 운전자의 움직임 구간에서 왜곡된 위상 신호를 보정하는 예시를 보여주는 도면이다.
도 7은 본 발명의 실시예에 따른 보정된 위상 신호를 이용하여 운전자의 분당 호흡수를 계산한 결과를 나타낸 도면이다.
도 8은 본 발명의 실시예를 위한 FMCW 레이더의 규격을 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 차량 내 시험 환경을 보여주는 도면이다.
도 10은 본 발명의 실시예에서 운전자가 움직이지 않는 운전 상황(상황 1, 2)에 대한 호흡 신호 및 호흡수 추정 결과를 보여주는 도면이다.
도 11는 본 발명의 실시예에서 운전자의 움직임이 동반된 운전 상황(상황 3, 4)에 대한 호흡 신호 및 호흡수 추정 결과를 보여주는 도면이다.
도 12는 본 발명의 실시예에서 운전자의 움직임이 동반된 운전 상황(상황 5, 6, 7)에 대한 호흡 신호 및 호흡수 추정 결과를 보여주는 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명은 움직임 보정을 통한 운전자 호흡수 추출 기법에 관한 것으로, 운전자의 움직임에 따른 왜곡된 호흡 신호를 보정하여 운전자의 호흡수를 보다 정확하게 추출하는 기법을 제안한다.
도 1은 본 발명의 실시예에 따른 운전자 호흡수 추출 장치의 구성을 나타낸 도면이다.
도 1에 나타낸 것과 같이, 호흡수 추출 장치(100)는 신호 획득부(110), 신호 처리부(120), 연산부(130), 보정부(140) 및 추출부(150)를 포함하며, FMCW 레이더(10)를 더 포함할 수 있다. 여기서, 각 부(110~150)의 동작과 각 부 간의 데이터 흐름은 제어부(미도시)에 의해 제어될 수 있다.
레이더는 송신 및 수신 신호의 변조 방식에 따라 여러 종류로 나뉘는데, 본 발명의 실시예에서는 주파수 측면에서의 성분 변조를 사용하는 FMCW(Frequency Modulated Continuous Wave, 주파수 변조 연속파) 레이더를 사용하는 것을 예시한다. FMCW 레이더(10)는 선형적으로 증가하는 주파수를 사용하는 처프(Chirp) 신호를 전송한다.
신호 획득부(110)는 FMCW 레이더(10)를 통해 송신 후 타겟으로부터 반사된 신호를 수신하여 획득할 수 있다. FMCW 레이더(10)는 선형적으로 변조된 주파수 신호를 송신 후 타겟으로부터 반사된 신호를 수신하여 신호 처리부(120)로 전달할 수 있다. 여기서 FMCW 레이더(10)는 차량의 시트에 내장되거나 차량 전면부에 설치될 수 있다.
신호 처리부(120)는 FMCW 레이더(10)의 송신 신호와 수신 신호를 이용하여 중간 주파수(intermediate frequency, IF) 신호를 생성 후 고속 푸리에 변환(Fast Fourier Transform, FFT)할 수 있고 고속 푸리에 변환 신호로부터 위상 신호를 추출할 수 있다. 신호 처리부(120)는 시간 별로 생성한 고속 푸리에 변환 신호를 연산부(130)로 전달할 수 있고, 시간 별로 추출한 위상 신호를 보정부(140)로 전달할 수 있다.
연산부(130)는 현재 시점의 고속 푸리에 변환 신호와 직전 시점의 고속 푸리에 변환 신호 간의 편차를 이용하여 현재 시점에서의 타겟의 움직임 지표를 산출할 수 있다. 연산부(130)는 이와 같은 방법으로 타겟의 움직임 지표를 시간에 따라 산출하여 보정부(140)로 전달할 수 있다.
보정부(140)는 연산부(130)에 의해 산출된 움직임 지표를 이용하여 현재 시점의 고속 푸리에 변환 신호에 포함된 위상 신호를 보정할 수 있다. 보정부(140)는 위상 신호 보정 값을 매시간 획득하여 추출부(150)로 전달할 수 있다.
추출부(150)는 보정부(140)에 의해 보정된 위상 신호를 이용하여 현재 시점에 대한 타겟의 호흡수를 추출한다. 여기서, 추출부(150)는 보정부(140)를 통하여 매시간 획득되는 위상 신호 보정값을 바탕으로 타겟의 호흡수를 시간 별로 추정할 수 있다.
생체 신호를 정확하게 모니터링 하기 위해서는 주변의 환경적인 요인들로 인해 발생하는 레이더 신호의 왜곡 보정이 필수적인데, 이와 같은 본 발명의 실시예에 따르면, FMCW 레이더를 사용하여 운전자의 움직임이 포함된 운전 상황에서의 운전자의 호흡 신호를 보정함으로써 운전자의 호흡수를 정확하게 추정하도록 한다.
다음은 본 발명의 실시예에 따른 운전자 호흡수 추출 방법에 대해 상세히 설명한다.
도 2는 도 1의 장치를 이용한 운전자 호흡수 추출 방법을 설명하는 도면이다.
먼저, 신호 획득부(110)는 FMCW 레이더(10)에서 송출 후 타겟으로부터 반사되어 돌아온 수신 신호를 시간에 따라 획득한다(S210).
이후, 신호 처리부(120)는 FMCW 레이더(10)의 송신 신호와 수신 신호를 이용하여 중간 주파수 신호(IF 신호)를 생성 후 고속 푸리에 변환한다(S220).
여기서, 신호 처리부(120)는 레이더 송신 신호와 수신 신호를 믹서를 통하여 혼합한 후 혼합 신호를 저대역 필터(low-pass filter)에 통과시켜 아래의 수학식 1과 같이 중간 주파수 신호 
를 추출할 수 있다.
여기서, 
는 
로 정의된 chirp 신호의 선형 주파수 증가율, 
는 FMCW 레이더(10)의 대역폭, 
는 처프(chirp) 지속시간, 
는 송신 및 수신 신호 사이의 지연 시간, 
는 반송파의 주파수, 
은 레이더 신호의 크기를 나타낸다.
또한, 송수신된 레이더 신호는 마이크로 초(㎲) 이내에서 동작한다. 따라서, 
이므로, 수학식 1은 다음의 수학식 2와 같이 근사화될 수 있다.
FMCW 레이더(10)는 중간 주파수 신호의 주파수와 위상을 사용하여 타겟까지의 거리를 추정한다. 레이더와 물체 사이의 거리가 변하면, 송신 및 수신 신호 사이의 시간 지연은 물체의 위치 변화에 의해 위상 성분 
로 전환되며, 
는 
이고, c는 빛의 속도이다.
또한, 수학식 2의 중간 주파수 신호는 아래의 수학식 3으로 전환되며, 
는 현재 레이더 신호의 위상 성분을 나타낸다.
여기서, n은 처프의 샘플링 인덱스이며, d는 타겟으로부터 거리를 나타낸다.
수학식 3의 중간 주파수 신호를 고속 푸리에 변환한 결과는 다음의 수학식 4와 같다.
여기서, N은 처프의 샘플 수이며, k는 FMCW 레이더의 거리 해상도 지표에 해당한 거리 인덱스를 나타낸다. 거리 인덱스는 레이더의 측정 거리 범위 내에서 결정될 수 있고 측정 거리 범위는 제품 규격에 의해 미리 정의되거나 사용자에 의해 사전 설정될 수 있다.
일반적으로 호흡이나 심장 박동과 같은 생체 신호는 시간에 따른 중간 주파수 신호를 고속 푸리에 변환하여 얻은 신호에서 위상 변화를 추출하는 것을 통하여 탐지된다.
신호 처리부(120)는 고속 푸리에 변환 신호 
를 이용하여 아래 수학식 5와 같이 각 시간 별 위상 신호를 추출할 수 있고, 추출한 위상 신호를 보정부(140)로 전달할 수 있다.
여기서, 
는 타겟이 존재한다고 가정한 대상 거리 범위(관심 거리 범위)에 해당한다.
도 3은 FMCW 레이더로 측정한 운전자 호흡 신호의 예를 보여주는 도면이다.
도 3의 (a)는 운전자의 IF 신호(중간 주파수 신호) 이미지이고, 우측의 컬러 바는 IF 신호의 진폭을 나타낸다. 가로축의 시간(time)은 레이더 스캔 시간이고, 세로축의 n은 처프의 샘플링 시간을 나타낸다.
운전자의 움직임 발생 구간은 그림 상단에 Movement로 표시되어 있다. 운전자의 호흡으로 인한 레이더 신호의 시간당 변위 차이는 불규칙한 파형을 형성할 수 있다. 호흡 신호의 불규칙한 왜곡은 움직임 구간(Movement)에서 발생한 것을 알 수 있으며, 다른 부분에서는 운전자의 호흡 신호가 규칙적임을 알 수 있다.
그림 4의 (b)는 IF 신호로부터 파생된 호흡 신호와 기준 센서로부터 파생된 기준 호흡 신호(Reference)를 비교한 결과를 나타낸다. 기준 호흡 신호와의 비교를 위하여, IF 신호를 고속 푸리에 변환 처리 후 얻은 레이더 신호의 위상 성분으로부터 호흡 신호를 도출하였다. 여기서 위상 성분은 특정 범위 안의 레이더 신호로부터 도출하였다. 특정 범위는 레이더와 운전자 사이의 거리를 뜻하며 MPC(Magnitude-Phase Coherency) 기법을 사용하여 추출되었다. 기준 호흡 신호는 복부에 착용한 압력 센서를 통해 획득되었다.
도 3의 (b)와 같이, 운전자의 움직임이 발생한 구간에서는 레이더에 의해 관측된 호흡 신호(Radar)가 기준 호흡 신호(Reference)에 비해 크게 왜곡된 것을 알 수 있다. 따라서 운전자의 호흡을 정확하게 탐지하기 위해서는 운전자가 움직이는 호흡 신호를 보정할 필요성이 있다. 이를 위해, 본 발명의 실시예는 운전자의 움직임 지표를 매시간 산출하고 이로부터 위상 신호를 보정하도록 한다.
다시 도 2를 참조하면, S220 단계 이후, 연산부(130)는 현재 시점과 직전 시점의 고속 푸리에 변환 신호 간의 편차를 이용하여 현재 시점의 타겟의 움직임 지표를 산출한다(S230).
여기서, 연산부(130)는 현재 시점의 움직임 지표 
를 아래의 수학식 6에 의해 산출할 수 있다.
여기서, k는 레이더의 거리 해상도 지표에 해당한 거리 인덱스, t는 현재 시점, t-1는 직전 시점, 
는 현재 시점의 고속 푸리에 변환 신호, 
는 직전 시점의 고속 푸리에 변환 신호를 나타낸다.
본 발명의 실시예에서는 움직임 구간의 호흡 신호가 왜곡된 신호라 가정하고, 움직임에 의해 불규칙하게 왜곡된 레이더 신호를 보정하기 위하여, 현재와 직전 간의 레이더 신호의 크기 차이를 움직임 지표 
로 정의하였다.
이러한 움직임 지표 
는 물체가 존재하는 특정 범위에 대해 시간상 직전 신호와의 크기 차이를 평균화하여 파생된 것을 알 수 있다.
도 4는 본 발명의 실시예에 따른 운전자의 움직임 감지를 위한 움직임 지표의 정확도를 보여주는 도면이다.
도 4의 (a)는 운전자의 움직임이 존재하는 운전 상황에서 도출된 운전자의 호흡 신호와 운전자의 움직임 지표 값을 나타내고, 도 4의 (b)는 운전자의 가슴, 오른팔, 오른발에 착용한 가속도 센서로 측정한 운전자의 신체 가속도 값을 나타낸다.
레이더 신호는 운전석 카시트 내부에 설치된 레이더를 통하여 측정되었다. 레이더 신호로부터 도출된 움직임 지표의 탐지 신뢰도 확인을 위하여, 본 발명의 실시예에 따라 레이더 신호로부터 도출된 움직임 지표는 가속도 센서를 통해 탐지된 실제 운전자의 가속도 값과 비교되었다.
도 4의 (b)의 결과를 보면, 측정된 가속도 값의 변동성으로부터 측정 시간 내에서 운전자가 이동한 구간을 확인할 수 있다. 운전자의 움직임이 발생한 구간에서는 도 4의 (a)의 상단에 표시된 움직임 구간(Movement)과 같이 운전자의 호흡 신호에 불규칙한 왜곡이 발생하였다.
또한, 레이더 신호의 전달 방향인 운전자의 가슴뿐만 아니라 팔과 다리의 움직임도 운전자의 신체에 미세한 변위 차이를 일으켜 신호가 왜곡될 수 있다. 따라서, 도 4의 (a)를 (b)와 비교하면, 호흡 신호의 왜곡은 운전자의 신체뿐만 아니라 운전에 필요한 팔다리의 움직임에 의해서도 발생함을 알 수 있다. 이러한 도 4와 같이 운전자의 움직임이 발생한 구간을 움직임 지표의 변동과 매칭시켜 움직임 지표가 운전자의 움직임을 반영함을 확인하였다.
다시 도 2를 참조하면, S230 단계 이후에 보정부(140)는 현재 시점의 고속 푸리에 변환 신호에 포함된 위상 신호를 움직임 지표를 이용하여 보정한다(S240).
보정부(140)는 수학식 5에 나타낸 현재 시점의 위상 신호 
를 수학식 6의 움직임 지표 
를 이용하여 보정함으로써 현재 시점에 대한 위상 신호 보정 값 
을 획득할 수 있다.
이를 위해, 먼저 보정부(140)는 현재 시점의 움직임 지표 
에 대응하는 움직임 정량화 값 
을 아래 수학식 7에 나타낸 시그모이드 함수를 이용하여 연산할 수 있다.
여기서, 
는 움직임 지표이고, 
는 움직임 지표의 임계값을 나타내고, 
는 기울기(경사도) 계수를 나타낸다. 이때, 임계값은 현재까지 전체 측정 시간 동안의 움직임 지표의 평균 값으로 설정될 수 있다.
이러한 수학식 7의 시그모이드 함수에 따라, 움직임 지표 
는 0과 1 사이의 값으로 정량화될 수 있다.
도 5는 본 발명의 실시예에 따른 움직임 지표와 움직임 정량화 값의 관계 함수를 도식화한 도면이다.
도 5와 같이, 수학식 7의 함수에 따르면 움직임 지표 
가 임계값 이상으로 높아질수록 움직임 정량화 값에 해당한 출력 
이 0에 수렴하고 임계값 미만으로 낮아질수록 출력이 1에 수렴하고 임계값과 동일한 경우에는 출력이 0.5의 값으로 설정되는 것을 알 수 있다.
본 발명의 실시예는 운전자의 움직임 상황에서 기존의 호흡 검출 방법보다 더 정확한 호흡 검출을 위하여, 이러한 움직임 정량화 값을 이용하여 왜곡된 레이더 신호를 보정한다.
이후에 보정부(140)는 이렇게 연산된 현재 시점의 움직임 정량화 값 
과 현재 시점의 위상 신호 
및 기 보정된 직전 시점의 위상 신호 
를 이용하여 현재 시점의 위상 신호 보정값 
을 아래의 수학식 8과 같이 연산할 수 있다.
여기서, 
는 현재 시점의 움직임 정량화 값, 
는 현재 시점의 위상 신호, 
는 기 보정된 직전 시점의 위상 신호를 나타낸다.
이에 따르면, 
가 임계값 아래로 감소하면 
가 1로 수렴하여 현재 신호의 위상 값 
을 현재의 최종 위상 값으로 결정할 수 있고, 반대로 
가 임계값 이상으로 증가하면 
는 0으로 수렴하여 시간상 직전의 최종 보상된 위상 값 
을 현재의 최종 위상 값으로 결정할 수 있다.
다시 도 2를 참조하면, S240 단계 이후에, 추출부(150)는 위와 같이 보정된 위상 신호를 이용하여 현재 시점에 대한 타겟의 호흡수를 추출하게 된다(S250).
여기서, 추출부(150)는 수학식 8에 의해 시간에 따라 연산되는 위상 신호 보정 값 
에 대해 매시간 별로 윈도우를 적용하고 윈도우 내에서 분석되는 주파수 성분으로부터 타겟의 호흡수를 시간 별로 추출할 수 있다.
여기서 물론 윈도우란 시간 윈도우를 의미하며, 매시간 별로 현재 시점을 포함한 과거 데이터에 설정 시간 길이의 윈도우를 적용하고 윈도우 내의 주파수 성분을 분석함으로써 현재 시점에서의 타겟의 호흡수를 추정한다. 물론 실시간 호흡수 검출을 위하여 슬라이딩 윈도우 방식을 적용할 수 있다. 이때 주파수 분석에는 고속 푸리에 변환(Fast Fourier Transform, FFT)이 활용될 수 있다.
예를 들어, 추출부(150)는 아래의 수학식 9를 이용하여 최종 보정된 위상 신호 
에 윈도우를 적용하고 FFT 처리하여 주파수 성분을 분석한다.
여기서, 
는 
를 FFT 처리한 신호, M은 윈도우 길이, 
는 시간, 
은 주파수를 의미한다.
또한, 이러한 FFT 처리 결과로부터 주파수 성분을 분석하면 타겟의 호흡수를 추출할 수 있다.
여기서 추출부(150)는 아래의 수학식 10과 같이, 현재 시점(t)에서 적용한 윈도우 상의 데이터를 고속 푸리에 변환하여 검출한 복수의 피크 주파수(
)를 이전 시점(t-1)에서의 윈도우로부터 결정된 호흡 주파수 값(
)과 개별 비교한 후에 주파수 편차가 최소(min)인 피크 주파수를 현재 시점(t)에서의 호흡 주파수 값(
)으로 결정한다.
그런 다음, 현재 시점(t)에서 결정된 호흡 주파수 값(
)을 다음의 수학식 11에 적용하여 현재 시점(t)에서의 타겟의 분당 호흡수(RR; Respiratory rate)를 계산할 수 있다.
사람의 호흡은 갑작스럽게 증가하거나 감소하지 않는다고 가정한다. 따라서 FFT를 통해 peak 값을 갖는 
집합에서 수학식 10를 통하여 이전 호흡 주파수인 
와 가장 가까운 peak를 탐색하여 현재 시점의 호흡 주파수 값 
을 결정하고, 추출한 호흡 주파수 값을 수학식 11을 통하여 분당 호흡수(RR)로 계산하여 호흡수를 최종 출력한다.
도 6은 본 발명의 실시예에 따라 운전자의 움직임 구간에서 왜곡된 위상 신호를 보정하는 예시를 보여주는 도면이다. 이러한 도 6은 움직임에 의해 왜곡된 위상 신호의 보정 과정과 해당 주파수 성분의 변화를 보여준다.
우선, 도 6의 (a)는 왜곡된 신호의 보정 과정에 해당하는 것으로, 
는 보정 전 위상 신호, 
는 수학식 7에 의한 움직임 정량화 값, 
는 수학식 8에 의한 보정 후 위상 신호를 나타낸다. 보정 전 위상 신호를 보면 운전자의 움직임 발생 구간에서 신호가 크게 왜곡된 것을 확인할 수 있다.
본 발명의 실시예의 경우, 움직임 정량화 값을 이용하여 위상 신호를 보정할 수 있다. 운전자의 움직임으로 인해 
는 0으로 수렴하고 이때 위상 성분은 이를 반영한 수학식 8을 통하여 보정될 수 있다. 보정 후 위상 신호를 보면 운전자의 움직임 발생 구간에서 위상 신호가 보정됨을 확인할 수 있다.
도 6의 (b)는 왜곡 신호의 보정 정확도를 확인하기 위해 운전자가 동적 상태가 아닌 어느 한 시점에서 관측된 운전자의 주파수 성분을 보여준다. 보정된 운전자의 호흡 신호로부터 추출한 주파수는 보정되지 않은 신호의 주파수와 비교하였을 때 실제 호흡 신호의 주파수(Reference)와 일치하는 것을 확인할 수 있다. 이와 같이 주파수 성분 비교를 통해 움직임에 의해 왜곡된 운전자 호흡 신호가 보정됨을 확인할 수 있다.
도 7은 본 발명의 실시예에 따른 보정된 위상 신호를 이용하여 운전자의 분당 호흡수를 계산한 결과를 나타낸 도면이다. 운전자의 호흡수는 운전자 생체 신호의 주파수 성분을 이용하여 피크 추적에 의해 추정되었다.
도 7의 (a)는 원래의 위상 신호와 왜곡된 위상 신호의 주파수 성분을 나타내고, (c)는 왜곡된 위상 신호로부터 호흡수를 추정한 결과를 나타낸다. 그 결과 운전자의 움직임이 포함된 구간(Movement)에서 추정된 호흡수는 기준 호흡수(Reference)에 비해 정확성이 떨어진다. 여기서 기준 호흡수는 센서에 의해 측정된 정답 호흡수에 해당한다.
앞선 결과와 달리, 도 7의 (b)는 수학식 8에서 제안한 방법으로 보정된 위상 신호에서 추출한 주파수 성분을 나타낸다. 보정된 위상 신호의 주파수 값은 0.35~0.4Hz에서 강하게 확인되며 원래 신호와 유사한 것을 알 수 있다. 도 7의 (d)는 신호 보정의 정확도를 검증하기 위해 피크 추적 기법을 사용하여 추정한 호흡수를 나타낸다. 보정된 위상 신호로부터 추정된 호흡수가 실제 호흡수와 경향이 일치하며, 추정 정확도가 높은 것을 확인할 수 있다.
이하에서는 본 발명의 실시예에 따른 운전자 호흡수 추정 기법의 성능 시험 결과를 설명한다.
도 8은 본 발명의 실시예를 위한 FMCW 레이더의 규격을 나타낸 도면이다. 도 8에 도시된 FMCW 레이더(Bitsensing INC, Korea)를 사용하여 모든 실험 과정 및 기록을 수행하였으며, 제안된 알고리즘을 도 8에 표시된 매개변수를 이용하여 구현하였다. 이러한 사양의 레이더는 0-3.187m 범위 내에서 전방에 있는 물체를 감지할 수 있다.
도 9는 본 발명의 실시예에 따른 차량 내 시험 환경을 보여주는 도면이다. 이러한 도 9는 실제 차량용 카시트와 실제 운전 상황을 구현하기 위한 장비들이 구비된 운전자 생체 신호 탐지 실험 환경을 나타낸다. 비교를 위한 기준 호흡률은 호흡 모니터링 벨트 센서(Neulog Inc, Israel)를 사용하여 측정되었다.
도 9의 (a)는 해당 센서의 부착 위치를 나타내며, 운전자의 움직임은 모션 캡쳐 장치인 Perception Neuron Stu-dio(Noitom Inc, China)를 통해 측정되었다. 이때, 인체에 부착 가능한 14개의 모션 센서 중에서 가슴, 오른쪽 손목, 오른발에 착용된 3개의 센서로부터 취득된 가속도 값이 사용되었다. 레이더는 도 7의 (b)와 같이 운전자의 가슴 중앙을 향하도록 카시트 내부에 설치되었다.
본 발명에서 제안된 알고리즘의 정확성을 검증하기 위해 운전자의 움직임에 따른 아래 표 1의 7가지 주행 상황에 대해 운전자의 생체 신호를 모니터링하였다.
| 차량 주행 상황 | 운전자 움직임 | 세부 정보 | |
| 있음 | 없음 | ||
| 직진 1 | √ | 1분 동안 정상 호흡 | |
| 직진 2 | √ | 정상 호흡과 빠른 호흡을 각 30초씩 진행 | |
| 좌회전 | √ | 1. 높은 강도 움직임 2. 긴 움직임 시간 | |
| 우회전 | √ | 1. 높은 강도 움직임 2. 긴 움직임 시간 | |
| 복합 주행 1 | √ | √ | 주행 중 급정거 |
| 복합 주행 2 | √ | √ | 주행 중 정지 후 직진 주행 재개 |
| 차선 변경 | √ | 1. 낮은 강도 움직임 2. 짧은 움직임 시간 | |
각 실험은 1분 길이로 구성되었으며, 도 9의 (a)와 나타낸 전면 표시창에서 상황별 주행 영상을 보면서 진행되었다.
도 10은 운전자가 움직이지 않는 운전 상황(상황 1, 2)에 대한 호흡 신호 및 호흡수 추정 결과를 보여주는 도면이다.
도 10의 (a)와 (b)는 표 1에서 상황 1, 2(직진 1, 직진 2)에 대한 호흡 신호 측정 데이터로, 운전자의 움직임이 없는 상황이므로 측정된 호흡 신호는 규칙적이며 신호 보정 지표 값은 1이다. 도 10의 (c), (d)는 앞의 두 상황에 대한 호흡수 추정 결과를 나타내며, 두 상황에 대해 피크값 추적을 이용하여 호흡 신호의 주파수 성분으로부터 추정한 호흡수는 기준 호흡수와 일치함을 확인할 수 있다.
도 11는 본 발명의 실시예에서 운전자의 움직임이 동반된 운전 상황(상황 3, 4)에 대한 호흡 신호 및 호흡수 추정 결과를 보여주는 도면이다.
도 11의 (a), (b) 및 (c), (d)는 각각 방향 변경 즉, 좌회전 및 우회전의 운전 상황에 대한 운전자의 호흡 신호와 호흡수를 추정한 결과를 보여준다. 여기서 운전자 호흡 신호의 불규칙한 왜곡은 방향 전환 상황에서 수학식 8에 의해 보정될 수 있다. 도 11의 (c)와 (d)의 결과로부터, 본 발명의 실시예에 따라 보정된 운전자 호흡 신호로부터 추정된 호흡수는 실제 센서에 의해 측정된 기준 호흡수와 높은 상관 관계가 있음을 확인할 수 있다.
도 12는 본 발명의 실시예에서 운전자의 움직임이 동반된 운전 상황(상황 5, 6, 7)에 대한 호흡 신호 및 호흡수 추정 결과를 보여주는 도면이다.
도 12는 감속, 가속, 직진과 같이 복잡한 움직임과 차선 변경을 포함하는 운전 상황에서 운전자의 호흡 신호와 호흡수를 추정한 결과를 보여준다. 도 12의 (a)와 같이 급정거는 운전자 몸의 큰 움직임을 야기한다. 따라서, 이 경우에 움직임 지표의 변동성은 다른 운전 상황의 변동성보다 높게 나타난다. 도 12의 (b)는 직선 주행 중 정지 후 주행을 재개한 상황으로 운전자의 움직임이 급정거 상황보다 작기 때문에 움직임 지표도 상대적으로 작게 나타난다. 위에서 언급한 두 가지 주행 상황에서 왜곡된 운전자의 호흡 신호는 운전자가 움직이는 구간을 감지하는 것을 통하여 보정된다.
도 12의 (c)는 차선 변경 시 호흡 신호가 방향 전환 상황과 유사하지만 상대적으로 운전자 몸의 움직임이 적은 것과 관련이 있음을 보여준다. 호흡 신호의 왜곡은 신체 움직임으로 인해 발생한 것이지만, 차선 변경 시에는 신체의 움직임이 거의 변화가 없기 때문에 움직임 지표의 변화가 상대적으로 적게 관측된다.
도 12의 (d), (e), (f)의 결과로부터, 모든 경우에 있어 본 발명에 의해 보정된 호흡 신호로부터 추정된 호흡수가 기준 호흡수와 높은 상관 관계가 있음을 확인할 수 있다. 또한 이러한 결과들은 본 발명에서 제안한 호흡수 추정 기법이 움직임이 있는 운전 상황에서 불규칙하게 왜곡된 신호를 보정하여 호흡수를 정확하게 추정함을 보여준다.
다음은 본 발명의 실시예에 따른 호흡수 추정 기법에 대한 정확도 분석 결과를 설명한다. 총 3명의 운전자별 운전 상황에 따른 보정된 호흡 신호로부터 추정한 호흡수의 평균 오차 및 정확도가 계산되었다. 정확도는 기준 호흡수와 추정된 호흡 신호로부터 추정한 호흡수 간의 절대 차이를 나타내고, 평균 오차는 호흡수의 표준편차에 의해 추정되었다.
|
주행
상황 |
타겟
번호 |
기준 호흡수와 대비한 추정 호흡수 오차 | ||
| 보정 전 | 보정 후 | P-값 | ||
| 좌회전 | 1 | 2.778 ±5.201 | 0.374 ±0.489 | 0.0003 |
| 2 | 1.415 ±1.542 | 1.077 ±1.292 | ||
| 3 | 1.210 ±1.588 | 1.091 ±1.380 | ||
| 평균±표준편차 | 1.801 ±2.777 | 0.847 ±0.987 | ||
| 우회전 | 1 | 2.097 ±1.688 | 1.369 ±1.282 | 0.0106 |
| 2 | 1.234 ±1.767 | 0.936 ±1.492 | ||
| 3 | 2.134 ±2.095 | 1.488 ±1.267 | ||
| 평균±표준편차 | 1.822 ±1.849 | 1.264 ±1.347 | ||
| 복합 주행 1 |
1 | 1.541 ±2.645 | 1.062 ±1.338 | 0.0372 |
| 2 | 1.888 ±1.933 | 1.526 ±1.698 | ||
| 3 | 3.654 ±2.921 | 2.961 ±2.026 | ||
| 평균±표준편차 | 2.361 ±2.500 | 1.850 ±1.687 | ||
| 복합 주행 2 |
1 | 1.260 ±1.940 | 0.546 ±0.753 | 0.0075 |
| 2 | 1.426 ±2.468 | 1.185 ±1.935 | ||
| 3 | 1.240 ±1.947 | 0.694 ±0.843 | ||
| 평균±표준편차 | 1.309 ±2.188 | 0.808 ±1.177 | ||
| 차선 변경 |
1 | 2.536 ±2.188 | 1.012 ±1.047 | 0.0022 |
| 2 | 0.884 ±1.849 | 0.485 ±0.779 | ||
| 3 | 0.587 ±0.973 | 0.522 ±0.657 | ||
| 평균±표준편차 | 1.336 ±1.647 | 0.673 ±0.828 | ||
표 2의 결과로부터, 보정된 호흡 신호로부터 추정된 호흡수는 보정 전의 호흡 신호로부터 추정된 호흡수보다 기준 호흡수 대비 오차가 작은 것을 알 수 있다. p-값(p-value)은 결과의 신뢰 구간을 나타내는 지표로서, p-value < 0.05 일때 95% 정도의 신뢰수준에서 비교된 두 집단이 유의미하게 차이가 남을 의미한다. 여기서, 비교된 두 집단은 각각 보정 전 신호로부터 추출한 호흡수와 보정된 신호로부터 추출한 호흡수 결과를 나타낸다. 각 상황별 p-value가 0.05 미만이므로, 비교된 두 집단의 차이가 95% 신뢰도 수준으로 유의미함을 알 수 있다.
이상과 같이, 본 발명에 따르면, 운전자의 움직임 상황에서 움직임으로 인한 호흡 신호의 왜곡을 보정하여 호흡 신호를 정확하게 추출할 수 있고, 추출한 호흡 신호로부터 운전자의 호흡수를 정확하게 추정할 수 있다. 뿐만 아니라 제안한 신호 보정 기법은 모니터링 중 움직임이 존재하는 모든 분야에서 생체 신호를 모니터링하는데 유용하게 적용될 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
Claims (14)
- 운전자 호흡수 추출 장치에 의해 수행되는 운전자 호흡수 추출 방법에 있어서,레이더를 통해 송출된 후 타겟으로부터 반사된 신호를 수신하는 단계;상기 레이더의 송신 신호와 수신 신호를 이용하여 생성한 중간 주파수 신호를 고속 푸리에 변환하고 고속 푸리에 변환 신호로부터 위상 신호를 추출하는 단계;현재 시점의 고속 푸리에 변환 신호와 직전 시점의 고속 푸리에 변환 신호 간의 편차를 이용하여 현재 시점의 타겟의 움직임 지표를 산출하는 단계;상기 현재 시점의 고속 푸리에 변환 신호에서 추출된 위상 신호를 상기 움직임 지표를 이용하여 보정하는 단계; 및상기 보정된 위상 신호를 이용하여 현재 시점에 대한 타겟의 호흡수를 추출하는 단계를 포함하는 운전자 호흡수 추출 방법.
- 청구항 1에 있어서,상기 움직임 지표를 산출하는 단계는,상기 현재 시점의 움직임 지표를 아래의 수학식에 의해 산출하는 운전자 호흡수 추출 방법:
여기서, k는 상기 레이더의 거리 해상도 지표에 해당한 거리 인덱스, t는 현재 시점, t-1는 직전 시점,는 현재 시점의 고속 푸리에 변환 신호,
는 직전 시점의 고속 푸리에 변환 신호를 나타낸다.
- 청구항 1에 있어서,상기 위상 신호를 보정하는 단계는,상기 움직임 지표를 0과 1 사이의 값으로 정량화하는 시그모이드 함수를 이용하여 상기 현재 시점의 움직임 지표에 대응한 움직임 정량화 값을 연산하는 단계; 및상기 현재 시점의 움직임 정량화 값과 상기 현재 시점의 위상 신호 및 기 보정된 직전 시점의 위상 신호를 이용하여 현재 시점의 위상 신호 보정값을 연산하는 단계를 포함하는 운전자 호흡수 추출 방법.
- 청구항 3에 있어서,상기 위상 신호를 보정하는 단계는,상기 움직임 정량화 값을 아래의 시그모이드 함수를 이용하여 연산하는 운전자 호흡수 추출 방법:
여기서,는 상기 움직임 지표,
는 상기 움직임 지표의 임계값을 나타낸다.
- 청구항 3에 있어서,상기 시그모이드 함수는,상기 움직임 지표가 임계값 이상으로 높아질수록 상기 움직임 정량화 값에 해당한 출력이 0에 수렴하고 상기 임계값 미만으로 낮아질수록 상기 출력이 1에 수렴하고 상기 임계값과 동일하면 상기 출력이 0.5의 값으로 설정되는 운전자 호흡수 추출 방법.
- 청구항 5에 있어서,상기 위상 신호를 보정하는 단계는,아래의 수학식을 이용하여 현재 시점의 위상 신호 보정값을 결정하는 운전자 호흡수 추출 방법:
여기서,는 상기 현재 시점의 움직임 정량화 값,
는 상기 현재 시점의 위상 신호,
는 상기 기 보정된 직전 시점의 위상 신호를 나타낸다.
- 청구항 1에 있어서,상기 호흡수를 추출하는 단계는,시간에 따라 연산되는 위상 신호 보정 값에 대해 매시간 별로 윈도우를 적용하고 상기 윈도우 내에서 분석되는 주파수 성분으로부터 상기 타겟의 호흡수를 시간 별로 추출하는 운전자 호흡수 추출 방법.
- 레이더를 통해 송출된 후 타겟으로부터 반사된 신호를 수신하는 신호 획득부;상기 레이더의 송신 신호와 수신 신호를 이용하여 생성한 중간 주파수 신호를 고속 푸리에 변환하고 고속 푸리에 변환 신호로부터 위상 신호를 추출하는 신호 처리부;현재 시점의 고속 푸리에 변환 신호와 직전 시점의 고속 푸리에 변환 신호 간의 편차를 이용하여 현재 시점의 타겟의 움직임 지표를 산출하는 연산부;상기 현재 시점의 고속 푸리에 변환 신호에서 추출된 위상 신호를 상기 움직임 지표를 이용하여 보정하는 보정부; 및상기 보정된 위상 신호를 이용하여 현재 시점에 대한 타겟의 호흡수를 추출하는 추출부를 포함하는 운전자 호흡수 추출 장치.
- 청구항 8에 있어서,상기 연산부는,상기 현재 시점의 움직임 지표를 아래의 수학식에 의해 산출하는 호흡수 추출 장치:
여기서, k는 상기 레이더의 거리 해상도 지표에 해당한 거리 인덱스, t는 현재 시점, t-1는 직전 시점,는 현재 시점의 고속 푸리에 변환 신호,
는 직전 시점의 고속 푸리에 변환 신호를 나타낸다.
- 청구항 8에 있어서,상기 보정부는,상기 움직임 지표를 0과 1 사이의 값으로 정량화하는 시그모이드 함수를 이용하여 상기 현재 시점의 움직임 지표에 대응한 움직임 정량화 값을 연산한 다음,상기 현재 시점의 움직임 정량화 값과 상기 현재 시점의 위상 신호 및 기 보정된 직전 시점의 위상 신호를 이용하여 현재 시점의 위상 신호 보정값을 연산하는 운전자 호흡수 추출 장치.
- 청구항 10에 있어서,상기 보정부는,상기 움직임 정량화 값을 아래의 시그모이드 함수를 이용하여 연산하는 운전자 호흡수 추출 장치:
여기서,는 상기 움직임 지표,
는 상기 움직임 지표의 임계값을 나타낸다.
- 청구항 10에 있어서,상기 시그모이드 함수는,상기 움직임 지표가 임계값 이상으로 높아질수록 상기 움직임 정량화 값에 해당한 출력이 0에 수렴하고 상기 임계값 미만으로 낮아질수록 상기 출력이 1에 수렴하고 상기 임계값과 동일하면 상기 출력이 0.5의 값으로 설정되는 운전자 호흡수 추출 장치.
- 청구항 12에 있어서,상기 보정부는,아래의 수학식을 이용하여 현재 시점의 위상 신호 보정값을 결정하는 운전자 호흡수 추출 장치:
여기서,는 상기 현재 시점의 움직임 정량화 값,
는 상기 현재 시점의 위상 신호,
는 상기 기 보정된 직전 시점의 위상 신호를 나타낸다.
- 청구항 8에 있어서,상기 추출부는,시간에 따라 연산되는 위상 신호 보정 값에 대해 매시간 별로 윈도우를 적용하고 상기 윈도우 내에서 분석되는 주파수 성분으로부터 상기 타겟의 호흡수를 시간 별로 추출하는 운전자 호흡수 추출 장치.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20210179431 | 2021-12-15 | ||
| KR10-2021-0179431 | 2021-12-15 | ||
| KR1020220051299A KR102668882B1 (ko) | 2021-12-15 | 2022-04-26 | 움직임 보정을 통한 운전자 호흡수 추출 장치 및 그 방법 |
| KR10-2022-0051299 | 2022-04-26 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023113246A1 true WO2023113246A1 (ko) | 2023-06-22 |
Family
ID=86772977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/KR2022/017572 WO2023113246A1 (ko) | 2021-12-15 | 2022-11-09 | 움직임 보정을 통한 운전자 호흡수 추출 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2023113246A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2631120A (en) * | 2023-06-20 | 2024-12-25 | Univ Cape Town | Small motion detection and monitoring |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005158077A (ja) * | 2003-11-26 | 2005-06-16 | Daimler Chrysler Ag | 車両の運転者による不注意を識別する方法及びコンピュータプログラム |
| KR20180095340A (ko) * | 2017-02-17 | 2018-08-27 | 옴니센서(주) | Uwb 레이더를 이용한 차량내 생체 정보 측정 장치 및 방법 |
| KR20180136770A (ko) * | 2017-06-15 | 2018-12-26 | 금오공과대학교 산학협력단 | 노약자 원격 관리 및 모니터링 시스템 |
| CN111657889A (zh) * | 2020-06-03 | 2020-09-15 | 大连理工大学 | 一种基于毫米波雷达的非接触式驾驶员疲劳检测方法 |
| KR20200123326A (ko) * | 2019-04-18 | 2020-10-29 | 주식회사 엠제이테크 | 비접촉 생체 신호 검출을 이용한 운전자 건강 상태 진단 시스템 |
| KR20210023556A (ko) * | 2019-08-23 | 2021-03-04 | 현대모비스 주식회사 | 레이더기반 차량 내 생체감지 장치 및 방법 |
-
2022
- 2022-11-09 WO PCT/KR2022/017572 patent/WO2023113246A1/ko active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005158077A (ja) * | 2003-11-26 | 2005-06-16 | Daimler Chrysler Ag | 車両の運転者による不注意を識別する方法及びコンピュータプログラム |
| KR20180095340A (ko) * | 2017-02-17 | 2018-08-27 | 옴니센서(주) | Uwb 레이더를 이용한 차량내 생체 정보 측정 장치 및 방법 |
| KR20180136770A (ko) * | 2017-06-15 | 2018-12-26 | 금오공과대학교 산학협력단 | 노약자 원격 관리 및 모니터링 시스템 |
| KR20200123326A (ko) * | 2019-04-18 | 2020-10-29 | 주식회사 엠제이테크 | 비접촉 생체 신호 검출을 이용한 운전자 건강 상태 진단 시스템 |
| KR20210023556A (ko) * | 2019-08-23 | 2021-03-04 | 현대모비스 주식회사 | 레이더기반 차량 내 생체감지 장치 및 방법 |
| CN111657889A (zh) * | 2020-06-03 | 2020-09-15 | 大连理工大学 | 一种基于毫米波雷达的非接触式驾驶员疲劳检测方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2631120A (en) * | 2023-06-20 | 2024-12-25 | Univ Cape Town | Small motion detection and monitoring |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Driver vital signs monitoring using millimeter wave radio | |
| WO2018110983A1 (ko) | 레이더를 이용하여 생체 신호를 측정하는 방법 및 장치 | |
| EP4284238A1 (en) | Joint estimation of respiratory and heart rates using ultra-wideband radar | |
| WO2023113246A1 (ko) | 움직임 보정을 통한 운전자 호흡수 추출 장치 및 그 방법 | |
| WO2019103187A1 (ko) | 뇌파를 통한 뇌 인지기능 평가 플랫폼 및 방법 | |
| KR102358325B1 (ko) | 얼굴영상을 이용한 강인한 맥박수 및 호흡수 측정 방법 및 장치 | |
| US20200311388A1 (en) | Human body physiological parameter monitoring method based on face recognition for workstation | |
| CN112966571B (zh) | 一种基于机器视觉的立定跳远腾空高度量测方法 | |
| WO2001089373A3 (en) | Method and apparatus for measuring ocular alignment | |
| WO2018048072A1 (ko) | Ppg 신호를 이용한 동잡음 제거 장치 및 그 방법 | |
| WO2023075161A1 (ko) | 인공 지능을 이용하여 운전자의 상태를 판단하는 차량 장치 및 그 제어 방법 | |
| WO2018221865A1 (ko) | 신체 부착형 맥파 측정 장치 | |
| WO2013122416A1 (en) | Ultrasound apparatus and method of generating ultrasound image | |
| WO2014171660A1 (ko) | 기상정보 신호처리모듈 | |
| KR102668882B1 (ko) | 움직임 보정을 통한 운전자 호흡수 추출 장치 및 그 방법 | |
| CN112669954A (zh) | 一种远程心率检测系统及其方法 | |
| CN104013401B (zh) | 一种人体脑电信号与动作行为信号同步采集系统及方法 | |
| RU93553U1 (ru) | Компьютерный манипулятор, использующий углы поворота глаз и направление взгляда человека для позиционирования курсора на экране компьютера | |
| US9289120B2 (en) | Temporal structured-illumination motion-detection system | |
| WO2024258155A1 (en) | Face alignment and normalization for enhanced vision-based vitals monitoring | |
| KR20200087540A (ko) | 비전 기반 심박수 측정 방법 | |
| WO2017010832A1 (ko) | 맥파 전달 시간을 이용한 수축기 혈압 산출 장치 및 그 방법 | |
| WO2019156289A1 (ko) | 전자 장치 및 그 제어 방법 | |
| KR20180042673A (ko) | 영상을 이용한 호흡수 측정 방법 | |
| WO2023121002A1 (ko) | Rf신호로부터 혈류의 속력을 측정하는 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22907717 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 22907717 Country of ref document: EP Kind code of ref document: A1 |