[go: up one dir, main page]

CN114915772B - 飞行器的视景增强方法、系统、飞行器及存储介质 - Google Patents

飞行器的视景增强方法、系统、飞行器及存储介质 Download PDF

Info

Publication number
CN114915772B
CN114915772B CN202210818799.XA CN202210818799A CN114915772B CN 114915772 B CN114915772 B CN 114915772B CN 202210818799 A CN202210818799 A CN 202210818799A CN 114915772 B CN114915772 B CN 114915772B
Authority
CN
China
Prior art keywords
face
aircraft
pilot
target
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210818799.XA
Other languages
English (en)
Other versions
CN114915772A (zh
Inventor
薛松柏
李德
徐大勇
郭亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Wofei Changkong Technology Development Co ltd
Zhejiang Geely Holding Group Co Ltd
Original Assignee
Zhejiang Geely Holding Group Co Ltd
Aerofugia Technology Chengdu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Geely Holding Group Co Ltd, Aerofugia Technology Chengdu Co Ltd filed Critical Zhejiang Geely Holding Group Co Ltd
Priority to CN202210818799.XA priority Critical patent/CN114915772B/zh
Publication of CN114915772A publication Critical patent/CN114915772A/zh
Application granted granted Critical
Publication of CN114915772B publication Critical patent/CN114915772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了飞行器的视景增强方法、系统、飞行器及存储介质，应用于飞行器技术领域，该方法包括：接收位移测量装置测量的飞行员的注视信息；基于所述注视信息确定远处实景对应的增强视景在显示屏上的目标显示位置；将所述增强视景显示在所述目标显示位置，使得所述增强视景以及所述远处实景视觉匹配。通过本申请的技术方案缓解增强视景与远处实景导致的视觉偏差，提高飞行安全。

Description

飞行器的视景增强方法、系统、飞行器及存储介质
技术领域
本发明涉及飞行器技术领域，尤其涉及一种飞行器的视景增强方法、系统、飞行器及存储介质。
背景技术
视景增强在航空座舱领域应用研究日益增多，不乏波音、空客等大型飞机制造中。目前，当飞行员头部移动时，增强视景会与远处实景出现视觉偏差，给飞行员造成严重视觉干扰，严重影响飞行安全性。
发明内容
本申请通过提供一种飞行器的视景增强方法、系统、飞行器及存储介质，旨在解决增强视景会与远处实景出现视觉偏差，导致飞行安全性降低的问题。
本申请提供了一种飞行器的视景增强方法，所述飞行器的视景增强方法，包括：
接收位移测量装置测量的飞行员的注视信息；
基于所述注视信息确定远处实景对应的增强视景在显示屏上的目标显示位置；
将所述增强视景显示在所述目标显示位置，使得所述增强视景以及所述远处实景视觉匹配。
可选地，所述接收位移测量装置测量的飞行员的注视信息的步骤包括：
接收所述位移测量装置采集的数据；
基于所述数据进行人脸检测，得到目标人脸；
对所述目标人脸进行定位跟踪，得到所述飞行员的注视信息。
可选地，所述数据包括视频数据；所述基于所述数据进行人脸检测，得到目标人脸的步骤包括：
将所述视频数据中的各视频帧分别与预设人脸模板进行匹配，在匹配结果达到预设阈值时，从所述视频数据中提取所述目标人脸；
或者，将所述视频数据中的各视频帧由第一色彩空间转换为第二色彩空间，将转换为第二色彩空间的各个所述视频帧输入高斯模型得到肤色似然值，得到似然度图像，对所述似然度图像进行孤立噪声滤波处理以及肤色区域聚类分析，得到肤色区域，基于所述肤色区域确定所述目标人脸。
可选地，所述注视信息为所述飞行员的人脸偏移量；所述对所述目标人脸进行定位跟踪，得到所述飞行员的注视信息的步骤包括：
确定当前视频帧中的目标人脸相对于人脸初始位置的第一跟踪距离，所述人脸初始位置根据所述当前视频帧的上一视频帧得到；
根据所述第一跟踪距离以及卡尔曼滤波器确定所述目标人脸相对于所述人脸初始位置的第二跟踪距离；
根据所述第一跟踪距离以及所述第二跟踪距离之间的距离差值确定所述飞行员的人脸偏移量。
可选地，所述根据所述第一跟踪距离以及所述第二跟踪距离之间的距离差值确定所述飞行员的人脸偏移量的步骤包括：
根据所述第一跟踪距离以及所述第二跟踪距离之间的距离差值得到所述目标人脸在相机坐标系下的人脸偏移量；
基于所述位移测量装置的阵元尺寸、焦距大小以及安装位置将所述相机坐标系下的人脸偏移量转化为所述目标人脸的实际人脸偏移量；
将所述实际人脸偏移量确定为所述飞行员的人脸偏移量。
可选地，所述基于所述注视信息确定远处实景对应的增强视景在显示屏上的目标显示位置的步骤包括：
根据所述飞行员的人脸偏移量确定所述增强视景的偏移量，根据所述增强视景在显示屏上的初始显示位置以及所述增强视景的偏移量确定所述增强视景在所述显示屏上的目标显示位置；
或者，根据所述飞行员的人脸偏移量、所述远处实景相对于所述显示屏的距离以及所述飞行员的人脸相对于所述显示屏的距离确定所述增强视景的偏移量，根据所述增强视景在显示屏上的初始显示位置以及所述增强视景的偏移量确定所述增强视景在所述显示屏上的目标显示位置。
可选地，所述基于所述注视信息确定远处实景对应的增强视景在显示屏上的目标显示位置的步骤之前，还包括：
采集在不同时刻所述远处实景对应的图像数据，其中，所述图像数据包括地形数据、合作目标数据、非合作目标数据和气象数据中的至少一个；
将各个时刻的所述图像数据进行数据融合，得到所述远处实景对应的所述增强视景。
此外，为实现上述目的，本发明还提供了一种飞行器的视景增强系统，所述飞行器的视景增强系统包括：位移测量装置、显示屏以及飞行器；
其中，所述位移测量装置包括接触式位移测量装置或者非接触式位置测量装置，所述接触式位移测量装置包括图像采集传感器，所述非接触式位移测量装置包括线性位移传感器，所述位移测量装置用于测量飞行员的注视信息；
所述飞行器与所述位移测量装置连接，所述飞行器用于接收位移测量装置测量的飞行员的注视信息，基于所述注视信息确定远处实景对应的增强视景在显示屏上的目标显示位置；
所述显示屏与所述飞行器连接，所述显示屏用于在所述目标显示位置显示所述增强视景，使得所述增强视景以及所述远处实景视觉匹配。
此外，为实现上述目的，本发明还提供了一种飞行器，包括：存储器、数据处理器及存储在所述存储器上并可在所述数据处理器上运行的飞行器的视景增强程序，所述飞行器的视景增强程序被所述数据处理器执行时实现上述的飞行器的视景增强方法的步骤。
此外，为实现上述目的，本发明还提供了一种存储介质，其上存储有飞行器的视景增强程序，所述飞行器的视景增强程序被数据处理器执行时实现上述的飞行器的视景增强方法的步骤。
本申请提供的一种飞行器的视景增强方法、系统、飞行器及存储介质的技术方案，采用了在接收到位移测量装置测量的飞行员的注视信息，进而根据该注视信息确定远处实景对应的增强视景在飞行器的显示屏上的目标显示位置，进而将该增强视景显示在该目标显示位置，使得增强视景、远处实景以及飞行员的视觉进行匹配的技术方案，解决了增强视景会与远处实景出现视觉偏差，导致飞行安全性降低的问题，由于可以实时检测飞行员的注视信息，进而根据该注视信息确定增强视景在显示屏的目标显示位置，在注视信息变化时，增强视景的目标显示位置也进行自适应调整，实现缓解增强视景与远处实景导致的视觉偏差，提高飞行安全。
附图说明
图1为本发明实施例方案涉及的飞行器的视景增强系统的结构示意图；
图2为本发明实施例方案涉及的飞行器的结构示意图；
图3为本发明飞行器的视景增强方法第一实施例的流程示意图；
图4为本发明远处实景与增强视景匹配的示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明，上述附图只是一个实施例图，而不是发明的全部。
具体实施方式
本申请为了解决增强视景会与远处实景出现视觉偏差，导致飞行安全性降低的问题，采用了在接收到位移测量装置测量的飞行员的注视信息，进而根据该注视信息确定远处实景对应的增强视景在飞行器的显示屏上的目标显示位置，进而将该增强视景显示在该目标显示位置，使得增强视景、远处实景以及飞行员的视觉进行匹配的技术方案。由于可以实时检测飞行员的注视信息，进而根据该注视信息确定增强视景在显示屏的目标显示位置，以对目标显示位置进行自适应调整，实现缓解增强视景与远处实景导致的视觉偏差，提高飞行安全。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示，图1为本发明实施例方案涉及的飞行器的视景增强系统的结构示意图。
如图1所示，该飞行器的视景增强系统包括位移测量装置、显示屏以及飞行器；
其中，所述位移测量装置包括接触式位移测量装置或者非接触式位置测量装置，所述接触式位移测量装置包括图像采集传感器，所述非接触式位移测量装置包括线性位移传感器，所述位移测量装置用于测量飞行员的注视信息；
所述飞行器与所述位移测量装置连接，所述飞行器用于接收位移测量装置测量的飞行员的注视信息，基于所述注视信息确定远处实景对应的增强视景在显示屏上的目标显示位置；
所述显示屏与所述飞行器连接，所述显示屏用于在所述目标显示位置显示所述增强视景，使得所述增强视景以及所述远处实景视觉匹配。
可选地，上述的位移测量装置包括图像采集传感器、惯性传感器、激光雷达传感器以及线性位移传感器中的至少一个，该位移测量装置还可以是其他具备测量注视信息的装置。
可选地，上述的显示屏为视景增强显示屏，该显示屏可以为亮度和透明度可调节的显示屏。
可选地，该飞行器的视景增强系统还可包括输入单元、网络接口以及通信总线。可选地，用户接口可以包括标准的有线接口、无线接口。可选地，网络接口可以包括标准的有线接口、无线接口（如WI-FI接口）。可选地，用户接口主要用于连接终端，与终端进行数据通信；网络接口主要用于后台服务器，与后台服务器进行数据通信。
可选地，该飞行器的视景增强系统还可包括RF（Radio Frequency，射频）电路，音频电路、WiFi模块、光传感器、运动传感器以及其他传感器等等。可选地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本发明飞行器的视景增强系统具体实施方式与上述飞行器的视景增强方法各实施例基本相同，在此不再赘述。
本领域技术人员可以理解，图1中示出的飞行器的视景增强系统的结构并不构成对飞行器的视景增强系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图2所示，图2为本发明实施例方案涉及的飞行器的结构示意图。该飞行器可以包括：数据处理器1001，例如CPU，存储器1002，存储器1002可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1002可选的还可以是独立于前述数据处理器1001的存储装置。
本领域技术人员可以理解，图2中示出的飞行器结构并不构成对飞行器限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图2所示，作为一种存储介质的存储器1002中还可以包括操作系统以及飞行器的视景增强程序。其中，操作系统是管理和控制飞行器硬件和软件资源的程序，飞行器的视景增强程序以及其它软件或程序的运行。
在图2所示的飞行器中，飞行器包括：存储器1002、数据处理器1001及存储在所述存储器上并可在所述数据处理器上运行的飞行器的视景增强程序，其中：
数据处理器1001调用存储器1002中存储的飞行器的视景增强程序时，执行以下操作：
接收位移测量装置测量的飞行员的注视信息；
基于所述注视信息确定远处实景对应的增强视景在显示屏上的目标显示位置；
将所述增强视景显示在所述目标显示位置，使得所述增强视景以及所述远处实景视觉匹配。
数据处理器1001调用存储器1002中存储的飞行器的视景增强程序时，还执行以下操作：
接收所述位移测量装置采集的数据；
基于所述数据进行人脸检测，得到目标人脸；
对所述目标人脸进行定位跟踪，得到所述飞行员的注视信息。
数据处理器1001调用存储器1002中存储的飞行器的视景增强程序时，还执行以下操作：
将所述视频数据中的各视频帧分别与预设人脸模板进行匹配，在匹配结果达到预设阈值时，从所述视频数据中提取所述目标人脸；
或者，将所述视频数据中的各视频帧由第一色彩空间转换为第二色彩空间，将转换为第二色彩空间的各个所述视频帧输入高斯模型得到肤色似然值，得到似然度图像，对所述似然度图像进行孤立噪声滤波处理以及肤色区域聚类分析，得到肤色区域，基于所述肤色区域确定所述目标人脸。
数据处理器1001调用存储器1002中存储的飞行器的视景增强程序时，还执行以下操作：
确定当前视频帧中的目标人脸相对于人脸初始位置的第一跟踪距离，所述人脸初始位置根据所述当前视频帧的上一视频帧得到；
根据所述第一跟踪距离以及卡尔曼滤波器确定所述目标人脸相对于所述人脸初始位置的第二跟踪距离；
根据所述第一跟踪距离以及所述第二跟踪距离之间的距离差值确定所述飞行员的人脸偏移量。
数据处理器1001调用存储器1002中存储的飞行器的视景增强程序时，还执行以下操作：
根据所述第一跟踪距离以及所述第二跟踪距离之间的距离差值得到所述目标人脸在相机坐标系下的人脸偏移量；
基于所述位移测量装置的阵元尺寸、焦距大小以及安装位置将所述相机坐标系下的人脸偏移量转化为所述目标人脸的实际人脸偏移量；
将所述实际人脸偏移量确定为所述飞行员的人脸偏移量。
数据处理器1001调用存储器1002中存储的飞行器的视景增强程序时，还执行以下操作：
根据所述飞行员的人脸偏移量确定所述增强视景的偏移量，根据所述增强视景在显示屏上的初始显示位置以及所述增强视景的偏移量确定所述增强视景在所述显示屏上的目标显示位置；
或者，根据所述飞行员的人脸偏移量、所述远处实景相对于所述显示屏的距离以及所述飞行员的人脸相对于所述显示屏的距离确定所述增强视景的偏移量，根据所述增强视景在显示屏上的初始显示位置以及所述增强视景的偏移量确定所述增强视景在所述显示屏上的目标显示位置。
数据处理器1001调用存储器1002中存储的飞行器的视景增强程序时，还执行以下操作：
采集在不同时刻所述远处实景对应的图像数据，其中，所述图像数据包括地形数据、合作目标数据、非合作目标数据和气象数据中的至少一个；
将各个时刻的所述图像数据进行数据融合，得到所述远处实景对应的所述增强视景。
以下将以实施例的方式论述本申请的技术方案。
如图3所示，在本申请的第一实施例中，本申请的飞行器的视景增强方法，包括以下步骤：
步骤S110，接收位移测量装置测量的飞行员的注视信息。
在本实施例中，飞行员在飞行过程中，需要实时观察飞行器周围的环境。而为了更好的对飞行器周围的环境进行观察，需要在飞行器周围的环境进行增强后显示。而在飞行员的头部发生偏移时，增强视景会与远处实景出现视觉偏差，导致飞行安全性降低。因此，本申请在检测到飞行员的注视信息发生变化时，使得显示屏上的远处实景对应的增强视景也进行相应的联动变化。
而在检测飞行员的注视信息这一过程中，主要采用位移测量装置进行测量。可选地，该位移测量装置可以为接触式位移测量装置，也可以是非接触式位移测量装置。在该位移测量装置为接触式位移测量装置时，该接触式位移测量装置可以是千分表、线性位移传感器等。在该位移测量装置为非接触式位移测量装置时，该非接触式位移测量装置可以是全球卫星定位系统或者是激光多普勒振动仪。可选地，本申请采用的非接触式位移测量装置还可以是图像采集传感器、激光雷达传感器、毫米波雷达传感器、惯性传感器等测量装置，这些测量装置相比于接触式位移测量装置，不仅提高测量精度以及降低测量成本，而且与飞行员是非接触的，使得飞行员活动比较自如。
该注视信息可以是飞行员的人脸偏移量，还可以是飞行员的眼球的偏移量，还可以是飞行员的视线的偏移量等。
可选地，在该位移测量装置为图像采集传感器时，该图像采集传感器的数量可以为一个甚至多个；可以根据实际情况在驾驶舱内安装该图像采集传感器；例如，可以在飞行员座位的上方或者前方等位置安装图像采集传感器，通过图像采集传感器采集的图像数据确定飞行员的注视信息。还可以在飞行员座位的上方和前方位置分别安装图像采集传感器，通过对不同图像采集传感器采集的图像数据进行分析和处理，进而确定飞行员的注视信息。可选地，还可以获取同一时刻不同图像采集传感器采集的图像数据，先对各个图像数据进行灰度化、二值化处理后，再识别和标注二值化处理后的图像数据中的目标，最后对各个图像数据标注的目标进行融合处理，从而得到该飞行员的人脸偏移量。
可选地，在该位移测量装置为线性位移传感器时，该线性位移传感器可安装在该飞行员的头盔上。例如，可以在该飞行员的头盔的一边安装该线性位移传感器，还可以在该飞行员的头盔的左右边分别安装该线性位移传感器，通过该线性位移传感器的测量值确定该飞行员的注视信息。可选地，可通过该线性位移传感器的测量值确定该飞行员的人脸偏移量。
可选地，除了上述方法外还可以通过其他方法实时测量出人脸的位移量，如：人头部穿戴惯性传感器的方法进行检测，实时输出飞行员的人脸偏移量。
可选地，还可通过接触式位移测量装置和非接触式位移测量装置的配合使用进而确定飞行员的注视信息，进而提高飞行员的注视信息的测量精度。例如，可通过飞行员身上的线性位移传感器测量飞行员的坐姿以及飞行员的某个身体部位是否发生变化，若是，再通过图像采集传感器采集图像数据，进而确定该飞行员的注视信息。还可以是，将线性位移传感器测量的数据与图像采集传感器采集的图像数据进行融合，进而得到飞行员的注视信息。
可选地，该位移测量装置与飞行器上的数据处理设备连接，在位移测量装置测量得到图像信息或者位移数据之后，可将该图像数据或者该位移数据发送至该数据处理设备进行处理，进而得到飞行员的注视信息。其中，该数据处理设备包括数据采集模块、计算模块、存储模块、输出模块等。可选地，还可以是该位移测量装置测量得到图像数据或者位移数据之后，通过位移测量装置自身的数据处理器处理该图像数据或者位移数据，得到飞行员的注视信息。
步骤S120，基于所述注视信息确定远处实景对应的增强视景在显示屏上的目标显示位置。
在本实施例中，在采用位移测量装置测量得到飞行员的注视信息之后，由于远处实景相对于显示屏的距离较远，而飞行员相对于显示屏的距离较近，因此，可利用数据处理设备将增强视景的显示随该注视信息做相应的调整，进而确定该增强视景在显示屏的目标显示位置。
可选地，在基于所述注视信息确定远处实景对应的增强视景在显示屏上的目标显示位置之前，还包括：
步骤S140，采集在不同时刻所述远处实景对应的图像数据，其中，所述图像数据包括地形数据、合作目标数据、非合作目标数据和气象数据中的至少一个；
步骤S150，将各个时刻的所述图像数据进行数据融合，得到所述远处实景对应的所述增强视景。
其中，该远处实景为飞行器在飞行过程中，飞行器周围的环境信息，该环境信息包括合作目标、非合作目标、地形、气象等。例如，该合作目标可以是与该飞行器通信的其他飞行器等；该非合作目标可以是飞鸟或不与该飞行器通信的其他飞行器等。该远处实景可以通过飞行器上的图像采集传感器、激光雷达传感器等不同传感器进行获取。可选地，可对采集得到的飞行器周围的环境信息进行融合处理，进而得到该远处实景对应的增强视景。
可选地，在得到远处实景对应的增强视景之后，可将该增强视景输入到数据处理设备。该数据处理设备能基于该注视信息确定该增强视景在显示屏上的目标显示位置。其中，该目标显示位置为飞行员的头部偏移之后，增强视景在显示屏上的显示位置。该目标显示位置可根据飞行员的注视信息、远处实景进行确定。
可选地，该显示屏为增强视景所显示的屏幕，该显示屏可以是透明显示屏，也可以是一台投影设备和透明幕构成。
步骤S130，将所述增强视景显示在所述目标显示位置，使得所述增强视景以及所述远处实景视觉匹配。
在本实施例中，在得到目标显示位置之后，可以将该增强视景投影在该目标显示位置，由此，增强视景以及远处实景在视觉上能够匹配。通过利用数据处理设备将增强视景的显示随注视信息也做相应的调整，这样飞行员在驾驶舱内头部移动情况下增强视景也随之移动，让增强视景以及远处实景在视觉上保持在一条直线上，增强视景的效果达到最佳状态。
可选地，参照图4，在本实施例中，在飞行员的眼睛沿着B方向移动时，在显示屏上对应的增强视景也会相应的沿着A方向进行移动，使得移动后的飞行员的眼睛、移动后的增强视景以及远处实景处于同一直线上，即飞行员的眼睛、移动后的增强视景以及远处实景匹配。
本实施例根据上述技术方案，采用了在接收到位移测量装置测量的飞行员的注视信息，进而根据该注视信息确定远处实景对应的增强视景在飞行器的显示屏上的目标显示位置，进而将该增强视景显示在该目标显示位置，使得增强视景、远处实景以及飞行员的视觉进行匹配的技术方案，解决了增强视景会与远处实景出现视觉偏差，导致飞行安全性降低的问题，由于可以实时检测飞行员的注视信息，进而根据该注视信息确定增强视景在显示屏的目标显示位置，在注视信息变化时，增强视景的目标显示位置也进行自适应调整，实现缓解增强视景与远处实景导致的视觉偏差，提高飞行安全。
可选地，所述接收位移测量装置测量的飞行员的注视信息的步骤包括：
步骤S111，接收所述位移测量装置采集的数据；
步骤S112，基于所述数据进行人脸检测，得到目标人脸；
步骤S113，对所述目标人脸进行定位跟踪，得到所述飞行员的注视信息。
在本实施例中，位移测量装置采集的数据可以是位移数据，也可以是图像数据、视频数据等。根据该位移测量装置采集对应的数据。再基于该数据进行人脸识别和检测，得到目标人脸。其中，不同位移测量装置采集的数据对应的人脸检测处理方式不同。例如，在该位移测量装置为图像采集传感器时，可通过图像采集传感器采集的图像数据和/或视频数据进行人脸检测，得到目标人脸。在该位移测量装置为线性位移传感器时，可通过该线性位移传感器采集的位移数据进行人脸检测，得到目标人脸。
可选地，实时接收位移测量装置传输的数据。在接收位移测量装置采集的数据之后，在数据处理设备上对该数据进行人脸检测。其中，本申请所采用的人脸检测算法可以是参考模板法、人脸规则法、样品学习法、肤色模型法、特征子脸法中的至少一种。可根据实际情况选择上述任意一种人脸检测算法进行人脸检测，进而得到目标人脸。对该目标人脸进行定位跟踪，从而得到飞行员的人脸偏移量。
为了提高检测精度，还可以确定飞行员的人眼检测目标，该人眼检测目标可以通过检测飞行员左右眼球中心点的位置进行确定。在得到人眼检测目标之后，对该人眼检测目标进行定位跟踪，从而得到飞行员的人眼偏移量。
可选地，除了基于该位移测量装置采集的数据进行人脸检测或者人眼检测之外，还可进行视线检测等，进而得到飞行员的注视信息，通过该注视信息进而确定该飞行员的头部移动情况。例如，在得到人眼视线之后，对人眼视线进行定位跟踪，得到该飞行员的视线偏移量。
本实施例根据上述技术方案，由于采用了接收位移测量装置采集的数据，对该数据进行人脸检测，得到目标人脸，进而对该目标人脸进行定位跟踪从而得到飞行员的注视信息的技术手段，在原有的视景增强设备的基础上通过该位移测量装置快速和准确测量飞行员的注视信息。
在一应用场景下，该数据包括视频数据。可在飞行员前上方安装一个视频采集设备实时采集飞行员的视频，将视频实时输出至数据处理设备。还可以是通过图像采集设备实时采集飞行员的图片，将该图片实时输出至数据处理设备。数据处理设备利用基于视觉图像的目标跟踪技术完成对人脸、人眼或视线进行跟踪，同时输出跟踪量，该跟踪量即为人脸偏移量、人眼偏移量或者视线偏移量，也即上述的飞行员的注视信息。
可选地，可根据实际情况确定对应的人脸检测方法，进而采用该人脸检测方法确定目标人脸。所述基于所述数据进行人脸检测，得到目标人脸的步骤包括：
步骤S1121，将所述视频数据中的各视频帧分别与预设人脸模板进行匹配，在匹配结果达到预设阈值时，从所述视频数据中提取所述目标人脸。
在本实施例中，可以设定一个或者多个预设人脸模板，该预设人脸模板为飞行员的标准人脸模板。将视频数据中的各个视频帧分别与该预设人脸模板进行匹配。该匹配结果可以为分值或者比率，该匹配结果用于表征视频帧与预设人脸模板之间的匹配程度。该预设阈值可根据实际情况进行设置，可以在该分值或者该比率达到预设阈值时，确定该视频帧中存在目标人脸，提取对应的目标人脸。
可选地，可以从内容、特征、结构、关系、纹理及灰度等维度将视频帧与预设人脸模板进行匹配，确定视频帧与预设人脸模板在各个维度下的对应关系，进而根据该对应关系进行相似性和一致性的分析，从而得到目标人脸。可选地，可以确定上述不同维度对应的分值占比，每个维度在比对之后会输出对应的分值，通过每个维度对应的分值以及该分值关联的分值占比，从而确定最终的匹配分值。在该匹配分值大于预设阈值时，表示对应的视频帧中存在目标人脸，提取该目标人脸。
或者，步骤S1122，将所述视频数据中的各视频帧由第一色彩空间转换为第二色彩空间，将转换为第二色彩空间的各个所述视频帧输入高斯模型得到肤色似然值，得到似然度图像，对所述似然度图像进行孤立噪声滤波处理以及肤色区域聚类分析，得到肤色区域，基于所述肤色区域确定所述目标人脸。
可选地，可以通过肤色模型法确定目标人脸。将获得的视频数据中的各视频帧由第一色彩空间，即RGB色彩空间，转换到第二色彩空间，即YCbCr空间。将转化为第二色彩空间的各个视频帧分别代入高斯模型计算肤色似然值，得到似然度图像。对该似然度图像进行孤立噪声滤波处理以及肤色区域聚类分析，从而得到肤色区域。进而在该肤色区域进行人脸检测，从而得到目标人脸。
还可以是选取自适应阈值对似然度图像进行分割，得到肤色区域；对包含肤色区域的图像进行闭运算，去除散粒噪声。在去除散粒噪声之后，分别利用人脸几何特征和人脸结构特征对闭运算后的肤色区域结果进行检验，通过整合两部分的结果对非人脸区域进行排除，提取图像中保留的肤色区域，获得目标人脸。
可选地，还可采用人脸规则法确定目标人脸，由于人脸具有一定的结构分布特征，所谓人脸规则法即提取这些特征生成相应的规则，以判断各视频帧中是否包含人脸。
可选地，还可采用样品学习法确定目标人脸，这种方法通过对面像样品集和非面像样品集的学习产生分类器。进而根据该分类器确定目标人脸。
可选地，还可以通过检测框标注该人脸位置，进行确定目标人脸。
本实施例根据上述技术方案，由于采用了不同的方式确定目标人脸，从而准确确定目标人脸。
可选地，所述对所述目标人脸进行定位跟踪，得到所述飞行员的注视信息的步骤包括：
步骤S1131，确定当前视频帧中的目标人脸相对于人脸初始位置的第一跟踪距离，所述人脸初始位置根据所述当前视频帧的上一视频帧得到；
步骤S1132，根据所述第一跟踪距离以及卡尔曼滤波器确定所述目标人脸相对于所述人脸初始位置的第二跟踪距离；
步骤S1133，根据所述第一跟踪距离以及所述第二跟踪距离之间的距离差值确定所述飞行员的人脸偏移量。
在本实施例中，该注视信息为所述飞行员的人脸偏移量；该注视信息还可以为飞行员的人眼偏移量；该注视信息还可以为飞行员的视线偏移量。
在本实施例中，可基于卡尔曼滤波技术对目标人脸进行定位跟踪，从而得到人脸偏移量。卡尔曼滤波是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。在不确定飞行员下一次偏移后的人脸位置时，可通过该卡尔曼滤波算法对飞行员下一次偏移后的人脸位置进行预测，进而得到人脸偏移量。
具体的，可确定飞行员的人脸初始位置，该人脸初始位置为根据当前视频帧的上一视频帧得到。该当前视频帧可根据实际情况进行指定。在根据位移测量装置实时采集的视频数据确定目标人脸之后，确定当前视频帧中的目标人脸的位置。确定当前视频帧中的目标人脸位置与人脸初始位置之间的距离，将该距离确定为第一跟踪距离。在确定第一跟踪距离之后，将该第一跟踪距离输入卡尔曼滤波器，通过该卡尔曼滤波器预测该目标人脸相对与人脸初始位置的第二跟踪距离。在得到上述的第一跟踪距离以及第二跟踪距离之后，根据该第一跟踪距离与第二跟踪距离之间的距离差值确定飞行员的人脸偏移量。从而使得飞行员的头部位置移动时，可通过上述方式确定飞行员的人脸偏移量。
以下将对本申请所采用的卡尔曼滤波进行详细介绍。其中，卡尔曼滤波算法为：
S(k|k-1)=AS(k-1|k-1)+BU(k) ； (1)
P(k|k-1)=AP(k-1|k-1)AT+Q ； (2)
Kg(k)=P(k|k-1)HT/(HP(k|k-1)HT+R； (3)
S(k|k)=S(k|k-1)+Kg(k)(Z(k)-HS(k|k-1)) ； (4)
P(k|k)=(1-Kg(k)H)P(k|k-1) ； (5)
上述5个等式给出来卡尔曼滤波算法的计算公式。
其中：式(1)用于计算基于k-1时刻状态对k时刻系统状态的预测值。其中，
S(k|k-1)：基于k-1时刻状态对k时刻状态的预测值；
S(k-1|k-1)：k-1时刻状态的最优结果；
U(k)：k时刻的系统控制量，无则为0；
A：状态转移矩阵；
B：控制输入矩阵。
式(2)用于计算X(k|k-1)对应的协方差的预测值。
其中，P(k|k-1)：基于k-1时刻的协方差计算k时刻协方差的预测值；
P(k-1|k-1)：k-1时刻协方差的最优结果；
Q：系统过程噪声协方差。
式(3)用于增益的计算。其中，
Kg(k)：k时刻的kalman增益，为估计量的方差占总方差(估计量方差和测量方差)的比重；
H：系统测量矩阵；
R：测量噪声协方差。
式(4)用于计算k时刻系统状态最优值。
其中，S(k|k)：k时刻系统状态的最优结果；
Z(k)：k时刻系统测量值。
式(5)用于计算k时刻系统最优结果对应的协方差。
其中，P(k|k)：k时刻系统最优结果对应的协方差。
基于卡尔曼滤波技术检测人脸位移量的步骤如下：
第一、系统状态方程的建立。
目标物体运动方程为：
Figure 460350DEST_PATH_IMAGE001
。
对比卡尔曼滤波方程（1）可得到相应的状态矢量、状态转移矩阵、系统动态噪声矢量等参数。
第二、系统观测方程的建立。
由于观测到的只是目标在图像中的像素位置，即：
Figure 613988DEST_PATH_IMAGE002
。
对比卡尔曼滤波方程（2）可得到卡尔曼滤波观测矢量、观测系数矩阵等参数。
第三、预测功能实现。
建立了上述系统状态方程和观测方程之后，就可以利用卡尔曼滤波方程（1）~（5）通过递推不断预测目标在下一帧的位置。
在t＝k时刻，对第ｋ帧图像利用上述介绍的算法识别出目标位置记为Xk。当目标首次出现时，根据此时目标的观测位置X0初始化滤波器：
S（0｜0）＝[X0，0]T。
系统初始状态向量P(0|0)，Q0协方差矩阵可以在对角线上取较大值，取值根据实际测量情况来获得，但在滤波启动一段时间后影响就不大了。
通过式（1），计算得到目标在下一帧图像中的预测位置S(1｜0)。在该位置附近，对下一帧图像进行局部搜索，识别出的目标质心位置即为X（1），通过式（2）至式（5）完成对状态向量和状态向量协方差矩阵的更新，为目标位置的下一步预测做好准备。
其中，S(k＋1｜k)为预测的目标在第k＋1帧图像中的位置，在该图像中预测位置附近进行局部搜索X(k＋1)，即为通过该卡尔曼算法识别出目标人脸的位置。
可选地，除了基于卡尔曼滤波算法外，其他的非接触式方法也可测量出人脸的偏移量，如：基于视觉处理的位移测量方法、基于磁阻传感器的位移测量方法、基于神经网络技术的目标跟踪方法以及基于卡尔曼滤波目标跟踪改进方法等。
本实施例根据上述技术方案，由于采用了通过卡尔曼滤波算法确定飞行员的人脸偏移量的技术手段，实现对飞行员的人脸偏移量的准确测量。
可选地，所述根据所述第一跟踪距离以及所述第二跟踪距离之间的距离差值确定所述飞行员的人脸偏移量的步骤包括：
步骤S11331，根据所述第一跟踪距离以及所述第二跟踪距离之间的距离差值得到所述目标人脸在相机坐标系下的人脸偏移量；
步骤S11332，基于所述位移测量装置的阵元尺寸、焦距大小以及安装位置将所述相机坐标系下的人脸偏移量转化为所述目标人脸的实际人脸偏移量；
步骤S11333，将所述实际人脸偏移量确定为所述飞行员的人脸偏移量。
在本实施例中，在根据第一跟踪距离以及第二跟踪距离之间的距离差值得到的人脸偏移量为相机坐标系下的人脸偏移量。因此，需要将该相机坐标系下的人脸偏移量转换为地球坐标系下的人脸偏移量，该地球坐标系下的人脸偏移量为该目标人脸的实际人脸偏移量。可根据位移测量装置的阵元尺寸、焦距大小、以及该位移测量装置相对飞行员的安装位置等参数换算出目标人脸的实际人脸偏移量，进而得到飞行员的人脸偏移量。其中，该位移测量装置为图像采集传感器或者是视频采集传感器。将相机坐标系下的人脸偏移量换算为地球坐标系下的人脸偏移量的方式可参考现有技术，在此不再赘述。
本实施例根据上述技术方案，由于采用了将相机坐标系下的人脸偏移量转化为地球坐标系下的实际人脸偏移量，进而得到飞行员的人脸偏移量的技术手段，从而可以直观的确定人脸的实际偏移量。
可选地，所述基于所述注视信息确定远处实景对应的增强视景在显示屏上的目标显示位置的步骤包括：
步骤S121，根据所述飞行员的人脸偏移量确定所述增强视景的偏移量，根据所述增强视景在显示屏上的初始显示位置以及所述增强视景的偏移量确定所述增强视景在所述显示屏上的目标显示位置。
在本实施例中，用位移测量装置测量人脸位移量，由于远处实景相对于显示屏的距离较远，人脸相对于显示屏的距离较近。因此，可根据飞行员的人脸偏移量确定增强视景的偏移量；根据增强视景在显示屏上的初始显示位置以及增强视景的偏移量确定增强视景在显示屏上的目标显示位置。
或者，步骤S122，根据所述飞行员的人脸偏移量、所述远处实景相对于所述显示屏的距离以及所述飞行员的人脸相对于所述显示屏的距离确定所述增强视景的偏移量，根据所述增强视景在显示屏上的初始显示位置以及所述增强视景的偏移量确定所述增强视景在所述显示屏上的目标显示位置。
在本实施例中，还可以利用相似三角形原理确定增强视景在显示屏上的目标显示位置。可在确定飞行员的人脸偏移量、远处实景相对于显示屏的距离以及飞行员的人脸相对于显示屏的距离之后，基于相似三角形原理确定增强视景的偏移量。进而在确定增强视景的偏移量之后，根据增强视景在显示屏上的初始显示位置以及该增强视景的偏移量确定增强视景在显示屏上的目标显示位置。可以通过投影设备直接在显示屏的目标显示位置上投影显示该增强视景。
本发明实施例提供了飞行器的视景增强方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
基于同一发明构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有飞行器的视景增强程序，所述飞行器的视景增强程序被数据处理器执行时实现如上所述的飞行器的视景增强方法的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
由于本申请实施例提供的存储介质，为实施本申请实施例的方法所采用的存储介质，故而基于本申请实施例所介绍的方法，本领域所属人员能够了解该存储介质的具体结构及变形，故而在此不再赘述。凡是本申请实施例的方法所采用的存储介质都属于本申请所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种飞行器的视景增强方法，其特征在于，所述飞行器的视景增强方法包括：
接收位移测量装置采集的数据；
基于所述数据进行人脸检测，得到目标人脸；
确定当前视频帧中的目标人脸相对于人脸初始位置的第一跟踪距离，所述人脸初始位置根据所述当前视频帧的上一视频帧得到；
根据所述第一跟踪距离以及卡尔曼滤波器确定所述目标人脸相对于所述人脸初始位置的第二跟踪距离；
根据所述第一跟踪距离以及所述第二跟踪距离之间的距离差值确定飞行员的注视信息，所述注视信息包括飞行员的人脸偏移量，所述位移测量装置包括线性位移传感器和图像采集传感器，所述线性位移传感器安装于所述飞行员的头盔上或者身上，在根据所述线性位移传感器测量的数据确定所述飞行员的坐姿发生变化时，通过所述图像采集传感器采集图像数据，根据所述线性位移传感器测量的数据和所述图像采集传感器采集的图像数据确定所述飞行员的注视信息；
基于所述注视信息确定远处实景对应的增强视景在显示屏上的目标显示位置；
将所述增强视景显示在所述目标显示位置，使得所述增强视景以及所述远处实景视觉匹配。
2.如权利要求1所述的飞行器的视景增强方法，其特征在于，所述数据包括视频数据；所述基于所述数据进行人脸检测，得到目标人脸的步骤包括：
将所述视频数据中的各视频帧分别与预设人脸模板进行匹配，在匹配结果达到预设阈值时，从所述视频数据中提取所述目标人脸；
或者，将所述视频数据中的各视频帧由第一色彩空间转换为第二色彩空间，将转换为第二色彩空间的各个所述视频帧输入高斯模型得到肤色似然值，得到似然度图像，对所述似然度图像进行孤立噪声滤波处理以及肤色区域聚类分析，得到肤色区域，基于所述肤色区域确定所述目标人脸。
3.如权利要求1所述的飞行器的视景增强方法，其特征在于，所述根据所述第一跟踪距离以及所述第二跟踪距离之间的距离差值确定所述飞行员的人脸偏移量的步骤包括：
根据所述第一跟踪距离以及所述第二跟踪距离之间的距离差值得到所述目标人脸在相机坐标系下的人脸偏移量；
基于所述位移测量装置的阵元尺寸、焦距大小以及安装位置将所述相机坐标系下的人脸偏移量转化为所述目标人脸的实际人脸偏移量；
将所述实际人脸偏移量确定为所述飞行员的人脸偏移量。
4.如权利要求1所述的飞行器的视景增强方法，其特征在于，所述基于所述注视信息确定远处实景对应的增强视景在显示屏上的目标显示位置的步骤包括：
根据所述飞行员的人脸偏移量确定所述增强视景的偏移量，根据所述增强视景在显示屏上的初始显示位置以及所述增强视景的偏移量确定所述增强视景在所述显示屏上的目标显示位置；
或者，根据所述飞行员的人脸偏移量、所述远处实景相对于所述显示屏的距离以及所述飞行员的人脸相对于所述显示屏的距离确定所述增强视景的偏移量，根据所述增强视景在显示屏上的初始显示位置以及所述增强视景的偏移量确定所述增强视景在所述显示屏上的目标显示位置。
5.如权利要求1所述的飞行器的视景增强方法，其特征在于，所述基于所述注视信息确定远处实景对应的增强视景在显示屏上的目标显示位置的步骤之前，还包括：
采集在不同时刻所述远处实景对应的图像数据，其中，所述图像数据包括地形数据、合作目标数据、非合作目标数据和气象数据中的至少一个；
将各个时刻的所述图像数据进行数据融合，得到所述远处实景对应的所述增强视景。
6.一种飞行器，其特征在于，所述飞行器包括：存储器、数据处理器及存储在所述存储器上并可在所述数据处理器上运行的飞行器的视景增强程序，所述飞行器的视景增强程序被所述数据处理器执行时实现如权利要求1-5中任一项所述的飞行器的视景增强方法的步骤。
7.一种飞行器的视景增强系统，其特征在于，所述飞行器的视景增强系统包括：位移测量装置、显示屏以及如权利要求6所述的飞行器；
其中，所述位移测量装置包括接触式位移测量装置或者非接触式位移测量装置，所述接触式位移测量装置包括图像采集传感器，所述非接触式位移测量装置包括线性位移传感器，所述位移测量装置用于测量飞行员的注视信息；
所述飞行器与所述位移测量装置连接，所述飞行器用于接收位移测量装置测量的飞行员的注视信息，基于所述注视信息确定远处实景对应的增强视景在显示屏上的目标显示位置；
所述显示屏与所述飞行器连接，所述显示屏用于在所述目标显示位置显示所述增强视景，使得所述增强视景以及所述远处实景视觉匹配。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有飞行器的视景增强程序，所述飞行器的视景增强程序被数据处理器执行时实现权利要求1-5中任一项所述的飞行器的视景增强方法的步骤。
CN202210818799.XA 2022-07-13 2022-07-13 飞行器的视景增强方法、系统、飞行器及存储介质 Active CN114915772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210818799.XA CN114915772B (zh) 2022-07-13 2022-07-13 飞行器的视景增强方法、系统、飞行器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210818799.XA CN114915772B (zh) 2022-07-13 2022-07-13 飞行器的视景增强方法、系统、飞行器及存储介质

Publications (2)

Publication Number Publication Date
CN114915772A CN114915772A (zh) 2022-08-16
CN114915772B true CN114915772B (zh) 2022-11-01

Family

ID=82772325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210818799.XA Active CN114915772B (zh) 2022-07-13 2022-07-13 飞行器的视景增强方法、系统、飞行器及存储介质

Country Status (1)

Country Link
CN (1) CN114915772B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108917746A (zh) * 2018-07-26 2018-11-30 中国人民解放军国防科技大学 头盔姿态测量方法、测量装置及测量系统
CN111433067A (zh) * 2017-11-14 2020-07-17 麦克赛尔株式会社 平视显示装置及其显示控制方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2395779A (en) * 2002-11-29 2004-06-02 Sony Uk Ltd Face detection
CN104013414B (zh) * 2014-04-30 2015-12-30 深圳佑驾创新科技有限公司 一种基于移动智能手机的驾驶员疲劳检测系统
US9547798B2 (en) * 2014-05-20 2017-01-17 State Farm Mutual Automobile Insurance Company Gaze tracking for a vehicle operator
DE102015202330A1 (de) * 2015-02-10 2016-08-11 Continental Automotive Gmbh Fahrerassistenzsystem
JP6690179B2 (ja) * 2015-10-19 2020-04-28 株式会社デンソー 挙動推定システム、及び挙動推定方法
DE102017221871A1 (de) * 2017-12-05 2019-06-06 Volkswagen Aktiengesellschaft Verfahren zur Berechnung der Bewegungsdaten des Kopfes eines Fahrers eines Fahrzeuges, Datenbrille sowie Fahrzeug zur Verwendung bei dem Verfahren und Computerprogramm
JP7145509B2 (ja) * 2019-03-27 2022-10-03 パナソニックＩｐマネジメント株式会社 映像表示システム、映像表示方法、プログラム、及び、移動体
CN113467600B (zh) * 2020-03-31 2025-06-10 深圳光峰科技股份有限公司 基于增强现实的信息显示方法、系统、装置及投影设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111433067A (zh) * 2017-11-14 2020-07-17 麦克赛尔株式会社 平视显示装置及其显示控制方法
CN108917746A (zh) * 2018-07-26 2018-11-30 中国人民解放军国防科技大学 头盔姿态测量方法、测量装置及测量系统

Also Published As

Publication number Publication date
CN114915772A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN110167823B (zh) 用于驾驶员监测的系统和方法
EP3718048B1 (en) Method of analyzing objects in images recorded by a camera of a head mounted device
CN112567201B (zh) 距离测量方法以及设备
US9152853B2 (en) Gesture recognition in vehicles
CN102510734B (zh) 瞳孔检测装置及瞳孔检测方法
US20150205484A1 (en) Three-dimensional user interface apparatus and three-dimensional operation method
KR101903127B1 (ko) 시선방향 예측 방법 및 장치
US8737685B2 (en) Systems and methods for detecting the movement of an object
CN103514432A (zh) 人脸特征提取方法、设备和计算机程序产品
CN111012301A (zh) 一种头戴式目视精确瞄准系统
CN108846336B (zh) 目标检测方法、装置及计算机可读存储介质
US20200250553A1 (en) Out-of-vehicle communication device, out-of-vehicle communication method, information processing device, and computer readable medium
KR20160046495A (ko) 외부 물체의 움직임과 연관된 이벤트에 응답하여 화면을 디스플레이하는 장치 및 방법
CN104156978B (zh) 基于球载平台的多目标动态跟踪方法
CN112330730A (zh) 图像处理方法、装置、设备及存储介质
US10573083B2 (en) Non-transitory computer-readable storage medium, computer-implemented method, and virtual reality system
CN112907557A (zh) 道路检测方法、装置、计算设备及存储介质
CN119487554A (zh) 针对增强现实设备的平滑对象校正
CN112213753B (zh) 一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法
JP2006090957A (ja) 移動体の周囲物体検出装置及び移動体の周囲物体検出方法
Satriawan et al. Predicting future eye gaze using inertial sensors
US20220377306A1 (en) Misaligned vantage point mitigation for computer stereo vision
US11681149B2 (en) Method and device for controlling the positioning of a mounted information display device
CN114915772B (zh) 飞行器的视景增强方法、系统、飞行器及存储介质
Murthy et al. Deep learning-based eye gaze estimation for military aviation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230530

Address after: Building 4, No. 200 Tianfu Fifth Street, Chengdu High tech Zone, China (Sichuan) Pilot Free Trade Zone, Chengdu City, Sichuan Province, 610000, 6th floor, Zone A

Patentee after: Chengdu wofeitianyu Technology Co.,Ltd.

Patentee after: ZHEJIANG GEELY HOLDING GROUP Co.,Ltd.

Address before: 610000 No. 601 and 602, block a, building 5, No. 200, Tianfu Fifth Street, Chengdu hi tech Zone, Chengdu (Sichuan) pilot Free Trade Zone, Sichuan Province

Patentee before: Wofei Changkong Technology (Chengdu) Co.,Ltd.

Patentee before: ZHEJIANG GEELY HOLDING GROUP Co.,Ltd.

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 6th Floor, Block A, Building 4, No. 200 Tianfu Fifth Street, Chengdu High tech Zone, Free Trade Zone, Chengdu, Sichuan Province 610000

Patentee after: Sichuan Wofei Changkong Technology Development Co.,Ltd.

Country or region after: China

Patentee after: ZHEJIANG GEELY HOLDING GROUP Co.,Ltd.

Address before: 6th Floor, Block A, Building 4, No. 200 Tianfu 5th Street, Chengdu High tech Zone, China (Sichuan) Pilot Free Trade Zone, Chengdu, Sichuan Province

Patentee before: Chengdu wofeitianyu Technology Co.,Ltd.

Country or region before: China

Patentee before: ZHEJIANG GEELY HOLDING GROUP Co.,Ltd.