CN111323042B - 目标物体的预警方法、装置和电子设备 - Google Patents
目标物体的预警方法、装置和电子设备 Download PDFInfo
- Publication number
- CN111323042B CN111323042B CN202010105033.8A CN202010105033A CN111323042B CN 111323042 B CN111323042 B CN 111323042B CN 202010105033 A CN202010105033 A CN 202010105033A CN 111323042 B CN111323042 B CN 111323042B
- Authority
- CN
- China
- Prior art keywords
- peripheral
- angle
- target object
- operation data
- center point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3635—Guidance using 3D or perspective road maps
- G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3647—Guidance involving output of stored or live camera images or video streams
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供一种目标物体的预警方法、装置和电子设备,方法包括:获取至少一个对第一物体具有威胁的目标物体,并获取所述目标物体的预期水平偏角;获取所述AR画面中各个物体图像的绝对水平偏角;根据所述目标物体的预期水平偏角、以及各个物体图像的绝对水平偏角,获得所述目标物体在所述AR画面中对应的物体图像;在所述AR画面中对所述目标物体对应的物体图像进行预警显示。本申请实施例能够为用户提供更大范围内的危险预警,提升用户体验。
Description
技术领域
本申请涉及智能终端技术领域,特别涉及目标物体的预警方法、装置和电子设备。
背景技术
随着增强现实(AR,Augmented Reality)技术的进步,AR应用在导航场景特别是车载导航的场景中已成为现实。例如,图1a所示为AR实景导航,能够为用户提供更好的导航服务,图1b所示为智能车盒联合车机所支持的AR实景导航,为用户提供更好的驾驶导航体验,两者均大大方便了人们的生活。
在车载AR实景导航的场景下,目前还存在例如高级驾驶辅助系统(ADAS,AdvancedDriving Assistance System)、移动数据中心(MDC,Mobile Data Center)等技术,结合雷达传感器,在AR实景导航画面中向用户预警前方的碰撞威胁,增加汽车驾驶的舒适性和安全性。主要原理是:通过车辆上设置的雷达传感器感知前车与本车的距离,结合本车的运动情况如航向、速度等预测在预设的时长内本车是否会与前车发生碰撞,如果预测结果为可能发生碰撞,将AR实景导航画面中正前方的车辆作为威胁车辆显示出来。
但是,这种预警方法只能对正前方的车辆是否具有碰撞威胁做出预警,无法为用户提供更大范围内的危险预警,预警范围狭窄,用户体验差。
发明内容
本申请提供了一种目标物体的预警方法、装置和电子设备,能够为用户提供更大范围内的危险预警,提升用户体验。
第一方面,本申请实施例提供了一种目标物体的预警方法,包括:
获取至少一个对第一物体具有威胁的目标物体,并获取目标物体的预期水平偏角;目标物体的预期水平偏角是对目标物体在AR画面中图像的绝对水平偏角的预测值;AR画面是第一物体的AR设备展示的AR画面;
获取AR画面中各个物体图像的绝对水平偏角;物体图像的绝对水平偏角是AR画面的拍摄点指向物体图像中心点的方向与拍摄点指向AR画面中心点的方向在水平方向上的夹角;
根据目标物体的预期水平偏角、以及各个物体图像的绝对水平偏角,获得目标物体在AR画面中对应的物体图像,目标物体的预期水平偏角与目标物体对应的物体图像的绝对水平偏角之间的差值满足第一差值要求;
在AR画面中对目标物体对应的物体图像进行预警显示。
该方法获取至少一个对第一物体具有威胁的目标物体,通过偏角比对,得到目标物体在AR画面中对应的物体图像,对物体图像进行预警显示,从而能够为用户提供更大范围内的危险预警,提升用户体验。
在一种可能的实现方式中,获取AR画面中各个物体图像的绝对水平偏角,包括:
从AR画面中识别出物体图像;
对于每个物体图像,通过以下公式计算该物体图像的绝对水平偏角:
y=arctan(2x*tan(m/2)/L)
其中,y为物体图像的绝对水平偏角的角度值,L为AR画面水平方向的总像素数,m为AR设备的摄像头的水平视野角度范围,x为物体图像的中心点与AR画面的中心点之间的线段在水平方向上占用的像素个数。
在一种可能的实现方式中,获取至少一个对第一物体具有威胁的目标物体,并获取目标物体的预期水平偏角,包括:
从V2X设备获取目标物体以及目标物体的预期水平偏角,目标物体以及目标物体的预期水平偏角由V2X设备根据目标物体的运行数据以及第一物体的运行数据确定,V2X设备设置于第一物体上。
在一种可能的实现方式中,获取至少一个对第一物体具有威胁的目标物体,并获取目标物体的预期水平偏角,包括:
从V2X设备获取周边物体的运行数据,并且,从GNSS设备获取第一物体的运行数据;V2X设备以及GNSS设备设置于第一物体上;
根据周边物体的运行数据、以及第一物体的运行数据,从周边物体中获取至少一个目标物体,计算目标物体的预期水平偏角。
在一种可能的实现方式中,计算目标物体的预期水平偏角,包括:
对于每个目标物体,根据该目标物体的运行数据、以及第一物体的运行数据,计算AR设备中心点指向该目标物体的中心点的方向与AR设备摄像头的安装方向之间的夹角,将该夹角作为该目标物体的预期水平偏角。
在一种可能的实现方式中,根据该目标物体的运行数据、以及第一物体的运行数据,计算AR设备中心点指向该目标物体的中心点的方向与AR设备摄像头的安装方向之间的夹角,包括:
根据以下公式计算夹角:
其中,∠O2OA为夹角,∠NOA为摄像头相对于正北方向的水平安装角度,为第一物体的GNSS设备中心点O1的位置坐标,为目标物体的GNSS设备中心点O2的位置坐标,(XO,YO)为AR设备的中心点O的位置坐标,∠NOB为第一物体的航向角,O1O为第一物体的GNSS设备中心点O1与AR设备的中心点O之间的距离。
在一种可能的实现方式中,根据该目标物体的运行数据、以及第一物体的运行数据,计算AR设备的中心点指向该目标物体中GNSS设备中心点的方向与AR设备摄像头的安装方向之间的夹角,包括:
根据以下公式计算夹角:
其中,∠O2OA为夹角,∠NOA为摄像头相对于正北方向的水平安装角度,为第一物体的GNSS设备中心点O1的位置坐标,为目标物体的GNSS设备中心点O2的位置坐标。
在一种可能的实现方式中,根据周边物体的运行数据、以及第一物体的运行数据,从周边物体中获取至少一个目标物体,包括:
根据周边物体的运行数据、以及第一物体的运行数据,计算每个周边物体与第一物体按照运行数据运行时发生碰撞的时长;
按照时长的从小到大的顺序从周边物体中获取至少一个目标物体。
在一种可能的实现方式中,从周边物体中获取至少一个目标物体之前,还包括:
根据周边物体的运行数据、以及第一物体的运行数据,从周边物体中选择与第一物体关联的周边物体;相应的,
从周边物体中获取至少一个目标物体,包括:
从与第一物体关联的周边物体中获取至少一个目标物体。
在一种可能的实现方式中,对于一个目标物体,如果获得的该目标物体在AR画面中对应的物体图像为至少两个,在AR画面中对目标物体对应的物体图像进行预警显示之前,还包括:
获取周边物体与第一物体之间的距离、以及周边物体的预期水平偏角;周边物体的预期水平偏角是对周边物体在AR画面中图像的绝对水平偏角的预测值;
相应的,获得目标物体在AR画面中对应的物体图像与进行预警显示之间,还包括:
选择预期水平偏角与该目标物体的预期水平偏角之间的差值满足第二差值要求的周边物体;
根据选择的周边物体与第一物体之间的距离、以及该目标物体与第一物体之间的距离,对选择的周边物体和该目标物体按照距离从小到大进行排序,得到该目标物体的排序位次;
获取该目标物体对应的物体图像在AR画面中Y轴方向上的坐标值,对该目标物体对应的物体图像按照坐标值从小到大进行排序;
选择排序位次与该目标物体的排序位次相同的物体图像,作为该目标物体对应的物体图像。
在一种可能的实现方式中,获取周边物体与第一物体之间的距离、以及周边物体的预期水平偏角,包括:
从V2X设备获取周边物体与第一物体之间的距离、以及周边物体的预期水平偏角,距离以及预期水平偏角由V2X设备目标物体的运行数据以及第一物体的运行数据确定。
在一种可能的实现方式中,获取周边物体与第一物体之间的距离、以及周边物体的预期水平偏角,包括:
从V2X设备获取周边物体的运行数据,并且,从GNSS设备获取第一物体的运行数据;V2X设备以及GNSS设备设置于第一物体上;
根据周边物体的运行数据、以及第一物体的运行数据,计算周边物体与第一物体之间的距离、以及周边物体的预期水平偏角。
在一种可能的实现方式中,计算周边物体的预期水平偏角,包括:
对于每个周边物体,根据该周边物体的运行数据、以及第一物体的运行数据,计算AR设备中心点指向该周边物体中心点的方向与AR设备摄像头的安装方向之间的夹角,将该夹角作为该周边物体的预期水平偏角。
在一种可能的实现方式中,根据该周边物体的运行数据、以及第一物体的运行数据,计算AR设备的中心点指向该周边物体中GNSS设备中心点的方向与AR设备摄像头的安装方向之间的夹角,包括:
根据以下公式计算夹角:
其中,∠O2OA为夹角,∠NOA为摄像头相对于正北方向的水平安装角度,为第一物体的GNSS设备中心点O1的位置坐标,为周边物体的GNSS设备中心点O2的位置坐标,(XO,YO)为AR设备的中心点O的位置坐标,∠NOB为第一物体的航向角,O1O为第一物体的GNSS设备中心点O1与AR设备的中心点O之间的距离。
在一种可能的实现方式中,根据该周边物体的运行数据、以及第一物体的运行数据,计算AR设备中心点指向该周边物体中心点的方向与AR设备摄像头的安装方向之间的夹角,包括:
根据以下公式计算夹角:
其中,∠O2OA为夹角,∠NOA为摄像头相对于正北方向的水平安装角度,为第一物体的GNSS设备中心点O1的位置坐标,为周边物体的GNSS设备中心点O2的位置坐标。
在一种可能的实现方式中,计算周边物体与第一物体之间的距离、以及周边物体的预期水平偏角之前,还包括:
根据周边物体的运行数据、以及第一物体的运行数据,从周边物体中选择与第一物体关联的周边物体;
相应的,计算周边物体与第一物体之间的距离、以及周边物体的预期水平偏角,包括:
计算与第一物体关联的周边物体与第一物体之间的距离、以及与第一物体关联的周边物体的预期水平偏角。
第二方面,本申请实施例提供一种目标物体的预警装置,包括:
预期偏角获取单元,用于获取至少一个对第一物体具有威胁的目标物体,并获取目标物体的预期水平偏角;目标物体的预期水平偏角是对目标物体在AR画面中图像的绝对水平偏角的预测值;AR画面是第一物体的AR设备展示的AR画面;
绝对偏角获取单元,用于获取AR画面中各个物体图像的绝对水平偏角;物体图像的绝对水平偏角是AR画面的拍摄点指向物体图像中心点的方向与拍摄点指向AR画面中心点的方向在水平方向上的夹角;
图像获得单元,用于根据预期偏角获取单元获取的目标物体的预期水平偏角、以及绝对偏角获取单元获取的各个物体图像的绝对水平偏角,获得目标物体在AR画面中对应的物体图像,目标物体的预期水平偏角与目标物体对应的物体图像的绝对水平偏角之间的差值满足第一差值要求;
显示单元,用于在AR画面中对图像获得单元获得的目标物体对应的物体图像进行预警显示。
在一种可能的实现方式中,绝对偏角获取单元具体用于:
从AR画面中识别出物体图像;
对于每个物体图像,通过以下公式计算该物体图像的绝对水平偏角:
y=arctan(2x*tan(m/2)/L)
其中,y为物体图像的绝对水平偏角的角度值,L为AR画面水平方向的总像素数,m为AR设备的摄像头的水平视野角度范围,x为物体图像的中心点与AR画面的中心点之间的线段在水平方向上占用的像素个数。
在一种可能的实现方式中,预期偏角获取单元具体用于:
从V2X设备获取目标物体以及目标物体的预期水平偏角,目标物体以及目标物体的预期水平偏角由V2X设备根据目标物体的运行数据以及第一物体的运行数据确定,V2X设备设置于第一物体上。
在一种可能的实现方式中,预期偏角获取单元包括:
数据获取子单元,用于从V2X设备获取周边物体的运行数据,并且,从GNSS设备获取第一物体的运行数据;V2X设备以及GNSS设备设置于第一物体上;
计算子单元,用于根据周边物体的运行数据、以及第一物体的运行数据,从周边物体中获取至少一个目标物体,计算目标物体的预期水平偏角。
在一种可能的实现方式中,计算子单元具体用于:
对于每个目标物体,根据该目标物体的运行数据、以及第一物体的运行数据,计算AR设备中心点指向该目标物体的中心点的方向与AR设备摄像头的安装方向之间的夹角,将该夹角作为该目标物体的预期水平偏角。
在一种可能的实现方式中,计算子单元具体用于:
根据以下公式计算夹角:
其中,∠O2OA为夹角,∠NOA为摄像头相对于正北方向的水平安装角度,为第一物体的GNSS设备中心点O1的位置坐标,为目标物体的GNSS设备中心点O2的位置坐标,(XO,YO)为AR设备的中心点O的位置坐标,∠NOB为第一物体的航向角,O1O为第一物体的GNSS设备中心点O1与AR设备的中心点O之间的距离。
在一种可能的实现方式中,计算子单元具体用于:
根据以下公式计算夹角:
其中,∠O2OA为夹角,∠NOA为摄像头相对于正北方向的水平安装角度,为第一物体的GNSS设备中心点O1的位置坐标,为目标物体的GNSS设备中心点O2的位置坐标。
在一种可能的实现方式中,计算子单元具体用于:
根据周边物体的运行数据、以及第一物体的运行数据,计算每个周边物体与第一物体按照运行数据运行时发生碰撞的时长;
按照时长的从小到大的顺序从周边物体中获取至少一个目标物体。
在一种可能的实现方式中,计算子单元具体用于:
根据周边物体的运行数据、以及第一物体的运行数据,从周边物体中选择与第一物体关联的周边物体;从与第一物体关联的周边物体中获取至少一个目标物体。
在一种可能的实现方式中,预期偏角获取单元还用于:获取周边物体与第一物体之间的距离、以及周边物体的预期水平偏角;周边物体的预期水平偏角是对周边物体在AR画面中图像的绝对水平偏角的预测值;
相应的,图像获得单元还用于:选择预期水平偏角与该目标物体的预期水平偏角之间的差值满足第二差值要求的周边物体;根据选择的周边物体与第一物体之间的距离、以及该目标物体与第一物体之间的距离,对选择的周边物体和该目标物体按照距离从小到大进行排序,得到该目标物体的排序位次;获取该目标物体对应的物体图像在AR画面中Y轴方向上的坐标值,对该目标物体对应的物体图像按照坐标值从小到大进行排序;选择排序位次与该目标物体的排序位次相同的物体图像,作为该目标物体对应的物体图像。
在一种可能的实现方式中,预期偏角获取单元具体用于:
从V2X设备获取周边物体与第一物体之间的距离、以及周边物体的预期水平偏角,距离以及预期水平偏角由V2X设备目标物体的运行数据以及第一物体的运行数据确定。
在一种可能的实现方式中,预期偏角获取单元具体用于:
从V2X设备获取周边物体的运行数据,并且,从GNSS设备获取第一物体的运行数据;V2X设备以及GNSS设备设置于第一物体上;
根据周边物体的运行数据、以及第一物体的运行数据,计算周边物体与第一物体之间的距离、以及周边物体的预期水平偏角。
在一种可能的实现方式中,预期偏角获取单元具体用于:
对于每个周边物体,根据该周边物体的运行数据、以及第一物体的运行数据,计算AR设备中心点指向该周边物体中心点的方向与AR设备摄像头的安装方向之间的夹角,将该夹角作为该周边物体的预期水平偏角。
在一种可能的实现方式中,预期偏角获取单元具体用于:根据以下公式计算夹角:
其中,∠O2OA为夹角,∠NOA为摄像头相对于正北方向的水平安装角度,为第一物体的GNSS设备中心点O1的位置坐标,为周边物体的GNSS设备中心点O2的位置坐标,(XO,YO)为AR设备的中心点O的位置坐标,∠NOB为第一物体的航向角,O1O为第一物体的GNSS设备中心点O1与AR设备的中心点O之间的距离。
在一种可能的实现方式中,预期偏角获取单元具体用于:根据以下公式计算夹角:
其中,∠O2OA为夹角,∠NOA为摄像头相对于正北方向的水平安装角度,为第一物体的GNSS设备中心点O1的位置坐标,为周边物体的GNSS设备中心点O2的位置坐标。
在一种可能的实现方式中,预期偏角获取单元具体用于:根据周边物体的运行数据、以及第一物体的运行数据,从周边物体中选择与第一物体关联的周边物体;计算与第一物体关联的周边物体与第一物体之间的距离、以及与第一物体关联的周边物体的预期水平偏角。
第三方面,本申请实施例提供一种电子设备,包括:
显示屏;一个或多个处理器;存储器;多个应用程序;以及一个或多个计算机程序,其中一个或多个计算机程序被存储在存储器中,一个或多个计算机程序包括指令,当指令被设备执行时,使得设备执行以下步骤:
获取至少一个对第一物体具有威胁的目标物体,并获取目标物体的预期水平偏角;目标物体的预期水平偏角是对目标物体在AR画面中图像的绝对水平偏角的预测值;AR画面是第一物体的AR设备展示的AR画面;
获取AR画面中各个物体图像的绝对水平偏角;物体图像的绝对水平偏角是AR画面的拍摄点指向物体图像中心点的方向与拍摄点指向AR画面中心点的方向在水平方向上的夹角;
根据目标物体的预期水平偏角、以及各个物体图像的绝对水平偏角,获得目标物体在AR画面中对应的物体图像,目标物体的预期水平偏角与目标物体对应的物体图像的绝对水平偏角之间的差值满足第一差值要求;
在AR画面中对目标物体对应的物体图像进行预警显示。
第四方面,本申请实施例提供一种计算机程序,当计算机程序被计算机执行时,用于执行第一方面的方法。
在一种可能的设计中,第四方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上,也可以部分或者全部存储在不与处理器封装在一起的存储器上。
附图说明
图1a为现有技术AR实景导航示意图;
图1b为现有技术智能车盒联合车机所支持的AR实景导航示意图;
图2a为雷达感知模型示意图;
图2b为现有技术所产生的问题示意图;
图3为本申请目标物体的预警方法一个实施例的流程图;
图4为本申请目标物体的预警方法另一个实施例的流程图;
图4a为本申请目标物体与摄像头视野角度范围的关系示意图;
图4b和图4c为本申请预警显示方式示例图;
图4d为本申请周边物体与第一物体的位置关系示例图;
图4e为本申请周边物体与第一物体之间方向偏角示意图;
图5为本申请第一物体和目标物体的俯视图;
图6a为本申请摄像头成像的光线连接示意图;
图6b为本申请AR画面中识别出的物体图像以及绝对水平偏角关系示意图;
图7为本申请目标物体的预警方法又一个实施例的流程图;
图8a为本申请目标物体的预警方法又一个实施例的流程图;
图8b为本申请物体图像在Y轴方向上的坐标值的示例图;
图9为本申请目标物体的预警方法又一个实施例的流程图;
图10为本申请所述方法适用的一种可能的系统结构图;
图11为本申请目标物体的预警装置一个实施例的结构图;
图12为本申请电子设备一个实施例的结构示意图。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
申请人分析发现:现有的实现方案中,ADAS、MDC等技术结合雷达传感器,在AR实景导航画面中向用户预警前方的碰撞威胁,但是,由于现有的雷达传感器具备典型的方向属性,即面向不同的方向性能差异较大,参见图2a所示的雷达感知模型,一般感知前方车辆的雷达传感器和感知侧方向车辆的雷达传感器的感知距离性能差异较大,如果周边车辆不是处于本车的正前方,而是其他方位,则雷达传感器对周边车辆的感知能力将会大大下降,因此,目前仅能预测正前方的车辆是否为威胁车辆。如图2b所示,如果周边车辆中有多辆车与本车有碰撞威胁,现有技术无法精确感知最有威胁车辆并在AR实景导航画面中标注出来进行预警。
现有通过雷达传感器感知威胁车辆的方法中,雷达传感器只能感知周边车辆的客观属性例如位置等,对于周边车辆的主观属性如转向灯状态、刹车状态、故障状态等等均无法感知,解决这一问题的方法之一在于:获取周边车辆更多的客观和主观属性。
车与万物的互联(V2X,Vehicle to everything),也称为车辆与万物的基于用于车辆通信的长期演进通信(LTE-V,Long term evolution-vehicle)或专用短消息通信(DSRC,Dedicate short range communication)的通信互联,是未来智能交通运输系统的关键技术。V2X是车辆与车辆的基于LTE-V或DSRC的通信互联(V2V,Vehicle to Vehicle)和车对基础设施(V2I)信息交换技术等的统称。V2X使得车辆能够与可能影响车辆的任何实体之间进行双向信息传输,例如使得车辆与行人、车辆与车辆、车辆与基站、基站与基站之间能够通信,从而获得车辆的运行信息、实时路况、道路信息、行人信息等一系列信息,提高驾驶安全性、减少拥堵、提高交通效率、提供车载娱乐信息等。因此,V2X通信相对于雷达传感器能够获取更多的周边车辆甚至行人等物体的客观和主观属性。
基于以上分析,本申请提出了一种目标物体的预警方法、装置和电子设备,将V2X技术与AR技术相结合,在AR画面中为用户提供更大范围内的危险预警,提升用户体验。
需要说明的是,本申请的方法不仅可以适用于车辆中支持AR实景导航的AR设备中,还可以适用于例如图1a所示的支持AR实景导航的电子设备,或者,还可以适用于:需要进行AR实景显示、且需要在AR画面中对威胁第一物体的目标物体进行预警的AR设备中,例如:某一设置有AR设备的机器人为所述第一物体,机器人能够使用AR设备进行周围环境的AR实景显示,且AR设备需要对周围的物体可能会对机器人造成的碰撞在AR画面中进行预警显示。
图3为本申请目标物体的预警方法一个实施例的流程图,如图3所示,上述方法可以包括:
步骤301:获取至少一个对第一物体具有威胁的目标物体,并获取所述目标物体的预期水平偏角;所述目标物体的预期水平偏角是对所述目标物体在AR画面中图像的绝对水平偏角的预测值;所述AR画面是所述第一物体的AR设备展示的AR画面;
在执行本申请实施例所述方法的设备中,一般可以通过不同的物体ID来标识第一物体以及目标物体,所述物体ID的具体实现本申请实施例不限定,只要能够唯一标识不同物体即可。
步骤302:获取所述AR画面中各个物体图像的绝对水平偏角;
步骤303:根据所述目标物体的预期水平偏角、以及各个物体图像的绝对水平偏角,获得所述目标物体在所述AR画面中对应的物体图像,所述目标物体的预期水平偏角与所述目标物体对应的物体图像的绝对水平偏角之间的差值满足第一差值要求;
步骤304:在所述AR画面中对所述目标物体对应的物体图像进行预警显示。
图3所示的方法,获取至少一个对第一物体具有威胁的目标物体,通过偏角比对,得到目标物体在AR画面中对应的物体图像,对物体图像进行预警显示,从而能够为用户提供更大范围内的危险预警,提升用户体验。
图4为本申请目标物体的预警方法另一个实施例的流程图。
本申请实施例所适用的场景中,第一物体中设置有AR设备,用于为用户提供AR画面,所述AR画面为设置于第一物体中的摄像头所拍摄的第一物体某一周边区域的AR画面,所述AR画面可以为实景导航画面或者其他非导航场景下的AR画面;第一物体中还设置有V2X设备,用于与第一物体的周边物体进行V2X通信,所述周边物体是具有V2X通信能力的物体。第一物体可以为:车辆、机器人、行人等物体;第一物体可以处于运动状态,也可以处于静止状态;周边物体可以为具有V2X通信能力的车辆、行人、机器人、或者自行车等物体,每个周边物体可以处于运动状态,也可以处于静止状态。
如图4所示,该方法可以包括:
步骤401:第一物体的V2X设备与周边物体进行V2X通信,分别获取所述周边物体的运行数据。
其中,物体的运行数据可以包括但不限于:物体的运行速度、和/或运行方向、和/或位置。
其中,周边物体可以通过物体ID来标识。
其中,周边物体中可以设置有能够进行V2X通信的电子设备例如V2X设备等。
其中,第一物体的V2X设备与周边物体的电子设备进行V2X通信时可以通过LTE-V或者DSRC进行通信,本申请并不限制。
一般的,V2X设备可以通过基础安全消息(BSM,Basic Safety Message)消息进行自身所属物体的运行数据的广播,BSM消息中可以包括但不限于:物体标识、所属物体的运行速度、和/或运行方向、和/或位置、和/或加速度、和/或预测路径、和/或历史路径、和/或车辆事件等。因此,本步骤中第一物体的V2X设备也可以通过BSM消息获取周边物体的运行数据。BSM消息中的物体标识一般为发送BSM消息的物体的标识。
其中,物体的位置可以通过经纬度来表示。如果物体为车辆,运行速度可以为车辆的行驶速度,运行方向可以为车辆的航向角,车辆的航向角是车辆的运行方向与正北方向之间的夹角。
步骤402:第一物体的V2X设备获取第一物体的运行数据。
一般的,第一物体的V2X设备可以从第一物体的全球导航卫星系统(GNSS,GlobalNavigation Satellite System)设备中获取第一物体的运行数据。第一物体的GNSS设备可以设置于AR设备中、或者设置于第一物体中、或者设置于V2X设备中,本申请不限制。在一种可能的实现方式中,第一物体如果为车辆、机器人等,第一物体的GNSS设备可以设置于第一物体的中心点。
GNSS是对北斗系统、全球定位系统(GPS,Global Positioning System)、格洛纳斯(GLONASS)系统、伽利略卫星导航系统(Galileo satellite navigation system)等单个卫星导航定位系统的统一称谓,也可指代他们的增强型系统,又指代所有上述卫星导航定位系统及其增强型系统的相加混合体。也即是说:GNSS是以人造卫星作为导航台的星级无线电导航系统。
步骤401和步骤402之间的执行顺序不限制。
步骤403:第一物体的V2X设备根据第一物体的运行数据、以及周边物体的运行数据,从周边物体中选择与第一物体关联的周边物体。
为了便于描述,以下将选择出的与第一物体关联的周边物体称为:关联物体。
本步骤为可选步骤。
步骤404:第一物体的V2X设备根据第一物体的运行数据、以及关联物体的运行数据分别计算各个关联物体对第一物体的威胁程度,按照威胁程度从高到低的顺序选择P个关联物体作为目标物体;P是自然数。
其中,P的数值本申请并不限制,但是,一般来说,只需要对较少数量的目标物体进行预警即可,例如1个目标物体或者2个目标物体,否则,将失去预警的意义。
在一种可能的实现方式中,P可以为1,也即后续只对最具威胁的周边物体进行后续的预警。
步骤405:第一物体的V2X设备计算每个所述目标物体的预期水平偏角。
其中,目标物体的预期水平偏角是:对目标物体在AR画面中图像的绝对水平偏角的预测值。AR画面是指:第一物体的AR设备展示的AR画面。
物体图像在AR画面中的绝对水平偏角是:AR设备拍摄点指向物体图像中心点的方向与拍摄点指向AR画面中心点的方向在水平方向上的夹角。
步骤406:第一物体的V2X设备将所述目标物体的预期水平偏角发送给第一物体的AR设备。
在一种可能的实现方式中,V2X设备可以发送:目标物体的标识以及预期水平偏角。
步骤407:第一物体的AR设备接收所述目标物体的预期水平偏角。
步骤408:第一物体的AR设备依次判断每个目标物体的预期水平偏角是否在AR设备的水平视野角度范围内,过滤掉预期水平偏角不在水平视野角度范围内的目标物体,之后执行步骤409。
本步骤为可选步骤。在一种可能的实现方式中,本步骤也可以由第一物体的V2X设备执行,相应的,第一物体的V2X设备将预期水平偏角在AR设备的水平视野角度范围内的目标物体及其预期水平偏角发送给第一物体的AR设备。
通过本步骤的执行,可以过滤掉不在AR设备的水平视野角度范围内的目标物体,减少后续步骤中不必要的数据处理消耗。因为AR设备的摄像头是具有一定的视野角度范围的,而本申请所要做的是:从AR画面中找出对第一物体具有威胁的目标物体的物体图像,因此,如果目标物体并不在AR设备的摄像头的水平视野角度范围内,那么AR画面中不会出现该目标物体的物体图像,后续步骤无需执行。参见图4a所示,显然物体1和物体2均在摄像头的视野角度范围内,但是物体3并不在摄像头的视野角度范围内,因此,即便物体3是对第一物体具有威胁的目标物体,经过本步骤处理后,物体3将被过滤掉,无需对物体3进行后续步骤的处理。
由于预期水平偏角是对目标物体的图像在AR画面中的绝对水平偏角的预测值,因此,预期水平偏角应小于等于m/2,m为AR设备的摄像头的水平视野角度范围。
步骤409:第一物体的AR设备识别出AR画面中的物体图像,计算每个物体图像在AR画面中的绝对水平偏角。
步骤410:第一物体的AR设备将每个所述目标物体的预期水平偏角与所述绝对水平偏角进行比对,获得每个所述目标物体在AR画面中对应的物体图像,所述目标物体的预期水平偏角与其对应的物体图像的绝对水平偏角之间的差值满足第一差值要求。
通过预期水平偏角与绝对水平偏角的比对,就可以找到目标物体在AR画面中对应的物体图像,也即是在AR画面中找到了对第一物体具有威胁的物体,也即需要被提醒的物体。
其中,关于预期水平偏角与绝对水平偏角的具体差值要求的精度可以在实际应用中自主设定,本申请并不限制。
在一种可能的实现方式中,针对每个目标物体的预期水平偏角,可以将该预期水平偏角依次与每个物体图像的绝对水平偏角进行比对,判断两者的差值是否满足差值要求,
步骤411:第一物体的AR设备在所述AR画面中对每个所述目标物体对应的物体图像进行预警显示。
其中,所述预警显示可以通过屏幕显示(OSD,On Screen Display)等图形用户界面(GUI,Graphical User Interface)手段实现。预警显示的方法可以包括但不限于:为物体图像设置特殊的显示颜色、使用方框等特殊方式框出物体图像、对物体图像进行闪烁显示、在物体图像上显示特殊字符如“警告”“warnning”“X秒后发生碰撞”等,只要能够引起用户注意到该物体图像,起到危险预警效果即可。
参见图4b和图4c所示,可以对物体图像进行如图所示的预警显示。图4d和图4e仅为示例,并不用以限制本申请预警显示的可能实现方式。
以下,对步骤403的实现进行说明。
在实际应用中,与第一物体进行V2X通信的周边物体可能很多,这些周边物体中只有一部分甚至一小部分物体可能会对第一物体产生威胁,很多周边物体并不会对第一物体产生威胁;而且,后续处理中是对在AR画面中具有图像且对第一物体产生威胁的周边物体进行预警,而AR设备的摄像头是具有视野角度范围的,很多周边物体并不在摄像头的视野角度范围内,也即是说很多周边物体并不会出现在AR画面中,AR画面中不会出现所述很多周边物体的图像。因此,对所述很多周边物体进行后续步骤的处理并没有必要。因此,可以先对周边物体进行筛选,从中挑选出可能与第一物体存在潜在风险的周边物体,也即与第一物体关联的周边物体,之后再对选择出来的周边物体进行后续处理,从而降低了本申请所述方法的数据处理量。
在一种可能的实现方式中,可以通过目标分类算法来过滤出与第一物体关联的周边物体,过滤掉与第一物体无关联的周边物体。具体的,可以根据第一物体和周边物体的运行方向以及经纬度过滤出周边物体中与第一物体关联的物体,也即关联物体。具体实现过程说明如下:
参见图4d所示,将周边物体与第一物体的位置关系,按照9宫格位置模型进行分类,得到周边物体相对第一物体的8种位置关系,具体为正前方、右前方、左前方、正左方、正右方、后左方、后右方、正后方,共8个方向。在图4d中以第一物体为车辆为例,但是图4d中的第一物体并不限于车辆,可以适用于任意第一物体。
参见图4e所示,以第一物体和周边物体为车辆为例,但是图4e的应用并不限于车辆,而是可以适用任一周边物体和第一物体,假设A点为周边物体的中心点,B点为第一物体的中心点,AC垂直于穿过B点的正东方向的直线,交点为C点,AB与BC之间的夹角为θ,θ=arctan(AC/BC)。
根据周边物体的的经纬度、第一物体的经纬度和第一物体的运行方向计算周边物体相对第一物体的运行方向的实际方向偏角θ1=θ+θ0。其中,θ0为第一物体当前运行方向,可以从第一物体的GNSS设备获取。
A点的经纬度即为周边物体的经纬度,假设为(x1,y1),周边物体的经纬度(x1,y1)属于周边物体的运行数据,可以从该周边物体发送的BSM消息中获取;B点的经纬度即为第一物体的经纬度,假设为(x0,y0),可以从第一物体中的GNSS设备获取。
在A点、B点经纬度可知的情况下,AC=y1-y0,BC=x1-x0。
因此,均为可以计算得到的数据。
基于以上计算结果:
根据角度θ,可以确定周边物体相对于第一物体的位置关系,具体参见下表1所示:
表1
α取值范围(α=90度-θ) | 位置关系 |
-5度≤α<5度 | 正前方 |
5度≤α<80度 | 右前方 |
80度≤α<100度 | 正右方 |
100度≤α<175度 | 右后方 |
175度≤α<185度 | 正后方 |
185度≤α<260度 | 左后方 |
260度≤α<280度 | 正左方 |
280度≤α<355度 | 左前方 |
选择方法具体可以为:
如果周边物体与第一物体相向运行,位置关系为正左方或正右方或左后方或右后方或正后方,且实际方向偏角大于正负80度,则判定周边物体为与第一物体无关的车辆,滤除。
如果周边物体与第一物体同向行驶,位置关系为正前方或左前方或右前方,且(v1*sinθ-v0)>0,则周边物体为与第一物体无关的物体,滤除。
如果周边物体与第一物体同向行驶,位置关系为正后方或左后方或右后方,且(v0-v1*sinθ)>0,则周边物体为与第一物体无关的物体,滤除。
其中,v0为第一物体当前的运行速度,v1为周边物体当前的运行速度。
通过上述处理,滤除了与第一物体无关联的周边物体,选择出与第一物体关联的周边物体,得到关联物体。
在另一种可能的实现方式中,如果第一物体为静止的物体,可以首先过滤掉速度为0的周边物体,之后,再通过上述目标分类算法进行周边物体的进一步过滤。
以下,对步骤404的实现进行说明。
在一种可能的实现方式中,可以使用预测路径碰撞算法(Path PredicationMethod)计算关联物体对第一物体的威胁程度,进一步的,该算法还可以计算任一周边物体对第一物体的威胁程度。以下,假设第二物体为任一关联物体。需要说明的是,如果没有步骤403,第二物体可以是任一周边物体。预测路径碰撞算法的主要原理在于:
根据第一物体的经纬度、速度、航向角、以及预测曲率R0,得到时长t后第一物体的预测经纬度与时长t的表达式,表达式如以下公式1所示;
其中,x0t表示第一物体在时长t后的预测经度,y0t表示第一物体在时长t后的预测纬度,x0表示第一物体当前的经度,y0表示第一物体当前的纬度,v0表示第一物体的当前速度,t表示时长,R0表示第一物体的预测曲率,θ0表示第一物体的航向角。第一物体的航向角一般是第一物体运行方向相对正北方向的夹角。预测曲率=速度/横摆角速度。
根据第二物体的运行数据以及预测曲率Ri,得到时长t后第二物体的预测经纬度与时长t的表达式,表达式如以下公式2所示:
其中,xit表示第二物体在时长t后的预测经度,yit表示第二物体在时长t后的预测纬度,xi表示第二物体当前的经度,yi表示第二物体当前的纬度,vi表示第二物体的当前速度,t表示时长,Ri表示第二物体的预测曲率,θi表示第二物体的航向角。
基于上述公式1,2,根据第一物体的预测经纬度(x0t,yot)与第二物体的预测经纬度(xit,yit)可以预测第一物体和第二物体之间的距离是否会小于预设距离阈值,该距离阈值可以根据物体尺寸来设置,并且可以获得第一物体和第二物体之间的距离小于预设距离阈值时对应的时长T,如果经过时长T第二物体与第一物体之间的距离会小于预设距离阈值表明经过时长T第二物体会与第一物体发生碰撞。
通过以上计算,可以获得每一个关联物体依照现在的运行数据是否会与第一物体发生碰撞,如果发生碰撞,关联物体与第一物体发生碰撞的时长T。
对预测会与第一物体发生碰撞的关联物体对应的时长T进行排序,按照时长T从小到大的顺序,关联物体对第一物体的威胁程度相应的从大到小;因此,按照时长T从小到大的顺序获取P个关联物体就是本步骤中想要获得的物体。
以上预测路径碰撞算法相关描述中,第一物体和第二物体中至少有一个物体应该为正在移动的物体,否则如果第一物体和第二物体均为静止的物体,以上的预测路径碰撞算法没有计算的意义,正在移动的物体可以包括但不限于能够进行V2X通信的车辆、行人、机器人、或者自行车等,静止的物体可以包括但不限于能够进行V2X通信的车辆、行人、机器人、或者自行车等。
以下,对步骤405的实现进行说明。
在一种可能的实现方式中,对于每个所述目标物体,可以根据该目标物体的运行数据、以及所述第一物体的运行数据,计算所述AR设备中心点指向该目标物体的中心点的方向与所述AR设备摄像头的安装方向之间的夹角,将该夹角作为该目标物体的预期水平偏角。
进一步地,在计算周边物体的预期水平夹角时,也可以使用上述类似的方法,此时,对于每个所述周边物体,可以根据该周边物体的运行数据、以及所述第一物体的运行数据,计算所述AR设备中心点指向该周边物体中心点的方向与所述AR设备摄像头的安装方向之间的夹角,将该夹角作为该周边物体的预期水平偏角。
以下通过图5进行举例说明。图5所示为第一物体和目标物体的俯视示意图。点O为第一物体的AR设备的中心点,OA为AR设备的摄像头安装方向,OL与OR分别为摄像头视野的左边界线和右边界线,O1为第一物体的GNSS设备中心点,也可以认为是第一物体的中心点,O2为目标物体的GNSS设备中心点,也可以认为是目标物体的中心点,OO2是AR设备的中心点指向目标物体的GNSS设备中心点的方向,O1B指向第一物体的运行方向,O点在直线O1B上,ON和O1N1为正北方向连线,线段O1O为已知距离,即第一物体的GNSS设备中心点与AR设备的中心点之间的距离,那么,目标物体的预期水平偏角可以为∠O2OA。∠O2OA的一种可能的计算方法如下:
根据第一物体的GNSS设备中心点O1的位置坐标第一物体的GNSS设备中心点O1与AR设备的中心点O之间的距离O1O、以及第一物体的航向角∠NOB计算得到第一物体的AR设备的中心点O的位置坐标(XO,YO)。具体的,可以使用以下公式3计算O点的坐标(XO,YO):
其中,第一物体的GNSS设备中心点O1的位置坐标可以通过读取第一物体的GNSS设备获得,第一物体的航向角∠NOB可以通过第一物体的GNSS设备获得,第一物体的GNSS设备中心点与AR设备的中心点之间的距离O1O为已知距离。
根据目标物体的GNSS设备中心点O2的位置坐标及第一物体的AR设备的中心点O的位置坐标(XO,YO)、以及第一物体的AR设备相对于正北方向的水平安装角度∠NOA,计算目标物体的预期水平偏角∠O2OA。具体的,可以使用以下的公式4计算∠O2OA:
其中,∠NOA为第一物体的AR设备的摄像头相对于正北方向的水平安装角度,可以通过第一物体的AR设备的电子罗盘来获得。
这样就计算出了目标物体在AR画面中的预期水平偏角∠O2OA。
对于步骤403中的每个目标物体,均可以使用上述方法计算得出目标物体在第一物体的AR画面中的预期水平偏角。
在以上的方法中,基于第一物体的尺寸相对较大,例如第一物体为车辆,第一物体的GNSS设备中心点与AR设备的中心点之间的距离O1O相对较大,从而∠O2O1N1与∠O2ON相差较大的情况下。如果第一物体的尺寸相对较小或者第一物体的GNSS设备与AR设备相距较近,甚至GNSS设备就设置在AR设备中,从而第一物体的GNSS设备中心点与AR设备的中心点之间的距离O1O相对较小,∠O2O1N1与∠O2ON相差较小,在误差允许范围内,可以将以上的计算方法简化为公式5:
也即:根据第一物体的GNSS设备中心点O1的位置坐标目标物体的GNSS设备中心点O2的位置坐标以及第一物体的AR设备相对于正北方向的水平安装角度∠NOA,计算目标物体的预期水平偏角∠O2OA。
以上计算目标物体的预期水平偏角的方法也可以进一步扩展为:计算任一周边物体的预期水平偏角。
以下,对步骤409的实现进行说明。
本步骤中,可以使用相关的图像识别方法识别出AR画面中的物体图像。从AR画面中识别出物体图像时,可以用图形标示出物体图像,在一种可能的实现方式中,可以使用矩形标示出物体图像。
如图6a所示为摄像头成像的光线连接示意图,假设K为摄像头的拍摄点,ABCD是位于K点的摄像头所拍摄成像的视频图像平面,也可以理解为最终在AR设备的屏幕上显示的AR画面,P点是AR画面的中心点,直线PL为AR画面的水平线,P点正好对应摄像头拍摄方向的正中心,那么所有图像都呈现在AR画面ABCD上。
假设通过图像识别技术识别出AR画面ABCD中有一物体图像,该物体图像通过矩形区域标出,矩形区域为abcd,P1是矩形区域abcd的中心点,通过P1点做一条垂直于直线PL的直线P1M,可以得出,矩形区域abcd在AR画面中的绝对水平偏角为∠PKM,也即物体图像在AR画面中的绝对水平偏角。
PM为矩形区域abcd所代表的物体图像的水平坐标x,由于AR图像显示的分辨率是已知的,图像识别技术通过扫描视频缓存区数据,可以得出矩形区域abcd在AR画面中水平方向的像素起始索引号和结束索引号,进一步可计算出中心点P1在AR画面的水平方向的像素索引号,而P为AR画面的中心点,P在AR画面的水平方向的像素索引号是已知的,则,线段PM在水平方向一共占用多少个像素点可由图像识别技术计算出来。
据此,通过以下的公式6可以计算得到物体图像在AR画面中的绝对水平偏角∠PKM:
y=arctan(2x*tan(m/2)/L) (6)
其中,y为∠PKM的角度值,L为AR画面水平方向的总像素数,m为摄像头的水平视野角度范围,x为PM在水平方向的像素个数。
基于以上的方法,可以得出AR画面中每个物体图像在AR画面中的绝对水平偏角。
如图6b所示,AR画面上的点的绝对水平偏角从中心向左右两侧逐渐增大,最大值为m/2,图6b中以m/2为65度为例,AR画面中识别出的物体图像通过矩形框框出,每个物体图像的绝对水平偏角如图6b所示,距离中心点越近,绝对水平偏角越小,反之,绝对水平偏角越大。
图4所示的实施例中,由第一物体的V2X设备进行预测水平偏角的计算,在实际应用中,也可以由AR设备进行上述计算。基于此,本申请提供图7所示的实施例,图7所示目标物体的预警方法可以包括:
步骤701:第一物体的V2X设备与周边物体进行V2X通信,分别获取所述周边物体的运行数据。
步骤702:第一物体的V2X设备将所述周边物体的运行数据发送给第一物体的AR设备。
步骤703:第一物体的AR设备接收所述周边物体的运行数据。
步骤704:第一物体的AR设备获取第一物体的运行数据。
一般的,第一物体的AR设备可以从第一物体的GNSS设备获取第一物体的运行数据。
步骤704与步骤701~步骤703之间的执行顺序不限制。
步骤705:第一物体的AR设备根据第一物体的运行数据、以及周边物体的运行数据,从周边物体中选择与第一物体关联的周边物体。
步骤706:第一物体的AR设备根据第一物体的运行数据、以及关联物体的运行数据分别计算各个关联物体对第一物体的威胁程度,按照威胁程度从高到低的顺序选择P个关联物体作为目标物体;P是自然数。
步骤707:第一物体的AR设备计算每个所述目标物体的预期水平偏角。
步骤708~步骤711与步骤408~步骤411相同,这里不赘述。
图7所示实施例各步骤的实现可以参见图4所示实施例中的对应描述,区别仅在于部分步骤的执行主体由V2X设备变为AR设备。
在图4所示的实施例中,通过水平偏角从AR画面中识别出目标物体,但是,在实际应用中步骤410中可能存在一个目标物体的预测水平偏角与S个物体图像的绝对水平偏角之间的差值均满足第一差值要求的情况,S≥2,以下,对这种情况下本申请的实现进行说明。
图8a为本申请目标物体的预警方法又一个实施例的流程图,如图8a所示,该方法可以包括:
步骤801~步骤803与步骤401~步骤403相同,不赘述。
步骤804:第一物体的V2X设备根据第一物体的运行数据、以及关联物体的运行数据分别计算每个关联物体与第一物体之间的距离、以及每个关联物体的预期水平偏角。
在一种可能的实现方式中,每个关联物体对应的距离以及预期水平偏角可以通过(Dn,pn,)的方式保存,Dn为关联物体与第一物体之间的距离,βn为关联物体的预期水平偏角。
步骤805:第一物体的V2X设备根据第一物体的运行数据、以及关联物体的运行数据分别计算各个关联物体对第一物体的威胁程度,按照威胁程度从高到低的顺序选择P个关联物体作为目标物体;P是自然数。
步骤804与步骤805之间的执行顺序不限制。
步骤806:第一物体的V2X设备将目标物体、每个关联物体与第一物体之间的距离、每个关联物体的预期水平偏角发送给第一物体的AR设备。
步骤807:第一物体的AR设备接收第一物体的V2X设备发送的上述数据。
步骤808:第一物体的AR设备依次判断每个目标物体的预期水平偏角是否在AR设备的水平视野角度范围内,过滤掉预期水平偏角不在水平视野角度范围内的目标物体,之后执行步骤809。
步骤809:第一物体的AR设备识别出AR画面中的物体图像,计算每个物体图像在AR画面中的绝对水平偏角。
步骤810:第一物体的AR设备将每个所述目标物体的预期水平偏角与所述绝对水平偏角进行比对,获得每个所述目标物体在AR画面中对应的物体图像,所述目标物体的预期水平偏角与其对应的物体图像的绝对水平偏角之间的差值满足第一预设差值要求。
本步骤中,如果存在目标物体对应的物体图像为至少2个,则执行步骤811~步骤814。
步骤811:对于在AR画面中对应的物体图像为至少2个的目标物体,第一物体的AR设备从关联物体中选择预期水平偏角与该目标物体的预期水平偏角之间的差值满足第二差值要求的关联物体。
以下,将预期水平偏角与该目标物体的预期水平偏角之间的差值满足第二差值要求的关联物体简称为第一关联物体。
步骤812:第一物体的AR设备根据第一关联物体与第一物体之间的距离、以及该目标物体与第一物体之间的距离,对所述第一关联物体和该目标物体按照距离从小到大进行排序,得到该目标物体的排序位次。
步骤813:获取该目标物体对应的物体图像在所述AR画面中Y轴方向上的坐标值,对所述物体图像按照坐标值从小到大进行排序。
物体图像在Y轴上的坐标值实质上为物体图像的中心点距离AR画面底边的距离。在一种可能的实现方式中,可以将AR画面的左下角作为二维直角坐标系的原点,或者,将AR画面底边的中心点作为二维直角坐标系的原点,底边作为横轴,与横轴垂直且穿过原点的直线作为纵轴,从而建立二维指教坐标系,进而计算物体图像的中心点的纵坐标。或者,也可以直接使用类似图6a相关描述中说明的,通过计算物体图像的中心点到AR画面底边的垂线段占用的像素点来得到物体图像的纵坐标,如图8b中虚线所示。在AR画面中,物体图像的纵坐标越小,距离第一物体越近,纵坐标越大,距离第一物体越远。
步骤811~步骤812与步骤813之间的执行顺序不限制。
步骤814:如果目标物体的排序位次大于目标物体对应的物体图像的个数,滤除该目标物体,否则,选择排序位次与该目标物体的排序位次相同的物体图像,作为该目标物体对应的物体图像。
在实际应用中,也可能出现目标物体的排序位次大于目标物体对应的物体图像个数的情况,此时,说明目标物体在AR画面中不存在对应的物体图像,则目标物体被滤除。
对于步骤810中对应至少2个物体图像的目标物体执行步骤811~步骤814,可以使得每个目标物体仅对应AR画面中的一个物体图像。
步骤815与步骤411相同,这里不赘述。
图8a所示实施例中各个步骤的具体实现可以参考图4和图7所示实施例中的对应描述,区别仅在于部分步骤的执行主体不同,这里不赘述。
图8a所示的实施例中,由第一物体的V2X设备进行预测水平偏角的计算,在实际应用中,也可以由AR设备进行上述计算。基于此,本申请提供图9所示的实施例,图9所示目标物体的预警方法可以包括:
步骤901:第一物体的V2X设备与周边物体进行V2X通信,分别获取所述周边物体的运行数据。
步骤902:第一物体的V2X设备将所述周边物体的运行数据发送给第一物体的AR设备。
步骤903:第一物体的AR设备接收所述周边物体的运行数据。
步骤904:第一物体的AR设备获取第一物体的运行数据。
一般的,第一物体的AR设备可以从第一物体的GNSS设备获取第一物体的运行数据。
步骤904与步骤901~步骤903之间的执行顺序不限制。
步骤905:第一物体的AR设备根据第一物体的运行数据、以及周边物体的运行数据,从周边物体中选择与第一物体关联的周边物体。
步骤906:第一物体的AR设备根据第一物体的运行数据、以及关联物体的运行数据分别计算每个关联物体与第一物体之间的距离、以及每个关联物体的预期水平偏角。
步骤907:第一物体的AR设备根据第一物体的运行数据、以及关联物体的运行数据分别计算各个关联物体对第一物体的威胁程度,按照威胁程度从高到低的顺序选择P个关联物体作为目标物体;P是自然数。
步骤906与步骤907的执行顺序不限制。
步骤908~步骤915与步骤808~步骤815相同,这里不赘述。
图9所示实施例各个步骤的实现可以参考图4、图7、图8a所示实施例中的对应描述,区别仅在于部分步骤的执行主体不同,这里不赘述。
基于以上实施例,本申请目标物体的预警方法使得基于V2X通信获取到的至少一个对第一物体具有威胁的目标物体,能够有效的在摄像头所拍摄的AR画面中识别到,并进行预警显示,通过AR画面结合GUI手段使得目标物体更直观的显示在AR画面中,使得AR画面与用户之间的交互效果大大提升;本申请目标物体的预警方法无需依赖雷达、导航或者其他传感器,仅通过V2X通信设备、摄像头以及AI计算设备即可实现,大大简化了V2X呈现到AR现实的设备综合链路和成本,并提升了计算效率;本申请目标物体的预警方法不仅可以针对车辆,对于路面上的其他能够进行V2X通信的物体亦可使用,如行人威胁等。
需要说明的是,本申请实施例描述中的第一物体、目标物体、周边物体等,在实施本申请实施例技术方案的电子设备中均需要通过标识信息来表示上述物体,例如在执行上述获取至少一个对第一物体具有威胁的目标物体的步骤时,获取到的并非目标物体本身,而是目标物体的标识信息。
可以理解的是,上述实施例中的部分或全部步骤骤或操作仅是示例,本申请实施例还可以执行其它操作或者各种操作的变形。此外,各个步骤可以按照上述实施例呈现的不同的顺序来执行,并且有可能并非要执行上述实施例中的全部操作。
图10为本申请目标物体的预警方法可以适用的一种可能的车辆系统架构图。如图10所示,该系统中主要包括:AR设备、通信信息处理系统、车身总线、LTE-V天线、GPS数据处理模块以及GPS天线;其中,
AR设备,用于完成对摄像头视频图像内容的目标识别以及合成增强信息,将AR画面显示到屏幕上。AR设备可以与通信信息处理系统进行通信,接收由通信信息处理系统确定的周边物体与本车之间的距离、周边物体的预期水平偏角。AR设备可以为车机或手机等。
车身总线,用于连接车辆其他电子控制单元(ECU,Electronic Control Unit),如发送机、车轮、制动传感器等等,能够通过车身总线获取车辆的各类行驶状态数据如速度、方向盘转角等。
GPS数据处理模块,用于通过GPS天线获取GPS数据,解析接收到的GPS数据,获取本车的经纬度位置信息和航向信息。
GPS天线和GPS数据处理模块构成GPS设备。
AR设备中包括:
视频数据解码单元,用于从AR设备的摄像头获取视频数据,并对视频数据解码后输出至屏幕驱动控制器以及视频逻辑单元处理模块;
屏幕驱动控制器,用于完成屏幕数据信号、同步信号的编码和输出,为屏幕供电,以及驱动屏幕正常显示。
GUI图像控制器,用于对AR画面进行矢量信号叠加、屏幕信息显示(OSD,On-ScreenDisplay)叠加。
视频逻辑单元处理模块,用于使用图像识别算法对AR画面中的图像数据内容进行人工智能(AI,Artificial Intelligence)算法识别,识别出AR画面中的物体图像,控制GUI图像控制器叠加标记图像信息到AR画面中目标物体的物体图像上。
通信信息处理系统主要包括:
车辆运行数据解析模块,用于完成对本车数据的接收和解析。
LTE-V数据包应用数据算法处理模块,用于结合本车的GPS数据、本车的车辆数据、以及通过LTE-V数据包网络传输层协议栈处理模块所接收的周边物体例如车辆的V2X消息数据,对周边物体与本车的位置关系进行定义,并使用目标分类算法和预测路径算法计算出目标物体,并且,计算出周边物体相对本车的距离和预期水平偏角。
LTE-V数据包网络传输层协议栈处理模块,用于完成LTE-V数据包的网络传输层协议栈包头的识别和摘取,将数据包中的应用层数据如BSM消息发送给LTE-V数据包应用数据算法处理模块。
LTE-V射频集成电路(RFIC),用于完成LTE-V射频信号的采集。
LTE-V数据接入层处理模块,用于完成LTE-V接入层的3GPP协议栈的处理,使得空口数据得以正确识别。
以太网驱动通信接口,用于将LTE-V数据包应用数据算法处理模块计算出的相关信息发送给AR设备,这个接口也可以是其他通信接口,包括但不限于通用异步收发传输器(UART,Universal Asynchronous Receiver/Transmitte)、串行外设接口(SPI,SerialPeripheral Interface)、集成电路总线(I2C,Inter-Integrated Circuit)、WIFI(Wireless-Fidelity)、通用串行总线(USB,Universal Serial Bus)、外设组件互联扩展标准(PCIE,peripheral component interconnect express)、安全数字输入输出卡(SDIO,Secure Digital Input and Output)等等。
本申请实施例涉及的物理元器件可以包括:支持LTE-V通信数据的RFIC芯片、GPS定位芯片、数据传输总线控制器、计算处理器、内存存储器、闪存存储器、图像处理器、视频取景器、电子罗盘等,还可以包括:WIFI芯片、以太网控制器等。所述图像处理器可以为DA/AD转换器;所述视频取景器可以为摄像头,所述数据传输总线控制器可以基于以太网或者控制器局域网络(CAN,Controller Area Network)。
在一种可能的实现方式中,通信信息处理系统存在于车载TBOX设备中,AR设备是车载车机娱乐系统,车载TBOX通过以太网或者USB或者WIFI同AR设备进行通信;通信信息处理系统具备LTE-V通信功能,负责与路面上的周边物体例如车辆进行V2X通信,据此计算出周边物体相对本车的距离和预期水平偏角,并且计算出目标物体,将上述信息发送给AR设备;AR设备根据摄像头拍摄的图像识别物体图像,并计算物体图像的绝对水平偏角,预期水平偏角与绝对水平偏角进行匹配,找到AR画面中目标物体的物体图像,对物体图像进行标记并提示出相关预警信息,如“X秒后碰撞”等。
图11为本申请目标物体的预警装置一种实施例的结构图,如图11所示,该装置110可以包括:
预期偏角获取单元111,用于获取至少一个对第一物体具有威胁的目标物体,并获取所述目标物体的预期水平偏角;所述目标物体的预期水平偏角是对所述目标物体在AR画面中图像的绝对水平偏角的预测值;所述AR画面是所述第一物体的AR设备展示的AR画面;
绝对偏角获取单元112,用于获取所述AR画面中各个物体图像的绝对水平偏角;所述物体图像的绝对水平偏角是AR画面的拍摄点指向物体图像中心点的方向与所述拍摄点指向AR画面中心点的方向在水平方向上的夹角;
图像获得单元113,用于根据所述预期偏角获取单元获取的所述目标物体的预期水平偏角、以及所述绝对偏角获取单元获取的各个物体图像的绝对水平偏角,获得所述目标物体在所述AR画面中对应的物体图像,所述目标物体的预期水平偏角与所述目标物体对应的物体图像的绝对水平偏角之间的差值满足第一差值要求;
显示单元114,用于在所述AR画面中对所述图像获得单元获得的所述目标物体对应的物体图像进行预警显示。
其中,所述绝对偏角获取单元112具体可以用于:
从所述AR画面中识别出物体图像;
对于每个物体图像,通过以下公式计算该物体图像的绝对水平偏角:
y=arctan(2x*tan(m/2)/L)
其中,y为物体图像的绝对水平偏角的角度值,L为AR画面水平方向的总像素数,m为AR设备的摄像头的水平视野角度范围,x为物体图像的中心点与AR画面的中心点之间的线段在水平方向上占用的像素个数。
其中,所述预期偏角获取单元111具体可以用于:
从V2X设备获取所述目标物体以及所述目标物体的预期水平偏角,所述目标物体以及所述目标物体的预期水平偏角由所述V2X设备根据所述目标物体的运行数据以及所述第一物体的运行数据确定,所述V2X设备设置于所述第一物体上。
或者,所述预期偏角获取单元111可以包括:
数据获取子单元,用于从V2X设备获取周边物体的运行数据,并且,从GNSS设备获取所述第一物体的运行数据;所述V2X设备以及GNSS设备设置于所述第一物体上;
计算子单元,用于根据所述周边物体的运行数据、以及所述第一物体的运行数据,从所述周边物体中获取至少一个所述目标物体,计算所述目标物体的预期水平偏角。
其中,所述计算子单元具体可以用于:
对于每个所述目标物体,根据该目标物体的运行数据、以及所述第一物体的运行数据,计算所述AR设备中心点指向该目标物体的中心点的方向与所述AR设备摄像头的安装方向之间的夹角,将该夹角作为该目标物体的预期水平偏角。
其中,所述计算子单元具体可以用于:
根据以下公式计算所述夹角:
其中,∠O2OA为所述夹角,∠NOA为所述摄像头相对于正北方向的水平安装角度,为所述第一物体的GNSS设备中心点O1的位置坐标,为所述目标物体的GNSS设备中心点O2的位置坐标,(XO,YO)为所述AR设备的中心点O的位置坐标,∠NOB为第一物体的航向角,O1O为第一物体的GNSS设备中心点O1与所述AR设备的中心点O之间的距离。
或者,所述计算子单元具体可以用于:
根据以下公式计算所述夹角:
其中,∠O2OA为所述夹角,∠NOA为所述摄像头相对于正北方向的水平安装角度,为所述第一物体的GNSS设备中心点O1的位置坐标,为所述目标物体的GNSS设备中心点O2的位置坐标。
其中,所述计算子单元具体可以用于:
根据所述周边物体的运行数据、以及第一物体的运行数据,计算每个周边物体与第一物体按照所述运行数据运行时发生碰撞的时长;
按照时长的从小到大的顺序从所述周边物体中获取至少一个所述目标物体。
其中,所述计算子单元具体可以用于:
根据所述周边物体的运行数据、以及第一物体的运行数据,从所述周边物体中选择与第一物体关联的周边物体;从与第一物体关联的周边物体中获取至少一个所述目标物体。
其中,所述预期偏角获取单元111还可以用于:获取所述周边物体与所述第一物体之间的距离、以及所述周边物体的预期水平偏角;所述周边物体的预期水平偏角是对所述周边物体在AR画面中图像的绝对水平偏角的预测值;
相应的,图像获得单元113还可以用于:选择预期水平偏角与该目标物体的预期水平偏角之间的差值满足第二差值要求的周边物体;根据选择的所述周边物体与所述第一物体之间的距离、以及该目标物体与所述第一物体之间的距离,对选择的所述周边物体和该目标物体按照距离从小到大进行排序,得到该目标物体的排序位次;获取该目标物体对应的物体图像在所述AR画面中Y轴方向上的坐标值,对该目标物体对应的物体图像按照所述坐标值从小到大进行排序;选择排序位次与该目标物体的排序位次相同的物体图像,作为该目标物体对应的物体图像。
其中,所述预期偏角获取单元111具体可以用于:
从V2X设备获取所述周边物体与所述第一物体之间的距离、以及所述周边物体的预期水平偏角,所述距离以及所述预期水平偏角由所述V2X设备所述目标物体的运行数据以及所述第一物体的运行数据确定。
其中,所述预期偏角获取单元111具体可以用于:
从V2X设备获取所述周边物体的运行数据,并且,从GNSS设备获取所述第一物体的运行数据;所述V2X设备以及所述GNSS设备设置于所述第一物体上;
根据所述周边物体的运行数据、以及所述第一物体的运行数据,计算所述周边物体与所述第一物体之间的距离、以及所述周边物体的预期水平偏角。
其中,所述预期偏角获取单元111具体可以用于:
对于每个所述周边物体,根据该周边物体的运行数据、以及所述第一物体的运行数据,计算所述AR设备中心点指向该周边物体中心点的方向与所述AR设备摄像头的安装方向之间的夹角,将该夹角作为该周边物体的预期水平偏角。
其中,所述预期偏角获取单元111具体可以用于:根据以下公式计算所述夹角:
其中,∠O2OA为所述夹角,∠NOA为所述摄像头相对于正北方向的水平安装角度,为所述第一物体的GNSS设备中心点O1的位置坐标,为所述周边物体的GNSS设备中心点O2的位置坐标,(XO,YO)为所述AR设备的中心点O的位置坐标,∠NOB为所述第一物体的航向角,O1O为所述第一物体的GNSS设备中心点O1与所述AR设备的中心点O之间的距离。
其中,所述预期偏角获取单元111具体可以用于:根据以下公式计算所述夹角:
其中,∠O2OA为所述夹角,∠NOA为所述摄像头相对于正北方向的水平安装角度,为所述第一物体的GNSS设备中心点O1的位置坐标,为所述周边物体的GNSS设备中心点O2的位置坐标。
其中,所述预期偏角获取单元111具体可以用于:根据所述周边物体的运行数据、以及第一物体的运行数据,从所述周边物体中选择与所述第一物体关联的周边物体;计算与所述第一物体关联的周边物体与所述第一物体之间的距离、以及与所述第一物体关联的周边物体的预期水平偏角。
图11所示的装置,获取至少一个对第一物体具有威胁的目标物体,通过偏角比对,得到目标物体在AR画面中对应的物体图像,对物体图像进行预警显示,从而能够为用户提供更大范围内的危险预警,提升用户体验。
图11所示实施例提供的装置110可用于执行本申请图3~图9所示方法实施例的技术方案,其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
应理解以上图11所示的桌面文件夹的操作装置的各个单元的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分单元以软件通过处理元件调用的形式实现,部分单元通过硬件的形式实现。例如,预期偏角获取单元可以为单独设立的处理元件,也可以集成在电子设备的某一个芯片中实现。其它单元的实现与之类似。此外这些单元全部或部分可以集成在一起,也可以独立实现。在实现过程中,上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些单元可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit;以下简称:ASIC),或,一个或多个微处理器(Digital Singnal Processor;以下简称:DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array;以下简称:FPGA)等。再如,这些单元可以集成在一起,以片上系统(System-On-a-Chip;以下简称:SOC)的形式实现。
图12为本申请电子设备一个实施例的结构示意图,如图12所示,上述电子设备可以包括:触控屏;一个或多个处理器;存储器;多个应用程序;以及一个或多个计算机程序。
其中,上述触控屏可以包括车载计算机(移动数据中心Mobile Data Center)的触控屏;上述电子设备可以为电子设备(手机),智慧屏,无人机,智能网联车(IntelligentConnected Vehicle;以下简称:ICV),智能(汽)车(smart/intelligent car)或车载设备等设备。
其中上述一个或多个计算机程序被存储在上述存储器中,上述一个或多个计算机程序包括指令,当上述指令被上述设备执行时,使得上述设备执行以下步骤:
获取至少一个对第一物体具有威胁的目标物体,并获取所述目标物体的预期水平偏角;所述目标物体的预期水平偏角是对所述目标物体在AR画面中图像的绝对水平偏角的预测值;所述AR画面是所述第一物体的AR设备展示的AR画面;
获取所述AR画面中各个物体图像的绝对水平偏角;所述物体图像的绝对水平偏角是AR画面的拍摄点指向物体图像中心点的方向与所述拍摄点指向AR画面中心点的方向在水平方向上的夹角;
根据所述目标物体的预期水平偏角、以及各个物体图像的绝对水平偏角,获得所述目标物体在所述AR画面中对应的物体图像,所述目标物体的预期水平偏角与所述目标物体对应的物体图像的绝对水平偏角之间的差值满足第一差值要求;
在所述AR画面中对所述目标物体对应的物体图像进行预警显示。
所述指令被所述设备执行时,使得所述获取所述AR画面中各个物体图像的绝对水平偏角的步骤包括:
从所述AR画面中识别出物体图像;
对于每个物体图像,通过以下公式计算该物体图像的绝对水平偏角:
y=arctan(2x*tan(m/2)/L)
其中,y为物体图像的绝对水平偏角的角度值,L为AR画面水平方向的总像素数,m为AR设备的摄像头的水平视野角度范围,x为物体图像的中心点与AR画面的中心点之间的线段在水平方向上占用的像素个数。
所述指令被所述设备执行时,使得所述获取至少一个对第一物体具有威胁的目标物体,并获取所述目标物体的预期水平偏角的步骤包括:
从V2X设备获取所述目标物体以及所述目标物体的预期水平偏角,所述目标物体以及所述目标物体的预期水平偏角由所述V2X设备根据所述目标物体的运行数据以及所述第一物体的运行数据确定,所述V2X设备设置于所述第一物体上。
所述指令被所述设备执行时,使得所述获取至少一个对第一物体具有威胁的目标物体,并获取所述目标物体的预期水平偏角的步骤包括:
从V2X设备获取周边物体的运行数据,并且,从GNSS设备获取所述第一物体的运行数据;所述V2X设备以及GNSS设备设置于所述第一物体上;
根据所述周边物体的运行数据、以及所述第一物体的运行数据,从所述周边物体中获取至少一个所述目标物体,计算所述目标物体的预期水平偏角。
所述指令被所述设备执行时,使得所述计算所述目标物体的预期水平偏角的步骤包括:
对于每个所述目标物体,根据该目标物体的运行数据、以及所述第一物体的运行数据,计算所述AR设备中心点指向该目标物体的中心点的方向与所述AR设备摄像头的安装方向之间的夹角,将该夹角作为该目标物体的预期水平偏角。
所述指令被所述设备执行时,使得所述根据该目标物体的运行数据、以及所述第一物体的运行数据,计算所述AR设备中心点指向该目标物体的中心点的方向与所述AR设备摄像头的安装方向之间的夹角的步骤包括:
根据以下公式计算所述夹角:
其中,∠O2OA为所述夹角,∠NOA为所述摄像头相对于正北方向的水平安装角度,为所述第一物体的GNSS设备中心点O1的位置坐标,为所述目标物体的GNSS设备中心点O2的位置坐标,(XO,YO)为所述AR设备的中心点O的位置坐标,∠NOB为第一物体的航向角,O1O为第一物体的GNSS设备中心点O1与所述AR设备的中心点O之间的距离。
所述指令被所述设备执行时,使得所述根据该目标物体的运行数据、以及所述第一物体的运行数据,计算所述AR设备的中心点指向该目标物体中GNSS设备中心点的方向与所述AR设备摄像头的安装方向之间的夹角的步骤包括:
根据以下公式计算所述夹角:
其中,∠O2OA为所述夹角,∠NOA为所述摄像头相对于正北方向的水平安装角度,为所述第一物体的GNSS设备中心点O1的位置坐标,为所述目标物体的GNSS设备中心点O2的位置坐标。
所述指令被所述设备执行时,使得所述根据所述周边物体的运行数据、以及第一物体的运行数据,从所述周边物体中获取至少一个所述目标物体的步骤包括:
根据所述周边物体的运行数据、以及第一物体的运行数据,计算每个周边物体与第一物体按照所述运行数据运行时发生碰撞的时长;
按照时长的从小到大的顺序从所述周边物体中获取至少一个所述目标物体。
所述指令被所述设备执行时,使得所述从所述周边物体中获取至少一个所述目标物体的步骤之前,还执行以下步骤:
根据所述周边物体的运行数据、以及第一物体的运行数据,从所述周边物体中选择与第一物体关联的周边物体;相应的,
所述从所述周边物体中获取至少一个所述目标物体,包括:
从与第一物体关联的周边物体中获取至少一个所述目标物体。
所述指令被所述设备执行时,使得所述对于一个目标物体,如果获得的该目标物体在所述AR画面中对应的物体图像为至少两个,所述在所述AR画面中对所述目标物体对应的物体图像进行预警显示的步骤之前,还执行以下步骤:
获取所述周边物体与所述第一物体之间的距离、以及所述周边物体的预期水平偏角;所述周边物体的预期水平偏角是对所述周边物体在AR画面中图像的绝对水平偏角的预测值;
相应的,所述获得所述目标物体在所述AR画面中对应的物体图像的步骤与所述进行预警显示的步骤之间,还执行以下步骤:
选择预期水平偏角与该目标物体的预期水平偏角之间的差值满足第二差值要求的周边物体;
根据选择的所述周边物体与所述第一物体之间的距离、以及该目标物体与所述第一物体之间的距离,对选择的所述周边物体和该目标物体按照距离从小到大进行排序,得到该目标物体的排序位次;
获取该目标物体对应的物体图像在所述AR画面中Y轴方向上的坐标值,对该目标物体对应的物体图像按照所述坐标值从小到大进行排序;
选择排序位次与该目标物体的排序位次相同的物体图像,作为该目标物体对应的物体图像。
所述指令被所述设备执行时,使得所述获取所述周边物体与所述第一物体之间的距离、以及所述周边物体的预期水平偏角的步骤包括:
从V2X设备获取所述周边物体与所述第一物体之间的距离、以及所述周边物体的预期水平偏角,所述距离以及所述预期水平偏角由所述V2X设备所述目标物体的运行数据以及所述第一物体的运行数据确定。
所述指令被所述设备执行时,使得所述获取所述周边物体与所述第一物体之间的距离、以及所述周边物体的预期水平偏角的步骤包括:
从V2X设备获取所述周边物体的运行数据,并且,从GNSS设备获取所述第一物体的运行数据;所述V2X设备以及所述GNSS设备设置于所述第一物体上;
根据所述周边物体的运行数据、以及所述第一物体的运行数据,计算所述周边物体与所述第一物体之间的距离、以及所述周边物体的预期水平偏角。
所述指令被所述设备执行时,使得所述计算所述周边物体的预期水平偏角的步骤包括:
对于每个所述周边物体,根据该周边物体的运行数据、以及所述第一物体的运行数据,计算所述AR设备中心点指向该周边物体中心点的方向与所述AR设备摄像头的安装方向之间的夹角,将该夹角作为该周边物体的预期水平偏角。
所述指令被所述设备执行时,使得所述根据该周边物体的运行数据、以及所述第一物体的运行数据,计算所述AR设备的中心点指向该周边物体中GNSS设备中心点的方向与所述AR设备摄像头的安装方向之间的夹角的步骤包括:
根据以下公式计算所述夹角:
其中,∠O2OA为所述夹角,∠NOA为所述摄像头相对于正北方向的水平安装角度,为所述第一物体的GNSS设备中心点O1的位置坐标,为所述周边物体的GNSS设备中心点O2的位置坐标,(Xo,YO)为所述AR设备的中心点O的位置坐标,∠NOB为所述第一物体的航向角,O1O为所述第一物体的GNSS设备中心点O1与所述AR设备的中心点O之间的距离。
所述指令被所述设备执行时,使得所述根据该周边物体的运行数据、以及所述第一物体的运行数据,计算所述AR设备中心点指向该周边物体中心点的方向与所述AR设备摄像头的安装方向之间的夹角的步骤包括:
根据以下公式计算所述夹角:
其中,∠O2OA为所述夹角,∠NOA为所述摄像头相对于正北方向的水平安装角度,为所述第一物体的GNSS设备中心点O1的位置坐标,为所述周边物体的GNSS设备中心点O2的位置坐标。
所述指令被所述设备执行时,使得所述计算所述周边物体与所述第一物体之间的距离、以及所述周边物体的预期水平偏角的步骤之前,还执行以下步骤:
根据所述周边物体的运行数据、以及第一物体的运行数据,从所述周边物体中选择与所述第一物体关联的周边物体;
相应的,所述计算所述周边物体与所述第一物体之间的距离、以及所述周边物体的预期水平偏角的步骤包括:
计算与所述第一物体关联的周边物体与所述第一物体之间的距离、以及与所述第一物体关联的周边物体的预期水平偏角。
图12所示的电子设备可以是终端设备也可以是内置于上述终端设备的电路设备。该设备可以用于执行本申请图3~图9所示实施例提供的方法中的功能/步骤。
电子设备1200可以包括处理器1210,外部存储器接口1220,内部存储器1221,通用串行总线(universal serial bus,USB)接口1230,充电管理模块1240,电源管理模块1241,电池1242,天线1,天线2,移动通信模块1250,无线通信模块1260,音频模块1270,扬声器1270A,受话器1270B,麦克风1270C,耳机接口1270D,传感器模块1280,按键1290,马达1291,指示器1292,摄像头1293,显示屏1294,以及用户标识模块(subscriber identificationmodule,SIM)卡接口1295等。其中传感器模块1280可以包括压力传感器1280A,陀螺仪传感器1280B,气压传感器1280C,磁传感器1280D,加速度传感器1280E,距离传感器1280F,接近光传感器1280G,指纹传感器1280H,温度传感器1280J,触摸传感器1280K,环境光传感器1280L,骨传导传感器1280M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备1200的具体限定。在本申请另一些实施例中,电子设备1200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器1210可以包括一个或多个处理单元,例如:处理器1210可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器1210中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器1210中的存储器为高速缓冲存储器。该存储器可以保存处理器1210刚用过或循环使用的指令或数据。如果处理器1210需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器1210的等待时间,因而提高了系统的效率。
在一些实施例中,处理器1210可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器1210可以包含多组I2C总线。处理器1210可以通过不同的I2C总线接口分别耦合触摸传感器1280K,充电器,闪光灯,摄像头1293等。例如:处理器1210可以通过I2C接口耦合触摸传感器1280K,使处理器1210与触摸传感器1280K通过I2C总线接口通信,实现电子设备1200的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器1210可以包含多组I2S总线。处理器1210可以通过I2S总线与音频模块1270耦合,实现处理器1210与音频模块1270之间的通信。在一些实施例中,音频模块1270可以通过I2S接口向无线通信模块1260传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块1270与无线通信模块1260可以通过PCM总线接口耦合。在一些实施例中,音频模块1270也可以通过PCM接口向无线通信模块1260传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器1210与无线通信模块1260。例如:处理器1210通过UART接口与无线通信模块1260中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块1270可以通过UART接口向无线通信模块1260传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器1210与显示屏1294,摄像头1293等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(display serial interface,DSI)等。在一些实施例中,处理器1210和摄像头1293通过CSI接口通信,实现电子设备1200的拍摄功能。处理器1210和显示屏1294通过DSI接口通信,实现电子设备1200的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器1210与摄像头1293,显示屏1294,无线通信模块1260,音频模块1270,传感器模块1280等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口1230是符合USB标准规范的接口,具体可以是MiniUSB接口,MicroUSB接口,USB Type C接口等。USB接口1230可以用于连接充电器为电子设备1200充电,也可以用于电子设备1200与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备1200的结构限定。在本申请另一些实施例中,电子设备1200也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块1240用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块1240可以通过USB接口1230接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块1240可以通过电子设备1200的无线充电线圈接收无线充电输入。充电管理模块1240为电池1242充电的同时,还可以通过电源管理模块1241为电子设备供电。
电源管理模块1241用于连接电池1242,充电管理模块1240与处理器1210。电源管理模块1241接收电池1242和/或充电管理模块1240的输入,为处理器1210,内部存储器1221,显示屏1294,摄像头1293,和无线通信模块1260等供电。电源管理模块1241还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块1241也可以设置于处理器1210中。在另一些实施例中,电源管理模块1241和充电管理模块1240也可以设置于同一个器件中。
电子设备1200的无线通信功能可以通过天线1,天线2,移动通信模块1250,无线通信模块1260,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备1200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块1250可以提供应用在电子设备1200上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块1250可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(lownoise amplifier,LNA)等。移动通信模块1250可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块1250还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块1250的至少部分功能模块可以被设置于处理器1210中。在一些实施例中,移动通信模块1250的至少部分功能模块可以与处理器1210的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器1270A,受话器1270B等)输出声音信号,或通过显示屏1294显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器1210,与移动通信模块1250或其他功能模块设置在同一个器件中。
无线通信模块1260可以提供应用在电子设备1200上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块1260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块1260经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器1210。无线通信模块1260还可以从处理器1210接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备1200的天线1和移动通信模块1250耦合,天线2和无线通信模块1260耦合,使得电子设备1200可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobilecommunications,GSM),通用分组无线服务(general packetradio service,GPRS),码分多址接入(code division multiple access,CDMA),宽带码分多址(wideband codedivision multipleaccess,WCDMA),时分码分多址(time-divisioncode divisionmultiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidou navigation satellite system,BDS),准天顶卫星系统(quasi-zenithsatellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备1200通过GPU,显示屏1294,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏1294和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器1210可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏1294用于显示图像,视频等。显示屏1294包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备1200可以包括1个或N个显示屏1294,N为大于1的正整数。
电子设备1200可以通过ISP,摄像头1293,视频编解码器,GPU,显示屏1294以及应用处理器等实现拍摄功能。
ISP用于处理摄像头1293反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头1293中。
摄像头1293用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备1200可以包括1个或N个摄像头1293,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备1200在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备1200可以支持一种或多种视频编解码器。这样,电子设备1200可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备1200的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口1220可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备1200的存储能力。外部存储卡通过外部存储器接口1220与处理器1210通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器1221可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器1221可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备1200使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器1221可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器1210通过运行存储在内部存储器1221的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备1200的各种功能应用以及数据处理。
电子设备1200可以通过音频模块1270,扬声器1270A,受话器1270B,麦克风1270C,耳机接口1270D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块1270用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块1270还可以用于对音频信号编码和解码。在一些实施例中,音频模块1270可以设置于处理器1210中,或将音频模块1270的部分功能模块设置于处理器1210中。
扬声器1270A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备1200可以通过扬声器1270A收听音乐,或收听免提通话。
受话器1270B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备1200接听电话或语音信息时,可以通过将受话器1270B靠近人耳接听语音。
麦克风1270C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风1270C发声,将声音信号输入到麦克风1270C。电子设备1200可以设置至少一个麦克风1270C。在另一些实施例中,电子设备1200可以设置两个麦克风1270C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备1200还可以设置三个,四个或更多麦克风1270C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口1270D用于连接有线耳机。耳机接口1270D可以是USB接口1230,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器1280A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器1280A可以设置于显示屏1294。压力传感器1280A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器1280A,电极之间的电容改变。电子设备1200根据电容的变化确定压力的强度。当有触摸操作作用于显示屏1294,电子设备1200根据压力传感器1280A检测所述触摸操作强度。电子设备1200也可以根据压力传感器1280A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器1280B可以用于确定电子设备1200的运动姿态。在一些实施例中,可以通过陀螺仪传感器1280B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器1280B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器1280B检测电子设备1200抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备1200的抖动,实现防抖。陀螺仪传感器1280B还可以用于导航,体感游戏场景。
气压传感器1280C用于测量气压。在一些实施例中,电子设备1200通过气压传感器1280C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器1280D包括霍尔传感器。电子设备1200可以利用磁传感器1280D检测翻盖皮套的开合。在一些实施例中,当电子设备1200是翻盖机时,电子设备1200可以根据磁传感器1280D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器1280E可检测电子设备1200在各个方向上(一般为三轴)加速度的大小。当电子设备1200静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器1280F,用于测量距离。电子设备1200可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备1200可以利用距离传感器1280F测距以实现快速对焦。
接近光传感器1280G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备1200通过发光二极管向外发射红外光。电子设备1200使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备1200附近有物体。当检测到不充分的反射光时,电子设备1200可以确定电子设备1200附近没有物体。电子设备1200可以利用接近光传感器1280G检测用户手持电子设备1200贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器1280G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器1280L用于感知环境光亮度。电子设备1200可以根据感知的环境光亮度自适应调节显示屏1294亮度。环境光传感器1280L也可用于拍照时自动调节白平衡。环境光传感器1280L还可以与接近光传感器1280G配合,检测电子设备1200是否在口袋里,以防误触。
指纹传感器1280H用于采集指纹。电子设备1200可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器1280J用于检测温度。在一些实施例中,电子设备1200利用温度传感器1280J检测的温度,执行温度处理策略。例如,当温度传感器1280J上报的温度超过阈值,电子设备1200执行降低位于温度传感器1280J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备1200对电池1242加热,以避免低温导致电子设备1200异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备1200对电池1242的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器1280K,也称“触控器件”。触摸传感器1280K可以设置于显示屏1294,由触摸传感器1280K与显示屏1294组成触摸屏,也称“触控屏”。触摸传感器1280K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏1294提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器1280K也可以设置于电子设备1200的表面,与显示屏1294所处的位置不同。
骨传导传感器1280M可以获取振动信号。在一些实施例中,骨传导传感器1280M可以获取人体声部振动骨块的振动信号。骨传导传感器1280M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器1280M也可以设置于耳机中,结合成骨传导耳机。音频模块1270可以基于所述骨传导传感器1280M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器1280M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键1290包括开机键,音量键等。按键1290可以是机械按键。也可以是触摸式按键。电子设备1200可以接收按键输入,产生与电子设备1200的用户设置以及功能控制有关的键信号输入。
马达1291可以产生振动提示。马达1291可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏1294不同区域的触摸操作,马达1291也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器1292可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口1295用于连接SIM卡。SIM卡可以通过插入SIM卡接口1295,或从SIM卡接口1295拔出,实现和电子设备1200的接触和分离。电子设备1200可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口1295可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口1295可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口1295也可以兼容不同类型的SIM卡。SIM卡接口1295也可以兼容外部存储卡。电子设备1200通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备1200采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备1200中,不能和电子设备1200分离。
应理解,图12所示的电子设备1200能够实现本申请图3~图9所示实施例提供的方法的各个过程。电子设备1200中的各个模块的操作和/或功能,分别为了实现上述方法实施例中的相应流程。具体可参见本申请图3~图9所示方法实施例中的描述,为避免重复,此处适当省略详细描述。
应理解,图12所示的电子设备1200中的处理器1210可以是片上系统SOC,该处理器1210中可以包括中央处理器(Central Processing Unit,CPU),还可以进一步包括其他类型的处理器,例如:图像处理器(Graphics Processing Unit,GPU)等。
总之,处理器1210内部的各部分处理器或处理单元可以共同配合实现之前的方法流程,且各部分处理器或处理单元相应的软件程序可存储在内部存储器121中。
本申请还提供一种电子设备,所述设备包括存储介质和中央处理器,所述存储介质可以是非易失性存储介质,所述存储介质中存储有计算机可执行程序,所述中央处理器与所述非易失性存储介质连接,并执行所述计算机可执行程序以实现本申请图3~图9所示实施例提供的方法。
以上各实施例中,涉及的处理器可以例如包括CPU、DSP、微控制器或数字信号处理器,还可包括GPU、嵌入式神经网络处理器(Neural-network Process Units;以下简称:NPU)和图像信号处理器(Image Signal Processing;以下简称:ISP),该处理器还可包括必要的硬件加速器或逻辑处理硬件电路,如ASIC,或一个或多个用于控制本申请技术方案程序执行的集成电路等。此外,处理器可以具有操作一个或多个软件程序的功能,软件程序可以存储在存储介质中。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行本申请图3~图9所示实施例提供的方法。
本申请实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序,当其在计算机上运行时,使得计算机执行本申请图3~图9所示实施例提供的方法。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达,是指的这些项中的任意组合,包括单项或复数项的任意组合。例如,a,b和c中的至少一项可以表示:a,b,c,a和b,a和c,b和c或a和b和c,其中a,b,c可以是单个,也可以是多个。
本领域普通技术人员可以意识到,本文中公开的实施例中描述的各单元及算法步骤,能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory;以下简称:ROM)、随机存取存储器(Random Access Memory;以下简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。
Claims (34)
1.一种目标物体的预警方法,其特征在于,包括:
获取至少一个对第一物体具有威胁的目标物体,并获取所述目标物体的预期水平偏角;所述目标物体的预期水平偏角是对所述目标物体在增强现实AR画面中图像的绝对水平偏角的预测值;所述AR画面是所述第一物体的AR设备展示的AR画面;
获取所述AR画面中各个物体图像的绝对水平偏角;所述物体图像的绝对水平偏角是AR画面的拍摄点指向物体图像中心点的方向与所述拍摄点指向AR画面中心点的方向在水平方向上的夹角;
根据所述目标物体的预期水平偏角、以及各个物体图像的绝对水平偏角,获得所述目标物体在所述AR画面中对应的物体图像,所述目标物体的预期水平偏角与所述目标物体对应的物体图像的绝对水平偏角之间的差值满足第一差值要求;
在所述AR画面中对所述目标物体对应的物体图像进行预警显示。
2.根据权利要求1所述的方法,其特征在于,所述获取所述AR画面中各个物体图像的绝对水平偏角,包括:
从所述AR画面中识别出物体图像;
对于每个物体图像,通过以下公式计算该物体图像的绝对水平偏角:
y=arctan(2x*tan(m/2)/L)
其中,y为物体图像的绝对水平偏角的角度值,L为AR画面水平方向的总像素数,m为AR设备的摄像头的水平视野角度范围,x为物体图像的中心点与AR画面的中心点之间的线段在水平方向上占用的像素个数。
3.根据权利要求1或2所述的方法,其特征在于,所述获取至少一个对第一物体具有威胁的目标物体,并获取所述目标物体的预期水平偏角,包括:
从车与万物的互联V2X设备获取所述目标物体以及所述目标物体的预期水平偏角,所述目标物体以及所述目标物体的预期水平偏角由所述V2X设备根据所述目标物体的运行数据以及所述第一物体的运行数据确定,所述V2X设备设置于所述第一物体上。
4.根据权利要求1或2所述的方法,其特征在于,所述获取至少一个对第一物体具有威胁的目标物体,并获取所述目标物体的预期水平偏角,包括:
从V2X设备获取周边物体的运行数据,并且,从全球导航卫星系统GNSS设备获取所述第一物体的运行数据;所述V2X设备以及GNSS设备设置于所述第一物体上;
根据所述周边物体的运行数据、以及所述第一物体的运行数据,从所述周边物体中获取至少一个所述目标物体,计算所述目标物体的预期水平偏角。
5.根据权利要求4所述的方法,其特征在于,所述计算所述目标物体的预期水平偏角,包括:
对于每个所述目标物体,根据该目标物体的运行数据、以及所述第一物体的运行数据,计算所述AR设备中心点指向该目标物体的中心点的方向与所述AR设备摄像头的安装方向之间的夹角,将该夹角作为该目标物体的预期水平偏角。
6.根据权利要求5所述的方法,其特征在于,所述根据该目标物体的运行数据、以及所述第一物体的运行数据,计算所述AR设备中心点指向该目标物体的中心点的方向与所述AR设备摄像头的安装方向之间的夹角,包括:
根据以下公式计算所述夹角:
其中,∠O2OA为所述夹角,∠NOA为所述摄像头相对于正北方向的水平安装角度,为所述第一物体的GNSS设备中心点O1的位置坐标,为所述目标物体的GNSS设备中心点O2的位置坐标,(XO,YO)为所述AR设备的中心点O的位置坐标,∠NOB为第一物体的航向角,O1O为第一物体的GNSS设备中心点O1与所述AR设备的中心点O之间的距离。
7.根据权利要求5所述的方法,其特征在于,所述根据该目标物体的运行数据、以及所述第一物体的运行数据,计算所述AR设备的中心点指向该目标物体中GNSS设备中心点的方向与所述AR设备摄像头的安装方向之间的夹角,包括:
根据以下公式计算所述夹角:
其中,∠O2OA为所述夹角,∠NOA为所述摄像头相对于正北方向的水平安装角度,为所述第一物体的GNSS设备中心点O1的位置坐标,为所述目标物体的GNSS设备中心点O2的位置坐标。
8.根据权利要求4所述的方法,其特征在于,根据所述周边物体的运行数据、以及第一物体的运行数据,从所述周边物体中获取至少一个所述目标物体,包括:
根据所述周边物体的运行数据、以及第一物体的运行数据,计算每个周边物体与第一物体按照所述运行数据运行时发生碰撞的时长;
按照时长的从小到大的顺序从所述周边物体中获取至少一个所述目标物体。
9.根据权利要求4所述的方法,其特征在于,所述从所述周边物体中获取至少一个所述目标物体之前,还包括:
根据所述周边物体的运行数据、以及第一物体的运行数据,从所述周边物体中选择与第一物体关联的周边物体;相应的,
所述从所述周边物体中获取至少一个所述目标物体,包括:
从与第一物体关联的周边物体中获取至少一个所述目标物体。
10.根据权利要求1或2所述的方法,其特征在于,对于一个目标物体,如果获得的该目标物体在所述AR画面中对应的物体图像为至少两个,所述在所述AR画面中对所述目标物体对应的物体图像进行预警显示之前,还包括:
获取周边物体与所述第一物体之间的距离、以及所述周边物体的预期水平偏角;所述周边物体的预期水平偏角是对所述周边物体在AR画面中图像的绝对水平偏角的预测值;
相应的,所述获得所述目标物体在所述AR画面中对应的物体图像与所述进行预警显示之间,还包括:
选择预期水平偏角与该目标物体的预期水平偏角之间的差值满足第二差值要求的周边物体;
根据选择的所述周边物体与所述第一物体之间的距离、以及该目标物体与所述第一物体之间的距离,对选择的所述周边物体和该目标物体按照距离从小到大进行排序,得到该目标物体的排序位次;
获取该目标物体对应的物体图像在所述AR画面中Y轴方向上的坐标值,对该目标物体对应的物体图像按照所述坐标值从小到大进行排序;
选择排序位次与该目标物体的排序位次相同的物体图像,作为该目标物体对应的物体图像。
11.根据权利要求10所述的方法,其特征在于,所述获取所述周边物体与所述第一物体之间的距离、以及所述周边物体的预期水平偏角,包括:
从V2X设备获取所述周边物体与所述第一物体之间的距离、以及所述周边物体的预期水平偏角,所述距离以及所述预期水平偏角由所述V2X设备所述目标物体的运行数据以及所述第一物体的运行数据确定。
12.根据权利要求10所述的方法,其特征在于,所述获取所述周边物体与所述第一物体之间的距离、以及所述周边物体的预期水平偏角,包括:
从V2X设备获取所述周边物体的运行数据,并且,从GNSS设备获取所述第一物体的运行数据;所述V2X设备以及所述GNSS设备设置于所述第一物体上;
根据所述周边物体的运行数据、以及所述第一物体的运行数据,计算所述周边物体与所述第一物体之间的距离、以及所述周边物体的预期水平偏角。
13.根据权利要求12所述的方法,其特征在于,所述计算所述周边物体的预期水平偏角,包括:
对于每个所述周边物体,根据该周边物体的运行数据、以及所述第一物体的运行数据,计算所述AR设备中心点指向该周边物体中心点的方向与所述AR设备摄像头的安装方向之间的夹角,将该夹角作为该周边物体的预期水平偏角。
14.根据权利要求13所述的方法,其特征在于,所述根据该周边物体的运行数据、以及所述第一物体的运行数据,计算所述AR设备的中心点指向该周边物体中GNSS设备中心点的方向与所述AR设备摄像头的安装方向之间的夹角,包括:
根据以下公式计算所述夹角:
其中,∠O2OA为所述夹角,∠NOA为所述摄像头相对于正北方向的水平安装角度,为所述第一物体的GNSS设备中心点O1的位置坐标,为所述周边物体的GNSS设备中心点O2的位置坐标,(XO,YO)为所述AR设备的中心点O的位置坐标,∠NOB为所述第一物体的航向角,O1O为所述第一物体的GNSS设备中心点O1与所述AR设备的中心点O之间的距离。
15.根据权利要求13所述的方法,其特征在于,所述根据该周边物体的运行数据、以及所述第一物体的运行数据,计算所述AR设备中心点指向该周边物体中心点的方向与所述AR设备摄像头的安装方向之间的夹角,包括:
根据以下公式计算所述夹角:
其中,∠O2OA为所述夹角,∠NOA为所述摄像头相对于正北方向的水平安装角度,为所述第一物体的GNSS设备中心点O1的位置坐标,为所述周边物体的GNSS设备中心点O2的位置坐标。
16.根据权利要求12所述的方法,其特征在于,所述计算所述周边物体与所述第一物体之间的距离、以及所述周边物体的预期水平偏角之前,还包括:
根据所述周边物体的运行数据、以及第一物体的运行数据,从所述周边物体中选择与所述第一物体关联的周边物体;
相应的,所述计算所述周边物体与所述第一物体之间的距离、以及所述周边物体的预期水平偏角,包括:
计算与所述第一物体关联的周边物体与所述第一物体之间的距离、以及与所述第一物体关联的周边物体的预期水平偏角。
17.一种目标物体的预警装置,其特征在于,包括:
预期偏角获取单元,用于获取至少一个对第一物体具有威胁的目标物体,并获取所述目标物体的预期水平偏角;所述目标物体的预期水平偏角是对所述目标物体在增强现实AR画面中图像的绝对水平偏角的预测值;所述AR画面是所述第一物体的AR设备展示的AR画面;
绝对偏角获取单元,用于获取所述AR画面中各个物体图像的绝对水平偏角;所述物体图像的绝对水平偏角是AR画面的拍摄点指向物体图像中心点的方向与所述拍摄点指向AR画面中心点的方向在水平方向上的夹角;
图像获得单元,用于根据所述预期偏角获取单元获取的所述目标物体的预期水平偏角、以及所述绝对偏角获取单元获取的各个物体图像的绝对水平偏角,获得所述目标物体在所述AR画面中对应的物体图像,所述目标物体的预期水平偏角与所述目标物体对应的物体图像的绝对水平偏角之间的差值满足第一差值要求;
显示单元,用于在所述AR画面中对所述图像获得单元获得的所述目标物体对应的物体图像进行预警显示。
18.根据权利要求17所述的装置,其特征在于,所述绝对偏角获取单元具体用于:
从所述AR画面中识别出物体图像;
对于每个物体图像,通过以下公式计算该物体图像的绝对水平偏角:
y=arctan(2x*tan(m/2)/L)
其中,y为物体图像的绝对水平偏角的角度值,L为AR画面水平方向的总像素数,m为AR设备的摄像头的水平视野角度范围,x为物体图像的中心点与AR画面的中心点之间的线段在水平方向上占用的像素个数。
19.根据权利要求17或18所述的装置,其特征在于,所述预期偏角获取单元具体用于:
从车与万物的互联V2X设备获取所述目标物体以及所述目标物体的预期水平偏角,所述目标物体以及所述目标物体的预期水平偏角由所述V2X设备根据所述目标物体的运行数据以及所述第一物体的运行数据确定,所述V2X设备设置于所述第一物体上。
20.根据权利要求17或18所述的装置,其特征在于,所述预期偏角获取单元包括:
数据获取子单元,用于从V2X设备获取周边物体的运行数据,并且,从全球导航卫星系统GNSS设备获取所述第一物体的运行数据;所述V2X设备以及GNSS设备设置于所述第一物体上;
计算子单元,用于根据所述周边物体的运行数据、以及所述第一物体的运行数据,从所述周边物体中获取至少一个所述目标物体,计算所述目标物体的预期水平偏角。
21.根据权利要求20所述的装置,其特征在于,所述计算子单元具体用于:
对于每个所述目标物体,根据该目标物体的运行数据、以及所述第一物体的运行数据,计算所述AR设备中心点指向该目标物体的中心点的方向与所述AR设备摄像头的安装方向之间的夹角,将该夹角作为该目标物体的预期水平偏角。
22.根据权利要求21所述的装置,其特征在于,所述计算子单元具体用于:
根据以下公式计算所述夹角:
其中,∠O2OA为所述夹角,∠NOA为所述摄像头相对于正北方向的水平安装角度,为所述第一物体的GNSS设备中心点O1的位置坐标,为所述目标物体的GNSS设备中心点O2的位置坐标,(XO,YO)为所述AR设备的中心点O的位置坐标,∠NOB为第一物体的航向角,O1O为第一物体的GNSS设备中心点O1与所述AR设备的中心点O之间的距离。
23.根据权利要求21所述的装置,其特征在于,所述计算子单元具体用于:
根据以下公式计算所述夹角:
其中,∠O2OA为所述夹角,∠NOA为所述摄像头相对于正北方向的水平安装角度,为所述第一物体的GNSS设备中心点On的位置坐标,为所述目标物体的GNSS设备中心点O2的位置坐标。
24.根据权利要求20所述的装置,其特征在于,所述计算子单元具体用于:
根据所述周边物体的运行数据、以及第一物体的运行数据,计算每个周边物体与第一物体按照所述运行数据运行时发生碰撞的时长;
按照时长的从小到大的顺序从所述周边物体中获取至少一个所述目标物体。
25.根据权利要求20所述的装置,其特征在于,所述计算子单元具体用于:
根据所述周边物体的运行数据、以及第一物体的运行数据,从所述周边物体中选择与第一物体关联的周边物体;从与第一物体关联的周边物体中获取至少一个所述目标物体。
26.根据权利要求17或18所述的装置,其特征在于,所述预期偏角获取单元还用于:获取周边物体与所述第一物体之间的距离、以及所述周边物体的预期水平偏角;所述周边物体的预期水平偏角是对所述周边物体在AR画面中图像的绝对水平偏角的预测值;
相应的,图像获得单元还用于:选择预期水平偏角与该目标物体的预期水平偏角之间的差值满足第二差值要求的周边物体;根据选择的所述周边物体与所述第一物体之间的距离、以及该目标物体与所述第一物体之间的距离,对选择的所述周边物体和该目标物体按照距离从小到大进行排序,得到该目标物体的排序位次;获取该目标物体对应的物体图像在所述AR画面中Y轴方向上的坐标值,对该目标物体对应的物体图像按照所述坐标值从小到大进行排序;选择排序位次与该目标物体的排序位次相同的物体图像,作为该目标物体对应的物体图像。
27.根据权利要求26所述的装置,其特征在于,所述预期偏角获取单元具体用于:
从V2X设备获取所述周边物体与所述第一物体之间的距离、以及所述周边物体的预期水平偏角,所述距离以及所述预期水平偏角由所述V2X设备所述目标物体的运行数据以及所述第一物体的运行数据确定。
28.根据权利要求26所述的装置,其特征在于,所述预期偏角获取单元具体用于:
从V2X设备获取所述周边物体的运行数据,并且,从GNSS设备获取所述第一物体的运行数据;所述V2X设备以及所述GNSS设备设置于所述第一物体上;
根据所述周边物体的运行数据、以及所述第一物体的运行数据,计算所述周边物体与所述第一物体之间的距离、以及所述周边物体的预期水平偏角。
29.根据权利要求28所述的装置,其特征在于,所述预期偏角获取单元具体用于:
对于每个所述周边物体,根据该周边物体的运行数据、以及所述第一物体的运行数据,计算所述AR设备中心点指向该周边物体中心点的方向与所述AR设备摄像头的安装方向之间的夹角,将该夹角作为该周边物体的预期水平偏角。
30.根据权利要求29所述的装置,其特征在于,所述预期偏角获取单元具体用于:根据以下公式计算所述夹角:
其中,∠O2OA为所述夹角,∠NOA为所述摄像头相对于正北方向的水平安装角度,为所述第一物体的GNSS设备中心点O1的位置坐标,为所述周边物体的GNSS设备中心点O2的位置坐标,(XO,YO)为所述AR设备的中心点O的位置坐标,∠NOB为所述第一物体的航向角,O1O为所述第一物体的GNSS设备中心点O1与所述AR设备的中心点O之间的距离。
31.根据权利要求29所述的装置,其特征在于,所述预期偏角获取单元具体用于:根据以下公式计算所述夹角:
其中,∠O2OA为所述夹角,∠NOA为所述摄像头相对于正北方向的水平安装角度,为所述第一物体的GNSS设备中心点O1的位置坐标,为所述周边物体的GNSS设备中心点O2的位置坐标。
32.根据权利要求28所述的装置,其特征在于,所述预期偏角获取单元具体用于:根据所述周边物体的运行数据、以及第一物体的运行数据,从所述周边物体中选择与所述第一物体关联的周边物体;计算与所述第一物体关联的周边物体与所述第一物体之间的距离、以及与所述第一物体关联的周边物体的预期水平偏角。
33.一种电子设备,其特征在于,包括:
显示屏;一个或多个处理器;存储器;其中,一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述处理器执行时,使得所述电子设备执行以下步骤:
获取至少一个对第一物体具有威胁的目标物体,并获取所述目标物体的预期水平偏角;所述目标物体的预期水平偏角是对所述目标物体在增强现实AR画面中图像的绝对水平偏角的预测值;所述AR画面是所述第一物体的AR设备展示的AR画面;
获取所述AR画面中各个物体图像的绝对水平偏角;所述物体图像的绝对水平偏角是AR画面的拍摄点指向物体图像中心点的方向与所述拍摄点指向AR画面中心点的方向在水平方向上的夹角;
根据所述目标物体的预期水平偏角、以及各个物体图像的绝对水平偏角,获得所述目标物体在所述AR画面中对应的物体图像,所述目标物体的预期水平偏角与所述目标物体对应的物体图像的绝对水平偏角之间的差值满足第一差值要求;
在所述AR画面中对所述目标物体对应的物体图像进行预警显示。
34.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行如权利要求1-16任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010105033.8A CN111323042B (zh) | 2020-02-20 | 2020-02-20 | 目标物体的预警方法、装置和电子设备 |
PCT/CN2020/135113 WO2021164387A1 (zh) | 2020-02-20 | 2020-12-10 | 目标物体的预警方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010105033.8A CN111323042B (zh) | 2020-02-20 | 2020-02-20 | 目标物体的预警方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111323042A CN111323042A (zh) | 2020-06-23 |
CN111323042B true CN111323042B (zh) | 2023-10-10 |
Family
ID=71167949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010105033.8A Active CN111323042B (zh) | 2020-02-20 | 2020-02-20 | 目标物体的预警方法、装置和电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111323042B (zh) |
WO (1) | WO2021164387A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111323042B (zh) * | 2020-02-20 | 2023-10-10 | 华为技术有限公司 | 目标物体的预警方法、装置和电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004212232A (ja) * | 2003-01-06 | 2004-07-29 | Alpine Electronics Inc | 風景動画表示ナビゲーション装置 |
CN101763640A (zh) * | 2009-12-31 | 2010-06-30 | 无锡易斯科电子技术有限公司 | 车载多目摄像机环视系统的在线标定处理方法 |
CN105651298A (zh) * | 2014-12-01 | 2016-06-08 | 星克跃尔株式会社 | 电子装置、电子装置的控制方法 |
CN105667496A (zh) * | 2016-03-15 | 2016-06-15 | 江苏大学 | 一种汽车盘山公路防坠控制方法 |
CN110031010A (zh) * | 2019-04-09 | 2019-07-19 | 百度在线网络技术(北京)有限公司 | 车辆引导路线绘制方法、装置及设备 |
CN110588510A (zh) * | 2019-08-26 | 2019-12-20 | 华为技术有限公司 | 一种对本车的预警方法及装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI20115086A0 (fi) * | 2011-01-28 | 2011-01-28 | Waertsilae Finland Oy | Järjestely ja menetelmä generaattorilaitteiston synkronoimiseksi sähköverkkoon |
US10712556B2 (en) * | 2015-12-31 | 2020-07-14 | Huawei Technologies Co., Ltd. | Image information processing method and augmented reality AR device |
WO2018058321A1 (en) * | 2016-09-27 | 2018-04-05 | SZ DJI Technology Co., Ltd. | Method and system for creating video abstraction from image data captured by a movable object |
CN108243332B (zh) * | 2016-12-23 | 2024-04-12 | 深圳点石创新科技有限公司 | 车载抬头显示系统影像调节方法及车载抬头显示系统 |
WO2018147041A1 (ja) * | 2017-02-09 | 2018-08-16 | ソニーセミコンダクタソリューションズ株式会社 | 走行支援装置と走行支援管理装置およびその方法と走行支援システム |
CN107102736A (zh) * | 2017-04-25 | 2017-08-29 | 上海唱风信息科技有限公司 | 实现增强现实的方法 |
KR20180123354A (ko) * | 2017-05-08 | 2018-11-16 | 엘지전자 주식회사 | 차량용 사용자 인터페이스 장치 및 차량 |
CN111323042B (zh) * | 2020-02-20 | 2023-10-10 | 华为技术有限公司 | 目标物体的预警方法、装置和电子设备 |
-
2020
- 2020-02-20 CN CN202010105033.8A patent/CN111323042B/zh active Active
- 2020-12-10 WO PCT/CN2020/135113 patent/WO2021164387A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004212232A (ja) * | 2003-01-06 | 2004-07-29 | Alpine Electronics Inc | 風景動画表示ナビゲーション装置 |
CN101763640A (zh) * | 2009-12-31 | 2010-06-30 | 无锡易斯科电子技术有限公司 | 车载多目摄像机环视系统的在线标定处理方法 |
CN105651298A (zh) * | 2014-12-01 | 2016-06-08 | 星克跃尔株式会社 | 电子装置、电子装置的控制方法 |
CN105667496A (zh) * | 2016-03-15 | 2016-06-15 | 江苏大学 | 一种汽车盘山公路防坠控制方法 |
CN110031010A (zh) * | 2019-04-09 | 2019-07-19 | 百度在线网络技术(北京)有限公司 | 车辆引导路线绘制方法、装置及设备 |
CN110588510A (zh) * | 2019-08-26 | 2019-12-20 | 华为技术有限公司 | 一种对本车的预警方法及装置 |
Non-Patent Citations (1)
Title |
---|
刘伸展.实时车道线检测系统的设计和实现.2018,全文. * |
Also Published As
Publication number | Publication date |
---|---|
WO2021164387A1 (zh) | 2021-08-26 |
CN111323042A (zh) | 2020-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114946169B (zh) | 一种图像获取方法以及装置 | |
WO2020238741A1 (zh) | 图像处理方法、相关设备及计算机存储介质 | |
CN114119758B (zh) | 获取车辆位姿的方法、电子设备和计算机可读存储介质 | |
CN111030719B (zh) | 车载装置和数据处理的方法 | |
US20230005277A1 (en) | Pose determining method and related device | |
CN114422340B (zh) | 日志上报方法、电子设备及存储介质 | |
WO2021180085A1 (zh) | 拾音方法、装置和电子设备 | |
CN111368765A (zh) | 车辆位置的确定方法、装置、电子设备和车载设备 | |
KR102392221B1 (ko) | 화상 처리 장치, 및 촬상 장치, 및 화상 처리 시스템 | |
CN112541861B (zh) | 图像处理方法、装置、设备及计算机存储介质 | |
CN113343193B (zh) | 身份验证方法、装置和电子设备 | |
CN113542613B (zh) | 一种用于拍照的装置及方法 | |
US20230230343A1 (en) | Image Processing Method, Electronic Device, Image Processing System, and Chip System | |
CN111323042B (zh) | 目标物体的预警方法、装置和电子设备 | |
WO2024093857A1 (zh) | 一种定位方法及相关装置 | |
CN118872298A (zh) | 一种消息传输的方法及相应终端 | |
CN113328537B (zh) | 无线充电偏位的检测方法、装置和电子设备 | |
CN114079886B (zh) | V2x报文发送方法、v2x通信设备及电子设备 | |
CN116266088B (zh) | 应用卡片显示方法、装置、终端设备及可读存储介质 | |
CN117714894B (zh) | 一种目标识别方法、电子设备及存储介质 | |
CN117075835B (zh) | 一种显示装置、显示方法、电子设备及存储介质 | |
US20250037573A1 (en) | Image processing method and related device | |
EP4506786A1 (en) | Interaction method and electronic device | |
CN113129636B (zh) | 车辆信息的推送方法、装置、用户账号服务器和用户设备 | |
WO2023274136A1 (zh) | 一种设备控制方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |