[go: up one dir, main page]

CN105651298A - 电子装置、电子装置的控制方法 - Google Patents

电子装置、电子装置的控制方法 Download PDF

Info

Publication number
CN105651298A
CN105651298A CN201510868519.6A CN201510868519A CN105651298A CN 105651298 A CN105651298 A CN 105651298A CN 201510868519 A CN201510868519 A CN 201510868519A CN 105651298 A CN105651298 A CN 105651298A
Authority
CN
China
Prior art keywords
mentioned
vehicle
terrain elevation
camera
electronic installation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510868519.6A
Other languages
English (en)
Other versions
CN105651298B (zh
Inventor
高锡弼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Thinkware Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thinkware Systems Corp filed Critical Thinkware Systems Corp
Publication of CN105651298A publication Critical patent/CN105651298A/zh
Application granted granted Critical
Publication of CN105651298B publication Critical patent/CN105651298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • G01C21/3638Guidance using 3D or perspective road maps including 3D objects and buildings
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Navigation (AREA)

Abstract

本发明公开电子装置、电子装置的控制方法、计算机程序及计算机可读记录介质。本发明的电子装置的控制方法包括:确定运行中的车辆的位置的步骤;确定与所确定的车辆的位置相距规定距离以内的区域的地形高度的步骤;比较车辆的位置的地形高度和与所确定的车辆的位置相距规定距离以内的区域的地形高度来计算出地形高度差的步骤;以及生成包含车辆的引导信息的信息对象,并以反映地形高度差的方式通过增强现实来显示所生成的信息对象。

Description

电子装置、电子装置的控制方法
技术领域
本发明涉及电子装置、电子装置的控制方法、计算机程序及计算机可读记录介质,更详细地,涉及在增强现实上向使用人员执行车辆驾驶相关引导的电子装置、电子装置的控制方法、计算机程序及计算机可读记录介质。
背景技术
随着电子技术的发展,研发并推广多种电子装置。尤其,近来推出有以增强现实(AugmentedReality,AR)的形态提供地理信息的技术,上述增强现实通过在实时拍摄的拍摄影像中合成计算机图像(ComputerGraphics,CG)、文字等附加信息来显示。
根据这种增强现实技术,可在显示使用人员实际看到的现实世界的画面上视觉性地重叠虚拟对象(例如,关心地点(PointOfInterest,POI)的图形要素、显示到目的地的路径的图形要素等)来提供,从而可以以更加直观的方法向使用人员提供地理信息。
以此,以往的导航仪终端可通过适用增强现实技术来在所拍摄的行驶中的车辆的前方影像中合成与地图数据相关的表达信息,来执行导航。
但是,根据以往的增强现实技术,难以处理在实际地形上产生高低差的部分来显示信息。
作为一例,以往的增强现实技术在假设车辆位于水平面的状态下显现出对象,而并非考虑地形的高度,或仅通过单独的图像才能提供高低差信息。
但是,增强现实技术为通过使由摄像头实时拍摄的拍摄影像和虚拟的对象交叉来以与实际相似的形态在画面内表现对象或提供信息的技术,若虚拟对象的位置或信息不一致,则导致增强现实的价值大大降低。
发明内容
本发明根据上述必要性而提出,本发明的目的在于,提供比较车辆的位置的地形高度和与车辆的位置相距规定距离以内的区域的地形高度来计算出地形高度差,并以反映地形高度差的方式通过增强现实来显示引导对象的电子装置、电子装置的控制方法、计算机程序及计算机可读记录介质。
并且,本发明的另一目的在于,提供以不仅反映地形高度差,还反映设于车辆的摄像头的上下旋转角度的方式通过增强现实显示引导对象的电子装置、电子装置的控制方法、计算机程序及计算机可读记录介质。
用于实现上述目的的本发明一实施例的电子装置的控制方法包括:确定运行中的车辆的位置的步骤;确定与所确定的上述车辆的位置相距规定距离以内的区域的地形高度的步骤;比较上述车辆的位置的地形高度和与所确定的上述车辆的位置相距规定距离以内的上述区域的地形高度来计算出地形高度差的步骤;以及生成包含上述车辆的引导信息的信息对象,并以反映上述地形高度差的方式通过增强现实来显示所生成的上述信息对象的步骤。
而且,上述以反映上述地形高度差的方式通过增强现实来显示所生成的上述信息对象的步骤可包括在摄像头的拍摄影像的虚拟三维空间中利用上述地形高度差来确定上述信息对象的映射位置的步骤。
并且,本发明的电子装置的控制方法还可包括在上述车辆的位置计算出设于上述车辆的摄像头的上下旋转角度的步骤,上述以反映上述地形高度差的方式通过增强现实来显示所生成的上述信息对象的步骤还包括利用所计算出的上述上下旋转角度来校正所确定的上述信息对象的映射位置的步骤。
而且,上述以反映上述地形高度差的方式通过增强现实来显示所生成的上述信息对象的步骤可包括:通过对摄像头执行校准来计算出摄像头参数的步骤;基于上述摄像头参数,生成摄像头的拍摄影像的虚拟三维空间的步骤;以及以基于校正的上述信息对象的映射位置为基础,在上述虚拟三维空间映射所生成的上述信息对象的步骤。
并且,上述以反映上述地形高度差的方式通过增强现实来显示所生成的上述信息对象的步骤可包括:基于上述摄像头参数使被映射的上述虚拟三维空间变换成二维图像,来生成增强现实画面的步骤;以及显示所生成的上述增强现实画面的步骤。
而且,在上述确定与所确定的上述车辆的位置相距规定距离以内的区域的地形高度的步骤中,可在上述电子装置执行目的地为止的导航的情况下,确定上述目的地为止的所有路径中的与车辆的位置相距规定距离以内的路径的地形高度。
并且,上述信息对象可包括用于进行目的地为止的导航的导航对象,在以反映上述地形高度差的方式通过增强现实来显示所生成的上述信息对象的步骤中,以使得上述导航对象位于上述增强现实画面的道路区域的方式进行显示。
另一方面,用于实现上述目的的本发明一实施例的电子装置包括:显示部,用于显示画面;地形高度处理部,确定与运行中的车辆的位置相距规定距离以内的区域的地形高度,并比较上述车辆的位置的地形高度和与所确定的上述车辆的位置相距规定距离以内的上述区域的地形高度来计算出地形高度差;以及控制部,上述控制部控制对象生成部生成包含上述车辆的引导信息的信息对象,并且,上述控制部控制上述显示部以反映上述地形高度差的方式通过增强现实来显示所生成的上述信息对象。
而且,上述控制部可在摄像头的拍摄影像的虚拟三维空间中利用上述地形高度差来确定上述信息对象的映射位置。
并且,本发明的电子装置还可包括摄像头上下旋转角度计算部,在上述车辆的位置计算出设于上述车辆的摄像头的上下旋转角度,上述控制部利用所计算出的上述上下旋转角度来校正所确定的上述信息对象的映射位置。
而且,本发明的电子装置可包括:校准部,通过对摄像头执行校准来计算出摄像头参数;三维空间生成部,基于上述摄像头参数,生成摄像头的拍摄影像的虚拟三维空间;以及映射部,以基于校正的上述信息对象的映射位置为基础,在上述虚拟三维空间映射所生成的上述对象。
并且,上述控制部控制上述显示部可基于上述摄像头参数使被映射的上述虚拟三维空间变换成二维图像,来生成增强画面,并显示所生成的上述增强现实画面。
而且,可在上述电子装置执行目的地为止的导航的情况下,上述地形高度处理部可确定上述目的地为止的所有路径中的与车辆的位置相距规定距离以内的路径的地形高度。
并且,上述信息对象可包括用于进行目的地为止的导航的导航对象,上述显示部以使得上述导航对象位于上述增强现实画面的道路区域的方式进行显示。
另一方面,用于实现上述目的的本发明一实施例的存储于记录介质的计算机程序可通过与电子装置相结合来执行以下步骤:确定运行中的车辆的位置的步骤;确定与所确定的上述车辆的位置相距规定距离以内的区域的地形高度的步骤;比较上述车辆的位置的地形高度和与所确定的上述车辆的位置相距规定距离以内的上述区域的地形高度来计算出地形高度差的步骤;以及生成包含上述车辆的引导信息的信息对象,并以反映上述地形高度差的方式通过增强现实来显示所生成的上述信息对象的步骤。
另一方面,在用于实现上述目的的存储有本发明一实施例的用于执行电子装置控制方法的计算机程序的计算机可读记录介质中,上述电子装置的控制方法包括:确定运行中的车辆的位置的步骤;确定与所确定的上述车辆的位置相距规定距离以内的区域的地形高度的步骤;比较上述车辆的位置的地形高度和与所确定的上述车辆的位置相距规定距离以内的上述区域的地形高度来计算出地形高度差的步骤;以及生成包含上述车辆的引导信息的信息对象,并以反映上述地形高度差的方式通过增强现实来显示所生成的上述信息对象的步骤。
根据本发明的上述多种实施例,以与车辆行驶的实际地形的高低差相对应的方式确定虚拟三维空间的虚拟的高度,从而具有以下优点,即,可在最佳的位置显现虚拟的引导对象,并且,由于演算过程也非常简单,因而可在嵌入式环境中进行实时处理。
并且,根据本发明的上述多种实施例,通过增强现实方法动态地显现虚拟的引导对象,从而可有效地向驾驶人员提供引导,并可引起驾驶人员的兴趣,而且还可谋求驾驶人员对车辆的安全驾驶及方便性。
附图说明
图1为表示本发明一实施例的电子装置的框图。
图2为用于说明PITCH、ROLL、YAW的图。
图3为具体表示本发明一实施例的增强现实提供部的框图。
图4为表示本发明一实施例的二维拍摄图像和虚拟三维空间之间的变换关系的图。
图5为表示本发明一实施例的车辆在行驶中所处的道路的图。
图6为用于说明与本发明一实施例的电子装置相连接的系统的网络的图。
图7为表示本发明一实施例的通过反映地形高度差来显示增强现实画面的方法的流程图。
图8为表示本发明一实施例的通过反映地形高度差及摄像头上下旋转角度来显示增强现实画面的方法的流程图。
图9为表示本发明一实施例的在进入向上倾斜道路的情况下的增强现实画面的图。
图10至图11为表示本发明一实施例的在向下倾斜道路中的增强现实画面的图。
图12为表示本发明一实施例的导航仪装置未设有拍摄部的情况下的体现形态的图。
图13为表示本发明一实施例的导航仪装置设有拍摄部的情况下的体现形态的图。
图14为表示利用本发明一实施例的平视显示器(HUD,Head-UpDisplay)的体现形态的图。
具体实施方式
以下的内容仅仅例示本发明的原理。因此,本发明所属技术领域的技术人员可发明出虽然未在本说明书明确说明或图示,但可体现本发明的原理并包含于本发明的概念和范围的多种装置。并且,在本发明中列举的所有条件的术语及实施例在原则上明确用于理解本发明的概念,并且,应理解为并不限定以如上所述的方式特别列举的实施例及状态。
并且,用于列举本发明的原理、观点及实施例,并列举特定实施例的所有详细说明应被理解为包含这种事项的结构性及功能性的等同技术方案。并且,这种等同技术方案应被理解为包括当前公开的等同技术方案,还包括今后将被研发的等同技术方案,即,以与结构无关地执行相同功能的方式发明的所有元件。
因此,例如,本说明书的框图应被理解为表示将本发明的原理具体化的例示性的回路的概念的观点。与此类似,所有流程图、状态转换图、伪代码等应被理解为无论是否实质性地显示于计算机可读介质,无论是否明确示出计算机或处理器,均表示借助计算机或处理执行的多种程序。
处理器或包括以与处理器相似的概念显示的功能块的附图中所示的多种元件的功能不仅可提供为专用硬件,而且可提供为与适当的软件相关地使用具有可运行软件的功能的硬件。当通过处理器提供上述功能时,可借助单一专用处理器、单一共享处理器或多个个别处理器来提供上述功能,这些中的一部分可被共享。
并且,以处理、控制或与此相似的概念来提出的术语的明确使用不应以排除具有可运行软件的能力的硬件的方式来解释,应以不受限制的方式理解为暗示性地包括数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)及非易失性存储器。还可包括周知的其他惯用的硬件。
在本说明书的发明要求保护范围中,表现为用于执行在详细的说明中所记载的功能的机构的结构要素包括如执行上述功能的回路元件的组合或包括执行含有固件/微码等的所有形式的软件的功能的所有方法,并与用于运行上述软件的适当的回路相结合,来执行上述功能。借助这种发明要求保护范围来定义的本发明,借助以多种方式列举的方法来提供的功能相结合,并与发明要求保护范围所要求的方式相结合,因而可提供上述功能的任何方法也应理解为等同于从本说明书掌握的方法相同。
通过与附图相关的以下详细的说明,可更加明确上述的目的、特征及优点,由此,本发明所属技术领域的普通技术人员可容易地实施本发明的技术思想。并且,在对本发明进行说明的过程中,若判断对公知技术的具体说明有可能使本发明的主旨变得模糊,则将省略其详细说明。
以下,参照附图,对本发明的多种实施例进行详细说明。
图1为表示本发明一实施例的电子装置的框图。参照图1,电子装置100包括存储部110、输入部120、输出部130、地形高度处理部140、摄像头旋转角度计算部150、增强现实提供部160、控制部170、通信部180、检测部190、电源部195中的全部或一部分。
在这里,电子装置100可以体现为可向处于驾驶状态的车辆驾驶人员提供驾驶相关引导的智能手机、平板电脑、笔记本电脑、个人数字助理(PDA,personaldigitalassistant)、便携式多媒体播放器(PMP,portablemultimediaplayer)、智能眼镜、拓展现实眼镜、导航仪(navigation)、黑匣子(Black-box)等多种装置,上述电子装置100可设于车辆。
在这里,车辆的运行状态可包括车辆的停车状态、车辆的行驶状态、车辆的泊车状态等由驾驶人员驾驶的车辆的多种状态。
车辆驾驶相关引导可包括如导航、车道线脱离引导、前方车辆出发引导、信号灯变更引导、防止与前方车辆碰撞引导、车行道变更引导、车行道引导等的用于辅助驾驶人员驾驶车辆的多种引导。
在这里,导航可包括:增强现实导航,在拍摄正在行驶中的车辆的前方的影像中结合使用人员的位置、方向等各种信息来执行导航;以及二维(2D,2-Dimensional)或三维导航,在二维或三维地图数据中结合使用人员的位置、方向等各种信息来执行导航。其中,导航可解释成不仅包括在使用人员乘坐车辆进行驾驶的情况下的导航,还包括使用人员以行走或奔跑的方式移动的情况下的导航的概念。
并且,车道线脱离引导可以为对行驶中的车辆是否脱离车道线进行的引导。
并且,前方车辆出发引导可以为对位于处在停车中的车辆的前方的车辆是否出发所进行的引导。
并且,信号灯变更引导可以为对位于处在停车中的车辆的前方的信号灯是否变更所进行的引导。作为一例,若从表示停止信号的红灯亮起的状态变更为表示出发信号的绿灯,则可对此进行引导。
并且,防止与前方车辆碰撞的引导可以为若停车或行驶中的车辆与前方车辆之间的距离在规定距离以内,则为了防止与前方车辆碰撞而进行的引导。
并且,车行道变更引导可以为为了目的地为止的导航而引导车辆从车辆所处的车行道变更到其他车行道。
并且,车行道引导可以为对车辆当前所处的车行道所进行的引导。
这种可提供多种引导的驾驶相关影像可通过朝向车辆的前方放置的摄像头来实时拍摄。在这里,摄像头可以为以与放置于车辆的电子装置100形成为一体,并拍摄车辆的前方的摄像头。在这种情况下,摄像头可以与智能手机、导航仪或黑匣子形成为一体,电子装置100可接收形成为一体的摄像头所拍摄的影像。
作为另一例,摄像头可以为与电子装置100分别放置于车辆,并拍摄车辆的前方的摄像头。在这种情况下,摄像头可以为朝向车辆的前方放置的单独的黑匣子,电子装置100通过有线/无线通信来接收单独放置的黑匣子所拍摄的影像,或若用于存储黑匣子所拍摄的影像的存储介质插入于电子装置100,则电子装置100可接收黑匣子所拍摄的影像。
以下,基于上述内容,对本发明一实施例的电子装置100进行更加具体的说明。
存储部110执行存储电子装置100的工作所需的多种数据及应用的功能。尤其,存储部110可存储电子装置100的工作所需的数据,如操作系统(OS)、路径探索应用、地图数据等。
其中,如上所述,地图数据可通过存储于电子装置100内的存储部110来获得,但并不局限于此,或者可从电子装置100以外的单独的外部地图数据库(DB,Database)中获得,或者可从其他电子装置获得地图数据。这种地图数据为用于表示当前位置及周边地区的地图的数据,上述地图数据可包括:多个交通路线,用于表示多个区域内的道路;以及各上述多个交通路线的属性信息、引导地点的信息。交通路线的属性信息可包括用于表示上述交通路线是否为双向交通路线或单向交通路线的信息、上述交通路线的车道线线数量信息、与上述交通路线相对应的道路的种类信息(例如,高速公路、城市快速路、国道、地方公路、普通公路等)。引导地点的信息可包括引导地点的位置信息、引导地点的引导代码信息(例如,限速引导、减速带引导等的信息)。
其中,引导地点可包括超速检查地点、减速带地点、铁路道口地点、道路交叉口地点、岔路地点等。并且,在引导地点体现为包括引导开始地点及引导结束地点的引导区间的情况下,可包括分段限速路段的开始地点及结束地点,儿童保护区域的开始地点及结束地点、老人保护区域的开始地点及结束地点、施工路段的开始地点及结束地点、多雾路段的开始地点及结束地点、事故多发路段的开始地点及结束地点、注意落石路段的开始地点及结束地点、急转弯路段的开始地点及结束地点、易滑路段的开始地点及结束地点、注意野生动物路段的开始地点及结束地点、限高路段的开始地点及结束地点等。
并且,存储部110可存储数字高程模型(DEM,DigitalElevationModel)数据,上述数字高程模型数据为在现实世界地形信息中可表现除建筑物、树木、人工结构物等之外的地形(bareearth)部分的数字模型。
并且,存储部110可存储数字表面模型(DSM,DigitalSurfaceModel),上述数字表面模型为表现现实世界所有信息的模型,即,表现地形、树木、建筑物、人工结构物等的模型。
并且,存储部110可存储借助电子装置100的工作来生成的数据,如所探索到的路径数据、所接收的影像等。
其中,存储部110不仅可以体现为随机存取存储器(RAM,RandomAccessMemory)、闪存、只读存储器(ROM,ReadOnlyMemory)、可擦除可编程式只读存储器(EPROM,ErasableProgrammableROM)、电可擦除可编程式只读存储器(EEPROM,ElectronicallyErasableandProgrammableROM)、寄存器、硬盘、可移动磁盘、内存卡、通用用户识别模块(USIM,UniversalSubscriberIdentityModule)等内置型存储元件,还可以体现为通用串行总线存储器等可拆装形态的存储元件。
输入部120执行将从电子装置100的外部输入的物理输入转换为特定的电信号的功能。其中,输入部120可包括使用人员输入部121和传声器部123中的全部或一部分。
使用人员输入部121可接收触摸、推动动作等使用人员的输入。在这里,使用人员输入部121可利用多种按钮的形态、接收触摸式输入的触摸检测器、接收接近动作的接近检测器中的至少一个来体现。
传声器部123可接收使用人员的声音及从车辆的内外部产生的声音。
输出部130为用于输出电子装置100的数据的装置。其中,输出部130可包括显示部131和音频输出部133中的全部或一部分。
显示部131为电子装置100输出可以以视觉性的方式识别的数据的装置。显示部131可以体现为设于电子装置100的外壳的前面的显示部。并且,显示部131可以与电子装置100形成为一体,并输出视觉性的识别数据,还可如平视显示器,与电子装置100单独设置来输出视觉性的识别数据。
音频输出部133为电子装置100输出可以以听觉性的方式识别的数据的装置。音频输出部133可通过表现声音的扬声器来体现电子装置100的应告知使用人员的数据。
通信部180可以为了使电子装置100与其他设备进行通信而设。通信部180可包括位置数据部181、无线互联网部183、广播收发部185、移动通信部186、近距离通信部187、有线通信部189中的全部或一部分。
位置数据部181为通过全球导航卫星系统(GNSS,GlobalNavigationSatelliteSystem)来获得位置数据的装置。全球导航卫星系统意味着可利用从人工卫星接收的电波信号来计算出接收终端的位置的导航系统。作为全球导航卫星系统的具体例,可根据运营主体分为全球卫星定位系统(GPS,GlobalPositioningSystem)、伽利略定位系统(Galileo)、格洛纳斯卫星导航系统(GLONASS,GlobalOrbitingNavigationalSatelliteSystem)、北斗卫星导航系统(COMPASS)、印度区域导航卫星系统(IRNSS,IndianRegionalNavigationalSatelliteSystem)、准天顶卫星系统(QZSS,Quasi-ZenithSatelliteSystem)等。本发明一实施例的电子装置100的位置数据部181可通过接收向使用电子装置100的地区提供服务的全球导航卫星系统的信号来获得位置信息。
无线互联网部183为通过与无线互联网相连接来获得数据或发送信息的装置。可通过无线互联网部183来连接的无线互联网可以为无线局域网(WLAN,WirelessLAN)、无线宽带(Wibro,Wirelessbroadband)、全球微波互联接入(Wimax,Worldinteroperabilityformicrowaveaccess)、高速下行分组接入(HSDPA,HighSpeedDownlinkPacketAccess)等。
广播收发部185为通过各种广播系统来收发广播信号的装置。可通过广播收发部185收发的广播系统可以为地面数字多媒体广播(DMBT,DigitalMultimediaBroadcastingTerrestrial)、数字多媒体卫星广播(DMBS,DigitalMultimediaBroadcastingSatellite)、高通提出的移动电视标准(MediaFLO,MediaForwardLinkOnly)、手持数字视频广播(DVBH,DigitalVideoBroadcastHandheld)、日本数字音频广播方案(ISDBT,IntegratedServicesDigitalBroadcastTereestrial)等。通过广播收发部185收发的广播信号可包括交通数据、生活数据等。
移动通信部186可根据第三代移动通信技术(3G,3rdGeneration)、第三代合作伙伴计划(3GPP,3rdGenerationPartnershipProject)、长期演进计划(LTE,LongTermEvolution)等多种移动通信规格与移动通信网相连接并进行通信。
近距离通信部187为用于进行近距离通信的装置。如上所述,近距离通信部187可通过蓝牙(Bluetooth)、射频识别(RFID,RadioFrequencyIdentification)、红外数据组织(IrDA、InfraredDataAssociation)、超宽带(UWB,UltraWideBand)、紫蜂协议(ZigBee)、近场通信(NFC,NearFieldCommunication)、无线保真(Wi-Fi)等来进行通信。
有线通信部189为可以以有线方式使电子装置100与其他设备相连接的接口装置。有线通信部189可以为可通过通用串行总线端口(USBPort)来进行通信的通用串行总线模块。
这种通信部180可利用位置数据部181、无线互联网部183、广播收发部185、移动通信部186、近距离通信部187、有线通信部189中的至少一个来与其他设备通信。
作为一例,在电子装置100不包括摄像功能的情况下,可利用近距离通信部187、有线通信部189中的至少一个来接收黑匣子等车辆用摄像头拍摄的影像。
作为另一例,在与多个设备通信的情况下,也可由一个设备通过近距离通信部187来通信,另一个设备通过有线通信部189通信。
检测部190为可检测电子装置100的当前状态的装置。检测部部190可包括动作检测部191、光检测部193中的全部或一部分。
动作传感部191可检测电子装置100的三维空间上的运动。动作传感部191可包括三轴地磁传感器及三轴加速度传感器。可将通过动作传感部191获得的运动数据和通过位置数据部191获得的位置数据相结合,来计算出附着有电子装置100的车辆的更加准确的轨迹。
光检测部193为测定电子装置100的周边照度(illuminance)的装置。利用通过光检测部193获得的照度数据,可使显示部195的亮度与周边亮度相对应地发生变化。
电源部195为用于供给电子装置100的工作或与电子装置100相连接的其他设备的工作所需的电源的装置。电源部195可以为从内置于电子装置100的电池或车辆等外部电源处接收电源的装置。并且,根据接收电源的形态,电源部195可体现为有线通信模块119或体现为以无线的方式接收电源的装置。
地形高度处理部140可确定地形高度。具体地,地形高度处理部140可利用数字高程模型或数字表面模型来确定车辆位置的地形高度和与车辆的位置相距规定距离以内的区域的地形高度,上述数字高程模型为在现实世界地形信息中表现除建筑物、树木、人工结构物等之外的地形部分的数字模型,而数字表面模型为表现现实世界的所有信息的模型,即,表现地形、树木、建筑物、人工结构物等的模型。其中,数字高程模型数据或数字表面模型数据可从电子装置100内的存储部110获得,或者可从电子装置100之外的单独的外部数据库中获得,或者可从其他电子装置100获得。
在此情况下,地形高度处理部140可确定从位置数据部181获得的车辆的位置的地形高度及与车辆的位置相距规定距离以内的区域的地形高度。其中,为了提高电子装置100的数据处理速度,与车辆的位置相距规定距离以内的区域可被设定成与车辆的位置相距最佳的距离。作为一例,在电子装置100根据使用人员的导航请求来执行目的地为止的导航的情况下,可确定目的地为止的所有路径中的与车辆的位置相距规定距离的前方的路径(例如,车辆将要行驶的道路)的地形高度。
而且,地形高度处理部140可通过比较车辆的位置的地形高度和与车辆的距离相距规定距离以内的区域的地形高度来计算出地形高度差。具体地,地形高度处理部140可利用以下数学式1来计算出车辆的位置的地形高度和与车辆的位置相距规定距离以内的区域的地形高度的相对差。
数学式1
H=P0-P1
其中,H可以为地形高度差,P0可以为车辆的当前位置的地形高度,P1可以为与车辆的当前位置相距规定距离的地点的地形高度。
另一方面,摄像头旋转角度计算部150可在车辆的位置计算出设于车辆的摄像头的旋转角度。对此,参照图2进行具体说明。
参照图2,可将车辆以x轴为中心进行的旋转运动定义为roll,可将车辆以y轴为中心进行的旋转运动定义为pitch,可将车辆以z轴为中心进行的旋转运动定义为yaw。
参照上述内容,本发明一实施例的摄像头旋转角度计算部150可在车辆的位置计算出设于车辆的摄像头的roll方向旋转角度、pitch方向旋转角度、yaw方向旋转角度。
尤其,摄像头旋转角度计算部150可计算出pitch方向旋转角度(以下,称为上下方向旋转角度)。其中,上下方向旋转角度可以为摄像头的光学轴与水平线形成的角度。
在此情况下,作为一例,摄像头旋转角度计算部150基于由检测部190的倾斜传感器检测到的信号来计算出摄像头的上下方向旋转角度。并且,作为另一例,摄像头旋转角度计算部150可基于延长线和水平线形成的角度来计算出摄像头的上下方向旋转角度,上述延长线为延长车辆的当前位置的高度和与当前位置相距规定距离的前方地点的高度的线。
另一方面,本发明一实施例的电子装置100可包括提供增强现实视图模式的增强现实提供部160。其中,增强现实可为在显示使用人员实际看到的现实世界的画面上视觉性地重叠表示附加信息(例如,关注地点(PointOfInterest:POI)的图形要素、用于表示目的地为止的路径的图形要素、如使用人员附加信息的车辆运行所需的信息、建筑物等)来提供的方法。在本发明的一实施例中,将在增强现实视图模式中以与实际影像重叠的方式显示的车辆的运行所需的信息、车辆状态信息、驾驶人员所需信息等的附加信息、用于表示建筑物的信息、关注地点等称为信息对象,此外,将为了提供驾驶人员所需的信息而在增强现实视图模式中显现的对象称为信息对象。对此,参照图3进行具体说明。
图3为具体表示本发明一实施例的增强现实提供部160的框图。参照图3,增强显示提供部160可包括校准部161、三维空间生成部162、对象生成部163、映射部164的全部或一部分。
校准部161可执行用于从由摄像头拍摄的拍摄影像推定与摄像头相对应的摄像头参数的校准。其中,摄像头参数为构成摄像头矩阵的参数,上述摄像头矩阵为表示真实空间映射在照片的关系的信息,上述摄像头参数可包括:摄像头外部参数(extrinsicparameters)和摄像头内部参数(intrinsicparameters)。对此,参照图4的(a)部分进行具体地说明。
参照图4的(a)部分,摄像头参数可包括摄像头外部参数601(extrinsicparameters)、摄像头内部参数602(intrinsicparameters)。其中,摄像头内部参数602的fx、fy可以为焦点距离(focallength)、cx、cy可以为主点(principalpoint)、skew_c=tanα可以为偏斜系数(skewcoefficient)。并且,摄像头外部参数601可以为用于将世界坐标系605(worldcoordinatesystem)上的三维点的坐标(X,Y,Z)变换为摄像头坐标系604(CameraCoordinateSystem)上的三维点的坐标(Xc,Yc,Zc)的旋转/移动变换矩阵。像这样,由于摄像头外部参数并非为摄像头固有的参数,因此,上述摄像头外部参数可根据摄像头的设置位置和设置方向而不同,并且,也可根据怎样定义世界坐标系而不同。
三维空间生成部162可基于由摄像头拍摄的拍摄影像来生成虚拟三维空间。具体地,三维空间生成部162可将由校准部161所推定的摄像头参数适用于二维的拍摄影像来生成虚拟三维空间。对此,参照图4的(b)部分进行具体说明。
参照图4的(b)部分,摄像头拍摄影像可通过将世界坐标系605的三维空间上的点透视投影(perspectiveprojection)在二维图像平面来获得。因此,电子装置100的三维空间生成部162可通过基于摄像头参数来执行上述工作的逆过程,从而生成摄像头的拍摄影像的世界坐标系605的虚拟三维空间。
对象生成部163可生成在增强现实上用于引导的信息对象,例如,在目的地为止的导航中所使用的导航对象、车行道变更引导对象、车道线脱离引导对象、使用人员所需信息对象等。其中,对象可体现为三维对象、图像或艺术线条等。
映射部164可在由三维空间生成部162生成的虚拟三维空间映射由对象生成部163生成的对象。具体地,映射部164可确定由对象生成部163生成的对象在虚拟三维空间中的映射位置,并在所确定的位置映射对象。在此情况下,映射部164可以以反映由地形高度处理部140计算出的地形高度差和/或摄像头旋转角度计算部150计算出的摄像头上下旋转角度来确定对象的映射位置。
另一方面,控制部170控制电子装置100的整体工作。具体地,控制部170可控制存储部110、输入部120、输出部130、地形高度处理部140、摄像头旋转角度计算部150、增强现实提供部160、通信部180、检测部190、电源部195中的全部或一部分。
尤其,控制部170可控制显示部以反映由地形高度处理部140计算出的地形高度差和/或由摄像头旋转角度计算部150计算出的摄像头上下旋转角度的方式通过增强现实来显示用于引导车辆的信息对象。对此,参照图5进行具体说明。
图5为表示本发明一实施例的车辆在行驶中所处的道路的图。为了便于说明本发明的实施例,在图5中分别假设车辆行驶在向上倾斜道路上的情况、车辆行驶在无倾斜水平道路上的情况、车辆行驶在向下倾斜道路上的情况来进行说明。参照图5,向前方行驶中的车辆首先可位于水平道路A,在经过水平道路A之后,车辆可位于向上倾斜道路B,在经过向上倾斜道路B之后,车辆可位于水平道路C。而且,在经过水平道路C之后,车辆可位于向下倾斜道路D,在经过向下倾斜道路D之后,车辆可位于水平道路E。
假如,若在车辆位于如A位置的水平道路的状态下显示前方区域B的信息对象,则地形高度处理部140可确定A位置的地形高度h1和前方区域(例如,B位置、C位置)的地形高度h2、h3,并可通过比较两个位置的地形高度来计算出当前位置地形和前方区域地形之间的地形高度差。
而且,三维空间生成部162可基于由校准部161计算出的摄像头参数来生成前方区域拍摄影像的虚拟三维空间。
而且,控制部170可在所生成的虚拟三维空间中利用地形高度差来确定信息对象的映射位置。更具体地,若在车辆位于水平道路A的状态下显示前方区域B的信息对象,则在与前方区域的B位置相对应的虚拟三维空间中,可通过反映作为B位置的地形高度和A位置的地形高度的差的h2-h1,来确定为信息对象的映射位置高于在高度差为0的情况下的映射位置。
另一方面,在车辆位于如A位置的水平道路的情况下,摄像头的光学轴f1和水平线所形成的角度为0,则控制部170有可能不执行考虑摄像头的上下方向旋转角度而进行的对映射位置的校正。
但是,在车辆位于如B位置的向上倾斜道路的情况下,以水平线为基准,摄像头的光学轴f2形成向上的角度,从而使得摄像头的视点高于在车辆位于与B位置相同高度的水平道路的情况下的摄像头的视点。并且,在车辆位于如D位置的向下倾斜道路的情况下,以水平线为基准,摄像头的光学轴f4形成向下的角度,从而使得摄像头的视点低于在车辆位于与D位置相同高度的水平道路的情况下的摄像头的视点。在此情况下,若仅通过反映上述地形高度差来显现信息对象,则无法在增强现实画面内的适当位置显现信息对象。例如,优选地,在执行目的地为止的导航中所使用的导航对象应显现于增强现实画面内的道路区域,但有可能发生导航对象显现于作为道路区域的上方的天空等的问题。
因此,在车辆位于如B位置的向上倾斜道路或者如D位置的向下倾斜道路的情况下,控制部170可通过反映摄像头的旋转角度来校正所确定的信息对象的映射位置。更具体地,在车辆位于如B位置的向上倾斜道路或者如D位置的向下倾斜道路的情况下,控制部170可执行第一处理步骤,即,利用由地形高度处理部140计算出的地形高度差来确定信息对象的映射位置,并可执行第二处理步骤,即,通过反映由摄像头旋转角度计算部150计算出的摄像头上下旋转角度来校正在第一处理步骤中所确定的映射位置,从而确定信息对象的最终映射位置。以下,更具体说明在车辆位于如B位置的向上倾斜道路或者如D位置的向下倾斜道路的情况下的本发明一实施例的电子装置100的工作。假如,若在车辆位于如道路B的向上倾斜道路的状态下显示前方区域C的信息对象,则地形高度处理部140可确定B位置的地形高度h2的前方区域(例如,C位置)的地形高度h3,并通过比较两个位置的地形高度来计算出地形高度差。
而且,三维空间生成部162可基于由校准部161计算出的摄像头参数来生成前方区域拍摄影像的三维空间。而且,控制部170可执行第一处理步骤,即,在所生成的虚拟三维空间中利用地形高度差来确定信息对象的映射位置。根据这种第一处理步骤,在与前方区域的C位置相对应的虚拟三维空间中,可通过反映作为C位置的地形高度和B位置的地形高度的差的h3-h2,来确定为信息对象的映射位置高于在地形高度差异为0的情况下的映射位置。
但是,在车辆位于如B位置的向上倾斜道路的确情况下,以水平线为基准,摄像头的光学轴f2形成向上的角度,从而使得摄像头的视点高于在车辆位于与B位置相同高度的水平道路的情况下的摄像头的视点。在此情况下,若仅通过利用在第一处理步骤中所确定的映射位置来显现信息对象,则无法在增强现实画面内的适当位置显现信息对象。
因此,控制部170可执行第二处理步骤,即,考虑摄像头的向上旋转角度,校正根据第一处理步骤来确定的映射位置。根据这种第二处理步骤,通过反映摄像头的向上旋转角度,使得根据第一处理步骤来确定的映射位置(例如,在与前方区域的C位置相对应的虚拟三维空间中确定的映射位置)被校正成低于在摄像头的向上旋转角度为0的情况下的映射位置。
假如,若在车辆位于如C位置的水平道路的状态下显示作为向下倾斜道路的道路D的信息对象,则地形高度处理部140可确定C位置的地形高度h3和前方区域(例如,D位置)的地形高度h4,并通过比较两个位置的地形高度来计算出地形高度差。
而且,三维空间生成部162可基于由校准部161计算出的摄像头参数来生成前方区域拍摄影像的虚拟三维空间。
而且,控制部170可在所生成的虚拟三维空间利用地形高度差来确定信息对象的映射位置。更具体地,若在车辆位于水平道路C上的状态下显示前方区域D的信息对象,则在于前方区域的D位置相对应的虚拟三维空间中,通过反映作为D位置的地形高度和C位置的地形高度的差的h4-h3,来确定为信息对象的映射位置低于在高度差为0的情况下的映射位置。
另一方面,若在车辆位于如D位置的向下倾斜道路的状态下显示前方区域E的信息对象,则地形高度处理部140可确定D位置的地形高度h4的前方区域(例如,E位置)的地形高度h5,并可通过比较两个位置的地形高度来计算出地形高度差。
而且,三维空间生成部162可基于由校准部161计算出的摄像头参数来生成前方区域拍摄影像的虚拟三维空间。而且,控制部170可执行第一处理步骤,即,在所生成的虚拟三维空间中利用地形高度差来确定信息对象的映射位置。根据这种第一处理步骤,在与前方区域的E位置相对应的虚拟三维空间中,可通过反映作为E位置的地形高度和D位置的地形高度的差的h5-h4,来确定为信息对象的映射位置低于在地形高度差异为0的情况下的映射位置。
但是,在车辆位于如D位置的向下倾斜道路的确情况下,以水平线为基准,摄像头的光学轴f4形成向下的角度,从而使得摄像头的视点低于在车辆位于与D位置相同高度的水平道路的情况下的摄像头的视点。在此情况下,若仅通过利用在第一处理步骤中所确定的映射位置来显现信息对象,则无法在增强现实画面内的适当位置显现信息对象。
因此,控制部170可执行第二处理步骤,即,考虑摄像头的向下旋转角度,校正根据第一处理步骤来确定的映射位置。根据这种第二处理步骤,通过反映摄像头的向下旋转角度,使得根据第一处理步骤来确定的映射位置(例如,在与前方区域的E位置相对应的虚拟三维空间中确定的映射位置)被校正成高于在摄像头的向下旋转角度为0的情况下的映射位置。
另一方面,若根据上述工作来确定映射位置,则控制部170可基于摄像头参数来将映射信息对象的虚拟三维空间变换成二维图像,从而生成增强现实画面。而且,控制部170可控制显示部131显示所生成的增强现实画面
其中,显示于增强现实的信息对象可包括用于进行目的地为止的导航的导航对象。这种导航对象可根据上述对象170的位置确定算法来显现于增强现实画面的道路区域。即,以似引导对象位于增强现实画面的道路上的方式显现导航对象。
并且,显示于增强现实的信息对象可包括关注地点周期、用于告知转弯区间的转弯引导对象等。
像这样,根据本发明,以与车辆行驶的实际地形的高低差相对应的方式确定虚拟三维空间的虚拟的高度,从而具有以下优点,即,可在与现实世界相同的位置显现虚拟的引导对象,并且,由于演算过程也非常简单,因而可在嵌入式环境中进行实时处理。
并且,根据上述本发明,通过增强现实方法动态地显现虚拟的信息对象,从而可有效地向驾驶人员提供引导,并可引起驾驶人员的兴趣,而且还可谋求驾驶人员对车辆的安全驾驶及方便性。
图6为用于说明与本发明一实施例的电子装置相连接的系统网络的图。参照图6,本发明的一实施例的电子装置100可体现为导航仪、黑匣子、智能手机或其他车辆用增强现实界面供给装置等设置于车辆的各种装置,并且可与多种通信网及其他电子设备61、62、63、64相连接。
并且,电子装置100可根据从人工卫星20接收的电波信号来与全球定位系统相联动,从而计算出当前的位置及当前的时间。
各个人工卫星20可发送频率波段不同的L波段频率。电子装置100可基于从各人工卫星20发送的L波段频率到达电子装置100所需的时间来计算出当前的位置。
另一方面,电子装置100可通过通信部180,并借助控制站(ACR)40、基站(RAS)50等来以无线方式与网络30相连接。若电子装置100与网络30相连接,则还能与以间接的方式与网络30相连接的其他电子设备61、62相连接,并交换数据。
另一方面,电子装置100还可以通过具有通信功能的其他设备63来以间接的方式与网络30相连接。例如,在电子装置未具有可以与网络30相连接的模块的情况下,可通过近距离通信等来与具有通信功能的其他设备63进行通信。
图7为表示本发明一实施例的通过反映地形高度差来显示增强现实画面的方法的流程图。参照图7,电子装置100可确定运行中的车辆的位置(步骤S101)。具体地,电子装置100的位置数据部181可通过全球导航卫星系统(GNSS,GlobalNavigationSatelliteSystem)获得位置数据。
而且,电子装置100可确定与所确定的车辆的位置相距规定距离以内的区域的地形高度(步骤S102)。具体地,电子装置100的地形高度处理部140可利用数据高程模型数据或数据表面模型数据来确定车辆的位置的地形高度和与规定车辆相距规定距离以内的区域的地形高度。
而且,电子装置100可通过比较车辆的位置的地形高度和与规定车辆相距规定距离以内的区域的地形高度来计算出地形高度差(步骤S103)。具体地,电子装置100的地形高度处理部140可确定从位置数据部181获得的车辆的位置中的地形高度以及与车辆的位置相距规定距离以内的区域的地形高度。
而且,电子装置100可在摄像头的拍摄影像的虚拟三维空间中利用地形高度差异来确定信息对象的映射位置(步骤S104)。作为一例,在与前方区域的B位置相对应的虚拟三维空间中,可通过反映B位置的地形高度和A位置的地形高度差来确定信息对象的映射位置。
而且,电子装置100可将信息对象映射在虚拟三维空间的所确定的映射位置,并通过增强现实来显示(步骤S105)。具体地,控制部170可控制显示部131基于摄像头参数使映射信息对象的虚拟三维空间变换成二维图像,来生成增强现实画面,并显示所生成的增强现实画面。
图8为表示本发明一实施例的通过反映地形高度差及摄像头上下旋转角度来显示增强现实画面的方法的流程图。参照图8,电子装置100可确定运行中的车辆的位置(步骤S201)。
而且,电子装置100可确定与所确定的车辆的位置相距规定距离以内的区域的地形高度(步骤S202)。
而且,电子装置100可通过比较车辆的位置的地形高度和与所确定的车辆的位置相距规定距离以内的区域的地形高度来计算出地形高度差(步骤S203)。
而且,电子装置100可在摄像头的拍摄影像的虚拟三维空间中利用上述地形高度差来确定信息对象的映射位置(步骤S204)。
而且,电子装置100可在车辆的位置计算出设于车辆的摄像头的上下旋转角度(步骤S205)。
而且,电子装置100可利用计算出的上下旋转角度来校正所确定信息对象的映射位置(步骤S206)。具体地,在摄像头在车辆的当前位置形成向上的角度的情况下,可校正成使得在与车辆的前方区域相对应的虚拟三维空间中通过反映地形高度差来确定的映射位置低于在车辆的当前位置中的向上的旋转角度为0的情况下的映射位置。并且,在摄像头在车辆的当前位置形成向下的角度的情况下,可校正成使得在与车辆的前方区域相对应的虚拟三维空间中通过反映地形高度差来确定的映射位置高于在车辆的当前位置中的向上的旋转角度为0的情况下的映射位置。
而且,电子装置100可将信息对象映射于虚拟三维空间的经校正的映射位置,并通过增强现实来显示信息对象(步骤S207)。
图9为表示本发明一实施例的在进入向上倾斜道路的情况下的增强现实画面的图。参照图9,图9的(a)部分为不适用本发明一实施例的算法的情况,图9的(b)部分为适用本发明一实施例的算法的情况。
参照图9的(a)部分,在不适用本发明一实施例的算法的情况下,可知,在存在实际地形上的高低差的向上倾斜道路部分(图9的(a)部分中的与车辆的当前位置相距较远的导航对象的末端部分)中,导航对象901未显现在准确的位置。
但是,参照图9的(b)部分,在适用本发明一实施例的显现方法的情况下,可知,在存在实际地形上的高低差的向上倾斜道路部分(图9的(b)部分中的与车辆的当前位置相距较远的导航对象的末端部分)中,与路线相对应的导航对象902显现在准确的位置。
图10至图11为表示本发明一实施例的在向下倾斜道路中的增强现实画面的图。参照图10至图11,图10的(a)部分、图11的(a)部分为不适用本发明一实施例的算法的情况,图10的(b)部分、图11的(b)部分为适用本发明一实施例的算法的情况。
参照图10的(a)部分、图11的(a)部分,可知,在不适用本发明一实施例的算法的情况下,在存在实际地形上的高低差的向下倾斜道路(与车辆的当前位置相距较远的导航对象的末端部分)中,与路线相对应的导航对象1001、1101未显现在准确的位置。
但是,参照图10的(b)部分、图11的(b),可知,在适用本发明一实施例的显现方法的情况下,在存在实际地形上的高低差的向下倾斜道路(与车辆的当前位置相距较远的导航对象的末端部分)中,与路线相对应的导航对象1003、1102显现在准确的位置。
图12为表示本发明一实施例的导航仪装置未设有拍摄部的情况下的体现形态的图。参照图12,分别设置的车辆用导航仪装置100和车辆用黑匣子200可利用有线/无线通信方式来构成本发明一实施例的系统。
车辆用导航仪100可包括:显示部131,设于导航仪的外壳191的前部面;导航仪操作键121;以及导航仪传声器123。
车辆用黑匣子200可包括黑匣子摄像头222、黑匣子传声器224及附着部281。
图13为表示本发明一实施例的导航仪装置设有拍摄部的情况下的体现形态的图。参照图13,在导航仪装置100包括拍摄部150的情况下,使用人员可如下设置导航仪装置100,即,使导航仪装置100的拍摄部150拍摄车辆的前方,并使导航仪装置100的显示部分可识别使用人员。以此,可体现本发明一实施例的系统。
图14为表示本发明一实施例的利用平视显示器的体现形态的图。参照图14,平视显示器可通过与其他设备之间的有线/无线通信来在平视显示器上显示增强现实引导画面。
作为一例,增强现实可通过利用车辆前挡风玻璃的平视显示器或利用其他影像输出装置的影像叠加等来提供,像这样,增强现实提供部160可生成现实影像或叠加于玻璃的界面图像等。以此,可体现增强现实导航仪或车辆信息娱乐系统等。
另一方面,可以以程序体现上述本发明的多种实施例的电子装置的控制方法,从而向服务器或设备提供。以此,各装置可与存储有程序的服务器或设备相连接来下载上述程序。
并且,可以以程序体现上述本发明的多种实施例的电子装置的控制方法,从而存储于多种非临时性的可读介质(non-transitorycomputerreadablemedium)来提供。非临时性的可读介质并不意味着寄存器、高速缓冲存储器、存储器等短时间存储数据的介质,而是意味着半永久性存储数据,并可借助设备来读取(reading)的介质。具体地,上述的多种应用或程序可存储于光盘(CD)、数字多功能光盘(DVD)、硬盘、蓝光光盘、通用串行总线、记忆卡、只读存储器等非临时性的可读介质来提供。
并且,以上对本发明的优选实施例进行了图示和说明,但本发明并不局限于上述的特定实施例,在不脱离发明要求保护范围中申请的本发明的主旨的情况下,可由本发明所属技术领域的普通技术人员对本发明实施多种变形,并且,这些变形实施方式不应脱离本发明的技术思想或本发明的前景来单独理解。

Claims (14)

1.一种电子装置的控制方法,其特征在于,包括:
确定运行中的车辆的位置的步骤;
确定与所确定的上述车辆的位置相距规定距离以内的区域的地形高度的步骤;
比较上述车辆的位置的地形高度和上述与所确定的上述车辆的位置相距规定距离以内的上述区域的地形高度来计算出地形高度差的步骤;以及
生成包含上述车辆的引导信息的信息对象,并以反映上述地形高度差的方式通过增强现实来显示所生成的上述信息对象的步骤。
2.根据权利要求1所述的电子装置的控制方法,其特征在于,上述以反映上述地形高度差的方式通过增强现实来显示所生成的上述信息对象的步骤包括在摄像头的拍摄影像的虚拟三维空间中利用上述地形高度差来确定上述信息对象的映射位置的步骤。
3.根据权利要求2所述的电子装置的控制方法,其特征在于,
还包括在上述车辆的位置计算出设于上述车辆的摄像头的上下旋转角度的步骤,
上述以反映上述地形高度差的方式通过增强现实来显示所生成的上述信息对象的步骤还包括利用所计算出的上述上下旋转角度来校正所确定的上述信息对象的映射位置的步骤。
4.根据权利要求3所述的电子装置的控制方法,其特征在于,上述以反映上述地形高度差的方式通过增强现实来显示所生成的上述信息对象的步骤包括:
通过对摄像头执行校准来计算出摄像头参数的步骤;
基于上述摄像头参数,生成摄像头的拍摄影像的虚拟三维空间的步骤;以及
以基于校正的上述信息对象的映射位置为基础,在上述虚拟三维空间映射所生成的上述信息对象的步骤。
5.根据权利要求4所述的电子装置的控制方法,其特征在于,上述以反映上述地形高度差的方式通过增强现实来显示所生成的上述信息对象的步骤包括:
基于上述摄像头参数使被映射的上述虚拟三维空间变换成二维图像,来生成增强现实画面的步骤;以及
显示所生成的上述增强现实画面的步骤。
6.根据权利要求1所述的电子装置的控制方法,其特征在于,在上述确定与所确定的上述车辆的位置相距规定距离以内的区域的地形高度的步骤中,在上述电子装置执行目的地为止的导航的情况下,确定上述目的地为止的所有路径中的与车辆的位置相距规定距离以内的路径的地形高度。
7.根据权利要求1所述的电子装置的控制方法,其特征在于,
上述信息对象包括用于进行目的地为止的导航的导航对象,
在上述以反映上述地形高度差的方式通过增强现实来显示所生成的上述信息对象的步骤中,以使得上述导航对象位于上述增强现实画面的道路区域的方式进行显示。
8.一种电子装置,其特征在于,包括:
显示部,用于显示画面;
地形高度处理部,确定与运行中的车辆的位置相距规定距离以内的区域的地形高度,并比较上述车辆的位置的地形高度和与所确定的上述车辆的位置相距规定距离以内的上述区域的地形高度来计算出地形高度差;以及
控制部,上述控制部控制对象生成部生成包含上述车辆的引导信息的信息对象,并且,上述控制部控制上述显示部以反映上述地形高度差的方式通过增强现实来显示所生成的上述信息对象。
9.根据权利要求8所述的电子装置,其特征在于,上述控制部在摄像头的拍摄影像的虚拟三维空间中利用上述地形高度差来确定上述信息对象的映射位置。
10.根据权利要求9所述的电子装置,其特征在于,
还包括摄像头上下旋转角度计算部,在上述车辆的位置计算出设于上述车辆的摄像头的上下旋转角度,
上述控制部利用所计算出的上述上下旋转角度来校正所确定的上述信息对象的映射位置。
11.根据权利要求10所述的电子装置,其特征在于,包括:
校准部,通过对摄像头执行校准来计算出摄像头参数;
三维空间生成部,基于上述摄像头参数,生成摄像头的拍摄影像的虚拟三维空间;以及
映射部,以基于校正的上述信息对象的映射位置为基础,在上述虚拟三维空间映射所生成的上述对象。
12.根据权利要求11所述的电子装置,其特征在于,上述控制部控制上述显示部基于上述摄像头参数使被映射的上述虚拟三维空间变换成二维图像,来生成增强画面,并显示所生成的上述增强现实画面。
13.根据权利要求8所述的电子装置,其特征在于,在上述电子装置执行目的地为止的导航的情况下,上述地形高度处理部确定上述目的地为止的所有路径中的与车辆的位置相距规定距离以内的路径的地形高度。
14.根据权利要求8所述的电子装置,其特征在于,
上述信息对象包括用于进行目的地为止的导航的导航对象,
上述显示部以使得上述导航对象位于上述增强现实画面的道路区域的方式进行显示。
CN201510868519.6A 2014-12-01 2015-12-01 电子装置、电子装置的控制方法 Active CN105651298B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2014-0170047 2014-12-01
KR20140170047 2014-12-01
KR1020150035743A KR102406489B1 (ko) 2014-12-01 2015-03-16 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR10-2015-0035743 2015-03-16

Publications (2)

Publication Number Publication Date
CN105651298A true CN105651298A (zh) 2016-06-08
CN105651298B CN105651298B (zh) 2019-02-15

Family

ID=56138964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510868519.6A Active CN105651298B (zh) 2014-12-01 2015-12-01 电子装置、电子装置的控制方法

Country Status (2)

Country Link
KR (1) KR102406489B1 (zh)
CN (1) CN105651298B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111323042A (zh) * 2020-02-20 2020-06-23 华为技术有限公司 目标物体的预警方法、装置和电子设备
CN112325893A (zh) * 2020-10-27 2021-02-05 李亚军 电子地图系统、电子地图生成方法、导航方法及导航设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102796792B1 (ko) * 2018-10-15 2025-04-16 삼성전자주식회사 컨텐츠를 시각화하는 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110052042A1 (en) * 2009-08-26 2011-03-03 Ben Tzvi Jacob Projecting location based elements over a heads up display
CN102016930A (zh) * 2008-04-30 2011-04-13 星克跃尔株式会社 用于创建3d方向显像的方法与设备
CN102027510A (zh) * 2008-05-15 2011-04-20 星克跃尔株式会社 显示导引符号的系统和方法
US20110181711A1 (en) * 2008-04-01 2011-07-28 Luke Reid Sequential image generation
CN102980570A (zh) * 2011-09-06 2013-03-20 上海博路信息技术有限公司 一种实景增强现实导航系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3266236B2 (ja) * 1995-09-11 2002-03-18 松下電器産業株式会社 車載用ナビゲーション装置
JP3375258B2 (ja) * 1996-11-07 2003-02-10 株式会社日立製作所 地図表示方法及び装置並びにその装置を備えたナビゲーション装置
JP2003302235A (ja) * 2002-04-10 2003-10-24 Matsushita Electric Ind Co Ltd ナビゲーション表示装置
JP2005195475A (ja) * 2004-01-07 2005-07-21 Fujitsu Ten Ltd ナビゲーション装置
KR20100011041A (ko) * 2008-07-24 2010-02-03 주식회사 현대오토넷 3d 자이로 센서 및 수치 표고값을 이용한 맵 매칭 기능을가지는 내비게이션 장치
KR101271235B1 (ko) * 2011-12-12 2013-06-10 자동차부품연구원 주행정보 제공장치 및 제공방법
WO2013145072A1 (ja) * 2012-03-26 2013-10-03 三菱電機株式会社 カメラキャリブレーション方法、カメラキャリブレーションプログラムおよびカメラキャリブレーション装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110181711A1 (en) * 2008-04-01 2011-07-28 Luke Reid Sequential image generation
CN102016930A (zh) * 2008-04-30 2011-04-13 星克跃尔株式会社 用于创建3d方向显像的方法与设备
CN102027510A (zh) * 2008-05-15 2011-04-20 星克跃尔株式会社 显示导引符号的系统和方法
US20110052042A1 (en) * 2009-08-26 2011-03-03 Ben Tzvi Jacob Projecting location based elements over a heads up display
CN102980570A (zh) * 2011-09-06 2013-03-20 上海博路信息技术有限公司 一种实景增强现实导航系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111323042A (zh) * 2020-02-20 2020-06-23 华为技术有限公司 目标物体的预警方法、装置和电子设备
CN111323042B (zh) * 2020-02-20 2023-10-10 华为技术有限公司 目标物体的预警方法、装置和电子设备
CN112325893A (zh) * 2020-10-27 2021-02-05 李亚军 电子地图系统、电子地图生成方法、导航方法及导航设备

Also Published As

Publication number Publication date
KR102406489B1 (ko) 2022-06-10
KR20160065721A (ko) 2016-06-09
CN105651298B (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN113063418B (zh) 用于显示3d增强现实导航信息的方法和装置
KR102348127B1 (ko) 전자 장치 및 그의 제어 방법
US9976866B2 (en) Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
CN112740134B (zh) 电子装置和电子装置的车辆控制方法、服务器和提供服务器的精确地图数据的方法
WO2021128777A1 (en) Method, apparatus, device, and storage medium for detecting travelable region
CN207117844U (zh) 多vr/ar设备协同系统
CN105654030A (zh) 电子装置、电子装置的控制方法、计算机程序及计算机可读记录介质
CN114056236B (zh) 增强现实处理装置、基于增强现实的路线引导方法以及电子装置
US10553021B2 (en) System and methods for interactive hybrid-dimension map visualization
CN118864535A (zh) 车辆检测方法及执行其的电子设备
CN106494406A (zh) 弯道导向方法、弯道导向装置、电子装置及程序
CN105654778A (zh) 电子装置、电子装置的控制方法
KR102123844B1 (ko) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR20120079341A (ko) 맵데이터갱신방법, 이를 수행하는 전자기기 및 기록매체
CN108680173A (zh) 电子装置、电子装置的控制方法及计算机可读记录介质
CN111192341A (zh) 生成高精地图的方法、装置、自动驾驶设备及存储介质
US20190219699A1 (en) Vehicle pose system
CN113516014A (zh) 车道线检测方法、车道线检测装置、电子设备、计算机程序以及计算机可读记录介质
US11677930B2 (en) Method, apparatus, and system for aligning a vehicle-mounted device
CN105185137A (zh) 电子装置、电子装置的控制方法及计算机可读记录介质
KR20210071584A (ko) 위성 항법 시스템 측정 위치의 보정을 통해 위치를 판단하는 위치 측정 방법, 위치 측정 장치 및 이를 수행하는 전자 기기
CN112269939B (zh) 自动驾驶的场景搜索方法、装置、终端、服务器及介质
CN105651298A (zh) 电子装置、电子装置的控制方法
CN105651299A (zh) 电子装置、电子装置的控制方法
CN114693536A (zh) 一种图像处理方法,装置及储存介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210818

Address after: Seoul, South Kerean

Patentee after: Hyundai Motor Co.,Ltd.

Patentee after: Kia Co.,Ltd.

Address before: Gyeonggi Do, South Korea

Patentee before: THINKWARE SYSTEMS Corp.

TR01 Transfer of patent right