CN105659304A

CN105659304A - 视觉增强导航

Info

Publication number: CN105659304A
Application number: CN201480044985.6A
Authority: CN
Inventors: G·斯坦因
Original assignee: Mobileye Vision Technologies Ltd
Current assignee: Mobileye Vision Technologies Ltd
Priority date: 2013-06-13
Filing date: 2014-06-13
Publication date: 2016-06-08
Anticipated expiration: 2034-06-13
Also published as: US20200173803A1; US20170322043A1; US10533869B2; EP3008708B1; CN105659304B; EP3008708A4; US20140372020A1; EP3008708A1; WO2014201324A1; JP6763448B2; JP2016522415A; JP2020064068A; EP3650814B1; CN110906949B; CN111024099A; US11604076B2; EP3650814A1; US9671243B2; JP6484228B2; CN110906949A

Abstract

一种导航系统，该导航系统可以包括至少一个处理装置，该至少一个处理装置被配置成基于与导航系统相关联的一个或更多个位置传感器的输出，来确定与导航系统相关联的至少一个组件的当前位置，并且确定与当前位置不同的目的地位置。导航系统还可以从一个或更多个图像获取装置获取表示导航系统的用户的环境的多个图像，并且从所述多个图像导出与环境中的至少一个物体相关联的可视信息。该系统还可以确定用于从当前位置导航至目的地位置的一个或更多个指令，其中，所述一个或更多个指令包括针对从所述多个图像导出的可视信息的至少一个引用。该系统还可以向用户递送所述一个或更多个指令。

Description

视觉增强导航

相关申请的交叉引用

本申请要求保护2013年6月13日提交的美国临时申请No.61/834488在35U.S.C.§119下的优先权，其全部内容通过引用而并入于此。

技术领域

本公开总体上涉及导航系统，并且更具体地说，涉及用于利用基于从一个或更多个图像获取装置所获取的图像信息确定的可视信息，来增强导航指令的装置和技术。

背景技术

基于GPS的导航系统(包括在交通应用中采用的那些)有用并且常见。针对这些类型的导航系统的用户接口持续改进，并且现在可以接受来自社交网络的信息和来自交通控制系统的实时信息。然而，其它改进也可以增强这些系统的功能，并且使它们更加用户友好。例如，在当前系统中，可听导航指令基于从地图数据导出的信息来提供，但这些指令不考虑导航系统的用户实际上可以看到什么。这些种类的系统因此能够向用户提供有限信息。

包括其它种类的信息(如通过成像系统获取的可视信息)可以使导航系统更用户友好。另外，针对通过导航系统提供的指令的附加可视信息可以允许这些系统按针对用户更自然的方式来起作用。例如，从成像系统导出的可视信息，可以按类似于在车辆中具有向该车辆的驾驶员提供方向的乘客的方式，转换成递送给用户的背景获知信息。例如，代替诸如“在100米处左转”或“下一个路口左转”这样的简单指令，乘客可以说“在红色小汽车转弯的地方左转”或者“过了那个黄色遮阳篷左转”。

发明内容

在此公开了这样的实施方式(包括系统和方法)，其用于增强、补充、替代或以其它方式修改标准导航指令，以使包括与从涉及与车辆、用户等相关联的环境的图像据导出的可视信息相关联的可视提示。

与公开的实施方式一致地，一种导航系统可以包括至少一个处理装置，所述至少一个处理装置被配置成基于与所述导航系统相关联的一个或更多个位置传感器的输出，来确定与所述导航系统相关联的至少一个组件的当前位置，并且确定与所述当前位置不同的目的地位置。所述导航系统还可以从一个或更多个图像获取装置获取表示所述导航系统的用户的环境的多个图像，并且从所述多个图像导出与所述环境中的至少一个物体相关联的可视信息。所述系统还可以确定用于从所述当前位置导航至所述目的地位置的一个或更多个指令，其中，所述一个或更多个指令包括针对根据所述多个图像导出的所述可视信息的至少一个引用。所述系统还可以向所述用户递送所述一个或更多个指令。

与公开的实施方式一致地，一种车辆可以包括GPS传感器，该GPS传感器被配置成提供表示所述车辆的位置的输出。所述车辆还可以包括一个或更多个图像获取装置，所述一个或更多个图像获取装置被配置成获取所述车辆外部的环境的多个图像。所述车辆可以包括导航系统，该导航系统可以包括至少一个处理装置，所述至少一个处理装置被配置成基于与所述导航系统相关联的一个或更多个位置传感器的输出，确定与所述导航系统相关联的至少一个组件的当前位置，并且确定与所述当前位置不同的目的地位置。所述导航系统还可以从一个或更多个图像获取装置获取表示所述导航系统的用户的环境的多个图像，并且从所述多个图像导出与所述环境中的至少一个物体相关联的可视信息。所述系统还可以确定用于从所述当前位置导航至所述目的地位置的一个或更多个指令，其中，所述一个或更多个指令包括针对从所述多个图像导出的所述可视信息的至少一个引用。所述系统还可以向所述用户递送所述一个或更多个指令。

与公开实施方式一致地，一种用于生成并递送导航信息的方法包括以下步骤：基于一个或更多个位置传感器的输出，利用一个或更多个处理装置来确定当前位置；确定与所述当前位置不同的目的地位置；从一个或更多个图像获取装置获取表示一个体周围的环境的多个图像；利用所述一个或更多个处理装置，从所述多个图像导出与所述环境中的至少一个物体相关联的可视信息；确定用于从所述当前位置导航至所述目的地位置的一个或更多个指令，其中，所述一个或更多个指令包括针对从所述多个图像导出的所述可视信息的至少一个引用；并且向所述个体递送所述一个或更多个指令。

要明白的是，前面的一般描述和下面的详细描述仅是示例性和解释性的，而非对权利要求书的限制。

附图说明

并入并构成本公开的一部分的附图例示了各种公开的实施方式。在图中：

图1是与公开实施方式一致的示例性导航系统的图解表示；

图2是包括与公开实施方式一致的导航系统的示例性车辆的图解表示；

图3是包括与公开实施方式一致的导航系统的车辆内部的图解表示；

图4A和图4B提供了包括与公开实施方式一致的导航系统的示例性移动装置的图解表示；以及

图5A和图5B提供了包括与公开实施方式一致的导航系统的示例性可佩戴装置的图解表示。

具体实施方式

下面的详细描述参照附图。在可能的情况下，在附图和下面的描述中使用相同的附图标记来指相同或相似部件。虽然在此描述了几个例示性实施方式，但修改例、改变例以及其它实现都是可行的。例如，可以对图中所示的组件进行替换、添加或修改，并且在此描述的例示性实施方式可以通过替换、重新排序、去除或添加步骤至公开方法来修改。因此，下面的详细描述不限于公开的实施方式。相反的是，根据所附权利要求书来限定合适的范围。

图1提供了与该示例性公开实施方式一致的导航系统100的框图表述。导航系统100可以包括根据特定实现的需求的各种组件。在一些实施方式中，导航系统100可以包括：处理单元110、图像获取单元120、位置传感器130、一个或更多个存储器单元140、150、地图数据库160、以及用户接口170。处理单元110可以包括一个或更多个处理装置。在一些实施方式中，处理单元110可以包括：应用处理器180、图像处理器190、或任何其它合适的处理装置。类似的是，图像获取单元120可以包括根据特定应用的需求的任何数量的图像获取装置和组件。在一些实施方式中，图像获取单元120可以包括：一个或更多个摄像机，如摄像机122、摄像机124、以及摄像机126。

应用处理器180和图像处理器190两者可以包括各种类型的处理装置。例如，应用处理器180和图像处理器190中的任一者或两者可以包括：微处理器、预处理器(如图像预处理器)、图形处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器，或适于运行应用和用于图像处理和分析的任何其它类型的装置。在一些实施方式中，应用处理器180和/或图像处理器190可以包括：任何类型单芯或多芯处理器、移动装置微控制器、中央处理单元等。可以使用各种处理装置，例如，包括：可从诸如等的制造方获得的处理器，并且可以包括各种架构(例如，x86处理器、等)。

在一些实施方式中，应用处理器180和/或图像处理器190可以包括可从获得的EyeQ系列处理器芯片中的任一种。这些处理器设计皆包括具有本地存储器和指令集的多处理单元。这种处理器可以包括用于接收来自多个图像传感器的图像数据的视频输入部，并且还可以包括视频输出能力。在一个示例中，使用按332Mhz操作的90nm-micron(纳米-微米)技术。架构包括双浮点、超线程32位RISCCPU(内核)、五个视觉计算引擎(VCE)、三个矢量微代码处理器()、Denali64位移动DDR控制器、128位内部声速互连(SonicsInterconnect)、双重16位视频输入与18位视频输出控制器、16通道DMA以及数个外围设备。MIPS34KCPU管理五个VCE、三个VMP^TM和DMA、第二MIPS34KCPU以及多通道DMA，和其它外围设备。五个VCE、三个以及MIPS34KCPU可以执行由多功能捆绑应用所要求的密集视觉计算。

虽然图1描绘了包括在处理单元110中的两个分离处理装置，但可以使用更多或几个处理装置。例如，在一些实施方式中，可以使用单一处理装置来完成应用处理器180和图像处理器190的任务。在其它实施方式中，这些任务可以通过两个以上的处理装置来执行。

每个存储器140、150可以包括软件指令，在通过处理器(例如，应用处理器180和/或图像处理器190)执行该软件指令时，可以控制导航系统100的各个方面的操作。这些存储器单元可以包括各种数据库和图像处理软件。存储器单元可以包括：随机存取存储器、只读存储器，闪速存储器、盘驱动器、光学存储部、带存储部、可去除存储部、和/或任何其它类型的存储部。在一些实施方式中，存储器单元140、150可以与应用处理器180和/或图像处理器190分离。在其它实施方式中，这些存储器单元可以集成到应用处理器180和/或图像处理器190中。

位置传感器130可以包括适于确定与导航系统100的至少一个组件相关联的位置的任何类型的装置。在一些实施方式中，位置传感器130可以包括GPS接收器。这种接收器可以通过处理由全球定位系统卫星广播的信号来确定用户位置和速度。来自位置传感器130的位置信息可以使可用于应用处理器180和/或图像处理器190。

用户接口170可以包括适于向导航系统100的一个或更多个用户提供信息，或者用于接收来自导航系统100的一个或更多个用户的输入的任何装置。在一些实施方式中，用户接口170可以包括用户输入装置，例如，包括触摸屏、麦克风、键盘、指针装置、轨迹轮(trackwheel)、摄像机、旋钮、按钮等。利用这种输入装置，用户能够通过键入指令或信息，提供话音命令，利用按钮、指针或眼睛跟踪能力选择屏幕上的菜单选项，或者经由用于向导航系统100传送信息的任何其合适技术，来向导航系统100提供信息输入或命令。

用户接口170可以配备有一个或更多个处理装置，该一个或更多个处理装置被配置成，向或从用户提供和接收信息，并且例如通过应用处理器180处理该信息以供使用。在一些实施方式中，这种处理装置可以执行用于如下各项的指令：识别和跟踪眼睛移动、接收并解释语音命令、识别并解释在触摸屏上进行的触摸和/或手势、响应于键盘输入或菜单选择等。在一些实施方式中，用户接口170可以包括：显示器、扬声器、触觉装置、和/或用于向用户提供输出信息的任何其它装置。

地图数据库160可以包括用于存储对导航系统100有关的地图数据的任何类型的数据库。在一些实施方式中，地图数据库160可以包括与各个项目在参考坐标系下的位置有关的数据，包括道路、水文特征、地理特征、商店、兴趣点、餐馆、加油站等。地图数据库160不仅可以存储这种项目的位置，而且可以存储有关那些项目的描述符，例如，包括与任何所存储特征相关联的名称。在一些实施方式中，地图数据库160可以利用导航系统100的其它组件进行物理定位。另选的是或者另外，地图数据库160或其一部分可以针对导航系统100的其它组件(例如，处理单元110)远程定位。在这种实施方式中，来自地图数据库160的信息可以通过到网络的有线或无线数据连接(例如，通过蜂窝网络和/或因特网等)下载。

摄像机122、124和126可以皆包括适于从环境获取至少一个图像的任何类型的装置。而且，可以使用任何数量的摄像机来获取用于输入至图像处理器的图像。一些实施方式可以仅包括单一摄像机，而其它实施方式可以包括两个摄像机、三个摄像机，或甚至四个或更多个摄像机。

导航系统100，或其各种组件可以并入各种不同平台中。在一些实施方式中，导航系统100可以包括在车辆200上，如图2所示。例如，车辆200可以配备有导航系统100的处理单元110和任何其它组件，如上参照图1所述。虽然在一些实施方式中，车辆200可以仅配备有单一摄像机，但在其它实施方式中，可以使用多个摄像机。例如，车辆200的摄像机122、124中的任一者(如图2所示)可以是ADAS(高级驾驶员辅助系统)摄像机组的一部分。

包括在车辆200上的、作为图像获取单元120的一部分的摄像机可以位于任何合适位置处。在一些实施方式中，如在图2和图3中所示，可以将摄像机122定位在后视镜附近。该位置可以提供与车辆200的驾驶员的视线类似的视线，其可以帮助确定驾驶员可看见什么和看不见什么。摄像机122可以位于后视镜附近的任何位置处，但将摄像机122放置在该镜的驾驶员一侧还可以帮助获取表示驾驶员的视野和/或视线的图像。

还可以使用针对图像获取单元120的摄像机的其它位置。例如，摄像机124可以位于车辆200的保险杠上或之中。这种位置尤其适于具有宽视野的摄像机。位于保险杠的摄像机的视线可以不同于驾驶员的视线，并因此，保险杠摄像机和驾驶员并不总是看同一物体。

除了摄像机以外，车辆200还可以包括导航系统100的各种其它组件。例如，处理单元110可以包括在车辆200上，或者与该车辆的发动机控制单元(ECU)集成或者与发动机控制单元(ECU)分离。车辆200还可以配备有位置传感器130，如GPS接收器，并且还可以包括地图数据库160和存储器单元140与150。

车辆200还可以包括用于与车辆200的驾驶员或乘客交互的用户接口170。例如，如图3所示，车辆应用中的用户接口170可以包括：触摸屏320、旋钮330、按钮340以及麦克风350。在一些实施方式中，麦克风350可以与摄像机122类似地靠近后视镜310定位。在车辆应用中，用户接口170还可以包括一个或更多个扬声器(例如，车辆音频系统的扬声器)。

导航系统100的一个或更多个组件还可以包括在其它平台上。例如，如图4A和4B所示，导航系统100的组件还可以包括在移动装置400上，移动装置400可以包括：智能电话、平板电脑等。在这种实施方式中，应用处理器180可以对应于移动装置的应用处理器，并且图像处理器190可以与移动装置的应用处理器一起集成，或者与应用处理器分离设置。与车辆应用类似地，移动装置400可以包括：存储器单元140、150、位置传感器130(例如，GPS单元)以及地图数据库160(地图数据库160可以被包括在移动装置400上，或者其可以经由无线数据连接存取)。

移动装置400还可以包括用户接口170的一个或更多个组件。例如，在一些实施方式中，移动装置400可以包括触摸屏410、扬声器430，和/或麦克风420。移动装置400还可以包括一个或更多个摄像机，如摄像机122，如图4B所示。除了位于移动装置400上的摄像机以外，与移动装置400相关联的图像获取单元120还可以包括远离移动装置400定位的摄像机。例如，在一些实施方式中，移动装置400可以被设置成，从与另一装置或平台相关联的一个或更多个摄像机(例如，包括在车辆200上，或者可以与移动装置400通信的任何其它平台上的摄像机)接收图像数据。在这种实施方式中，移动装置400可以经由有线或无线数据连接，从远程定位的摄像机接收图像数据。例如，在一些实施方式中，移动装置400可以附接至车辆200(例如，经由定位在仪表板、挡风玻璃等上的可去除底座)。移动装置400可以与包括在车辆400上的组件通信。在一些实施方式中，移动装置400可以与车辆400上的一个或更多个处理装置通信，以接收图像信息、导航指令等(经由蓝牙连接或者其它无线或有线连接)。移动装置400接着可以将该信息采用无修改导航指令的形式向前传递给用户，或者其可以开发基于从车辆200接收或者基于来自其自身车载系统(例如，GPS接收器等)的读出物的信息所开发出的新的或增强导航指令。这样，移动装置400可以增强通过基于车辆的用户接口170所提供的信息，如图3所示，或者可以用作基于车辆的用户接口，或者用作基于车辆的接口的替代。

如图5A和5B所示，导航系统100的组件还可以包括在可佩戴装置500上，可佩戴装置500可以包括：腕式单元、眼镜单元、头戴式单元等。在这种实施方式中，应用处理器180可以对应于可佩戴装置的应用处理器，并且图像处理器190可以与可佩戴装置的应用处理器一起集成，或者与其分离设置。与车辆应用和移动装置平台类似地，可佩戴装置500可以包括：存储器单元140、150、位置传感器130(例如，GPS单元)以及地图数据库160(地图数据库160可以被包括在可佩戴装置500上或者其可以经由无线数据连接存取)。

可佩戴装置500还可以包括用户接口170的一个或更多个组件。例如，在一些实施方式中，可佩戴装置500可以包括显示器510、扬声器530和/或麦克风520。可佩戴装置500还可以包括一个或更多个摄像机，如摄像机122，如图5B所示。除了位于可佩戴装置500上的摄像机以外，与可佩戴装置500相关联的图像获取单元120还可以包括远离可佩戴装置500定位的摄像机。例如，在一些实施方式中，可佩戴装置500可以被配置成，从与另一装置或平台相关联的一个或更多个摄像机(例如，包括在车辆200上或者可以与可佩戴装置500通信的任何其它平台上的摄像机)接收图像数据。在这种实施方式中，可佩戴装置500可以经由有线或无线数据连接从远程定位摄像机接收图像数据。

返回至摄像机122、124和126，在其中使用一个以上摄像机(而不管那些摄像机是包括在车辆200上、移动装置400上、可佩戴装置500上、或任何其它平台上)的实施方式中，那些摄像机可以具有类似特征，例如，包括：类似焦距、视野、图像传感器等。另一方面，任何多个摄像机中的一个或更多个可以与其它摄像机中的任何摄像机不同地配置。例如，在一些实施方式中，第一摄像机(例如，摄像机122)可以配置有与第二摄像机(例如，摄像机124)的焦距不同的焦距。在导航系统100包括具有第三摄像机(例如，摄像机126)的图像获取系统120或者与其交互的情况下，该第三摄像机可以具有与第一摄像机的焦距和第二摄像机的焦距不同的焦距。

摄像机122、124或126中的任一个还可以配置有适于特定应用的分辨率。因为导航系统100可以利用根据从摄像机122、124或126获取的图像所导出的用于用户的可视提示信息来增强导航指令，所以那些摄像机中的一个或更多个可以被设置成展示与人眼类似的特征。例如，在一些实施方式中，这些摄像机中的一个或更多个可以敏感于颜色(例如，与人眼中找到的视锥细胞类似的、敏感于红色、绿色以及蓝色的RGB摄像机)。而且，这些摄像机中的一个或更多个可以具有提供类似于人眼的视敏度(visualacuity)的像素分辨率/视野组合。例如，在一些实施方式中，摄像机可以具有至少500万像素的分辨率和大约50度的水平视野(与当前包括在一些智能装置上的摄像机类似)。在其它实施方式中，导航系统100中的摄像机可以具有大约1300万像素的SXGA分辨率和小于30度(例如，大约23度)的水平视野。导航系统100中的摄像机可以展示提供每度至少40个水平像素(即，在沿图像传感器的X尺度延伸的行中的像素)的比率的分辨率和水平视野。在一些实施方式中，该比率可以是：大于每度45个水平像素、每度50个水平像素，或者每度多于55个水平像素。

摄像机122、124和/或126可以包括各种光学部件。在一些实施方式中，例如可以包括一个或更多个镜头，以提供用于该摄像机的希望焦距和视野。在一些实施方式中，摄像机122、124，和/或126可以与6mm镜头或12mm镜头相关联。在一些实施方式中，摄像机122、124，和/或126可以被配置成，获取具有大约46度、50度、52度或更大的视野(FOV)的图像。例如，摄像机122、12，和/或126还可以配置有更窄的视野，例如，在一些实施方式中，摄像机122、124和/或126可以具有40度、30度、26度、23度、20度或更小的FOV。在一些实施方式中，摄像机122、124或126中的任一个可以包括直至大约180度的广角FOV(例如，大约100度到大约150度之间)。

摄像机122、124和/或126可以包含任何合适类型的图像传感器，例如，包括CCD传感器或CMOS传感器。在一个实施方式中，CMOS图像传感器可以连同滚动快门(rollingshutter)一起采用，以使一行中的每一个像素一次被读取一个，并且以一行接一行为基础来对这些行进行扫描，直到已经获取整个图像帧为止。在一些实施方式中，这些行可以相对于该帧从上至下顺序地获取。在其它实施方式中，可以使用全局快门。

摄像机122、124和/或126可以相对于平台装置(例如，车辆200、移动装置400、可佩戴装置500等)定位，以使可以获取来自可见于(即，在希望视线范围内)用户的环境的图像。例如，在车辆应用中，如图2和3所示，可以将摄像机122定位在后视镜310附近。在一些实施方式中，摄像机122可以按距地面的已知高度定位(例如，地面上大约1.4m)，并且该信息可以用于确定通过摄像机122获取的图像中的相对比例。

摄像机122、124和/或126的帧速率(例如，摄像机在继续移动以获取与下一图像帧相关联的像素数据之前获取一个图像帧的一组像素数据的速率)可控制。例如可以在确定相距通过摄像机122、124和/或126获取的图像中所获取的物体的距离时使用该帧速率。摄像机122、124和/或126中的任一个的帧速率可以更高、更低，或者和与任何其它摄像机相关联的帧速率相同。

而且，与摄像机122、124和/或126中的每一个相关联的焦距是可选择的(例如，通过包括合适镜头等)，以使每一个摄像机获取处于相对于平台系统(例如，车辆200、移动装置400、可佩戴装置500等)的希望距离范围的物体的图像。例如，在一些实施方式中，摄像机122、124和/或126可以获取几米内的特写(close-up)物体的图像。摄像机122、124和/或126还可以被配置成，获取更远物体(例如，处于25m、50m、100m、150m或以上的范围)的图像。而且，摄像机122、124和/或126的焦距可以被选择成，使得一个摄像机(例如，摄像机124)可以获取相对近的物体(例如，在10m内或者在20m内)的图像，而另一摄像机(例如，摄像机126)可以获取更远的物体(例如，在大于20m、50m、100m、150m等的范围)的图像。与摄像机122、124和/或126中的每一个相关联的视野可以取决于相应焦距。例如，随着焦距的增加，对应视野减小。

在操作中，导航系统100可以向用户提供导航指令。该导航指令可以包括有关于地图数据(例如，存储在地图数据160中的数据)的信息或者从该地图数据导出的信息，或者还可以包括有关通过图像获取单元120获取的图像数据的信息或者从该图像数据导出的信息。

为开发导航指令，处理单元110可以确定与导航系统100相关联的至少一个组件的当前位置。例如，在一些实施方式中，应用处理器180可以接入位置传感器130，并且取回指示位置的输出。该位置可以对应于车辆200、移动装置400、可佩戴装置500等的位置。

处理单元还可以被配置成确定与当前位置不同的目的地位置。该目的地位置可以对应于用户希望去的位置，第三方指定用于该用户的位置，或者不同于当前位置的任何其它位置。该目的地位置可以通过任何合适方法提供给处理单元110。在一个实施方式中，用户可以经由用户接口170输入目的地位置。例如，地址、维度和经度坐标等可以通过在键盘或触摸屏上键入；说出一个或更多个语音命令；利用指针装置或跟踪眼睛运动来选择菜单项；或者通过任何其它合适数据输入技术而引入处理单元110。

利用当前位置和希望目的地位置信息，传统导航系统可以存取地图数据、确定路线，并且生成用于沿该路线导航的指令。然而，当前描述的实施方式包括这样的指令，其特征化基于通过图像获取单元120提供的图像所确定的附加信息。

例如，在一些实施方式中，处理单元110可以被配置成，从一个或更多个图像获取装置(例如，摄像机122、124和/或126)获取表示导航系统100的用户的环境的多个图像。基于该多个图像，处理单元110可以导出与该环境中的至少一个物体相关联的可视信息。例如，应用处理器180和/或图像处理器190可以分析呈现在通过图像获取单元120提供的所述多个图像中的一个或更多个物体，并且根据这些图像导出涉及该环境中的物体的至少一个特征的可视信息。在一些实施方式中，该物体可以包括车辆、建筑物、标志、交通信号灯、道路特征、结构或人中的至少一个中的任一个。可以从这些图像导出的可视信息可以包括所看到物体的附近任何可视方面，例如，包括：建筑物的颜色、尺寸或建筑材料；遮阳篷的颜色；所识别徽标(例如，McDonald’s标志，金色拱门等)的名称；来自建筑物、道路标志或道路表面上的涂刻字的识别文本；另一辆车的颜色；与道路相关联的诸如岔路、隆起、斜坡、减速带等这样的道路特征；行人穿戴的衣服的颜色；栅栏的颜色；等。该可视信息还可以包括针对该物体的识别类型指定。例如，该可视信息可以包括：栅栏的识别类型(例如，木头、链节、支柱、围栏等)、车辆的识别类型或牌子(例如，卡车、小汽车、拖拉机、玛莎拉蒂(Maserati)、奥迪(Audi)等)；桥的类型；建筑物的类型；等。

任何类型的可视信息可以根据特定任务的需求来使用。在一些实施方式中，处理单元110可以被配备成，基于在城市环境(urbansetting)中的物体(例如，行人、交通信号灯、建筑物、小汽车、商店等)，来识别可视提示并向用户提供该可视提示。处理单元110还可以被配置成基于在乡村环境(ruralsetting)中找到的物体(例如，树篱、树木、栅栏、农场建筑物、乡村围墙、动物等)来识别可视提示并向用户提供该可视提示。

在一些实施方式中，其它车辆可以用作针对提供给用户的所导出可视信息和可视提示的基础。有关这种车辆的信息可以被确定为ADAS应用的副产品，或者可以补充由ADAS应用提供的信息。例如，正向碰撞警告系统可以检测存在于摄像机视野中的所有车辆，并且可以计算距该目标车辆的距离。这些目标车辆和距离的列表可以被传送至导航系统100。如果任何目标车辆位于关注距离处(例如，沿去往目的地位置的计算路线的转弯附近)，则该目标车辆可以用作针对提供给用户的可视提示的基础。例如，如果处于关注距离的目标车辆沿所计算的路线转弯，则可以将该信息连同与目标车辆相关联的一个或更多个特征(例如，颜色、类型等)传送给驾驶员。

在摄像机122、124和/或126的视野中的物体的颜色可以按任何合适方式来确定。例如，在一些实施方式中，摄像机122、124和/或126中的任一个可以构成全色彩摄像机。另选的是，在摄像机122、124和/或126中的一个或更多个是ADAS系统的一部分的情况下，其可以采用不是全RGB摄像机的摄像机(例如，仅具有红色/透明传感器的摄像机)，可以利用一个或更多个附加摄像机来增强这种系统。这种增强可以最小化颜色标识中的错误，如混淆蓝色和绿色。在操作中，来自ADAS摄像机的目标车辆与通过彩色摄像机提供的斑块(patch)匹配，以便确定或确认与该目标车辆相关联的彩色信息。

距摄像机122、124和/或126的视野内的物体的距离还利用任何合适方法来确定。在一些实施方式中，深度地图可以利用运动恢复结构(structurefrommotion)(SFM)来确定。这种深度地图可用作例如从ADAS系统的计算输出。例如，可以通过比较通过摄像机从不同位置获取的两个图像(例如，随着摄像机跟随车辆20移动)来确定SFM深度地图。摄像机的运动和目标物体在两个获取图像中的合成外观可以使能够确定相距该目标物体的距离，如在已知至少一个距离的情况下，并且可以用作针对相对比例确定的基础(例如，获取摄像机与道路表面之间的距离)。虽然可以比较任何两个图像，但在一些实施方式中，在运动通过10m或以上的距离之后获取的图像可以提供用于确定在100m范围中的目标距离的合适基础(其可以有用于确定导航设备)。还可以使用诸如速度计读数或来自GPS单元的输出这样的附加信息，来确定距目标物体的距离。例如，该速度计或GPS可以提供有关主车运动的信息，其可以提供针对SFM结果的全局比例信息，并由此提供针对目标物体的距离。

这种计算可以针对一系列图像中的每一个像素来执行，以生成图像深度地图。这些深度地图例如可以用于确定特定目标物体是位于关注路口之前还是之后。该深度地图可以是二维像素阵列，并且每一个像素值都指示针对该场景中的点的深度。如下将进一步讨论的，该信息可以被用于提供包括可视信息的导航指令，如“恰好在有黄色遮阳篷的店铺之前100m左转”。

深度地图计算在计算上是昂贵的。因此，在ADAS深度地图已经可用的情况下，它们可以容易地使用。然而，在其它实施方式中，GPS提示视觉可以提供计算上可能不太昂贵的另选方案。例如，位置传感器130可以用于确定距路口的距离。利用该信息，两个图像可以在相隔适当距离的位置处获取，以给出针对距该路口的目标距离的良好深度估计(例如，针对大约100m的目标距离相隔1m至10m；针对大约200m的目标距离相隔1m至20m；或者关注的目标距离的大约5％与10％之间)。接着，可以将这两个图像中的至少一个翘曲，并且可以对翘曲后的图像与其它图像进行比较，以确定任何目标物体是否匹配该目标距离。即，考虑到获取图像之间的运动量，可以针对位于目标距离处的目标的图像中的希望变化，对图像的选定区域加以分析(例如，与潜在目标物体相对应的那些)。展示位于关注目标距离处的物体的希望运动特征的那些图像区域被视为匹配，并且可以用作针对提供给导航系统100的用户的可视信息的基础。

更具体地说，该系统可以被配置成，使第一图像的第一区域与第二图像的对应区域相关，并且计算第一图像的第一区域与第二图像的对应区域之间的密集光学流(denseopticalflow)。该密集光学流可以用于翘曲第一或第二图像中的至少一个。导航系统100可以处理所获取的图像，以便针对第二图像中的那些目标特征来匹配第一图像中的目标图像，以建立对应。该系统可以创建包含针对每一个像素的深度信息的视差(disparity)地图。该视差地图计算可以表示第一图像与第二图像中的对应点的x坐标之间的距离(典型地按像素方式)。针对第一图像和/或第二图像中的每一个像素，该视差地图可以包含针对图像点的视差和深度信息。该系统可以按不同分辨率来生成视差图像。具有落入特定希望值范围(例如，±10％)的视差的那些可以构成匹配，并因此，可以对应于位于希望目标距离处的物体。该技术(其可以被称为GPS提示视觉)可以比计算针对整个图像的密集深度地图更有效。

为计算准确运动，可以跟踪沿道路平面的点。基于所跟踪的点，可以计算单应性(homography)，其可以被分解成旋转和FOE。为跨越10m甚或20m的整个基线(即，所获取的图像之间的行进距离)，常规的是，计算中间基线上的自我运动(egomotion)，如相隔2m至3m的帧，并且串联该运动。另外，道路上的点可能移动太多，并因此，可能难以跟踪。

一旦获知自我运动，这两个图像就可以被校正旋转，以消除图像旋转。这可以获得纯变换对。为了利用10m基线来检测200m处的特征，可以环绕FOE，按210/200的系数和对准很可能处于该距离的特征来比例化一个图像。为验证该距离，可以利用不同基线和利用以合适缩放比例重复的匹配来使用第三图像。在两个测试中给出良好匹配的特征可以被视为位于200m处。

可以使用多个缩放比例来扫描大约200m的范围。另选的是，在针对200m的缩放比例之后的剩余流给出剩余深度。该处理允许过滤出环绕从GPS获得的相关深度的特定深度窗中的特征。

在标识位于关注距离处的一个或更多个目标物体之后，基于所述多个获取的图像，可以使用与那些目标物体中的任一个相关联的可视信息，来确定用于从当前位置导航至目的地位置的一个或更多个指令。具体来说，导航系统100可以在所述一个或更多个指令中包括针对从所述多个图像导出的可视信息的至少一个引用。

这种指令可以通过应用处理器180、通过图像处理器190、通过两者的组合，或者利用一个或更多个其它处理装置来开发。例如，在一些实施方式中，图像处理器190可以被配置成，向应用处理器180提供呈现在所获取图像中的目标物体连同它们的相应距离，以及与目标物体相关联的一个或更多个可视特征的列表。应用处理器180可以通过从该列表标识并选择位于关注目标距离处的目标物体，并且将与所选择目标物体相关联的可视信息中并入到一个或更多个指令来确定指令。

另选的是，当应用处理器180准备发出新指令时，其可以向图像处理器190发送查询，以标识位于特定关注目标距离处的目标物体。图像处理器可以通过返回目标物体的标识连同该目标物体的一个或更多个可视特征来做出响应。接着，应用处理器180可以将该信息并入到所开发指令中。

在其它实施方式中，图像处理器190可以担负开发并入可视信息的导航指令。这些指令可以被提供给应用处理器180，以供递送给向用户，或者图像处理器190可以将这些指令直接递送给用户。

在一些实施方式中，在发出包括有关特定物体的可视信息的指令之前，导航系统100可以测试该特定物体是否应当对用户可见。例如，基于例如存储在地图数据库160中的地图数据信息，可以获知特定物体(例如，特定商店)的存在及其精确位置。在所存储地图信息中表示的这种物体可以被称为地图化实体。在一些实施方式中，处理单元110可以开发引用地图化实体的导航指令(例如，“在100m内的Exxon加油站处左转”)。然而，可视信息的使用可以用于增强这些类型的指令。例如，在一些实施方式中，特定地标或商店不能被表示为存储在地图数据库160中的地图化实体。在这种情况下，图像获取单元120和图像处理器190可以将这种物体标识为位于关注距离处，并且可以确定一个或多个可视特征，以使包括在导航指令中(例如，基于对与该商店相关联的标志或标记的字符识别和/或徽标或颜色识别的“在100m内的Exxon加油站处左转”；“恰好在有蓝色遮阳篷的建筑物之后右转”；等)。

另外，导航系统100可以确定特定地图化实体是否应当对用户可见，并且生成基于该信息的可导航指令。例如，如果导航系统100获知被存储为地图化实体的特定加油站，但基于图像获取单元120的输出识别出，驾驶员在遮挡该驾驶员查看加油站的大卡车后面，则导航系统100可以避免发出引用驾驶员不能看见的加油站的混淆指令。另选的是，导航系统100可以继续进行，并且发送有关被遮挡物体的指令，但连同其当前被遮挡的信息和与遮挡物体相关联的可视信息一起这样做(例如，“在白色卡车之后的紧挨着的Exxon加油站处左转”)。

或者，在导航系统100获知存储为地图化实体的特定位置(例如，麦当劳(McDonald’s)餐厅)的情况，导航系统100可以使用图像获取单元120的输出，来测试该地图化实体是否存在，并且基于该测试开发恰当的可导航指令。例如，如果与地图化实体McDonald’s相关联的黄色标志在通过图像获取单元120提供的图像中被识别，则导航系统100可以发出说“恰好在黄色McDonald’s标志之后右转”的指令。另一方面，如果在所获取图像中未找到黄色标志，则导航系统100可以简单说，“恰好在McDonald’s之后右转”，或者如果McDonald’s不位于该图像中，则是“在100m内右转”。

由此，在一些实施方式中，处理单元110可以被配置成，使用地图数据来标识至少一个地图化实体，并且基于通过图像获取单元120提供的所述多个图像，来确定所述至少一个地图化实体是否对用户可见。如果该地图化实体对用户可见，则处理单元110可以在所确定的一个或更多个指令中包括：针对该地图化实体的至少一个引用(例如，包括该地图化实体的至少一个可视特征)。另一方面，如果该地图化实体被确定成对用户不可见，则处理单元110可以从所确定指令中省略针对该地图化实体的引用，或者另选地，可以在所确定的一个或更多个指令中包括针对该地图化实体的至少一个引用，和针对从用户视野遮挡该地图化实体的物体的至少一个引用。

在一些实施方式中，一个以上的目标物体可以呈现在相关目标距离处。在这种情况下，导航系统100可以采用分级方案(hierarchicalscheme)，以确定应当将哪些目标物体用作针对要被包括在可导航信息中的可视信息的基础。例如，一旦确定目标距离(例如，针对沿去往目的地位置的路线的下一个转弯所确定的距离)，就可以接入地图数据库160，以确定在该目标距离处是否可能存在任何合适的地图化实体。如果该地图化实体基于通过图像获取单元110提供的图像来可视地验证，则那些地图化实体可以根据预定层级来过滤，例如，可以在与更小物理结构相关联的地图化实体上，选择与大物理结构相关联的地图化实体，以供用于开发可导航指令。类似的是，与亮色化标志、标记、徽标等相关联的地图化实体可以在没有这种标志、标记或徽标的地图化实体之上选择。

在某些情况下，可以将多个地图化实体标识和/或验证为位于目标距离处。在这种情况下，导航系统100可以应用附加分级排序(ranking)，来确定要依靠多个目标中的哪个。此外，物体的颜色和尺寸可以是对物体进行排序的因素。另外或另选的是，可以使用物体的位置。例如，位于转弯侧并且在路口之前的目标物体可以排序在位于该转弯侧但在该路口之后的目标物体前面。在该分级上更低的可以是位于该转弯侧对面并且在路口之前的目标物体，其可以排序高于位于该转弯侧对面并且在路口之后的目标物体。该优先级列表可以根据用户偏好来调节。

基于该分级，导航系统100可以输出适于目标物体的转弯指令和什么特征是可见的：“在经过有绿色遮阳篷的HolidayInn之后，200m内左转”。

接下来，如果从地图数据库未检到或验证到地标，则该系统可以尝试确定是否将任何车辆限定为在相关目标距离处的目标物体。例如，如果从所获取图像将一车辆识别为在相关路口转弯，则该车辆可以用作针对指令的基础。例如，“在100m内跟随在路口左转的红色汽车”。

接下来，如果没有定位地图化实体或相关车辆，则导航系统100可以搜索位于目标距离处的被可视地检测的结构。如果定位这种结构，则处理单元110可以针对地标物体(如特定牌子的加油站、具有独特徽标的快餐店等)的数据库，尝试利用颜色直方图、模板匹配、图案识别和/或OCR来分类该结构。如果发现匹配，则可以提供包括相对于所标识结构的可视信息的恰当指令。

如果该结构无法匹配至数据库中的具体实例，则可以标识并使用类别类型。一些示例可以包括：(a)如果检测到超过6m高的红砖色结构，则指示“高的砖式结构”；(b)如果尺寸大于1m的颜色斑点位于距地面至少2m处，则指示“彩色遮阳篷”；(c)如果在英国，并且检测到大约1.5m高和0.5m宽的红色物体，则指示“邮筒”。当然，可以限定并识别许多其它类别。

可以根据优先级来测试这些类别。所检测的第一类别可以是选择的类别。另选的是，可以对每一个被检测的类别指配类别权重、优先级权重、和/或检测得分，以帮助选择目标物体，从而用作针对可视增强的导航指令的基础。其可以是类别优先级的权重和检测得分。

在一些实施方式中，可以使用决策树。如果发现匹配，则可以提供可视增强的导航指令。另一方面，如果未发现匹配，则可以提供标准GPS类型指令：例如，“在200m内左转”。

一特定目标物体不需要用作针对相对于路线上特定点的全部可导航指令集的基础。相反的是，如果检测到新的目标物体(尤其是，具有比先前依靠的目标物体更高的分级状态的目标物体)，则导航系统可以间歇地或者连续地探寻附加或另选目标物体，并且提供更新指令。例如，在首先相对于转弯检测到一地标，接着稍后在同一侧检测到第二地标作为转弯的情况，可以基于最近检测的地标来提供更新指令。另外，如果地标存在于地图数据库中但未被可视地验证，则该系统可以重复尝试可视地验证该地标。一旦被可视地验证，就可以更新该指令。

一旦确定了可视增强的可导航指令，就可以将它们递送给导航系统100的用户。在一些实施方式中，该指令可以以可听方式递送(例如，经由与车辆200相关联的一个或更多个扬声器、经由移动装置400的扬声器430、或者经由与可佩戴装置500相关联的/扬声器530)。另外或另选的是，该指令可以以可视方式递送(例如，经由车辆200的显示器/触摸屏320、经由移动装置400的显示器/触摸屏410、或者经由可佩戴装置500的显示器510)。

虽然在此描述了例示性实施方式，但所述实施例是非排它的。而且，所公开例程的步骤可以按任何方式来修改，包括重排步骤和/或插入或删除步骤。本说明书和实施例仅被视为例示性的，并且通过所附权利要求书和它们的等同物的全部范围来指示真实范围和精神。

Claims

1.一种导航系统，该导航系统包括：

至少一个处理装置，所述至少一个处理装置被配置成：

基于与所述导航系统相关联的一个或更多个位置传感器的输出，来确定与所述导航系统相关联的至少一个组件的当前位置；

确定与所述当前位置不同的目的地位置；

从一个或更多个图像获取装置获取表示所述导航系统的用户的环境的多个图像；

从所述多个图像导出与所述环境中的至少一个物体相关联的可视信息；

确定用于从所述当前位置导航至所述目的地位置的一个或更多个指令，其中，所述一个或更多个指令包括针对从所述多个图像导出的所述可视信息的至少一个引用；以及

向所述用户递送所述一个或更多个指令。

2.根据权利要求1所述的导航系统，其中，所述目的地位置的确定基于用户输入。

3.根据权利要求2所述的导航系统，其中，所述用户输入包括输入与所述目的地位置相对应的地址。

4.根据权利要求1所述的导航系统，其中，所述一个或更多个图像获取装置包括第一摄像机和第二摄像机，所述第一摄像机具有与所述第二摄像机的焦距不同的焦距。

5.根据权利要求4所述的导航系统，其中，所述一个或更多个图像获取装置包括第三摄像机，该第三摄像机具有与所述第一摄像机的焦距和所述第二摄像机的焦距不同的焦距。

6.根据权利要求1所述的导航系统，其中，所述一个或更多个图像获取装置包括具有至少500万像素的分辨率的摄像机。

7.根据权利要求1所述的导航系统，其中，所述可视信息涉及所述环境中的所述至少一个物体的至少一个特征。

8.根据权利要求7所述的导航系统，其中，所述至少一个物体包括以下各项中的至少一个：车辆、建筑物、标志、交通信号灯、道路特征、结构、或人。

9.根据权利要求1所述的导航系统，其中，所述至少一个处理装置被配置成：

使用地图数据来标识至少一个地图化实体；

基于所述多个图像，确定所述至少一个地图化实体是否对所述用户可见；以及

如果所述地图化实体被确定成对所述用户可见，则在所述一个或更多个指令中包括针对所述地图化实体的至少一个引用。

10.根据权利要求1所述的导航系统，其中，所述至少一个处理装置被配置成：

使用地图数据来标识至少一个地图化实体；

如果所述地图化实体被确定成对所述用户不可见，则在所确定的一个或更多个指令中包括针对所述地图化实体的至少一个引用、和针对从用户视野遮挡所述地图化实体的物体的至少一个引用。

11.根据权利要求1所述的导航系统，其中，所述至少一个处理装置被配置成：

使用地图数据来标识至少一个地图化实体；

如果所述地图化实体被确定成对所述用户不可见，则从所确定的一个或更多个指令中省略针对所述地图化实体的任何引用。

12.根据权利要求1所述的导航系统，其中，所述可视信息包括与所述环境中的所述至少一个物体相关联的颜色。

13.根据权利要求1所述的导航系统，其中，所述可视信息包括与所述环境中的所述至少一个物体相关联的物体类型。

14.根据权利要求1所述的导航系统，其中，所述一个或更多个指令被以可听方式递送给所述用户。

15.根据权利要求1所述的导航系统，其中，所述一个或更多个指令被递送至与移动装置相关联的显示器或扬声器中的至少一个。

16.根据权利要求1所述的导航系统，其中，所述一个或更多个指令被递送至与车辆相关联的显示器或扬声器中的至少一个。

17.根据权利要求1所述的导航系统，其中，所述一个或更多个指令被递送至与可佩戴装置相关联的显示器或扬声器中的至少一个。

18.根据权利要求1所述的导航系统，其中，所述一个或更多个图像获取装置包括来自高级驾驶员辅助系统的摄像机。

19.一种车辆，该车辆包括：

GPS传感器，该GPS传感器被配置成提供表示所述车辆的位置的输出；

一个或更多个图像获取装置，所述一个或更多个图像获取装置被配置成获取所述车辆外部的环境的多个图像；

至少一个处理装置，所述至少一个处理装置被配置成：

基于与导航系统相关联的一个或更多个位置传感器的输出，来确定与所述导航系统相关联的至少一个组件的当前位置；

确定与所述当前位置不同的目的地位置；

向所述用户递送所述一个或更多个指令。

20.根据权利要求19所述的车辆，其中，所述目的地位置的确定基于包括与所述目的地位置相对应的地址的用户输入。

21.根据权利要求19所述的车辆，其中，所述一个或更多个图像获取装置包括第一摄像机和第二摄像机，所述第一摄像机具有与所述第二摄像机的焦距不同的焦距。

22.根据权利要求19所述的车辆，其中，所述一个或更多个图像获取装置包括具有至少500万像素的分辨率的摄像机。

23.根据权利要求19所述的车辆，其中，所述可视信息涉及所述环境中的所述至少一个物体的至少一个特征。

24.根据权利要求19所述的车辆，其中，所述至少一个物体包括以下各项中的至少一个：车辆、建筑物、标志、交通信号灯、道路特征、结构、或人。

25.根据权利要求19所述的车辆，其中，所述至少一个处理装置被配置成：

使用地图数据来标识至少一个地图化实体；

如果所述地图化实体被确定成对所述用户可见，则在所确定的一个或更多个指令中包括针对所述地图化实体的至少一个引用。

26.根据权利要求25所述的车辆，其中，所述至少一个处理装置被配置成：

当所述地图化实体被确定成对所述用户不可见时，在所确定的一个或更多个指令中包括针对所述地图化实体的至少一个引用、和针对从用户视野遮挡所述地图化实体的物体的至少一个引用。

27.根据权利要求19所述的车辆，其中，所述可视信息包括与所述环境中的所述至少一个物体相关联的颜色或类型中的至少一个。

28.根据权利要求19所述的车辆，其中，所述一个或更多个指令被以可听方式递送给所述用户。

29.一种用于生成并递送导航信息的方法，该方法包括以下步骤：

基于一个或更多个位置传感器的输出，利用一个或更多个处理装置来确定当前位置；

确定与所述当前位置不同的目的地位置；

从一个或更多个图像获取装置获取表示个体周围的环境的多个图像；

利用所述一个或更多个处理装置，从所述多个图像导出与所述环境中的至少一个物体相关联的可视信息；

向所述个体递送所述一个或更多个指令。