CN108470162B - 电子装置及其控制方法 - Google Patents

Abstract

电子装置及其控制方法。本发明公开电子装置、电子装置的控制方法及计算机可读记录介质。本发明的电子装置的控制方法包括：利用车辆的驾驶相关影像数据中的、信号灯的信号区域部分的影像数据来生成信号种类信息的步骤；以及利用所生成的信号种类信息来执行车辆的驾驶相关引导的步骤。

Description

电子装置及其控制方法

本申请是原案申请号为201510333358.0的发明专利申请(申请日为2015年6月16日、发明名称为“电子装置、电子装置的控制方法及计算机可读记录介质”)的分案申请。

技术领域

本发明涉及电子装置、电子装置的控制方法及计算机可读的记录介质，更详细地，涉及能够识别信号灯的信号种类及基于此来执行车辆驾驶相关引导的电子装置、电子装置的控制方法及计算机可读的记录介质。

背景技术

当车辆行驶时，最重要的是安全行驶及预防交通事故，为此，在车辆安装有执行控制车辆的姿势、控制车辆结构装置的功能等的多种辅助装置及安全带、安全气囊等安全装置。

不仅如此，近期，设置于车辆的黑匣子等的装置存储车辆的行驶影像及从各种传感器传输的数据，从而处于在车辆设置当车辆发生交通事故时用于查明车辆的事故原因的装置的趋势。由于也可以在智能手机、平板电脑等便携式终端设备安装黑匣子或导航仪应用等，因而被用作如上所述的车辆用装置。

但实际上，目前在这种车辆用装置中的行驶影像的利用率非常低。更具体地，即使通过目前安装于车辆的摄像头等的视觉传感器来获得车辆的行驶影像，车辆的电子装置仅停留于单纯地显示、传送这种影像或仅停留于生成是否脱离车道线等简单的周边通知信息。

并且，作为目前受关注的新的车辆电子装置，还提出平视显示器(HUD，Head-UpDisplay)或增强现实界面，但在这些装置中，对车辆的行驶影像的利用率也仅停留在单纯显示或生成简单的通知信息的层面。

发明内容

本发明为了解决上述的问题而提出，本发明的目的在于，提供利用车辆的驾驶相关影像数据来生成信号灯的信号种类信息，并基于此来执行车辆驾驶相关引导的电子装置、电子装置的控制方法及计算机可读的记录介质。

用于实现上述目的的本发明一实施例的电子装置的控制方法包括：利用车辆的驾驶相关影像数据中的、信号灯的信号区域部分的影像数据来生成信号种类信息的步骤；以及利用所生成的上述信号种类信息来执行上述车辆的驾驶相关引导的步骤。

而且，本发明还可包括利用上述驾驶相关影像数据来判断上述车辆是否处于停车状态的步骤，若判断为上述车辆处于停车状态，则可执行上述生成信号种类信息的步骤。

并且，判断上述车辆是否处于停车状态的步骤可包括：生成上述驾驶相关影像数据的灰度影像数据的步骤；以及分别对所生成的上述灰度影像数据所包含的多个帧进行比较，来判断上述车辆是否处于停车状态的步骤。

而且，生成上述信号种类信息的步骤可包括：在上述驾驶相关影像数据中决定包括上述信号灯的关注区域的步骤；以及以预设定的像素值为基准，转换所决定的上述关注区域的影像数据，从而生成关注区域影像数据的步骤。

并且，生成上述信号种类信息的步骤可包括：在上述关注区域影像数据适用具有第一面积的第一区域和包括上述第一区域并具有第二面积的第二区域来检测上述信号灯的信号区域部分的影像数据的步骤；对上述第二区域的面积像素值与上述第一区域的面积像素值的差值和预设定的面积像素值进行比较的步骤；以及根据比较结果来生成上述信号灯的信号种类信息的步骤。

而且，上述信号种类信息可以为用于分别识别可在上述信号灯显示的多种信号的信息。

并且，执行上述车辆的驾驶相关引导的步骤可包括利用上述信号种类信息来输出信号引导的步骤。

而且，执行上述车辆的驾驶相关引导的步骤可包括利用用于上述车辆的导航的路径信息和上述信号种类信息来输出信号变更引导的步骤。

并且，在车辆从上述信号灯的信号变更时间点起，上述车辆维持停车状态的时间经过预设定的时间内的情况下，可执行输出上述信号变更引导的步骤。

而且，输出上述信号变更引导的步骤可包括：生成用于执行上述驾驶相关引导的指示符的步骤；以及通过增强现实来输出所生成的上述指示符的步骤。

另一方面，用于实现上述目的的本发明一实施例的电子装置包括：信号种类信息生成部，利用车辆的驾驶相关影像数据中的、信号灯的信号区域部分的影像数据来生成信号种类信息；以及控制部，利用所生成的上述信号种类信息来执行上述车辆的驾驶相关引导。

而且，本发明还包括驾驶状态判断部，上述驾驶状态判断部利用上述驾驶相关影像数据来判断上述车辆是否处于停车状态，若判断为上述车辆处于停车状态，则上述控制部控制上述信号种类信息生成部生成信号灯的信号种类信息。

并且，上述驾驶状态判断部可生成上述驾驶相关影像数据的灰度影像数据，并分别对所生成的上述灰度影像数据所包含的多个帧进行比较，来判断上述车辆是否处于停车状态。

而且，上述信号种类信息生成部可在上述驾驶相关影像数据中决定包括上述信号灯的关注区域，并以预设定的像素值为基准，转换所决定的上述关注区域的影像数据，从而可生成关注区域影像数据。

并且，上述信号种类信息生成部可在上述关注区域影像数据适用具有第一面积的第一区域和包括上述第一区域并具有第二面积的第二区域来检测上述信号灯的信号区域部分的影像数据，对上述第二区域的面积像素值与上述第一区域的面积像素值的差值和预设定的面积像素值进行比较，并可以根据比较结果来生成信号灯的上述信号种类信息。

而且，上述信号种类信息可以为用于分别识别可在上述信号灯显示的多种信号的信息。

并且，上述控制部可控制输出部利用上述信号种类信息来输出信号引导。

而且，上述控制部可控制输出部利用用于上述车辆的导航的路径信息和上述信号种类信息来输出信号变更引导。

并且，上述控制部可控制输出部在车辆从上述信号灯的信号变更时间点起，在预设定时间内维持停车状态的情况下，输出上述信号变更引导。

而且，上述控制部可控制输出部生成用于执行上述驾驶相关引导的指示符，并通过增强现实来输出所生成的上述指示符。

另一方面，用于实现上述目的的本发明一实施例的记录介质中可以记录有用于在计算机中执行上述电子装置的控制方法的程序代码。

根据上述本发明的多种实施例，可生成位于车辆处于停车或行驶过程中的道路的信号灯的信号种类信息，并基于此来执行车辆的驾驶相关引导。

并且，根据本发明的多种实施例，利用信号种类信息来向车辆的驾驶人员提示信号，从而可以执行辅助驾驶人员的作用。

并且，根据本发明的多种实施例，利用导航仪路径和信号种类信息来执行准确的信号变更提示，从而可以向使用人员提供方便性。

并且，根据本发明的多种实施例，可在增强现实上执行导航、信号引导、信号变更引导等车辆驾驶相关引导，从而以更加直观的方法向驾驶人员提供引导。

附图说明

图1为表示本发明一实施例的电子装置的框图。

图2为用于说明与本发明一实施例的电子装置相连接的系统网络的图。

图3为表示本发明一实施例的电子装置的控制方法的流程图。

图4为具体表示本发明一实施例的车辆的停车状态判断方法的流程图。

图5为表示本发明一实施例的从驾驶相关影像数据生成灰度影像数据的过程的图。

图6为具体表示本发明一实施例的电子装置的信号种类信息生成方法的流程图。

图7为表示本发明一实施例的从驾驶相关影像数据生成关注区域影像数据的过程的图。

图8为表示本发明一实施例的与停止信号相对应的关注区域影像数据及停止信号判断方法的图。

图9为表示本发明一实施例的与直行信号相对应的关注区域影像数据及直行信号判断方法的图。

图10为表示本发明一实施例的电子装置的信号变更引导方法的流程图。

图11为表示本发明的一实施例的信号变更引导画面的图。

图12为表示本发明一实施例的摄像头和电子装置为分离型的情况下的体现形态的图。

图13为表示本发明一实施例的摄像头和电子装置为一体型的情况下的体现形态的图。

图14为表示利用本发明一实施例的平视显示器及电子装置的体现形态的图。

具体实施方式

以下的内容仅仅例示本发明的原理。因此，本发明所属技术领域的技术人员可发明出虽然未在本说明书明确说明或图示，但可体现本发明的原理并包含于本发明的概念和范围的多种装置。并且，在本发明中列举的所有有条件的术语及实施例在原则上明确用于理解本发明的概念，并且，应理解为并不限定以如上所述的方式特别列举的实施例及状态。

并且，用于列举本发明的原理、观点及实施例，并列举特定实施例的所有详细说明应被理解为包含这种事项的结构性及功能性的等同技术方案。并且，这种等同技术方案应被理解为包括当前公开的等同技术方案，还包括今后将被研发的等同技术方案，即，以与结构无关地执行相同功能的方式发明的所有元件。

因此，例如，本说明书的框图应被理解为表示将本发明的原理具体化的例示性的回路的概念的观点。与此类似，所有流程图、状态转换图、伪代码等应被理解为无论是否实质性地显示于计算机可读介质，无论是否明确示出计算机或处理器，均表示借助计算机或处理执行的多种程序。

处理器或包括以与处理器相似的概念显示的功能块的附图中所示的多种元件的功能不仅可提供为专用硬件，而且可提供为与适当的软件相关地使用具有能够运行软件的功能的硬件。当通过处理器提供上述功能时，可借助单一专用处理器、单一共享处理器或多个个别处理器来提供上述功能，这些中的一部分可被共享。

并且，以处理、控制或与此相似的概念来提出的术语的明确使用不应以排除具有能够运行软件的能力的方式来解释，应以不受限制的方式理解为暗示性地包括数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)及非易失性存储器。还可包括周知的其他惯用的硬件。

在本说明书的发明要求保护范围中，表现为用于执行在详细的说明中所记载的功能的机构的结构要素包括如执行上述功能的回路元件的组合或包括执行含有固件/微码等的所有形式的软件的功能的所有方法，并与用于运行上述软件的适当的回路相结合，来执行上述功能。借助这种发明要求保护范围来定义的本发明，借助以多种方式列举的方法来提供的功能相结合，并与发明要求保护范围所要求的方式相结合，因而能够提供上述功能的任何方法也应理解为等同于从本说明书掌握的方法相同。

通过与附图相关的以下详细的说明，可更加明确上述的目的、特征及优点，由此，本发明所属技术领域的普通技术人员可容易地实施本发明的技术思想。并且，在对本发明进行说明的过程中，若判断对公知技术的具体说明有可能使本发明的主旨变得模糊，则将省略其详细说明。

以下，参照附图，对本发明的多种实施例进行详细说明。

图1为表示本发明一实施例的电子装置的框图。参照图1，电子装置100包括存储部110、输入部120、输出部130、车道线信息生成部140、车行道位置信息生成部150、增强现实供给部160、控制部170、通信部180、检测部190中的全部或一部分。

在这里，电子装置100可以体现为可向车辆驾驶人员提供驾驶相关引导的智能手机、平板电脑、笔记本电脑、个人数字助理(PDA，personal digital assistant)、便携式多媒体播放器(PMP，portable multimedia player)、智能眼镜、拓展现实眼镜、导航仪(navigation)、黑匣子(Black-box)等多种装置。

在这里，车辆的驾驶状态可包括车辆的停车状态、车辆的行驶状态、车辆的泊车状态等由驾驶人员驾驶的车辆的多种状态。

驾驶相关引导可包括导航、车道线脱离引导、前方车辆出发引导、信号引导、信号变更引导、防止与前方车辆碰撞引导、车行道变更引导、车行道引导等用于辅助驾驶人员驾驶车辆的多种引导。

在这里，导航可包括：增强现实导航，在拍摄正在行驶中的车辆的前方的影像中结合使用人员的位置、方向等各种信息来执行导航；以及二维(2D，2-Dimensional)或三维(3D，3-Dimensional)导航，在二维或三维地图数据中结合使用人员的位置、方向等各种信息来执行导航。在这里，导航可解释成不仅包括在使用人员乘坐车辆进行驾驶的情况下的导航，还包括使用人员以行走或奔跑的方式移动的情况下的导航的概念。

并且，车道线脱离引导可以为对行驶中的车辆是否脱离车道线进行引导。

并且，前方车辆出发引导可以引导位于处在停车中的车辆的前方的车辆是否出发。

并且，信号引导可以为对位于驾驶中的车辆的前方的信号灯的信号状态，如停止信号、直行信号、左转弯信号、右转弯信号等进行的引导。在这里，与各个信号相对应的信号的颜色及形态可按国家而不同。以韩国为例，停止信号可以为红色圆、直行信号可以为蓝色圆、左转弯信号可以为蓝色左向箭头、右转弯信号可以为蓝色右向箭头。

并且，信号变更引导可以为用于引导位于驾驶中的车辆的前方的信号灯的信号状态发生变更的引导。作为一例，若从停止信号变更为直行信号，则对此进行引导。

并且，防止与前方车辆碰撞的引导可以为若停车或行驶中的车辆与位于前方的车辆之间的距离在规定距离以内，则为了防止与前方车辆碰撞而进行引导。

并且，车行道变更引导可以为为了引导目的地为止的路径而引导车辆从车辆所处的车行道变更到其他车行道。

并且，车行道引导可以为对车辆当前所处的车行道所进行的引导。

这种能够提供多种引导的驾驶相关影像可通过朝向车辆的前方放置的摄像头来实时拍摄。在这里，摄像头可以为以与放置于车辆的电子装置100形成为一体，并拍摄车辆的前方的摄像头。在这种情况下，摄像头可以与智能手机、导航仪或黑匣子形成为一体，电子装置100可接收形成为一体的摄像头所拍摄的影像。

作为另一例，摄像头可以为与电子装置100分别放置于车辆，并拍摄车辆的前方的摄像头。在这种情况下，摄像头可以为朝向车辆的前方放置的单独的黑匣子，电子装置100通过有线/无线通信来接收单独放置的黑匣子所拍摄的影像，或若用于存储黑匣子所拍摄的影像的存储介质插入于电子装置100，则电子装置100可接收黑匣子所拍摄的影像。

以下，基于上述内容，对本发明一实施例的电子装置100进行更加具体的说明。

存储部110执行存储电子装置100的工作所需的多种数据及应用的功能。尤其，存储部110可存储电子装置100的工作所需的数据，如操作系统(OS)、路径探索应用、地图数据等。并且，存储部110可存储借助电子装置100的工作来生成的数据，如所探索到的路径数据、所接收的影像等。并且，存储部110可存储信号灯所包含的多种信号的位置关系信息。

在这里，存储部110不仅可以体现为随机存取存储器(RAM，Random AccessMemory)、闪存、只读存储器(ROM，Read Only Memory)、可擦除可编程式只读存储器(EPROM，Erasable Programmable ROM)、电可擦除可编程式只读存储器(EEPROM，ElectronicallyErasable and Programmable ROM)、寄存器、硬盘、可移动磁盘、内存卡、通用用户识别模块(USIM，Universal Subscriber Identity Module)等内置型存储元件，还可以体现为通用串行总线存储器等可拆装形态的存储元件。

输入部120执行将从电子装置100的外部输入的物理输入转换为特定的电信号的功能。在这里，输入部120可包括使用人员输入部121和传声器部123中的全部或一部分。

使用人员输入部121可接收触摸、推动动作等使用人员的输入。在这里，使用人员输入部121可利用多种按钮的形态、接收触摸式输入的触摸传感器、接收接近动作的接近传感器中的至少一个来体现。

传声器部123可接收使用人员的语音及从车辆的内外部产生的声音。

输出部130为用于输出电子装置100的数据的装置。在这里，输出部130可包括显示部131和音频输出部133中的全部或一部分。

显示部131为电子装置100输出能够以视觉性的方式识别的数据的装置。显示部131可以体现为设于电子装置100的外壳的前面的显示部。在这里，显示部131可以与电子装置100形成为一体，并输出视觉性的识别数据，还可如平视显示器，与电子装置100单独设置来输出视觉性的识别数据。

音频输出部133为电子装置100输出能够以听觉性的方式识别的数据的装置。音频输出部133能够通过表现声音的扬声器来体现电子装置100的应告知使用人员的数据。

通信部180可以为了使电子装置100与其他设备进行通信而设。通信部180可包括位置数据部181、无线互联网部183、广播收发部185、移动通信部186、近距离通信部187、有线通信部189中的全部或一部分。

位置数据部181为通过全球导航卫星系统(GNSS，Global Navigation SatelliteSystem)来获得位置数据的装置。全球导航卫星系统意味着可利用从人工卫星接收的电波信号来计算出接收终端的位置的导航系统。作为全球导航卫星系统的具体例，可根据运营主体分为全球卫星定位系统(GPS，Global Positioning System)、伽利略定位系统(Galileo)、格洛纳斯卫星导航系统(GLONASS，Global Orbiting Navigational SatelliteSystem)、北斗卫星导航系统(COMPASS)、印度区域导航卫星系统(IRNSS，Indian RegionalNavigational Satellite System)、准天顶卫星系统(QZSS，Quasi-Zenith SatelliteSystem)等。本发明一实施例的电子装置100的位置数据部181可通过接收向使用电子装置100的地区提供服务的全球导航卫星系统的信号来获得位置信息。

无线互联网部183为通过与无线互联网相连接来获得数据或发送信息的装置。可通过无线互联网部183来连接的无线互联网可以为无线局域网(WLAN，Wireless LAN)、无线宽带(Wibro，Wireless broadband)、全球微波互联接入(Wimax，World interoperabilityfor microwave access)、高速下行分组接入(HSDPA，High Speed Downlink PacketAccess)等。

广播收发部185为通过各种广播系统来收发广播信号的装置。可通过广播收发部185收发的广播系统可以为地面数字多媒体广播(DMBT，Digital MultimediaBroadcasting Terrestrial)、数字多媒体卫星广播(DMBS，Digital MultimediaBroadcasting Satellite)、高通提出的移动电视标准(Media FLO，Media Forward LinkOnly)、手持数字视频广播(DVBH，Digital Video Broadcast Handheld)、日本数字音频广播方案(ISDBT，Integrated Services Digital Broadcast Terrestrial)等。通过广播收发部185收发的广播信号可包括交通数据、生活数据等。

移动通信部186可根据第三代移动通信技术(3G，3rdGeneration)、第三代合作伙伴计划(3GPP,3rdGenerationPartnershipProject)、长期演进计划(LTE，Long TermEvolution)等多种移动通信规格与移动通信网相连接并进行通信。

近距离通信部187为用于进行近距离通信的装置。如上所述，近距离通信部187可通过蓝牙(Bluetooth)、射频识别(RFID，Radio Frequency Identification)、红外数据组织(IrDA、Infrared Data Association)、超宽带(UWB，Ultra WidBand)、紫蜂协议(ZigBee)、近场通信(NFC，Near Field Communication)、无线保真(Wi-Fi)等来进行通信。

有线通信部189为能够以有线方式使电子装置100与其他设备相连接的接口装置。有线通信部189可以为能够通过通用串行总线端口(USB Port)来进行通信的通用串行总线模块。

这种通信部180可利用位置数据部181、无线互联网部183、广播收发部185、移动通信部186、近距离通信部187、有线通信部189中的至少一个来与其他设备通信。

作为一例，在电子装置100不包括摄像功能的情况下，可利用近距离通信部187、有线通信部189中的至少一个来接收黑匣子等车辆用摄像头拍摄的影像。

作为另一例，在与多个设备通信的情况下，也可由一个设备通过近距离通信部187来通信，另一个设备通过有线通信部189通信。

检测部190为可检测电子装置100的当前状态的装置。检测部190可包括动作检测部191、光检测部193中的全部或一部分。

动作检测部191可检测电子装置100的三维空间上的运动。动作检测部191可包括三轴地磁传感器及三轴加速度传感器。可将通过动作检测部191获得的运动数据和通过位置数据部191获得的位置数据相结合，来计算出附着有电子装置100的车辆的更加准确的轨迹。

光检测部193为测定电子装置100的周边照度(illuminance)的装置。利用通过光检测部193获得的照度数据，可使显示部195的亮度与周边亮度相对应地发生变化。

电源部195为用于供给电子装置100的工作或与电子装置100相连接的其他设备的工作所需的电源的装置。电源部195可以为从内置于电子装置100的电池或车辆等外部电源处接收电源的装置。并且，根据接收电源的形态，电源部195可体现为有线通信模块119或体现为以无线的方式接收电源的装置。

另一方面，控制部170控制电子装置100的整体工作。具体地，控制部170可控制存储部110、输入部120、输出部130、信号种类信息生成部140、驾驶状态判断部150、增强现实供给部160、通信部180、检测部190中的全部或一部分。

信号种类信息生成部140可利用车辆的驾驶相关影像数据中的、信号灯的信号区域部分的影像数据来生成信号种类信息。

具体地，信号种类信息生成部140可在驾驶相关影像数据中决定包含信号灯的关注区域，并以预设定的像素值为基准，转换所决定的关注区域的影像数据，来生成关注区域影像数据。并且，信号种类信息生成部140可在关注区域影像数据适用具有第一面积的第一区域和包括第一区域并具有第二面积的第二区域来检测信号灯的信号区域部分的影像数据。并且，信号种类信息生成部140可对第二区域的面积像素值与第一区域的面积像素值的差值和预设定的面积像素值进行比较，并根据比较结果来生成信号灯的信号种类信息。

在这里，信号种类信息可以为用于分别识别可以在信号灯显示的多种信号的信息，可包括停止信号信息、直行信号信息、左转弯信号及右转弯信号灯。

另一方面，可在驾驶状态判断部150判断车辆处于停车状态的情况下，执行上述的信号种类信息生成部140的信号种类信息生成工作。

具体地，驾驶状态判断部150可利用驾驶相关影像数据来判断车辆是否处于停车状态。更具体地，驾驶状态判断部150可生成驾驶相关影像数据的灰度影像数据，并按时间顺序依次对所生成的灰度影像数据所包含的多个帧分别进行比较，从而判断车辆是否处于停车状态。

若驾驶状态判断部150的判断结果为车辆处于停车状态，则控制部170控制上述信号种类信息生成部140工作，来生成信号种类信息。

另一方面，控制部170可利用在信号种类生成部140生成的信号种类信息来执行车辆的驾驶相关引导。

作为一例，控制部170可控制输出部130利用在信号种类信息生成部140生成的信号种类信息来输出信号引导。具体地，控制部170可控制输出部130以图像或声音方式输出信号灯的信号状态如何，例如，是否是停止信号，是否是直行信号，是否是右转弯信号，是否是左转弯信号灯。

作为另一例，控制部170可控制输出部130利用在信号种类信息生成部140生成的信号种类信息及用于导航的路径信息来输出信号变更引导。具体地，在电子装置100执行到车辆的目的地的导航的情况下，控制部170可控制输出部130利用用于导航的路径信息和信号种类信息来输出信号变更引导。即，在停在交叉路的车辆的路径信息为直行方向的状态下，若在信号种类信息生成部140生成的信号种类信息从停止信号变更为左转弯信号，则控制部170可控制输出部130不输出信号变更引导。并且，即，在停在交叉路的车辆的路径信息为直行方向的状态下，若在信号种类信息生成部140生成的信号种类信息从停止信号变更为直行信号，则控制部170可控制输出部130在车辆从信号灯的信号变更时间点起，上述车辆维持停车状态的时间经过预设定的时间的情况下输出信号变更引导。

另一方面，控制部170可使电子装置100基于增强现实来执行驾驶相关引导。在这里，增强现实可以为在呈现使用人员实际看到的现实世界的画面中以在视觉上重叠的方式供给附加信息(例如，表示关注的地点(Point Of Interest：POI)的图形要素、表示到达目的地的路径的图形要素等)的方法。在这种情况下，控制部170能够与增强现实供给部160相联动来生成用于执行驾驶相关引导的指示符，并可通过输出部130来输出所生成的指示符。作为一例，增强现实可通过利用车辆前挡风玻璃的平视显示器或其他影像输出装置的影像叠加来提供，像这样，增强现实供给部160可生成现实影像或叠加于玻璃的界面影像等。由此，可体现增强现实导航仪或车辆信息系统等。

图2为用于说明与本发明一实施例的电子装置相连接的系统网络的图。参照图2，本发明的一实施例的电子装置100可体现为导航仪、黑匣子、智能手机或其他车辆用增强现实界面供给装置等设置于车辆的各种装置，并且可与多种通信网及其他电子设备61、62、63、64相连接。

并且，电子装置100可根据从人工卫星20接收的电波信号来与全球定位系统相联动，从而计算出当前的位置及当前的时间。

各个人工卫星20可发送频率波段不同的L波段频率。电子装置100可基于从各人工卫星20发送的L波段频率到达电子装置100所需的时间来计算出当前的位置。

另一方面，电子装置100可通过通信部180，并借助控制站(ACR)40、基站(RAS)50等来以无线方式与网络30相连接。若电子装置100与网络30相连接，则还能与以间接的方式与网络30相连接的其他电子设备61、62相连接，并交换数据。

另一方面，电子装置100还可以通过具有通信功能的其他设备63来以间接的方式与网络30相连接。例如，在电子装置未具有可以与网络30相连接的模块的情况下，可通过近距离通信等来与具有通信功能的其他设备63进场通信。

图3为表示本发明一实施例的电子装置的信号种类信息生成方法的流程图。参照图3，首先，电子装置100可利用驾驶相关影像数据来判断车辆是否处于停车状态(步骤S101)。

而且，若判断为车辆处于停车状态，则电子装置100可利用车辆的驾驶相关影像数据中的、信号灯的信号区域部分的影像数据来生成信号种类信息(步骤S102)。

而且，可利用所生成的信号种类信息来执行车辆的驾驶相关引导(步骤S103)。

图4为具体表示本发明一实施例的车辆的停车状态判断方法的流程图。参照图4，首先，电子装置100可生成驾驶相关影像数据的灰度影像数据(步骤S201)。在这里，车辆的驾驶相关影像可包括车辆的停车、行驶等的影像。而且，车辆的驾驶相关影像可以为在电子装置100所包括的摄像头模块中所拍摄的影像或电子装置100接收的在其他装置中拍摄的影像。而且，车辆的驾驶相关影像可以为彩色(RGB，Red Green Blue)影像。对此，将参照图5来进行具体说明。

图5为表示本发明一实施例的从驾驶相关影像数据生成灰度影像数据的过程的图。参照图5，驾驶状态判断部150可接收如图5的(a)部分所示的作为彩色影像的驾驶相关影像数据，并可执行灰度变换来生成如图5的(b)部分所示的灰度影像数据。

而且，电子装置100可分别对所生成的灰度影像数据所包含的多个帧进行比较(步骤S202)。具体地，驾驶状态判断部150可按时间顺序依次分别比较灰度影像数据所包含的多个帧。

而且，电子装置100可根据比较结果来判断车辆是否处于停车状态(步骤S203)。作为一例，驾驶状态判断部150计算当前帧与之前帧的差值，并将所计算出的值与预设定的值进行比较，从而可判断车辆是否处于停车状态。

根据这种如图4所示的车辆停车状态判断方法，利用灰度影像数据来判断车辆是否处于停车状态，从而可提高图像处理速度，由此，可在行驶、停车状态时刻变化的驾驶状态下，迅速判断车辆是否处于停车状态。

另一方面，如上述的图4所示的车辆停车状态判断方法仅仅是本发明的一例示，本发明并不局限于此。因此，可利用基于动作检测部191的检测信息来判断车辆是否处于停车状态等的多种车辆停车状态判断方法。

图6为具体表示本发明一实施例的电子装置的信号种类信息生成方法的流程图。参照图6，首先，电子装置100可在驾驶相关影像数据中决定包括信号灯的关注区域(步骤S301)。

在这种情况下，作为一例，信号种类信息生成部140可利用消失点(Vanishingpoint)来在驾驶相关影像数据中决定包括信号灯的关注区域。即，信号种类信息生成部140可从车辆的驾驶过程中由摄像头拍摄的拍摄影像中抽取车道线，并将延伸所抽取的车道线来相互交叉的点决定为消失点。并且，信号灯位于消失点的上部区域，信号种类信息生成部140可将所决定的消失点的上部区域决定为关注区域。

另一方面，作为另一例，信号种类信息生成部140可在驾驶相关影像数据中将事先设定的规定区域决定为关注区域。

而且，电子装置100能够以预设定的像素值为基准来对所决定的关注区域的影像数据进行转换，从而生成关注区域影像数据(步骤S302)。在这种情况下，作为一例，信号种类信息生成部140可将所决定的关注区域的影像数据适用于以下数学式1来生成关注区域影像数据。

数学式1：

其中，R、G、B可以为所决定的关注区域的影像数据的R值、G值、B值，K可以为成为转换基准的预设定的像素值，x、y、z可以为特定系数。作为一例，K可以为平均像素值128。

由此，信号种类信息生成部140可生成明确划分信号灯的信号区域部分的关注区域影像数据。

另一方面，分别与信号灯所包括的多种信号相对应的信号的颜色和/或形态可按国家而不同。以韩国为例，停止信号可以为红色圆、直行信号可以为蓝色圆、左转弯信号可以为蓝色左向箭头、右转弯信号可以为蓝色右向箭头。

因此，上述的预设定的像素值及x、y、z可根据算法来具有互不相同的值。

对于这种步骤S301、步骤S302，将参照图7来进行具体说明。

图7为表示本发明一实施例的从驾驶相关影像数据生成关注区域影像数据的过程的图。参照图7，信号种类信息生成部140可在如图7的(a)部分所示的驾驶相关影像数据中决定包括信号灯的关注区域。

而且，信号种类信息生成部140可转换所决定的关注区域的影像数据，来生成如图7的(b)部分所示的关注区域影像数据702。在这种情况下，信号种类信息生成部140能够以预设定的像素值为基准，转换所决定的关注区域的影像数据，来生成关注区域影像数据702。

由此，信号种类信息生成部140可生成信号灯的信号区域部分703得到明确划分的关注区域影像数据。

另一方面，电子装置100可在关注区域影像数据中适用第一区域、第二区域来检测信号灯的信号区域部分的影像数据(步骤S303)。具体地，信号种类信息生成部140可对关注区域影像数据适用具有第一面积的第一区域和包括第一区域并具有第二面积的第二区域来检测信号灯的信号区域部分的影像数据。在这里，第一区域、第二区域可以为与信号灯的信号的形状相对应的形状。作为一例，在信号灯的信号为圆形、椭圆形、四角形的情况下，第一区域及第二区域可以为圆形、椭圆形、四角形。

另一方面，电子装置100可对第二区域的面积像素值与第一区域的面积像素值的差值和预设定的面积像素值进行比较(步骤S304)。在这里，预设定的面积像素值可通过反映分别与信号灯所包含的多种信号相对应的颜色和/或形状等来发生变更。

而且，电子装置100可根据比较结果来生成信号灯的信号种类信息(步骤S305)。

对于步骤S303、步骤304及步骤305，将参照图8至图9来进行具体说明。

图8为表示本发明的一实施例的与停止信号相对应的关注区域影像数据及停止信号判断方法的图。在信号灯显示红色的停止信号的情况下，若信号种类信息生成部140以预设定的像素值为基准对包括信号灯的关注区域的影像数据进行转换，则可生成如图8的(a)部分所示的关注区域影像数据801。在这里，如802所示，可在关注区域影像数据801上生成信号灯的红色停止信号。

在这种情况下，信号种类信息生成部140可在关注区域影像数据801适用第一区域804、第二区域803来检测信号灯的信号区域部分802的影像数据。

而且，信号种类信息生成部140可对第二区域803的面积像素值与第一区域804的面积像素值之间的差值和预设定的面积像素值进行比较来生成信号灯的信号种类信息。作为一例，若第二区域803的面积像素值与第一区域804的面积像素值之间的差值小于预设定的面积像素值(即，在如图8的(b)部分所示的情况下，第一区域804的面积像素值大)，则信号种类信息生成部140可将信号种类信息判断为停止信号。

图9为表示本发明一实施例的与直行信号相对应的关注区域影像数据及直行信号判断方法的图。在信号灯显示蓝色的直行信号的情况下，若信号种类信息生成部140以预设定的像素值为基准对包括信号灯的关注区域的影像数据进行转换，则可生成如图9的(a)部分所示的关注区域影像数据901。在这里，如902所示，可在关注区域影像数据901上生成信号灯的蓝色直行信号。

在这种情况下，信号种类信息生成部140可在关注区域影像数据901适用第一区域904、第二区域903来检测信号灯的信号区域部分902的影像数据。

而且，信号种类信息生成部140可对第二区域903的面积像素值与第一区域904的面积像素值之间的差值和预设定的面积像素值进行比较来生成信号灯的信号种类信息。作为一例，在第二区域903的面积像素值与第一区域904的面积像素值之间的差值大于预设定的面积像素值(即，在如图9的(b)部分所示，第一区域904的面积像素值小)的情况下，信号种类信息生成部140可将信号种类信息判断为直行信号。

另一方面，虽然在图8至图9中省略，但对左转弯信号、右转弯信号灯等转弯信号的判断也能以与上述的方法相似的方式执行。即，信号种类信息生成部140可利用上述的方法和/或信号灯的信号区域部分的影像数据的形状(例如，箭头形状)来判断转弯信号。

根据这种如图6所示的信号种类信息生成方法，以预设定的像素值为基准，以将关注区域的影像数据平均化的状态来判断信号种类信息，因而可提高影像处理速度，由此，可在行驶、停车状态时刻变化的驾驶状态下，可迅速判断信号种类信息。

另一方面，如上述的图6所示的信号种类信息生成方法仅仅是本发明的一例示，本发明并不局限于此。因此，可利用从作为彩色影像的驾驶相关影像数据检测与停止信号相对应的红色信号或与直行信号相对应的蓝色信号来判断信号种类信息等多种信号种类信息生成方法。

另一方面，根据本发明的一实施例，若判断信号种类信息为停止信号，则信号种类信息生成部140可事先使第一区域及第二区域在关注区域影像数据中位于用来显示出发信号、左转弯/右转弯等的转弯信号的区域。在这种情况下，信号种类信息生成部140可利用存储于存储部110的多种信号的位置关系信息来使第一区域及第二区域事先位于上述位置。在这种情况下，通过提高影像处理速度，可更加迅速地判断从停止信号变更为直行信号或左转弯/右转弯等的转弯信号。

图10为表示本发明一实施例的电子装置的信号变更引导方法的流程图。参照图10，电子装置100可获得用于导航的路径信息(步骤S401)。具体地，在电子装置100执行车辆至目的地的导航的情况下，控制部170可获得在车辆的当前位置用于导航的路径信息。

而且，电子装置100可判断信号是否变更(步骤S402)。具体地，控制部170可基于在信号种类信息生成部140生成的信号种类信息来判断信号是否变更。

而且，在信号变更的情况下，电子装置100可根据所变更的信号来判断车辆是否应该行驶(步骤S403)。作为一例，在停在交叉路的车辆的路径信息为直行方向的状态下，若在信号种类信息生成部140生成的信号种类信息从停止信号变更为左转弯信号，则控制部170可判断车辆不应行驶。作为另一例，在停在交叉路的车辆的路径信息为直行方向的状态下，若在信号种类信息生成部140生成的信号种类信息从停止信号变更为直行信号，则控制部170可判断车辆应该行驶。

并且，在车辆应该行驶的情况下，电子装置100可判断车辆从信号灯的信号变更时间点起，在预设定的时间内是否维持停车状态(步骤S404)。

而且，若车辆在预设定的时间内维持停车状态，则电子装置100可输出信号变更引导(步骤S405)。

图11为表示本发明的一实施例的信号变更引导画面的图。参照图11，本发明一实施例的电子装置100可显示增强现实上的信号变更引导画面。

作为一例，若信号灯的信号状态从如图11的(a)部分所示的停止信号变更为如图11的(b)部分所示的直行信号，则增强现实供给部160生成用于在增强现实上进行引导的覆盖于增强现实的指示符，并如图11的(b)部分所示，可在增强现实上输出所生成的信号变更引导指示符1101。

图12为表示本发明一实施例的摄像头和电子装置为分离型的情况下的体现形态的图。参照图12，分别设置的车辆用导航仪100和车辆用黑匣子200可利用有线/无线通信方式来构成本发明一实施例的系统。

车辆用导航仪100可包括：显示部145，设于导航仪的外壳191的前表面；导航仪操作键193；以及导航仪传声器195。

车辆用黑匣子200可在行驶过程及停车过程中获得车辆的数据。即，不仅可以拍摄车辆在行驶过程中的影像，而且在车辆停车的情况下，也可以拍摄影像。通过车辆用黑匣子200来获得的影像的清晰度可恒定或发生变化。例如，在发生事故前后，可使影像的清晰度高，而在通常的情况下，降低清晰度，从而可将所需的存储空间最小化，并存储关键影像。

车辆用黑匣子200可包括黑匣子摄像头222、黑匣子传声器224及附着部281。

另一方面，虽然图12示出车辆用导航仪100和单独设置的车辆用黑匣子200通过有线/无线通信方式互相连接，但车辆用导航仪100和车辆用黑匣子200也可以无需通过有线/无线通信方式相连接。在这种情况下，若用于存储黑匣子200的拍摄影像的存储介质插入于电子装置100，则电子装置100可接收所拍摄的影像。另一方面，还可以使车辆用黑匣子200具有车辆用导航仪100的功能，或者可以使车辆用导航仪100具有摄像头并实现一体化。对此，将参照图13来进行详细说明。

图13为表示本发明一实施例的摄像头和电子装置为一体型的情况下的体现形态的图。参照图13，在电子装置包含摄像头功能的情况下，使用人员能够以电子装置的摄像头部分拍摄车辆的前方，使用人员可以识别电子装置的显示部分的方式放置电子装置。由此，可体现本发明一实施例的系统。

图14为表示利用本发明一实施例的平视显示器及电子装置的体现形态的图。参照图14电子装置可通过有线/无线通信方式与平视显示器相连接，并在平视显示器上显示增强现实引导画面。

另一方面，能够以程序代码体现上述本发明的多种实施例的电子装置的控制方法来，从而以存储于多种非临时性的可读介质(non-transitory computer readablemedium)状态向各服务器或设备提供。

非临时性的可读介质并不意味着寄存器、高速缓冲存储器、存储器等短时间存储数据的介质，而是意味着半永久性存储数据，并能借助设备来读取(reding)的介质。具体地，上述的多种应用或程序可存储于光盘(CD)、数字多功能光盘(DVD)、硬盘、蓝光光盘、通用串行总线、记忆卡、只读存储器等非临时性的可读介质来提供。

并且，以上对本发明的优选实施例进行了图示和说明，但本发明并不局限于上述的特定实施例，在不脱离发明要求保护范围中申请的本发明的主旨的情况下，可由本发明所属技术领域的普通技术人员对本发明实施多种变形，并且，这些变形实施方式不应脱离本发明的技术思想或本发明的前景来单独理解。

Claims (16)

1.一种电子装置的控制方法，该控制方法包括：

利用车辆的驾驶相关影像数据中的、信号灯的信号区域部分的影像数据来生成信号种类信息；以及

利用所生成的信号种类信息来执行车辆的驾驶相关引导，

其中，生成信号种类信息包括：

在驾驶相关影像数据中决定包括信号灯的关注区域；

以预设定的像素值为基准，转换所决定的关注区域的影像数据；

生成关注区域的影像数据，其中根据转换来区分信号灯的信号区域部分和非信号区域部分；

根据信号区域部分的影像数据来计算第二区域的面积像素值和第一区域的面积像素值；

对第二区域的面积像素值和第一区域的面积像素值之间的差值与预设定的面积像素值进行比较；

根据比较结果来生成信号灯的信号种类信息，

其中，第一区域具有第一面积，第二区域包括第一区域并具有第二面积。

2.根据权利要求1所述的控制方法，该控制方法还包括：

利用驾驶相关影像数据来判断车辆是否处于停车状态的步骤，

若判断为车辆处于停车状态，则执行生成信号种类信息的步骤。

3.根据权利要求2所述的控制方法，其中，判断车辆是否处于停车状态的步骤包括：

生成驾驶相关影像数据的灰度影像数据的步骤；以及

分别对所生成的灰度影像数据所包含的多个帧进行比较，来判断车辆是否处于停车状态的步骤。

4.根据权利要求2所述的控制方法，其中，信号种类信息是用于分别识别能够在信号灯显示的多种信号的信息。

5.根据权利要求4所述的控制方法，其中，执行车辆的驾驶相关引导的步骤包括利用信号种类信息来输出信号引导的步骤。

6.根据权利要求4所述的控制方法，其中，执行车辆的驾驶相关引导的步骤包括利用用于车辆的导航的路径信息和信号种类信息来输出信号变更引导的步骤。

7.根据权利要求6所述的控制方法，其中，从信号灯的信号变更时间点起，车辆维持停车状态的时间经过预设定的时间的情况下，执行输出信号变更引导的步骤。

8.根据权利要求7所述的控制方法，其中，输出信号变更引导的步骤包括：

生成用于执行驾驶相关引导的指示符的步骤；以及

通过增强现实来输出所生成的指示符的步骤。

9.一种电子装置，该电子装置包括：

信号种类信息生成部，利用车辆的驾驶相关影像数据中的、信号灯的信号区域部分的影像数据来生成信号种类信息；以及

控制部，利用所生成的信号种类信息来执行车辆的驾驶相关引导，

其中，信号种类信息生成部配置为：

在驾驶相关影像数据中决定包括信号灯的关注区域，

以预设定的像素值为基准，转换所决定的关注区域的影像数据，

生成关注区域的影像数据，其中根据转换来区分信号灯的信号区域部分和非信号区域部分；

根据信号区域部分的影像数据来计算第二区域的面积像素值和第一区域的面积像素值；

对第二区域的面积像素值和第一区域的面积像素值之间的差值与预设定的面积像素值进行比较；

根据比较结果来生成信号灯的信号种类信息，

其中，第一区域具有第一面积，第二区域包括第一区域并具有第二面积。

10.根据权利要求9所述的电子装置，该电子装置还包括：

驾驶状态判断部，驾驶状态判断部利用驾驶相关影像数据来判断车辆是否处于停车状态，

若判断为车辆处于停车状态，则控制部控制信号种类信息生成部生成信号种类信息。

11.根据权利要求10所述的电子装置，其中，驾驶状态判断部生成驾驶相关影像数据的灰度影像数据，并分别对所生成的灰度影像数据所包含的多个帧进行比较，来判断车辆是否处于停车状态。

12.根据权利要求10所述的电子装置，其中，信号种类信息是用于分别识别能够在信号灯显示的多种信号的信息。

13.根据权利要求12所述的电子装置，其中，控制部控制输出部利用信号种类信息来输出信号引导。

14.根据权利要求12所述的电子装置，其中，控制部控制输出部利用用于车辆的导航的路径信息和信号种类信息来输出信号变更引导。

15.根据权利要求14所述的电子装置，其中，从信号灯的信号变更时间点起，车辆维持停车状态的时间经过预设定的时间的情况下，控制部控制输出部输出信号变更引导。

16.根据权利要求13至15中的任一项所述的电子装置，其中，控制部生成用于执行驾驶相关引导的指示符，并且以通过增强现实来输出所生成的指示符的方式控制输出部。

Images