本申请是申请日为2009年5月26日,申请号为201210118298.7(原母案申请号为200910203622.3),发明名称为“电子设备及无接触控制电子设备的方法”的分案申请。
具体实施方式
为解决传统人机界面的前述缺陷,实现了如下的新颖人机界面,其包括安装于电子设备内的传感器模块和数字摄像机模块。传感器模块检测到物体(例如手、笔或其它)接近电子设备时,数字摄像机模块被激活以聚焦于该物体上并捕获(capture)所聚焦物体的图像。安装于电子设备内的处理器分析已捕获图像,并据此根据分析的已捕获图像控制其中的一个或多个电子装置。图1A、图1B和图1E为移动电话100由手120或所握的笔130通过嵌入式摄像机模块110捕获图像进行远程控制而无需接触的示意图。
图2为具有各种电子装置的移动电话100的一个实施例的硬件结构示意图,其中各种电子装置例如处理器211、数字图像处理模块231、传感器模块233、非易失性内存/储存器装置251、易失性内存253、放映机(projector)模块271、声音播放模块273、振动模块275、电信模块277和数字电视接收模块279。需要知道的是,在本发明的范围和精神内,所介绍的人机界面亦可应用于个人数字助理(personaldigitalassistants,PDA)、数字音乐播放器、便携式多媒体播放器、数字电视/视频播放器和数字摄像机等。
在全球移动通信系统(GlobalSystemforMobileCommunications,GSM)网络中,具有处理器211和电信模块277的移动电话100可操作于闲置模式和专用模式。闲置模式中,移动电话100从特定网络运营商提供的基站中搜寻或测量具有较好信号质量的广播控制信道(BroadcastControlChannel,BCCH)、或者与特定基站的广播控制信道同步并准备在随机接入信道(RandomAccessChannel,RACH)中实施随机接入程序以请求专用信道。在专用模式中,移动电话100专用一个物理信道,尝试与之同步,并且建立可相互切换的逻辑信道。
特别地,在闲置模式中,移动电话100经由电信模块277从基站连续地收听广播控制信道。此外,移动电话100读取广播控制信道信息并进行广播控制信道载波的周期信号强度测量,以选择待接(campon)的一个网络单元。同时,收集并储存无线资源管理(RadioResourceManagement,RR)和其它信号发送程序所需的数据,例如相邻广播控制信道载波列表、无线资源管理算法阈值、公共控制信道(CommonControlChannel,CCCH)配置、与使用随机接入信道和寻呼信道(Pagingchannel,PCH)相关的信息或者其它。请注意,收集和储存的信息(系统信息SI,类型1-4)由基站系统于广播控制信道上广播,因此可用于当前网络单元中的所有移动电话。基站系统进一步在所有寻呼信道上连续发送网络单元有效层3消息(寻呼请求),藉此,移动用户(MobileSubscriber,MS)可译码并识别其地址(例如特定SIM卡的国际移动用户标识)是否被寻呼(例如,是否检测到对移动电话100的移动台终止的呼叫请求)。
请注意,与网络(例如基站系统、移动交换中心等)进行的每个信令消息交换需求移动用户和网络间的无线资源管理连接和Dm信道链路接入协议(LinkAccessProtocolontheDChannel,LAPDm)连接。无线资源管理连接可由移动电话100或网络启动(initiated)。无线资源管理连接被成功启动后,信令消息可由高层协议层、连接管理(ConnectionManagement,CM)和移动性管理(MobilityManagement,MM)接收并传输。此外,移动电话100可拥有具有适当的慢速关联控制信道/快速关联控制信道(Slow/FastAssociatedControlChannel,SACCH/FACCH)的独立专用控制信道(Stand-aloneDedicatedControlChannel,SDCCH)或业务信道(TrafficChannel,TCH)用于互斥的(exclusive)双向使用。
从移动电话100启动移动性管理连接需求无线资源管理连接的存在。同时,多个移动性管理连接可使用单个无线资源管理连接。若移动性管理连接被启动,移动电话100可向网络发送连接管理服务请求消息CM-SERVICEREQUEST。消息CM-SERVICEREQUEST包括关于移动用户的信息(国际移动用户标识或临时移动用户识别)、以及关于请求的服务(例如,向外语音呼叫、短消息服务传输、辅助服务的激活或注册等)的信息,其中临时移动用户识别在一个位置区仅具有一个本地有效值(significance),并且必须共同作用于位置区识别(LocationAreaIdentity,LAI)以用于用户识别。
在宽带码分多址(WidebandCodeDivisionMultipleAccess,WCDMA)和时分同步的码分多址(TimeDivision-SynchronousCodeDivisionMultipleAccess,TD-SCDMA)系统中,具有处理器211和电信模块277的移动电话100可操作于闲置模式和连接模式。闲置模式中,移动电话100经由电信模块277连续收听广播控制信道以获取系统信息(SYSTEMINFORMATION,SI),系统信息包括网络运营商独有的公用陆地移动网络(Public-Land-Mobile-Network,PLMN)码。特别地,移动用户为选择的PLMN搜寻合适的网络单元,选择该网络单元以提供可用服务,并且收听(tuneinto)所选择网络单元的控制信道(也称为待接一个网络单元)。当在闲置模式中待接一个网络单元时,移动电话100可从基站接收系统信息和网络单元广播消息。移动电话100传输建立无线资源控制(RadioResourceControl,RRC)连接的请求前,移动电话100处于闲置模式。闲置模式中,移动电话100由非接入层特性(identities)识别,例如国际移动用户标识、临时移动用户识别和分组临时移动用户识别(P-TMSI)。
在连接模式的Cell_DCH状态中,对移动电话100分配专用物理信道,通过网络单元上移动电话100的服务无线网络控制器(Servingradionetworkcontroller,RNC)或有效集电平(activesetlevel),可获知移动电话100。移动电话100监控系统信息消息的前向接入信道(ForwardAccessChannel,FACH)。在连接模式的Cell_FACH状态中,不对移动用户分配专用物理信道,而是分配随机接入信道和前向接入信道,用于传输信令消息和少量用户平面(userplane)数据。Cell_FACH状态中,移动电话100还收听广播信道(BroadcastChannel,BCH)以获取系统信息。在连接模式的Cell_PCH状态中,当移动电话100由服务无线网络控制器在网络单元电平(celllevel)被识别时,只能通过寻呼信道进行联系移动电话100。同时,连接模式的URA_PCH状态非常类似于Cell_PCH状态,区别在于移动电话100在每个网络单元重新选择后不执行网络单元更新,而是从广播信道读取UMTS陆地无线接入网络(TerrestrialRadioAccessNetwork,UTRAN)注册区(RegistrationArea,URA)特性,并且只有在注册区改变(重新选择网络单元)时,移动用户通知服务无线网络控制器其位置。此外,当释放无线资源控制连接或无线资源控制连接失败时,移动电话100离开连接模式并恢复为闲置模式。
移动电话100与陆地无线接入网络UTRAN(RNC)间的无线资源控制连接和信令无线承载(SignalingRadioBearers,SRB)的建立可由来自移动电话100的较高层(非接入层)的请求启动。此外,网络导向(network-originated)情况的无线资源控制寻呼消息优先于该建立。UTRAN(RNC)以无线资源控制连接建立消息进行响应,其中无线资源控制连接建立消息包括为移动电话100分配的专用物理信道(移至Cell_FACH状态)或指示移动电话100使用公用信道(移至Cell_FACH状态)的命令。
GSM中,包括建立、控制和终止呼叫程序的呼叫控制(CallControl,CC)是连接管理的多种实体中一种。当移动电话100发出呼叫(即移动台发起的呼叫)时,呼叫控制实体首先向本地移动性管理实体请求移动性管理连接。对于简单呼叫,移动电话100必须向网络注册,然而,对于紧急呼叫,可选择性地需求移动电话100向网络注册。特别地,对于未注册的移动电话100,紧急呼叫建立在未加密的无线资源管理连接上。成功建立移动性管理连接和用户数据加密激活后,通知服务-请求呼叫控制实体。移动电话100于该连接上发出在移动交换中心连接呼叫控制实体的请求(SETUP)。移动交换中心以多种方式响应该连接请求。首先,移动交换中心以一个消息“呼叫进行中(CALLPROCEEDING)”进行响应,以指示该呼叫请求已被接收并且用于建立该呼叫的所有必要信息均可用。其次,移动交换中心以一个消息“释放完成(RELEASECOMPLETE)”进行响应,以指示该呼叫请求已被拒绝。当由呼叫方(例如移动电话或无线电话的相应节点)产生一个连接,移动用户接收一个告警(ALERTING)消息;当被叫方接受该呼叫,返回连接(CONNECT)消息,该连接消息包含“连接确认消息”用于确认连接成功建立,因此建立该呼叫和相关用户数据连接。此外,GSM中呼叫控制具有多种特性,尤其占用(accountfor)无线信道的有限资源。特别地,若没有立即的空闲业务信道用于建立呼叫,移动电话100的呼叫请求可进入队列(呼叫队列)。呼叫等待分配业务信道的最长等待时间可根据运营商需求来设定。并且,可选择何时进行实际的分配业务信道。举例而言,在确认呼叫请求后(呼叫进行中),可立即分配业务信道,也称为提前分配(earlyassignment)。另一方面,可先对呼叫进行处理,只有在目标用户正在被呼叫时才进行分配,也称为晚分配(lateassignment)或非占空呼叫建立(Off-AirCallSetup,OACSU)。若被叫方不可用,则OACSU可避免业务信道不必要的分配。另一方面,也有可能是,一个成功的呼叫请求发送程序后,在被叫方接受该呼叫前,不对呼叫方分配业务信道,则该呼叫不能够成功切换并且不得不停止。请注意,对于WCDMA或TD-SCDMA系统的呼叫控制与GSM系统的呼叫控制类似,简洁起见不再赘述。
图2中的放映机模块271自非易失性内存/储存器装置251或易失性内存253中获取静态图像或视频序列,并使用透镜系统将相应图像放映到平面、墙等上。放映机模块271可包含液晶覆硅(LiquidCrystalonSilicon,LCoS)单元或数字光处理(DigitalLightProcess,DLP)单元以发射强光(以流明作单位,简称“lm”),以放映静态图像、视频影片、电视节目或其它。
若具有数字电视接收模块279和放映机模块271,则移动电话100可视为数字电视播放器。移动电话100可利用其数字电视接收模块279和放映机模块271接收并处理陆地数字视频广播(DigitalVideoBroadcasting–Terrestrial,DVB-T)或手持式数字视频广播(DigitalVideoBroadcasting–Handheld,DVB-H)或其它类似视频信号。
DVB-T系统使用具有级联信道编码的正交频分复用(Orthogonalfrequency-divisionmultiplexing,OFDM)调制(即COFDM)传输MPEG音频/视频流。将视频流、音频流和数据流复用至一个MPEG节目流(MPEGProgramStream,MPEGPS),并且一个或多个MPEG节目流汇集为一个MPEG传输流(MPEGTransportStream,MPEGTS)。MPEG节目流可以为MPEG-1、MPEG-2、MPEG-4、H.263或H.264或其它类似流。MPEG传输流是数字电视接收模块279传输并接收的基本数字流。请注意,使用分层传输(hierarchicaltransmission)技术可同时传输两个不同的传输流。举例而言,分层传输可用于在相同的载波上传输标准定义电视(SDTV)信号和高清电视(HDTV)信号。依据接收到的信号质量,数字电视接收模块279可选择性的解码HDTV流和SDTV流。MPEG传输流可表示为固定长度的数据包(例如188字节)序列。DVB-H是将广播服务传送给手持式接收器的技术规范。DVB-H采用一种节电算法,该算法基于不同服务(例如电视节目)的时间复用传输。发射机(transmitter)的时间分片(timeslicing)模块所实施的时间分片可节省大量的电池能量。对于DVB-H,服务复用以纯时分复用(puretime-divisionmultiplex)的方式实施。因此,一种特定服务的数据并不会连续传输,而是以中间有中断的压缩周期性突发(burst)传输。此外,若移动电话100从一个网络单元移至另一个只具有一个接收单元的网络单元时,时间分片允许软切换(softhandover)。DVB-H与DVB-T系统不同,DVB-H基于网络协议(InternetProtocol,IP)。DVB-H基带界面为IP界面,其可使DVB-H系统轻易的与基于IP的其它网络集成。
传感器模块233可以是接近检测器(proximitydetector)、电容式传感器或其它,用于检测接近移动电话100的物体的存在。图1C为嵌入式光传感器150检测手120接近移动电话100的示意图。嵌入式光传感器150包括发射机151、接收器153和控制单元(图中未显示),其中发射机151用于发射红外信号,接收器153用于接收手120反射的红外信号,当接收器153检测到一定量的反射红外信号时,控制单元(图中未显示)产生指示信号,该指示信号可指示一个物体接近移动电话100。图1D为嵌入式电容式传感器170检测手120接近移动电话100的示意图。因为人体是一个电容(人体电容),当手靠近时电容式传感器170的电容值增加。电容式传感器170检测其本身和附近人体间的电容值,并当检测到电场中的变化满足一个或多个预设标准时产生指示信号,该指示信号可指示手接近移动电话100。
图2所示的数字图像处理模块231用于捕获数字摄像机模块110(图1A或图1B所示)前的物体。图3为应用于数字图像处理模块231(如图2所示)实施例的硬件环境示意图,数字图像处理模块231包括图像传感器芯片310、前端信号处理器330、图像信号处理器350、视频编码器370、帧缓冲器391和运动向量(motionvector)储存单元393。数字图像处理模块231将色彩图像记录为红、绿和蓝光的强度,并将其在图像传感器芯片310上储存为可变电荷,其中图像传感器芯片310可例如互补金氧半导体(complementarymetal-oxidesemiconductor,CMOS)或电荷耦合装置(charge-coupleddevice,CCD)图像传感器芯片。实际上为模拟的电荷经由前端信号处理器330转换为数字信号,以用于下面的处理。图像信号处理器350基于转换的数字信号产生初始Bayer样式图像。Bayer样式的每个像素包含只与一个色彩组分(例如G、B或R)相关的信息。安装于图像信号处理器350中的色彩内插单元可插入Bayer样式图像以得到完整的色彩图像,即RGB位图图像(bitmapimage)。RGB位图图像可记录例如手、笔或其它的物体。生成的RGB位图图像的每个像素包含与三个色彩组分(例如G、B或R)相关的信息。RGB位图图像可进一步由安装于图像信号处理器350中的伽马校正(gammacorrection)单元进行处理,以对其实施伽马校正处理并产生已校正RGB位图图像,其中已校正RGB位图图像可进一步由安装于图像信号处理器350中的RGB至YCbCr变换单元转换为YCbCr位图图像。RGB或YCbCr位图图像可储存于帧缓冲器391用于下面的分析。应了解,帧缓冲器391可在非易失性内存/储存器装置251(图2所示)或者易失性内存253(图2所示)中实现。请注意,在一些实施例中,只储存每个RGB或YCbCr位图图像的R或Y组分,以增加分析性能和减小储存容量。从一个或多个全部的或简化的RGB或YCbCr位图图像中提取某些特征,并且分析这些特征以检测是否捕获到特定姿势的存在。
视频编码器370从图像信号处理器350或帧缓冲器391接收一系列捕获的YCbCr位图图像(也称为静态图像),并实施相关的编码程序。捕获的YCbCr位图图像包括时间冗余(temporalredundancy)。时间冗余即指YCbCr位图图像间相同的时间运动。视频编码器370依靠预测,更精确的说,依靠运动补偿预测进行YCbCr位图图像间的时间压缩。此种时间压缩可用于追踪数字摄像机模块110前物体的移动(图1A或图1B)。视频编码器370使用帧内编码图像(Intra-codedimages,I-images)、双向预测编码图像(bidirectionallypredictive-codedimages,B-images)和预测编码图像(predictive-codedimages,P-images),以产生时间压缩。帧内编码图像为帧内编码图像,独立的一个图像即一个序列,与之前或之后的图像无关。预测编码图像为前向预测图像,根据一个或多个之前的帧内编码图像或预测编码图像进行编码,其运动向量指向一个或多个之前图像中的信息。双向预测编码图像为根据一个或多个之前的参考图像和一个或多个之后的参考图像进行编码。使用的运动向量可以为前向或后向向量或两者均用,并且记录于运动向量储存单元393。应了解,运动向量储存单元393可在非易失性内存/储存器装置251(图2所示)或者易失性内存253(图2所示)中实现。
YCbCr位图图像序列中,根据先前图像(参考图像)预测当前图像。通过使用误差测量,将每个宏块(macroblock,MB)与参考图像中的一个宏块进行比较,以此选择出最佳匹配宏块。于预设搜寻区域上实施搜寻。可确定用以指示参考图像中宏块与当前图像中宏块的位移的运动向量。当使用之前的图像作为参考图像时,则该预测称为前向预测。若参考图像为未来的图像,则该预测称为后向预测。后向预测经常与前向预测共同使用,称为双向预测。图4为双向预测的典型示意图。在双向预测编码图像41中,双向运动补偿宏块41m可具有两个运动向量,前向运动向量42v和后向运动向量43v,其中前向运动向量42v参考之前的帧内编码图像或预测编码图像42中的最佳匹配宏块42m,后向运动向量43v参考下一个帧内编码图像或预测编码图像43中的最佳匹配宏块43m。全局运动估计(globalmotionestimation)方法可用于模拟具有运动整体方向(overalldirection)序列中运动的大部分。因此,数字摄像机模块110(图1A或图1B所示)前的物体的移动,例如向左、向右、向上、向下、向左上方、向右上方、向左下方、向右下方或其他方向,可通过从YCbCr位图图像序列中获得的运动向量进行追踪。
为了在嵌入式摄像机模块的协助下进行远程控制,例如移动电话、数字摄像机、数字电视播放器、个人数字助理等包含数字摄像机模块的电子设备,或其他类似设备,可准备基图(baseimage),其中每个基图包含一个特定的姿势或物体且映射到特定的操作,根据与基图类似的包含姿势或物体的至少一个已捕获图像,电子设备接着通过摄像机模块触发一个映射的操作。用于产生可映射到操作的基图的方法如下所述。图5为产生基图的方法实施例的流程图。开始,由嵌入式摄像机模块(例如图1A或图1B的110所示)捕获至少一个包含姿势或物体的原始图像(rawimage)(步骤S511)。用户可保持该电子设备,设置嵌入式摄像机模块以聚焦在具有姿势的手上或物体上,并按压电子设备表面上的快门按钮以捕获一个或多个原始图像。图6为捕获的具有不同焦距的多个原始图像的示意图。参考图6,为改善比较精确度,数字摄像机模块可捕获具有不同焦距(focallength)610a至610c和630a至630c的多个原始图像。焦距(在公式中通常表示为f’)可由焦点至摄像机模块透镜的距离来测量,或更精确的,可由主点(principalpoint)至焦点的距离来测量,其中焦点为形成平行入射光束的图像所在的点。根据已捕获的原始图像生成基图(步骤S513)。在一个例子中,已捕获的原始图像作为基图。图7为压缩原始图像的示意图。在另一个例子中,参考图7,为了减少储存空间,已捕获的原始图像710a和730a可减小为大小相对较小的710b和730b,例如从1024×768像素减小为640×480像素。在另一个例子中,为了减少储存空间和改善比较效率,只获取原始图像的Y或G组分,以产生基图。接着,通过建立相关信息,一个基图与一个或多个操作相映射(步骤S515)。图8A为包含可指示向上移动姿势和向下移动姿势的图像的示意图。图8B为包含可指示数字1到3姿势的图像的示意图。举例而言,参考图8A,包含“拇指向上”姿势的图像810a映射到接受请求(例如来自基站的呼入请求、重播音频/视频文件的请求或其他),其中“拇指向上”姿势指示向上移动;包含“拇指向下”姿势的图像810b映射到拒绝请求,其中“拇指向下”姿势指示向下移动。参考图8B,包含可指示数目1到3的姿势的图像830a至830c分别映射到触发第一、第二和第三操作。相关信息可由用户通过人机界面(例如键盘或触摸屏)进行确定和设置。具有相关信息的基图储存于如图2所示251的非易失性内存/储存器装置(步骤S517)。
应了解,特征提取程序包含使用预设特征参数以根据相似性或差异性将确定的手的区域进行分隔。因此,步骤S513可修改为从每个已捕获图像确定人肉色区域并通过预定义特征提取程序产生人肉色区域的判别函数(discriminationfunction)。此外,步骤S515可修改为提供相关信息,其中相关信息指示产生的每个判别函数映射到特定操作,并且步骤S517可修改为储存具有相关信息的所产生的判别函数。图8C和图8D为用于已捕获图像的典型特征提取和判别函数产生的示意图。特征提取前,人肉色区域可能是歪斜的,因此可能需要通过任何已知图像校正算法进行调整。在典型特征提取和判别函数产生期间,逐行扫描该区域以获取具有最大长度的行,例如具有两端(x1,y1)和(x2,y1)以及中心点((x1+x2)/2,y1)的线HBase。随后可追踪该区域的边缘,并且获取高于行HBase的手指的最多五个转折点,例如(x3,y3)、(x4,y4)、(x5,y5)、(x6,y6)和(x7,y7)。可计算出五个长度,例如L1、L2、L3、L4和L5,每个长度均代表一个转折点和中心点间的距离,这些长度中的最小长度表示为LMIN,因此五个相对长度为L1/LMIN、L2/LMIN、L3/LMIN、L4/LMIN和L5/LMIN。假设图像850的五个相对长度为1、1.23、1.22、1.21和1.24,图像870的五个相对长度为1、2.3、1.22、1.23和1.24。用于图像850和图像870的判别函数可分别描述为:
SSIM1=(L1’-1)^2+(L2’-1.23)^2+(L3’-1.22)^2+(L4’-1.21)^2+(L5’-1.24)^2;以及SSIM2=(L1’-1)^2+(L2’-2.3)^2+(L3’-1.22)^2+(L4’-1.23)^2+(L5’-1.24)^2。其中SSIM1表示图像850和未来图像间的相似度,其中SSIM2表示图像870和未来图像间的相似度,L1’至L5’是在未来图像中将提取的值。应了解,值越小则表示相似度越大。
此外,电子设备可预定义移动的方向,其中每个方向映射到一个特定操作,并且电子设备接着根据已捕获图像触发一个映射的操作,其中已捕获图像包含向预定义方向移动的姿势或物体。本发明提供了用于确定运动方向的方法,运动方向可映射到操作。图9为确定运动方向的方法实施例的流程图。开始,通过嵌入式数字摄像机模块(例如图1A或图1B所示)捕获包含姿势或物体的图像(步骤S911)。用户可保持该电子设备,设置嵌入式数字摄像机模块以聚焦在具有姿势的手上或物体上,并按压电子设备表面上的快门按钮以捕获一个或多个原始图像(例如追踪手或物体的移动)。通过分析已捕获图像获取姿势或物体的运动方向(步骤S913)。为改善分析效率,已捕获图像可减小为大小相对较小的图像,例如从1024×768像素减小为640×480像素,或者只获取已捕获图像的Y或G组分用于计算。视频编码器(例如图3的视频编码器370)可接收已捕获图像、计算已捕获图像的运动向量(如图4所示)并基于已产生的运动向量确定移动的整体方向。举例而言,相应于运动向量的整体运动向量可表示为(Xo,Yo),其可由和计算,并且据此可获得移动的整体方向,其中n为运动向量的总数,Xi表示第i个运动向量的X轴上的参考偏置,Yi表示第i个运动向量的Y轴上的参考偏置。在另一个例子中,每个运动向量可分类为预定义运动方向(例如向左、向右、向上、向下、向左上方、向右上方、向左下方或向右下方或其他方向移动),且根据分类结果对每个运动方向进行计数。接着,确定是否一个方向的最大计数值高于其他方向,并且是否满足预设标准,例如每个(nmax-ni)超过预设阈值,或者每个(nmax/ni)超过预设阈值,其中i为1至其他计数值的总数,nmax表示最大计数值,ni表示一个运动方向的计数值。若满足预设标准,则可确定具有最大计数值的运动方向。接着,提供相关信息,相关信息可指示所获取的运动方向与特定操作间的映射(步骤S915)。举例而言,指示向上移动的移动映射到请求(例如来自基站的呼入请求、重播音频/视频文件的请求或其他)接受;指示向下移动的移动映射到拒绝请求。在另一个例子中,向一个方向的移动映射到触发一个预定义操作,例如关闭扬声器以停止播放铃声、开启振动功能、启动/停止回放、显示之前的/下一个图片、播放之前的/下一个多媒体文件或其他。相关信息可由用户通过人机界面(例如键盘或触摸屏)进行确定和设置。提供的相关信息储存于非易失性内存/储存器装置(步骤S917)。应了解,步骤S911和S913可省略,可在步骤S915中提供人机界面以促进运动的预设置方向与操作间的映射的产生。
此外,电子设备可预定义姿势运动,其中每个姿势运动映射到特定操作,接着根据包含所述预定义姿势运动的已捕获图像,电子设备由其数字摄像机模块触发一个映射的操作。本发明提供用于产生包含姿势运动的基图的方法和用于姿势运动到操作的映射的方法。姿势运动也可称为多个连续姿势,举例而言,从一个张开手的位置握成拳头,或一个拳头张开手。图10为用于产生基图的方法实施例的流程图。开始,通过嵌入式数字摄像机模块(例如图1A或图1B所示的摄像机模块110)捕获包含姿势的原始图像(步骤S1011)。用户可保持该电子设备,设置嵌入式数字摄像机模块以聚焦在手上,并按压电子设备表面上的快门按钮一段时间,以捕获姿势的多个原始图像。图11A和图11B为捕获的具有不同焦距的多个原始图像的示意图。参考图11A和图11B,为改善比较精确度,数字摄像机模块可捕获具有不同焦距的多个原始图像,例如1110a至1110c和1130a至1130c。在一些实施例中,选择两个已捕获图像,其中一个代表姿势运动的开始,另一个代表姿势运动的结束(步骤S1013)。举例而言,当从张开手的位置确定第一姿势运动时,经由人机界面,图像1110a指示姿势运动的开始,图像1130a指示姿势运动的结束。当从拳头位置确定张开手姿势运动时,经由人机界面,图像1130a指示姿势运动的开始,图像1110a指示姿势运动的结束。接着,产生用于已选择图像的基图(步骤S1015)。已捕获原始图像可视为基图,或者经由进一步处理已捕获原始图像产生基图。举例而言,为减小储存空间,已捕获的原始图像可减小为大小相对较小的图像,例如从1024×768像素减小为640×480像素。在另一个例子中,为了减少储存空间和改善比较效率,只获取已捕获原始图像的Y或G组分,以产生基图。接着,提供相关信息,以指示哪些已捕获原始图像相应于开始和结束姿势以及哪对开始和结束姿势映射到哪个特定操作(步骤S1017)。例如,图11A和11B的图像1110a和1130a可指示一对结束姿势和开始姿势,并且这对姿势映射到请求接受。用户可经由人机界面确定并设置相关信息。具有相关信息的已选择图像储存于非易失性内存/储存器装置(步骤S1019)。应了解,步骤S1015可修改为从基图中确定人肉色区域并通过使用预定义判别函数为每个人肉色的确定区域产生特征向量。此外,步骤S1017可修改为提供相关信息,其中相关信息指示包含开始姿势和结束姿势的一对姿势映射到一个特定操作,且该开始姿势和该结束姿势相应于特征向量,并且步骤S1019可修改为储存具有相关信息的所产生的特征向量。
图5、图9或图10所示的流程图可视为配置方法,促进用户以定义特定功能/操作与基图、图像的特征向量、运动方向或姿势运动方向间的专有关系。
图12为根据自数字摄像机模块和传感器模块的信号,用于控制电子装置的方法实施例的流程图,该方法由如图2中处理器211所示的处理器执行程序代码实施。为避免不必要的电力消耗,通过电子设备的传感器模块(如图2的传感器模块233),该方法可周期性检测物体(例如手、笔或其他)的存在,其中所述物体非常接近于电子设备(如图2中的移动电话100),并且根据应用需求可确定预定义时间段。其中所述物体非常接近于电子设备,也即是所述物体位于电子设备的预设范围内。经过预定义时间段后(步骤S1211),传感器模块检测是否有物体非常接近于电子设备(步骤S1213)。传感器模块可以是光传感器(如图1C中的嵌入式光传感器150)、电容式传感器(如图1D中的嵌入式电容式传感器170)或其他。当检测到一个物体非常接近所述电子设备时(如图1A或图1B中所示的例子),可实施步骤S1215至步骤S1251中的某些步骤,以从数字摄像机模块(如图1A或图1B中所示的摄像机模块110)捕获的图像中检测特定指令(instruction)的存在,并据此控制所述电子设备的不同电子装置(如图2中非易失性内存/储存器装置251、易失性内存253、放映机模块271、声音播放模块273、振动模块275、电信模块277或上述的任何组合)。若没有检测到物体非常接近所述电子设备,则执行步骤S1211。
开启摄像机模块后(步骤S1215),经由摄像机模块捕获一个RGB/YCbCr位图图像或RGB/YCbCr位图图像序列(步骤S1231),其中数字摄像机模块可包含透镜(图中未示)、快门(图中未示)、驱动马达(图中未示)和数字图像处理模块(如图2中数字图像处理模块231)。应了解,数字摄像机模块可每秒钟捕获小于15个图像,而非每秒中30个图像或更多,以减小电力消耗。
接着,在已捕获图像中,确定是否存在预定义基图、姿势、物体运动方向或姿势运动方向(步骤S1233)。如果存在,根据储存的相关信息,控制某些电子装置(如图2中非易失性内存/储存器装置251、易失性内存253、放映机模块271、声音播放模块273、振动模块275、电信模块277或这些的组合)以相应所确定的基图、姿势、物体运动方向或姿势运动方向(步骤S1235),并且随后关闭摄像机模块(步骤S1251)。否则,关闭摄像机模块(步骤S1251)。详细的相关信息可参考图5中步骤S515、图9中步骤S915或图10中步骤S1017的描述。
步骤S1233的详细描述如下。在本发明的一个例子中,在储存于非易失性内存/储存器装置(图2中非易失性内存/储存器装置251)中的一组基图(例如图6的610a至610c或630a至630c)中,使用相似度比较算法计算在每个基图和每个获取的图像间的相似度。当基图和一个获取的图像间的相似度大于预定义阈值时,则可确定存在基图。否则,确定不存在基图。
在另一个例子中,使用相应于姿势的判别函数,所述姿势储存于非易失性内存/储存器装置(图2中非易失性内存/储存器装置251所示),从已捕获图像确定人肉色区域,采用预定义特征提取程序计算每个所确定区域的特征向量(如包含从图8C或图8D所示长度L1至L5获取的特征),并接着应用之前提供的判别函数确定每个产生的特征向量的相似度,其中判别函数可参考步骤S513和步骤S515的上述描述。对每个产生的特征向量,当判别函数计算的相似度的最大值大于预定义阈值时,则可确定存在一个预定义姿势。否则,可确定不存在预定义姿势。
在另一个例子中,通过储存于非易失性内存/储存器装置(图2中非易失性内存/储存器装置251所示)的关于预定义运动方向(例如向左、向右、向上、向下、向左上方、向右上方、向右下方或向左下方或其他方向移动)的信息,可采用视频编码器(例如图3的视频编码器370所示)计算已捕获图像的运动向量,并且产生基于所生成的运动向量的运动方向。运动方向的产生可参考图9步骤S913的描述。当在储存的信息中存在产生的运动方向时,则确定存在一种预定义运动方向,当在储存的信息中不存在产生的运动方向时,则确定不存在预定义运动方向。
在另一个例子中,通过相应于开始姿势和结束姿势(如图11A中的1110a至1110c和图11B中的1130a至1130c)的判别函数,其中开始姿势和结束姿势储存于非易失性内存/储存器装置(图2中非易失性内存/储存器装置251所示)中,使用图13所示的有限状态机(finitestatemachine,FSM)以确定是否存在预定义姿势运动。图13为用以确定是否存在预定义姿势运动的有限状态机示意图。于预定义时间段中,在如图12的步骤S1231所示的通过数字摄像机模块捕获图像后,进入激活状态S1。在激活状态S1中,从已捕获图像的一部分中确定人肉色区域,应用预定义特征提取程序计算每个确定区域的特征向量(如包含从图8C或图8D所示长度L1至L5获取的特征),并接着应用判别函数确定每个产生的特征向量与所述开始姿势间的相似度(例如,可将每个特征向量代入判别函数,以计算特征向量的相似度),其中判别函数可参考步骤S513和步骤S515的上述描述。当相似度的最大值大于预定义阈值时,则从激活状态S1转换至运动开始状态S3。相反地,当相似度的最大值不大于预定义阈值时,则从激活状态S1转换至检测失败状态S7。在运动开始状态S3,从剩余的已捕获图像中确定人肉色区域,应用相同的特征提取程序计算每个确定区域的特征向量(如包含从图8C或图8D所示长度L1至L5获取的特征),并接着应用相同的判别函数确定每个产生的特征向量与所述结束姿势间的相似度。当相似度的最大值大于预定义阈值时,则从运动开始状态S3转换至运动结束状态S5(也称为检测成功状态)。当相似度的最大值不大于预定义阈值时,则从运动开始状态S3转换至检测失败状态S7。请注意,当预定义姿势运动确定时,进入运动结束状态S5,当预定义姿势运动未确定时,进入检测失败状态S7。
下面描述一种应用,使用图12所示方法的实施例控制电信模块(如图2的电信模块277所示),以通过待接网络单元产生具有上次拨出号码或默认号码的移动台发起(mobile-originated,MO)的呼叫请求。在传感器模块(例如图2的传感器模块233和图12的步骤S1213)检测到一个物体非常接近所述电子设备后,开启如图1A或图1B的数字摄像机模块110所示的数字摄像机模块(例如图12的步骤S1215),并且数字摄像机模块捕获一系列图像(例如图12的步骤S1231)。在图像捕获期间,电子设备的显示单元(图中未示)可显示图14A、图14B或图14C所示的提示屏幕(promptscreen),以通过手的姿势指示用户确认是否拨出最后的号码。图14A、图14B或图14C为提示屏幕的示意图。提示区域T1411、T1431或T1451可显示“是否呼出上次拨出的号码”,提示区域T1413、T1433或T1453可显示“是”,提示区域T1415、T1435或T1455可显示“否”。参考图14A,经由窗口W1411和W1413显示的图像,通过读取相关文本,藉由在数字摄像机模块前产生“拇指向上”的姿势,用户可指示所述电子设备向远程电子设备产生具有上次拨出的号码的移动台发起的呼叫请求,且用户可通过产生“拇指向下”的姿势指示所述电子设备关闭其摄像机模块。参考图14B,经由窗口W1431和W1433显示的图像,通过读取相关文本,藉由在数字摄像机模块前产生“指示数字1”的姿势,用户可指示所述电子设备向远程电子设备产生具有上次拨出的号码的移动台发起的呼叫请求,且用户可通过产生“指示数字2”的姿势指示所述电子设备关闭其摄像机模块。参考图14C,经由窗口W1451和W1453显示的图像,通过读取相关文本,藉由在数字摄像机模块前向上移动物体,用户可指示所述电子设备向远程电子设备产生具有上次拨出的号码的移动台发起的呼叫请求,且用户可通过向下移动物体指示所述电子设备关闭其摄像机模块。此外,预览窗口W1415、W1435或W1455连续显示数字摄像机模块捕获的图像,以帮助用户产生正确的姿势或向正确的方向移动物体。从已捕获图像中检测到拇指向上的姿势、指示数字1的姿势或向上移动的物体后(例如图12的步骤S1233),控制电信模块(例如图2的电信模块277),以向远程电子设备产生具有上次拨出的号码或默认号码的移动台发起的呼叫请求(例如图12的步骤S1235),并且关闭数字摄像机模块(例如图12的步骤S1251)。从已捕获图像中检测到拇指向下的姿势、指示数字2的姿势或向下移动的物体后,不指示电信模块产生任何移动台发起的呼叫(例如图12的步骤S1235),并且关闭数字摄像机模块(例如图12的步骤S1251)。此外,当传感器模块在预设时间段内不检测拇指向上或拇指向下的姿势、指示数字1或2的姿势、或者向上或向下移动的物体时,关闭数字摄像机模块(例如图12的步骤S1251)。
下面描述一种应用,当移动电话100位于特定位置且作为便携式放映机以显示一系列图片时(如图1E所示),使用图12所示方法的实施例控制以幻灯片放映的更高或更低速率显示静态图像。物体检测、数字摄像机模块操作和图像获取可参考上述步骤S1211至步骤S1231的描述,简洁起见这里不再赘述。图像捕获期间,如步骤S1231所示,所述电子设备的显示单元(图中未示)可显示提示屏幕,以指示用户增加或减小幻灯换放映的图像显示速率。提示区域T1411、T1431或T1451可显示“增加还是减小幻灯换放映的显示速率”,提示区域T1413、T1433或T1453可显示“增加”,提示区域T1415、T1435或T1455可显示“减小”。参考图14A,经由窗口W1411和W1413显示的图像,通过读取相关文本,藉由在数字摄像机模块前产生“拇指向上”的姿势,用户可指示所述电子设备以幻灯换放映的更高速率显示静态图像(例如从每个图像4秒钟减小为每个图像3秒钟),且用户可通过产生“拇指向下”的姿势指示所述电子设备以幻灯换放映的更低速率显示静态图像。参考图14B,经由窗口W1431和W1433显示的图像,通过读取相关文本,藉由在数字摄像机模块前产生“指示数字1”的姿势,用户可指示所述电子设备以幻灯换放映的更高速率显示静态图像,且用户可产生通过“指示数字2”的姿势指示所述电子设备以幻灯换放映的更低速率显示静态图像。参考图14C,经由窗口W1451和W1453显示的图像,通过读取相关文本,藉由在数字摄像机模块前向上移动物体,用户可指示所述电子设备以幻灯换放映的更高速率显示静态图像,且用户可通过向下移动物体指示所述电子设备以幻灯换放映的更低速率显示静态图像。从已捕获图像中检测到拇指向上的姿势、指示数字1的姿势或向上移动的物体后(例如图12的步骤S1233),处理器(例如图2的处理器211)从非易失性内存/储存器装置(例如图2的非易失性内存/储存器装置251)获取静态图像,并将获取的静态图像以幻灯片放映更高的速率输出至如图2中放映机模块271所示的放映机模块(例如图12的步骤S1235),并且关闭数字摄像机模块(例如图12的步骤S1251)。从已捕获图像中检测到拇指向下的姿势、指示数字2的姿势或向下移动的物体后,处理器从非易失性内存/储存器装置获取静态图像,并将获取的静态图像以幻灯片放映更低的速率输出至如图2中放映机模块271所示的放映机模块(例如图12的步骤S1235),并且关闭数字摄像机模块(例如图12的步骤S1251)。此外,当在预设时间段内从已捕获图像没有检测到有效的指令(例如拇指向上或拇指向下的姿势、指示数字1或2的姿势、或者向上或向下移动的物体)时,关闭数字摄像机模块(例如图12的步骤S1251)。在一些其他实施例中,这些指令用于控制放映物以显示之后的静态图像或之前的静态图像。
下面描述一种应用,当移动电话100位于特定位置且作为便携式放映机以播放数字电视节目时(如图1E所示),使用图12所示方法的实施例以选择之前或之后的数字电视节目进行播放。物体检测、数字摄像机模块操作和图像获取可参考上述步骤S1211至步骤S1231的描述,简洁起见这里不再赘述。图像捕获期间,如步骤S1231所示,所述电子设备的显示单元(图中未示)可显示提示屏幕,以指示用户选择之前或之后的数字电视节目进行显示。提示区域T1411、T1431或T1451可显示“选择之前还是之后的电视节目”,提示区域T1413、T1433或T1453可显示“之前”,提示区域T1415、T1435或T1455可显示“之后”。参考图14A,经由窗口W1411和W1413显示的图像,通过读取相关文本,藉由在数字摄像机模块前产生“拇指向上”的姿势,用户可指示所述电子设备选择之前的电视节目,且用户可通过产生“拇指向下”的姿势指示所述电子设备选择之后的电视节目。参考图14B,经由窗口W1431和W1433显示的图像,通过读取相关文本,藉由在数字摄像机模块前产生“指示数字1”的姿势,用户可指示所述电子设备选择之前的电视节目,且用户可产生通过“指示数字2”的姿势指示所述电子设备选择之后的电视节目。参考图14C,经由窗口W1451和W1453显示的图像,通过读取相关文本,藉由在数字摄像机模块前向上移动物体,用户可指示所述电子设备选择之前的电视节目,且用户可通过向下移动物体指示所述电子设备选择之后的电视节目。从已捕获图像中检测到拇指向上的姿势、指示数字1的姿势或向上移动的物体后(例如图12的步骤S1233),指示数字电视接收模块(例如图2的数字电视接收模块279)从DVB-T或DVB-H供应源获取之前的电视节目的视频流、音频流和数据流,所述数字电视接收模块对获取的视频流和数据流进行译码并输出至放映机模块(如图2中放映机模块的271),以及所述数字电视接收模块对获取的音频流进行译码并输出至声音播放模块(如图2中的声音播放模块273),并关闭数字摄像机模块(例如图12的步骤S1251)。从已捕获图像中检测到拇指向下的姿势、指示数字2的姿势或向下移动的物体后,指示数字电视接收模块从DVB-T或DVB-H供应源获取之后的电视节目的视频流、音频流和数据流,所述数字电视接收模块对获取的视频流和数据流进行译码并输出至放映机模块,以及所述数字电视接收模块对获取的音频流进行译码并输出至声音播放模块,并关闭数字摄像机模块(例如图12的步骤S1251)。此外,当在预设时间段内从已捕获图像没有检测到有效的指令(例如拇指向上或拇指向下的姿势、指示数字1或2的姿势、或者向上或向下移动的物体)时,关闭数字摄像机模块(例如图12的步骤S1251)。
图15为根据自数字摄像机模块和传感器模块的信号,用于控制电子装置的方法实施例的流程图,该方法由处理器(例如图2中处理器211)执行程序代码实施。该方法实施例,首先,接收到可指示特定事件已被触发的信号(步骤S1511)后,通过电子设备(例如图2的移动电话100)的传感器模块(例如图2的传感器模块233)确定是否有物体(例如手、笔或其他)非常接近该电子设备(步骤S1513)。下面步骤S1515至S1551的详细描述可参考图12中步骤S1215至S1251。
下面描述一种应用,使用图15所示方法的实施例控制电信模块(如图2的电信模块277所示),是否应答来自待接网络单元的移动台终止的(mobile-terminated,MT)呼叫请求。在接收到指示信号(例如图15的步骤S1511)后,其中该指示信号用于指示移动台终止的呼叫请求已被接收,以及在传感器模块检测到一个物体非常接近所述电子设备后(例如图2的233和图15的步骤S1513),开启如图1A或图1B的110所示的数字摄像机模块(例如图15的步骤S1515),并且数字摄像机模块捕获一系列图像(例如图15的步骤S1531)。在图像捕获期间,电子设备的显示单元(图中未示)可显示图14A、图14B或图14C所示的提示屏幕,以指示用户通过手势来确认是否应答移动台终止的呼叫请求。提示区域T1411、T1431或T1451可显示“是否应答呼入通话”,提示区域T1413、T1433或T1453可显示“是”,提示区域T1415、T1435或T1455可显示“否”。参考图14A,经由窗口W1411和W1413显示的图像,通过读取相关文本,藉由在数字摄像机模块前产生“拇指向上”的姿势,用户可指示所述电子设备应答来自远程电子设备的移动台终止的呼叫请求,且用户可通过产生“拇指向下”的姿势指示所述电子设备关闭其数字摄像机模块。参考图14B,经由窗口W1431和W1433显示的图像,通过读取相关文本,藉由在数字摄像机模块前产生“指示数字1”的姿势,用户可指示所述电子设备应答来自远程电子设备的移动台终止的呼叫请求,且用户可通过产生“指示数字2”的姿势指示所述电子设备关闭其数字摄像机模块。参考图14C,经由窗口W1451和W1453显示的图像,通过读取相关文本,藉由在数字摄像机模块前向上移动物体,用户可指示所述电子设备应答来自远程电子设备的移动台终止的呼叫请求,且用户可通过向下移动物体指示所述电子设备关闭其数字摄像机模块。此外,预览窗口W1415、W1435或W1455连续显示数字摄像机模块捕获的图像,以帮助用户产生正确的姿势或向正确的方向移动物体。从已捕获图像中检测到拇指向上的姿势、指示数字1的姿势或向上移动的物体后(例如图15的步骤S1533),控制电信模块(例如图2的电信模块277)以接受来自远程电子设备的移动台终止的呼叫请求(例如图15的步骤S1535),并且关闭数字摄像机模块(例如图15的步骤S1551)。从已捕获图像中检测到拇指向下的姿势、指示数字2的姿势或向下移动的物体后,指示电信模块拒绝来自远程电子设备的移动台终止的呼叫请求(例如图15的步骤S1535),并且关闭数字摄像机模块(例如图15的步骤S1551)。此外,当传感器模块在预设时间段内没有检测到有效指令(例如拇指向上或拇指向下的姿势、指示数字1或2的姿势、或者向上或向下移动的物体)时,关闭数字摄像机模块(例如图15的步骤S1551)。
在接收移动台终止的MT呼叫请求后,移动电话可操作在普通模式(regularmode)和振动模式(vibrationmode)。操作在普通模式时,可指示声音播放模块(例如图2的声音播放模块273)嗡鸣、播放铃声或预定义MP3文件,直到移动台终止的呼叫请求被应答或移动台终止的呼叫请求超时。操作在振动模式时,可指示振动模块(例如图2的振动模块275)振动,直到移动台终止的呼叫请求被应答或移动台终止的呼叫请求超时。下面描述一种应用,使用图15所示方法的实施例控制移动电话(如图2的移动电话100)切换至振动模式。在接收到指示信号(例如图15的步骤S1511)后,其中该指示信号用于指示移动台终止的呼叫请求已被接收,以及在传感器模块(例如图2的传感器模块233和图15的步骤S1513)检测到一个物体非常接近所述电子设备后,开启如图1A或图1B中摄像机模块110所示的数字摄像机模块(例如图15的步骤S1515),并且数字摄像机模块捕获一系列图像(例如图15的步骤S1531)。检测到从张开的手握成拳头的姿势运动后,切换为振动模式,也就是说,控制音频播放模块停止播放铃声或预定义MP3文件,控制振动模块进行振动(例如图15的步骤S1535),并且关闭数字摄像机模块(例如图15的步骤S1551)。此外,不检测姿势运动时,关闭数字摄像机模块(例如图15的步骤S1551)。
本发明所提供的方法或其特定方面或部分,可采取包含在可触媒体(tangiblemedia)的程序代码(例如指令)的形式实现,可触媒体例如软盘(floppydiskettes,)、硬盘驱动器(harddrives)、非易失性内存装置(nonvolatilememorydevices)、只读型光盘(CD-ROMs)或其它机器可读取的储存媒体,其中,当程序代码被机器(例如计算机、DVD记录器或相似装置)加载并执行时,则该机器即成为实施本发明的装置。所揭露的方法也可包含在程序代码的形式中,这些程序代码可经由一些传输媒体(例如电线或电缆)、经过光纤光学(fiberoptics)或通过其它传输方式传输,其中,当程序代码被一机器(例如计算机)接收、加载并执行时,该机器即成为实施本发明的装置。当在通用处理器上执行时,程序代码结合该处理器提供一个独特的装置,该装置的操作与特定的逻辑电路相似。
在说明书及专利权利要求当中使用了某些词汇来指称特定的组件。所属领域中的普通技术人员应可理解,硬件制造商可能会用不同的名词来称呼同一个组件。本说明书及专利权利要求并不以名称的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。
本发明虽以较佳实施例描述,然而并不限于此。各种变形、修改和所述实施例各种特征的组合均属于本发明所主张范围,本发明的权利范围应以申请权利要求为准。