[go: up one dir, main page]

CN103916660B - 3d图像感测装置与3d图像感测的方法 - Google Patents

3d图像感测装置与3d图像感测的方法 Download PDF

Info

Publication number
CN103916660B
CN103916660B CN201410008686.9A CN201410008686A CN103916660B CN 103916660 B CN103916660 B CN 103916660B CN 201410008686 A CN201410008686 A CN 201410008686A CN 103916660 B CN103916660 B CN 103916660B
Authority
CN
China
Prior art keywords
frequency
light source
flicker noise
signal processing
processing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410008686.9A
Other languages
English (en)
Other versions
CN103916660A (zh
Inventor
张鸿德
吴高彬
蔡坤隍
洪尚铭
庄政达
方智仁
郭蔡增
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eminent Electronic Technology Corp
Original Assignee
Eminent Electronic Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from TW102147226A external-priority patent/TWI517092B/zh
Application filed by Eminent Electronic Technology Corp filed Critical Eminent Electronic Technology Corp
Publication of CN103916660A publication Critical patent/CN103916660A/zh
Application granted granted Critical
Publication of CN103916660B publication Critical patent/CN103916660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

3D图像感测装置与3D图像感测的方法。该3D图像感测装置包含一光源、一感测模块及一信号处理模块。该感测模块包含一像素阵列、一控制单元及一光源驱动器。该光源产生具有一K倍闪烁噪声的频率或一预定频率的闪烁光。该像素阵列取样该闪烁光产生一取样结果。该控制单元对该取样结果执行一图像处理以产生对应该取样结果的一频谱;该光源驱动器根据该K倍闪烁噪声的频率或该预定频率,驱动该光源。该信号处理模块输出该预定频率或根据该频谱,产生并输出该K倍闪烁噪声的频率至该光源驱动器,且根据该取样结果包含该光源开启时的多个第一图像与该光源关闭时的多个第二图像,产生一深度信息。

Description

3D图像感测装置与3D图像感测的方法
技术领域
本发明涉及一种3D图像感测装置与3D图像感测的方法,尤其涉及一种利用整数倍闪烁噪声的频率或预定频率消除背景光的噪声的3D图像感测装置与3D图像感测的方法。
背景技术
随着移动装置的人机界面的演进,人机界面具有朝向自然使用者界面(naturaluserinterface,NUI)的趋势,其中手势辨识是最重要的自然使用者界面科技之一。可利用不同的2D图像处理执行手势辨识。然而,2D图像传感器并无法决定图像的深度,导致大大影响手势辨识的能力。因此,利用包含深度信息的3D图像感测是往后执行手势辨识较佳的方法。
背景光传感器(Ambientlightsensor,ALS)和邻接传感器(proximitysensor,PS)被广泛使用在大多数移动装置上(例如智能手机或平板计算机)。因为对于任何移动装置而言,新元件设置在印刷电路板的空间都将大幅增加移动装置的成本,所以任何移动装置都具有整合背景光传感器、邻接传感器、色温传感器或温度传感器与手势辨识至同一集成电路的需求。然而,现有技术并无法提供整合的解决方案给使用者。
发明内容
本发明的一实施例提供一种3D图像感测装置。该3D图像感测装置包含一光源、一感测模块及一信号处理模块,其中该感测模块包含一像素阵列、一控制单元及一光源驱动器。该光源是用以产生具有一K倍闪烁噪声的频率或一预定频率的一闪烁光,其中K为一正实数。该像素阵列是用以取样该闪烁光以产生一取样结果,其中该取样结果包含该光源开启时的多个第一图像与该光源关闭时的多个第二图像;该控制单元对该取样结果执行一图像处理以产生对应该取样结果的一频谱;该光源驱动器是用以根据该K倍闪烁噪声的频率或该预定频率,驱动该光源。该信号处理模块是耦接于该感测模块,用以根据该频谱,产生该K倍闪烁噪声的频率,且根据该多个第一图像与该多个第二图像,产生一深度信息,其中当该K倍闪烁噪声的频率在一预定频率范围内时,该信号处理模块输出该K倍闪烁噪声的频率至该光源驱动器,或当该K倍闪烁噪声的频率在该预定频率范围外时,该信号处理模块输出该预定频率至该光源驱动器。
本发明的另一实施例提供一种3D图像感测的方法,其中应用于该方法的3D图像感测装置包含一光源、一感测模块及一信号处理模块。该方法包含该感测模块根据一K倍闪烁噪声的频率或一预定频率,驱动该光源产生具有该K倍闪烁噪声的频率或该预定频率的一闪烁光,其中K为一正实数;该感测模块对该闪烁光取样以产生一取样结果,其中该取样结果包含该光源开启时的多个第一图像与该光源关闭时的多个第二图像;该感测模块对该取样结果执行一图像处理以产生对应该取样结果的一频谱;该信号处理模块直接输出该预定频率,或根据该频谱,产生并输出该K倍闪烁噪声的频率至该感测模块;该信号处理模块根据该多个第一图像与该多个第二图像,产生一深度信息。
本发明提供一种3D图像感测装置与3D图像感测的方法。相较于现有技术,因为该3D图像感测装置整合一感测模块与一信号处理模块至同一集成电路,所以本发明具有较低的成本与较有效率。另外,因为一光源可产生具有整数倍闪烁噪声的频率或一预定频率的一闪烁光,所以本发明可消除一背景光的噪声,导致本发明的深度感测与手势辨识的能力可被提高。
附图说明
图1是本发明的一实施例说明一种3D图像感测装置的示意图。
图2和图3是说明当光源产生具有K倍闪烁噪声的频率或预定频率的闪烁光时,信号处理模块可产生不受背景光影响的深度信息的示意图。
图4是说明信号处理模块利用光源所产生的具有K倍闪烁噪声的频率的闪烁光,判断使用者的手势的示意图。
图5是本发明的另一实施例说明一种3D图像感测装置的示意图。
图6是本发明的另一实施例说明一种3D图像感测装置的示意图。
图7是本发明的另一实施例说明一种3D图像感测装置的示意图。
图8是本发明的另一实施例说明一种3D图像感测装置的示意图。
图9是本发明的另一实施例说明一种3D图像感测的方法的流程图。
【符号说明】
100、400、500、600、7003D图像感测装置
102光源
104、404感测模块
106、506、606、706信号处理模块
1042像素阵列
1044控制单元
1046光源驱动器
10442模拟数字转换器
10444离散傅立叶转换器
1062闪烁噪声鉴别器
1064频率产生器
1066非易失性存储器
4042背景可见光传感器
4044邻接传感器
4046色温传感器
4048温度传感器
5062触控控制器
508触控传感器
6062数字图像处理器
608外部图像传感器
708惯性传感器
7062感测集线器
AF闪烁噪声的频率
CS控制信号
DS数字信号
IS红绿蓝图像
SR取样结果
SP频谱
TS信号
800-816步骤
具体实施方式
请参照图1,图1是本发明的一实施例说明一种3D图像感测装置100的示意图。如图1所示,3D图像感测装置100包含一光源102、一感测模块104和一信号处理模块106,其中感测模块104包含一像素阵列1042、一控制单元1044和一光源驱动器1046,且控制单元1044包含一模拟数字转换器10442与一离散傅立叶(discreteFouriertransform,DFT)转换器10444。光源102是一红外线光源或一红外线激光光源(例如一红外线发光二极管或一红外线激光二极管),且是用以产生具有一K倍闪烁噪声的频率(例如100Hz或120Hz)或一预定频率的一闪烁光,其中像素阵列1042在光源102开启时的曝光时间等于像素阵列1042在光源102关闭时的曝光时间,K为一正实数(例如K为N或,其中N为一大于1的正整数),且闪烁噪声由一交流电源产生。但在本发明的另一实施例中,光源102是一可见光源。像素阵列1042是一G乘H的互补式金属氧化物半导体(Complementarymetal-oxide-semiconductor,CMOS)图像感测像素阵列,其中G和H是正整数。但本发明并不受限于像素阵列1042是一互补式金属氧化物半导体图像感测像素阵列,亦即像素阵列1042也可是一电荷耦合元件(Charge-coupledDevice,CCD)图像感测像素阵列。像素阵列1042包含一红外线滤波器,所以像素阵列1042可衰减红外线之外的其他光波。在本发明的一实施例中,光源102所产生的闪烁光的波长是850nm。当光源102产生具有K倍闪烁噪声的频率或预定频率的闪烁光时,感测模块104的像素阵列1042是用以取样光源102所产生的闪烁光以产生一取样结果SR,其中像素阵列1042所产生的取样结果SR包含光源102开启时的多个第一图像与光源102关闭时的多个第二图像,且光源102和像素阵列1042可同步于每一画面的起点。当像素阵列1042产生取样结果SR后,控制单元1044对像素阵列1042所产生的取样结果SR执行一图像处理以产生对应像素阵列1042所产生的取样结果SR的一频谱SP,其中频谱SP是对应于取样结果SR内光源102关闭时的多个第二图像。如图1所示,控制单元1044所执行的图像处理包含模拟数字转换器10442根据像素阵列1042所产生的取样结果SR,产生一数字信号DS,以及离散傅立叶转换器10444根据模拟数字转换器10442所产生的数字信号DS,产生对应像素阵列1042所产生的取样结果SR的频谱SP。另外,光源驱动器1046是用以根据K倍闪烁噪声的频率或一预定频率,产生方波以开启或关闭光源102,其中光源驱动器1046所产生的方波具有K倍闪烁噪声的频率或一预定频率。
如图1所示,信号处理模块106是耦接于像素阵列1042和控制单元1044。因为像素阵列1042所产生的取样结果SR包含光源102开启时的多个第一图像与光源102关闭时的多个第二图像,所以信号处理模块106可根据光源102开启时的多个第一图像与光源102关闭时的多个第二图像,产生一深度信息。亦即信号处理模块106利用多个第一图像的每一第一图像减去多个第二图像的一相对应的第二图像,产生深度信息。请参照图2,图2是说明当光源102产生具有K倍闪烁噪声的频率或预定频率的闪烁光时,信号处理模块106可产生不受背景光影响的深度信息的示意图。如图2所示,当闪烁光具有K倍闪烁噪声的频率或预定频率时,信号处理模块106根据多个第一图像(光源102开启)所产生对应于背景光(例如室内日光灯)的面积和(区块I和区块III)会等于根据多个第二图像(光源102关闭)所产生对应于背景光的面积和(区块II和区块IV)。因此,如式(1)所示,信号处理模块106便可通过多个第一图像和多个第二图像,消除室内日光灯(100Hz或120Hz)的能量波形的影响。如式(1)所示,式(1)在不同的起始相位角θ和不同的曝光时间X都成立。另外,信号处理模块106所产生的深度信息大约和距离的平方成反比。
光源102开启
∫ 0 X cos ( t + θ ) dt + ∫ π X + π cos ( t + θ ) dt =sin ( t + θ ) | 0 X + sin ( t + θ ) | π X + π = ( sin ( X + θ ) - sin θ ) + ( - sin ( X + θ ) + sin θ ) = 0 - - - ( 1 )
光源102关闭
∫ π / 2 X + π / 2 cos ( t + θ ) dt + ∫ 3 π / 2 X + 3 π / 2 cos ( t + θ ) dt =sin ( t + θ ) | π / 2 X + π / 2 + sin ( t + θ ) | 3 π / 2 X + 3 π / 2 = ( cos ( X + θ ) - cos θ ) + ( - cos ( X + θ ) + cos θ ) = 0
其中0<X<π/2
另外,式(2)是对应于式(1)的一般通式:
光源102开启
∫ 0 + 2 π * 1 / K + θ X 1 + 2 π * 1 / K + θ cos ( t ) dt + ∫ 0 + 2 π * 2 / K + θ X 1 + 2 π * 2 / K + θ cos ( t ) dt + . . . + ∫ 0 + 2 π * K / K + θ X 1 + 2 π * K / K + θ cos ( t ) dt =sin ( t ) | 0 + 2 π * 1 / K + θ X 1 + 2 π * 1 / K + θ + sin ( t ) | 0 + 2 π * 2 / K + θ X 1 + 2 π * 2 / K + θ + . . . + sin ( t ) | 0 + 2 π * K / K + θ X 1 + 2 π * K / K + θ = 0 - - - ( 2 )
光源102关闭
∫ 0 + 2 π * 1 / K + θ X 2 + 2 π * 1 / K + θ cos ( t ) dt + ∫ 0 + 2 π * 2 / K + θ X 2 + 2 π * 2 / K + θ cos ( t ) dt + . . . + ∫ 0 + 2 π * K / K + θ X 2 + 2 π * K / K + θ cos ( t ) dt =sin ( t ) | 0 + 2 π * 1 / K + θ X 2 + 2 π * 1 / K + θ + sin ( t ) | 0 + 2 π * 2 / K + θ X 2 + 2 π * 2 / K + θ + . . . + sin ( t ) | 0 + 2 π * K / K + θ X 2 + 2 π * K / K + θ = 0
如式(2)和图3所示,X1为光源102开启时的积分时间,X2为光源102关闭时的积分时间,以及θ起始相位角,其中K可以为N或1/N,但N是不为1的正整数,且K*(X1+X2)不大于1/120Hz或1/100Hz。
如图1所示,信号处理模块106包含一闪烁噪声鉴别器1062与一频率产生器1064,其中频率产生器1064是一延迟时间振荡器(delaytimeoscillator)、一阻容振荡器(RCoscillator)、一锁相回路、一晶体振荡器、一共振器(resonator)或一分频器。闪烁噪声鉴别器1062是用以根据频谱SP,决定对应于2倍交流电频率的闪烁噪声,以及用以根据对应于2倍交流电频率的闪烁噪声,产生对应于K倍闪烁噪声的频率的一控制信号CS;频率产生器1064是耦接于闪烁噪声鉴别器1062,用以根据控制信号CS,产生K倍闪烁噪声的频率AF至光源驱动器1046,其中频率产生器1064所产生的K倍闪烁噪声的频率是在一预定频率范围内。另外,当频率产生器1064所产生的K倍闪烁噪声的频率在预定频率范围外时,频率产生器1064直接输出预定频率至光源驱动器1046。
请参照图4,图4是说明信号处理模块106利用光源102所产生的具有K倍闪烁噪声的频率或预定频率的闪烁光,判断一使用者的手势的示意图。如图2所示,当光源102产生具有K倍闪烁噪声的频率或预定频率的闪烁光时,信号处理模块106可利用像素阵列1042所产生的多个第一图像的每一第一图像减去多个第二图像的一相对应的第二图像,产生深度信息。然后,信号处理模块106可再从深度信息中,判断使用者的手势。
请参照图5,图5是本发明的另一实施例说明一种3D图像感测装置400的示意图。如图5所示,3D图像感测装置400和3D图像感测装置100的差别在于3D图像感测装置400的感测模块404还包含一背景可见光传感器4042、一邻接(proximity)传感器4044、一色温传感器4046以及一温度传感器4048。因此,整合背景可见光传感器4042、邻接传感器4044、色温传感器4046以及温度传感器4048的感测模块404具有较少的元件数、占据较少的电路板空间以及较低的成本。另外,因为感测模块404整合背景可见光传感器4042、邻接传感器4044、色温传感器4046以及温度传感器4048,所以3D图像感测装置400的信号处理模块106的深度感测与手势辨识的能力可被提高。
当背景可见光足够且光源102关闭时,像素阵列1042所产生的取样结果SR仍然可藉由背景可见光产生一物件的轮廓。相反地,当背景可见光被调暗时,此时,光源102必须开启以使像素阵列1042产生用以深度感测与手势辨识的取样结果SR。因此,背景可见光传感器可使光源102的工作周期(dutycycle)动态调整。如此,3D图像感测装置400可进一步降低光源102的开启时间以及最佳化3D图像感测装置400的深度感测与手势辨识的整体功耗。然而,在大多数的情况中,信号处理模块106还是根据光源102开启时的多个第一图像与光源102关闭时的多个第二图像,产生一深度信息,其中深度信息对于信号处理模块106辨识物件与背景相当有用。
邻接传感器4044是根据光源102的开启与关闭,检测物件与邻接传感器4044之间的平均距离。因为邻接传感器4044可用以检测物件与邻接传感器4044之间的近似距离,所以邻接传感器4044可使3D图像感测装置400整体的功耗较少以及反应时间较快。
在本发明的一实施例中,阻隔红外线与彩色滤光涂层是包含在色温传感器4046,其中色温传感器4046可藉由对应于阻隔红外线与彩色滤光涂层的光谱,测量背景光。一般说来,阻隔红外线与彩色滤光涂层可阻隔具有约700nm波长的红外光。另外,色温传感器4046可检测背景可见光的色温,其中背景可见光的色温可用于一显示装置的动态调整白平衡以及增强一图像提取装置的图像品质。
温度传感器4048是用以测量周围环境的温度。然而,测量周围环境的温度亦用以背景光与色彩测量的温度补偿。如图5所示,信号处理模块106具有一非易失性存储器(例如一快闪存储器)1066。信号处理模块106可根据从一目前取样结果SR所萃取的特征与存储于非易失性存储器1066的预录(pre-recorded)特征的差异,执行手势辨识。当差异够小时,信号处理模块106可得到一正向辨识(positiverecognition)。
请参照图6,图6是本发明的另一实施例说明一种3D图像感测装置500的示意图。如图6所示,3D图像感测装置500和3D图像感测装置400的差别在于3D图像感测装置500的信号处理模块506还包含一触控控制器5062。整合手势辨识与触控控制器5062的好处是具有较低的集成电路成本。
另外,3D图像感测装置500具有下列优点:第一、触控控制器5062主要用以处理一产生自触控传感器508的信号TS,其中产生自触控传感器508的信号TS可代表触碰一触控面板的物件(例如一手指)的位置或触控面板邻近物件(未触碰触控面板)的位置。像素阵列1042可用以产生物件的指示方向。因此,不论物件是否触碰或远离触控面板,结合触控与手势辨识可使一使用者具有能力追踪显示面板上的一项目。第二、在本发明的一实施例中,使用者的一手指正在触碰显示面板上的一项目时,使用者的另一只手可执行一3D手势以操作显示面板上被触碰的项目。例如,显示面板所显示的一地图中的一建筑物可被使用者触碰而确认,然后使用者的另一只手的3D手势将可执行使用者相对于地图中的建筑物想要移动的方向(例如上、下、左、右;放大或缩小)或地图中的建筑物观察方向的一指令。
请参照图7,图7是本发明的另一实施例说明一种3D图像感测装置600的示意图。如图7所示,3D图像感测装置600和3D图像感测装置400的差别在于3D图像感测装置600的信号处理模块606还包含一数字图像处理器6062。如图7所示,一外部图像传感器608可用以提取一物件的2D红绿蓝图像IS。数字图像处理器6062包含一些正常的图像处理功能,例如图像压缩和防手振等。
另外,3D图像感测装置600具有下列优点:第一、信号处理模块606不仅可利用深度信息也可利用2D红绿蓝图像IS执行手势辨识。因为外部图像传感器608的红绿蓝图像传感器具有较高的解析度,所以信号处理模块606可更有效率地从一前景中区别一物件。另外,深度信息和2D红绿蓝图像IS的重叠部分可大大地增强萃取特征的准确性。第二、当使用者处于一特定状况时(例如使用者戴一黑色手指套),黑色手指套将会减弱手指所反射的红外光。然而,外部图像传感器608的红绿蓝图像传感器有能力从背景衣服中区别黑色手指套。因此,外部图像传感器608的红绿蓝图像传感器与像素阵列1042中的红外线传感器的互补效果将可增强3D图像感测装置600的手势辨识能力的准确性。
请参照图8,图8是本发明的另一实施例说明一种3D图像感测装置700的示意图。如图8所示,3D图像感测装置700和3D图像感测装置400的差别在于3D图像感测装置700的信号处理模块706包含一惯性传感器708的感测集线器(sensorhub)7062,其中惯性传感器708包含微机电系统(MicroElectroMechanicalSystems,MEMS)加速度计、陀螺仪、磁力仪以及高度计。惯性传感器708是作为一惯性测量单元(inertialmeasurementunit,IMU),其中惯性测量单元对于室内导航而言是相当重要的。因为信号处理模块706整合惯性传感器708的感测集线器7062以及手势处理器,所以信号处理模块706是一个更有效率的集成电路。
另外,3D图像感测装置700具有下列优点:第一、惯性传感器708的感测集线器7062可辨别手机使用者的位置、方向和倾斜。感测模块404包含背景可见光传感器、邻接传感器、色温传感器以及温度传感器。因此,使用者的位置和周围环境可被3D图像感测装置700辨识,以及根据使用者的位置和周围环境,可产生许多应用。第二、因为使用者可围绕本身移动手机,所以可藉由陀螺仪和磁力仪执行测量的手机方向。然后,信号处理模块706能够重建使用者的3D图像。在本发明的另一实施例中,惯性测量单元的倾斜和/或方向的测量可帮助移动装置检测观看方向的改变。因为移动装置可能会离开检测角或检测范围,所以惯性测量单元(惯性传感器708)和手势处理器将警示使用者保持手势在像素阵列1042的检测角或检测范围。
另外,3D图像感测装置100、400、500、600、700并不受限于仅判断使用者的手势,亦即3D图像感测装置100、400、500、600、700也可辨识使用者的手指、手背或眼珠,或执行物件辨识。
请参照图1、图2、图4和图9,图9是本发明的另一实施例说明一种3D图像感测的方法的流程图,其中图9的方法是利用图1的3D图像感测装置100说明,详细步骤如下:
步骤800:开始;
步骤802:感测模块104根据一K倍闪烁噪声的频率或一预定频率,驱动光源102产生具有K倍闪烁噪声的频率或预定频率的一闪烁光;
步骤804:感测模块104对闪烁光取样以产生一取样结果SR,其中取样结果SR包含光源102开启时的多个第一图像与光源102关闭时的多个第二图像;
步骤806:模拟数字转换器10442根据取样结果SR,产生一数字信号DS;
步骤808:离散傅立叶转换器10444根据数字信号DS,产生对应取样结果SR的频谱SP;
步骤810:闪烁噪声鉴别器1062根据频谱SP,决定对应于2倍交流电频率的闪烁噪声;
步骤812:闪烁噪声鉴别器1062根据对应于2倍交流电频率的闪烁噪声,产生对应于K倍闪烁噪声的频率的一控制信号CS;
步骤814:频率产生器1064直接输出预定频率,或根据控制信号CS,产生K倍闪烁噪声的频率AF至感测模块104;
步骤816:信号处理模块106根据多个第一图像与该多个第二图像,产生一深度信息。
在步骤802中,感测模块104中的光源驱动器1046是用以根据K倍闪烁噪声的频率或预定频率,产生方波以开启或关闭光源102,其中光源驱动器1046所产生的方波具有K倍闪烁噪声的频率或预定频率。另外,光源102是一红外线光源或一红外线激光光源(例如一红外线发光二极管或一红外线激光二极管),且是用以产生具有K倍闪烁噪声的频率(例如100Hz或120Hz)或预定频率的闪烁光,其中像素阵列1042在光源102开启时的曝光时间等于像素阵列1042在光源102关闭时的曝光时间,且K为一正实数(例如K为N或,其中N为一大于1的正整数)。在步骤804中,当光源102产生具有K倍闪烁噪声的频率或预定频率的闪烁光时,感测模块104的像素阵列1042是用以取样光源102所产生的闪烁光以产生取样结果SR,其中光源102和像素阵列1042可同步于每一画面的起点。在步骤806中,当像素阵列1042产生取样结果SR后,控制单元1044内的模拟数字转换器10442根据像素阵列1042所产生的取样结果SR,产生数字信号DS,以及在步骤808中,控制单元1044内的离散傅立叶转换器10444根据模拟数字转换器10442所产生的数字信号DS,产生对应像素阵列1042所产生的取样结果SR的频谱SP,其中频谱SP是对应于取样结果SR内光源102关闭时的多个第二图像。
在步骤810和步骤812中,信号处理模块106内的闪烁噪声鉴别器1062是用以根据频谱SP,决定对应于2倍交流电频率的闪烁噪声,以及用以根据对应于2倍交流电频率的闪烁噪声,产生对应于K倍闪烁噪声的频率的控制信号CS。在步骤814中,信号处理模块106内的频率产生器1064根据控制信号CS,产生K倍闪烁噪声的频率AF至感测模块104内的光源驱动器1046,其中频率产生器1064所产生的K倍闪烁噪声的频率是在一预定频率范围内。另外,当频率产生器1064所产生的K倍闪烁噪声的频率在预定频率范围外时,频率产生器1064直接输出预定频率至光源驱动器1046。
在步骤816中,如图1所示,因为像素阵列1042所产生的取样结果SR包含光源102开启时的多个第一图像与光源102关闭时的多个第二图像,所以信号处理模块106可根据光源102开启时的多个第一图像与光源102关闭时的多个第二图像,产生深度信息。亦即信号处理模块106利用多个第一图像的每一第一图像减去多个第二图像的一相对应的第二图像,产生深度信息。
另外,如图4所示,当光源102产生具有K倍闪烁噪声的频率或预定频率的闪烁光时,信号处理模块106可利用像素阵列1042所产生的多个第一图像的每一第一图像减去多个第二图像的一相对应的第二图像,产生深度信息。然后,信号处理模块106可再从深度信息中,判断使用者的手势。
综上所述,相较于现有技术,因为本发明所提供的3D图像感测装置整合感测模块与信号处理模块至同一集成电路,所以本发明具有较低的成本与较有效率。另外,因为光源可产生具有整数倍闪烁噪声的频率或预定频率的闪烁光,所以本发明可消除背景光的噪声,导致本发明的深度感测与手势辨识的能力可被提高。
以上所述仅为本发明的优选实施例,凡依本发明权利要求书所做的均等变化与修饰,皆应属本发明的涵盖范围。

Claims (14)

1.一种3D图像感测装置,包含:
一光源,用以产生具有一K倍闪烁噪声的频率或一预定频率的一闪烁光,其中K为N,其中N为一大于1的正整数,且该闪烁噪声由一交流电源产生;
一感测模块,包含:
一像素阵列,用以取样该闪烁光以产生一取样结果,其中该取样结果包含该光源开启时的多个第一图像与该光源关闭时的多个第二图像;
一控制单元,对该取样结果执行一图像处理以产生对应该取样结果的一频谱;及
一光源驱动器,用以根据该K倍闪烁噪声的频率或该预定频率,驱动该光源;及
一信号处理模块,耦接于该感测模块,与该感测模块整合至同一集成电路,该信号处理模块用以根据该频谱,产生该K倍闪烁噪声的频率,且根据该多个第一图像与该多个第二图像,产生一深度信息,其中当该K倍闪烁噪声的频率在一预定频率范围内时,该信号处理模块输出该K倍闪烁噪声的频率至该光源驱动器,或当该K倍闪烁噪声的频率在该预定频率范围外时,该信号处理模块输出该预定频率至该光源驱动器。
2.如权利要求1所述的3D图像感测装置,其中该光源是一红外线光源或一红外线激光光源。
3.如权利要求1所述的3D图像感测装置,其中该控制单元包含:
一模拟数字转换器,用以根据该取样结果,产生一数字信号;及
一离散傅立叶转换器,用以根据该数字信号,产生对应该取样结果的该频谱。
4.如权利要求1所述的3D图像感测装置,其中该信号处理模块包含:
一闪烁噪声鉴别器,用以根据该频谱,决定对应于2倍交流电频率的该闪烁噪声,以及用以根据该闪烁噪声,产生对应于该K倍闪烁噪声的频率的一控制信号;及
一频率产生器,耦接于该闪烁噪声鉴别器,用以根据该控制信号,产生该K倍闪烁噪声的频率。
5.如权利要求4所述的3D图像感测装置,其中该频率产生器是一延迟时间振荡器、一阻容振荡器、一锁相回路、一晶体振荡器、一共振器或一分频器。
6.如权利要求1所述的3D图像感测装置,其中该像素阵列在该光源开启时的曝光时间等于该像素阵列在该光源关闭时的曝光时间。
7.如权利要求1所述的3D图像感测装置,其中信号处理模块另用以根据该多个第一图像中的一第一图像与对应于该第一图像的一第二图像,判断一使用者的手势。
8.如权利要求1所述的3D图像感测装置,其中该感测模块还包含:
一红外线滤波器,用以衰减红外线之外的其他光波。
9.如权利要求1所述的3D图像感测装置,其中该频谱是对应于该取样结果内该光源关闭时的多个第二图像。
10.一种3D图像感测的方法,其中应用于该方法的3D图像感测装置包含一光源及整合至同一集成电路的一感测模块及一信号处理模块,该方法包含:
该感测模块根据一K倍闪烁噪声的频率或一预定频率,驱动该光源产生具有该K倍闪烁噪声的频率或该预定频率的一闪烁光,其中K为N,其中N为一大于1的正整数,且该闪烁噪声由一交流电源产生;
该感测模块对该闪烁光取样以产生一取样结果,其中该取样结果包含该光源开启时的多个第一图像与该光源关闭时的多个第二图像;
该感测模块对该取样结果执行一图像处理以产生对应该取样结果的一频谱;
该信号处理模块直接输出该预定频率,或根据该频谱,产生并输出该K倍闪烁噪声的频率至该感测模块;及
该信号处理模块根据该多个第一图像与该多个第二图像,产生一深度信息。
11.如权利要求10所述的方法,其中该感测模块对该取样结果执行该图像处理以产生对应该取样结果的该频谱包含:
根据该取样结果,产生一数字信号;及
根据该数字信号,产生对应该取样结果的该频谱。
12.如权利要求10所述的方法,其中该信号处理模块根据该频谱,产生并输出该闪烁噪声的频率至该感测模块包含:
根据该频谱,决定对应于2倍交流电频率的该闪烁噪声;
根据该闪烁噪声,产生对应于该K倍闪烁噪声的频率的一控制信号;及
根据该控制信号,产生该K倍闪烁噪声的频率至该感测模块。
13.如权利要求10所述的方法,其中该感测模块在该光源开启时的曝光时间等于该感测模块在该光源关闭时的曝光时间。
14.如权利要求10所述的方法,其中当该K倍闪烁噪声的频率在一预定频率范围内时,该信号处理模块输出该K倍闪烁噪声的频率至该光源驱动器,或当该K倍闪烁噪声的频率在该预定频率范围外时,该信号处理模块输出该预定频率至该光源驱动器。
CN201410008686.9A 2013-01-07 2014-01-07 3d图像感测装置与3d图像感测的方法 Active CN103916660B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361749864P 2013-01-07 2013-01-07
US61/749,864 2013-01-07
TW102147226A TWI517092B (zh) 2013-01-07 2013-12-19 3d影像感測裝置與3d影像感測的方法
TW102147226 2013-12-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610203183.6A Division CN105721786A (zh) 2013-01-07 2014-01-07 图像感测装置与图像感测的方法

Publications (2)

Publication Number Publication Date
CN103916660A CN103916660A (zh) 2014-07-09
CN103916660B true CN103916660B (zh) 2016-05-04

Family

ID=51042005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410008686.9A Active CN103916660B (zh) 2013-01-07 2014-01-07 3d图像感测装置与3d图像感测的方法

Country Status (2)

Country Link
US (1) US9667883B2 (zh)
CN (1) CN103916660B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101823347B1 (ko) * 2011-07-08 2018-02-01 삼성전자주식회사 센서와 이를 포함하는 데이터 처리 시스템
US10666840B2 (en) * 2014-07-31 2020-05-26 Hewlett-Packard Development Company, L.P. Processing data representing images of objects to classify the objects
US20160232672A1 (en) * 2015-02-06 2016-08-11 Qualcomm Incorporated Detecting motion regions in a scene using ambient-flash-ambient images
US10250833B2 (en) 2015-04-20 2019-04-02 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US11002531B2 (en) 2015-04-20 2021-05-11 Samsung Electronics Co., Ltd. CMOS image sensor for RGB imaging and depth measurement with laser sheet scan
KR102473740B1 (ko) * 2015-04-20 2022-12-05 삼성전자주식회사 동시 rgbz 센서 및 시스템
US10132616B2 (en) 2015-04-20 2018-11-20 Samsung Electronics Co., Ltd. CMOS image sensor for 2D imaging and depth measurement with ambient light rejection
US11736832B2 (en) 2015-04-20 2023-08-22 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US20160309135A1 (en) 2015-04-20 2016-10-20 Ilia Ovsiannikov Concurrent rgbz sensor and system
CN107580185B (zh) * 2017-09-30 2020-02-14 德淮半导体有限公司 图像传感器及操作方法以及成像装置
US10679450B2 (en) * 2018-01-30 2020-06-09 Ncr Corporation Light emitting diode control for contact image sensor with digitized output data
CN112834435A (zh) * 2019-11-22 2021-05-25 深圳市光鉴科技有限公司 4d摄像装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1297257A (zh) * 1999-11-18 2001-05-30 太阳诱电株式会社 固体摄像装置及固体摄像元件
CN101292518A (zh) * 2005-10-17 2008-10-22 诺基亚公司 防止视频电子设备中的闪烁效应
CN101662694A (zh) * 2008-08-29 2010-03-03 深圳华为通信技术有限公司 视频的呈现方法、发送、接收方法及装置和通信系统
CN102253713A (zh) * 2011-06-23 2011-11-23 康佳集团股份有限公司 面向三维立体影像显示系统
CN202362731U (zh) * 2011-10-31 2012-08-01 北京德信互动网络技术有限公司 人机互动系统
CN102741781A (zh) * 2009-12-04 2012-10-17 奈克斯特控股公司 用于位置探测的传感器方法和系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5598000A (en) * 1996-02-22 1997-01-28 Popat; Pradeep P. Dual-mode automatic window covering system responsive to AC-induced flicker in ambient illumination
US6989891B2 (en) * 2001-11-08 2006-01-24 Optiscan Biomedical Corporation Device and method for in vitro determination of analyte concentrations within body fluids
US7340077B2 (en) * 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US20070013871A1 (en) * 2005-07-15 2007-01-18 Marshall Stephen W Light-emitting diode (LED) illumination in display systems using spatial light modulators (SLM)
US7604357B2 (en) * 2005-10-11 2009-10-20 Hewlett-Packard Development Company, L.P. Adjusting light intensity
JP5156152B2 (ja) * 2005-10-17 2013-03-06 アイ2アイシー コーポレイション 組み合わせ型の映像ディスプレイおよびカメラシステム
US7808540B2 (en) * 2007-01-09 2010-10-05 Eastman Kodak Company Image capture and integrated display apparatus
WO2010075202A2 (en) 2008-12-26 2010-07-01 Datalogic Scanning, Inc. Systems and methods for imaging
TWI414748B (zh) 2009-01-23 2013-11-11 Univ Nat Taipei Technology 同步色相相移轉換方法以及其三維形貌量測系統
KR101613133B1 (ko) 2009-05-14 2016-04-18 삼성전자주식회사 3차원 영상 처리 장치 및 그 방법
US20110292241A1 (en) * 2010-05-30 2011-12-01 Logitech Europe S.A. Extended flicker cancellation for auto exposure for a video camera
US8760517B2 (en) 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
US8462229B2 (en) * 2010-09-30 2013-06-11 Hewlett-Packard Development Company, L.P. Detection of flicker within captured imaged frames
TW201227159A (en) 2010-12-24 2012-07-01 wen-jin Zhang Method of taking pictures for generating three-dimensional image data
TWI423657B (zh) * 2011-01-25 2014-01-11 Pixart Imaging Inc 影像系統及其干擾消除方法
US8711245B2 (en) * 2011-03-18 2014-04-29 Digitaloptics Corporation Europe Ltd. Methods and systems for flicker correction
TWI454138B (zh) 2011-05-18 2014-09-21 Altek Corp 調整影像亮度的方法
GB2492848A (en) 2011-07-15 2013-01-16 Softkinetic Sensors Nv Optical distance measurement
TWI459800B (zh) * 2011-10-18 2014-11-01 Pixart Imaging Inc 影像系統及其干擾消除方法
US8837780B2 (en) * 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1297257A (zh) * 1999-11-18 2001-05-30 太阳诱电株式会社 固体摄像装置及固体摄像元件
CN101292518A (zh) * 2005-10-17 2008-10-22 诺基亚公司 防止视频电子设备中的闪烁效应
CN101662694A (zh) * 2008-08-29 2010-03-03 深圳华为通信技术有限公司 视频的呈现方法、发送、接收方法及装置和通信系统
CN102741781A (zh) * 2009-12-04 2012-10-17 奈克斯特控股公司 用于位置探测的传感器方法和系统
CN102253713A (zh) * 2011-06-23 2011-11-23 康佳集团股份有限公司 面向三维立体影像显示系统
CN202362731U (zh) * 2011-10-31 2012-08-01 北京德信互动网络技术有限公司 人机互动系统

Also Published As

Publication number Publication date
US9667883B2 (en) 2017-05-30
US20140192160A1 (en) 2014-07-10
CN103916660A (zh) 2014-07-09

Similar Documents

Publication Publication Date Title
CN103916660B (zh) 3d图像感测装置与3d图像感测的方法
CN106233295B (zh) 显示器集成式用户分类、安全及指纹系统
CN105611275B (zh) 执行电子装置的多照相机捕捉控制的方法及其设备
RU2634907C2 (ru) Метод и устройство для получения фотографии
TWI517092B (zh) 3d影像感測裝置與3d影像感測的方法
US9609206B2 (en) Image processing apparatus, method for controlling image processing apparatus and storage medium
TWI486865B (zh) 用於提供存取內部組件的裝置和方法
CN107534751B (zh) 显示设备及其图像显示方法
US10215557B2 (en) Distance image acquisition apparatus and distance image acquisition method
KR20150091595A (ko) 이미지 촬영장치 및 방법
KR20200034183A (ko) 디스플레이 장치 및 그 제어 방법
CN107566693A (zh) 电子设备及其图像捕获方法
US9105132B2 (en) Real time three-dimensional menu/icon shading
US10192317B2 (en) Method and pixel array for detecting motion information
KR20120038755A (ko) 얼굴 인증을 위한 영상 생성 장치 및 그 방법
CN114018324B (zh) 多参数同步测量方法及装置、电子设备和存储介质
CN108694383B (zh) 一种手势识别装置及其控制方法、显示装置
JP7210517B2 (ja) 撮像装置、撮像制御方法、撮像制御プログラム
CN113325437B (zh) 图像生成方法及装置
JP5665459B2 (ja) 携帯端末、制御方法及びプログラム
KR102203232B1 (ko) 그리드 패턴 노이즈 제거 방법 및 그 전자 장치
CN119203262A (zh) 显示装置、屏幕信息的保护方法、存储介质及程序产品
CN117631040A (zh) 地震数据的优化方法、装置、设备及存储介质
CN113780280A (zh) 目标检测器安全性测试方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant