CN104917943B - 摄像装置以及摄像装置的拍摄物跟踪方法 - Google Patents

Abstract

本发明提供一种摄像装置以及摄像装置的拍摄物跟踪方法。该摄像装置具备：图像拍摄单元，其拍摄图像；光变化区域检测单元，其检测在由图像拍摄单元拍摄到的图像中包含的以时间序列进行变化的光变化区域；位置检测单元，其检测由光变化区域检测单元检测出的光变化区域在图像中的位置；局部区域检索单元，其在基于由位置检测单元检测出的位置的预定的范围内检索图像处理上的特征量大的局部区域；跟踪单元，其跟踪由局部区域检索单元检索到的局部区域的动作。

Description

摄像装置以及摄像装置的拍摄物跟踪方法

相关申请的参照

本申请基于2014年3月13日递交的日本专利申请第2014-050702，并享受其优先权的好处；其全部内容被收容于本申请中。

技术领域

本发明涉及一种使用了可见光通信技术的摄像装置以及摄像装置的拍摄物跟踪方法。

背景技术

提出了通过照相机对包含通过可见光通信技术发送信息的发光部的对象进行监视，来识别发送的信息的各种技术(例如，日本特开2010-267072号公报)。

包含上述专利文献所记载的技术，在照相机的拍摄图像中跟踪包含可见光通信的发光部的拍摄物时，通常通过一边在中心位置捕捉该发光部一边继续跟踪的算法来进行处理。

此时，存在以下不良情况，即由于发光部的形状或发光部自身闪烁亮度发生变化等，识别拍摄物对其跟踪的精度下降。

这一点例如在JPEG2000中使用的使特定区域的图像质量提高的ROI(Region OfInterest:关注区域)技术中也同样存在，将拍摄物以外的背景区域错误识别为拍摄物等，拍摄物跟踪的精度下降。

发明内容

本发明是鉴于以上的情况而提出的，其目的在于提供一种能够以高精度识别包含可见光通信的发光部的拍摄物来对其持续跟踪的摄像装置以及摄像装置的拍摄物跟踪方法。

本发明的摄像装置的特征在于，具备：图像摄像单元，其拍摄图像；光变化区域检测单元，其检测在由图像拍摄单元拍摄到的图像中包含的以时间序列进行变化的光变化区域；位置检测单元，其检测由光变化区域检测单元检测出的光变化区域在图像中的位置；局部区域检索单元，其在基于由位置检测单元检测出的位置的预定的范围内检索图像处理上的特征量大的局部区域；跟踪单元，其跟踪由上述局部区域检索单元检索到的局部区域的动作。

附图说明

图1是表示本发明的一个实施方式的数字照相机的功能电路的结构的框图。

图2是表示同一实施方式的光标签跟踪动作中的CPU的处理内容的流程图。

图3是例示同一实施方式的拍摄图像中的光标签的图。

图4是表示同一实施方式的对图3的图像进行了二维微分运算的结果的图。

具体实施方式

以下参照附图说明在进行拍摄图像中的光标签的跟踪的数字照相机中应用本发明时的一个实施方式。

图1是表示本实施方式的数字照相机10的电路结构的框图。在该图中，通过设置在照相机外壳前面的拍摄镜头部11，使拍摄物的光学图像入射到例如由CCD(Charge CoupledDevice:电荷结合元件)或CMOS图像传感器等构成的固体摄像元件(IS)12的摄像面上来进行成像。

在被称为通过图像(through image)显示或实时取景图像显示的监视状态下，将通过该固体摄像元件12的摄像而得到的图像信号发送给AGC·A/D变换部13，执行相关平方采样(correlative square sampling)、自动增益调整、A/D变换处理来进行数字化。将该数字值的图像数据经由系统总线SB保存在缓冲存储器14中。

对于保存在该缓冲存储器14中的图像数据，图像处理部15执行适当必要的图像处理。图像处理部15具备光标签检测部15a、局部区域检索部15b以及解调部15c。

这些光标签检测部15a、局部区域检索部15b以及解调部15c可以作为硬件电路来使用，也可以在可见光通信模式时作为通过后述的程序而执行的功能来使用。

光标签检测部15a检测在拍摄图像中出现的由于可见光通信而闪烁的光标签的位置。

局部区域检索部15b通过运算，从包含上述光标签的区域中检索后述的特征量为最大的局部区域。

解调部15c对通过上述光标签闪烁而发送的信息进行解调，取得进行了调制的信息。

上述图像处理部15针对与固体摄像元件12所具备的贝尔排列(Bayerarrangement)的彩色滤光片的结构对应的图像数据进行包含矩阵运算、像素插值处理、伽马修正处理等的去马赛克处理，由此对RAW(原始)数据即贝尔数据执行显影将其变换为亮度色差系(YUV)的图像数据。

图像处理部15生成从该图像数据中去除了显示用的像素数和灰阶比特后的图像数据，将其发送给显示部16，显示为通过图像。

另外，在与上述光学镜头单元11相同的照相机外壳前面设置麦克风17，输入拍摄物方向的声音。麦克风17对输入的声音进行电气信号化，然后输出给声音处理部18。

声音处理部18对在声音单体录音时、带声音静止图像拍摄时以及动态图像的拍摄时从麦克风17输入的声音信号进行数字数据化。并且，声音处理部18检测数字化后的声音数据的声压级，另一方面通过预定的数据文件形式、例如AAC(moving picture expertsgroup-4Advanced Audio Coding运动图像专家组进阶音频编码)形式对该声音数据进行数据压缩来生成声音数据文件，并将其发送给后述的记录介质。

而且，声音处理部18还具备PCM音源等音源电路，对声音再生时发送来的声音数据文件的压缩进行解压缩然后进行模拟化，驱动设置在该数字照相机10的外壳背面侧的扬声器19，使其扩音从而发出声音。

CPU20统一控制以上的电路。该CPU20与工作存储器21以及程序存储器22直接连接。工作存储器21例如由DRAM构成。程序存储器22例如由闪速存储器等可电擦写的非易失性存储器构成，固定地存储包括后述的连拍速度控制的动作程序和数据等。

并且，CPU20从程序存储器22读出需要的程序和数据等，并在工作存储器21中恰当地暂时展开存储，来执行该数字照相机10整体的控制动作。

并且，上述CPU20根据从操作部23直接输入的各种按键操作信号和来自设置在上述显示部16上的一端的触摸输入部24的操作信号，执行控制动作。

操作部23例如具备电源键、快门释放键、放大/缩小键、拍摄模式键、再生模式键、菜单键、光标(“↑”“→”“↓”“←”)键、设置键、解除键以及显示键等。

触摸输入部24是使用透明导电膜在上述显示部16上一体形成的，将通过用户的手指进行触摸操作的位置的坐标信息作为操作信号发送给上述CPU20。

CPU20经由系统总线SB除了与上述AGC·A/D变换部13、缓冲存储器14、图像处理部15、显示部16、触摸输入部24以及声音处理部18连接以外，还与镜头驱动部25、闪光灯驱动部26、图像传感器(IS)驱动部27以及存储卡控制器28连接。

镜头驱动部25接受来自CPU20的控制信号来控制镜头用DC电动机(M)29的旋转，使得构成上述光学镜头单元11的多个镜头组中的一部分、具体地说是使变焦镜头和聚焦镜头的位置分别单独地沿着光轴方向移动。

闪光灯驱动部26在拍摄静止图像时接受来自CPU20的控制信号，与拍摄定时同步地对由多个白色高亮度LED构成的闪光灯部30进行点亮驱动。

图像传感器驱动部27根据在该时刻设定的拍摄条件等进行上述固体拍摄元件12的扫描驱动。

上述图像处理部15在与上述操作部24的快门释放键的操作相伴的图像拍摄时，将从AGC·A/D变换部13发送来且保存在缓冲存储器14中的图像数据进行解马赛克处理，并且如果是预定的数据文件形式、例如是JPEG(Joint Photographic Experts Group联合图像专家组)，则实施DCT(离散余弦变换)和赫夫曼编码等数据压缩处理来生成大幅削减了数据量的图像数据文件。将生成的图像数据文件经由系统总线SB、存储卡控制器28记录在存储卡31中。

另外，图像处理部15经由系统总线SB接受在再生模式时经由存储卡控制器28从存储卡31读出的图像数据，将其保存在缓冲存储器14中，然后通过按照与记录时相反的顺序对保存在该缓冲存储器14中的图像数据进行解压缩的扩展处理来得到原来大小的图像数据，并将其经由系统总线SB输出到显示部16来进行显示。

存储卡控制器28经由卡连接器C与存储卡31连接。存储卡31是在该数字照相机10中能够自由装卸，成为该数字照相机10的记录介质的图像数据等的记录用存储器。在存储卡31的内部设置有以块为单位可电擦写的非易失性存储器即闪速存储器和其驱动电路。

接着说明上述实施方式的动作。

当在可见光通信模式下，进行跟踪在显示部16中监视显示的图像中的光标签的处理时，CPU20读出存储在程序存储器22中的动作程序和数据在工作存储器21上展开存储，然后使CPU20自身或图像处理部15的上述光标签检测部15a、局部区域检索部15b、解调部15c来执行以下所示的动作。

存储在程序存储器22中的动作程序等除了在该数字照相机10从制造工厂出货时存储在程序存储器22中的程序以外，还包含例如在该数字照相机10版本更新时，通过将数字照相机10与个人电脑连接而从外部下载并存储新的动作程序、数据等。

在包含上述可见光通信模式的拍摄模式下的监视状态中，CPU20通过图像传感器驱动部27以预定的帧速率例如60“帧/秒”来扫描驱动固体拍摄元件12，一边使得到的图像依次在缓冲存储器14中缓冲，一边将得到的图像作为通过图像在显示部16进行实时显示。

图2是表示如上述那样在可见光通信模式下在CPU20的控制下由图像处理部15执行的处理内容的流程图。在该处理之初，在直到该时刻得到的时间序列的图像数据中，通过光标签检测部15a根据图像中的亮度变化来检测作为对象的基于可见光通信的闪烁速率重复闪烁的发光部即光标签的位置(步骤S101)。

如果检测出光标签，则通过图像处理部15的局部区域检索部15b检索在该光标签的检测位置周边的区域，位于不受光标签的闪烁造成的亮度变化的影响的位置，并且特征量大的局部区域(步骤S102)。

图3例示了将图像中包括光标签LT的一定区域设定为用于检索特征量的范围CA的情况。在该图中表示了使光标签LT为大致中央，将以整个图像中的一定的图像尺寸、例如长度方向(横向)的图像尺寸(像素数)的1/4设为一个边的正方形的范围设为检索范围CA的情况。对于该检索范围CA，通过运算来计算图像处理上的特征量、具体地说是空间频率高的成分集中的部分。

可以与上述光标签LT均一地进行闪烁的部分的尺寸相匹配地调整上述检索范围CA的大小。例如可以根据光标签LT的图像数据中的纵横各个像素数来选择设定大中小3个尺寸的检索范围CA。

图4表示对上述图3的检索范围CA进行了2维微分运算的结果。表示检索出通过2维微分运算运算值的总和为最大的位置HF的的结果，所以成为空间频率的高频成分非常高，边缘部分集中的区域。

作为如上述那样检索出特征量大的局部区域HF的结果，从求出的局部区域HF的位置开始进行包含光标签LT的拍摄物的跟踪动作(步骤S103)。

此时，CPU20在跟踪上述局部区域HF时，为了能够以更高的精度识别图像中的局部区域HF，通过镜头驱动部25经由镜头用DC电动机29控制拍摄镜头部11中的聚焦镜头位置来在局部区域HF自动聚焦，此外，通过图像传感器驱动部27控制固体摄像元件12中的电子快门的速度，以使局部区域HF恰当地曝光，并且如果具有在图1中未图示的光圈则还控制F值。并且，CPU20在AGC·A/D变换部13的显影处理工程中，为了保持上述局部区域HF内适当的白平衡而进行自动白平衡调整。

从上述拍摄物的跟踪状态开始，判断拍摄物的跟踪在开始后的一定时间例如1“秒”内是否正在继续(步骤S104)。

在此，当判断为拍摄物的跟踪状态经过了上述一定时间时，或者在判断为无法检索到局部区域HF，丢失了拍摄物时(步骤S104为否)，为了再次从光标签LT的检测开始，返回从上述步骤S101开始的处理。

另外，在上述步骤S104中，当判断为在开始了拍摄物的跟踪后的一定时间内，并且正在继续跟踪时(步骤S104为是)，CPU20使用图像处理部15继续设定该拍摄物的跟踪状态(步骤S105)。

并且，CPU20根据拍摄图像中的检索范围CA的位置是否为周边，来执行需要的分幅(framing)动作(步骤S106)。

在此，例如当通过镜头驱动部25使用镜头用DC电动机29能够从拍摄镜头部11的变焦镜头位置向广角侧进一步缩小(zoom-down)的情况下，CPU20使变焦镜头位置移动一定量来进行缩小，从而使拍摄图像中的检索范围CA的位置接近图像中央。

另外，虽然在上述的图1中没有说明，但在该数字照相机10为配置在电动云台上的监视照相机等的情况下，可以应对拍摄物的动作来控制上述电动云台，以使检索范围CA始终位于图像的中央。

在上述步骤S106中根据需要执行了分幅动作后，CPU20返回从上述步骤S104开始的处理，适当地继续进行跟踪拍摄物的状态下的处理。

这样，通过代替光标签LT而将特征量高的局部区域HF作为跟踪的目标，不受光标签LT的形状和闪烁造成的亮度变化等的影响，能够提高跟踪的精度。

根据如上所述的本实施方式，能够高精度地识别并继续跟踪包含进行可见光通信的光标签LT的拍摄物。

另外，在上述实施方式中，将不受发光部的闪烁造成的影响的场所作为局部区域设为检索的对象，因此能够排除光标签LT的发光的影响，持续稳定的跟踪状态。

另外，虽然在上述实施方式中没有说明，但在识别出光标签LT的时刻，通过图像处理部15的解调部15c对通过可见光通信发送的信息进行解调，当解调后的结果和预先设定在数字照相机10中的信息一致时，可以判定为安装或持有该光标签LT的拍摄物是跟踪对象，开始跟踪动作。通过这样，能够使成为跟踪对象的拍摄物的选择动作自动化。

另外在上述实施方式中，并非一致地进行检索范围CA的设定，而是根据何种因素进行可变设定，因此能够根据各种设定条件来提高拍摄物的跟踪精度。

例如，通过与光标签LT的尺寸的大小相匹配地还使检索范围CA的尺寸可变，由此能够始终设定适当尺寸的检索范围CA来继续跟踪，因此能够稳定在高跟踪精度的状态。

另外，在根据上述拍摄镜头部11中的变焦镜头的位置，进行焦点距离长的望远拍摄时，拍摄物的动作导致的图像内的移动量大，且景深比较浅，因此拍摄物的聚焦管理变得严格，所以较大地设定检索范围CA的范围，另一方面在进行焦点距离短的广角拍摄时，拍摄物的动作导致的图像内的移动量小，且景深比较深，因此拍摄物的聚焦管理不需要那么精密，所以较小地设定检索范围CA的范围，由此能够稳定在高跟踪精度的状态。

另外，在上述实施方式中，在从检索范围CA检索局部区域HF时，通过使用2维微分运算，能够相对地抑制运算量来减轻图像处理部15的处理负担，并且提高跟踪的响应，空间频率高的部分的检索变得容易。

另外，本发明不限于上述2维微分运算，例如通过使用2维FFT(Fast FourierTransform：高速傅立叶变换)，同样能够检索特征量大的极小区域。

另外，一般光标签LT大多佩戴在成为对象的人的胸部口袋的位置等，虽然与拍摄镜头部11的焦点距离有关，但成为拍摄物的人的脸部进入光标签LT的附近的可能性高。

并且，脸部识别技术已经实用化至能够确定、登录个人的水平，并且在数字照相机中在人的脸部聚焦的拍摄方法是一般的方法，因此在检测出光标签LT后，识别位于距离该光标签LT最近位置的人的脸部来设定为局部区域HF，进行局部区域HF内的自动曝光、自动聚焦、自动白平衡调整等，由此能够提供一种十分实用且容易反映为商品的数字照相机。

另外，在上述实施方式中，使光标签LT通过可见光通信而进行闪烁，主要检测其亮度成分的变化，所以能够直接应用于目前预计能够普及的使用了单色LED(发光二极管)的可见光通信，能够在广泛的应用范围来实现。

另外，在使用多色LED通过色度的变化来传播信息的可见光通信中，例如通过检测原色RGB的色度成分的变化，能够同样应用，所以通过进一步组合色度的变化和亮度的变化(闪烁)，能够增大可通信的信息量。

另外，关于拍摄图像中的光标签LT的检测和检索范围CA的设定等，通过适当组合触摸输入部24的触摸操作或者2根手指的伸展操作(pinch out)等伴随用户操作的手动设定，能够提高使用方便性，实现平顺的拍摄物的跟踪动作。

另外，上述实施方式对应用于进行拍摄图像中的光标签的跟踪的数字照相机的情况进行了说明，但本发明不限于此，也能够应用于监视照相机、智能手机的应用程序、其他各种的用途。

另外，本发明不限于上述的实施方式，在实施阶段在不脱离其主旨的范围内能够进行种种变形。另外，在上述实施执行的功能也可以尽可能地进行适当组合来实施。上述实施方式包括各种阶段，通过公开的多个结构要件的适当组合来抽出各种发明。例如，即使从实施方式所示的所有结构要件删除几个结构要件，也能够得到效果的话，则将删除了该结构要件的结构作为发明而抽出。

Claims (10)

1.一种摄像装置，其特征在于，具备：

图像拍摄单元，其拍摄图像；

光变化区域检测单元，其检测在由上述图像拍摄单元拍摄到的上述图像中包含的以时间序列进行变化的光变化区域；

位置检测单元，其检测由上述光变化区域检测单元检测出的上述光变化区域在上述图像中的位置；

局部区域检索单元，其在基于由上述位置检测单元检测出的上述位置的预定的范围内，检索以上述时间序列进行变化的光不产生影响的特征量大的局部区域；

跟踪单元，其跟踪由上述局部区域检索单元检索到的上述局部区域的动作。

2.根据权利要求1所述的摄像装置，其特征在于，

还具备：

信息取得单元，其从上述光变化区域检测单元检测出的上述光变化区域取得进行了光调制的信息；

解调单元，其对上述信息取得单元取得的信息进行解调；

判定单元，其判定通过上述解调单元进行了解调的信息是否是预先设定的信息，

上述跟踪单元在通过上述判定单元进行了判定时，跟踪由上述局部区域检索单元检索出的上述局部区域的动作。

3.根据权利要求1所述的摄像装置，其特征在于，

还具备检索范围设定单元，其设定通过上述局部区域检索单元进行检索的上述局部区域的检索范围。

4.根据权利要求3所述的摄像装置，其特征在于，

上述检索范围设定单元根据由上述光变化区域检测单元检测出的上述光变化区域的大小，设定上述局部区域的检索范围。

5.根据权利要求3所述的摄像装置，其特征在于，

上述图像拍摄单元包括使焦点距离可变的变焦镜头，

上述检索范围设定单元根据上述图像拍摄单元进行图像拍摄时的上述变焦镜头的焦点距离，设定上述局部区域的检索范围。

6.根据权利要求1所述的摄像装置，其特征在于，

上述局部区域检索单元对通过上述位置检测单元检测出的上述位置的周边图像进行2维微分运算，从进行了2维微分运算的图像检索上述位置的周边内的运算值的总和最大，由此来检索上述局部区域。

7.根据权利要求1所述的摄像装置，其特征在于，还具备：

脸检索单元，其在基于由上述位置检测单元检测出的上述位置的预定的范围内检索脸；

拍摄控制单元，其根据由上述脸检索单元检索出的上述脸的位置，通过上述图像拍摄单元执行自动曝光、自动聚焦以及自动白平衡中的至少一个。

8.根据权利要求1所述的摄像装置，其特征在于，

上述以时间序列进行变化的光变化区域是亮度的变化区域。

9.根据权利要求1所述的摄像装置，其特征在于，

上述以时间序列进行变化的光变化区域是色度的变化区域。

10.一种拍摄物跟踪方法，其是具备拍摄图像的拍摄部的摄像装置的拍摄物跟踪方法，其特征在于，具备：

光变化区域检测工序，其检测在由上述拍摄部拍摄到的上述图像中包含的以时间序列进行变化的光变化区域；

位置检测工序，其检测通过上述光变化区域检测工序检测出的上述光变化区域在上述图像中的位置；

局部区域检索工序，其在基于通过上述位置检测工序检测出的上述位置的预定的范围内，检索以上述时间序列进行变化的光不产生影响的特征量大的局部区域；

跟踪工序，其跟踪通过上述局部区域检索工序检索到的上述局部区域的动作。