[go: up one dir, main page]

CN101897174B - 摄像装置及图像再生装置 - Google Patents

摄像装置及图像再生装置 Download PDF

Info

Publication number
CN101897174B
CN101897174B CN2008801206381A CN200880120638A CN101897174B CN 101897174 B CN101897174 B CN 101897174B CN 2008801206381 A CN2008801206381 A CN 2008801206381A CN 200880120638 A CN200880120638 A CN 200880120638A CN 101897174 B CN101897174 B CN 101897174B
Authority
CN
China
Prior art keywords
image
picture
cut
away view
intercepting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008801206381A
Other languages
English (en)
Other versions
CN101897174A (zh
Inventor
藤田日出人
森幸夫
畑中晴雄
山中诚
前中章弘
冈田茂之
村田治彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyun Hyun Lee
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN101897174A publication Critical patent/CN101897174A/zh
Application granted granted Critical
Publication of CN101897174B publication Critical patent/CN101897174B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种摄像装置及图像再生装置。摄像装置(1)具备：摄像元件，其通过摄影，输出表示摄影对象的光学像的信号；特定被摄体检测部(14)，其依次取得基于所述摄像元件的输出信号的帧图像，根据所述帧图像的图像信号，检测所述摄影对象中包含的特定被摄体在所述帧图像上的位置；截取部(15)，其根据检测出的所述位置，在所述帧图像内设定比所述帧图像的整个区域小的截取区域，并提取出所述截取区域内的图像作为截取图像；和画质补偿部(16)，其使所述截取图像的分辨率提高。

Description

摄像装置及图像再生装置
技术领域
本发明涉及能够对动态图像进行摄影的摄像装置。而且，本发明涉及对动态图像进行再生的图像再生装置。
背景技术
以往，当使用摄像机对关注的被摄体(人物等)进行动态图像摄影时，为了不迷失该被摄体，需要在摄像机的显示画面上确认被摄体的同时，根据被摄体的运动来操作摄像机的摄影方向、变焦倍率。因此，摄影者必须将精力集中于摄影，难以一边与关注的被摄体进行交流一边实施摄影、或难以一边将精力投入到其他事情上一边进行摄影。
非专利文献1：羽下哲司及其他两人、“侵入检测/追踪相机”、(online)、平成16年8月、三菱电机、(平成19年12月14日检索)、网址<URL：http://www.mitsubishielectric.co.jp/giho/0408/0408111.pdf>
如果能够在不怎么将精力集中于摄影操作的情况下获得关注被摄体的动态图像，则当然会提高摄像机的便利性。
发明内容
鉴于此，本发明的目的在于，提供一种即使不怎么将精力集中于摄影操作，也能够获得符合摄影者意图的关注被摄体的动态图像的摄像装置。而且，其目的还在于，提供一种能够对即使在摄影时不怎么将精力集中于摄影操作，也符合操作者意图的关注被摄体的动态图像进行再生的图像再生装置。
本发明涉及的摄像装置具备：摄像元件，其通过摄影，输出表示摄影对象的光学像的信号；特定被摄体检测单元，其依次取得基于所述摄像元件的输出信号的输入图像，根据所述输入图像的图像信号，检测所述摄影对象中包含的特定被摄体在所述输入图像上的位置；截取图像提取单元，其根据检测出的所述位置，在所述输入图像内设定比所述输入图像的整个区域小的截取区域，提取出所述截取区域内的图像作为截取图像；和画质补偿单元，其使所述截取图像的分辨率提高。
由此，仅通过将特定被摄体限制在摄影区域内，便能够自动地取得着眼于特定被摄体的、分辨率高的截取图像的动态图像。即，即使不怎么将精力集中于摄影操作，也能够取得符合摄影者意图的动态图像。
例如，所述摄像装置还具备：装置运动检测单元，其检测所述摄像装置的运动；被摄体运动检测单元，其根据所述摄像元件的输出信号，对相邻帧的输入图像间的所述特定被摄体的运动进行检测；和修正单元，其根据所述装置运动检测单元的检测结果及所述被摄体运动检测单元的检测结果，对所述截取图像中的抖动进行修正。
通过除了考虑摄像装置的运动之外，还考虑特定被摄体的运动，由此能够良好地修正截取图像的抖动。
更具体而言，例如所述摄像装置还具备使所述光学像在所述摄像元件上移动的像移动单元，所述修正单元通过根据所述装置运动检测单元的检测结果及所述被摄体运动检测单元的检测结果，对由所述像移动单元实现的移动及由所述截取图像提取单元设定的所述截取区域的位置进行控制，来修正所述截取图像中的抖动。
而且，例如所述修正单元参照基于所述装置运动检测单元的检测结果的与所述摄像装置的运动对应的第一向量、以及基于所述被摄体运动检测单元的检测结果的与所述特定被摄体的运动对应的第二向量，按照以规定的比率将所述第一及第二向量合成而得到的向量，控制所述像移动单元，并且按照所述摄影对象中包括的实际空间上的静止物体在相邻帧的截取图像间的位置变化被抑制的方式，对所述截取图像提取单元进行控制。
或者，例如所述修正单元参照基于所述装置运动检测单元的检测结果的与所述摄像装置的运动对应的第一向量、以及基于所述被摄体运动检测单元的检测结果的与所述特定被摄体的运动对应的第二向量，按照所述摄像元件上的所述特定被摄体的像的位置变化被抑制的方式，根据所述第二向量控制所述像移动单元，并且，按照所述摄影对象中包括的实际空间上的静止物体在相邻帧的截取图像间的位置变化被抑制的方式，对所述截取图像提取单元进行控制。
另外，例如在所述摄像元件的摄像面的第一区域内排列有多个受光像素，在所述摄像元件的第一区域内设定比所述第一区域小的第二区域，根据来自被配置在所述第二区域内的受光像素组的输出信号，形成所述输入图像，所述修正单元通过根据所述装置运动检测单元的检测结果及所述被摄体运动检测单元的检测结果，对所述第二区域的设定位置、以及由所述截取图像提取单元设定的所述截取区域的位置进行控制，来修正所述截取图像中的抖动。
而且，例如所述修正单元参照基于所述装置运动检测单元的检测结果的与所述摄像装置的运动对应的第一向量、以及基于所述被摄体运动检测单元的检测结果的与所述特定被摄体的运动对应的第二向量，按照以规定的比率将所述第一及第二向量合成而得到的向量，控制所述第二区域的设定位置，并且按照所述摄影对象中包括的实际空间上的静止物体在相邻帧的截取图像间的位置变化被抑制的方式，对所述截取图像提取单元进行控制。
另外，例如所述修正单元参照基于所述被摄体运动检测单元的检测结果的与所述特定被摄体的运动对应的向量，在所述向量的大小比规定的大小小的情况下，按照所述截取区域的位置在相邻帧之间被固定的方式，对所述截取图像提取单元进行控制。
如果依次全部考虑了特定被摄体的运动而对截取区域的位置进行控制，则在由截取图像列构成的动态图像中，存在背景晃动不定的可能性，但如果如上述那样控制截取区域的位置，则可以获得稳定的动态图像。
而且，具体例如所述画质补偿单元通过使用了多帧份的截取图像的超分辨处理，使该多帧份的截取图像中包含的关注帧的截取图像的分辨率提高。
并且，例如所述摄像装置还具备将所述分辨率提高前或提高后的所述截取图像的图像信号，记录到记录单元中的记录控制单元。
另外，例如所述摄像装置将所述被提高了分辨率的所述截取图像的图像信号输出到显示单元。
本发明涉及的图像再生装置具备：特定被摄体检测单元，其通过从记录单元读出依次对摄影对象进行摄影而得到的图像信号，来依次取得基于所述图像信号的输入图像，并根据所述输入图像的图像信号，检测所述摄影对象中包含的特定被摄体在所述输入图像上的位置；截取图像提取单元，其根据检测出的所述位置，在所述输入图像内设定比所述输入图像的整个区域小的截取区域，并提取出所述截取区域内的图像作为截取图像；和画质补偿单元，其使所述截取图像的分辨率提高；所述图像再生装置将所述分辨率被提高的截取图像的图像信号输出到显示单元或外部。
(发明效果)
根据本发明，能够提供一种即使不怎么将精力集中于摄影操作，也能够获得符合摄影者意图的关注被摄体的动态图像的摄像装置。而且，还可以提供一种能够对即使在摄影时不怎么将精力集中于摄影操作，也符合操作者意图的关注被摄体的动态图像进行再生的图像再生装置。
通过以下所示的实施方式的说明，能够更加明确本发明的意义及效果。不过，以下的实施方式只是本发明的一个实施方式，本发明及各构成要件的用语的意义，不限定于下述实施方式中记载的情况。
附图说明
图1是本发明的第一实施方式涉及的摄像装置的结构框图。
图2是图1的摄像部的内部结构图。
图3是表示动态图像摄影时图1的摄像装置的运动流程的流程图。
图4是表示用于检测特定被摄体的帧图像的图。
图5是表示以时间序列排列的帧图像列及从其中提取出的截取图像列的图。
图6是表示在帧图像上叠加了截取图像后的图1的显示部的显示画面例的图。
图7是表示动态图像再生时图1的摄像装置的运动流程的流程图。
图8是表示3幅帧图像的摄影附近的时间关系的图。
图9是本发明的第二实施方式涉及的运动检测部的内部框图。
图10是用于对由图9的手抖动检测部导出手抖动向量的方法进行说明的图。
图11是本发明的第二实施方式涉及的表示手抖动向量和被摄体运动向量与基于二者的合成向量的关系的图。
图12是本发明的第二实施方式涉及的表示帧图像的曝光开始时刻的摄影区域、与曝光结束时刻的摄影区域的关系的图。
图13是本发明的第二实施方式涉及的表示摄像面上的实际静止点的像，在帧图像的曝光开始时刻与结束时刻之间移动的样子的图。
图14是本发明的第二实施方式涉及的表示摄像面上的实际静止点的像，在帧图像的曝光开始时刻与结束时刻之间移动的样子的图。
图15是表示本发明的第三实施方式涉及的摄像元件的构造的图。
图16是本发明的第三实施方式涉及的表示手抖动向量和被摄体运动向量与基于二者的合成向量的关系的图。
图17(a)及(b)是用于说明本发明的第三实施方式涉及的有效像素区域的设定方法的图。
图18是本发明的第三实施方式涉及的将时刻tn-1时的能够摄影像素区域及有效像素区域、与时刻tn时的能够摄影像素区域及有效像素区域的位置关系，和投影到摄像元件的光学像一同表示的图。
图19是本发明的第三实施方式涉及的表示实际静止点的像位置在相邻的帧图像之间移动的样子的图。
图中：1-摄像装置，11-摄像部，14-特定被摄体检测部，15-截取部，16-画质补偿部，18-运动检测部，19-运动修正控制部，21-显示部，22-记录介质，30-变焦透镜，31-聚焦透镜，32-光圈，33-摄像元件，35-光学系统，36-修正透镜，41-手抖动检测部，42-被摄体运动检测部。
具体实施方式
下面，参照附图对本发明的实施方式进行具体说明。在所参照的各附图中，针对同一部分赋予相同的符号，并在原则上省略对同一部分重复的说明。
(第一实施方式)
首先，对本发明的第一实施方式进行说明。图1是本发明的第一实施方式涉及的摄像装置1的构成框图。摄像装置1是能够对静止图像及动态图像进行摄影及记录的数码摄像机。摄像装置1具备由参照符号11～24表示的各部位。图2是图1的摄像部11的内部构成图。
摄像部11具有：光学系统35、光圈32、由CCD(Charge CoupledDevices)或CMOS(Complementary Metal Oxide Semiconductor)图像传感器等构成的摄像元件33、和用于驱动控制光学系统35、光圈32的驱动器34。光学系统35由包括变焦透镜30、聚焦透镜31及修正透镜36的多个透镜形成。变焦透镜30及聚焦透镜31能够沿光轴方向移动。修正透镜36能够沿着相对光轴具有斜度的方向移动。具体而言，修正透镜36按照能够在与光轴正交的二维平面上移动的方式，被配置在光学系统35内。
根据来自图1的CPU(Central Processing Unit)20的控制信号，驱动器34通过对变焦透镜30及聚焦透镜31的各位置以及光圈32的开度进行驱动控制，来控制摄像部11的焦距(视场角)及焦点位置以及向摄像元件33入射的光量。并且，根据来自内置于CPU20的运动修正控制部19的修正透镜控制信号，驱动器34使修正透镜36在光学系统35内移动。通过该移动，还能够实现公知的光学式手抖动修正，对于运动修正控制部19以及向其赋予必要的信息的运动检测部18的功能，将在后面叙述。
摄像元件33对经由光学系统35及光圈32而入射的、表示被摄体(摄影对象)的光学像进行光电转换，并将通过该光电转换而得到的电信号输出给AFE12。更具体而言，摄像元件33具备二维排列成矩阵状的多个受光像素，在各摄影中，各受光像素蓄积与曝光时间对应的电荷量的信号电荷。来自具有与所蓄积的信号电荷的电荷量成比例的大小的各受光像素的模拟信号，按照在摄像装置1内生成的驱动脉冲，被依次输出给AFE12。以下说明中的“曝光”是指摄像元件33的曝光。
AFE12对从摄像部11(摄像元件33)输出的模拟信号进行放大，并将放大后的模拟信号转换成数字信号。AFE12将该数字信号依次输出给图像取得部13。图像取得部13根据AFE12的输出信号，生成对由摄像部11拍摄到的图像进行表示的影像信号。将通过一次摄影得到的一张整体图像称作帧图像。图像(包括帧图像)由图像信号表现，在以下的说明中，将图像信号称作图像数据。
特定被摄体检测部14根据帧图像的图像数据，检测帧图像内被描画了特定被摄体的区域(即与特定被摄体对应的图像数据存在的区域)，并提取出包含该区域的矩形区域作为特定被摄体区域。不过，特定被摄体区域的形状也可以是矩形以外的形状。特定被摄体区域的大小(图像尺寸)小于帧图像的整体区域的大小。特定被摄体例如是人物。特定被摄体检测部14将帧图像上的表示特定被摄体区域的位置及大小的特定被摄体信息向截取部15传输。
截取部15根据特定被摄体信息在帧图像内设定包括特定被摄体区域的截取区域，从帧图像截取出该截取区域内的图像。将被截取出的截取区域内的图像称作“截取图像”。截取区域比帧图像的整体区域小，截取图像相当于帧图像的一部分图像。因此，截取图像的图像尺寸(水平方向及垂直方向的像素数)比帧图像的尺寸小。例如，按照截取区域的中心与特定被摄体区域的中心或重心一致的方式设定截取区域。另外，也可以考虑作为特定被摄体的人物的脸朝向等，来决定截取区域内的特定被摄体区域的位置。例如，还能够使截取区域内的脸朝向的方向侧的区域的大小，比其相反侧的区域的大小大。
画质补偿部16执行用于使截取图像的分辨率提高的图像处理。例如，通过超分辨处理使截取图像的分辨率提高。
显示部21是由液晶显示面板等构成的显示装置。通过对显示部21赋予应该显示的图像的图像数据，该图像被显示在显示部21的显示画面上。例如，通过画质补偿部16将提高了分辨率之后的截取图像的图像数据输出给显示部21，可以在显示部21上显示分辨率提高后的截取图像。而且，例如通过截取部15将分辨率提高之前的截取图像的图像数据输出给显示部21，可以在显示部21上显示分辨率提高之前的截取图像。或者，通过将由图像取得部13获取的帧图像的整体图像数据发送给显示部21，可以在显示部21上显示帧图像的整体图像。
记录介质22是SD(Secure Digital)存储卡等非易失性存储器，记录自身被赋予的数据。设置在摄像装置1内的记录控制部(未图示)对该记录进行控制。例如，将分辨率提高后的截取图像的图像数据存储到记录介质22中。而且，例如将分辨率提高之前的截取图像的图像数据记录到记录介质22中。另外，例如将帧图像的整体图像数据记录到记录介质22中。还能够将分辨率提高之前或之后的截取图像的图像数据，与帧图像的整体图像数据一同记录到记录介质22中。其中，能够通过对操作部17进行的操作，来指定向记录介质22中记录什么样的图像数据。而且，当记录图像数据时，在通过规定的压缩方式对图像数据进行压缩之后实施记录。不过，也可以在不进行该压缩的情况下对图像数据进行记录(记录所谓的RAW数据)。
操作部17是对来自用户的操作进行受理的部位，针对操作部17的操作内容被传递到CPU20。CPU20对摄像装置1内部的动作统一进行控制。
传声部23将摄像装置1的外围声音转换成电信号并输出。声音信号处理部24对来自传声部23的输出信号实施必要的声音信号处理，生成对传声部23被输入的声音进行表示的声音信号。根据需要，该声音信号在以规定的压缩方式被压缩之后，存储到记录介质22中。
摄像装置1的动作模式中含有：能够对静止图像或动态图像进行摄影及记录的摄影模式、和将记录介质22中记录的静止图像或动态图像再生显示到显示部21上的再生模式。根据针对操作部17的操作，可实施各模式之间的迁移。在摄影模式下，摄像部11以规定的帧周期(例如1/30秒)依次进行摄影，在每一个帧周期获得1幅帧图像。
(摄影时的动作)
说明对操作部17指示了动态图像的摄影及记录时摄像装置1的基本动作。图3是表示该基本动作的流程的流程图。
首先在步骤S11中，特定被摄体检测部14在被指示了动态图像的摄影及记录之后，从获得的帧图像检测出特定被摄体。将步骤S11中的检测称为初始检测。将应该进行初始检测的帧图像特别称为初始检测用帧图像。
当特定被摄体的初始检测结束后，特定被摄体检测部14设定包括在步骤S11中检测出的特定被摄体的描画区域的特定被摄体区域，将表示特定被摄体区域的位置及大小的特定被摄体信息发送给截取部15。在步骤S12中，截取部15根据该特定被摄体信息，在初始检测用帧图像内设定包括特定被摄体区域的截取区域，并从初始检测用帧图像提取出该截取区域内的图像，作为截取图像。
现在，将特定被摄体设为人物，对该情况下的步骤S11及S12的动作进行详细说明。特定被摄体检测部14首先对初始检测用帧图像进行检测，从中提取出包含人物的脸部分的区域、即脸区域。图4表示了从作为初始检测用帧图像的例子的帧图像200提取出的脸区域201。接着，检测包括该人物的躯体部分的区域、即躯体区域202。躯体区域202被设定为在脸区域201的下方侧(从眉间朝向嘴的方向侧)与脸区域201邻接存在的矩形区域。躯体区域202的大小依赖于脸区域201的大小而决定。然后，从帧图像200中提取出包括脸区域201及躯体区域202的矩形区域，作为特定被摄体区域。图4中的被赋予了虚线203的区域的内侧，相当于特定被摄体区域。考虑脸区域201的位置及大小等按照与脸区域201对应的人物的全身包含在特定被摄体区域内的方式设定特定被摄体区域为好。而且，被赋予了虚线204的区域的内侧，是对帧图像200设定的截取区域。
其中，作为对图像中含有的脸进行检测的方法，公知有各种方法，特定被摄体检测部14能够采用任意的方法。典型的情况下，例如将被设定在帧图像内的关注区域的图像、与具有规定的图像尺寸的基准脸图像进行对比，来判定两个图像的相似度，根据该相似度来检测关注区域中是否含有脸(关注区域是否是脸区域)。在帧图像内，将关注区域逐个像素地向左右方向或上下方向错移。然后，将错移后的关注区域内的图像与基准脸图像进行对比，再次判定两个图像的相似度，进行同样的检测。这样，关注区域例如在从帧图像的左上朝向右下方向逐个像素地错移的同时，被更新设定。而且，以一定比例将帧图像缩小，对缩小后的图像进行同样的脸检测处理。通过反复进行这样的处理，可以从帧图像中检测出任意大小的脸。
在步骤S12的处理之后，转移到步骤S13。在步骤S13中取得当前时刻的帧图像，然后，转移到步骤S14。在步骤S14中，特定被摄体检测部14通过基于图像数据的追踪处理，从通过步骤S13取得的帧图像中检测特定被摄体。将用于通过追踪处理来检测特定被摄体的帧图像，特别称作追踪对象帧图像。作为基于图像数据的对特定被摄体追踪处理的方法，能够采用公知的任何方法。
例如，根据对特定被摄体的颜色进行表示的色信息，来进行追踪处理。作为基于色信息的追踪处理的方法，可以使用在日本特开平5-284411号公报、日本特开2000-48211号公报、日本特开2001-169169号公报等中记载的方法。例如，在图4所示的帧图像200是初始检测用帧图像的情况下，特定被摄体检测部14根据躯体区域202中的色信号(色差信号、RGB信号)来确定躯体区域202的颜色。然后，根据追踪对象帧图像的色信号，从追踪对象帧图像中提取出具有与躯体区域202的颜色相似性高的颜色的区域。这里被提取出的区域是追踪对象帧图像内的特定被摄体的躯体区域，将包含该躯体区域的矩形区域设为追踪对象帧图像内的特定被摄体区域。此时，可以考虑躯体区域的位置及大小等来设定特定被摄体，以使作为特定被摄体的人物的全身包含在特定被摄体区域内。
在步骤S14中设定的表示特定被摄体区域的位置及大小的特定被摄体信息，被发送给截取部15。在步骤S15中，截取部15根据该特定被摄体信息，在追踪对象帧图像内设定包括特定被摄体区域的截取区域，从追踪对象帧图像中提取出该截取区域内的图像，作为截取图像。即，按照追踪特定被摄体的方式来设定截取区域。基本上例如按照在由截取图像列构成的动态图像内，特定被摄体总是位于截取图像的中央的方式，来设定截取区域的位置。截取图像列是指从以时间序列排列的多个帧图像获得的、按时间序列排列的多个截取图像。同样，将以时间序列排列的多个帧图像也称作帧图像列。
在接下来的步骤S16中，进行使截取图像的分辨率提高的高分辨率化处理。例如，包括初始检测用帧图像及追踪对象帧图像的各帧图像的图像尺寸为1920×1080(即水平方向的像素数为1920、且垂直方向的像素数为1080)，而通过高分辨率化处理使分辨率提高之前的各截取图像的图像尺寸为960×540。然后，通过高分辨率化处理，使各截取图像的图像尺寸为1920×1080。截取区域的大小、即分辨率提高之前的截取图像的图像尺寸总是恒定。不过，也能够在一个动态图像内改变其图像尺寸。
在本实例中，采用了超分辨处理作为高分辨率化处理。在超分辨处理中，通过参照存在位置偏差的多个低分辨率图像，根据多个低分辨率图像间的位置偏差量和多个低分辨率图像的图像数据，进行低分辨率图像的高分辨率化，来生成一幅高分辨率图像。画质补偿部16能够利用公知的任意超分辨处理。例如，可以利用日本特开2005-197910号公报、日本特开2007-205号公报、日本特开2007-193508号公报等中记载的超分辨处理方法。
例如，在使用3帧份的截取图像进行超分辨处理的情况下，按下述方式进行处理。现在，对经过1帧周期量的时间的情况，设为是按时刻tn-2、tn-1、tn、tn+1、tn+2……的顺序经过的，如图5所示，将在时刻tn+i时取得的帧图像称为时刻tn+i的帧图像(i为整数)。而且，将从时刻tn+i的帧图像截取出的截取图像用CIn+i表示。该情况下，使用3幅截取图像CIn+i、CIn+i+1及CIn+i+2，生成1幅高分辨率图像。
考虑i为(-2)的情况来举出具体例。在获得了截取图像CIn的时刻，参照3幅截取图像CIn-2、CIn-1及CIn，将截取图像CIn-2、CIn-1及CIn分别作为第一、第二及第三观测低分辨率图像，来进行超分辨处理。以第一观测低分辨率图像为基准，来检测第一与第二观测低分辨率图像之间的位置偏差量、及第一与第三观测低分辨率图像之间的位置偏差量。位置偏差量是包括水平分量及垂直分量的二维量，也被称为运动量或移动向量。位置偏差量可以采用代表点匹配法或模块匹配法、梯度法等，按照具有子像素的分辨率的方式进行检测。即，将比观测低分辨率图像内相邻的像素的间隔短的距离作为最小检测单位，来检测位置偏差量。
另一方面，使用线性插补或双三次插补，生成使第一观测低分辨率图像的水平及垂直方向的像素数增大的图像，作为初始的高分辨率图像。然后，利用检测出的上述各位置偏差量，来推定对当前时刻的高分辨率图像进行构筑的3幅低分辨率图像，按照推定出的各低分辨率图像与各观测低分辨率图像的误差被最小化的方式，不断更新高分辨率图像。最终获得的高分辨率图像相当于分辨率提高后的截取图像CIn-2。其他的截取图像也同样被提高分辨率。例如，对于截取图像CIn-1的分辨率提高，通过使用截取图像CIn-1、CIn及CIn+1来实现。
分辨率提高后的截取图像在紧接着步骤S16的步骤S17中，被显示到显示部21上。此时，也可以将分辨率提高后的截取图像与成为该截取图像的根源的帧图像的整体图像同时排列显示到显示部21的显示画面上，还能够如图6所示那样，将分辨率提高后的截取图像重叠显示到该帧图像的一部分之上。
进而在紧接着步骤S17的步骤S18中，将分辨率提高后的截取图像的图像数据记录到记录介质22中。此时，也可以将分辨率提高后的截取图像的图像数据与帧图像整体的图像数据一同记录到记录介质22中。此外，还能够将分辨率提高前的截取图像的图像数据记录到记录介质22中。
在步骤S17及S18中的显示及记录处理之后，返回到步骤S13，反复执行上述的步骤S13～S18的各个处理，直到对操作部17发出了动态图像的摄影及记录的结束指示。由此，由包含特定被摄体的截取图像列构成的动态图像被不断记录到记录介质22中。其中，通过声音信号处理部24获得的声音数据(声音信号)也与该动态图像的图像数据一同被记录到记录介质22中。
如果由任意的再生装置读出经过上述步骤S11～S18的处理而获得的记录介质22内的图像数据，则在该再生装置上能够再生显示相对于特定被摄体具有良好的构图的截取图像的动态图像(当然也能够再生声音数据)。尤其是如果读出分辨率提高后的截取图像的图像数据，则能够再生显示高精度的截取图像的动态图像。
当利用摄像装置对关注的被摄体进行动态图像摄影时，以往需要在摄像装置的显示画面上确认被摄体以便不迷失该被摄体，同时根据被摄体的运动来操作摄像装置的摄影方向、变焦倍率。因此，摄影者必须将注意力集中于摄影，难以一边与关注的被摄体进行交流一边摄影、或一边将注意力集中到其他事情上一边进行摄影。
根据本实施方式，即使不怎么将注意力集中到在显示画面上对被摄体的确认、针对摄影方向及变焦倍率的操作，也能够取得具有与摄影者的意图相符的良好构图的被摄体的动态图像。因此，还能够一边与关注的被摄体进行交流一边进行摄影、或一边将注意力集中到其他事情上一边进行摄影。
另外，在上述的说明中，设想了在摄像装置1的摄影区域内只包含一个人物的情况，但在摄影区域内包含多个人物的情况下，只要将该多个人物中的一个人物选择作为特定被摄体即可。例如，从初始检测用帧图像提取出各人物的脸区域，在将明确了脸区域的初始检测用帧图像显示到显示部21的显示画面的基础上，由用户选择应该被选择为特定被摄体的一个人物。该选择通过对操作部17的操作来进行。或者，也可以使显示部21作为所谓的触摸屏发挥功能，通过对该触摸屏的操作，来进行该选择。或者，还可以将应该被选择为特定被摄体的人物的脸图像，预先登记到摄像装置1中。该情况下，摄像装置1自动探索该登记的脸是否包含在初始检测用帧图像中，在判断为登记的脸包含在初始检测用帧图像的情况下，具有该登记的脸的人物被作为特定被摄体而选择。
另外，当在摄影区域内包含多个人物时，可将多个人物分别捕捉为特定被摄体，来设定多个包括特定被摄体的特定被摄体区域。例如，在摄影区域内包括的人物为两个的情况下，将各个人物捕捉为特定被摄体，分别设定包含一个人物的描画区域的特定被摄体区域和包含另一个人物的描画区域的特定被摄体区域。然后，对各个特定被摄体区域设定截取区域，从一个帧图像中提取出两个截取图像，将各个截取图像的图像数据分别记录到记录介质22中。这里记录的截取图像是分辨率提高后的截取图像。不过，也能记录分辨率提高前的截取图像。当再生时，由用户选择上述两个人物中的一个，对所选择的人物的截取图像的动态图像进行再生显示。
而且，在上述的例子中，将分辨率提高前的截取图像的图像尺寸、即截取区域的大小设为恒定，但也能够使其可变。例如在步骤S15中，还能够按照截取区域内的特定被摄体的大小相对于截取区域的大小之比的变化，在截取图像的动态图像中被抑制的方式，来设定截取区域的大小。极端的情况下，还能够按照该比总是恒定的方式来设定截取区域的大小。这样一来，即使摄像装置1与特定被摄体之间的实际空间距离发生变化，在截取图像的动态图像内，特定被摄体的大小也恒定。另一方面，考虑到在成为追踪对象的特定被摄体的躯体区域的颜色、与特定被摄体以外的背景的颜色类似的情况下，追踪失败的可能性较高，所以可减少上述之比。
另外，还可以强调由特定被摄体发出的声音的声音信号，将其记录到记录介质22中。为了实现这样的作法，具体例如由在摄像装置1的框体上的相互不同的位置配置的多个扩音器形成图1的传声部23。多个扩音器例如是两个无指向性扩音器。而且，将声音信号处理部24形成为能够执行根据两个无指向性扩音器的输出信号，生成具有指向轴的两个信道信号(立体声信号)的立体声化处理。由于立体声化处理的方法众所周知，所以省略详细的说明。而且，可以通过按照从特定被摄体在实际空间上的存在位置传来的声音被强调的方式执行立体声化处理，生成对从特定被摄体发出的声音进行了强调的声音信号，将其与截取图像的图像数据一同记录到记录介质22中。
并且，如果预先对摄像装置1赋予了对特定被摄体发出的声音的特性进行表示的数据，则还能够利用公知的声源分离技术(例如日本特开平10一313497号公报、日本特开2000-81900号公报中记载的技术)，将特定被摄体发出的声音与来自其他音源的声音分离。然后，将分离后的由特定被摄体发出的声音的声音信号，与截取图像的图像数据一同记录到记录介质22中。
(再生时的动作)
对在摄影时执行特定被摄体的检测处理、截取处理及高分辨率化处理的情况下的动作进行了说明，但也可以在再生时执行这些处理。参照图7，对该情况下的再生时的摄像装置1的动作进行说明。图7是表示再生时摄像装置1的动作流程的流程图。假设在该再生动作之前，动态图像摄影时获得的以时间序列排列的帧图像列整体的图像数据已被记录在记录介质22中。当进行再生时，使图像取得部13按照时间序列顺序依次从记录介质22读出帧图像，并将该图像数据赋予给特定被摄体检测部14及截取部15，来进行图7的步骤S21～S27的处理。步骤S21～S27的处理分别与图3的步骤S11～S17的处理大致相同。
即，特定被摄体检测部14从经由图像取得部13由记录介质22依次赋予的帧图像中检测出特定被摄体。将步骤S21中的特定被摄体的最初检测称为初始检测，将应该首先检测特定被摄体的帧图像称为初始检测用帧图像。
在特定被摄体的初始检测结束后，特定被摄体检测部14设定包括在步骤S21中检测出的特定被摄体的描画区域的特定被摄体区域，并将表示特定被摄体区域的位置及大小的特定被摄体信息发送给截取部15。在步骤S22中，截取部15根据该特定被摄体信息，来设定在初始检测用帧图像内包括特定被摄体区域的截取区域，并从初始检测用帧图像中提取出该截取区域内的图像，作为截取图像。
在初始检测用帧图像之后从记录介质22中读出的帧图像，被作为追踪对象帧图像进行处理。在紧接着步骤S22的步骤S23中，读出一幅追踪对象帧图像，在接下来的步骤S24中，特定被摄体检测部14通过与步骤S14同样的追踪处理，从通过步骤S23读出的追踪对象帧图像中检测出特定被摄体，并设定特定被摄体区域。
步骤S24中设定的表示特定被摄体区域的位置及大小的特定被摄体信息，被发送给截取部15。在步骤S25中，截取部15根据该特定被摄体信息，设定在追踪对象帧图像内包括特定被摄体区域的截取区域，并从追踪对象帧图像中提取出该截取区域内的图像来作为截取图像。
在接下来的步骤S26中，画质补偿部16进行与图3的步骤S16同样的高分辨率化处理，使截取图像的分辨率提高。分辨率提高后的截取图像在步骤S27中被显示到显示部21上。此时，如上所述，也可以将分辨率提高后的截取图像与成为该截取图像的根源的帧图像的整体图像，同时排列显示到显示部21的显示画面上；还能够如图6所示那样，将分辨率提高后的截取图像重叠显示到该帧图像的一部分上。也可以将再生时生成的分辨率提高后的截取图像的图像数据记录到记录介质22中。另外，还能够省略步骤S26的高分辨率化处理，使分辨率提高前的截取图像显示到显示部21上。
在步骤S27的显示处理之后，返回到步骤S23，反复执行步骤S23～S27的各个处理，直到不存在应该从记录介质22读出的追踪对象帧图像。在显示截取图像的同时，还再生记录介质22中记录的声音信号，并将与该声音信号对应的声音从设置于摄像装置1的扬声器(未图示)输出。
通过能够进行这样的再生动作，即使摄影时不怎么将注意力集中到在显示画面上对被摄体的确认、针对摄影方向及变焦倍率的操作，也能够再生具有与摄影者的意图相符的良好构图的被摄体的动态图像。因此，还能够一边与关注的被摄体进行交流一边进行摄影、或一边将注意力集中到其他事情上一边进行摄影。
对摄像装置1的使用例及摄像装置1的有益性进行补充说明。摄影者以尽可能大的视场角进行摄影，以便关注的被摄体(即特定被摄体)收敛在摄影区域内。于是，收敛在该宽广的视场角(摄影区域)内的被摄体被自动识别及追踪，依次生成包含该被摄体的截取图像。因此，只要摄影者将摄像装置1朝向所关注的被摄体的方向，便能够自动地取得自己所希望的被摄体的影像。而且，在再生时，能够对以恰当的构图截取了所关注的被摄体的影像进行视听。
而且，在实现图7的再生动作之际，摄像装置1作为图像再生装置发挥功能。用户以尽量宽广的视场角进行摄影，以便所关注的被摄体收敛在摄影区域内，通过将基于该摄影而得到的动态图像(由帧图像列构成的动态图像)赋予给该图像再生装置，并选择希望进行视听的被摄体，能够欣赏该被摄体被以恰当的构图截取后的影像。因此，如果具有这样的图像再生装置，则摄影者可以不怎么将注意力集中于摄影。
另外，上述的例子中，在设置于摄像装置1的显示部21上对图像进行再生显示，但也可以通过将想要显示的图像的图像数据提供给摄像装置1外部的显示装置(未图示)，在该外部的显示装置上显示分辨率提高前或提高后的截取图像等。而且，可以根据需要，通过网络等将分辨率提高前或提高后的截取图像的图像数据，提供给利用该图像数据的外部设备(用于运营网站的服务器设备等)。
而且，在上述的例子中，采用了超分辨处理作为用于使截取图像的分辨率提高的处理，但还可以采用超分辨处理以外的处理作为该处理。例如，可以通过所谓的数字变焦将从截取部15输出的截取图像的图像尺寸放大，来提高截取图像的分辨率。该情况下，例如当帧图像的图像尺寸为1920×1080、且分辨率提高前的截取图像的图像尺寸为960×540时，通过将分辨率提高前的截取图像的图像尺寸沿水平方向及垂直方向分别放大至2倍，来生成具有1920×1080的图像尺寸的截取图像(即分辨率提高后的截取图像)。图像尺寸的放大可以通过使用了插补处理的分辨率转换来实现。作为插补处理的方法，可以利用近邻取样法、双线性法、双三次法等各种方法。
另外，可以对经过上述插补处理而得到的分辨率提高后的截取图像(以下称为锐化前图像)进而实施锐化处理，将锐化处理后的图像(以下称为锐化后图像)，作为应该从画质补偿部16输出的最终的分辨率提高后的截取图像进行处理。例如，通过对锐化前图像实施采用了边缘强调滤波器(微分滤波器)或非锐化滤镜的过滤，能够生成锐化后图像。采用了非锐化滤镜的过滤还被称为非锐化掩模(unsharp masking)。在非锐化掩模中，在使锐化前图像平滑化而生成了平滑化图像之后，生成该平滑化图像与锐化前图像的差量图像。然后，按照将该差量图像的各像素值与锐化前图像的各像素值相加的方式对差量图像与锐化前图像进行合成，由此生成锐化后图像。
采用了超分辨处理的截取图像的分辨率提高处理，是根据包括该截取图像的多个帧量的截取图像进行的(参照图3的步骤S16等)，但在将上述的锐化前图像或锐化后图像，作为应该从画质补偿部16输出的分辨率提高后的截取图像的情况下，当提高一幅截取图像的分辨率时，不需要参照多个帧量的截取图像。即，可以只根据关注的一幅截取图像，使该截取图像的分辨率提高。
(抖动修正动作)
接着，对图1的运动检测部18及运动修正控制部19进行说明。运动检测部18具有两个角速度传感器，对作用于摄像装置1的所谓手抖动进行检测。一个角速度传感器以规定的取样周期计测摄像装置1的偏转(yaw)方向(水平方向)的角速度，输出对各取样周期中的摄像装置1的偏转方向的角速度进行表示的信号，另一个角速度传感器以规定的取样周期计测摄像装置1的俯仰(pitch)方向(垂直方向)的角速度，输出对各取样周期中的摄像装置1的俯仰方向的角速度进行表示的信号。
偏转方向与俯仰方向相互正交、且还与光轴正交。现在，设光轴与水平面平行。如果对摄像装置1赋予偏转方向的抖动，则摄像装置1的光轴在与水平面平行的面上旋转，如果对摄像装置1赋予俯仰方向的抖动，则摄像装置1的光轴在与铅垂面平行的面上旋转。
运动检测部18根据各角速度传感器的输出信号来检测摄像装置1的运动(即摄像装置1的偏转方向及俯仰方向的运动)，并将检测出的表示摄像装置1的运动的手抖动信息发送给运动修正控制部19。运动修正控制部19根据手抖动信息，生成修正透镜控制信号，并借助驱动器34对修正透镜36的位置进行驱动控制(参照图2)。假设在修正透镜36的位置固定的情况下，摄像元件33上形成的像因偏转方向的手抖动而在摄像元件33上沿左右方向(摄像元件33的水平方向)移动，摄像元件33上形成的像因俯仰方向的手抖动而在摄像元件33沿上下方向(摄像元件33的垂直方向)移动。
最根本的情况是，为了不产生因手抖动而引起的摄像元件33上的像的移动，根据手抖动信息对修正透镜36的位置进行驱动控制。这样的修正一般被称为光学式手抖动修正。通过该光学式手抖动修正，能够抑制因摄像装置1的移动而引起的帧图像的抖动。另外，虽然为了简化说明而只着眼于偏转方向和俯仰方向，但也可以进而设置对摄像装置1的摇摆(roll)方向的角速度进行计测的角速度传感器，来修正摇摆方向的手抖动。
(第二实施方式)
在摄像装置1还能够实施一般的光学式手抖动修正，将利用了手抖动信息的其他实施方式作为第二实施方式进行说明。第二实施方式相当于将第一实施方式的一部分进行了变形的实施方式。第二实施方式中记载的技术可以与第一实施方式组合实施，并且只要不矛盾，还可以将第一实施方式中记载的事项应用到第二实施方式中。第二实施方式涉及的摄像装置的构成框图与图1的摄像装置1的构成框图相同。
着眼于图8所示的在时间上连续拍摄的3个帧图像、即时刻tn-2、tn-1及tn的帧图像FIn-2、FIn-1及FIn。时刻tn-2是帧图像FIn-2的曝光期间的中间时刻，时刻tn-1是帧图像FIn-1的曝光期间的中间时刻，时刻tn是帧图像FIn的曝光期间的中间时刻。而且，为了简化说明，对于各帧图像的曝光期间的长度，设时刻tn-2-tn-1之间的时间长度与时刻tn-1-tn之间的时间长度相等。另外，帧周期为1/30秒，并且设置于运动检测部18的角速度传感器的上述取样周期约为1/1000秒，该取样周期的长度是帧周期长度的33分之一。
而且，在第二实施方式中，如图9所示，在运动检测部18中设置有：对摄像装置1的运动(换而言之手抖动)进行检测的手抖动检测部41、和对图像上的特定被摄体的运动进行检测的被摄体运动检测部42。手抖动检测部(装置运动检测部)41如第一实施方式所述那样，由2个角速度传感器形成，输出上述的手抖动信息。被摄体运动检测部42根据摄像部11的输出信号，检测图像上的特定被摄体的运动，并输出对检测出的特定被摄体的运动进行表示的被摄体运动信息。另外，还能够在手抖动检测部41中进而设置第一实施方式中叙述的用于计测摇摆方向的角速度的角速度传感器，该情况下，能够根据3个角速度传感器的计测结果生成手抖动信息(对于第三实施方式也同样)。在包括本实施方式及第三实施方式的下述说明中，为了简化说明，只着眼于用于计测偏转方向和俯仰方向的角速度的2个角速度传感器。
手抖动信息及被摄体运动信息都被表现为对帧图像的光学像进行投影的摄像元件33的摄像面上的向量。因此，在以下的说明中，将手抖动信息及被摄体运动信息分别称为手抖动向量及被摄体运动向量。而且，为了简化说明，在帧图像FIn-2、FIn-1及FIn的摄影期间中，手抖动的方向及速度设为恒定。并且，将某个被关注的帧图像中的某一点的坐标用(x，y)表示。x及y分别表示该点的水平方向的坐标值及垂直方向的坐标值。
进而，将帧图像中包括的特定被摄体设为1个，在各帧图像中将特定被摄体区域以外的区域称为背景区域。背景区域内的被摄体(即背景)在实际空间上静止。将被描画在背景区域内且在实际空间上静止的点称为“实际静止点”。
作为运动检测部18及运动修正控制部19的详细动作例，下面对第一～第三动作例进行说明。各动作例中记载的内容在拍摄动态图像时执行。
[第一动作例]
首先，对第一动作例进行说明。现在，用VEC1表示帧图像FIn在曝光期间中的手抖动向量，用VEC2表示帧图像FIn在曝光期间中的被摄体运动向量。下面，有时将手抖动向量VEC1简记为向量VEC1(对于包括被摄体运动向量VEC2的其他向量也同样)。
根据两个角速度传感器的输出信号，求出各取样周期中摄像元件33的摄像面的中心的移动轨迹向量。该移动轨迹向量是从摄像装置1侧观察被摄体侧时，与摄像面平行的面上的轨迹向量。因此，例如当与被摄体正对的摄影者向左斜上方向摆动摄像装置1时，上述移动轨迹向量的朝向成为左斜上朝向。由于取样周期的长度是帧周期长度的33分之一，所以，在一幅帧图像的曝光期间中，可求出33个移动轨迹向量。如图10所示，通过将帧图像FIn的曝光期间中的移动轨迹向量m1～m33的始点与终点依次相连而得到的合成向量，是手抖动向量VEC1。在假设修正透镜36被固定时，手抖动向量VEC1的逆向量表示了实际静止点的像因手抖动而在帧图像FIn的曝光期间中在摄像面上描绘的轨迹。逆向量是指具有与关注的向量的朝向相反方向的朝向的向量。某一向量的大小与该向量的逆向量的大小相同。
被摄体运动检测部42根据帧图像FIn-2与FIn-1的对比，来推定被摄体运动向量VEC2。即，在假设与帧图像FIn-2和FIn-1之间的特定被摄体的运动相同的动作，在帧图像FIn的曝光期间中也发生的基础上，推定被摄体运动向量VEC2。如果没有推定误差，则被摄体运动向量VEC2表示特定被摄体的像在帧图像FIn的曝光期间中在摄像面上描画的轨迹。具体而言，例如将帧图像FIn-2与FIn-1之间的特定被摄体区域的中心位置的位移向量，推定为被摄体运动向量VEC2。该位移向量通过以帧图像FIn-2为基准而求出。更具体而言，在帧图像FIn-2及FIn-1内的特定被摄体的躯体区域的中心位置的坐标，分别由(x，y)及(x+Δdx，y+Δdy)表示的情况下，具有Δdx的水平分量且具有Δdy的垂直分量的向量作为被摄体运动向量VEC2而被求出。
运动修正控制部19求出手抖动向量VEC1与被摄体运动向量VEC2的合成向量VEC3。图11表示了摄像面上的向量VEC1～VEC3的关系。而且，用VEC1A表示手抖动向量VEC1的逆向量。另外，在图12中，用虚线方框210表示帧图像FIn的曝光开始时间点的摄影区域，并且，用实线方框211表示帧图像FIn的曝光结束时间点的摄影区域。在图12中，还一并表示了向量VEC1及VEC2。
如果在帧图像FIn的曝光期间中为了消除手抖动向量VEC1而驱动修正透镜36，则实际静止点的像在帧图像FIn的曝光期间中在摄像面上静止，在帧图像FIn上形成理想的点像。现在，为了便于说明，在定义向量VEC1～VEC3的摄像面上，表现对消除向量VEC1那样的修正透镜36的移动方向及移动的大小进行表示的向量，并设其与向量VEC1一致。因此，如果以向量VEC1所表示的移动方向及移动的大小使修正透镜36在帧图像FIn的曝光期间中移动，则实际静止点的像在帧图像FIn上形成理想的点像。
在第一动作例中，运动修正控制部19以由合成向量VEC3表示而不是由向量VEC1表示的移动方向及移动的大小，使修正透镜36在帧图像FIn的曝光期间中移动。由于手抖动向量VEC1是在帧图像FIn的曝光期间结束时间点确定的向量，所以，在帧图像FIn的曝光期间过程中无法确定合成向量VEC3。因此，实际上每当能够获得形成手抖动向量VEC1的各移动轨迹向量(m1～m33，参照图10)时，便求出各移动轨迹向量与将向量VEC2进行33等分而得到的向量的合成向量，以由该合成向量(即将向量VEC3进行33等分而得到的向量)表示的移动方向及移动的大小，依次使修正透镜36在帧图像FIn的曝光期间中移动。由此，最终在帧图像FIn的曝光开始时间点与曝光结束时间点之间，使修正透镜36沿着由合成向量VEC3表示的移动方向移动合成向量VEC3的大小量。
通过该移动，如图13所示，在帧图像FIn的曝光开始时间点位于摄像面的中心220的实际静止点的像，从摄像面的中心220移动与被摄体运动向量VEC2相当的量，在帧图像FIn的曝光结束时间点位于点221。
运动修正控制部19按照追踪该移动来设定截取区域的方式，根据被摄体运动向量VEC2对截取部15进行控制。由此，由截取部15根据特定被摄体信息在帧图像FIn内暂时设定的截取区域的位置，向由向量VEC2表示的方向移动向量VEC2的大小。截取部15将该移动后的截取区域内的图像作为截取图像，从帧图像FIn中提取出。通过进行这样的截取区域的移动控制，能够在从帧图像FIn-1中提取出的截取图像与从帧图像FIn中提取出的截取图像之间，抑制实际静止点的位置的变化(理想的情况下，消除其变化)。即，例如在从帧图像FIn-1提取出的截取图像的中心出现了实际静止点的情况下，该实际静止点在从帧图像FIn提取出的截取图像中也位于中心。
动态图像中的抖动大致分为形成动态图像的各图像内的抖动、和时间上相邻的图像间的抖动。前者的抖动表现为一幅图像内的模糊(以下称为动态模糊)，后者的抖动被表现为时间上相邻的图像间的背景的位置变化(换言之，图像整体的位置变化)。动态模糊能够通过修正透镜36的位置的驱动控制而降低。当只根据手抖动向量VEC1进行修正透镜36的位置的驱动控制时，由于背景在一幅帧图像内静止，背景的抖动(动态模糊)消失，但该驱动控制与特定被摄体的运动无关地进行，所以，所关注的特定被摄体的抖动(动态模糊)变大。
鉴于此，在第一动作例中，通过根据合成向量VEC3对修正透镜36进行驱动控制，在抑制帧图像内的背景的一部分抖动(动态模糊)的同时，抑制帧图像内的被摄体的一部分抖动(动态模糊)。由此，能够获得背景与特定被摄体双方的抖动(动态模糊)被适度改善后的帧图像及截取图像。而且，通过基于被摄体运动向量VEC2对截取区域的移动控制，会抑制相邻帧的截取图像间的背景的位置变化。由此，能够抑制将截取图像看作动态图像时的背景的位置变化。这样，通过使用向量VEC1及VEC2来控制修正透镜36的位置及截取区域的位置，能够恰当地修正截取图像中的抖动(包括动态模糊)。
另外，在上述例子中，根据将手抖动向量VEC1与被摄体运动向量VEC2按1比1的比率合成而得到的合成向量VEC3，对修正透镜36进行了驱动控制，但向量VEC1与向量VEC2的合成比率也可以不是1比1。例如，可以取代合成向量VEC3，而使用将向量VEC1与向量VEC2以规定比率合成而得到的向量(k1·VEC1+k2·VEC2)，来驱动控制修正透镜36。这里，k1是满足“0＜k1≤1”的规定值，k2是满足“0＜k2≤1”的规定值。如果设k1＝k2＝1，则合成向量(k1·VEC1+k2·VEC2)与合成向量VEC3一致。按照背景与特定被摄体的动态模糊的双方被适度修正的方式，来设定k1及k2的值。
在根据合成向量VEC3对修正透镜36进行了驱动控制的情况下，通过根据向量VEC2进行截取区域的移动控制，在从帧图像FIn-1提取出的截取图像与从帧图像FIn提取出的截取图像之间，会消除实际静止点的位置变化。在取代合成向量VEC3而使用合成向量(k1·VEC1+k2·VEC2)对修正透镜36进行了驱动控制的情况下，为了在从帧图像FIn-1提取出的截取图像与从帧图像FIn提取出的截取图像之间，消除实际静止点的位置变化，只要按照基于k1、k2、VEC1及VEC2的向量，进行截取区域的移动控制即可。
另外，也可以不利用角速度传感器，而根据摄像部11的输出信号来求出手抖动向量VEC1。该情况下，利用代表点匹配法、块匹配法或梯度法，求出帧图像FIn-2的图像整体与帧图像FIn-1的图像整体之间的光学流(optical flow)。该光学流中包括许多运动向量。只要忽视该许多运动向量中与特定被摄体区域相关的运动向量，而求出此外的运动向量(即背景区域的运动向量)的平均向量来作为手抖动向量VEC1即可。
[第二动作例]
接着，对第二动作例进行说明。上述的第一动作例是想要对背景和特定被摄体的动态模糊双方实施修正的动作例，在第二动作例中，将动态模糊的修正对象缩减为摄影者所关注的特定被摄体。
在第二动作例中，也求出帧图像FIn的曝光期间中的手抖动向量VEC1及帧图像FIn的曝光期间中的被摄体运动向量VEC2。向量VEC1及VEC2的导出方法与第一动作例中叙述的方法相同。其中，运动修正控制部19通过以由向量VEC2表示的移动方向及移动的大小，使修正透镜36在帧图像FIn的曝光期间中移动，来抑制帧图像FIn的曝光期间中摄像元件33上的特定被摄体的像的位置变化。理想的情况下，会消除该位置变化，从而消除帧图像FIn内的特定被摄体的运动模糊。
另一方面，通过该修正透镜36的移动，如图14所示，在帧图像FIn的曝光开始时间点位于摄像面的中心220的实际静止点的像，从中心220移动了与向量VEC1的逆向量VEC1A和被摄体运动向量VEC2的合成向量(VEC1A+VEC2)相当的量，在帧图像FIn的曝光结束时间点位于点222。
运动修正控制部19按照追踪该移动来设定截取区域的方式，根据合成向量(VEC1A+VEC2)对截取部15进行控制。由此，由截取部15根据特定被摄体信息在帧图像FIn内暂时设定的截取区域的位置，向由合成向量(VEC1A+VEC2)表示的方向移动合成向量(VEC1A+VEC2)的大小。截取部15将该移动后的截取区域内的图像作为截取图像，从帧图像FIn中提取出。通过进行这样的截取区域的移动控制，能够在从帧图像FIn-1中提取出的截取图像与从帧图像FIn中提取出的截取图像之间，抑制实际静止点的位置的变化(理想的情况下，消除其变化)。
如上所述，在第二动作例中，通过根据被摄体运动向量VEC2对修正透镜36进行驱动控制，来抑制帧图像的曝光期间中摄像元件33上的特定被摄体的像的位置变化。由此，能够抑制帧图像及截取图像内的特定被摄体的抖动(动态模糊)的发生。而且，通过基于合成向量(VEC1A+VEC2)对截取区域的移动控制，可抑制相邻帧的截取图像间的背景的位置变化。即，能够抑制将截取图像列看作动态图像时背景的位置变化。这样，通过使用向量VEC1及VEC2来控制修正透镜36的位置及截取区域的位置，能够恰当地修正截取图像中的抖动(包括动态模糊)。
[第三动作例]
接着，对第三动作例进行说明。在摄像装置1被完全固定、特定被摄体在实际空间上移动的情况下，依次求出与其移动对应的被摄体运动向量，例如根据被摄体运动向量设定截取区域的位置，以使该特定被摄体总是位于截取图像的中央。
另一方面，如果摄像装置1被完全固定、且特定被摄体在实际空间上完全静止，则在理想的情况下，特定被摄体区域的位置在由帧图像列构成的动态图像内静止。于是，设置在各帧图像内的截取区域的位置恒定。
不过，即使作为特定被摄体的人物完全静止，在追踪处理的精度上，还要考虑被检测的特定被摄体区域的位置(中心或重心位置)在由帧图像列构成的动态图像内不完全静止的情况。另外，即使想要静止，实际上作为特定被摄体的人物的身体一部分大多也会摇动。基于这些理由，虽然被检测的特定被摄体的运动的大小很小，但如果追踪这样的运动对截取区域的位置进行控制，则会导致得到不稳定的截取图像列的动态图像。
鉴于此，在第三动作例中，当被摄体运动向量的大小比规定的基准大小小时，使截取区域的位置固定。在着眼于帧图像FIn-1及FIn的情况下(参照图8)，具体如下所述那样进行处理。其中，设截取区域的大小在帧图像FIn-1与FIn之间相同。
图9的被摄体运动检测部42根据帧图像FIn-1与的FIn对比，检测时刻tn-1-tn间的特定被摄体的运动(在摄像面上的运动)，求出对该运动进行表示的被摄体运动向量VECA。例如，将帧图像FIn-1与FIn之间的特定被摄体区域的中心位置的位移向量，推定为被摄体运动向量VECA。该位移向量以帧图像FIn-1为基准而被求出。更具体而言，在帧图像FIn-1及FIn内的特定被摄体的躯体区域的中心位置的坐标，分别由(x，y)及(x+Δdx，y+Δdy)表示的情况下，求出具有Δdx的水平分量、且具有Δdy的垂直分量的向量作为被摄体运动向量VECA。
图1的运动修正控制部19将被摄体运动向量VECA的大小与规定的基准大小进行比较，如果前者小于后者，则按照在帧图像FIn-1与FIn之间截取区域的设定位置固定的方式，对截取部15进行控制。由此，设定在帧图像FIn内的截取区域的位置，与设定在帧图像FIn-1内的截取区域的位置相同。
另一方面，如果被摄体运动向量VECA的大于基准大小，则进行通常的追踪处理。即，与设定在帧图像FIn-1内的截取区域的位置相比，设定在帧图像FIn内的截取区域的位置向由向量VECA表示的方向移动了向量VECA的大小。
通过如此进行处理，可以获得不摇晃的稳定的截取图像列的动态图像。
另外，还能够将第三动作例中叙述的方法应用到上述第一及第二动作例中。在应用到第一或第二动作例的情况下，运动修正控制部19将被摄体运动向量VECA的大小与基准大小进行比较。然后，如果前者比后者大，则如第一或第二动作例中叙述那样，按照在帧图像FIn-1与FIn之间截取区域的位置移动的方式，对截取部15进行控制，而如果前者小于后者，则按照在帧图像FIn-1与FIn之间截取区域的设定位置被固定的方式，对截取部15进行控制。
(第三实施方式)
接着，对本发明的第三实施方式进行说明。在上述的第一及第二实施方式中，进行利用了修正透镜36的抖动修正，但在第三实施方式中，设想没有修正透镜36的情况。第三实施方式相当于将第一实施方式的一部分进行了变形而得到的实施方式。第三实施方式所记载的技术能够与第一实施方式组合而实施。第一及第二实施方式中记载的事项只要不矛盾，也能够在第三实施方式中应用。第三实施方式涉及的摄像装置的构成框图与图1的摄像装置1的构成框图相同。下面，着眼于和第一实施方式的不同点，对第三实施方式进行说明。
虽然在摄像部11内设置有摄像元件，但将第三实施方式中的摄像元件特别称作摄像元件33a。摄像元件33a是取代图2的摄像元件33而设置的器件，摄像元件33a的基本功能与摄像元件33的基本功能相同。
参照图15，其表示了摄像元件33a的构造。二维排列了多个受光像素的可摄影像素区域，被设置于摄像元件33a的摄像面，可摄影像素区域的一部分区域被设为有效像素区域。在图15中，实线四边框301内的区域是可摄影像素区域，虚线四边框302内的区域是有效像素区域。
帧图像由排列在有效摄影区域内的各受光像素的输出信号表示，排列在有效摄影区域外的各受光像素的蓄积电荷不干预帧图像。图1的运动修正控制部19根据由运动检测部18赋予的手抖动信息，对可摄影像素区域中的有效摄影区域的位置进行控制。由此，也能够实现公知的电子方式手抖动修正，但在本实施方式中，还考虑特定被摄体的运动，来恰当地修正截取图像的抖动。当然，本实施方式中应该修正的抖动，不包括第二实施方式中叙述的动态模糊。
与第二实施方式中叙述的情况同样，运动检测部18中设置有：对摄像装置1的运动(换言之手抖动)进行检测的手抖动检测部41、和对图像上的特定被摄体的运动进行检测的被摄体运动检测部42(参照图9)。手抖动检测部41如第一实施方式中叙述那样，由2个角速度传感器形成，输出上述的手抖动信息。被摄体运动检测部42根据摄像部11的输出信号(在本实施方式中为摄像元件33a的输出信号)，检测图像上的特定被摄体的运动，输出对检测出的特定被摄体的运动进行表示的被摄体运动信息。
手抖动信息及被摄体运动信息都被表现为对帧图像的光学像进行投影的摄像元件33a的摄像面上的向量。鉴于此，与第二实施方式同样，将手抖动信息及被摄体运动信息分别称为手抖动向量及被摄体运动向量。而且，为了简化说明，在帧图像FIn-2、FIn-1及FIn的摄影期间中，设手抖动的方向及速度恒定。
着眼于图8所示的时刻tn-2、tn-1及tn的帧图像FIn-2、FIn-1及FIn，对第三实施方式涉及的运动检测部18及运动修正控制部19的动作进行说明。
现在，用VEC11表示时刻tn-1-tn间的手抖动向量，用VEC12表示时刻tn-1-tn间的被摄体运动向量。
根据两个角速度传感器的输出信号，求出各取样周期中摄像元件33a的摄像面的中心的移动轨迹向量。如在第二实施方式中叙述那样，该移动轨迹向量是从摄像装置1侧观察被摄体侧时，与摄像面平行的面上的轨迹向量。如在第二实施方式中说明那样(参照图10)，通过将在时刻tn-1-tn间能够获得的所有移动轨迹向量依次连接而得到的合成向量，是手抖动向量VEC11。手抖动向量VEC11的逆向量VEC11A表示了在时刻tn-1-tn间，实际静止点的像因手抖动而在摄像面上描画的轨迹。
运动修正控制部19根据向量VEC11及VEC12，控制有效摄影区域相对于帧图像FIn的位置。因此，不能够利用帧图像FIn，导出向量VEC12。鉴于此，根据在帧图像FIn之前得到的2幅帧图像来推定向量VEC12。具体而言，例如将帧图像FIn-2与FIn-1之间的特定被摄体区域的中心位置的位移向量，推定为被摄体运动向量VEC12。该位移向量以帧图像FIn-2为基准而求出。更具体而言，在帧图像FIn-2及FIn-1内的特定被摄体的躯体区域的中心位置的坐标，分别由(x，y)及(x+Δdx，y+Δdy)表示的情况下，具有Δdx的水平分量且具有Δdy的垂直分量的向量作为被摄体运动向量VEC12而被求出。
运动修正控制部19求出手抖动向量VEC11的逆向量VEC11A与被摄体运动向量VEC12的合成向量VEC13。图16表示摄像面上的向量VEC11、VEC11A、VEC12及VEC13的关系。
若假设如图17(a)所示那样，以取得帧图像FIn-1时的有效摄影区域的位置为基准，使取得帧图像FIn时的有效摄影区域的位置向逆向量VEC11A的朝向以逆向量VEC11A的大小移动，则可实现一般的电子式手抖动修正。即可以在帧图像FIn-1与FIn之间抑制实际静止点的位置的变化(理想情况下消除该变化)。不过，这里设成如图17(b)所示那样，以取得帧图像FIn-1时的有效摄影区域的位置为基准，使取得帧图像FIn时的有效摄影区域的位置向合成向量VEC13的朝向以合成向量VEC13的大小移动。
图18中同时表示了时刻tn-1时的可摄影像素区域及有效像素区域与时刻tn时的可摄影像素区域及有效像素区域的位置关系、和被投影到摄像元件33a的光学像。而且，图18中还一并表示了向量VEC11及VEC12。在图18中，虚线四方框310内的区域及实线四方框311内的区域分别表示了时刻tn-1及tn时的可摄影像素区域，虚线四方框320内的区域及实线四方框321内的区域分别表示了时刻tn-1及tn时的有效像素区域。
如果特定被摄体的光学像从有效像素区域露出，则无法进行特定被摄体的追踪。鉴于此，如上所述那样，按照考虑了被摄体运动向量VEC12的合成向量VEC13，将有效像素区域的位置设定为偏靠右边。由此，不仅能够抑制特定被摄体离开屏幕(frame out)的可能性，还可以抑制着眼于特定被摄体的构图崩溃。
其中，通过针对该有效像素区域的位置控制，如图19所示那样，位于帧图像FIn-1的中心330的实际静止点的像在帧图像FIn中，位于从中心330移动了与被摄体运动向量VEC12的逆向量VEC12A相当的量的点331处。
运动修正控制部19根据逆向量VEC12A来控制截取部15，以便能够追踪该移动来设定截取区域。由此，由截取部15根据特定被摄体信息在帧图像FIn内暂时设定的截取区域的位置，向由逆向量VEC12A表示的方向移动逆向量VEC12A的大小。截取部15将该移动后的截取区域内的图像作为截取图像，从帧图像FIn中提取出。通过进行这样的截取区域的移动控制，能够在从帧图像FIn-1中提取出的截取图像与从帧图像FIn中提取出的截取图像之间，抑制实际静止点的位置的变化(理想的情况下，消除其变化)。
如上所述，通过利用向量VEC1及VEC2来控制有效像素区域的位置和截取区域的位置，不仅能够抑制特定被摄体离开屏幕的可能性，而且还能够抑制将截取图像列作为动态图像进行观看时背景的位置变化。即，在抑制了特定被摄体离开屏幕的可能性的同时，能够恰当地修正截取图像中的抖动(除了动态模糊之外)。
另外，在上述例子中，根据将手抖动向量VEC11的逆向量VEC11A与被摄体运动向量VEC12按1比1的比率合成而得到的合成向量VEC13，设定了有效像素区域的位置，但向量VEC11A与向量VEC12的合成比率也可以不是1比1。例如，可以取代合成向量VEC13，而使用将向量VEC11A与向量VEC12以规定比率合成而得到的向量(k11·VEC11A+k12·VEC12)，来设定有效像素区域的位置。这里，k11是满足“0＜k11≤1”的规定值，k12是满足“0＜k2≤1”的规定值。如果设k11＝k12＝1，则合成向量(k11·VEC11+k12·VEC12)与合成向量VEC13一致。为了除去相邻的帧图像之间的抖动，优选使值k11尽量接近1，为了避免特定被摄体离开屏幕，优选使值k12尽量接近1。
在根据合成向量VEC13设定了有效像素区域的位置的情况下，通过根据逆向量VEC12A进行截取区域的移动控制，在从帧图像FIn-1提取出的截取图像与从帧图像FIn提取出的截取图像之间，会消除实际静止点的位置变化。在取代合成向量VEC13而使用合成向量(k11·VEC11+k12·VEC12)设定了有效像素区域的位置的情况下，为了在从帧图像FIn-1提取出的截取图像与从帧图像FIn提取出的截取图像之间，消除实际静止点的位置变化，只要按照基于k11、k12、VEC1A1及VEC12A的向量，进行截取区域的移动控制即可。
另外，也可以不利用角速度传感器，而根据摄像部11的输出信号来求出手抖动向量VEC11。该情况下，利用代表点匹配法、块匹配法或梯度法，求出帧图像FIn-2的图像整体与帧图像FIn-1的图像整体之间的光学流(optical flow)。该光学流中包括许多运动向量。只要忽视该许多运动向量中与特定被摄体区域相关的运动向量，而求出此外的运动向量(即背景区域的运动向量)的平均向量来作为手抖动向量VEC11即可。
此外，还能够将第二实施方式的第三动作例中叙述的方法应用到本实施方式中。该情况下，例如运动修正控制部19将被摄体运动向量VEC12的大小与规定的基准大小进行比较。然后，如果前者比后者大，则如上所述那样，按照在帧图像FIn-1与FIn之间截取区域的位置移动的方式，对截取部15进行控制，而如果前者小于后者，则按照在帧图像FIn-1与FIn之间截取区域的设定位置被固定的方式，对截取部15进行控制。
(变形等)
上述说明书中表示的具体数值只是简单的例示，当然能够将这些数值变更成各种各样的数值。作为上述实施方式的变形例或注释事项，下面记述了注释1～注释6。各注释中记载的内容只要不矛盾，能够任意进行组合。
[注释1]
在第二实施方式中，对通过光学透镜36的驱动控制及截取区域的位置控制实现修正的方法进行了说明，但也可以预先按照能够选择该抖动修正的执行及不执行的方式形成摄像装置1。例如在第二实施方式中，当对图1的操作部17进行了规定操作时，固定光学透镜36的位置，并且禁止运动修正控制部19对截取区域的位置控制(上述的移动控制)。
同样，还可以选择第三实施方式中的抖动修正的执行及不执行。例如在第三实施方式中，当对图1的操作部17进行了规定操作时，固定光学透镜36的位置，并且禁止运动修正控制部19对截取区域的位置控制(上述的移动控制)。
[注释2]
应该从帧图像中检测出的特定被摄体也可以是人物以外的对象。例如，可以将汽车或机器人等作为特定被摄体。特定被摄体检测部14根据特定被摄体所具有的固有图像特征(边缘的特征或颜色的特征)，从帧图像中首先检测出特定被摄体，并且在帧图像列内进行特定被摄体的追踪处理。
[注释3]
在第一及第二实施方式中，使用了修正透镜36作为用于使被摄体(摄影对象)的光学像在摄像元件上移动的光学部件，但也可以取代修正透镜36而使用多角度棱镜(Vari-Angle Prism)(未图示)。多角度棱镜具备在2片板玻璃之间封入了具有高折射率的液体的构造，通过使一方或双方的板玻璃倾斜，能够改变入射到自身中的光的折射方向。来自被摄体的光经由包括多角度棱镜的光学系统入射到摄像元件33中。能够替代对修正透镜36的位置进行驱动控制，而通过对多角度棱镜中的板玻璃的倾斜进行驱动控制，来实现与第一及第二实施方式中叙述的处理相同的处理。
另外，可以通过摄像元件33的二维方向(与光轴正交的二维方向)的移动，来实现使被摄体(摄影对象)的光学像在摄像元件上移动这一功能。摄像元件33的二维方向的移动例如可以由未图示的执行元件来实现，运动修正控制部19根据来自运动检测部18的信息，对上述执行元件进行控制。能够取代对修正透镜36的位置进行驱动控制，而通过对摄像元件33的位置进行驱动控制，来实现与第一及第二实施方式中叙述的处理相同的处理。
[注释4]
上面对由检测角速度的角速度传感器构成图9的手抖动检测部41的例子进行了说明，但也可以由对表示摄像装置1的运动的其他物理量进行检测的传感器，构成手抖动检测部41。例如，可以由检测摄像装置1的加速度的加速度传感器或检测摄像装置1的角加速度的角加速度传感器，形成手抖动检测部41。能够根据对摄像装置1的加速度或角加速度进行表示的加速度传感器或角加速度传感器的输出信号，求出上述手抖动向量。
[注释5]
图1的摄像装置1能够通过硬件或硬件与软件的组合而实现。尤其是在摄像装置1内执行的基于图像数据的图像处理，能够通过硬件、软件或硬件与软件的组合而实现。在利用软件构成摄像装置1的情况下，由软件实现的部位的框图，表示该部位的功能框图。
另外，可以通过将为了从帧图像获得分辨率提高后的截取图像而必要的运算处理的全部或一部分，记述为程序，并在程序执行装置(例如计算机)上执行该程序，来实现该运算处理的全部或一部分。
[注释6]
例如，可以按照下述方式进行考虑。修正透镜36或上述的多角度棱镜(未图示)作为用于使被投影到摄像元件33中的光学像在摄像元件33上移动的像移动单元发挥功能。还可以认为在该像移动单元中，含有驱动修正透镜36的驱动器34或驱动多角度棱镜的驱动器(未图示)。而且，在如上所述那样通过移动摄像元件33来使被投影到摄像元件33中的光学像在摄像元件33上移动的情况下，驱动摄像元件33的执行元件(未图示)作为像移动单元发挥功能。
另外，当再生动态图像时，包括图1的特定被摄体检测部14、截取部15及画质补偿部16的部位，作为图像再生装置发挥功能。还可以认为在该图像再生装置中，包括形成摄像装置1的其他部位(图像取得部13、显示部21)。可以由能够读入记录介质22的记录数据的摄像装置1的外部设备(未图示)，来实现该图像再生装置。

Claims (12)

1.一种摄像装置，其特征在于，具备：
摄像元件，其通过摄影，输出表示摄影对象的光学像的信号；
特定被摄体检测单元，其依次取得基于所述摄像元件的输出信号的输入图像，根据所述输入图像的图像信号，检测所述摄影对象中包含的特定被摄体在所述输入图像上的位置；
截取图像提取单元，其根据检测出的所述位置，在所述输入图像内设定比所述输入图像的整个区域小的截取区域，并提取出所述截取区域内的图像作为截取图像；
画质补偿单元，其使所述截取图像的分辨率提高；
装置运动检测单元，其检测所述摄像装置的运动；
被摄体运动检测单元，其根据所述摄像元件的输出信号，对相邻帧的输入图像间的所述特定被摄体的运动进行检测；和
修正单元，其根据所述装置运动检测单元的检测结果及所述被摄体运动检测单元的检测结果，控制由所述截取图像提取单元设定的所述截取区域的位置，由此对所述截取图像中的抖动进行修正。
2.根据权利要求1所述的摄像装置，其特征在于，
还具备使所述光学像在所述摄像元件上移动的像移动单元，
所述修正单元通过根据所述装置运动检测单元的检测结果及所述被摄体运动检测单元的检测结果，对由所述像移动单元实现的移动及由所述截取图像提取单元设定的所述截取区域的位置进行控制，来修正所述截取图像中的抖动。
3.根据权利要求2所述的摄像装置，其特征在于，
所述修正单元参照基于所述装置运动检测单元的检测结果的与所述摄像装置的运动对应的第一向量、以及基于所述被摄体运动检测单元的检测结果的与所述特定被摄体的运动对应的第二向量，按照以规定的比率将所述第一及第二向量合成而得到的向量，控制所述像移动单元，并且按照所述摄影对象中包括的实际空间上的静止物体在相邻帧的截取图像间的位置变化被抑制的方式，对所述截取图像提取单元进行控制。
4.根据权利要求2所述的摄像装置，其特征在于，
所述修正单元参照基于所述装置运动检测单元的检测结果的与所述摄像装置的运动对应的第一向量、以及基于所述被摄体运动检测单元的检测结果的与所述特定被摄体的运动对应的第二向量，按照所述摄像元件上的所述特定被摄体的像的位置变化被抑制的方式，根据所述第二向量控制所述像移动单元，并且，按照所述摄影对象中包括的实际空间上的静止物体在相邻帧的截取图像间的位置变化被抑制的方式，对所述截取图像提取单元进行控制。
5.根据权利要求1所述的摄像装置，其特征在于，
在所述摄像元件的摄像面的第一区域内排列有多个受光像素，
在所述摄像元件的第一区域内设定比所述第一区域小的第二区域，根据来自被配置在所述第二区域内的受光像素组的输出信号，形成所述输入图像，
所述修正单元通过根据所述装置运动检测单元的检测结果及所述被摄体运动检测单元的检测结果，对所述第二区域的设定位置、以及由所述截取图像提取单元设定的所述截取区域的位置进行控制，来修正所述截取图像中的抖动。
6.根据权利要求5所述的摄像装置，其特征在于，
所述修正单元参照基于所述装置运动检测单元的检测结果的与所述摄像装置的运动对应的第一向量、以及基于所述被摄体运动检测单元的检测结果的与所述特定被摄体的运动对应的第二向量，按照以规定的比率将所述第一及第二向量合成而得到的向量，控制所述第二区域的设定位置，并且按照所述摄影对象中包括的实际空间上的静止物体在相邻帧的截取图像间的位置变化被抑制的方式，对所述截取图像提取单元进行控制。
7.根据权利要求1、2、5中任意一项所述的摄像装置，其特征在于，
所述修正单元参照基于所述被摄体运动检测单元的检测结果的与所述特定被摄体的运动对应的向量，在所述向量的大小比规定的大小小的情况下，按照所述截取区域的位置在相邻帧之间被固定的方式，对所述截取图像提取单元进行控制。
8.根据权利要求3、4、6中任意一项所述的摄像装置，其特征在于，
所述修正单元参照所述第二向量，在所述第二向量的大小比规定的大小小的情况下，按照所述截取区域的位置在相邻帧之间被固定的方式，对所述截取图像提取单元进行控制。
9.根据权利要求1～6中任意一项所述的摄像装置，其特征在于，
所述画质补偿单元通过使用了多帧份的截取图像的超分辨处理，使该多帧份的截取图像中包含的关注帧的截取图像的分辨率提高。
10.根据权利要求1～6中任意一项所述的摄像装置，其特征在于，
还具备记录控制单元，该记录控制单元将所述分辨率提高前或提高后的所述截取图像的图像信号记录到摄像装置的记录单元中。
11.根据权利要求1～6中任意一项所述的摄像装置，其特征在于，
将所述分辨率被提高的所述截取图像的图像信号输出到摄像装置的显示单元。
12.一种图像再生装置，其特征在于，具备：
特定被摄体检测单元，其通过从记录单元读出依次对摄影对象进行摄影而得到的图像信号，来依次取得基于所述图像信号的输入图像，并根据所述输入图像的图像信号，检测所述摄影对象中包含的特定被摄体在所述输入图像上的位置；
截取图像提取单元，其根据检测出的所述位置，在所述输入图像内设定比所述输入图像的整个区域小的截取区域，并提取出所述截取区域内的图像作为截取图像；和
画质补偿单元，其使所述截取图像的分辨率提高；
所述图像再生装置将所述分辨率被提高的截取图像的图像信号输出到显示单元或该图像再生装置的外部，
所述显示单元是该图像再生装置中设置的显示单元，
该图像再生装置还具备：
装置运动检测单元，其检测进行所述摄影对象的摄影的摄像装置的运动；
被摄体运动检测单元，其根据所述图像信号，对相邻帧的输入图像间的所述特定被摄体的运动进行检测；和
修正单元，其根据所述装置运动检测单元的检测结果及所述被摄体运动检测单元的检测结果，控制由所述截取图像提取单元设定的所述截取区域的位置，由此对所述截取图像中的抖动进行修正。
CN2008801206381A 2007-12-14 2008-12-11 摄像装置及图像再生装置 Expired - Fee Related CN101897174B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007-323698 2007-12-14
JP2007323698A JP5111088B2 (ja) 2007-12-14 2007-12-14 撮像装置及び画像再生装置
PCT/JP2008/072495 WO2009078327A1 (ja) 2007-12-14 2008-12-11 撮像装置及び画像再生装置

Publications (2)

Publication Number Publication Date
CN101897174A CN101897174A (zh) 2010-11-24
CN101897174B true CN101897174B (zh) 2013-04-17

Family

ID=40795443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801206381A Expired - Fee Related CN101897174B (zh) 2007-12-14 2008-12-11 摄像装置及图像再生装置

Country Status (5)

Country Link
US (1) US8477200B2 (zh)
EP (1) EP2219364B1 (zh)
JP (1) JP5111088B2 (zh)
CN (1) CN101897174B (zh)
WO (1) WO2009078327A1 (zh)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8477217B2 (en) * 2008-06-30 2013-07-02 Sony Corporation Super-resolution digital zoom
US9094645B2 (en) * 2009-07-17 2015-07-28 Lg Electronics Inc. Method for processing sound source in terminal and terminal using the same
JP5651939B2 (ja) * 2009-09-17 2015-01-14 カシオ計算機株式会社 画像処理装置及びプログラム
JP5424827B2 (ja) * 2009-11-13 2014-02-26 オリンパスイメージング株式会社 画像処理装置
JP5484310B2 (ja) 2010-12-24 2014-05-07 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
JP5708097B2 (ja) * 2011-03-18 2015-04-30 株式会社リコー 撮像装置、撮像方法、及び撮像プログラム
US20120281126A1 (en) * 2011-04-11 2012-11-08 Fossum Eric R Digital integration sensor
JP5885395B2 (ja) * 2011-04-28 2016-03-15 オリンパス株式会社 撮影機器及び画像データの記録方法
JP5725975B2 (ja) * 2011-05-27 2015-05-27 キヤノン株式会社 撮像装置及び撮像方法
GB2492529B (en) * 2011-05-31 2018-01-10 Skype Video stabilisation
CN103609102B (zh) * 2011-06-15 2016-09-28 微软技术许可有限责任公司 高分辨率多光谱图像捕捉
US10089327B2 (en) 2011-08-18 2018-10-02 Qualcomm Incorporated Smart camera for sharing pictures automatically
JP2013069987A (ja) * 2011-09-26 2013-04-18 Sony Corp 撮像素子
CN102957869B (zh) * 2011-09-26 2016-08-17 斯凯普公司 视频稳定
GB201116566D0 (en) 2011-09-26 2011-11-09 Skype Ltd Video stabilisation
US9137444B2 (en) * 2011-09-26 2015-09-15 Sony Corporation Image photography apparatus for clipping an image region
GB2497507B (en) 2011-10-14 2014-10-22 Skype Received video stabilisation
US9100574B2 (en) * 2011-10-18 2015-08-04 Hewlett-Packard Development Company, L.P. Depth mask assisted video stabilization
US8750639B2 (en) 2011-10-25 2014-06-10 Microsoft Corporation Automatic sharpening of images
JP2013172446A (ja) * 2012-02-23 2013-09-02 Sony Corp 情報処理装置、端末装置、撮像装置、情報処理方法、及び撮像装置における情報提供方法
WO2013146508A1 (ja) * 2012-03-30 2013-10-03 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5629722B2 (ja) * 2012-04-11 2014-11-26 京セラドキュメントソリューションズ株式会社 表示入力装置及びこれを備えた画像形成装置
KR20130122411A (ko) * 2012-04-30 2013-11-07 삼성전자주식회사 이미지 획득 장치 및 이미지 획득 장치의 동작 방법
JP5909147B2 (ja) 2012-05-08 2016-04-26 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
JP5689095B2 (ja) * 2012-07-10 2015-03-25 新日鉄住金ソリューションズ株式会社 画像処理装置、画像処理方法及びプログラム
JP2014123815A (ja) 2012-12-20 2014-07-03 Sony Corp 画像処理装置、画像処理方法及び記録媒体
US9848133B2 (en) 2013-03-26 2017-12-19 Panasonic Intellectual Property Management Co., Ltd. Image generation device, imaging device, image generation method, and program for generating a new image from a captured image
WO2014155962A1 (ja) * 2013-03-26 2014-10-02 パナソニック株式会社 画像生成装置、撮影装置、画像生成方法及びプログラム
WO2014155961A1 (ja) * 2013-03-26 2014-10-02 パナソニック株式会社 画像生成装置、撮影装置、画像生成方法及びプログラム
JP2015004882A (ja) * 2013-06-21 2015-01-08 株式会社東芝 表示データ処理装置および表示データ処理方法
US9489979B2 (en) * 2013-08-06 2016-11-08 Casio Computer Co., Ltd. Image processing apparatus for time-lapse moving image, image processing method, and storage medium
JP6577703B2 (ja) * 2014-08-05 2019-09-18 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP6693509B2 (ja) * 2015-04-14 2020-05-13 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
JP6604019B2 (ja) * 2015-04-14 2019-11-13 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
JP6724904B2 (ja) * 2015-04-14 2020-07-15 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
JP6584122B2 (ja) * 2015-04-21 2019-10-02 キヤノン株式会社 画像処理装置及び画像処理方法
JP2016225799A (ja) * 2015-05-29 2016-12-28 オリンパス株式会社 撮像装置、及び撮像装置の制御方法
CN105163024A (zh) * 2015-08-27 2015-12-16 华为技术有限公司 一种获取目标图像的方法以及目标追踪设备
US9781350B2 (en) * 2015-09-28 2017-10-03 Qualcomm Incorporated Systems and methods for performing automatic zoom
CN107037962B (zh) * 2015-10-23 2020-06-16 株式会社摩如富 图像处理装置、电子设备以及图像处理方法
JP6304293B2 (ja) * 2016-03-23 2018-04-04 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6205464B2 (ja) * 2016-06-30 2017-09-27 オリンパス株式会社 撮影機器
WO2018105006A1 (ja) * 2016-12-05 2018-06-14 Eizo株式会社 画像処理装置、画像表示装置及びプログラム
JP6966165B2 (ja) * 2017-08-04 2021-11-10 日本テレビ放送網株式会社 映像音声信号処理装置、その方法とプログラム
US10564174B2 (en) * 2017-09-06 2020-02-18 Pixart Imaging Inc. Optical sensing apparatuses, method, and optical detecting module capable of estimating multi-degree-of-freedom motion
JP2019062448A (ja) * 2017-09-27 2019-04-18 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US10462370B2 (en) 2017-10-03 2019-10-29 Google Llc Video stabilization
JP2019070706A (ja) 2017-10-06 2019-05-09 キヤノン株式会社 撮像装置
US20190297265A1 (en) * 2018-03-21 2019-09-26 Sawah Innovations Inc. User-feedback video stabilization device and method
US10171738B1 (en) 2018-05-04 2019-01-01 Google Llc Stabilizing video to reduce camera and face movement
JP7100824B2 (ja) * 2018-06-20 2022-07-14 カシオ計算機株式会社 データ処理装置、データ処理方法及びプログラム
CN109168029B (zh) * 2018-09-04 2020-12-29 努比亚技术有限公司 一种调整分辨率的方法、设备和计算机可存储介质
US10986287B2 (en) 2019-02-19 2021-04-20 Samsung Electronics Co., Ltd. Capturing a photo using a signature motion of a mobile device
US11902660B2 (en) 2019-02-21 2024-02-13 Sony Group Corporation Image processing device, image processing method, and program
US12073597B2 (en) 2019-02-21 2024-08-27 Sony Group Corporation Information processing device and information processing method
JP2023052713A (ja) * 2020-03-11 2023-04-12 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像システム及び撮像方法
US11190689B1 (en) 2020-07-29 2021-11-30 Google Llc Multi-camera video stabilization
JP7418697B2 (ja) * 2020-09-17 2024-01-22 株式会社Ｊｖｃケンウッド 画像処理装置、及び画像処理プログラム
JP7418696B2 (ja) 2020-09-17 2024-01-22 株式会社Ｊｖｃケンウッド 画像処理装置、及び画像処理プログラム
CN114302051A (zh) * 2021-03-29 2022-04-08 海信视像科技股份有限公司 一种摄像头拍照的方法及显示设备
US11228702B1 (en) * 2021-04-23 2022-01-18 Gopro, Inc. Stabilization of face in video
CN114501115B (zh) * 2022-02-12 2023-07-28 北京蜂巢世纪科技有限公司 针对球场录像的裁剪再加工方法、装置、设备及介质
CN115002429B (zh) * 2022-05-07 2023-03-24 深圳市和天创科技有限公司 一种基于摄像头计算自动校准投影位置的投影仪

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6034723A (en) * 1992-11-20 2000-03-07 Sony Corporation Image movement vector detection apparatus
CN1901625A (zh) * 2005-07-21 2007-01-24 富士胶片株式会社 捕捉图像作为数字数据的电子摄像装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3108110B2 (ja) 1991-01-31 2000-11-13 三洋電機株式会社 ビデオカメラ
JP2797830B2 (ja) 1992-03-31 1998-09-17 日本ビクター株式会社 ビデオカメラにおける被写体追尾方法
JP3473064B2 (ja) * 1992-11-20 2003-12-02 ソニー株式会社 画像動きベクトル検出装置及びビデオカメラ
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
JP3355598B2 (ja) 1996-09-18 2002-12-09 日本電信電話株式会社 音源分離方法、装置及び記録媒体
US6130949A (en) 1996-09-18 2000-10-10 Nippon Telegraph And Telephone Corporation Method and apparatus for separation of source, program recorded medium therefor, method and apparatus for detection of sound source zone, and program recorded medium therefor
US6330344B1 (en) * 1997-02-14 2001-12-11 Sony Corporation Image processing device and method employing motion detection to generate improved quality image from low resolution image
US6630950B1 (en) * 1998-03-19 2003-10-07 Canon Kabushiki Kaisha Apparatus for improving image vibration suppression
JP4156084B2 (ja) 1998-07-31 2008-09-24 松下電器産業株式会社 移動物体追跡装置
JP3435357B2 (ja) 1998-09-07 2003-08-11 日本電信電話株式会社 収音方法、その装置及びプログラム記録媒体
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
EP1107584B1 (en) 1999-12-03 2008-08-27 Fujinon Corporation Automatic following device
JP2001169169A (ja) 1999-12-10 2001-06-22 Fuji Photo Optical Co Ltd 自動追尾装置
JP4366023B2 (ja) * 2001-03-16 2009-11-18 インターナショナル・ビジネス・マシーンズ・コーポレーション ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法
US6859235B2 (en) * 2001-05-14 2005-02-22 Webtv Networks Inc. Adaptively deinterlacing video on a per pixel basis
US7085323B2 (en) * 2002-04-03 2006-08-01 Stmicroelectronics, Inc. Enhanced resolution video construction method and apparatus
US7391931B2 (en) * 2003-01-10 2008-06-24 Fujifilm Corporation Method, apparatus, and program for moving image synthesis
JP4292995B2 (ja) * 2004-01-06 2009-07-08 セイコーエプソン株式会社 動画中の特定シーンの静止画の生成
JP4340806B2 (ja) 2004-03-22 2009-10-07 富士フイルム株式会社 画像処理装置、方法及びプログラム
JP4429816B2 (ja) * 2004-06-10 2010-03-10 オリンパス株式会社 撮像装置および画像の高解像度化方法
JP4418317B2 (ja) * 2004-07-21 2010-02-17 オリンパス株式会社 撮像装置
JP2006086933A (ja) * 2004-09-17 2006-03-30 Canon Inc 撮像装置及び制御方法
JP4701791B2 (ja) * 2005-03-30 2011-06-15 カシオ計算機株式会社 画像処理装置、及びプログラム
JP2007000205A (ja) * 2005-06-21 2007-01-11 Sanyo Electric Co Ltd 画像処理装置及び画像処理方法並びに画像処理プログラム
JP4549260B2 (ja) * 2005-08-25 2010-09-22 キヤノン株式会社 記録再生装置、記録再生方法、及びコンピュータプログラム
JPWO2007049449A1 (ja) 2005-10-26 2009-04-30 パナソニック株式会社 映像再生装置および映像記録装置、映像再生方法および映像記録方法並びに半導体集積回路
JP2007193508A (ja) * 2006-01-18 2007-08-02 Sanyo Electric Co Ltd 画像処理装置及び画像処理プログラム
JP2007281555A (ja) * 2006-04-03 2007-10-25 Seiko Epson Corp 撮像装置
JP2007288726A (ja) * 2006-04-20 2007-11-01 Matsushita Electric Ind Co Ltd 撮像装置
JP2007299339A (ja) 2006-05-08 2007-11-15 Fujifilm Corp 画像再生装置および方法並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6034723A (en) * 1992-11-20 2000-03-07 Sony Corporation Image movement vector detection apparatus
CN1901625A (zh) * 2005-07-21 2007-01-24 富士胶片株式会社 捕捉图像作为数字数据的电子摄像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2007-60437A 2007.03.08

Also Published As

Publication number Publication date
US20110007175A1 (en) 2011-01-13
EP2219364A1 (en) 2010-08-18
EP2219364B1 (en) 2013-08-14
WO2009078327A1 (ja) 2009-06-25
JP2009147727A (ja) 2009-07-02
CN101897174A (zh) 2010-11-24
EP2219364A4 (en) 2012-03-14
US8477200B2 (en) 2013-07-02
JP5111088B2 (ja) 2012-12-26

Similar Documents

Publication Publication Date Title
CN101897174B (zh) 摄像装置及图像再生装置
CN101911671B (zh) 摄像装置和光轴控制方法
TWI248315B (en) Image record regenerating apparatus, photographing apparatus, and chromatic aberration correcting method
CN102263900B (zh) 图像处理设备和图像处理方法
US8810629B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and program
US10410061B2 (en) Image capturing apparatus and method of operating the same
KR20180032529A (ko) 카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법
CN109951638B (zh) 摄像头防抖系统、方法、电子设备和计算机可读存储介质
CN107272169B (zh) 变焦光学系统和具备该变焦光学系统的摄像装置
US8345107B2 (en) Display control device, imaging device, and printing device
US8767096B2 (en) Image processing method and apparatus
CN101753779A (zh) 图像处理装置及摄像装置
CN106998413A (zh) 图像处理设备、摄像设备和图像处理方法
CN110636216A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US20120212640A1 (en) Electronic device
JP5971954B2 (ja) 画像処理装置、画像処理装置を有する撮像装置、画像処理方法、プログラム、及びプログラムを記憶した記憶媒体
JP5143172B2 (ja) 撮像装置及び画像再生装置
CN101888478A (zh) 摄像装置、数据生成装置及数据构造
KR20160137289A (ko) 촬영 장치 및 촬영 장치의 동작방법
WO2011129036A1 (ja) 撮像装置および集積回路
JP2011044846A (ja) 画像処理装置及び撮像装置
JP2021027519A (ja) 撮像装置、コンピュータプログラム及び記憶媒体
US10321025B2 (en) Mobile device with folding optical elements
JP2010193475A (ja) 撮像装置及び画像再生装置
CN119485044A (zh) 图像处理设备、图像处理方法、摄像设备、存储介质及计算机程序产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: XACTI CO., LTD.

Free format text: FORMER OWNER: SANYO ELECTRIC CO., LTD.

Effective date: 20140829

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140829

Address after: Japan Osaka

Patentee after: Hyun Hyun Lee

Address before: Japan Osaka

Patentee before: Sanyo Electric Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130417

Termination date: 20141211

EXPY Termination of patent right or utility model