[go: up one dir, main page]

CN110944101A - 摄像装置及图像记录方法 - Google Patents

摄像装置及图像记录方法 Download PDF

Info

Publication number
CN110944101A
CN110944101A CN201910874781.XA CN201910874781A CN110944101A CN 110944101 A CN110944101 A CN 110944101A CN 201910874781 A CN201910874781 A CN 201910874781A CN 110944101 A CN110944101 A CN 110944101A
Authority
CN
China
Prior art keywords
image
unit
recording
imaging
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910874781.XA
Other languages
English (en)
Inventor
梶原康宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN110944101A publication Critical patent/CN110944101A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Cleaning In Electrography (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明涉及摄像装置及图像记录方法，其目的在于提供一种可供没有技术性前提知识的摄影者拍摄必要的图像群的摄像装置以及图像记录方法。本发明提供的摄像装置的特征在于，其中具备，摄像部，用于拍摄图像；以及，记录控制部，用于比较用所述摄像部拍摄的第一图像和第二图像，根据所述第二图像相对于所述第一图像的变化量，控制所述第二图像的记录，所述第二图像在所述第一图像之后拍摄。

Description

摄像装置及图像记录方法
技术领域
本发明涉及摄像装置及图像记录方法。
背景技术
当前，以往被作为摄像装置之一的全天球摄像装置开始被用来共享现场状况。全天球摄像装置可以将周围360度全景作为全天球图像拍摄。虚拟内览是用全球摄像装置拍摄的图像的一个应用例子。虚拟内览是指，通过布置图中配置的摄影地点的视点移动，或3D巡回在该地点进行360度视点变化，来浏览虚拟空间中重新构成的各地点状况。即浏览拍摄者事先用全天球摄像装置拍摄摄影地点周围，并根据当时的记录图像在虚拟空间内三维重新构成的各地点的状况。
另一方面，现有技术，例如专利文献1(JP特开2011-205599号公报)公开了一种信号处理装置，该装置作为数码录像机或数码照相机技术，可以从动画图像中推断重要场景，制作包含重要场景的简约影像。
然而，在利用SfM(Structure-from-Motion)或Visual SLAM(SimultaneousLocalization and Mapping)等技术，基于拍摄完毕的图像来自动推断摄影地转换的相对位置姿势时，需要特殊的摄影方式。该技术需要从多个地点拍摄的图象群中提取被称为特征点的便于与其他区分的局部区域，建立这些特征点在图像之间的对应，来进行该特征点的三维位置或摄影地点的推断。使用这些技术时存在的问题是，摄影者需要具有这些前提知识，必须在受到该技术制约的基础上进行摄影。
发明内容
本发明的目的在于，提供一种可供没有技术性前提知识的摄影者拍摄必要的图像群的摄像装置以及图像记录方法。
为解决上述课题，本发明提供一种实施方式的摄像装置，其特征在于，其中具备，摄像部，用于拍摄图像；以及，记录控制部，用于比较用所述摄像部拍摄的第一图像和第二图像，根据所述第二图像相对于所述第一图像的变化量，控制所述第二图像的记录，所述第二图像在所述第一图像之后拍摄。
根据本发明，即使是没有技术性前提知识的摄影者也能够进行必要的图像群的摄影。
附图说明
图1是实施方式涉及的作为摄像装置的全天球摄像装置的概略结构示意图。
图2是全天球摄像装置的硬件结构示意图。
图3是记录处理全天球摄像装置拍摄的全天球帧图像的图像处理部的结构示意图。
图4是全天球摄像装置拍摄时的处理流程。
图5是特征点评分处理的处理流程图。
图6是抖动量计算处理部进行的抖动量计算处理的流程图。
图7是记录输入帧图像的条件不同时输入帧图像记录密度差异的示意图。
图8是变形例1涉及的特征点评分处理的结构示意图。
具体实施方式
以下参考附图，详述摄像装置及图像记录方法的实施方式。
《实施方式》
图1是作为实施方式涉及的摄像装置的一例全天球摄像装置的概略结构示意图。图1所示的全天球摄像装置1具备两个鱼眼镜头11和12、以及两个摄像元件21和22。鱼眼镜头11和12具有例如180度以上的广角视角，两个摄像元件21和22分别被设置在从各鱼眼镜头11和12入射的各半球图像的成像位置上。两个摄像元件21和22是例如CMOS(Complementary Metal Oxide Semiconductor)等图像传感器。全球摄像装置1的机身10上具备摄影开关13。另外，机身10上还设有表示待机、摄影、录像等状态的发光显示部LED14(参见图2)。
图2是表示全天球摄像装置1的一例硬件结构示意图。如图2所示，全球摄像装置1具有CPU(Central Processing Unit)110、GPU(Graphics Processing Unit)111、ROM(ReadOnly Memory)112、RAM(Random Access Memory)113、操作部114、显示部115、摄像部116、IMU(Inertial Measurement Unit)117、存储部118、通信部119等，这些硬件通过总线100互相连接。
CPU110和GPU111是进行全天球摄像装置1的整体控制、以及各种处理的处理器。
ROM112是存储全天球摄像装置1的控制和各种处理的程序的非易失性存储器。RAM113是作为工作区域使用的易失性存储器。
操作部114是从摄影开关13接受拍摄开始或拍摄停止等操作输入的输入接口。
显示部115是通过LED14的亮灯/熄灯等显示全天球摄像装置1的状态(待机、摄影、录像等)的显示接口。
摄像部116是ASIC(Application Specific Integrated Circuit)等图像处理电路。摄像部116在收到开始摄影指示后，通过两个摄像元件21和22取得两个半球图像数据，对所取得的两个半球图像数据分别进行规定处理(例如黑水准补偿、色补偿、缺陷像素补偿等)，并对两个半球图像数据进行合成处理，生成全天球图像数据。两个半球图像数据具有相互重叠的区域，根据该重叠区域合成两个半球图像数据，生成全天球图像数据。摄像部116将生成的全天球图像数据放置到RAM113上。进而，摄像部116取得拍摄时间，在RAM113中除全天球图像数据以外，还记录摄影时刻信息。在本例中，作为"摄像图像"的一个例子，在后段进行对于记录全天球图像数据的处理。
IMU117是输出全球摄像装置1的姿势和动作等各种信息(角速度等)的传感器单元。
存储部118连接外部存储器(相当于"记录部"，例如是闪存)，在外部存储器中保存记录用数据。通信部119是用来与外部设备进行通信的通信接口。通信部119接收来自外部设备的拍摄参数设定和拍摄指示信号。当通信部119收到关于摄影参数设定的信号时，将摄影参数存储在存储部118中。进而，在收到拍摄指示信号的情况下，响应设定，将记录用的数据发送给外部设备。这些参数设定和摄影指示是利用主机内部的Web服务器发送的Web页面实现的。本例中示出了能够将记录用的数据输出到外部存储器和外部设备中的任何一个的构成，但也可以是只能输出外部存储器或只输出外部设备中的某一个的构成。
图3是记录处理全天球摄像装置1拍摄的全天球画面的图像处理部的一例结构示意图。构成图3的图像处理部的各部通过CPU110执行ROM112的规定程序来实现。另外，也可以用ASIC等专用硬件构成各部的一部分或全部。
如图3所示，图像处理部200具有指示部210、图像输入部220、特征点评分处理部230、抖动量计算处理部240、记录判断部250、以及记录处理部260。在此，指示部210包含在"摄像部"的一部分中。图像输入部220相当于"设定部"。特征点评分处理部230相当于"取得部"。抖动量计算处理部240相当于"抖动量计算部"。记录判断部250相当于"判断部"。记录处理部260相当于"记录控制部"。
指示部210响应操作部114受理的操作输入，指示拍摄处理的开始和结束。例如，指示部210在受理摄影开始到受理摄影结束的期间，以规定的时机指示摄像部116进行拍摄。本例中指示部210、摄像部116、两个摄像元件21和22相当于"摄像部"。
图像输入部220将摄像部11配置在RAM113上的预览图像(处理对象的帧图像)和图像输入部220设于RAM113中的基准帧图像输入到特征点评分处理部230中。在此，基准帧图像相当于"第一图像"，预览图像相当于在第一图像之后拍摄的"第二图像"。
特征点评分处理部230将从图像输入部220输入的处理对象的帧图像和基准帧图像进行比较，从基准帧图像中获取在处理对象的帧图像中发生变化的特征点的变化量。本例中计算基准帧图像的特征点的数量在处理对象的帧图像中减少了多少，用来表示特征点的数量的减少率。以下，将减少率作为表示基准帧图像的特征点在处理对象的帧图像中存活程度的生存率来表示。另外，本例中还计算在处理对象的帧图像中新出现(诞生)的特征点的数量的变化率(诞生率)。
抖动量计算处理部240用于计算处理对象的帧图像的抖动量。
记录判断部250根据特征点评分处理部230的结果，判断是否记录处理对象的帧图像。在本例中，记录判断部250根据抖动量计算处理部240的结果，判断是否记录处理对象的帧图像。例如，当表示诞生率的值在规定值以上时，或者表示生存率的值在规定值以下时，作为需要更新特征点记录的图像，判断记录该帧图像。另外，在抖动较大的情况下，由于无法正确计算诞生率和生存率，因此判断不记录该帧图像。记录判断部250在判断为记录处理对象的帧图像的情况下，通知图像输入部220，让图像输入部220将基准帧图像更新为该处理对象的帧图像。
在判断记录判断部250判断进行处理对象的帧图像的记录时，记录处理部260控制处理对象的帧图像的记录。例如，当指定记录到存储部118的闪存中时，记录处理部260通过存储部118，控制把该处理对象的帧图像保存到闪存中。而当指定记录到外部设备中时，记录处理部260通过通信部119，控制把该处理对象的帧图像送往外部设备。
图4是全天球摄像装置1拍摄时的一例处理流程(图像记录方法)图。拍摄者打开全天球摄像装置1的主机上的拍摄开关13等，指示开始拍摄后，CPU110执行ROM112的拍摄程序，开始如下处理。另外还可以通过操作从主机内部的Web服务器发送的Web页面所具有的GUI，启动摄影程序。
首先，指示部210对摄像部11指示摄像，由两个摄像元件21和22进行相当于一帧图像的拍摄，由摄像部11合成两个图像的一帧帧图像被放置在RAM中(步骤S1)。
接着，图像输入部220将放置在RAM113中的帧图像(处理对象的帧图像)和图像输入部220在RAM113中设定的基准帧图像输入到特征点评分处理部230(步骤S2)。而拍摄刚开始后，由于尚未设定基准帧图像，因此图像输入部220只将处理对象的帧图像输入到特征点评分处理部230。
接着，特征点评分处理部230对从图像输入部220输入的处理对象的帧图像求出特征点的诞生率和生存率(步骤S3)。而在拍摄刚开始后基准帧图像被设定之前的期间，跳过该处理。
接下来，抖动量计算处理部240计算处理对象的帧图像的抖动量(步骤S4)。
然后，记录判断部250根据特征点的诞生率和生存率的计算结果和抖动量计算结果，判断是否进行处理对象的帧图像的记录(步骤S5)。例如，在诞生率为规定值以上或生存率为规定值以下的情况下，判断为记录该帧图像。当抖动量在阈值以上时，判断为不记录该帧图像。在拍摄刚开始后基准帧图像设定之前的期间中，只根据抖动量的计算结果来判断是否记录处理对象的帧图像。
进而，比较处理对象的帧图像的拍摄时间和基准帧图像的拍摄时间，如果拍摄间隔比设定的最短拍摄间隔短，则判断为不进行记录。对于生存率和诞生率的规定值以及最短摄影间隔的设定值，利用存储部118中保存的值。
当判断为进行处理对象的帧图像的记录时(步骤S5：“是”判断)，记录判断部250首先指示图像输入部220，将基准帧图像更换为该处理对象的帧图像(步骤S6)。然后，记录判断部250指示记录处理部260，将处理对象的帧图像保存到存储部118的闪存中(步骤S7)。在步骤S6中，由于拍摄刚开始后没有设定基准帧图像，所以将该处理对象的帧图像设定为基准帧图像。
如果判断不进行处理对象的帧图像的记录(步骤S5：“否”判断)，则跳过步骤S6、步骤S7的处理。
然后，在指示部210未受理拍摄结束的操作的情况下(步骤S8：“否”判断)，返回步骤S1，按照同样的步骤对下一个帧进行拍摄处理。而在指示部210受理了拍摄结束的操作的情况下(步骤S8：“是”判断)，结束本摄影处理。除此以外，在例如闪存容量不足等情况下，本拍摄处理结束。
如此，全天球摄像装置1仅将拍摄的各帧图像中的特征点的诞生率、生存率、抖动量等满足规定条件的部分保存到了闪存等中。
其次举例说明特征点评分处理部230的特征点的诞生率和生存率的计算处理。
图5是特征点评分处理部230的一例处理流程图。特征点评分处理部230首先建立基准帧图像和输入帧图像(处理对象的帧图像)之间的特征点的对应(步骤S31)。该对应建立采用利用基准帧图像与输入帧图像之间的特征点的特征量来建立对应的方法，或者利用光流在输入帧图像中搜索基准帧图像的特征点的方法。
例如，通过采用特开2015-207281号公报等公开的物体检测处理来建立对应。具体而言，把该公报中示出的以立体照相机的两个摄像部输出的图像(基准图像和比较图像)为对象的处理应用到本实施例中，实行以基准帧图像和输入帧图像为对象的处理。
例如，将基准帧图像和输入帧图像分别变换为亮度图像数据。以各亮度图像数据为对象，对于基准帧图像的某一行，定义以一个关注像素为中心的多个像素(例如16像素×1像素)组成的块。另一方面，在输入帧图像中的同一行中，将与所定义了的基准帧图像的块相同大小的块沿横线方向(X方向)分别错开一个像素，并求出相关值，该相关值表示，表示基准帧图像中定义了的块的像素值特征的特征量与、表示输入帧图像中的各块的像素值特征的特征量之间的关联。然后，根据求出的相关值进行匹配处理，在输入帧图像的各块中，选择与基准帧图像的块最相关联的输入帧图像的块。作为用于匹配处理的块的特征量，例如可以使用块内的各像素的值(亮度值)，作为相关值，例如可以使用基准帧图像块内各像素的值(亮度值)和与这些像素分别对应的输入帧图像块内各像素的值(亮度值)之间的差的绝对值的总和。此时，可以认为该总和最小的块最相关联。这样，将最相关联的模块作为特征点来建立对应。
接着，特征点评分处理部230从输入帧图像中提取特征点(步骤S32)。
例如，特征点评分处理部230具有图像特征点提取部，从摄像装置1拍摄的图像(输入帧图像)中提取特征点(图像特征点)。图像特征点提取部在所拍摄的每个图像图像上提取特征点。图像特征点提取部有例如利用图像的亮度值提取特征点的方法，或者从图像中物体的形状等提取特征点的方法，但并不局限于这些方法。
作为特征点的提取方法，例如可以使用Harris角点检测法(Harris Operator)和FAST(FeaturesfromAcceleratedSegmentTest)角点检测法。Harris角点检测是以两个边缘的交点为角来检测的图像处理。FAST角点检测是在关注像素周围的圆周上的16个像素的像素值连续检测到n个以上比注目像素明亮或暗的情况下检测出角的图像处理。此外，作为特征点的提取方法，例如可以使用SIFT(ScaleInvariantFeatureTransform)特征量描述符，SURF(SpeededUpRobustFeatures)特征量描述符。图像特征点提取部将图像上的特征点的坐标及其特征量(像素值、浓度、亮度等)作为图像特征点信息记录到存储部118中。
接着，特征点评分处理部230去除从输入帧图像中提取的特征点之中与在步骤S31中建立对应的特征点相互重复的点(步骤S33)。这是通过从步骤S32提取的特征点中去除在步骤S31成功建立对应的特征点附近的特征点来进行的。该去除的数量是基准帧图像中所具有的特征点在输入帧图像中存活的数量(相当于后述的跟踪点数)。去除后剩下的特征点相当于新出现的特征点。
最后，特征点评分处理部230求出帧新颖性得分(s)向量(步骤S34)。帧新颖性得分(s)向量用参数大小表示以下所示的"生存率"和"诞生率"的两者。
生存率＝输入帧图像中特征点的追踪点数量/基准帧图像的特征点的数量
诞生率＝输入帧图像中新提取的特征点的数量/基准帧图像的特征点的数量
在此，新提取的特征点的数量指的是在输入帧图像中新诞生的特征点的数量。
记录判断部250根据特征点评分处理部230的结果和抖动量计算处理部240的结果，判断是否记录处理对象的帧图像。当判断为记录处理对象的帧图像时，记录判断部250把基准帧图像更新为该处理对象的帧图像。
图6是抖动量计算处理部240所进行的一例抖动量计算处理的流程图。在此，显示一例根据摄影时的摄像元件21(摄像元件22)的曝光时间和全天球摄像装置1的主机的角速度来计算抖动量的方法。
抖动量计算处理部240首先从摄像部116取得拍摄时的曝光时间(步骤S41)。进而抖动量计算处理部240从IMU117取得拍摄时的角速度(步骤S42)。
然后，抖动量计算处理部240根据曝光时间和角速度计算曝光中的摄像元件的像素的移动量(抖动量)(步骤S43)。
某点xi的抖动量δxi可以用以下公式(1)计算。
δxi＝π(δR(π-1(xi))+δt)-xi (式1)
在此，π是投影变换函数，δR是表示从角速度和曝光时间得到的曝光期间的旋转量的旋转矩阵。δt是表示曝光期间主机移动的移动矢量，π-1是逆投影变换函数。
式(2)表示球面投影模型，式(3)表示逆投影变换函数。
Figure BDA0002203975220000081
π-1(x)＝d*[xx,xy,xz]^t (式3)
在δR微小且π-1(x)比δt大的情况下，由于可以忽视δt，因此可以用下式(4)预测抖动量。
δxi＝δR(xi)-xi (式4)
设传感器的单位像素的角度分辨率为f，用
Figure BDA0002203975220000091
可以以像素单位计算抖动量。
此时，由于抖动量计算处理部240能够将每个帧图像的像素单位的抖动量作为结果输出，所以记录判断部250能够判断每个像素的抖动量是否为阈值以上(例如，相当于几个像素以上大小的抖动量)。因此，记录判断部250能够将抖动量控制在相当于几个像素大小，记录帧图像。
图7是将输入帧图像的记录密度存在差异作为一例记录输入帧图像条件不同的示意图。图7显示了记录输入帧图像的条件之一的特征点生存率和诞生率的推移。图7的(a)显示诞生率为5以上或生存率为0.4以下的情况下基准帧图像(即记录输入帧图像)更新条件的推移。在图7的(b)中，诞生率为2以上或生存率为0.8以下的情况下基准帧图像更新条件的推移。图7的(a)和(b)均以左纵轴表示诞生率，右纵轴表示生存率，横轴表示帧编号。
在图7所示的例子中，图7(b)比图7(a的)基准帧图像的更新频率更高，输入帧图像的记录密度也更大。提高生存率阈值或降低诞生率阈值，输入帧图像的记录密度将会上升，而降低生存率阈值或提高诞生率阈值，输入帧图像的记录密度将会降低。
优选取得具有新颖性的图像之后，不采用在可以取得下一个具有新颖性的图像的规定拍摄准备时间经过期间中所取得的新颖性。
用如上所述的摄影记录方式记录的全天球摄影图像(各帧图像)成为以把特征点的变化量控制到规定变化量的摄影间隔来自动记录的帧图像，连续播放记录下来的摄像图像(各帧图像为静止图像)看起来可以像动画一样。这被称为所谓的低速摄影。此时，不仅可以记录静止图像，还可以以Motion JPG等视频格式进行记录。因此，即使是没有技术性前提知识的摄影者拍摄的图像，例如在外部装置中以记录图像为对象，使用SFm(Structure-from-Motion)和Visual SLAM(Simultaneous Localization and Mapping)等技术进行三维构成时，能够将特征点的三维再构成精度接近具有前提知识的人拍摄的精度，或者能够拍摄可以稳定获得更高精度所需要的图像群。
《应用例》
以下例举房地产楼房的虚拟内览。所谓虚拟内览是指，通过浏览用全天球摄像装置在楼房的室内或走廊等地点拍摄的360度全景图像，让寻找租房的人可以不用前往实地而进行楼房内览的方式。在虚拟内览中，可以通过一边点击或触击设置在进行拍摄地点之间的移动和视点改变的建筑物布置图上表示拍摄地点的图标，或表示嵌入360度全景图像内的邻接的摄影地点的图标来进行的视点移动，或者轻击或拖动360度图像而进行的水平/垂直的视点改变，一边浏览该楼房的状况。作为360度巡回，用360度全景图像中的移动或水平/垂直的视点变换来进行空间浏览的方法众所周知。
从作为3D巡回用来显示所需要的图像看到的除此以外的图像的拍摄地点的定义、布置图或平面图上的摄影位置的定义一般是手动进行，因而需要较多的用于巡回用数据生成的作业工序。目前存在利用SfM或Visual SLAM等技术自动推定拍摄地转换的相对位置姿势的技术。
该技术通过从多个地点拍摄的图像群中，提取被称为特征点的容易与其他区别的局部区域，并在图像之间建立这些特征点的对应，来推定该特征点的三维位置，并反过来根据特征点的三维点在图像上的配置进行拍摄地点的推定。在使用这些技术时，需要特殊的摄影方法，良好地建立特征点对应，而且需要以能够提高特征点的三维再构成精度的摄影间隔来进行摄影。
具体来说，为了使特征点的外观不发生较大变化，优选从各个角度拍摄三维再构成的点，以避免摄影间隔过大，提高三维再构成精度。鉴于这些权衡的最佳间隔随着需要拍摄的空间构成而不同，所以摄影者不得不在拍摄时考虑SfM的技术性约制，从而增加摄影负担。
作为拍摄者在不具备前提知识的情况下生成巡回的方法，虽然有一边拍摄动画一边在现场走动，之后用SfM和Visual SLAM生成巡回的方法，但由于从动画中切割出的图像的分辨率比静止图像的分辨率更小、编解码器的影响所带来的画质下降、一边移动一边摄影引起的抖动或被摄体抖动的影响等，使得画质下降的问题以及外观没有变化的场面也被记录下来，因而，文件将包含很多冗长的数据而变得很大。
通过使用本实施方式的摄像装置、图像记录方式拍摄的记录图像，这些问题可以得到解决。
《变形例1》
用全天球摄像装置进行360度摄影会把摄影者拍入全天球图像。为此，摄影者引起的变化量，不是周围构造物等的变化，可能发生很大变动。对此，本例构成变成，在特征点评分处理部中，确定被拍入处理对象的帧图像内的摄影者的区域，除去该区域内的特征点。
图8是变形例1涉及的特征点评分处理部230的一例结构示意图。图8所示的变形例1的特征点评分处理部230进一步具有摄影者检测部320。摄影者检测部320相当于"摄影者区域确定部"。
摄影者检测部320从处理对象的帧图像(全天球图像数据)中检测到摄影者的图像区域(摄影者区域)。摄影者检测部320所进行的摄影者区域的确定是通过将全天球图像数据中的确定区域预设为摄影者探索领域来进行的。在摄影者正确操作全天球摄像装置1的情况下，全天球图像数据中的摄影者探索区域是唯一确定的。例如，假设摄影者按动摄影开关13开始拍摄。此时，图1所示的右侧鱼眼镜头12中拍摄者被拍入可能性很高。因此，将全天球图像数据中用鱼眼镜头12拍摄的图像的中间区域等设定为拍摄者搜索区域。可以根据鱼眼镜头11和12以及摄影开关13的位置关系来妥善决定将全天球图像数据中的哪个区域作为摄影者探索区域。
摄影者检测部320以摄影者检索区域为对象，作脸部画像检测等来确定摄影者领域。特征点评分处理部230去除由摄影者检测部320所确定的拍摄者领域内的特征点，求出变化量。
摄影者检测部320的摄影者的检测也可以使用其他手法，还可以将其手法组合起来实施。例如，摄影者检测部320以全天球图像数据的全部区域为对象，进行脸部图像的检测处理。拍摄者检测部320，如果检测到多个脸部图像，则可以把其中最大的脸部画像和超过阈值大小的脸部画像定为摄影者领域。由于摄影者要按动全天球摄像装置1的拍摄开关13，因而摄影者应该位于最近的位置。因此，即使在检测到多个面部图像的情况下，也可以将其中最大的脸部图像看作是摄影者本人。
以上说明了摄像装置的实施方式及变形例，示出了一例摄像装置的构成和动作，但本发明不受此限制。例如以上作为一例摄像装置，示出了在正面侧和背面侧分别设置一组鱼眼镜头和摄像元件即摄像传感器，但也可以只设置在正面和背面之中的任意一方。另外，也可以在正面和背面双方分别设置两组以上的鱼眼镜头和摄像元件即摄像传感器。进而不局限于鱼眼镜头，也可以是其他广角透镜。还可设置棱镜等，在光路弯曲90度的位置上设置摄像元件。
变化量只要是求出第1图像和第2图像之间的变化(一致点、不同点、差分等)的量即可。关于变化量，不仅是使用特征点的变化，也可以是例如进行全像素比较，或者比较摄像图像的亮度分布(直方图)来求出变化量。但是，在计算使用特征点的变化量的例子中，在求出变化量的处理速度上有利。

Claims (13)

1.一种摄像装置，其特征在于，具备，
摄像部，用于拍摄图像；以及，
记录控制部，用于比较用所述摄像部拍摄的第一图像和第二图像，根据所述第二图像相对于所述第一图像的变化量，控制所述第二图像的记录，所述第二图像在所述第一图像之后拍摄。
2.根据权利要求1所述的摄像装置，其特征在于，
具有取得部，用于取得每张所述第二图像相对于所述第一图像的所述变化量，
所述记录控制部根据取得的所述变化量，控制所述第二图像的记录。
3.根据权利要求1或2所述的摄像装置，其特征在于，
具有判断部，用于判断是否记录所述第二图像，
通过所述记录控制部来控制由所述判断部判断为需要记录的所述第二图像的记录。
4.根据权利要求3所述的摄像装置，其特征在于，当所述摄像部拍摄的第二图像被所述判断部判断为需要记录时，所述记录控制部将所述第二图像作为所述第一图像，将在该第一图像之后拍摄的第二图像与所述第一图像进行比较。
5.根据权利要求3或4所述的摄像装置，其特征在于，
所述变化量具有作为参数的、与所述第一图像的特征点对应的所述第二图像的特征点的数量的减少率，
当表示所述摄像部拍摄的所述第二图像的所述减少率的值成为规定值以下时，所述判断部判断进行记录。
6.根据权利要求5所述的摄像装置，其特征在于，
所述变化量进一步具有作为参数的、未包含在所述第一图像的特征点之中的、在所述第二图像中新出现的特征点的数量的变化率，
当表示所述摄像部拍摄的所述第二图像的所述变化率的值成为规定值以上时，所述判断部判断进行记录。
7.根据权利要求3至6中任意一项所述的摄像装置，其特征在于，
进一步具有抖动量计算部，用于计算所述摄像部拍摄的所述第二图像的抖动量，
当所述抖动量计算部求出的所述抖动量超过阈值时，所述判断部判断不进行所述第二图像的记录。
8.根据权利要求3至7中任意一项所述的摄像装置，其特征在于，具有记录部，用于记录被所述判断部判断为需要记录的第二图像。
9.根据权利要求1所述的摄像装置，其特征在于，取得具有新颖性的图像之后，在可以取得下一个具有新颖性的图像的规定摄影准备时间经过期间中不采用所取得的新颖性。
10.根据权利要求1至9中任意一项所述的摄像装置，其特征在于，所述图像是全天球图像。
11.根据权利要求10所述的摄像装置，其特征在于，进一步具有摄影者区域确定部，用于从所述变化量之中去除摄影者的变化量。
12.根据权利要求8所述的摄像装置，其特征在于，所述记录部用动画形式记录。
13.一种用于摄像装置的图像记录方法，其中包括以下步骤，
拍摄图像的步骤；
比较由所述摄像部拍摄的第一图像和第二图像的步骤，所述第二图像在所述第一图像之后拍摄，
根据所述第二图像相对于所述第一图像的变化量来控制所述第二图像的记录的步骤。
CN201910874781.XA 2018-09-25 2019-09-17 摄像装置及图像记录方法 Pending CN110944101A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018179425A JP2020053774A (ja) 2018-09-25 2018-09-25 撮像装置および画像記録方法
JP2018-179425 2018-09-25

Publications (1)

Publication Number Publication Date
CN110944101A true CN110944101A (zh) 2020-03-31

Family

ID=67658257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910874781.XA Pending CN110944101A (zh) 2018-09-25 2019-09-17 摄像装置及图像记录方法

Country Status (4)

Country Link
US (1) US20200099854A1 (zh)
EP (1) EP3629570A3 (zh)
JP (1) JP2020053774A (zh)
CN (1) CN110944101A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788224B (zh) * 2019-03-26 2020-12-04 歌尔科技有限公司 视频录制方法、装置、网络摄像器及存储介质
CN116112786A (zh) * 2019-11-29 2023-05-12 华为技术有限公司 一种视频拍摄方法与电子设备
JP7516754B2 (ja) * 2019-12-19 2024-07-17 株式会社リコー 情報処理システム、方法、プログラムおよび記録媒体
JP2022130180A (ja) * 2021-02-25 2022-09-06 株式会社リコー 画像処理方法、プログラム、画像処理装置および画像処理システム
JP7377483B1 (ja) * 2023-04-14 2023-11-10 株式会社モルフォ 動画要約装置、動画要約方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1917611A (zh) * 2005-07-15 2007-02-21 索尼株式会社 成像设备和成像方法
CN102117412A (zh) * 2009-12-31 2011-07-06 北大方正集团有限公司 图像识别方法和装置
US20110234834A1 (en) * 2010-03-25 2011-09-29 Masahiko Sugimoto Imaging apparatus and image processing method
CN102208016A (zh) * 2010-03-30 2011-10-05 索尼公司 图像处理设备和方法、以及程序
CN105761255A (zh) * 2016-02-04 2016-07-13 网易（杭州）网络有限公司 游戏画面卡顿测试方法及装置
CN107995413A (zh) * 2017-10-31 2018-05-04 维沃移动通信有限公司 一种拍照控制方法及移动终端

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11298890A (ja) * 1998-04-13 1999-10-29 Hitachi Ltd 画像データの圧縮又は伸張方法とその装置、並びに、それを用いた画像伝送システム及び監視システム
US6803945B1 (en) * 1999-09-21 2004-10-12 Intel Corporation Motion detecting web camera system
JP4605217B2 (ja) * 2007-12-28 2011-01-05 カシオ計算機株式会社 撮影装置及びそのプログラム
JP2011205599A (ja) 2010-03-26 2011-10-13 Toshiba Corp 信号処理装置
US8964045B2 (en) * 2012-01-31 2015-02-24 Microsoft Corporation Image blur detection
JP6519262B2 (ja) 2014-04-10 2019-05-29 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
WO2016128761A1 (en) * 2015-02-13 2016-08-18 Light Blue Optics Ltd Image processing systems and methods
US10002435B2 (en) * 2016-01-29 2018-06-19 Google Llc Detecting motion in images
JP7211621B2 (ja) * 2016-10-24 2023-01-24 国立大学法人東京工業大学 画像生成装置、および画像生成プログラム
US10409276B2 (en) * 2016-12-21 2019-09-10 Hangzhou Zero Zero Technology Co., Ltd. System and method for controller-free user drone interaction
JP7196399B2 (ja) * 2017-03-14 2022-12-27 株式会社リコー 音響装置、音響システム、方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1917611A (zh) * 2005-07-15 2007-02-21 索尼株式会社 成像设备和成像方法
CN102117412A (zh) * 2009-12-31 2011-07-06 北大方正集团有限公司 图像识别方法和装置
US20110234834A1 (en) * 2010-03-25 2011-09-29 Masahiko Sugimoto Imaging apparatus and image processing method
CN102208016A (zh) * 2010-03-30 2011-10-05 索尼公司 图像处理设备和方法、以及程序
CN105761255A (zh) * 2016-02-04 2016-07-13 网易（杭州）网络有限公司 游戏画面卡顿测试方法及装置
CN107995413A (zh) * 2017-10-31 2018-05-04 维沃移动通信有限公司 一种拍照控制方法及移动终端

Also Published As

Publication number Publication date
EP3629570A3 (en) 2020-06-17
JP2020053774A (ja) 2020-04-02
US20200099854A1 (en) 2020-03-26
EP3629570A2 (en) 2020-04-01

Similar Documents

Publication Publication Date Title
CN110944101A (zh) 摄像装置及图像记录方法
JP6532217B2 (ja) 画像処理装置、画像処理方法、及び画像処理システム
TWI386056B (zh) A composition determination means, a composition determination method, and a composition determination program
US10121229B2 (en) Self-portrait enhancement techniques
US8810673B2 (en) Composition determination device, composition determination method, and program
CN103679749B (zh) 一种基于运动目标跟踪的图像处理方法及装置
JP4586709B2 (ja) 撮像装置
WO2019238113A1 (zh) 成像方法、装置、终端和存储介质
WO2014023231A1 (zh) 宽视场超高分辨率光学成像系统及方法
WO2019104569A1 (zh) 一种对焦方法、设备及可读存储介质
US20220358619A1 (en) Automatic dolly zoom image processing device
JP6656035B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
WO2021168804A1 (zh) 图像处理方法、图像处理装置和图像处理系统
JP2010114752A (ja) 撮像装置及び撮像方法及びプログラム
CN113747044A (zh) 一种全景拍摄方法及设备
JP7544036B2 (ja) 画像処理装置、３ｄモデル生成方法、およびプログラム
TWI696147B (zh) 全景圖形成方法及系統
JP6833483B2 (ja) 被写体追尾装置、その制御方法、および制御プログラム、並びに撮像装置
JP6483661B2 (ja) 撮像制御装置、撮像制御方法およびプログラム
CN110930303A (zh) 全景图形成方法及系统
JP2020136774A (ja) 動きベクトルを検出する画像処理装置およびその制御方法ならびにプログラム
TWI516120B (zh) 產生全景影像的方法及其影像擷取裝置
WO2022040988A1 (zh) 图像处理方法、装置及可移动平台
KR20220115223A (ko) 다중 카메라 캘리브레이션 방법 및 장치
JP2022099120A (ja) 被写体追尾装置およびその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200331

WD01 Invention patent application deemed withdrawn after publication