[go: up one dir, main page]

CN106982369B - 具有图像数据路径延迟测量的成像系统和方法 - Google Patents

具有图像数据路径延迟测量的成像系统和方法 Download PDF

Info

Publication number
CN106982369B
CN106982369B CN201611224893.3A CN201611224893A CN106982369B CN 106982369 B CN106982369 B CN 106982369B CN 201611224893 A CN201611224893 A CN 201611224893A CN 106982369 B CN106982369 B CN 106982369B
Authority
CN
China
Prior art keywords
image
signature
data path
time
path delay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611224893.3A
Other languages
English (en)
Other versions
CN106982369A (zh
Inventor
詹妮·皮卡洛萨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN106982369A publication Critical patent/CN106982369A/zh
Application granted granted Critical
Publication of CN106982369B publication Critical patent/CN106982369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/05—Synchronising circuits with arrangements for extending range of synchronisation, e.g. by using switching between several time constants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Studio Devices (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

一种具有图像数据路径延迟测量的成像系统，包括(a)第一图像传感器芯片，第一图像传感器芯片包括用于响应入射到像素阵列上的光产生第一图像的像素阵列，和一经接收到时间标记命令在第一图像中编码签名以产生具有签名和来自第一图像的图像数据的第一标记图像的时间标记产生器，以及(b)图像信号处理芯片，图像信号处理芯片用于处理第一标记图像，其中图像信号处理芯片包括用于产生时间标记命令并基于(i)时间标记命令的产生和(ii)作为第一标记图像的部分的签名的接收之间的时间延迟估计从图像传感器至数据路径延迟测量模块之间的图像数据路径延迟的数据路径延迟测量模块。

Description

具有图像数据路径延迟测量的成像系统和方法
技术领域
本发明涉及图像处理领域，尤其涉及具有图像数据路径延迟测量的成像系统和方法。
背景技术
成像被用于不断增加范围的应用中。这些应用的一些是时间敏感的。例如，机器视觉可能需要精确地知道特定事件何时发生。发生在图像传感器曝光之后以产生输出图像或其他基于图像的输出数据的信号处理与一定数量的处理时间相关，例如，一定数量的处理时间可以在微秒、毫秒或秒的若干分之几的范围中。处理时间取决于待执行的处理的类型和被用于执行此处理的电路的类型。对于给定的成像系统，处理时间可以根据操作模式变化。例如，曝光时间或分辨率的变化可以影响处理时间。
一些成像系统使用两个或更多个照相机以捕获两个或更多个各自的图像流，各自的图像流被连接在一起以形成单一复合图像流。可以在监控或汽车应用中实施这样的成像系统以为观察者(例如，司机)提供比使用单个照相机能够达到的视场更大的视场的单一图像流。复合图像流的产生需要将各别的图像流传送至将各别的图像流连接在一起的通用处理系统。复合图像流遭受各别的图像传感器和通用处理系统之间的数据路径延迟，且可能产生伪影(artifacts)，其中复合图像流的不同空间部分彼此不同步。
发明内容
在实施例中，具有图像数据路径延迟测量的成像系统包括第一图像传感器芯片。第一图像传感器芯片包括用于响应入射到像素阵列上的光产生第一图像的像素阵列，和用于一经接收到时间标记命令在第一图像中编码签名以产生具有签名和来自第一图像的图像数据的第一标记图像的时间标记产生器。成像系统还包括用于处理第一标记图像的图像信号处理芯片。图像信号处理芯片包括数据路径延迟测量模块，数据路径延迟测量模块用于产生时间标记命令并用于基于(a)所述产生时间标记命令和(b)作为第一标记图像的部分的签名的接收之间的时间延迟估计从像素阵列至数据路径延迟测量模块的图像数据路径延迟。
在实施例中，用于测量成像系统的图像数据路径延迟的方法包括：在第一时间，将第一时间标记命令从图像信号处理芯片传送至第一图像传感器芯片，并且一经在第一图像传感器芯片处接收到第一时间标记命令，在第一图像传感器芯片上的第一像素阵列捕获的第一图像中编码第一签名以产生具有第一签名和来自第一图像的图像数据的第一标记图像。方法还包括将第一标记图像从图像传感器芯片传送至图像信号处理芯片，使用图像信号处理芯片片上的数据路径延迟测量模块识别第一标记图像中的第一签名，以及基于从第一时间至所述识别的时间的时间跨度估计从第一图像由第一像素阵列的捕获至数据路径延迟测量模块的第一图像数据路径延迟。
在实施例中，用于图像数据路径延迟测量的图像传感器芯片包括：(a)像素阵列，像素阵列用于响应入射到像素阵列上的光产生第一图像，(b)输入接口，输入接口用于从图像传感器芯片外部的电路接收时间标记命令，(c)时间标记产生器，时间标记产生器用于一经接收到时间标记命令，在第一图像中编码签名以产生具有签名和来自第一图像的图像数据的标记图像，以及(d)输出接口，输出接口用于输出标记图像至图像传感器芯片外部的图像处理系统。
附图说明
图1示出根据实施例的具有集成的图像数据路径延迟测量功能的成像系统。
图2根据实施例进一步详细地示出图1的成像系统。
图3示出根据实施例的用于测量包括图像传感器芯片和与图像传感器芯片通信地耦接的图像信号处理芯片的成像系统的图像数据路径延迟的方法。
图4示出根据实施例的由图1的成像系统捕获的图像的结构。
图5示出根据实施例的用于使用图像传感器芯片的像素阵列捕获图像并用于在图像传感器芯片的片上在为了估计从图像传感器芯片至与图像传感器芯片通信地耦接的ISP芯片的图像数据路径延迟的目的捕获的捕获图像中编码签名的方法。
图6示出根据实施例的包括用于将签名编码为与时间标记列的默认强度值不同的强度值的二值化时间标记列的标记图像。
图7示出根据实施例的将时间标记列中的签名编码为具有与时间标记列的默认强度值不同的强度值的一系列像素的另一标记图像。
图8A和图8B示出根据实施例的作为预定义的二值化图案的偏离的签名的编码。
图9示出根据实施例的具有跨越穿过几行的签名的标记图像。
图10示出根据实施例的具有跨越穿过几行的签名的另一标记图像。
图11示出根据实施例的用于处理标记图像以确定从用于产生标记图像的图像传感器芯片至与图像传感器芯片通信地耦接的ISP芯片的图像数据路径延迟的方法。
图12根据实施例进一步详细地示出图1的成像系统的图像传感器芯片。
图13示出根据实施例的用于在数字图像中编码签名的图像传感器芯片。
图14示出根据实施例的用于在模拟图像中编码签名的图像传感器芯片。
图15示出根据实施例的用于图像数据路径延迟测量的图像信号处理芯片。
图16示出根据实施例的具有与单个图像信号处理芯片通信地耦接的多个图像传感器芯片的多传感器成像系统。
图17示出根据实施例的用于同步由包括与多个图像传感器芯片通信地耦接的单个图像信号处理芯片的多传感器成像系统中实施的多个图像传感器芯片产生的图像流的方法。
图18示出根据实施例的用于产生车辆的周围环境的影像的汽车多传感器成像系统。
具体实施方式
图1示出具有集成的图像数据路径延迟测量功能的一个示例性成像系统100。成像系统100包括图像传感器芯片110和图像信号处理(ISP)芯片120。图像传感器芯片110捕获图像140，且ISP芯片120处理与图像140相关的图像数据以产生输出数据160。图像传感器芯片110和ISP芯片120的每个是集成电路。图像传感器芯片110和ISP芯片120包括用于估计图像140的捕获和到达ISP芯片120内的图像数据路径上的点之间的图像数据路径延迟150的电路。因此，成像系统100用于估计图像数据路径延迟150，例如，以适当地解释图像数据路径延迟150的变化或在由ISP芯片120执行的处理中使用图像数据路径延迟150以产生输出数据160。成像系统100执行作为图像140的处理的基本部分的此图像数据路径延迟测量以产生输出数据160。取决于像素阵列112的图像捕获的模式和在图像传感器芯片110的片上以及在ISP芯片120的片上发生的图像处理的形式，示例性图像数据路径延迟150在从约50微秒至约100毫秒的范围内。
图像传感器芯片110包括像素阵列112。像素阵列112包括(a)响应于入射其上的光195产生电信号的感光像素的阵列，和(b)用于从感光像素的阵列读出电信号以产生图像140的读出电路。在示于图1的示例性情景中，像素阵列112与成像物镜180配合以产生场景190的图像140。在一些实施例中，图像传感器芯片110与照相机模块中的成像物镜180耦接。然而，在不脱离其范围的情况下，图像传感器芯片110可以用于无透镜成像。图像传感器芯片110还包括时间标记产生器114，一经接收到时间标记命令130，时间标记产生器114在图像140中编码签名144以在时间标记产生器114接收到时间标记命令130时产生具有(a)来自图像140的图像数据和(b)签名144的标记图像142。
ISP芯片120包括产生时间标记命令130并基于(a)产生时间标记命令130的时间和(b)作为标记图像142的部分的签名144被数据路径延迟测量模块122接收的时间之间的时间延迟估计从像素阵列112至数据路径延迟测量模块122的图像数据路径延迟150的数据路径延迟测量模块122。
在使用的一个示例中，数据路径延迟测量模块122对于由图像传感器芯片110产生的每个图像140或对于由图像传感器芯片110产生的图像140的子集，传送时间标记命令130至图像传感器芯片110。因此，不是所有的标记图像142必须包括签名144。在使用的另一示例中，数据路径延迟测量模块122将两个或更多个时间标记命令130传送至时间标记产生器114以用于单个标记图像142中的两个或更多个各自的签名144的编码。在操作的过程中，数据路径延迟测量模块122可以改变时间标记命令130的产生的速度。
ISP芯片120可以包括从数据路径延迟测量模块122接收标记图像142并处理标记图像142以产生输出数据160的处理电路126。输出数据160可以是从标记图像142确定的图像数据或非图像数据。在一个实施例中，处理电路126使用图像数据路径延迟150以产生输出数据160。在此实施例的一个示例中，处理电路126使用图像数据路径延迟150以估计图像140的捕获时间，且在输出数据160中包括指示图像140的捕获时间的时间戳。在此实施例的另一示例中，处理电路126处理一系列的标记图像142，其中标记图像142的至少一些包括签名144。在此示例中，处理电路126产生具有被基于图像数据路径延迟150校正的输出图像160的时序的输出图像160的流，以便尽管在图像140的流的捕获过程中图像数据路径延迟150可能变化，仍然适当地反映场景190中事件的真实时间。
在实施例中，ISP芯片120用于输出图像数据路径延迟150。在相关的示例性使用情景中，图像数据路径延迟150是随时间监测的，且图像数据路径延迟150的显著变化可能指示成像系统100中的问题。
在不脱离其范围的情况下，图像传感器芯片110可以被提供为用于与如上讨论的第三方ISP芯片120配合的独立设备。此外，在不脱离其范围的情况下，ISP芯片120可以被提供为用于与在此讨论的图像传感器芯片110配合的或用于与如下参考图16讨论的多个图像传感器芯片110配合的独立设备。
图2进一步详细地示出成像系统100。ISP芯片120包括用于为数据路径延迟测量模块122提供时间的时钟228。数据路径延迟测量模块122使用时钟128提供的时间，以确定(a)时间标记命令130的产生的时间和(b)作为标记图像142的部分的签名144被数据路径延迟测量模块122接收的时间。
在一些实施例中，图像传感器芯片110包括在将图像140传送至时间标记产生器114之前处理图像140的第一处理电路216。第一处理电路216可以用于执行捕获的图像的模数转换、若捕获的图像是彩色图像时捕获的图像的白平衡、增益调整和本领域已知的模拟和/或数字信号处理的一个或多个。在一个实施例中，第一处理电路216执行时间标记产生器114处理图像140所需要的最小数量的处理，使得由第一处理电路216引起的且不在图像数据路径延迟150中的图像数据路径延迟最小。在实施例中，图像传感器芯片110包括在图像传感器芯片110将标记图像142传送至ISP芯片120之前处理标记图像142的第二处理电路218。第二处理电路218可以用于执行若标记图像142是模拟形式时标记图像142的模数转换、若标记图像142是彩色图像时标记图像142的白平衡、增益调整、标记图像142的空间分级以调整其分辨率和本领域中已知的其他模拟和/或数字信号处理的一个或多个。
ISP芯片120可以包括在将标记图像142传送至数据路径延迟测量模块122之前处理标记图像142的处理电路224。
在实施例中，ISP芯片120包括从标记图像142中移除签名144的图像清理模块226。ISP芯片120可以将图像清理模块226实施作为处理电路126的部分(如图2中所示)、或作为数据路径延迟测量模块122的部分、或在ISP芯片120内的图像数据路径中并在数据路径延迟测量模块122的下游的其余位置。
时间标记产生器114包括能够定义标记图像142中像素强度的电子电路。在一个示例中，此电子电路是本领域中已知的基于晶体管的电路。在另一示例中，由图像传感器芯片110片上的微处理器或现场可编程门阵列实施时间标记产生器114。此微处理器或现场可编程门阵列可以被图像传感器芯片110片上的其他功能(例如第一处理电路216和/或第二处理电路218)共享。可以由ISP芯片120片上的微处理器或现场可编程门阵列实施数据路径延迟测量模块122。此微处理器或现场可编程门阵列可以被ISP芯片120片上的其他功能(例如处理电路224和/或处理电路126)共享。
在实施例中，成像系统100还包括标记图像142必须经过的、图像传感器芯片110和ISP芯片120之间的中间处理电路270。中间处理电路270可以包括执行标记图像142的全帧缓存或标记图像142的行式缓存的缓存器。由于全帧必须在下一处理步骤可以开始之前加载至缓存器中，因此与逐像素缓存或逐行缓存相比，全帧缓存通常引起显著的图像数据路径延迟。例如，若图像传感器芯片110以每秒60帧的速度捕获图像140，由全帧缓存引起的图像数据路径延迟可能多达33毫秒。因此，包括图像传感器芯片110和ISP芯片120之间的全帧缓存的成像系统100的实施可能与显著的图像数据路径延迟150相关。此外，此显著的图像数据路径延迟150可能遭受变化，例如，由标记图像142的尺寸和分辨率的变化或由中间处理电路270执行的其他处理的变化引起的变化。对于这些原因，在时间标记产生器114的处理之前直至处理之后没有全帧缓存的情况下实施图像传感器芯片110也是有利的。在一个实施例中，图像传感器芯片110不执行全帧缓存。在此实施例中，图像传感器芯片110片上的全部图像缓存可以是逐行缓存或逐像素缓存。在另一实施例中，图像传感器芯片110包括配置有缓存标记图像142的全帧的全帧缓存器的第二处理电路218。
在实施例中，数据路径延迟测量模块122通过连接275与像素阵列112通信地耦接，使得时间标记命令130由数据路径延迟测量模块122产生的时间可以与图像140被像素阵列112捕获的时间协调。连接275可以使用与时间标记命令130相同的片间通信链接。连接275不必须是数据路径延迟测量模块122和像素阵列112之间的直接连接。连接275可以经过ISP芯片120和/或图像传感器芯片110的其它元件。在此实施例的一个实施中，像素阵列112为主且数据路径延迟测量模块122为从。在此实施中，数据路径延迟测量模块122根据从像素阵列112接收的(一个或多个)图像捕获时序信号产生(一个或多个)时间标记命令130。在此实施例的另一实施中，数据路径延迟测量模块122为主且像素阵列112为从。在此实施中，像素阵列112根据从数据路径延迟测量模块122接收的(一个或多个)触发信号捕获(一个或多个)图像140。
图3示出用于测量包括图像传感器芯片和与图像传感器芯片通信地耦接的ISP芯片的成像系统的图像数据路径延迟的一个示例性方法300。方法300将图像数据路径延迟测量与捕获的图像的处理集成。方法300可以由成像系统100执行。
在步骤310中，ISP芯片片上的数据路径测量模块将时间标记命令传送至图像传感器芯片。步骤310发生在第一时间T1。在步骤310的一个示例中，数据路径延迟测量模块122产生时间标记命令130并将时间标记命令130传送至时间标记产生器114。数据路径延迟测量模块122将执行步骤310的时间记录为T1，其中此时间由时钟228提供。
在步骤320中，一经接收到步骤310的时间标记命令，图像传感器芯片在由图像传感器芯片片上的像素阵列捕获的图像中编码签名。在不脱离其范围的情况下，例如，若当接收到时间标记命令时图像传感器芯片没有正在处理捕获的图像，图像传感器芯片可以在时间标记命令的接收之后由图像传感器芯片处理的第一个捕获的图像中编码签名。步骤320产生包括捕获的图像数据以及签名的标记图像。在步骤320的一个示例中，一经接收到时间标记命令130，时间标记产生器114在由时间标记产生器114处理的图像140中编码签名144以产生标记图像142。若当接收到时间标记命令130时时间标记产生器114没有正在处理图像140，图像标记产生器114在接收时间标记命令130之后由时间标记产生器114处理的第一个图像140中编码签名144。此情况可以出现在时间标记产生器114在完成一个图像140的处理之后并等待下一个图像140时接收到时间标记命令130。
在一些实施例中，方法300包括捕获步骤320中处理的图像的步骤302。在此，“捕获”包括例如使用相关双采样从像素阵列的像素中读出图像信号的过程。在步骤302的一个示例中，像素阵列112捕获图像140。在执行步骤320之前，方法300还可以包括处理在步骤302中捕获的图像的步骤304。这样的处理可以包括捕获的图像的模数转换、若捕获的图像是彩色图像时捕获的图像的白平衡、增益调整和本领域中已知的其它模拟和/或数字信号处理的一个或多个。例如，在步骤304的一个示例中，第一处理电路216处理图像140以执行图像140的模数转换、若图像140是彩色图像时图像140的白平衡、增益调整和本领域中已知的其它模拟和/或数字信号处理的一个或多个。
在可选的步骤330中，图像传感器芯片还处理步骤320中产生的标记图像。若标记图像是模拟形式时，步骤330可以包括标记图像的模数转换。此外，步骤330可以包括当标记图像是彩色图像时标记图像的白平衡、增益调整、标记图像的空间分级以调整其分辨率和本领域中已知的其它模拟和/或数字信号处理。在一个实施例中，步骤330包括需要标记图像140的全帧缓存的处理。由于全帧缓存通常引起显著的图像数据路径延迟，任何这样的处理有利地在步骤330中执行，而不是在步骤320中。在步骤330的一个示例中，第二处理电路218处理标记图像142例如以执行若标记图像142是模拟形式时标记图像142的模数转换、若标记图像142是彩色图像时标记图像142的白平衡、增益调整、标记图像142的空间分级以调整其分辨率和本领域中已知的其它模拟和/或数字信号处理的一个或多个。
在步骤340中，图像传感器芯片将标记图像传送至ISP芯片。在步骤340的一个示例中，图像传感器芯片110将标记图像142传送至ISP芯片120。步骤340可以包括在图像传感器芯片和ISP芯片之间处理标记图像的步骤342。在步骤342的一个示例中，中间处理电路270处理标记图像142。
在可选的步骤350中，在ISP芯片片上处理标记图像。步骤350可以执行改善标记图像的成像质量、白平衡、对比度调整、色调映射和本领域中已知的其它图像处理的一个或多个。在步骤350的一个示例中，处理电路224处理标记图像142。处理电路224可以执行改善标记图像142的成像质量、白平衡、对比度调整、色调映射和本领域中已知的其它图像处理的一个或多个。
在步骤360中，ISP芯片片上的数据路径延迟测量模块识别标记图像中编码的签名。在步骤360的一个示例中，数据路径延迟测量模块122识别标记图像142中的签名144。数据路径延迟测量模块122将签名144被识别时的时间记录为时间T2，其中此时间由时钟228提供。
步骤370基于从T1至步骤360中识别签名的时间T2的时间跨度估计从由图像传感器芯片的像素阵列捕获的图像至数据路径延迟测量模块的图像数据路径延迟。在步骤370的一个示例中，数据路径延迟测量模块122计算图像数据路径延迟150为T2-T1。
在一个实施例中，步骤370将估计的图像数据路径延迟输出为T2-T1。在另一实施例中，步骤370包括关于不包括在时间差T2-T1中的已知的延迟校正估计的图像数据路径延迟的步骤372。步骤372可以将T2-T1加上代表从图像捕获的时间至步骤320中的编码签名的时间的图像数据路径延迟的预校准的图像数据路径延迟，和/或步骤372可以将T2-T1减去代表从T1至步骤320中的编码签名的时间的时间跨度的预校准的转移时间。典型的转移时间可以在纳秒范围内。步骤372可以由数据路径延迟测量模块122执行。
执行步骤360之后，步骤300可以包括在ISP芯片片上处理标记图像的步骤380。在步骤380的一个示例中，处理电路126处理标记图像142以产生输出数据160。步骤380中的示例性处理包括但不限于，标记图像142中目标的识别和从标记图像142中移除时间签名144。时间签名144从标记图像142中的移除可以由图像清理模块226执行。
可选地，步骤380包括使用步骤370中获得的图像数据路径延迟估计以产生输出数据的步骤382。步骤380可以包括输出图像的时间戳或相关的输出数据，其中时间戳解释估计的图像数据路径延迟以指示相关的图像140的捕获时间。在方法300处理图像流的实施中，步骤382可以包括使用一个或多个估计的图像数据路径延迟以产生具有被基于一个或多个估计的图像数据路径延迟校正的输出图像160的时序的输出图像160的流，以便尽管在图像流的捕获的过程中图像数据路径延迟可能变化，仍然适当地反应场景190中事件的真实时间。
在一个实施例中，步骤320接收数字形式的捕获的图像。在此实施例的示例中，方法300包括步骤302和304，其中仅由步骤304执行的处理是捕获的图像的模数转换。在此示例中，在步骤302中捕获图像之后尽可能最早的时间执行步骤320，这导致图像捕获和签名的编码之间的最短可能的延迟。此示例最小化图像捕获和方法300在步骤320中在数字图像中编码签名的实施的时间T1之间的时间跨度，因此减小不是由这样的方法300的实施引起的图像数据路径延迟。在另一实施例中，步骤320接收模拟形式的捕获的图像。与在数字图像中编码签名的实施例相比，通过在模拟图像中编码签名，此实施例可以进一步减小(或甚至消除)图像捕获和T1之间的时间跨度，以便进一步减小(或甚至消除)不是由方法300引起的图像数据路径延迟。
在一个实施例中，至少直至步骤320，方法300没有全帧缓存，以便避免除了由方法300引起的图像数据路径延迟之外的显著的图像数据路径延迟。
图4示出图像140的结构。图像140包括被布置成具有行420和列430的阵列的多个像素410。为说明的清楚，图4中不标注所有的像素410、行420和列430。同样为说明的清楚，图4不示出场景190的图像。在不脱离其范围的情况下，图像140可以包括与示于图4相比的不同数量的像素410、行420和列430。例如，图像140可以包括数百或数千行420和数百或数千列430。
当图像140是彩色图像时，像素410可以代表指示单色(例如红色、绿色和蓝色的一个)的强度的单色像素。可选地，像素410可以代表指示由多个各别的彩色像素共同地提供的强度和彩色的彩色像素组。
图5示出用于使用图像传感器芯片的像素阵列捕获图像并用于在图像传感器芯片的片上在为了估计从图像传感器芯片至与图像传感器芯片通信地耦接的ISP芯片的图像数据路径延迟的目的捕获的捕获图像中编码签名的一个示例性方法500。方法500基于图像的行的顺序处理，并在图像的专用列中编码签名。方法500是方法300的部分的实施例。方法500的至少部分可以由图像传感器芯片110执行。在实施例中，方法500包括步骤310的实施例，在此情况下方法500可以由成像系统100执行。
在步骤520中，图像传感器芯片的像素阵列捕获图像。在步骤520的示例中，像素阵列112捕获图像140。步骤520是步骤302的实施例。
在步骤530中，图像传感器芯片从像素阵列顺序地读出捕获的图像的行。在步骤530的一个示例中，图像传感器芯片110从像素阵列112顺序地读出图像140的行。
在可选的步骤540中，图像传感器芯片顺序地处理图像140的行。例如，步骤540由第一处理电路216执行。步骤540是步骤304的实施例，并且虽然受限于行的顺序处理，可以包括与参考图3针对步骤304的上述讨论的处理相似类型的处理。
在步骤550中，图像传感器芯片顺序地将图像的行经过图像传感器芯片片上的时间标记产生器，以产生具有时间标记列的标记图像。时间标记列是专用于签名的编码的标记图像的一列，其中签名用于估计从图像传感器芯片至与图像传感器芯片通信地耦接的ISP芯片的图像数据路径延迟。在步骤550的一个示例中，图像传感器芯片110顺序地将图像140的行420经过时间标记产生器114以产生具有时间标记列的标记图像140。时间标记列可以是图像140的列430的一个或可以是添加至图像140的列。时间标记产生器114从顶端(行420(1))开始或从底端(行420(M))开始顺序地处理图像140的行420。
步骤550实施步骤552或步骤554。步骤552将时间标记列添加至捕获的图像。在步骤552的一个示例中，时间标记产生器114将一个像素添加至图像140的每行420，使得标记图像142包括形成时间标记列的额外的列430。步骤554将捕获的图像的现有列替换为时间标记列。在步骤554的一个示例中，时间标记产生器114替换图像140的每行420的一个像素，使得标记图像142用时间标记列替换图像140的一列。
步骤550包括一经接收到时间标记命令，在接收时间标记列之后时间标记产生器到达捕获的图像的任一行的时间标记列的第一时间，在时间标记列中编码签名的步骤556。也就是说，一经接收到时间标记命令，不管时间标记产生器在处理哪一行，在最早的时机在时间标记列中编码时间标记。例如，在时间标记列是图像的第一列的示例中，如果时间标记产生器在处理例如图像的第16行的最后一列时接收到时间标记命令，则时间标记产生器在第17行的时间标记列中编码签名，因为这是如此做的最早时机。仅在捕获的图像的所有行被处理之前接收到时间标记命令时，步骤550执行步骤556。步骤550是步骤320的实施例。在步骤556的一个示例中，时间标记产生器114接收时间标记命令130。在时间标记产生器114顺序地处理行420的过程中，在时间标记产生器114达到标记图像142的时间标记列的第一时间，时间标记产生器在此行中编码签名144。在不脱离其范围的情况下，步骤556中编码的签名可以跨越几行。此外，在不脱离其范围的情况下，签名的编码可以延迟已知数量的行。例如，时间标记产生器可以用于在接收时间标记命令之后由时间标记产生器处理的第n行中编码签名，或从第n行开始编码签名。
在实施例中，步骤556实施通过反转二值化强度值编码签名的步骤558。在此实施例中，时间标记列中的像素可以仅取两个强度值，例如，最大或最小强度，或黑色和白色。步骤558可以通过将被选择用于编码签名的行的像素值设置为与先前的行的强度值不同的两个可能的强度值中的一个而编码签名。可选地，步骤558可以通过将被选择用于编码签名的行的像素值设置为与对于被选择的行的其他期望的强度值不同的两个可能的强度值中的一个而编码签名。
在可选的实施例中，时间标记列包括来自图像140的至少一些图像数据。例如，签名144可以以与水印相似的方式覆盖于现有的图像数据上。在一个这样的示例中，签名144被编码成时间标记列的图像数据的一位平面。
步骤520、530、540(若被包括)和550的执行可以交错，使得在捕获的图像的所有行已经被步骤520、530和540(若被包括)的先前一个处理之前，捕获的图像的至少一些行到达步骤530、540(若被包括)和550的一个。
可选地，方法500还包括在ISP芯片的片上产生时间标记命令并将时间标记命令传送至图像传感器芯片的步骤510。步骤510是步骤310的实施例并可以由数据路径延迟测量模块122执行。步骤510可以包括将时间标记命令的产生与由图像传感器芯片的图像捕获同步，以保证消除步骤550中等待下一图像140的等待时间的步骤512。这样的等待时间可能另外导致图像数据路径延迟的错误的大的估计。在步骤512的一个示例中，成像系统100使用连接275以将时间标记命令130由数据路径延迟测量模块122的产生和图像140由像素阵列112的捕获同步，如参考图2的上述讨论。
在不脱离其范围的情况下，时间标记列可以包括标记图像的几个相邻的列。
图6示出包括用于将签名612编码为与时间标记列610的默认强度值不同的强度值的二值化时间标记列610的一个示例性标记图像600。标记图像600是标记图像142的实施例。签名612是签名144的实施例。例如，标记图像600可以由方法500使用时间标记产生器114产生。标记图像600与图像140相似，除了标记图像600包括时间标记列610。时间标记列610可以代替图像140中的列，或可以是添加至图像140的列。在实施例中，时间标记列610在标记图像600的最左侧(如图6中所示)或在标记图像600的最右侧。然而，在不脱离其范围的情况下，时间标记列610还可以离开标记图像600的最左侧和最右侧。
在标记图像600中，时间标记列610中像素410的强度值均默认是两个可能的强度值的第一个，且签名612显示为具有两个可能的强度值的另一个的像素410。
在不脱离其范围的情况下，时间标记列610可以包括标记图像600的几个相邻的列430。
图7示出将时间标记列610中的签名712编码为具有与时间标记列610的默认强度值不同的强度值的一系列像素的另一示例性标记图像700。标记图像700是标记图像142的实施例。签名712是签名144的实施例。例如，标记图像700可以由方法500使用时间标记产生器114产生。标记图像700与标记图像600相似，除了签名712延伸穿过时间标记列610的几个行420。具有较低强度值的第一行可以被用于后续的图像数据路径延迟的估计。
图8A和图8B示出作为预定义的二值化图案的偏离的签名的编码。图8A示出还未使用签名编码的标记图像800。图8B示出已经使用签名812编码的对应的标记图像850。标记图像800和850的每个是标记图像142的实施例。签名812是签名144的实施例。例如，标记图像800和850可以由方法500使用时间标记产生器114产生。最好一起查看图8A和图8B。
标记图像800和850与标记图像600相似，除了标记图像600中时间标记列610的默认的连续强度值被默认的二值化图案代替。除非在标记图像800中编码签名812，标记图像800的时间标记列610中像素410的强度值每m行被反转。图8A示出每4(即，m等于4)行420反转强度值的二值化图案。然而，在不脱离其范围的情况下，二值化图案可以以不同的规律间隔反转强度值且m可以是任意整数。例如，二值化图案可以以每8行420反转强度值。
标记图像850中的签名812在不期望的行420处显示为强度值的反转。尽管在图8A和图8B中未示出，可以在与强度值的反转相关的行420中编码签名812。在此情况下，与默认的二值化图案相比，签名812在标记图像850中显示为强度值的丢失反转。
标记图像800和850的二值化图案分别容易与标记图像800和850的其余部分区别，使得时间标记列610容易被识别为不包括关于场景190的图像数据。
图9示出具有跨越穿过几行420的签名912的一个示例性标记图像900。签名912是在两个强度之间交替的二值化图案。强度可以每行420或每n行420交替。数据路径延迟测量模块122可以识别签名912并定义时间T2为接收签名912的第一行(图9中标注的930)的时间。标记图像900是标记图像142的实施例。签名912是签名144的实施例。例如，标记图像900可以由方法500使用时间标记产生器114产生。
图10示出具有跨越穿过几行420的签名1012的另一示例性标记图像1000。签名1012是不必须受限于两个强度的预定义的强度变化图案。数据路径延迟测量模块122可以搜索标记图像1000查找签名1012，识别标记图像1000中的签名1012，并定义T2为接收签名1012的第一行(图10中标注的1030)的时间。标记图像1000是标记图像142的实施例。签名1012是签名144的实施例。例如，标记图像1000可以由方法500使用时间标记产生器114产生。
图11示出用于处理标记图像(例如标记图像142)以确定从用于产生标记图像的图像传感器芯片至与图像传感器芯片通信地耦接的ISP芯片的图像数据路径延迟的一个示例性方法1100。方法1100基于标记图像的行的顺序处理以识别标记图像中的签名。方法1100是方法300的部分的实施例。方法1100的至少部分可以由ISP芯片120执行。在实施例中，方法1100包括步骤340的实施例，在此情况下，方法1100可以由成像系统100执行。
方法1100可以与方法500结合，使得在方法500的步骤550之后执行方法1100。在不脱离其范围的情况下，方法1100可以在方法500对于标记图像的所有行完成之前，从标记图像的一些行开始。
在步骤1130中，与用于产生标记图像(例如标记图像142)的图像传感器芯片通信地耦接的ISP芯片通过ISP芯片片上的数据路径延迟测量模块顺序地处理标记图像的行，以识别标记图像的时间标记列中的签名。步骤1130是步骤360的实施例。在步骤1130的一个示例中，数据路径延迟测量模块122顺序地处理标记图像142的行420以识别标记图像142的时间标记列中的签名144。例如，时间标记列是时间标记列610。
步骤1130包括将检测标记图像中的签名的时间记录为T2的步骤1132。在步骤1132的一个示例中，数据路径延迟测量模块122检测标记图像142中的签名144并将检测签名144的时间记录为T2，其中此时间由时钟228提供。
在步骤1140中，数据路径延迟测量模块确定从T1至T2的时间跨度，即计算T2-T1，其中T1是产生用于触发标记图像中的签名的编码的时间标记命令的时间。在方法300的步骤310中或在方法500的步骤510中确定T1。在步骤1140的一个示例中，数据路径延迟测量模块122计算T2-T1。步骤1140是步骤370的实施例。
在可选的步骤1150中，关于成像系统中其他已知的延迟，校正步骤1140中确定的时间跨度。步骤1150与方法300的步骤372相似。步骤1150是步骤372的实施例并可以与步骤1140配合以形成步骤370的实施例。
在步骤1160中，方法1100将T2-T1或步骤1150中获得的相关的校正值输出为图像数据路径延迟。在步骤1160的一个示例中，数据路径延迟测量模块122将T2-T1或相关的校正值输出为图像数据路径延迟150。
方法1100可以包括在执行步骤1130之前，将标记图像从图像传感器芯片可选地通过中间处理电路(例如中间处理电路270)传送至ISP芯片的步骤1110。步骤1110是步骤340的实施例。步骤1110实施步骤1112或步骤1114。在步骤1112中，在不缓存标记图像的全帧的情况下，图像传感器芯片顺序地将标记图像的行传送至ISP芯片。在步骤1112的一个示例中，图像传感器芯片110顺序地将标记图像142的行传送至ISP芯片120。在步骤1114中，在将标记图像传送至ISP芯片作为全帧或作为一系列行之前，图像传感器芯片缓存标记图像142的全帧。在步骤1114的一个示例中，图像传感器芯片110缓存标记图像142的全帧并顺序地将标记图像142传送至ISP芯片120作为全帧或作为一系列行。在不脱离其范围的情况下，步骤1114可以由将标记图像从图像传感器芯片传送至全帧缓存器然后将标记图像从全帧缓存器传送至ISP芯片的步骤代替。例如，图像传感器芯片110可以将标记图像142传送至中间处理电路270内的全帧缓存器，随后中间处理电路270将标记图像142从全帧缓存器传送至ISP芯片120。
方法1100还可以包括步骤1110之后和步骤1130之前的步骤1120。步骤1120在ISP芯片片上处理标记图像。步骤1120与步骤350相似。
在其中ISP芯片顺序地接收标记图像的行的方法1100的实施例中，步骤1130可以在步骤1110和可选地在步骤1120对于标记图像的所有行完成之前从标记图像的一些行开始。
图12进一步详细地示出图像传感器芯片110。除了示于图1和图2的元件之外，图像传感器芯片110包括输入接口1210和输出接口1220。输入接口1210接收时间标记命令130并将时间标记命令130传送至时间标记产生器114。输出接口输出标记图像142，例如，输出至ISP芯片120。
图13示出用于在数字图像中编码签名的一个示例性图像传感器芯片1300。图像传感器芯片1300是图像传感器芯片110的实施例。图像传感器芯片1300可以执行没有步骤510的方法500。图像传感器芯片1300还可以处理方法1100的步骤1110的实施例。
图像传感器芯片1300包括像素阵列112、模数转换器1330、数字时间标记产生器1350、输入接口1210和输出接口1220。模数转换器1330将像素阵列112捕获的模拟图像1380转换为数字图像1382。一经从输入接口1210接收到时间标记命令130或在从输入接口1210接收时间标记命令130之后的第一时机，数字时间标记产生器1350在数字图像1382中编码签名144以产生数字形式的标记图像142。数字时间标记产生器1350是时间标记产生器114的实施例，用于在数字图像中编码签名144。
在实施例中，图像传感器芯片1300包括在模数转换器1330将模拟图像1380转换至数字图像1382之前处理模拟图像1380的模拟处理电路1320。在实施例中，图像传感器芯片1300包括在将数字图像1382传送至数字时间标记产生器1350之前处理数字图像1382的数字处理电路1340。模数转换器1330，可选地与模拟处理电路1320和数字处理电路1340的一个或全部一起，形成第一处理电路216的实施例。
在实施例中，图像传感器芯片1300包括在输出接口1220输出标记图像142之前处理标记图像142的图像传感器处理器1360。例如，图像传感器处理器1360是微处理器。图像传感器处理器1360形成第二处理电路218的至少部分的实施例。可选地，图像传感器芯片1300包括在输出接口1220输出标记图像142之前缓存标记图像142的一个或多个行或缓存标记图像142的全帧的输出缓存器1370。输出缓存器1370形成第二处理电路218的至少部分的实施例。
图像传感器芯片1300还可以包括控制通过输入接口1210与ISP芯片(例如ISP芯片120)的通信的片间通信控制器1310。
图14示出用于在模拟图像中编码签名的一个示例性图像传感器芯片1400。图像传感器芯片1400是图像传感器110的实施例。图像传感器芯片1400可以执行没有步骤510的方法500。图像传感器芯片1400还可以处理方法1100的步骤1110的实施例。
图像传感器芯片1400与图像传感器芯片1300相似，除了数字时间标记产生器1350被模拟时间标记产生器1450代替。模拟时间标记产生器1450被布置在模数转换器1330的上游，并在模拟图像1380中编码签名144以产生模拟标记图像1482。模数转换器1330将模拟标记图像1482转换成数字形式的标记图像142。
若被包括，模拟处理电路1320形成第一处理电路216的实施例。模数转换器1330，可选地与数字处理电路1340、图像传感器处理器1360和输出缓存器1370的一个或多个配合，形成第二处理电路218的实施例。
图15示出配置用于图像数据路径延迟测量的一个示例性ISP芯片1500。ISP芯片1500是ISP芯片120的实施例并可以执行方法300和1100的每个的部分。除了示于图1和图2用于ISP芯片120的元件之外，ISP芯片1500包括输入接口1510、命令输出接口1570和数据输出接口1550。输入接口1510从图像传感器芯片(例如，图像传感器芯片110)接收标记图像142。命令输出接口1570输出时间标记命令130至图像传感器芯片(例如，图像传感器芯片110)。数据输出接口1550输出输出数据160并可选地输出图像数据路径延迟150。
ISP芯片1500可以包括控制通过命令输出接口1570的时间标记命令130的通信的片间通信控制器1560。
ISP芯片1500可以包括缓存通过输入接口1510从图像传感器芯片(例如，图像传感器芯片110)接收的标记图像142的一个或多个行或标记图像142的全帧的输入缓存器1520。输入缓存器1520是处理电路224的至少部分的实施例。
在实施例中，ISP芯片1500用于处理数字标记图像142。在此实施例中，ISP芯片1500可以包括在将数字标记图像142传送至数据路径延迟测量模块122之前处理数字标记图像142的数字处理电路1530。数字处理电路1530是处理电路224的至少部分的实施例。此外在此实施例中，ISP芯片1500可以包括处理从数据路径延迟测量模块122接收的数字标记图像142的数字处理电路1540。数字处理电路1540是处理电路224的至少部分的实施例。数字处理电路1540可以包括图像清理模块226。在不脱离其范围的情况下，ISP芯片1500可以在ISP芯片120内的图像数据路径中的其余位置并在数据路径延迟测量模块122的下游实施图像清理模块226。
图16示出具有与单个ISP芯片1620通信地耦接的多个图像传感器芯片110的一个示例性多传感器成像系统1600。ISP芯片1620是ISP芯片120的实施例。多传感器成像系统1600具有集成的图像数据路径延迟测量功能并能够估计图像传感器芯片110的每个的图像捕获和ISP芯片1620的处理之间的图像数据路径延迟。多传感器成像系统1600是包括附加的图像传感器芯片110的成像系统100的实施例，其中，ISP芯片1620处理来自多个图像传感器芯片110的每一个的标记图像142。
ISP芯片1620实施数据路径延迟测量模块1622，其是数据路径延迟测量模块122的实施例。数据路径延迟测量模块1622用于产生一个或多个时间标记命令130以用于每个图像传感器芯片110。数据路径延迟测量模块1622还用于识别从每个图像传感器芯片110接收的一个或多个标记图像142中的签名144，以确定与每个图像传感器110相关的图像数据路径延迟150。
例如，ISP芯片1620可以与实施ISP芯片1500相似的方式实施，以处理数字形式的标记图像142。
可选地，多传感器成像系统1600包括中间处理电路1670。中间处理电路1670是中间处理电路270的实施例，中间处理电路1670用于从图像传感器芯片110的每个接收标记图像142。在一个示例中，中间处理电路1670包括一个或多个用于缓存标记图像142的缓存器。
在一些实施例中，ISP芯片1620包括处理电路1626。处理电路1626是处理电路126的实施例，处理电路1626用于处理由多个图像传感器芯片110产生的标记图像142。例如，在一个这样的实施例中，处理电路1626能够将来自从不同的图像传感器芯片110接收的标记图像142的图像数据连接在一起，以产生代表比使用单个图像传感器芯片110可以达到的更大的视场的复合图像数据。处理电路1626可以包括图像清理模块226。在不脱离其范围的情况下，ISP芯片1620可以在ISP芯片1620内的图像数据路径中的其余位置并在数据路径延迟测量模块1622的下游实施图像清理模块226。
在多传感器成像系统1600中，图像传感器芯片110的一个或多个的每个可以被实施为图像传感器芯片1300或图像传感器芯片1400。所有的图像传感器芯片110不必须相同。
图17示出用于同步由包括与多个图像传感器芯片通信地耦接的单个ISP芯片的多传感器成像系统中实施的多个图像传感器芯片产生的图像流的一个示例性方法1700。方法1700是方法300的实施例，能够对于多个图像传感器芯片确定图像数据路径延迟以同步由多个图像传感器芯片分别产生的图像流。方法1700可以由多传感器成像系统1600执行。
在步骤1710中，方法1700对于多个图像传感器芯片的每个执行方法300的步骤310、320和330并且可选地执行步骤302、304和/或330，以产生多个标记图像并将标记图像传送至单个ISP芯片。在步骤1710的一个示例中，多传感器成像系统1600对于多个图像传感器芯片110的每个执行方法300的步骤310、320和330并且可选地执行步骤302、304和/或330，以产生多个标记图像142并将多个标记图像142传送至ISP芯片120。
可选的步骤1720在ISP芯片的片上处理标记图像的一个或多个。在步骤1720的一个示例中，处理电路224处理从多个图像传感器芯片110的至少一个子集接收的一个或多个标记图像142。
在步骤1730中，ISP芯片对于在步骤1710中产生的标记图像的至少一些执行方法300的步骤360和370，以对于多个图像传感器芯片的每个估计图像数据路径延迟。在步骤1730的一个示例中，数据路径延迟测量模块1622执行步骤360和370以对于每个图像传感器芯片110估计图像数据路径延迟150。
在步骤1740中，ISP芯片使用在步骤1730中估计的图像数据路径延迟以同步分别由多个图像传感器芯片产生的多个标记图像的流。步骤1740根据估计的图像数据路径延迟同步标记图像的流，以至少部分地校正由不同图像传感器芯片之间的图像数据路径延迟的差异产生的伪影。在步骤1740的一个示例中，处理电路1626使用对于每个图像传感器芯片110估计的图像数据路径延迟150同步分别由多个图像传感器芯片110产生的多个标记图像142的流。
在可选的步骤1750中，ISP芯片将同步的图像流连接在一起以形成具有由多个图像传感器芯片的每个产生的图像数据的单一复合图像流。在一个实施中，单一图像复合流代表多个图像传感器芯片的所有视场的组合。步骤1750可以由处理电路1626执行。在不脱离其范围的情况下，方法1750可以包括移除图像流的至少一个的一些空间部分。例如，步骤1750可以从用于产生单一复合图像流的每个标记图像中移除时间标记列。步骤1750还可以对标记图像的一个或多个仅使用标记图像的空间子集。在步骤1750的一个示例中，处理电路1626将分别由多个图像传感器芯片110产生的多个标记图像142的同步的流连接在一起。图像清理模块226可以在连接之前从标记图像142的同步的流中移除时间标记列。
在可选的步骤1760中，ISP芯片执行单一复合图像流的其他处理，例如目标识别。步骤1760可以由处理电路1626执行。
在可选的步骤1770中，ISP芯片执行同步的图像流的其他处理，例如目标识别。步骤1770可以由处理电路1626执行。
图18示出用于产生车辆1890的周围环境的影像的一个示例性的汽车多传感器成像系统1800。成像系统1800实施具有被安装在车辆1890的不同位置处以成像不同的各自的视场的多个图像传感器芯片110的多传感器成像系统1600。为说明的清楚，图18中未示出图像传感器芯片110和ISP芯片1620之间的连接。在实施例中，成像系统1800包括显示由图像传感器芯片110的一个或多个捕获的图像的显示器1810。
成像系统1800可以执行方法1700以产生(a)具有分别来自两个或更多个图像传感器芯片的影像的两个或更多个同步的图像流，(b)包括来自两个或更多个图像传感器芯片110的影像的单一复合图像流。成像系统1800可以在显示器1810上显示同步的图像流或单一复合图像流。可选地或与其组合地，成像系统1800可以执行方法1700的步骤1760和/或步骤1770，例如以识别由图像传感器芯片110捕获的图像中的目标(例如近处的障碍、人行道或其它车辆)。
成像系统1800容易适应需要几个不同视场的成像的其他应用。例如，成像系统1800可以被实施为监控成像系统。
特征组合
在不脱离其范围的情况下，上述的和下面所请求的特征可以以各种方式进行组合。例如，应理解，在此描述的具有数据路径延迟测量的一个成像系统或方法的方面可以与在此描述的具有数据路径延迟测量的另一个成像系统或方法的特征进行结合或交换。以下示例示出上述的实施例的一些可能的、非限制性的组合。应该清楚的是，在不脱离此发明的精神和范围的情况下，在此可以对系统和方法做出许多其他的变化和修改：
(A1)一种具有数据路径延迟测量的成像系统，可以包括：(a)第一图像传感器芯片，第一图像传感器芯片包括(i)用于响应入射到像素阵列上的光产生第一图像的像素阵列和(ii)一经接收到时间标记命令在第一图像中编码签名以产生具有签名和来自第一图像的图像数据的第一标记图像的时间标记产生器，以及(b)图像信号处理芯片，图像信号处理芯片用于处理第一标记图像，其中图像信号处理芯片包括用于产生时间标记命令并基于(a)所述产生时间标记命令和(b)作为第一标记图像的部分的签名的接收之间的时间延迟估计从像素阵列至数据路径延迟测量模块之间的图像数据路径延迟的数据路径延迟测量模块。
(A2)在如(A1)表示的成像系统中，图像信号处理芯片还可以包括图像处理电路，图像处理电路用于在将标记图像传送至数据路径延迟测量模块之前处理标记图像。
(A3)如(A1)和(A2)表示的成像系统的一个或两个还可以包括第二图像传感器芯片，第二图像传感器芯片包括(a)用于响应入射到第二像素阵列上的光产生第二图像的第二像素阵列，以及(b)用于一经接收到第二时间标记命令在第二图像中编码第二签名以产生具有第二签名和来自第二图像的图像数据的第二标记图像的第二时间标记产生器，其中数据路径延迟测量模块还用于产生第二时间标记命令并基于(i)第二时间标记命令的产生和(ii)作为第二标记图像的部分的第二签名的接收之间的时间延迟估计从第二像素阵列至数据路径延迟测量模块的第二图像数据路径延迟。
(A4)在如(A3)表示的成像系统中，图像信号处理芯片还可以包括同步模块，同步模块用于基于(a)数据路径延迟测量模块对至少一个第一标记图像的第一图像数据路径延迟的至少一个测量和(b)数据路径延迟测量模块对至少一个第二标记图像的第二图像数据路径延迟的至少一个测量，将从第一图像传感器芯片接收的第一标记图像的流与从第二图像传感器芯片接收的第二标记图像的流同步。
(A5)在如(A1)至(A4)表示的成像系统的任一个中，第一时间标记产生器可以用于顺序地处理第一图像的行，并在接收时间标记命令之后时间标记产生器达到行的任一个的时间标记列的第一时间，在第一标记图像的时间标记列中编码签名。
(A6)在如(A1)至(A5)表示的成像系统的任一个中，第一图像传感器芯片和图像信号处理芯片可以用于顺序地将第一标记图像的行从第一图像传感器芯片传送至图像信号处理芯片。
(A7)在如(A1)至(A6)表示的成像系统的任一个中，第一时间标记产生器可以用于(a)在时间标记列中产生二值化图案，其中二值化图案是每N行在两个强度值之间切换的规律图案，除非时间标记产生器编码签名，其中N是正整数，以及(b)将签名编码为从规律图案的两个强度值的当前一个至规律图案的两个强度值的另一个的切换。
(A8)在如(A7)表示的成像系统中，数据路径延迟测量模块可以用于识别时间标记列中的签名为与所述规律图案的偏离。
(A9)在如(A7)和(A8)表示的成像系统的一个或两个中，图像信号处理芯片还可以包括图像清理模块，图像清理模块用于从第一标记图像移除时间标记列。
(B1)一种用于测量成像系统的图像数据路径延迟的方法，可以包括：(a)在第一时间，将第一时间标记命令从图像信号处理芯片传送至第一图像传感器芯片，(b)一经在第一图像传感器芯片处接收到第一时间标记命令，在由第一图像传感器芯片上的第一像素阵列捕获的第一图像中编码第一签名以产生具有第一签名和来自第一图像的图像数据的第一标记图像，(c)将第一标记图像从图像传感器芯片传送至图像信号处理芯片，(d)使用图像信号处理芯片的片上的数据路径延迟测量模块识别第一标记图像中的第一签名，以及(e)基于从第一时间至识别第一标记图像中的第一签名的时间的时间跨度估计从第一图像被第一像素阵列的捕获至数据路径延迟测量模块的第一图像数据路径延迟。
(B2)如(B1)表示的方法还可以包括，在传送第一标记图像的步骤之后和在识别第一签名的步骤之前，在图像信号处理芯片的片上处理第一标记图像。
(B3)在如(B1)和(B2)表示的方法的一个或两个中，编码的步骤还可以包括使用时间标记产生器顺序地处理第一图像的行，以及在接收第一时间标记命令之后时间标记产生器达到任一行的时间标记列的第一时间，在第一标记图像的时间标记列中编码第一签名。
(B4)在如(B3)表示的方法中，顺序地处理和在时间标记列中编码第一签名的步骤可以包括：(a)在时间标记列中产生二值化图案，其中二值化图案是每N行在两个强度值之间切换的规律图案，除非时间标记产生器编码第一签名，其中N是正整数，以及(b)将第一签名编码为从规律图案的两个强度值的当前一个至规律图案的两个强度值的另一个的切换。
(B5)在如(B4)表示的方法中，识别的步骤可以包括识别时间标记列中的签名为与规律图案的偏离。
(B6)在如(B4)和(B5)表示的方法的一个或两个中，在编码的步骤中，两个强度值可以是黑色和白色。
(B7)在如(B3)至(B6)表示的方法的任一个中，顺序地处理和在时间标记列中编码第一签名的步骤可以包括将时间标记列添加至第一图像并使其与第一图像的现有列相邻。
(B8)在如(B3)至(B6)表示的方法的任一个中，顺序地处理和在时间标记列中编码第一签名的步骤可以包括用时间标记列代替第一图像的现有列。
(B9)如(B1)至(B8)表示的方法的任一个还可以包括(a)在第三时间，将第二时间标记命令从图像信号处理芯片传送至第二图像传感器芯片，(b)一经在第二图像传感器芯片处接收到第二时间标记命令，在由第二图像传感器芯片上的第二像素阵列捕获的第二图像中编码第二签名以产生具有第二签名和来自第二图像的图像数据的第二标记图像，(c)将第二标记图像传送至图像信号处理芯片，(d)在第四时间并在图像信号处理芯片的片上，使用数据路径延迟测量模块识别第二标记图像中的第二签名，以及(e)基于从第三时间至第四时间的时间跨度估计从第二像素阵列至数据路径延迟测量模块的第二图像数据路径延迟。
(B10)如(B9)表示的方法还可以包括基于(a)在估计第一图像数据路径延迟的步骤中确定的对于至少一个第一标记图像的至少一个第一图像数据路径延迟和(b)在估计第二图像数据路径延迟的步骤中确定的对于至少一个第二标记图像的至少一个第二图像数据路径延迟，将从第一图像传感器芯片接收的第一标记图像的流与从第二图像传感器芯片接收的第二标记图像的流同步。
(C1)一种用于图像数据路径延迟测量的图像传感器芯片，可以包括：(a)像素阵列，像素阵列用于响应入射到像素阵列上的光产生第一图像，(b)输入接口，输入接口用于从图像传感器芯片外部的电路接收时间标记命令，(c)时间标记产生器，时间标记产生器用于一经接收到时间标记命令在第一图像中编码签名以产生具有签名和来自第一图像的图像数据的标记图像，以及(d)输出接口，输出接口用于将标记图像输出至图像传感器芯片外部的图像处理系统。
(C2)在如(C1)表示的图像传感器芯片中，时间标记产生器可以用于顺序地处理第一图像的行并在接收时间标记命令之后时间标记产生器达到任一行的时间标记列的第一时间，在标记图像的时间标记列中编码签名。
(C3)在如(C1)和(C2)表示的图像传感器芯片的一个或两个中，时间标记产生器可以用于(a)在时间标记列中产生二值化图案，其中二值化图案是每N行在两个强度值之间切换的规律图案，除非时间标记产生器编码签名，其中N是正整数，以及(b)将签名编码为从规律图案的两个强度值的当前一个至规律图案的两个强度值的另一个的切换，使得签名在时间标记列中表现为与规律图案的偏离。
(C4)在如(C3)表示的图像传感器芯片中，两个强度值可以是黑色和白色。
(C5)如(C1)至(C4)表示的图像传感器芯片的任一个还可以包括读出电路，读出电路用于从像素阵列中读出作为模拟图像的第一图像。
(C6)如(C5)表示的图像传感器芯片还可以包括模数转换器，模数转换器用于在将数字图像形式的第一图像传送至时间标记产生器之前，将第一图像从模拟图像转换为数字图像。
(C7)在如(C5)表示的图像传感器芯片中，时间标记产生器可以用于接收模拟形式的第一图像并产生模拟形式的标记图像。
(C8)如(C7)表示的图像传感器芯片还可以包括模数转换器，模数转换器用于在将数字形式的标记图像传送至输出接口之前，将标记图像从模拟形式转换为数字形式。
在不脱离其范围的情况下，可以对上述系统和方法做出改变。因此，应该注意的是，在上述描述中包含的或在附图中示出的方式，应该被理解为说明性的且不具有限制意义。所附权利要求旨在覆盖在此描述的所有通用和特定特征，以及本方法和本系统的范围的在语言上的所有声明应被认为落入其间。

Claims (17)

1.一种具有图像数据路径延迟测量的成像系统，包括：
第一图像传感器芯片，包括：
像素阵列，用于响应入射到所述像素阵列上的光产生第一图像，以及
时间标记产生器，用于一经接收到时间标记命令，在所述第一图像中编码签名以产生具有所述签名和来自所述第一图像的图像数据的第一标记图像，所述时间标记产生器用于顺序地处理所述第一图像的行，并在接收所述时间标记命令之后所述时间标记产生器达到所述行的任一个的时间标记列的第一时间，在所述第一标记图像的所述时间标记列中编码签名，所述时间标记产生器用于：
(a)在所述时间标记列中产生二值化图案，所述二值化图案是每N行在两个强度值之间切换的规律图案，除非时间标记产生器编码所述签名，其中N是正整数，以及
(b)将所述签名编码为从所述规律图案的两个强度值的当前一个至所述规律图案的两个强度值的另一个的切换；以及
图像信号处理芯片，用于处理所述第一标记图像，所述图像信号处理芯片包括：
数据路径延迟测量模块，用于产生所述时间标记命令，并基于产生所述时间标记命令和作为所述第一标记图像的部分的所述签名的接收之间的时间延迟估计从所述像素阵列至所述数据路径延迟测量模块的图像数据路径延迟，所述数据路径延迟测量模块用于识别所述时间标记列中的签名为与所述规律图案的偏离。
2.根据权利要求1所述的成像系统，其中，所述图像信号处理芯片还包括图像处理电路，所述图像处理电路用于在将标记图像传送至所述数据路径延迟测量模块之前处理所述标记图像。
3.根据权利要求1所述的成像系统，还包括：
第二图像传感器芯片，包括：
第二像素阵列，用于响应入射到所述第二像素阵列上的光产生第二图像，以及
第二时间标记产生器，用于一经接收到第二时间标记命令，在所述第二图像中编码第二签名以产生具有所述第二签名和来自所述第二图像的图像数据的第二标记图像；
所述数据路径延迟测量模块还用于产生所述第二时间标记命令，并基于产生所述第二时间标记命令和作为所述第二标记图像的部分的所述第二签名的接收之间的时间延迟估计从所述第二像素阵列至所述数据路径延迟测量模块的第二图像数据路径延迟。
4.根据权利要求3所述的成像系统，其中，所述图像信号处理芯片还包括同步模块，所述同步模块用于基于所述数据路径延迟测量模块对至少一个第一标记图像的第一图像数据路径延迟的至少一个测量和所述数据路径延迟测量模块对至少一个第二标记图像的第二图像数据路径延迟的至少一个测量，将从所述第一图像传感器芯片接收的第一标记图像的流与从所述第二图像传感器芯片接收的第二标记图像的流同步。
5.根据权利要求1所述的成像系统，其中，所述第一图像传感器芯片和所述图像信号处理芯片用于顺序地将所述第一标记图像的行从所述第一图像传感器芯片传送至所述图像信号处理芯片。
6.根据权利要求1所述的成像系统，其中，所述图像信号处理芯片还包括图像清理模块，所述图像清理模块用于从所述第一标记图像移除所述时间标记列。
7.一种用于测量成像系统的图像数据路径延迟的方法，包括：
在第一时间，将第一时间标记命令从图像信号处理芯片传送至第一图像传感器芯片；
一经在所述第一图像传感器芯片处接收到所述第一时间标记命令，在由所述第一图像传感器芯片上的第一像素阵列捕获的第一图像中编码第一签名以产生具有所述第一签名和来自所述第一图像的图像数据的第一标记图像，所述编码包括使用时间标记产生器顺序地处理所述第一图像的行以及在接收所述第一时间标记命令之后所述时间标记产生器达到所述行的任一个的时间标记列的第一时间，在所述第一标记图像的所述时间标记列中编码所述第一签名，所述使用时间标记产生器包括：
(a)在所述时间标记列中产生二值化图案，所述二值化图案是每N行在两个强度值之间切换的规律图案，除非所述时间标记产生器编码所述第一签名，其中N是正整数，以及
(b)将所述第一签名编码为从所述规律图案的两个强度值的当前一个至所述规律图案的两个强度值的另一个的切换；
将所述第一标记图像从图像传感器芯片传送至所述图像信号处理芯片；
使用所述图像信号处理芯片的片上的数据路径延迟测量模块识别所述时间标记列中的所述第一签名为与所述规律图案的偏离；以及
基于从所述第一时间至所述第一签名被识别的时间的时间跨度估计从所述第一图像被所述第一像素阵列的捕获至所述数据路径延迟测量模块的第一图像数据路径延迟。
8.根据权利要求7所述的方法，还包括，在传送所述第一标记图像的步骤之后和在识别所述第一签名的步骤之前，在所述图像信号处理芯片的片上处理所述第一标记图像。
9.根据权利要求7所述的方法，其中，在编码的步骤中，所述两个强度值是黑色和白色。
10.根据权利要求7所述的方法，其中，顺序地处理和在所述时间标记列中编码所述第一签名的步骤包括将所述时间标记列添加至所述第一图像并使其与所述第一图像的现有列相邻。
11.根据权利要求7所述的方法，其中，顺序地处理和在所述时间标记列中编码所述第一签名的步骤包括用所述时间标记列代替所述第一图像的现有列。
12.根据权利要求7所述的方法，还包括：
在第三时间，将第二时间标记命令从所述图像信号处理芯片传送至第二图像传感器芯片；
一经在所述第二图像传感器芯片处接收到所述第二时间标记命令，在由所述第二图像传感器芯片上的第二像素阵列捕获的第二图像中编码第二签名以产生具有所述第二签名和来自所述第二图像的图像数据的第二标记图像；
将所述第二标记图像传送至所述图像信号处理芯片；
在第四时间并在所述图像信号处理芯片的片上，使用数据路径延迟测量模块识别所述第二标记图像中的所述第二签名；以及
基于从所述第三时间至所述第四时间的时间跨度估计从所述第二像素阵列至所述数据路径延迟测量模块的第二图像数据路径延迟。
13.根据权利要求12所述的方法，还包括基于在估计第一图像数据路径延迟的步骤中确定的对于至少一个所述第一标记图像的至少一个第一图像数据路径延迟和在估计第二图像数据路径延迟的步骤中确定的对于至少一个所述第二标记图像的至少一个第二图像数据路径延迟，将从所述第一图像传感器芯片接收的所述第一标记图像的流与从所述第二图像传感器芯片接收的所述第二标记图像的流同步。
14.一种用于图像数据路径延迟测量的图像传感器芯片，包括：
像素阵列，用于响应入射到所述像素阵列上的光产生第一图像；
输入接口，用于从所述图像传感器芯片外部的电路接收时间标记命令；
时间标记产生器，用于一经接收到所述时间标记命令，在所述第一图像中编码签名以产生具有所述签名和来自所述第一图像的图像数据的标记图像，所述时间标记产生器用于：
(a)顺序地处理所述第一图像的行，并在接收所述时间标记命令之后所述时间标记产生器达到所述行的任一个的时间标记列的第一时间，在所述标记图像的所述时间标记列中编码所述签名，
(b)在所述时间标记列中产生二值化图案，所述二值化图案是每N行在两个强度值之间切换的规律图案，除非所述时间标记产生器编码所述签名，其中N是正整数，以及
(c)将所述签名编码为从所述规律图案的两个强度值的当前一个至所述规律图案的两个强度值的另一个的切换，使得所述签名在所述时间标记列中表现为与所述规律图案的偏离；以及
输出接口，用于将所述标记图像输出至所述图像传感器芯片外部的图像处理系统。
15.根据权利要求14所述的图像传感器芯片，其中，所述两个强度值是黑色和白色。
16.根据权利要求14所述的图像传感器芯片，还包括：
读出电路，用于从所述像素阵列中读出作为模拟图像的第一图像；以及
模数转换器，用于在将数字图像形式的第一图像传送至所述时间标记产生器之前，将所述第一图像从模拟图像转换为数字图像。
17.根据权利要求14所述的图像传感器芯片，其中，所述时间标记产生器用于接收模拟形式的第一图像并产生模拟形式的标记图像，所述图像传感器芯片还包括：
模数转换器，用于在将数字形式的标记图像传送至所述输出接口之前，将标记图像从模拟形式转换为数字形式。
CN201611224893.3A 2016-01-13 2016-12-27 具有图像数据路径延迟测量的成像系统和方法 Active CN106982369B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/994,731 US10225468B2 (en) 2016-01-13 2016-01-13 Imaging systems and methods with image data path delay measurement
US14/994,731 2016-01-13

Publications (2)

Publication Number Publication Date
CN106982369A CN106982369A (zh) 2017-07-25
CN106982369B true CN106982369B (zh) 2020-06-16

Family

ID=59276384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611224893.3A Active CN106982369B (zh) 2016-01-13 2016-12-27 具有图像数据路径延迟测量的成像系统和方法

Country Status (3)

Country Link
US (1) US10225468B2 (zh)
CN (1) CN106982369B (zh)
TW (1) TWI636681B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11381757B2 (en) * 2019-06-13 2022-07-05 Motherson Innovations Company Limited Imaging system and method
US10225468B2 (en) * 2016-01-13 2019-03-05 Omnivision Technologies, Inc. Imaging systems and methods with image data path delay measurement
KR102441054B1 (ko) * 2016-11-23 2022-09-06 현대자동차주식회사 차량의 경로 제어 장치 및 방법
US10366674B1 (en) 2016-12-27 2019-07-30 Facebook Technologies, Llc Display calibration in electronic displays
KR102449834B1 (ko) * 2017-02-17 2022-09-29 스미도모쥬기가이고교 가부시키가이샤 작업기계용 주변감시 시스템
CN107770560B (zh) * 2017-11-03 2019-10-25 苏州科达科技股份有限公司 时间标记识读方法、装置、电子设备及存储介质
US20220294996A1 (en) * 2019-06-13 2022-09-15 Motherson Innovations Company Limited Imaging system and method
CN115720250B (zh) * 2022-11-16 2024-11-26 北京澜景科技有限公司 一种应用于增强现实的同步方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11348343A (ja) * 1998-06-03 1999-12-21 Canon Inc 画像形成方法および装置
WO2005099423A2 (en) * 2004-04-16 2005-10-27 Aman James A Automatic event videoing, tracking and content generation system
JP4183156B2 (ja) * 2000-03-03 2008-11-19 株式会社リコー 画像形成装置
JP2001318329A (ja) * 2000-05-11 2001-11-16 Noritsu Koki Co Ltd 光走査装置およびこれを備えた写真処理装置
JP2005035235A (ja) * 2003-07-18 2005-02-10 Noritsu Koki Co Ltd 画像露光装置
US7924298B2 (en) * 2004-09-03 2011-04-12 Sharp Kabushiki Kaisha Display control method, driving device for display device, display device, program, and storage medium
KR100664550B1 (ko) * 2005-11-02 2007-01-03 엠텍비젼 주식회사 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치
JP2008141692A (ja) 2006-12-05 2008-06-19 Ricoh Co Ltd 画像処理装置、タイムスタンプ付き画像データ作成方法、タイムスタンプ付き画像データ作成プログラム
US8724007B2 (en) * 2008-08-29 2014-05-13 Adobe Systems Incorporated Metadata-driven method and apparatus for multi-image processing
US8340453B1 (en) * 2008-08-29 2012-12-25 Adobe Systems Incorporated Metadata-driven method and apparatus for constraining solution space in image processing techniques
US8559014B2 (en) * 2009-09-25 2013-10-15 Hwan J. Jeong High-resolution, common-path interferometric imaging systems and methods
JP5424995B2 (ja) * 2010-06-24 2014-02-26 キヤノン株式会社 光走査装置及び画像形成装置
TWI451751B (zh) * 2010-10-29 2014-09-01 Silicon Motion Inc 立體影像擷取裝置以及其控制晶片
CN103839275B (zh) * 2014-03-27 2016-11-16 中国科学院遥感与数字地球研究所 高光谱图像的道路提取方法及装置
WO2016008647A1 (en) * 2014-07-16 2016-01-21 Asml Netherlands B.V. Lithographic apparatus, device manufacturing method and associated data processing apparatus and computer program product
US9398422B2 (en) * 2014-11-05 2016-07-19 Beco, Inc. Systems, methods and apparatus for light enabled indoor positioning and reporting
DE102015205738A1 (de) * 2015-03-30 2016-10-06 Carl Zeiss Industrielle Messtechnik Gmbh Bewegungsmesssystem einer Maschine und Verfahren zum Betreiben des Bewegungsmesssystems
US10694249B2 (en) * 2015-09-09 2020-06-23 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
US10225468B2 (en) * 2016-01-13 2019-03-05 Omnivision Technologies, Inc. Imaging systems and methods with image data path delay measurement

Also Published As

Publication number Publication date
CN106982369A (zh) 2017-07-25
US10225468B2 (en) 2019-03-05
TW201733316A (zh) 2017-09-16
TWI636681B (zh) 2018-09-21
US20170201681A1 (en) 2017-07-13

Similar Documents

Publication Publication Date Title
CN106982369B (zh) 具有图像数据路径延迟测量的成像系统和方法
EP2589226B1 (en) Image capture using luminance and chrominance sensors
JP3989560B2 (ja) リニアセンサ撮像方法および装置
KR101098169B1 (ko) 이미지 프로세싱 장치, 이미지 프로세싱 방법, 및 컴퓨터 판독가능 매체
JP2018179911A (ja) 測距装置及び距離情報取得方法
US11109016B2 (en) Methods and apparatus for error detection in an imaging system
KR101510107B1 (ko) 촬상 장치 및 촬상 방법
KR101733309B1 (ko) 4 칼라 이미지 센서를 위해 듀얼 isp를 갖는 카메라 시스템
JP2011239067A (ja) 画像処理装置
EP3979637A1 (en) Calibration method
KR20130082045A (ko) 이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치
JP2018191053A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN112313938B (zh) 摄像装置、图像校正方法以及计算机可读记录介质
CN113170044B (zh) 接收装置和发送装置
KR20200139321A (ko) 이미지 센서 및 이를 포함하는 이미지 처리 시스템
JP6217225B2 (ja) 画像照合装置、画像照合方法及びプログラム
CN114245983A (zh) 图像处理装置、成像装置、系统、图像处理方法和程序
JP4380665B2 (ja) 画像取込装置並びに画像取込方法
JP2000217039A (ja) 点欠陥検出方法および点欠陥画素値補正方法
JP2007214933A (ja) カラー撮像装置およびその制御方法
KR20220051336A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
CN102244729A (zh) 摄像设备及其控制方法
JP2008058279A (ja) 距離画像生成装置、距離画像生成方法及びプログラム
TWI852002B (zh) 為光學相機通訊校正幀的方法和電子裝置
US11910110B2 (en) Transfer control device, image processing device, transfer control method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant