[go: up one dir, main page]

CN112956189B - 用于增强的图像传感器定时的方法和系统 - Google Patents

用于增强的图像传感器定时的方法和系统 Download PDF

Info

Publication number
CN112956189B
CN112956189B CN201980072709.3A CN201980072709A CN112956189B CN 112956189 B CN112956189 B CN 112956189B CN 201980072709 A CN201980072709 A CN 201980072709A CN 112956189 B CN112956189 B CN 112956189B
Authority
CN
China
Prior art keywords
pixels
pixel
image sensor
row
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980072709.3A
Other languages
English (en)
Other versions
CN112956189A (zh
Inventor
D·C·沙弗
J·M·迪卡洛
I·E·麦克道尔
M·J·特雷乔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Priority to CN202311384841.2A priority Critical patent/CN117459845A/zh
Publication of CN112956189A publication Critical patent/CN112956189A/zh
Application granted granted Critical
Publication of CN112956189B publication Critical patent/CN112956189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/706—Pixels for exposure or ambient light measuring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795—Circuitry for generating timing or clock signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Endoscopes (AREA)
  • Color Television Image Signal Generators (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

一种立体图像捕获设备，包括第一图像传感器、第二图像传感器、第一帧定时器和第二帧定时器。第一帧定时器和第二帧定时器是不同的帧定时器。第一图像传感器包括第一多行像素。第二图像传感器包括第二多行像素。第一图像传感器和第二图像传感器可以是单独的设备或集成电路中的传感器区的不同区域。第一帧定时器耦合到第一图像传感器以向第一图像传感器提供图像捕获时序信号。第二帧定时器耦合到第二图像传感器以向第二图像传感器提供图像捕获时序信号。

Description

用于增强的图像传感器定时的方法和系统
相关申请
本申请要求于2018年9月18日提交的美国临时专利申请No.62/732，718的优先权，其标题为“METHOD AND SYSTEM FOR ENHANCED IMAGE SENSOR TIMING”，其全部内容通过引用并入本文。
技术领域
本发明的各方面涉及医疗设备成像，更具体地涉及正常成像和高级成像的组合。
背景技术
图像捕获设备用于微创外科手术。各种成像模式-可见场景、荧光场景、红外场景、高光谱场景-均使用图像捕获设备实现。然而，每个成像模态利用一个或多个参数，例如曝光时间，其不同于其它成像模态中的对应的一个或多个参数。这使得为一个成像模式配置的图像传感器难以用于不同的成像模式。
当使用立体图像捕获系统并且图像传感器已被优化以捕获可见的颜色场景时，将单个图像传感器用于不同成像模式的问题进一步复杂化。众所周知，图像传感器包括随时间推移捕获和集成光的像素。为了最大化可供像素使用的芯片面积，图像传感器上的其它电路被保持最小。
例如，在立体互补金属氧化物半导体(CMOS)传感器集成电路中，传感器区被划分为两个区域，第一区域包括捕获左场景的像素，第二区域包括捕获右场景的像素。传感器区的两个区域具有按行和列布置的像素。存在与传感器区的每一行相关联的重置线和行选择线，以及与传感器区的每一行的每一像素相关联的读取线。为了最小化集成电路上所需的逻辑，使用公共帧定时器逻辑电路来驱动两个传感器区的重置线和行选择线。
图1是利用卷帘快门(rolling shutter)捕获像素数据帧的CMOS传感器集成电路的时序图。对于立体图像捕获设备的两个通道，时序图是相同的。在图1中，捕获第N个帧101，接着是N+1帧102和N+2帧103。N+1帧102有时被称为帧102。
在该示例中，考虑N+1帧102的线零的捕获(像素的一条线和一行像素是同一事物)。帧102中像素的每一条线的捕获与线零的捕获相同。类似地，以与帧102相同的方式捕获每个帧。并非同时捕获所有线，例如，图像捕获设备不具有在预定时间之后阻止光到达像素的机械快门。而是，按顺序读出每一行像素。对于帧102，这由对角线102_S表示。每个水平线右端处的圆点表示行选择线变为激活，以便可以在该行的读取线上读出行中每个像素的值。
为了允许像素在已知时间间隔内再次累积电荷，行0中每个像素的重置线上的信号变为激活并将每个像素设置为已知状态。
在激活的重置信号之后，像素累积对应于入射到像素上的光的电荷，直到行零选择线上的信号变为激活，然后存储在像素中的电荷在与该行相关联的读取线上可用。帧中的每一行都以相同的方式读取。在已经读取所有行时，将读取空行以允许定义帧。空行确保电源上的负载保持恒定，从而减少捕获帧中的噪声。
发明内容
通过在设备中加入增强的帧定时器来增强设备的视频查看能力，以增加可见场景和交替模态场景的灵敏度。例如，立体图像捕获设备包括第一图像传感器、第二图像传感器、第一帧定时器和第二帧定时器。第一帧定时器和第二帧定时器是不同的帧定时器。第一图像传感器包括第一多行像素。第二图像传感器包括第二多行像素。第一图像传感器和第二图像传感器可以是单独的设备或集成电路中的传感器区的不同区域。第一帧定时器耦合到第一图像传感器以向第一图像传感器提供图像捕获时序信号。第二帧定时器耦合到第二图像传感器以向第二图像传感器提供图像捕获时序信号。
双帧定时器提供许多优点。例如，一个帧定时器可以被配置为向图像传感器之一提供信号，使得图像传感器以正常视频速率捕获帧。另一帧定时器可以被配置为向另一图像传感器提供信号，使得另一图像传感器以低于正常视频速率的速率捕获场景。这使得另一图像传感器能够在更长的时间段内集成可用光，从而提高信噪比。具体地，在一个方面中，第一帧定时器被配置为提供图像捕获时序信号以在第一图像传感器中顺序捕获N个帧。第二帧定时器被配置为提供图像捕获时序信号，以针对在第一图像传感器中捕获的每N个帧在第二图像传感器中捕获一帧。因此，由第二图像传感器捕获的每一帧在比第一图像传感器更长的时间段内集成入射光。如果第一帧定时器被配置为针对第一曝光时间曝光第一多行像素的每一行，并且如果第二帧定时器被配置为针对第二曝光时间曝光第二多个激活像素的每一行，其中第一曝光时间不同于第二曝光时间，则这也可以实现。
通过多像素合并(multiple pixel binning)，还可以获得改进的信噪比。在这方面中，立体图像捕获设备的第一图像传感器包括例如在第一多行像素上的拜耳颜色滤波器阵列。第一图像传感器的第一多行像素的每个位置包括一组拜耳像素。第一成帧器定时器电路被配置为将行中的每组拜耳像素进行组合以形成单个输出像素。
在一个方面中，对于图像捕获传感器(有时称为图像传感器)中的一个，多像素合并与较长的曝光时间结合使用。例如，立体图像捕获设备的第一图像传感器包括在第一多行像素上的拜耳颜色滤波器阵列。第一图像传感器的第一多行像素的每个位置包括一组拜耳像素。第一成帧器定时器电路被配置为将行中的每组拜耳像素进行组合以形成单个输出像素。第一帧定时器还被配置为针对第一曝光时间曝光第一多个激活行像素中的每一行。第二帧定时器被配置为针对第二曝光时间曝光第二多行像素中的每一行。第一曝光时间与第二曝光时间不同。例如，当希望在外科手术部位的单色场景上叠加增强场景(例如荧光场景)时，这是有利的。
在一个方面中，第一多行像素包括多个像素单元。多个像素单元中的每个包括多个像素。在这方面中，第一图像传感器还包括可见光颜色滤波器阵列和替代光滤波器阵列，该可见光颜色滤波器阵列包括多个不同的单独的可见光颜色滤波器，该替代光滤波器阵列包括多个单独的替代光滤波器。多个单独的替代光滤波器中的一个单独的替代光滤波器覆盖多个像素单元的第一像素单元中的多个像素的第一组像素和多个像素单元的第二像素单元中的多个像素的第二组像素两者。第一像素单元与第二像素单元相邻。多个不同的单独的可见光颜色滤波器中的每个覆盖第一组像素和第二组像素中的不同像素。由多个不同的单独的颜色滤波器的单独的可见光颜色滤波器覆盖的像素不同于由单独的替代光滤波器覆盖的像素。
在这方面中，第一帧定时器被配置为同时重置由不同的单独的可见光颜色滤波器中的一个覆盖的第一像素单元和第二像素单元中的像素。帧定时器还被配置为同时读取由多个不同的单独的可见光颜色滤波器中的一个覆盖的第一像素单元的第一像素和由多个不同的单独的可见光颜色滤波器中的一个覆盖的第二像素单元的第二像素。
第一帧定时器还被配置为同时读取多个像素单元的第一像素单元中的多个像素的第一组像素中的第一像素和多个像素单元的第二像素单元中的多个像素的第二组像素中的第二像素。在这方面中，图像捕获设备被配置为将第一读取像素和第二读取像素合并。
在另一方面中，第一图像传感器还包括与多个替代光过滤像素单元交错的多个可见光颜色过滤单元。
在又一方面中，图像捕获设备包括图像传感器。图像传感器包括多行像素和可见光颜色滤波器阵列。可见光颜色滤波器阵列包括多个不同的单独的可见光颜色滤波器。多行像素包括多个像素单元。多个像素单元中的每个包括多个像素。像素单元的多个像素中的每个像素由多个不同的单独的可见光颜色滤波器中的不同的一个覆盖。帧定时器耦合到图像传感器以向图像传感器提供图像捕获时序信号。帧定时器被配置为组合像素单元的多个像素以形成单个输出像素。
在另一方面中，图像捕获设备包括具有多行像素、可见光颜色滤波器阵列和替代光滤波器阵列的图像传感器。多行像素包括多个像素单元。多个像素单元中的每个包括多个像素。可见光颜色滤波器阵列包括多个不同的单独的可见光颜色滤波器。替代光滤波器阵列包括多个单独的替代光滤波器。多个单独的替代光滤波器中的一个单独的替代光滤波器覆盖多个像素单元的第一像素单元中的多个像素的第一组像素和多个像素单元的第二像素单元中的多个像素的第二组像素两者。第一像素单元与第二像素单元相邻。多个不同的单独的可见光颜色滤波器中的每个覆盖第一组像素和第二组像素中的不同像素。由多个单独的可见光颜色滤波器中的单独的可见光颜色滤波器覆盖的像素不同于由单独的替代光滤波器覆盖的像素。
图像捕获设备还包括帧定时器，其耦合到图像传感器以向图像传感器提供图像捕获时序信号。例如，帧定时器被配置为同时重置由多个不同的单独的可见光颜色滤波器中的一个覆盖的第一像素单元和第二像素单元中的像素。帧定时器还被配置为同时读取由多个不同的单独的可见光颜色滤波器中的一个覆盖的第一像素单元的第一像素和由多个不同的单独的可见光颜色滤波器中的一个覆盖的第二像素单元的第二像素。
第一方法包括使用来自第一帧定时器的信号针对第一曝光时间曝光立体图像捕获设备的第一图像传感器的第一多行像素中的每一行。该方法还包括使用来自第二帧定时器的信号针对第二曝光时间曝光立体图像捕获设备的第二图像传感器的第二多行像素的每一行，其中第一曝光时间不同于第二曝光时间。
另一方法包括从图像传感器中的包括多个拜耳像素的位置输出单个输出像素。由帧定时器使用信号在该位置处组合多个拜耳像素以形成单个输出像素来进行输出。
附图说明
图1是用于使用卷帘快门捕获场景的时序图。
图2是包括增强的帧定时器的计算机辅助外科手术系统的图，该增强的帧定时器允许实现替代的卷帘快门图像捕获序列。
图3是计算机辅助外科手术系统的一部分的更详细的图，该计算机辅助外科手术系统包括立体图像捕获设备，该立体图像捕获设备的每个通道具有其自己的帧定时器。
图4是用于在图3的立体图像捕获设备中使用卷帘快门捕获具有不同曝光时间的场景的一个方面的时序图。
图5是用于在图3的立体图像捕获设备中使用卷帘快门捕获具有不同曝光时间的场景的一个方面的更详细时序图。
图6是示出在图3的立体图像捕获设备的一个通道中捕获N个帧，而在图3的立体图像捕获设备的另一通道中仅捕获单个帧的广义图。
图7是包括具有单个图像传感器和单个帧定时器的图像捕获设备的计算机辅助外科手术系统的一部分的更详细的图。
图8A是帧定时器和具有拜耳颜色滤波器阵列的图像传感器的像素阵列的一部分的图，该拜耳颜色滤波器阵列在像素阵列中的每个位置处包括一组拜耳像素，有时称为多个拜耳像素。
图8B是帧定时器和具有可见光颜色滤波器阵列和替代光滤波器阵列的图像传感器的像素阵列的一部分的图。
图8C是帧定时器和具有可见光颜色滤波器阵列和替代光滤波器阵列的图像传感器的像素阵列的一部分的另一示例的图。
图9A是用于在图8A的像素阵列中的位置处进行多像素合并的时序图。
图9B是用于图8B的图像捕获设备的时序图。
图9C是用于图8C的图像捕获设备的行0和行1的非合并像素读取和重置序列的时序图。
图9D是用于图8C的图像捕获设备的行0和行1的四路合并高光谱像素读取和重置序列的时序图。
图9E是用于图8C的图像捕获设备的行2和行3的非合并像素读取和重置序列的时序图。
图9F是用于图8C的图像捕获设备的行2和行3的四路合并高光谱像素读取和重置序列的时序图。
图10示出了使用具有双帧定时器逻辑电路和各种时序序列的图3的立体图像捕获设备可以获得的一些组合。
图11示出了使用图7的图像捕获设备可以实现的帧定时器时序序列的各种组合。
在附图中，元件的附图标记的第一个数字表示具有该元件首次出现的单个数字的附图号的附图。元件的附图标记的前两个数字表示具有该元件首次出现的双数字的附图号的附图。
具体实施方式
本发明的各方面加强了外科手术设备(例如计算机辅助外科手术系统，诸如加利福尼亚州Sunnyvale的Intuitive Surgical公司制造的da外科手术系统)的视频捕获能力和视频查看能力，其通过结合增强的帧定时器来增加用于在外科手术期间识别临床感兴趣的组织或其它方面的可见场景和交替模态场景两者的灵敏度来实现加强。(da是加利福尼亚州Sunnyvale的Intuitive Surgical公司的注册商标)。虽然本文使用计算机辅助外科手术系统作为示例，但本发明的各个方面可以与利用交替成像模态的任何设备或系统一起使用。
增强的帧定时器222(图2)利用新型像素控制序列，在一个方面中，这些像素控制序列以低开销在数字逻辑中实现。这些控制序列被设计为增强交替成像模式(高光谱、荧光、高动态范围等)的灵敏度。
图像捕获系统中典型的互补金属氧化物半导体(CMOS)传感器帧定时器使用一组状态机来控制图像传感器像素阵列中的重置、转移和行选择线上的信号。这些状态机通常输出一个简单的脉冲序列，从而允许快门宽度调整和场景翻转等操作。典型的帧定时器电路是围绕所使用的特定像素单元(例如，四路共享像素单元)设计的，但是对于传统成像用途，不允许访问低电平时序信号。典型的帧定时器电路仅允许用户从一组有限的参数中选择值，例如设置快门时间和行时间或帧速率，以及改变特定高动态范围(HDR)模式的时序。这里引用的四路共享像素单元允许许多交替时序序列，但是为典型消费者用途设计的传统帧定时器将这些共享像素单元视为非共享阵列，并且简单地按行和按列扫描像素。在一个方面中，图像捕获系统220的增强的帧定时器222包括增强的固定逻辑，其允许在图像传感器221中的重置、转移和行选择线上生成比先前CMOS传感器帧定时器可能的更多的脉冲序列。
在另一方面中，增强的帧定时器222用软帧定时器来实现，其中脉冲序列被下载到存储器(例如RAM块)，并且增强的帧定时器222读取脉冲序列以在图像传感器221中的重置、转移和行选择线上生成信号。这具有在释放包括帧定时器222的用于图像传感器221的硅之后可以添加新序列的优点。
因此，本发明的各方面在与图像传感器221相关联的增强的帧定时器222中提供了新的灵活性。这种灵活性允许将用于高级成像模式(高光谱、荧光等)的曝光与图像传感器221上的可见光成像中使用的曝光分开。这进而允许进行不同的折衷，例如对于高级成像数据降低帧速率，以改进灵敏度。
增强的帧定时器222改进高级成像性能的另一种方式是通过由单个滤波器元件覆盖的像素的片上合并(on-chip binning)。与数字域中的单独的采样和合并相比，片上合并可降低噪声。典型的图像传感器为单色传感器或拜耳模式合并像素。然而，可用于放置在图像传感器221上的高光谱滤波器比典型的图像传感器像素尺寸大。因此，使用增强的帧定时器222，选择像素单元以允许根据期望的滤波器像素尺寸而不仅仅是根据图像传感器221的像素尺寸来定制合并。
在立体图像传感器中，通常同步地读出图像传感器221上的两个激活区域，这使得所显示的三维视频中的伪影最小化。然而，当立体图像传感器用于组合白光成像和高级成像时，增强的帧定时器222允许在两个激活区域上进行不同的曝光，同时将捕获的像素数据组合到单个流上以进行传输。
增强的帧定时器222还通过用不同的滤波器材料覆盖图像传感器221的激活区域或立体图像传感器中的激活区域之一的不同行来实现更灵敏的高级成像；例如，一个激活区域被设置为用于可见成像，而另一个激活区域没有滤波器，用于荧光成像。
通常，需要同时获取高级成像数据和可见光场景。增强的帧定时器222利用用于将一个图像传感器的每种颜色或每行的不同曝光设置与传统视频成像交错的方法。用于高级成像模式的交替像素时序序列也可以用于高动态范围可见光成像；例如，通过以典型拜耳模式不同地曝光绿色像素。
最后，通过使用四路共享像素单元来实现以不同量曝光不同颜色的简单方法，用于实现高级成像的相同帧定时器增强可以应用于标准拜耳图案，以改进传统成像中的噪声性能。
图2是计算机辅助外科手术系统200(例如，da外科手术系统)的高级示意图。在该示例中，外科医生利用外科医生控制台214，使用机器人操纵臂213远程操纵内窥镜201。外科医生还可以操纵安装在其它机器人操纵臂上的外科手术器械。存在与计算机辅助外科手术系统200相关联的其它零件、电缆等，但未在图2中示出这些以避免削弱本公开。关于计算机辅助外科手术系统的更多信息可以在美国专利申请公开No.US 2008-0065105 A1(2007年6月13日申请；公开微创外科手术系统(Minimally Invasive Surgical System))和美国专利No.6331181(2001年12月18日申请；公开外科手术机器人工具、数据架构和使用(Surgical Robotic Tools,Data Architecture,and Use))中找到，两者均通过引用并入本文。
照射系统(未示出)耦合到内窥镜201或可替代地包括在内窥镜201内。在一个方面中，该照射系统提供白光照射或白光照射与交替成像模式照射(例如，高光谱照射)的组合。在一个方面中，该光的全部或部分耦合到内窥镜201中的至少一个照射路径。在另一方面中，照射源位于内窥镜201的远侧尖端处或其附近。在一个方面中，在外科手术过程期间可见白光照射和交替成像模式照射两者都是恒定的。在另一方面中，可见光照射在时间上是恒定的，但是交替成像模式照射的光谱随时间而改变。
在这方面中，来自内窥镜201的光照射患者211的组织203。在一个方面中，内窥镜201是立体内窥镜，其包括两个光通道，例如，左光通道和右光通道，用于将光从组织203传递到图像传感器221，图像传感器221包括两个感测区域，一个捕获左场景，另一个捕获右场景。在另一方面中，内窥镜201是单镜内窥镜，其包括用于将光从组织传递到图像传感器221的单个光通道，在该实例中，图像传感器221包括单个感测区域。
如下面更完整地解释的，对于两种类型的内窥镜，反射的白光被图像捕获系统220捕获为可见光帧。可见光帧包括例如包括组织的场景的可见场景，并且可见光帧有时被称为可见帧。来自组织的反射的不可见光和/或发射光被图像捕获系统220捕获为加强光帧。加强光帧例如包括组织203的高光谱场景或内窥镜201视野中的其它特征，或来自组织203的荧光。在另一方面中，加强光帧包括具有不同曝光的像素，其可以用于产生高动态范围场景。加强光帧有时被称为加强帧。
在一个方面中，图像捕获系统220中的摄像机安装在内窥镜201的近端上。在另一方面中，摄像机安装在内窥镜201的远端中。这里，摄像机至少包括帧定时器和图像传感器。这里，远侧指更靠近外科手术部位，近侧指更远离外科手术部位。在一个方面中，摄像机通过相同的前端光学元件捕获可见帧和加强帧。这与利用特殊前端光学元件来捕获例如高光谱帧的系统形成对比。
图3是图2的计算机辅助外科手术系统200的一个示例的各方面的更详细说明。在图3的实施例中，计算机辅助外科手术系统200包括作为组合光源310的照射器。组合光源310包括例如白光源的可见光照射器311和加强光照射器312。只要组合光源310具有下文更完整描述的能力，照射器311和312的特定实施方式就不是关键的。
在这方面中，组合光源310与立体内窥镜201中的至少一条照射路径结合使用以照射组织203。在一个方面中，组合光源310具有至少两种操作模式：正常查看模式和加强查看模式。
在正常查看模式中，可见光照射器311提供以白光照射组织203的照射。在正常查看模式中不使用加强光照射器312。
在加强查看模式中，可见光照射器311提供以白光照射组织203的照射。在一个方面中，加强光照射器312提供用高光谱光(例如，近红外光谱中的光)或可替代性地用激发荧光的光照射组织203的照射。
使用近红外光作为高光谱照射的示例仅是说明性的，并非旨在限制于此特定方面。鉴于本公开，本领域的技术人员可以选择使捕获的可见帧中的非显著特征在捕获的加强帧中显著的高光谱照射。
在一个方面中，可见光照射器311包括用于不同可见颜色照射部件中的每个的源。对于红绿蓝实施方式，在一个示例中，源是激光器，一个红色激光器、两个绿色激光器和一个蓝色激光器。在一个方面中，来自可见光照射器311的光具有其光谱形状，使得该光对人眼而言似乎具有紫色色调。参见PCT国际公开No.WO 2015/142800 A1，其通过引用并入本文。
在可见光照射器311中使用激光器仅是说明性的，并非旨在限制。例如，也可以用多个发光二极管(LED)源代替激光器来实现可见光照射器311。可替代性地，可见光照射器311可以使用具有椭圆形后反射器和带通滤波器涂层的氙灯来创建用于可见场景的宽带白色照射光。氙气灯的使用也仅是说明性的，并非旨在限制。例如，可以使用高压水银弧光灯、其它弧光灯或其它宽带光源。
加强光照射器312的实施方式取决于感兴趣的光谱。通常，一个或多个激光模块、一个或多个发光二极管用作加强光照射器312。
在正常和加强查看模式中，来自可见光照射器311的光或来自可见光照射器311的光和来自加强光照射器312的光被引导到连接器316中。连接器316将光提供给立体内窥镜201中的照射路径，该照射路径进而将光引导到组织203。连接器316和立体内窥镜201中的照射路径中的每个可以例如用光纤束、单个刚性或柔性杆或光纤来实现。
来自外科手术部位203(图3)的光通过内窥镜201中的立体光通道(例如，左光通道和右光通道，或可替代性地，第一光通道和第二光通道)传递到摄像机320L、320R。使用两个离散摄像机320L和320R是为了便于说明和讨论，并且不应被解释为需要两个离散摄像机或两个离散图像捕获单元。摄像机320L和320R的部件可以组合在单个单元中。
如下面更完整地解释的，左摄像机320L包括左图像传感器321L。左图像传感器321L捕获从立体内窥镜301的左通道接收的光作为左帧322L。类似地，右摄像机320R包括右图像传感器321R。右图像传感器321R捕获从立体内窥镜301的右通道接收的光作为右帧322R。左图像传感器321L和右图像传感器321R可以是单独的传感器或单个传感器的不同激活区域。此外，使用左和右旨在帮助区分第一传感器和第二传感器。
摄像机320L包括第一帧定时器电路325L，有时称为帧定时器325L，在该方面中，第一帧定时器电路325L耦合到左摄像机控制单元330L和左图像传感器321L。摄像机320R包括第二帧定时器电路325R，有时称为帧定时器325R，在该方面中，第二帧定时器电路325R耦合到右摄像机控制单元330R和右图像传感器321R。与对所有图像传感器使用公共帧定时器的配置相比，对每个图像传感器使用单独帧定时器提供增强的成像能力。使用分开的帧定时器325L、325R允许将由一个图像传感器捕获的高级成像模式(高光谱、荧光等)的曝光与另一个图像传感器上的可见光成像中使用的曝光分开。这进而允许进行不同的折衷，例如对于高级成像数据降低帧速率，以改进灵敏度。另一种使用分开的帧定时器来改进高级成像性能的方法是通过单个滤波元件覆盖的像素的片上合并。与数字域中的分开的采样和合并相比，片上合并提供噪声降低。
摄像机320L通过左摄像机控制单元330L和图像处理模块340耦合到外科医生控制台214中的立体显示器351。图像处理模块340是图像处理系统130的一部分。摄像机320R通过右摄像机控制单元330R和图像处理模块340耦合到外科医生控制台214中的立体显示器351。摄像机控制单元330L、330R接收来自系统过程控制模块362的信号。系统过程控制模块362表示系统300中的各种控制器。
显示模式选择开关352向用户接口361提供信号，用户接口361进而将所选择的显示模式传递给系统过程控制模块362。系统过程控制模块362内的各种控制器配置照射控制器315、配置左摄像机控制单元330L和右摄像机控制单元330R以获取所需场景，以及配置成像处理模块340中处理所获取场景所需的任何其它元件，使得在立体显示器351中向外科医生呈现所请求的场景。成像处理模块340实现等同于已知图像处理管道的图像处理管道。
立体显示器351上的视频输出可以通过使用例如脚踏开关、双击用于控制外科手术器械的主控抓取器、语音控制和其它类似的切换方法在正常和加强查看模式之间转换。用于在查看模式之间切换的转换器(toggle)在图3中表示为显示模式选择开关352。
中央控制器360和系统过程控制模块362与先前的系统相似，除了下面更完整地描述的各方面之外。尽管描述为中央控制器360，但是应当理解，中央控制器360在实践中可以由任意数量的模块实现，并且每个模块可以包括部件的任意组合。每个模块和每个部件可以包括硬件、在处理器上执行的软件以及固件，或者三者的任意组合。
此外，如本文所述的中央控制器360和系统过程控制模块362的功能和动作可以由一个模块执行，或者在不同模块之间或者甚至在模块的不同部件之间进行划分。当在不同的模块或部件之间划分时，模块或部件可以集中在一个位置中，或者为了分布式处理的目的分布在系统200上。因此，中央控制器360和系统过程控制模块362不应被解释为需要单个物理实体，因为在一些方面中，二者都分布在系统200上。
关于计算机辅助外科手术系统的更多信息可以例如在美国专利申请No.11/762,165(2007年6月23日提交；公开微创外科手术系统(Minimally Invasive SurgicalSystem))、美国专利No.US 6,837,883 B2(2001年10月5日提交；公开遥控机器人外科手术系统的臂推车(Arm Cart for Telerobotic Surgical System))和美国专利No.6331,181(2001年12月28日提交；公开外科手术机器人工具、数据架构和用途(Surgical RoboticTools,Data Architecture,and Use))中找到，所有这些都通过引用并入本文。
在图3中，摄像机320L、320R和组合光源310被示为在内窥镜201的外部。然而，在一个方面中，摄像机320L、320R和光源310包括在内窥镜201的远侧尖端中，内窥镜201的远侧尖端是相邻组织203。此外，左图像传感器321L和右图像传感器321R可以是包括左帧定时器电路325L和右帧定时器电路325R的集成电路芯片的传感器区的不同激活区域。
系统控制器320(图3)被图示为便于说明和理解的统一结构。这只是说明性的，并非旨在限制。系统控制器320的各种部件可以分开定位并且仍然执行所描述的功能。
具有交替帧时序的立体图像捕获
在一些方面中，在立体显示器351的左眼查看器中呈现由左图像传感器321L捕获的第一场景，并且在立体显示器351的右眼查看器中呈现由右图像传感器321R捕获的第二场景。例如，将外科手术部位的正常颜色场景呈现给用户的左眼，将外科手术部位的加强场景呈现给用户的右眼。
通常，由一个图像传感器捕获的加强场景的强度显著低于由另一个图像传感器捕获的颜色场景的强度。以前，通过对捕获的场景进行数字处理来补偿强度差异。不幸的是，这可能引入噪声，例如，通过放大低信号电平引起的噪声。
在这方面中，帧定时器325L和325R被配置为以不同的速率从左图像传感器321L和右图像传感器321R读出数据。例如，如图4所示，左图像传感器321L以正常速率(例如每秒60帧)捕获可见颜色场景，即反射白光场景。右图像传感器321R以低于正常速率的速率(例如每秒30帧)捕获加强场景(例如，荧光场景或高光谱场景)。图4示出了针对左图像传感器321L的帧定时器325L的卷帘快门的实施方式和针对右图像传感器321R的帧定时器325R的卷帘快门的实施方式。
在该示例中，假设左图像传感器321L和右图像传感器321R中的每个具有(m+2)行像素-(m+1)激活行和虚拟(dummy)行。因此，激活行的编号从0到m。
帧定时器325L重复地向图像传感器321L提供传输、重置和选择线上的信号，以相同的方式以相同的时序捕获帧401L、402L、403L、404L和405L中的每个。在该示例中，考虑帧402L的捕获，尤其是帧402L的行零。帧402L中每行像素的捕获与行零相同。
如前面指出的，利用卷帘快门，不同时捕获图像传感器321L的所有激活行，例如，摄像机320L不具有在预定时间之后阻止光到达像素的机械快门。而是，按顺序读出每一行像素。对于帧402L，这由对角线402L-S表示。线402L-S表示用于图像传感器321L捕获帧402L的卷帘快门。帧401L、403L、404L和405L中的每个分别具有等效的卷帘快门401L-S、403L-S、404L-S和405L-S。
为了允许一行中的每个像素再次累积电荷，该行的重置线上的信号变为激活的。图4中每一水平线的左端处的正方形表示该行的重置线上的信号变为激活的。因此，正方形402L-0-RST表示帧402L中行零的重置信号变为激活的，使得行零中的每个像素被设置为已知状态，并开始累积对应于入射到该像素上的光的电荷。
图4中的每一水平线的右端处的圆点表示该行的行选择线上的信号变为激活的，使得读出该行中的每一像素的值。当读出行中的每个像素时，该行的快门有效地关闭。因此，点402L-0-SLCT表示帧402L中的行零的行选择信号变为激活的，使得读出行零中的每个像素的值。
在帧402L的行零中的像素被设置为已知状态的时间和行零的行选择线变为激活的并且行零中的像素值被读出的时间之间的时间402L-0-EXP是该行的曝光时间。因此，帧定时器325L可以通过控制前一帧中的行的行选择信号变为激活的时间与当前帧中的行的重置信号变为激活的时间之间的时间间隔来控制帧中的行的曝光时间。
当已读取帧中的所有激活行时，读取图像传感器321L的虚拟行。读取虚拟行时使用的时间间隔是帧401L的时间间隔401L-BLNK、帧402L的时间间隔402L-BLNK、帧403L的时间间隔403L-BLNK、帧404L的时间间隔404L-BLNK和帧405L的时间间隔405L-BLNK。消隐(blanking)是视频时序的典型特征，但是尽管消隐在处理和显示时中是有用的，却不必使任何消隐或虚拟行读出来使用本文所述的任何像素时序序列。
帧定时器325R关于重置一行像素和读出一行像素的操作与刚才针对帧定时器325L描述的操作等效，但是以较慢的速率激活各种信号。帧401R在帧402L和403L被捕获的相同时间间隔中被捕获，而帧402R在帧404L和405L被捕获的相同时间间隔中被捕获。
行401R-S表示帧401R的卷帘快门。正方形402R-0-RST表示帧401R中行零的重置信号变为激活的，使得行零中的每个像素被设置为已知状态，并开始累积对应于入射到该像素上的光的电荷。点402R-0-SLCT表示帧401R中行零的行选择信号变为激活的，使得读出行零中每个像素的值。在帧401R的行零中的像素被设置为已知状态的时间与行零的行选择线变为激活的并且读出行零中的像素值的时间之间的时间401R-0-EXP是该行的曝光时间。
当已经读取了帧401R中的所有激活行时，读取图像传感器321L的虚拟行。在读取虚拟行中使用的时间间隔是帧401R的时间间隔401R-BLNK。
因此，图4示出了当以正常速率读出左图像传感器321L中的帧时，以一半速率读出右图像传感器321R中的帧。这允许右图像传感器321R在更长的时间段内集成在入射光中，这进而与以正常速率捕获右图像传感器321R中的帧并随后对捕获的信号进行数字放大相比改进了信噪比。
图5是由帧定时器325L和325R生成的重置和选择信号的更详细时序图。注意，时序图是用于展示两个图像传感器的不同曝光时间的感兴趣帧的时序图。图5不包括用于图4中的帧的所有信号。
图5中的脉冲的附图标记与图4中的相应附图标记相同。然而，在图5中存在一些附加的附图标记。图4和图5中附图标记的关键是：
xxxy-s-名称，
其中
xxx是图4中的帧的附图标记；
在该示例中，y表示该通道，右或左；
s是行号，0到m用于激活行，D用于虚拟行；以及
名称，RST＝行重置，SLCT＝行选择，EXP＝曝光时间。
帧定时器325L为图像传感器321L的行0到m中的每个按时间顺序生成激活行重置信号401L-0-RST到401L-m-RST。在每个行的曝光时间之后，帧定时器325L为图像传感器321L的行0到m中的每个按时间顺序生成激活行选择信号401L-0-SLCT到401L-m-SLCT。
在每个激活行被重置之后，帧定时器325L为图像传感器321L的虚拟行生成激活虚拟行重置信号401L-D-RST，并且在曝光时间之后，帧定时器325L为图像传感器321L的虚拟行生成激活行选择信号401L-D-SLCT。在生成虚拟行信号之后，帧定时器325L继续为图像传感器321L捕获的每个后续帧生成行重置和行选择信号。
帧定时器325R的操作不同于帧定时器325L的操作。帧定时器325L为图像传感器321R的行0到m中的每个按时间顺序生成激活行重置信号401R-0-RST到401L-m-RST，但是随后帧定时器325R或者停止生成激活行重置信号，或生成虚拟行的激活重置信号，直到是时间开始捕获下一帧。
在图像传感器321R中的前一帧的捕获完成之后，帧定时器325R生成虚拟行选择信号401R-D-SLCT，直到图像传感器321R中的第0行的曝光时间401R-0-EXP已经过去为止，然后，帧定时器325R为图像传感器321R的行0到m中的每个按时间顺序生成激活行选择信号401R-0-SLCT到401L-m-SCLT。
在该示例中，由图像传感器321R捕获的帧的曝光时间是由图像传感器321L捕获的帧的曝光时间的两倍。然而，使用两个图像传感器来捕获具有不同曝光的场景的这种方法可以如图6所示一般化。
在图6中，帧定时器325L被配置为在图像传感器321L中按时间顺序捕获N个帧—帧0到帧(N-1)，而帧定时器325R在图像传感器321R中捕获一个帧—帧0。此处，在一个方面中，N是大于零的正数。因此，在图像传感器321R中捕获的帧的曝光时间是在图像传感器中捕获的帧的曝光时间的N倍。图5是N为2的情况。
像素合并(pixel binning)
下面更完整地描述的像素合并方面可以在图3的立体计算机辅助外科手术系统200或图7的单视系统700中实现。在图7中，图像传感器321、图像322和摄像机控制单元330相当于图像传感器321R、321L、帧322R、322L和摄像机控制单元330R、330L，因此这里不重复对这些元件的描述。类似地，图像处理模块740、具有显示器751的外科医生控制台714、中央控制器760和系统过程控制模块762相当于对于图3的左通道或右通道的图3中的相应的元件。内窥镜701类似于内窥镜301，不同之处在于内窥镜701仅具有将光从组织203传输到摄像机720的单个光通道。因此，单视系统700相当于其中图3的左通道和右通道中的一个被移除的图3的系统，因此不作进一步的详细描述，因为该描述与图3中的元件的描述重复。
具有拜耳颜色滤波器阵列的多像素合并
图8A是具有四路共享像素单元和新颖帧定时器825A的CMOS图像传感器上的拜耳颜色滤波器的代表部分的图示。因此，图8A是具有带有拜耳颜色滤波器阵列的图像传感器821A和帧定时器825A的图像捕获单元的一部分的示例。图像传感器821A和帧定时器825A是图像传感器321L和帧定时器325L、图像传感器321R和帧定时器325R或图像传感器321和帧微调器325的示例。
图像传感器中的每个位置包括多个像素。在图8中，仅示出了四个位置(0,0)、(0,1)、(1,0)和(1,1)，其中每个位置包括连接到共享列线的四个像素，共享列线是四路共享像素单元。图像传感器821A中未示出的其它位置以相应的方式布置。
在该示例中，每个像素由拜耳颜色滤波器阵列中的滤波器覆盖。众所周知，在拜耳颜色滤波器阵列中，百分之五十的滤波器是绿色滤波器，百分之二十五的滤波器是红色滤波器R，百分之二十五的滤波器是蓝色滤波器B。在该示例中，为了便于讨论，绿色滤波器被分为第一绿色滤波器Gr和第二绿色滤波器Gb。在该示例中，两个绿色滤波器使用相同的滤波器染料并通过相同的波长范围。在这方面中，在拜耳颜色滤波器阵列中的滤波器和图像传感器821A中的像素之间存在一对一的对应关系，这意味着图像传感器821A中的每个像素被拜耳颜色滤波器阵列中的不同滤波器覆盖。虽然使用拜耳颜色滤波器阵列作为示例，但是颜色滤波器阵列不必具有此特定配置。在本文所描述的应用中，还可以使用具有不同颜色或具有各种颜色的不同比例的颜色滤波器阵列。
被红色滤波器R覆盖的像素被称为红色像素R。被第一绿色滤波器Gr覆盖的像素被称为第一绿色像素Gr。被第二绿色滤波器Gb覆盖的像素被称为第二绿色像素Gb。被蓝色滤波器B覆盖的像素被称为蓝色像素B。因此，在图8A中，每个位置包括红色像素、第一绿色像素和第二绿色像素以及蓝色像素。另外，在图8A和图8B中，行被示出为在垂直方向上延伸，列被示出为在水平方向上延伸。这是为了便于说明，并且不应被解释为将图像传感器的行和列限制到任何特定方向。下面更完整地描述的配置与行和列的取向无关进行相同的操作。
图像传感器821A的每一行驱动器连接到不同的多行像素。第一传输线Tx_1将行驱动器连接到第二行中的每个红色像素，第二行连接到行驱动器。第二传输线Tx-2将行驱动器连接到第二行中的每个第二绿色像素，第二行连接到行驱动器。第三传输线Tx_3将行驱动器连接到的第一行中的每个第一绿色像素，第一行连接到行驱动器。第四传输线Tx_4将行驱动器连接到第一行中的每个蓝色像素，第一行连接到行驱动器。
重置线RESET将行驱动器连接到与行驱动器相关联的两行中的每个位置处的共享列驱动器SHARED。选择线SELECT将行驱动器连接到与行驱动器相关联的两行中的每个位置处的共享列驱动器SHARED。在一个方面中，每个共享列驱动器SHARED是单个浮动扩散电荷存储节点。
帧定时器825A通过多条线连接到图像传感器821A的每个行驱动器。在该示例中，多条线包括二十一条线。
二十一条线中的十条线是行地址线ROW_ADDR<9,0>。行地址行ROW_ADDR<9,0>携带被帧定时器825A访问的行的地址。
二十一条线中的三条线是行选择线ROW_SELECT、重置设置线RST_SET和重置清除线RST_CLR。行选择线ROW_SELECT上的激活信号导致由行地址线ROW_ADDR<9,0>上的地址寻址的行驱动器在选择线SELECT上驱动激活信号。重置设置线RST_SET上的激活信号导致由行地址线ROW_ADDR<9,0>上的地址寻址的行驱动器在重置线RESET上驱动激活信号。
重置清除线RST_CLR上的激活信号导致由行地址线ROW_ADDR<9,0>上的地址寻址的行驱动器在重置线RESET上驱动非激活信号。
二十一条线中的四条线是传输设置线TX_SET<4,1>，二十一条线中的另外四条线是传输清除线TX_CLR<4,1>。传输设置线TX_SET<4,1>中的每个通过行驱动器耦合到第一传输线TX_1、第二传输线TX-2、第三传输线TX_3和第四传输线TX_4中的不同的一条，例如，传输设置线TX_SET(1)耦合到第一传输线TX_1，传输设置线TX_SET(2)耦合到第二传输线Tx_2等。类似地，传输设置线Tx_CLR<4,1>中的每一条通过行驱动器耦合到第一传输线Tx_1、第二传输线Tx-2、第三传输线Tx_3和第四传输线Tx_4中的不同的一条，例如，传输清除线Tx_CLR(1)耦合到第一传输线Tx_1、传输清除线Tx_CLR(2)耦合到第二传输线Tx_2等。
传输设置线TX_SET(1)上的激活信号导致由行地址线ROW_ADDR<9,0>上的地址寻址的行驱动器驱动第一传输线TX_1上的激活信号以及针对其它传输设置线依此类推。传输清除线TX_CLR(1)上的激活信号导致由行地址线ROW_ADDR<9,0>上的地址寻址的行驱动器驱动第一传输线TX_1上的非激活信号以及针对其它传输线依此类推。
通过重置设置线RST_SET、重置清除线RST_CLR、传输设置线TX_SET<4,1>和传输清除线TX_CLR<4,1>，可以在单行时间期间将脉冲发送到不同的行，并且这些脉冲的长度可以长于它们之间的时间。当传输设置线TX_SET1变为激活时，具有匹配行地址的特定第一传输线TX_1线变为激活并保持高，直到相同的第一传输线TX_1再次被寻址，并且传输清除线TX_CLR1变为激活。线TX_SETx和TX_CLRx，以及RST_SET和RST_CLR由短脉冲驱动，短脉冲控制线TX_1上较长脉冲边沿的时序等。因此，通过这些线，可以在单行时间期间将脉冲发送到不同的行，并且这些脉冲的长度可以长于它们之间的时间。
在该示例中，时序使用特定类型的行驱动器电路，该电路寻址每一行并使用每一行信号上的锁存器生成到达像素行控制线TXn、SEL和RESET的脉冲。存在其它方法可以实现该逻辑；具体地说，像素控制线的相同时序可以由其它类型的逻辑生成，并且相同的概念将适用。
此外，在这些示例中，使用四路共享像素单元，其中四路共享像素单元的输出部分在拜耳组中的四个像素之间共享。这对于交替帧时序特别有用，但是本文所呈现的示例也可以应用于其它像素共享布置。
图像传感器821A的像素阵列、行驱动器、到行驱动器的输入线和行驱动器的输出线的布局是已知的，因此本文不进行更详细的描述。一个新颖的方面是由帧定时器825A在随后的输入线上提供给图像传感器821A的信号序列，其提供增强的图像传感器时序并因此提供增强的成像能力。
图8A是包括耦合到帧定时器的图像传感器的图像捕获设备的表示。图像传感器包括多行像素和可见光颜色滤波器阵列。可见光颜色滤波器阵列包括多个不同的可见光颜色滤波器，其在图8A中由红色、两个绿色和蓝色可见光颜色滤波器表示。多行像素包括多个像素单元，其中多个像素单元中的每个像素单元包括多个像素。在图8A的示例中，通过位置(0,0)、(0,1)、(1,0)和(1,1)来识别像素单元。像素单元的多个像素中的每个像素由多个不同可见光颜色滤波器中的不同一个覆盖。在图8A的示例中，位于位置(0,0)处的像素单元的多个像素中的每个被红色、两个绿色和蓝色可见光颜色滤波器中的一个覆盖。帧定时器耦合到图像传感器以向图像传感器提供图像捕获时序信号。
图9A示出了作为卷帘快门的一部分的在图8A的行中的位置处的四个像素的像素合并的时序图。在这方面中，帧定时器825A同时在每个传输设置线TX_SET<4,1>上传输激活信号，并且在重置设置线RST_SET上传输激活信号。响应于这些信号，寻址的行驱动器同时驱动第一传输线Tx_1、第二传输线Tx-2、第三传输线Tx_3和第四传输线Tx_4中的每一条的激活传输信号和在线RESET上的激活重置信号，如图9A所示。
为了读取像素，在适当的曝光时间之后，帧定时器825A同时在传输设置线TX_SET<4,1>的每一条上传输激活信号，并且在行选择线ROW_SELECT上传输激活信号。响应于这些信号，寻址行驱动器同时驱动第一传输线Tx_1、第二传输线Tx_2、第三传输线Tx_3和第四传输线Tx_4中的每一条的激活传输信号和行选择线SELECT上的激活信号，如图9A所示。
由于一个位置处的所有四个像素同时连接到共享列线(例如，同时读出)，因此这在模拟阶段中集成了四个像素，这相对于在数字处理阶段期间进行相同的集成改进了信噪比水平。像这样组合像素做出折衷；所有颜色信息都会丢失，一些空间分辨率也会丢失，以换取噪声水平降低50％。
如果如图7所示使用单个图像传感器，则可以使用该像素合并来改进捕获场景的信噪比。如果正在使用立体图像传感器，如图3中所示，则一个图像传感器可以用于以正常帧速率捕获颜色场景，并且另一个传感器可以用于以较慢的帧速率连同像素合并一起捕获场景。例如如图5所示，针对每一行生成用于具有较低帧速率的传感器的重置和选择信号，如关于图9A所述，以便将较低帧速率和像素合并结合起来。可替代性地，如果正在使用立体图像传感器，则在一个方面中，两个图像传感器以相同的帧速率(例如，正常帧速率)捕获帧，但是其中一个图像传感器使用像素合并。因此，对于每个帧时间间隔，全空间分辨率颜色帧与具有较低噪声水平的单色帧一起被捕获。两种帧都包含相同的场景，并且两种帧之间的空间关系是已知的。
具有可见光颜色滤波器阵列和替代光滤波器阵列的多像素合并
在其它方面中，使用具有四路共享像素单元的CMOS图像传感器上的可见光颜色和替代光(高光谱或其它波长带)滤波器的交错阵列和新颖帧定时器。
在本文中，替代光滤波器是指过滤可见光以外的滤波器。替代光滤波器包括多个单独的替代光滤波器，其中每个替代光滤波器被配置为覆盖一个或多个图像传感器像素，并且通常被配置为覆盖多个图像传感器像素。有时，单独的替代光滤波器被称为替代光滤波器的像素。类似地，可见光颜色滤波器阵列包括多个不同的单独的可见光颜色滤波器。
使用有机染料的可见颜色滤波器阵列(例如，拜耳颜色滤波器阵列)是众所周知的，并且可以应用于小(<2μm)像素。能够选择其它波长、波长的窄带或光的偏振的其它滤波技术也是众所周知的，但目前不能应用于在典型图像传感器中发现的小像素结构，因为这些替代滤波器所需的制造工艺不能产生与图像传感器的像素尺寸相当的滤波器像素尺寸。通常，替代滤波器的像素尺寸是图像传感器的像素尺寸的倍数。
为了克服内窥镜中使用的图像传感器的该问题，使用单个图像传感器来使用如图9B中所示的滤波器结构捕获常规颜色图像和其它波长带中的图像两者。为了补偿替代光滤波器的较大像素尺寸，单像素红-绿-蓝(RGB)滤波器与单独的替代光滤波器的阵列交错，其中，在该示例中，每个单独的替代光滤波器覆盖图像传感器的2x2像素单元。
利用具有四路共享像素单元的图像传感器的特定结构、滤波器阵列的匹配布置以及在传感器的帧定时器中使用特定时序序列，可以在不牺牲图像传感器阵列中的RGB像素的噪声或帧速率的情况下获得替代滤波器信号的噪声益处。此操作使用四路共享像素连接。如以上关于图8A所述，四路共享像素单元在四个像素的组中共享单个浮动扩散电荷存储节点。
浮动扩散电荷存储节点SHARED，有时被称为共享列驱动器SHARED，可以通过对重置线RESET施加脉冲来重置，并且可以通过对选择线SELECT施加脉冲来缓冲并连接到列输出线。浮动扩散电荷存储节点SHARED还可以通过对相应的一条或多条传输线施加脉冲来连接到四个周围像素中的任何一个或全部。
由于四路共享像素单元具有将四个周围像素中的任何一个连接到浮动扩散电荷存储节点SHARED(并且因此连接到重置和/或输出)的灵活性，因此可以使用来自帧定时器825B的脉冲在传输线上的像素中进行连接，使得当连接到一行像素的每个传输线被施加脉冲时，连接到浮动扩散电荷存储节点SHARED的行中的像素以该模式连接：
TX_1：1--11--11--...--1
TX_2：-22--22--22...22-
其中TX_1表示到多个四路共享像素单元中的一行的传输线，TX_2表示到多个四路共享像素单元中的另一行的传输线。因此，如图8B所示，然后以错开(staggered)模式沉积滤波器，使得拜耳阵列中的四种颜色在两个不同的像素共享单元之间被分割。由于每行中的两个颜色像素连接到不同浮动扩散电荷存储节点SHARED，因此可以使用适当的时序序列同时读取这两个颜色像素。
拜耳阵列中的四种颜色在两个不同的像素共享单元之间的分割迫使替代滤波器像素也被分割，但是连接到列的两个像素中的电荷可以在读出期间在浮动扩散电荷存储节点SHARED中组合而不添加额外噪声。与单个滤波器位置相对应的列对可以组合为列放大器的输出处的电压(在数字化信号之前)。最终结果是替代滤波器像素的较低噪声读出，而不损失阵列中其它像素的空间或时间分辨率。因此，在该示例中，构成高光谱滤波器阵列的单独的高光谱滤波器相对于颜色阵列滤波器的单独的部分错开，使得当读取一行时，可以对高光谱像素上的两行电荷值进行合并，但是可以分开读取颜色像素并且不进行合并。
除了上面描述的电荷域选择性像素合并之外，还可以通过传输线TX_x的类似脉冲序列选择性地延长曝光时间，该脉冲序列省略了用于传输线TX_x的特定重置和读取序列，该传输线TX_x使用单独的替代光滤波器转到像素。
因此，图8B是具有四路共享像素单元的CMOS图像传感器上的拜耳颜色滤波器阵列和替代光滤波器阵列(例如，高光谱滤波器阵列)的代表性部分和新颖帧定时器825B的图示。在该示例中，帧定时器825B被配置为生成图9B中所示的脉冲序列。
图8B是具有帧定时器825B和带有拜耳颜色滤波器阵列和替代光滤波器阵列的图像传感器821B的图像捕获单元的一部分的示例。图像传感器821B和帧定时器825B也是图像传感器321L和帧定时器325L、图像传感器321R和帧定时器325R或图像传感器321和帧微调器325的示例。
图像传感器821B中的每个位置包括多个像素。在图8B中，仅示出了六个位置(0,0)、(0,1)、(0,2)、(1,0)、(1,1)、(1,2)，其中每个位置包括连接到共享列线的四个像素，共享列线是四路共享像素单元。图像传感器821B中未示出的其它位置以相应的方式布置。
在该示例中，四路共享像素单元中的一些像素被拜耳颜色滤波器阵列中的滤波器覆盖，而四路共享像素单元中的其它像素被替代光滤波器阵列中的滤波器覆盖。如上所述，被拜耳颜色滤波器阵列的红色滤波器R覆盖的像素被称为红色像素R。被拜耳颜色滤波器阵列的第一绿色滤波器Gr覆盖的像素被称为第一绿色像素Gr。被拜耳颜色滤波器阵列的第二绿色滤波器Gb覆盖的像素被称为第二绿色像素Gb。被拜耳颜色滤波器阵列的蓝色滤波器B覆盖的像素被称为蓝色像素B。
由替代光滤波器阵列的单独的替代光滤波器覆盖的像素组中的像素由相同的附图标记Pj表示，其中j是整数，并且被称为替代光过滤像素。如上所述，在该示例中，每个单独的替代光滤波器占据图像传感器821B的2x2像素单元，但是像素Pj在相邻的四路共享像素单元之间被分割。因此，在图像传感器821B中，位置(0,0)、(0,1)、(0,2)、(1,0)、(1,1)、(1,2)处的每个四路共享像素单元包括多个可见光颜色过滤像素和多个替代光过滤像素。
具体地，位置(0,0)处的四路共享像素单元包括红色像素R、第一绿色像素Gr和两个替代光过滤像素P1、P1。位置(0,1)处的四路共享像素单元包括蓝色像素B、第二绿色像素Gb和两个替代光过滤像素P1、P1。因此，如上所述，四个拜耳过滤像素、红色像素R、第一绿色像素Gr、第二绿色像素Gb和蓝色像素B在两个相邻的四路共享像素单元之间被分割。类似地，由单个替代光滤波器阵列像素覆盖的像素P1、P1中的两个在两个相邻的四路共享像素单元中的每个中。
图像传感器821B的每个行驱动器连接到多行像素。第一颜色传输线COLOR_Tx0将行驱动器0连接到图像传感器821B的第一行-行0-中的每个蓝色像素B和每个第一绿色像素Gr。第一替代滤波器传输线HYP_Tx0将行驱动器0连接到第一行中的每个替代光过滤像素。第二颜色传输线COLOR_Tx1将行驱动器0连接到图像传感器821B的第二行-行1-中的每个红色像素R和每个第二绿色像素Gb。第二替代滤波器传输线HYP_Tx1将行驱动器0连接到第二行中的每个替代光过滤像素。
第三颜色传输线COLOR_Tx2将行驱动器1连接到图像传感器821B的第三行-行2-中的每个蓝色像素B和每个第一绿色像素Gr。第三替代滤波器传输线HYP_Tx2将行驱动器1连接到第三行中的每个替代光过滤像素。第四颜色传输线COLOR_Tx3将行驱动器1连接到图像传感器821B的第四行-行3行-中的每个红色像素R和每个第二绿色像素Gb。第四替代滤波器传输线HYP_Tx3将行驱动器1连接到第四行中的每个替代光过滤像素。将行驱动器0和1连接到像素行的线布置沿着图像传感器821B的列向下重复。
因此，传输线利用帧时间825B的模式连接到相邻像素行中的像素，从而提供适当的脉冲，如上所述，即：
第一重置线RESET_01将行驱动器0连接到在第一像素行和第二像素行中的每个位置处的共享列驱动器SHARED。第一选择线SELECT_01将行驱动器0连接到在第一像素行和第二像素行中的每个位置处的共享列驱动器SHARED。如上所述，在一个方面中，每个共享列驱动器SHARED是单个浮动扩散电荷存储节点。
第二重置线RESET将行驱动器1连接到在第三像素行和第四像素行中的每个位置处的共享列驱动器SHARED。第二选择线SELECT将行驱动器1连接到在第三像素行和第四像素行中的每个位置处的共享列驱动器SHARED。
帧定时器825B通过多条线连接到图像传感器821A的行驱动器中的每个。在该示例中，多条线包括二十一条线。
二十一条线中的十条线是行地址线ROW_ADDR<9,0>。行地址线ROW_ADDR<9,0>携带被帧定时器825B访问的行的地址。
二十一条线中的三条线是行选择线ROW_SELECT、重置设置线RST_SET和重置清除线RST_CLR。行选择线ROW_SELECT上的激活信号导致由行地址线ROW_ADDR<9,0>上的地址寻址的行驱动器在选择线上驱动激活信号。重置设置线RST_SET上的激活信号导致由行地址线ROW_ADDR<9,0>上的地址寻址的行驱动器驱动重置线上的激活信号。
重置清除线RST_CLR上的激活信号导致由行地址线ROW_ADDR<9,0>上的地址寻址的行驱动器驱动重置线上的非激活信号。
二十一条线中的四条线是传输设置线TX_SET<4,1>，二十一条线中的另外四条线是传输清除线TX_CLR<4,1>。传输设置线TX_SET<4,1>中的每个通过行驱动器耦合到连接到寻址行驱动器的第一传输线、第二传输线、第三传输线和第四传输线中的不同的一个。
传输设置线TX_SET(1)上的激活信号导致由行地址线ROW_ADDR<9,0>上的地址寻址的行驱动器驱动第一传输线上的激活信号，对于其它传输设置线依此类推。传输清除线TX_CLR(1)上的激活信号导致由行地址线ROW_ADDR<9,0>上的地址寻址的行驱动器驱动第一传输线上的非激活信号，对于其它传输线依此类推。
因此，在图像传感器821B中，如图8A所示的成对传输线到每行中的像素的通常连接被置换，因此类似滤波器类型(常规可见光颜色滤波器阵列或替代光滤波器阵列)的像素被连接到每行上的分开的列驱动器和读出电路。由于这种连接，获得了常规和替代光滤波器阵列的分开的定时控制。图9B是示出图像传感器821B的操作的时序图。
图9B所示的来自帧定时器825B的示例脉冲序列示出了像素行0和1上的像素的重置，随后是这些像素的读出。像素行0和1是连接到行驱动器0的行。当传输脉冲与重置脉冲重合时，浮动扩散电荷存储节点SHARED和通过激活的传输脉冲连接到浮动扩散电荷存储节点SHARED的(一个或多个)光电二极管都被重置。当重置脉冲单独的出现时，重置脉冲只重置浮动扩散电荷存储节点SHARED，这是对于相关双采样(CDS)降低读出噪声所需要的。
图9B中的示例脉冲序列：
1.重置行0上的颜色像素。
2.重置行1上的颜色像素。
3.一起重置行0和行1上的替代滤波器像素。
4.稍后，读取行0上的颜色像素。
5.读取行1上的颜色像素。
6.读取行0和行1上的替代滤波器像素，并将它们合并在一起。
其它曝光可以通过调节在重置和读取序列之间的延迟，并且通过选择性地省略某些像素类型的重置/读取序列来获得。
因此，图8B和图9B是包括耦合到帧定时器的图像传感器的图像捕获设备的图示。图像传感器包括多行像素、可见光颜色滤波器阵列和替代光滤波器阵列。多行像素包括多个像素单元。例如，在图8B中的位置(0,0)、(0,1)、(0,2)、(1,0)、(1,1)和(1,2)处的多个像素单元。多个像素单元中的每个包括多个像素，该多个像素在图8B的示例中是四个像素。
可见光颜色滤波器阵列包括多个不同的可见光颜色滤波器，其在图8A中由红色、两个绿色和蓝色可见光颜色滤波器表示。替代光滤波器阵列包括多个单独的替代光滤波器。多个单独的替代光滤波器中的一个单独的替代光滤波器覆盖多个像素单元的第一像素单元中的多个像素的第一组像素和多个像素单元的第二像素单元中的多个像素的第二组像素两者。第一像素单元与第二像素单元相邻。针对单独的替代光滤波器的示例，请参见位置(0,0)、(0,1)处的像素单元。多个不同的单独的可见光颜色滤波器中的每个覆盖第一组像素和第二组像素中的不同像素。由多个单独的可见光颜色滤波器中的单独的可见光颜色滤波器覆盖的像素不同于由单独的替代光滤波器覆盖的像素。
帧定时器耦合到图像传感器以向图像传感器提供图像捕获时序信号。例如，帧定时器被配置为同时重置由多个不同的单独的可见光颜色滤波器中的一个覆盖的第一像素单元和第二像素单元中的像素。
如上所述，还可以使用共享像素单元以其它方式实现数据的合并以及可见光颜色滤波器阵列和替代滤波器阵列的组合的使用。例如，图8C是具有四路共享像素单元的CMOS图像传感器上的拜耳颜色滤波器阵列和替代光滤波器阵列(例如，高光谱滤波器阵列)的代表性部分和新颖帧定时器825C的图示。如上所述，拜耳颜色滤波器阵列是可见光颜色滤波器阵列的示例，并且拜耳颜色滤波器阵列的使用并不旨在将可见光颜色滤波器阵列限制到所描述的颜色滤波器的特定组合。另外，图8C是具有帧定时器825C和带有拜耳颜色滤波器阵列和替代光滤波器阵列的图像传感器821C的图像捕获单元的一部分的示例。图像传感器821C和帧定时器825C也是图像传感器321L和帧定时器325L、图像传感器321R和帧定时器325R、或图像传感器321和帧微调器325的示例。
图像传感器821C中的每个位置包括多个像素。在图8C中，仅示出了六个位置(0,0)、(0,1)、(0,2)、(1,0)、(1,1)、(1,2)，其中每个位置包括连接到共享列线的四个像素，共享列线是四路共享像素单元。图像传感器821C中未示出的其它位置以相应的方式布置。
在该示例中，在一对行中，替代的四路共享像素单元被可见光颜色滤波器阵列的一部分覆盖，并且替代的四路共享像素单元被替代光滤波器阵列的单独的替代光滤波器覆盖。如上所述，当可见光颜色滤波器阵列是拜耳颜色滤波器阵列时，四路共享像素单元中的像素被拜耳颜色滤波器阵列的一部分覆盖。具体地，被拜耳颜色滤波器阵列的红色滤波器R覆盖的像素被称为红色像素R。被拜耳颜色滤波器阵列的第一绿色滤波器Gr覆盖的像素被称为第一绿色像素Gr。被拜耳颜色滤波器阵列的第二绿色滤波器Gb覆盖的像素被称为第二绿色像素Gb。被拜耳颜色滤波器阵列的蓝色滤波器B覆盖的像素被称为蓝色像素B。当四路共享像素单元中的所有像素被可见光颜色滤波器阵列的一部分覆盖时，这些像素被称为可见光颜色过滤像素单元。
由替代光滤波器阵列的单独的替代光滤波器单元的一部分覆盖的四路共享像素单元中的像素由相同的附图标记Pj表示，其中j是整数，并且被称为替代光过滤像素单元。如上所述，在该示例中，每个单独的替代光滤波器覆盖图像传感器821B的四路共享像素单元中的所有像素。因此，在该示例中，位置(0,0)、(1,1)、(0,2)具有可见光颜色过滤像素单元，而位置(0,1)、(1,0)和(1,2)具有替代光过滤像素单元。
图像传感器821C的每个行驱动器连接到多行像素。在前面的示例中，每个行驱动器具有连接到一行像素的两条传输线。在该示例中，每个行驱动器具有连接到一行像素的四条传输线。因此，在该示例中，来自先前示例的行驱动器0和行驱动器1被组合成单个行驱动器0/1等。
第一传输线TXA_0将行驱动器0/1连接到图像传感器821C的第一行-行0-中的每个第一绿色像素Gr，例如，连接到从第一像素开始的第一行中的每一个第四(every fourth)像素。第二传输线TXB_0将行驱动器0/1连接到图像传感器821C的第一行中的每个蓝色像素B，例如，从第二像素开始的第一行中的每一个第四像素。第三传输线TXC_0将行驱动器0/1连接到图像传感器821C的第一行中的每个替代光过滤像素单元的每个第一替代光过滤像素Px-1(其中x在图8C中等于1到3)，例如，连接到从第三像素开始的第一行中的每一个第四像素。第四传输线TXD_0将行驱动器0/1连接到图像传感器821C的第一行中的每个替代光过滤像素单元的每个第二替代光过滤像素Px-2，例如，从第四像素开始的第一行中的每一个第四像素。
第五传输线TXA_1将行驱动器0/1连接到图像传感器821C的第二行-行1-中的每个红色像素R，例如，从第一像素开始的第二行中的每一个第四像素。第六传输线TXB_1将行驱动器0/1连接到图像传感器821C的第二行中的每个第二绿色像素Gb，例如，从第二像素开始的第二行中的每一个第四像素。第七传输线TXC_1将行驱动器0/1连接到图像传感器821C的第二行中的每个替代光过滤像素单元的每个第三替代光过滤像素Px-3(其中x在图8C中等于1到3)，例如，连接到从第三像素开始的第二行中的每一个第四像素。第八传输线TXD_1将行驱动器0/1连接到图像传感器821C的第二行中的每个替代光过滤像素单元的每个第四替代光过滤像素Px-4，例如，连接到从第四像素开始的第二行中的每一个第四像素。
第一重置线RESET_01将行驱动器0/1连接到在第一像素行和第二像素行中的每个位置处的共享列驱动器SHARED。第一选择线SELECT_01将行驱动器0/1连接到在第一像素行和第二像素行中的每个位置处的共享列驱动器SHARED。如上所述，在一个方面中，每个共享列驱动器SHARED是单个浮动扩散电荷存储节点。
关于行驱动器2/3，第一传输线TXA_2将行驱动器2/3连接到图像传感器821C的第三行-行2中的每个第一替代光过滤像素Px-1(其中在图8C中x等于1到3)，例如，连接到从第一像素开始的第三行中的每一个第四像素。第二传输线TXB_2将行驱动器2/3连接到图像传感器821C的第三行中的每个替代光过滤像素单元的每个第二替代光过滤像素Px-2，例如，连接到从第二像素开始的第三行中的每一个第四像素。第三传输线TX_2将行驱动器2/3连接到图像传感器821C的第三行中的每个可见光颜色过滤像素单元的每个第一绿色像素Gr，例如，连接到从第三像素开始的第三行中的每一个第四像素。第四传输线TXD_2将行驱动器2/3连接到图像传感器821C的第三行中的每个可见光颜色过滤像素单元的每个蓝色像素B，例如，连接到从第四像素开始的第三行中的每一个第四像素。
继续关于行驱动器2/3，第五传输线TXA_3将行驱动器2/3连接到图像传感器821C的第四行-行3-中的每个第三替代光过滤像素Px-3(其中在图8C中x等于1到3)，例如，连接到从第一像素开始的第四行中的每一个第四像素。第六传输线TXB_3将行驱动器2/3连接到图像传感器821C的第四行中的每个替代光过滤像素单元的每个第四替代光过滤像素Px-4，例如，连接到从第二像素开始的第四行中的每一个第四像素。第七传输线TXC_3将行驱动器2/3连接到图像传感器821C的第四行中的每个可见光颜色过滤像素单元的每个红色像素R，例如，连接到从第三像素开始的第四行中的每一个第四像素。第八传输线TXD_3将行驱动器2/3连接到图像传感器821C的第四行中的每个可见光颜色过滤像素单元的每个第二绿色像素Gb，例如，连接到从第四像素开始的第四行中的每一个第四像素。
第二重置线RESET_23将行驱动器2/3连接到在第三像素行和第四像素行中的每个位置处的共享列驱动器SHARED。第二选择线SELECT_23将行驱动器2/3连接到第三像素行和第四像素行中的每个位置处的共享列驱动器。行驱动器0/1和2/3的配置沿列向下重复，因此在图8C中未示出额外的行驱动器。
帧定时器825C通过多条线连接到图像传感器821A的行驱动器中的每个。在该示例中，该多条线包括二十一条线。
二十一条线中的十条线是行地址线ROW_ADDR<9,0>。行地址线ROW_ADDR<9,0>携带被帧定时器825C访问的行的地址。
二十一条线中的三条线是行选择线ROW_SELECT、重置设置线RST_SET和重置清除线RST_CLR。行选择线ROW_SELECT上的激活信号导致由行地址线ROW_ADDR<9,0>上的地址寻址的行驱动器在选择线上驱动激活信号。重置设置线RST_SET上的激活信号导致由行地址线ROW_ADDR<9,0>上的地址寻址的行驱动器在重置线上驱动激活信号。
重置清除线RST_CLR上的激活信号导致由行地址线ROW_ADDR<9,0>上的地址寻址的行驱动器在重置线上驱动非激活信号。
二十一条线中的四条线是传输设置线TX_SET<4,1>，二十一条线中的另外四条线是传输清除线TX_CLR<4,1>。传输设置线TX_SET<4,1>中的每一个通过行驱动器耦合到连接到被寻址的行驱动器的第一传输线、第二传输线、第三传输线和第四传输线中的不同的一个。
传输设置线TX_SET(1)上的激活信号导致由行地址线ROW_ADDR<9,0>上的地址寻址的行驱动器在第一传输线上驱动激活信号，对于其它传输设置线依此类推。传输清除线TX_CLR(1)上的激活信号导致由行地址线ROW_ADDR<9,0>上的地址寻址的行驱动器在第一传输线上驱动非激活信号，对于其它传输线依此类推。
在图像传感器821C中，需要四个传输门阶段/相位(phase)来在电荷域中两两地合并替代光过滤像素(其提供四倍的信号而不增加噪声)，并且以全分辨率(未合并)对所有可见光颜色过滤像素进行采样。如图8C所示，为了实现这一点，需要通过像素阵列为每个传输门运行重复的行线。为了有助于区分重复行线，在图8C中，这些线被标记为TXA_<row#>和TXB_<row#>。如上所述，阶段/相位A(由标签TXA_<row#>指示)转到从第一像素开始的行中的每一个第四像素，而阶段/相位B(由标签TXB_<row#>指示)转到从第二像素开始的行中的每一个第四像素，依此类推。在图8A的四路共享像素单元中，只有两个阶段/相位，并且每个阶段/相位的行线连接到交替像素。
当替代光过滤像素单元如图8C所示对角地在可见光颜色过滤单元之间交错，而不是如图8B所示被布置为两列颜色像素组、两列高光谱像素组、两列颜色像素组等时，对于合并的情况，奇数行对上的脉冲序列不同于偶数行对上的脉冲序列。因此，在图9C到图9F中呈现了不同的时序图，一个用于未合并的情况(图9C和图9E)和一个用于颜色信息是全分辨率但高光谱是两两合并的情况(图9D和图9F)。图9C和图9D示出偶数行对(0/1、4/5、8/9……)的时序序列并且图9E和图9F示出奇数行对(2/3、6/7、10/11……)的时序序列。对于未合并情况(图9C和图9E)，对于偶数行对和奇数行对，脉冲时序是相同的，但是对于合并的情况(图9D和图9F)，对于偶数行对和奇数行对，脉冲时序是不同的。
在合并的情况下，四路共享单元中的所有四个替代光过滤像素同时连接到共享列线，并且基于图9D和图9F的时序图以全分辨率读出颜色像素。在未合并的情况下，每个像素单独地被读取。
图10和图11示出了使用图3的立体图像捕获设备，利用双帧定时器逻辑电路和上述各种时序序列可以获得的一些组合。如上所述，立体图像捕获设备包括两个图像传感器，每个图像传感器捕获帧并且每个帧包括场景。
首先，当每个帧定时器实现每个图像传感器行具有相同曝光时间的卷帘快门时，获得正常立体场景1001。可替代性地，左场景和右场景1002可以具有不同的曝光时间。在这方面中，如图6所示，一个帧定时器实现具有第一曝光时间的卷帘快门，而另一个帧定时器实现具有第二不同曝光时间的卷帘快门。
通过多像素合并，所产生的两个场景中的一个是单色场景1003。用于具有拜耳颜色滤波器阵列的图像传感器的一个帧定时器使用卷帘快门并为图像传感器的行中的每个位置输出单个像素。每个位置是一行，包括多个拜耳像素。例如，参见图8A和图9A。
不同的曝光时间和多像素合并可以被组合以产生具有不同曝光时间的场景，并且其中一个场景是单色场景1104。
在图10的示例中，使用立体图像捕获设备。然而，如图11所示，还可以使用图7的图像捕获设备来实现上述帧定时器时序序列的各种组合，图7的图像捕获设备具有单个帧定时器逻辑电路和单个图像传感器。首先，当帧定时器实现每个图像传感器行具有相同曝光时间的卷帘快门时，获得正常场景1101。
通过多像素合并，所产生的场景是单色场景1102。用于具有拜耳颜色滤波器阵列的图像传感器的帧定时器使用卷帘快门，并且为图像传感器的行中的每个位置输出单个像素。每个位置是一行，包括多个拜耳像素。例如，参见图8A和图9A。
在本文中，计算机程序产品包括被配置为存储本文所述的方法的任何一个或任何组合所需的计算机可读代码的介质，或者包括其中存储用于方法的任何一个或任何组合的计算机可读代码的介质。计算机程序产品的一些示例是CD-ROM光盘、DVD光盘、闪存、ROM卡、软盘、磁带、计算机硬盘驱动器、网络上的服务器以及通过网络传输的表示计算机可读程序代码的信号。一种有形的非暂时性计算机程序产品包括介质，该介质被配置为存储用于本文所述的方法中的任何一种或方法的任何组合的计算机可读指令，或者其中存储用于该方法中的任何一种或方法的任何组合的计算机可读指令。有形的非暂时性计算机程序产品有CD-ROM光盘、DVD光盘、闪存、ROM卡、软盘、磁带、计算机硬盘驱动器和其它物理存储介质。
鉴于本公开，可以使用用户感兴趣的操作系统和计算机编程语言在各种各样的计算机系统配置中实现在本文所描述的方法的任何一种或任何组合中使用的指令。
如本文所用的，“第一”、“第二”、“第三”等是用来区分不同部件或元件的形容词。因此，“第一”、“第二”和“第三”并不旨在暗示部件或元件的任何顺序，也不旨在暗示部件或元件的任何总数。
说明本发明的各方面和实施例的上述说明和附图不应被视为限制性的-权利要求对受保护发明进行限定。在不脱离本说明书和权利要求书的精神和范围的情况下，可以进行各种机械、组成、结构、电气和操作改变。在一些实例中，未详细示出或描述众所周知电路、结构和技术以避免混淆本发明。
此外，本说明书的术语并不旨在限制本发明。例如，空间相对术语——例如“下面”、“下方”、“下部”、“上方”、“上部”、“近侧”、“远侧”等——可以用于描述如附图中所示的一个元件或特征与另一个元件或特征的关系。除了附图中所示的方位和取向之外，这些空间相对术语旨在涵盖装置在使用或操作中的不同方位(即位置)和取向(即旋转放置)。例如，如果附图中的设备被翻转，则被描述为在其它元件或特征“下方”或“下面”的元件将然后是在所述其它元件或特征“上方”或“上面”。因此，示例性术语“下方”能够涵盖上方和下方的方位和取向两者。设备可以以其它方式被取向(旋转90度或以其它取向旋转)并且本文使用的空间相对描述符被相应地解释。同样地，沿着和围绕各种轴线的移动的描述包括各种特殊设备方位和取向。
除非上下文另有指示，否则单数形式“一”、“一个”和“该/所述”旨在也包括复数形式。术语“包含”、“包括”等指定所述特征、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、步骤、操作、元件、部件和/或组的存在或添加。被描述为耦合的部件可以被电或机械直接耦合，或者它们可以通过一个或多个中间部件被间接耦合。
所有示例和说明性引用都是非限制性的，并且不应该用于将权利要求限制到本文所描述的特定实施方式和实施例及其等效物。任何标题仅用于格式化，并且不应该用于以任何方式限制主题，因为一个标题下的文本可能与一个或多个标题下的文本交叉引用或适用于一个或多个标题下的文本。最后，鉴于本公开，关于一个方面或实施例所描述的特定特征可以应用于其它公开。

Claims (18)

1.一种图像捕获设备，包括：
第一图像传感器，其包括第一多行像素；
第二图像传感器，其包括第二多行像素；
第一帧定时器，其耦合到所述第一图像传感器以向所述第一图像传感器提供图像捕获时序信号，以使所述第一图像传感器以第一帧速率捕获像素数据的第一多个帧；以及
第二帧定时器，其耦合到所述第二图像传感器以向所述第二图像传感器提供图像捕获时序信号，以使所述第二图像传感器以不同于所述第一帧速率的第二帧速率捕获像素数据的第二多个帧；
其中所述第一多行像素包括多个像素单元，所述多个像素单元中的每个像素单元包括多个像素；以及
所述第一图像传感器还包括：
可见光颜色滤波器阵列，其包括多个不同的单独的可见光颜色滤波器；以及
替代光滤波器阵列，其包括多个单独的替代光滤波器，所述多个单独的替代光滤波器中的一个单独的替代光滤波器覆盖所述多个像素单元的第一像素单元中的多个像素的第一组像素和所述多个像素单元的第二像素单元中的多个像素的第二组像素两者，所述第一像素单元与所述第二像素单元相邻；
所述多个不同的单独的可见光颜色滤波器中的每个可见光颜色滤波器覆盖所述第一组像素和所述第二组像素中的不同像素，由所述多个不同的单独的颜色滤波器的单独的可见光颜色滤波器覆盖的像素不同于由所述单独的替代光滤波器覆盖的像素。
2.根据权利要求1所述的图像捕获设备：
由所述第一帧定时器提供的所述图像捕获时序信号被配置为使所述第一图像传感器捕获像素数据的N个帧，其中N大于一；以及
由所述第二帧定时器提供的所述图像捕获时序信号被配置为使所述第二图像传感器捕获像素数据的仅单个帧，同时所述第一图像传感器捕获所述N个帧。
3.根据权利要求1所述的图像捕获设备：
所述第一帧定时器被配置为针对第一曝光时间曝光所述第一多行像素中的每一行；
所述第二帧定时器被配置为针对第二曝光时间曝光所述第二多行像素中的每一行；以及
所述第一曝光时间与所述第二曝光时间不同。
4.根据权利要求1所述的图像捕获设备：
所述第一图像传感器包括拜耳颜色滤波器阵列，其中所述第一图像传感器的所述第一多行像素的每个位置包括一组拜耳像素；以及
所述第一帧定时器被配置为将行中的每组拜耳像素进行组合以形成单个输出像素。
5.根据权利要求4所述的图像捕获设备：
所述第一帧定时器被配置为针对第一曝光时间曝光所述第一多行像素中的每一行；
所述第二帧定时器被配置为针对第二曝光时间曝光所述第二多行像素中的每一行；以及
所述第一曝光时间与所述第二曝光时间不同。
6.根据权利要求1所述的图像捕获设备：
所述第一帧定时器被配置为同时重置由所述不同的单独的可见光颜色滤波器中的一个覆盖的所述第一像素单元和所述第二像素单元中的像素。
7.根据权利要求1所述的图像捕获设备：
所述第一帧定时器被配置为同时读取由所述多个不同的单独的可见光颜色滤波器中的一个覆盖的所述第一像素单元的第一像素和由所述多个不同的单独的可见光颜色滤波器中的一个覆盖的所述第二像素单元的第二像素。
8.根据权利要求1所述的图像捕获设备：
所述第一帧定时器被配置为同时读取所述多个像素单元的第一像素单元中的所述多个像素的第一组像素中的第一像素和所述多个像素单元的第二像素单元中的多个像素的第二组像素中的第二像素。
9.根据权利要求8所述的图像捕获设备，其中所述图像捕获设备被配置为将第一读取像素和第二读取像素合并。
10.根据权利要求1所述的图像捕获设备：
所述第一图像传感器还包括：
多个可见光颜色过滤单元，其与多个替代光过滤像素单元交错。
11.一种方法，包括：
向图像捕获设备的第一图像传感器提供第一图像捕获时序信号，以使所述第一图像传感器以第一帧速率捕获像素数据的第一多个帧；以及
向图像捕获设备的第二图像传感器提供第二图像捕获时序信号，以使所述第二图像传感器以不同于所述第一帧速率的第二帧速率捕获像素数据的第二多个帧；
其中所述第一图像传感器包括第一多行像素；
所述第一多行像素包括多个像素单元，所述多个像素单元中的每个像素单元包括多个像素；以及
所述第一图像传感器还包括：
可见光颜色滤波器阵列，其包括多个不同的单独的可见光颜色滤波器；以及
替代光滤波器阵列，其包括多个单独的替代光滤波器，所述多个单独的替代光滤波器中的一个单独的替代光滤波器覆盖所述多个像素单元的第一像素单元中的多个像素的第一组像素和所述多个像素单元的第二像素单元中的多个像素的第二组像素两者，所述第一像素单元与所述第二像素单元相邻；
所述多个不同的单独的可见光颜色滤波器中的每个可见光颜色滤波器覆盖所述第一组像素和所述第二组像素中的不同像素，由所述多个不同的单独的颜色滤波器的单独的可见光颜色滤波器覆盖的像素不同于由所述单独的替代光滤波器覆盖的像素。
12.根据权利要求11所述的方法，其中：
所述第一图像捕获时序信号被配置为使所述第一图像传感器捕获像素数据的N个帧，其中N大于一；以及
所述第二图像捕获时序信号被配置为使所述第二图像传感器捕获像素数据的仅单个帧，同时所述第一图像传感器捕获所述N个帧。
13.根据权利要求11所述的方法，其中：
所述第一图像传感器包括第一多行像素；
所述第二图像传感器包括第二多行像素；
所述第一图像捕获时序信号被配置为针对第一曝光时间曝光所述第一多行像素中的每一行；
所述第二图像捕获时序信号被配置为针对第二曝光时间曝光所述第二多行像素中的每一行；以及
所述第一曝光时间与所述第二曝光时间不同。
14.根据权利要求11所述的方法，其中：
所述第一图像传感器包括第一多行像素；
所述第二图像传感器包括第二多行像素；
所述第一图像传感器包括拜耳颜色滤波器阵列，其中所述第一图像传感器的所述第一多行像素的每个位置包括一组拜耳像素；以及
所述方法还包括将每组拜耳像素组合成一行以形成单个输出像素。
15.根据权利要求14所述的方法，其中：
所述第一图像捕获时序信号被配置为针对第一曝光时间曝光所述第一多行像素中的每一行；
所述第二图像捕获时序信号被配置为针对第二曝光时间曝光所述第二多行像素中的每一行；以及
所述第一曝光时间与所述第二曝光时间不同。
16.根据权利要求12所述的方法，其还包括同时重置由所述不同的单独的可见光颜色滤波器中的一个覆盖的所述第一像素单元和所述第二像素单元中的像素。
17.一种控制器，包括：
处理器；和
存储器，其存储可执行指令，所述指令在由处理器执行时使所述控制器执行以下操作：
向图像捕获设备的第一图像传感器提供第一图像捕获时序信号，以使所述第一图像传感器以第一帧速率捕获像素数据的第一多个帧；以及
向所述图像捕获设备的第二图像传感器提供第二图像捕获时序信号，以使所述第二图像传感器以不同于所述第一帧速率的第二帧速率捕获像素数据的第二多个帧；
其中所述第一图像传感器包括第一多行像素；
所述第一多行像素包括多个像素单元，所述多个像素单元中的每个像素单元包括多个像素；以及
所述第一图像传感器还包括：
可见光颜色滤波器阵列，其包括多个不同的单独的可见光颜色滤波器；以及
替代光滤波器阵列，其包括多个单独的替代光滤波器，所述多个单独的替代光滤波器中的一个单独的替代光滤波器覆盖所述多个像素单元的第一像素单元中的多个像素的第一组像素和所述多个像素单元的第二像素单元中的多个像素的第二组像素两者，所述第一像素单元与所述第二像素单元相邻；
所述多个不同的单独的可见光颜色滤波器中的每个可见光颜色滤波器覆盖所述第一组像素和所述第二组像素中的不同像素，由所述多个不同的单独的颜色滤波器的单独的可见光颜色滤波器覆盖的像素不同于由所述单独的替代光滤波器覆盖的像素。
18.根据权利要求17所述的控制器：
所述第一图像捕获时序信号被配置为使所述第一图像传感器捕获像素数据的N个帧，其中N大于一；以及
所述第二图像捕获时序信号被配置为使所述第二图像传感器捕获像素数据的仅单个帧，同时所述第一图像传感器捕获所述N个帧。
CN201980072709.3A 2018-09-18 2019-09-17 用于增强的图像传感器定时的方法和系统 Active CN112956189B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311384841.2A CN117459845A (zh) 2018-09-18 2019-09-17 用于增强的图像传感器定时的方法和系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862732718P 2018-09-18 2018-09-18
US62/732,718 2018-09-18
PCT/US2019/051593 WO2020061104A1 (en) 2018-09-18 2019-09-17 Method and system for enhanced image sensor timing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311384841.2A Division CN117459845A (zh) 2018-09-18 2019-09-17 用于增强的图像传感器定时的方法和系统

Publications (2)

Publication Number Publication Date
CN112956189A CN112956189A (zh) 2021-06-11
CN112956189B true CN112956189B (zh) 2023-11-14

Family

ID=68104770

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980072709.3A Active CN112956189B (zh) 2018-09-18 2019-09-17 用于增强的图像传感器定时的方法和系统
CN202311384841.2A Pending CN117459845A (zh) 2018-09-18 2019-09-17 用于增强的图像传感器定时的方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311384841.2A Pending CN117459845A (zh) 2018-09-18 2019-09-17 用于增强的图像传感器定时的方法和系统

Country Status (5)

Country Link
US (2) US11671581B2 (zh)
EP (1) EP3854075A1 (zh)
JP (2) JP7495411B2 (zh)
CN (2) CN112956189B (zh)
WO (1) WO2020061104A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020118814A1 (de) 2020-07-16 2022-01-20 avateramedical GmBH Stereoendoskop
WO2023171470A1 (ja) * 2022-03-11 2023-09-14 パナソニックＩｐマネジメント株式会社 光検出装置、光検出システム、およびフィルタアレイ
US12238265B2 (en) 2022-12-12 2025-02-25 Cilag Gmbh International Optical filter for improved multispectral imaging performance in stereo camera

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015142800A1 (en) * 2014-03-17 2015-09-24 Intuitive Surgical Operations, Inc. Surgical system including a non-white light general illuminator

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6331181B1 (en) 1998-12-08 2001-12-18 Intuitive Surgical, Inc. Surgical robotic tools, data architecture, and use
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US7967813B2 (en) 2006-06-13 2011-06-28 Intuitive Surgical Operations, Inc. Surgical instrument control and actuation
US7978239B2 (en) 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
EP3876510B1 (en) * 2008-05-20 2024-08-28 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5098831B2 (ja) * 2008-06-06 2012-12-12 ソニー株式会社 固体撮像素子およびカメラシステム
JP5545612B2 (ja) * 2009-01-14 2014-07-09 富士フイルム株式会社 画像処理システム、画像処理方法、及びプログラム
JP5434761B2 (ja) * 2010-04-08 2014-03-05 株式会社ニコン 撮像デバイスおよび撮像装置
JP2012244312A (ja) * 2011-05-18 2012-12-10 Panasonic Corp 撮像方法及び撮像装置
JP2012253531A (ja) * 2011-06-02 2012-12-20 Sony Corp 撮像装置、撮像方法および画像処理装置
JP5701707B2 (ja) * 2011-07-25 2015-04-15 株式会社ソニー・コンピュータエンタテインメント 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
JP6031670B2 (ja) * 2011-12-09 2016-11-24 パナソニックＩｐマネジメント株式会社 撮像装置
EP2946336B1 (en) * 2013-01-15 2023-06-21 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
JP2014238731A (ja) * 2013-06-07 2014-12-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理システム、および画像処理方法
JP6204608B2 (ja) * 2014-03-05 2017-09-27 シック アイヴィピー エービー 物体の３ｄ特性に関する画像データおよび情報を提供するための画像感知デバイスおよび測定システム
US9615013B2 (en) * 2014-12-22 2017-04-04 Google Inc. Image sensor having multiple output ports
JP2016143915A (ja) * 2015-01-29 2016-08-08 オリンパス株式会社 撮像装置、撮像システム撮像方法およびプログラム
KR102348760B1 (ko) * 2015-07-24 2022-01-07 삼성전자주식회사 이미지 센서 및 그에 따른 신호 처리 방법
US20180188427A1 (en) * 2016-12-29 2018-07-05 Uber Technologies, Inc. Color Filter Array for Image Capture Device
US10917543B2 (en) * 2017-04-24 2021-02-09 Alcon Inc. Stereoscopic visualization camera and integrated robotics platform

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015142800A1 (en) * 2014-03-17 2015-09-24 Intuitive Surgical Operations, Inc. Surgical system including a non-white light general illuminator

Also Published As

Publication number Publication date
WO2020061104A1 (en) 2020-03-26
US20230254469A1 (en) 2023-08-10
US20210360221A1 (en) 2021-11-18
US11671581B2 (en) 2023-06-06
JP2024138236A (ja) 2024-10-08
CN112956189A (zh) 2021-06-11
CN117459845A (zh) 2024-01-26
EP3854075A1 (en) 2021-07-28
JP2022501981A (ja) 2022-01-06
JP7495411B2 (ja) 2024-06-04

Similar Documents

Publication Publication Date Title
US20210361152A1 (en) Continuous video in a light deficient environment
US20230254469A1 (en) Method and system for enhanced image sensor timing
JP2025000876A (ja) 光不足環境におけるハイパースペクトル撮像
CN111565621B (zh) 用于内窥镜的时间相关的源调制
US9326664B2 (en) Endoscope apparatus
CN104619237B (zh) 光不足环境中的ycbcr脉冲调制的照明方案
US10159404B2 (en) Endoscope apparatus
JP5899172B2 (ja) 内視鏡装置
CN103260499B (zh) 摄像装置
WO2016129062A1 (ja) 画像処理装置、内視鏡システム、撮像装置、画像処理方法およびプログラム
JPWO2013146311A1 (ja) 撮像装置、及びこれを備える内視鏡装置
CN114175609A (zh) 缺光环境中的超光谱成像
JP7219208B2 (ja) 内視鏡装置
JP2017131559A (ja) 医療用撮像装置、医療用画像取得システム及び内視鏡装置
WO2019069414A1 (ja) 内視鏡装置、画像処理方法およびプログラム
JP2015119762A (ja) 撮像システム、及び内視鏡装置
JP6190906B2 (ja) 撮像モジュール、及び内視鏡装置
JP6277138B2 (ja) 内視鏡システム及びその作動方法
US20190307320A1 (en) Image pickup apparatus, endoscope and endoscope system
JP2016101331A (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant