CN105981363B - 成像模块以及成像装置 - Google Patents
成像模块以及成像装置 Download PDFInfo
- Publication number
- CN105981363B CN105981363B CN201580008026.3A CN201580008026A CN105981363B CN 105981363 B CN105981363 B CN 105981363B CN 201580008026 A CN201580008026 A CN 201580008026A CN 105981363 B CN105981363 B CN 105981363B
- Authority
- CN
- China
- Prior art keywords
- spatial light
- modulation element
- light modulation
- spatial
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/004—Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B11/00—Filters or other obturators specially adapted for photographic purposes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/02—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the intensity of light
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour
- G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour based on liquid crystals, e.g. single liquid crystal display cells
- G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
- G02F1/13306—Circuit arrangements or driving methods for the control of single liquid crystal cells
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F2/00—Demodulating light; Transferring the modulation of modulated light; Frequency-changing of light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/51—Housings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
- G02B2207/129—Coded aperture imaging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Nonlinear Science (AREA)
- Mathematical Physics (AREA)
- Chemical & Material Sciences (AREA)
- Crystallography & Structural Chemistry (AREA)
- Studio Devices (AREA)
- Blocking Light For Cameras (AREA)
- Liquid Crystal (AREA)
Abstract
成像模块具有:空间光调制元件,其将空间调制应用于入射的光通量并发射该光通量;图像传感器,其获取已经由空间光调制元件应用了空间调制的光通量作为图像信息;和固定构件,其整体地固定该空间光调制元件和该图像传感器,并且该固定构件具有间隙限定构件,该间隙限定构件布置在该空间光调制元件和该图像传感器之间,并且形成具有一定距离的间隙结构,以及一种成像装置包括该成像模块。
Description
技术领域
本发明涉及使用编码孔径(coded-aperture)成像的成像模块以及成像装置。
背景技术
由相机所表示的成像装置被广泛用于欣赏摄影的拍摄、工业测量/对象识别系统、车辆的风险检测、犯罪预防监视系统等。在这些使用形式中,经常不仅需要获取拍摄对象的图像,而且需要获取诸如距离、视野方向等的空间信息。
作为通过使用图像传感器和编码孔径图案而使得能够获取空间信息的技术,已知一种技术,其中通过进行基于傅立叶变换的解码处理来获取关于空间和入射到图像传感器的光通量的入射角的信息(例如,参见日本专利申请公开号2008-191661)。
另外,通过使用重新构造的或活动的空间光调制元件作为编码孔径图案,已知一种技术,其中通过进行解码处理,从通过多种类型的编码孔径图案而成像的图像改善图像质量(例如,参见日本专利申请公开号2008-542863)。
此外,已经提出液晶元件或替代技术等作为用作这样的空间光调制元件的元件(例如,参见日本专利申请公开号2005-316321、2005-316316以及Beni,G.和Hackwood,S.,‘Appl.Phys.Lett.第38卷,第4期’,第207-209页,美国,1981年)。
发明内容
然而,在使用传统的编码孔径成像技术和编码孔径图案的成像装置中,图像传感器和编码孔径图案被单独布置,并且必须在光路中提供编码孔径图案。另外,在安装上出现的问题是,成像装置的尺寸增加,在诸如可移动镜等的光学部件之间的安装位置的冲突等出现,编码孔径图案和图像传感器之间的布置位置需要高准确度,难以处理诸如透镜等光学系统的改变,等等。
本发明的一个目标是提供一种成像装置,在该成像装置中,通过使用其中集成了图像传感器和通过编码孔径图案将空间调制应用于图像的空间调制元件的成像模块,图像传感器和编码孔径图案之间的距离短,并且图像传感器和编码孔径图案以高准确度布置。
为了解决上述问题,本发明的一个实施例提供一种成像模块,其包括:空间光调制元件,该空间光调制元件将空间调制应用于入射的光通量并发射该光通量;图像传感器,该图像传感器获取已经由空间光调制元件应用了空间调制的光通量作为图像信息;和固定部件,该固定部件整体地固定该空间光调制元件和该图像传感器,其中该固定部件具有间隙限定构件,该间隙限定构件布置在该空间光调制元件和该图像传感器之间并且形成具有一定距离的间隙结构,并且提供了一种成像装置,其包括上述成像模块。
附图说明
图1是示出本发明实施例中的成像装置和成像模块的整体结构的一个示例的示意图。
图2是示出本发明实施例中的成像模块的结构的一个示例的示意图。
图3是示出本发明实施例中的成像装置的优化器的操作的一个示例的示意图。
图4是示出本发明实施例中的成像装置的元件驱动器的操作的一个示例的示意图。
图5是示出本发明实施例中的成像模块的结构的第一修改示例的示意图。
图6是示出本发明实施例中具有光导路径元件的成像模块和成像装置的结构的一个示例的示意图。
图7是示出本发明实施例中的成像模块的结构的第二修改示例的示意图。
图8是示出本发明实施例中的成像模块的结构的第三修改示例的示意图。
图9是示出本发明实施例中的成像模块的结构的第四修改示例的示意图。
图10是示出本发明实施例中的成像模块的结构的第五修改示例的示意图。
具体实施方式
本实施例中的图1所示的成像装置具有获取图像的成像模块2、进行成像并朝向成像模块2发射入射的光通量的图像形成光学系统3和从图像形成光学系统3选择光路径的反光镜(mirror)4。
成像装置1还具有确认视野的取景器6、从反光镜4偏转光到取景器6的偏转元件5、确定曝光时间的快门8和控制这些构件的控制器9。
除了成像模块2以外的以上结构与普通的单镜头反射相机相同;然而,该结构可以是所谓的无反光镜单镜头反射照相机的结构,在该结构中,去除了取景器6和反光镜4,而是包括了液晶监视器。
将参照图2说明成像模块2的结构。
成像模块2具有空间光调制元件21、图像传感器22和固定部件23,空间光模块元件21向入射的光通量应用空间调制并发射该光通量,图像传感器22获取已经被应用了空间调制的光通量作为图像信息,固定部件23整体地固定空间光调制元件21和图像传感器22。
成像模块2还具有接线25和逻辑电路13,接线25电连接空间光调制元件21和图像传感器22,逻辑电路13处理来自控制器9的信号。
空间光调制元件21是透射液晶装置,并通过控制器9改变在每个位置处的透射率来将空间调制应用于入射的光通量,以形成编码孔径图案,换句话说,马赛克(mosaic)图案。
图像传感器22是使用CCD(电荷耦合器件)作为光检测器阵列的图像传感器——该光检测器阵列是成像平面,并获取已经由空间光调制元件21应用了空间调制的光通量作为图像信息。在图像传感器22上,布置光检测器阵列28,在光检测器阵列28中并排布置多个光电二极管作为光检测器,该光检测器是光接收元件。图像传感器22将入射到成像平面的诸如光通量的强度等的信息转换为电信号。这里,使用CCD;然而,如果图像传感器能够获取图像信息,则可以使用CMOS(互补金属氧化物半导体)等。
固定部件23具有间隙限定构件24,间隙限定构件24被布置在空间光调制元件21和图像传感器22之间,并形成具有一定距离的间隙结构。
固定部件23以一定距离并行固定空间光调制元件21和图像传感器22。这里,固定部件23可以是使用诸如螺钉等的固定构件、使用粘合剂等、或者通过其将光调制元件21和图像传感器22整体地形成的固定部件。
在本实施例中,间隙限定构件24为Si基板,在Si基板中提供空间,并且间隙限定构件24具有作为固定部件23的功能。间隙限定构件24与空间光调制元件21和图像传感器22的至少一个接触,并且通过Si基板的开口和厚度,形成小于或等于几毫米的空结构,优选小于或等于1mm换句话说,形成在空间光调制元件21和图像传感器22之间的间隙结构。这里,间隙限定构件24为具有开口的Si基板;然而,可以使用诸如玻璃材料的透明材料或诸如散珠(bead-dispersed)玻璃熔块材料的接合材料。在透明材料被用作间隙限定构件24的情况下,由于光通量的传递不受阻挡,间隙结构不需要是空结构,并且作为空间光调制元件21和图像传感器22之间的距离的间隙距离由透明材料的厚度来控制。通过使用线键合(bonding)形成接线25。
接线25可以是贯穿接线26,其穿透空间光调制元件21和图像传感器22中的至少一个并且电连接空间光调制元件21和图像传感器22。贯穿接线26将在后面详细说明。
逻辑电路13用作根据来自控制器9的电信号而操作的空间调制图案生成辅助装置或控制辅助装置。
图像形成光学系统3具有图像形成透镜组30,图像形成透镜组30包括至少一个或多个透镜以及孔径7,该至少一个或多个透镜被布置以便在图像传感器22上形成图像,孔径7调整入射光量。图像形成光学系统3被布置为使得入射到成像装置1的光通量在图像传感器22上形成图像。换句话说,图像形成光学系统3被布置在成像模块2的在光轴的方向上的上游侧,使得焦点位于图像传感器22上。
入射到成像装置1的光通量通过图像形成透镜组30被偏转以在图像传感器22上形成图像,并且光量通过穿过孔径7而被调整。
在不进行拍摄时,穿过图像形成光学系统3的光通量由反光镜4反射,并且经由偏转元件5被引导到取景器6。当进行拍摄时,反光镜4操作,以便通过来自图像形成光学系统3的光通量。从而,反光镜4操作为可移动反光镜,其为光路选择装置。
由空间光调制元件21将空间调制应用于穿过反光镜4并入射到空间光调制元件21的光通量。
作为元件驱动器的控制器9通过使用空间透射率分布来控制空间光调制元件21的透射率分布,在该空间透射率分布中多个周期不同的正弦波形被叠加。
在下文中,其中可以控制该透过率分布的最小单位被称为单元。
空间光调制元件21通过根据来自作为元件驱动器的控制器9的电信号、换言之周期性调制信号而改变元件上的每个单元中的透射率来形成编码孔径图案。
即,空间光调制元件21通过周期性地改变元件上每个单元的透射率将空间调制应用于穿过空间光调制元件21的光通量。
此时,作为元件驱动器的控制器9用作空间光调制图案生成装置。
在与正弦波形的周期对应的空间频率位置处通过使用这样的空间透射率分布来形成编码孔径图案的情况下,即,在进行傅里叶变换的情况下在水平轴上,图像本身具有的有限空间频带的频谱分布以卷积形式被复制。
即,拍摄对象的空间频率的频谱分布以多达正弦波形的周期的数量在空间频率的轴上被复制。这里,通过取决于正弦波形频率的幅度而与角度分量的频率信息混合,视场角分区(division)是可能的(例如,参见Beni,G.和Hackwood,S.,‘Appl.Phys.Lett.第38卷,第4期’,第207-209页,美国,1981年)。
这里,在与相邻正弦波形的周期对应的空间频率的间隔(interval)比拍摄对象的空间频带更窄的情况下,发生混叠(aliasing),其中空间频率的高频率分量干扰低频率分量。结果,发生视场角被划分的图像的劣化、恢复的图像中的噪声的叠加等。为了防止这些,必须将获取的图像信息具有的空间频带与被给予空间光调制元件21的正弦波形的周期以近似不会发生混叠的程度而区分。
因此防止混叠的处理流程将参照图3来说明。
这里,在本实施例中,图像特征分析装置、空间光调制图案生成装置、图像质量确定装置和解码处理装置12中的每个为控制器9的功能。
首先,关于没有空间调制的情况或进行一定空间调制的情况,控制器9获取初始图像(步骤S1)。
初始图像的空间频带由作为图像特征分析装置的控制器9来分析。控制器9通过分析初始图像的空间频带来确定应用于空间光调制元件21的正弦波形的必要的频率(步骤S2)。
然后,作为空间光调制图案计算装置或空间光调制图案生成装置的控制器9基于在上述处理中获取的正弦波形的频率来计算和生成空间光调制图案(步骤S3)。此时,控制器9具有作为编码孔径图案计算装置或编码孔径图案生成装置的功能。基于在步骤S3中获取的空间光调制图案,作为元件驱动器的控制器9改变空间光调制元件21的透射率,并再次获取图像信息(步骤S4)。
此外,作为图像质量确定装置的控制器9确定所获取的图像信息的图像质量是否足够良好,换言之,确定所获取的图像信息的空间光频率是否在不会发生混叠的条件下(步骤S5)。在确定不足够的情况下,处理返回到步骤S2,进行空间频率的分析,并且重复与以上相同的处理,即,通过反馈机制将图像质量优化到不会发生混叠的条件。在完成图像质量的优化时,获取期望的空间信息,在这种情况下是视场角被划分的图像信息(步骤S6)。
通过检测图像传感器22,已经被应用了空间调制的光通量被识别为图像信息。该图像信息包括关于通过根据周期调制信号而被施加有空间调制的光通量已经穿过在空间光调制元件21上的哪个单元和在何时穿过的信息。
即,从图像信息和已经检测到图像信息的图像传感器22上的位置,获取由图像传感器22检测到的光通量的角度信息,换言之,光通量的方向分量的信息。
从这样获取的图像信息中通过使用解码处理装置12来去除空间调制并重构图像而无需诸如提供多个图像装置等的特殊装置结构,并且获取包括诸如距离、方向等的空间信息的图像。
在本实施例中,图像中包括的具体拍摄对象被取作目标,并且距离分辨率被优化,这使得能够获取到拍摄对象的距离信息。
关于获取这样的空间信息、获取距离信息的方法,作为示例将参照图4进行说明。
注意,将适当地省略从其中视场角被划分的多个图像计算视差信息的方法的详细说明。
首先,作为空间光调制生成装置的控制器9生成任意的空间光调制图案(步骤S21)。控制器9通过使用在步骤S21中生成的任意空间光调制图案来获取图像(步骤S22),并且提取其中视场角被划分的多个图像信息(步骤S23)。接着,作为距离分辨率确定装置的控制器9(其作为图像特征分析装置)分析其中视场角被划分的图像信息,并且计算关于拍摄对象的局部位置的距离信息,该拍摄对象为图像中的具体目标(步骤S24)。通过使用在步骤S24中计算的距离信息,作为距离信息确定装置的控制器9确定在所获取的图像中是否获取了期望的分辨率(步骤S25)。在所获取的图像的分辨率是不足够的情况下,作为空间光调制图案生成装置的控制器9再次计算构成空间光调制图案的正弦波形的周期(步骤S26)。通过基于在步骤S26中计算的空间光调制图案来改变视场角分区分辨率,控制器9再次生成空间光调制图案并且获取新的图像(步骤S27)。距离分辨率由形成这样的反馈回路的距离分辨率优化机制来优化,并且最终获取适合于作为目标的拍摄对象的距离图像(步骤S28)。
此时,由成像模块2获取的光通量的角度信息和所获取的图像信息的观看角度的分辨率由图像传感器22的尺寸、空间光调制元件21的每个单元的尺寸和在图像传感器22与空间光调制元件21之间的距离即间隙距离来确定。
然而,在传统的技术中,编码孔径图案和光检测阵列各自独立地布置和控制,并且难以相邻地布置它们。此外,在使用主动改变诸如液晶元件的图案的结构作为编码孔径图案的情况下,电连接对液晶元件是重要的;然而,通过诸如线键合等已知的方法,存在破损的可能性,并且关于安装的问题没有解决。当间隙距离比较大时,这样的问题不被认为是问题。
相应地,在本发明的本实施例中的成像模块2中,固定部件23整体地固定空间光调制元件21和图像传感器22,并且具有间隙限定构件24,该间隙限定构件24被布置在空间光调制元件21和图像传感器22之间,以形成具有一定距离的间隙结构。
通过这样的结构,空间光调制元件21和图像传感器22被集成并进行模块化,因此,间隙距离被缩短,图像传感器22和空间光调制元件21的位置以高精确度被调整,并且获取具有高角度分辨率和高精确度的图像信息。
在本实施例中的空间光调制元件21形成周期性改变透射率的重构的编码孔径图案,并且高频信号被用于这样的控制。通常,在使用高频信号的电路中,接线的长度优选为短的,以抑制噪声或信号损失。
作为空间光调制元件21,使用透射液晶装置,因此,能够直接使用在市场上可得的装置或控制器,并且除了上述效果以外,还降低了成本,并且获取包括空间信息的图像信息。
此外,除了液晶装置以外,空间光调制元件21也可以是湿毛细管(wet capillary)类型空间光调制元件21(例如,参见日本专利申请公开号2005-31632和2005-316316,以及Beni,G.和Hackwood,S.,‘Appl.Phys.Lett.第38卷,第4期’,第207-209页,美国,1981年)。
湿毛细管类型空间光调制元件21具有能够储存液体的微孔结构体和透射率控制装置,该透射率控制装置通过电信号调整微孔结构体中的液体量,并且控制光的透射率。
通过这样的结构,由入射的光通量照射的整个区域由透明材料构成,因此,位于空间光调制元件21下方的图像传感器22上的光接收元件都是可用的,并且以较高分辨率获取图像或包括空间信息的图像信息。
此外,在需要高精确度的测量中,关于水平位置、旋转、平行度等的空间光调制元件21和图像传感器22的定位优选地以像素大小的量级的精确度来进行。
如果使用湿毛细管类型空间光调制元件21,在半导体工艺中能够产生所有的空间光调制元件21、图像传感器22和间隙限定构件24,因此,很容易整体地形成成像模块2,而不使用粘合剂等。通过这样的结构,以像素大小的量级的精确度的定位是可能的,因此,与通过使用粘合剂等集成空间光调制元件21和图像传感器22的情况相比,能够以较高精度和较高分辨率获取图像信息。
维持在空间光调制元件21和图像传感器22之间的一定距离,空间光调制元件21和图像传感器22被集成和固定,并且通过接线25进行电气接线,因此,成像模块2获取包括具有较高分辨率和/或较高精度的空间信息的图像信息,而没有由于安装方式导致的任何限制。
在本实施例中的成像装置1具有作为元件驱动器的控制器9和解码处理装置12,控制器9驱动空间光调制元件以周期性地改变调制,解码处理装置12从图像信息中去除调制并且重构图像。通过上述结构,成像装置1根据拍摄对象或拍摄场景的特征而形成最优的编码孔径图案,并且获取图像和包括空间信息的图像信息。
另外,在本实施例中,作为元件驱动器的控制器9使用空间透射率分布,并且将空间调制应用于透射穿过空间光调制元件21的光通量,在该空间透射率分布中,多个周期不同的正弦波形被叠加。
通过上述结构,成像装置1通过使用从图像获取的图像特征信息在空间光调制元件21上形成最优的编码孔径图案,并且获取具有高图像质量的图像,在该图像中,取决于拍摄对象或成像场景的特征的图像劣化的原因被去除。
另外,在本实施例中,作为元件驱动器的控制器9基于作为分析图像信息的图像特征分析装置的控制器9的分析结果来周期性地改变应用于空间光调制元件21的调制。
通过上述结构,成像装置1根据拍摄对象或成像场景的特征形成最优的编码孔径图案,并且获取具有较高精确度的图像和包括空间信息的图像信息。
通常,与作为光检测器的光电二极管的尺寸相比,可容易获得的并且在成本降低方面高效的液晶装置在液晶元件的每单元尺寸方面极其大。相应地,存在的问题是,光检测器不仅没有有效地用于控制液晶显示装置的透射率,而且没有有效地用于使用其作为编码孔径图案,因为编码孔径图案和成像平面的分辨率是不同的。
将说明解决这样的问题的成像模块2的第一修改示例。
在图5所示的成像模块2中,固定部件23的结构与已经说明的图2所示的成像模块2的结构相比是不同的。
固定部件23具有光导路径元件27、支撑结构体29和间隙限定构件24,光导路径元件27将光通量从空间光调制元件21的一侧的表面(一侧的表面)引导至图像传感器22的一侧的表面(另一侧的表面),支撑结构体29支撑光导路径元件27,间隙限定构件24布置在空间光调制元件21和光导路径元件之间。
光导路径元件27被布置且固定在图像传感器22和空间光调制元件之间,以与空间光调制元件21具有一定距离,并且具有锥形形状,在该锥形形状中在空间光调制元件21侧的表面上的孔径面积与在图像传感器22的表面上的孔径面积是不同的。
光导路径元件27是锥形光纤板,其中通过捆扎光学光纤制成的光纤板被加热和延展,然后被切割和抛光,并且空间光调制元件21的一侧的表面的分辨率与图像传感器22的一侧的表面的分辨率是不同的。
光导路径元件27被固定到图像传感器22,使得具有窄孔径面积的表面与作为成像平面的图像传感器22接触。光导路径元件27经由间隙限定构件24被整体地固定到空间光调制元件21,间隙限定构件24相对于空间光调制元件21形成小于或等于几毫米、优选小于或等于1mm的间隙结构,。
通过这样的结构,光导路径元件27以模拟方式将成像平面的面积放大为与光导路径元件27的空间光调制元件21一侧的表面的面积相同的大小,并且改变分辨率。
因此,即使在空间光调制元件21的像素间距大于图像传感器22的像素间距并且分辨率不同的情况下,通过放大的成像平面,空间光调制元件21以模拟方式具有较高的分辨率,并且具有较高空间分辨率的图像被获取。
空间光调制元件21通过电气接线25连接到控制器9。
在本实施例中,光导路径元件27通过间隙限定构件24连接到空间光调制元件21,间隙限定构件24被布置在空间光调制元件21和光导路径元件27之间。
图像传感器22和光导路径元件27被布置成彼此接触;然而,通过将抑制边界表面上的光的反射的匹配油(matching oil)应用于接触表面,光通量的利用效率得以改善,并且能够以更加良好的图像质量进行成像。
注意,通常,空间光调制元件21的像素间距大于图像传感器22的像素间距,因此,光导路径元件27的具有窄孔径面积的表面被布置成面向图像传感器22的一侧;然而,光导路径元件27的具有窄孔径面积的表面可以被布置成面向空间光调制元件21的一侧。
在这种情况下,光导路径元件27以模拟方式将成像平面的面积减小为与光导路径元件27的在空间光调制元件21的一侧的表面的面积相同的大小,并且图像传感器22以模拟方式具有高分辨率,因此,特别是在图像传感器的分辨率低的情况下,具有较高分辨率的图像被获取。
除了参照图5的说明以外的结构和操作的说明被省略,因为其类似于图2所示的成像模块2的结构和操作。
图6示出具有图5所示的成像模块2的成像装置1的结构示例。
将说明与图1所示的成像装置的差异。在具有第一修改示例中的成像模块2的结构中,模拟成像平面位于导光路元件27的入射面上,即,在光导路径元件27的在空间光调制元件21的一侧的表面上,并且像素间距与实际的成像平面相比被放大。
因此,在图像形成光学系统3中,作为图像形成区域(其为图像形成平面)的图像圈需要被设置成比模拟成像平面更大。如果满足关于图像形成光学系统3的限制,则成像装置1的其他结构类似于图1所示的成像装置1的结构,并且图像形成光学系统3可以用于各种相机,诸如可互换镜头相机。
另外,例如,作为图7所示的第二修改示例,成像模块2可以是其中湿毛细管类型空间光调制元件21与固定部件23整体地形成在相同基板上的结构。此时,固定部件23具有作为间隙限定构件24的功能,并且形成空结构。通过图7所示的结构,半导体工艺中的晶片键合技术被用于键合空间光调制元件21和图像传感器22,因此,空间光调制元件21和图像传感器22之间的并行性和定位的精确度得以改善。
作为晶片键合技术,可以使用玻璃熔块键合、通过金属的共晶键合等。
此外,在该结构示例中,可以使用通过Si热氧化的玻璃化来产生空间光调制元件21。通过这样的结构,成像模块2仅通过硅工艺来产生,大量生产成本被降低,并且精确度得以改善。
注意,在其中半导体工艺中的晶片键合技术被用于空间光调制元件21和图像传感器22的键合的结构中,难以确保层叠部分中的充分的接线空间。
因此,空间光调制元件21和图像传感器22之间的电连接优选地由诸如硅通孔(TSV)等的贯穿接线26来进行。通过贯穿接线26,在安装接线等时的破损的可能性被降低,空间光调制元件21、图像传感器22、控制这些的基板和接线的干扰被阻止或降低,并且没有由于安装方式导致的任何限制而获取包括空间信息的图像信息。
通过集成空间光调制元件21和图像传感器22并且由经过最短路径的贯穿接线26来进行电连接,在周期性地改变空间光调制元件21的透射率的情况下的噪声被降低或抑制,并且具有较高精确度的图像信息被获取。
此外,作为图8所示的第三修改示例,结构可以是其中成像模块2的空间光调制元件21和图像传感器22和固定部件23被整体地布置的结构,并且由诸如玻璃材料等的透明材料构成的间隙限定构件24被布置在该结构内部。
通过这样的结构,通过在用透明材料键合的状态下处理空间光调制元件21,空间光调制元件21的厚度减小,并且成像模块2的小型化得以实现。
注意,由玻璃熔块材料构成的键合构件241可以被布置在如图8所示的间隙限定构件24和图像传感器22之间。
此外,作为图9所示的第四修改示例,如果结构是其中控制器9被布置在空间光调制元件21上的结构,则通过使用透明材料的间隙限定构件24来确保间隙结构,并且能够具有足够用于电路形成的面积。
通过这样的结构,能够小型化成像装置1。
另外,作为图10所示的第五修改示例,作为图像传感器22,使用背照式图像传感器,并且图像传感器22和空间光调制元件21之间的间隙距离被维持,并且图像传感器22的厚度减小,因此,能够小型化成像模块2。
根据本发明的实施例,能够提供一种成像模块和成像装置,在该成像模块和成像装置中,图像传感器和编码孔径图案之间的距离短,并且图像传感器和编码孔径图案以高精度布置。
虽然已经按照示例性实施例描述了本发明,但不限于此。应该理解的是,不脱离由下面的权利要求所限定的本发明的范围,本领域的技术人员可以在所描述的实施例中做出变型。
例如,在上述实施例中,成像装置1可以是各种类型的成像装置,诸如紧凑型数码相机、安装在便携式装置上的紧凑型相机等。
根据上述实施例,包括空间光调制元件、图像传感器和固定构件,该空间光调制元件将空间调制应用于入射的光通量并发射该光通量,该图像传感器获取已经由空间光调制元件应用了空间调制的光通量作为图像信息,固定构件整体地固定空间光调制元件和图像传感器,并且固定构件具有间隙限定构件,该间隙限定构件布置在空间光调制元件和图像传感器之间并且形成具有一定距离的间隙结构。相应地,图像传感器和编码孔径图案之间的距离短,图像传感器和编码孔径图案以高精确度布置,诸如混叠等的图像的劣化得以阻止,并且可以高分辨率和高精确度获取光的空间信息。
在本发明的实施例中描述的效果是从本发明产生的最有利的效果,因此,根据本发明的效果不限于本发明的实施例的描述。
相关申请的交叉引用
本申请基于2014年1月10日提交的日本专利申请号2014-003637并要求其优先权,其公开通过全部引用结合于此。
Claims (9)
1.一种成像模块,其包括:
空间光调制元件,其将空间调制应用于入射的光通量并发射所述光通量;
图像传感器,其获取已经通过透过所述空间光调制元件透射而应用了所述空间调制的光通量作为图像信息;
固定部件,其整体地固定所述空间光调制元件和所述图像传感器;以及
控制器,其改变所述空间光调制元件的透射率,
其中,所述固定部件具有间隙限定构件,所述间隙限定构件被布置在所述空间光调制元件和所述图像传感器之间,并且形成具有一定距离的间隙结构,所述光通量的角度信息和所述图像信息的观看角度的分辨率由所述间隙结构的所述距离来确定;以及
所述控制器控制所述空间光调制元件的透射率被周期性地改变,以将所述空间调制应用于所述光通量。
2.根据权利要求1所述的成像模块,其中所述固定部件具有光导路径元件,所述光导路径元件将从一侧的表面入射的光通量引导至另一侧的表面,所述光导路径元件被布置并固定在所述图像传感器和所述空间光调制元件之间,以具有到所述空间光调制元件的一定距离,并且所述一侧的表面的孔径面积与所述另一侧的表面的孔径面积不同。
3.根据权利要求1或2所述的成像模块,包括贯穿接线,所述贯穿接线穿透所述空间光调制元件和所述图像传感器中的至少一个,并且电连接所述空间光调制元件和所述图像传感器。
4.根据权利要求1所述的成像模块,其中,所述空间光调制元件具有微孔结构体和透射率控制装置,所述微孔结构体能够储存液体,所述透射率控制装置通过电信号调整所述微孔结构体中的液体的量,并且控制光的透射率。
5.根据权利要求1所述的成像模块,其中所述空间光调制元件为透射液晶装置。
6.一种成像装置,其包括:
根据权利要求1所述的成像模块;以及
图像形成光学系统,其在所述图像传感器上形成图像。
7.根据权利要求6所述的成像装置,包括:
元件驱动器,其驱动所述空间光调制元件以周期性地改变调制;以及
解码处理装置,其从所述图像信息中去除所述调制并且重构图像。
8.根据权利要求7所述的成像装置,其中所述元件驱动器使用空间透射率分布并且应用所述调制,在所述空间透射率分布中,多个周期不同的正弦波形被叠加。
9.根据权利要求7或8所述的成像装置,其中所述元件驱动器基于分析所述图像信息的图像特征分析装置的分析结果来周期性地改变所述调制。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014003637A JP2015133594A (ja) | 2014-01-10 | 2014-01-10 | 撮像モジュール及び撮像装置 |
JP2014-003637 | 2014-01-10 | ||
PCT/JP2015/050993 WO2015105199A1 (en) | 2014-01-10 | 2015-01-08 | Imaging module and imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105981363A CN105981363A (zh) | 2016-09-28 |
CN105981363B true CN105981363B (zh) | 2019-07-19 |
Family
ID=53524019
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580008026.3A Active CN105981363B (zh) | 2014-01-10 | 2015-01-08 | 成像模块以及成像装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10110811B2 (zh) |
EP (1) | EP3092788B1 (zh) |
JP (1) | JP2015133594A (zh) |
KR (1) | KR20160097299A (zh) |
CN (1) | CN105981363B (zh) |
WO (1) | WO2015105199A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015230989A (ja) | 2014-06-05 | 2015-12-21 | 株式会社リコー | 撮像モジュール及び撮像装置 |
JP6818461B2 (ja) * | 2016-08-01 | 2021-01-20 | キヤノン株式会社 | 撮像装置、画像処理装置、画像処理方法および画像処理プログラム |
WO2019065554A1 (ja) * | 2017-09-28 | 2019-04-04 | 富士フイルム株式会社 | 撮像装置、情報取得方法及び情報取得プログラム |
JP2021043230A (ja) * | 2017-12-26 | 2021-03-18 | 富士フイルム株式会社 | ワイドコンバージョンレンズ及び撮像装置 |
CN111527737B (zh) | 2017-12-26 | 2022-03-25 | 富士胶片株式会社 | 摄像装置 |
US11490027B2 (en) * | 2020-10-23 | 2022-11-01 | Black Sesame Technologies Inc. | Extended dynamic range image capture device based on a coded spatial light transmittance modulator |
WO2022153692A1 (ja) * | 2021-01-12 | 2022-07-21 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 制御装置及び制御方法 |
CN114545484A (zh) * | 2022-03-25 | 2022-05-27 | 中国科学院高能物理研究所 | 一种编码板及编码方法 |
JP2024052098A (ja) | 2022-09-30 | 2024-04-11 | 株式会社リコー | 網膜投影表示装置、頭部装着型表示装置および検眼装置 |
WO2024090099A1 (ja) * | 2022-10-27 | 2024-05-02 | 株式会社ジャパンディスプレイ | カメラモジュール |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0461379A (ja) * | 1990-06-29 | 1992-02-27 | Kuraray Co Ltd | 撮像素子の製造方法 |
US7724347B2 (en) * | 2006-09-05 | 2010-05-25 | Tunable Optix Corporation | Tunable liquid crystal lens module |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004184447A (ja) * | 2002-11-29 | 2004-07-02 | Olympus Corp | 光アドレス型空間光変調器及びそれを用いた顕微鏡装置 |
JP4521673B2 (ja) | 2003-06-19 | 2010-08-11 | 株式会社国際電気通信基礎技術研究所 | 発話区間検出装置、コンピュータプログラム及びコンピュータ |
JP2005316321A (ja) | 2004-04-30 | 2005-11-10 | Sharp Corp | 表示装置 |
JP2005316316A (ja) | 2004-04-30 | 2005-11-10 | Sharp Corp | 表示装置 |
US7767949B2 (en) * | 2005-01-18 | 2010-08-03 | Rearden, Llc | Apparatus and method for capturing still images and video using coded aperture techniques |
KR100914948B1 (ko) | 2005-02-21 | 2009-08-31 | 가부시키가이샤 리코 | 광학 기록 매체 및 광학 기록 매체를 사용하는 기록 및 판독 방법 |
US7830561B2 (en) | 2005-03-16 | 2010-11-09 | The Trustees Of Columbia University In The City Of New York | Lensless imaging with controllable apertures |
GB0510470D0 (en) * | 2005-05-23 | 2005-06-29 | Qinetiq Ltd | Coded aperture imaging system |
US7630132B2 (en) | 2005-05-23 | 2009-12-08 | Ricoh Company, Ltd. | Polarization control device |
JP4894703B2 (ja) * | 2006-09-29 | 2012-03-14 | ソニー株式会社 | エレクトロウエッティング装置とこれを用いた可変焦点レンズ、光ピックアップ装置、光記録再生装置、液滴操作装置、光学素子、ズームレンズ、撮像装置、光変調装置及び表示装置 |
US7697187B2 (en) | 2006-09-29 | 2010-04-13 | Sony Corporation | Electrowetting device and varifocal lens, optical pickup device, optical recording/reproduction device, droplet operation device, optical element, zoom lens, imaging device, light modulating device, and display device using the same |
US7792423B2 (en) | 2007-02-06 | 2010-09-07 | Mitsubishi Electric Research Laboratories, Inc. | 4D light field cameras |
JP2009134243A (ja) | 2007-10-30 | 2009-06-18 | Canon Inc | 揺動体装置の製造方法、該製造方法により製造された揺動体装置によって構成される光偏向器及び光学機器 |
US20100098323A1 (en) * | 2008-07-18 | 2010-04-22 | Agrawal Amit K | Method and Apparatus for Determining 3D Shapes of Objects |
US8654234B2 (en) * | 2009-07-26 | 2014-02-18 | Massachusetts Institute Of Technology | Bi-directional screen |
US8717484B2 (en) | 2010-08-11 | 2014-05-06 | Inview Technology Corporation | TIR prism to separate incident light and modulated light in compressive imaging device |
US8717463B2 (en) | 2010-08-11 | 2014-05-06 | Inview Technology Corporation | Adaptively filtering compressive imaging measurements to attenuate noise |
US8570406B2 (en) | 2010-08-11 | 2013-10-29 | Inview Technology Corporation | Low-pass filtering of compressive imaging measurements to infer light level variation |
US8860835B2 (en) | 2010-08-11 | 2014-10-14 | Inview Technology Corporation | Decreasing image acquisition time for compressive imaging devices |
US8760542B2 (en) | 2010-08-11 | 2014-06-24 | Inview Technology Corporation | Compensation of compressive imaging measurements based on measurements from power meter |
JP6111517B2 (ja) | 2011-03-18 | 2017-04-12 | 株式会社リコー | 光学素子及び光検出デバイス並びに物体検知システム |
CN102438102B (zh) | 2011-10-26 | 2014-06-18 | 西安电子科技大学 | 基于压缩编码孔径的超分辨率成像方法 |
JP2013106217A (ja) | 2011-11-15 | 2013-05-30 | Panasonic Corp | 奥行き推定撮像装置 |
US9222767B2 (en) | 2012-01-03 | 2015-12-29 | Samsung Electronics Co., Ltd. | Display apparatus and method for estimating depth |
-
2014
- 2014-01-10 JP JP2014003637A patent/JP2015133594A/ja active Pending
-
2015
- 2015-01-08 US US15/101,766 patent/US10110811B2/en active Active
- 2015-01-08 EP EP15735477.0A patent/EP3092788B1/en active Active
- 2015-01-08 WO PCT/JP2015/050993 patent/WO2015105199A1/en active Application Filing
- 2015-01-08 KR KR1020167018402A patent/KR20160097299A/ko not_active Ceased
- 2015-01-08 CN CN201580008026.3A patent/CN105981363B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0461379A (ja) * | 1990-06-29 | 1992-02-27 | Kuraray Co Ltd | 撮像素子の製造方法 |
US7724347B2 (en) * | 2006-09-05 | 2010-05-25 | Tunable Optix Corporation | Tunable liquid crystal lens module |
Also Published As
Publication number | Publication date |
---|---|
EP3092788A1 (en) | 2016-11-16 |
JP2015133594A (ja) | 2015-07-23 |
CN105981363A (zh) | 2016-09-28 |
KR20160097299A (ko) | 2016-08-17 |
WO2015105199A1 (en) | 2015-07-16 |
EP3092788B1 (en) | 2019-07-31 |
US10110811B2 (en) | 2018-10-23 |
EP3092788A4 (en) | 2016-11-16 |
US20160316142A1 (en) | 2016-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105981363B (zh) | 成像模块以及成像装置 | |
JP5842146B2 (ja) | 固体撮像装置、撮像装置、及び分光素子 | |
US8988584B2 (en) | Imaging apparatus | |
US9456198B2 (en) | Depth estimating image capture device and image sensor | |
KR20160140886A (ko) | 저-프로필 폴드형 광학 다중-카메라 시스템에서의 오토-포커스 | |
JP2008026802A (ja) | 撮像装置 | |
US20150109518A1 (en) | Detection apparatus, image pickup apparatus, image pickup system, and control method of the detection apparatus | |
US11297271B2 (en) | Image sensor and image capture apparatus | |
JP6004280B2 (ja) | ライトフィールド撮像装置および撮像素子 | |
JPWO2019159427A1 (ja) | カメラモジュール調整装置及びカメラモジュール調整方法 | |
JP2006126652A (ja) | 撮像装置 | |
US11889186B2 (en) | Focus detection device, focus detection method, and image capture apparatus | |
JP5220375B2 (ja) | 撮像装置及びそれを有する撮像機器 | |
JP6737325B2 (ja) | 撮像モジュール及び撮像装置 | |
US9588260B2 (en) | Microlens substrate and imaging apparatus | |
US9912854B2 (en) | Imaging module and imaging apparatus | |
JP2019164325A (ja) | 光源システム、光学回折素子製造方法、および測距システム、ならびに光学回折素子 | |
JP2000040813A (ja) | 撮像装置とその製造方法 | |
JP6082212B2 (ja) | 撮像素子及びそれを用いた測距装置 | |
JP5621615B2 (ja) | 撮像装置 | |
JP7504579B2 (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP5853510B2 (ja) | 撮像装置 | |
JP4492343B2 (ja) | 撮像装置 | |
JP2016046564A (ja) | 撮像装置 | |
JP2007065335A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |