[go: up one dir, main page]

KR20200098790A - 이미지 센서 및 이를 포함하는 전자 기기 - Google Patents

이미지 센서 및 이를 포함하는 전자 기기 Download PDF

Info

Publication number
KR20200098790A
KR20200098790A KR1020190016096A KR20190016096A KR20200098790A KR 20200098790 A KR20200098790 A KR 20200098790A KR 1020190016096 A KR1020190016096 A KR 1020190016096A KR 20190016096 A KR20190016096 A KR 20190016096A KR 20200098790 A KR20200098790 A KR 20200098790A
Authority
KR
South Korea
Prior art keywords
data
image
image sensor
gyro
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020190016096A
Other languages
English (en)
Other versions
KR102518373B1 (ko
Inventor
김용성
이다희
조영미
민동기
임준혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190016096A priority Critical patent/KR102518373B1/ko
Priority to US16/537,675 priority patent/US11032476B2/en
Publication of KR20200098790A publication Critical patent/KR20200098790A/ko
Application granted granted Critical
Publication of KR102518373B1 publication Critical patent/KR102518373B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H04N5/357—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H04N5/23258—
    • H04N5/353—
    • H04N5/378—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 실시예에 따른 이미지 센서는, 복수의 픽셀들을 갖는 픽셀 어레이, 외부의 자이로 센서와 직접 연결되며, 움직임에 반응하여 상기 자이로 센서가 출력하는 자이로 데이터를 수신하는 제1 인터페이스, 및 소정의 노출 시간 동안 상기 복수의 픽셀들을 노출시켜 이미지 데이터를 생성하며, 상기 자이로 데이터에서 상기 노출 시간에 대응하는 유효 데이터를 판단하고, 상기 유효 데이터에 기초하여 상기 움직임의 궤적을 나타내는 보상 정보를 생성하는 컨트롤 로직을 포함한다.

Description

이미지 센서 및 이를 포함하는 전자 기기{IMAGE SENSOR AND ELECTRONIC DEVICE INCLUDING THE SAME}
본 발명은 이미지 센서 및 이를 포함하는 전자 기기에 관한 것이다.
이미지 센서는 빛을 받아들여 전기 신호를 생성하는 반도체 기반의 센서로서, 복수의 픽셀들을 갖는 픽셀 어레이와, 픽셀 어레이를 구동하고 이미지를 생성하기 위한 로직 회로 등을 포함할 수 있다. 복수의 픽셀들이 외부의 빛에 반응하여 전하를 생성하는 동안 발생하는 사용자의 손떨림 등에 의해, 이미지가 정확하게 촬영되지 않을 수 있다. 사용자의 손떨림 등에 따른 움직임에 의한 이미지 열화를 보정하기 위해, 렌즈를 움직여서 움직임에 따른 이미지 열화를 방지하는 OIS(Optical Image Stabilization) 등의 기술이 제안된 바 있다. 다만 OIS의 경우, 렌즈를 움직이기 위한 추가적인 모듈이 필요하므로, 제한된 폼팩터를 갖는 환경에 채용하기에는 공간적으로나 비용적인 측면에서 단점을 갖는다.
본 발명의 기술적 사상이 이루고자 하는 과제 중 하나는, 자이로 센서와 이미지 센서를 직접 연결하고 동기화시킴으로써, 움직임에 대응하여 자이로 센서가 출력하는 데이터를 이용하여 움직임에 의한 이미지 열화를 효과적으로 보정할 수 있는 이미지 센서 및 이를 포함하는 전자 기기를 제공하고자 하는 데에 있다.
본 발명의 일 실시예에 따른 이미지 센서는, 복수의 픽셀들을 갖는 픽셀 어레이, 외부의 자이로 센서와 직접 연결되며, 움직임에 반응하여 상기 자이로 센서가 출력하는 자이로 데이터를 수신하는 제1 인터페이스, 및 소정의 노출 시간 동안 상기 복수의 픽셀들을 노출시켜 이미지 데이터를 생성하며, 상기 자이로 데이터에서 상기 노출 시간에 대응하는 유효 데이터를 판단하고, 상기 유효 데이터에 기초하여 상기 움직임의 궤적을 나타내는 보상 정보를 생성하는 컨트롤 로직을 포함한다.
본 발명의 일 실시예에 따른 전자 기기는, 임의의 궤적을 갖는 움직임을 감지하여 소정의 샘플링 레이트를 갖는 샘플링 데이터들을 출력하는 자이로 센서, 복수의 픽셀들 및 상기 복수의 픽셀들이 출력하는 픽셀 신호에 기초하여 이미지 데이터를 생성하는 컨트롤 로직을 포함하며, 상기 컨트롤 로직은 상기 복수의 픽셀들의 노출 시간 동안 상기 자이로 센서가 생성한 상기 샘플링 데이터들에 기초하여 상기 움직임의 궤적에 대응하는 보상 정보를 출력하는 이미지 센서, 및 상기 보상 정보에 기초하여, 상기 이미지 데이터로부터 결과 이미지를 생성하는 프로세서를 포함한다.
본 발명의 일 실시예에 따른 이미지 센서는, 복수의 로우 라인들과 복수의 칼럼 라인들에 연결되는 복수의 픽셀들을 갖는 픽셀 어레이, 소정의 노출 시간 동안 상기 복수의 로우 라인들 각각을 순차적으로 스캔하는 로우 드라이버, 상기 복수의 칼럼 라인들에 연결되며, 상기 복수의 픽셀들로부터 픽셀 전압을 검출하는 리드아웃 회로, 및 상기 로우 드라이버와 상기 리드아웃 회로의 동작 타이밍을 제어하며, 상기 노출 시간 동안 외부의 자이로 센서로부터 수신한 샘플링 데이터들을 적분하여 상기 자이로 센서가 감지하는 움직임의 궤적을 나타내는 보상 정보를 생성하는 컨트롤 로직을 포함한다.
본 발명의 일 실시예에 따르면, 이미지 센서가 자이로 센서와 직접 연결되는 인터페이스를 포함하며, 이미지 센서와 자이로 센서는 서로 동기화될 수 있다. 이미지 센서는 움직임을 감지하여 자이로 센서가 출력하는 자이로 데이터 중에서, 이미지 센서의 노출 시간에 대응하는 유효 데이터를 추출하여 움직임에 따른 이미지 열화를 보정하는 데에 필요한 보상 정보를 생성할 수 있다. 따라서, 별도의 추가적인 모듈 없이, 움직임에 의한 이미지 열화를 효과적으로 보정하여 이미지 센서의 성능을 개선할 수 있다.
본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시 형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 이미지 센서를 포함하는 전자 기기를 간단하게 나타낸 도면들이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 전자 기기를 간단하게 나타낸 블록도들이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 이미지 센서를 간단하게 나타낸 도면들이다.
도 7은 본 발명의 일 실시예에 따른 이미지 센서를 간단하게 나타낸 블록도이다.
도 8은 본 발명의 일 실시예에 따른 이미지 센서의 픽셀 회로를 나타낸 회로도이다.
도 9 내지 도 11은 본 발명의 일 실시예에 따른 이미지 센서의 동작을 설명하기 위해 제공되는 도면들이다.
도 12 내지 도 14는 본 발명의 일 실시예에 따른 이미지 센서의 동작을 설명하기 위해 제공되는 도면들이다
도 15는 본 발명의 일 실시예에 따른 이미지 센서의 동작을 설명하기 위해 제공되는 블록도이다.
도 16은 본 발명의 일 실시예에 따른 이미지 센서의 동작을 설명하기 위해 제공되는 도면이다.
도 17은 본 발명의 일 실시예에 따른 이미지 센서의 동작을 설명하기 위해 제공되는 도면이다.
도 18은 본 발명의 일 실시예에 따른 이미지 센서의 동작을 설명하기 위해 제공되는 도면이다.
도 19 및 도 20은 본 발명의 일 실시예에 따른 이미지 센서의 동작을 설명하기 위해 제공되는 도면이다.
도 21은 본 발명의 일 실시예에 따른 이미지 센서를 포함하는 전자 기기를 간단하게 나타낸 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 다음과 같이 설명한다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 이미지 센서를 포함하는 전자 기기를 간단하게 나타낸 도면들이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 전자 기기(10)는 하우징(11), 디스플레이(12), 전면 카메라(13), 입력부(14) 및 후면 카메라(17)를 포함할 수 있다. 본 발명의 일 실시예에 따른 전자 기기(10)는 도 1에서 스마트폰으로 도시되었으나, 그 외에 태블릿 PC, 랩톱 컴퓨터 등의 다양한 모바일 기기 또는 스마트 워치 등의 웨어러블 기기이거나, 일반적인 디지털 카메라 등을 모두 포함하는 기기일 수 있다.
일 실시예에서 전자 기기(10)는 복수의 카메라들(13, 17)을 포함할 수 있다. 후면 카메라(17)는 제1 카메라(15)와 제2 카메라(16)를 포함할 수 있으며, 일례로 제1 카메라(15)와 제2 카메라(16)는 서로 다른 화각, 서로 다른 이미지 센서의 판형 등을 가질 수 있다. 도 1 및 도 2에 도시한 일 실시예에서 전면 카메라(13)는 하나의 카메라인 것으로 도시되었으나, 실시예들에 따라 전면 카메라(13) 역시 서로 다른 특징을 갖는 복수의 카메라들을 포함할 수 있다.
전자 기기(10)를 이용하여 이미지를 촬영할 때, 사용자의 손떨림 등에 의해 전자 기기(10)가 의도치 않게 움직일 수 있으며, 전자 기기(10)의 움직임은 이미지 열화로 이어질 수 있다. 일례로, 전자 기기(10)의 움직임에 의해 이미지가 흐릿하게 표시되는 블러(blur) 현상이 발생할 수 있다.
전자 기기(10)의 움직임에 따른 이미지 열화를 방지하기 위해, 일반적으로 카메라들(13, 17)에 포함되는 렌즈를 움직이는 OIS 모듈 등이 채택될 수 있다. OIS 모듈은 렌즈를 움직이기 위한 별도의 기구를 필요로 하므로, 폼팩터가 제한적인 전자 기기(10)에 채용되기에는 비용 및 공간적으로 부담이 될 수 있다.
본 발명의 실시예들에서는, 전자 기기(10)에 탑재된 자이로 센서를 이용하여 사용자의 손떨림 등과 같은 의도치않은 움직임에 의한 이미지 열화를 보정할 수 있다. 이미지 센서는 자이로 센서와 직접 연결되어 자이로 센서와 동기화될 수 있다. 또한, 이미지 센서는 자이로 센서가 움직임을 감지하여 출력하는 자이로 데이터를 수신하여 자이로 데이터에서 노출 시간에 대응하는 유효 데이터를 선택하고, 유효 데이터에 기초하여 상기 움직임에 의한 이미지 열화를 보정하는 데에 필요한 보상 정보를 생성할 수 있다. 일 실시예에서, 상기 보상 정보는 점 확산 함수(Point Spread Function, PSF)를 포함할 수 있다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 전자 기기를 간단하게 나타낸 블록도들이다.
먼저 도 3을 참조하면, 본 발명의 일 실시예에 따른 전자 기기(100)는 이미지 센서(110), 프로세서(120), 자이로 센서(130) 등을 포함할 수 있다. 프로세서(120)는 전자 기기(100)의 전반적인 동작을 제어하는 장치로서, 중앙 처리 장치(CPU), 애플리케이션 프로세서(AP), 시스템-온-칩(SoC) 중 적어도 하나를 포함할 수 있다.
이미지 센서(110)와 프로세서(120) 및 자이로 센서(130)는 서로 데이터를 주고받기 위한 인터페이스들을 포함할 수 있다. 일례로, 이미지 센서(110)는, 자이로 센서(130)와 직접 연결되는 제1 인터페이스(111), 및 프로세서(120)와 직접 연결되는 제2 인터페이스(112)를 포함할 수 있다. 이미지 센서(110)는 제1 인터페이스(111)를 통해, 프로세서(120)를 거치지 않고 자이로 센서(130)와 직접 데이터를 주고받을 수 있다. 따라서, 이미지 센서(110)가 셔터 동작을 실행하는 노출 시간 동안 자이로 센서(130)가 움직임을 감지하여 출력하는 자이로 데이터가, 이미지 센서(110)와 동기화되어 이미지 센서(110)에 전달될 수 있다.
일례로, 이미지 센서(110)의 제1 인터페이스(111)는 SPI(Serial Peripheral Interface), 및 I2C(Inter-Integrated Circuit) 인터페이스 중 적어도 하나를 포함할 수 있다. 이미지 센서(110)와 자이로 센서(130)는 마스터-슬레이브 방식으로 동작할 수 있다. 한편, 이미지 센서(110)의 제2 인터페이스(112)는 프로세서(120)의 제1 인터페이스(121)와 연결되며, MIPI(Mobile Industry Processor Interface)를 포함할 수 있다.
프로세서(120)는, 이미지 센서(110)와 연결되는 제1 인터페이스(121) 및 자이로 센서(130)와 연결되는 제2 인터페이스(122) 등을 포함할 수 있다. 유사하게, 자이로 센서(130)는 이미지 센서(110)와 연결되는 제1 인터페이스(131) 및 프로세서(120)와 연결되는 제2 인터페이스(132)를 포함할 수 있다.
다음으로 도 4를 참조하면, 본 발명의 일 실시예에 따른 전자 기기(100A)는 이미지 센서(110), 프로세서(120), 제1 자이로 센서(140) 및 제2 자이로 센서(150) 등을 포함할 수 있다. 도 3에 도시한 일 실시예에 따른 전자 기기(100)와 달리, 도 4에 도시한 일 실시예에서는 전자 기기(100A)가 이미지 센서(110)에 연결되는 제1 자이로 센서(140) 및 프로세서(120)에 연결되는 제2 자이로 센서(150)를 포함할 수 있다.
도 3에 도시한 일 실시예와 유사하게, 이미지 센서(110)는 제1 자이로 센서(140)와 직접 연결되는 제1 인터페이스(111), 및 프로세서(120)와 직접 연결되는 제2 인터페이스(112)를 포함할 수 있다. 이미지 센서(110)는 제1 인터페이스(111)를 통해, 프로세서(120)를 거치지 않고 제1 자이로 센서(140)가 출력하는 데이터를 직접 수신할 수 있다. 이미지 센서(110)와 제1 자이로 센서(140)는 서로 동기화되어 동작할 수 있다. 이미지 센서(110)의 제1 인터페이스(111)는 SPI(Serial Peripheral Interface), 및 I2C(Inter-Integrated Circuit) 인터페이스 중 적어도 하나를 포함하고, 제2 인터페이스(112)는 MIPI(Mobile Industry Processor Interface)를 포함할 수 있다.
도 3 및 도 4에 도시한 실시예들에서, 프로세서(120)는 이미지 센서(110)로부터 이미지 데이터와 함께, 흔들림 보정에 필요한 보상 정보를 함께 수신할 수 있다. 일례로 프로세서(120)는 보상 정보를 참조하여 이미지 데이터의 블러를 보정하여 결과 이미지를 생성할 수 있다. 또한 프로세서(120)는, 보상 정보를 참조하여 이미지 센서(110)로부터 수신한 복수의 이미지 데이터들 중에서 흔들림이 적은 적어도 하나의 이미지 데이터를 결과 이미지로 선택할 수도 있다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 이미지 센서를 간단하게 나타낸 도면들이다.
우선 도 5를 참조하면, 본 발명의 일 실시예에 따른 이미지 센서(200)는 제1 레이어(210), 제1 레이어(210)의 하부에 마련되는 제2 레이어(220) 및 제2 레이어(220)의 하부에 마련되는 제3 레이어(230) 등을 포함할 수 있다. 제1 레이어(210)와 제2 레이어(220) 및 제3 레이어(230)는 서로 수직 방향에서 적층될 수 있다. 일 실시예에서, 제1 레이어(210)와 제2 레이어(220)는 웨이퍼 레벨에서 서로 적층되고, 제3 레이어(230)는 칩 레벨에서 제2 레이어(220)의 하부에 부착될 수 있다. 제1 내지 제3 레이어들(210-230)은 하나의 반도체 패키지로 제공될 수 있다.
제1 레이어(210)는 복수의 픽셀들(PX)이 마련되는 센싱 영역(SA)과, 센싱 영역(SA) 주변에 마련되는 제1 패드 영역(PA1)을 포함할 수 있다. 제1 패드 영역(PA1)에는 복수의 상부 패드들(PAD)이 포함되며, 복수의 상부 패드들(PAD)은 비아(VIA) 등을 통해 제2 레이어(220)의 제2 패드 영역(PA2)에 마련된 패드들 및 컨트롤 로직(LC)과 연결될 수 있다.
복수의 픽셀들(PX) 각각은 빛을 받아들여 전하를 생성하는 포토 다이오드와, 포토 다이오드가 생성한 전하를 처리하는 픽셀 회로 등을 포함할 수 있다. 픽셀 회로는 포토 다이오드가 생성한 전하에 대응하는 전압을 출력하기 위한 복수의 트랜지스터들을 포함할 수 있다.
제2 레이어(220)는 컨트롤 로직(LC)을 제공하는 복수의 소자들을 포함할 수 있다. 컨트롤 로직(LC)에 포함되는 복수의 소자들은, 제1 레이어(210)에 마련된 픽셀 회로를 구동하기 위한 회로들, 예를 들어 로우 드라이버, 칼럼 드라이버, 및 타이밍 컨트롤러 등을 제공할 수 있다. 컨트롤 로직(LC)에 포함되는 복수의 소자들은 제1 및 제2 패드 영역들(PA1, PA2)을 통해 픽셀 회로와 연결될 수 있다. 컨트롤 로직(LC)은 복수의 픽셀들(PX)로부터 리셋 전압 및 픽셀 전압을 획득하여 픽셀 신호를 생성할 수 있다.
일 실시예에서, 복수의 픽셀들(PX) 중 적어도 하나는 동일한 레벨에 배치되는 복수의 포토 다이오드들을 포함할 수 있다. 복수의 포토 다이오드들 각각의 전하로부터 생성된 픽셀 신호들은 서로 위상차를 가질 수 있으며, 컨트롤 로직(LC)은 하나의 픽셀(PX)에 포함된 복수의 포토 다이오드들로부터 생성한 픽셀 신호들의 위상차에 기초하여 자동 초점 기능을 제공할 수 있다.
제2 레이어(220)의 하부에 마련되는 제3 레이어(230)는 메모리 칩(MC)과 더미 칩(DC), 및 메모리 칩(MC)과 더미 칩(DC)을 밀봉하는 보호층(EN)을 포함할 수 있다. 메모리 칩(MC)은 동적 랜덤 액세스 메모리(DRAM) 또는 정적 랜덤 액세스 메모리(SRAM)일 수 있으며, 더미 칩(DC)은 데이터를 실제로 저장하는 기능은 갖지 않을 수 있다. 메모리 칩(MC)은 범프에 의해 제2 레이어(220)의 컨트롤 로직(LC)에 포함된 소자들 중 적어도 일부와 전기적으로 연결될 수 있으며, 자동 초점 기능을 제공하는 데에 필요한 정보를 저장할 수 있다. 일 실시예에서 상기 범프는 마이크로 범프일 수 있다.
다음으로 도 3을 참조하면, 본 발명의 일 실시예에 따른 이미지 센서(200A)는 제1 레이어(210A)와 제2 레이어(220A)를 포함할 수 있다. 제1 레이어(210A)는 복수의 픽셀들(PX)이 마련되는 센싱 영역(SA)과, 복수의 픽셀들(PX)을 구동하기 위한 소자들이 마련되는 컨트롤 로직(LC), 및 센싱 영역(SA)과 컨트롤 로직(LC)의 주변에 마련되는 제1 패드 영역(PA1)을 포함할 수 있다. 제1 패드 영역(PA1)에는 복수의 상부 패드들(PAD)이 포함되며, 복수의 상부 패드들(PAD)은 비아(VIA) 등을 통해 제2 레이어(220A)에 마련된 메모리 칩(MC)과 연결될 수 있다. 제2 레이어(220A)는 메모리 칩(MC)과 더미 칩(DC), 및 메모리 칩(MC)과 더미 칩(DC)을 밀봉하는 보호층(EN)을 포함할 수 있다.
도 7은 본 발명의 일 실시예에 따른 이미지 센서를 간단하게 나타낸 블록도이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 이미지 센서(300)는 픽셀 어레이(310), 및 컨트롤러(320)를 포함할 수 있으며, 컨트롤러(320)는 로우 드라이버(321), 리드아웃 회로(322), 칼럼 드라이버(323) 및 컨트롤 로직(324) 등을 포함할 수 있다.
이미지 센서(300)는 외부에서 수신한 빛을 전기 신호로 변환하여 이미지 데이터를 생성할 수 있다. 이미지 센서(300)에 포함되는 픽셀 어레이(310)는 복수의 픽셀들(PX)을 포함할 수 있으며, 복수의 픽셀들(PX)은 빛을 받아들여 전하를 생성하는 광전 소자, 예를 들어 포토 다이오드(Photo Diode, PD)를 포함할 수 있다. 일 실시예에서, 복수의 픽셀들(PX) 각각은 둘 이상의 포토 다이오드들을 포함할 수도 있다. 픽셀들(PX) 각각이 여러 색상의 빛에 대응하는 픽셀 신호를 생성하거나, 또는 자동 초점(Auto Focus) 기능을 제공하기 위한 목적으로 복수의 픽셀들(PX) 각각에 둘 이상의 포토 다이오드들이 포함될 수 있다.
한편 복수의 픽셀들(PX) 각각은 포토 다이오드들이 생성하는 전하로부터 픽셀 신호를 생성하기 위한 픽셀 회로를 포함할 수 있다. 일 실시예로, 픽셀 회로는 전송 트랜지스터, 구동 트랜지스터, 선택 트랜지스터, 및 리셋 트랜지스터 등을 포함할 수 있다. 픽셀 회로는 복수의 픽셀들(PX) 각각으로부터 리셋 전압과 픽셀 전압을 검출하고, 그 차이를 계산함으로써 픽셀 신호를 획득할 수 있다. 픽셀 전압은, 복수의 픽셀들(PX) 각각에 포함된 포토 다이오드들에서 생성된 전하가 반영된 전압일 수 있다. 일 실시예에서, 서로 인접한 둘 이상의 픽셀들(PX)은 하나의 픽셀 그룹을 구성할 수 있으며, 픽셀 그룹에 포함되는 둘 이상의 픽셀들(PX)은 전송 트랜지스터, 구동 트랜지스터, 선택 트랜지스터, 및 리셋 트랜지스터 중 적어도 일부를 서로 공유할 수 있다.
로우 드라이버(321)는 픽셀 어레이(310)를 행(row) 단위로 구동할 수 있다. 예를 들어, 로우 드라이버(321)는 픽셀 회로의 전송 트랜지스터를 제어하는 전송 제어 신호, 리셋 트랜지스터를 제어하는 리셋 제어 신호, 선택 트랜지스터를 제어하는 선택 제어 신호 등을 생성할 수 있다.
리드아웃 회로(322)는 샘플링 회로, 아날로그-디지털 컨버터(Analog-to-Digital Converter, ADC) 등을 포함할 수 있다. 샘플링 회로는 복수의 샘플러들을 포함할 수 있으며, 일 실시예에서 샘플러는 상관 이중 샘플러(Correlated Double Sampler, CDS)일 수 있다. 샘플러는, 로우 드라이버(321)가 선택하는 로우 라인에 포함되는 픽셀들(PX)과 칼럼 라인들을 통해 연결되며, 해당 픽셀들(PX)로부터 리셋 전압 및 픽셀 전압을 검출할 수 있다. 샘플러들은, 리셋 전압과 픽셀 전압 각각을 램프 전압과 비교하고, 그 결과를 출력할 수 있다. 아날로그-디지털 컨버터는 샘플러들이 출력하는 비교 결과를 디지털 신호로 변환하여 출력할 수 있다.
칼럼 드라이버(323)는 디지털 신호를 임시로 저장할 수 있는 래치 또는 버퍼 회로와 증폭 회로 등을 포함할 수 있으며, 리드아웃 회로(322)로부터 수신한 디지털 신호를 처리할 수 있다. 로우 드라이버(321), 리드아웃 회로(322) 및 칼럼 드라이버(323)는 컨트롤 로직(324)에 의해 제어될 수 있다. 컨트롤 로직(324)은 로우 드라이버(321), 리드아웃 회로(322) 및 칼럼 드라이버(323)의 동작 타이밍을 제어하기 위한 타이밍 컨트롤러, 이미지 데이터 처리를 위한 이미지 신호 프로세서(Image Signal Processor), 및 자이로 센서(400)로부터 수신하는 데이터를 처리하기 위한 회로 등을 포함할 수 있다.
컨트롤 로직(324)은 외부의 자이로 센서(400)로부터, 자이로 센서(400)가 움직임을 감지하여 생성하는 자이로 데이터를 획득할 수 있다. 일례로, 컨트롤 로직(324)은 자이로 센서(400)와 직접 연결되는 인터페이스를 포함할 수 있다. 컨트롤 로직(324)은 상기 인터페이스를 통해 수신한 자이로 데이터에서, 픽셀들(PX)의 노출 시간에 대응하는 유효 데이터를 판단할 수 있다. 픽셀들(PX)의 노출 시간에 대응하는 유효 데이터를 정확히 판단하기 위해, 컨트롤 로직(324)은 자이로 센서(400)에 대한 마스터 장치로 동작할 수 있으며, 자이로 센서(400)와 동기화될 수 있다.
컨트롤 로직(324)은 유효 데이터를 이용하여 자이로 센서(400)가 감지한 움직임에 의한 이미지 데이터의 흔들림을 보정하는 보상 정보를 생성할 수 있다. 일 실시예에서, 컨트롤 로직(324)은 점 확산 함수의 형태로 상기 보상 정보를 생성할 수 있으며, 상기 보상 정보를 이미지 데이터의 푸터(footer) 영역에 기록하여 외부로 출력할 수 있다. 일례로 보상 정보는, 이미지 데이터를 수신한 프로세서가 이미지 데이터의 흔들림을 보정하여 결과 이미지를 생성하거나, 복수의 이미지 데이터들 중에서 흔들림이 적은 이미지 데이터를 선택하여 결과 이미지를 생성하는 데에 이용될 수 있다.
도 8은 본 발명의 일 실시예에 따른 이미지 센서의 픽셀을 간단하게 나타낸 회로도이다.
도 8을 참조하면, 이미지 센서에 포함되는 픽셀은 빛에 반응하여 전하를 생성하는 포토 다이오드(PD) 및 포토 다이오드(PD)가 생성한 전하를 처리하여 전기 신호를 출력하는 픽셀 회로 등을 포함할 수 있다. 일례로 픽셀 회로는 리셋 트랜지스터(RX), 구동 트랜지스터(DX), 선택 트랜지스터(SX), 및 전송 트랜지스터(TX) 등을 포함할 수 있다.
리셋 트랜지스터(RX)는 리셋 제어 신호(RG)에 의해 턴-온 및 턴-오프되며, 리셋 트랜지스터(RX)가 턴-온되면 플로팅 디퓨전(FD)의 전압이 전원 전압(VDD)으로 리셋될 수 있다. 플로팅 디퓨전(FD)의 전압이 리셋되면, 선택 트랜지스터(SX)가 선택 제어 신호(SG)에 의해 턴-온되어 리셋 전압을 칼럼 라인(Col)으로 출력될 수 있다.
일 실시예에서, 포토 다이오드(PD)는 빛에 반응하여 전자 또는 홀을 주 전하 캐리어로 생성할 수 있다. 리셋 전압이 칼럼 라인(Col)으로 출력된 후 전송 트랜지스터(TX)가 턴-온되면, 포토 다이오드(PD)가 빛에 노출되어 생성한 전하가 플로팅 디퓨전(FD)으로 이동할 수 있다. 구동 트랜지스터(DX)는 플로팅 디퓨전(FD)의 전압을 증폭하는 소스-팔로워 증폭기로 동작할 수 있으며, 선택 트랜지스터(SX)가 선택 제어 신호(SG)에 의해 턴-온되면 포토 다이오드(PD)가 생성한 전하에 대응하는 픽셀 전압이 칼럼 라인(Col)으로 출력될 수 있다.
도 9 내지 도 11은 본 발명의 일 실시예에 따른 이미지 센서의 동작을 설명하기 위해 제공되는 도면들이다.
먼저 도 9를 참조하면, 본 발명의 일 실시예에 따른 이미지 센서(500)는 자이로 센서(510)와 직접 연결될 수 있다. 이미지 센서(500)는 자이로 센서(510)의 인터페이스(511)와 직접 연결되는 제1 인터페이스(501)를 포함하고, 자이로 센서(510)로부터 자이로 데이터(520)를 획득할 수 있다. 일례로 자이로 데이터(520)는 이미지 센서(500)와 자이로 센서(510)가 탑재된 전자 기기의 움직임을 감지하여 자이로 센서(510)가 생성한 데이터일 수 있다. 자이로 데이터(520)는 전자 기기가 움직이는 궤적을 나타낼 수 있다.
일 실시예에서, 자이로 센서(510)는 소정의 샘플링 레이트에 따라 전자 기기의 움직임 궤적(530)에 대응하는 자이로 데이터(520)를 출력할 수 있으며, 자이로 데이터(520)는 복수의 샘플링 데이터들을 포함할 수 있다. 자이로 데이터(520)의 단위는 각속도의 단위(deg/sec.)와 같을 수 있다. 이미지 센서(500)는 자이로 데이터(520)를 시간에 따라 적분함으로써 도 9에 도시한 바와 같이 전자 기기의 움직임 궤적(530)을 유추할 수 있다.
일 실시예에서, 자이로 센서(510)의 샘플링 레이트는, 이미지 센서(500)의 프레임 레이트보다 클 수 있다. 따라서, 이미지 센서(500)가 하나의 이미지 데이터를 생성하는 셔터 동작을 실행하는 동안, 이미지 센서(500)는 자이로 센서(510)로부터 복수의 샘플링 데이터들을 포함하는 자이로 데이터(520)를 수신할 수 있다.
이미지 센서(500)는 자이로 데이터(520)에 포함된 복수의 샘플링 데이터들 중에서, 이미지 센서(500)의 노출 시간에 대응하는 샘플링 데이터들을 선택하여 유효 데이터를 생성할 수 있다. 이미지 센서(500)와 자이로 센서(510)가 서로 동기화되지 않을 경우, 이미지 센서(500)가 노출 시간에 대응하는 샘플링 데이터들을 정확히 선택하지 못할 수 있다. 예를 들어, 자이로 센서(510)와 이미지 센서(500)가 직접 연결되지 않고 별도의 프로세서를 통해 통신할 경우, 이미지 센서(500)와 자이로 센서(510)가 동기화되지 않음으로써 이미지 센서(500)의 노출 시간에 대응하는 샘플링 데이터들이 정확히 선택되지 않을 수 있다.
본 발명의 일 실시예에서는 이미지 센서(500)와 자이로 센서(510)를 직접 연결하여 동기화시킴으로써 상기와 같은 문제를 해결할 수 있다. 또한, 이미지 센서(500)의 노출 시간을 나타내는 타임스탬프와, 자이로 센서(510)가 출력하는 복수의 샘플링 데이터들의 생성 시점을 나타내는 타임스탬프를 비교하여, 노출 시간에 대응하는 샘플링 데이터들을 정확히 선택할 수 있다. 이하, 도 10 및 도 11을 참조하여 더욱 자세히 설명하기로 한다.
도 10을 참조하면, 본 발명의 일 실시예에 따른 이미지 센서의 픽셀 어레이(PA)는 복수의 픽셀들(PX)을 포함할 수 있다. 복수의 픽셀들(PX)은 복수의 로우 라인들(ROW1-ROWm: ROW)과 복수의 칼럼 라인들(COL1-COLn: COL)에 연결될 수 있다. 이미지 센서는 복수의 픽셀들(PX)을 복수의 로우 라인들(ROW)을 따라 스캔할 수 있다. 일례로, 복수의 로우 라인들(ROW) 중 하나를 스캔하는 시간은 하나의 수평 주기로 정의될 수 있으며, 이미지 센서는 복수의 로우 라인들(ROW)을 따라 복수의 픽셀들(PX)을 스캔하는 롤링 셔터 방식으로 동작할 수 있다.
계속해서 도 10을 참조하면, 첫번째 로우 라인(ROW1)에 대한 스캔 주기의 시작 시점이 제1 시점(T1)으로, 마지막 로우 라인(ROWm)에 대한 스캔 주기의 종료 시점이 제2 시점(T2)으로 정의될 수 있다. 제1 시점(T1)과 제2 시점(T2) 각각은 이미지 센서의 노출 시간의 시작 시점과 종료 시점에 대응할 수 있다. 또한, 첫번째 로우 라인(ROW1)에 연결된 픽셀들(PX)로부터 픽셀 신호를 읽어오는 리드아웃 동작의 시작 시점이 제3 시점(T3)으로, 종료 시점이 제4 시점(T4)으로 정의될 수 있다. 한편, 마지막 로우 라인(ROWm)에 연결된 픽셀들(PX)로부터 픽셀 신호를 읽어오는 리드아웃 동작의 종료 시점이 제5 시점(T5)으로 정의될 수 있다.
노출 시간은 제1 시점(T1)으로부터 제2 시점(T2)까지의 시간으로 정의될 수 있다. 도 11을 참조하면, 이미지 센서는 자이로 센서로부터 획득한 자이로 데이터(600)에 포함되는 샘플링 데이터들 중에서, 제1 시점(T1)과 제2 시점(T2) 사이의 샘플링 데이터들을 유효 데이터로 선택하여 보상 정보(610)를 생성할 수 있다. 일례로 이미지 센서는, 자이로 데이터(600)에 포함되는 샘플링 데이터들 각각의 타임스탬프를, 제1 시점(T1)의 타임스탬프 및 제2 시점(T2)의 타임스탬프와 비교하여, 유효 데이터를 선택할 수 있다.
이미지 센서는 유효 데이터를 적분하여 자이로 센서가 감지한 움직임의 궤적에 대응하는 보상 정보(610)를 알아낼 수 있다. 실시예들에 따라, 이미지 센서는 유효 데이터에 포함되는 샘플링 데이터들을 제1 시점(T1)과 제2 시점(T2) 사이에서 연속적으로 적분하거나, 또는 제1 시점(T1)과 제2 시점(T2) 사이의 시간을 복수의 시구간들로 나누고 복수의 시구간들 각각에 포함되는 샘플링 데이터들을 적분할 수 있다. 이하, 도 12 내지 도 14를 참조하여 설명하기로 한다.
도 12 내지 도 14는 본 발명의 일 실시예에 따른 이미지 센서의 동작을 설명하기 위해 제공되는 도면들이다
먼저 도 12를 참조하면, 이미지 센서는 자이로 센서가 생성하는 샘플링 데이터들 중에서 제1 시점(T1)과 제2 시점(T2) 사이에 획득한 유효 데이터를 적분하여 전자 기기가 이동한 궤적에 대응하는 보상 정보(610)를 획득할 수 있다. 일례로, 유효 데이터는 각속도(deg/sec.) 정보를 포함하며, 보상 정보(610)는 점 확산 함수로 표현될 수 있다.
도 12에 도시한 일 실시예에서, 이미지 센서는 유효 데이터에 포함되는 샘플링 데이터들을, 샘플링 레이트에 따라 적분할 수 있다. 따라서, 도 12에 도시한 바와 같이 보상 정보(610)가 나타내는 궤적 정보(611)와, 전자 기기의 실제 움직임에 대응하는 움직임 궤적(605)이 큰 차이 없이 거의 일치할 수 있다.
다음으로 도 13을 참조하면, 이미지 센서는 제1 시점(T1)과 제2 시점(T2) 사이에 속하는 샘플링 데이터들 중에서 유효 데이터를 선택하고, 유효 데이터를 적분하여 보상 정보(610)를 생성할 수 있다. 도 13에 도시한 일 실시예에서는, 도 12에 도시한 일 실시예와 달리 제1 시점(T1)과 제2 시점(T2) 사이의 시간을 복수의 시구간들로 분할하여 유효 데이터들을 적분할 수 있다. 따라서, 도 13에 도시한 바와 같이, 보상 정보(610)가 나타내는 궤적 정보(612)가, 전자 기기의 실제 움직임을 나타내는 움직임 궤적(605)과 상대적으로 큰 차이를 가질 수 있다. 다만, 유효 데이터에 포함되는 모든 샘플링 데이터들이 연속적으로 적분되지 않기 때문에, 적은 연산 부담으로 보상 정보(610)를 획득할 수 있다.
도 14에 도시한 일 실시예에서는, 도 13에 도시한 일 실시예와 마찬가지로 이미지 센서가 제1 시점(T1)과 제2 시점(T2) 사이의 시간을 복수의 시구간들로 분할하여 유효 데이터들을 적분할 수 있다. 다만, 도 13에 도시한 일 실시예와 비교하여 상대적으로 복수의 시구간들 각각의 시간이 좀 더 길게 설정될 수 있다. 따라서 이미지 센서의 연산 부담을 줄일 수 있는 반면, 보상 정보(610)가 나타내는 궤적 정보(613)와, 실제 움직임을 나타내는 움직임 궤적(605)의 차이가 증가할 수 있다.
도 13 및 도 14에 도시한 실시예들에서, 제1 시점(T1)과 제2 시점(T2) 사이의 시간을 나누는 복수의 시구간들 각각의 길이는 다양하게 변경될 수 있다. 복수의 시구간들 각각의 길이는 초기에 디폴트로 설정된 값에서, 이미지 센서를 탑재한 전자 기기의 사용자에 의해 변경될 수 있다. 일례로 전자 기기는, 전자 기기의 흔들림에 의해 이미지에 나타난 블러(blur) 현상을 제거하는 디블러(de-blur) 처리의 정도를 조절할 수 있는 애플리케이션을 사용자에게 제공할 수 있다. 사용자가 상기 애플리케이션에서 디블러 처리의 정도를 조절함으로써, 제1 시점(T1)과 제2 시점(T2) 사이의 시간을 나누는 복수의 시구간들 각각의 길이가 변경될 수 있다.
도 15는 본 발명의 일 실시예에 따른 이미지 센서의 동작을 설명하기 위해 제공되는 블록도이다.
도 15를 참조하면, 본 발명의 일 실시예에 따른 전자 기기(700)는, 이미지 센서(710) 및 이미지 센서(710)와 직접 데이터를 주고받을 수 있도록 연결되는 자이로 센서(720) 등을 포함할 수 있다. 이미지 센서(710)는 정보 수집부(711)와 정보 생성부(712) 및 타이밍 컨트롤러(713) 등을 포함할 수 있다.
정보 수집부(711)는 소정의 인터페이스를 통해 자이로 센서(720)가 출력하는 자이로 데이터를 수집할 수 있다. 일례로, 정보 수집부(711)는 SPI, I2C 인터페이스 등을 통해 자이로 센서(720)와 연결되며, 자이로 센서(720)가 소정의 샘플링 레이트에 따라 생성 및 출력하는 샘플링 데이터들을 자이로 데이터로서 수신할 수 있다.
정보 생성부(712)는 정보 수집부(711)가 수신한 자이로 데이터에서 적어도 일부의 샘플링 데이터들을 이용하여 보상 정보를 생성할 수 있다. 보상 정보는, 이미지 센서(710)와 자이로 센서(720)가 탑재된 전자 기기의 흔들림에 따른 이미지 데이터의 열화를 보정하는 데에 필요한 정보로서, 점 확산 함수 등의 형태로 표현될 수 있다.
타이밍 컨트롤러(713)는 이미지 센서(710)의 전반적인 동작 타이밍을 제어하며, 일례로, 픽셀 어레이를 스캔하는 로우 드라이버, 로우 드라이버가 스캔한 픽셀들로부터 픽셀 신호를 읽어오는 리드아웃 회로 등의 동작 타이밍을 제어할 수 있다. 본 발명의 일 실시예에서, 정보 수집부(711)는 타이밍 컨트롤러(713)가 전송하는 타이밍 정보에 기초하여, 자이로 데이터에 포함된 샘플링 데이터들 중 일부를 선택하여 정보 생성부(712)에 전송할 수 있다. 일례로 타이밍 컨트롤러(713)는 노출 시간의 시작 시점과 종료 시점을 나타내는 타이밍 정보를 정보 수집부(711)에 전송할 수 있다. 정보 수집부(711)는 노출 시간의 시작 시점과 종료 시점 사이에 속하는 샘플링 데이터들을 유효 데이터로 선택할 수 있으며, 유효 데이터로 선택한 샘플링 데이터들을 정보 생성부(712)에 전달할 수 있다.
정보 생성부(712)는 정보 수집부(711)로부터 수신한 유효 데이터를 이용하여 보상 정보를 생성할 수 있다. 일 실시예에서, 정보 생성부(712)는 유효 데이터에 포함된 샘플링 데이터를 적분함으로써, 보상 정보를 생성할 수 있다. 정보 생성부(712)는 유효 데이터에 포함된 샘플링 데이터를, 자이로 센서(720)의 샘플링 레이트에 따라 연속적으로 적분하거나, 또는 유효 데이터를 소정의 시구간들로 분할하여 적분할 수 있다.
도 16은 본 발명의 일 실시예에 따른 이미지 센서의 동작을 설명하기 위해 제공되는 도면이다.
도 16을 참조하면, 이미지 센서의 컨트롤 로직은 셔터 동작이 실행되는 노출 시간(800)과 리드아웃 동작 시간(801) 동안 픽셀 어레이로부터 이미지 데이터를 획득할 수 있다. 노출 시간(800)의 시작 시점은 제1 시점(T1)으로, 노출 시간(800)의 종료 시점은 제2 시점(T2)으로 정의될 수 있다. 한편, 첫번째 로우 라인에 연결된 픽셀들에 대한 스캔 주기의 종료 시점은 제3 시점(T3)으로 정의될 수 있다. 또한, 첫번째 로우 라인에 연결된 픽셀들에 대한 리드아웃 동작의 종료 시점은 제4 시점(T4)으로, 마지막 로우 라인에 연결된 픽셀들에 대한 리드아웃 동작의 종료 시점은 제5 시점(T5)으로 정의될 수 있다.
자이로 센서가 전자 기기의 움직임을 감지하여 생성하는 자이로 데이터(810)는, 자이로 센서의 샘플링 레이트에 따라 생성되는 복수의 샘플링 데이터들을 포함할 수 있다. 복수의 샘플링 데이터들 각각은 각속도 단위의 움직임 데이터와 함께, 샘플링 데이터들 각각의 생성 시점 데이터를 포함할 수 있다. 일례로, 상기 생성 시점 데이터는 타임스탬프로 생성될 수 있다.
이미지 센서는, 노출 시간(800)의 시작 시점인 제1 시점(T1)부터 종료 시점인 제2 시점(T2)까지 수신한 샘플링 데이터들을 유효 데이터(811)로 판단할 수 있다. 유효 데이터(811)를 정확히 판단할 수 있도록, 이미지 센서는 자이로 데이터(810)를 생성하는 자이로 센서와 동기화되어 동작할 수 있다.
이미지 센서는 유효 데이터(811)를 이용하여 보상 정보(830)를 생성할 수 있다. 일례로 이미지 센서는, 적분기(820)를 이용하여 유효 데이터(811)에 포함되는 샘플링 데이터들을 적분함으로써 보상 정보(830)를 생성할 수 있다. 이미지 센서는 제1 시점(T1) 이후에 수신하는 샘플링 데이터들을 실시간으로 적분할 수 있으며, 제2 시점(T2)이 도래하면 적분 연산을 종료할 수 있다. 따라서, 이미지 센서는 노출 시간 동안 적분 연산을 동시에 진행할 수 있으며, 보상 정보(830)를 생성하기 위한 별도의 연산 시간을 필요로 하지 않을 수 있다.
이미지 센서는 제1 시점(T1) 및 제2 시점(T2) 사이의 노출 시간에서 유효 데이터(811)에 포함되는 샘플링 데이터들을 연속적으로 적분할 수 있다. 또는, 이미지 센서가 제1 시점(T1) 및 제2 시점(T2) 사이의 노출 시간을 복수의 시구간들로 나누고, 각 시구간들에서 유효 데이터(811)에 포함된 샘플링 데이터들을 적분할 수 있다.
도 16에 도시한 일 실시예에서 이미지 센서는, 제1 시점(T1) 및 제2 시점(T2) 사이의 시간을 복수의 시구간들로 나누고, 각 시구간들에서 유효 데이터(811)에 포함된 샘플링 데이터들을 적분할 수 있다. 따라서, 보상 정보(830)는 복수의 시구간들을 정의하는 시점들(t0-tn)과, 각 시구간들에 포함되는 샘플링 데이터들을 적분하여 획득한 움직임 정보들을 포함할 수 있다. 각 시구간들에 대응하는 움직임 정보들은, 자이로 센서가 감지한 움직임 궤적에 존재하는 임의의 포인트의 좌표를 나타내는 값들을 포함할 수 있다. 일 실시예에서 첫 시구간의 시작 시점(t0)을 제외한 나머지 시점들(t1-tn)에 대응하는 좌표들은, 움직임 궤적의 해당 시점에 대응하는 절대적인 좌표 값이 아니라, 직전 시점의 좌표와의 차이에 대응하는 좌표 변화량일 수 있다. 따라서, 움직임 정보들은 자이로 센서가 감지하는 움직임 궤적의 방향에 따라 음의 부호를 가질 수도 있다.
일 실시예에서 보상 정보(830)는 복수의 축들에 대응하는 값들을 가질 수 있다. 도 16을 참조하면, 보상 정보(830)는 제1축(x축), 제2축(y축), 제3축(z축)에 각각 대응하는 값들을 가질 수 있으며, 이미지 센서가 생성하는 이미지의 가로축과 세로축에 각각 제1축과 제2축이 대응할 수 있다. 제3축은 이미지의 중심점을 기준으로 하는 회전 이동 성분일 수 있다. 본 발명의 일 실시예에서는 제1축 방향과 제2축 방향에 따른 단순한 평행 이동 외에, 전자 기기가 감지하는 회전 이동에 따른 흔들림을 함께 고려하여 보상 정보를 생성하므로, 이미지에 나타나는 블러 현상을 효과적으로 보정할 수 있다.
도 17은 본 발명의 일 실시예에 따른 이미지 센서의 동작을 설명하기 위해 제공되는 도면이다.
도 17을 참조하면, 보상 정보 중에서 제3축(z축)에 대응하는 값들은, 이미지(900)의 중심점(901)을 기준으로 하는 회전 이동 성분을 나타낼 수 있다. 일례로, 보상 정보의 제3축 값이 양의 부호를 갖는 경우에는 시계 방향으로 회전 이동이 발생하고, 제3축 값이 음의 부호를 갖는 경우에는 반시계 방향으로 회전 이동이 발생한 것으로 가정할 수 있다. 다만 실시예에 따라, 제3축 값의 부호와 회전 이동의 방향이 반대로 매칭될 수도 있다.
도 17에 도시한 바와 같이, 이미지(900)에 포함되는 픽셀들 각각과 중심점(901)과의 거리에 따라, 제3축 값에 대응하는 회전 이동량(θ)에 의한 픽셀들의 좌표 변화가 다르게 나타날 수 있다. 회전 이동량(θ)에 대해, 중심점(901)에 가까운 픽셀들의 좌표 변화(902)는, 중심점(901)으로부터 먼 픽셀들의 좌표 변화(903)보다 작을 수 있다.
본 발명의 일 실시예에서, 보상 정보에 기록된 제1축(x축)과 제2축(y축) 각각의 값들은 이미지(900)를 촬영하는 동안 이미지 센서를 탑재한 전자 기기가 각각의 축을 따라 얼마나 움직였는지를 나타내는 값일 수 있다. 예를 들어, 보상 정보는, 이미지(900)를 촬영하는 동안 이미지 센서를 탑재한 전자 기기의 움직임을 각도 또는 픽셀 단위로 나타낼 수 있다.
보상 정보에 기록된 제1축 및 제2축 이동량은 이미지(900)에 포함되는 픽셀들에 대해 같을 수 있다. 다만, 회전 이동량(θ)을 나타내는 제3축 값은, 이미지(900)의 중심점으로부터 각 픽셀까지의 거리에 따라 달라질 수 있다. 이는, 이미지(900)의 중심점으로부터 각 픽셀까지의 거리에 의해, 회전 이동량(θ)에 따른 이동 거리가 달라지기 때문일 수 있다. 예를 들어, 같은 회전 이동량(θ)을 갖는 경우에도, 이미지(900)의 중심점에 가까운 픽셀들의 제3축 값은, 이미지(900)의 중앙으로부터 먼 픽셀들의 제3축 값보다 작을 수 있다.
본 발명의 일 실시예에서는, 보상 정보에 포함된 제1축 값 및 제2축 값에 제3축 값을 반영할 수 있다. 따라서, 최종적으로 계산되는 제1축 값과 제2축 값은, 이미지(900)에 포함되는 픽셀들의 위치에 따라 달라질 수 있다. 제1축 방향과 제2축 방향에서 발생하는 움직임은 물론, 회전 이동을 반영하는 움직임을 함께 고려하므로, 이미지 센서가 탑재된 전자 기기의 움직임을 나타내는 보상 정보를 정확하게 생성할 수 있다.
도 18은 본 발명의 일 실시예에 따른 이미지 센서의 동작을 설명하기 위해 제공되는 도면이다.
도 18을 참조하면, 이미지 센서는 하나의 프레임에 대응하는 이미지 데이터(1000)를 복수의 영역들(1001-1005)로 나누고, 복수의 영역들(1001-1005) 각각에 대응하는 유효 데이터들(1011-1015)을 자이로 데이터(1010)로부터 생성할 수 있다. 이미지 센서는, 복수의 영역들(1001-1005) 각각의 노출 시간에 대응하는 샘플링 데이터들을 자이로 데이터(1010)로부터 선택함으로써, 복수의 영역들(1001-1005) 각각에 대응하는 유효 데이터들(1011-1015)을 생성할 수 있다. 설명의 편의를 위하여 도 18에 도시한 일 실시예에서는 이미지 센서가 이미지 데이터(1000)를 5개의 영역들(1001-1005)로 나누는 것을 가정하였으나, 반드시 이와 같은 형태로 한정되는 것은 아니다.
이미지 센서는, 셔터 동작이 실행되는 노출 시간의 시작 시점인 제1 시점(T1)과 노출 시간의 종료 시점인 제2 시점(T2) 사이에 복수의 중간 시점들(TI1-TI8)을 정의할 수 있다. 복수의 중간 시점들(TI1-TI8)은 이미지 데이터(1000)에 포함되는 제1 내지 제5 영역들(1001-1005) 각각의 노출 시간을 정의하기 위한 시점들일 수 있다. 일례로, 제1 영역(1001)에 포함되는 픽셀들은, 제1 시점(T1)과 제2 중간 시점(TI2) 사이에 셔터 동작이 실행되어 노출될 수 있다. 제2 영역(1002)에 포함되는 픽셀들의 노출 시간은, 제1 중간 시점(TI1)에 시작되어 제4 중간 시점(TI4)에 종료될 수 있다.
자이로 데이터(1010)는 이미지 센서와 함께 전자 기기에 탑재된 자이로 센서가, 전자 기기의 움직임을 감지하여 출력하는 데이터로서, 복수의 샘플링 데이터들을 포함할 수 있다. 이미지 센서는 제1 내지 제5 영역들(1001-1005) 각각의 노출 시간을 정의하는 시점들 사이에 속하는 샘플링 데이터들을 자이로 데이터(1010)에서 선택함으로써, 제1 내지 제5 영역들(1001-1005) 각각에 대응하는 제1 내지 제5 유효 데이터들(1011-1015)을 생성할 수 있다. 도 18에 도시한 바와 같이, 제1 내지 제5 유효 데이터들(1011-1015) 중 적어도 일부는, 일부의 샘플링 데이터들을 공통으로 포함할 수 있다.
이미지 센서는 제1 내지 제5 유효 데이터들(1011-1015) 각각에 포함되는 샘플링 데이터들을 이용하여, 제1 내지 제5 영역들(1001-1005) 각각에 대응하는 보상 정보들을 생성할 수 있다. 보상 정보들을 이용한 이미지 보정 프로세스는, 이미지 센서와 연결된 외부 프로세서에 의해 실행될 수 있다. 또는, 실시예들에 따라, 이미지 센서가 직접 이미지 보정 프로세스를 실행할 수도 있다.
도 19 및 도 20은 본 발명의 일 실시예에 따른 이미지 센서의 동작을 설명하기 위해 제공되는 도면이다.
먼저 도 19를 참조하면, 이미지 센서는 소정의 프레임 레이트로 이미지 데이터(1100)를 생성하며, 동영상 데이터(1200)를 출력할 수 있다. 이미지 센서는 제1 프레임 레이트로 이미지 데이터(1100)를 생성하고, 제1 프레임 레이트보다 낮은 제2 프레임 레이트를 갖는 동영상 데이터(1200)를 출력할 수 있다.
이미지 센서는 제1 프레임 레이트와 제2 프레임 레이트의 차이에 기초하여 이미지 데이터(1100)에 포함되는 이미지 프레임들(F1-F8)을 복수의 그룹들(1101, 1102)로 구분할 수 있다. 이미지 센서는 제1 프레임 레이트와 제2 프레임 레이트의 비율에 따라 이미지 프레임들(F1-F8)을 복수의 그룹들(1101, 1102)로 그룹핑할 수 있다. 도 19에 도시한 일 실시예에서는 제1 프레임 레이트가 제2 프레임 레이트의 4배일 수 있으며, 따라서 이미지 프레임들(F1-F8) 중에서 서로 인접한 4개가 그룹들(1101, 1102) 각각으로 묶일 수 있다. 일례로, 제1 프레임 레이트는 120Hz이고, 제2 프레임 레이트는 30Hz일 수 있다. 제1 프레임 레이트가 240Hz이고 제2 프레임 레이트가 30Hz일 경우, 서로 인접한 8개의 이미지 프레임들(F1-F8)이 하나의 그룹으로 묶일 수도 있다.
이미지 센서는, 복수의 그룹들(1101, 1102) 각각에서 흔들림이 가장 적은 이미지 프레임을 결과 이미지로 선택하여 출력할 수 있다. 이미지 센서는 이미지 프레임들(F1-F8) 각각의 흔들림을 나타내는 보상 정보들(PSF1-PSF8)을 생성하고, 보상 정보들(PSF1-PSF8)에 기초하여 이미지 프레임들(F1-F8) 각각을 촬영할 때 발생한 흔들림의 정도를 판단할 수 있다. 도 19에 도시한 일 실시예에서 이미지 센서는, 제1 그룹(1101)에서 제3 이미지 프레임(F3)을 결과 이미지로서 선택하고, 제2 그룹(1102)에서 제6 이미지 프레임(F6)을 결과 이미지로서 선택하여 동영상 데이터(1200)를 생성할 수 있다.
이미지 센서에 탑재된 메모리의 용량 제한으로 인해, 복수의 그룹들(1101, 1102) 각각에 포함되는 이미지 프레임들을 이미지 센서가 모두 저장하기 어려울 수 있다. 이 경우, 현재 노출 중인 이미지 프레임의 보상 정보를 이용하여 흔들림이 적다고 판단되면 해당 이미지 프레임을 출력하고, 흔들림이 크다고 판단되는 경우에만 다음 이미지 프레임을 생성할 수 있다. 일 실시예에서 이미지 센서는, 현재 이미지 프레임에서 계산된 보상 정보를 소정의 기준값과 비교하여, 보상 정보가 기준값보다 작으면 현재 이미지 프레임을 출력하고, 보상 정보가 기준값보다 크면 현재 이미지 프레임을 삭제하고 다음 이미지 프레임을 생성할 수 있다.
일례로, 제1 그룹(1101)에서는 제1 이미지 프레임(F1)을 촬영할 때 발생한 흔들림이 큰 편이므로, 제1 이미지 프레임(F1)을 삭제하고 제2 이미지 프레임(F2)을 생성할 수 있다. 제2 이미지 프레임(F2)을 촬영할 때의 흔들림 역시 큰 편이므로, 제2 이미지 프레임(F2)도 삭제되며 제3 이미지 프레임(F3)을 촬영할 수 있다. 제3 이미지 프레임(F3)을 촬영하는 동안 발생한 흔들림은 상대적으로 작으므로, 이미지 센서는 제3 이미지 프레임(F3)을 저장하고 제4 이미지 프레임(F4)을 생성하지 않을 수 있다. 일례로, 마지막 이미지 프레임을 촬영하기 이전의 모든 이미지 프레임들에서 흔들림이 크게 발생한 것으로 판단되면, 마지막 이미지 프레임은 흔들림의 크기에 관계없이 메모리에 저장될 수 있다. 상기 예시한 방법은, 동영상 데이터(1200) 뿐 아니라 정지 이미지를 생성할 때에도 적용될 수 있다.
다음으로 도 20에 도시한 일 실시예는, 정지 이미지를 출력하는 동작에 해당할 수 있다. 도 20을 참조하면, 하나의 정지 이미지를 출력하는 동작에서, 이미지 센서가 복수의 후보 이미지들(1301-1304)을 생성할 수 있다. 이미지 센서는 후보 이미지들(1301-1304) 각각의 흔들림을 나타내는 보상 정보들(PSF1-PSF4)을 생성하며, 보상 정보들(PSF1-PSF4)을 참조하여 가장 적은 흔들림이 발생한 하나의 후보 이미지를 결과 이미지(1400)로 내보낼 수 있다. 도 20에 도시한 일 실시예에서는, 제1 후보 이미지(1301)가 결과 이미지(1400)로 결정될 수 있다.
도 21은 본 발명의 일 실시예에 따른 이미지 센서를 포함하는 전자 기기를 간단하게 나타낸 블록도이다.
도 21에 도시한 실시예에 따른 컴퓨터 장치(2000)는 디스플레이(2010), 센서부(2020), 메모리(1030), 프로세서(1040), 및 포트(1050) 등을 포함할 수 있다. 이외에 컴퓨터 장치(2000)는 유무선 통신 장치, 전원 장치 등을 더 포함할 수 있다. 도 21에 도시된 구성 요소 가운데, 포트(2050)는 컴퓨터 장치(2000)가 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하기 위해 제공되는 장치일 수 있다. 컴퓨터 장치(2000)는 일반적인 데스크톱 컴퓨터나 랩톱 컴퓨터 외에 스마트폰, 태블릿 PC, 스마트 웨어러블 기기 등을 모두 포괄하는 개념일 수 있다.
프로세서(2040)는 특정 연산이나 명령어 및 태스크 등을 수행할 수 있다. 프로세서(2040)는 중앙 처리 장치(CPU) 또는 마이크로프로세서 유닛(MCU), 시스템 온 칩(SoC) 등일 수 있으며, 버스(2060)를 통해 디스플레이(2010), 센서부(2020), 메모리 장치(2030)는 물론, 포트(2050)에 연결된 다른 장치들과 통신할 수 있다.
메모리(2030)는 컴퓨터 장치(2000)의 동작에 필요한 데이터, 또는 멀티미디어 데이터 등을 저장하는 저장 매체일 수 있다. 메모리(2030)는 랜덤 액세스 메모리(RAM)와 같은 휘발성 메모리나, 또는 플래시 메모리 등과 같은 비휘발성 메모리를 포함할 수 있다. 또한 메모리(2030)는 저장장치로서 솔리드 스테이트 드라이브(SSD), 하드 디스크 드라이브(HDD), 및 광학 드라이브(ODD) 중 적어도 하나를 포함할 수도 있다.
센서부(2020)는 이미지 센서, 자이로 센서, 온도 센서 등의 센서들을 포함할 수 있다. 이미지 센서 및 자이로 센서는 버스(1060) 또는 다른 통신 수단에 의해 프로세서(1040)와 연결될 수 있다. 이미지 센서와 자이로 센서는 프로세서(2040)를 통하지 않고 직접 데이터를 주고받도록 연결될 수 있다. 이미지 센서는 도 1 내지 도 20을 참조하여 설명한 다양한 실시예들에 따른 형태로 컴퓨터 장치(2000)에 채용될 수 있다.
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되는 것이 아니며 첨부된 청구범위에 의해 한정하고자 한다. 따라서, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 당 기술분야의 통상의 지식을 가진 자에 의해 다양한 형태의 치환, 변형 및 변경이 가능할 것이며, 이 또한 본 발명의 범위에 속한다고 할 것이다.
10, 100, 100A, 700: 전자 기기
110, 200, 200A, 300, 500, 710: 이미지 센서
130, 400, 510, 720: 자이로 센서

Claims (10)

  1. 복수의 픽셀들을 갖는 픽셀 어레이;
    외부의 자이로 센서와 직접 연결되며, 움직임에 반응하여 상기 자이로 센서가 출력하는 자이로 데이터를 수신하는 제1 인터페이스; 및
    소정의 노출 시간 동안 상기 복수의 픽셀들을 노출시켜 이미지 데이터를 생성하며, 상기 자이로 데이터에서 상기 노출 시간에 대응하는 유효 데이터를 판단하고, 상기 유효 데이터에 기초하여 상기 움직임의 궤적을 나타내는 보상 정보를 생성하는 컨트롤 로직; 을 포함하는 이미지 센서.
  2. 제1항에 있어서,
    상기 보상 정보는 상기 움직임의 궤적을 나타내는 점 확산 함수(Point Spread Function, PSF)를 포함하는 이미지 센서.
  3. 제1항에 있어서,
    상기 픽셀 어레이는 상기 복수의 픽셀들에 연결되는 복수의 로우 라인들 및 복수의 칼럼 라인들을 포함하며,
    상기 컨트롤 로직은 상기 복수의 로우 라인들 중 첫번째 로우 라인에 대한 스캔 주기의 시작 시점, 및 상기 복수의 로우 라인들 중 마지막 로우 라인에 대한 스캔 주기의 종료 시점 사이에 획득한 상기 자이로 데이터를 상기 유효 데이터로 판단하는 이미지 센서.
  4. 제1항에 있어서,
    상기 자이로 데이터는 소정의 샘플링 레이트를 갖는 복수의 샘플링 데이터들을 포함하며,
    상기 컨트롤 로직은, 상기 노출 시간의 시작 시점과 종료 시점을 나타내는 타임스탬프와 상기 복수의 샘플링 데이터들의 타임스탬프를 비교하여 상기 복수의 샘플링 데이터들 중에서 상기 유효 데이터를 판단하는 이미지 센서.
  5. 제1항에 있어서,
    상기 컨트롤 로직은, 상기 노출 시간을 복수의 시구간들로 구분하고, 상기 복수의 시구간들 각각에서 상기 유효 데이터를 적분하여 상기 보상 정보를 생성하는 이미지 센서.
  6. 제1항에 있어서,
    상기 컨트롤 로직은 제1 프레임 레이트로 상기 이미지 데이터를 생성하며, 상기 제1 프레임 레이트보다 낮은 제2 프레임 레이트로 동영상 데이터를 출력하는 이미지 센서.
  7. 제6항에 있어서,
    상기 컨트롤 로직은, 상기 제1 프레임 레이트와 상기 제2 프레임 레이트의 차이에 기초하여 상기 이미지 데이터를 복수의 그룹들로 구분하고,
    상기 복수의 그룹들 각각에서 상기 보상 정보로부터 계산되는 상기 움직임이 가장 적은 상기 이미지 데이터를 선택하여 상기 동영상 데이터를 출력하는 이미지 센서.
  8. 제1항에 있어서,
    상기 컨트롤 로직은 상기 이미지 데이터를 복수의 영역들로 구분하고, 상기 복수의 영역들 각각의 노출 시간에 대응하는 상기 유효 데이터를 상기 자이로 데이터로부터 추출하는 이미지 센서.
  9. 임의의 궤적을 갖는 움직임을 감지하여 소정의 샘플링 레이트를 갖는 샘플링 데이터들을 출력하는 자이로 센서;
    복수의 픽셀들 및 상기 복수의 픽셀들이 출력하는 픽셀 신호에 기초하여 이미지 데이터를 생성하는 컨트롤 로직을 포함하며, 상기 컨트롤 로직은 상기 복수의 픽셀들의 노출 시간 동안 상기 자이로 센서가 생성한 상기 샘플링 데이터들에 기초하여 상기 움직임의 궤적에 대응하는 보상 정보를 출력하는 이미지 센서; 및
    상기 보상 정보에 기초하여, 상기 이미지 데이터로부터 결과 이미지를 생성하는 프로세서; 를 포함하는 전자 기기.
  10. 복수의 로우 라인들과 복수의 칼럼 라인들에 연결되는 복수의 픽셀들을 갖는 픽셀 어레이;
    소정의 노출 시간 동안 상기 복수의 로우 라인들 각각을 순차적으로 스캔하는 로우 드라이버;
    상기 복수의 칼럼 라인들에 연결되며, 상기 복수의 픽셀들로부터 픽셀 전압을 검출하는 리드아웃 회로; 및
    상기 로우 드라이버와 상기 리드아웃 회로의 동작 타이밍을 제어하며, 상기 노출 시간 동안 외부의 자이로 센서로부터 수신한 샘플링 데이터들을 적분하여 상기 자이로 센서가 감지하는 움직임의 궤적을 나타내는 보상 정보를 생성하는 컨트롤 로직; 을 포함하는 이미지 센서.
KR1020190016096A 2019-02-12 2019-02-12 이미지 센서 및 이를 포함하는 전자 기기 Active KR102518373B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190016096A KR102518373B1 (ko) 2019-02-12 2019-02-12 이미지 센서 및 이를 포함하는 전자 기기
US16/537,675 US11032476B2 (en) 2019-02-12 2019-08-12 Image sensor and electronic device comprising the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190016096A KR102518373B1 (ko) 2019-02-12 2019-02-12 이미지 센서 및 이를 포함하는 전자 기기

Publications (2)

Publication Number Publication Date
KR20200098790A true KR20200098790A (ko) 2020-08-21
KR102518373B1 KR102518373B1 (ko) 2023-04-06

Family

ID=71945387

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190016096A Active KR102518373B1 (ko) 2019-02-12 2019-02-12 이미지 센서 및 이를 포함하는 전자 기기

Country Status (2)

Country Link
US (1) US11032476B2 (ko)
KR (1) KR102518373B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023018201A1 (ko) * 2021-08-10 2023-02-16 삼성전자 주식회사 이미지 안정화를 수행하는 전자 장치 및 그의 동작 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022044551A1 (ja) * 2020-08-28 2022-03-03 富士フイルム株式会社 撮像装置、駆動方法、及び撮像プログラム
US12079971B2 (en) * 2022-02-07 2024-09-03 Samsung Electronics Co., Ltd. Hand motion pattern modeling and motion blur synthesizing techniques
CN116709043B (zh) * 2022-02-25 2024-08-02 荣耀终端有限公司 一种拍摄方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150053495A (ko) * 2013-11-08 2015-05-18 삼성전기주식회사 촬영 장치의 이미지 보정 장치 및 방법
KR101569823B1 (ko) * 2014-07-09 2015-11-17 주식회사 동운아나텍 손떨림 보정 기능을 갖는 자이로 센서 모듈
KR20170062164A (ko) * 2015-11-27 2017-06-07 삼성전자주식회사 자이로스코프 센서를 제어할 수 있는 이미지 센서와 이를 포함하는 장치들

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4389371B2 (ja) * 2000-09-28 2009-12-24 株式会社ニコン 画像修復装置および画像修復方法
JP2006033758A (ja) 2004-07-21 2006-02-02 Olympus Imaging Corp 撮像装置および画像復元方法
CN101305396B (zh) * 2005-07-12 2012-05-02 Nxp股份有限公司 用于去除运动模糊效应的方法和装置
IES20070229A2 (en) 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
US20080100716A1 (en) * 2006-11-01 2008-05-01 Guoyi Fu Estimating A Point Spread Function Of A Blurred Digital Image Using Gyro Data
JP5102552B2 (ja) 2007-07-25 2012-12-19 イーストマン コダック カンパニー 画像処理システム、撮像装置及び出力装置
JP5304002B2 (ja) 2008-04-11 2013-10-02 株式会社ニコン 撮像装置、画像選別方法及びプログラム
US8289438B2 (en) 2008-09-24 2012-10-16 Apple Inc. Using distance/proximity information when applying a point spread function in a portable media device
US8648918B2 (en) * 2010-02-18 2014-02-11 Sony Corporation Method and system for obtaining a point spread function using motion information
KR101804215B1 (ko) * 2012-03-06 2017-12-05 삼성전자주식회사 강건하게 비균일 모션 블러를 추정하는 방법 및 장치
KR102229152B1 (ko) * 2014-10-16 2021-03-19 삼성전자주식회사 이미지 촬영 장치
KR101596203B1 (ko) 2015-06-16 2016-02-22 중앙대학교 산학협력단 모션 블러 이미지 복원 방법 및 장치
WO2017090458A1 (ja) * 2015-11-26 2017-06-01 ソニー株式会社 撮影装置、および撮影方法、並びにプログラム
US9762801B1 (en) * 2016-03-09 2017-09-12 Motorola Mobility Llc Image processing circuit, hand-held electronic device and method for compensating for motion in an image received by an image sensor
US10728453B2 (en) 2016-08-03 2020-07-28 Samsung Electronics Co., Ltd. Motion stabilized image sensor, camera module and apparatus comprising same
KR102530761B1 (ko) 2016-08-03 2023-05-11 삼성전자주식회사 이미지 센서, 카메라 모듈 및 이를 포함하는 기기

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150053495A (ko) * 2013-11-08 2015-05-18 삼성전기주식회사 촬영 장치의 이미지 보정 장치 및 방법
KR101569823B1 (ko) * 2014-07-09 2015-11-17 주식회사 동운아나텍 손떨림 보정 기능을 갖는 자이로 센서 모듈
KR20170062164A (ko) * 2015-11-27 2017-06-07 삼성전자주식회사 자이로스코프 센서를 제어할 수 있는 이미지 센서와 이를 포함하는 장치들

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023018201A1 (ko) * 2021-08-10 2023-02-16 삼성전자 주식회사 이미지 안정화를 수행하는 전자 장치 및 그의 동작 방법
US12015848B2 (en) 2021-08-10 2024-06-18 Samsung Electronics Co., Ltd. Electronic device performing image stabilization and operating method thereof

Also Published As

Publication number Publication date
US20200260008A1 (en) 2020-08-13
KR102518373B1 (ko) 2023-04-06
US11032476B2 (en) 2021-06-08

Similar Documents

Publication Publication Date Title
US9030583B2 (en) Imaging system with foveated imaging capabilites
JP6127869B2 (ja) 固体撮像素子及びその駆動方法、並びに電子機器
KR102518373B1 (ko) 이미지 센서 및 이를 포함하는 전자 기기
WO2016147885A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
JP2015164284A (ja) 固体撮像素子、動き情報取得装置、および撮像装置
JP6372983B2 (ja) 焦点検出装置およびその制御方法、撮像装置
US10313621B2 (en) Image pickup device, control method, and image pickup apparatus
US20160198141A1 (en) Imaging systems with phase detection pixels
US11533446B2 (en) Image sensor and photographing apparatus including the same
US9350920B2 (en) Image generating apparatus and method
KR102581210B1 (ko) 이미지 신호 처리 방법, 이미지 신호 프로세서 및 이미지 센서 칩
CN104641276B (zh) 摄像装置及信号处理方法
KR20140013591A (ko) 촬영 장치 및 이에 적용되는 촬영 방법
CN109474781A (zh) 摄像装置、摄像装置的控制方法、记录介质
JP2021129321A (ja) 半導体装置、撮像装置、および撮像装置が実行する方法
KR20240116286A (ko) 촬상 장치 및 상기 촬상 장치를 포함하는 촬상 시스템
US11381762B2 (en) Integrated circuit chip and image capturing apparatus
JP2014165778A (ja) 固体撮像素子、撮像装置及び焦点検出装置
US9111484B2 (en) Electronic device for scene evaluation and image projection onto non-planar screens
CN111093006B (zh) 摄像装置、信息处理装置、补偿量设定方法
US10205870B2 (en) Image capturing apparatus and control method thereof
KR20220156242A (ko) 이미지 처리 장치
JP5127510B2 (ja) 撮像装置、及び撮像装置の制御方法
JP6884590B2 (ja) 撮像装置、撮像装置の制御方法、およびプログラム
US20230058184A1 (en) Image device

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190212

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210810

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20190212

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220822

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230227

PG1601 Publication of registration