[go: up one dir, main page]

KR20170000686A - 거리 검출 장치 및 이를 포함하는 카메라 모듈 - Google Patents

거리 검출 장치 및 이를 포함하는 카메라 모듈 Download PDF

Info

Publication number
KR20170000686A
KR20170000686A KR1020150089938A KR20150089938A KR20170000686A KR 20170000686 A KR20170000686 A KR 20170000686A KR 1020150089938 A KR1020150089938 A KR 1020150089938A KR 20150089938 A KR20150089938 A KR 20150089938A KR 20170000686 A KR20170000686 A KR 20170000686A
Authority
KR
South Korea
Prior art keywords
image sensor
pixel array
sensor pixel
camera module
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020150089938A
Other languages
English (en)
Inventor
김현
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020150089938A priority Critical patent/KR20170000686A/ko
Priority to US14/994,652 priority patent/US20160377426A1/en
Priority to CN201610084786.9A priority patent/CN106289158A/zh
Publication of KR20170000686A publication Critical patent/KR20170000686A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G06T7/602
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745Circuitry for generating timing or clock signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • H04N5/2251
    • H04N5/2253
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명의 일 실시예에 따른 거리 검출 장치는 복수의 픽셀을 각각 포함하는 제1 이미지 센서 픽셀 어레이 및 제2 이미지 센서 픽셀 어레이를 포함하는 이미지 센서; 및 상기 제1 이미지 센서 픽셀 어레이 및 상기 제2 이미지 센서 픽셀 어레이의 동작을 동기화하는 동기화부; 를 포함할 수 있다.

Description

거리 검출 장치 및 이를 포함하는 카메라 모듈{APPARATUS FOR DETECTING DISTANCE AND CAMERA MODULE INCLUDING THE SAME}
본 발명은 거리 검출 장치 및 이를 포함하는 카메라 모듈에 관한 것이다.
최근 휴대폰, 태블릿 등 모바일 기기 시장의 급속한 성장이 이루어지고 있다. 급속한 시장 성장의 기술적 배경으로는 디스플레이 화소수 및 사이즈 증가를 빼놓을 수 없다. 즉, 휴대폰의 디스플레이 화소수가 QVGA (320x240) → VGA (640x480) → WVGA (800x480) → HD (1280x720) → Full HD (1920x1080)로 점점 증가하고 있는 추세이다. 향후에는 휴대폰의 디스플레이 화소수가 WQHD (2560x1440) → UHD (3840x2160)로 한층 더 발전할 것으로 예상된다. 뿐만 아니라 휴대폰 디스플레이의 사이즈 또한 3" → 4" → 5" → 6"와 같이 점점 커지고 있다.
스마트 폰의 디스플레이 화소수가 늘어남에 따라 전면 또는 후면에 부착된 촬상용 카메라 모듈의 응용 기술도 발전해 왔다. 최근에는 고화소 자동 초점 카메라가 기본으로 탑재되고 있으며 그 외에 광학식 손떨림 보정 카메라도 탑재율이 점차로 늘어나고 있다. 최근에는 단순 사진 촬영 기능 외에 디지털 일안 반사식 카메라(DSLR)의 기능이 점차로 스마트 폰 카메라에 적용되고 있다. 대표적인 기술이 고속으로 자동 초점을 수행할 수 있는 위상차 검출 자동 초점 기술이다.
고속 자동 초점 기술은 촬영된 이미지를 해석하여 렌즈의 초점 이동 위치를 파악하는 수동 방식과 별도의 적외선 광원을 이용하여 피사체의 거리를 직접 센싱하여 렌즈의 초점 이동 위치를 파악하는 능동 방식으로 분류된다. 그 외에 두 개의 카메라를 이용하여 촬영된 이미지들로부터 삼각 측량 방식을 이용하여 피사체의 거리를 직접 센싱하는 방식도 스마트 폰의 카메라에 도입되기 시작했다.
두 개의 카메라를 이용하여 카메라로부터 피사체까지의 거리를 검출하면 촬영된 이미지의 피사계 심도를 소비자가 원하는 형태로 조정하는 것이 가능해진다. 즉, 아날로그 카메라에서 조리개를 조정하여 피사계 심도를 조정하던 방식 대비 디지털 이미지 처리 방식을 이용하여 디지털 조리개 기능을 구현하는 것이 가능해졌다.
다만, 거리 검출을 위한 스테레오 카메라 방식에서는 정확한 거리 검출을 위해 두 개 카메라 사이의 간격, 기준 카메라 대비 상대 카메라의 광축 정렬을 정확히 수행해야 한다. 두 개 카메라의 광축이 서로 나란하지 않은 경우와 같이 두 개 카메라 사이의 간격이 설계 값과 다른 경우, 산출된 거리 정보는 정확도가 현저히 떨어질 수 있다.
한국 공개특허공보 2010-0138453
본 발명의 과제는 두 개 카메라의 광축 정렬을 공정오차 없이 정밀하게 수행하고, 거리 정보를 정확하게 산출할 수 있는 거리 검출 장치 및 이를 포함하는 카메라 모듈을 제안하는 것이다.
본 발명의 일 실시예에 따른 거리 검출 장치는 복수의 픽셀을 각각 포함하는 제1 이미지 센서 픽셀 어레이 및 제2 이미지 센서 픽셀 어레이를 포함하는 이미지 센서; 및 상기 제1 이미지 센서 픽셀 어레이 및 상기 제2 이미지 센서 픽셀 어레이의 동작을 동기화하는 동기화부; 를 포함할 수 있다.
본 발명의 일 실시예에 따른 거리 검출 장치 및 카메라 모듈은 두 개 카메라의 광축 정렬을 공정오차 없이 정밀하게 수행하고, 거리 정보를 정확하게 산출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 거리 검출 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 거리 검출 장치의 칩 구조를 나타낸 도면이다.
도 3은 단일 컬러(mono color) 이미지 신호의 일 예를 나타낸다.
도 4는 YUV 포맷의 이미지 신호의 일 예를 나타낸다.
도 5은 본 발명의 일 실시예에 따른 거리 정보 맵(Map)을 나타낸다.
도 6은 본 발명의 일 실시예에 따른 카메라 모듈을 나타낸 구성도이다.
도 7은 본 발명의 다른 실시예에 따른 카메라 모듈을 나타낸 구성도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 거리 검출 장치의 블록도이다.
본 발명의 일 실시예에 따른 거리 검출 장치(10)는 이미지 센서(100) 및 디지털 블록(300)을 포함할 수 있고, 추가적으로 아날로그 블록(200)을 더 포함할 수 있다.
이미지 센서(100)는 적어도 하나의 이미지 센서 픽셀 어레이(110, 120)을 포함할 수 있다. 보다 상세하게는 이미지 센서(100)는 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)를 포함할 수 있다.
제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)는 흑백 형태의 단일 컬러(mono color) 픽셀 어레이 및 빨강색(red), 녹색(green), 파랑색(blue) 형태의 RGB 컬러 픽셀 어레이 중 하나로 구성될 수 있다. 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)는 기판 상에 형성될 수 있고, 각각의 상부에는 렌즈가 배치될 수 있다.
제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)가 단일 컬러(mono color) 픽셀 어레이인 경우, 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)는 단일 컬러(mono color) 이미지 신호를 출력할 수 있고, 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)가 RGB 컬러 픽셀 어레이인 경우, 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120) 는 베이어(bayer) 포맷의 이미지 신호를 출력할 수 있다.
도 2는 본 발명의 일 실시예에 따른 거리 검출 장치의 칩 구조를 나타낸 도면이다.
본 발명의 일 실시예에 따른 이미지 센서(100)는 제1 이미지 센서 픽셀 어레이(110), 제2 이미지 센서 픽셀 어레이(120) 및 제1 이미지 센서 픽셀 어레이(110)와 제2 이미지 센서 픽셀 어레이(120)가 형성되는 기판(130)을 포함할 수 있다.
제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120) 각각은 행렬 형태로 배치되는 M(2이상의 자연수)행 N(2이상의 자연수)열의 복수의 픽셀을 포함할 수 있다. M행 N열의 복수의 픽셀 각각에는 포토 다이오드가 구비될 수 있다.
제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)는 기판 상에서 베이스 라인(B)만큼 이격되어 배치된다. 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)의 대응하는 픽셀 각각이 베이스 라인(B)만큼 이격되어 배치될 수 있다. 예를 들어, 제1 이미지 센서 픽셀 어레이(110)의 4행 및 4열 픽셀과 제2 이미지 센서 픽셀 어레이(120)의 4행 및 4열 픽셀은 베이스 라인(B)만큼 이격될 수 있다.
도 1의 아날로그 블록(200) 및 디지털 블록(300)은 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)와 중첩되지 않게 기판(130) 상에서 제1 이미지 센서 픽셀 어레이(110)와 제2 이미지 센서 픽셀 어레이(120) 사이 및 외곽 영역에서 배치될 수 있다.
제1 이미지 센서 픽셀 어레이(110)와 제2 이미지 센서 픽셀 어레이(120)가 형성되는 기판(130)은 실리콘 기판일 수 있다.
본 발명의 일 실시예에 따르면, 제1 이미지 센서 픽셀 어레이(110)와 제2 이미지 센서 픽셀 어레이(120)를 하나의 실리콘 기판(130)에서 동일 마스크(mask)를 이용한 반도체 공정 기술에 의해 제조된다. 이에 따라, 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)의 대응하는 픽셀 간의 이격 거리인 베이스 라인(baseline)은 일정할 수 있고, 수평/수직(X축 및 Y축 방향) 정렬(shift alignment) 및 Z축에 대한 회전 정렬(alignment)은 목표 설계 값으로부터 공정 오차 없이 제조될 수 있다.
본 발명에 따른 거리 검출 장치(10)의 이미지 센서(100)는 제1 이미지 센서 픽셀 어레이(110)와 제2 이미지 센서 픽셀 어레이(120)를 하나의 실리콘 기판(130)에서 동일 마스크(mask)를 이용한 반도체 공정 기술에 의해 제조함에 따라, 종래 기존 인쇄 회로 기판(PCB) 상에서 제조하는 방식 대비 공정 오차를 감소할 수 있고, 정확한 거리 정보를 산출하는 것이 가능하다. 또한, 이미지 센서(100)로부터 출력되는 신호의 캘리브레이션(calibration) 과정을 제거하여 아날로그 블록 또는 디지털 블록에서의 계산 부하를 효과적으로 줄일 수 있다.
아날로그 블록(200)은 샘플링부(210), 증폭부(220) 및 디지털 변환부(230)를 포함할 수 있다.
샘플링부(210)는 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)의 출력 신호를 샘플링한다. 즉, 샘플링부(210)는 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)로부터 출력되는 포토 다이오드 출력 전압을 샘플링할 수 있다. 샘플링부(210)는 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)로부터 출력되는 포토 다이오드 출력 전압을 샘플링하기 위한 CDS (Correlated Double Sampling) 회로를 구비할 수 있다.
증폭부(220)는 샘플링부(210)로부터 샘플링된 포토 다이오드 출력 전압을 증폭할 수 있다. 증폭부(220)는 샘플링부(210)로부터 샘플링된 포토 다이오드 출력 전압을 증폭하기 위한 증폭기 회로를 포함할 있다.
디지털 변환부(230)는 ADC(Analog-to-Digital Converter)를 포함하여, 증폭부(220)로부터 증폭된 포토 다이오드 출력 전압을 디지털 신호로 변환할 수 있다.
이 외에도, 아날로그 블록(200)은 외부 클럭 신호를 입력 받아서 내부 클럭 신호를 만들어내는 PLL(Phase Locked Loop) 회로, 픽셀의 포토 다이오드의 노출 시간 타이밍, reset 타이밍, 라인 판독 타이밍 및 프레임 출력 타이밍과 같은 각종의 타이밍 신호를 제어하기 위한 타이밍 발생기(Timing Generator, T/G) 회로, 센서 구동에 필요한 펌웨어(firmware)를 구비하는 ROM (Read Only Memory)을 구비할 수 있다.
디지털 블록(300)은 동기화부(310), 신호 처리부(320), 버퍼(330) 및 거리 산출부(340)를 포함할수 있다.
동기화부(310)는 높은 정확도의 거리 정보의 산출을 위하여 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)를 제어할 수 있다. 동기화부(310)는 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)의 동작을 동기화하고, 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)의 출력 신호를 동기화한다.
동기화부(310)는 제1 이미지 센서 픽셀 어레이(110)의 복수의 픽셀 및 제2 이미지 센서 픽셀 어레이(120)의 복수의 픽셀 중 대응되는 한 쌍의 픽셀에 구비되는 포토 다이오드의 노출 시점 및 시간을 동일하게 제어할 수 있고, 대응되는 한 쌍의 픽셀에 구비되는 포토 다이오드의 출력을 동일 시점에서 판독할 수 있다. 여기서 대응되는 한 쌍의 픽셀이란 행렬 형태의 복수의 픽셀 중 서로 동일한 배열에 위치하는 한 쌍의 픽셀을 말한다.
예를 들어, 동기화부(310)는 제1 이미지 센서 픽셀 어레이(110)의 4행 및 4열 픽셀의 포토 다이오드와 제2 이미지 센서 픽셀 어레이(120)의 4행 및 4열 픽셀의 포토 다이오드의 노출 시점 및 시간을 동일하게 제어하고, 동일 시점에서 1 이미지 센서 픽셀 어레이(110)의 4행 및 4열 픽셀의 포토 다이오드와 제2 이미지 센서 픽셀 어레이(120)의 4행 및 4열 픽셀의 포토 다이오드의 출력을 판독할 수 있다.
제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)와 같이 두 개의 픽셀 어레이를 이용하여 움직이는 피사체의 거리 정보를 산출하는 경우, 정확도가 크게 떨어질 수 있는데, 본 발명의 일 실시예에 따르면 동기화부(310)를 채용하여 높은 정확도의 거리정보를 산출할 수 있다.
이미지 처리부(320)는 동기화부(310)에서 판독된 픽셀 이미지의 프로세싱(Processing)을 수행할 수 있다.
이미지 센서(100)의 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)가 흑백 형태의 단일 컬러(mono color) 픽셀 어레이인 경우, 이미지 처리부(320)는 단일 컬러(mono color) 이미지 신호의 노이즈 저감을 수행할 수 있다. 이 때, 이미지 처리부(320)는 하나의 단일 컬러 신호 프로세서를 포함하여, 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120) 각각으로부터 출력되는 단일 컬러(mono color) 이미지 신호를 함께 노이즈 저감할 수 있다.
또한, 이미지 처리부(320)는 두 개의 단일 컬러 신호 프로세서를 포함하여, 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120) 각각으로부터 출력되는 단일 컬러(mono color) 이미지 신호 각각을 개별적으로 노이즈 저감할 수 있다.
도 3은 단일 컬러(mono color) 이미지 신호의 일 예를 나타낸다. 도 3의 단일 컬러(mono color) 이미지 신호는 동기화부(310)에서 출력되는 신호에 해당되거나, 이미지 처리부(320)에서 출력되는 신호에 해당한다.
도 3(a)는 제1 이미지 센서 픽셀 어레이(110)로부터 출력되는 신호로부터 생성된 단일 컬러(mono color) 이미지 신호일 수 있고, 도 3(b)는 제2 이미지 센서 픽셀 어레이(120)로부터 출력되는 신호로부터 생성된 단일 컬러(mono color) 이미지 신호일 수 있다. 도 3(a) 및 도 3(b)를 참조하면, 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)의 M행 N열의 픽셀에 대응되는 행렬 형태의 이미지 신호가 생성됨을 확인할 수 있다.
다시 도 2를 참조하면, 이미지 센서(100)의 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)가 RGB 컬러 픽셀 어레이인 경우, 이미지 처리부(320)는 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)로부터 출력되는 베이어(bayer) 포맷의 이미지 신호를 RGB 포맷으로 이미지 보간할 수 있고, RGB 포맷의 이미지 신호를 YUV 포맷의 이미지 신호로 이미지 보간할 수 있다.
이 때, 이미지 처리부(320)는 하나의 베이어(Bayer) 신호 프로세서 및 하나의 YUV 프로세서를 포함하여, 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120) 각각으로부터 출력되는 베이어(Bayer) 포맷의 신호를 함께 RGB 포맷으로 변환하고, 이를 다시 YUV 포맷으로 변환할 수 있다.
또한, 이미지 처리부(320)는 두 개의 베이어(Bayer) 신호 프로세서 및 두 개의 YUV 프로세서를 포함하여, 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120) 각각으로부터 출력되는 베이어(Bayer) 포맷의 신호 각각을 개별적으로 RGB 포맷으로 변환하고, 이를 다시 개별적으로 YUV 포맷으로 변환할 수 있다.
도 4는 YUV 포맷의 이미지 신호의 일 예를 나타낸다. 도 4의 YUV 포맷의 이미지 신호는 이미지 처리부(320)에서 출력되는 신호에 해당한다. 도 4(a)는 제1 이미지 센서 픽셀 어레이(110)로부터 출력되는 신호로부터 생성된 YUV 포맷의 이미지 신호일 수 있고, 도 4(b)는 제2 이미지 센서 픽셀 어레이(120)로부터 출력되는 신호로부터 생성된 YUV 포맷의 이미지 신호일 수 있다. 도 4(a) 및 도 4(b)를 참조하면, 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)의 M행 N열의 픽셀에 대응되는 행렬 형태의 이미지 신호가 생성됨을 확인할 수 있다.
버퍼(330)는 이미지 처리부(320)로부터 전달되는 단일 컬러 신호 또는 YUV 포맷의 이미지 신호를 전달받고, 전달 받은 단일 컬러 또는 YUV 포맷의 컬러 이미지 신호를 거리 산출부(340)로 전달할 수 있다.
거리 산출부(340)는 버퍼(330)로부터 전달받은 단일 컬러 또는 YUV 포맷의 컬러 이미지 신호의 휘도를 이용하여 거리 정보를 맵(Map)을 산출할 수 있다. M행 N열의 이미지 센서 픽셀 어레이를 이용하는 경우 거리 산출부(340)에서 최대 산출 M행 N열의 해상도를 가지는 거리 정보 맵을 산출할 수 있다.
도 5은 본 발명의 일 실시예에 따른 거리 정보 맵(Map)을 나타낸다. 도 5를 참조하면, 거리 산출부(340)는 도 3(a) 및 도 3(b)에 나타난 단일 컬러 이미지 신호의 휘도 정보를 이용하여, M행 N열의 거리정보 맵을 산출하거나, 도 4(a) 및 도 4(b)에 나타난 YUV 포맷의 이미지 신호의 휘도 정보를 이용하여, M행 N열의 거리정보 맵을 산출할 수 있다.
도 6은 본 발명의 일 실시예에 따른 카메라 모듈을 나타낸 구성도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 카메라 모듈은 서브 카메라 모듈(15), 메인 카메라 모듈(25) 및 서브 카메라 모듈(15)과 메인 카메라 모듈(25)이 마련되는 인쇄 회로 기판(35)을 포함할 수 있다.
서브 카메라 모듈(15)은 피사체의 거리 정보를 산출할 수 있다. 서브 카메라 모듈(15)은 도 1 및 도 2의 실시예에 따른 거리 검출 장치(10)를 포함할 수 있고, 추가적으로 거리 검출 장치(10)의 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120) 각각의 상부에 배치되는 두 개의 렌즈를 더 포함할 수 있다. 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120)이 이격 배치되므로, 두 개의 렌즈 또한 이격 배치될 수 있다.
서브 카메라 모듈(15)의 두 개의 렌즈 각각의 렌즈 화각과 렌즈 초점 길이는 동일할 수 있다. 동일한 렌즈 화각과 렌즈 초점 길이를 가지는 두 개의 렌즈를 제1 이미지 센서 픽셀 어레이(110) 및 제2 이미지 센서 픽셀 어레이(120) 각각의 상부에 배치하여, 피사체의 배율을 동일하게 가져갈 수 있고, 이로써, 배율이 다른 경우에 발생할 수 있는 이미지 처리 수행 단계를 제거할 수 있다. 즉, 일 실시예에 따르면 두 개의 렌즈의 화각 및 초점 길이를 동일하게 하여 거리 정보를 용이한 방식으로 정확하게 검출할 수 있다.
서브 카메라 모듈(15)은 고정 초점 모듈 및 가변 초점 모듈 중 하나일 수 있다. 
메인 카메라 모듈(25)은 피사체의 이미지 및 영상을 촬상할 수 있다. 메인 카메라 모듈은 RGB 픽셀 어레이를 구비한 이미지 센서 및 이미지 센서 상에 배치되는 렌즈를 포함할 수 있다. 메인 카메라 모듈(25)은 자동 초점 기능 및 광학식 손떨림 보정 기능 중 적어도 하나를 구비할 수 있는데, 메인 카메라 모듈(15)은 서브 카메라 모듈(15)에서 검출된 피사체의 거리 정보를 이용하여 자동 초점 기능 및 광학식 손떨림 보정 기능을 수행할 수 있다.
메인 카메라 모듈(25)은 서브 카메라 모듈(15) 보다 화소수가 클 수 있다. 메인 카메라 모듈(25)은 자동 초점 기능 및 광학식 손떨림 보정 기능 중 적어도 하나를 구비하여, 고화소 및 고화질의 사진 촬영 및 동영상의 녹화를 목적으로 하는데 반하여, 서브 카메라 모듈(15)은 거리 정보를 고속으로 산출하는 것을 목적으로 하므로, 메인 카메라 모듈(25)의 화소수가 서브 카메라 모듈(15)의 화소수 보다 클 수 있다.
서브 카메라 모듈(15)의 두 개의 렌즈의 화각은 메인 카메라 모듈(25)의 렌즈의 화각 보다 클 수 있다. 전술한 바와 같이, 메인 카메라 모듈(15)은 서브 카메라 모듈(15)에서 검출된 피사체의 거리 정보를 이용하여 자동 초점 기능 및 광학식 손떨림 보정 기능을 수행하는데, 서브 카메라 모듈(15)의 두 개의 렌즈의 화각이 메인 카메라 모듈(25)의 렌즈의 화각 보다 작은 경우, 메인 카메라 모듈(15)에서 자동 초점 기능 및 광학식 손떨림 보정 기능을 구현할 수 있는 이미지 영역이 서브 카메라 모듈(15)의 렌즈 화각으로 제한되는 문제점이 있다.
본 발명의 일 실시예에 따르면, 서브 카메라 모듈(15)의 두 개의 렌즈의 화각은 메인 카메라 모듈(25)의 렌즈의 화각 보다 크게 하여, 서브 카메라 모듈(15)의 피사체 촬상 영역이 메인 카메라 모듈(25)의 피사체 촬상 영역을 충분히 커버할 수 있다.
도 6(a)를 참조하면, 서브 카메라 모듈(15)은 메인 카메라 모듈(25)의 수직측에 배치될 수 있고, 도 6(b)를 참조하면, 서브 카메라 모듈(15)은 메인 카메라 모듈(25)의 수평측에 배치될 수 있다.
도 6(a) 및 도 6(b)를 참조하면, 서브 카메라 모듈(15)과 메인 카메라 모듈(25)은 서로 분리된 제1 인쇄 회로 기판(31) 및 제2 인쇄 회로 기판(33)에 실장된다. 도 6(a) 및 도 6(b)와 같이 서로 다른 인쇄 회로 기판(31, 33) 상에 서브 카메라 모듈(15) 및 메인 카메라 모듈(25)을 실장하는 경우, 두 개의 카메라 모듈(15, 25) 중 하나가 불량인 경우, 교체 및 수리가 용이할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 카메라 모듈을 나타낸 구성도이다. 도 7의 카메라 모듈은 도 6의 카메라 모듈과 유사하므로 중복되는 설명은 생략하고 차이점을 중심으로 설명하도록 한다.
도 7(a) 및 도 7(b)를 참조하면, 도 6(a) 및 도 6(b)의 카메라 모듈의 서브 카메라 모듈(15)과 메인 카메라 모듈(25)은 서로 분리된 제1 인쇄 회로 기판(31) 및 제2 인쇄 회로 기판(33)에 실장되는 반면에, 도 7(a) 및 도 7(b)의 카메라 모듈의 서브 카메라 모듈(15)과 메인 카메라 모듈(25)은 통합된 인쇄 회로 기판(35) 에 실장된다. 도 7(a) 및 도 7(b)와 같이 통합된 인쇄 회로 기판(35) 상에 서브 카메라 모듈(15) 및 메인 카메라 모듈(25)을 함께 실장하는 경우, 두 개의 카메라 모듈(15, 25)의 실장 높이를 동일하게 배치할 수 있고, 이로써, 서브 카메라 모듈(15)의 거리 검출 장치로부터 산출되는 거리 정보를 메인 카메라 모듈(25)에 오차 없이 반영할 수 있다.
  
 이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 이미지 센서
110: 제1 이미지 센서 픽셀 어레이
120: 제2 이미지 센서 픽셀 어레이
130: 기판
200: 아날로그 블록
210: 샘플링부
220: 증폭부
230: 디지털 변환부
300: 디지털 블록
310: 동기화부
320: 이미지 처리부
330: 버퍼
340: 거리 산출부

Claims (25)

  1. 복수의 픽셀을 각각 포함하는 제1 이미지 센서 픽셀 어레이 및 제2 이미지 센서 픽셀 어레이를 포함하는 이미지 센서; 및
    상기 제1 이미지 센서 픽셀 어레이 및 상기 제2 이미지 센서 픽셀 어레이의 동작을 동기화하는 동기화부; 를 포함하는 거리 검출 장치.
  2. 제1항에 있어서, 상기 동기화부는,
    상기 제1 이미지 센서 픽셀 어레이의 복수의 픽셀 및 상기 제2 이미지 센서 픽셀 어레이의 복수의 픽셀 중 대응하는 한 쌍의 픽셀의 동작을 동기화하는 거리 검출 장치.
  3. 제2항에 있어서, 상기 동기화부는,
    상기 한 쌍의 픽셀에 구비되는 포토 다이오드의 노출 시점 및 시간을 동일하게 제어하는 거리 검출 장치.
  4. 제1항에 있어서, 상기 동기화부는,
    상기 제1 이미지 센서 픽셀 어레이 및 제2 이미지 센서 픽셀 어레이의 출력 신호를 동기화하는 거리 검출 장치.
  5. 제4항에 있어서,
    상기 제1 이미지 센서 픽셀 어레이의 복수의 픽셀 및 상기 제2 이미지 센서 픽셀 어레이의 복수의 픽셀 중 대응하는 한 쌍의 픽셀에 구비되는 포토 다이오드의 출력을 동일 시점에서 판독하는 거리 검출 장치.
  6. 제1항에 있어서,
    상기 제1 이미지 센서 픽셀 어레이 및 상기 제2 이미지 센서 픽셀 어레이 각각은, 단일 컬러(mono color) 픽셀 어레이 및 RGB 컬러 픽셀 어레이 중 하나인 거리 검출 장치.
  7. 제1항에 있어서,
    상기 동기화부로부터 출력되는 신호를 이용하여 피사체의 거리 정보를 산출하는 거리 산출부; 더 포함하는 거리 검출 장치.
  8. 제7항에 있어서, 상기 거리 검출부는,
    상기 동기화부로부터 출력되는 신호의 휘도 정보를 이용하여 상기 거리 정보를 산출하는 거리 검출 장치.
  9. 제1항에 있어서, 상기 이미지 센서는,
    상기 제1 이미지 센서 픽셀 어레이 및 상기 제2 이미지 센서 픽셀 어레이가 형성되는 기판; 을 더 포함하고,
    상기 제1 이미지 센서 픽셀 어레이 및 상가 제2 이미지 센서 픽셀 어레이는 상기 기판 상에서 광축 정렬되는 거리 검출 장치.
  10. 제9항에 있어서,
    상기 기판은 실리콘 기판인 거리 검출 장치.
  11. 기판 및 행렬 형태로 배치되는 복수의 픽셀을 각각 포함하고, 상기 기판 상에서 일정 거리 이상 이격되어 광축 정렬되는 제1 이미지 센서 픽셀 어레이 및 제2 이미지 센서 픽셀 어레이를 포함하는 이미지 센서; 및
    상기 이미지 센서로부터 출력되는 신호로부터 피사체의 거리 정보를 산출하는 디지털 블록; 을 포함하는 거리 검출 장치.
  12. 제11항에 있어서,
    상기 기판은 실리콘 기판인 거리 검출 장치.
  13. 제11항에 있어서,
    상기 이미지 센서로부터 출력되는 신호를 디지털 변환하는 아날로그 블록; 을 더 포함하는 거리 검출 장치.
  14. 제11항에 있어서, 상기 디지털 블록은,
    상기 제1 이미지 센서 픽셀 어레이 및 상기 제2 이미지 센서 픽셀 어레이의 동작을 동기화하는 거리 검출 장치.
  15. 제14항에 있어서, 상기 디지털 블록은,
    상기 제1 이미지 센서 픽셀 어레이의 복수의 픽셀 및 상기 제2 이미지 센서 픽셀 어레이의 복수의 픽셀 중 대응하는 한 쌍의 픽셀의 동작을 동기화하는 거리 검출 장치.
  16. 제15항에 있어서, 상기 디지털 블록은,
    상기 한 쌍의 픽셀에 구비되는 포토 다이오드의 노출 시점 및 시간을 동일하게 제어하는 거리 검출 장치.
  17. 제13항에 있어서, 상기 디지털 블록은,
    상기 제1 이미지 센서 픽셀 어레이 및 제2 이미지 센서 픽셀 어레이의 출력 신호를 동기화하는 거리 검출 장치.
  18. 제17항에 있어서, 상기 디지털 블록은,
    상기 제1 이미지 센서 픽셀 어레이의 복수의 픽셀 및 상기 제2 이미지 센서 픽셀 어레이의 복수의 픽셀 중 대응하는 한 쌍의 픽셀에 구비되는 포토 다이오드의 출력을 동일 시점에서 판독하는 거리 검출 장치.
  19. 제11항에 있어서,
    상기 제1 이미지 센서 픽셀 어레이 및 상기 제2 이미지 센서 픽셀 어레이 각각은, 단일 컬러(mono color) 픽셀 어레이 및 RGB 컬러 픽셀 어레이 중 하나인 거리 검출 장치.
  20. 이격되어 배치되는 두 개의 렌즈를 포함하여, 피사체의 거리 정보를 산출하는 서브 카메라 모듈;
    하나의 렌즈를 포함하여, 상기 피사체를 촬상하는 메인 카메라 모듈; 및
    상기 서브 카메라 모듈 및 상기 메인 카메라 모듈이 실장되는 인쇄 회로 기판; 을 포함하는 카메라 모듈.
  21. 제20항에 있어서,
    상기 인쇄 회로 기판은 서로 분리되는 제1 인쇄 회로 기판 및 제2 인쇄 회로 기판을 포함하고,
    상기 서브 카메라 모듈은 상기 제1 인쇄 회로 기판에 실장되고, 상기 메인 카메라 모듈은 상기 제2 인쇄 회로 기판에 실장되는 카메라 모듈.
  22. 제20항에 있어서,
    상기 서브 카메라 모듈 및 상기 메인 카메라 모듈은 통합된 상기 인쇄 회로 기판 상에 실장되는 카메라 모듈.
  23. 제20항에 있어서,
    상기 메인 카메라 모듈은 상기 서브 카메라 모듈 보다 화소수가 큰 카메라 모듈.
  24. 제20항에 있어서,
    상기 서브 카메라 모듈의 두 개의 렌즈 각각의 화각과 초점 길이는 동일한 카메라 모듈.
  25. 제20항에 있어서,
    상기 서브 카메라 모듈의 두 개의 렌즈 각각의 화각은 상기 메인 카메라 모듈의 렌즈의 화각 보다 큰 카메라 모듈.

KR1020150089938A 2015-06-24 2015-06-24 거리 검출 장치 및 이를 포함하는 카메라 모듈 Ceased KR20170000686A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150089938A KR20170000686A (ko) 2015-06-24 2015-06-24 거리 검출 장치 및 이를 포함하는 카메라 모듈
US14/994,652 US20160377426A1 (en) 2015-06-24 2016-01-13 Distance detection apparatus and camera module including the same
CN201610084786.9A CN106289158A (zh) 2015-06-24 2016-02-14 距离检测装置以及包括该距离检测装置的相机模块

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150089938A KR20170000686A (ko) 2015-06-24 2015-06-24 거리 검출 장치 및 이를 포함하는 카메라 모듈

Publications (1)

Publication Number Publication Date
KR20170000686A true KR20170000686A (ko) 2017-01-03

Family

ID=57601032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150089938A Ceased KR20170000686A (ko) 2015-06-24 2015-06-24 거리 검출 장치 및 이를 포함하는 카메라 모듈

Country Status (3)

Country Link
US (1) US20160377426A1 (ko)
KR (1) KR20170000686A (ko)
CN (1) CN106289158A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102148127B1 (ko) * 2020-02-14 2020-08-26 재단법인 다차원 스마트 아이티 융합시스템 연구단 상보적인 픽슬렛 구조가 적용된 카메라 시스템

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102226820B1 (ko) * 2014-08-20 2021-03-11 삼성전자주식회사 데이터 공유 방법 및 그 전자 장치
US10395110B2 (en) * 2016-10-04 2019-08-27 Samsung Electro-Mechnics Co., Ltd. Iris scanning camera module and mobile device including the same
JP2019015697A (ja) * 2017-07-11 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 距離測定装置及び移動体装置
CN109274785B (zh) * 2017-07-17 2021-04-16 中兴通讯股份有限公司 一种信息处理方法及移动终端设备
CN108334862A (zh) * 2018-03-02 2018-07-27 中控智慧科技股份有限公司 一种虹膜识别系统及其虹膜识别方法
US10553046B2 (en) * 2018-04-05 2020-02-04 GM Global Technology Operations LLC Vehicle prognostics and remedial response
CN109167940A (zh) * 2018-08-23 2019-01-08 Oppo广东移动通信有限公司 一种感光芯片、摄像头模组及电子设备
WO2021077358A1 (zh) * 2019-10-24 2021-04-29 华为技术有限公司 测距方法、测距装置及计算机可读存储介质
CN113344906B (zh) * 2021-06-29 2024-04-23 阿波罗智联(北京)科技有限公司 车路协同中相机评估方法、装置、路侧设备和云控平台

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100138453A (ko) 2009-06-25 2010-12-31 (주)실리콘화일 듀얼 스테레오 카메라를 구비한 거리 측정 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8023016B2 (en) * 2004-12-22 2011-09-20 Panasonic Corporation Imaging device and manufacturing method thereof
JP5094068B2 (ja) * 2006-07-25 2012-12-12 キヤノン株式会社 撮像装置及びフォーカス制御方法
KR101083824B1 (ko) * 2009-04-10 2011-11-18 (주) 이노비전 스테레오 카메라 시스템 및 이를 이용한 시차검출방법
KR101646908B1 (ko) * 2009-11-27 2016-08-09 삼성전자주식회사 거리 정보를 감지할 수 있는 이미지 센서

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100138453A (ko) 2009-06-25 2010-12-31 (주)실리콘화일 듀얼 스테레오 카메라를 구비한 거리 측정 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102148127B1 (ko) * 2020-02-14 2020-08-26 재단법인 다차원 스마트 아이티 융합시스템 연구단 상보적인 픽슬렛 구조가 적용된 카메라 시스템

Also Published As

Publication number Publication date
US20160377426A1 (en) 2016-12-29
CN106289158A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
KR20170000686A (ko) 거리 검출 장치 및 이를 포함하는 카메라 모듈
US10658405B2 (en) Solid-state image sensor, electronic apparatus, and imaging method
US20210318515A1 (en) Image sensor and image capturing apparatus
KR101751140B1 (ko) 이미지 센서 및 카메라 모듈
US8063978B2 (en) Image pickup device, focus detection device, image pickup apparatus, method for manufacturing image pickup device, method for manufacturing focus detection device, and method for manufacturing image pickup apparatus
US10051183B2 (en) Image-capturing device, solid-state image-capturing element, camera module, electronic device, and image-capturing method for shake correction using shake angle
US9241120B2 (en) Image sensing device and image capturing apparatus
US9288377B2 (en) System and method for combining focus bracket images
IL259908A (en) Dual imaging system that includes auto-ficus and methods for operating it
US10397502B2 (en) Method and apparatus for imaging an object
US10003734B2 (en) Image capturing apparatus and control method of image sensor
JPWO2015045375A1 (ja) 撮像素子および撮像装置
CN107786791B (zh) 图像传感器及包括该图像传感器的相机模块
WO2014041845A1 (ja) 撮像装置及び信号処理方法
CN103581578A (zh) 图像拾取装置和图像拾取方法
JP2018056703A (ja) 撮像素子および撮像装置
JP5634614B2 (ja) 撮像素子及び撮像装置
JP5750918B2 (ja) 固体撮像素子及びこれを用いた撮像装置
JP2007267278A (ja) 撮像装置および撮像方法
JP2018056944A (ja) 撮像装置および撮像素子
US20150168739A1 (en) Image stabilizer, camera system, and imaging method
US9906744B2 (en) Image sensor having phase difference detection pixels for focus detection, and image pick-up apparatus including the image sensor
WO2020066341A1 (ja) 合焦度検出装置、深度マップ生成装置、及び、電子機器
JP2018056945A (ja) 撮像装置および撮像素子
WO2023218980A1 (ja) 撮像装置、センサチップ、および処理回路

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150624

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160705

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20161228

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20160705

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

PG1501 Laying open of application
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20161228

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20160831

Comment text: Amendment to Specification, etc.

PX0601 Decision of rejection after re-examination

Comment text: Decision to Refuse Application

Patent event code: PX06014S01D

Patent event date: 20170321

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20170201

Comment text: Decision to Refuse Application

Patent event code: PX06011S01I

Patent event date: 20161228

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20160831

Comment text: Notification of reason for refusal

Patent event code: PX06013S01I

Patent event date: 20160705