[go: up one dir, main page]

KR101822661B1 - 비전 인식 장치 및 방법 - Google Patents

비전 인식 장치 및 방법 Download PDF

Info

Publication number
KR101822661B1
KR101822661B1 KR1020110110585A KR20110110585A KR101822661B1 KR 101822661 B1 KR101822661 B1 KR 101822661B1 KR 1020110110585 A KR1020110110585 A KR 1020110110585A KR 20110110585 A KR20110110585 A KR 20110110585A KR 101822661 B1 KR101822661 B1 KR 101822661B1
Authority
KR
South Korea
Prior art keywords
pixels
vision
recognition
image data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020110110585A
Other languages
English (en)
Other versions
KR20130046174A (ko
Inventor
강화영
윤영권
유영삼
장은수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110110585A priority Critical patent/KR101822661B1/ko
Priority to EP12189984.3A priority patent/EP2587407B1/en
Priority to CN201210419838.5A priority patent/CN103096094B/zh
Priority to US13/662,642 priority patent/US10095941B2/en
Publication of KR20130046174A publication Critical patent/KR20130046174A/ko
Application granted granted Critical
Publication of KR101822661B1 publication Critical patent/KR101822661B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명은 영상 촬영을 위한 일반적인 이미지 센서의 일부 픽셀을 비전 인식에 이용되는 비전 픽셀로 지정하여, 비전 인식 모드에서는 비전 픽셀에서 획득되는 광 정보만을 비전 인식에 이용하고, 영상 촬영 모드에서는 이미지 센서의 전체 픽셀에서 획득되는 광 정보를 이용해 영상 데이터를 생성한다.
그리고 본 발명은 이미지 센서의 전체 픽셀의 광 정보를 디지털 신호로 변환하는 디지털 신호 변환부 이외에, 별도로, 비전 픽셀에서 획득되는 광 정보만을 디지털 신호로 변환하는 디지털 신호 변환부를 구비한다. 비전 인식용 디지털 신호 변환부에서 출력되는 신호를 처리하는 이미지 처리부와 영상 촬영용 디지털 신호 변환부에서 출력되는 신호를 처리하는 이미지 처리부를 별도로 구비될 수도 있다.

Description

비전 인식 장치 및 방법{VISION RECOGNITION APPARATUS AND METHOD}
본 발명은 비전 인식에 관한 것으로, 특히, 비전 인식을 위한 이미지 처리를 저전력으로 수행할 수 있는 영상 생성 장치 및 방법에 관한 것이다.
디지털 카메라의 소형화 및 이미지 처리 기술의 발전으로 인해, 다양한 디지털 장치가 영상 촬영 기능을 구비하게 되었다. 예를 들어, 휴대폰이나 텔레비전, 개인용 컴퓨터, 노트북, 디지털 음원 재생 장치, PMP(Portable Multimedia Player)와 같은 디지털 기기들에 디지털 카메라가 장착되어, 영상 촬영이 가능하게 되었다. 그리고 디지털 장치는 영상 촬영을 위해 프리뷰 모드 또는 정지 영상 촬영 모드 또는 동영상 촬영 모드로 동작한다.　　
이러한 디지털 장치들에 구비된 디지털 카메라는 영상 촬영 이외에도, 정보를 입력하기 위한 비전(vision) 인식 기능에도 이용된다. 즉, 디지털 장치들은 디지털 카메라를 통해 촬영된 정지 영상, 프리뷰(preview) 영상, 동영상 등에서 영상 정보를 추출하여 사용자 대 장치 인터페이스(Machine interface) 자료로 활용한다.　
도1은 비전 인식의 일예로, 손의 움직임에 따라 노트북의 화면이 이동하는 경우를 나타낸 것이다. 도1을 참조하면, 노트북이 프리뷰 영상에서 손의 움직임을 추출하고, 추출된 손의 움직임과 디스플레이 정보를 결합하여, 손의 움직임에 따라 화면에 디스플레이되는 데이터를 변경한다.　　
이렇게 디지털 장치들은 디지털 카메라의 프리뷰 모드, 정지 영상 촬영 모드, 동영상 촬영 모드 등에서 획득된 영상들을 이용하여 비전 인식을 위한 정보를 추출해야 하므로, 소모 전력이 매우 크다. 때문에, 휴대용 디지털 장치의 경우, 실질적으로 장치의 사용자 인터페이스로서 비전 인식 기술을 적용하는 데는 많은 문제점이 있다.
또한 촬영 영상을 비전 인식에 이용하기 때문에, 필요보다 많은 이미지 픽셀의 광 정보로부터 비젼 인식용 정보를 추출해야 하므로 연산 시간 및 소비 전력이 높아진다. 이를 보완하기 위해 이미지 픽셀에서 획득한 정보량을 줄이기도 하는데 이 경우 불필요한 연산이 추가된다는 문제점이 있다. 또한, 많은 이미지 픽셀 정보를 출력하는데 소요되는 시간이 길어 매우 빠른 속도로 반응해야 하는 사용자 인터페이스 기능에 적용이 불가할 수 있다.
그리고 영상 촬영용 이미지 센서를 사용하기 때문에 컬러 필터(color filter)를 거쳐 약 1/3 이하로 필터링된 광 파워를 사용하므로 저조도 성능에도 문제가 있을 수 있다.
본 발명은 상기한 문제점을 해결하기 위한 것으로, 하나의 이미지 센서를 이용하여, 영상 촬영은 물론, 낮은 소모 전력으로 비전 인식을 할 수 있는 장치 및 방법을 제공한다.
그리고 본 발명은 정상적인 영상 촬영이 가능하면서도, 비전 인식에 최적화된 이미지 센서를 제공함으로써, 빠른 속도로 비전 인식 연산 처리가 가능한 장치 및 방법을 제공한다.
한편, 본 발명은 디지털 장치에서 비전 인식 장치에 있어서, 복수의 픽셀들을 포함하며, 상기 복수의 픽셀들 중 일부 픽셀이 비전 인식을 위해 사용될 비전 픽셀들로서 지정된 이미지 센서와, 상기 지정된 비전 픽셀들에서 출력되는 신호를 디지털 신호로 변환하는 제1디지털 변환부와, 상기 복수의 픽셀들에서 출력되는 신호를 디지털 신호로 변환하는 제2디지털 변환부와, 비전 인식 모드에서 상기 제1디지털 변환부에서 출력되는 신호를 처리하여 상기 지정된 비전 픽셀들로부터 획득된 광 정보를 사용하여 상기 비전 인식에 사용되는 인식 영상 데이터를 생성하고, 촬영 모드에서 상기 제2디지털 변환부에서 출력되는 신호를 처리하여 촬영 영상 데이터를 생성하는 통합 이미지 처리부를 포함하며, 상기 비전 인식을 위해 사용되는 상기 비전 픽셀들의 개수는 상기 인식 영상 데이터의 해상도에 기반하여 결정될 수 있다.
그리고 본 발명은 복수의 픽셀들을 포함하는 이미지 센서를 가지는 디지털 장치의 비전 인식 방법에 있어서, 동작 모드가 비전 인식 모드인지 확인하는 과정과, 상기 동작 모드가 상기 비전 인식 모드이면, 상기 이미지 센서에서 비전 인식을 위해 사용되는 비전 픽셀들로서 지정된 상기 복수의 픽셀들의 일부로부터 출력되는 신호를 디지털 신호로 변환하는 제1디지털 변환부로부터 출력되는 신호를 처리하여 인식 영상 데이터를 생성하는 과정과, 상기 인식 영상 데이터에 포함된 특정 오브젝트를 식별하고 검출하여 상기 비전 인식을 수행하는 과정과, 상기 동작 모드가 촬영 모드이면, 상기 복수의 픽셀들 각각에서 출력되는 신호를 디지털 신호로 변환하는 제2디지털 변환부에서, 상기 촬영 모드 설정에 따라 특정 해상도에 대응하여 상기 복수의 픽셀들에서 선택된 픽셀에 대응하여 출력되는 신호를 처리하여 촬영 영상 데이터를 생성하는 과정을 포함하며, 상기 비전 인식을 위해 사용되는 상기 비전 픽셀들의 개수는 상기 인식 영상 데이터의 해상도에 기반하여 결정할 수 있다.　
본 발명은 휴대폰, 텔레비전, 개인용 컴퓨터, 노트북, 디지털 음원 재생 장치, PMP와 같은 정보 입출력이 가능한 디지털 장치에 장착되거나, 외부에 연결된 디지털 카메라를 이용하여, 이로부터 비전 인식 정보를 추출하고 이 정보를 바탕으로 사용자와 디지털 장치 간의 정보 입력, 상황 인식 등의 기능을 수행할 수 있게 한다. 특히, 본 발명은 정상적인 영상 촬영이 가능하면서, 비전 인식에 최적화된 이미지 센서를 제공함으로써, 낮은 소모 전력으로 비전 인식에 최적화 기능을 수행할 수 있게 한다.
도1은 일반적인 비전 인식예를 나타낸 도면,
도2는 본 발명의 일 실시예에 따른 디지털 장치의 구성을 나타낸 도면,
도3은 본 발명의 일 실시예에 따른 디지털 신호 변환부의 구성을 나타낸 도면,
도4는 본 발명의 일 실시예에 따른 이미지 센서의 구성을 나타낸 도면,
도5는 본 발명의 일 실시예에 따른 디지털 장치의 동작 과정을 나타낸 도면,
도6은 본 발명의 일 실시예에 따른 비전 인식 영상의 감도 향상 결과를 나타낸 도면,
도7은 본 발명의 일 실시예에 따른 촬영 영상을 나타낸 도면,
도8은 본 발명의 일 실시예에 따른 비전 인식 처리 과정을 나타낸 도면.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시 예를 상세히 설명한다. 도면에서 동일한 구성요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
본 발명은 휴대폰, 텔레비전, 개인용 컴퓨터, 노트북, 디지털 음원 재생 장치, PMP와 같은 디지털 장치에 포함되거나, 외부에서 각 디지털 장치에 연결된 디지털 카메라를 이용하여, 디지털 카메라의 영상으로부터 비전 인식 정보를 추출하고 이 정보를 바탕으로 사용자와 디지털 장치 간의 정보 입력, 상황 인식 등의 기능을 수행할 수 있게 한다. 특히, 본 발명은 고성능으로 정상적인 영상 촬영이 가능하면서, 비전 인식에 최적화된 이미지 센서를 제공함으로써, 낮은 소모 전력으로 비전 인식에 최적화 기능을 수행할 수 있게 한다.
이를 위해, 본 발명은 영상 촬영을 위한 일반적인 이미지 센서의 일부 픽셀을 비전 인식에 이용되는 비전 픽셀로 지정하여, 비전 인식 모드에서는 비전 픽셀에서 획득되는 광 정보만을 비전 인식에 이용하고, 영상 촬영 모드에서는 이미지 센서의 전체 픽셀에서 또는 영상의 해상도에 따라 선택된 픽셀에서 획득되는 광 정보를 이용해 영상 데이터를 생성한다. 이때, 비전 픽셀로 지정되는 픽셀들의 수는 정상적인 비전 인식을 위한 최소한의 픽셀수 이상이 된다.
그리고 본 발명은 이미지 센서의 전체 픽셀의 광 정보를 디지털 신호로 변환하는 디지털 신호 변환부 이외에, 별도로, 비전 픽셀에서 획득되는 광 정보만을 디지털 신호로 변환하는 디지털 신호 변환부를 구비한다. 또한 비전 인식용 디지털 신호 변환부에서 출력되는 신호를 처리하는 이미지 처리부와 영상 촬영용 디지털 신호 변환부에서 출력되는 신호를 처리하는 이미지 처리부가 별도로 구비될 수도 있다.
비전 인식용 디지털 신호 변환부의 출력 비트(bit) 수와, 비전 인식용 영상 데이터의 해상도 및 프레임 수는 비전 인식에 최적화되게 결정되며, 이에 따라, 촬영용 영상 데이터를 처리하는 경우와 비교했을 때, 저전력으로 빠르게 비전 인식을 수행할 수 있다.
다시 말해, 본 발명의 일 실시예에 따라 디지털 이미지 센서를 가지는 휴대용 단말에서 이미지 센서를 이용하여 영상 데이터를 입력받고, 이미지 센서의 전체 픽셀 중 일부 픽셀로 이루어지는 비전 픽셀로 입력된 인식 영상 데이터를 추출하고, 비전 픽셀로 입력된 인식 영상 데이터에 포함된 객체에 대한 비전 인식을 수행한다.
상기한 본 발명의 이해를 돕기 위해, 이하의 설명에서는 일반적인 사진 또는 기록용 동영상 또는 프리뷰 영상과 관련된 영상 데이터를 촬영 영상 데이터라 하고, 비전 인식을 위해 생성되거나 비전 인식에서 사용되는 영상 데이터 인식 영상 데이터라 한다.　
상기한 본 발명의 일예에 따른 디지털 장치의 구성을 도1에 도시하였다. 도1을 참조하면, 디지털 장치는 렌즈(10), IR(Infrared Ray) 필터(20), 이미지 센서(30), 제1디지털 신호 변환부(40), 제2디지털 신호 변환부(70), 제어부(90), 제1이미지 처리부(50), 제2이미지 처리부(80), 비전 인식 처리부(60), 센서 제어부(100), 리드 아웃 회로(110)를 포함하며, 미도시하였지만, 메모리부와 표시부를 포함한다. 이러한 디지털 장치는 예를 들어, 휴대폰이나 텔레비전, 개인용 컴퓨터, 노트북, 디지털 음원 재생 장치, PMP(Portable Multimedia Player)등이 될 수 있다.
리드 아웃 회로(110)와, 제1디지털 신호 변한부(40)와, 제1이미지 처리부(50)와, 비전 인식 처리부(60)는 인식 영상 데이터를 생성하고, 인식 영상 데이터를 이용해 비전 인식을 수행하는 구성부이다. 그리고 제2디지털 신호 변환부(70)와, 제2이미지 처리부(80)는 촬영 영상 데이터를 생성하기 위한 구성부이다.
IR 필터(20)는 렌즈(10)를 통해 입력된 빛에서 적외선을 차단하기 위한 필터이다. 제어부(90)는 디지털 장치의 전반적인 동작을 제어하며, 본 발명의 일 실시예에 따라, 디지털 장치에 촬영 모드와 비전 인식 모드 중 어느 하나의 동작 모드를 설정한다. 그리고 설정된 모드에 따라 제어부(90)는 센서 제어부(100), 이미지 센서(30), 제1디지털 신호 변환부(40), 제2디지털 신호 변환부(70), 제1이미지 처리부(50), 제2이미지 처리부(80), 비전 인식 처리부(60)의 동작을 제어한다.
촬영 모드는 상기한 각 구성부를 통해 스냅 사진과 같은 일반적인 정지 영상을 생성하거나, 기록용 동영상을 생성하는 동작 모드로서, 정지 영상 촬영 모드, 프리뷰 모드, 동영상 촬영 모드 등으로 세분할 수도 있다.
비전 인식 모드는 생성된 인식 영상 데이터에서 특정 오브젝트 또는 특정 오브젝트의 움직임을 검출 및 인식하고, 인식된 결과값에 대응하여 지정된 특정 동작이 수행되는 동작 모드이다. 비전 인식 모드에 따른 기능에는 예를 들어, 비전 인식 사용자 인터페이스, 증강 현실, 얼굴 인식, 동작 인식, 화면 변화 감지 사용자 인페이스 등이 있다. 구체적인 동작으로는, 예를 들어, 비전 인식 모드에서 디지털 장치는 인식 영상 데이터에서 손의 움직임을 검출하고, 검출된 손의 움직임에 대응하는 특정 명령을 수행할 수도 있다. 또는 디지털 장치는 얼굴을 촬영한 인식 영상 데이터를 통해 안면 인식을 수행하여, 사용자 인증을 수행할 수도 있다.　　　
센서 제어부(100)는 동작 모드에 따른 제어부(90)의 제어에 따라, 이미지 센서(30)의 동작 파라미터를 설정을 변경하고, 해당 이미지 센서 픽셀을 제어한다. 동작 파라미터는 실제 촬영에 따라 생성되는 영상 데이터의 해상도, 노출 시간, 이득, 프레임율 등을 결정하는 값들이다.
촬영 모드에서 특정 크기와 해상도를 가지는, 스냅 사진 데이터 또는 프리뷰 영상 데이터, 또는 동영상 데이터가 생성될 수 있도록, 각종 동작 파라미터의 값이 결정되며, 센서 제어부(100)는 결정된 값을 가지는 동작 파라미터를 이미지 센서(30)에 설정한다. 그리고, 센서 제어부(100)는 생성될 촬영 영상 데이터의 해상도에 따라 이미지 센서(30)에서 이용될 이미지 센서 픽셀을 선택하고, 활성화한다.
그리고 제어부(90)는 촬영 영상 데이터가 생성될 수 있도록 제2디지털 신호 변환부(70)와 제2이미지 처리부(80)를 제어한다.
그리고 비전 인식 모드에서 동작 파라미터의 값은 비전 인식 처리에 특화된 인식 영상 데이터의 포맷에 따라 결정된다. 즉, 비전 인식 처리시 확보되어야 하는 인식 영상 데이터의 해상도, 프레임율에 따라 각 동작 파라미터의 값이 결정되며, 센서 제어부(100)는 비전 인식 모드시 결정된 값을 가지도록 동작 파라미터를 이미지 센서(30)에 설정한다. 그리고, 센서 제어부(100)는 이미지 센서(30)에서 비전 픽셀을 활성화한다. 이때, 센서 제어부(100)는 저전력 모드로 동작한다.
본 발명의 실시예에서는 하나의 센서 제어부(100)가 구비되어, 촬영 모드와 비전 인식 모드를 구분하여 동작하는 것으로 가정하였다. 하지만, 본 발명의 다른 실시예에서는 비전 인식 모드시 이미지 센서(30)를 제어하는 제1센서 제어부와, 촬영 모드시 이미지 센서(30)를 제어하는 제2센서 제어부가 구비되도록 구성할 수도 있다. 이 경우, 제1센서 제어부는 비전 픽셀만을 제어하기 때문에, 제2센서 제어부에 비해 저전력으로 구동할 수 있도록 구현된다.
그리고 제어부(90)는 인식 영상 데이터가 생성될 수 있도록, 리드 아웃 회로(110)와, 제1디지털 신호 변환부(40)와, 제2이미지 처리부(80)를 제어한다.　
이미지 센서(30)는 빛이 컬러 필터를 통해 광 도전체로 들어오면 빛의 파장과 세기에 따라서 광 도전체에서 발생하는 전자-정공이 가변되고, 이를 신호 처리 가능한 레벨의 전압신호로 출력하는 소자이다. 이미지센서는 방식에 따라서 CCD(ChargeCoupled Device)형 이미지센서와 CMOS형 이미지센서로 구분될 수 있다.
이미지 센서(30)는 단위 픽셀로 사용되며, 소정 규격의 이미지를 얻기 위해서 다수의 이미지 센서 픽셀이 소정의 열과 행으로 배치된 이미지 센서 어레이가 사용된다. 그리고 이미지 센서(30) 내에는 렌즈(10)가 받아들인 빛을 원래의 천연색으로 구현하는 베이어 패턴(Bayer Patten)의 컬러 필터가 포함되어 있으며 도4에 도시된 이미지 센서(30)는 이를 위에서 바라본 것이다. 베이어 패턴은 1970년대 발표 이후 현재까지 디지털 이미지의 가장 중요한 기본 원리로, 이론의 시작은 자연계에 존재하는 실제 영상은 점(픽셀)으로 이루어진 것이 아닌데 반해, 디지털 영상은 점으로 구현될 수밖에 없다는 것에서 출발한다. 대상의 밝기와 색상을 모아 점으로 이루어진 이미지를 만들기 위해 2차원 평면상에 레드(R), 그린(G), 블루(B) 각각의 밝기를 받아들이는 필터들을 배치하며, 이를 베이어 패턴 컬러 필터라고 한다. 베이어 패턴 컬러 필터 아래서 격자망을 형성하는 각각의 픽셀들은 총 천연색을 인식하는 것이 아니라 레드(R), 그린(G), 블루(B) 중 할당된 색만을 인식하고 나중에 이를 보간하여 천연색을 유추해 낸다.
이미지 센서(30)를 구성하는 복수의 픽셀들에서 출력되는 신호는 제2디지털 신호 변환부(70)로 입력될 수 있도록 구성된다. 제2디지털 신호 변환부(70)로 입력된 광 정보를 포함하는 아날로그 신호들은 디지털 신호로 변경되어 제2이미지 처리부(80)로 출력되며, 제2이미지 처리부(80)는 촬영 영상 데이터를 생성하기 위한 신호 처리를 수행한다.　
그리고 상기 복수의 픽셀 중 일부 픽셀들은 본 발명에 따라 비전 픽셀로 지정된다. 비전 픽셀은 비전 인식에 이용되는 영상 데이터를 생성할 때 이용되는 픽셀로서, 비전 픽셀에서 출력되는 신호는 제2디지털 신호 변환부(70)뿐만 아니라, 리드 아웃 회로(110)를 통해 제1디지털 신호 변환부(40)로 입력될 수 있도록 구성된다. 비전 픽셀로 지정되는 픽셀들의 수는 정상적인 비전 인식을 위한 인식 영상 데이터를 생성할 수 있는 최소한의 픽셀수 이상이 된다.　
리드 아웃 회로(110)는 비전 픽셀 각각에 연결되어, 각 비전 픽셀의 출력 신호가 제1디지털 신호 변환부(40)로 입력될 수 있게 하는 회로이다.
기본적으로 이미지 센서(30)를 구성하는 복수의 픽셀 중 어느 픽셀이라도 비전 픽셀로 이용될 수 있다. 비전 인식 처리에서 사용되는 인식 영상 데이터는, 영상 데이터에 포함된 특정 오브젝트를 검출하고, 인식하는 것을 목표로 하기 때문에, 영상이 원래의 천연색으로 표현되지 않아도 되며, 오브젝트의 검출 및 인식을 용이하게 실시될 수 있도록 생성되는 것이 바람직하다. 이에 따라, 비전 픽셀은 저조도에서도 고감도 특성을 가질 수 있도록 구성되는 것이 좀 더 효율적이다.
예를 들어, 비전 픽셀은 레드(R), 그린(G), 블루(B) 각각의 밝기를 받아들이는 픽셀 중에 상대적으로 고감도 특성을 가지는 그린 픽셀들로만 구성할 수 있다.
다른 예로, 비전 픽셀은 고감도 픽셀인 화이트 픽셀로 구성될 수 있다. 화이트 픽셀은 베이어 패턴에서 해당 픽셀의 컬러 필터를 제거하여 구현할 수 있다. 이 경우, 화이트 픽셀에서 획득되는 광 정보가 촬영 영상 데이터 생성시 결점(defect)으로 작용되지 않게 하기 위한 픽셀 보간을 시행하여 촬영 영상 데이터에서도 비전 픽셀에 의해 획득되는 광 정보가 이용될 수 있게 한다.
그린 픽셀보다 화이트 픽셀이 노이즈 수준이 우수하기 때문에, 그린 픽셀들을 비전 픽셀로 이용하는 것보다, 화이트 픽셀을 비전 픽셀로 이용하는 것이 상대적으로 저조도 감도 향상을 야기할 수 있다. 이러한 비교 결과를 도6에 나타내었다. 도6에서 제1인식 영상(210)은 그린 픽셀을 비전 픽셀로 이용한 경우를 나타낸 것이고, 제2인식 영상(220)은 화이트 픽셀을 비전 픽셀로 이용한 경우를 나타낸 것이다.　
이와 같이, 다양한 색의 픽셀로 구성되는 이미지 센서에서 상대적으로 고감도 특성을 가지는 색 픽셀을 비전 픽셀로 지정함으로써, 본 발명의 실시예에서는 단색의 인식 영상 데이터로 비전 인식을 수행할 수 있다.
　또는 레드(R), 그린(G), 블루(B) 각각의 밝기를 받아들이는 픽셀을 이용하되, 두 개의 픽셀 값을 하나의 픽셀 값으로 이용하도록 구성할 수도 있다.　　　
도4는 이러한 실시예 중에서, 화이트 픽셀을 비전 픽셀로 이용하는 경우, 이미지 센서(30)의 이미지 센서 어레이를 나타낸 것이다. 도4를 참조하면, 이미지 센서 어레이는 레드 픽셀, 그린 픽셀, 블루 픽셀, 화이트 픽셀로 구성되며, 레드 픽셀, 그린 픽셀, 블루 픽셀, 화이트 픽셀 각각의 출력값은 제2디지털 신호 변환부(70)로 입력되도록 구성되고, 이들 중 화이트 픽셀의 출력값은 리드 아웃 회로(110)를 통해 제1디지털 신호 변환부(40)에도 입력되도록 구성된다.　도4에서 실선으로 도시된 리드 아웃 회로(110)는 이해를 돕기 위해 간략화하여 나타낸 것이다. 　
제1디지털 신호 변환부(40)와 제2디지털 신호 변환부(70)는 각각 이미지 센서(30)의 픽셀에서 입력되는 아날로그 신호들을 디지털 신호로 변환한다.　
제1디지털 신호 변환부(40)는 인식 영상 데이터를 생성하기 위해 비전 픽셀에서 입력되는 아날로그 신호들을 디지털 신호로 변환하여 제1이미지 처리부(50)로 출력한다. 제2디지털 신호 변환부(70)는 촬영 영상 데이터를 생성하기 위해 이미지 센서(30)의 전체 픽셀에서 입력되는 아날로그 신호들을 디지털 신호로 변환하여 제2 이미지 처리부(80)로 출력한다.
제1디지털 신호 변환부(40)의 출력 비트(bit)수는 인식 영상에 최적화되어 결정되며, 제1디지털 신호 변환부(40)로 입력되는 픽셀 출력 수가 제2디지털 신호 변환부(70)보다 적기 때문에, 제1디지털 신호 변환부(40)는 제2디지털 신호 변환부(70)보다 적은 수의 출력 비트를 가진다. 이에 따라, 제1디지털 변환부(40)의 소모 전력은 제2디지털 신호 변환부(70)보다 적다.
이미지 센서(30)는 이미지센서는 방식에 따라서 CCD(Charge Coupled Device)형 이미지 센서와 CMOS형 이미지 센서로 구분될 수 있다. 이미지 센서(30)가 CMOS형 이미지 센서인 경우, 제1디지털 변환부(40)와 제2디지털 변환부(70)는 CDS(Correlated Double Sampling)부를 포함하게 된다. 이를 도3에 도시하였다.
도3은 이미지 센서(30)가 CMOS형 이미지 센서인 경우 제1디지털 변환부(40)의 구성을 나타낸 것이다. 도3을 참조하면, 제1디지털 신호 변환부(40)는 CDS부(41)와 ADC(Analog to Digital Converter)부(42)를 포함한다.
이미지 센서(30)가 CMOS형 이미지 센서인 경우 이미지 센서 어레이는 2차원 매트릭스 형태로 배열된 다수의 픽셀들을 구비하며, 상기 다수의 픽셀들 각각은 해당 픽셀을 선택하는 선택 신호들에 기초하여 리셋 신호와 감지 신호를 출력한다. 이에 따라, CDS부(41)는 비전 픽셀들에 대응하는 감지 신호들과 리셋 신호들을 수신하여 상호 연관된 이중 샘플링하여 아날로그 영상 신호들을 생성하고, 아날로그 영상 신호들을 ADC부(42)로 출력한다. ADC부(42)는 CDS부(41)에서 입력된 아날로그 영상 신호들을 디지털 영상 신호들로 변환하여 제1이미지 처리부(50)로 출력한다.
이미지 센서(30)가 CMOS형 이미지 센서인 경우 제2디지털 신호 변환부(70) 역시 제1디지털 신호 변환부(40)와 유사하게 구성될 수 있다. 다만, 제1디지털 신호 변환부(40)에 포함되는 CDS부(41)는 비전 픽셀에서 출력되는 신호들만을 샘플링하도록 구성되는 것에 반하여, 제2디지털 신호 변환부(70)에 포함되는 CDS부는 이미지 센서(30)의 전체 픽셀에서 출력되는 신호들을 샘플링할 수 있게 구성된다.
이에 따라, 제1디지털 신호 변환부(40)에 포함되는 CDS부(41)의 소모 전력은　 제2디지털 신호 변환부(70)에 포함되는 CDS부의 소모 전력보다 적을 것이다.
제1이미지 처리부(50)는 제1디지털 신호 변환부(40)에서 입력되는 디지털 신호를 처리하여, 인식 영상 포맷에 따른 인식 영상을 생성하여 비전 인식 처리부(60)로 출력한다.　
비전 인식 처리부(60)는 인식 영상 데이터를 이용해 각종 비전 인식 기능을 수행한다. 즉, 비전 인식 처리부(60)는 인식 영상 데이터에서 특정 오브젝트 또는 특정 오브젝트의 움직임을 검출 및 인식하고, 제어부(90)와 연동하여, 인식된 결과 값에 대응하여 지정된 특정 동작이 수행되게 한다.
제2이미지 처리부(80)는 제2디지털 신호 변환부(70)에서 입력되는 디지털 신호를 처리하여, 해당 촬영 영상 포맷에 따른 촬영 영상 데이터를 생성하여, 메모리부(미도시 함.)에 저장한다. 예를 들어, 제2이미지 처리부(80)는 정지 영상 데이터, 프리뷰 영상 데이터, 동영상 데이터 등을 생성할 수 있다.
상기한 바와 같이 구성되는 디지털 장치가 본 발명에 따라 영상 처리를 하는 동작 과정은 도5와 같다. 도5를 참조하면, 디지털 장치의 제어부(90)는 201단계에서 현재 비전 인식 모드가 설정되어 있는지 확인한다. 비전 인식 모드가 설정되어 있지 않다면, 촬영 모드가 설정되어 있는 것으로 판단하고, 211단계로 진행한다. 211단계에서 제어부(90)는 센서 제어부(100)를 제어해서, 촬영 영상 포맷에 대응하는 동작 파라미터가 이미지 센서(30)에 설정되게 하여, 이미지 센서(30)로부터 광 정보가 촬영 영상 포맷에 맞게 출력되게 한다. 그리고 제어부(90)는 제2디지털 신호 변환부(70)와 제2이미지 처리부(80)를 이용해 촬영 영상 데이터를 생성한다.　　
한편, 비전 인식 모드가 설정되어 있으면, 제어부(90)는 203단계로 진행하여, 센서 제어부(100)를 비전 인식 모드로 제어함으로써, 이미지 센서(30)에 인식 영상 포맷에 대응하는 동작 파라미터가 설정되게 하여, 비전 픽셀로부터 광정보가 인식 영상 포맷에 맞게 출력되게 한다. 이때, 비전 인식에 최적화된 인식 영상의 해상도, 프레임율은, 일반적인 촬영 영상의 해상도, 프레임율 보다 작은 값을 가질 가능성이 높다. 때문에, 비전 인식 모드에서 이미지 센서(30)의 소모 전력은 촬영 모드에서의 소모 전력보다 적을 것이다.
205단계에서 제어부(90)는 제1디지털 신호 변환부(40)와, 제1이미지 처리부(50)를 제어하여, 이미지 센서(30)의 비전 픽셀로부터 출력되는 신호를 이용해 인식 영상 데이터를 생성하고, 비전 인식 처리부(60)를 제어하여 인식 영상 데이터를 이용한 비전 인식이 수행되게 한다.
이후, 제어부(90)는 207단계에서 비전 인식 중에 촬영 모드로 빠른 모드 변경 이벤트가 발생하는지 확인한다. 207단계에서 촬영 모드로 빠른 모드 변경이 있으면 209단계에서 제어부(90)는 촬영 모드로 동작 모드를 변경하고, 211단계에서 촬영 영상 데이터를 생성한다.
본 발명의 실시예에 따라, 빠른 모드 변경이란, 비전 인식 모드와 촬영 모드 간에 빠른 전환이 필요한 경우를 나타낸다. 빠른 모드 변경은 비전 인식 모드에서 획득된 비전 인식 결과를 촬영 모드에서 이용할 때, 이루어 질 수 있다. 예를 들어, 인식 영상 데이터에서 얼굴 인식을 수행한 후에, 얼굴이 인식된 부분을 기준으로 촬영 포커스를 설정하여, 촬영 영상 데이터가 생성될 수 있게 하는 것이다. 이런 경우, 동작 모드는 촬영 모드에서 인식 모드로, 인식 모드에서 촬영 모드로 빠르게 변경될 것이다.
즉, 촬영 모드에서 정지 영상 촬영 또는 동영상 촬영이 시작되기 전에 디지털 장치는 프리뷰 모드로 동작하여, 프리뷰 영상 데이터를 생성하고 디스플레이한다. 일반적으로 프리뷰 영상은 정지 영상 촬영 또는 동영상 촬영이 시작되기 전에 이미지 센서를 통해 입력되고 있는 영상을 사용자에게 제공하기 위한 영상으로, 화면을 통해 디스플레이되지만, 디지털 장치의 메모리부에 해당 영상 데이터가 저장되지는 않는다.
얼굴 인식을 이용한 오토 포커싱 기능이 활성된 경우, 제어부(90)는 먼저 촬영 모드의 프리뷰 모드를 설정한다. 이에 따라, 센서 제어부(100)는 이미지 센서(30)에 프리뷰 모드에 대응하는 동작 파라미터를 설정하고, 제2디지털 신호 변환부(70)와 제2이미지 처리부(80)는 프리뷰 영상 데이터를 생성하여 화면에 디스플레이한다. 이러한 프리뷰 영상은 일종의 동영상으로서, 1초에 수십 프레임의 프레임 데이터가 생성되어 연속적으로 디스플레이됨으로써, 사용자에 프리뷰 영상이 제공된다. 본 실시예에서는 24프레임으로 가정한다.
제어부(90)는 얼굴 인식 오토 포커싱을 수행하기 위해, 프리뷰 모드에서 인식 모드로 동작 모드를 변경하여, 수 프레임(예를 들어, 5 프레임) 동안 인식 영상 데이터를 생성하고, 인식 영상 데이터의 생성이 완료되면 다시 프리뷰 모드로 전환한다.
이에 따라, 인식 모드 동안에, 이미지 센서(30)에는 센서 제어부(100)에 의해 인식 영상 포맷에 따른 동작 파라미터가 설정된다. 단 본 실시예에서, 인식 영상 모드의 프레임율은 프리뷰 모드의 프레임율을 그대로 유지한다. 리드 아웃 회로(110)에 의해 광 정보가 제1디지털 신호 변환부(40)에 전달되며, 제1디지털 신호 변환부(40)와 제1이미지 처리부(50)에 의해 얼굴 인식에 필요한 인식 영상 데이터가 생성된다. 인식 영상 데이터가 생성되는 수 프레임 동안 화면에는 이전에 생성된 프리뷰 영상의 프레임 데이터가 반복해서 디스플레이됨으로써, 프리뷰 영상의 디스플레이가 유지된다. 비록, 5 개의 프레임 데이터, 즉, 5개의 인식 영상 데이터가 생성되는 동안 프리뷰 영상의 프레임 데이터는 생성되지 않고, 이전의 프리뷰 영상의 프레임 데이터가 디스플레이되지만, 사람의 눈은 이를 쉽게 인식할 수 없기 때문에, 사용자는 프리뷰 영상이 계속해서 실시간으로 디스플레이되는 것으로 인식한다.
하지만, 실질적으로 디지털 장치는 인식 영상 데이터를 생성하는 동안에는 인식 모드로 동작하기 때문에, 디지털 장치의 소모 전력은 감소될 것이다.
이후, 제어부(90)는 다시 프리뷰 모드를 설정하여, 프리뷰 영상 데이터가 생성되게 하고, 비전 인식 처리부(60)는 상기에서 생성된 인식 영상 데이터를 이용해 얼굴 인식을 수행한다.
비전 인식 처리부(60)에서 얼굴 인식이 수행되는 동안, 화면에는 프리뷰 영상이 디스플레이되고, 얼굴 인식이 완료되면, 인식 결과, 즉, 인식 영상에서 얼굴이 인식된 특정 영역에 대한 위치 정보가 제어부(90)로 전달된다. 제어부(90)는 인식 결과를 제2이미지 처리부(80)와 센서 제어부(100)로 전달하여, 센서 제어부(100)를 통해 특정 영역을 중심으로 오토 포커싱이 이루어지게 하고, 제2이미지 처리부(80)를 통해 특정 영역을 나타내는 인디케이터를 프리뷰 영상에 표시한다.
이후, 셔터키 입력과 같은 촬영 명령이 사용자에 의해 입력되면, 특정 영역에 포커싱이된 정지 영상 데이터 또는 동영상 데이터가 생성되어 메모리부에 저장된다.
그리고 인식 모드에서 촬영 모드로 빠르게 모드가 변경되는 경우, 인식 영상 데이터 생성시 사용된 비전 픽셀의 광 정보는 촬영 영상 데이터 생성에도 이용될 수 있다. 인식 모드 동작 중 제어부(90)로부터 이미지 촬상 모드로 모드가 변경되는 경우 인식 모드에 사용되던 픽셀은 모두 이미지 촬상 모드용 픽셀로 전환이 된다. 이에 따라, 제어부(90)는 인식 영상 데이터 생성시 사용된 비전 픽셀의 광 정보를 제1이미지 처리부(50)로부터 수신하여 제2이미지 처리부(80)로 전달하고, 제2이미지 처리부(80)는 수신된 비전 픽셀의 광 정보를 촬영 영상 데이터 생성시 이용한다.
비전 픽셀로 화이트 픽셀을 이용하는 경우에 비전 픽셀의 광 정보를 촬영 영상 데이터 생성에 이용하기 위해서는, 제2이미지 처리부(80)는 제어부(90)로부터 수신된 화이트 픽셀의 광 정보에 대해 픽셀 보간을 실행하고, 픽셀 보간이 이뤄진 값을 촬영 영상 데이터 생성시 이용한다. 이때, 픽셀 보간 방식에는 예를 들어, 이중 선형(bilinear) 이미지 보간 방식을 이용할 수 있다. 이 경우 감도가 매우 높은 센서 성능을 확보할 수 있게 된다.
이러한 보간을 수행하여 동일한 피사체에 대한 촬영 영상 데이터를 생성한 경우의 예를 도7에 나타내었다. 도7에서, 제1영상(310)은 픽셀 보정이 이루어진 영상이고, 제2영상(320)은 일반적인 촬영 영상이다. 두 영상(310,320)을 비교하였을 때, 영상의 화질 차이는 육안으로 식별되지 않는다.　　
본 발명의 다른 실시예에 따라, 디지털 장치가 스마트폰이고, 손가락이 인식 오브젝트로 설정된 경우, 비전 인식을 통해 스마트폰의 아이콘을 선택하는 과정을 도8을 참조하여 설명한다. 스마트폰의 경우, 일반적으로 영상 촬영을 위한 하나의 고성능 이미지 센서를 구비하거나, 또는 영상 통화가 가능한 스마트 폰인 경우, 정면과 후면에 두 개의 이미지 센서를 구비하게 된다. 이러한 이미지 센서들은 기본적으로 영상 촬영을 목적으로 하기 때문에 고성능의 이미지 센서가 된다.
도8의 실시예는, 스마트 폰(400)의 정면의 상단에 구비된 이미지 센서(30)에 한하여 설명한다. 그리고 스마트 폰(400)은 도2에 도시된 각 구성부를 포함하는 것으로 가정한다.
도8을 참조하면, 스마트 폰(400)의 제어부(90)는 사용자 요청에 따라, 손가락이 인식 오브젝트로 설정된 비전 인식 모드를 설정한다. 이에 따라, 센서 제어부(100)는 이미지 센서(30)에 인식 영상 포맷에 대응하는 동작 파라미터를 설정한다. 그리고 제어부(90)는 제2이미지 처리부(80)를 제어하여 화면에 아이콘 리스트(410)와, 선택 인디케이터(420)를 디스플레이한다.
손 가락 영상은 이미지 센서(30)를 통해 입력되고, 이미지 센서(30)의 비전 픽셀에 의한 광 정보는 리드 아웃 회로(110)를 통해 제1디지털 신호 변환부(40)로 전달된다. 제1디지털 신호 변환부(40)에서 출력되는 디지털 영상 신호는 제1이미지 처리부(50)로 전달되어 인식 영상 데이터가 생성되고, 비전 인식 처리부(60)는 인식 영상 데이터에서 손가락, 즉, 인식 오브젝트를 인식한다. 그리고 비전 인식 처리부(60)는 인식 영상 데이터에서 인식 오브젝터의 위치를 검출하여, 선택 인디케이터(420)에 반영한다. 그리고 도8에서와 같이 손가락이 이동함에 따라, 인식 처리부(60)는 인식 오브젝트의 이동 벡터를 검출하여 제어부(90)로 전달한다. 제어부(90)는 검출된 이동 벡터를 제2이미지 처리부(80)로 전달하여, 선택 인디케이터(420)의 위치에 반영되게 한다. 제2이미지 처리부(80)는 선택 인디케이터(420)를 이동시켜 디스플레이한다.
이와 같이, 인식 모드가 수행되는 동안, 비전 인식을 위해, 이미지 센서(30)의 비전 픽셀에 의해 수집된 광 정보만이 처리되도록, 리드 아웃 회로(110), 제1디지털 신호 변환부(40), 제1이미지 처리부(50)가 동작되기 때문에, 스마트폰(400)의 소모 전력을 절감시킬 수 있다.
상기한 바와 같이 본 발명은 영상 촬영을 위한 일반적인 이미지 센서의 일부 픽셀을 비전 인식에 이용되는 비전 픽셀로 지정하여, 비전 인식 모드에서는 비전 픽셀에서 획득되는 광 정보만을 비전 인식에 이용하고, 영상 촬영 모드에서는 이미지 센서의 전체 픽셀에서 획득되는 광 정보를 이용해 영상 데이터를 생성한다.
그리고 본 발명은 이미지 센서의 전체 픽셀의 광 정보를 디지털 신호로 변환하는 디지털 신호 변환부 이외에, 별도로, 비전 픽셀에서 획득되는 광 정보만을 디지털 신호로 변환하는 디지털 신호 변환부를 구비한다. 비전 인식용 디지털 신호 변환부에서 출력되는 신호를 처리하는 이미지 처리부와 영상 촬영용 디지털 신호 변환부에서 출력되는 신호를 처리하는 이미지 처리부를 별도로 구비될 수도 있다.
비전 인식용 디지털 신호 변환부의 출력 비트(bit) 수와, 비전 인식용 영상의 해상도 및 프레임 수는 비전 인식에 최적화되게 결정되며, 이에 따라, 촬영용 영상 데이터를 처리하는 경우와 비교했을 때, 저전력으로 빠르게 비전 인식을 수행할 수 있다. 통상적으로 촬영 모드의 약 1/10 ~ 약 1/100배의 소모전력 효율을 갖도록, 비전 픽셀과, 비전 인식용 디지털 신호 변환부와, 비전 인식용 이미지 처리부가 설계될 수 있다.
상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다.
예를 들어, 제1이미지 처리부(50)와 제2이미지 처리부(80)는 하나의 통합 이미지 처리부로 구성될 수도 있다. 이러한 경우, 통합 이미지 처리부는, 제어부(90)의 제어하에, 비전 인식 모드하에서는 제1이미지 처리부(50)와 유사하게 동작하고, 촬영 모드하에서는 제2이미지 처리부(80)와 유사하게 동작할 것이다. 그리고 통합 이미지 처리부는 인식 영상 데이터는 비전 인식 처리부(60)로 출력하고, 촬영 영상 데이터는 메모리부에 저장한다.
또는 본 발명의 다른 실시예로, 제1이미지 처리부(50)와 제2이미지 처리부(80)가 하나의 이미지 처리 모듈에 포함되도록 구성할 수도 있다. 이 경우, 이미지 처리 모듈은, 동작 모드에 따라, 이미지 처리 모듈에 포함된 해당 이미지 처리부(50,80)가 동작하도록 구성될 것이다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.

Claims (24)

  1. 디지털 장치에서 비전 인식 장치에 있어서,
    복수의 픽셀들을 포함하며, 상기 복수의 픽셀들 중 일부 픽셀이 비전 인식을 위해 사용될 비전 픽셀들로서 지정된 이미지 센서와,
    상기 지정된 비전 픽셀들에서 출력되는 신호를 디지털 신호로 변환하는 제1디지털 변환부와,
    상기 복수의 픽셀들에서 출력되는 신호를 디지털 신호로 변환하는 제2디지털 변환부와,
    비전 인식 모드에서, 상기 제1디지털 변환부에서 출력되는 신호를 처리하고, 상기 지정된 비전 픽셀들로부터 획득된 광 정보를 사용하여 상기 비전 인식에 사용되는 인식 영상 데이터를 생성하고, 촬영 모드에서 상기 제2디지털 변환부에서 출력되는 신호를 처리하여 촬영 영상 데이터를 생성하는 통합 이미지 처리부를 포함하며,
    상기 비전 인식을 위해 사용되는 상기 비전 픽셀들의 개수는 상기 인식 영상 데이터의 해상도에 기반하여 결정되는 비전 인식 장치.
  2. 제1항에 있어서,
    상기 인식 영상 데이터에 포함된 특정 오브젝트를 식별하고 검출하여 비전 인식을 수행하는 비전 인식 처리부를 더 포함하는 비전 인식 장치.
  3. 제1항에 있어서,
    상기 이미지 센서가 CMOS 이미지 센서이고,
    상기 제1디지털 변환부는 상기 비전 픽셀들로부터 신호를 입력받는 CDS(Correlated Double Sampling)부와,
    상기 CDS부에서 출력되는 신호를 디지털 신호로 변경하는 ADC(Analog to Digital Converter)부를 포함하는 비전 인식 장치.　
  4. 제1항에 있어서,
    상기 제1디지털 변환부의 출력 비트 수는 상기 비전 픽셀들의 수, 상기 인식 영상 데이터의 크기 및 상기 인식 영상 데이터의 해상도에 의해 결정되는 비전 인식 장치.
  5. 제1항에 있어서,
    상기 복수의 픽셀들은 서로 다른 감도를 가지며,
    상기 서로 다른 감도를 가진 상기 복수의 픽셀들 중 더 높은 감도를 가지는 픽셀은 상기 비전 픽셀들로 지정되는 비전 인식 장치.
  6. 제1항에 있어서,
    상기 복수의 픽셀들은 복수의 레드 픽셀들, 복수의 블루 픽셀들, 복수의 그린 픽셀들을 포함하고, 상기 복수의 그린 픽셀들 중 적어도 두 개의 픽셀들은 상기 비전 픽셀들로 지정되는 비전 인식 장치.
  7. 제1항에 있어서,
    상기 비전 픽셀들은 화이트 픽셀임을 특징으로 하는 비전 인식 장치.
  8. 제1항에 있어서,
    상기 통합 이미지 처리부는
    상기 비전 인식 모드에서 상기 제1디지털 변환부에서 출력되는 신호를 처리하여 상기 인식 영상 데이터를 생성하는 제1이미지 처리부와,
    상기 촬영 모드에서 상기 제2디지털 변환부에서 출력되는 신호를 처리하여 상기 촬영 영상 데이터를 생성하는 제2이미지 처리부를 포함하는 비전 인식 장치.
  9. 제8항에 있어서,
    상기 제2이미지 처리부는 상기 화이트 픽셀들의 광 정보에 대해 픽셀 보간을 수행하여 획득된 결과에 기반하여 상기 촬영 영상 데이터를 생성하는 비전 인식 장치.
  10. 제1항에서,
    상기 비전 픽셀들의 광 정보를 상기 제1디지털 변환부로 출력하는 리드 아웃 회로를 더 포함하는 비전 인식 장치.
  11. 복수의 픽셀들을 포함하는 이미지 센서를 가지는 디지털 장치의 비전 인식 방법에 있어서,
    동작 모드가 비전 인식 모드인지 확인하는 과정과,
    상기 동작 모드가 상기 비전 인식 모드이면, 상기 이미지 센서에서 비전 인식을 위해 사용되는 비전 픽셀들로서 지정된 상기 복수의 픽셀들 중 일부 픽셀로부터 출력되는 신호를 디지털 신호로 변환하는 제1디지털 변환부로부터 출력되는 신호를 처리하여 인식 영상 데이터를 생성하는 과정과,
    상기 인식 영상 데이터에 포함된 특정 오브젝트를 식별하고 검출하여 상기 비전 인식을 수행하는 과정과,
    상기 동작 모드가 촬영 모드이면, 상기 복수의 픽셀들 각각에서 출력되는 신호를 디지털 신호로 변환하는 제2디지털 변환부에서, 상기 촬영 모드 설정에 따라 특정 해상도에 대응하여 상기 복수의 픽셀들에서 선택된 픽셀에 대응하여 출력되는 신호를 처리하여 촬영 영상 데이터를 생성하는 과정을 포함하며,
    상기 비전 인식을 위해 사용되는 상기 비전 픽셀들의 개수는 상기 인식 영상 데이터의 해상도에 기반하여 결정되는 비전 인식 방법.　
  12. 제11항에 있어서, 상기 제1디지털 변환부의 출력 비트 수는 상기 비전 픽셀들의 수, 상기 인식 영상 데이터의 크기 및 상기 인식 영상 데이터의 해상도에 의해 결정되는 비전 인식 방법.
  13. 제11항에 있어서,
    상기 복수의 픽셀들은 서로 다른 감도를 가지며, 상기 서로 다른 감도를 가진 상기 복수의 픽셀들 중 더 높은 감도를 가지는 픽셀은 상기 비전 픽셀들로 지정되는 비전 인식 방법.
  14. 제11항에 있어서,
    상기 복수의 픽셀들은 복수의 레드 픽셀들, 복수의 블루 픽셀들, 복수의 그린 픽셀들을 포함하고, 상기 복수의 그린 픽셀들 중 적어도 두 개의 픽셀들은 상기 비전 픽셀들로 지정되는 비전 인식 방법.
  15. 제11항에 있어서,
    상기 비전 픽셀들은 화이트 픽셀임을 특징으로 하는 비전 인식 방법.　
  16. 제11항에 있어서,
    상기 비전 인식 모드에서 상기 인식 영상 데이터는, 상기 제1디지털 변환부에서 출력되는 신호를 처리하여 상기 인식 영상 데이터를 생성하는 제1이미지 처리부에 의해 생성되고,
    상기 촬영 영상 데이터는, 상기 촬영 모드에서 상기 제2디지털 변환부에서 출력되는 신호를 처리하여 상기 촬영 영상 데이터를 생성하는 제2이미지 처리부에 의해 생성되는 비전 인식 방법.
  17. 제15항에 있어서,
    상기 비전 픽셀들의 광 정보에 대해 픽셀 보간을 수행하여 획득된 결과에 기반하여 상기 촬영 영상 데이터를 생성하는 비전 인식 방법.
  18. 복수의 픽셀들을 포함하는 이미지 센서를 가지는 휴대용 단말에서 저전력 비전 인식 방법에 있어서,
    상기 이미지 센서를 이용하여 영상을 입력받는 과정과,
    상기 이미지 센서에서 비전 인식을 위해 사용되는 비전 픽셀들로 지정된 상기 복수의 픽셀들 중 일부 픽셀로 입력된 인식 영상을 추출하는 과정과,
    상기 비전 픽셀들로 입력된 인식 영상에 포함된 객체에 대한 비전 인식을 수행하는 과정을 포함하며,
    상기 추출 과정은,
    상기 휴대용 단말의 동작 모드가 비전 인식 모드이면, 상기 복수의 픽셀들 중 일부 픽셀로부터 출력되는 신호를 디지털 신호로 변환하여 상기 지정된 비전 픽셀들로부터 획득된 광 정보를 이용하여 비전 인식에 사용되는 인식 영상 데이터를 생성하는 과정을 포함하며,
    상기 비전 인식을 위해 사용되는 상기 비전 픽셀들의 개수는 상기 인식 영상 데이터의 해상도에 기반하여 결정되는 비전 인식 방법.　
  19. 제18항에 있어서,
    상기 인식 영상을 추출하는 과정은,
    상기 비전 픽셀들 각각에서 출력되는 신호를 디지털 신호로 변환하는 제1디지털 변환부로부터 출력되는 신호를 처리하여 인식 영상 데이터를 생성하는 과정을 포함하는 비전 인식 방법.　
  20. 제19항에 있어서, 상기 제1디지털 변환부의 출력 비트 수는 상기 비전 픽셀들의 수와, 상기 인식 영상 데이터의 크기 및 상기 인식 영상 데이터의 해상도에 의해 결정되는 비전 인식 방법.
  21. 제18항에 있어서,
    촬영 모드가 설정되면, 상기 복수의 픽셀들 각각에서 출력되는 신호를 디지털 신호로 변환하는 제2디지털 변환부에서, 상기 촬영 모드 설정에 따라 특정 해상도에 대응하여 상기 복수의 픽셀들에서 선택된 픽셀에 대응하여 출력되는 신호를 처리하여 촬영 영상 데이터를 생성하는 과정을 더 포함하는 비전 인식 방법.　
  22. 제18항에 있어서,
    상기 복수의 픽셀들은 서로 다른 감도를 가지며, 상기 서로 다른 감도를 가진 상기 복수의 픽셀들 중 더 높은 감도를 가지는 픽셀은 상기 비전 픽셀들로 지정되는 비전 인식 방법.
  23. 제18항에 있어서,
    상기 복수의 픽셀들은 복수의 레드 픽셀들, 복수의 블루 픽셀들, 복수의 그린 픽셀들을 포함하고, 상기 복수의 그린 픽셀들 중 적어도 두 개의 픽셀은 상기 비전 픽셀들로 지정되는 비전 인식 방법.
  24. 제18항에 있어서,
    상기 비전 픽셀들은 화이트 픽셀임을 특징으로 하는 비전 인식 방법.　
KR1020110110585A 2011-10-27 2011-10-27 비전 인식 장치 및 방법 Active KR101822661B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020110110585A KR101822661B1 (ko) 2011-10-27 2011-10-27 비전 인식 장치 및 방법
EP12189984.3A EP2587407B1 (en) 2011-10-27 2012-10-25 Vision recognition apparatus and method
CN201210419838.5A CN103096094B (zh) 2011-10-27 2012-10-29 视觉识别装置和方法
US13/662,642 US10095941B2 (en) 2011-10-27 2012-10-29 Vision recognition apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110110585A KR101822661B1 (ko) 2011-10-27 2011-10-27 비전 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130046174A KR20130046174A (ko) 2013-05-07
KR101822661B1 true KR101822661B1 (ko) 2018-01-26

Family

ID=47630057

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110110585A Active KR101822661B1 (ko) 2011-10-27 2011-10-27 비전 인식 장치 및 방법

Country Status (4)

Country Link
US (1) US10095941B2 (ko)
EP (1) EP2587407B1 (ko)
KR (1) KR101822661B1 (ko)
CN (1) CN103096094B (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9886945B1 (en) * 2011-07-03 2018-02-06 Reality Analytics, Inc. System and method for taxonomically distinguishing sample data captured from biota sources
KR101909082B1 (ko) * 2012-01-31 2018-10-18 삼성전자주식회사 사용자 인터랙션을 이용하여 이동 단말을 제어하는 장치 및 방법
KR102037283B1 (ko) * 2013-06-18 2019-10-28 삼성전자주식회사 이미지 센서, 이미지 신호 프로세서 및 이들을 포함하는 전자 장치
KR102041191B1 (ko) * 2014-03-03 2019-11-06 한국전자통신연구원 손 동작 인식 방법 및 장치
US20150356802A1 (en) * 2014-06-10 2015-12-10 Center For Integrated Smart Sensors Foundation Low Power Door-Lock Apparatus Based On Battery Using Face Recognition
US9967500B2 (en) * 2014-09-29 2018-05-08 Samsung Electronics Co., Ltd. Systems and methods of selective output for reducing power
US20160093273A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data
TW201743241A (zh) 2016-06-01 2017-12-16 原相科技股份有限公司 可攜式電子裝置及其運作方法
US10757377B2 (en) 2016-06-01 2020-08-25 Pixart Imaging Inc. Surveillance system and operation method thereof
CN118312941A (zh) * 2016-06-15 2024-07-09 原相科技股份有限公司 便携式电子装置
US20220264045A1 (en) * 2019-07-18 2022-08-18 Sony Semiconductor Solutions Corporation Solid-state imaging element, imaging apparatus, and method of controlling solid-state imaging element
US11394860B2 (en) * 2020-04-03 2022-07-19 Qualcomm Incorporated Multiple optical path imaging techniques and shared emitter for active depth sensing techniques
WO2022106008A1 (en) 2020-11-19 2022-05-27 Telefonaktiebolaget Lm Ericsson (Publ) Low-power always-on image sensor and pattern recognizer
WO2024160446A1 (en) * 2023-02-02 2024-08-08 Sony Semiconductor Solutions Corporation Sensor device and method for operating a sensor device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009272820A (ja) * 2008-05-02 2009-11-19 Konica Minolta Opto Inc 固体撮像装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3674413B2 (ja) 1999-10-07 2005-07-20 日本ビクター株式会社 画像撮影装置
US7408443B2 (en) * 2003-01-13 2008-08-05 Samsung Electronics Co., Ltd. Circuit and method for reducing fixed pattern noise
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
JP2007134805A (ja) 2005-11-08 2007-05-31 Canon Inc 電子撮像装置
JP4727457B2 (ja) * 2006-03-08 2011-07-20 富士フイルム株式会社 撮影装置
JP4144630B2 (ja) * 2006-04-14 2008-09-03 ソニー株式会社 撮像装置
KR100832846B1 (ko) 2006-11-15 2008-05-28 삼성전자주식회사 영상 촬상 소자
KR100842573B1 (ko) 2006-11-21 2008-07-01 삼성전자주식회사 휴대단말기의 카메라부 제어장치 및 방법
GB2447246B (en) * 2007-03-07 2012-04-18 Aurora Comp Services Ltd Controlled high resolution sub-image capture with time domain multiplexed high speed full field of view reference video stream for image biometric application
EP2088787B1 (en) * 2007-08-07 2015-01-21 Panasonic Corporation Image picking-up processing device, image picking-up device, image processing method and computer program
JP2009164859A (ja) * 2008-01-04 2009-07-23 Fujifilm Corp 撮像装置及び撮像制御方法
JP5014168B2 (ja) * 2008-01-15 2012-08-29 キヤノン株式会社 撮像システム及び撮像システムの制御方法
JP4318056B1 (ja) 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
JP2010171797A (ja) * 2009-01-23 2010-08-05 Nikon Corp 撮像装置及びプログラム
JP4748244B2 (ja) * 2009-03-31 2011-08-17 カシオ計算機株式会社 画像選択装置、画像選択方法及びプログラム
JP2011188225A (ja) 2010-03-09 2011-09-22 Sanyo Electric Co Ltd 電子カメラ
US8629913B2 (en) * 2010-09-30 2014-01-14 Apple Inc. Overflow control techniques for image signal processing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009272820A (ja) * 2008-05-02 2009-11-19 Konica Minolta Opto Inc 固体撮像装置

Also Published As

Publication number Publication date
EP2587407B1 (en) 2020-03-04
CN103096094A (zh) 2013-05-08
US20130108107A1 (en) 2013-05-02
EP2587407A1 (en) 2013-05-01
KR20130046174A (ko) 2013-05-07
CN103096094B (zh) 2017-04-12
US10095941B2 (en) 2018-10-09

Similar Documents

Publication Publication Date Title
KR101822661B1 (ko) 비전 인식 장치 및 방법
JP4702441B2 (ja) 撮像装置及び撮像方法
US8786760B2 (en) Digital photographing apparatus and method using face recognition function
CN101334578B (zh) 图像拍摄装置以及图像拍摄方法
JP5954336B2 (ja) 画像処理装置、画像処理方法、及び記録媒体
US8570422B2 (en) Apparatus, method, and recording medium containing program for photographing
US8395694B2 (en) Apparatus and method for blurring image background in digital image processing device
US9392160B2 (en) Circuit and method providing wide dynamic-range operation of auto-focus(AF) focus state sensor elements, digital imaging device, and computer system including same
JP5293206B2 (ja) 画像検索装置、画像検索方法及びプログラム
WO2016045457A1 (zh) 拍摄方法、装置和计算机存储介质
JP2009284309A (ja) 撮像装置、表示制御プログラム及び表示制御方法
KR101909082B1 (ko) 사용자 인터랙션을 이용하여 이동 단말을 제어하는 장치 및 방법
CN112788320B (zh) 图像传感器、图像采集装置、电子设备及其控制方法
WO2016008359A1 (zh) 物体运动轨迹图像的合成方法、装置及计算机存储介质
US8237802B2 (en) Method and apparatus for determining shaken image by using auto focusing
KR20130005883A (ko) 디지털 촬영 장치, 그 제어방법, 및 컴퓨터 판독가능 저장매체
KR101613617B1 (ko) 디지털 영상 촬영 장치 및 그 제어 방법
JP2008172395A (ja) 撮像装置、画像処理装置、方法およびプログラム
CN119136040A (zh) 成像元件、成像元件的工作方法、计算机程序产品及摄像系统
JP5044472B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6450107B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2007251532A (ja) 撮像装置及び顔領域抽出方法
KR101436322B1 (ko) 비접촉식 촬영이 가능한 촬상장치 및 비접촉식 촬영방법
JP5223950B2 (ja) 撮像装置、表示制御プログラム及び表示制御方法
KR101720771B1 (ko) 디지털 촬영장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20111027

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20161026

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20111027

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170414

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20171024

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180122

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180122

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20201230

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20211229

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20231228

Start annual number: 7

End annual number: 7