[go: up one dir, main page]

KR102381617B1 - 반도체 장치의 동작 방법 및 반도체 시스템 - Google Patents

반도체 장치의 동작 방법 및 반도체 시스템 Download PDF

Info

Publication number
KR102381617B1
KR102381617B1 KR1020150126342A KR20150126342A KR102381617B1 KR 102381617 B1 KR102381617 B1 KR 102381617B1 KR 1020150126342 A KR1020150126342 A KR 1020150126342A KR 20150126342 A KR20150126342 A KR 20150126342A KR 102381617 B1 KR102381617 B1 KR 102381617B1
Authority
KR
South Korea
Prior art keywords
event
display device
scene
data
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150126342A
Other languages
English (en)
Other versions
KR20170029251A (ko
Inventor
박무윤
김진하
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150126342A priority Critical patent/KR102381617B1/ko
Priority to US15/162,970 priority patent/US10063825B2/en
Priority to DE102016109998.8A priority patent/DE102016109998A1/de
Priority to CN201610675158.8A priority patent/CN106506976A/zh
Publication of KR20170029251A publication Critical patent/KR20170029251A/ko
Application granted granted Critical
Publication of KR102381617B1 publication Critical patent/KR102381617B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H04N5/2256—
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Studio Devices (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)

Abstract

반도체 장치의 동작 방법 및 반도체 시스템이 제공된다. 반도체 장치의 동작 방법은 입력 인터페이스를 통해 수신되는 제1 이벤트를 검출하고, 상기 제1 이벤트에 대한 응답으로 카메라 장치의 이미지 센서에 의해 생성된 장면 데이터를 디스플레이 장치에 표시하고, 상기 입력 인터페이스를 통해 수신되는 제2 이벤트를 검출하고, 상기 제2 이벤트에 대한 응답으로 외부 색온도(color temperature)를 측정하고, 상기 외부 색온도를 보상하기 위한 색온도를 갖는 플래시 데이터를 생성하고, 상기 플래시 데이터를 상기 디스플레이 장치에 표시하고, 상기 카메라 장치를 이용하여 장면을 촬영하는 것을 포함한다.

Description

반도체 장치의 동작 방법 및 반도체 시스템{METHOD FOR OPERATING SEMICONDUCTOR DEVICE AND SEMICONDUCTOR SYSTEM}
반도체 장치의 동작 방법 및 반도체 시스템에 관한 것이다.
스마트폰을 비롯한 모바일 장치는 디스플레이 장치의 주면에 카메라(예컨대 전면 카메라) 장치를 구비하는 추세이다. 사용자는 디스플레이 장치와 동일한 방향을 향하는 카메라 장치를 이용하여 촬영될 화상을 확인하면서 촬영을 진행할 수 있다. 이와 같은 카메라 장치를 이용하여 촬영하는 경우, 어두운 환경에서 촬영을 진행하기 위해서는 촬영 대상을 밝도록 광을 발산하는 추가 광원이 필요할 수 있다.
본 발명이 해결하고자 하는 기술적 과제는 별도의 플래시 장치를 구비하지 않고 디스플레이 장치를 플래시 광원으로 이용하는 반도체 장치의 동작 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는 별도의 플래시 장치를 구비하지 않고 디스플레이 장치를 플래시 광원으로 이용하는 반도체 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 해당 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 반도체 장치의 동작 방법은, 입력 인터페이스를 통해 수신되는 제1 이벤트를 검출하고, 제1 이벤트에 대한 응답으로 카메라 장치의 이미지 센서에 의해 생성된 장면 데이터를 디스플레이 장치에 표시하고, 입력 인터페이스를 통해 수신되는 제2 이벤트를 검출하고, 제2 이벤트에 대한 응답으로 외부 색온도(color temperature)를 측정하고, 외부 색온도를 보상하기 위한 색온도를 갖는 플래시 데이터를 생성하고, 플래시 데이터를 디스플레이 장치에 표시하고, 카메라 장치를 이용하여 장면을 촬영하는 것을 포함한다.
본 발명의 몇몇의 실시예에서, 상기 디스플레이 장치를 구동하는 디스플레이 드라이버 IC(Display Driver IC)는 상기 장면 데이터 및 상기 플래시 데이터를 시간 분할 방식(time division manner)으로 상기 디스플레이 장치에 출력할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 디스플레이 드라이버 IC는 상기 제2 이벤트가 검출되기 전의 제1 시점에 상기 장면 데이터를 상기 디스플레이 장치에 출력하고, 상기 제2 이벤트가 검출된 후의 제2 시점에 상기 플래시 데이터를 상기 디스플레이 장치에 출력할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 외부 색온도를 측정하는 것은 상기 카메라 장치의 이미지 센서를 이용하여 생성된 장면 데이터를 분석하여 상기 외부 색온도를 측정하는 것을 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 외부 색온도를 측정하는 것은 상기 카메라 장치와 전기적으로 연결된 광 센서를 이용하여 상기 외부 색온도를 측정하는 것을 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 플래시 데이터를 생성하는 것은, 상기 광 센서와의 인터페이스를 통해 상기 광 센서에 의해 측정된 색온도 정보를 수신하고, 수신한 상기 색온도 정보에 기초하여 상기 외부 색온도를 보상하기 위한 색온도를 갖는 플래시 데이터를 생성하는 것을 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 외부 색온도가 웜(warm) 계열인 경우, 상기 플래시 데이터의 색온도는 쿨(cool) 계열일 수 있다.
본 발명의 몇몇의 실시예에서, 상기 외부 색온도가 쿨(cool) 계열인 경우, 상기 플래시 데이터의 색온도는 웜(warm) 계열일 수 있다.
본 발명의 몇몇의 실시예에서, 상기 플래시 데이터의 색상은 상기 제1 이벤트를 검출하기 전에 미리 결정된 프리셋 색상 중 하나일 수 있다.
본 발명의 몇몇의 실시예에서, 상기 제1 이벤트 및 상기 제2 이벤트는 상기 카메라 장치의 제어 어플리케이션에 의해 생성되어 상기 입력 인터페이스를 통해 수신될 수 있다.
본 발명의 몇몇의 실시예에서, 상기 장면 데이터 및 상기 플래시 데이터는 상기 입력 인터페이스를 통해 수신된 상기 제1 이벤트 및 상기 제2 이벤트의 발생 시점에 따라 상기 디스플레이 장치의 제어 어플리케이션에 의해 상기 디스플레이 장치에 표시될 수 있다.
본 발명의 몇몇의 실시예에서, 상기 방법은, 상기 카메라 장치를 이용하여 장면을 촬영하는 것은 촬영된 장면을 상기 디스플레이 장치에 표시하는 것을 더 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 디스플레이 장치는 LCD(Liquid Crystal Display) 또는 OLED(Organic Light-Emitting Diode) 디스플레이를 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 카메라 장치는 이중(dual) 렌즈를 포함하고, 상기 외부 색온도를 측정하는 것은 상기 이중 렌즈를 이용하여 획득한 장면 데이터의 색온도를 측정하는 것을 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 반도체 장치의 동작 방법은, 입력 인터페이스를 통해 수신되는 제1 이벤트를 검출하고, 제1 이벤트에 대한 응답으로 카메라 장치의 이미지 센서에 의해 생성된 장면 데이터를 실시간으로 디스플레이 장치에 표시하고, 입력 인터페이스를 통해 수신되는 제2 이벤트를 검출하고, 제2 이벤트에 대한 응답으로 플래시 데이터를 생성하고, 장면 데이터 및 플래시 데이터를 디스플레이 장치에 동시에 표시하고, 카메라 장치를 이용하여 장면을 촬영하는 것을 포함한다.
본 발명의 몇몇의 실시예에서, 상기 디스플레이 장치를 구동하는 디스플레이 드라이버 IC(Display Driver IC)는 상기 장면 데이터 및 상기 플래시 데이터를 공간 분할 방식(spatial division manner)으로 상기 디스플레이 장치에 출력할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 디스플레이 드라이버 IC는 상기 디스플레이 장치의 제1 영역에 상기 장면 데이터를 표시하고, 상기 디스플레이 장치의 상기 제1 영역과 다른 제2 영역에 상기 플래시 데이터를 표시할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 디스플레이 드라이버 IC는 상기 제2 이벤트가 검출되기 전에는 상기 디스플레이 장치의 상기 제1 영역과 상기 제2 영역 모두에 상기 장면 데이터를 표시할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 방법은, 상기 카메라 장치를 이용하여 장면을 촬영하는 것은 촬영된 장면을 상기 디스플레이 장치의 상기 제1 영역 및 상기 제2 영역 모두에 표시하는 것을 더 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 플래시 데이터를 생성하는 것은, 외부 색온도(color temperature)를 측정하는 것을 더 포함하고, 상기 플래시 데이터는 상기 외부 색온도를 보상하기 위한 색온도를 가질 수 있다.
본 발명의 몇몇의 실시예에서, 상기 외부 색온도를 측정하는 것은 상기 카메라 장치의 이미지 센서를 이용하여 생성된 장면 데이터를 분석하여 상기 외부 색온도를 측정하는 것을 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 외부 색온도를 측정하는 것은 상기 카메라 장치와 전기적으로 연결된 광 센서를 이용하여 상기 외부 색온도를 측정하는 것을 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시예에 따른 반도체 장치의 동작 방법은, 입력 인터페이스를 통해 수신되는 제1 이벤트를 검출하고, 제1 이벤트에 대한 응답으로 디스플레이 장치의 제1 영역에 카메라 장치의 이미지 센서에 의해 생성된 장면 데이터를 실시간으로 표시하고, 디스플레이 장치의 제1 영역과 다른 제2 영역에 플래시 데이터를 표시하고, 입력 인터페이스를 통해 수신되는 제2 이벤트를 검출하고, 제2 이벤트에 대한 응답으로 카메라 장치를 이용하여 장면을 촬영하는 것을 포함한다.
본 발명의 몇몇의 실시예에서, 상기 디스플레이 장치를 구동하는 디스플레이 드라이버 IC(Display Driver IC)는 상기 장면 데이터 및 상기 플래시 데이터를 공간 분할 방식(spatial division manner)으로 상기 디스플레이 장치에 출력할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 카메라 장치를 이용하여 장면을 촬영하는 것은 촬영된 장면을 상기 디스플레이 장치의 상기 제1 영역에 표시하는 것을 더 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 플래시 데이터를 표시하는 것은, 외부 색온도(color temperature)를 측정하고, 상기 외부 색온도를 보상하기 위한 색온도를 갖는 플래시 데이터를 생성하는 것을 더 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 외부 색온도를 측정하는 것은 상기 카메라 장치의 이미지 센서를 이용하여 생성된 장면 데이터를 분석하여 상기 외부 색온도를 측정하는 것을 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 외부 색온도를 측정하는 것은 상기 카메라 장치와 전기적으로 연결된 광 센서를 이용하여 상기 외부 색온도를 측정하는 것을 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 카메라 장치를 이용하여 장면을 촬영하는 것은 상기 카메라 장치를 이용하여 동영상을 촬영하는 것을 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 카메라 장치를 이용하여 장면을 촬영하는 것은 상기 카메라 장치를 이용하여 화상 통화를 수행하는 것을 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 컴퓨터로 판독 가능한 기록 매체는, 프로세서로 하여금, 입력 인터페이스를 통해 수신되는 제1 이벤트를 검출하고, 제1 이벤트에 대한 응답으로 카메라 장치의 이미지 센서에 의해 생성된 장면 데이터를 디스플레이 장치에 표시하고, 입력 인터페이스를 통해 수신되는 제2 이벤트를 검출하고, 제2 이벤트에 대한 응답으로 외부 색온도(color temperature)를 측정하고, 외부 색온도를 보상하기 위한 색온도를 갖는 플래시 데이터를 생성하고, 플래시 데이터를 디스플레이 장치에 표시하고, 카메라 장치를 이용하여 장면을 촬영하는 것을 포함하는 동작을 수행하도록 하는 인스트럭션(instruction)을 포함한다.
본 발명의 몇몇의 실시예에서, 상기 디스플레이 장치를 구동하는 디스플레이 드라이버 IC(Display Driver IC)는 상기 장면 데이터 및 상기 플래시 데이터를 시간 분할 방식(time division manner) 또는 공간 분할 방식(spatial division manner)으로 상기 디스플레이 장치에 출력할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 디스플레이 드라이버 IC는 상기 제2 이벤트가 검출되기 전의 제1 시점에 상기 장면 데이터를 상기 디스플레이 장치에 출력하고, 상기 제2 이벤트가 검출된 후의 제2 시점에 상기 플래시 데이터를 상기 디스플레이 장치에 출력할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 디스플레이 드라이버 IC는 상기 제2 이벤트가 검출되기 전의 제1 시점에 상기 장면 데이터를 상기 디스플레이 장치에 출력하고, 상기 제2 이벤트가 검출된 후의 제2 시점에 상기 장면 데이터 및 상기 플래시 데이터를 동시에 상기 디스플레이 장치에 출력할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 디스플레이 드라이버 IC는 상기 디스플레이 장치의 제1 영역에 상기 장면 데이터를 표시하고, 상기 디스플레이 장치의 상기 제1 영역과 다른 제2 영역에 상기 플래시 데이터를 표시할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 반도체 시스템은, 디스플레이 드라이버 IC(Display Driver IC)에 의해 구동되는 디스플레이 장치; 하나 이상의 렌즈 및 이미지 센서를 포함하는 카메라 장치; 및 디스플레이 장치 및 카메라 장치와 데이터를 주고받고, 입력 인터페이스를 통해 수신되는 제1 이벤트를 검출하고, 제1 이벤트에 대한 응답으로 카메라 장치의 이미지 센서에 의해 생성된 장면 데이터를 디스플레이 장치에 표시하고, 입력 인터페이스를 통해 수신되는 제2 이벤트를 검출하고, 제2 이벤트에 대한 응답으로 외부 색온도(color temperature)를 측정하고, 외부 색온도를 보상하기 위한 색온도를 갖는 플래시 데이터를 생성하고, 플래시 데이터를 디스플레이 장치에 표시하고, 카메라 장치를 이용하여 장면을 촬영하는 것을 포함하는 동작을 수행하는 프로세서를 포함한다.
본 발명의 몇몇의 실시예에서, 상기 디스플레이 드라이버 IC(Display Driver IC)는 타이머를 이용하여 상기 장면 데이터 및 상기 플래시 데이터를 시간 분할 방식(time division manner) 또는 공간 분할 방식(spatial division manner)으로 상기 디스플레이 장치에 출력할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 디스플레이 드라이버 IC는 상기 제2 이벤트가 검출되기 전의 제1 시점에 상기 장면 데이터를 상기 디스플레이 장치에 출력하고, 상기 제2 이벤트가 검출된 후의 제2 시점에 상기 플래시 데이터를 상기 디스플레이 장치에 출력할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 디스플레이 드라이버 IC는 상기 제2 이벤트가 검출되기 전의 제1 시점에 상기 장면 데이터를 상기 디스플레이 장치에 출력하고, 상기 제2 이벤트가 검출된 후의 제2 시점에 상기 장면 데이터 및 상기 플래시 데이터를 동시에 상기 디스플레이 장치에 출력할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 디스플레이 드라이버 IC는 상기 디스플레이 장치의 제1 영역에 상기 장면 데이터를 표시하고, 상기 디스플레이 장치의 상기 제1 영역과 다른 제2 영역에 상기 플래시 데이터를 표시할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 반도체 시스템은, 상기 외부 색온도를 측정하기 위해 상기 카메라 장치와 전기적으로 연결된 광 센서를 더 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 반도체 시스템은, 상기 장면 데이터 및 상기 플래시 데이터가 상기 디스플레이 장치에 표시되기 전에 저장되는 프레임 버퍼를 더 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 반도체 시스템은, 상기 카메라 장치를 이용하여 장면을 촬영하는 것은 촬영된 장면을 상기 디스플레이 장치에 표시하는 것을 더 포함
본 발명의 몇몇의 실시예에서, 상기 반도체 시스템은, 상기 촬영된 장면이 이미지 파일 또는 동영상 파일로서 저장되는 스토리지 장치를 더 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 반도체 장치를 설명하기 위한 개략도이다.
도 2는 본 발명의 일 실시예에 따른 반도체 장치의 동작을 설명하기 위한 개략도이다.
도 3은 본 발명의 일 실시예에 따른 반도체 장치를 설명하기 위한 개략도이다.
도 4는 본 발명의 일 실시예에 따른 반도체 장치의 동작을 설명하기 위한 개략도이다.
도 5는 본 발명의 일 실시예에 따른 반도체 장치의 동작을 설명하기 위한 순서도이다.
도 6은 본 발명의 다른 실시예에 따른 반도체 장치의 동작을 설명하기 위한 개략도이다.
도 7은 본 발명의 다른 실시예에 따른 반도체 장치의 동작을 설명하기 위한 순서도이다.
도 8은 본 발명의 또 다른 실시예에 따른 반도체 장치의 동작을 설명하기 위한 개략도이다.
도 9는 본 발명의 또 다른 실시예에 따른 반도체 장치의 동작을 설명하기 위한 순서도이다.
도 10은 본 발명의 다른 실시예에 따른 반도체 장치를 설명하기 위한 개략도이다.
도 11은 본 발명의 또 다른 실시예에 따른 반도체 장치의 동작을 설명하기 위한 개략도이다.
도 12는 본 발명의 일 실시예에 따른 반도체 시스템을 설명하기 위한 개략도이다.
도 13 및 도 14는 본 발명의 몇몇의 실시예에 따른 반도체 장치를 적용할 수 있는 예시적인 반도체 시스템들이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면에서 층 및 영역들의 상대적인 크기는 설명의 명료성을 위해 과장된 것일 수 있다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
하나의 소자(elements)가 다른 소자와 "접속된(connected to)" 또는 "커플링된(coupled to)" 이라고 지칭되는 것은, 다른 소자와 직접 연결 또는 커플링된 경우 또는 중간에 다른 소자를 개재한 경우를 모두 포함한다. 반면, 하나의 소자가 다른 소자와 "직접 접속된(directly connected to)" 또는 "직접 커플링된(directly coupled to)"으로 지칭되는 것은 중간에 다른 소자를 개재하지 않은 것을 나타낸다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 반도체 장치를 설명하기 위한 개략도이고, 도 2는 본 발명의 일 실시예에 따른 반도체 장치의 동작을 설명하기 위한 개략도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 반도체 장치(1)는 카메라 장치(10) 및 디스플레이 장치(20)를 포함할 수 있다.
카메라 장치(10)는 반도체 장치(10)에서 디스플레이 장치(20)가 장착된 전면에 위치할 수 있다. 여기서 주목할 점은, 카메라 장치(10)는 그 전면에 별도의 플래시 장치, 예를 들어 LED(Light-Emitting Diode)를 이용하여 구현된 별도의 플래시 광원를 구비하고 있지 않다는 점이다.
카메라 장치(10)는 어두운 환경에서 피사체(또는 장면)을 촬영하기 위해 별도의 플래시 광원 없이 디스플레이 장치(20)를 광원으로 이용할 수 있다. 도 2를 함께 참조하면, 반도체 장치(10)의 전면에 위치한 카메라 장치(10)로 촬영되는 피사체(5)는 디스플레이 장치(20)로부터 발산되는 광에 의해 그 밝기가 상승할 수 있다. 이에 따라, 피사체(5)는 어두운 환경으로 인해 셔터 스피드(shutter speed)가 확보되지 않는 경우에, 별도의 플래시 광원을 이용하지 않고, 디스플레이 장치(20)를 이용하여 셔터 스피드를 확보할 수 있다.
이에 따라 본 발명의 다양한 실시예에 따른 반도체 장치(10)는 별도의 플래시 광원을 장착할 필요가 없어 비용 절감을 실현할 수 있다. 뿐만 아니라 디스플레이 장치(20)를 광원으로 이용하기 위한 제어 알고리즘은 비교적 단순하게 구현할 수 있어 구현 복잡도 또한 줄어들 수 있다.
물론 본 발명의 의도가 카메라 장치(10)가 별도의 플래시 광원을 미포함하는 것으로 제한하려는 것은 아니다. 본 발명의 몇몇의 실시예에서, 카메라 장치(10)는 그 렌즈 부근에 별도의 플래시 광원을 구비할 수도 있다.
본 발명의 몇몇의 실시예에서, 반도체 장치(1)는 스마트 폰, 셀룰러 폰, 태블릿 컴퓨터 등을 포함하는 모바일 장치, 개인용 컴퓨터, 노트북 컴퓨터, 미디어 플레이어, PDA(personal digital assistant), 임베디드 장치, 가전 전자 디바이스(consumer electronic device) 등을 포함할 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.
본 발명의 몇몇의 실시예에서, 디스플레이 장치(20)는 LCD(Liquid Crystal Display) 또는 OLED(Organic Light-Emitting Diode) 디스플레이 장치를 포함할 수 있으나, 본 발명의 범위이 이에 제한되는 것은 아니다. 한편, 본 발명의 몇몇의 실시예에서, 반도체 장치(10)는 그 후면에 하나 이상의 카메라 장치를 추가적으로 구비할 수 있다.
도 3은 본 발명의 일 실시예에 따른 반도체 장치를 설명하기 위한 개략도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 반도체 장치(2)는 카메라 장치(10), 디스플레이 장치(20), 디스플레이 드라이버 IC(Display Driver IC)(22), 프로세서(30) 및 메모리(40)를 포함할 수 있다.
카메라 장치(10)는 피사체(5)(또는 장면)로부터 광을 수신하는 렌즈(12), 렌즈(12)를 통과한 광을 픽셀 어레이를 통해 이미지 데이터를 생성하는 이미지 센서(14), 이미지 센서(14)를 통해 획득한 이미지 데이터에 다양한 디지털 처리(예컨대 전처리(preprocessing), 후처리(postprocessing) 등)를 하고 디스플레이 장치(20)에 이미지 데이터를 전달하는 이미지 시그널 프로세서(Image Signal Processor)(14)를 포함한다.
본 발명의 몇몇의 실시예에서, 렌즈(12)는 단일 렌즈일 수도 있고, 이중(dual) 렌즈 또는 그 이상의 복수의 렌즈일 수도 있다. 본 발명의 몇몇의 실시예에서, 렌즈(12)가 이중 렌즈인 경우, 이미지 센서(14)는 각각의 렌즈에 대응되는 복수의 이미지 센서(14)를 구비할 수 있다. 또한, 본 발명의 몇몇의 실시예에서, 복수의 이미지 센서(14)는 동일한 타입의 이미지 센서로 이루어질 수도 있고, 이종(heterogeneous) 타입의 이미지 센서로 이루어질 수도 있다.
본 발명의 몇몇의 실시예에서, 이미지 센서(14)는 CCD(Charge Coupled Device) 이미지 센서, CMOS(Complementary metal-oxide-semiconductor) 이미지 센서 등으로 구현될 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.
디스플레이 드라이버 IC(22)는 디스플레이 장치(20)를 구동한다. 구체적으로 디스플레이 드라이버 IC(22)는 카메라 장치(10)로부터 제공받은 디지털 이미지 데이터, 또는 반도체 장치(10)의 다른 구성 요소나 외부로부터 제공받는 디지털 이미지 데이터를 예컨대 RGB 신호로서 디스플레이 장치(20)에 표시한다. 본 발명의 몇몇의 실시예에서, 디스플레이 드라이버 IC(22)는 패널 DDI로 구현될 수도 있고, 모바일 DDI로 구현될 수도 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.
프로세서(30)는 인터커넥트(50)를 통해 카메라 장치(10) 및 디스플레이 드라이버 IC(22)의 동작을 제어하기 위한 인스트럭션(instruction)을 실행한다. 본 발명의 몇몇의 실시예에서, 프로세서(30)는 CPU(Central Processing Unit)을 포함하지만, 본 발명의 범위는 이에 제한되지 않고, GPU(Graphic Processing Unit), GPGPU(General Purpose GPU), AP(Application Processor), DSP(Digital Signal Processor) 등을 포함할 수 있다.
메모리(40)는 카메라 장치(10) 및 디스플레이 드라이버 IC(22)의 동작을 제어하기 위한 인스트럭션을 저장할 수도 있고, 카메라 장치(10)로 촬영한 디지털 이미지 데이터 또는, 후술할 플래시 광원의 역할을 하는 플래시 데이터 등을 저장할 수 있다. 본 발명의 몇몇의 실시예에서, 메모리(40)는 RAM(Random Access Memory)를 비롯한 휘발성 메모리를 포함할 수도 있고, 플래시 메모리를 비롯한 비휘발성 메모리를 포함할 수도 있다.
카메라 장치(10), 디스플레이 장치(20), 디스플레이 드라이버 IC(Display Driver IC)(22), 프로세서(30) 및 메모리(40)는 인터커넥트(50), 예컨대 버스(bus)를 통해 데이터를 주고 받을 수 있다.
이외에 본 발명의 일 실시예에 따른 반도체 장치(2)는 사용자의 입력 또는 어플리케이션으로부터의 입력을 제공받기 위한 입력 인터페이스를 더 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 반도체 장치의 동작을 설명하기 위한 개략도이고, 도 5는 본 발명의 일 실시예에 따른 반도체 장치의 동작을 설명하기 위한 순서도이다.
도 4 및 도 5를 같이 참조하면, 본 발명의 일 실시예에 따른 반도체 장치(2)는 다음과 같이 동작할 수 있다.
반도체 장치(2)는 먼저 제1 이벤트를 검출(S501)한다. 여기서 제1 이벤트는 카메라 장치(10)를 동작시키기 위한 인스트럭션이 실행되었음을 의미한다. 즉, 반도체 장치(2)는 제1 이벤트를 통해 카메라 장치(10)가 동작을 시작했는지 여부를 판단할 수 있다.
제1 이벤트는 사용자 또는 어플리케이션의 이미지 또는 동영상 촬영 요청이 있을 때 발생할 수 있다. 예를 들어, 사용자가 이미지 촬영을 하기 위해 반도체 장치(2)에서 카메라 어플리케이션을 실행시킨 경우, 제1 이벤트가 발생할 수 있다. 이러한 경우, 반도체 장치(2)는 사용자의 입력 또는 어플리케이션으로부터의 입력에 기인한 제1 이벤트를 입력 인터페이스를 통해 수신할 수 있다.
반도체 장치(2)는 제1 이벤트에 대한 응답으로, 카메라 장치(10)의 이미지 센서(14)에 의해 생성된 장면 데이터를 디스플레이 장치(20)에 표시(S503)한다. 여기서 장면 데이터는 카메라 장치(10)가 동작을 시작하여 실시간으로 출력하는 피사체(5)(또는 장면)에 대한 이미지 데이터를 말한다. 사용자는 디스플레이 장치(20)에 표시되는 장면 데이터를 보며 촬영 구조 또는 촬영 시점을 결정할 수 있다.
다음으로 반도체 장치(2)는 제2 이벤트를 검출(S505)한다. 여기서 제2 이벤트는 카메라 장치(10)가 촬영을 수행하도록 하기 위한 인스트럭션이 실행되었음을 의미한다. 즉, 반도체 장치(2)는 제2 이벤트를 통해 카메라 장치(10)가 촬영을 개시했는지 여부를 판단할 수 있다.
제2 이벤트는 사용자 또는 어플리케이션의 셔터 요청이 있을 때 발생할 수 있다. 예를 들어, 사용자가 디스플레이 장치(20)에 표시된 장면 데이터를 보다가 촬영을 하기 위해 셔터 버튼을 누른 경우, 제2 이벤트가 발생할 수 있다. 이러한 경우, 반도체 장치(2)는 사용자의 입력 또는 어플리케이션으로부터의 입력에 기인한 제2 이벤트를 입력 인터페이스를 통해 수신할 수 있다.
이후 반도체 장치(2)는 제2 이벤트에 대한 응답으로 외부 색온도(color temperature)를 측정한다. 외부 색온도란 피사체(5)(또는 장면)을 조명하고 있는 광원의 색을 절대온도를 이용하여 나타낸 것을 말한다. 붉은색 계통의 광원일수록 색온도가 낮고, 푸른색 계통의 광원일수록 색온도가 높은데, 본 명세서에서는 붉은색 계통의 광원을 웜(warm) 계열의 광원으로, 푸른색 계통의 광원을 쿨(cool) 계열의 광원으로 나타내기로 한다. 즉, 웜(warm) 계열의 광원은 낮은 색온도 값을 가지며, 쿨(cool) 계열의 광원은 높은 색온도 값을 갖는다.
본 발명의 몇몇의 실시예에서, 외부 색온도를 측정하는 것은 카메라 장치(10)의 이미지 센서(14)를 이용하여 생성된 장면 데이터를 분석하여 외부 색온도를 측정하는 것을 포함할 수 있다. 한편, 외부 색온도를 측정하는 것은 카메라 장치(10)와 전기적으로 연결된 센서(60)를 이용하여 외부 색온도를 측정하는 것을 포함할 수도 있는데, 이와 관련해서는 도 10 및 도 11을 참조하여 후술하도록 한다.
다음으로, 반도체 장치(2)는 촬영을 할 피사체(5)(또는 장면)을 조명하고 있는 광원의 외부 색온도를 측정하여, 외부 색온도를 보상하기 위한 색온도를 갖는 플래시 데이터를 생성한다. 여기서 플래시 데이터는 디스플레이 장치(20)를 플래시 광원으로 이용하기 위해 디스플레이 장치(20)에 표시하는 이미지 데이터를 말한다. 본 발명의 몇몇의 실시예에서, 측정된 외부 색온도가 웜(warm) 계열인 경우, 생성된 플래시 데이터의 색온도는 쿨(cool) 계열로 설정될 수 있고, 이와 다르게 측정된 외부 색온도가 쿨(cool) 계열인 경우, 생성된 플래시 데이터의 색온도는 웜(warm) 계열로 설정될 수 있다.
한편, 본 발명의 몇몇의 실시예에서, 플래시 데이터의 색상은 다양하게 설정될 수 있다. 구체적으로, 플래시 데이터의 색상은 제1 이벤트를 검출하기 전에 미리 결정된 프리셋 색상 중 하나로 정해질 수 있다.
이후 반도체 장치(2)는 생성된 플래시 데이터를 디스플레이 장치(20)에 표시(S507)하고, 카메라 장치(10)를 이용하여 피사체(5)(또는 장면)를 촬영(S509)한다. 반도체 장치(2)는 촬영된 피사체(5)(또는 장면)를 디스플레이 장치(20)에 표시(S511)하여, 사용자로 하여금 그 결과물을 확인할 수 있도록 할 수 있다.
본 실시예에서, 특히 도 4에 도시된 바와 같이, 디스플레이 장치(20)를 구동하는 디스플레이 드라이버 IC(22)는 장면 데이터 및 플래시 데이터를 시간 분할 방식(time division manner)으로 디스플레이 장치(20)에 출력할 수 있다. 구체적으로, 디스플레이 드라이버 IC(22)는 제2 이벤트가 검출되기 전의 제1 시점(t0)에 장면 데이터를 디스플레이 장치(20)에 출력하고, 제2 이벤트가 검출된 후의 제2 시점(t1)에 플래시 데이터를 디스플레이 장치(20)에 출력할 수 있다.
도 4에서 "A"로 표시된 영역은 디스플레이 장치(20) 상에서 장면 데이터가 출력되는 영역을 나타내고, "B"로 표시된 영역은 디스플레이 장치(20) 상에서 플래시 데이터가 출력되는 영역을 나타낸다. 이후 촬영이 완료된 후의 제3 시점(t3)에는 촬영된 결과물을 디스플레이 장치(20)에 출력할 수 있다.
즉, 디스플레이 드라이버 IC(22)는 제1 시점(t0)에 장면 데이터를 디스플레이 장치(20)에 출력한 다음 제2 시점(t1)에 플래시 데이터를 디스플레이 장치(20)에 출력함으로써, 별도의 플래시 광원 없이도 디스플레이 장치(20)를 통해 반도체 장치(2)에 플래시 광원을 제공할 수 있다. 또한 간단한 구현 만으로 색온도가 알맞게 조정된 플래시 광원 또는 다양한 색상의 플래시 광원을 생성할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 반도체 장치의 동작을 설명하기 위한 개략도이고, 도 7은 본 발명의 다른 실시예에 따른 반도체 장치의 동작을 설명하기 위한 순서도이다.
도 6 및 도 7을 같이 참조하면, 본 발명의 다른 실시예에 따른 반도체 장치(2)는 다음과 같이 동작할 수 있다.
반도체 장치(2)는 먼저 제1 이벤트를 검출(S701)한다. 여기서 제1 이벤트는 카메라 장치(10)를 동작시키기 위한 인스트럭션이 실행되었음을 의미한다. 즉, 반도체 장치(2)는 제1 이벤트를 통해 카메라 장치(10)가 동작을 시작했는지 여부를 판단할 수 있다.
반도체 장치(2)는 제1 이벤트에 대한 응답으로, 카메라 장치(10)의 이미지 센서(14)에 의해 생성된 장면 데이터를 실시간으로 디스플레이 장치(20)에 표시(S703)한다. 여기서 장면 데이터는 카메라 장치(10)가 동작을 시작하여 실시간으로 출력하는 피사체(5)(또는 장면)에 대한 이미지 데이터를 말한다. 사용자는 디스플레이 장치(20)에 표시되는 장면 데이터를 보며 촬영 구조 또는 촬영 시점을 결정할 수 있다.
다음으로 반도체 장치(2)는 제2 이벤트를 검출(S505)한다. 여기서 제2 이벤트는 카메라 장치(10)가 촬영을 수행하도록 하기 위한 인스트럭션이 실행되었음을 의미한다. 즉, 반도체 장치(2)는 제2 이벤트를 통해 카메라 장치(10)가 촬영을 개시했는지 여부를 판단할 수 있다.
이후 반도체 장치(2)는 제2 이벤트에 대한 응답으로 색온도를 갖는 플래시 데이터를 생성한다. 여기서 플래시 데이터는 디스플레이 장치(20)를 플래시 광원으로 이용하기 위해 디스플레이 장치(20)에 표시하는 이미지 데이터를 말한다. 본 발명의 몇몇의 실시예에서, 도 4 및 도 5와 관련하여 앞서 설명한 바와 같이, 반도체 장치(2)는 촬영을 할 피사체(5)(또는 장면)을 조명하고 있는 광원의 외부 색온도를 측정하여, 외부 색온도를 보상하기 위한 색온도를 갖는 플래시 데이터를 생성할 수 있고, 플래시 데이터의 색상은 다양하게 설정될 수 있다.
이후 반도체 장치(2)는 장면 데이터와 생성된 플래시 데이터를 디스플레이 장치(20)에 동시에 표시(S707)한다. 다음으로 반도체 장치(2)는 카메라 장치(10)를 이용하여 피사체(5)(또는 장면)를 촬영(S709)한다. 반도체 장치(2)는 촬영된 피사체(5)(또는 장면)를 디스플레이 장치(20)에 표시(S711)하여, 사용자로 하여금 그 결과물을 확인할 수 있도록 할 수 있다.
본 실시예에서, 특히 도 6에 도시된 바와 같이, 디스플레이 장치(20)를 구동하는 디스플레이 드라이버 IC(22)는 장면 데이터 및 플래시 데이터를 공간 분할 방식(spatial division manner)으로 디스플레이 장치(20)에 출력할 수 있다. 구체적으로, 디스플레이 드라이버 IC(22)는 디스플레이 장치(20)의 제1 영역(A)에 장면 데이터를 표시하고, 디스플레이 장치의 제2 영역(B)에 플래시 데이터를 표시할 수 있다. 다시 말해, 디스플레이 드라이버 IC(22)는 제2 이벤트가 검출되기 전의 제1 시점(t0)에는 장면 데이터를 제1 영역(A)과 제2 영역(B) 모두에 표시하고, 제2 이벤트가 검출된 후의 제2 시점(t1)에 장면 데이터 및 플래시 데이터를 동시에 디스플레이 장치(20)에 출력할 수 있다.
도 6에서 "A"로 표시된 영역은 디스플레이 장치(20) 상에서 장면 데이터가 출력되는 영역을 나타내고, "B"로 표시된 영역은 디스플레이 장치(20) 상에서 플래시 데이터가 출력되는 영역을 나타낸다. 이후 촬영이 완료된 후의 제3 시점(t3)에는 촬영된 결과물을 디스플레이 장치(20)에 출력할 수 있다. 이 때 디스플레이 드라이버 IC(22)는 촬영된 결과물을 제1 영역(A)과 제2 영역(B) 모두에 표시할 수 있다.
즉, 디스플레이 드라이버 IC(22)는 제1 시점(t0)에 장면 데이터를 디스플레이 장치(20)에 출력한 다음 제2 시점(t1)에 장면 데이터와 플래시 데이터를 동시에 디스플레이 장치(20)에 출력함으로써, 별도의 플래시 광원 없이도 디스플레이 장치(20)를 통해 반도체 장치(2)에 플래시 광원을 제공할 수 있다. 또한 간단한 구현 만으로 색온도가 알맞게 조정된 플래시 광원 또는 다양한 색상의 플래시 광원을 생성할 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 반도체 장치의 동작을 설명하기 위한 개략도이고, 도 9는 본 발명의 또 다른 실시예에 따른 반도체 장치의 동작을 설명하기 위한 순서도이다.
도 8 및 도 9를 같이 참조하면, 본 발명의 또 다른 실시예에 따른 반도체 장치(2)는 다음과 같이 동작할 수 있다.
반도체 장치(2)는 먼저 제1 이벤트를 검출(S901)한다. 여기서 제1 이벤트는 카메라 장치(10)를 동작시키기 위한 인스트럭션이 실행되었음을 의미한다. 즉, 반도체 장치(2)는 제1 이벤트를 통해 카메라 장치(10)가 동작을 시작했는지 여부를 판단할 수 있다.
반도체 장치(2)는 제1 이벤트에 대한 응답으로, 카메라 장치(10)의 이미지 센서(14)에 의해 생성된 장면 데이터를 디스플레이 장치(20)의 제1 영역(A)에 실시간으로 표시(S903)한다. 여기서 장면 데이터는 카메라 장치(10)가 동작을 시작하여 실시간으로 출력하는 피사체(5)(또는 장면)에 대한 이미지 데이터를 말한다. 사용자는 디스플레이 장치(20)에 표시되는 장면 데이터를 보며 촬영 구조 또는 촬영 시점을 결정할 수 있다.
이후 반도체 장치(2)는 장면 데이터와 생성된 플래시 데이터를 디스플레이 장치(20)의 제1 영역(B)에 표시(S905)한다.
다음으로 반도체 장치(2)는 제2 이벤트를 검출(S907)한다. 여기서 제2 이벤트는 카메라 장치(10)가 촬영을 수행하도록 하기 위한 인스트럭션이 실행되었음을 의미한다. 즉, 반도체 장치(2)는 제2 이벤트를 통해 카메라 장치(10)가 촬영을 개시했는지 여부를 판단할 수 있다.
이후 반도체 장치(2)는 제2 이벤트에 대한 응답으로 카메라 장치(10)를 이용하여 피사체(5)(또는 장면)를 촬영(S909)한다. 반도체 장치(2)는 촬영된 피사체(5)(또는 장면)를 디스플레이 장치(20)에 표시(S911)하여, 사용자로 하여금 그 결과물을 확인할 수 있도록 할 수 있다.
본 실시예에서, 특히 도 8에 도시된 바와 같이, 디스플레이 장치(20)를 구동하는 디스플레이 드라이버 IC(22)는 장면 데이터 및 플래시 데이터를 공간 분할 방식(spatial division manner)으로 디스플레이 장치(20)에 출력할 수 있다. 구체적으로, 디스플레이 드라이버 IC(22)는 제1 시점(t0) 및 제2 시점(t1)에 디스플레이 장치(20)의 제1 영역(A)에 장면 데이터를 표시하고, 디스플레이 장치의 제2 영역(B)에 플래시 데이터를 표시할 수 있다.
이후 촬영이 완료된 후의 제3 시점(t3)에는 촬영된 결과물을 디스플레이 장치(20)에 출력할 수 있다. 이 때 디스플레이 드라이버 IC(22)는 촬영된 결과물을 제1 영역(A)에만 표시하고 제2 영역(B)에는 여전히 플래시 데이터를 표시할 수 있다. 이와 같은 동작이 유용한 경우는 특히 카메라 장치(10)를 이용하여 동영상을 촬영하거나, 카메라 장치(10)를 이용하여 화상 통화를 수행하는 경우이다.
디스플레이 드라이버 IC(22)는 제1 영역(A)에 장면 데이터를 표시하고, 디스플레이 장치의 제2 영역(B)에 플래시 데이터를 표시함으로써, 별도의 플래시 광원 없이도 디스플레이 장치(20)를 통해 반도체 장치(2)에 플래시 광원을 제공할 수 있다. 또한 간단한 구현 만으로 색온도가 알맞게 조정된 플래시 광원 또는 다양한 색상의 플래시 광원을 생성할 수 있다.
도 10은 본 발명의 다른 실시예에 따른 반도체 장치를 설명하기 위한 개략도이고, 도 11은 본 발명의 또 다른 실시예에 따른 반도체 장치의 동작을 설명하기 위한 개략도이다.
도 10을 참조하면, 본 발명의 다른 실시예에 따른 반도체 장치(3)가 도 3의 반도체 장치(2)와 다른 점은 센서(60)를 더 포함한다는 점이다.
외부 색온도를 측정하는 것은 카메라 장치(10)의 이미지 센서(14)를 이용하여 생성된 장면 데이터를 분석하여 외부 색온도를 측정하는 것을 포함할 수 있지만, 카메라 장치(10)와 전기적으로 연결된 센서(60)를 이용하여 외부 색온도를 측정하는 것을 포함할 수도 있다. 여기서 센서(60)는 광 센서일 수 있다.
센서(60)는 인터커넥트(50)를 통해 카메라 장치(10), 디스플레이 장치(20), 디스플레이 드라이버 IC(Display Driver IC)(22), 프로세서(30) 및 메모리(40)와 데이터를 주고 받을 수 있다.
도 11을 참조하면, 본 발명의 다른 실시예에 따른 반도체 장치(3)는 다음과 같이 동작할 수 있다.
반도체 장치(3)는 먼저 제1 이벤트를 검출(S1101)한다. 여기서 제1 이벤트는 카메라 장치(10)를 동작시키기 위한 인스트럭션이 실행되었음을 의미한다. 즉, 반도체 장치(3)는 제1 이벤트를 통해 카메라 장치(10)가 동작을 시작했는지 여부를 판단할 수 있다.
이후 반도체 장치(3)는 센서(60)와의 인터페이스를 통해 센서(60)에 의해 측정된 색온도 정보를 수신(S1103)하고, 수신한 색온도 정보에 기초하여 외부 색온도를 보상하기 위한 색온도를 갖는 플래시 데이터를 생성(S1105)한다.
다음으로 반도체 장치(3)는 앞서 도 4 내지 도 9와 관련하여 설명된 다양한 실시예에서와 같이, 장면 데이터를 디스플레이 장치(20)에 표시(S1107)하고, 플래시 데이터를 디스플레이 장치(20)에 표시(S1109)하고, 카메라 장치(10)를 이용하여 피사체(5)(또는 장면)를 촬영(S1111)한다.
도 12는 본 발명의 일 실시예에 따른 반도체 시스템을 설명하기 위한 개략도이다.
도 12를 참조하면, 본 발명의 일 실시예에 따른 반도체 시스템(100)은 프로세서(102), 메모리(104), 디스플레이 장치(106), 카메라 장치(108), 네트워크 인터페이스(110) 및 입력/출력 인터페이스(112)를 포함할 수 있다.
특히, 본 발명의 일 실시예에 따른 반도체 시스템(100)은 반도체 시스템(100)을 구동하기 위해 프로세서(102)에 의해 실행되는 운영 체제(114), 디스플레이 장치(106)를 제어하는 디스플레이 제어 어플리케이션(116), 카메라 장치(108)를 제어하는 카메라 제어 어플리케이션(118), 장면 데이터 및 플래시 데이터가 디스플레이 장치(106)에 표시되기 전에 저장되는 프레임 버퍼(120), 촬영된 장면을 저장하기 위한 이미지 파일/동영상 파일(122), 디스플레이 드라이버 IC가 장면 데이터 및 플래시 데이터를 제어하기 위한 타이머(124) 및 기타 어플리케이션(126)을 포함한다.
또한, 프로세서(102)로 하여금 지금까지 설명한 반도체 장치의 동작을 수행하도록 하는 인스트럭션들은 컴퓨터로 판독 가능한 기록 매체에 저장되고, 프로세서(102)에 의해 실행될 수 있다.
도 13 및 도 14는 본 발명의 몇몇의 실시예에 따른 반도체 장치의 동작 방법 또는 반도체 시스템을 적용할 수 있는 예시적인 반도체 시스템들이다.
도 13은 태블릿 PC(1200)을 도시한 도면이고, 도 14는 노트북(1300)을 도시한 도면이다. 본 발명의 몇몇 실시예에 따른 반도체 장치의 동작 방법 또는 반도체 시스템은는 이러한 태블릿 PC(1200), 노트북(1300) 등에 사용될 수 있다.
또한, 본 발명의 몇몇 실시예에 따른 반도체 장치의 동작 방법 또는 반도체 시스템은 예시하지 않는 다른 집적 회로 장치에도 적용될 수 있음은 해당 기술 분야의 통상의 기술자에게 자명하다. 즉, 이상에서는 본 실시예에 따른 반도체 시스템의 예로, 태블릿 PC(1200) 및 노트북(1300)만을 들었으나, 본 실시예에 따른 반도체 시스템의 예가 이에 제한되는 것은 아니다. 본 발명의 몇몇 실시예에서, 반도체 시스템은, 컴퓨터, UMPC (Ultra Mobile PC), 워크스테이션, 넷북(net-book), PDA (Personal Digital Assistants), 포터블(portable) 컴퓨터, 무선 전화기(wireless phone), 모바일 폰(mobile phone), e-북(e-book), PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 블랙박스(black box), 디지털 카메라(digital camera), 3차원 수상기(3-dimensional television), 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 영상 녹화기(digital picture recorder), 디지털 영상 재생기(digital picture player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player) 등으로 구현될 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1, 2: 반도체 장치 5: 피사체
10: 카메라 장치 12: 렌즈
14: 이미지 센서 16: 이미지 시그널 프로세서
20: 디스플레이 장치 22: 디스플레이 드라이버 IC
30: 프로세서 40: 메모리
50: 인터커넥트 60: 센서
100: 반도체 시스템 102: 프로세서
104: 메모리 106: 디스플레이 장치
108: 카메라 장치 110: 네트워크 인터페이스
112: 입력/출력 인터페에스 114: 운영 체제
116: 디스플레이 장치의 제어 어플리케이션
118: 카메라 장치의 제어 어플리케이션
120: 프레임 버퍼 122: 이미지/동영상 파일
124: 타이머 126: 기타 어플리케이션

Claims (20)

  1. 입력 인터페이스를 통해 수신되는 제1 이벤트를 검출하고,
    상기 제1 이벤트에 대한 응답으로 카메라 장치의 이미지 센서에 의해 생성된 장면 데이터를 디스플레이 장치에 표시하고,
    상기 입력 인터페이스를 통해 수신되는 제2 이벤트를 검출하고,
    상기 제2 이벤트에 대한 응답으로 외부 색온도(color temperature)를 측정하고,
    상기 외부 색온도를 보상하기 위한 색온도를 갖는 플래시 데이터를 생성하고,
    상기 플래시 데이터를 상기 디스플레이 장치에 표시하고,
    상기 카메라 장치를 이용하여 장면을 촬영하는 것을 포함하는 반도체 장치의 동작 방법.
  2. 제1항에 있어서,
    상기 디스플레이 장치를 구동하는 디스플레이 드라이버 IC(Display Driver IC)는 상기 장면 데이터 및 상기 플래시 데이터를 시간 분할 방식(time division manner)으로 상기 디스플레이 장치에 출력하는 반도체 장치의 동작 방법.
  3. 제2항에 있어서,
    상기 디스플레이 드라이버 IC는 상기 제2 이벤트가 검출되기 전의 제1 시점에 상기 장면 데이터를 상기 디스플레이 장치에 출력하고, 상기 제2 이벤트가 검출된 후의 제2 시점에 상기 플래시 데이터를 상기 디스플레이 장치에 출력하는 반도체 장치의 동작 방법.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 플래시 데이터의 색상은 상기 제1 이벤트를 검출하기 전에 미리 결정된 프리셋 색상 중 하나인 반도체 장치의 동작 방법.
  7. 삭제
  8. 삭제
  9. 입력 인터페이스를 통해 수신되는 제1 이벤트를 검출하고,
    상기 제1 이벤트에 대한 응답으로 카메라 장치의 이미지 센서에 의해 생성된 장면 데이터를 실시간으로 디스플레이 장치에 표시하고,
    상기 입력 인터페이스를 통해 수신되는 제2 이벤트를 검출하고,
    상기 제2 이벤트에 대한 응답으로 플래시 데이터를 생성하고,
    상기 장면 데이터 및 상기 플래시 데이터를 상기 디스플레이 장치에 동시에 표시하고,
    상기 카메라 장치를 이용하여 장면을 촬영하는 것을 포함하는 반도체 장치의 동작 방법.
  10. 제9항에 있어서,
    상기 디스플레이 장치를 구동하는 디스플레이 드라이버 IC(Display Driver IC)는 상기 장면 데이터 및 상기 플래시 데이터를 공간 분할 방식(spatial division manner)으로 상기 디스플레이 장치에 출력하는 반도체 장치의 동작 방법.
  11. 제10항에 있어서,
    상기 디스플레이 드라이버 IC는 상기 디스플레이 장치의 제1 영역에 상기 장면 데이터를 표시하고, 상기 디스플레이 장치의 상기 제1 영역과 다른 제2 영역에 상기 플래시 데이터를 표시하는 반도체 장치의 동작 방법.
  12. 제11항에 있어서,
    상기 디스플레이 드라이버 IC는 상기 제2 이벤트가 검출되기 전에는 상기 디스플레이 장치의 상기 제1 영역과 상기 제2 영역 모두에 상기 장면 데이터를 표시하는 반도체 장치의 동작 방법.
  13. 제11항에 있어서,
    상기 카메라 장치를 이용하여 장면을 촬영하는 것은 촬영된 장면을 상기 디스플레이 장치의 상기 제1 영역 및 상기 제2 영역 모두에 표시하는 것을 더 포함하는 반도체 장치의 동작 방법.
  14. 입력 인터페이스를 통해 수신되는 제1 이벤트를 검출하고,
    상기 제1 이벤트에 대한 응답으로 디스플레이 장치의 제1 영역에 카메라 장치의 이미지 센서에 의해 생성된 장면 데이터를 실시간으로 표시하고,
    상기 디스플레이 장치의 상기 제1 영역과 다른 제2 영역에 플래시 데이터를 표시하고,
    상기 입력 인터페이스를 통해 수신되는 제2 이벤트를 검출하고,
    상기 제2 이벤트에 대한 응답으로 상기 카메라 장치를 이용하여 장면을 촬영하는 것을 포함하는 반도체 장치의 동작 방법.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020150126342A 2015-09-07 2015-09-07 반도체 장치의 동작 방법 및 반도체 시스템 Active KR102381617B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150126342A KR102381617B1 (ko) 2015-09-07 2015-09-07 반도체 장치의 동작 방법 및 반도체 시스템
US15/162,970 US10063825B2 (en) 2015-09-07 2016-05-24 Method of operating mobile device and mobile system
DE102016109998.8A DE102016109998A1 (de) 2015-09-07 2016-05-31 Verfahren zum Betreiben einer mobilen Vorrichtung und eines mobilen Systems
CN201610675158.8A CN106506976A (zh) 2015-09-07 2016-08-16 操作移动装置和移动系统的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150126342A KR102381617B1 (ko) 2015-09-07 2015-09-07 반도체 장치의 동작 방법 및 반도체 시스템

Publications (2)

Publication Number Publication Date
KR20170029251A KR20170029251A (ko) 2017-03-15
KR102381617B1 true KR102381617B1 (ko) 2022-03-31

Family

ID=58055360

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150126342A Active KR102381617B1 (ko) 2015-09-07 2015-09-07 반도체 장치의 동작 방법 및 반도체 시스템

Country Status (4)

Country Link
US (1) US10063825B2 (ko)
KR (1) KR102381617B1 (ko)
CN (1) CN106506976A (ko)
DE (1) DE102016109998A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017330211B2 (en) 2016-09-23 2020-05-21 Apple Inc. Watch theater mode
DK179555B1 (en) 2017-05-16 2019-02-13 Apple Inc. USER INTERFACE FOR A FLASHLIGHT MODE ON AN ELECTRONIC DEVICE
JP6541908B1 (ja) * 2019-01-28 2019-07-10 株式会社ＭｅＤｅＲｕ 色感出力装置
DK180684B1 (en) 2019-09-09 2021-11-25 Apple Inc Techniques for managing display usage
US12182373B2 (en) 2021-04-27 2024-12-31 Apple Inc. Techniques for managing display usage

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581099A (zh) * 2014-12-04 2015-04-29 广东欧珀移动通信有限公司 一种拍摄方法及终端

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3855466T2 (de) 1987-02-25 1997-01-23 Konishiroku Photo Ind Stehbildvideokamera
US5262815A (en) 1992-05-27 1993-11-16 Consumer Programs Incorporated Modular photobooth photography system
US5786803A (en) 1994-05-09 1998-07-28 Apple Computer, Inc. System and method for adjusting the illumination characteristics of an output device
US6507286B2 (en) 2000-12-29 2003-01-14 Visteon Global Technologies, Inc. Luminance control of automotive displays using an ambient light sensor
US20040032497A1 (en) 2002-08-13 2004-02-19 Action Star Enterprise Co., Ltd. Connecting device of PC camera and illuminating lamp
KR20050075625A (ko) 2004-01-17 2005-07-21 엘지전자 주식회사 카메라가 구비된 이동통신 단말기의 인디케이터를 이용한플래쉬 장치 및 방법
JP2006033749A (ja) 2004-07-21 2006-02-02 Konica Minolta Photo Imaging Inc 撮像装置
US20060284895A1 (en) 2005-06-15 2006-12-21 Marcu Gabriel G Dynamic gamma correction
US7663691B2 (en) 2005-10-11 2010-02-16 Apple Inc. Image capture using display device as light source
US8085318B2 (en) 2005-10-11 2011-12-27 Apple Inc. Real-time image capture and manipulation based on streaming data
CN101399032B (zh) * 2007-09-25 2011-09-14 中强光电股份有限公司 有亮度及色温控制系统的显示装置与亮度及色温控制方法
JP2009210874A (ja) * 2008-03-05 2009-09-17 Canon Inc 撮像装置
US8446450B2 (en) * 2008-04-30 2013-05-21 Cisco Technology, Inc. Method of lighting
US20090322889A1 (en) * 2008-06-27 2009-12-31 Motorola, Inc. Method and apparatus for illuminating users of video communication devices
US8797441B2 (en) * 2009-01-30 2014-08-05 Apple Inc. Continuous illumination of backlit display and of subject for image capture
CN101996583B (zh) 2010-12-02 2013-04-17 惠州Tcl移动通信有限公司 一种手机、oled显示屏模块及oled显示屏驱动电路
CN102346644A (zh) 2011-09-16 2012-02-08 百度在线网络技术（北京）有限公司 一种在移动终端中用于激活部分屏幕的方法和装置
SG11201504722UA (en) 2012-12-18 2015-07-30 Lanxess Butyl Pte Ltd Electronic devices comprising butyl rubber
CN104181752A (zh) * 2013-05-24 2014-12-03 新世纪光电股份有限公司 闪光灯模组及配置该闪光灯模组的摄像装置
US9635255B1 (en) * 2013-05-30 2017-04-25 Amazon Technologies, Inc. Display as adjustable light source
CN104301598A (zh) * 2013-07-18 2015-01-21 国龙信息技术(上海)有限公司 一种移动终端设置前置摄像头灯光效果的方法
US9462169B2 (en) * 2013-12-31 2016-10-04 Huawei Technologies Co., Ltd. Shooting method, apparatus, and terminal
CN104506772A (zh) * 2014-12-22 2015-04-08 小米科技有限责任公司 拍摄参数调节方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581099A (zh) * 2014-12-04 2015-04-29 广东欧珀移动通信有限公司 一种拍摄方法及终端

Also Published As

Publication number Publication date
DE102016109998A1 (de) 2017-03-09
US20170070716A1 (en) 2017-03-09
KR20170029251A (ko) 2017-03-15
CN106506976A (zh) 2017-03-15
US10063825B2 (en) 2018-08-28

Similar Documents

Publication Publication Date Title
US10324534B2 (en) Information processing apparatus, information processing system, and information processing method for haptic output based on distance-related delay
KR102381617B1 (ko) 반도체 장치의 동작 방법 및 반도체 시스템
US12206986B2 (en) Automated camera mode selection
JP6219017B2 (ja) 光検出機能を備えるｏｌｅｄディスプレイ装置
CN105611275B (zh) 执行电子装置的多照相机捕捉控制的方法及其设备
CN111052727A (zh) 用于根据使用图像获得的深度信息的属性结合图像存储深度信息的电子装置及其控制方法
JP2021060590A (ja) 取込まれた像のパススルー表示
US20170084231A1 (en) Imaging system management for camera mounted behind transparent display
US9535250B2 (en) Head mounted display device and method for controlling the same
US20160037067A1 (en) Method for generating image and electronic device thereof
US10605597B1 (en) Electronic device and method for measuring distance using image thereof
CN102263926A (zh) 电子设备及其图像处理方法
JP2013055424A (ja) 撮影装置、パターン検出装置、および電子機器
US20160088228A1 (en) Photograph method and photograph device
US20210084205A1 (en) Auto exposure for spherical images
TW201915940A (zh) 雙鏡頭影像處理裝置及方法
US10750080B2 (en) Information processing device, information processing method, and program
US20150172550A1 (en) Display tiling for enhanced view modes
KR20120052649A (ko) 투명 표시 장치 및 그 제어 방법
US20220078312A1 (en) Method and apparatus for partial correction of images
US12198466B2 (en) Face detection in spherical images using overcapture
US11636708B2 (en) Face detection in spherical images
CN113965688A (zh) 图像传感器、摄像模组、摄像装置及控制方法
JPWO2020170945A1 (ja) 表示制御装置、撮像装置、表示制御方法、及び表示制御プログラム
US11460904B2 (en) Image displaying apparatus and method of operating the same

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150907

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200904

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20150907

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210923

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220328

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220329

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220329

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20250225

Start annual number: 4

End annual number: 4