[go: up one dir, main page]

KR102459917B1 - 이미지 신호 프로세서와 이를 포함하는 장치들 - Google Patents

이미지 신호 프로세서와 이를 포함하는 장치들 Download PDF

Info

Publication number
KR102459917B1
KR102459917B1 KR1020150025390A KR20150025390A KR102459917B1 KR 102459917 B1 KR102459917 B1 KR 102459917B1 KR 1020150025390 A KR1020150025390 A KR 1020150025390A KR 20150025390 A KR20150025390 A KR 20150025390A KR 102459917 B1 KR102459917 B1 KR 102459917B1
Authority
KR
South Korea
Prior art keywords
line data
data
synchronization signal
image
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150025390A
Other languages
English (en)
Other versions
KR20160102823A (ko
Inventor
백병준
임경종
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150025390A priority Critical patent/KR102459917B1/ko
Priority to US14/991,103 priority patent/US10282805B2/en
Priority to TW105101248A priority patent/TWI700633B/zh
Priority to DE102016201686.5A priority patent/DE102016201686A1/de
Priority to CN201610098417.5A priority patent/CN105915780B/zh
Publication of KR20160102823A publication Critical patent/KR20160102823A/ko
Application granted granted Critical
Publication of KR102459917B1 publication Critical patent/KR102459917B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4265—Bus transfer protocol, e.g. handshake; Synchronisation on a point to point bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

이미지 신호 프로세서는 제1데이터 처리 회로와, 제2데이터 처리 회로와, 제1프레임 데이터에 포함된 제1라인 데이터와 제2프레임 데이터에 포함된 제2라인 데이터를 시간-분할 멀티플렉싱 방식으로 상기 제1데이터 처리 회로로 전송하는 멀티플렉싱 제어 회로를 포함하고, 상기 멀티플렉싱 제어 회로는 상기 제1데이터 처리 회로로 전송될 현재 라인 데이터가 상기 제1라인 데이터인지 상기 제2라인 데이터인지를 나타내는 스위칭 제어 신호를 상기 제1데이터 처리 회로로 전송한다.

Description

이미지 신호 프로세서와 이를 포함하는 장치들{IMAGE SIGNAL PROCESSOR AND DEVICES HAVING THE SAME}
본 발명의 개념에 따른 실시 예는 이미지 신호 프로세서에 관한 것으로, 특히 라인 데이터 단위로 이미지를 시간-분할 멀티플렉싱할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치들에 관한 것이다.
하나의 이미지 신호 프로세서를 이용하여 여러 개의 입력 이미지들을 처리하기 위해, 상기 이미지 신호 프로세서는 외부 프레임 메모리를 이용하여 시간-분할 멀티플렉싱 방식으로 상기 여러 개의 입력 이미지들을 처리했다.
이미지 신호 프로세서가 외부 프레임 메모리를 이용하여 입력 이미지들에 대한 이미지 신호 처리를 시간-분할 멀티플렉싱 방식으로 수행하는 경우, 상기 이미지 신호 프로세서는 프레임 데이터 단위로 멀티플렉싱을 수행해야 하므로, 상기 이미지 신호 프로세서는 프레임 데이터 단위로 입력 이미지들을 상기 외부 프레임 메모리에 저장해야 한다.
이때, 버스를 통해 프레임 데이터 단위로 입력 이미지들이 외부 프레임 메모리에 저장되고 리드(read)되어야 하므로, 버스 트랜잭션(bus transaction)에 의해 이미지 신호 프로세서를 포함하는 시스템의 전력 소모가 증가할 수 있다.
본 발명이 이루고자 하는 기술적인 과제는 전력 소모를 줄이기 위해 라인 데이터 단위로 이미지를 시간-분할 멀티플렉싱할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치들을 제공하는 것이다.
본 발명의 실시 예에 따른 이미지 신호 프로세서는 제1데이터 처리 회로와, 제2데이터 처리 회로와, 제1프레임 데이터에 포함된 제1라인 데이터와 제2프레임 데이터에 포함된 제2라인 데이터를 시간-분할 멀티플렉싱 방식으로 상기 제1데이터 처리 회로로 전송하는 멀티플렉싱 제어 회로를 포함하고, 상기 멀티플렉싱 제어 회로는 상기 제1데이터 처리 회로로 전송될 현재 라인 데이터가 상기 제1라인 데이터인지 상기 제2라인 데이터인지를 나타내는 스위칭 제어 신호를 상기 제1데이터 처리 회로로 전송한다.
상기 제1프레임 데이터는 제1해상도를 갖는 제1이미징 장치에 의해 캡처된 프레임 데이터이고, 상기 제2프레임 데이터는 제2해상도를 갖는 제2이미징 장치에 의해 캡처된 프레임 데이터이다.
상기 이미지 신호 프로세서는 제1버퍼와 제2버퍼를 더 포함하고, 상기 제1데이터 처리 회로는 상기 제1라인 데이터를 상기 제1버퍼에 저장하고 상기 제2라인 데이터를 상기 제2버퍼에 저장하는 메모리 컨트롤러를 포함한다.
상기 제1데이터 처리 회로는 상기 현재 라인 데이터가 상기 제1라인 데이터임을 지시하는 상기 스위칭 제어 신호에 응답하여, 상기 제1라인 데이터를 처리하는 구성 요소들을 제1구성으로 설정하고, 상기 현재 라인 데이터가 상기 제2라인 데이터임을 지시하는 상기 스위칭 제어 신호에 응답하여, 상기 제2라인 데이터를 처리하는 상기 구성 요소들을 제2구성으로 설정한다.
상기 제1데이터 처리 회로는 제1이미지 신호 프로세서 코어이고, 상기 제2데이터 처리 회로는 제2이미지 신호 프로세서 코어이다. 상기 제1데이터 처리 회로는 제1스케일러이고, 상기 제2데이터 처리 회로는 제2스케일러이다.
상기 멀티플렉싱 제어 회로는 상기 제1프레임 데이터와 관련된 제1동기 신호의 위상과 상기 제2프레임 데이터와 관련된 제2동기 신호의 위상에 기초하여, 상기 제1라인 데이터와 상기 제2라인 데이터 중에서 어느 하나를 먼저 상기 제1데이터 처리 회로로 전송한다. 상기 멀티플렉싱 제어 회로는 상기 제1라인 데이터와 상기 제2라인 데이터 중에서 다른 하나를 저장하는 라인 메모리를 포함한다.
상기 멀티플렉싱 제어 회로는 상기 제1라인 데이터와 상기 제2라인 데이터를 하나의 스트림으로서 상기 제1데이터 처리 회로로 전송할 수 있다.
본 발명의 실시 예에 따른 애플리케이션 프로세서는 버스와, 상기 버스에 접속된 이미지 신호 프로세서와, 상기 버스에 접속되고 상기 이미지 신호 프로세서를 제어하는 CPU를 포함한다. 상기 이미지 신호 프로세서는 제1데이터 처리 회로와, 제2데이터 처리 회로와, 제1해상도를 갖는 제1프레임 데이터에 포함된 제1라인 데이터와 제2해상도를 갖는 제2프레임 데이터에 포함된 제2라인 데이터를 시간-분할 멀티플렉싱 방식으로 상기 제1데이터 처리 회로로 전송하는 멀티플렉싱 제어 회로를 포함하고, 상기 멀티플렉싱 제어 회로는 상기 제1데이터 처리 회로로 전송될 현재 라인 데이터가 상기 제1라인 데이터인지 상기 제2라인 데이터인지를 나타내는 스위칭 제어 신호를 상기 제1데이터 처리 회로로 전송한다.
본 발명의 실시 예에 따른 모바일 컴퓨팅 장치는 제1해상도를 갖는 제1이미징 장치와, 제2해상도를 갖는 제2이미징 장치와, 상기 제1이미징 장치와 상기 제2이미징 장치에 접속된 애플리케이션 프로세서를 포함한다. 상기 애플리케이션 프로세서는 버스와, 상기 버스에 접속된 이미지 신호 프로세서와, 상기 버스에 접속되고 상기 이미지 신호 프로세서를 제어하는 CPU를 포함한다. 상기 이미지 신호 프로세서는 제1데이터 처리 회로와, 제2데이터 처리 회로와, 상기 제1이미징 장치로부터 출력된 제1프레임 데이터에 포함된 제1라인 데이터와 상기 제2이미징 장치로부터 출력된 제2프레임 데이터에 포함된 제2라인 데이터를 시간-분할 멀티플렉싱 방식으로 상기 제1데이터 처리 회로로 전송하는 멀티플렉싱 제어 회로를 포함한다.
상기 멀티플렉싱 제어 회로는 상기 제1데이터 처리 회로로 전송될 현재 라인 데이터가 상기 제1라인 데이터인지 상기 제2라인 데이터인지를 나타내는 스위칭 제어 신호를 상기 제1데이터 처리 회로로 전송한다. 상기 제1데이터 처리 회로는 상기 현재 라인 데이터가 상기 제1라인 데이터임을 지시하는 상기 스위칭 제어 신호에 응답하여, 상기 제1라인 데이터를 처리하는 구성 요소들을 제1구성으로 설정하고, 상기 현재 라인 데이터가 상기 제2라인 데이터임을 지시하는 상기 스위칭 제어 신호에 응답하여, 상기 제2라인 데이터를 처리하는 상기 구성 요소들을 제2구성으로 설정한다.
상기 멀티플렉싱 제어 회로는, 상기 제1프레임 데이터와 관련된 제1동기 신호의 위상과 상기 제2프레임 데이터와 관련된 제2동기 신호의 위상에 기초하여, 상기 제1라인 데이터와 상기 제2라인 데이터 중에서 어느 하나를 먼저 상기 제1데이터 처리 회로로 전송하고, 상기 멀티플렉싱 제어 회로는 상기 제1라인 데이터와 상기 제2라인 데이터 중에서 다른 하나를 저장하는 라인 메모리를 포함한다.
본 발명의 실시 예에 따른 라인 메모리를 포함하는 이미지 신호 프로세서는 상기 이미지 신호 프로세서에 의해 액세스될 수 있는 메모리 리소스(예컨대, 외부 프레임 메모리, 또는 DRAM과 같은 시스템 메모리)의 사용을 최소화할 수 있는 효과가 있다.
본 발명의 실시 예에 따른 라인 메모리를 포함하는 이미지 신호 프로세서는 외부 프레임 메모리 또는 시스템 메모리를 사용하지 않고도 데이터 처리 회로들 각각으로부터 출력된 프레임 데이터를 상기 라인 메모리를 이용하여 라인 단위로 시분할로 처리할 수 있는 효과가 있다.
본 발명의 실시 예에 따른 이미지 신호 프로세서는 외부 프레임 메모리 대신에 내부 라인 메모리를 사용할 수 있으므로, 상기 외부 프레임 메모리의 사용 및/또는 메모리 풋프린트(footprint)에 의한 과도한 시스템 메모리의 사용을 줄일 수 있는 효과가 있다.
본 발명의 실시 예에 따른 라인 메모리를 포함하는 이미지 신호 프로세서는 외부 프레임 메모리 및/또는 시스템 메모리를 액세스하기 위한 버스 트랜잭션(bus transaction)에 의해 유발되는 시스템 리소스(예컨대, 버스, 외부 프레임 메모리 및/또는 시스템 메모리)의 사용 과점을 해결할 수 있는 효과가 있다.
본 발명의 실시 예에 따른 라인 메모리를 포함하는 이미지 신호 프로세서는 많은 버스 트랜잭션에 의해 유발되는 전력 소모를 줄일 수 있는 효과가 있다.
본 발명의 실시 예에 따른 라인 메모리를 포함하는 이미지 신호 프로세서는 외부 프레임 메모리 및/또는 시스템 메모리의 대역폭에 의해 시분할 처리 성능이 제한되지 않는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 데이터 처리 시스템의 블록도이다.
도 2는 도 1에 도시된 이미지 신호 프로세서의 일 실시 예를 나타내는 블록도이다.
도 3은 도 1에 도시된 이미지 신호 프로세서의 다른 실시 예를 나타내는 블록도이다.
도 4는 이미징 장치들로부터 출력되는 이미지들을 나타낸다.
도 5는 이미징 장치들의 작동 모드들의 실시 예들을 나타낸다.
도 6은 도 2 또는 도 3에 도시된 멀티플렉싱 제어 회로의 일 실시 예를 나타내는 블록도이다.
도 7은 도 6에 도시된 멀티플렉싱 제어 회로에 의해 수행되는 라인 데이터 단위 시간-분할 멀티플렉싱의 일 실시 예를 나타내는 타이밍 도이다.
도 8은 도 6에 도시된 멀티플렉싱 제어 회로에 의해 수행되는 라인 데이터 단위 시간-분할 멀티플렉싱의 다른 실시 예를 나타내는 타이밍 도이다.
도 9는 도 2 또는 도 3에 도시된 멀티플렉싱 제어 회로의 다른 실시 예를 나타내는 블록도이다.
도 10은 도 2 또는 도 3에 도시된 제1이미지 신호 프로세서 코어의 세부 블록도를 나타낸다.
도 11은 도 1에 도시된 이미지 신호 프로세서의 또 다른 실시 예를 나타내는 블록도이다.
도 12는 도 11에 도시된 멀티플렉싱 제어 회로의 일 실시 예를 나타내는 블록도이다.
도 13은 도 12에 도시된 멀티플렉싱 제어 회로에 의해 수행되는 라인 데이터 단위 시간-분할 멀티플렉싱의 실시 예들을 나타내는 타이밍 도이다.
도 14는 도 11에 도시된 멀티플렉싱 제어 회로의 다른 실시 예를 나타내는 블록도이다.
도 15는 도 1에 도시된 이미지 신호 프로세서의 또 다른 실시 예를 나타내는 블록도이다.
도 16은 도 1에 도시된 이미지 신호 프로세서의 작동을 설명하는 플로우차트이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 데이터 처리 시스템의 블록도이다. 도 1을 참조하면, 데이터 처리 시스템(100)은 프로세서(200), 복수의 이미징 장치들(310과 320), 외부 메모리(330), 및 디스플레이(340)를 포함할 수 있다.
데이터 처리 시스템(100)은 PC(personal computer) 또는 모바일 컴퓨팅 장치로 구현될 수 있다. 상기 모바일 컴퓨팅 장치는 랩탑 컴퓨터(laptop computer), 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), 모바일 인터넷 장치(mobile internet device(MID)), 웨어러블 컴퓨터, 사물 인터넷(internet of things(IoT)) 장치, 만물 인터넷(internet of everything(IoE)) 장치, 또는 e-북(e-book)으로 구현될 수 있다.
프로세서(200)는 집적 회로(IC), 마더보드, 시스템 온 칩(system on chip(SoC)), 애플리케이션 프로세서(application processor(AP)), 또는 모바일 AP로 구현될 수 있으나 프로세서(200)가 이에 한정되는 것은 아니다.
프로세서(200)는 버스 구조(또는 버스; 201), CPU(central processing unit; 210), 복수의 인터페이스들(220-1과 220-2), 이미지 신호 프로세서(image signal processor(ISP); 230), 메모리 컨트롤러(250) 및 디스플레이 컨트롤러(270)를 포함할 수 있다.
CPU(210), ISP(230), 메모리 컨트롤러(250) 및 디스플레이 컨트롤러(270)는, 버스 구조(201)를 통해, 명령 및/또는 데이터를 주거나 받을 수 있다.
버스 구조(201)는 AMBA(Advanced Microcontroller Bus Architecture) 프로토콜을 사용하는 버스, AHB(Advanced High-performance Bus) 프로토콜을 사용하는 버스, APB(Advanced Peripheral Bus) 프로토콜을 사용하는 버스, AXI(AMBA Extensible Interconnect) 프로토콜을 사용하는 버스, 또는 이들의 조합으로 구현될 수 있으나 버스 구조(201)가 이에 한정되는 것은 아니다.
CPU(210)는 프로세서(200)의 작동을 전반적으로 제어할 수 있다. 예컨대, CPU(210)는 복수의 인터페이스들(220-1과 220-2), ISP(230), 메모리 컨트롤러(250) 및 디스플레이 컨트롤러(270)를 제어할 수 있다. CPU(210)는 하나 또는 그 이상의 코어들을 포함할 수 있다.
제1인터페이스(220-1)는 제1이미징 장치(310)로부터 출력된 제1이미지와 제1제어 신호들을 수신하고, 이들을 ISP(230)로 전송할 수 있다. 제2인터페이스(220-2)는 제2이미징 장치(320)로부터 출력된 제2이미지와 제2제어 신호들을 수신하고, 이들을 ISP(230)로 전송할 수 있다. 제1이미지는 제1픽처(picture), 제1이미지 데이터, 제1데이터 스트림, 또는 제1프레임 데이터를 의미할 수 있다. 제2이미지는 제2픽처, 제2이미지 데이터, 제2데이터 스트림, 또는 제2프레임 데이터를 의미할 수 있다.
제1이미징 장치(310)는 CMOS 이미지 센서 칩 또는 카메라 모듈로 구현될 수 있다. 제1이미징 장치(310)는 MIPI(Mobile Industry Processor Interface)® CSI (camera serial interface)를 통해 제1이미지와 제1제어 신호들을 제1인터페이스 (220-1)로 전송할 수 있다. 제2이미징 장치(320)는 CMOS 이미지 센서 칩 또는 카메라 모듈로 구현될 수 있다. 제2이미징 장치(320)는 MIPI® CSI를 통해 제2이미지와 제2제어 신호들을 제2인터페이스(220-2)로 전송할 수 있다. 예컨대, 제1이미지의 해상도(resolution)와 제2이미지의 해상도는 서로 다를 수 있다.
ISP(230)는 외부 메모리(330)를 사용하지 않고도 제1이미지 및/또는 제2이미지를 프레임 데이터(frame data) 단위가 아닌 라인 데이터(line data) 단위로 시간-분할 멀티플렉싱(time-division multiplexing(TDM))을 수행할 수 있다.
예컨대, ISP(230)는, 이미징 장치들(310과 320)로부터 출력된 이미지들을 TDM 방식에 따라 라인 데이터 단위로 동시에, 병렬로, 또는 실시간(on-the-fly)으로 처리하기 위해, 복수의 ISP 코어들을 포함할 수 있다. 따라서 ISP(230)는 멀티-코어 ISP로 구현될 수 있다.
예컨대, 복수의 ISP 코어들 각각은 자동 다크 레벨 보상(auto dark level compensation), 배드 픽셀 대체(bad pixel replacement), 노이즈 감소(noise reduction), 렌즈 쉐이딩 보상(lens shading compensation), 컬러 보정(color correction), RGB 감마 보정(RGB gamma correction), 에지 향상(edge enhancement), 색조 제어(hue control), 및 컬러 억제(color suppress) 중에서 적어도 하나를 수행할 수 있다. 도 10을 참조하여 설명될 각 블록(500-1, 500-3, 및 500-4)은 상술한 작동들 중에서 적어도 하나를 수행할 수 있다.
예컨대, 도 11에 도시된 ISP(230B)는, 이미징 장치들(310과 320)로부터 출력된 이미지들을 TDM 방식에 따라 라인 데이터 단위로 동시에, 병렬로, 또는 실시간 (on-the-fly)으로 처리하기 위해, 복수의 ISP 코어들(601과 603)과 복수의 스케일러들(609와 611)을 포함할 수 있다.
메모리 컨트롤러(250)는, CPU(210)의 제어에 따라, ISP(230)에 의해 TDM 방식에 따라 라인 데이터 단위로 처리된 라인 데이터를 외부 메모리(330)에 저장할 수 있다.
디스플레이 컨트롤러(270)는, CPU(210)의 제어에 따라, 외부 메모리(330)로부터 출력된 데이터(예컨대, 프레임 데이터)를 디스플레이(340)로 전송할 수 있다. 예컨대, 디스플레이 컨트롤러(270)는, MIPI® 디스플레이 시리얼 인터페이스 (display serial interface(DSI)) 또는 eDP(Embedded DisplayPort)를 통해, 외부 메모리(330)로부터 출력된 데이터(예컨대, 프레임 데이터)를 디스플레이(340)로 전송할 수 있다.
도 2는 도 1에 도시된 이미지 신호 프로세서의 일 실시 예를 나타내는 블록도이다. 비록, 본 명세서에서는 2개의 이미징 장치들(310과 320)과 2개의 ISP 코어들(233-1과 233-2)이 도시되어 있으나, 본 발명의 기술적 사상은 이미징 장치들의 개수와 ISP 코어들의 개수에 한정되는 것은 아니다.
예컨대, 데이터 처리 시스템(100)이 듀얼-카메라(310과 320)를 포함할 때, 제1이미징 장치(310)는 후방 카메라(rear camera)일 수 있고 제2이미징 장치(320)는 전방 카메라(front camera)일 수 있다.
ISP(230A-1)는 멀티플렉싱 제어 회로(231), 2개의 ISP 코어들(233-1과 233-2), 스케일링 및 포맷팅 회로(235), 제1직접 메모리 액세스(direct memory access(DMA)) 컨트롤러(237), 및 멀티미디어 처리 회로(239), 및 제2DMA 컨트롤러 (241)를 포함할 수 있다. 예컨대, 멀티미디어 처리 회로(239)는 JPEG(joint photographer's experts group) 회로 또는 MPEG(moving picture experts group) 회로로 구현될 수 있으나 멀티미디어 처리 회로(239)가 이에 한정되는 것은 아니다.
제1인터페이스(220-1)는 제1이미징 장치(310)로부터 출력된 제1이미지 (DATA1)와 제1제어 신호들(SYNC1)을 멀티플렉싱 제어 회로(231)로 전송할 수 있다. 제2인터페이스(220-2)는 제2이미징 장치(320)로부터 출력된 제2이미지(DATA2)와 제2제어 신호들(SYNC2)을 멀티플렉싱 제어 회로(231)로 전송할 수 있다.
도 4는 이미징 장치들로부터 출력되는 이미지들을 나타낸다. 도 4를 참조하면, 제1이미지(DATA1)는 복수의 라인 데이터(LA1~LAn)를 포함할 수 있다. 제2이미지(DATA2)는 복수의 라인 데이터(LB1~LBm)를 포함할 수 있다. 이때, n과 m 각각은 4 이상의 자연수이다. 예컨대, 제1이미지(DATA1)의 해상도가 제2이미지(DATA2)의 해상도보다 클 때, n은 m보다 클 수 있다.
제1제어 신호들(SYNC1)은 제1이미지(DATA1)의 처리에 관련된 제어 신호들로서 제1수직 동기 신호(vertical sync signal), 제1수평 동기 신호(horizontal sync signal), 제1클락 신호, 및 제1데이터 인에이블 신호 등을 포함할 수 있으나 이에 한정되는 것은 아니다. 제2제어 신호들(SYNC2)은 제2이미지(DATA2)의 처리에 관련된 제어 신호들로서 제2수직 동기 신호, 제2수평 동기 신호, 제2클락 신호, 및 제2데이터 인에이블 신호 등을 포함할 수 있으니 이에 한정되는 것은 아니다. 이하, 제1제어 신호들(SYNC1)은 간단히 "제1동기 신호"라 하고 제2제어 신호들(SYNC2)은 간단히 "제2동기 신호"라 한다.
멀티플렉싱 제어 회로(231)는, 제1모드 제어 신호(SCS1), 제1동기 신호 (SYNC1), 및 제2동기 신호(SYNC2)에 기초하여, 제1이미지(DATA1)에 포함된 각 라인 데이터(LA1~LAn)를 제1ISP 코어(233-1) 또는 제2ISP 코어(233-2)로 전송할 수 있다. 또한, 멀티플렉싱 제어 회로(231)는, 제1모드 제어 신호(SCS1), 제1동기 신호 (SYNC1), 및 제2동기 신호(SYNC2)에 기초하여, 제2이미지(DATA2)에 포함된 각 라인 데이터(LB1~LBm)를 제1ISP 코어(233-1) 또는 제2ISP 코어(233-2)로 전송할 수 있다.
제1모드 제어 신호(SCS1)에 따라 멀티플렉싱 제어 회로(231)는 제1출력 데이터(LD1)를 제1ISP 코어(233-1)로 출력할 수 있다.
각 이미징 장치(310과 320)의 작동 모드에 따라, 제1출력 데이터(LD1)는 제1이미지(DATA1)에 포함된 복수의 라인 데이터(LA1~LAn) 만을 포함할 수 있다.
각 이미징 장치(310과 320)의 작동 모드에 따라, 제1출력 데이터(LD1)는 제2이미지(DATA2)에 포함된 복수의 라인 데이터(LB1~LBm) 만을 포함할 수 있다.
각 이미징 장치(310과 320)의 작동 모드에 따라, 제1출력 데이터(LD1)는 제1이미지(DATA1)에 포함된 복수의 라인 데이터(LA1~LAn) 중에서 적어도 하나의 라인 데이터와 제2이미지(DATA2)에 포함된 복수의 라인 데이터(LB1~LBm) 중에서 적어도 하나의 라인 데이터를 포함할 수 있다.
각 이미징 장치(310과 320)의 작동 모드에 따라, 제1ISP 코어(233-1)만이 캡처 이미지(capture)를 처리하는 ISP 코어이고 제1이미징 장치(310)가 제1작동(예컨대, 이미지 캡처 작동)을 수행하고 제2이미징 장치(320)가 제2작동(예컨대, 프리-뷰(pre-view))을 수행할 때, 멀티플렉싱 제어 회로(231)는 제1이미징 장치(310)로부터 출력된 제1이미지(DATA1)를 제1출력 데이터(LD1)로서 제1ISP 코어(233-1)로 전송할 수 있고 제2이미징 장치(320)로부터 출력된 제2이미지(DATA2)를 제2출력 데이터(LD2)로서 제2ISP 코어(233-2)로 전송할 수 있다. 예컨대, 제2작동은 이미지 캡처 작동을 제외한, 녹화, 프리-뷰 등을 의미할 수 있다.
이때, 멀티플렉싱 제어 회로(231)는 제1출력 데이터(LD1=DATA1)와 함께 제3동기 신호(SYNC1')를 제1ISP 코어(233-1)로 전송할 수 있고, 제1출력 데이터 (LD1=DATA1)에 포함된 각 라인 데이터가 제1이미지(DATA1)와 관련됨(또는 포함됨)을 지시하는 제1스위칭 제어 신호(CSF1)를 제1ISP 코어(233-1)로 전송할 수 있다. 이때, 제3동기 신호(SYNC1')는 제1동기 신호(SYNC1)에 기초하여 생성될 수 있다.
또한, 멀티플렉싱 제어 회로(231)는 제2출력 데이터(LD2=DATA2)와 함께 제4동기 신호(SYNC2')를 제2ISP 코어(233-2)로 전송할 수 있고, 제2출력 데이터 (LD2=DATA2)에 포함된 각 라인 데이터가 제2이미지(DATA2)와 관련됨(또는 포함됨)을 지시하는 제2스위칭 제어 신호(CSF2)를 제2ISP 코어(233-2)로 전송할 수 있다. 이때, 제4동기 신호(SYNC2')는 제2동기 신호(SYNC2)에 기초하여 생성될 수 있다.
제1ISP 코어(233-1)는, 제1스위칭 제어 신호(CSF1)에 따라, 제1출력 데이터 (LD1=DATA1)에 포함된 각 라인 데이터를 처리할 수 있도록 구성 요소들(예컨대, 도 10의 500-1~500-4)을 설정할 수 있다. 또한, 제2ISP 코어(233-2)는, 제2스위칭 제어 신호(CSF2)에 따라, 제2출력 데이터(LD2=DATA2)에 포함된 각 라인 데이터를 처리할 수 있도록 구성 요소들을 설정할 수 있다.
각 이미징 장치(310과 320)의 작동 모드에 따라, 제1ISP 코어(233-1)만이 캡처 이미지를 처리하는 ISP 코어이고 제1이미징 장치(310)가 제2작동(예컨대, 프리-뷰(pre-view))을 수행하고 제2이미징 장치(320)가 제1작동(예컨대, 이미지 캡처 작동)을 수행할 때, 멀티플렉싱 제어 회로(231)는 제2이미징 장치(320)로부터 출력된 제2이미지(DATA2)를 제1출력 데이터(LD1)로서 제1ISP 코어(233-1)로 전송할 수 있고 제1이미징 장치(310)로부터 출력된 제1이미지(DATA1)를 제2출력 데이터(LD2)로서 제2ISP 코어(233-2)로 전송할 수 있다.
이때, 멀티플렉싱 제어 회로(231)는 제1출력 데이터(LD1=DATA2)와 함께 제3동기 신호(SYNC1')를 제1ISP 코어(233-1)로 전송할 수 있고, 제1출력 데이터 (LD1=DATA2)에 포함된 각 라인 데이터가 제2이미지(DATA2)와 관련됨을 지시하는 제1스위칭 제어 신호(CSF1)를 제1ISP 코어(233-1)로 전송할 수 있다. 이때, 제3동기 신호(SYNC1')는 제2동기 신호(SYNC2)에 기초하여 생성될 수 있다.
또한, 멀티플렉싱 제어 회로(231)는 제2출력 데이터(LD2=DATA1)와 함께 제4동기 신호(SYNC2')를 제2ISP 코어(233-2)로 전송할 수 있고, 제2출력 데이터 (LD2=DATA1)에 포함된 각 라인 데이터가 제1이미지(DATA1)와 관련됨을 지시하는 제2스위칭 제어 신호(CSF2)를 제2ISP 코어(233-2)로 전송할 수 있다. 이때, 제4동기 신호(SYNC2')는 제1동기 신호(SYNC1)에 기초하여 생성될 수 있다.
제1ISP 코어(233-1)는, 제1스위칭 제어 신호(CSF1)에 따라, 제1출력 데이터 (LD1=DATA2)에 포함된 각 라인 데이터를 처리할 수 있도록 구성 요소들을 설정할 수 있다. 또한, 제2ISP 코어(233-2)는, 제2스위칭 제어 신호(CSF2)에 따라, 제2출력 데이터(LD2=DATA1)에 포함된 각 라인 데이터를 처리할 수 있도록 구성 요소들을 설정할 수 있다.
각 이미징 장치(310과 320)의 작동 모드에 따라, 제1ISP 코어(233-1)만이 캡처 이미지를 처리하는 ISP 코어이고 제1이미징 장치(310)가 제1작동(예컨대, 이미지 캡처 작동)을 수행하고 제2이미징 장치(320)가 상기 제1작동을 수행할 때, 멀티플렉싱 제어 회로(231)는 제1이미징 장치(310)로부터 출력된 제1이미지(DATA1)를 제1출력 데이터(LD1)로서 제1ISP 코어(233-1)로 전송할 수 있고 제2이미징 장치 (320)로부터 출력된 제2이미지(DATA2)를 제1출력 데이터(LD1)로서 제1ISP 코어 (233-1)로 전송할 수 있다. 예컨대, 멀티플렉싱 제어 회로(231)는 도 7, 도 8, 또는 도 13에 도시된 바와 같이 라인 데이터를 라인 데이터 인터리빙(line data interleaving) 방식에 따라 시간-분할로 처리할 수 있다.
이때, 멀티플렉싱 제어 회로(231)는 제1출력 데이터(LD1)와 함께 제3동기 신호(SYNC1')를 제1ISP 코어(233-1)로 전송할 수 있고, 제1출력 데이터(LD1)에 포함된 각 라인 데이터가 제1이미지(DATA1) 또는 제2이미지(DATA2)와 관련됨을 지시하는 제1스위칭 제어 신호(CSF1)를 제1ISP 코어(233-1)로 전송할 수 있다. 이때, 제3동기 신호(SYNC1')는 제1동기 신호(SYNC1)와 제2동기 신호(SYNC2)에 기초하여 생성될 수 있다.
이때, 제1출력 데이터(LD1)는 제1이미지(DATA1)에 포함된 복수의 라인 데이터(LA1~LAn) 중에서 적어도 하나의 라인 데이터와 제2이미지(DATA2)에 포함된 복수의 라인 데이터(LB1~LBm) 중에서 적어도 하나의 라인 데이터를 포함할 수 있다. 즉, 멀티플렉싱 제어 회로(231)는 라인 데이터 인터리빙 방식에 따라 라인 데이터 단위로 시간-분할된 라인 데이터를 제1ISP 코어(233-1)로 전송할 수 있다.
제1ISP 코어(233-1)는, 제1출력 데이터(LD1)에 포함된 라인 데이터가 제1이미지(DATA1)에 포함된 라인 데이터인지 또는 제2이미지(DATA2)에 포함된 라인 데이터인지를 지시하는 제1스위칭 제어 신호(CSF1)에 따라, 라인 데이터 단위로 구성 요소들을 변경할 수 있다.
스케일링 및 포맷팅 회로(235)는 제1ISP 코어(233-1) 및/또는 제2ISP 코어 (233-2)로부터 출력된 데이터에 대해 스케일 작동(scale operation)을 수행하고, 스케일된 데이터의 포맷을 변경하고, 변경된 포맷을 갖는 데이터를 생성할 수 있다. 이때, 스케일 작동은 스케일-업 작동 또는 스케일-다운 작동을 포함할 수 있다.
제1DMA 컨트롤러(237)는 스케일링 및 포맷팅 회로(235)에 의해 처리된 데이터(DATA1'와 DATA2')를 버스 구조(201)를 통해 외부 메모리(330)에 저장할 수 있다. 예컨대, 제1처리된 이미지(DATA1')는 외부 메모리(330)의 제1메모리 영역(331)에 저장될 수 있고, 제2처리된 이미지(DATA2')는 외부 메모리(330)의 제2메모리 영역(333)에 저장될 수 있다. 예컨대, 외부 메모리(330)는 RAM(random access memory) 또는 DRAM(dynamic RAM)으로 구현될 수 있으나 이에 한정되는 것은 아니다.
스케일링 및 포맷팅 회로(235)는 처리된 데이터를 멀티미디어 처리 회로 (239)로 전송할 수 있다. 멀티미디어 처리 회로(239)는 제2DMA 컨트롤러(241)를 이용하여 외부 메모리(330)에 저장된 제1처리된 이미지(DATA1')를 리드 또는 페치 (fetch)하여 처리하고, 처리된 이미지를 제2DMA 컨트롤러(241)를 이용하여 외부 메모리(330)에 라이트할 수 있다. 또한, 멀티미디어 처리 회로(239)는 제2DMA 컨트롤러(241)를 이용하여 외부 메모리(330)에 저장된 제2처리된 이미지(DATA2')를 리드 또는 페치하여 처리하고, 처리된 이미지를 제2DMA 컨트롤러(241)를 이용하여 외부 메모리(330)에 라이트할 수 있다.
도 3은 도 1에 도시된 이미지 신호 프로세서의 다른 실시 예를 나타내는 블록도이다. 도 2와 도 3을 참조하면, 도 3의 이미지 신호 프로세서(230A-2)는 제1DMA 컨트롤러(237)를 포함하지 않는다. 도 2의 이미지 신호 프로세서(230A-1)의 구조와 작동은 도 3의 이미지 신호 프로세서(230A-2)의 구조와 작동과 실질적으로 동일 또는 유사하므로, 이미지 신호 프로세서(230A-2)의 구조와 작동에 대한 상세한 설명은 생략한다.
즉, 스케일링 및 포맷팅 회로(235)는 처리된 데이터를 멀티미디어 처리 회로 (239)로 전송할 수 있다. 멀티미디어 처리 회로(239)는 스케일링 및 포맷팅 회로 (235)에 의해 처리된 데이터를 처리하고, 처리된 데이터(DATA1'와 DATA2')를 제2DMA 컨트롤러(241)를 이용하여 버스 구조(201)를 통해 외부 메모리(330)에 저장할 수 있다. 예컨대, 제1처리된 이미지(DATA1')는 외부 메모리(330)의 제1메모리 영역(331)에 저장될 수 있고, 제2처리된 이미지(DATA2')는 외부 메모리(330)의 제2메모리 영역(333)에 저장될 수 있다.
도 3에 도시된 멀티미디어 처리 회로(239)는 라인 데이터 인터리빙 방식을 지원할 수 있다.
도 2와 도 3에 도시된 바와 같이, 각 ISP 코어(233-1과 233-2)에 의해 이미지가 처리될 때까지, ISP(230A-1 또는 230A-2)는 외부 프레임 메모리를 액세스하지 않는다.
도 5는 이미징 장치들의 작동 모드들의 실시 예들을 나타낸다. 도 2와 도 5를 참조하면, 경우 1(CASE1)은 이미징 장치들(310과 320) 모두가 캡처 모드 (CAPTURE MODE)로 작동하는 경우를 나타내고, 경우 2(CASE2)는 제1이미징 장치 (310)는 캡처 모드(CAPTURE MODE)로 작동하고 제2이미징 장치(320)는 프리-뷰 모드 (PRE-VIEW MODE)로 작동하는 경우를 나타낸다. 캡처 모드(CAPTURE MODE)에서 이미징 장치(310 및/또는 320)는 이미지 캡처 작동 또는 제1작동을 수행할 수 있다.
제1모드 제어 신호(SCS1)는 이미징 장치들(310과 320) 각각의 작동 모드에 대한 정보(또는 데이터)와 관련될 수 있다. 예컨대, 제1모드 제어 신호(SCS1)는 레지스터, 예컨대 SFR(Special Function Register)에 프로그램 또는 저장될 수 있다. 예컨대, CPU(210)는 제1모드 제어 신호(SCS1)를 레지스터에 프로그램 또는 설정할 수 있다. 예컨대, 제1모드 제어 신호(SCS1)는 디지털 신호들 또는 디지털 코드들을 의미할 수 있다.
경우 1(CASE1)의 경우에 멀티플렉싱 제어 회로(231)는 라인 데이터 인터리빙 방식에 따라 라인 데이터를 처리할 수 있다. 경우 2(CASE2)의 경우, 제1이미지 (DATA1)는 제1ISP 코어(233-1)에서 처리되고, 제2이미지(DATA2)는 제2ISP 코어 (233-2)에서 처리된다.
경우 3(CASE3)의 경우, 즉 제1이미징 장치(310)가 프리-뷰 모드(PRE-VIEW MODE)로 작동하고 제2이미징 장치(320)가 캡처 모드(CAPTURE MODE)로 작동하는 경우, 제1이미지(DATA1)는 제2ISP 코어(233-2)에서 처리되고, 제2이미지(DATA2)는 제1ISP 코어(233-1)에서 처리된다.
도 6은 도 2 또는 도 3에 도시된 멀티플렉싱 제어 회로의 일 실시 예를 나타내는 블록도이고, 도 7은 도 6에 도시된 멀티플렉싱 제어 회로에 의해 수행되는 라인 데이터 단위 시간-분할 멀티플렉싱의 일 실시 예를 나타내는 타이밍 도이다.
이미징 장치들(310과 320) 모두가 캡처 모드(CAPTURE MODE)로 작동하고, 제1 ISP 코어(233-1)만이 이미징 장치들(310과 320) 각각에 의해 캡처된 이미지(DATA1과 DATA2)를 처리한다고 가정한다. 이때, 제1모드 제어 신호(SCS1)는 이미징 장치들(310과 320) 모두가 캡처 모드(CAPTURE MODE)로 작동함을 지시하는 신호일 수 있다. 즉, 제1모드 제어 신호(SCS1)는 각 이미지(DATA1과 DATA2)가 제1ISP(233-1)에 의해 처리되어야 함을 나타낼 수 있다.
도 6을 참조하면, 멀티플렉싱 제어 회로(231A)는 스위칭 결정 회로(410), 제1선택 회로(412), 라인 메모리(414), 제2선택 회로(416), 및 동기 신호 생성기 (418)를 포함할 수 있다. 예컨대, 라인 메모리(414)는 FIFO(First In First Out) 메모리로 구현될 수 있으나 라인 메모리(414)가 이에 한정되는 것은 아니다. 예컨대, 라인 메모리(414)는 1-라인 데이터 메모리로 구현될 수 있으나 이에 한정되는 것은 아니다.
스위칭 결정 회로(410)는, 제1모드 제어 신호(SCS1), 제1동기 신호(SYNC1), 및 제2동기 신호(SYNC2)에 기초하여, 제1선택 신호(SEL1)와 제2선택 신호(SEL2)를 생성할 수 있고, 제1스위칭 제어 신호(CSF1)와 제2스위칭 제어 신호(CSF2)를 생성할 수 있다.
제1선택 신호(SEL1)는 제1선택 회로(412)의 선택 작동을 제어하는 신호일 수 있다. 제1선택 신호(SEL1)가 제1레벨(예컨대, 로우 레벨 또는 로직 0)일 때, 제1선택 회로(412)는 제1이미지(DATA1)에 포함된 라인 데이터를 라인 메모리(414)로 전송할 수 있다. 제1선택 신호(SEL1)가 제2레벨(예컨대, 하이 레벨 또는 로직 1)일 때, 제1선택 회로(412)는 제2이미지(DATA2)에 포함된 라인 데이터를 라인 메모리 (414)로 전송할 수 있다. 즉, 제1선택 회로(412)는 제1이미지(DATA1)에 포함된 라인 데이터 또는 제2이미지(DATA2)에 포함된 라인 데이터를 출력 라인 데이터(SOUT)로서 라인 메모리(414)로 출력할 수 있다.
제2선택 신호(SEL2)는 제2선택 회로(416)의 선택 작동을 제어하는 신호일 수 있다. 제2선택 회로(416)는, 제2선택 신호(SEL2)에 응답하여, 제1전송 라인(TL1)을 통해 전송된 라인 데이터, 라인 메모리(414)로부터 출력된 라인 데이터(LOUT), 및 제2전송 라인(TL2)을 통해 전송된 라인 데이터 중에서 어느 하나를 제1출력 단자 (OUT1) 또는 제2출력 단자(OUT2)로 출력할 수 있다.
제2선택 회로(416)는, 제2선택 신호(SEL2)에 응답하여, 제1전송 라인(TL1)을 통해 전송된 라인 데이터를 제1출력 단자(OUT1)를 통해 출력할 수 있고 제2전송 라인(TL2)을 통해 전송된 라인 데이터를 제2출력 단자(OUT2)를 통해 출력할 수 있다.
제2선택 회로(416)는, 제2선택 신호(SEL2)에 응답하여, 제1전송 라인(TL1)을 통해 전송된 라인 데이터를 제2출력 단자(OUT2)를 통해 출력할 수 있고 제2전송 라인(TL2)을 통해 전송된 라인 데이터를 제1출력 단자(OUT1)를 통해 출력할 수 있다.
제1스위칭 제어 신호(CSF1)와 제2스위칭 제어 신호(CSF2) 각각은 현재 전송되는 라인 데이터가 제1이미지(DATA1)에 포함된 라인 데이터인지 또는 제2이미지 (DATA2)에 포함된 라인 데이터인지를 지시하는 지시 신호일 수 있다.
동기 신호 생성기(418)는 제1출력 데이터(LD1)의 처리와 관련된 제3동기 신호(SYNC1')와 제2출력 데이터(LD2)의 처리와 관련된 제4동기 신호(SYNC1')를 생성할 수 있다. 제3동기 신호(SYNC1')는, 제1동기 신호(SYNC1) 및/또는 제2동기 신호 (SYNC2)에 기초하여, 생성될 수 있다. 제4동기 신호(SYNC2')는, 제1동기 신호 (SYNC1) 및/또는 제2동기 신호(SYNC2)에 기초하여, 생성될 수 있다.
이미징 장치들(310과 320) 모두가 캡처 모드(CAPTURE MODE)로 작동하고, 제1 ISP 코어(233-1)만이 이미징 장치들(310과 320) 각각에 의해 캡처된 이미지(DATA1과 DATA2)를 처리한다고 가정한다.
도 7에 도시된 바와 같이, 제1시점(T11)에 입력된 제1동기 신호(SYNC1)의 위상(phase)이 제2시점(T12)에 입력된 제2동기 신호(SYNC2)의 위상보다 빠를 때 (lead), 스위칭 결정 회로(410)는 제1전송 라인(TL1)을 통해 전송된 제1이미지 (DATA1)의 제1라인 데이터(LA1)를 제1ISP 코어(233-1)로 출력하기 위한 제2선택 신호(SEL2)를 생성할 수 있다. 이때, 스위칭 결정 회로(410)는 제2레벨을 갖는 제1선택 신호(SEL1)를 생성할 수 있다.
제2선택 회로(416)는 제1전송 라인(TL1)을 통해 전송된 제1이미지(DATA1)의 제1라인 데이터(LA1)를 제1출력 데이터(LD1)로서 제1ISP 코어(233-1)로 전송할 수 있다. 이때, 동기 신호 생성기(418)는 제1출력 데이터(LD1=LA1)의 전송(또는 처리)과 관련된 제3동기 신호(SYNC1')를 제1ISP 코어(233-1)로 전송할 수 있다. 예컨대, 제3동기 신호(SYNC1')는 제1동기 신호(SYNC1)에 기초하여 생성될 수 있다.
제1이미지(DATA1)의 제1라인 데이터(LA1)가 제1ISP 코어(233-1)로 전송되는 도중에 제2이미지(DATA2)의 제1라인 데이터(LB1)가 멀티플렉싱 제어 회로(231A)로 입력되면, 스위칭 결정 회로(410)는 제2이미지(DATA2)의 제1라인 데이터(LB1)를 라인 메모리(414)로 전송하기 위한 제2레벨을 갖는 제1선택 신호(SEL1)를 생성할 수 있다. 따라서, 제1선택 회로(412)의 출력 라인 데이터(SOUT), 즉 제2이미지(DATA2)의 제1라인 데이터(LB1)는 라인 메모리(414)에 저장될 수 있다.
제1이미지(DATA1)의 제1라인 데이터(LA1)가 제1ISP 코어(233-1)로 전송 완료되면, 스위칭 결정 회로(410)는 라인 메모리(414)에 저장된 제2이미지(DATA2)의 제1라인 데이터(LB1)를 제1ISP 코어(233-1)로 출력하기 위한 제2선택 신호(SEL2)를 생성할 수 있다.
제2선택 회로(416)는 라인 메모리(414)의 출력 라인 데이터(LOUT), 즉 제2이미지(DATA2)의 제1라인 데이터(LB1)를 제1출력 데이터(LD1)로서 제1ISP 코어(233-1)로 전송할 수 있다. 이때, 동기 신호 생성기(418)는 제1출력 데이터(LD1=LB1)의 전송(또는 처리)과 관련된 제3동기 신호(SYNC1')를 제1ISP 코어(233-1)로 전송할 수 있다. 예컨대, 제3동기 신호(SYNC1')는 제2동기 신호(SYNC2)에 기초하여 생성될 수 있다.
제1동기 신호(SYNC1)의 위상이 제2동기 신호(SYNC2)의 위상보다 빠를 때, 스위칭 결정 회로(410)는 제1이미지(DATA1)의 제2라인 데이터(LA2)를 제1ISP 코어 (233-1)로 출력하기 위한 제2선택 신호(SEL2)를 생성할 수 있다.
제2선택 회로(416)는 제1전송 라인(TL1)을 통해 전송된 제1이미지(DATA1)의 제2라인 데이터(LA2)를 제1출력 데이터(LD1)로서 제1ISP 코어(233-1)로 전송할 수 있다. 이때, 동기 신호 생성기(418)는 제1출력 데이터(LD1=LA2)의 전송(또는 처리)과 관련된 제3동기 신호(SYNC1')를 제1ISP 코어(233-1)로 전송할 수 있다. 예컨대, 제3동기 신호(SYNC1')는 제1동기 신호(SYNC1)에 기초하여 생성될 수 있다.
제1이미지(DATA1)의 제2라인 데이터(LA2)가 제1ISP 코어(233-1)로 전송되는 도중에 제2이미지(DATA2)의 제2라인 데이터(LB2)가 멀티플렉싱 제어 회로(231)로 입력되면, 스위칭 결정 회로(410)는 제2이미지(DATA2)의 제2라인 데이터(LB2)를 라인 메모리(414)로 전송하기 위한 제2레벨을 갖는 제1선택 신호(SEL1)를 생성할 수 있다. 따라서, 제2이미지(DATA2)의 제2라인 데이터(LB2)는 제1선택 회로(412)를 통해 라인 메모리(414)로 전송될 수 있다.
제1이미지(DATA1)의 제2라인 데이터(LA2)가 제1ISP 코어(233-1)로 전송 완료되면, 스위칭 결정 회로(410)는 라인 메모리(414)로부터 전송된 제2이미지(DATA2)의 제2라인 데이터(LOUT=LB2)를 제1ISP 코어(233-1)로 출력하기 위한 제2선택 신호 (SEL2)를 생성할 수 있다.
제2선택 회로(416)는 라인 메모리(414)로부터 출력된 제2이미지(DATA2)의 제2라인 데이터(LOUT=LB2)를 제1출력 데이터(LD1)로서 제1ISP 코어(233-1)로 전송할 수 있다. 이때, 동기 신호 생성기(418)는 제1출력 데이터(LD1=LB2)의 처리와 관련된 제3동기 신호(SYNC1')를 제1ISP 코어(233-1)로 전송할 수 있다. 예컨대, 제3동기 신호(SYNC1')는 제2동기 신호(SYNC2)에 기초하여 생성될 수 있다.
제1이미지(DATA1)의 제3라인 데이터(LA3)와 제2이미지(DATA2)의 제3라인 데이터(LB3)는 TDM 방식에 따라 라인 데이터 단위로 제1ISP 코어(233-1)로 순차적으로 전송될 수 있다. 즉, 제1이미지(DATA1)에 포함된 각 라인 데이터(LA1~LAn)와 제2이미지(DATA2)에 포함된 각 라인 데이터(LB1~LBm)는 라인 데이터 인터리빙(line data interleaving) 방식에 따라 시간-분할로 처리될 수 있다.
예컨대, 도 7에 도시된 바와 같이, 서로 다른 이미지 장치들(310과 320)로부터 출력된 라인 데이터(LA1, LB1, LA2, LB2, LA3, 및 LB3)는 하나의 스트림 (stream) 또는 하나의 비트스트림(bitstream)으로 제1ISP 코어(233-1)로 전송될 수 있다. 또한, 도 8에 도시된 바와 같이, 서로 다른 이미지 장치들(310과 320)로부터 출력된 라인 데이터(LB1, LA1, LB2, LA2, LB3, 및 LA3)는 하나의 스트림 또는 하나의 비트스트림으로 제1ISP 코어(233-1)로 전송될 수 있다. 도 7과 도 8에 도시된 실시 예는 단지 설명을 위한 것으로서, 하나의 스트림에 포함되는 라인 데이터의 순서와 개수는 실시 예들에 따라 다양하게 변경될 수 있다.
도 10은 도 2 또는 도 3에 도시된 제1이미지 신호 프로세서 코어의 세부 블록도를 나타낸다. 제1ISP 코어(233-1)의 구조와 제2ISP 코어(233-2)의 구조는 실질적으로 동일 또는 유사하므로, 제1ISP 코어(233-1)의 구조와 작동이 도 10을 참조하여 설명된다.
도 10을 참조하면, 제1ISP 코어(233-1)는 직렬로 접속된 구성 요소들(500-1~500-4)을 포함할 수 있다. 예컨대, 구성 요소들(500-1~500-4)은 체인(chain)을 구성하거나 파이프라인(pipeline)을 구성할 수 있다. 각 구성 요소(500-1, 500-3, 및 500-4)는 라인 데이터를 처리하는 처리 회로를 의미할 수 있다.
예컨대, 각 블록(500-1, 500-3, 및 500-4)은 자동 다크 레벨 보상(auto dark level compensation), 배드 픽셀 대체(bad pixel replacement), 노이즈 감소(noise reduction), 렌즈 쉐이딩 보상(lens shading compensation), 컬러 보정(color correction), RGB 감마 보정(RGB gamma correction), 에지 향상(edge enhancement), 색조 제어(hue control), 및 컬러 억제(color suppress) 중에서 적어도 하나를 수행할 수 있다.
제1스위칭 제어 신호(CSF1)는 구성 요소들(500-1~500-4) 각각의 작동을 제어할 수 있다. 제1블록(500-1)은 제1스위칭 제어 신호(CSF1), 제1출력 데이터(LD1), 및 제3동기 신호(SYNC1')를 수신하고, 제1스위칭 제어 신호(CSF1)와 제3동기 신호 (SYNC1')에 기초하여 제1출력 데이터(LD1)를 처리할 수 있다.
메모리 컨트롤러(500-2)는, 제1스위칭 제어 신호(CSF1)에 응답하여, 이전 구성 요소로부터 출력된 라인 데이터를 제1버퍼(510) 또는 제2버퍼(520)에 저장할 수 있다. 예컨대, 제1버퍼(510)는 제1이미지(DATA1)에 관련된 각 라인 데이터 (LA1~LAn)를 저장하는데 사용될 수 있고, 제2버퍼(520)는 제2이미지(DATA2)에 관련된 각 라인 데이터(LB1~LBm)를 저장하는데 사용될 수 있다.
i-번째 블록(500-3)은 제1레지스터(REG1)와 제2레지스터(REG2)를 포함할 수 있다. 제1레지스터(REG1)는 제1이미지(DATA1)에 포함된 각 라인 데이터(LA1~LAn)를 처리하기 위한 제1파라미터들을 저장할 수 있다. 제2레지스터(REG2)는 제2이미지 (DATA2)에 포함된 각 라인 데이터(LB1~LBm)를 처리하기 위한 제2파라미터들을 저장할 수 있다. 예컨대, 제1스위칭 제어 신호(CSF1)는 제1파라미터들을 제1레지스터 (REG1)에 프로그램 또는 설정하는데 사용될 수 있고, 제2파라미터들을 제2레지스터 (REG2)에 프로그램 또는 설정하는데 사용될 수 있다.
예컨대, 적어도 하나의 구성 요소(500-1~500-4)는 제1파라미터들을 이용하여 제1이미지(DATA1)에 포함된 각 라인 데이터(LA1~LAn)를 처리할 수 있고, 제2파라미터들을 이용하여 제2이미지(DATA2)에 포함된 각 라인 데이터(LB1~LBm)를 처리할 수 있다.
k-번째 블록(500-4)은 이전 구성 요소로부터 출력된 데이터를 제1스위칭 제어 신호(CSF1)에 기초하여 처리하고, 처리된 데이터를 스케일링 및 포맷팅 회로 (235)로 출력할 수 있다.
예컨대, 도 7에 도시된 바와 같이, 제1이미지(DATA1)의 제1라인 데이터(LB1)가 제1ISP 코어(233-1)로 첫 번째로 입력될 때, 제1ISP 코어(233-1)는, 제1라인 데이터(LB1)가 처리되어야 함을 지시하는 제1스위칭 제어 신호(CSF1)에 응답하여, 제1라인 데이터(LA1)를 처리할 수 있도록 각 구성 요소(500-1~500-4)의 설정을 변경할 수 있다.
제2이미지(DATA2)의 제1라인 데이터(LB1)가 제1ISP 코어(233-1)로 두 번째로 입력될 때, 제1ISP 코어(233-1)는, 제1라인 데이터(LB1)가 처리되어야 함을 지시하는 제1스위칭 제어 신호(CSF1)에 응답하여, 제1라인 데이터(LB1)를 처리할 수 있도록 각 구성 요소(500-1~500-4)의 설정을 변경할 수 있다.
제1이미지(DATA1)의 제2라인 데이터(LA2)가 제1ISP 코어(233-1)로 세 번째로 입력될 때, 제1ISP 코어(233-1)는, 제2라인 데이터(LA2)가 처리되어야 함을 지시하는 제1스위칭 제어 신호(CSF1)에 응답하여, 제2라인 데이터(LA2)를 처리할 수 있도록 각 구성 요소(500-1~500-4)의 설정을 변경할 수 있다.
즉, 제1ISP 코어(233-1)는, 현재 라인 데이터가 제1이미지(DATA1)에 포함된 라인 데이터인지 제2이미지(DATA2)에 포함된 라인 데이터인지를 지시하는 제1스위칭 제어 신호(CSF1)에 응답하여, 상기 현재 라인 데이터를 처리하기 위해 각 구성 요소(500-1~500-4)의 설정을 변경할 수 있다. 예컨대, 현재 라인 데이터가 제1이미지(DATA1)에 포함된 라인 데이터일 때, 제1ISP 코어(233-1)의 구성 요소들(500-1~500-4)은 제1구성(configuration)으로 설정될 수 있고, 현재 라인 데이터가 제2이미지(DATA2)에 포함된 라인 데이터일 때, 제1ISP 코어(233-1)의 구성 요소들 (500-1~500-4)은 제2구성으로 설정될 수 있다.
이미징 장치들(310과 320) 모두가 캡처 모드(CAPTURE MODE)로 작동하고, 제1 ISP 코어(233-1)만이 이미징 장치들(310과 320) 각각에 의해 캡처된 이미지(DATA1과 DATA2)를 처리한다고 가정한다.
도 8에 도시된 바와 같이, 제4시점(T22)에 입력된 제1동기 신호(SYNC1)의 위상이 제3시점(T21)에 입력된 제2동기 신호(SYNC2)의 위상보다 느릴 때(lag), 멀티 플렉싱 제어 회로(231)는 제1이미지(DATA1)의 제1라인 데이터(LA1)보다 먼저 제2이미지(DATA2)의 제1라인 데이터(LB1)를 제1ISP 코어(233-1)로 전송할 수 있다.
스위칭 결정 회로(410)는 제2이미지(DATA2)의 제1라인 데이터(LB1)를 제1 ISP 코어(233-1)로 출력하기 위한 제2선택 신호(SEL2)를 생성할 수 있다. 이때, 스위칭 결정 회로(410)는 제1레벨을 갖는 제1선택 신호(SEL1)를 생성할 수 있다.
제2선택 회로(416)는 제2전송 라인(TL2)을 통해 전송된 제2이미지(DATA2)의 제1라인 데이터(LB1)를 제1출력 데이터(LD1)로서 제1ISP 코어(233-1)로 전송할 수 있다. 이때, 동기 신호 생성기(418)는 제1출력 데이터(LD1=LB1)의 처리와 관련된 제3동기 신호(SYNC1')를 제1ISP 코어(233-1)로 전송할 수 있다. 예컨대, 제3동기 신호(SYNC1')는 제2동기 신호(SYNC2)에 기초하여 생성될 수 있다.
제2이미지(DATA2)의 제1라인 데이터(LB1)가 제1ISP 코어(233-1)로 전송되는 도중에 제1이미지(DATA1)의 제1라인 데이터(LA1)가 멀티플렉싱 제어 회로(231)로 입력되면, 스위칭 결정 회로(410)는 제1이미지(DATA1)의 제1라인 데이터(LA1)를 라인 메모리(414)로 전송하기 위한 제1레벨을 갖는 제1선택 신호(SEL1)를 생성할 수 있다. 제1선택 회로(412)는, 제1레벨을 갖는 제1선택 신호(SEL1)에 응답하여, 제1이미지(DATA1)의 제1라인 데이터(LA1)를 라인 메모리(414)로 전송할 수 있다. 따라서, 라인 메모리(414)는 제1이미지(DATA)의 제1라인 데이터(LA1)를 저장할 수 있다.
제2이미지(DATA2)의 제1라인 데이터(LB1)가 제1ISP 코어(233-1)로 전송 완료되면, 스위칭 결정 회로(410)는 제1이미지(DATA1)의 제1라인 데이터(LA1)를 제1 ISP 코어(233-1)로 출력하기 위한 제2선택 신호(SEL2)를 생성할 수 있다.
제2선택 회로(416)는 라인 메모리(414)로부터 전송된 제1이미지(DATA1)의 제1라인 데이터(LOUT=LA1)를 제1출력 데이터(LD1)로서 제1ISP 코어(233-1)로 전송할 수 있다. 이때, 동기 신호 생성기(418)는 제1출력 데이터(LD1=LA1)의 처리와 관련된 제3동기 신호(SYNC1')를 제1ISP 코어(233-1)로 전송할 수 있다. 예컨대, 제3동기 신호(SYNC1')는 제1동기 신호(SYNC1)에 기초하여 생성될 수 있다.
제1동기 신호(SYNC1)의 위상이 제2동기 신호(SYNC2)의 위상보다 느릴 때, 스위칭 결정 회로(410)는 제2이미지(DATA2)의 제2라인 데이터(LB2)를 제1ISP 코어 (233-1)로 출력하기 위한 제2선택 신호(SEL2)를 생성할 수 있다. 이때, 스위칭 결정 회로(410)는 제1레벨을 갖는 제1선택 신호(SEL1)를 생성할 수 있다.
제2선택 회로(416)는 제2전송 라인(TL2)을 통해 전송된 제2이미지(DATA2)의 제2라인 데이터(LB2)를 제1출력 데이터(LD1)로서 제1ISP 코어(233-1)로 전송할 수 있다. 이때, 동기 신호 생성기(418)는 제1출력 데이터(LD1=LB2)의 처리와 관련된 제3동기 신호(SYNC1')를 제1ISP 코어(233-1)로 전송할 수 있다. 예컨대, 제3동기 신호(SYNC1')는 제2동기 신호(SYNC2)에 기초하여 생성될 수 있다.
제2이미지(DATA2)의 제2라인 데이터(LB2)가 제1ISP 코어(233-1)로 전송되는 도중에 제1이미지(DATA1)의 제2라인 데이터(LA2)가 멀티플렉싱 제어 회로(231)로 입력되면, 스위칭 결정 회로(410)는 제1이미지(DATA2)의 제2라인 데이터(LA2)를 라인 메모리(414)로 전송하기 위해 제1레벨을 갖는 제1선택 신호(SEL1)를 생성할 수 있다.
이때, 제1선택 회로(412)는, 제1레벨을 갖는 제1선택 신호(SEL1)에 응답하여, 제1이미지(DATA1)의 제2라인 데이터(LA2)를 라인 메모리(414)로 전송할 수 있다. 따라서, 라인 메모리(414)는 제1이미지(DATA1)의 제2라인 데이터(LA2)를 저장할 수 있다.
제2이미지(DATA2)의 제2라인 데이터(LB2)가 제1ISP 코어(233-1)로 전송 완료되면, 스위칭 결정 회로(410)는 제1이미지(DATA1)의 제2라인 데이터(LA2)를 제1 ISP 코어(233-1)로 출력하기 위한 제2선택 신호(SEL2)를 생성할 수 있다. 따라서, 제2선택 회로(416)는 라인 메모리(414)로부터 전송된 제1이미지(DATA1)의 제2라인 데이터(LOUT=LA2)를 제1출력 데이터(LD1)로서 제1ISP 코어(233-1)로 전송할 수 있다. 이때, 동기 신호 생성기(418)는 제1출력 데이터(LD1=LA2)의 처리와 관련된 제3동기 신호(SYNC1')를 제1 ISP 코어(233-1)로 전송할 수 있다. 예컨대, 제3동기 신호(SYNC1')는 제1동기 신호(SYNC1)에 기초하여 생성될 수 있다.
제2이미지(DATA2)의 제3라인 데이터(LB3)와 제1이미지(DATA1)의 제3라인 데이터(LA3)는 TDM 방식에 따라 라인 데이터 단위로 제1ISP 코어(233-1)로 순차적으로 전송될 수 있다. 즉, 제2이미지(DATA2)에 포함된 각 라인 데이터(LB1~LBm)와 제1이미지(DATA1)에 포함된 각 라인 데이터(LA1~LAn)는 라인 데이터 인터리빙 방식에 따라 시간-분할로 처리될 수 있다.
메모리 컨트롤러(500-2)는, 제1스위칭 제어 신호(CSF1)에 응답하여, 이전 구성 요소로부터 출력된 데이터를 제1버퍼(510) 또는 제2버퍼(520)에 저장할 수 있다.
예컨대, 도 8에 도시된 바와 같이, 제2이미지(DATA2)의 제1라인 데이터(LB1)가 제1ISP 코어(233-1)로 첫 번째로 입력될 때, 제1ISP 코어(233-1)는, 제1라인 데이터(LB1)가 처리되어야 함을 지시하는 제1스위칭 제어 신호(CSF1)에 응답하여, 제1라인 데이터(LB1)를 처리할 수 있도록 각 구성 요소(500-1~500-4)의 설정을 변경할 수 있다.
제1이미지(DATA1)의 제1라인 데이터(LA1)가 제1ISP 코어(233-1)로 두 번째로 입력될 때, 제1ISP 코어(233-1)는, 제1라인 데이터(LA1)가 처리되어야 함을 지시하는 제1스위칭 제어 신호(CSF1)에 응답하여, 제1라인 데이터(LA1)를 처리할 수 있도록 각 구성 요소(500-1~500-4)의 설정을 변경할 수 있다.
제2이미지(DATA2)의 제2라인 데이터(LB2)가 제1ISP 코어(233-1)로 세 번째로 입력될 때, 제1ISP 코어(233-1)는, 제2라인 데이터(LB2)가 처리되어야 함을 지시하는 제1스위칭 제어 신호(CSF1)에 응답하여, 제2라인 데이터(LB2)를 처리할 수 있도록 각 구성 요소(500-1~500-4)의 설정을 변경할 수 있다.
즉, 제1ISP 코어(233-1)는, 현재 라인 데이터가 제1이미지(DATA1)에 포함된 라인 데이터인지 제2이미지(DATA2)에 포함된 라인 데이터인지를 지시하는 제1스위칭 제어 신호(CSF1)에 응답하여, 상기 현재 라인 데이터를 처리하기 위해 각 구성 요소(500-1~500-4)의 설정을 라인 데이터 단위로 변경할 수 있다.
도 9는 도 2 또는 도 3에 도시된 멀티플렉싱 제어 회로의 다른 실시 예를 나타내는 블록도이다.
도 9를 참조하면, 멀티플렉싱 제어 회로(231B)는 스위칭 결정 회로(410A), 제1라인 메모리(420-1), 제2라인 메모리(420-2), 선택 회로(422), 및 동기 신호 생성기(424)를 포함할 수 있다.
예컨대, 제1라인 메모리(420-1)는 제1이미지(DATA1)에 포함된 라인 데이터를 저장하고, 저장된 라인 데이터(LOUT1)를 선택 회로(422)로 전송할 수 있다. 제2라인 메모리(420-2)는 제2이미지(DATA2)에 포함된 라인 데이터를 저장하고, 저장된 라인 데이터(LOUT2)를 선택 회로(422)로 전송할 수 있다. 각 라인 메모리(420-1과 420-2)는 FIFO 메모리로 구현될 수 있다.
동기 신호 생성기(424)는 제1동기 신호(SYNC1)에 기초하여 제3동기 신호 (SYNC1')를 생성할 수 있고, 제2동기 신호(SYNC2)에 기초하여 제4동기 신호 (SYNC2')를 생성할 수 있다. 동기 신호 생성기(424)는 제1동기 신호(SYNC1)와 제2동기 신호(SYNC2)에 기초하여 제3동기 신호(SYNC1')를 생성할 수 있다.
스위칭 결정 회로(410A)는, 제1모드 제어 신호(SCS1), 제1동기 신호(SYNC1), 및 제2동기 신호(SYNC2)에 응답하여, 선택 신호(SEL)를 생성할 수 있고, 제1스위칭 제어 신호(CSF1)와 제2스위칭 제어 신호(CSF2)를 생성할 수 있다.
예컨대, 도 7을 참조하여 설명한 바와 같이, 제1동기 신호(SYNC1)의 위상이 제2동기 신호(SYNC2)의 위상보다 빠를 때, 제1이미지(DATA1)에 포함된 각 라인 데이터는 제3전송 라인(TL3)과 선택 회로(422)의 제1출력 단자(OUT1)를 통해 제1출력 데이터(LD1)로서 제1ISP 코어(233-1)로 전송될 수 있다.
그러나, 제2이미지(DATA2)에 포함된 각 라인 데이터는 제2라인 메모리(420-2)와 선택 회로(422)의 제1출력 단자(OUT1)를 통해 제1출력 데이터(LD1)로서 제1ISP 코어(233-1)로 전송될 수 있다.
예컨대, 멀티 플렉싱 제어 회로(231B)는 각 라인 데이터(LA1, LB1, LA2, LB2, LA3, 및 LB3)를 TDM 방식에 따라 순차적으로 제1ISP 코어(233-1)로 전송할 수 있다. 또한, 멀티 플렉싱 제어 회로(231B)는 각 라인 데이터(LA1, LB1, LA2, LB2, LA3, 및 LB3)의 처리에 대한 제3동기 신호(SYNC1')를 각 라인 데이터(LA1, LB1, LA2, LB2, LA3, 및 LB3)와 함께 제1ISP 코어(233-1)로 전송할 수 있다. 제3동기 신호(SYNC1')는 제1동기 신호(SYNC1)와 제2동기 신호(SYNC2)에 기초하여 생성될 수 있다.
도 8을 참조하여 설명한 바와 같이, 제1동기 신호(SYNC1)의 위상이 제2동기 신호(SYNC2)의 위상보다 느릴 때, 제2이미지(DATA2)에 포함된 각 라인 데이터는 제4전송 라인(TL4)과 선택 회로(422)의 제1출력 단자(OUT1)를 통해 제1출력 데이터 (LD1)로서 제1ISP 코어(233-1)로 전송될 수 있다.
그러나, 제1이미지(DATA1)에 포함된 각 라인 데이터는 제1라인 메모리(420-1)와 선택 회로(422)의 제1출력 단자(OUT1)를 통해 제1출력 데이터(LD1)로서 제1 ISP 코어(233-1)로 전송될 수 있다.
예컨대, 멀티 플렉싱 제어 회로(231B)는 각 라인 데이터(LB1, LA1, LB2, LA2, LB3, 및 LA3)를 TDM 방식에 따라 순차적으로 제1ISP 코어(233-1)로 전송할 수 있다. 또한, 멀티 플렉싱 제어 회로(231B)는 각 라인 데이터(LB1, LA1, LB2, LA2, LB3, 및 LA3)의 처리에 대한 제3동기 신호(SYNC1')를 각 라인 데이터(LB1, LA1, LB2, LA2, LB3, 및 LA3)와 함께 제1ISP 코어(233-1)로 전송할 수 있다. 제3동기 신호(SYNC1')는 제1동기 신호(SYNC1)와 제2동기 신호(SYNC2)에 기초하여 생성될 수 있다.
도 11은 도 1에 도시된 이미지 신호 프로세서의 또 다른 실시 예를 나타내는 블록도이다.
도 11을 참조하면, 이미지 신호 프로세서(230B)는 제1ISP 코어(601), 제2ISP 코어(603), 및 스케일링 및 포맷팅 회로(605)를 포함할 수 있다.
제1ISP 코어(601)는 제1이미징 장치(310)로부터 출력된 제1동기 신호 (SYNC1)와 제1이미지(DATA1)를 수신하고, 제1이미지(DATA1)를 처리하고, 제3이미지 (PDATA1)와 제1동기 신호(SYNC1)를 생성할 수 있다. 비록, 도 11에는 제1ISP 코어 (601)로 입력되는 제1동기 신호(SYNC1)와 제1ISP 코어(601)로부터 출력되는 제1동기 신호(SYNC1)가 서로 동일한 동기 신호로 도시되어 있으나, 제1ISP 코어(601)로 입력되는 제1동기 신호(SYNC1)와 제1ISP 코어(601)로부터 출력되는 제1동기 신호 (SYNC1)는 서로 다를 수 있다.
제2ISP 코어(603)는 제2이미징 장치(320)로부터 출력된 제2동기 신호 (SYNC2)와 제2이미지(DATA2)를 수신하고, 제2이미지(DATA2)를 처리하고, 제4이미지 (PDATA2)와 제2동기 신호(SYNC2)를 생성할 수 있다. 비록, 도 11에는 제2ISP 코어 (603)로 입력되는 제2동기 신호(SYNC2)와 제2ISP 코어(603)로부터 출력되는 제2동기 신호(SYNC2)가 서로 동일한 동기 신호로 도시되어 있으나, 제2ISP 코어(603)로 입력되는 제2동기 신호(SYNC2)와 제2ISP 코어(603)로부터 출력되는 제2동기 신호 (SYNC2)는 서로 다를 수 있다.
스케일링 및 포맷팅 회로(605)는 멀티플렉싱 제어 회로(607), 제1스케일러 (609), 제2스케일러(611), 및 포맷팅 회로(613)를 포함할 수 있다. 제1스케일러 (609)의 제1스케일링 비율(scaling ratio)와 제2스케일러(611)의 제2스케일링 비율은 동일하게 설계될 수도 있고 서로 다르게 설계될 수 있다. 제1스케일링 비율과 제2스케일링 비율 각각은 변경될 수 있다.
멀티플렉싱 제어 회로(607)는, 제2모드 제어 신호(SCS2), 제1동기 신호 (SYNC1), 및 제2동기 신호(SYNC2)에 기초하여, 제3이미지(PDATA1)에 포함된 각 라인 데이터를 제1스케일러(609) 또는 제2스케일러(611)로 전송할 수 있다. 또한, 멀티플렉싱 제어 회로(607)는, 제2모드 제어 신호(SCS2), 제1동기 신호(SYNC1), 및 제2동기 신호(SYNC2)에 기초하여, 제4이미지(PDATA2)에 포함된 각 라인 데이터를 제1스케일러(609) 또는 제2스케일러(611)로 전송할 수 있다.
제2모드 제어 신호(SCS2)에 따라 멀티플렉싱 제어 회로(607)는 제1출력 데이터(SDATA1)를 제1스케일러(609)로 출력할 수 있다.
각 이미징 장치(310과 320)의 작동 모드에 따라, 제1출력 데이터(SDATA1)는 제3이미지(PDATA1)에 포함된 각 라인 데이터를 포함할 수 있다.
각 이미징 장치(310과 320)의 작동 모드에 따라, 제1출력 데이터(SDATA1)는 제4이미지(PDATA2)에 포함된 각 라인 데이터를 포함할 수 있다.
각 이미징 장치(310과 320)의 작동 모드에 따라, 제1출력 데이터(SDATA1)는 제3이미지(PDATA1)에 포함된 복수의 라인 데이터 중에서 적어도 하나의 라인 데이터와 제4이미지(PDATA2)에 포함된 복수의 라인 데이터 중에서 적어도 하나의 라인 데이터를 포함할 수 있다.
각 이미징 장치(310과 320)의 작동 모드에 따라, 제1스케일러(609)만이 캡처 이미지를 처리하는 스케일러이고 제1이미징 장치(310)가 제1작동(예컨대, 이미지 캡처 작동)을 수행하고 제2이미징 장치(320)가 제2작동(예컨대, 프리-뷰(pre-view))을 수행할 때, 멀티플렉싱 제어 회로(607)는 제1ISP 코어(601)로부터 출력된 제3이미지(PDATA1)를 제1출력 이미지(SDATA1)로서 제1스케일러(609)로 전송할 수 있고 제2ISP 코어(603)로부터 출력된 제4이미지(PDATA2)를 제2출력 이미지(SDATA2)로서 제2스케일러(611)로 전송할 수 있다.
이때, 멀티플렉싱 제어 회로(607)는 제1출력 이미지(SDATA1)와 함께 동기 신호를 제1스케일러(609)로 전송할 수 있고, 제1출력 이미지(SDATA1)에 포함된 라인 데이터가 제3이미지(PDATA1)에 포함됨을 지시하는 제1스케일러 제어 신호(CTRL1)를 제1스케일러(609)로 전송할 수 있다. 이때, 동기 신호는 제1동기 신호(SYNC1)에 기초하여 생성될 수 있다.
또한, 멀티플렉싱 제어 회로(231)는 제2출력 이미지(SDATA2)와 함께 동기 신호를 제2스케일러(611)로 전송할 수 있고, 제2출력 이미지(SDATA2)에 포함된 라인 데이터가 제4이미지(PDATA2)와 관련됨을 지시하는 제2스케일러 제어 신호(CTRL2)를 제2스케일러(611)로 전송할 수 있다. 이때, 동기 신호는 제2동기 신호(SYNC2)에 기초하여 생성될 수 있다.
제1스케일러(609)는, 제1스케일러 제어 신호(CTRL1)에 따라, 제1출력 이미지 (SDATA1)에 포함된 각 라인 데이터를 처리할 수 있도록 구성 요소들을 설정할 수 있다. 또한, 제2스케일러(611)는, 제2스케일러 제어 신호(CTRL)에 따라, 제2출력 이미지(SDATA2)에 포함된 각 라인 데이터를 처리할 수 있도록 구성 요소들을 설정할 수 있다.
각 이미징 장치(310과 320)의 작동 모드에 따라, 제1스케일러(609)만이 캡처 이미지를 처리하는 스케일러이고 제1이미징 장치(310)가 제2작동(프리-뷰(pre-view))을 수행하고 제2이미징 장치(320)가 제1작동(예컨대, 이미지 캡처 작동)을 수행할 때, 멀티플렉싱 제어 회로(607)는 제2ISP(603)로부터 출력된 제4이미지 (PDATA2)를 제1출력 이미지(SDATA1)로서 제1스케일러(609)로 전송할 수 있고 제1ISP(601)로부터 출력된 제3이미지(PDATA1)를 제2출력 이미지(SDATA2)로서 제2스케일러(611)로 전송할 수 있다.
이때, 멀티플렉싱 제어 회로(607)는 제1출력 이미지(SDATA1=PDATA2)와 함께 동기 신호를 제1스케일러(609)로 전송할 수 있고, 제1출력 이미지(SDATA1=PDATA2)에 포함된 라인 데이터가 제4이미지(PDATA2)와 관련됨을 지시하는 제1스케일러 제어 신호(CTRL)를 제1스케일러(609)로 전송할 수 있다. 이때, 동기 신호는 제2동기 신호(SYNC2)에 기초하여 생성될 수 있다.
또한, 멀티플렉싱 제어 회로(607)는 제2출력 이미지(SDATA2=PDATA1)와 함께 동기 신호를 제2스케일러(611)로 전송할 수 있고, 제2출력 이미지(SDATA2=PDATA1)에 포함된 라인 데이터가 제3이미지(PDATA1)와 관련됨을 지시하는 제2스케일러 제어 신호(CTRL2)를 제2스케일러(611)로 전송할 수 있다. 이때, 동기 신호는 제1동기 신호(SYNC1)에 기초하여 생성될 수 있다.
제1스케일러(609)는, 제1스케일러 제어 신호(CTRL)에 따라, 제1출력 이미지 (SDATA1=PDATA2)에 포함된 각 라인 데이터를 처리할 수 있도록 구성 요소들을 설정할 수 있다. 또한, 제2스케일러(611)는, 제2스케일러 제어 신호(CTRL2)에 따라, 제2출력 이미지(SDATA2=PDATA1)에 포함된 각 라인 데이터를 처리할 수 있도록 구성 요소들을 설정할 수 있다.
각 이미징 장치(310과 320)의 작동 모드에 따라, 제1스케일러(609)만이 캡처 이미지를 처리하는 스케일러이고 제1이미징 장치(310)가 제1작동(예컨대, 이미지 캡처 작동)을 수행하고 제2이미징 장치(320)가 상기 제1작동을 수행할 때, 멀티플렉싱 제어 회로(607)는 제1ISP(601)로부터 출력된 제3이미지(PDATA1)를 제1출력 이미지(SDATA1=PDATA1)로서 제1스케일러(609)로 전송할 수 있고 제2ISP(603)로부터 출력된 제4이미지(PDATA2)를 제1출력 이미지(SDATA1=PDATA2)로서 제1스케일러(609)로 전송할 수 있다.
이때, 멀티플렉싱 제어 회로(607)는 제1출력 이미지(SDATA1)와 함께 동기 신호를 제1스케일러(609)로 전송할 수 있고, 제1출력 이미지(SDATA1)에 포함된 라인 데이터가 제3이미지(PDATA1) 또는 제4이미지(PDATA2)와 관련됨을 지시하는 제1스케일러 제어 신호(CTRL1)를 제1스케일러(609)로 전송할 수 있다. 이때, 동기 신호는 제1동기 신호(SYNC1)와 제2동기 신호(SYNC1)에 기초하여 생성될 수 있다.
이때, 제1출력 이미지(SDATA1)는 제3이미지(PDATA1)에 포함된 복수의 라인 데이터 중에서 적어도 하나의 라인 데이터와 제4이미지(PDATA2)에 포함된 복수의 라인 데이터 중에서 적어도 하나를 포함할 수 있다. 즉, 멀티플렉싱 제어 회로 (607)는 라인 데이터 인터리빙 방식에 따라 라인 데이터 단위로 시간-분할된 라인 데이터를 제1스케일러(609)로 전송할 수 있다.
제1스케일러(609)는, 제1스케일러 제어 신호(CTRL1)에 따라, 제1출력 이미지 (SDATA1)에 대한 스케일 작동을 수행하고 제1스케일된 이미지(SDATA3)를 출력할 수 있다. 제2스케일러(611)는, 제2스케일러 제어 신호(CTRL2)에 따라, 제2출력 이미지 (SDATA2)에 대한 스케일 작동을 수행하고 제2스케일된 이미지(SDATA4)를 출력할 수 있다.
각 스케일러(609와 611)에 의해 수행되는 스케일 작동은 스케일-업 작동 또는 스케일-다운 작동을 의미할 수 있다. 상기 스케일-업 작동은 업-스케일 작동 또는 업-샘플링 작동을 의미할 수 있고, 상기 스케일-다운 작동은 다운-스케일 작동 또는 다운-샘플링 작동을 의미할 수 있다.
각 스케일러(609와 611)는 제1출력 이미지(SDATA1) 및/또는 제2출력 이미지 (SDATA2)를 버퍼(620)에 저장할 수 있다. 제1출력 이미지(SDATA1)는 버퍼(620)의 제1메모리 영역(621)에 저장될 수 있고, 제2출력 이미지(SDATA2)는 버퍼(620)의 제2메모리 영역(622)에 저장될 수 있다.
각 스케일러(609와 611)는 버퍼(620)에 저장된 제1출력 이미지(SDATA1)에 포함된 복수의 라인 데이터(LA1, LA2, ...) 및/또는 버퍼(620)에 저장된 제2출력 이미지(SDATA2)에 포함된 복수의 라인 데이터(LB1, LB2, ...)를 이용하여 스케일 작동을 수행할 수 있다. 포맷팅 회로(613)는 각 스케일러(609와 611)에 의해 스케일된 이미지(SDATA3과 SDATA4)의 포맷을 결정할 수 있다.
도 12는 도 11에 도시된 멀티플렉싱 제어 회로의 일 실시 예를 나타내는 블록도이다. 도 12를 참조하면, 멀티플렉싱 제어 회로(607A)는 스위칭 결정 회로 (630), 제1선택 회로(632), 라인 메모리(634), 및 제2선택 회로(636)를 포함할 수 있다.
제2모드 제어 신호(SCS2)는 스케일러들(609와 611) 각각의 작동을 지시하는 지시 신호일 수 있다. 스케일러들(609와 611) 중에서 제1스케일러(609)가 캡처된 이미지를 스케일할 수 있는 스케일러이고, 제1이미징 장치(310)와 제2이미징 장치 (320)가 캡처 모드로 작동한다고 가정한다.
경우 3(CASE3)을 참조하면, 제1동기 신호(SYNC1)의 위상이 제2동기 신호 (SYNC2)의 위상보다 빠를 때, 멀티플렉싱 제어 회로(607A)는 도 7에 도시된 타이밍 도와 실질적으로 동일 또는 유사하게 제3이미지(PDATA1)에 포함된 각 라인 데이터를 처리하고 제4이미지(PDATA2)에 포함된 각 라인 데이터를 처리한다.
예컨대, 제1동기 신호(SYNC1)와 관련된 제3이미지(PDATA1)에 포함된 각 라인 데이터는 제5전송 라인(TL5)과 제2선택 회로(636)를 통해 제1출력 데이터(SDATA1)로서 제1스케일러(609)로 전송되고, 제2동기 신호(SYNC2)와 관련된 제4이미지 (PDATA2)에 포함된 각 라인 데이터는 제1선택 회로(632), 라인 메모리(634), 및 제2선택 회로(636)를 통해 제1출력 데이터(SDATA1)로서 제1스케일러(609)로 전송된다.
예컨대, 스위칭 결정 회로(630)는 제2레벨을 갖는 제1선택 신호(SEL1)를 출력할 수 있다. 제1선택 회로(632)는, 제2레벨을 갖는 제1선택 신호(SEL1)에 응답하여, 제4이미지(PDATA2)에 포함된 각 라인 데이터를 출력 신호(MOUT)로서 출력할 수 있다. 라인 메모리(634)는 제1선택 회로(632)로부터 출력된 라인 데이터(MOUT)를 출력 데이터(MOUT)로서 제2선택 회로(636)로 출력할 수 있다.
제2선택 회로(363)는 제5전송 라인(TL5)을 통해 전송되는 제3이미지(PDATA1)에 포함된 각 라인 데이터 또는 라인 메모리(634)로부터 출력되는 제4이미지 (PDATA2)에 포함된 각 라인 데이터를 제1출력 데이터(SDATA1)로서 출력할 수 있다.
경우 4(CASE4)를 참조하면, 제1동기 신호(SYNC1)의 위상이 제2동기 신호 (SYNC2)의 위상보다 뒤질 때, 멀티플렉싱 제어 회로(607A)는 도 8에 도시된 타이밍 도와 실질적으로 동일 또는 유사하게 제4이미지(PDATA2)에 포함된 각 라인 데이터를 처리하고 제3이미지(PDATA1)에 포함된 각 라인 데이터를 처리한다.
예컨대, 제2동기 신호(SYNC2)와 관련된 제4이미지(PDATA2)에 포함된 각 라인 데이터는 제6전송 라인(TL6)과 제2선택 회로(636)를 통해 제1출력 데이터(SDATA1)로서 제1스케일러(609)로 전송되고, 제1동기 신호(SYNC1)와 관련된 제3이미지 (PDATA1)에 포함된 각 라인 데이터는 제1선택 회로(632), 라인 메모리(634), 및 제2선택 회로(636)를 통해 제1출력 데이터(SDATA1)로서 제1스케일러(609)로 전송된다.
예컨대, 스위칭 결정 회로(630)는 제1레벨을 갖는 제1선택 신호(SEL1)를 출력할 수 있다. 제1선택 회로(632)는, 제1레벨을 갖는 제1선택 신호(SEL1)에 응답하여, 제3이미지(PDATA3)에 포함된 각 라인 데이터를 출력 신호(MOUT)로서 출력할 수 있다. 라인 메모리(634)는 제1선택 회로(632)로부터 출력된 라인 데이터(MOUT)를 출력 데이터(MOUT)로서 제2선택 회로(636)로 출력할 수 있다.
제2선택 회로(363)는 제6전송 라인(TL6)을 통해 전송되는 제4이미지(PDATA2)에 포함된 각 라인 데이터 또는 라인 메모리(634)로부터 출력되는 제3이미지(PDATA1)에 포함된 각 라인 데이터를 제1출력 데이터(SDATA1)로서 출력할 수 있다.
도 13은 도 12에 도시된 멀티플렉싱 제어 회로에 의해 수행되는 라인 데이터 단위 시간-분할 멀티플렉싱의 실시 예들을 나타내는 타이밍 도이다.
도 13의 (a)를 참조하면, 멀티플렉싱 제어 회로(607A)는 제3이미지(PDATA1)에 포함된 제1라인 데이터(LA1), 제4이미지(PDATA2)에 포함된 제1라인 데이터 (LB1), 제3이미지(PDATA1)에 포함된 제2라인 데이터(LA2), 및 제4이미지(PDATA2)에 포함된 제2라인 데이터(LB2)를 제1출력 데이터(SDATA1)로서 제1스케일러(609)로 출력할 수 있다. 예컨대, 도 13의 (a)에 도시된 바와 같이, 서로 다른 이미지 장치들(310과 320)로부터 출력된 라인 데이터(LA1, LB1, LA2, 및 LB2, …)는 하나의 스트림 또는 하나의 비트스트림으로 제1스케일러(609)로 전송될 수 있다.
도 13의 (b)를 참조하면, 멀티플렉싱 제어 회로(607A)는 제3이미지(PDATA1)에 포함된 2개의 라인 데이터(LA1과 LA2) 마다 제4이미지(PDATA2)에 포함된 하나의 라인 데이터(LB1)를 제1출력 데이터(SDATA1)로서 제1스케일러(609)로 출력할 수 있다. 예컨대, 도 13의 (b)에 도시된 바와 같이, 서로 다른 이미지 장치들(310과 320)로부터 출력된 라인 데이터(LA1, LA2, LB1, 및 LA3, …)는 하나의 스트림 또는 하나의 비트스트림으로 제1스케일러(609)로 전송될 수 있다.
도 13의 (c)를 참조하면, 멀티플렉싱 제어 회로(607A)는 제3이미지(PDATA1)에 포함된 3개의 라인 데이터(LA1~LA3) 마다 제4이미지(PDATA2)에 포함된 하나의 라인 데이터(LB1)를 제1출력 데이터(SDATA1)로서 제1스케일러(609)로 출력할 수 있다. 예컨대, 도 13의 (c)에 도시된 바와 같이, 서로 다른 이미지 장치들(310과 320)로부터 출력된 라인 데이터(LA1, LA2, LA3, 및 LB1, …)는 하나의 스트림 또는 하나의 비트스트림으로 제1스케일러(609)로 전송될 수 있다. 하나의 스트림 또는 하나의 비트스트림에 포함되는 라인 데이터의 순서와 개수는 실시 예들에 따라 다양하게 변경될 수 있다.
도 14는 도 11에 도시된 멀티플렉싱 제어 회로의 다른 실시 예를 나타내는 블록도이다.
도 14를 참조하면, 멀티플렉싱 제어 회로(607B)는 스위칭 결정 회로(640), 제1라인 메모리(642), 제2라인 메모리(644), 및 선택 회로(646)를 포함할 수 있다.
제2모드 제어 신호(SCS2)는 스케일러들(609와 611) 각각의 작동을 지시하는 지시 신호일 수 있다. 스케일러들(609와 611) 중에서 제1스케일러(609)가 캡처된 이미지를 스케일할 수 있는 스케일러이고, 제1이미징 장치(310)와 제2이미징 장치 (320)가 캡처 모드로 작동한다고 가정한다.
경우 3(CASE3)을 참조하면, 제1동기 신호(SYNC1)의 위상이 제2동기 신호 (SYNC2)의 위상보다 앞설 때(lead), 멀티플렉싱 제어 회로(607B)는 도 7에 도시된 타이밍 도와 실질적으로 동일 또는 유사하게 제3이미지(PDATA1)에 포함된 각 라인 데이터를 처리하고 제4이미지(PDATA2)에 포함된 각 라인 데이터를 처리할 수 있다.
예컨대, 제1동기 신호(SYNC1)와 관련된 제3이미지(PDATA1)에 포함된 각 라인 데이터는 제7전송 라인(TL7)과 선택 회로(636)를 통해 제1출력 데이터(SDATA1)로서 제1스케일러(609)로 전송되고, 제2동기 신호(SYNC2)와 관련된 제4이미지(PDATA2)에 포함된 각 라인 데이터는 제2라인 메모리(644)와 선택 회로(646)를 통해 제1출력 데이터(SDATA1)로서 제1스케일러(609)로 전송된다.
선택 회로(646)는 제7전송 라인(TL7)을 통해 전송되는 제3이미지(PDATA1)에 포함된 각 라인 데이터 또는 제2라인 메모리(644)로부터 출력되는 제4이미지 (PDATA2)에 포함된 각 라인 데이터(MOUT2)를 제1출력 데이터(SDATA1)로서 출력할 수 있다.
경우 4(CASE4)를 참조하면, 제1동기 신호(SYNC1)의 위상이 제2동기 신호 (SYNC2)의 위상보다 뒤질 때, 멀티플렉싱 제어 회로(607B)는 도 8에 도시된 타이밍 도와 실질적으로 동일 또는 유사하게 제4이미지(PDATA2)에 포함된 각 라인 데이터를 처리하고 제3이미지(PDATA1)에 포함된 각 라인 데이터를 처리한다.
예컨대, 제2동기 신호(SYNC2)와 관련된 제4이미지(PDATA2)에 포함된 각 라인 데이터는 제8전송 라인(TL8)과 선택 회로(646)를 통해 제1출력 데이터(SDATA1)로서 제1스케일러(609)로 전송되고, 제1동기 신호(SYNC1)와 관련된 제3이미지(PDATA1)에 포함된 각 라인 데이터는 제1라인 메모리(642)와 선택 회로(646)를 통해 제1출력 데이터(SDATA1)로서 제1스케일러(609)로 전송된다.
선택 회로(646)는 제8전송 라인(TL8)을 통해 전송되는 제4이미지(PDATA2)에 포함된 각 라인 데이터 또는 제1라인 메모리(642)로부터 출력되는 제3이미지 (PDATA1)에 포함된 각 라인 데이터(MOUT1)를 제1출력 데이터(SDATA1)로서 출력할 수 있다.
선택 회로(646)는 도 13의 (a), (b), 또는 (c)에 도시된 라인 데이터 인터리빙 방식에 따라 라인 데이터 단위로 이미지(PDATA1 또는 PDATA2)에 포함된 라인 데이터를 제1출력 데이터(SDATA1)로서 제1스케일러(609)로 전송할 수 있.
도 15는 도 1에 도시된 이미지 신호 프로세서의 또 다른 실시 예를 나타내는 블록도이다. 도 15를 참조하면, 이미지 신호 프로세서(230C)는 제1 ISP 코어(701), 제1 ISP 코어(702), 스케일링 및 포맷팅 회로(708), 및 DMA 컨트롤러(707)를 포함할 수 있다.
제1 ISP 코어(701)는 제1이미징 장치(310)로부터 출력된 제1이미지를 제1인터페이스(220-1)를 통해 수신하고, 상기 제1이미지를 처리하고, 처리된 제1이미지를 스케일링 및 포맷팅 회로(708)로 전송할 수 있다. 제2 ISP 코어(703)는 제2이미징 장치(320)로부터 출력된 제2이미지를 제2인터페이스(220-2)를 통해 수신하고, 상기 제2이미지를 처리하고, 처리된 제2이미지를 스케일링 및 포맷팅 회로(708)로 전송할 수 있다.
제1이미지는 캡처된 이미지이고, 제2이미지는 프리-뷰를 위한 이미지라고 가정한다. 이때, 스케일링 및 포맷팅 회로(708)는 상기 제1이미지를 제1포맷을 갖는 이미지로 변환하고 제1포맷을 갖는 제1이미지(CAPTURE1)를 생성하고, 스케일링 및 포맷팅 회로(708)는 상기 제2이미지를 제2포맷을 갖는 이미지로 변환하고 제2포맷을 갖는 제2이미지(CAPTURE2)를 생성할 수 있다.
스케일링 및 포맷팅 회로(708)는 DMA 컨트롤러(707)를 이용하여 제1포맷을 갖는 제1이미지(CAPTURE1)와 제2포맷을 갖는 제2이미지(CAPTURE2)를 버스 구조(201)로 전송할 수 있다.
도 16은 도 1에 도시된 이미지 신호 프로세서의 작동을 설명하는 플로우차트이다.
본 발명의 실시 예에 따른 ISP(230)는 서로 다른 이미징 장치들(310과 320) 각각으로부터 출력된 복수의 프레임 데이터(DATA1과 DATA2) 각각을 라인 데이터 단위로 시간-분할 멀티플렉싱할 수 있다(S110).
ISP(230)는 시간-분할 멀티플렉스된 복수의 라인 데이터 각각을 복수의 데이터 처리 회로들 중에서 어느 하나의 데이터 처리 회로로 전송할 수 있다(S120). 복수의 데이터 처리 회로들은 ISP 코어들 또는 스케일러들을 의미할 수 있다.
ISP(230)는, 어느 하나의 데이터 처리 회로를 이용하여, 시간-분할 멀티플렉스된 복수의 라인 데이터 각각을 처리할 수 있다(S130).
ISP(230)는, DMA 컨트롤러를 이용하여, 상기 어느 하나의 데이터 처리 회로에 의해 처리된 각 라인 데이터를 외부 메모리(330)에 저장할 수 있다. 외부 메모리(330)에는 프레임 데이터 단위로 저장될 수 있다(S140).
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 데이터 처리 시스템
200: 프로세서
230: 이미지 신호 프로세서
231: 멀티플렉싱 제어 회로
233-1: 제1ISP 코어
233-2: 제2ISP 코어
235: 스케일링 및 포맷팅 회로
239: 멀티미디어 처리 회로
310: 제1이미징 장치
320: 제2이미징 장치

Claims (20)

  1. 제1데이터 처리 회로;
    제2데이터 처리 회로; 및
    제1프레임 데이터에 포함된 제1라인 데이터와 제2프레임 데이터에 포함된 제2라인 데이터를 시간-분할 멀티플렉싱 방식으로 상기 제1데이터 처리 회로로 전송하는 멀티플렉싱 제어 회로를 포함하고,
    상기 멀티플렉싱 제어 회로는 상기 제1데이터 처리 회로로 전송될 현재 라인 데이터가 상기 제1라인 데이터인지 상기 제2라인 데이터인지를 나타내는 스위칭 제어 신호를 상기 제1데이터 처리 회로로 전송하고,
    상기 멀티플렉싱 제어 회로는 상기 제1프레임 데이터와 관련된 제1동기 신호 및 상기 제2프레임 데이터와 관련된 제2동기 신호를 수신하고,
    상기 제1동기 신호 및 상기 제2동기 신호는 서로 상이하고, 그리고
    상기 제1라인 데이터 및 상기 제2라인 데이터를 처리하는 순서는 상기 제1동기 신호의 위상 및 상기 제2동기 신호의 위상에 기초하여 결정되는 이미지 신호 프로세서.
  2. 제1항에 있어서,
    상기 제1프레임 데이터는 제1해상도를 갖는 제1이미징 장치에 의해 캡처된 프레임 데이터이고,
    상기 제2프레임 데이터는 제2해상도를 갖는 제2이미징 장치에 의해 캡처된 프레임 데이터인 이미지 신호 프로세서.
  3. 제1항에 있어서,
    상기 이미지 신호 프로세서는 제1버퍼와 제2버퍼를 더 포함하고,
    상기 제1데이터 처리 회로는 상기 제1라인 데이터를 상기 제1버퍼에 저장하고 상기 제2라인 데이터를 상기 제2버퍼에 저장하는 메모리 컨트롤러를 포함하는 이미지 신호 프로세서.
  4. 제1항에 있어서, 상기 제1데이터 처리 회로는,
    상기 현재 라인 데이터가 상기 제1라인 데이터임을 지시하는 상기 스위칭 제어 신호에 응답하여, 상기 제1라인 데이터를 처리하는 구성 요소들을 제1구성으로 설정하고,
    상기 현재 라인 데이터가 상기 제2라인 데이터임을 지시하는 상기 스위칭 제어 신호에 응답하여, 상기 제2라인 데이터를 처리하는 상기 구성 요소들을 제2구성으로 설정하는 이미지 신호 프로세서.
  5. 제1항에 있어서,
    상기 제1데이터 처리 회로는 제1이미지 신호 프로세서 코어이고,
    상기 제2데이터 처리 회로는 제2이미지 신호 프로세서 코어인 이미지 신호 프로세서.
  6. 제1항에 있어서,
    상기 제1데이터 처리 회로는 제1스케일러이고,
    상기 제2데이터 처리 회로는 제2스케일러인 이미지 신호 프로세서.
  7. 제1항에 있어서, 상기 멀티플렉싱 제어 회로는,
    상기 제1동기 신호의 위상 및 상기 제2동기 신호의 위상 중 어느 한 위상이 상기 제1 동기 신호의 위상 및 상기 제2 동기 신호의 위상 중 또 다른 위상보다 느릴 때, 상기 제1라인 데이터 및 상기 제2라인 데이터 중 상기 또 다른 위상에 대응하는 라인 데이터를 상기 제1라인 데이터 및 상기 제2라인 데이터 중 상기 어느 한 위상에 대응하는 라인 데이터보다 먼저 상기 제1데이터 처리 회로로 전송하는 이미지 신호 프로세서.
  8. 제7항에 있어서, 상기 멀티플렉싱 제어 회로는,
    상기 제1라인 데이터와 상기 제2라인 데이터 중에서 상기 어느 한 위상에 대응하는 라인 데이터를 저장하는 라인 메모리를 포함하는 이미지 신호 프로세서.
  9. 제1항에 있어서,
    상기 멀티플렉싱 제어 회로는 상기 제1라인 데이터와 상기 제2라인 데이터를 하나의 스트림으로 상기 제1데이터 처리 회로로 전송하는 이미지 신호 프로세서.
  10. 버스;
    상기 버스에 접속된 이미지 신호 프로세서; 및
    상기 버스에 접속되고 상기 이미지 신호 프로세서를 제어하는 CPU를 포함하고,
    상기 이미지 신호 프로세서는,
    제1데이터 처리 회로;
    제2데이터 처리 회로;
    제1해상도를 갖는 제1프레임 데이터에 포함된 제1라인 데이터와 제2해상도를 갖는 제2프레임 데이터에 포함된 제2라인 데이터를 시간-분할 멀티플렉싱 방식으로 상기 제1데이터 처리 회로로 전송하는 멀티플렉싱 제어 회로를 포함하고,
    상기 멀티플렉싱 제어 회로는 상기 제1데이터 처리 회로로 전송될 현재 라인 데이터가 상기 제1라인 데이터인지 상기 제2라인 데이터인지를 나타내는 스위칭 제어 신호를 상기 제1데이터 처리 회로로 전송하고,
    상기 멀티플렉싱 제어 회로는 상기 제1프레임 데이터와 관련된 제1동기 신호 및 상기 제2프레임 데이터와 관련된 제2동기 신호를 수신하고,
    상기 제1동기 신호 및 상기 제2동기 신호는 서로 상이하고, 그리고
    상기 제1라인 데이터 및 상기 제2라인 데이터를 처리하는 순서는 상기 제1동기 신호의 위상 및 상기 제2동기 신호의 위상에 기초하여 결정되는 애플리케이션 프로세서.
  11. 제10항에 있어서,
    상기 멀티플렉싱 제어 회로는 상기 제1라인 데이터와 상기 제2라인 데이터를 하나의 스트림으로 상기 제1데이터 처리 회로로 전송하는 애플리케이션 프로세서.
  12. 제10항에 있어서,
    상기 이미지 신호 프로세서는 제1버퍼와 제2버퍼를 더 포함하고,
    상기 제1데이터 처리 회로는 상기 제1라인 데이터를 상기 제1버퍼에 저장하고 상기 제2라인 데이터를 상기 제2버퍼에 저장하는 메모리 컨트롤러를 포함하는 애플리케이션 프로세서.
  13. 제10항에 있어서, 상기 제1데이터 처리 회로는,
    상기 현재 라인 데이터가 상기 제1라인 데이터임을 지시하는 상기 스위칭 제어 신호에 응답하여, 상기 제1라인 데이터를 처리하는 구성 요소들을 제1구성으로 설정하고,
    상기 현재 라인 데이터가 상기 제2라인 데이터임을 지시하는 상기 스위칭 제어 신호에 응답하여, 상기 제2라인 데이터를 처리하는 상기 구성 요소들을 제2구성으로 설정하는 애플리케이션 프로세서.
  14. 제10항에 있어서,
    상기 제1데이터 처리 회로는 제1이미지 신호 프로세서 코어이고,
    상기 제2데이터 처리 회로는 제2이미지 신호 프로세서 코어인 애플리케이션 프로세서.
  15. 제10항에 있어서,
    상기 제1데이터 처리 회로는 제1스케일러이고,
    상기 제2데이터 처리 회로는 제2스케일러인 애플리케이션 프로세서.
  16. 제10항에 있어서, 상기 멀티플렉싱 제어 회로는,
    상기 제1동기 신호의 위상 및 상기 제2동기 신호의 위상 중 어느 한 위상이 상기 제1 동기 신호의 위상 및 상기 제2 동기 신호의 위상 중 또 다른 위상보다 느릴 때, 상기 제1라인 데이터 및 상기 제2라인 데이터 중 상기 또 다른 위상에 대응하는 라인 데이터를 상기 제1라인 데이터 및 상기 제2라인 데이터 중 상기 어느 한 위상에 대응하는 라인 데이터보다 먼저 상기 제1데이터 처리 회로로 전송하는 애플리케이션 프로세서.
  17. 제16항에 있어서, 상기 멀티플렉싱 제어 회로는,
    상기 제1라인 데이터와 상기 제2라인 데이터 중에서 상기 어느 한 위상에 대응하는 라인 데이터를 저장하는 라인 메모리를 포함하는 애플리케이션 프로세서.
  18. 제1해상도를 갖는 제1이미징 장치;
    제2해상도를 갖는 제2이미징 장치; 및
    상기 제1이미징 장치와 상기 제2이미징 장치에 접속된 애플리케이션 프로세서를 포함하고,
    상기 애플리케이션 프로세서는,
    버스;
    상기 버스에 접속된 이미지 신호 프로세서; 및
    상기 버스에 접속되고 상기 이미지 신호 프로세서를 제어하는 CPU를 포함하고,
    상기 이미지 신호 프로세서는,
    제1데이터 처리 회로;
    제2데이터 처리 회로;
    상기 제1이미징 장치로부터 출력된 제1프레임 데이터에 포함된 제1라인 데이터와 상기 제2이미징 장치로부터 출력된 제2프레임 데이터에 포함된 제2라인 데이터를 시간-분할 멀티플렉싱 방식으로 상기 제1데이터 처리 회로로 전송하는 멀티플렉싱 제어 회로를 포함하고,
    상기 멀티플렉싱 제어 회로는 상기 제1데이터 처리 회로로 전송될 현재 라인 데이터가 상기 제1라인 데이터인지 상기 제2라인 데이터인지를 나타내는 스위칭 제어 신호를 상기 제1데이터 처리 회로로 전송하고,
    상기 멀티플렉싱 제어 회로는 상기 제1프레임 데이터와 관련된 제1동기 신호 및 상기 제2프레임 데이터와 관련된 제2동기 신호를 수신하고,
    상기 제1동기 신호 및 상기 제2동기 신호는 서로 상이하고, 그리고
    상기 제1라인 데이터 및 상기 제2라인 데이터를 처리하는 순서는 상기 제1동기 신호의 위상 및 상기 제2동기 신호의 위상에 기초하여 결정되는 모바일 컴퓨팅 장치.
  19. 제18항에 있어서, 상기 제1데이터 처리 회로는,
    상기 현재 라인 데이터가 상기 제1라인 데이터임을 지시하는 상기 스위칭 제어 신호에 응답하여, 상기 제1라인 데이터를 처리하는 구성 요소들을 제1구성으로 설정하고,
    상기 현재 라인 데이터가 상기 제2라인 데이터임을 지시하는 상기 스위칭 제어 신호에 응답하여, 상기 제2라인 데이터를 처리하는 상기 구성 요소들을 제2구성으로 설정하는 모바일 컴퓨팅 장치.
  20. 제18항에 있어서,
    상기 멀티플렉싱 제어 회로는, 상기 제1동기 신호의 위상 및 상기 제2동기 신호의 위상 중 어느 한 위상이 상기 제1 동기 신호의 위상 및 상기 제2 동기 신호의 위상 중 또 다른 위상보다 느릴 때, 상기 제1라인 데이터 및 상기 제2라인 데이터 중 상기 또 다른 위상에 대응하는 라인 데이터를 상기 제1라인 데이터 및 상기 제2라인 데이터 중 상기 어느 한 위상에 대응하는 라인 데이터보다 먼저 상기 제1데이터 처리 회로로 전송하고,
    상기 멀티플렉싱 제어 회로는, 상기 제1라인 데이터와 상기 제2라인 데이터 중에서 상기 어느 한 위상에 대응하는 라인 데이터를 저장하는 라인 메모리를 포함하는 모바일 컴퓨팅 장치.
KR1020150025390A 2015-02-23 2015-02-23 이미지 신호 프로세서와 이를 포함하는 장치들 Active KR102459917B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150025390A KR102459917B1 (ko) 2015-02-23 2015-02-23 이미지 신호 프로세서와 이를 포함하는 장치들
US14/991,103 US10282805B2 (en) 2015-02-23 2016-01-08 Image signal processor and devices including the same
TW105101248A TWI700633B (zh) 2015-02-23 2016-01-15 影像訊號處理器以及包括其之裝置
DE102016201686.5A DE102016201686A1 (de) 2015-02-23 2016-02-04 Bildsignalprozessor und vorrichtungen, die diesen umfassen
CN201610098417.5A CN105915780B (zh) 2015-02-23 2016-02-23 图像信号处理器和包括图像信号处理器的装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150025390A KR102459917B1 (ko) 2015-02-23 2015-02-23 이미지 신호 프로세서와 이를 포함하는 장치들

Publications (2)

Publication Number Publication Date
KR20160102823A KR20160102823A (ko) 2016-08-31
KR102459917B1 true KR102459917B1 (ko) 2022-10-27

Family

ID=56553531

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150025390A Active KR102459917B1 (ko) 2015-02-23 2015-02-23 이미지 신호 프로세서와 이를 포함하는 장치들

Country Status (5)

Country Link
US (1) US10282805B2 (ko)
KR (1) KR102459917B1 (ko)
CN (1) CN105915780B (ko)
DE (1) DE102016201686A1 (ko)
TW (1) TWI700633B (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102557662B1 (ko) 2017-02-09 2023-07-19 삼성전자주식회사 이미지 처리 장치 및 이를 포함하는 전자 장치
US10334149B2 (en) * 2017-02-23 2019-06-25 Qualcomm Incorporated Adjustment for cameras for low power mode operation
TWI622810B (zh) * 2017-04-26 2018-05-01 和碩聯合科技股份有限公司 成像裝置及成像方法
KR102204596B1 (ko) * 2017-06-02 2021-01-19 삼성전자주식회사 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법
TWI640957B (zh) 2017-07-26 2018-11-11 聚晶半導體股份有限公司 影像處理晶片與影像處理系統
CN107645647A (zh) * 2017-09-21 2018-01-30 京信通信系统（中国）有限公司 一种多路音视频传输方法及装置
CN108540689B (zh) * 2018-04-09 2020-10-02 珠海全志科技股份有限公司 图像信号处理器、应用处理器及移动装置
US11176386B2 (en) * 2019-07-08 2021-11-16 Nxp Usa, Inc. System and method for continuous operation of vision/radar systems in presence of bit errors
CN110988661B (zh) * 2019-12-09 2022-11-11 上海思尔芯技术股份有限公司 一种fpga原型验证开发板时分分析系统、方法、介质及终端
CN111372048B (zh) * 2020-03-04 2022-03-25 深圳市迈普视通科技有限公司 图像预监处理设备及其方法、现场可编程逻辑门阵列
KR20210150704A (ko) 2020-06-04 2021-12-13 삼성전자주식회사 라인 인터리빙 컨트롤러 및 이를 포함하는 이미지 신호 프로세서
CN112165560B (zh) * 2020-09-09 2023-07-04 广州安凯微电子股份有限公司 一种图像信号处理方法、系统、计算机设备和存储介质
US11729318B2 (en) * 2020-11-18 2023-08-15 Micron Technology, Inc. Directing communication of data from an image sensor
CN114974165A (zh) * 2021-02-22 2022-08-30 联咏科技股份有限公司 显示驱动器集成电路、图像处理器及其操作方法
KR102258501B1 (ko) * 2021-03-10 2021-05-31 주봉정보시스템 주식회사 Fpga 기반의 다 채널 영상 조합 출력 장치
US11562460B1 (en) * 2021-06-25 2023-01-24 Meta Platforms, Inc. High performance hardware scaler
CN114155136B (zh) * 2021-12-08 2025-05-23 北京紫光展锐通信技术有限公司 一种isp的确定方法、电子设备和存储介质
US12289535B2 (en) * 2022-08-22 2025-04-29 Qualcomm Incorporated Systems and methods for multi-context image capture
US12316981B2 (en) 2023-06-05 2025-05-27 Nxp B.V. Real time stream camera ISP with loosely coupled control loop
CN119299601B (zh) * 2024-12-09 2025-03-11 湖北芯擎科技有限公司 多视频流处理方法、装置、设备及计算机可读存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6493878B1 (en) * 1988-10-17 2002-12-10 Lord Samuel A Kassatly Method and apparatus for tv broadcasting and reception
JPH0676051A (ja) 1992-08-26 1994-03-18 Olympus Optical Co Ltd 並列画像処理装置
US6567564B1 (en) 1996-04-17 2003-05-20 Sarnoff Corporation Pipelined pyramid processor for image processing systems
CN1112654C (zh) 1998-06-25 2003-06-25 松下电器产业株式会社 图像处理装置
JP3586131B2 (ja) 1999-03-05 2004-11-10 Ｔｄｋ株式会社 高速画像処理装置
US7064778B1 (en) * 1999-09-10 2006-06-20 Pelco Incorporated Multi-camera system for implementing digital slow shutter video processing using shared video memory
JP2004173118A (ja) * 2002-11-22 2004-06-17 Matsushita Electric Ind Co Ltd 音声画像多重化データ生成装置と再生装置および動画像復号化装置
TWI227840B (en) * 2003-12-03 2005-02-11 Via Tech Inc Method and apparatus for multiplying based on Booth's algorithm
KR100636969B1 (ko) 2004-12-30 2006-10-19 매그나칩 반도체 유한회사 Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템
KR100747598B1 (ko) * 2005-12-09 2007-08-08 한국전자통신연구원 디지털방송 기반의 3차원 입체영상 송수신 시스템 및 그방법
JP2008131498A (ja) 2006-11-22 2008-06-05 Matsushita Electric Ind Co Ltd 映像処理装置
KR101221914B1 (ko) * 2007-04-06 2013-01-15 엘지전자 주식회사 디지털 방송 신호 송신 장치 및 방법
KR100985003B1 (ko) 2008-03-10 2010-10-04 (주)세미솔루션 멀티 ｃｃｄ 센서의 영상처리 장치 및 그 영상처리 방법
JP5469911B2 (ja) * 2009-04-22 2014-04-16 ソニー株式会社 送信装置および立体画像データの送信方法
US8897602B2 (en) 2009-07-22 2014-11-25 Aptina Imaging Corporation Imaging system with multiframe scaler
KR101069378B1 (ko) * 2009-11-06 2011-09-30 연세대학교 산학협력단 스케일러블 비디오 스트림 다중화 장치 및 방법
CN102131119A (zh) * 2010-01-14 2011-07-20 索尼公司 信息处理设备、信息处理方法和程序
US20110317034A1 (en) * 2010-06-28 2011-12-29 Athreya Madhu S Image signal processor multiplexing
US8493482B2 (en) 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method
JP5658548B2 (ja) * 2010-12-08 2015-01-28 キヤノン株式会社 画像信号処理装置、画像信号処理方法、およびプログラム
US20120251085A1 (en) * 2011-03-31 2012-10-04 Hown Cheng Video multiplexing
US8988558B2 (en) * 2011-04-26 2015-03-24 Omnivision Technologies, Inc. Image overlay in a mobile device
JP5907687B2 (ja) 2011-09-14 2016-04-26 オリンパス株式会社 撮像装置および信号転送装置
KR20150025390A (ko) 2013-08-29 2015-03-10 주식회사 현대케피코 이중화 센서의 고장 분리 장치 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
미국등록특허 제8810563호(2014.08.19.) 1부.*

Also Published As

Publication number Publication date
US20160227160A1 (en) 2016-08-04
CN105915780B (zh) 2020-10-23
US10282805B2 (en) 2019-05-07
CN105915780A (zh) 2016-08-31
TWI700633B (zh) 2020-08-01
DE102016201686A1 (de) 2016-08-25
KR20160102823A (ko) 2016-08-31
TW201631466A (zh) 2016-09-01

Similar Documents

Publication Publication Date Title
KR102459917B1 (ko) 이미지 신호 프로세서와 이를 포함하는 장치들
US20170099435A1 (en) Image Generation Method Based On Dual Camera Module And Dual Camera Apparatus
JP2008167349A (ja) 画像表示制御装置
US12052513B2 (en) Image processors and image processing methods
US7996603B2 (en) DRAM controller that forces a refresh after a failed refresh request
CN110225316B (zh) 一种软硬协同的多路视频处理装置及系统
CN108540689B (zh) 图像信号处理器、应用处理器及移动装置
CN117336425A (zh) 图像处理电路、图像处理装置、方法、电子设备和芯片
JP2006054887A (ja) スケーリング可能な解像度を備えたカメラ
JP4298358B2 (ja) 画像処理システム
US20210383498A1 (en) Line interleaving controller, image signal processor and application processor including the same
JP2012028997A (ja) 画像処理装置およびカメラ
JP6565462B2 (ja) 情報処理装置およびデータ転送方法
CN102497514B (zh) 一种三通道视频转发设备和转发方法
CN103716555B (zh) 用于处理图像的装置和方法、以及成像装置
CN112385206B (zh) 图像处理装置
JP5125205B2 (ja) データ信号処理装置、画像処理装置、画像出力装置、および、データ信号処理方法
JP2009193337A (ja) ページメモリコントローラ
Armenia et al. Design of Video Processing Platform with Interchangeable Input-Output Interfaces
JPH11331560A (ja) 画像処理装置
JP2021125748A (ja) 情報処理装置、撮像装置、情報処理方法、及びプログラム
Khan et al. Design of a bridge to randomly access high speed image sensor pixels in embedded systems
JP2009193338A (ja) メモリコントローラ
JPH04293351A (ja) データ転送方式
JPH04293350A (ja) データ転送方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150223

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200203

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20150223

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210629

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20211229

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220728

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20221024

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20221025

End annual number: 3

Start annual number: 1

PG1601 Publication of registration