[go: up one dir, main page]

KR102114342B1 - 멀티미디어 시스템 및 이의 동작 방법 - Google Patents

멀티미디어 시스템 및 이의 동작 방법 Download PDF

Info

Publication number
KR102114342B1
KR102114342B1 KR1020130028336A KR20130028336A KR102114342B1 KR 102114342 B1 KR102114342 B1 KR 102114342B1 KR 1020130028336 A KR1020130028336 A KR 1020130028336A KR 20130028336 A KR20130028336 A KR 20130028336A KR 102114342 B1 KR102114342 B1 KR 102114342B1
Authority
KR
South Korea
Prior art keywords
frame
module
processing
sfr
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020130028336A
Other languages
English (en)
Other versions
KR20140113220A (ko
Inventor
이동한
최성후
공재섭
윤성철
전기문
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130028336A priority Critical patent/KR102114342B1/ko
Priority to US14/201,061 priority patent/US9424807B2/en
Publication of KR20140113220A publication Critical patent/KR20140113220A/ko
Application granted granted Critical
Publication of KR102114342B1 publication Critical patent/KR102114342B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/04—Generating or distributing clock signals or signals derived directly therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2352/00—Parallel handling of streams of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/06—Use of more than one graphics processor to process data before displaying to one or more screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18—Timing circuits for raster scan displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 실시예에 따른 멀티미디어 시스템은 SFR 정보를 저장하는 메인 SFR, 각각이 상기 SFR 정보에 따라 데이터의 각 프레임을 처리하는 복수의 프로세싱 모듈들, 및 상기 메인 SFR 및 상기 복수의 프로세싱 모듈들의 동작을 제어하는 시스템 컨트롤 로직을 포함한다. 상기 복수의 프로세싱 모듈들 각각은 동일한 시간에 서로 다른 프레임의 데이터를 처리할 수 있다.

Description

멀티미디어 시스템 및 이의 동작 방법{MULTIMEDIA SYSTEM AND OPERATING METHOD OF THE SAME}
본 발명은 멀티미디어 시스템 및 이의 동작 방법에 관한 것이다.
어플리케이션 프로세서(Application Processor; AP)를 포함한 SoC(System on Chip) 시스템에서 멀티미디어 처리에 대한 요구는 날로 증가하고 있다. 그에 따라 SoC 내에 구현된 멀티미디어 시스템은 다양한 기능과 고성능을 지원하기 위해 복잡성이 날로 증가하고 있다.
멀티미디어 시스템은 처리하고자 하는 데이터를 프레임(frame) 단위로 동기화하여 처리한다. 멀티미디어 시스템 내의 모든 모듈들은 프레임 단위의 동기화를 맞추기 위해 단일 SFR(Special Function Register)와 동기화 로직에 의해 제어되고, 그에 따라 모든 모듈들은 자신의 동작완료와 관계없이 다음 동작을 미리 수행하지 못하고 대기해야 하는 비효율의 문제가 발생한다. 또한 전체 시스템이 단일 동기화 로직에 의해 제어되므로 클락 도메인(clock domain)의 영역이 커지게 되고, 이는 시스템이 복잡하고 커질수록 고성능의 동작을 구현하는데 장애가 된다. 또한 모든 모듈이 동기화 로직에 의해 긴밀히 연결되므로 각 모듈에 대한 클락 게이팅 스킴(clock gating scheme) 적용에 한계가 있다.
본 발명이 이루고자 하는 기술적인 과제는 멀티미디어 데이터를 처리함에 있어서 전력 소모를 낮추고 성능을 증가시키는 멀티미디어 시스템 및 이의 동작 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 멀티미디어 시스템은 SFR 정보를 저장하는 메인 SFR(Special Function Register), 각각이 상기 SFR 정보에 따라 데이터의 각 프레임을 처리하는 복수의 프로세싱 모듈들, 및 상기 메인 SFR 및 상기 복수의 프로세싱 모듈들의 동작을 제어하는 시스템 컨트롤 로직을 포함한다. 상기 복수의 프로세싱 모듈들 각각은 동일한 시간에 서로 다른 프레임의 데이터를 처리할 수 있다.
상기 복수의 프로세싱 모듈들 각각은 상기 복수의 프로세싱 모듈들 각각이 갖는 모듈 프레임 ID에 따라 동기화되어 동작할 수 있다.
상기 SFR 정보는 프레임 동기화 정보 및 프레임 비동기화 정보를 포함하며, 상기 복수의 프로세싱 모듈들 각각은 서로 독립적인 클락 및 서로 독립적인 상기 프레임 동기화 정보에 따라 상기 데이터를 처리할 수 있다.
상기 복수의 프로세싱 모듈들 각각은 각 상기 프로세싱 모듈의 클락 게이팅 및 파워 게이팅을 제어하는 파워/클락 매니저를 포함할 수 있다.
상기 멀티미디어 시스템은 상기 복수의 프로세싱 모듈들 중 상기 데이터를 처리하는 스트림 프로세싱 모듈들을 포함하는 스트림 패스를 설정하는 스타터 모듈을 더 포함하고, 상기 스타터 모듈은 상기 스트림 프로세싱 모듈들의 상기 모듈 프레임 ID를 설정할 수 있다.
상기 복수의 프로세싱 모듈들 각각은 상기 데이터의 다음 프레임의 처리를 시작할지 여부를 결정하는 프레임 싱크 매니저, 상기 메인 SFR로부터 프레임 동기화 정보를 수신하여 저장하는 프레임 SFR, 및 상기 프레임 SFR에 저장된 상기 프레임 동기화 정보에 따라 상기 데이터를 프레임 단위로 처리하는 데이터 프로세싱 로직을 포함할 수 있다.
상기 프레임 SFR는 상기 프레임 싱크 매니저가 상기 다음 프레임의 처리를 시작하도록 결정하면, 상기 메인 SFR로부터 상기 다음 프레임에 상응하는 상기 프레임 동기화 정보를 수신하여 저장하고, 상기 프레임 싱크 매니저가 그 다음 프레임의 처리를 시작하도록 결정할 때까지 상기 프레임 동기화 정보를 유지할 수 있다.
상기 메인 SFR는 상기 스트림 프로세싱 모듈들이 처리하는 프레임 중 가장 최신 프레임의 ID를 최신 프레임 ID로 저장하고, 상기 최신 프레임 ID에 상응하는 상기 프레임 동기화 정보를 저장할 수 있다.
상기 프레임 싱크 매니저는 상기 모듈 프레임 ID에 상응하는 데이터의 처리를 완료하면 상기 모듈 프레임 ID를 증가시키고, 상기 증가된 모듈 프레임 ID를 상기 시스템 컨트롤 로직으로 송신하며, 상기 시스템 컨트롤 로직은 상기 모듈 프레임 ID와 상기 최신 프레임 ID가 일치하면 상기 프레임 싱크 매니저를 제어하여 상기 다음 프레임의 처리를 시작할 수 있다.
상기 시스템 로직은 상기 모듈 프레임 ID가 상기 최신 프레임 ID보다 클 경우, 상기 스트림 프로세싱 모듈들 모두 상기 최신 프레임 ID에 상응하는 상기 프레임 동기화 정보를 수신하였으면 SFR 업데이트 신호를 발생시키고, 상기 메인 SFR는 상기 SFR 업데이트 신호에 따라 상기 프레임 동기화 정보를 업데이트하고 상기 최신 프레임 ID를 업데이트할 수 있다.
상기 시스템 로직은 상기 모듈 프레임 ID가 상기 최신 프레임 ID보다 클 경우, 상기 스트림 프로세싱 모듈들 모두 상기 최신 프레임 ID에 상응하는 상기 프레임 동기화 정보를 수신하였으면, 소정의 지연 시간이 도과한 후 상기 SFR 업데이트 신호를 발생시킬 수 있다.
상기 스트림 프로세싱 모듈들 각각은 각 프레임에 상응하는 상기 프레임 동기화 정보를 수신하여 저장하면 상기 시스템 컨트롤 로직으로 모듈 프로세싱 신호를 송신하고, 상기 시스템 컨트롤 로직은 상기 모듈 프로세싱 신호에 따라 상기 스트림 프로세싱 모듈들 모두 상기 최신 프레임 ID에 상응하는 상기 프레임 동기화 정보를 수신하였는지 여부를 판단할 수 있다.
상기 스타터 모듈은 상기 시스템 컨트롤 로직으로부터 스트림 시작 신호 및 초기 프레임 ID를 수신하고, 상기 스타터 모듈에 상기 데이터를 제공하는 상기 스트림 프로세싱 모듈들로 스트림 요청 및 상기 초기 프레임 ID를 송신하며, 상기 스트림 프로세싱 모듈들 각각은 상기 스타터 모듈 또는 다른 스트림 프로세싱 모듈로부터 상기 스트림 요청 및 상기 초기 프레임 ID를 수신하고, 상기 스트림 프로세싱 모듈이 또 다른 스트림 프로세싱 모듈로부터 상기 데이터를 제공받는 경우 상기 또 다른 스트림 프로세싱 모듈로 상기 스트림 요청 및 상기 초기 프레임 ID를 송신하며, 상기 초기 프레임 ID를 상기 스트림 프로세싱 모듈 각각의 프레임 ID로 저장하고, 상기 프레임 ID에 상응하는 프레임 동기화 정보를 수신할 수 있다.
본 발명의 다른 실시예에 따른 멀티미디어 시스템의 동작 방법은 각 프로세싱 모듈이 메인 SFR로부터 프레임 동기화 정보를 수신하고 저장하는 단계, 및 각 프로세싱 모듈이 상기 프레임 동기화 정보에 따라 데이터의 각 프레임을 처리하는 단계를 포함한다.
상기 각 프로세싱 모듈 각각은 동일한 시간에 서로 다른 프레임의 데이터를 처리하며, 상기 각 프로세싱 모듈이 갖는 모듈 프레임 ID에 따라 각각 동기화되어 동작하고, 서로 독립적으로 클락 게이팅 및 파워 게이팅될 수 있다.
본 발명의 실시 예에 따르면, 각 모듈에 필요한 동기화 정보를 각 모듈에 중첩시킴으로써 멀티미디어 시스템의 전력 소모를 낮추고 성능을 증가시킬 수 있다.
도 1은 본 발명의 실시 예에 따른 전자 시스템의 블록도를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 멀티미디어 시스템의 블록도이다.
도 3은 도 2에 도시된 각 프로세싱 모듈의 블록도이다.
도 4는 도 2의 멀티미디어 시스템을 보다 자세히 나타낸 블록도이다.
도 5는 도 4의 스트림 패스를 설정하는 과정을 나타내는 순서도이다.
도 6은 스트림 패스의 변경 예를 나타낸다.
도 7은 스트림 프로세싱 모듈 간의 데이터 전송을 나타낸다.
도 8은 각 프로세싱 모듈의 모듈 프레임 ID 및 현재 프레임 ID의 업데이트 과정의 일례를 나타내는 타이밍도이다.
도 9는 시스템 컨트롤 로직이 저장하는 정보의 일례를 나타낸다.
도 10은 메인 SFR에 저장된 최신 프레임 ID가 업데이트되는 과정의 일례를 나타낸 타이밍도이다.
도 11는 도 4의 각 프로세싱 모듈의 데이터 처리를 개략적으로 나타낸 타이밍도이다.
도 12는 수직동기신호에 따라 각 프로세싱 모듈을 프레임 단위로 처리하는 경우에 대한 비교예이다.
도 13은 메인 SFR와 각 스트림 프로세싱 모듈 간의 데이터 전송을 나타내는 블록도이다.
도 14는 본 발명의 다른 실시예에 따른 RRFRMID 지연 업데이트 신호를 나타낸 타이밍도이다.
도 15는 본 발명의 또 다른 실시예에 따른 SoC의 동작 방법을 나타낸다.
도 16은 본 발명의 실시 예들에 따른 SoC을 포함하는 장치의 블록도를 나타낸다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 전자 시스템의 블록도를 나타낸다.
도 1을 참조하면, 전자 시스템(10)은 이동 전화기, 스마트폰, 태블릿 컴퓨터(tablet computer), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PDN(personal navigation device 또는 portable navigation device), 손으로 들고 다닐 수 있는 게임 콘솔(handheld game console), 또는 e-북(e-book)과 같이 손으로 들고 다닐 수 있는 장치(handheld device)로 구현될 수 있다.
전자 시스템(10)은 SoC(100), 입출력 장치(187), 메모리 장치(190) 및 디스플레이 장치(195)를 포함한다. SoC(100)는 중앙처리장치(CPU : Central Processing Unit, 110), ROM(read only memory; 120), RAM(random access memory; 130), 타이머(135), 가속기(140), 클럭 관리부(145, CMU:clock management unit), 디스플레이 컨트롤러(150), 메모리 컨트롤러(170), 버스(180), 및 입출력 인터페이스(185)를 포함할 수 있다. SoC(100)는 도시된 구성요소 외에도 다른 구성요소, 예컨대, TV 프로세서 등을 더 포함할 수 있다. 전자 시스템(10)은 또한 전원관리부(160, PMIC:power management IC)를 더 포함할 수 있다.
도 1의 실시예에서는, PMIC(160)는 SoC(100) 외부에 구현되나, 다른 실시예에서는 PMIC(160)가 SoC(100) 내에 구현될 수 있다. PMIC(160)는 전압 제어부(161) 및 전압 발생부(165)를 포함할 수 있다.
프로세서(processor)라고도 불릴 수 있는 CPU(110)는 메모리 장치(190)에 저장된 프로그램들 및/또는 데이터를 처리 또는 실행할 수 있다. 예컨대, CPU(110)는 클락 신호 발생기(미 도시)로부터 출력된 클락 신호에 응답하여 상기 프로그램들 및/또는 상기 데이터를 처리 또는 실행할 수 있다.
CPU(110)는 멀티-코어 프로세서(multi-core processor)로 구현될 수 있다. 상기 멀티-코어 프로세서는 두 개 또는 그 이상의 독립적인 실질적인 프로세서들('코어들(cores)'이라고 불림)을 갖는 하나의 컴퓨팅 컴포넌트(computing component)이고, 상기 프로세서들 각각은 프로그램 명령들(program instructions)을 읽고 실행할 수 있다. 상기 멀티-코어 프로세서는 다수의 가속기를 동시에 구동할 수 있으므로, 상기 멀티-코어 프로세서를 포함하는 데이터 처리 시스템은 멀티-가속(multi-acceleration)을 수행할 수 있다.
ROM(120), RAM(130), 및 메모리 장치(190)에 저장된 프로그램들 및/또는 데이터는 필요에 따라 CPU(110)의 메모리에 로드(load)될 수 있다.
ROM(120)은 영구적인 프로그램들 및/또는 데이터를 저장할 수 있다. ROM(120)은 EPROM(erasable programmable read-only memory) 또는 EEPROM(electrically erasable programmable read-only memory)으로 구현될 수 있다.
RAM(130)은 프로그램들, 데이터, 또는 명령들(instructions)을 일시적으로 저장할 수 있다. 예컨대, 메모리(120 또는 190)에 저장된 프로그램들 및/또는 데이터는 CPU(110)의 제어 또는 ROM(120)에 저장된 부팅 코드(booting code)에 따라 RAM(130)에 일시적으로 저장될 수 있다. RAM(130)은 DRAM(dynamic RAM) 또는 SRAM(static RAM)으로 구현될 수 있다.
가속기(140)는 멀티미디어 또는 멀티미디어 데이터, 예컨대 텍스트(text), 오디오(audio), 정지 영상들(still images), 애니메이션(animation), 비디오(video), 2차원 데이터, 또는 3차원 데이터의 처리 성능을 향상시키기 위한 하드웨어 장치 또는 코-프로세서(co-processor)를 의미할 수 있다. 예컨대 가속기(140)는 GPU(Graphic Processing Unit)일 수 있다.
도 1에서는 설명의 편의를 위하여 하나의 가속기(140)만을 도시하나, 실시 예에 따라 SoC(100)은 하나 또는 그 이상의 가속기들을 포함할 수 있다. 예컨대, 적어도 하나의 애플리케이션 프로그램은 하나의 가속기를 실행시킬 수 있다.
CMU(145)는 동작 클럭 신호를 생성한다. CMU(145)는 위상 동기 루프 회로(PLL : Phase Locked Loop), 지연 동기 루프(DLL : Delayed Locked Loop), 수정자(crystal)등의 클럭 생성 장치로 이루어질 수 있다.
동작 클럭 신호는 CPU(110)로 공급될 수 있다. 물론 동작 클럭 신호는 다른 구성요소(예컨대, 메모리 컨트롤러 등)로 공급될 수도 있다.
전압 제어부(161)는 전압 발생부(165)를 제어할 수 있다. 전압 발생부(165)는 전압 제어부(161)의 제어에 따라 SoC(100)의 각 구성 요소의 동작 전압을 생성하여 SoC(100)의 각 구성 요소로 출력할 수 있다.
메모리 콘트롤러(170)는 메모리 장치(190)와 인터페이스하기 위한 블록이다. 메모리 콘트롤러(170)는 메모리 장치(190)의 동작을 전반적으로 제어하며, 또한 호스트와 메모리 장치(190) 간의 제반 데이터 교환을 제어한다. 예컨대, 메모리 콘트롤러(170)는 호스트의 요청에 따라 메모리 장치(190)에 데이터를 쓰거나 메모리 장치(190)로부터 데이터를 독출한다.
여기서, 호스트는 CPU(110), 가속기(140), 디스플레이 컨트롤러(150)와 같은 마스터 장치일 수 있다.
입출력 인터페이스(185)는 입출력 장치(187)와 인터페이스하기 위한 블록이다. 입출력 인터페이스(185)는 SoC(100)의 각 구성 요소와 입출력 장치(187) 간의 제반 데이터 교환을 제어할 수 있다.
입출력 장치(187)는 사용자의 입력을 수신하거나 사용자에게 데이터를 출력할 수 있다. 입출력 장치(187)는 예컨대 터치스크린(touch screen)일 수 있다.
메모리 장치(190)는 데이터를 저장하기 위한 저장 장소로서, OS(Operating System), 각종 프로그램들, 및 각종 데이터를 저장할 수 있다. 메모리 장치(190)는 DRAM일 수 있으나, 이에 한정되는 것은 아니다. 예컨대, 메모리 장치(190)는 비휘발성 메모리 장치(플래시 메모리, PRAM, MRAM, ReRAM, 또는 FeRAM 장치)일 수도 있다. 본 발명의 다른 실시예에서는 메모리 장치(190)는 SoC(100) 내부에 구비되는 내장 메모리일 수 있다.
각 구성 요소(110, 120, 130, 140, 150, 170, 및 185)는 시스템 버스(180)를 통하여 서로 통신할 수 있다.
디스플레이 콘트롤러(150)는 디스플레이 디바이스(195)의 동작을 제어할 수 있다.
디스플레이 디바이스(195)는 CPU(110)에 로드된 소프트웨어 가속기 또는 하드웨어 가속기(140)에 의하여 가속된 또는 처리된 멀티미디어를 디스플레이할 수 있다. 디스플레이 디바이스(195)는 LED, OLED 디바이스, 혹은 다른 종류의 디바이스일 수 있다.
도 2는 본 발명의 일 실시예에 따른 멀티미디어 시스템의 블록도이다.
도 1 및 도 2를 참조하면, 도 2의 멀티미디어 시스템은 도 1의 디스플레이 컨트롤러(150) 또는 GPU(140)일 수 있다. 이하에서는 도 2의 멀티미디어 시스템은 도 1의 디스플레이 컨트롤러(150)인 것으로 가정하기로 한다.
멀티미디어 시스템(150)은 복수의 프로세싱 모듈들(210), 메인 SFR(Special Function Register, 220), 시스템 컨트롤 로직(230) 및 스타터 모듈(240)을 포함할 수 있다.
복수의 프로세싱 모듈들(210) 각각은 SFR 정보에 따라 외부로부터 수신한 데이터의 각 프레임을 처리한다.
데이터의 각 프레임을 처리할 때마다, 복수의 프로세싱 모듈들(210) 내 각 프레임에 상응하는 스트림 패스(Str_path)가 형성될 수 있다. 스트림 패스(Str_path)는 멀티미디어 시스템(150)에서 현재 처리할 프레임이 이동할 프로세싱 모듈들의 시퀀스(sequence)를 의미한다. 스트림 패스(Str_path)는 각 프레임마다 다를 수 있다. 이하에서 스트림 패스(Str_path) 내의 프로세싱 모듈들(211-1~211-n, 또는 P1~Pn)을 스트림 프로세싱 모듈들이라고 칭하기로 한다.
복수의 스트림 프로세싱 모듈들(211-1~211-n) 각각은 데이터에 대한 서로 다른 처리를 순차적으로 수행할 수 있다. 예컨대, 제n 프로세싱 모듈(211-n)은 외부로부터 데이터를 수신하여 상기 데이터에 스케일링(scaling)을 수행하고, 제n-1 프로세싱 모듈(211-(n-1))은 제n 프로세싱 모듈(211-n)에서 스케일링된 데이터에 블렌딩(blending)을 수행할 수 있다. 제1 프로세싱 모듈(211-1)은 제n 프로세싱 모듈 내지 제2 프로세싱 모듈(211-n~211-2)에서 순차적으로 처리된 데이터를 최종 처리하여 외부로 출력할 수 있다.
복수의 프로세싱 모듈들(210) 각각은 독립적인 모듈 프레임 ID를 갖고, 상기 모듈 프레임 ID에 상응하는 프레임의 데이터를 처리할 수 있다. 따라서 복수의 프로세싱 모듈들(210) 각각은 동일한 시간에 서로 다른 프레임의 데이터를 처리할 수 있다.
메인 SFR(220)는 상기 데이터를 처리하기 위해 필요한 SFR 정보를 외부로부터 수신하여 저장할 수 있다. SFR 정보는 프레임 단위로 동기화되어야 하는 프레임 동기화 정보 및 프레임 단위로 동기화되지 않아도 되는 프레임 비동기화 정보를 포함할 수 있다. 예컨대 이미지의 사이즈(예컨대, 1024*768) 및 컬러 포맷(RGB, YCbCr) 등이 프레임 동기화 정보에 해당할 수 있다.
메인 SFR(220)는 복수의 프로세싱 모듈들(210) 각각으로 상기 SFR 정보를 송신할 수 있다.
시스템 컨트롤 로직(230)은 복수의 프로세싱 모듈들(210), 메인 SFR(220) 및 스타터 모듈(240)의 동작을 제어한다. 시스템 컨트롤 로직(230)은 복수의 프로세싱 모듈들(210) 각각의 상태에 대한 정보를 저장하는 테이블을 포함할 수 있다.
스타터 모듈(240)은 시스템 컨트롤 로직(230)의 제어에 따라 스트림 패스(Str_path)를 설정할 수 있다. 스타터 모듈(240)은 스트림 패스(Str_path) 내 스트림 프로세싱 모듈들(211-1~211-n) 각각의 모듈 프레임 ID를 설정할 수 있다.
멀티미디어 시스템(150) 내의 각 구성요소(211-1~..., 220, 230, 240)는 비동기식(asynchronous)으로 동작할 수 있다. 일례로 각 구성요소(211-1~..., 220, 230, 240)는 각자의 클락 신호에 동기화되어 동작하며, 각자의 클락 신호는 서로 다를 수 있다.
도 3은 도 2에 도시된 각 프로세싱 모듈의 블록도이다.
도 2 및 도 3을 참조하면, 각 프로세싱 모듈(211-k, k은 프로세싱 모듈들의 수 이하의 자연수)은 데이터 프로세싱 로직(310), 파워/클락 매니저(320), 프레임 싱크 매니저(330) 및 프레임 SFR(340)를 포함할 수 있다.
데이터 프로세싱 로직(310)은 프레임 SFR(340)에 저장된 프레임 동기화 정보 및 메인 SFR(220)로부터 수신한 프레임 비동기화 정보에 따라 데이터를 프레임 단위로 처리한다.
파워/클락 매니저(320)는 각 프로세싱 모듈(211-k)의 클락 게이팅(clock gating) 및 파워 게이팅(power gating)을 제어한다. 즉, 파워/클락 매니저(320)는 각 프로세싱 모듈(211-k) 내 각 구성요소(310, 330, 340)의 클락 및 파워 공급을 제어할 수 있다.
프레임 싱크 매니저(330)는 상기 데이터의 다음 프레임의 처리를 시작할지 여부를 결정한다. 프레임 싱크 매니저(330)는 각 프로세싱 모듈(211-k)의 모듈 프레임 ID를 저장할 수 있다. 각 프로세싱 모듈(211-k)은 상기 모듈 프레임 ID에 따라 동기화되어 동작할 수 있다.
예컨대, 프레임 싱크 매니저(330)는 데이터 프로세싱 로직(310)이 현재 프레임의 처리를 완료하면 모듈 프레임 ID를 증가시킨다. 프레임 싱크 매니저(330)는 증가된 모듈 프레임 ID가 최신 프레임 ID와 같으면, 프레임 SFR(340)가 상기 증가된 모듈 프레임 ID에 상응하는 프레임 동기화 정보를 수신하여 저장하도록 제어한다. 이후 프레임 싱크 매니저(330)는 데이터 프로세싱 로직(310)이 상기 증가된 모듈 프레임 ID에 상응하는 프레임을 처리하기 시작하도록 제어할 수 있다. 최신 프레임 ID에 대하여는 설명의 편의를 위해 도 4를 참조하여 후술한다.
프레임 SFR(340)는 모듈 프레임 ID에 따라 메인 SFR(220)로부터 프레임 동기화 정보를 수신하여 저장한다. 프레임 SFR(340)는 프레임 싱크 매니저(330)가 다음 프레임의 처리를 시작하도록 결정하면, 메인 SFR(220)로부터 상기 다음 프레임에 상응하는 프레임 동기화 정보를 수신하여 저장하고, 프레임 싱크 매니저(330)가 그 다음 프레임의 처리를 시작하도록 결정할 때까지 상기 수신하여 저장한 프레임 동기화 정보를 유지할 수 있다. 따라서 프레임 SFR(340)는 이후 메인 SFR(220) 또는 다른 프로세싱 모듈의 프레임 SFR(340)가 업데이트되더라도 이에 영향을 받지 않고 독립적으로 동작할 수 있다.
각 프로세싱 모듈(211-k)의 모듈 프레임 ID는 다를 수 있다. 따라서 복수의 프로세싱 모듈들 각각(211-k)은 동일한 시간에 서로 다른 프레임의 데이터를 처리할 수 있다. 각 프로세싱 모듈(211-k)은 서로 별개의 파워/클락 매니저(320) 및 프레임 SFR(340)를 포함하므로, 서로 독립적인 클락 및 서로 독립적인 프레임 동기화 정보에 따라 상기 데이터를 처리할 수 있다.
스타터 모듈(240)의 구조는 각 프로세싱 모듈(211-k)의 구조와 동일할 수 있다. 즉, 스타터 모듈(240) 또한 데이터 프로세싱 로직(310), 파워/클락 매니저(320), 프레임 싱크 매니저(330) 및 프레임 SFR(340)를 포함할 수 있고, 자신의 모듈 프레임 ID를 저장할 수 있다.
도 4는 도 2의 멀티미디어 시스템을 보다 자세히 나타낸 블록도이고, 도 5는 도 4의 스트림 패스를 설정하는 과정을 나타내는 순서도이다.
도 2 내지 도 5를 참조하면, 복수의 프로세싱 모듈들(210) 중 n개(n은 2 이상의 정수)의 프로세싱 모듈들(211-1~211-n, 이하에서 설명의 편의를 위해 P1~Pn으로 칭함)이 초기 프레임 ID(INIT_FRAMEID)에 상응하는 스트림 패스(Str_path)에 포함될 수 있다.
도 4에서는 Pn(211-n)과 시스템 컨트롤 로직(230) 및 메인 SFR(220) 사이의 신호들을 도시하였으나, Pn-1(211-(n-1)) 내지 P1(211-1) 및 스타터 모듈(240) 또한 Pn(211-n)과 상응하는 신호들을 시스템 컨트롤 로직(230) 및 메인 SFR(220)와 송수신할 수 있다. 예컨대 Pn-1(211-(n-1)) 내지 P1(211-1) 및 스타터 모듈(240)은 시스템 컨트롤 로직(230)으로 자신의 모듈 프레임 ID(Module_CFRMID_n-1~Module_CFRMID_0)를 송신할 수 있다.
또한 도 4 및 도 5는 각 구성요소(211-1~211-n, 220, 230, 240) 간의 신호를 모두 도시한 것은 아니다. 예컨대 시스템 컨트롤 로직(230)이 Pn(211-n)을 제어한다고 할 때, 시스템 컨트롤 로직(230)은 도면에 도시된 신호선을 통해 제어 신호를 Pn(211-n)으로 전송할 수 있고, 또는 별도로 구비된 신호선을 통해 제어 신호를 Pn(211-n)으로 전송할 수 있다고 이해되어야 한다.
스트림 패스(Str_path) 상에서 데이터의 소스(source)로 동작하는 프로세싱 모듈을 프로듀서(producer), 데이터를 소비하는 프로세싱 모듈을 컨슈머(consumer)라고 칭하기로 한다. 예컨대 데이터가 {211-n, 211-(n-1), ..., 211-3, 211-2, 211-1} 순으로 흐르는 경우, 제2 프로세싱 모듈(211-2)의 프로듀서(producer)는 제3 프로세싱 모듈(211-3)이고, 제2 프로세싱 모듈(211-2)의 컨슈머(consumer)는 제1 프로세싱 모듈(211-1)이다. 이때 스트림 패스(Str_path) 상의 최종 컨슈머는 항상 스타터 모듈(240)이 된다.
이하에서 스타터 모듈(240)을 이용하여 스트림 패스(Str_path)를 설정하는 과정을 설명한다.
메인 SFR(220)는 사용자의 입력에 의한 멀티미디어 처리 요청(미도시)을 외부(예컨대, CPU)로부터 수신하고 시스템 컨트롤 로직(230)으로 송신한다. 시스템 컨트롤 로직(230)은 상기 멀티미디어 처리 요청(미도시)에 따라 모든 프로세싱 모듈들(210) 각각에 리셋 신호(RST)를 보내 초기화한다.
시스템 컨트롤 로직(230)은 상기 멀티미디어 처리 요청(미도시)에 따라 스트림 프로세싱 모듈로 설정해야 할 모듈을 제1 프로세싱 모듈(211-1) 내지 제n 프로세싱 모듈(211-n)로 판단한다. 이후 시스템 컨트롤 로직(230)은 메인 SFR(220)에 SFR 시작 신호(START)를 송신하고, 각 스트림 프로세싱 모듈(211-1~211-n) 및 스타터 모듈(240)에 모듈 인에이블 신호(Module_Enable_1~Module_Enable_n; Module_Enable)를 송신한다.
시스템 컨트롤 로직(230)은 스트림 프로세싱 모듈들(211-1~211-n) 외의 프로세싱 모듈들 각각으로도 모듈 인에이블 신호(Module_Enable)를 송신할 수 있다. 이때 각 스트림 프로세싱 모듈(211-1~211-n)로 송신되는 모듈 인에이블 신호(Module_Enable)는 제1 로직 레벨(예컨대, 로직 하이)이고, 그 외의 각 프로세싱 모듈로 송신되는 모듈 인에이블 신호(Module_Enable)는 제2 로직 레벨(예컨대, 로직 로우)일 수 있다.
각 스트림 프로세싱 모듈(211-1~211-n) 및 스타터 모듈(240)의 파워/클락 매니저(320)는 모듈 인에이블 신호(Module_Enable)에 따라 각각에 상응하는 프레임 싱크 매니저(330)에 클락을 공급하기 시작한다. 이하에서 각 스트림 프로세싱 모듈(211-n~211-1) 및 스타터 모듈(240)의 데이터 프로세싱 로직(310)에 클락이 공급되기 전의 각 스트림 프로세싱 모듈(211-n~211-1) 및 스타터 모듈(240)의 동작은, 특별한 한정이 없는 한 각 스트림 프로세싱 모듈(211-n~211-1) 및 스타터 모듈(240) 내의 프레임 싱크 매니저(330)에 의해 이루어진다고 이해되어야 한다.
이후 시스템 컨트롤 로직(230)은 스타터 모듈(240)로 스트림 시작 신호(STREAM_START)를 송신하고, 메인 SFR(220)를 통해 스타터 모듈(240)로 초기 프레임 ID(INIT_FRAMEID)를 송신한다. 이하에서 초기 프레임 ID(INIT_FRAMEID)는 0이라고 가정한다.
메인 SFR(220)는 현재 프레임 ID(current frame ID; CFRMID) 및 최신 프레임 ID(recent reference frame ID; RRFRAMEID)를 저장할 수 있다.
현재 프레임 ID(CFRMID)는 멀티미디어 시스템(150)의 최후방에 있는, 즉 가장 마지막 컨슈머에 해당하는 스타터 모듈(240)이 갖는 모듈 프레임 ID를 의미한다. 달리 말하면, 현재 프레임 ID(CFRMID)는 멀티미디어 시스템(150) 내에서 처리되고 있는 프레임들 중 가장 오래된 프레임의 ID이다.
최신 프레임 ID(RRFRAMEID)는 멀티미디어 시스템(150) 내에서 처리되고 있는 가장 새로운 프레임 ID를 의미한다.
메인 SFR(220)는 SFR 시작 신호(START) 에 따라 현재 프레임 ID(CFRMID) 및 최신 프레임 ID(RRFRAMEID)를 초기 프레임 ID(INIT_FRAMEID)로 설정할 수 있다. 메인 SFR(220)는 최신 프레임 ID(RRFRMID)가 설정 또는 업데이트될 때마다 최신 프레임 ID(RRFRMID)에 상응하는 프레임 동기화 정보를 외부로부터 수신하여 저장할 수 있다.
스타터 모듈(240)은 자신의 모듈 프레임 ID(Module_CFRMID_0)를 초기 프레임 ID(INIT_FRAMEID)로 설정한다. 이후 스타터 모듈(240)은 메인 SFR(220)로부터 자신의 모듈 프레임 ID(Module_CFRMID_0)에 상응하는 스타터 프레임 동기화 정보(FRAME_SYNC_INFO_0)를 수신하여 자신의 프레임 SFR(340)에 저장하고, 메인 SFR(220)으로 스타터 프로듀서 요청 신호(Producer_REQ_0)를 송신한다. 스타터 모듈(240)의 프레임 SFR(340)는 스타터 모듈(240)의 프레임 싱크 매니저(330)가 다음 프레임의 처리를 시작하도록 결정할 때까지 스타터 프레임 동기화 정보(FRAME_SYNC_INFO_0)를 유지한다.
메인 SFR(220)는 스타터 프로듀서 요청 신호(Producer_REQ_0)에 응답하여 스타터 모듈(240)의 프로듀서가 P1(211-1)이라고 판단하고, 스타터 모듈(240)로 프로듀서가 P1(211-1)임을 나타내는 정보를 포함하는 스타터 프로듀서 신호(Producer_0)를 송신한다.
스타터 모듈(240)은 스타터 프로듀서 신호(Producer_0)에 따라 P1(211-1)으로 제1 스트림 요청(STR_REQ_1)을 송신하고, 제1 스트림 프레임 ID(STR_FRAMEID_1)를 자신의 모듈 프레임 ID(Module_CFRMID_0)로 설정하여 P1(211-1)으로 송신한다.
P1(211-1)은 자신의 모듈 프레임 ID(Module_CFRMID_1)를 제1 스트림 프레임 ID(STR_FRAMEID_1)로 설정한다. 이후 P1(211-1)은 메인 SFR(220)로부터 자신의 모듈 프레임 ID(Module_CFRMID_1)에 상응하는 제1 프레임 동기화 정보(FRAME_SYNC_INFO_1)를 수신하여 자신의 프레임 SFR(340)에 저장하고, 메인 SFR(220)으로 제1 프로듀서 요청 신호(Producer_REQ_1)를 송신한다. P1(211-1)의 프레임 SFR(340)는 P1(211-1)의 프레임 싱크 매니저(330)가 다음 프레임의 처리를 시작하도록 결정할 때까지 제1 프레임 동기화 정보(FRAME_SYNC_INFO_1)를 유지한다.
메인 SFR(220)는 제1 프로듀서 요청 신호(Producer_REQ_1)에 응답하여 P1(211-1)의 프로듀서가 P2(211-2)라고 판단하고, P1(211-1)으로 프로듀서가 P2(211-2)임을 나타내는 정보를 포함하는 제1 프로듀서 신호(Producer_1)를 송신한다.
P1(211-1)은 제1 프로듀서 신호(Producer_1)에 따라 P2(211-2)로 제2 스트림 요청(STR_REQ_2)을 송신하고, 제2 스트림 프레임 ID(STR_FRAMEID_2)를 자신의 모듈 프레임 ID(Module_CFRMID_1)로 설정하여 P2(211-2)로 송신한다.
P2(211-2) 내지 Pn-1(211-(n-1))의 동작은 이상에서 설명한 P1(211-1)의 동작과 같을 수 있으며, 이에 대한 설명은 생략한다.
Pn(211-n)은 제n 스트림 요청(STR_REQ_n) 및 제n 스트림 프레임 ID(STR_FRAMEID_n)를 수신한다. Pn(211-n)은 자신의 모듈 프레임 ID(Module_CFRMID_n)를 제n 스트림 프레임 ID(STR_FRAMEID_n)로 설정한다. 이후 Pn(211-n)은 메인 SFR(220)로부터 자신의 모듈 프레임 ID(Module_CFRMID_n)에 상응하는 제n 프레임 동기화 정보(FRAME_SYNC_INFO_n)를 수신하여 자신의 프레임 SFR(340)에 저장하고, 메인 SFR(220)으로 제n 프로듀서 요청 신호(Producer_REQ_n)를 송신한다. Pn(211-n)의 프레임 SFR(340)는 Pn(211-n)의 프레임 싱크 매니저(330)가 다음 프레임의 처리를 시작하도록 결정할 때까지 제n 프레임 동기화 정보(FRAME_SYNC_INFO_n)를 유지한다.
메인 SFR(220)는 제n 프로듀서 요청 신호(Producer_REQ_n)에 응답하여 Pn(211-n)의 프로듀서가 없음을 판단하고, Pn(211-n)으로 프로듀서가 없음을 나타내는 정보를 포함하는 제n 프로듀서 신호(Producer_n)를 송신한다.
Pn(211-n)은 제n 프로듀서 신호(Producer_n)를 수신하여 프로듀서가 없음을 확인한다. 이에 따라, Pn(211-n)은 제n 프레임 동기화 정보(FRAME_SYNC_INFO_n)의 수신이 끝나면, 제n 스트림 레디(STR_RDY_n) 신호를 Pn-1(211-(n-1))으로 송신하고, 데이터의 처리를 시작한다. 제n 스트림 레디(STR_RDY_n) 신호에 따라, Pn(211-n) 내부의 파워/클락 매니저(320)는 상응하는 데이터 프로세싱 로직(310)에 클락을 공급하기 시작한다.
한편, Pn(211-n)은 제n 모듈 프로세싱 신호(Module_Processing_n)를 컨트롤 로직(230)으로 송신한다. 제n 모듈 프로세싱 신호(Module_Processing_n)는 Pn(211-n)이 데이터 처리 중일 때 제1 로직 레벨(예컨대 로직 하이)을 갖고, Pn(211-n)이 데이터 처리 중이 아닐 때 제2 로직 레벨(예컨대 로직 로우)을 가질 수 있다.
Pn-1(211-(n-1))은 Pn(211-n)으로부터 제n 스트림 레디(STR_RDY_n) 신호를 수신하고, 제n-1 프레임 동기화 정보(FRAME_SYNC_INFO_(n-1))의 수신이 끝나면, 제n-1 스트림 레디(STR_RDY_(n-1)) 신호를 Pn-1(211-(n-2))으로 송신하고, 데이터의 처리를 시작할 수 있다. 제n-1 스트림 레디(STR_RDY_n-1) 신호에 따라, Pn(211-(n-1)) 내부의 파워/클락 매니저(320)는 상응하는 데이터 프로세싱 로직(310)에 클락을 공급하기 시작한다.
한편, Pn-1(211-(n-1))은 제n-1 모듈 프로세싱 신호(Module_Processing_(n-1))를 컨트롤 로직(230)으로 송신한다. 제n-1 모듈 프로세싱 신호(Module_Processing_(n-1))는 Pn-1(211-(n-1))이 데이터 처리 중일 때 제1 로직 레벨(예컨대 로직 하이)을 갖고, Pn-1(211-(n-1))이 데이터 처리 중이 아닐 때 제2 로직 레벨(예컨대 로직 로우)을 가질 수 있다.
Pn-2(211-(n-2)) 내지 P1(211-1)의 동작은 이상에서 설명한 Pn-1(211-(n-1))의 동작과 같을 수 있으며, 이에 대한 설명은 생략한다.
스타터 모듈(240)이 P1(211-1)로부터 제1 스트림 레디(STR_RDY_1) 신호를 받게 되면, 스트림 패스(Str_path)의 설정이 완료된다. 이때 모든 프로세싱 모듈(211-1~211-n)은 데이터를 전송할 준비가 되고, 동일한 모듈 프레임 ID를 갖게 된다. 상술한 바와 같은 스트림 패스(Str_path)의 설정 과정을 스트림 빌드(stream build)라고 한다.
도 6은 스트림 패스의 변경 예를 나타낸 도면이고, 도 7은 스트림 프로세싱 모듈 간의 데이터 전송을 나타낸 도면이다.
도 4 내지 도 7을 참조하고, 데이터의 1번 프레임을 처리하는 제1 스트림 패스(Str_path_1)는 {P4, P3, P2, P1}이고, 데이터의 2번 프레임을 처리하는 제2 스트림 패스(Str_path_2)는 {P7, P6, P5, P1}이며, 데이터의 3번 프레임을 처리하는 제3 스트림 패스(Str_path_3)는 {P7, P6, P9, P8}이라고 가정한다.
제1 스트림 패스(Str_path_1)는 도 4 및 도 5의 과정에 따라 설정될 수 있다. 제1 스트림 패스(Str_path_1) 내의 각 프로세싱 모듈(P4, P3, P2, P1)의 초기 모듈 프레임 ID(Module_CFRMID)가 1이라 가정한다.
제1 스트림 패스(Str_path_1) 내의 각 프로세싱 모듈(P4, P3, P2, P1)은 데이터를 처리한 후, 자신의 모듈 프레임 ID(Module_CFRMID)를 1만큼 증가시킬 수 있다. 따라서 각 프로세싱 모듈(P4, P3, P2, P1)의 모듈 프레임 ID(Module_CFRMID)는 2이 된다.
각 프로세싱 모듈(P4, P3, P2, P1)은 자신의 모듈 프레임 ID(Module_CFRMID)를 1만큼 증가시킨 후, 메인 SFR(230)로부터 프레임 동기화 정보(FRAME_SYNC_INFO)를 수신할 수 있다. 프레임 동기화 정보(FRAME_SYNC_INFO)는 상응하는 각 프로세싱 모듈(P4, P3, P2, P1)이 자신의 모듈 프레임 ID(Module_CFRMID)에서 동작하는지 여부에 대한 정보를 포함한다.
각 프로세싱 모듈(P4, P3, P2, P1)은 프레임 동기화 정보(FRAME_SYNC_INFO)에 따라 자신의 모듈 프레임 ID(Module_CFRMID)에서 자신이 동작하는지 여부를 판단한다. 모듈 프레임 ID 2에서, P4 내지 P2는 동작하지 않고, P1만 동작한다.
각 프로세싱 모듈(P1~P9)은 자신의 컨슈머에게 자신이 처리한 데이터(mul_data) 및 데이터 유효성 비트(data_valid)를 송신할 수 있다. 각 프로세싱 모듈(P1~P9)은 자신의 모듈 프레임 ID에서 자신이 동작하는 경우 데이터 유효성 비트(data_valid)를 제1 로직 레벨(예컨대 로직 하이)로 설정하고, 자신의 모듈 프레임 ID에서 자신이 동작하지 않는 경우 데이터 유효성 비트(data_valid)를 제2 로직 레벨(예컨대 로직 로우)로 설정할 수 있다.
따라서 P4는 프레임 ID 2에서 동작하지 않으므로, 자신의 컨슈머인 P3에게 로직 로우를 송신한다. P3은 프레임 ID 2에서 동작하지 않으므로, 자신의 컨슈머인 P2에게 로직 로우를 송신한다. P2는 프레임 ID 2에서 동작하지 않으므로, 자신의 컨슈머인 P1에게 로직 로우를 송신한다. 이후 P4 내지 P2 각각의 파워/클락 매니저(320)는 데이터 프로세싱 로직(310)으로의 클락 공급을 중단할 수 있다.
P1은 프레임 ID 2에서 동작하나, 자신의 프로듀서인 P2로부터 데이터 유효성 비트(data_valid)로 로직 로우를 수신한다. P1은 데이터 유효성 비트(data_valid)로 로직 로우를 수신함에 따라, P2로부터 데이터(mul_data)를 수신하지 않고, 프레임 ID 2에서 P1의 프로듀서인 P5로부터 스트림 빌드를 시작한다.
즉, P1은 메인 SFR(220)로 제1 프로듀서 요청 신호(Producer_REQ_1)를 송신한다. 메인 SFR(220)는 제1 프로듀서 요청 신호(Producer_REQ_1)에 응답하여 P1의 프로듀서가 P5라고 판단하고, P1으로 프로듀서가 P5임을 나타내는 정보를 포함하는 제1 프로듀서 신호(Producer_1)를 송신한다. P1은 자신의 모듈 프레임 ID(Module_CFRMID)를 스트림 프레임 ID(STR_FRAMEID)로 설정하고, 제1 프로듀서 신호(Producer_1)에 따라 P5로 스트림 요청(STR_REQ) 및 스트림 프레임 ID(STR_FRAMEID)를 송신한다.
P5는 수신한 스트림 프레임 ID(STR_FRAMEID), 즉 2를 자신의 모듈 프레임 ID(Module_CFRMID)로 설정하고, 이후 P1과 동일하게 동작한다. 같은 방법으로 P6, P7도 동작하여, 제2 스트림 패스(Str_path_2)가 설정된다. 이후 데이터(mul_data)는 제2 스트림 패스(Str_path_2)를 따라 진행할 수 있다.
제2 스트림 패스(Str_path_2) 내의 각 프로세싱 모듈(P7, P6, P5, P1)은 데이터를 처리한 후, 자신의 모듈 프레임 ID(Module_CFRMID)를 1만큼 증가시킨다. 따라서 각 프로세싱 모듈(P7, P6, P5, P1)의 모듈 프레임 ID(Module_CFRMID)는 3이 된다.
P6은 P5로 로직 하이의 데이터 유효성 비트(data_valid)를 송신한다. 그러나 P5는 P1으로 로직 로우의 데이터 유효성 비트(data_valid)를 송신하고, P1은 스타터 모듈(240)로 로직 로우의 데이터 유효성 비트(data_valid)를 송신한다.
스타터 모듈(240)은 데이터 유효성 비트(data_valid)로 로직 로우를 수신함에 따라, P1으로부터 데이터(mul_data)를 수신하지 않고, 프레임 ID 3에서 스타터 모듈(240)의 프로듀서인 P8로부터 스트림 빌드를 시작한다.
스트림 빌드 과정은 상술한 바와 동일하며, 이에 따라 제3 스트림 패스(Str_path_3)가 설정된다. 이후 데이터(mul_data)는 제3 스트림 패스(Str_path_3)를 따라 진행할 수 있다.
도 8은 각 프로세싱 모듈의 모듈 프레임 ID 및 현재 프레임 ID의 업데이트 과정의 일례를 나타내는 타이밍도이다.
도 4 및 도 8을 참조하고, 각 프로세싱 모듈(Pn~P1)의 모듈 프레임 ID(Module_CFRMID_n~Module_CFRMID_1)는 0이며, 상기 모듈 프레임 ID(Module_CFRMID_n~Module_CFRMID_1)에 따라 각 프로세싱 모듈(Pn~P1)은 프레임 ID 0의 데이터를 처리한다고 가정한다. 각 프로세싱 모듈(Pn~P1)은 순차적으로 프레임 ID 0의 데이터 처리를 완료한 후, 자신의 모듈 프레임 ID(Module_CFRMID_n~Module_CFRMID_1)를 0에서 1로 증가시킨다.
스타터 모듈(240)은 제1 프로세싱 모듈(P1)로부터 데이터를 수신하면, 자신의 모듈 프레임 ID(Module_CFRMID_0)를 0에서 1로 증가시킨다.
한편, 각 프로세싱 모듈(Pn~P1) 및 스타터 모듈(240)은 자신의 모듈 프레임 ID(Module_CFRMID_n~Module_CFRMID_0)를 시스템 컨트롤 로직(230)으로 출력한다.
시스템 컨트롤 로직(230)은 각 프로세싱 모듈(Pn~P1) 및 스타터 모듈(240)의 모듈 프레임 ID(Module_CFRMID_n~Module_CFRMID_0)를 수신하여 저장할 수 있다. 시스템 컨트롤 로직(230)은 스타터 모듈(240)의 모듈 프레임 ID(Module_CFRMID_0)가 0에서 1로 바뀌면 메인 SFR(220)로 현재 프레임 ID 업데이트 신호(CFRMID_update) 및 다음 CFRMID(Next_CFRMID)를 송신할 수 있다. 메인 SFR(220)는 현재 프레임 ID 업데이트 신호(CFRMID_update)에 응답하여 현재 프레임 ID(CFRMID)를 다음 CFRMID(Next_CFRMID)로 업데이트한다. 이후 다음 CFRMID(Next_CFRMID)는 1 증가할 수 있다.
도 9는 시스템 컨트롤 로직이 저장하는 정보의 일례를 나타낸다.
도 2, 도 4 및 도 9를 참조하고, 프레임 0 내지 프레임 3의 데이터 처리에 P4 내지 P1이 이용된다고 가정한다. 즉 스트림 프로세싱 모듈들은 P4 내지 P1이다.
시스템 컨트롤 로직(230)은 복수의 프로세싱 모듈들(210) 각각으로부터 모듈 프레임 ID(Module_CFRMID)를 수신하여 저장할 수 있다.
시스템 컨트롤 로직(230)은 상술한 바와 같이 복수의 프로세싱 모듈들(210) 각각으로 모듈 인에이블 신호(Module_Enable)를 송신한다. 각 스트림 프로세싱 모듈(P1~P4)로 송신되는 모듈 인에이블 신호(Module_Enable)는 제1 로직 레벨(예컨대 로직 하이)의 값을 갖고, 그 외의 프로세싱 모듈들로 송신되는 모듈 인에이블 신호(Module_Enable)는 제2 로직 레벨(예컨대 로직 로우)의 값을 가질 수 있다. 시스템 컨트롤 로직(230)은 현재 프레임 ID(CFRMID)에 상응하고, 각 프로세싱 모듈들로 송신되는 모듈 인에이블 신호(Module_Enable)의 값을 저장할 수 있다.
한편 시스템 컨트롤 로직(230)은 각 프로세싱 모듈의 현재 프레임 ID(CFRMID)에 상응하는 터치 값(Touch)을 저장할 수 있다.
각 프로세싱 모듈의 터치 값(Touch)은 각 스트림 프로세싱 모듈(P1~P4)이 현재 프레임 ID(CFRMID)에 상응하는 프레임 동기화 정보(FRAME_SYNC_INFO)를 수신하여 모두 저장하였으면 로직 하이로 설정될 수 있다. 예컨대, 터치 값(Touch)은 각 스트림 프로세싱 모듈(P1~P4)이 현재 프레임 ID(CFRMID)와 동일한 모듈 프레임 ID(Module_CFRMID)를 가진 상태에서, 모듈 프로세싱 신호(Module_Processing)가 로직 로우에서 로직 하이로 천이하였으면 로직 하이로 설정될 수 있다.
한편, 스트림 패스(Str_path)에 속하지 않는 각 프로세싱 모듈의 터치 값(Touch)은 로직 하이로 설정된다.
터치 값(Touch)은 각 스트림 프로세싱 모듈(P1~P4)이 현재 프레임 ID(CFRMID)에 상응하는 프레임 동기화 정보(FRAME_SYNC_INFO)를 모두 저장하지 못하였으면 로직 로우로 설정될 수 있다.
도 10은 메인 SFR에 저장된 최신 프레임 ID가 업데이트되는 과정의 일례를 나타낸 타이밍도이다.
도 4, 도 9 및 도 10을 참조하면, 각 스트림 프로세싱 모듈(P1~P4)은 프레임 2의 데이터를 처리하고 있을 수 있다. 이때 메인 SFR(220)은 프레임 2에 상응하는 프레임 동기화 정보를 저장하고 있으며, 메인 SFR(220)에 저장된 현재 프레임 ID(CFRMID) 및 최신 프레임 ID(RRFRMID)의 값은 2일 수 있다.
시스템 컨트롤 로직(230)은 메인 SFR(220)로부터 현재 프레임 ID(CFRMID) 및 최신 프레임 ID(RRFRMID)를 수신한다.
스트림 프로세싱 모듈들(P1~P4) 중 P4가 가장 먼저 프레임 2의 데이터를 처리하였다고 가정한다. 이때 P4는 모듈 프레임 ID(Module_CFRMID_4)를 3으로 업데이트하고, 시스템 컨트롤 로직(230)으로 업데이트한 모듈 프레임 ID(Module_CFRMID_4) 및 P4 작업 완료 신호(P4_done)를 송신한다.
시스템 컨트롤 로직(230)은 모듈 프레임 ID(Module_CFRMID_4)와 최신 프레임 ID(RRFRMID)를 비교한다. 모듈 프레임 ID(Module_CFRMID_4)와 최신 프레임 ID(RRFRMID)가 같은 경우, 시스템 컨트롤 로직(230)은 P4의 프레임 싱크 매니저(330)를 제어하여 프레임 3의 데이터 처리를 시작하도록 결정할 수 있다.
그러나 모듈 프레임 ID(Module_CFRMID_4)가 최신 프레임 ID(RRFRMID)보다 클 경우, 메인 SFR(220)를 업데이트하여야 한다. 즉, P4가 프레임 3의 데이터를 처리하기 위해서는, 먼저 메인 SFR(220)에 저장된 프레임 동기화 정보가 프레임 3에 상응하도록 업데이트되어야 한다. 메인 SFR(220)는 최신 프레임 ID(RRFRMID), 즉 프레임 2에 상응하는 프레임 동기화 정보를 저장하고 있으므로, 시스템 컨트롤 로직(230)은 메인 SFR(220)를 업데이트해야 한다고 판단한다.
시스템 컨트롤 로직(230)은 메인 SFR(220)를 업데이트하기 전 먼저 각 스트림 프로세싱 모듈들(P1~P4)이 프레임 2에 상응하는 프레임 동기화 정보를 수신하여 저장하였는지 확인한다. 일례로 각 프로세싱 모듈의 터치 값(Touch)이 모두 로직 하이이면, 전체 터치(all_touch) 신호에 펄스가 발생할 수 있다. 상기 펄스에 따라 시스템 컨트롤 로직(230)은 각 스트림 프로세싱 모듈들(P1~P4)이 프레임 2에 상응하는 프레임 동기화 정보를 수신하여 저장하였다고 판단하고, 메인 SFR(220)로 SFR 업데이트 신호(SFR_update)를 송신한다. 메인 SFR(220)는 SFR 업데이트 신호(SFR_update)에 응답하여, 외부로부터 SFR 업데이트 데이터(SFR_update_data)를 수신한다. 메인 SFR(220)는 SFR 업데이트 데이터(SFR_update_data)에 포함된 다음 RRFRMID(Next_RRFRMID), 즉 프레임 3에 상응하는 프레임 동기화 정보를 저장한다.
이후 메인 SFR(220)는 최신 프레임 ID 업데이트 신호(RRFRMID_update) 및 다음 RRFRMID(Next_RRFRMID)를 시스템 컨트롤 로직(230)으로부터 수신하고, 이에 응답하여 최신 프레임 ID(RRFRMID)를 다음 RRFRMID(Next_RRFRMID)로 업데이트한다. 따라서 모듈 프레임 ID(Module_CFRMID_4) 및 최신 프레임 ID(RRFRMID)의 값은 모두 3으로 같아지므로, P4는 메인 SFR(220)로부터 프레임 3에 상응하는 프레임 동기화 정보를 수신하고, 프레임 3의 데이터를 처리할 수 있다.
도 11는 도 4의 각 프로세싱 모듈의 데이터 처리를 개략적으로 나타낸 타이밍도이다.
도 4, 도 10 및 도 11을 참조하고, 각 프로세싱 모듈(P4 내지 P1)은 프레임 0 내지 프레임 3의 데이터 처리에 이용된다고 가정한다.
스타터 모듈(240)에 의해 각 프로세싱 모듈(P4 내지 P1)은 모듈 프레임 ID를 0으로 설정하고, 프레임 0의 처리를 시작한다.
각 프레임은 하나의 프레임을 구성하는 복수(예컨대 1920*1080)의 픽셀들로 구성될 수 있다. 실시예에 따라, 각 프로세싱 모듈(P4 내지 P1)은 상기 하나의 프레임을 구성하는 복수의 픽셀들 전체를 처리할 수 있다. 다른 실시예에 따라, 각 프로세싱 모듈(P4 내지 P1)은 상기 하나의 프레임 내의 특정 윈도우 내의 픽셀들만 처리할 수도 있다.
각 프로세싱 모듈(P4 내지 P1)은 모듈 프레임 ID(Module_CFRMID)에 상응하는 프레임 동기화 정보(FRAME_SYNC_INFO)를 저장하고 있다. 각 프로세싱 모듈(P4 내지 P1)은 외부로부터의 데이터 또는 자신의 프로듀서가 처리한 데이터를 픽셀 단위로 수신하고, 프레임 동기화 정보(FRAME_SYNC_INFO)에 따라 수신한 픽셀 단위 데이터를 처리한다. 따라서 각 프로세싱 모듈(P4 내지 P1)은 동시에 동일한 프레임의 데이터를 처리할 수 있다.
P4가 프레임 0의 데이터를 처리 완료한 경우(①), P4는 모듈 프레임 ID(Module_CFRMID_4)를 1로 업데이트하고, 업데이트한 모듈 프레임 ID(Module_CFRMID_4)를 시스템 컨트롤 로직(230)으로 송신한다. 이때 최신 프레임 ID(RRFRMID)는 0이다.
시스템 컨트롤 로직(230)은 모듈 프레임 ID(Module_CFRMID_4)가 최신 프레임 ID(RRFRMID)보다 크므로, 스트림 프로세싱 모듈들(P4~P1) 모두 프레임 0에 상응하는 프레임 동기화 정보(FRAME_SYNC_INFO)를 수신하였는지 판단한다. P4는 프레임 0의 데이터 처리를 완료하였고, 다른 스트림 프로세싱 모듈들(P3, P2, P1)은 모두 프레임 0에 상응하는 프레임 동기화 정보(FRAME_SYNC_INFO)를 수신하여 프레임 0의 데이터를 처리하고 있다.
따라서 시스템 컨트롤 로직(230)은 SFR 업데이트 신호(SFR_update)를 발생시키고, 메인 SFR(220)는 SFR 업데이트 신호(SFR_update)에 응답하여 프레임 동기화 정보를 업데이트한 후 최신 프레임 ID(RRFRMID)를 1로 증가시킨다. 따라서 모듈 프레임 ID(Module_CFRMID_4)가 최신 프레임 ID(RRFRMID)와 같아졌으므로, P4는 메인 SFR(220)로부터 프레임 동기화 정보(FRAME_SYNC_INFO_4)를 수신한 후 프레임 1의 데이터를 처리하기 시작한다(②).
P2가 프레임 0의 데이터를 처리 완료한 경우(③), P2는 모듈 프레임 ID(Module_CFRMID_2)를 1로 업데이트하고 시스템 컨트롤 로직(230)으로 송신한다. 모듈 프레임 ID(Module_CFRMID_2)가 최신 프레임 ID(RRFRMID)와 같으므로, P2는 메인 SFR(220)로부터 프레임 동기화 정보(FRAME_SYNC_INFO_2)를 수신한 후 프레임 1의 데이터를 처리하기 시작한다(④).
이하에서 P4가 프레임 2의 데이터까지 처리 완료한 경우(⑤)를 설명한다. P4는 모듈 프레임 ID(Module_CFRMID_4)를 3으로 업데이트하고 시스템 컨트롤 로직(230)으로 송신한다. 이때 최신 프레임 ID(RRFRMID)는 2이다.
시스템 컨트롤 로직(230)은 모듈 프레임 ID(Module_CFRMID_4)가 최신 프레임 ID(RRFRMID)보다 크므로, 스트림 프로세싱 모듈들(P4~P1) 모두 프레임 2에 상응하는 프레임 동기화 정보(FRAME_SYNC_INFO)를 수신하였는지 판단한다. P1은 아직 프레임 1의 데이터를 처리 중이며, 프레임 2에 상응하는 프레임 동기화 정보(FRAME_SYNC_INFO_1)를 수신하지 않았다. 따라서 시스템 컨트롤 로직(230)은 P1이 프레임 2에 상응하는 프레임 동기화 정보(FRAME_SYNC_INFO_1)를 수신할 때까지 대기한다.
P1이 동작을 시작하면(⑥), 즉 P1이 시스템 컨트롤 로직(230)으로 송신하는 모듈 프로세싱 신호(Module_Processing_1)가 로직 로우에서 로직 하이로 천이하면, 시스템 컨트롤 로직(230)은 P1이 프레임 2에 상응하는 프레임 동기화 정보(FRAME_SYNC_INFO_1)를 수신하였다고 판단한다. 스트림 프로세싱 모듈들(P4~P1) 모두 프레임 2에 상응하는 프레임 동기화 정보(FRAME_SYNC_INFO)를 수신하였으므로, 시스템 컨트롤 로직(230)은 SFR 업데이트 신호(SFR_update)를 발생시킨다.
메인 SFR(220)는 SFR 업데이트 신호(SFR_update)에 응답하여 프레임 동기화 정보(FRAME_SYNC_INFO)를 업데이트한 후 최신 프레임 ID(RRFRMID)를 3으로 증가시킨다. 따라서 모듈 프레임 ID(Module_CFRMID_4)가 최신 프레임 ID(RRFRMID)와 같아졌으므로, P4는 메인 SFR(220)로부터 프레임 동기화 정보(FRAME_SYNC_INFO_4)를 수신한 후 프레임 3의 데이터를 처리하기 시작한다(⑦).
도 12는 수직동기신호에 따라 각 프로세싱 모듈을 프레임 단위로 처리하는 경우에 대한 비교예이다.
도 4, 도 11 및 도 12를 참조하면, 수직동기신호(Vertical Synchronization signal; VSYNC)에 따라 각 프로세싱 모듈을 프레임 단위로 처리하는 경우, 모든 스트림 프로세싱 모듈(P4~P1)은 동시에 하나의 프레임을 처리하게 된다.
모든 스트림 프로세싱 모듈(P4~P1)의 프레임 0의 데이터 처리가 완료되어야만 메인 SFR(220)가 프레임 1에 상응하는 프레임 동기화 정보를 수신하고, 이후 각 스트림 프로세싱 모듈(P4~P1)은 프레임 1에 대한 처리를 시작할 수 있다.
따라서 P4가 프레임 0의 데이터 처리를 먼저 완료하여도, P3 내지 P1이 프레임 0의 데이터 처리를 완료할 때까지 P4는 대기하여야 하는 비효율이 발생한다. 또한 메인 SFR(220)이 업데이트된 후 모든 스트림 프로세싱 모듈(P4~P1)이 동시에 동작을 개시하므로, 외부 시스템(예컨대 버스, 메모리 등)에 한번에 많은 데이터 요청이 발생한다. 이에 따라 전체 시스템의 QoS(Quality of Service)가 악화되고, 한번에 수신한 데이터를 저장하기 위해 대용량의 버퍼가 필요하다.
본 발명에 따른 실시예에서는 각 프로세싱 모듈이 프레임 동기화 정보를 각각 저장하고, 수직동기신호(VSYNC) 대신 자신의 모듈 프레임 ID(Module_CFRMID)에 동기화되어 동작한다.
따라서 각 프로세싱 모듈이 서로 독립적으로 파워/클락 게이팅될 수 있으며, 이에 따라 각 프로세싱 모듈에 대한 클락 트리(clock tree)가 작아져 클락 트리가 토글하는 데 소모하는 전력이 감소한다. 또한 다른 프로세싱 모듈들의 상태와 무관하게 각 프로세싱 모듈의 파워/클락 게이팅이 가능하므로 전력 측면에서 효율적인 설계가 가능하고, 각 프로세싱 모듈이 독립적이므로 설계의 변경이 용이하다.
한편, P4가 대기하지 않고 데이터 처리를 계속할 수 있으므로 시스템의 비효율이 제거된다. 또한 각 스트림 프로세싱 모듈(P4~P1)이 프레임 처리를 완료한 후 다음 프레임 처리를 각각 다른 시점에 개시할 수 있으므로, 외부 시스템에 한번에 요청하는 데이터의 양이 감소하여 전체 시스템의 QoS가 향상되고, 대용량의 버퍼가 불필요하므로 SoC 구현에 필요한 면적이 감소하는 효과가 있다.
도 13은 메인 SFR와 각 스트림 프로세싱 모듈 간의 데이터 전송을 나타내는 블록도이다.
도 4, 도 10 및 도 13을 참조하면, 메인 SFR(220)는 프레임 비동기화 SFR(410), 프레임 동기화 SFR(420), CFRMID_SFR(430) 및 RRFRMID_SFR(440)를 포함할 수 있다.
프레임 비동기화 SFR(410)는 외부로부터 수신한 입력 프레임 비동기화 정보(NFS_data)를 저장한다. 프레임 비동기화 SFR(410)는 수신한 입력 프레임 비동기화 정보(NFS_data)를 프레임 비동기화 정보(NON_FRAME_SYNC_INFO)로 하여 각 스트림 프로세싱 모듈(210)의 데이터 프로세싱 로직(310)으로 송신할 수 있다.
프레임 동기화 SFR(420)는 섀도우 레지스터(421) 및 동작(operational) 레지스터(423)를 포함할 수 있다.
섀도우 레지스터(421)는 외부로부터 하나의 프레임에 상응하는 입력 프레임 동기화 정보(FS_data)를 여러 차례에 걸쳐서 수신하여 저장할 수 있다. 섀도우 레지스터(421)는 SFR 업데이트 신호(SFR_update)가 발생하였을 때, 저장한 하나의 프레임에 상응하는 입력 프레임 동기화 정보(FS_data)를 프레임 동기화 정보(FRAME_SYNC_INFO)로 하여 동작 레지스터(423)로 출력할 수 있다.
동작 레지스터(423)는 상기 하나의 프레임에 상응하는 프레임 동기화 정보(FRAME_SYNC_INFO)를 저장한다. 동작 레지스터(423)는 시스템 컨트롤 로직(230)의 제어에 따라 각 스트림 프로세싱 모듈(211)의 프레임 SFR(340)로 프레임 동기화 정보(FRAME_SYNC_INFO)를 출력할 수 있다.
각 스트림 프로세싱 모듈(211)의 데이터 프로세싱 로직(310)은 프레임 비동기화 SFR(410)로부터 수신한 프레임 비동기화 정보(NON_FRAME_SYNC_INFO) 및 동작 레지스터(423)로부터 수신한 프레임 동기화 정보(FRAME_SYNC_INFO)에 따라 데이터를 프레임 단위로 처리할 수 있다.
CFRMID_SFR(430)는 현재 프레임 ID(CFRMID)를 저장할 수 있다. CFRMID_SFR(430)는 시스템 컨트롤 로직(230)으로부터 다음 CFRMID(Next_CFRMID) 및 현재 프레임 ID 업데이트 신호(CFRMID_update)를 수신할 수 있다. CFRMID_SFR(430)는 현재 프레임 ID 업데이트 신호(CFRMID_update)에 응답하여 다음 CFRMID(Next_CFRMID)로 현재 프레임 ID(CFRMID)를 업데이트할 수 있다.
RRFRMID_SFR(440)는 최신 프레임 ID(RRFRMID)를 저장할 수 있다. RRFRMID_SFR(440)는 시스템 컨트롤 로직(230)으로부터 다음 RRFRMID(Next_RRFRMID) 및 최신 프레임 ID 업데이트 신호(RRFRMID_update)를 수신할 수 있다. RRFRMID_SFR(440)는 최신 프레임 ID 업데이트 신호(RRFRMID_update)에 응답하여 다음 RRFRMID(Next_RRFRMID)로 최신 프레임 ID(RRFRMID)를 업데이트할 수 있다.
도 14는 본 발명의 다른 실시예에 따른 RRFRMID 지연 업데이트 신호를 나타낸 타이밍도이다.
도 3, 도 4 및 도 14를 참조하면, 수직동기신호(VSYNC)에 동기화되어 각 프로세싱 모듈이 데이터를 처리하는 경우에는, 수직동기신호(VSYNC)의 제1 펄스(PS1)가 발생한 후 (1) 구간 내 각 프로세싱 모듈(211)은 외부로부터 데이터를 수신하고, 메인 SFR(220)는 프레임 동기화 정보를 수신한다. 이후 (2) 구간 내 각 프로세싱 모듈(211)은 프레임 1의 데이터를 처리한다. 데이터의 왜곡을 막기 위하여 수직동기신호(VSYNC)의 각 펄스(PS1, PS2) 사이에 프레임 1의 데이터를 처리할 충분한 시간이 확보되어야 하므로, 외부로부터 짧은 시간 내 데이터를 수신하고 메인 SFR(220)의 프레임 동기화 정보를 업데이트하여야 한다. 즉, (1) 구간 내 외부 시스템에 동시에 많은 데이터 요청이 발생하며, 이에 따라 전체 시스템의 QoS가 저하될 수 있다.
본 발명에서 제n 프로세싱 모듈(211-n)이 가장 먼저 프레임 0의 데이터를 처리하여 SFR 업데이트 신호(SFR_update)에 펄스(PS3)가 발생하는 경우를 가정하면, (3) 구간 내 제n 프로세싱 모듈(211-n)은 외부로부터 데이터를 수신하고, 메인 SFR(220)는 프레임 동기화 정보를 수신한다. 이후 (4) 구간 내 제n 프로세싱 모듈(211-n)은 프레임 1의 데이터를 처리한다. 프로세싱 모듈(211) 중 하나가 프레임 1의 데이터를 처리한 후 SFR 업데이트 신호(SFR_update)에 펄스(PS4)가 발생하므로, 외부로부터 짧은 시간 내 데이터를 수신할 필요가 없어 전체 시스템의 QoS가 향상될 수 있다.
t 시점에 사용자로부터 입력이 들어오는 경우를 가정한다. 사용자는 예컨대 화면 출력 해상도를 1024*768에서 768*1024로 바꾸고자 할 수 있다. 종래 각 프로세싱 모듈(211)이 수직동기신호(VSYNC)에 동기화되어 데이터를 처리하는 경우, 메인 SFR(220)의 프레임 동기화 정보는 (1) 구간 내 업데이트되므로, 상기 입력은 프레임 1의 처리 시부터 반영될 수 있다.
본 발명의 경우, PS3 펄스는 프로세싱 모듈이 프레임 0의 데이터를 처리하는 경우 바로 발생할 수 있으므로, VSYNC의 PS1 펄스보다 발생 시점이 앞당겨질 수 있다. 이때 프레임 1에 상응하는 프레임 동기화 정보는 (3) 구간 내 메인 SFR(220)에 업데이트되므로, 이후 t 시점에 사용자가 입력한 정보는 프레임 1의 처리 시에 반영되지 않고, 프레임 2의 처리 시부터 반영될 수 있다. 따라서 사용자가 느끼는 반응 속도가 느려질 수 있다.
이러한 문제를 해결하기 위해, 시스템 로직(230)은 SFR 업데이트 신호(SFR_update)의 펄스를 소정의 지연 시간(Delay_time)만큼 지연시킨 SFR 지연 업데이트 신호(SFR_update_delayed)를 발생시킬 수 있다. 지연 시간(Delay_time)은 상수일 수 있으며, 또는 사용자 설정에 따라 가변되는 값일 수 있다. SFR 지연 업데이트 신호(SFR_update_delayed)에 따라 제n 프로세싱 모듈(211-n)은 (5) 구간 동안 외부로부터 데이터를 수신하고, (6) 구간 동안 프레임 1의 데이터를 처리할 수 있다. 이때 프레임 1에 상응하는 프레임 동기화 정보는 (5) 구간 내 메인 SFR(220)에 업데이트되므로, t 시점의 사용자 입력은 프레임 1의 처리 시부터 반영될 수 있다.
이상에서 설명한 실시예에서는 프로세싱 모듈들(210)이 2개의 프레임까지 동시에 처리할 수 있다. 그러나, 본 발명의 범위는 프로세싱 모듈들(210)이 n개의 프레임을 동시에 처리하는 경우로 확장될 수 있다.
이때 RRFRMID=CFRMID+(n-1)일 수 있다. 프로세싱 모듈들(210) 내의 프레임 SFR(340)는 n-1개의 프레임에 상응하는 프레임 동기화 정보를 저장할 수 있다. 예컨대 각 프로세싱 모듈(211)의 프레임 SFR(340)은 CFRMID 내지 RRFRMID-1의 프레임에 상응하는 프레임 동기화 정보를 저장하고 있다가, CFRMID 프레임의 처리를 완료하면 CFRMID에 상응하는 프레임 동기화 정보를 RRFRMID에 상응하는 프레임 동기화 정보로 업데이트할 수 있다.
시스템 컨트롤 로직(230)은 각 프로세싱 모듈(211)의 모듈 프레임 ID(Module_CFRMID), n개의 프레임에 각각 상응하는 모듈 인에이블 신호(Module_Enable) 및 n-1개(CFRMID 내지 RRFRMID-1)의 프레임에 각각 상응하는 터치 값(Touch)을 저장할 수 있다. 시스템 컨트롤 로직(230)은 모듈 프레임 ID(Module_CFRMID), 모듈 인에이블 신호(Module_Enable) 및 터치 값(Touch)에 따라, CFRMID 및 RRFRMID 값의 업데이트 시점을 결정할 수 있다.
도 15는 본 발명의 또 다른 실시예에 따른 SoC의 동작 방법을 나타낸다.
도 4 및 도 15를 참조하면, 각 프로세싱 모듈(211-1~211-n)은 메인 SFR(220)로부터 프레임 동기화 정보(FRAME_SYNC_INFO)를 수신하고 저장한다(S501).
각 프로세싱 모듈(211-1~211-n)은 자신이 저장한 프레임 동기화 정보(FRAME_SYNC_INFO)에 따라 데이터를 프레임 단위로 처리한다(S503).
도 16은 본 발명의 실시 예들에 따른 SoC을 포함하는 장치의 블록도를 나타낸다.
전자 시스템(10)은 SoC(100), 전원 관리부(160), 입출력 장치(187), 확장 카드(630), 네트워크 장치(620), 및 디스플레이 장치(195)를 포함할 수 있다. 실시 예에 따라. 시스템(100)은 카메라 모듈(610)을 더 포함할 수 있다. SoC(100)는 구성 요소들(160, 187, 195, 620, 630) 중에서 적어도 하나의 동작을 제어할 수 있다.
전원 관리부(160)는 구성 요소들(100, 187, 195, 620, 630) 중에서 적어도 하나로 동작 전압을 공급할 수 있다.
입출력 장치(187)는 시스템(100)으로 데이터를 전송하거나 또는 시스템(100)으로부터 출력된 데이터를 외부 장치로 전송할 수 있는 포트들일 수 있다.
확장 카드(630)는 SD(secure digital) 카드 또는 MMC(multimedia card)로 구현될 수 있다. 실시 예에 따라, 확장 카드(630)는 SIM(Subscriber Identification Module) 카드 또는 USIM(Universal Subscriber Identity Module) 카드일 수 있다.
네트워크 장치(620)는 시스템(100)을 무선 네트워크에 접속시킬 수 있는 장치를 의미할 수 있다.
디스플레이 장치(195)는 입출력 장치(187), 확장 카드(630), 또는 네트워크 장치(620)로부터 출력된 데이터를 디스플레이할 수 있다.
카메라 모듈(610)은 광학 이미지를 전기적인 이미지로 변환할 수 있는 모듈을 의미한다. 따라서, 카메라 모듈(610)로부터 출력된 전기적인 이미지는 SoC(100) 또는 확장 카드(630)에 저장될 수 있다. 또한, 카메라 모듈(610)로부터 출력된 전기적인 이미지는 SoC(100)의 제어에 따라 디스플레이 장치(195)를 통하여 디스플레이될 수 있다. 카메라 모듈(610)은 이미지 센서를 포함한다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 전자 시스템 100: SoC
187: 입출력 장치 190: 메모리 장치
195: 디스플레이 장치
110: CPU 120: ROM
130: RAM 135: 타이머
140: 가속기 145: 클럭 관리부
150: 디스플레이 컨트롤러 170: 메모리 컨트롤러
180: 버스 185: 입출력 인터페이스
160: PMIC
210: 복수의 프로세싱 모듈들 220: 메인 SFR
230: 시스템 컨트롤 로직 240: 스타터 모듈
211: 각 프로세싱 모듈
310: 데이터 프로세싱 로직 320: 파워/클락 매니저
330: 프레임 싱크 매니저 340: 프레임 SFR

Claims (10)

  1. SFR 정보를 저장하는 메인 SFR(Special Function Register);
    각각이 상기 SFR 정보에 따라 데이터의 각 프레임을 처리하는 복수의 프로세싱 모듈들; 및
    상기 메인 SFR 및 상기 복수의 프로세싱 모듈들의 동작을 제어하는 시스템 컨트롤 로직을 포함하며,
    상기 복수의 프로세싱 모듈들 각각은 동일한 시간에 서로 다른 프레임의 데이터를 처리하고,
    상기 시스템 컨트롤 로직은,
    상기 복수의 프로세싱 모듈들 중 제1 프로세싱 모듈이 현재 프레임의 데이터를 처리 중일 때, 상기 복수의 프로세싱 모듈들 중 다음 프레임의 데이터를 처리하기 위한 제2 프로세싱 모듈을 활성화하는 SFR 업데이트 신호를 생성하고, 상기 생성된 SFR 업데이트 신호를 메인 SFR에 인가하는 멀티미디어 시스템.
  2. 제1항에 있어서, 상기 복수의 프로세싱 모듈들 각각은
    각 상기 프로세싱 모듈의 클락 게이팅 및 파워 게이팅을 제어하는 파워/클락 매니저를 포함하는 멀티미디어 시스템.
  3. 제1항에 있어서, 상기 멀티미디어 시스템은
    상기 복수의 프로세싱 모듈들 중 상기 데이터를 처리하는 스트림 프로세싱 모듈들을 포함하는 스트림 패스를 설정하는 스타터 모듈을 더 포함하고,
    상기 스타터 모듈은
    상기 스트림 프로세싱 모듈들 각각의 모듈 프레임 ID를 설정하는 멀티미디어 시스템.
  4. 제3항에 있어서, 상기 복수의 프로세싱 모듈들 각각은
    상기 데이터의 다음 프레임의 처리를 시작할지 여부를 결정하는 프레임 싱크 매니저;
    상기 메인 SFR로부터 프레임 동기화 정보를 수신하여 저장하는 프레임 SFR; 및
    상기 프레임 SFR에 저장된 상기 프레임 동기화 정보에 따라 상기 데이터의 각 프레임을 처리하는 데이터 프로세싱 로직을 포함하는 멀티미디어 시스템.
  5. 제4항에 있어서, 상기 프레임 SFR는
    상기 프레임 싱크 매니저가 상기 다음 프레임의 처리를 시작하도록 결정하면, 상기 메인 SFR로부터 상기 다음 프레임에 상응하는 상기 프레임 동기화 정보를 수신하여 저장하고, 상기 프레임 싱크 매니저가 그 다음 프레임의 처리를 시작하도록 결정할 때까지 상기 프레임 동기화 정보를 유지하는 멀티미디어 시스템.
  6. 제4항에 있어서, 상기 메인 SFR는
    상기 스트림 프로세싱 모듈들이 처리하는 프레임 중 가장 최신 프레임의 ID를 최신 프레임 ID로 저장하고, 상기 최신 프레임 ID에 상응하는 상기 프레임 동기화 정보를 저장하는 멀티미디어 시스템.
  7. 제6항에 있어서, 상기 프레임 싱크 매니저는
    상기 모듈 프레임 ID에 상응하는 데이터의 처리를 완료하면 상기 모듈 프레임 ID를 증가시키고, 상기 증가된 모듈 프레임 ID를 상기 시스템 컨트롤 로직으로 송신하며,
    상기 시스템 컨트롤 로직은
    상기 모듈 프레임 ID와 상기 최신 프레임 ID가 일치하면 상기 프레임 싱크 매니저를 제어하여 상기 다음 프레임의 처리를 시작하는 멀티미디어 시스템.
  8. 제7항에 있어서, 상기 시스템 컨트롤 로직은
    상기 모듈 프레임 ID가 상기 최신 프레임 ID보다 클 경우, 상기 스트림 프로세싱 모듈들 모두 상기 최신 프레임 ID에 상응하는 상기 프레임 동기화 정보를 수신하였으면 상기 SFR 업데이트 신호를 발생시키고,
    상기 메인 SFR는
    상기 SFR 업데이트 신호에 따라 상기 프레임 동기화 정보를 업데이트하고 상기 최신 프레임 ID를 업데이트하는 멀티미디어 시스템.
  9. 동일한 시간에 서로 다른 프레임의 데이터를 처리하는 멀티미디어 시스템의 동작 방법에 있어서,
    복수의 프로세싱 모듈들 각각이 메인 SFR로부터 프레임 동기화 정보를 수신하고 저장하는 단계; 및
    복수의 프로세싱 모듈들 각각이 상기 프레임 동기화 정보에 따라 데이터의 각 프레임을 처리하는 단계를 포함하고,
    상기 데이터의 각 프레임을 처리하는 단계는,
    상기 복수의 프로세싱 모듈들 중 제1 프로세싱 모듈이 현재 프레임의 데이터를 처리 중일 때, 상기 복수의 프로세싱 모듈들 중 다음 프레임의 데이터를 처리하기 위한 제2 프로세싱 모듈을 활성화하는 SFR 신호를 생성하는 단계를 더 포함하는 멀티미디어 시스템의 동작 방법.
  10. 제9항에 있어서, 상기 각 프로세싱 모듈 각각은
    동일한 시간에 서로 다른 프레임의 데이터를 처리하며, 상기 각 프로세싱 모듈이 갖는 모듈 프레임 ID에 따라 각각 동기화되어 동작하고, 서로 독립적으로 클락 게이팅 및 파워 게이팅되는 멀티미디어 시스템의 동작 방법.
KR1020130028336A 2013-03-15 2013-03-15 멀티미디어 시스템 및 이의 동작 방법 Active KR102114342B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130028336A KR102114342B1 (ko) 2013-03-15 2013-03-15 멀티미디어 시스템 및 이의 동작 방법
US14/201,061 US9424807B2 (en) 2013-03-15 2014-03-07 Multimedia system and operating method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130028336A KR102114342B1 (ko) 2013-03-15 2013-03-15 멀티미디어 시스템 및 이의 동작 방법

Publications (2)

Publication Number Publication Date
KR20140113220A KR20140113220A (ko) 2014-09-24
KR102114342B1 true KR102114342B1 (ko) 2020-05-22

Family

ID=51525418

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130028336A Active KR102114342B1 (ko) 2013-03-15 2013-03-15 멀티미디어 시스템 및 이의 동작 방법

Country Status (2)

Country Link
US (1) US9424807B2 (ko)
KR (1) KR102114342B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007078761A (ja) 2005-09-12 2007-03-29 Canon Inc 電子写真感光体の製造方法
US20100138478A1 (en) * 2007-05-08 2010-06-03 Zhiping Meng Method of using information set in video resource
US20120054511A1 (en) * 2010-08-31 2012-03-01 Sonics, Inc Intelligent power controller
US20120106976A1 (en) * 2010-11-01 2012-05-03 Calix, Inc. Network interface device synchronization

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4768192A (en) 1987-04-01 1988-08-30 General Signal Corp. Frame synchronization detection system for time division multiplexed (TDM) digital signals
GB2266979A (en) * 1992-05-12 1993-11-17 Apple Computer Phase register for synchronization of multiple signal processors.
US6262776B1 (en) 1996-12-13 2001-07-17 Microsoft Corporation System and method for maintaining synchronization between audio and video
US6950434B1 (en) * 1999-12-07 2005-09-27 Advanced Micro Devices, Inc. Arrangement for searching packet policies using multi-key hash searches in a network switch
US7130316B2 (en) 2001-04-11 2006-10-31 Ati Technologies, Inc. System for frame based audio synchronization and method thereof
US6784881B2 (en) 2002-01-04 2004-08-31 Sun Microsystems, Inc. Synchronizing multiple display channels
JP4409152B2 (ja) 2002-06-27 2010-02-03 株式会社ルネサステクノロジ 表示制御駆動装置および表示システム
US7620699B1 (en) * 2002-07-26 2009-11-17 Paltalk Holdings, Inc. Method and system for managing high-bandwidth data sharing
JP3880482B2 (ja) * 2002-08-14 2007-02-14 エヌイーシーコンピュータテクノ株式会社 二重化ネットワーク計算機システム及び計算機システムのネットワーク二重化方法
US7277368B2 (en) * 2002-11-11 2007-10-02 Matsushita Electric Industrial Co., Ltd. Playback method, playback control circuit and playback apparatus for a recording medium
US8712562B1 (en) * 2003-01-15 2014-04-29 Avid Technology, Inc. Audio and music data transmission medium and transmission protocol
JP3731589B2 (ja) 2003-07-18 2006-01-05 ソニー株式会社 撮像装置と同期信号発生装置
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
JP2007519968A (ja) 2004-01-28 2007-07-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マトリクスディスプレイにおける表示
JP4885461B2 (ja) 2005-02-24 2012-02-29 日立プラズマディスプレイ株式会社 表示パネルの表示制御装置及びそれを有する表示装置
EP1894116A1 (en) 2005-06-10 2008-03-05 Freescale Semiconductor, Inc. Method and device for frame synchronization
JP4871082B2 (ja) * 2006-09-19 2012-02-08 ラピスセミコンダクタ株式会社 同期再生回路
US8023557B2 (en) 2007-12-31 2011-09-20 Silicon Laboratories Inc. Hardware synchronizer for 802.15.4 radio to minimize processing power consumption
US8437334B2 (en) * 2010-11-30 2013-05-07 Motorola Solutions, Inc. Methods and apparatus for method for maintaining a radio link at a mobile radio

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007078761A (ja) 2005-09-12 2007-03-29 Canon Inc 電子写真感光体の製造方法
US20100138478A1 (en) * 2007-05-08 2010-06-03 Zhiping Meng Method of using information set in video resource
US20120054511A1 (en) * 2010-08-31 2012-03-01 Sonics, Inc Intelligent power controller
US20120106976A1 (en) * 2010-11-01 2012-05-03 Calix, Inc. Network interface device synchronization

Also Published As

Publication number Publication date
US20140267317A1 (en) 2014-09-18
US9424807B2 (en) 2016-08-23
KR20140113220A (ko) 2014-09-24

Similar Documents

Publication Publication Date Title
US8687007B2 (en) Seamless display migration
US10096304B2 (en) Display controller for improving display noise, semiconductor integrated circuit device including the same and method of operating the display controller
JP4265195B2 (ja) 半導体装置
US10282805B2 (en) Image signal processor and devices including the same
US8781260B2 (en) Compositing in multiple video processing unit (VPU) systems
US7526666B1 (en) Derived clock synchronization for reduced skew and jitter
KR102105873B1 (ko) 디스플레이 시스템
KR20220143667A (ko) 지연된 그래픽 프로세싱 유닛 렌더 시간을 보상하기 위한 감소된 디스플레이 프로세싱 유닛 전달 시간
JP2002236480A (ja) 画面上の画像フレームを更新する方法及び表示システム
KR102432457B1 (ko) 디스큐 기능을 갖는 클락 발생 회로 및 상기 회로를 포함하는 반도체 집적회로 장치
US10579564B2 (en) System on chip (SoC), mobile electronic device including the same, and method of operating the SoC
US20160012802A1 (en) Method of operating display driver integrated circuit and method of operating image processing system having the same
CN107358928B (zh) 一种超高分辨率图形信号发生器及其启动、升级方法
US20210152323A1 (en) Communication apparatus, communication system, communication method, and computer readable medium
KR102114342B1 (ko) 멀티미디어 시스템 및 이의 동작 방법
KR100631778B1 (ko) 데이터 버퍼 회로, 인터페이스 회로 및 그 제어 방법
CN113728622B (zh) 用于无线传输图像的方法及装置、存储介质及电子设备
CN111554331B (zh) 非易失性存储器件
CN104050131A (zh) 片上系统及其操作方法
US20150123977A1 (en) Low latency and high performance synchronization mechanism amongst pixel pipe units
US20140197870A1 (en) Reset extender for divided clock domains
JP5126010B2 (ja) メモリアクセス制御回路及び画像処理装置
JP6141062B2 (ja) データ処理装置及びクロック供給方法
US11579650B2 (en) Method and apparatus for synchronizing the time stamp counter
US20100328724A1 (en) Image processing apparatus

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130315

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180223

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130315

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190816

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200219

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200518

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200519

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230426

Start annual number: 4

End annual number: 4