[go: up one dir, main page]

KR20010085702A - 화상 처리 장치 - Google Patents

화상 처리 장치 Download PDF

Info

Publication number
KR20010085702A
KR20010085702A KR1020010010308A KR20010010308A KR20010085702A KR 20010085702 A KR20010085702 A KR 20010085702A KR 1020010010308 A KR1020010010308 A KR 1020010010308A KR 20010010308 A KR20010010308 A KR 20010010308A KR 20010085702 A KR20010085702 A KR 20010085702A
Authority
KR
South Korea
Prior art keywords
screen
image
chroma key
sub
area
Prior art date
Application number
KR1020010010308A
Other languages
English (en)
Other versions
KR100412763B1 (ko
Inventor
유이히데아끼
Original Assignee
미다라이 후지오
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미다라이 후지오, 캐논 가부시끼가이샤 filed Critical 미다라이 후지오
Publication of KR20010085702A publication Critical patent/KR20010085702A/ko
Application granted granted Critical
Publication of KR100412763B1 publication Critical patent/KR100412763B1/ko

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4435—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/641—Multi-purpose receivers, e.g. for auxiliary information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Circuits (AREA)
  • Image Processing (AREA)

Abstract

크로마 키 프로세스에 의해 메인-화면의 화상 데이터와 서브-화면의 화상 데이터를 합성하기 위한 장치가 제공된다. 이 장치는 서브-화면에 포함된 화상의 속성이 검출되고, 속성 검출 결과에 따라 서브-화면의 일부 영역이 크로마 키 마스크 영역으로서 설정되고, 서브-화면 내의 크로마 키 마스크 영역에 대해 크로마 키 프로세스를 실행하지 않으면서 크로마 키 마스크 영역 이외의 영역에 대해 크로마 키 프로세스를 실행하여 메인-화면의 화상 데이터와 서브-화면의 화상 데이터를 합성한다.

Description

화상 처리 장치{IMAGE PROCESSING APPARATUS}
본 발명은 화상 처리 장치에 관한 것으로, 더 구체적으로는 복수개의 화상들로 된 화상 신호들을 하나의 화면으로 합성하는 기술에 관한 것이다.
현재 멀티-화면 표시는 액정 프로젝터 또는 플라즈마 표시 장치와 같은 대형 표시 장치를 사용하여 자주 채택된다. 멀티-화면 표시에서, DTV(digital television)로부터 수신된 화상들, DVD(digital versatile disc)로부터 재생된 화상들, 및 퍼스널 컴퓨터에 의해 처리된 화상들이 사용된다. 대형 스크린 표시 장치는 가전용 멀티미디어를 위한 메인 표시 장치가 될 것으로 생각되며, 다양한 미디어의 화상들을 하나의 표시 장치상에 통합적으로 표시하는 응용들이 요구되어 왔다.
이러한 배경에서, 주로 DVD에 대한 응용에 관련된 화상 표시 시스템은 동시에 복수개의 화상들을 표시하는 기능 뿐만 아니라 복수개의 화상들을 하나의 멀티-화면으로 합성하는 기능을 가질 것이 요구된다. 이러한 화상들은 디지털 방송으로부터의 화상, WWW 브라우저로부터의 화상, 이-메일로부터의 화상, EPG(electric program guide)로부터의 화상, IEEE 1394 시리얼 버스 호환 주변 기기의 사용자 지원 화상과 같은 소위 GUI 화면을 포함한다.
이러한 기능들을 구현하기 위해서는, 메모리를 사용하여 복수개의 입력 비디오 화상들과 GUI 화면들을 전개하는 것이 필요하다. 이 메모리는 비디오 화상들과 GUI 화면들의 합성을 제어하는 데에 사용되는 비디오 화상 화면, GUI 화면 화면, 및 알파 화면으로 된 구조를 갖는다. 알파 화면에 기록된 알파값들에 따라, 비디오 화상 선택, GUI 화면 선택, 알파 블렌딩과 같은 비디오와 GUI 화면들의 합성이비트 단위로 처리될 수 있다.
이러한 종래의 화상 표시 시스템에서, 복수개의 입력 비디오 및 GUI 화면들을 전개하기 위한 메모리가 이들의 화상들의 합성을 제어하기 위하여 전용 알파 화면을 사용한다면, 알파 화면의 용량은 통상 화소당 8비트에 표시 해상도를 곱한 량이 된다.
예를 들어, DTV 분야의 HDTV용 고해상도 1080P의 프로그레시브 표시 장치의 사용은 1920 ×1080 ×8 = 2MB의 용량을 갖는 알파 화면 메모리를 필요로 한다. 이러한 메모리 용량의 증가는 GUI 화면들에 대해 알파 값들을 전개하는 CPU또는 그래픽 가속기의 부하를 가중시키게 된다.
이러한 문제를 해결하기 위해, 크로마 키 방법이 제안되었다. 이 방법에서는, 알파 화면의 사용없이, 복수개의 입력 비디오와 GUI 화면들이 특정 키 컬러를 GUI 화면 데이터에 삽입함으로써 합성될 수 있다.
크로마 키 합성 방법은, CPU가 키 컬러를 히트하지 않도록 GUI 화면의 컬러들을 제어할 수 있다는 것에 따른다. CPU에 의한 제어가 불가능한 데이터가 GUI 화면에서 전개된다면, 키 컬러 히트의 확률은 증가하고, 원하는 화상 합성은 수행될 수 없을 것이다. CPU에 의한 제어가 불가능한 데이터는 BS 디지털 데이터 방송으로부터 생성된 정지 화상 데이터, 인터넷상의 화상 데이터, 디지털 카메라 등에 의해 찍혀진 자연 화면 데이터를 포함한다.
본 발명의 목적은 상술한 문제점을 해결하기 위한 것이다.
본 발명의 또 다른 목적은 메모리를 효율적으로 사용함으로써 매우 정밀하게 메인-화면과 서브-화면을 합성하는 것이다.
상기 목적들을 달성하기 위한 본 발명의 일 특징에 따르면, 크로마 키 프로세스에 의해 메인-화면의 화상 데이터와 서브-화면의 화상 데이터를 합성하기 위한 장치가 제공된다. 이 장치는 서브-화면에 포함된 화상의 속성을 검출하기 위한 속성 검출 수단과, 속성 검출 수단의 출력에 따라 서브-화면의 일부 영역을 크로마 키 마스크 영역으로서 설정하기 위한 영역 설정 수단과, 서브-화면 내의 크로마 키 마스크 영역에 대해서는 크로마 키 프로세스를 실행하지 않고, 크로마 키 마스크 영역 이외의 영역에 대해서는 크로마 키 프로세스를 실행하여 메인-화면의 화상 데이터와 서브-화면의 화상 데이터를 합성하는 합성 수단을 포함한다.
본 발명의 다른 목적들 및 다른 특징들은 첨부 도면들을 참조하여 다음의 상세한 설명을 읽음으로써 명백히 알 수 있을 것이다.
도 1은 본 발명의 제1 실시예에 따른 화상 표시 시스템의 구조를 나타낸 블록도.
도 2는 도 1에 도시된 화상 표시 시스템의 멀티-화면 표시 동작을 예시하는 순서도.
도 3은 멀티-화면 표시 동작의 초기화 프로세스를 예시한 순서도.
도 4는 도 1에 도시된 화상 표시 시스템의 메모리 유닛의 메모리 어드레스 맵.
도 5는 도 1에 도시된 화상 표시 시스템의 출력 합성 유닛의 구조를 나타낸 블록도.
도 6은 도 3에 도시된 초기화 프로세스에서 멀티-화면과 GUI 화면에 대한 합성 (크로마 키 합성) 결과를 예시한 도면.
도 7은 크로마 키 합성 동안 GUI 화면상의 크로마 키 패턴을 나타낸 도면.
도 8은 크로마 키 합성을 설명하기 위한 타이밍 챠트.
도 9는 데이터 방송 수신 동안 도 1에 도시된 화상 표시 시스템에 의해 실행되는 GUI 화면 드로잉 프로세스를 설명하기 위한 순서도.
도 10은 GUI 화면 드로잉 프로세스에서의 크로마 키 프로세스를 설명하기 위한 도면.
도 11은 크로마 키 프로세스를 설명하기 위한 순서도.
도 12는 본 발명의 제2 실시예에 따라 사각형 마스크 영역의 최적화를 필요로 하는 크로마 키 프로세스를 예시한 도면.
도 13은 도 12에 도시된 크로마 키 프로세스를 설명하기 위한 순서도.
도 14는 최적화 이전의 사각형 영역들을 나타낸 도면.
도 15는 최적화 이후의 사각형 영역들을 나타낸 도면.
도 16은 본 발명의 제3 실시예에 따라 크로마 키 프로세스에서 사각형 영역들의 수를 감소시키는 프로세스를 예시한 순서도.
<도면의 주요 부분에 대한 부호의 설명>
1a : DTV 수신 전단부
1b : DVD
2 : 튜너 유닛
3 : 복조 유닛
4 : 디멀티플렉서 유닛
5 : 오디오 디코딩 유닛
6 : 화상 디코딩 유닛
7 : 데이터 디코딩 유닛
8a, 8b : 동화상 입력 유닛
9a, 9b : 해상도 변환 유닛
10 : 멀티-화면 제어 유닛
11 : RAM
12 : 버스 조정 유닛
13 : 메모리 제어 유닛
14 : 메모리 유닛
15 : 출력 변환 유닛
16 : 표시 디바이스
17 : ROM
18 : 출력 합성 유닛
19 : 원격 제어 유닛
21 : 그래픽 가속기
22 : 그래픽 버스
23 : 원격 제어기
24 : 모뎀 유닛
25 : IEEE 1394 제어 유닛
26 : PCMCIA
100 : 동화상 표시 시스템
첨부 도면들을 참조하여 본 발명의 실시예들이 설명된다.
본 발명은 예를 들어 도 1에 도시된 화상 표시 시스템(100)에 적용된다. 이 화상 표시 시스템(100)은 크로마 키 합성 방법에 의해 복수개의 비디오 화상들과 GUI 화면들을 합성하고 하나의 화면으로서 통합적으로 표시하는 기능을 갖는다.
화상 표시 시스템(100)은 화상이 표시 메모리에서 전개될 때 그래픽 가속기를 제어하기 위한 CPU에 의해 제어될 수 없는 컬러를 갖는 화상의 데이터 타입과 속성을 식별하기 위한 식별부를 갖는다. 식별부에 의해 식별된 화상이 크로마 키합성 프로세스 동안 키 컬러에 히트할 확률이 높다고 판단되면, 크로마 키 합성 프로세스는 이 화상 영역에서 마스크된다. 이러한 방식으로, 메모리 용량은 저감될 수 있고, 크로마 키 합성 프로세스의 정확도가 향상될 수 있다.
<화상 표시 시스템(100)의 구조>
본 실시예에서, 화상 표시 시스템(100)은 두개의 종속 화상 소스들로부터의 화상들을 하나의 화면으로서 표시한다고 가정한다. 그러나, 표시 모니터에 표시될 화상 소스의 수는 두개로만 한정되지 않고, 두개보다 더 작거나 더 커질 수 있다.
도 1을 참조하면, DTV 수신 전단부(이하, 화상 소스라 함; 1a)는 튜너 유닛(2), 복조 유닛(3), 디멀티플렉서 유닛(4), 오디오 디코딩 유닛(5), 화상 디코딩 유닛(6), 및 데이터 디코딩 유닛(7)을 포함한다.
튜너 유닛(2)는 지상파, 위성파 등으로부터 방송 신호(디지털 텔레비젼 신호)를 수신하여, 수신된 신호를 밴드 패스 필터, 다운 컨버터 등을 통해 전달하여, 복조 유닛(3)에 공급한다. 방송 신호는 동화상 데이터, 오디오 데이터, 추가 정보 데이터 등을 포함한 복수개의 멀티플렉스된 방송 프로그램 데이터를 포함한다. 복조 유닛(3)은 전송 타입을 정합하는 방식으로 튜너 유닛(2)로부터 공급된 신호를 복조하고, 에러 보정 처리를 수행하고, 처리된 신호를 MPEG2 전송 스트림으로서 디멀티플렉서 유닛(4)에 공급한다.
디멀티플렉서 유닛(4)은 복조 유닛(3)으로부터 공급된 전송 스트림을 원하는 프로그램의 MPEG2 비디오 데이터, MPEG2 오디오 데이터, 및 추가 정보로 분리한다. 오디오 디코딩 유닛(5)는 디멀티플렉서 유닛(4)로부터 공급된 MPEG2 오디오 데이터를 디코드하여 오디오 신호를 출력한다. 증폭기와 스피커를 오디오 디코딩 유닛(5)에 접속함으로써, 튜너 유닛(2)에 의해 수신된 방송 신호(프로그램)의 사운드가 청취될 수 있다.
화상 디코딩 유닛(6)은 디멀티플렉서 유닛(4)로부터 공급된 MPEG2 비디오 데이터를 디코드하여, 표시 포맷이 래스터 스캔 타입인 화상 데이터로 변환하고, 이것을 동화상 입력 유닛(8a)에 공급한다.
데이터 디코딩 유닛(7)는 디멀티플렉서 유닛(4)으로부터 공급된 추가의 정보 데이터를 디코드하여, 멀티-화면 제어 유닛(10)에 디코드된 데이터를 공급한다.
"디코드"란 튜너 유닛(2)에서 수신된 BS 디지털 방송에 대한, 예를 들어 MPEG(Multimedia and Hypermedia Experts Group)-5, HTML(Hyper Text Markup Language) 및 XML(eXtensible Markup Language)과 같은 시나리오 디스크립티브 랭귀지로 설명된 오브젝트로부터 멀티미디어 정보 서비스 프로바이더의 시나리오를 얻는 것을 말한다.
이 시나리오는 구조화된 콘텐츠의 속성들(사이즈, 위치, 화상 타입, 코딩 방법)로 구성된다. 멀티-화면 제어 유닛(10)은 시나리오를 분석하여 그래픽 가속기(21)와 화상 디코딩 유닛(6)에 따라 데이터 방송 화면을 구성한다. 예를 들어, 만일 CS 디지털 방송이 튜너 유닛(2)에서 수신되면, "디코드"란 주로 프로그램 정보를 얻는 것을 의미한다. 이 프로그램 정보는 멀티-화면 제어 유닛(10)에 의해 분석되고, 그래픽 가속기(21)에 대한 드로잉 명령을 사용하여 EPG와 같은 GUI 화면으로 변환된다.
DVD 플레이어(1b)(이하, 화상 소스가라 일컬음)는 아날로그 합성 신호 또는 디지털 신호를 YUV 래스터 포맷의 화상 데이터로 변환하고, 변환된 화상 데이터를 동화상 입력 유닛(8b)에 공급한다. 동화상 입력 유닛(8a)은 DTV 수신 전단부(1a)의 화상 디코딩 유닛(6)으로부터 화상 데이터를 수신하는데 반해, 동화상 입력 유닛(8b)은 DVD 플레이어(1b)로부터 화상 데이터를 수신한다.
비록 이 동화상 입력 유닛들(8a, 8b)이 동일한 구조를 갖지만, 이들은 독립적인 타이밍들에서 대응하는 화상 소스들로부터 화상 데이터를 수신한다. 이 경우, 동화상 입력 유닛들(8a, 8b)은 때때로 동시에 화상 데이터를 수신하기 위한 제어 신호들을 수신한다. 제어 신호들은, 예를 들어 한 라인의 동기를 위한 수평 동기 신호, 한 프레임 또는 필드의 동기를 위한 수직 동기 신호, 각 픽셀을 샘플링하기 위한 클럭 신호, 유효 화상 데이터의 전송 주기를 나타내는 표시 인에이블 신호 등을 포함한다.
수신된 화상 데이터가 컴퓨터 아날로그 신호라면, 동화상 입력 유닛들(8a, 8b)은 아날로그 신호를 디지털 신호로 변환하기 위해 A/D 변환기를 사용하고, 화상 데이터를 샘플링하기 위한 PLL 회로를 사용하여 수신된 아날로그 신호들을 처리한다.
수신된 화상 데이터가 LVDS(Low Voltage Differential Signal)와 같은 디지털 신호라면, 동화상 입력 유닛들(8a, 8b)은 디코더와 차동 버퍼를 사용하여 디지털 신호를 처리한다. 만일 수신된 화상 데이터가 합성 신호라면, 이들은 YUV를 RGB 신호로 변환하는 컬러 변환 회로와 스캔 방법을 인터레이스 스캔으로부터 프로그레시브 스캐닝으로 변환하는 I-P 변환기를 사용하여 합성 신호를 처리한다.
해상도 변환 유닛(9a)는 멀티-화면 제어 유닛(10)의 제어하에서, 동화상 유닛(8a)으로부터 수신된 화상 데이터의 표시 포맷(표시 라인 넘버, 도트 넘버, 컬러 넘버)을 변환한다. 유사하게, 해상도 변환 유닛(9b)는 멀티-화면 제어 유닛(10)의 제어하에서, 동화상 유닛(8b)으로부터 수신된 화상 데이터의 표시 포맷으로 변환한다.
해상도 변환 유닛(9a, 9b)는 각각 독립적인 두개의 세트들의 화상 데이터를 하나의 공통 그래픽 버스(22)에 출력하는 버스 인터페이스 기능을 갖는다.
그러므로, 해상도 변환 유닛(9a, 9b) 각각으로부터 출력된 화상 데이터는 메모리 제어 유닛(13)의 제어 하에, 그래픽 버스(22)를 통해 메모리에 저장된다 이 메모리(14)는 적어도 하나의 화면에 대응하는 용량을 갖는다. 본 실시예에서, 메모리(14)는 그래픽 가속기(21)로부터 출력된 데이터 뿐만 아니라 화상 데이터를 위해, 적어도 세개의 화면들에 대응하는 용량을 갖는다.
출력 합성 유닛(18)은 멀티-화면 제어 유닛(10)로부터의 멀티-윈도우 관리 명령에 따라, 표시될 화상 데이터가 저장된 메모리 어드레스를 메모리 제어 유닛(13)에 송출한다. 이러한 방식으로, 표시 화상 데이터가 메모리 유닛(14)으로부터 판독되어 최종적인 화면 합성을 구현한다.
출력 합성 유닛(18)으로부터 출력된 화상 데이터에 따른 화상, 특히 멀티-화면을 표시 디바이스(16)에 표시하기 위해, 출력 변환 유닛(15)는 표시 디바이스(16)의 프레임 레이트와 동기적으로 표시 디바이스(16)의 특성에 따른 표시 제어 및 표시 포맷 변환 처리를 수행한다.
표시 디바이스(16)는 출력 변환 유닛(15)으로부터 출력된 화상 데이터에 따른 화상을 표시한다. 표시 디바이스(16)는 화상을 표시할 수만 있으면 되며 매트릭스 전극 구조를 갖는 플랫 패널 표시 장치 (액정, 플라즈마, 등) 또는 CRT 등일 수 있다. 본 실시예에서, 텔레비젼을 위한 고해상도 표시 장치와 PC를 위한 고정밀의 SXGM 이상급을 갖는 대형 스크린 표시 장치를 타겟으로 한다.
버스 조정 유닛(12)은 우선 순위에 따라서 그래픽 버스(22)로부터 메모리 유닛(14)으로의 비동기식 액세스를 관리한다.
멀티-화면 제어 유닛(10)은 이런 시스템(100)의 전체 동작을 제어하며, 산술 기능을 갖는 CPU(10a), 임시 데이터 저장용 RAM(11), 제어 프로그램등을 저장하기 위한 ROM(17), 타이머 카운터, 주변 I/O 인터페이스 등을 구비한다.
멀티-화면 제어 유닛(10)은 논리 회로만으로 이루어지거나, CPU 또는 병렬 계산가능한 미디어 프로세서일 수 있다. 멀티-화면 제어 유닛(10)에 의한 제어에 사용될 프로그램은 ROM(17)에 기입되거나 또는 주변 I/O 인터페이스를 통해 외부적으로 제공된다.
필요하다면, ROM(17)은 캐릭터 폰트 데이터 등을 저장한다. 폰트 데이터는 WWW 또는 데이터 방송으로부터 캐릭터 정보가 화상으로 전개될 때 사용된다.
원격 제어 유닛(19)은 멀티-화면 제어 유닛(10)에 연결된다. 따라서, 멀티-화면 제어 유닛(10)은 원격 제어 유닛(19)을 통해 원격 제어기(23)로부터 명령(적외선을 사용하여)을 수신할 수 있다.
그래픽 가속기(21)는 멀티-화면 제어 유닛(10)이 드로잉 명령과, BitBit 및 DMA와 같은 가속 기능을 사용하여 GUI 화면- 상기 GUI 화면은 OSD(On Screen Display) 화상, EPG 화상 및 데이터 방송 화상을 포함함 -을 표시 디바이스(16)상에 표시한다.
모뎀 유닛(24)은 인터넷과의 연결을 위해 동작한다. IEEE1394 제어 유닛(25)은 IEEE1394 직렬 버스 사양과 호환가능한 외부 장치와의 연결을 위해 동작한다. PCMCIA(26)는 컴팩트 플래시 카드등을 사용함에 의해 디지털 카메라등으로 촬영된 화상 데이터를 캡쳐하도록 동작한다. 이들 주변 디바이스는 CPU 버스(27)를 통해 멀티-화면 제어 유닛(10)에 연결된다.
<화상 표시 시스템(100)의 동작>
화상 표시 시스템(100)은 예컨데 도 2의 순서도에 도시된 프로세스에 따라 동작한다. 이런 동작은 멀티-화면 제어 유닛(10)에서의 CPU에 의해 실현된다.
단계 S101 및 단계 S102:
원격 제어기(23)에 의한 시스템(100)의 파워-온의 검출시(단계 S101), 멀티-화면 제어 유닛(10)은 표시 초기화 프로세스(단계 S102)를 실행한다. 단계 S102에서 표시 초기화 프로세스는 도 3의 순서도에서 설명된다.
도 3을 참조하면, 멀티-화면 제어 유닛(10)은 먼저 연결된 입력을 검출한다(단계 S201). 이런 프로세스는 얼마나 많은 화상 소스가 시스템(100)에 연결되는지를 체크한다.
특히, 동화상 입력 유닛(8a 및 8b)은 화상 소스들 중 대응하는 화상으로부터연결 확인 신호를 항상 모니터링한다. 이런 연결 모니터링 신호는 화상 소스(1a 및 1b)로부터 출력된 논리 "1" 또는 "0"의 이진수 신호이다. 예컨데, 연결 케이블이 단절되거나 또는 화상 소스의 전원이 턴 오프될 때, 연결 확인 신호의 논리 "0"은 동화상 입력 유닛(8a 및8b)이 저항에 의해 종단되기 때문에 출력된다. 따라서, 화상 데이터가 대응하는 화상 소스으로부터 입력되지 않는 것을 확인하는 것이 가능하게 된다.
일정한 시간 간격에서 제어선 S1-a 및 S1-b을 통해 동화상 입력 유닛(8a 및 8b)으로부터 제공된 모니터 정보에 따라서, 멀티-화면 제어 유닛(10)은 화상 소스(1a 및 1b)으로부터 출력된 연결 확인 신호를 검출할 수 있다. 연결 확인 신호가 "1"인 경우, 화상 소스는 연결된다고 판정되며, 이후 단계 S202에서의 동화상 입력 파라미터 설정 프로세스로 진행한다. 연결 확인 신호가 "0"인 경우, 연결 확인 신호는 "1"의 연결 확인 신호가 입력일 때까지 모니터링된다.
단계 S201에서, 제어선 S1-a 및 S1-b을 통해 동화상 입력 유닛(8a 및 8b)으로부터 제공된 정보에 따라서, 멀티-화면 제어 유닛(10)은 연결이 검출되는 화상 소스으로부터 화상 데이터를 입력하는데 사용되는 파라미터(표시 도트수, 표시 라인수, 수평/수직 타이밍 등)를 검출하며, 검출된 파라미터를 제어선 S1-a 및 S1-b을 통해 동화상 입력 유닛(8a 및 8b)으로 설정한다(단계 S202).
이들 파라미터는 라인 동기화용 수평 동기 신호, 프레임/필드 동기화용 수직 동기 신호, 화소 샘플링용 클럭 신호 등을 사용함에 의해 클럭수 및 수평 동기 신호수를 직접 카운트함에 의해 동화상 입력 유닛(8a 및 8b)에 의해 얻어진다.
다음으로, 멀티-화면 제어 유닛(10)은 연결이 검출되는 하나 이상의 화상 소스로부터의 화상 데이터가 표시 디바이스상에 표시될 때 사용될 표시 레이아웃을 결정한다(단계 S203). 디폴트 레이아웃은 ROM(17)에 미리 프리셋된다.
다음으로, 멀티-화면 제어 유닛(10)은 단계 S203에서 결정된 표시 레이아웃이 사용될 화상 오버랩이 있는지 여부를 판정한다(단계 S204). 오버랩이 있다면, 단계 S205와 S206으로 진행하며, 반면에 있지 않다면, 단계 S206으로 진행한다.
단계 S204에서 화상 오버랩이 있다고 판정되면, 멀티-화면 제어 유닛(10)은 화상 오버랩의 층 우선순위를 결정하며(상부층상의 화상은 가장 높은 층 우선순위를 가짐), 이런 정보를 RAM(11)에 기록한다(단계 S105).
단계 S206에서, 멀티-화면 제어 유닛(10)은 표시 시작/종료 위치 및 표시 디바이스(16)상의 각각의 화상의 수평/수직 방향에서 확대/감소 요인을 결정하며, 결정된 정보를 해상도 변환 파라미터로서 RAM(11)에 기록한다. 멀티-화면 제어 유닛(10)은 이런 해상도 변환 파라미터를 제어선 S2-a 및 S2-b을 통해 해상도 변환 유닛(9a 및 9b)으로 설정한다.
다음으로, 멀티-화면 제어 유닛(10)은 해상도 변환 유닛(9a 및 9b)으로부터의 출력을 메모리 유닛(14)으로 기록하는데 필요한 기록 메모리 어드레스를 설정한다(단계 S207). 이들 메모리 어드레스는 기록 어드레스 생성 프로세스에서 사용될 메모리 어드레스의 오프셋 값으로서 사용된다.
본 실시예에서, 예컨데 도 4에 도시된 바와 같이, 메모리 유닛(14)은 동화상 영역(14a 및 14b)과 GUI 화면 영역(14c)을 포함하는 3개의 영역으로서 구성된다.따라서, 데이터가 메모리 유닛(14)에 기록될때에, 메모리 유닛(14)은 온-스크린 상태에 있지 않게 된다. 이 경우, 멀티-화면 제어 유닛(10)은 영역 14a 내지 14c의 시작 어드레스 0 내지 2를 제어선 S2-a 및 S2-b을 통해 해상도 변환 유닛(9a 및 9b) 및 그래픽 가속기(21)로 설정한다.
다음으로, 멀티-화면 제어 유닛(10)은 표시 디바이스의 다중 윈도우 표시에 사용될 배경 컬러를 설정한다(단계 S208). 특히, 출력 합성 유닛(18)은 도 5에 도시된 바와 같은 회로 구조를 가진다. 멀티-화면 제어 유닛(10)은 배경 컬러를 출력 합성 유닛(18)의 배경 레지스터(37)로 설정한다. 다음으로, 멀티-화면 제어 유닛(10)은 멀티-화면 제어용 GUI 화면을 설정한다(단계 S209).
특히, GUI 화면은 멀티-화면 제어 화상 뿐만 아니라 웹 화상 및 EPG 화상으로서 사용된다. 멀티-화면 제어 유닛(10)은 GUI 화면 드로잉 명령을 그래픽 가속기(21)에 발행하거나, 또는 그래픽 가속기(21)의 DMA 기능을 사용함에 의해 메모리 유닛(14)에서 비트맵 포맷으로 전개된 캐릭터 및 다른 데이터를 기록함에 의해, GUI 화면을 생성시킨다. 멀티-화면 제어 유닛(10)은 또한 멀티-화면 스크린상에서 GUI 화면의 표시층을 결정한다. 이 경우의 우선순위는 가장높다.
멀티-화면 제어 유닛(10)은 출력 합성 유닛(18)의 동작에 대한 다양한 설정을 수행한다(단계 S210).
단계 S210에서의 설정에 따라 동작하는 출력 합성(18)의 개관은 도 5를 참조하여 이하 상술된다.
도 5를 참조하면, 합성 제어 유닛(30)은 후술될 파라미터들간의 비교 결과와, 카운터가 기준으로서 표시 디바이스(16)의 동기 신호(Hsync, Vsync)를 사용하여 동작하는 수평 화소수 카운터 및 수직선수 카운터에 따라서 다양한 제어 신호를 생성시킨다.
멀티-화면 제어 유닛(10)으로부터 제공된 신호 S3에 따라, 합성 제어 유닛(30)은 수평 카운트 시작값(Hsync로부터 유효 화소의 시작까지의 주기에 대응함), 수직선 시작값(Vsync로부터 유효선의 시작까지의 주기에 대응함), 수평 화소수 및 수직선수를 획득하여, 표시 디바이스(16)의 표시 주기동안 래스터 스캔의 수를 카운트하게 된다.
멀티-화면 제어 유닛(10)으로부터 제공된 신호 S3에 따라, 합성 제어 유닛(30)은 각각의 화상에 대해 합성 시작 어드레스(합성 제어 유닛(30)의 유효 카운트의 시작으로부터의 오프셋값), 합성될 화상에 대한 수평 화소수 및 수직선 수(어드레스 생성 유닛(31 내지 33)으로 설정된 정보)를 획득하며, 이들은 각각의 화상의 레이아웃 정보를 각각 반영한다. 합성 제어 유닛(30)은 획득된 정보를 합성 제어 유닛(30)에 의한 카운트와 비교한다. 이들 값이 일치한다면, 합성 제어 유닛(30)은 제어선 S5-a 내지 S5-c를 통해 3개의 어드레스 생성 유닛(31 내지 33)이 카운팅을 시작하게 한다. 3개의 어드레스 생성 유닛(31 내지 33)은 따라서 카운트 동작을 독립적으로 시작한다.
합성 제어 유닛(30)에 의해 카운터를 리셋하는 것은 각각의 Vsync에서 일반적으로 유효하게 된다.
어드레스 생성 유닛(31 내지 33)으로부터의 카운트 출력은 판독 어드레스로서 사용되며 데이터선 S6-a 및 S6-c으로부터 출력된다.
본 실시예에서, 다른 화상 소스가 합성 화상에 대해 관리되기 때문에, 이들 화상은 어드레스를 변경함에 의해 선택된다. 즉, 어드레스 선택 유닛(35)은 어드레스를 선택하여 화상 합성을 실현한다. 이런 어드레스 선택은 다음의 방식으로 수행된다. 멀티-화면 제어 유닛(10)으로부터 제공된 신호 S3에 따라, 합성 제어 유닛(30)은 레이아웃 정보 및 우선 순위 정보에 기초하여 합성 스위칭 카운트 수를 획득하며, 이런 카운트 값을 합성 제어 유닛(30)의 카운터의 카운트 값과 비교하여 어드레스 스위칭 신호 S7를 생성시킨다.
데이터는 그후 메모리 유닛(14)으로부터 판독되며 판독/기록 제어 신호 S9에 따라서 데이터 버퍼(36)에 기록된다. 데이터 버퍼(36)에서의 데이터는 판독/기록 신호 S9에 응답하여 데이터 선택 유닛(40)으로 출력된다.
합성되는 어떠한 화상도 없다면, 합성 제어 유닛(30)은 데이터 스위칭 신호 S8을 데이터 선택 유닛(40)에 출력한다.
단계 S103:
상술한 단계 S102에서의 초기화 프로세스후, 멀티-화면 제어 유닛(10)은 표시 유닛(16)에 의해 화상 표시를 가능하게 한다. 표시 디바이스(16)는 따라서 도 6에 도시된 바와 같은 화상을 표시한다(멀티-화면 합성 초기화 후의 화상).
단계 S104:
멀티-화면 제어 유닛(10)은 사용자가 원격 제어기(23)를 사용함에 의해 확대/감소 액션을 수행하는지 여부를 표시 디바이스(16)상의 화상으로부터 판정한다.
단계 S105:
확대/감소 액션이 수행된다고 단계 S104에서 판정된다면, 멀티-화면 제어 유닛(10)은 표시 디바이스(16)용 프로세스를 변경한다. 이런 프로세스는 도 3에 도시된 단계 S203 내지 S206에서의 프로세스와 유사하다. 그후, 다음의 단계를 반복적으로 수행하기 위해 단계 S104로 복귀한다.
단계 S106:
단계 S104에서 확대/감소 액션이 수행되지 않는다고 판정된다면, 멀티-화면 제어 유닛(10)은 사용자가 원격 제어기(23)를 사용함에 의해 위치 변경 액션을 수행하는지 여부를 초기화한 후 표시 디바이스(16)상의 화상으로부터 판정한다.
단계 S107:
단계 S106에서 위치 변경 액션이 수행된다고 판정된다면, 멀티-화면 제어 유닛(10)은 표시 디바이스(16)용 위치 변경 프로세스를 실행한다. 이런 프로세스는 도 3에 도시된 단계 S203 내지 S205에서의 프로세스와 유사하다. 그후, 다음의 단계를 반복적으로 수행하기 위하여 단계 S106으로 복귀한다.
단계 S108:
단계 S106에서 위치 변경 액션이 수행되지 않느다고 판정된다면, 멀티-화면 제어 유닛(10)은 사용자가 원격 제어기(23)를 사용함에 의해 멀티-화면 표시 정정 액션을 수행하는지 여부를 초기화후 표시 디바이스(16)상의 화상로부터 판정한다.
단계 S109:
단계 S108에서 멀티-화면 표시 정정 액션이 수행된다고 판정된다면, 멀티-화면 제어 유닛(10)은 표시 디바이스(16)용 멀티-화면 표시 정정 프로세스를 실행한다. 그후, 다음의 단계를 반복적으로 수행하기 위해 단계 S108로 복귀한다.
단계 S110;
단계 S108에서 멀티-화면 표시 정정 액션이 수행되지 않는다고 판정된다면, 멀티-화면 제어 유닛(10)은 시스템(100)의 파워가 턴오프되는지를 판정한다. 턴오프되지 않는다면, 다음의 단계를 반복적으로 수행하기 위하여 단계 S104로 북귀하며, 반면에 파워가 턴온된다면 프로세스는 종료된다.
<화상 표시 시스템(100)에 의한 멀티-화면 및 GUI 화면용 크로마키 합성 프로세스>
다음으로, 본 실시예에 따르는 2개의 화상(멀티-화면) 및 GUI 화상의 화면(GUI 화면)을 합성하는 프로세스가 이하 설명된다.
본 실시예에서, 크로마 키 합성 방법은 멀티-화면 및 GUI 화면을 합성하는 방법으로서 사용된다. 본 실시예에서, 그래픽 가속기(21)가 메모리 유닛(14)에서 GUI 화면을 전개할 때, 특정 크로마 키 컬러를 갖는 패인트-아웃 프로세스(paint-out process)도 실행된다. 예컨데, 도 7에 도시된 바와 같이, GUI 화면의 외부 영역은 특정 크로마 키 컬러의 데이터로 패인트-아웃된다(크로마 키 데이터는 이하 몇몇 경우에 "키 컬러"로 간단하 언급한다).
본 실시예에서, 멀티-화면 제어 유닛(10)는 크로마 키 컬러로서 GUI 화면을 그리는 데 거의 사용되지 않는 컬러(예를 들면, 마젠타색)를 판별한다. 따라서,GUI 화면 데이터 및 키 컬러 데이터는 도 4에 도시된 메모리 유닛(14)의 GUI 화면 영역(14c)에서 전개된다.
이 경우, 메모리 유닛(14)의 GUI 화면 영역(14c)으로부터 판독된 데이터가 키 컬러 데이터를 포함하는 경우, 도 5에 도시된 출력 합성 유닛(18)은 요구되는 멀티-화면을 선택하고 키 컬러 데이터에 대응하는 화상 위치에 이를 합성한다.
도 8은 출력 합성 유닛(18)에 의한 합성 처리의 타이밍 차트이다. 도 8에서, "T1"은, 메모리 유닛(14)의 메모리 어드레스가 생성될 때의 타이밍을 나타낸다. GUI 화면 어드레스 및 동일 라인 상의 다음 선택된 동화상 어드레스의 사이클은, 합성 제어 유닛(30)의 제어 하에 어드레스 생성 유닛(31-33) 및 어드레스 선택 유닛(35)에 의해 반복적으로 생성되고 선택된다.
메모리 어드레스 생성 타이밍 "T1"에서 메모리 유닛(14)으로부터 판독된 GUI 화면 데이터는 타이밍 "T2"(하나의 프레임/필드의 GUI 화면 영역(14c)에서의 데이터의 판독 타이밍)에서 데이터 버퍼(36)에 기록된다.
마찬가지로, 선택된 동화상 데이터는 타이밍 "T3"(동화상의 두 개의 화면에 대한 영역(14a, 14b)에서의 데이터의 판독 타이밍)에서 데이터 버퍼(36)에 기록된다. 데이터 버퍼(36)는 GUI 화면 및 선택된 동화상 둘 모두를 저장할 수 있는 더블 버퍼 구조를 갖는다.
타이밍 "T2"에서 데이터 버퍼(36)에 기록된 GUI 화면 데이터는 합성 제어 유닛(30)에도 입력된다.
합성 제어 유닛(30)은 GUI 화면 데이터를 키 컬러 레지스터(39)에 설정된 키컬러 데이터와 연속하여 비교하고, 일치할 경우, 크로마 키 히트 플래그가 설정되며, 이 플래그는 합성 제어 유닛(30) 내의 크로마 키 플래그 버퍼 내에 기록된다.
합성 제어 유닛(30)는 타이밍 "Ta" 내지 "Td"의 타이밍에서 크로마 키 플래그 버퍼 내의 크로마 키 히트 플래그를 판독한다(도 8에서 원으로 둘러싸임). 플래그 콘텐츠가 크로마 키 히트를 나타낼 경우, 동화상 데이터가 데이터 버퍼(36)로부터 판독되고, 반면에 플래그 콘텐츠가 크로마 키 히트를 나타내지 않을 경우(크로마 키 미스히트를 나타낼 경우), 판독 제어 신호 S9에 응답하여 데이터 버퍼(36)로부터 GUI 화면 데이터가 판독된다. 합성 데이터 타이밍 "T4"에서, 동화상 데이터 및 GUI 화면 데이터로부터 합성된 이미지 데이터(크로마 키 합성 데이터)가 생성될 수 있다.
<화상 표시 시스템(100)에서 가장 특징으로 하는 구성>
전술한 바와 같이, CPU에 의해 제어될 수 없는 데이터가 GUI 화면에서 전개될 경우, 키 컬러 히트 가능성이 증가하며 의도된 이미지 합성이 수행되지 않을 수도 있다. CPU에 의해 제어될 수 없는 데이터는, BS 디지털 데이터 방송으로부터 유도된 정지 화상 데이터, 인터넷 상의 이미지 데이터, 디지털 카메라 등에 의해 취해진 자연 화면 데이터를 포함한다. 이를 해결하기 위해, 본 실시예에 따르면, GUI 화면 드로잉 전개는 데이터 방송이 디지털 텔레비전에서 수신될 때와 같이 제어된다.
도 9는 디지털 텔레비전 데이터 방송의 수신 동안 실행될 GUI 화면 드로잉 전개 처리를 나타낸 흐름도이다.
단계 S301:
멀티-화면 제어 유닛(10)는 데이터 디코딩 유닛(7)에 의해 디코딩된 부가 정보(데이터 방송 디코딩 후의 부가 정보)를 검출한다. 부가 정보가 단계 S301에서 검출되지 않을 경우, 부가 정보가 검출될 때까지 대기 상태에 있는다.
단계 S302:
단계 S301에서 부가 정보가 검출될 경우, 멀티-화면 제어 유닛(10)는 부가 정보의 콘텐츠로부터 화면 배치 정보를 인식한다. 전술한 바와 같이, 데이터 디코딩 유닛(7)은, MHEG-5, HTML 및 XML과 같은 시나리오 기술 언어에 의해 기술된 오브젝트(object)로부터 멀티미디어 정보 서비스 제공자의 시나리오를 얻는데, 이 시나리오는 콘텐츠의 구조화된 속성(크기, 위치, 이미지 유형, 코딩 방법)으로 구성된다. 멀티-화면 제어 유닛(10)는 이 시나리오를 분석하여 화면 배치 정보를 인식한다.
단계 S303:
멀티-화면 제어 유닛(10)는, GUI 화면 및 멀티-화면을 합성할 필요가 있는 지 여부를 단계 S302에서 인식된 화면 배치 정보로부터 판정한다.
단계 S304:
단계 S303에서 합성이 불필요한 것으로 판정된 경우, 단계 S302에서 인식된 화면 배치 정보에 따라, 멀티-화면 제어 유닛(10)는 그래픽 가속기(21)로 드로잉 명령을 송출하여서 메모리 유닛(14) 내의 GUI 화면을 전개한다.
단계 S305:
단계 S303에서 합성이 필요할 경우, 멀티-화면 제어 유닛(10)는 이하 기술될 크로마 키 처리를 실행한다. 예를 들면, 도 10에 도시된 바와 같은 합성 화면(55)이 표시될 때 합성이 필요하게 되며, 이 합성 화면(55)은 데이터 방송 동안의 멀티미디어 정보 제공자 및 BS 방송의 멀티-화면으로부터 공급되는 GUI 화면을 포함한다.
도 11은 단계 S305에서의 크로마 키 처리를 나타낸 흐름도이다.
단계 S401:
데이터 디코딩 유닛(7)로부터 공급된 부가 정보에 따라, 멀티-화면 제어 유닛(10)은 메모리 유닛(14)의 하나의 화면의 GUI 화면 영역(14c)에서 전개될 GUI 화면의 오브젝트 속성을 식별한다. 이 오브젝트 속성은, GUI 화면을 구성하는 각 오브젝트의 표시 위치 좌표값(개시 및 종료점), 텍스트 정보, 컬러 관리 정보, 동화상/정지 화상의 소스 속성 등을 포함한다.
단계 S402:
멀티-화면 제어 유닛(10)는 단계 S409에서 식별된 모든 오브젝트 데이터의 속성이 제어될 수 있는 컬러를 갖는지 여부, 즉 제어될 수 없는 컬러가 없는지 여부를 판단한다.
단계 S405:
도 10에 도시된 바와 같이, 단계 S402에서 속성이 제어될 수 없는 컬러가 없는 것으로 판정된 경우, 멀티-화면 제어 유닛(10)는, GUI 화면 내에 멀티-화면을 겹치기 위해, 비디오 영역(50a, 50b)(여기서 두 개의 동화상 비디오 0 및 비디오 1이 멀티-화면(합성 비디오 화면; 56)에 표시됨)에 대응하는 GUI 화면(57)의 영역 내의 키 컬러(51)를 전개한다.
단계 S406:
그 후 멀티-화면 제어 유닛(10)는 GUI 화면 드로잉을 전개한다.
단계 S403:
단계 S402에서, 속성이 CPU에 의해 제어될 수 없는 컬러를 가진 것으로 판정한 경우(이 속성은 CPU에 의해 제어될 수 있는 컬러를 가짐), 키 컬러가 히트된다. 예를 들면, 도 10에 도시된 바와 같이, GUI 화면(57)이 자연 화면과 같이 제어될 수 없는 컬러를 갖는 오브젝트 데이터(52)를 포함할 경우, 오브젝트 데이터를 포함하는 이 영역(자연 화면 영역)에서 키 컬러가 히트된다. 이 경우, 크로마 키 합성 미스를 방지하기 위해, 멀티-화면 제어 유닛(10)는 크로마 키 합성 처리 영역(사각형 마스크 영역)을 설정한다. 보다 구체적으로는, 도 10에 도시된 바와 같이, 크로마 키 합성 처리가 아무런 문제없이 수행될 수 있도록 하기 위한 영역의 외부에 있는, 즉 자연 화면 영역의 외부에 있는 개시 및 종료점(53, 54)에 의해 규정되는 사각형 영역(58)이 사각형 마스크 영역으로서 설정된다.
단계 S404:
멀티-화면 제어 유닛(10)는 단계 S403에서 설정된 사각형 마스크 영역(58)의 개시 및 종료점(53, 54)의 좌표값과, 크로마 키 합성 방법(예를 들면, 사각형 마스크 영역(58)의 크로마 키 합성 방법)을 신호 S3을 이용하여 출력 합성 유닛(18)에 통지한다.
자연 화면 영역은 사각형 영역으로서 정의될 수도 있으며, 이 사각형 영역 밖의 영역은, 크로마 키 합성 처리가 실행되기 위한 영역으로서 사용될 출력 합성 유닛(18)에 알려질 수도 있다.
단계 S404에서 출력 합성 유닛(18)으로 통지된 후, 단계 S405 및 S406에서의 처리가 실행된다. 이 경우, 단계 S406에서의 GUI 화면 드로잉을 전개하는 처리에서, 자연 화면 영역이 DMA를 주로 이용하여 메모리 유닛에 대해 전개된다.
단계 S04에서 멀티-화면 제어 유닛(10)로부터 사각형 마스크 영역의 통지가 수신되면, 출력 합성 유닛(18)는 합성 제어 유닛(30)에 의해 지정된 사각형 마스크 영역에서만 크로마 키 디코딩을 수행한다. 즉, 사각형 마스크 영역에서만 메모리 영역(14c)으로부터 판독된 데이터로부터 키 컬러 데이터가 검출되며, 키 컬러 비트가 검출될 경우, 크로마 키 히트 플래그가 설정된다.
전술한 바와 같이, 디지털 텔레비전 데이터 방송을 수신하는 동안 크로마 키 합성이 요구될 경우, GUI 화면으로서 합성될 데이터 방송의 부가 정보 내의 오브젝트가 인식된다. 멀티-화면 제어 유닛(10)에 의해 제어될 수 없는 컬러를 갖는 오브젝트가 있는 것으로 판단된 경우, 이러한 오브젝트를 포함하는 영역 이외의 영역이 크로마 키 합성 처리를 위한 사각형 마스크 영역으로서 설정되어서 크로마 키 합성 미스가 방지될 수 있게 된다.
제1 실시예에서, 하나의 사각형 마스크 영역이 크로마 키 합성을 위해 설정되지만, 두 개 이상의 사각형 마스크 영역을 요구하는 경우가 있다. 제2 실시예에서, 이러한 경우에 대해 사용될 크로마 키 합성 처리가 기술될 것이다.
이 실시예에서, 예를 들면 도 12에 도시된 바와 같이, 4개의 화상 소스로부터 입력된 화상(비디오 0 내지 비디오 3)으로 이루어진 멀티-화면(61)과, 두 개의 자연 화면 영역(63a, 63b)을 갖는 GUI 화면(62)에 대해 크로마 키 합성이 수행된다.
이 크로마 키 합성 처리는 예를 들면 도 13에 도시된 흐름도에 따라 수행된다.
단계 S501:
멀티-화면 제어 유닛(10)은 사각형 마스크 영역의 수(m)를 구체화한다.
예를 들면, 도 12에 도시된 바와 같이, 멀티-화면 영역(61) 내의 비디오 0 내지 비디오 3의 영역에 대응하는 4개의 영역(64a-64c)이 도 14에 도시된 바와 같이, 영역(64a)에 대응하는 영역(71), 영역(64b)에 대응하는 영역(72), 및 영역(64c, 64d)에 대응하는 영역(73)을 포함하는 세 개의 영역으로 그룹화된다. 이 상태는, 크로마 키 합성 처리가 이들 세 영역(사각형 영역)(71-73)에 대해서만 수행되는 것, 즉 이들 사각형 영역(71-73)이 사각형 마스크 영역으로서 사용됨을 의미한다. 이 예에서, 이 단계 S501에서 구체화된 사각형 영역의 수(m)는 "3"이다.
단계 S502:
멀티-화면 제어 유닛(10)는, 단계 S501에서 판정된 지정수(m)가 시스템(100)에 의해 지원되는 사각형 영역의 최대 지정수 N 이하인지 여부를 판정한다. 본 명세서에서는 사각형 영역의 최대 지정수 N이 "2"인 것으로 가정한다. 사각형 영역의 최대 지정수 N은 사각형 영역에 대한 수평/수직 카운터의 증가된 수에 따라 증가될 수 있다. 그러나, 비용면에서 수 N을 약 1 또는 2로 설정하는 것이 바람직하다.
단계 S503:
단계 S502에서 지정된 수(m)가 사각형 영역의 최대 지정수 N보다 큰 것으로 판정된 경우, 멀티-화면 제어 유닛(10)는 사각형 마스크 영역에 대한 최적화 처리를 수행한다.
보다 구체적으로는, 멀티-화면 제어 유닛(10)은 도 14에 도시된 사각형 마스크 영역(71-73)이 지정된 수(m)을 사각형 영역의 최대 지정수 N보다 크게 하지 않도록 재고려한다. 예를 들면, 도 15에 도시된 바와 같이, 자연 화면 영역(63a, 63b)(컬러가 멀티-화면 제어 유닛(10)에 의해 제어될 수 없는 오브젝트를 포함함)에 대응하는 두 개의 사각형 영역(81, 82)의 외부에 있는 영역은 크로마 키 합성을 위한 사각형 마스크로서 정의된다. 이러한 방식으로, 지정된 수(m)는 최대 지정수 N을 초과하지 않도록 최적화될 수 있다.
단계 S504:
멀티-화면 제어 유닛(10)는, 단계 S503에서의 최적화 처리후 사각형 마스크 영역이 병합될 수 있는 지 여부를 체크한다.
단계 S507:
단계 S504에서 사각형 마스크 영역이 병합될 수 있는 것으로 판정된 경우, 멀티-화면 제어 유닛(10)는 병합후 지정된 수(m)를 체크한다. 이 예에서, 지정된수(m)는 "2"이다. 그 후, 단계 S502로 돌아가서 단계를 반복해서 수행한다.
단계 S504에서 사각형 마스크 영역이 병합될 수 없는 것으로 판정된 경우, 단계 S507로 진행하기 위한 단계 S506에서 처리(사각형 마스크 영역 수 감소 처리)가 수행된다. 단계 S506에서의 처리(사각형 마스크 영역 수 감소 처리)의 상세한 사항은 이하 기술될 것이다.
단계 S505:
단계 S502에서 지정된 수(m)가 사각형 영역의 최대 지정수 N보다 크지 않은 것으로 판정된 경우, 전술한 바와 같이 멀티-화면 제어 유닛(10)는, 지정된 수(m)뿐만 아니라 크로마 키 합성 및 크로마 키 합성 방법(예를 들면, 자연 화면 영역 이외의 영역을 크로마 키 합성하는 방법)에 대한 사각형 마스크 영역의 개시 및 종료점의 좌표값을 출력 합성 유닛(18)에 통지한다.
전술한 바와 같이, 화면 배치 및 사각형 마스크 영역의 최대 지정수 N에 따르면, 시스템(100)은 사각형 마스크 영역의 지정된 수(m)을 최적화한다. 따라서, 멀티-화면 및 GUI 화면을 합성할 수 있는 유연성이 높고 염가인 장치 또는 시스템을 제공할 수 있게 된다.
제3 실시예에서, 단계 S506에서의 처리(사각형 마스크 영역 수 감소 처리)가 이하와 같이 실행된다. 이 처리는, 단계 S504에서 사각형 마스크 영역이 병합될 수 없는 것으로 판정되었지만 사각형 마스크 영역의 최적화만으로는, 그 지정수(m)를, 최대 지정수 N을 초과하도록 설정할 수 없다고 판단된 상태에서 실행된다.
도 16은 사각형 마스크 영역 수 삭감 프로세스를 기술하는 순서도이다.
단계 S601:
멀티-화면 제어 유닛(10)는 단계 S503에서 최적화된 각각의 사각형 마스크 영역에서 나타날 색을 제어할 수 없는 오브젝트(자연 화면 등)가 동화상 속성을 갖는지 여부를 판단한다.
단계 S604:
단계 S601에서 물체가 동화상 속성을 갖는 것으로 판단되면, 멀티-화면 제어 유닛(10)는 동화상 속성을 갖는 사각형 마스크 영역을 크로마 키 합성을 위한 영역으로서 판정한다. 일반적으로, 크로마 키 합성 미스에 의해 야기되는 표시 결함이 정지 화상에서 보다 동화상에서 더 두드러지는 것은 아니다. 따라서, 이러한 실시예에 있어서, 동화상 속성을 갖는 물체는 크로마 키 합성 프로세스를 필요로 한다. 순서는 이후에 종결된다.
단계 S602:
단계 S601에서 물체가 동화상 속성을 갖지 않는 것으로 판단되면, 즉, 물체가 정지 화상이라면, 멀티-화면 제어 유닛(10)는 사각형 마스크 영역에서 각 정지 화상 오브젝트의 드로잉 전개 영역(drawing developing area)을 추정한다.
단계 S603:
멀티-화면 제어 유닛(10)는 단계 S602에서 추정된 최소 영역을 갖는 사각형 마스크 영역을 식별한다. 단계 S604에서의 프로세스는 단계 S602에서 추정된 최소 영역을 갖는 것으로 식별된 사각형 마스크 영역을 위해 수행된다. 이러한 방식으로, 최소 영역을 갖는 정지 화상은 크로마 키 합성을 우선적으로 필요로하여, 크로마 키 합성 미스에 의해 야기되는 표시 결함이 가능한한 두드러지지 않도록 할 수 있다.
상술한 바와 같이, 규정된 수(m)를 줄이고 최적화하기 위해, 크로마 키 합성 미스에 의해 야기되는 표시 결함을 보다 적게 갖는 오브젝트는 사각형 마스크 영역으로서 지시되지 않는다. 따라서 멀티-화면 및 GUI 화면을 합성할 수 있는 장치 혹은 시스템을 상당히 융통성있고 저가로 제공할 수 있다.
상술한 실시예에 있어서, 복수의 화상 소스로부터 공급된 화상 데이터로부터 생성된 멀티-화면 및 GUI 화면이 합성된다. 본 발명은 단지 이러한 경우로 한정되는 것은 아니며, 또한 화상 소스로부터 공급되는 화상 데이터에 의해 생성되는 서브-화면 및 메인-화면을 합성하기 위한 시스템에 있어서, 크로마 키 프로세스를 제어하기 위한 CPU에 의해 제어될 수 없는 색을 서브-화면이 포함하는 경우에도 적용될 수 있다.
본 발명의 목적은 제1 내지 제3 실시예 각각의 호스트 혹은 터미널의 기능을 실현하는 소프트웨어 프로그램 코드를 기억하는 기억 매체를 시스템 혹은 장치에 제공하고, 장치 혹은 시스템의 컴퓨터(CPU 혹은 MPU)에 의해 기억 매체 내에 기억된 프로그램 코드를 판독 및 수행함으로써 달성될 수 있다.
이러한 경우에 있어서, 기억 매체로부터 판독된 소프트웨어 프로그램 코드 자체는 제1 내지 제3 실시예 각각의 기능을 실현한다. 따라서, 프로그램 코드를 기억하는 기억 매체는 본 발명의 구성 요소가 된다.
그러한 프로그램 코드를 기억하는 기억 매체는 ROM, 플로피 디스크, 하드 디스크, 광 디스크, 광자기 디스크, CD-ROM, CD-R, 자기 테이프, 불휘발성 메모리 카드 등일 수도 있다.
본 발명의 범주는 제1 내지 제3 실시예 각각의 기능이 컴퓨터에 의해 판독 프로그램 코드를 수행함으로써 실현될 수 있는 경우 뿐만 아니라, 제1 내지 제3 실시예 각각의 기능이 컴퓨터 상에서 실행하는 OS 등에 의해 프로그램 코드에 따라 실제 프로세스 일부 혹은 전체를 수행함으로써 실현될 수 있는 경우 역시 포함한다.
본 발명의 범주는 제1 내지 제3 실시예 각각의 기능이 기억 매체로부터 판독된 프로그램 코드를 컴퓨터에 삽입된 기능 확장 보드 혹은 컴퓨터에 접속된 기능 확장부의 메모리에 기입하고, 이후에 기능 확장 보드 혹은 기능 확장부의 CPU에 의해 프로그램 코드에 따라 실제 프로세스 일부 혹은 전체를 수행함으로써 실현될 수 있는 경우 역시 포함한다.
지금까지 기술된 바와 같이, 본 발명의 각 실시예에 따르면, 그래픽 가속기 제어기(CPU와 같은 GUI 화면 제어부)에 의해 제어될 수 없는 컬러를 갖는 화상이 표시 메모리에 나타낼 때, 그리고 화상이 크로마 키 합성 프로세스 동안 높은 키 컬러 히트(key color hit) 확률을 가지면, 화상 영역에 대한 크로마 키 합성 프로세스는 마스크될 수 있다. 따라서, 멀티-화면 및 GUI 화면을 합성하기 위해 사용된 메모리의 용량을 줄이고, 크로마 키 합성 프로세스의 정밀도를 개선할 수 있다.
장치 혹은 시스템은 디지털 홈 기구(digital home appliances)의 개선된 기능의 모순된 문제 및 그것의 비용 감소 간의 트레이드오프(tradeoff)가 적절하게 균형을 이루기에 적합하도록 제공될 수 있다.
본 발명의 사상 및 범위를 벗어나지 않고도 본 발명의 다양한 다른 실시예가 구성될 수 있다. 본 발명은 첨부된 청구항에 정의된 것 외에, 명세서에서 기술된 특정한 실시예에 한정되지 않는다는 것이 이해되어야 한다.

Claims (21)

  1. 크로마 키 프로세스에 의해 메인-화면의 화상 데이터 및 서브-화면의 화상 데이터를 합성하는 장치에 있어서,
    서브-화면에 포함된 화상의 속성을 검출하는 속성 검출 수단;
    상기 속성 검출 수단으로부터의 출력에 따라 상기 서브-화면의 일부 영역을 크로마 키 영역으로서 설정하는 영역 설정 수단; 및
    상기 서브-화면에서 상기 크로마 키 마스크 영역에 대해서는 상기 크로마 키 프로세스를 수행하지 않고 상기 크로마 키 마스크 영역 이외의 영역에 대해서는 상기 크로마 키 프로세스를 수행함으로써, 상기 메인-화면의 상기 화상 데이터 및 상기 서브-화면의 상기 화상 데이터를 합성하는 합성 수단
    을 포함하는 장치.
  2. 제1항에 있어서, 상기 속성 검출 수단은 선정된 속성을 갖고 상기 서브-화면에 포함된 화상을 검출하고, 상기 영역 설정 수단은 상기 선정된 속성을 갖는 화상의 영역을 상기 크로마 키 마스크 영역으로서 설정하는 장치.
  3. 제2항에 있어서, 상기 선정된 속성은 상기 서브-화면을 생성하는 서브-화면 생성 수단에 의해 제어되지 않는 컬러를 갖는 화상의 속성인 장치.
  4. 제1항에 있어서, 상기 속성 검출 수단은 상기 서브-화면의 상기 화상 데이터에 부가된 부가 정보에 따라 상기 서브-화면에 포함된 화상의 속성을 검출하는 장치.
  5. 제4항에 있어서, 상기 부가 정보는 멀티미디어 기술적 언어의 태그 내에 기술된 자연 화면 속성의 정보를 포함하는 장치.
  6. 제4항에 있어서, 상기 부가 정보는 시작 및 종료점에 의해 정의된 상기 서브-화면에서 화상의 위치 정보를 포함하는 장치.
  7. 제1항에 있어서, 상기 영역 설정 수단은 서로 떨어져 이격된 복수의 크로마 키 마스크 영역을 설정하고, 상기 합성 수단은 상기 복수의 크로마 키 마스크 영역 이외의 영역에 대해 상기 크로마 키 프로세스를 수행하는 장치.
  8. 제7항에 있어서, 상기 영역 설정 수단은 설정된 크로마 키 마스크 영역의 수가 선정된 수라면, 상기 크로마 키 마스크 영역으로부터의 선정된 화상에 대응하는 영역을 제외하는 장치.
  9. 제8항에 있어서, 상기 선정된 화상은 동화상인 장치.
  10. 제1항에 있어서, 상기 합성 수단에 의해 합성된 합성 화상의 화상 데이터를 표시 장치에 출력하는 출력 수단을 더 포함하는 장치.
  11. 제1항에 있어서, 복수의 화상 소스로부터 공급된 화상 데이터를 사용함으로써 상기 메인-화면을 생성하는 메인-화면 생성 수단을 더 포함하는 장치.
  12. 화상 처리 장치에 있어서,
    화상 데이터 및 부가 정보 데이터를 다중 송신하는 텔레비전 방송 신호를 수신하는 수신 수단;
    상기 화상 데이터에 따라 메인-화면을 생성하는 메인-화면 생성 수단;
    상기 부가 정보 데이터에 따라 서브-화면을 생성하는 서브-화면 생성 수단;
    상기 부가 정보 데이터에 따라 상기 서브-화면에 포함된 화상의 속성을 검출하는 속성 검출 수단;
    상기 속성 검출 수단으로부터의 출력에 따라 상기 서브-화면의 일부 영역을 크로마 키 마스크 영역으로서 설정하는 영역 설정 수단; 및
    상기 서브-화면에서 상기 크로마 키 마스크 영역에 대해서는 상기 크로마 키 프로세스를 수행하지 않고 상기 크로마 키 마스크 영역 이외의 영역에 대해서는 상기 크로마 키 프로세스를 수행함으로써, 상기 메인-화면의 화상 데이터 및 상기 서브-화면의 화상 데이터를 합성하는 합성 수단
    을 포함하는 화상 처리 장치.
  13. 제12항에 있어서, 상기 속성 검출 수단은 선정된 속성을 갖고 상기 서브-화면에 포함된 화상을 검출하고, 상기 영역 설정 수단은 상기 선정된 속성을 갖는 화상의 영역을 상기 크로마 키 마스크 영역으로서 설정하는 화상 처리 장치.
  14. 제13항에 있어서, 상기 선정된 속성은 상기 서브-화면을 생성하는 서브-화면 생성 수단에 의해 제어되지 않는 컬러를 갖는 화상의 속성인 화상 처리 장치.
  15. 제13항에 있어서, 상기 부가 정보는 시나리오 기술적 언어에 의해 기술되고, 상기 서브-화면 생성 수단은 상기 부가 정보에서 기술된 시나리오를 분석함으로써 상기 서브-화면을 생성하는 화상 처리 장치.
  16. 제12항에 있어서, 상기 영역 설정 수단은 서로 이격된 복수의 크로마 키 마스크 영역을 설정하고, 상기 합성 수단은 상기 복수의 크로마 키 마스크 영역 이외의 영역에 대해 상기 크로마 키 프로세스를 수행하는 화상 처리 장치.
  17. 제16항에 있어서, 설정된 크로마 키 마스크 영역의 수가 선정된 수를 초과하면, 상기 영역 설정 수단은 상기 크로마 키 마스크 영역으로부터 선정된 화상에 대응하는 영역을 제외하는 화상 처리 장치.
  18. 제12항에 있어서, 외부 화상 소스로부터 제공된 화상 데이터를 입력하는 입력 수단을 더 포함하되, 상기 메인-화면 생성 수단은 상기 수신 수단으로부터 제공된 화상 데이터 및 상기 입력 수단으로부터 제공된 화상 데이터를 사용함으로써 상기 메인-화면을 생성하는 화상 처리 장치.
  19. 화상 소스로부터 입력된 화상 데이터에 따라 생성된 메인-화면 및 상기 서브-화면에서 키 색에 따라 크로마 키 프로세스를 수행함으로써 그래픽 가속기에 의해 그려진 서브-화면을 합성함으로써 합성 화상을 생성하는 화상 처리 방법에 있어서,
    상기 서브-화면에 나타날 화상의 속성을 검출하는 단계;
    상기 화상의 상기 검출된 속성이 상기 그래픽 가속기를 제어하기는 제어기에 의해 제어될 수 없는 컬러를 갖는 속성일 때, 크로마 키 마스크 영역으로서 상기 화상을 포함하는 영역을 설정하는 단계; 및
    상기 서브-화면의 상기 크로마 키 마스크 영역 이외의 영역에 대해서만 상기 크로마 키 프로세스를 수행함으로써 상기 합성 화상을 생성하는 단계
    를 포함하는 화상 처리 방법.
  20. 크로마 키 프로세스에 의해 메인-화면의 화상 데이터 및 서브-화면의 화상 데이터를 합성하는 방법에 있어서,
    상기 서브-화면에 포함된 화상의 속성을 검출하는 단계;
    상기 속성 검출 결과에 따라 상기 서브-화면의 일부 영역을 크로마 키 마스크 영역으로서 설정하는 단계; 및
    상기 서브-화면에서 상기 크로마 키 마스크 영역에 대해서는 상기 크로마 키 프로세스를 수행하지 않고, 상기 크로마 키 마스크 영역 이외의 영역에 대해서는 상기 크로마 키 프로세스를 수행함으로써, 상기 메인-화면의 상기 화상 데이터 및 상기 서브-화면의 상기 화상 데이터를 합성하는 단계
    를 포함하는 방법.
  21. 화상 처리 방법에 있어서,
    화상 데이터 및 부가 정보 데이터를 다중 송신하는 텔레비전 방송 신호를 수신하는 단계;
    상기 화상 데이터에 따라 메인-화면을 생성하는 단계;
    상기 부가 정보 데이터에 따라 서브-화면을 생성하는 단계;
    상기 부가 정보 데이터에 따라 상기 서브-화면에 포함된 화상의 속성을 검출하는 단계;
    상기 속성 검출 결과에 따라 상기 서브-화면의 일부 영역을 크로마 키 마스크 영역으로서 설정하는 단계; 및
    상기 서브-화면에서 상기 크로마 키 마스크 영역에 대해서는 상기 크로마 키 프로세스를 수행하지 않고, 상기 크로마 키 마스크 영역 이외의 영역에 대해서는 상기 크로마 키 프로세스를 수행함으로써 상기 메인-화면의 화상 데이터 및 상기서브-화면의 상기 화상 데이터를 합성하는 단계
    를 포함하는 화상 처리 방법.
KR10-2001-0010308A 2000-02-29 2001-02-28 화상 처리 장치 KR100412763B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000052992A JP4541482B2 (ja) 2000-02-29 2000-02-29 画像処理装置及び画像処理方法
JP2000-052992 2000-02-29

Publications (2)

Publication Number Publication Date
KR20010085702A true KR20010085702A (ko) 2001-09-07
KR100412763B1 KR100412763B1 (ko) 2003-12-31

Family

ID=18574434

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0010308A KR100412763B1 (ko) 2000-02-29 2001-02-28 화상 처리 장치

Country Status (5)

Country Link
US (4) US6859236B2 (ko)
EP (1) EP1143745B1 (ko)
JP (1) JP4541482B2 (ko)
KR (1) KR100412763B1 (ko)
DE (1) DE60135265D1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101533668B1 (ko) * 2007-07-25 2015-07-03 실리콘 이미지, 인크. 원격 비디오 소스 장치와 연관된 온 스크린 디스플레이
KR20210028980A (ko) * 2019-09-05 2021-03-15 라인플러스 주식회사 합성 영상 생성 방법, 사용자 디바이스, 서버 및 기록 매체

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4541482B2 (ja) * 2000-02-29 2010-09-08 キヤノン株式会社 画像処理装置及び画像処理方法
KR100370248B1 (ko) * 2000-08-08 2003-01-30 엘지전자 주식회사 디지털 텔레비젼
JP4018332B2 (ja) * 2000-11-17 2007-12-05 キヤノン株式会社 データ放送受信装置並びにデータ放送受信装置の印刷処理方法
US20040205703A1 (en) * 2000-12-28 2004-10-14 Yeda Research And Development Co . , Ltd. , Playing in scenarios of system behavior
US7213230B2 (en) * 2000-12-28 2007-05-01 Yeda Research And Development Co. Ltd. Playing scenarios of system behavior
GB0105561D0 (en) * 2001-03-07 2001-04-25 Segmentis Ltd Improvements in and relating to image signal processing and printing of picture therefrom
JP2002354367A (ja) * 2001-05-25 2002-12-06 Canon Inc マルチ画面表示装置、マルチ画面表示方法、記録媒体、及びプログラム
JP4612779B2 (ja) * 2001-06-14 2011-01-12 キヤノン株式会社 通信装置及び通信装置の映像表示制御方法
JP2003153080A (ja) * 2001-11-09 2003-05-23 Matsushita Electric Ind Co Ltd 映像合成装置
US7196733B2 (en) * 2002-01-28 2007-03-27 Canon Kabushiki Kaisha Apparatus for receiving broadcast data, method for displaying broadcast program, and computer program
US6970595B1 (en) * 2002-03-12 2005-11-29 Sonic Solutions, Inc. Method and system for chroma key masking
JP2003288065A (ja) * 2002-03-28 2003-10-10 Seiko Epson Corp 画像表示装置
US20030189581A1 (en) * 2002-04-08 2003-10-09 Nasoff David G. Content based window filtering for simultaneous display of multiple high-quality video and graphics windows
US7027101B1 (en) * 2002-05-13 2006-04-11 Microsoft Corporation Selectively overlaying a user interface atop a video signal
US8737810B2 (en) * 2002-11-15 2014-05-27 Thomson Licensing Method and apparatus for cropping of subtitle elements
JP4553248B2 (ja) 2002-11-15 2010-09-29 トムソン ライセンシング 字幕を組むための方法及び装置
KR100873437B1 (ko) * 2002-11-28 2008-12-11 삼성전자주식회사 Ｐｉｐ화면을 이용한 듀얼모드 신호처리장치
US7364313B2 (en) * 2002-12-27 2008-04-29 Barco N.V. Multiple image projection system and method for projecting multiple selected images adjacent each other
JP4161770B2 (ja) * 2003-04-01 2008-10-08 ソニー株式会社 データ合成装置およびデータ合成方法
JP4357239B2 (ja) * 2003-08-27 2009-11-04 三洋電機株式会社 映像信号処理装置及び映像表示装置
US7400360B2 (en) * 2003-09-22 2008-07-15 Lsi Corporation Device for simultaneous display of video at two resolutions with different fractions of active regions
JP4095530B2 (ja) * 2003-10-01 2008-06-04 キヤノン株式会社 画像処理装置及び方法
US7894520B2 (en) * 2003-12-23 2011-02-22 Tamiras Per Pte. Ltd., Llc Apparatus and method for generating patterns of forward and backward vectors for frame conversion
KR20050069828A (ko) * 2003-12-31 2005-07-05 엘지전자 주식회사 고해상도 투사 장치
US8253750B1 (en) * 2004-02-14 2012-08-28 Nvidia Corporation Digital media processor
US20050206751A1 (en) * 2004-03-19 2005-09-22 East Kodak Company Digital video system for assembling video sequences
US20050259105A1 (en) * 2004-05-19 2005-11-24 Juraj Bystricky System and method for detecting memory location modifications to initiate image data transfers
JP4161944B2 (ja) * 2004-07-01 2008-10-08 セイコーエプソン株式会社 表示コントローラ及び電子機器
US20060020878A1 (en) * 2004-07-22 2006-01-26 Juraj Bystricky System and method for efficiently performing manual frame transfers of image data
US7375768B2 (en) * 2004-08-24 2008-05-20 Magix Ag System and method for automatic creation of device specific high definition material
TWI248764B (en) * 2004-09-01 2006-02-01 Realtek Semiconductor Corp Method and apparatus for generating visual effect
KR100595034B1 (ko) * 2004-12-14 2006-06-30 삼성전자주식회사 방송수신장치 및 방송수신장치의 화면전환 제어방법
KR100743520B1 (ko) * 2005-01-04 2007-07-27 삼성전자주식회사 비디오 스케일러 및 스케일링 방법
JPWO2007004304A1 (ja) * 2005-07-06 2009-01-22 日立プラズマディスプレイ株式会社 プラズマディスプレイ装置
EP1966926A2 (en) * 2005-12-21 2008-09-10 Nxp B.V. Mobile display interface
US7844661B2 (en) * 2006-06-15 2010-11-30 Microsoft Corporation Composition of local media playback with remotely generated user interface
US8793303B2 (en) * 2006-06-29 2014-07-29 Microsoft Corporation Composition of local user interface with remotely generated user interface and media
US8098330B2 (en) * 2006-07-28 2012-01-17 International Business Machines Corporation Mapping of presentation material
JP2008048364A (ja) * 2006-08-21 2008-02-28 Toshiba Corp 画像表示装置
JP5127187B2 (ja) * 2006-09-06 2013-01-23 株式会社ソニー・コンピュータエンタテインメント 復号化装置、放送波再生システム、およびテレビ受像支援方法
CN101155314B (zh) * 2006-09-13 2011-06-01 富士通天株式会社 视频显示装置
US7961946B2 (en) * 2007-05-15 2011-06-14 Digisensory Technologies Pty Ltd Method and system for background estimation in localization and tracking of objects in a smart video camera
JP2009027552A (ja) * 2007-07-20 2009-02-05 Funai Electric Co Ltd 光ディスク再生装置
JP5219501B2 (ja) * 2007-12-27 2013-06-26 三菱電機株式会社 画面生成装置および画面レイアウト共有システム
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8121409B2 (en) * 2008-02-26 2012-02-21 Cyberlink Corp. Method for handling static text and logos in stabilized images
JP2009239528A (ja) * 2008-03-26 2009-10-15 Sharp Corp デジタル放送受信装置
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
AU2008202672B2 (en) * 2008-06-17 2011-04-28 Canon Kabushiki Kaisha Automatic layout based on visual context
JP5458518B2 (ja) * 2008-07-02 2014-04-02 富士通モバイルコミュニケーションズ株式会社 情報処理装置
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
US20100225815A1 (en) * 2009-03-05 2010-09-09 Vishal Vincent Khatri Systems methods and apparatuses for rendering user customizable multimedia signals on a display device
US8477175B2 (en) 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
TWI407776B (zh) * 2009-06-30 2013-09-01 Silicon Integrated Sys Corp 影像產生裝置、靜態文字偵測裝置及相關方法
EP2454647B2 (en) 2009-07-14 2024-02-28 Koninklijke Philips N.V. System, method and computer program for operating a plurality of computing devices
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
JP2011048040A (ja) * 2009-08-26 2011-03-10 Sony Corp 映像信号処理装置、映像信号処理方法およびプログラム
US8264612B2 (en) * 2009-09-10 2012-09-11 Ali Corporation Method of raster-scan search for multi-region on-screen display and system using the same
US8448210B2 (en) * 2009-09-30 2013-05-21 Echostar Technologies L.L.C. Apparatus, systems and methods for rich media electronic program guides
JP2011158804A (ja) * 2010-02-03 2011-08-18 Canon Inc 画像表示装置、および、画像表示装置の制御方法
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
JP2012073463A (ja) * 2010-09-29 2012-04-12 Casio Comput Co Ltd 投影装置およびプログラム
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US8902244B2 (en) * 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
US9293152B2 (en) * 2012-01-25 2016-03-22 International Business Machines Corporation Abrasion test methods and devices
US9497405B2 (en) * 2012-07-17 2016-11-15 Nec Display Solutions, Ltd. Display device for displaying videos side by side without overlapping each other and method for the same
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
US8724028B1 (en) * 2012-12-20 2014-05-13 Kabushiki Kaisha Toshiba Electronic device and display control method
JP6108841B2 (ja) * 2013-01-16 2017-04-05 三菱電機株式会社 画像表示システム
US9898837B2 (en) 2013-05-31 2018-02-20 Mitsubishi Electric Corporation Image processing system
JP6705242B2 (ja) 2015-08-05 2020-06-03 株式会社リコー 画像処理装置、画像処理方法及び画像処理プログラム
WO2024232242A1 (ja) * 2023-05-10 2024-11-14 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法、および記録媒体

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US566251A (en) * 1896-08-18 Poison-distributer
JPS60194696A (ja) * 1984-03-15 1985-10-03 Toshiba Corp デイジタルクロマキ−装置
US4811084A (en) * 1984-04-09 1989-03-07 Corporate Communications Consultants, Inc. Video color detector and chroma key device and method
GB2158320A (en) * 1984-04-26 1985-11-06 Philips Electronic Associated Generating a chroma keying signal
US4652903A (en) * 1984-09-21 1987-03-24 Scientific Atlanta, Inc. Frequency generation for multiplexed analog component color television encoding and decoding
JPH01264378A (ja) * 1988-04-15 1989-10-20 Hitachi Ltd ビデオカメラ装置
US5220312A (en) * 1989-09-29 1993-06-15 International Business Machines Corporation Pixel protection mechanism for mixed graphics/video display adaptors
JP2999501B2 (ja) * 1990-02-26 2000-01-17 パイオニア株式会社 記録媒体演奏装置
US5170246A (en) * 1991-03-28 1992-12-08 Abekas Video Systems, Inc. Video processing system having improved synchronization
GB9107851D0 (en) * 1991-04-12 1991-05-29 Alpha Image Ltd Combining digital video key signals
JPH0548969A (ja) * 1991-08-09 1993-02-26 Nippon Telegr & Teleph Corp <Ntt> 複数画像表示装置
GB9119964D0 (en) * 1991-09-18 1991-10-30 Sarnoff David Res Center Pattern-key video insertion
JPH05101178A (ja) * 1991-10-09 1993-04-23 Canon Inc 画像処理装置
JPH05145735A (ja) * 1991-10-16 1993-06-11 Fuji Xerox Co Ltd はめ込み合成機能を備えた画像処理装置
JPH05207368A (ja) * 1992-01-27 1993-08-13 Hitachi Ltd 重ね合わせ表示装置
JPH05316425A (ja) 1992-05-11 1993-11-26 Sony Corp クロマキー装置におけるキー信号発生装置
JP2528446B2 (ja) * 1992-09-30 1996-08-28 株式会社ハドソン 音声画像処理装置
JPH06308938A (ja) * 1992-10-06 1994-11-04 Seiko Epson Corp 画像処理装置
JPH06215127A (ja) * 1993-01-13 1994-08-05 Matsushita Electric Ind Co Ltd 画像合成表示システム
JPH06231275A (ja) * 1993-01-29 1994-08-19 Hitachi Ltd 画像シミュレーション方法
US5398075A (en) * 1993-11-19 1995-03-14 Intel Corporation Analog chroma keying on color data
JP3731212B2 (ja) * 1994-04-28 2006-01-05 ソニー株式会社 画像特殊効果装置
IL109487A (en) * 1994-04-29 1996-09-12 Orad Hi Tec Systems Ltd Chromakeying system
DE69530908T2 (de) * 1994-12-20 2004-05-19 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zur Bildkodierung
JPH08278486A (ja) * 1995-04-05 1996-10-22 Canon Inc 表示制御装置及び方法及び表示装置
WO1997003416A1 (en) * 1995-07-10 1997-01-30 Sarnoff Corporation Method and system for rendering and combining images
US5969767A (en) * 1995-09-08 1999-10-19 Matsushita Electric Industrial Co., Ltd. Multipicture video signal display apparatus with modified picture indication
US5737031A (en) * 1996-07-30 1998-04-07 Rt-Set System for producing a shadow of an object in a chroma key environment
WO1997029595A1 (en) * 1996-02-07 1997-08-14 Sharp Kabushiki Kaisha Moving image encoding and decoding device
US5982951A (en) * 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US5914748A (en) 1996-08-30 1999-06-22 Eastman Kodak Company Method and apparatus for generating a composite image using the difference of two images
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
US6745391B1 (en) * 1997-12-10 2004-06-01 E Guide, Inc. Premium channel promotion system and method
US5900916A (en) * 1996-12-30 1999-05-04 Mitsubishi Consumer Electronics America, Inc. Apparatus for control of images from multiple sources
US6233356B1 (en) * 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
JP3890715B2 (ja) * 1997-12-04 2007-03-07 ソニー株式会社 信号処理装置および方法
US6750919B1 (en) * 1998-01-23 2004-06-15 Princeton Video Image, Inc. Event linked insertion of indicia into video
US6538675B2 (en) * 1998-04-17 2003-03-25 Canon Kabushiki Kaisha Display control apparatus and display control system for switching control of two position indication marks
JPH11313339A (ja) * 1998-04-30 1999-11-09 Toshiba Corp 表示制御装置および動画／グラフィクス合成表示方法
US6473088B1 (en) * 1998-06-16 2002-10-29 Canon Kabushiki Kaisha System for displaying multiple images and display method therefor
US6599194B1 (en) * 1998-09-08 2003-07-29 Darren Smith Home video game system with hard disk drive and internet access capability
US6573905B1 (en) * 1999-11-09 2003-06-03 Broadcom Corporation Video and graphics system with parallel processing of graphics windows
US6853385B1 (en) * 1999-11-09 2005-02-08 Broadcom Corporation Video, audio and graphics decode, composite and display system
JP4541476B2 (ja) * 1999-02-19 2010-09-08 キヤノン株式会社 マルチ画像表示システムおよびマルチ画像表示方法
US6707505B2 (en) * 1999-03-26 2004-03-16 Tvia, Inc. Method and apparatus for combining video and graphics
JP4541482B2 (ja) * 2000-02-29 2010-09-08 キヤノン株式会社 画像処理装置及び画像処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101533668B1 (ko) * 2007-07-25 2015-07-03 실리콘 이미지, 인크. 원격 비디오 소스 장치와 연관된 온 스크린 디스플레이
US9210474B2 (en) 2007-07-25 2015-12-08 Lattice Semiconductor Corporation On screen displays associated with remote video source devices
KR20210028980A (ko) * 2019-09-05 2021-03-15 라인플러스 주식회사 합성 영상 생성 방법, 사용자 디바이스, 서버 및 기록 매체

Also Published As

Publication number Publication date
EP1143745A2 (en) 2001-10-10
JP4541482B2 (ja) 2010-09-08
US20070081100A1 (en) 2007-04-12
EP1143745B1 (en) 2008-08-13
KR100412763B1 (ko) 2003-12-31
US20010033340A1 (en) 2001-10-25
JP2001242848A (ja) 2001-09-07
US6859236B2 (en) 2005-02-22
US6961097B2 (en) 2005-11-01
US20050012863A1 (en) 2005-01-20
US20050237431A1 (en) 2005-10-27
DE60135265D1 (de) 2008-09-25
EP1143745A3 (en) 2005-03-23
US7375769B2 (en) 2008-05-20

Similar Documents

Publication Publication Date Title
KR100412763B1 (ko) 화상 처리 장치
US7119849B2 (en) Multi-screen synthesis apparatus, method of controlling the apparatus, and program for controlling the apparatus
JP4672856B2 (ja) マルチ画面表示装置及びマルチ画面表示方法
JP4541476B2 (ja) マルチ画像表示システムおよびマルチ画像表示方法
US7030932B2 (en) Apparatus and method for converting multi-source input images
JPH1075430A (ja) ビデオデータ処理装置およびビデオデータ表示装置
JP2001175239A (ja) マルチ画面表示装置、マルチ画面表示システム、マルチ画面表示方法、及び記憶媒体
KR100527982B1 (ko) 영상표시장치 및 프로그램 기록매체
JP3872295B2 (ja) データ表示方法、記録媒体、及びプロセッサ・ベース・システム
US20060017850A1 (en) Video combining apparatus and method thereof
EP1848203B1 (en) Method and system for video image aspect ratio conversion
CN114979773A (zh) 显示设备、视频处理方法及存储介质
US20080291180A1 (en) Information processing apparatus, information processing method, and program
JP2004040696A (ja) 映像フォーマット変換装置及びデジタル放送受信装置
JP2001117693A (ja) 表示装置及びその表示制御方法並びに記憶媒体
JP2002271751A (ja) 表示制御方法及び装置
KR100577195B1 (ko) 다중 화면 발생 방법
KR20010045948A (ko) 디지털 방송 수신기의 화면 종횡비 자동 제어장치
JP2008028952A (ja) 表示制御装置
JP2003288066A (ja) オンスクリーンディスプレイ装置
JPH11341388A (ja) ２画面表示装置
JP2000175114A (ja) 映像表示装置およびプログラム格納媒体
JP2002199355A (ja) ビデオデバイス
JP2005341233A (ja) 映像信号受信装置及び映像信号受信方法
JP2008054083A (ja) 映像信号処理装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20010228

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20020930

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20030506

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20020930

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

Patent event date: 20030806

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20030506

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Decision date: 20031021

Appeal identifier: 2003101003081

Request date: 20030806

PB0901 Examination by re-examination before a trial

Comment text: Amendment to Specification, etc.

Patent event date: 20030806

Patent event code: PB09011R02I

Comment text: Request for Trial against Decision on Refusal

Patent event date: 20030806

Patent event code: PB09011R01I

Comment text: Amendment to Specification, etc.

Patent event date: 20021130

Patent event code: PB09011R02I

B701 Decision to grant
PB0701 Decision of registration after re-examination before a trial

Patent event date: 20031021

Comment text: Decision to Grant Registration

Patent event code: PB07012S01D

Patent event date: 20030916

Comment text: Transfer of Trial File for Re-examination before a Trial

Patent event code: PB07011S01I

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20031212

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20031215

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20061211

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20071207

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20081125

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20091124

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20101125

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20111125

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20121121

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20121121

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20131126

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20131126

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20141126

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20141126

Start annual number: 12

End annual number: 12

FPAY Annual fee payment

Payment date: 20151125

Year of fee payment: 13

PR1001 Payment of annual fee

Payment date: 20151125

Start annual number: 13

End annual number: 13

FPAY Annual fee payment

Payment date: 20161124

Year of fee payment: 14

PR1001 Payment of annual fee

Payment date: 20161124

Start annual number: 14

End annual number: 14

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20180923