[go: up one dir, main page]

KR0138845B1 - 엠핵(mheg)엔진에서의 멀티미디어 정보 동기 제어기 및 그 제어방법 - Google Patents

엠핵(mheg)엔진에서의 멀티미디어 정보 동기 제어기 및 그 제어방법

Info

Publication number
KR0138845B1
KR0138845B1 KR1019940033908A KR19940033908A KR0138845B1 KR 0138845 B1 KR0138845 B1 KR 0138845B1 KR 1019940033908 A KR1019940033908 A KR 1019940033908A KR 19940033908 A KR19940033908 A KR 19940033908A KR 0138845 B1 KR0138845 B1 KR 0138845B1
Authority
KR
South Korea
Prior art keywords
information
presentation
channel
multimedia
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1019940033908A
Other languages
English (en)
Other versions
KR960025149A (ko
Inventor
김진석
조성빈
이해원
진병운
박성열
Original Assignee
양승택
한국전자통신연구원
조백제
한국전기통신공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 양승택, 한국전자통신연구원, 조백제, 한국전기통신공사 filed Critical 양승택
Priority to KR1019940033908A priority Critical patent/KR0138845B1/ko
Priority to US08/562,190 priority patent/US5748187A/en
Priority to FR9513922A priority patent/FR2728089B1/fr
Publication of KR960025149A publication Critical patent/KR960025149A/ko
Application granted granted Critical
Publication of KR0138845B1 publication Critical patent/KR0138845B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 MHEG엔진에서의 멀티미디어 정보 동기 제어기 및 그 제어방법에 관한 것으로서, 종래기술에서 멀티미디오 프리젠테이션 도중에 대화형 처리가 불가능하고, 조건적, 시간적 및 공간적 동기화의 제어가 곤란했던 문제점을 해결하기 위해 멀티미디어 프레젠테이션 도중에 사용자의 입력을 받아 들여 대화형 처리를 가능하도록 지원하는 사용자 인터페이스와, 타임스톤 타이머에 설정된 시간에 따라 타임스톤 이벤트를 발생하는 타임스톤 프로세서와, 여러개의 이벤트가 발생되었을 때 상황테이블과 링크테이블을 참조하여 동작명령 및 MHEG객체 정보의 리스트를 동작 프로세서에게 전달하는 링크 프로세서와, 동작 이벤트를 발생하고 링크 프로세서로부터 전달받은 동작의 수행을 위해 다수개의 채널 각각에 대응하여 프리젠테이션되는 프리젠테이션 정보단위를 만드는 동작프로세서와, 채널타이머에 설정된 시간에 따라 해당 프레임 정보를 프리젠테이션 서버에 전달하는 다수개의 채널로 구성된 동기제어기를 제공하고, 이러한 동기제어기를 이용하여 MHEG엔진내에서 멀티미디어 프레젠테이션을 위해 동기제어기가 구동되기 시작하면, 이벤트가 발생되었을 경우 링크 테이블을 조사하여 진행될 동작행위를 동작 프로세서에 전달해주는 링크 프로세싱 과정과, 링크 프로세싱 과정으로부터 전달된 동작행위를 수행시켜 멀티미디어를 관련된 채널(Channel)별로 동기화하는 동작프로세싱 과정과, 동작 프로세싱 과정으로부터 입력도니 채널내의 프레임(Frame)들에 대한 동기화 정보를 이용하여 순서대로 프리젠테이션 서버에 전달하는 프레임 동기화과정으로 이루어진 멀티미디어 정보 동기제어방법을 수행함으로써, 멀티미디어 프리젠테이션 도중에 사용자의 입력을 받아들여 대화형 처리를 가능토록 하고 MHGE 엔진에서 조건적, 시간적, 및 공간적 동기화를 용이하게 제어할 수가 있는 것이다.

Description

엠핵(MHEG)엔진에서의 멀티미디어 정보 동기 제어기 및 그 제어방법(Synchronization controller and control method for multimedia object in MHEG engine)
제 1도는 본 발명을 적용하기 위한 엠헥(MHEG;Multimedia and Hypermedia information coding Expert Group)엔진의 구성도이다.
제 2도는 제 1도에서 도시된 엠핵 엔진에서의 멀티미디어 프리젠테이션(multimedia presentation)을 위한 멀티미디어 정보동기 제어기의 상세 구성도이다.
제 3도는 제 2도에 도시된 멀티미디어 정보동기 제어기에서의 채널 동기화 처리 순서도이다.
제 4도는 제 2도에 도시된 멀티미디어 정보 동기 제어기의 구성요소인 채널에서의 프레임 동기화 순서도이다.
*도면의 주요 부분에 대한 부호의 설명*
400:요소 테이블700:룩업 테이블
500:상황 테이블600:링크 테이블
801:사용자 인터페이스803:타임스톤 프로세서
804:타임 스톤 타이머(TST)807:링크 프로세서
808:동작 프로세서809a-809n:채널
811a-811n: 채널 타이머(CT)
810aa-810nk:프리젠테이션 정보 단위
900:프리젠테이션 서버1000:동작처리 모듈
본 발명은 멀티미디어 정보를 프리젠테이션(presentation)하기 위해 MHEG(이하, '엠핵'이라 칭함)엔진에서 멀티미디어 정보들의 동기화를 수행하기 위한 엠핵 엔진에서의 멀티미디어 정보 동기 제어기 및 그 제어방법에 관한 것이다.
일반적으로, 멀티미디어란 단일한 디지탈 환경에서의 텍스트(text), 오디오(audio), 비디오(video), 그래픽스(graphics), 오디오/비쥬얼(audio/vidual) 등의 미디어 통합을 의미한다.
그리고 멀티미디어 프리젠테이션은 실시간에 생성되거나 저장장치에 저장된 멀티미디어 데이타를 처리하여 사람들이 인식할 수 있는 형태로 보여주는 것을 의미한다.
상기에서 멀티미디어 데이타에 함축된 의미를 사람에게 효과적으로 전달하기 위해서는 미디어 데이타 간의 시간 또는 공간적인 관계정보를 효율적으로 표현하고 처리할 수 있는 기법이 필요하다.
이와같은 기법을 소위 동기화(Synchronization)라고 한다.
상기 동기화는 미디어 데이타간의 시간관계를 표현하는 시간 동기화(Temporal Synchronization)와 공간관계를 표현하는 공간동기화(Spatial Synchronization)로 구분한다.
서로 다른 타입의 미디어 데이타를 프리젠테이션하기 위해서는 각각의 미디어 데이타를 시간 및 공간적으로 결합시키는 과정이 필요하며, 이러한 결합과정을 미디어 합성(Media Composition)이라 한다.
상기 미디어 합성은 시간 및 공간 합성으로 분류되며, 시간합성은 프리젠테이션 시간의 흐름에 따라 관련된 각 미디어 데이타들을 순차적 또는 병렬적으로 동기화하여 프리젠테이션 하도록 상기 각 미디어 데이타들간의 프리젠테이션 순서를 정하는 것이다.
또한, 공간합성은 미디어 데이타를 시간의 흐름에 따라 프리젠테이션 공간에 서로 결합시키는 것이다.
엠핵(MHEG;Multimedia and Hypermedia information coding Expert Group)은 전자통신분야의 국제표준화기구인 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission)에서 현재 제정증인 멀티미디어 정보의 국제표준 표현이며, 객체지향 개념(Object Oriented Paradigm)을 이용하여 멀티미디어 정보를 객체(Object)로 정의하고 사용한다.
본 발명을 적용하기 위한 엠핵 엔진은 국제표준인 엠핵 포맷으로 표현된 멀티미디어 정보를 해석하고 동기화를 구현하여 최초의 정보제작자의 의도와 동일하게 프리젠테이션할 수 있도록 개념의 정의된 프리젠테이션 엔진이다.
상기 엠핵 엔진이 사용장에 의해 개발되었을 경우, 여기에서 사용하는 동기화방법은 시간 및 공간 동기화, 조건 동기화(Conditional), 시스템(System)동기화, 스크립트(Script)동기화 등 4가지 형태이다.
상기에서 조건 동기화란 엠핵 엔진을 통한 프리젠테이션 상태가 처음시나리오 작성자가 의도한 조건을 만족시켰을 때 다음 순서의 동작행위를 수행할 수 있도록 하여 프리젠테이션시의 동기화를 제어하며, 사용자와 엠핵 엔진과의 대화형처리(Interactive Processing)를 가능하게 하는 것이다.
지금까지 제안된 종래기술에서의 멀티미디어 동기제어 기법은 Milner의 CCS(
Calculus of Communicating System)을 이용한 모델, Time Glue와 오브젝트 계층을 이용한 모델, Petri Net를 기반으로 한 OCPN(Object Composition Petri Net)모델, DTPN(Dynamic Timed Petri Net)모델, XOCPN(Extended Object Composition Petri Net)모델, 그리고 트리구조를 이용한 SRT(Synchronization Relation Tree)모델들이 있다.
그러나 이와같은 종래의 멀티미디어 동기제어 기법들은 대개 특정한 멀티미디어 응용을 대상으로한 모델로서 미디어간의 복잡한 시간관계구조, 공간관계구조, 오디오 볼륨관계 등을 효과적으로 표현할 수 없어, 동기화된 프리젠테이션을 제어하기가 곤란한 문제점이 있었다.
또한, 미디오 데이타 축소 및 확대, 프리젠테이션 위치변경, 일시고정(Freeze), 재개(Resume), 프리젠테이션 속도변화(Speed scaling), 역(Inverse) 및 전도(Reverse) 프리젠테이션 전환 등과 같은 프리젠테이션 도중에 사용자가 프리젠테이션 순서를 동적으로 변경하기 위한 사용자 입력을 할 수 없었기 때문에, 대화형 처리가 불가능한 문제점이 있었다.
그러므로 사용자와의 빈번한 상호작용을 통해 프리젠테이션해야 하는 멀티미디어 응용을 지원하기 위해서는 이를 지원할 수 있는 기법이 필수적으로 제공되어야 한다.
따라서, 본 발명은 상기 문제점을 해결하기 위해 국제 표준으로 저의된 기능을 수행할 수 있도록 개발도니 엠핵 엔진에서 조건적, 시간 및 공간적 동기화를 제어하기 위한 엠핵 엔진에서의 밀티미디어 정보동기 제어기와 그 제어방법을 제공하는데 그 목적이 있다.
그리고 본 발명의 다른 목적은 멀티미디어 정보를 프리젝테이션하는데 필요한 미디어 데이타들을 결합하여 동기화된 프리젠테이션을 수행할 수 있고, 프리젠테이션 도중에 사용자의 입력을 받아 들여사용자와 엠핵 엔진과의 대화형 처리를 가능하도록 개선된 엠핵 엔진에서의 멀티미디어 정보 동기 제어기 및 그 제어방법을 제공하는데 있다.
이러한 목적을 달성하기 위하여 본 발명의 엠헥 엔진에서의 멀티미디어 정보 동기제어기는 디코딩된 정보를 내부데이타 구조(Internal Data Structure)로 변환하여 객체(Object) 형태로 클래스 라이브러리에 저장하고, 이 객체를 분석하여 각종 테이블을 만들어 놓은 엠핵엔진에서 멀티미디어 정보들의 동기화를 제어하도록 구성된 특징이 있다.
또한, 본 발명의 멀티미디어 정보동기 제어방법은 이벤트가 발생되었을 경우 링크 테이블의 조건문을 조사하여 다음 순서에 진행될 동작행위(Action Behaviour)를 검색한 후 검색된 동작행위를 동작 프로세서에 전달해주는 링크 프로세싱과정과, 상기 프로세싱과정으로부터 전달된 동작행위를 수행시켜 멀티미디어를 관련된 채널(Channel)별로 동기화하는 동작 프로세싱과정과, 상기 동작 프로세싱 과정으로부터 입력된 채널내의 프레임(Frame)들에 대한 동기화 정보를 이용하여 순서대로 프리젠테이션 서버에 전달함으로써 멀티미디어 프리젠테이션을 수행할 수 있도록 하는 프레임 동기화 과정으로 이루어진 특징이 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
제 1도는 본 발명이 적용되는 엠핵 엔진의 구성을 보여주는 도면이다.
제 1도에는 도시된 바와같이, 엠핵 엔진은 엠핵 객체 정보를 엔코딩한 데이타 스트림을 기억장치로부터 읽어들여 ASN.1(Abstract Syntax Notation/One)에서 정의된 구조로 변환하는 ASN.1 디코더(100)와, 디코딩된 데이타를 엠핵 엔진내에서 사용할 내부데이타 구조로 변환하여 엠핵 클래스 라이브러리(MHEG Class Library)(300
)에 저장하고, 동작프로세서(Action Processor)에서 사용하는 멀티미디어 정보를 실시간으로 접근(Access)할 수 있도록 룩업 테이블(Look-up Table)(700)을 생성시켜 주는 매핑프로세서(Mapping processor)(200)와, 내부 데이타구조로 변환된 엠핵 객체 정보를 저장하고 있는 엠핵 클래스 라이브러리(300)와, 엠핵 객체 내에 포함되어 프리젠테이션에 연관돤 또 다른 엠핵 객체 요소의 주소를 저장하고 있는 요소테이블(Element Table)(400)과, 프리젠테이션될 엠핵 객체의 진행 상태를 나타내는 상황 테이블(Status Table)(500)과, 조건문을 저장하여 이 조건이 만족되면 해당된 엠핵 객체가 다음 순서에 프리젠테이션될 수 있도록 조건문들과 이 조건문들에 연관된 엠액 객체의 주소를 저장하고 있는 링크 테이블(Link Table)(600)과, 동작프로세서가 멀티미디어 정보를 프리젠테이션할 때 필요로 하는 정보객체를 신속하게 가져올 수 있도록 동작 프로세서내에서 사용하는 상대주소와 실제정보객체가 저장되어 있는 물리주소 사이의 연결기능을 수행하는 룩업 테이블(700)과, 상기 링크 테이블(600)의 조건문들을 조사하여 조건물이 만족된 엠핵 객체 정보의 리스트와 이를 대상으로 수행하게 될 동작명령들을 가지고 엠핵 객체 정보들의 동기화를 제어하는 동기제어기(Synchronization Controller)(800)와, 상기 동기제어기(800)로부터 프리젠테이션정보를 받아 멀티미디어 정보를 프리젠테이션하는 프리젠테이션 서버(Presentation Server)(900)와, 동작명령에 대해 실제 수행하게 될 프로그램모듈을 저장하고 있는 동작처리모듈(Action Process Module)(1000)로 구성되어 있다.
제 2도는 제 1도에 도시된 멀티미디어 정보 동기제어기의 구체적인 구성을 보여주는 도면이다.
동기 제어기(8000의 구성은, 멀티미디어 프리젠테이션 도중에 사용자의 입력을 받아 들여 대화형 처리가 가능하도록 상황 테이블(500)내의 상호작용상태를 변경하고, 상호작용 이벤트(IE:Interaction Event)(802)를 발생하는 사용자 인터페이스(801)와, 미디어 데이타에 대응한 채널의 구동 시간이 미리 설정된 타임스톤 타이머(TST:Time Stone Timer)(804)에 의해 미리 기억되어졌던 채널시작시간이 되었을 때 상황테이블(500)내의 타임스톤 상태(Time Stone Status)를 변경하고, 타임스톤 이벤트(TSE:Time Stone Event)(805)를 발생하는 타임스톤 프로세서(803)와, 동작행위가 수행된 후 발생되는 동작이벤트(AE:Action Event)(806)나 타임스톤 이벤트(805), 상호작용 이벤트(802)가 발생되었을 때 상황테이블(500)의 상태값을 참조하여 링크 테이블(600)의 조건문(601)들이 만족되었나 조사하고, 만족된 조건문과 연관된 동작명령의 리스트(602)와 엠핵 객체 정보의 리스트를 동작 프로세서(808)에게 전달하는 링크 프로세서(807)와, 상기 링크 프로세서(807)에 동작행위가 수행된 후 동작 이벤트를 발생하고, 상기 링크 프로세서(807)로부터 전달받은 동작의 수행을 위해 상기 타임스톤 프로세서(803)에 채널시작시간을 기록하고, 멀티미디어 정보를 갖는 다수개의 채널(809a-809n) 각각에 대응하여 프리젠테이션되는 기본단위의 프리젠테이션 정보단위(Presentation Information Unit)(810aa-810ck)를 만드는 동작 프로세서(808)와, 채널내의 프레임을 동기시키기 위한 시간이 미리 설정된 채널타이머(811a-811n) 동작에 의해 프레임 시작시간이 되었을 때 해당 프레임 정보를 프리젠테이션 서버(900)에 전달하는 다수개의 채널(809a-809n)로 구성된 것이다.
이와같은 구성에 의해 동기제어기의 동작을 설명하면 다음과 같다.
사용자 인터페이스(801)는 멀티미디어 프리젠테이션시에 사용자의 입력을 받아 들여 대화형 처리가 가능토록 지원한다.
이와같은 사용자 인터페이스(801)는 사용자의 입력이 있을 때 상황 테이블(500)내의 상호작용 상태를 변경하고 상호작용 이벤트(802)를 발생한다.
그리고 타임스톤 프로세서(803)는 채널을 구동하기 위한 타임스톤 타이머(804) 동작에 의해 미리 기억되어졌던 채널 시작 시간이 될 때 상황테이블(500)내의 타임스톤 상태를 변경하고, 타임스톤 이벤트(805)를 발생한다.
동작행위가 수행된 후 발생되는 동작이벤트(806)나 타임스톤 이벤트(805), 상호작용 이벤트(802)가 발생될 때 링크 프로세서(807)는 상황테이블(500)의 상태값(Values)을 참조하여 링크 테이블(600)의 조건문(601)들이 만족되었나 조사한다.
그에따라, 만족된 조건문과 연결된 동작명령의 리스트(602)와 MHEG객체 정보의 리스트를 동작프로세서(808)에게 전달해준다.
동작프로세서(808)는 상기 링크 프로세서(807)로부터 전달받은 동작의 수행을 위해 타임스톤 프로세서(803)에 채널시작 시간을 기록하거나, 텍스트, 그래픽, 정지화상, 오디오, 비디오, 오디오/비쥬얼 등으로 구별되어 있는 다수개의 채널(809a-809n)에 프리젠테이션되는 기본단위인 프로젠테이션 정보단위(810aa-820nk)를 만든다.
이때, 상기 프리젠테이션 정보단위(810aa-810nk)에는 프리젠테이션 서버(900)를 통해 실제 프리젠테이션되는 멀티미디어 데이타인 프레임에 대한 정보 즉, 프레임 주소(FA:Frame Address), 프레임 시작시간(FST:Frame Start Time), 프레임 종료시간(FET:Frame End Time), 프레임 공간좌표(FS:Frame Space), 프레임 볼륨(FV:Frame Volume), 프레임 프리젠테이션속도(FPS:Frame Presentation Speed) 등이 기억된다.
그리고 각채널은 채널내의 프리젠테이션 정보 단위에 포함된 해당프레임 정보의 전송을 제어하는 시간이 미리 설정된 채널타이머(CT:Channel Timer)(811a-811n) 동작에 의해 프레임 시작시간(FST)이 될 때 해당 프레임정보를 프리젠테이션 서버(900)에 전달함으로써 프리젠테이션이 수행되도록 한다.
다음에는 상술한 동기제어기의 구성에 대한 설명을 바탕으로 제 3도를 참조하여 동기제어기에서의 동기화 제어방법에 대해 설명한다.
엠핵 엔진에서 최초의 프리젠테이션을 할 수 있는 준비가 되어 동기제어기(800)가 구동되기 시작하면( S1), 동작이벤트(806), 상호작용 이벤트(802), 타임스톤 이벤트(805) 중 어느 하나라도 발생되었는지를 체크한다(S2).
발생된 이벤트가 없을 경우 타임스톤 프로세서(803)에 의해 타임스톤 이벤트(805)가 발생될때까지 기다려 상황테이블(5000내의 타임스톤 상태를 변경한 후 상기 S2)단계를 다시 수행한다(S3).
이벤트가 발생되었을 경우 링크 테이블(600)의 조건문들 중에 만족된 조건문이 있는지 체크한다(S4).
상기 체크(S4)에 의해 만족된 조건문이 없을 경우 S2단계를 다시수행하고, 만족된 조건문이 있을 경우 변수 i를 1로 초기화한다(S5).
동작리스트(602)의 i번째 동작이 널(Null)인지 체크하여(S6) 널(Null)일 경우 동작 이벤트(806)를 발생하고, 상황테이블(500)내의 동작상태를 변경한 후 S2단계를 다신 수행한다(S7).
동작 리스트(602)의 i번째 동작이 널(Null)이 아닐 경우 채널에 프레임 정보를 설정(Set)하는 동작인지 체크한다(S8).
채널정보 설정동작일 경우 해당 채널에 해당 동작과 관련된 프레임에 대한 동기화 정보를 설정하고, 상황테이블(500)내의 동작상태를 변경한다(S9).
그러나 채널정보 설정동작이 아닐 경우 동작리스트의 i번째 동작이 타임스톤(TS)에 채널시작시간을 설정하는 동작인지 체크한다(S10).
타임스톤 정보설정 동작일 경우 타임스톤에 해당 채널시작 시간정보를 설정하고, 상황테이블(500)내의 동작상태를 변경한다(S11).
타임스톤 설정동작이 아닐 경우 동작리스트의 i번째 동작이 실행(RUN) 동작인지 체크한다(S12).
상기 체크(S12)에 의해 실행동작일 경우 해당 채널을 구동하고(S13), 상황테이블(500)내의 동작상태를 변경한다(S14).
그러나 시행동작일 아닐 경우 정지(STOP) 동작인지 체크한다(S15).
상기 체크(S15)에 의해 정지동작일 경우 해당 채널의 해당 프레임의 프리젠테이션을 중지하고, 상황테이블(500)내의 동작상태를 변경한다(S16).
상기 S9, S11, S14, S16단계를 수행한 후 변소 i를 1만큼 증가시키고 상기 S단계부터 반복한다(S17).
한편, 상기에서 동작리스트의 i번째동작이 정지가 아닐 경우, 준비(PREPARE)동작인지 체크한다.(S18).
상기에서 준비동작인지 체크하여(S18)만약 준비동작이 아닐 경우 에러(Error)처리를 한 후 엠핵 엔진구동을 종료한다(S19).
그러나, 준비동작일 경우에는 기억장치에서 엠핵 엔진안으로 입력하고 ,요소테이블(400), 링크테이블(600), 룩업테이블(700) 등에 객체를 분석하여 얻어진 정보를 수록하고, 상황테이블(500) 내의 동작상태를변경하고, 동작이벤트(806)를 발생시킨 후 상기 S2단계를 수행한다(S20).
사용자가 프리젠테이션상태를 변경하려고 사용자 입력(인터럽트)을 한 경우, 상황테이블(500)내의 상호작용상태를 변경하고, 상호작용 이벤트(802)를 발생시킨 후, 사용자가 요구한 사항을 처리할 수 있도록 상기 S2단계를 수행한다(S21).
다음에는, 제 4도를 참조하여 프레임 동기화과정을 상세히 설명한다.
상기 제 3도의 S13단계(해당 채널 구동단계)에서 해당 채널을 구동하라는 명령이 주어지면(S1301), 채널내의 프리젠테이션 정보단위(PIU) 갯수를 변수 j에 저장하고, 각 채널내의 프리젠테이션 정보단위(PIU)의 프레임 시작시간(EST)을 채널 타이머(CT)에 표시한다(S1302).
상기 변수 j가 0인지 체크하여(S1303), 0이면 채널을 클리어(Clear)하고(S1304), 해당 채널구동을 완료한다(S1305).
그러나 상기 변수 j가 0인지 체크하여(S1303) 0이 아닌 경우, 채널타이머(CT)(811a,…,811n)에 의해 프레임 시작시간(FST)인지 체크한다(S1306).
상기 체크(S1306)에 의해 프레임 시작시간(FST)이 아닌 경우 프레임 시작시간(FST)이 될때까지 기다렸다가 시작시간이 되면, 해당 프레임 정보를 프리젠테이션 서버(900)에 전송하여 프리젠테이션이 시작되게 한다(S1307).
상기 프레임 정보를 전송한(S1307) 후 변수 j를 1만큼 감소하고(j=j-1) 상기 ST1303 스텝에서부터 반복한다(S1308).
이상과 같은 본 발명의 엠핵 엔진은 텍스트, 정지화상, 그래픽, 오디오, 비디오, 오디오/비쥬얼 등의 멀티미디어 프리젠테이션을 구성하는 모노미디어 정보를 객체로 표현하고, 엠핵 엔진 내의 동기제어기를 통해 객체들 간의 복잡한 시간관계, 공간관계, 오디오 볼륨관계 등을 효율적을 표현하고 이것들을 이용하여 동기화된 프리젠테이션을 쉽게 제어할 수 있으며, 또한 프레젝테이션 도중에 사용자의 입력을 받아 들일 수 있도록 개선되었다.

Claims (9)

  1. 엠핵(MHEG) 객체 정보를 엔코딩한 데이타 스트림을 기억장치로부터 읽어들여 ASN.1(Abstract Syntax Notation/One)에서 정의된 구조로 변환하는 ASN.1디코더와, 디코딩된 데이타를 엠핵엔진내에서 사용할 내부데이타 구조로 변환하여 엠핵 클래스 라이브러리에 저장하고, 동작프로세서에서 사용하는 멀티미디어 정보를 실시간으로 접근(Access)할 수 있도록 룩업 테이블(Look-up Table)을 생성시켜 주는 매핑프로세서와, 내부 데이타구조로 변환된 엠핵 객체 정보를 저장하고 있는 엠핵 클래스 라이브러리와, 엠핵 객체 내에 포함되어 표현된 프리젠테이션에 연관된 또 다른 엠핵 객체 요소의 주소를 저장하고 있는 쇼오테이블(Element Table)과, 프리젠테이션될 엠핵 객체의 진행 상태를 나타내는 상황 테이블(Status Table)과, 엠핵 객체의 프리젠테이션될 수 있는 조건문들과 이 조건물들에 연관된 엠핵 객체의 주소를 저장하고 있는 링크 테이블(Link Table)과, 동기 제어기내에서 사용하는 상대주소와 실제정보객체가 저장되어 있는 물리주소 사이의 연결기능을 수행하는 룩업 테이블과, 링크 테이블의 조건문들을 조사하여 조건물이 만족된 엠핵 객체 정보의 리스트와 이를 대상으로 수행하게 될 동작명령들을 가지고 엠핵 객체 정보들의 동기화를 제어하는 동기제어기(Synchronization Controller)와, 상기 동기제어기로부터 프리젠테이션정보를 받아 멀티미디어 정보를 프리젠테이션하는 프리젠테이션 서버(Presentation Server)와, 동작명령에 대해 실제 수행하게 될 프로그램모듈을 저장하고 있는 동작처리 모듈(Action Process Module)을 구비하여 멀티미디어 정보를 프리젠테이션 하기 위한 엠핵 엔진에서의 멀티미디어 정보 동기제어기에 있어서,
    멀티미디어 프리젠테이션시에 사용자의 입력을 받아 들여 대화형 처리가 가능하도록 지원하고 상호작용 이벤트를 발생시키는 사용자 인터페이스와,
    미리 기억되어졌던 채널시작시간이 되었을 때 상기 상황테이블내의 타임스톤 상태를 변경하고, 타임스톤 이벤트를 발생하는 타임스톤 프로세서와,
    동작행위가 수행된 후 발생되는동작이벤트나 타임스톤 이벤트, 상호작용 이벤트가 발생되었을 때 상기 상황테이블의 상태값을 참조하여 상기 링크 테이블의 조건문들이 만족되었나 조사하고, 만족된 조건물과 연관된 동작명령의 리스트와 엠핵 객체 정보의 리스트를 동작 프로세서에게 전달하는 링크 프로세서와,
    상기 링크 프로세서에 동작행위가 수행된 후 동작 이벤트를 발생하고, 상기 링크 프로세서로 부터 전달받은 동작의 수행을 위해 상기타임스톤 프로세서에 채널시작시간을 기록하고, 멀티미디어 정보를 갖는 다수개의 채널 각각애 대응하여 프리젠테이션되는 다수개의 프리젠테이션 정보단위를 만드는 동작프로세서와,
    프레임 시작시간이 되었을 때 해당 프레임 정보를 프리젠테이션 서버에 전달하는 다수개의 채널로 구성된 것을 특징으로 하는 엠핵(MHEG) 엔진에서의 멀티미디어 정보 동기제어기.
  2. 멀티미디어 정보의 프리젠테이션을 위한 엠핵 객체의 진행상태를 나타내는 상황테이블과, 엠핵 객체가 프리젠테이션될 수 있도록 하는 조건문과 이 조건문에 관계된 엠핵 객체의 주소가 저장되어 있는 링크테이블과, 동기제어기로부터 프리젠테이션 정보를 받아 멀티미디어 정보를 프리젠테이션 하는 프리젠테이션 서버등을 구비하여 멀티미디어 정보를 프리젠테이션하기 위한 엠핵 엔진에서의 멀티미디어 정보 동기제어방법에 있어서,
    엠핵 엔진내에서 멀티미디어 프리젠테이션을 위해 동기제어기가 구동되기 시작하면, 이벤트가 발생되었을 경우 상기 링크 테이블의 조건문을 조사하여 다음 순서에 진행될 동작행위(Action Behaviour)를 검색한 후 상기 진행될 동작행위를 동작 프로세서에 전달해주는 링크 프로세싱과정과,
    상기 링크 프로세싱과정으로부터 동작된 동작행위를 수행시켜 멀티미디어를 관련된 채널(Channel)별로 동기화하는 동작 프로세싱과정과, 상기 동작 프로세싱과정은 상기 동작 프로세싱과정으로부터 입력된 채널내의 프레임(Frame)들에 대한 동기화 정보를 이용하여 순서대로 상기 프리젠테이션 서버에 전달함으로써 멀티미디어 프리젠테이션을 수행할 수 있도록 프레임 동기화과정으로 이루어진 것을 특징으로 하는 엠핵(MHEG) 엔진에서의 멀티미디어 정보 동기 제어방법.
  3. 제 2항에 있어서,
    상기 링크 프로세싱과정은 엠핵 엔진에서 최초의 프리젠테이션을 하기 위한 준비가 되었을 경우 동기제어기의 구동을 시작하는 단계(S1)와,
    상기 동기제어기의 구동 시작에 따라 동작이벤트, 상호작용 이벤트, 타임스톤 이벤트 중 어느 하나라도 발생되었는지를 체크하는 단계(S2)와,
    발생된 이벤트가 없을 경우 타임스톤 프로세서에 의해 타임스톤 이벤트가 발생될때까지 기다려 상기 상황테이블 내의 타임스톤 상태를 변경한 후 상기 S2단계를 다시 수행하는 단계(S3)와,
    이벤트가 발생되었을 경우 링크 테이블의 조건문들 중에 만족된 조건문이 있는지 체크하는 단계(S4)와,
    만족된 조건문이 없을 경우 상기 S2단계를 다시 수행하고, 만족된 조건문이 있을 경우 변수 i를 1로 초기화하는 단계(S5)를 포함하는 것을 특징으로 하는 엠핵(MHEG) 엔진에서의 멀티미디어 정보 동기제어방법.
  4. 제 2항에 있어서,
    상기 동작 프로세싱과정은 동작리스트의 i번째 동작이 널(null)인지 체크하는 단계(S6)와,
    널(null)일 경우 동작 이벤트를 발생하고, 상황테이블내의 동작상태를 변경한 후 상기 S2단계를 다시 수행하는 단계(S7)와,
    동작 리스트의 i번째 동작이 널(null)이 아닐 경우 채널에 프레임 정보를 설정하는 동작인지 체크하는 단계(S8)와,
    채널정보 설정동작일 경우 채널에 해당 동작과 관련된 프레임에 대한 동기화 정보를 설정하고, 상황테이블내의 동작상태를 변경하는 단계(S9)와,
    채널정보 설정동작이 아닐 경우 동작리스트의 i번째 동작이 타임스톤에 채널시작시간을 설정하는 동작인지 체크하는 단계(S10)와,
    타임스톤 정보설정 동작일 경우 타임스톤에 해당 채널시작 시간정보를 설정하고, 상환테이블내의 동작상태를 변경하는 단계(S11)와,
    타임스톤 설정동작이 아닐 경우 동작리스트의 i번째 동작이 가동 동작인지 체크하는 단계(S12)와,
    가동 동작일 경우 해당 채널을 구동하는 단계(S13)와,
    상황테이블내의 동작상태를 변경하는 단계(S14)와,
    가동 동작이 아닐 경우 정지(STOP)동작인지 체크하는 단계(S15)와,
    정지동작일 경우 해당 채널의 해당 프레임의 프리젠테이션을 중지하고, 상황테이블내의 동작상태를 변경하는 단계(S16)와,
    상기 S9, S11, S14, S16단계를 수행한 후 변수 i를 l만큼 증가시키고 상기 S6단계부터 반복하는 단계(S17)와,
    동작리스트의 i번째동작이 정지가 아닌 경우, 준비동작인지 체크하는 단계(S18)와,
    준비동작이 아닐 경우 에러 처리를 한 후 엠핵 엔진구동을 종료하는 단계(S19)와,
    준비동작일 경우 기억장치에서 엠핵 객체를 엠핵 엔진안으로 입력하고, 요소테이블, 링크테이블, 룩업테이블 등에 객체를 분석하여 얻어진 정보를 수록하고, 상황테이블내의 동작상태를 변경하며, 동작이벤트를 발생시킨 후 상기 S단계를 수행하는 단계(S20)와,
    사용자가 프리젠테이션상태를 변경하려고 사용자입력을 한 경우 상황테이블내의 상호작용상태를 변경하고, 상호작용 이벤트를 발생시킨후, 사용자가 요구한 사항을 처리할 수 있도록 상기 S2단계를 수행하는 단계(S21)를 포함하는 것을 특징으로 하는 엠핵(MHEG)엔진에서의 멀티미디어 정보 동기제어방법.
  5. 제 2항에 있어서,
    상기 프레임 동기화과정은 상기 해당 채널 구동단계(S13)에서의 해당 채널이 구동명령(S1301)에 따라 채널내의 프리젠테이션 정보단위(PIU) 갯수를 j에 저장하고, 각 채널내의 프리젠테이션 정보단위(PIU)의 프레임 시작시간(FST)을 채널 타이머에 표시하는 단계(S1302)와,
    상기 변수 j가 0인지 체크하는 단계(S1303)와,
    상기 변수 j가 0일 경우 채널을 클리어하는 단계(S1304)와,
    해당 채널구동을 완료하는 단계(S1305)와,
    상기 변수 j가 0이 아닐 경우 채널타이머에 의해 프레임 시작시간인지 체크하는 단계(S1306)와,
    프레임 시작시간이 아닐 경우 시작시간이 될때까지 기다렸다가 시작시간이 되면, 해당 프레임 정보를 프리젠테이션 서버에 전달하여 프리젠테이션이 시작되도록 하는 단계(S1307)와,
    프레임 정보를 전송한 후에는 변수 j만큼 감소하고 상기 단계(S1303)부터 반복하는 단계(S1308)로 이루어진 것을 특징으로 하는 엠핵(MHEG)엔진에서의 멀티미디어 정보 동기제어방법.
  6. 제 1항에 있어서,
    상기 타임스톤 프로세서는 미디어 데이타에 대응한 채널의 구동 시간이 미리 설정된 타임스톤 타이머에 의해 제어되는 것을 특징으로 하는 엠핵(MHEG) 엔진에서의 멀티미디어 정보 동기제어기.
  7. 제 1항에 있어서,
    상기 다수개의 채널은 채널내에서 미리 설정된 시간에 따라 해당프레임 정보를 상기 프리젠테이션 서버에 전달하는 채널 타이머가 각각 구성된 것을 특징으로 하는 엠핵(MHEG)엔진에서의 멀티미디어 정보 동기제어기.
  8. 제 1항에 있어서,
    상기 프리젠테이션 정보단위는 상기 프리젠테이션 서버에 의해 실제 프리젠테이션되는 멀티미디어 데이타인 프레임에 대한 정보가 기억되는 것을 특징으로 하는 엠핵(MHEG) 엔진에서의 멀티미디어 정보 동기제어기.
  9. 제 8항에 있어서,
    상기 프레임에 대한 정보는 프레임주소, 프레임 시작시간, 프레임 종료시간, 프로엠 공간좌표, 프레임 볼륨, 프레임 프리젠테이션 속도가 기억되는 것을 특징으로 하는 엠핵(MHEG) 엔진에서의 멀티미디어 정보 동기제어기.
KR1019940033908A 1994-12-13 1994-12-13 엠핵(mheg)엔진에서의 멀티미디어 정보 동기 제어기 및 그 제어방법 Expired - Fee Related KR0138845B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1019940033908A KR0138845B1 (ko) 1994-12-13 1994-12-13 엠핵(mheg)엔진에서의 멀티미디어 정보 동기 제어기 및 그 제어방법
US08/562,190 US5748187A (en) 1994-12-13 1995-11-22 Synchronization control of multimedia objects in an MHEG engine
FR9513922A FR2728089B1 (fr) 1994-12-13 1995-11-23 Procede et appareil pour la commande de synchronisation d'objets multimedia dans un moteur mheg

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019940033908A KR0138845B1 (ko) 1994-12-13 1994-12-13 엠핵(mheg)엔진에서의 멀티미디어 정보 동기 제어기 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR960025149A KR960025149A (ko) 1996-07-20
KR0138845B1 true KR0138845B1 (ko) 1998-06-01

Family

ID=19401192

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019940033908A Expired - Fee Related KR0138845B1 (ko) 1994-12-13 1994-12-13 엠핵(mheg)엔진에서의 멀티미디어 정보 동기 제어기 및 그 제어방법

Country Status (3)

Country Link
US (1) US5748187A (ko)
KR (1) KR0138845B1 (ko)
FR (1) FR2728089B1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI99063C (fi) * 1995-11-07 1997-09-25 Nokia Oy Ab Multimediavastaanotto digitaalisessa yleisradiojärjestelmässä
US5929850A (en) * 1996-07-01 1999-07-27 Thomson Consumer Electronices, Inc. Interactive television system and method having on-demand web-like navigational capabilities for displaying requested hyperlinked web-like still images associated with television content
EP1309190B1 (en) 1996-09-11 2004-11-24 Matsushita Electric Industrial Co., Ltd. Apparatus for controlling the display of data
AU732696B2 (en) * 1997-04-01 2001-04-26 Medic Interactive, Inc. System for automated generation of media programs from a database of media elements
KR100513907B1 (ko) * 1997-06-13 2005-09-13 코닌클리케 필립스 일렉트로닉스 엔.브이. 복수의 상호 관련된 오브젝트들의 주기적 전송방법
US8386912B2 (en) * 1997-07-28 2013-02-26 Ca, Inc. Hypermedia document publishing including hypermedia document parsing
JP2002516053A (ja) * 1997-10-30 2002-05-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 表示符号化方法
JP3606729B2 (ja) * 1997-12-10 2005-01-05 松下電器産業株式会社 リッチテキスト素材の表示方法及び映像情報提供システム
EP1014620B1 (en) * 1998-07-14 2012-05-30 Sony Corporation Data transmission control method, data transmission method, data transmitter, and receiver
JP4109772B2 (ja) 1998-12-03 2008-07-02 キヤノン株式会社 データ処理方法及びその装置
US6356950B1 (en) 1999-01-11 2002-03-12 Novilit, Inc. Method for encoding and decoding data according to a protocol specification
WO2000043999A2 (en) * 1999-01-22 2000-07-27 Sony Electronics, Inc. Method and apparatus for synchronizing playback of multiple media types over networks having different transmission characteristics
AU4082200A (en) * 1999-04-16 2000-11-02 Sonicon, Inc. System and process for synchronizing data between broadcast media and the internet
FR2795901B1 (fr) * 1999-06-29 2001-09-07 Nptv Procede de creation de bandeaux audiovisuels interactifs
US20060015904A1 (en) 2000-09-08 2006-01-19 Dwight Marcus Method and apparatus for creation, distribution, assembly and verification of media
US9419844B2 (en) 2001-09-11 2016-08-16 Ntech Properties, Inc. Method and system for generation of media
CN1501267B (zh) * 2002-09-20 2010-05-12 富士施乐株式会社 链接信息制作设备、链接信息制作方法及文件处理系统
KR20040080736A (ko) * 2003-03-13 2004-09-20 삼성전자주식회사 인터랙티브 컨텐츠 동기화 장치 및 방법
AU2004254950A1 (en) 2003-06-24 2005-01-13 Ntech Properties, Inc. Method, system and apparatus for information delivery
EP1503299A1 (en) * 2003-07-31 2005-02-02 Alcatel A method, a hypermedia communication system, a hypermedia server, a hypermedia client, and computer software products for accessing, distributing, and presenting hypermedia documents
WO2007039886A2 (en) * 2005-10-06 2007-04-12 Beko Elektronik Anonim Sirketi A method for forming a user interface
US7716232B2 (en) * 2006-04-10 2010-05-11 Flagpath Venture Vii, Llc. Devices, systems, and methods for producing and distributing multiple variations of an instance of a media presentation
US8145704B2 (en) 2007-06-13 2012-03-27 Ntech Properties, Inc. Method and system for providing media programming
US8037095B2 (en) * 2008-02-05 2011-10-11 International Business Machines Corporation Dynamic webcast content viewer method and system
US9398057B2 (en) * 2013-06-04 2016-07-19 Dropbox, Inc. System and method for group participation in a digital media presentation
US9407728B2 (en) 2013-11-08 2016-08-02 Dropbox, Inc. Content item presentation system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5452435A (en) * 1993-03-31 1995-09-19 Kaleida Labs, Inc. Synchronized clocks and media players
EP0695446B1 (en) * 1993-05-10 1997-09-03 Taligent, Inc. Multimedia synchronization system
US5515490A (en) * 1993-11-05 1996-05-07 Xerox Corporation Method and system for temporally formatting data presentation in time-dependent documents
US5594911A (en) * 1994-07-13 1997-01-14 Bell Communications Research, Inc. System and method for preprocessing and delivering multimedia presentations

Also Published As

Publication number Publication date
KR960025149A (ko) 1996-07-20
US5748187A (en) 1998-05-05
FR2728089B1 (fr) 1999-01-08
FR2728089A1 (fr) 1996-06-14

Similar Documents

Publication Publication Date Title
KR0138845B1 (ko) 엠핵(mheg)엔진에서의 멀티미디어 정보 동기 제어기 및 그 제어방법
US6573915B1 (en) Efficient capture of computer screens
Blakowski et al. Tool support for the synchronization and presentation of distributed multimedia
EP1708079A1 (en) System for efficient remote projection of rich interactive user interfaces
CN103248941B (zh) 一种多通道视频源同步显示的方法及装置
CN109164997A (zh) 分布式画面渲染和画面播放控制方法、装置及设备
KR102292789B1 (ko) 디스플레이장치 및 그 제어방법
CN111581564A (zh) 一种应用Canvas实现的网页同步交流方法
Schloss et al. Building temporal structures in a layered multimedia data model
CN108228130B (zh) 一种嵌入式设备的液晶屏显示方法及装置
US20130182183A1 (en) Hardware-Based, Client-Side, Video Compositing System
Eun et al. Eventor: an authoring system for interactive multimedia applications
US20020158895A1 (en) Method of and a system for distributing interactive audiovisual works in a server and client system
WO2005002198A2 (en) Video playback image processing
US20020194354A1 (en) Displaying image data
CN111787397B (zh) 一种基于d3d同一画布渲染多路视频的方法
JP2000148134A (ja) 画像表示方法および画像処理装置
Herrtwich et al. ODA-based data modeling in multimedia systems
KR100236981B1 (ko) 동영상 스트림의 고속 전후진 제어 방법
KR970009753B1 (ko) 멀티미디어 컴퓨터의 하이퍼 프리젠테이션 제어장치
CN113628312B (zh) 一种基于Unity3D内置渲染管线的云渲染方法及装置
CN118764674B (zh) 字幕渲染方法、装置、电子设备、存储介质及程序产品
JPH02285867A (ja) 編集装置
CN117336563B (zh) 外挂字幕显示方法、装置、设备、介质及程序产品
GB2335125A (en) System and method for creating or editing mutimedia presentation

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PR1002 Payment of registration fee

Fee payment year number: 1

St.27 status event code: A-2-2-U10-U11-oth-PR1002

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

St.27 status event code: A-5-5-R10-R13-asn-PN2301

PR1001 Payment of annual fee

Fee payment year number: 4

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PR1001 Payment of annual fee

Fee payment year number: 5

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

St.27 status event code: A-5-5-R10-R13-asn-PN2301

PR1001 Payment of annual fee

Fee payment year number: 6

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PR1001 Payment of annual fee

Fee payment year number: 7

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PR1001 Payment of annual fee

Fee payment year number: 8

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PR1001 Payment of annual fee

Fee payment year number: 9

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PR1001 Payment of annual fee

Fee payment year number: 10

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PR1001 Payment of annual fee

Fee payment year number: 11

St.27 status event code: A-4-4-U10-U11-oth-PR1001

FPAY Annual fee payment

Payment date: 20090202

Year of fee payment: 12

PR1001 Payment of annual fee

Fee payment year number: 12

St.27 status event code: A-4-4-U10-U11-oth-PR1001

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Not in force date: 20100224

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

St.27 status event code: A-4-4-U10-U13-oth-PC1903

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

St.27 status event code: A-5-5-R10-R13-asn-PN2301

PC1903 Unpaid annual fee

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20100224

St.27 status event code: N-4-6-H10-H13-oth-PC1903

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000