KR100747895B1 - How to Make a Multiparty Video Call - Google Patents
How to Make a Multiparty Video Call Download PDFInfo
- Publication number
- KR100747895B1 KR100747895B1 KR1020050133411A KR20050133411A KR100747895B1 KR 100747895 B1 KR100747895 B1 KR 100747895B1 KR 1020050133411 A KR1020050133411 A KR 1020050133411A KR 20050133411 A KR20050133411 A KR 20050133411A KR 100747895 B1 KR100747895 B1 KR 100747895B1
- Authority
- KR
- South Korea
- Prior art keywords
- stream
- mobile communication
- main stream
- main
- network server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
본 발명은 이동 통신 단말기 또는 망 서버에 부하를 주지 않고도 다자간 화상 통화를 수행할 수 있도록 하는 다자간 화상 통화 방법에 관한 것으로, 화상 통화에 참여한 각각의 이동 통신 단말기에서 서로 다른 크기를 갖는 두 개의 비디오 스트림인 메인 스트림과 상기 메인 스트림보다 작은 크기의 서브 스트림을 만들어 망 서버로 전송하는 과정과; 상기 각각의 이동 통신 단말기에서 메인 화면으로 보고자 하는 메인 스트림을 단말기 사용자로부터 선택받아, 상기 선택된 메인 스트림의 식별 정보를 상기 망 서버로 전송하는 과정과; 상기 각각의 이동 통신 단말기로부터 전송받은 메인 스트림 식별 정보에 의거하여 상기 망 서버에서 상기 각각의 이동 통신 단말기로 스트림을 전송하되, 상기 메인 스트림 식별 정보를 갖는 스트림은 메인 스트림으로 나머지는 서브 스트림으로 전송하는 과정과; 상기 각각의 이동 통신 단말기에서 상기 망 서버로부터 전송받은 하나의 메인 스트림과 나머지 서브 스트림을 디코딩하여 하나의 화면으로 합치는 과정을 포함하는 것이 바람직하다.The present invention relates to a multi-party video call method that enables a multi-party video call to be carried out without putting a load on a mobile communication terminal or a network server. The present invention relates to two video streams having different sizes in each mobile communication terminal participating in a video call. Creating an in main stream and a sub stream having a smaller size than the main stream and transmitting the same to the network server; Receiving a main stream to be viewed as a main screen from each mobile communication terminal by a terminal user, and transmitting identification information of the selected main stream to the network server; The stream is transmitted from the network server to the respective mobile communication terminals based on the main stream identification information received from the respective mobile communication terminals, and the stream having the main stream identification information is transmitted to the main stream and the rest to the sub stream. Process of doing; Preferably, each of the mobile communication terminals includes a step of decoding one main stream and the remaining sub streams received from the network server and combining them into one screen.
다자간 화상 통화, 메인 스트림, 서브 스트림, 메인 스트림 식별 정보 Multi-party video call, main stream, sub stream, main stream identification information
Description
도 1 및 도 2는 종래 기술에 따른 다자간 화상 통화 방법을 설명하기 위한 도면.1 and 2 are views for explaining a multi-party video call method according to the prior art.
도 3은 본 발명에 따른 다자간 화상 통화 방법을 설명하기 위한 플로우챠트.3 is a flowchart illustrating a multi-party video call method according to the present invention.
도 4 내지 도 6은 본 발명에 따른 다자간 화상 통화 방법을 설명하기 위한 도면.4 to 6 are views for explaining a multi-party video call method according to the present invention.
도 7은 본 발명에 따라 단말기 사용자에게 제공되는 화면을 예시적으로 보인 도면.7 is a diagram illustrating a screen provided to a terminal user according to the present invention by way of example.
*** 도면의 주요 부분에 대한 부호의 설명 ****** Explanation of symbols for the main parts of the drawing ***
1, 10. 망 서버1, 10. Network Server
본 발명은 다자간 화상 통화 방법에 관한 것으로서, 특히 이동 통신 단말기 또는 망 서버에 부하를 주지 않고도 다자간 화상 통화를 수행할 수 있도록 하는 다 자간 화상 통화 방법에 관한 것이다.BACKGROUND OF THE
이동 통신 기술의 발달과 동영상 압축 기술의 발달에 의해 현재 출시되고 있는 이동 통신 단말기는 음성 통화는 물론 화상까지 송수신하는 멀티미디어 환경의 화상 통화도 지원하게 된다.With the development of mobile communication technology and the development of video compression technology, mobile communication terminals currently on the market support not only voice calls but also video calls in multimedia environments that transmit and receive video.
전술한 바와 같이, 화상 통화 기능을 지원하는 이동 통신 단말기를 이용하여 다자간 화상 통화를 수행하는 경우, 예를 들어, 4명의 단말기 사용자가 QCIF(176×144) 화면 크기로 다자간 화상 통화를 수행하는 경우, 종래에는 도 1에 도시하는 바와 같이, 각각의 이동 통신 단말기(A, B, C, D)는 하나의 QCIF MPEG4 스트림과 하나의 오디오 스트림을 발생시켜, 모두 4개의 QCIF MPEG4 스트림과 4개의 오디오 스트림을 망 서버(1)로 전송하고, 각각의 이동 통신 단말기(A, B, C, D)가 전송한 총 4개의 QCIF MPEG4 스트림을 수신한 망 서버(1)는 도 2에 도시하는 바와 같이, 각각의 이동 통신 단말기(A, B, C, D)로부터 수신한 4개의 QCIF MPEG4 스트림을 각 이동 통신 단말기(A, B, C, D)로 전송하되, 타 이동 통신 단말기의 QCIF MPEG4 스트림만을 전송해 준다.As described above, when a multi-party video call is performed using a mobile communication terminal supporting a video call function, for example, when four terminal users perform a multi-party video call with a QCIF (176 × 144) screen size. In the related art, as illustrated in FIG. 1, each of the mobile communication terminals A, B, C, and D generates one QCIF MPEG4 stream and one audio stream, so that all four QCIF MPEG4 streams and four audio streams are generated. As shown in FIG. 2, the
한편, 망 서버(1)로부터 자신의 QCIF MPEG4 스트림을 제외한 3개의 QCIF MPEG4 스트림을 전송받은 각각의 이동 통신 단말기(A, B, C, D)는 3개의 QCIF MPEG4 스트림을 디코딩해서 하나의 화면으로 합치게 되는 데, 각각의 이동 통신 단말기(A, B, C, D)는 망 서버(1)로부터 용량이 큰 3개의 QCIF MPEG4 스트림을 수신해야 하고, 용량이 큰 3개의 QCIF MPEG4 스트림을 모두 디코딩해야 하므로, 단말기 에 상당한 부하가 걸리게 되는 문제점이 있다.On the other hand, each mobile communication terminal (A, B, C, D) receiving three QCIF MPEG4 streams except its own QCIF MPEG4 stream from the
다른 방법으로 망 서버(1)가 매번 4개의 QCIF MPEG4 스트림을 디코딩해서 하나의 화면으로 합친 후, 합친 화면을 다시 인코딩해서 4개의 이동 통신 단말기로 각각 전송하는 방법이 존재하나, 이 방법 역시 망 서버(1)에 부하가 걸리게 될 뿐만 아니라, 단말기 사용자에 따라 메인 화면으로 잡고 싶은 화면이 다를 수 있기 때문에 최악의 경우에는 망 서버(1)가 4개의 다른 인코딩 스트림을 만들어야 하는 경우도 발생하게 된다.Alternatively, there is a method in which the
본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로서, 실제로 크게 보는 화면은 하나라는 점을 이용하여, 각 이동 통신 단말기는 QCIF 크기의 비디오 스트림과 32×32 픽셀 정도의 작은 비디오 스트림을 만들어 망 서버로 전송하고, 망 서버는 각 단말기 사용자가 메인으로 선택한 화면에 대해서만 QCIF 크기로 전송하고 나머지는 작은 비디오 스트림으로 전송함으로써, 이동 통신 단말기 또는 망 서버에 부하를 주지 않고도 다자간 화상 통화를 수행할 수 있도록 하는 다자간 화상 통화 방법을 제공함에 그 목적이 있다.The present invention has been made to solve the above-mentioned problems, and in view of the fact that there is only one screen, the mobile communication terminal creates a video stream of QCIF size and a small video stream of about 32 × 32 pixels. Network server transmits QCIF size only for the screen selected by each terminal user as main screen, and the rest is transmitted in a small video stream, so that a multi-party video call can be performed without burdening the mobile terminal or network server. Its purpose is to provide a multi-party video call method.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 다자간 화상 통화 방법은, 화상 통화에 참여한 각각의 이동 통신 단말기에서 서로 다른 크기를 갖는 두 개의 비디오 스트림인 메인 스트림과 상기 메인 스트림보다 작은 크기의 서브 스트림을 만들어 망 서버로 전송하는 과정과; 상기 각각의 이동 통신 단말기에서 메인 화면으로 보고자 하는 메인 스트림을 단말기 사용자로부터 선택받아, 상기 선택된 메인 스트림의 식별 정보를 상기 망 서버로 전송하는 과정과; 상기 각각의 이동 통신 단말기로부터 전송받은 메인 스트림 식별 정보에 의거하여 상기 망 서버에서 상기 각각의 이동 통신 단말기로 스트림을 전송하되, 상기 메인 스트림 식별 정보를 갖는 스트림은 메인 스트림으로 나머지는 서브 스트림으로 전송하는 과정과; 상기 각각의 이동 통신 단말기에서 상기 망 서버로부터 전송받은 하나의 메인 스트림과 나머지 서브 스트림을 디코딩하여 하나의 화면으로 합치는 과정을 포함하는 것이 바람직하다.According to an embodiment of the present invention, a multi-party video call method according to an embodiment of the present invention includes a main stream and a smaller size than two main streams having different sizes in each mobile communication terminal participating in a video call. Creating a sub stream of the sub stream and transmitting the sub stream to a network server; Receiving a main stream to be viewed as a main screen from each mobile communication terminal by a terminal user, and transmitting identification information of the selected main stream to the network server; The stream is transmitted from the network server to the respective mobile communication terminals based on the main stream identification information received from the respective mobile communication terminals, and the stream having the main stream identification information is transmitted to the main stream and the rest to the sub stream. Process of doing; Preferably, each of the mobile communication terminals includes a step of decoding one main stream and the remaining sub streams received from the network server and combining them into one screen.
이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따른 다자간 화상 통화 방법에 대해서 상세하게 설명한다.Hereinafter, a multi-party video call method according to a preferred embodiment of the present invention with reference to the accompanying drawings will be described in detail.
도 3은 본 발명에 따른 다자간 화상 통화 방법을 설명하기 위한 플로우챠트로, 도 4 내지 도 6을 참조하여 설명을 진행한다.3 is a flowchart for describing a multi-party video call method according to the present invention, which will be described with reference to FIGS. 4 to 6.
우선, 화상 통화에 참여한 각각의 이동 통신 단말기(A, B, C, D)에서 서로 다른 크기를 갖는 두 개의 MPEG4 스트림과 MPEG4 스트림에 동기된 하나의 오디오 스트림을 만들어 망 서버(10)로 전송한다(S10).First, each of the mobile communication terminals A, B, C, and D participating in the video call creates two MPEG4 streams having different sizes and an audio stream synchronized with the MPEG4 stream, and transmits them to the
상기한 과정 S10에서 서로 다른 크기를 갖는 두 개의 MPEG4 스트림은 QCIF(176×144) 크기의 메인 스트림과 32×32 픽셀 정도의 서브 스트림으로 이루어 지며, 각각의 이동 통신 단말기(A, B, C, D)는 도 4에 도시하는 바와 같이, 메인 스트림과 서브 스트림으로 이루어지는 두 개의 MPEG4 스트림을 망 서버(10)로 전송한다.In the process S10, two MPEG4 streams having different sizes are composed of a main stream of QCIF (176 × 144) size and a substream of about 32 × 32 pixels, and each of mobile communication terminals A, B, C, As shown in FIG. 4, D) transmits two MPEG4 streams consisting of a main stream and a substream to the
그리고, 각각의 단말기 사용자는 수신되는 MPEG4 스트림 중에서 메인 화면으로 보고자 하는 하나의 메인 스트림을 선택(예를 들어, 이동 통신 단말기(A)는 메인 화면으로 B를 선택, 이동 통신 단말기(B)는 메인 화면으로 C를 선택, 이동 통신 단말기(C)는 메인 화면으로 B를 선택, 이동 통신 단말기(D)는 메인 화면으로 A를 선택)하게 되는 데, 각각의 이동 통신 단말기(A, B, C, D)는 단말기 사용자의 선택에 따라 도 5에 도시하는 바와 같이, 메인 화면으로 보고자 하는 하나의 메인 스트림을 나타내는 메인 스트림 식별 정보를 망 서버(10)로 통보해 준다(S12).Each terminal user selects one main stream to be viewed as the main screen from among the received MPEG4 streams (for example, the mobile communication terminal A selects B as the main screen, and the mobile communication terminal B is the main screen). Select C as the screen, the mobile communication terminal (C) selects B as the main screen, the mobile communication terminal (D) selects A as the main screen), each of the mobile communication terminals (A, B, C, D) informs the
상기한 과정 S12에서 단말기 사용자는 원하는 시점에 언제든지 메인 화면으로 보고자 하는 메인 스트림을 변경할 수 있다.In step S12, the terminal user can change the main stream to be viewed on the main screen at any time.
상기한 과정 S12를 통해 각각의 이동 통신 단말기(A, B, C, D)로부터 메인 화면으로 보고자 하는 메인 스트림의 식별 정보를 전송받은 망 서버(10)는 각각의 이동 통신 단말기(A, B, C, D)로부터 전송받은 메인 스트림 식별 정보에 의거하여 각각의 이동 통신 단말기(A, B, C, D)로 하나의 메인 스트림과 두 개의 서브 스트림을 전송한다(S14).The
상기한 과정 S14에서 망 서버(10)가 각각의 이동 통신 단말기(A, B, C, D)로 전송하는 하나의 메인 스트림은 상기한 과정 S12를 통해 통보받은 메인 스트림 식별 정보를 갖는 메인 스트림이다.One main stream transmitted by the
즉, 망 서버(10)는 도 6에 도시하는 바와 같이, 메인 화면으로 B를 선택한 이동 통신 단말기(A)로 메인 스트림의 B와 서브 스트림의 C, D를 전송하고, 메인 화면으로 C를 선택한 이동 통신 단말기(B)로 메인 스트림의 C와 서브 스트림의 A, D를 전송하고, 메인 화면으로 B를 선택한 이동 통신 단말기(C)로 메인 스트림의 B와 서브 스트림의 A, D를 전송하고, 메인 화면으로 A를 선택한 이동 통신 단말기(D)로 메인 스트림의 A와 서브 스트림의 B, C를 전송한다.That is, as shown in FIG. 6, the
상기한 과정 S14를 통해 망 서버(10)로부터 하나의 메인 스트림과 두 개의 서브 스트림을 전송받은 각각의 이동 통신 단말기(A, B, C, D)는 망 서버(10)로부터 전송받은 하나의 메인 스트림과 두 개의 서브 스트림을 디코딩해서 하나의 화면으로 합친다(S16).Each mobile communication terminal (A, B, C, D) receiving one main stream and two sub-streams from the
도 7은 본 발명에 따라 단말기 사용자에게 제공되는 화면을 예시적으로 보인 도로, 단말기 사용자에 의해 메인 화면으로 A를 선택받은 이동 통신 단말기(D)는 망 서버(10)로부터 메인 스트림의 A와 서브 스트림의 B, C를 전송받아, 메인 화면을 통해 메인 스트림 A를 디스플레이하고, 서브 화면을 통해 서브 스트림 B, C를 디스플레이한다. 또한, 이동 통신 단말기(D)에서 생성된 서브 스트림 D를 서브 화면을 통해 디스플레이한다.7 is a road showing an example of a screen provided to a terminal user according to the present invention, a mobile communication terminal (D) selected as the main screen by the terminal user is the A and sub of the main stream from the
본 발명의 다자간 화상 통화 방법은 전술한 실시예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수 있다.The multi-party video call method of the present invention is not limited to the above-described embodiments, and can be modified in various ways within the scope of the technical idea of the present invention.
이상에서 설명한 바와 같은 본 발명의 다자간 화상 통화 방법에 따르면, 각 이동 통신 단말기에서 QCIF 크기의 메인 스트림과 32×32 픽셀 정도의 서브 스트림을 만들어 망 서버로 전송하고, 망 서버에서 각 단말기 사용자가 메인으로 선택한 화면에 대해서만 메인 스트림으로 전송하고 나머지는 서브 스트림으로 전송함으로써, 이동 통신 단말기 또는 망 서버에 부하를 주지 않고도 다자간 화상 통화를 수행할 수 있게 된다.According to the multi-party video call method of the present invention as described above, each mobile communication terminal creates a main stream of QCIF size and a sub stream of about 32 × 32 pixels and transmits it to the network server, where each terminal user is connected to the main server. By transmitting only the selected screen to the main stream and the rest to the substream, it is possible to conduct a multi-party video call without putting a load on the mobile communication terminal or the network server.
Claims (2)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050133411A KR100747895B1 (en) | 2005-12-29 | 2005-12-29 | How to Make a Multiparty Video Call |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050133411A KR100747895B1 (en) | 2005-12-29 | 2005-12-29 | How to Make a Multiparty Video Call |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20070070645A KR20070070645A (en) | 2007-07-04 |
| KR100747895B1 true KR100747895B1 (en) | 2007-08-08 |
Family
ID=38505915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020050133411A Expired - Lifetime KR100747895B1 (en) | 2005-12-29 | 2005-12-29 | How to Make a Multiparty Video Call |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100747895B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101370115A (en) * | 2008-10-20 | 2009-02-18 | 深圳华为通信技术有限公司 | Conference terminal, conference server, conference system and data processing method |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050009601A (en) * | 2003-07-18 | 2005-01-25 | 엘지전자 주식회사 | Digital video signal processing apparatus of mobile communication system and method thereof |
-
2005
- 2005-12-29 KR KR1020050133411A patent/KR100747895B1/en not_active Expired - Lifetime
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050009601A (en) * | 2003-07-18 | 2005-01-25 | 엘지전자 주식회사 | Digital video signal processing apparatus of mobile communication system and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20070070645A (en) | 2007-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9462228B2 (en) | Distributed real-time media composer | |
| US6812955B2 (en) | Multicast meeting unit and multicast meeting program | |
| EP2863632B1 (en) | System and method for real-time adaptation of a conferencing system to current conditions of a conference session | |
| JP5781441B2 (en) | Subscription for video conferencing using multi-bitrate streams | |
| AU2011258272B2 (en) | Systems and methods for scalable video communication using multiple cameras and multiple monitors | |
| US9088692B2 (en) | Managing the layout of multiple video streams displayed on a destination display screen during a videoconference | |
| CN101895718B (en) | Video conference system multi-image broadcast method, and device and system thereof | |
| EP2965508B1 (en) | Video conference virtual endpoints | |
| CN101860715A (en) | Multi-picture composition method, system and media processing device | |
| CN103096022B (en) | Video conference system and video conference method | |
| US7508413B2 (en) | Video conference data transmission device and data transmission method adapted for small display of mobile terminals | |
| US9432624B2 (en) | Method for improving an MCU's performance using common properties of the H.264 codec standard | |
| CN102118602B (en) | Method and system for displaying auxiliary streaming video in multiple pictures | |
| KR100748700B1 (en) | Video conference system and method using white board | |
| KR20160099977A (en) | Data processing apparatus and data processing method for videoconferencing service | |
| CN114500914A (en) | Audio and video forwarding method, device, terminal and system | |
| KR100747895B1 (en) | How to Make a Multiparty Video Call | |
| CN111711835A (en) | Multi-channel audio and video integration method and system and computer readable storage medium | |
| CN112839197B (en) | Image code stream processing method, device, system and storage medium | |
| KR20170071251A (en) | Multi-point control unit for providing conference service | |
| KR101427278B1 (en) | Video conference server and video conference terminal and video conference method using the same | |
| CN102271224A (en) | Method for realizing dynamic photo frame of video telephone and terminal | |
| JP2009100378A (en) | Mobile terminal with video telephone function, image transmission method, and program | |
| KR20080047683A (en) | Method and device for transmitting streaming service in portable terminal | |
| Zhong-rong et al. | Implementation of Mobile Streaming Media Player Based on BREW |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20051229 |
|
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20061207 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20070528 |
|
| PG1501 | Laying open of application | ||
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20070802 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20070801 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| G170 | Re-publication after modification of scope of protection [patent] | ||
| PG1701 | Publication of correction | ||
| PR1001 | Payment of annual fee |
Payment date: 20100729 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20110729 Start annual number: 5 End annual number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20120727 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20120727 Start annual number: 6 End annual number: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20130730 Year of fee payment: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20130730 Start annual number: 7 End annual number: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20160801 Year of fee payment: 10 |
|
| PR1001 | Payment of annual fee |
Payment date: 20160801 Start annual number: 10 End annual number: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20180129 Year of fee payment: 11 |
|
| PR1001 | Payment of annual fee |
Payment date: 20180129 Start annual number: 11 End annual number: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20190128 Year of fee payment: 12 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190128 Start annual number: 12 End annual number: 12 |
|
| PR1001 | Payment of annual fee |
Payment date: 20200608 Start annual number: 14 End annual number: 14 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210607 Start annual number: 15 End annual number: 15 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220621 Start annual number: 16 End annual number: 16 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230801 Start annual number: 17 End annual number: 17 |
|
| PR1001 | Payment of annual fee |
Payment date: 20250108 Start annual number: 18 End annual number: 18 |