KR20010038203A - Adaptive added transmission method and packet loss recovery method for interactive audio service, and audio input-output control device in multimedia computer - Google Patents
Adaptive added transmission method and packet loss recovery method for interactive audio service, and audio input-output control device in multimedia computer Download PDFInfo
- Publication number
- KR20010038203A KR20010038203A KR1019990046087A KR19990046087A KR20010038203A KR 20010038203 A KR20010038203 A KR 20010038203A KR 1019990046087 A KR1019990046087 A KR 1019990046087A KR 19990046087 A KR19990046087 A KR 19990046087A KR 20010038203 A KR20010038203 A KR 20010038203A
- Authority
- KR
- South Korea
- Prior art keywords
- packet
- data
- additional
- processor
- buffer
- Prior art date
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 238
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000011084 recovery Methods 0.000 title claims abstract description 37
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 8
- 230000003044 adaptive effect Effects 0.000 title abstract description 10
- 238000004891 communication Methods 0.000 claims abstract description 9
- 239000000872 buffer Substances 0.000 claims description 89
- 238000012545 processing Methods 0.000 claims description 9
- 101100328360 Schizosaccharomyces pombe (strain 972 / ATCC 24843) clr1 gene Proteins 0.000 claims description 5
- 101100328361 Schizosaccharomyces pombe (strain 972 / ATCC 24843) clr2 gene Proteins 0.000 claims description 4
- -1 LTR Proteins 0.000 claims 1
- 101000707002 Pinus strobus Putative leucine-rich repeat protein PS14 Proteins 0.000 claims 1
- 238000012546 transfer Methods 0.000 abstract description 6
- 230000006835 compression Effects 0.000 abstract description 3
- 238000007906 compression Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 239000002699 waste material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 238000010561 standard procedure Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0823—Errors, e.g. transmission errors
- H04L43/0829—Packet loss
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Communication Control (AREA)
Abstract
본 발명은 인터넷과 같은 패킷 통신망/패킷 교환 데이터망(PSDN)을 이용한 분산 멀티미디어 서비스에서, 오디오 데이터를 전송할 때 네트워크 상에서 발생되는 패킷 손실을 송신측의 재전송 없이 수신측에서 이미 수신된 패킷들을 이용하여 자체 복구할 수 있는 적응형 부가 전송 방법 및 패킷 손실 복구 방법과 이를 위한 멀티미디어 컴퓨터의 오디오 입출력 제어장치에 관한 것이다.According to the present invention, in a distributed multimedia service using a packet communication network / packet switched data network (PSDN) such as the Internet, the packet loss generated on the network when transmitting audio data is used by using the packets already received at the receiver without retransmission at the receiver. The present invention relates to an adaptive additional transmission method and a packet loss recovery method that can recover itself, and an audio input / output control device of a multimedia computer.
본 발명의 오디오 입출력 제어장치는 송신측 및 수신측 부가 전송 처리기를 구비한다. 그리고, 본 발명의 적응형 부가 전송 방법은 송신측 부가 전송 처리기에서 수신측에서 피드백 되는 패킷 손실률과 손실 유형에 적합한 부가 전송 방식을 동적으로 설정하며, 패킷에 포함되는 부가 데이터를 고 압축 음성 방식을 이용하여 부가하여 전송한다. 또 본 발명의 패킷 손실 복구 방법은 수신측 부가 전송 처리기에서 수신된 패킷의 부가 데이터를 이용하여 부가 전송 방식에 따라 손실 패킷을 복구한다. 따라서, 본 발명을 이용하면 패킷 손실에 의한 수신자의 음성 인식 왜곡 또는 인식 불능을 최소화할 수 있으며, 부가 데이터의 트래픽 오버헤드를 최소화함으로써 네트워크의 부담을 줄일 수 있다. 또한 응용 서비스의 요구에 따라 가변적으로 손실 복구율을 맞출 수 있는 부가 전송 방식을 선택함으로써 실시간 대화형 서비스에서 질 좋은 오디오를 효과적으로 지원할 수 있다.The audio input / output control device of the present invention includes a transmitting side and a receiving side additional transfer processor. In addition, the adaptive additional transmission method of the present invention dynamically sets an additional transmission scheme suitable for a packet loss rate and a loss type fed back from a receiver in a transmission side transmission processor, and sets the additional data included in the packet into a high compression voice scheme. In addition to the transmission. In addition, the packet loss recovery method of the present invention recovers the lost packet according to the additional transmission scheme by using the additional data of the packet received at the additional transmission processor at the receiving side. Therefore, the present invention can minimize the speech recognition distortion or the inability to recognize the receiver due to packet loss, and reduce the burden on the network by minimizing the traffic overhead of additional data. In addition, it is possible to effectively support high quality audio in the real-time interactive service by selecting an additional transmission method that can adjust the loss recovery rate variably according to the demand of the application service.
Description
본 발명은 인터넷과 같은 패킷 통신망/패킷 교환 데이터망(PSDN)을 이용한 분산 멀티미디어 서비스 즉, 영상회의, 원격교육 및 원격의료 서비스에 이용되는 오디오 데이터를 각 사용자 단말기에 전송할 때 네트워크 상에서 발생되는 패킷 손실을 송신측의 재전송 없이 수신측에서 이미 수신된 패킷들을 이용하여 자체 복구할 수 있도록 한 적응형 부가 전송 방법 및 패킷 손실 복구 방법에 관한 것이다.The present invention provides a packet loss generated on a network when transmitting distributed multimedia services using a packet communication network (PSDN) such as the Internet, that is, audio data used for video conferencing, distance education, and telemedicine services to each user terminal. The present invention relates to an adaptive additional transmission method and a packet loss recovery method, which allow a receiver to recover itself using packets already received at a receiver without retransmission.
또한 본 발명은 상술한 적응형 부가 전송 방법 및 패킷 손실 복구 방법을 구현하기 위한 멀티미디어 컴퓨터의 오디어 입출력 제어장치에 관한 것이기도 하다.The present invention also relates to an audio input / output control apparatus of a multimedia computer for implementing the above-described adaptive additional transmission method and packet loss recovery method.
패킷 통신망에서 데이터들의 손실 원인의 대부분은 중간 노드들에서의 송수신 버퍼의 넘침 현상(congestion)으로 인해 발생하는데, 이를 해결하려는 종래의 방식은 크게 2가지로 구분할 수 있다.Most of the causes of data loss in a packet communication network are caused by congestion of a transmission / reception buffer at intermediate nodes. There are two conventional methods for solving this problem.
첫째, 손실된 패킷을 송신측에 알려서 재전송 하도록 하는 재전송 방식으로 전송 신뢰성은 높으나, 재전송에 의한 지연 현상에 의해 지연 시간에 민감한 대화형 응용 서비스에는 재전송 방식이 적합치 않다.First, although the transmission reliability is high as a retransmission method that notifies the sender of a lost packet and retransmits it, the retransmission method is not suitable for a delay time sensitive interactive application service.
둘째, 송신측의 추가 정보에 의한 수신측의 복구 방식(Forward Error Correction : FEC)으로 추가 지연 없이 신뢰성을 제공하는 방식이다. 기존의 FEC 방식은 2 ~ 3 패킷 마다 패러티 패킷을 부가 전송하는 것으로 패킷이 손실된 경우 비트 단위의 완벽한 복구가 가능한 장점이 있으나 부가 데이터(페러티 패킷)의 트래픽 오버헤드를 초래하는 단점을 갖고 있다. 이러한 오버헤드는 또 다른 패킷 손실을 초래할 수 있다.Second, it is a method of providing reliability without additional delay by a forward error correction (FEC) of the receiver by additional information of the transmitter. The conventional FEC method additionally transmits a parity packet every two to three packets, and if a packet is lost, there is an advantage that perfect recovery of bits is possible, but it has a disadvantage of causing traffic overhead of additional data (parity packet). . This overhead can lead to another packet loss.
또한 기존의 방식들은 수신측의 패킷 손실 유형에 무관하게 단일 방식의 부가 전송 방식을 채택하고 있으며, 이는 응용 서비스의 손실 관용도 또는 네트워크 상의 패킷 손실 특성을 고려하지 않는 문제점을 갖고 있다.In addition, the conventional schemes adopt a single additional transmission scheme regardless of the packet loss type of the receiver, which does not consider the loss latitude of application services or packet loss characteristics on the network.
본 발명은 상술한 종래의 부가 전송 방식의 문제점을 해결하기 위한 것으로, 패킷 손실이 발생하는 패킷 통신망에서 오디오 데이터를 전송할 때 발생하는 손실에 의한 음성 왜곡 현상이나 끈김 현상을 최소화하고, 또 부가 데이터의 트래픽 오버헤드를 최소화할 수 있는 적응형 부가 전송 방법을 제공하는 데 그 목적이 있다.The present invention solves the problems of the conventional additional transmission scheme described above, and minimizes speech distortion or stickiness caused by loss occurring when transmitting audio data in a packet communication network where packet loss occurs, and further An object of the present invention is to provide an adaptive additional transmission method capable of minimizing traffic overhead.
본 발명의 다른 목적은 송신측의 재전송 없이 수신된 패킷에 포함되어 있는 부가 데이터를 이용하여 손실된 패킷을 복구할 수 있는 패킷 손실 복구 방법을 제공하는 데 있다.Another object of the present invention is to provide a packet loss recovery method capable of recovering a lost packet by using additional data included in a received packet without retransmission of a transmitter.
본 발명의 또 다른 목적은 상기한 목적들을 달성하는 데 필요한 멀티미디어 컴퓨터의 오디오 입출력 제어장치를 제공하는 데 있다.It is another object of the present invention to provide an audio input / output control apparatus for a multimedia computer necessary to achieve the above objects.
도 1은 티미디어용 컴퓨터의 개념적 구성도1 is a conceptual diagram of a computer for teemedia
도 2는 본 발명에 따른 오디오 입출력 제어 장치의 상세 구성도2 is a detailed configuration diagram of an audio input / output control device according to the present invention.
도 3은 부가 전송 방식의 패킷 구조3 is a packet structure of an additional transmission method
도 4는 본 발명에 따른 송신측의 부가 전송 처리기 구성도4 is a block diagram of an additional transmission processor on the transmitting side according to the present invention.
도 5는 본 발명에 따른 중복 인코딩된 RTP 패킷 구조5 is redundantly encoded RTP packet structure according to the present invention.
도 6은 본 발명에 따른 부가 전송의 동적 선택 방식 흐름도6 is a flowchart of a dynamic selection method of additional transmission according to the present invention.
도 7은 본 발명에 따른 송신측 부가 전송 수행 흐름도7 is a flowchart of performing additional transmission on the transmitting side according to the present invention.
도 8은 본 발명에 따른 수신측의 부가 전송 처리기 구성도8 is a block diagram of an additional transmission processor on the receiving side according to the present invention.
도 9는 본 발명에 따른 수신측 패킷 손실 복구 흐름도9 is a flow diagram of receiving packet loss recovery according to the present invention.
* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings
100 : 메인 메모리 200 : 오디오 입출력 제어장치100: main memory 200: audio input and output controller
210 : 오디오 입력 디바이스 드라이버210: audio input device driver
220 : 오디오 출력 디바이스 드라이버220: audio output device driver
230 : 실시간 전송 처리기 231 : 오디오 입력부230: real-time transmission processor 231: audio input unit
232 : 오디오 출력부 240 : 전송 품질 정보 처리기232: audio output unit 240: transmission quality information processor
250 : 부가 전송 처리기 250-1 : 송신측 부가 전송 처리기250: additional transmission processor 250-1: transmitting side additional transmission processor
250-2 : 수신측 부가 전송 처리기 251, 256 : PEB 버퍼250-2: receiver side additional transmission processor 251, 256: PEB buffer
252, 258 : 보류 버퍼 253 : 인코더252, 258: pending buffer 253: encoder
254, 257 : REB 버퍼 255 : 패킷 재구성기254, 257: REB buffer 255: packet reconstructor
259 : 디코더 300 : 중앙 처리 장치259: decoder 300: central processing unit
400 : 오디오 입력 디바이스 500 : 네트워크 디바이스400: audio input device 500: network device
600 : 오디오 출력 디바이스600: audio output device
상기와 같은 목적을 달성하기 위하여 본 발명은 오디오 입출력 제어장치에 송신측 및 수신측으로 구성되는 부가 전송 처리기를 구비하여, 송신측에서는 수신측에서 피드백 되는 패킷 손실률과 손실 유형에 적합한 부가 전송 방식을 동적으로 설정하여 오디오 데이터의 전송시 패킷에 부가 데이터를 고 압축 음성 방식을 이용하여 부가하여 전송한다. 그리고 수신측에서 수신된 패킷의 부가 데이터를 이용하여 손실 패킷을 복구하는 것을 특징으로 한다.In order to achieve the above object, the present invention provides an audio input / output control apparatus with an additional transmission processor composed of a transmitting side and a receiving side, and the transmitting side dynamically adds an additional transmission scheme suitable for the packet loss rate and loss type fed back from the receiving side. When the audio data is transmitted, additional data is added to the packet by using a high compression voice method for transmission. And recovering the lost packet using the additional data of the packet received at the receiving side.
이하, 본 발명의 바람직한 실시예를 첨부도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 일반적인 멀티미디어용 컴퓨터의 개념적 구성도로서, 오디오 입출력을 중심으로 도시한 것이다.1 is a conceptual configuration diagram of a general multimedia computer, and is shown mainly with respect to audio input / output.
멀티미디어용 컴퓨터는 메인 메모리(100), 오디오 입출력 제어장치(200), 중앙 처리 장치(300), 오디오 입력 디바이스(400), 네트웍 디바이스(500), 오디오 출력 디바이스(600)가 시스템 버스에 연결되어 구성된다.The multimedia computer includes a main memory 100, an audio input / output controller 200, a central processing unit 300, an audio input device 400, a network device 500, and an audio output device 600 connected to a system bus. It is composed.
이와 같은 구성에서 메인 메모리(100), 중앙처리 장치(300)가 시스템 버스를 통하여 모든 미디어 처리를 위한 수행 지시나 저장 능력을 갖는다. 인간으로부터 발생된 음성은 오디오 입력 디바이스(400)에 장착된 마이크 장치에 의해서 입력되며, 네트워크 디바이스(500)를 통해 원격으로 패킷화된 음성 데이터를 전송하거나 수신한다. 네트워크 디바이스(500)로부터 도착한 오디오 데이터를 오디오 출력(600)에 장착된 스프커를 통해서 사용자에게 전달된다.In such a configuration, the main memory 100 and the central processing unit 300 have a performance instruction or a storage capability for all media processing through the system bus. Voice generated from a human is input by a microphone device mounted on the audio input device 400, and transmits or receives packetized voice data remotely through the network device 500. Audio data arriving from the network device 500 is delivered to the user through a spaker mounted on the audio output 600.
이러한 일련의 오디오 데이터를 네트워크 디바이스(500) 및 오디오 입출력 장치(400, 600)에 전달하기 위한 동기화된 제어를 담당하는 오디오 입출력 제어장치(200)는 중앙 처리 장치(300)의 제어하에 시스템 내의 오디오 데이터 제어를 담당한다.The audio input / output controller 200, which is in charge of the synchronized control for transferring such a series of audio data to the network device 500 and the audio input / output devices 400 and 600, controls the audio in the system under the control of the central processing unit 300. Responsible for data control.
도 2는 도 1에서 제시한 구성 요소 중에서 오디오 입출력 제어장치의 상세 구성도로서, 본 발명의 적응형 부가 전송 방법 및 패킷 손실 복구 방법 구현을 위해 부가 전송 처리기를 구비하는데 그 특징이 있다.FIG. 2 is a detailed configuration diagram of an audio input / output control device among the components shown in FIG. 1 and has an additional transmission processor for implementing an adaptive additional transmission method and a packet loss recovery method of the present invention.
즉, 오디오 데이터에 표준안에 정의된 12 바이트의 헤더를 붙여 RTP 패킷으로 재구성하는 실시간 전송 처리기(230), 수신측으로부터 이미 전송 받은 RTP 패킷에 관한 통신 상의 품질을 피드백하는 전송 품질 정보 처리기(240) 및 오디오 입출력 디바이스 드라이버(210, 220)를 포함하는 오디오 입출력 제어장치에 있어서, 상기 전송 품질 정보 처리기(240)의 피드백 정보를 이용하여 부가 전송 방식을 설정하고, 실시간 전송 처리기(230)가 구성한 RTP 패킷을 부가 전송 방식에 따라 부가 데이터를 포함하는 새로운 패킷 포맷으로 재구성하여 실시간 전송 처리기(230)에 출력하고, 상기 실시간 전송 처리기(230)를 통해 수신된 패킷의 부가 데이터를 이용하여 부가 전송 방식에 따라 패킷 손실을 복구하여 실시간 전송 처리기(230)에 출력하는 부가 전송 처리기(250)를 더 포함하여 구성된다.That is, a real-time transmission processor 230 for reconstructing an RTP packet by attaching a 12-byte header defined in the standard to the audio data, and a transmission quality information processor 240 for feeding back a communication quality of the RTP packet already received from the receiving side. And an audio input / output device driver (210, 220), wherein the additional transmission scheme is set using the feedback information of the transmission quality information processor (240), and the RTP configured by the real time transmission processor (230). The packet is reconfigured into a new packet format including additional data according to the additional transmission scheme and output to the real time transmission processor 230, and the additional data is transmitted to the additional transmission scheme using the additional data of the packet received through the real time transmission processor 230. In addition, an additional transmission processor 250 for recovering packet loss and outputting the packet loss to the real-time transmission processor 230 is further included. It is configured to.
이와 같은 구성에서, 오디오 입력 디바이스(400)를 통해서 입력된 디지털화 된 오디오 데이터는 컴퓨터의 운영 체제에 내장되는 오디오 입력 디바이스 드라이버(210), 실시간 전송 처리기(230)를 통해서 메인 메모리(100)에 저장된다.In such a configuration, the digitized audio data input through the audio input device 400 is stored in the main memory 100 through the audio input device driver 210 and the real-time transmission processor 230 embedded in the computer's operating system. do.
실시간 전송 처리기(230)는 IETF RFC 1889, RFC 1890 표준안에 제시된 실시간 전송 프로토콜(Real-time Transport Protocol : RTP)을 구현한 장치로서 오디오 데이터에 표준안에서 정의된 12 바이트의 헤더를 붙여 RTP 패킷으로 재구성한다.The real-time transmission processor 230 is a device that implements the Real-time Transport Protocol (RTP) proposed in the IETF RFC 1889 and RFC 1890 standards, and reconfigures the audio data into an RTP packet by attaching a 12-byte header defined in the standard. do.
오디오 데이터를 포함하는 RTP 데이터는 신뢰성있는 전송을 위해서 부가 전송 처리기(250)의 송신측에서 부가 데이터를 포함하는 새로운 패킷 포맷으로 재구성되어, 실시간 전송 처리기(230)가 갖는 전송 기능을 이용하여 네트워크 디바이스(500)에 전달된다.The RTP data including the audio data is reconstructed into a new packet format including the additional data at the transmitting side of the additional transmission processor 250 for reliable transmission, thereby utilizing the transmission function of the real-time transmission processor 230 and using the network device. 500 is passed.
전송 품질 정보 처리기(240)는 상기 표준에 포함된 실시간 제어 프로토콜(Real-time Control Protocol : RTCP)을 구현한 장치로서 수신측으로부터 이미 전송 받은 RTP 패킷에 관한 통신 상의 품질을 피드백 한다. RTCP 패킷에 포함된 전송 품질에 관한 정보는 패킷 손실에 관한 정보, 식별자 확인 정보, 지연관련 정보 등이 포함된다. 따라서 본 발명은 정기적으로 피드백 되는 RTCP 패킷의 손실에 관련 정보를 이용하여 부가 전송 방식을 동적으로 설정하며, 동적 설정의 시간적 구간은 RTCP 패킷의 피드백 시각 공간에 의존된다.The transmission quality information processor 240 implements a real-time control protocol (RTCP) included in the standard, and feeds back a communication quality of an RTP packet that has been transmitted from a receiver. The information on the transmission quality included in the RTCP packet includes information on packet loss, identifier confirmation information, and delay related information. Therefore, the present invention dynamically configures an additional transmission scheme by using related information on loss of RTCP packets that are regularly fed back, and the time interval of the dynamic configuration depends on the feedback time space of the RTCP packets.
원격지에서 도착한 오디오 패킷의 처리는 실시간 전송 처리기(230)의 수신 기능에 의해 네트워크 디바이스(500)로부터 RTP 패킷을 수신하고, 앞서 전송 중에 발생한 패킷 손실을 복구하기 위해서 부가 전송 처리기(250)의 수신측에서 패킷의 부가 데이터를 이용하여 손실 패킷을 복구한다. 전송된 데이터나 복구된 데이터는 실시간 전송 처리기(230)와 오디오 출력 디바이스 드라이버(220)를 통해서 오디오 출력 디바이스(600)에 전달된다.The processing of the audio packet arriving from the remote location receives the RTP packet from the network device 500 by the reception function of the real-time transmission processor 230, and the receiving side of the additional transmission processor 250 to recover the packet loss occurring during the previous transmission. Recovers the lost packet using the additional data of the packet. The transmitted or recovered data is transmitted to the audio output device 600 through the real time transmission processor 230 and the audio output device driver 220.
도 3은 부가 전송 방식에서 패킷에 부가 데이터를 재구성하는 방식들의 구성도를 나타낸 것이다.3 is a block diagram of schemes for reconfiguring additional data in a packet in an additional transmission scheme.
부가 전송 방식은 패킷 손실을 고려하여 수신측에서 복구할 수 있도록 송신측의 패킷 중복성을 허용하는 방식으로 이를 위해 RTP 패킷에 주 인코딩 블록(Primary Encoding Block : PEB)과 패킷 손실을 대비한 중복 인코딩 블록(Redundant Encoding Block : REB)로 구성된다. REB는 앞서 전송된 해당 PEB가 손실되지 않은 경우 수신측에서 무시되므로 패킷 손실량이 낮은 통신 환경에서의 부가 전송 메커니즘의 적용은 REB 크기 만큼의 대역폭 낭비를 초래한다.The additional transmission method allows the packet redundancy of the sender to recover the receiver in consideration of packet loss. For this purpose, the primary encoding block (PEB) and the redundant encoding block for packet loss are included in the RTP packet. (Redundant Encoding Block: REB). Since the REB is ignored at the receiving end when the corresponding PEB transmitted is not lost, the application of the additional transmission mechanism in a communication environment with low packet loss amount causes bandwidth waste as much as the REB size.
따라서 본 발명에서는 RTCP 프로토콜을 이용하여 수신측으로부터 제공 받은 패킷 손실에 대한 피드백 정보를 이용하여 부가 전송 방식을 동적으로 설정함으로써 부가 데이터에 해당하는 대역폭 낭비를 줄인다.Therefore, in the present invention, by using the feedback information on the packet loss provided from the receiving side using the RTCP protocol, the additional transmission scheme is dynamically set to reduce bandwidth waste corresponding to the additional data.
부가 전송 방식의 설정은 REB를 몇 번째 후속 패킷에 부가할 것인가를 결정하는 것으로 패킷 손실의 연속성에 의존한다.The setting of the additional transmission scheme determines the number of subsequent packets to add the REB to and depends on the continuity of packet loss.
패킷 손실에 대한 통신망 특성 정보를 알 수 있고, 부가 전송 메커니즘을 동적으로 적용한다면, 부가 데이터에 해당하는 대역폭 낭비를 줄일 수 있을 것이다.If network characteristic information on packet loss is known and additional transmission mechanism is dynamically applied, bandwidth waste corresponding to additional data may be reduced.
도 3에서 (31)은 부가 데이터 없이 PEB 데이터 블록 만을 전송하는 표준 방식을 나타낸 것이며, (32)는 REB를 첫번째 후속 패킷에 부가하는 경우로 패킷 손실이 2개 이상 동시에 일어났을 경우 1개의 이전 패킷 만을 복구할 수 1-순서 중복 방식이다. 일반적으로 네트워크에서 발생하는 패킷 손실의 유형이 대부분 독립적이므로 (32)에서 제시한 방법으로 모든 독립 손실을 복구한다.In FIG. 3, (31) shows a standard scheme of transmitting only a PEB data block without additional data, and (32) shows a case where an REB is added to the first subsequent packet and one previous packet occurs when two or more packet losses occur at the same time. Only one-order redundancy can recover. In general, since the type of packet loss occurring in the network is mostly independent, all independent losses are recovered by the method proposed in (32).
그러나 2개 이상의 연속 손실이 발생할 경우 (33)에서 제시한 2-순서 중복 방식으로 부가 전송을 수행함으로써 최대 2개의 연속 데이터를 복구할 수 있다 . 그러나, (33) 또는 (34)의 n-순서 중복 방식은 수신측에서 손실된 패킷을 복구할 때 약간의 지연을 초래하는 단점을 갖는다.However, if two or more consecutive losses occur, up to two consecutive data can be recovered by performing the additional transmission in the two-sequence redundancy scheme shown in (33). However, the n-order redundancy scheme of (33) or (34) has the disadvantage of causing a slight delay when recovering lost packets at the receiving side.
본 발명의 오디오 입출력 제어장치에 구비되는 부가 전송 처리기는 본 발명의 적응형 부가 전송 방법을 구현하는 송신측 부가 전송 처리기(250-1)와 본 발명의 패킷 손실 복구 방법을 구현하는 수신측 부가 전송 처리기(250-2)로 이루어진다.The additional transmission processor included in the audio input / output control apparatus of the present invention includes a transmitting side additional transmission processor 250-1 implementing the adaptive additional transmission method of the present invention and a receiving side additional transmission implementing the packet loss recovery method of the present invention. Processor 250-2.
도 4는 송신측 부가 전송 처리기(250-1)의 구성도로서, 실시간 전송 처리기(230)에서 입력되는 RTP 패킷을 저장하는 PEB 버퍼(251) 및 보류 버퍼(252), 상기 보류 버퍼(252)에 저장된 패킷을 부가 데이터로서 압축하는 인코더(253), 상기 인코더(253)에서 압축한 부가 데이터를 저장하는 REB 버퍼(254), PEB 버퍼(251)의 데이터 블록과 REB 버퍼(254)의 압축된 부가 데이터를 입력 받아 부가 전송 방식에 따라 패킷을 재구성하는 패킷 재구성기(255), 및 부가 전송 방식의 결정과 부가 전송 수행시에 필요한 정보(초기 상태, 현재의 부가 전송 방식, 패킷 손실률, 독립 패킷 손실률, 2-버스트 패킷 손실률, 패킷 손실 허용값, 최근 패킷 순서, 패킷 순서 번호 등)를 저장하는 다수개의 레지스터(ISR, CSR, LRR, CLR1, CLR2, LTR, HSR, Counter)로 구성된다.4 is a block diagram of an additional transmission processor 250-1 of the transmitting side, a PEB buffer 251, a hold buffer 252, and a hold buffer 252 that store an RTP packet input from a real-time transmission processor 230. The encoder 253 compresses the packet stored in the receiver as additional data, the REB buffer 254 storing the additional data compressed by the encoder 253, the data block of the PEB buffer 251 and the compressed data of the REB buffer 254. A packet reconstructor 255 for receiving additional data and reconstructing a packet according to an additional transmission scheme, and information necessary for determining an additional transmission scheme and performing additional transmission (initial state, current additional transmission scheme, packet loss rate, independent packet). It consists of a number of registers (ISR, CSR, LRR, CLR1, CLR2, LTR, HSR, Counter) that store the loss rate, 2-burst packet loss rate, packet loss tolerance, recent packet order, packet order number, and the like.
상기와 같은 구성을 갖는 송신측 부가 전송 처리기(250-1)의 동작을 설명한다.The operation of the transmission side additional transfer processor 250-1 having the above configuration will be described.
실시간 전송 처리기(230)의 오디오 입력부(231)를 경유하여 전달된 오디오 데이터는 RTP 패킷으로 송신측 부가 전송 처리기(250-1)에 입력되고, 이들 패킷은 PEB 버퍼(251)와 보류 버퍼(252)에 복제된다.The audio data transmitted via the audio input unit 231 of the real-time transmission processor 230 is input to the transmission side additional transmission processor 250-1 as RTP packets, and these packets are PEB buffer 251 and the holding buffer 252. Is replicated).
인코더(253)는 부가 데이터를 압축하는 장치로 부가 전송 방식의 단점인 트래픽 오버헤드를 최소화하기 위해서 가능한 높은 압축률을 갖는 인코더, 예를 들면 LPC(Linear Predictive Coding), GSM(Group Speciale Mobile)를 이용한다.The encoder 253 is an apparatus for compressing additional data, and uses an encoder having a high compression rate, for example, linear predictive coding (LPC) and group special mobile (GSM), in order to minimize traffic overhead, which is a disadvantage of the additional transmission scheme. .
REB 버퍼(254)는 인코더(253)에서 압축한 부가 데이터를 저장하며, 도면에 나타내지는 않았지만 그 영역이 REB 버퍼-1, 2로 나뉘어져 있다.The REB buffer 254 stores additional data compressed by the encoder 253. Although not shown, the REB buffer 254 is divided into REB buffers 1 and 2.
패킷 재구성기(255)는 PEB 버퍼(251)의 데이터 블록과 REB 버퍼(254)의 압축된 부가 데이터를 입력 받아 도 5에 나타낸 패킷으로 재구성한다.The packet reconstructor 255 receives the data block of the PEB buffer 251 and the compressed additional data of the REB buffer 254 and reconstructs the packet shown in FIG. 5.
도 5에 나타낸 패킷 구조는 기존의 RFC1889에서 제시한 RTP 패킷의 구조를 본 발명에서 제시한 부가 데이터를 포함할 수 있도록 새롭게 확장한 것이다. 각 필드의 의미는 다음과 같다.The packet structure shown in FIG. 5 newly extends the structure of the RTP packet proposed by RFC1889 to include additional data presented by the present invention. The meaning of each field is as follows.
현재 RTP 프로토콜의 버전 번호(V), 현 패킷을 보안 처리함에 있어 보안 알고리즘에 따라 32bit로 데이터 보안을 요구하는 경우, 만일 전체 플레이로드(playload, 중복 인코딩 데이터 + 주 인코딩 데이터) 부분이 32bit 단위로 구분될 수 없는 경우 32bit를 맞추기 위하여 "0"값을 페딩하는 경우에 그 페딩 표시(P), 패킷 확장 여부(X), 플레이로드 내에 여러 사용자의 데이터가 혼합된 경우 그 사용자 수(CC), 패킷 내의 데이터 내에 구분하고 싶은 특정 데이터의 포함 여부(M), 패킷에 포함된 데이터 필드의 유형(PT : Playload Type), 패킷의 순서 번호(SNP : Sequence Number of Primary), 수신측에서 전송 지연 시간이나 지연 변이를 검출할 수 있도록 부가하는 데이터가 코덱 보드에서 샘플링한 시각(TPE : Timestamp of Primary Encoding), 전송측 구분 식별자(SSRC : Synchronizarion source identifier), 표준방식·1-순서 중복 방식·2-순서 중복 방식 중 어느 하나를 나타내는 현재 전송된 패킷의 부가 전송 방식(O), 부가 데이터를 재생할 때 이용되는 앞서 전송한 주 인코딩 데이터(본래 데이터)와 중복 인코딩 데이터(부가 데이터)간의 생성시간 차이(TO : Timestamp Offset), 주 인코딩 데이터와 중복 인코딩 데이터를 구분하기 위한 중복 인코딩 데이터의 크기(BL : Block Length), 중복 인코딩 데이터(REB) 및 주 인코딩 데이터(PEB) 필드 이다.Version number (V) of the current RTP protocol, and if the current packet requires data security in 32 bits according to the security algorithm, if the entire playload (duplication encoded data + main encoded data) part is 32 bits In case of not distinguishing, when padding "0" value to fit 32 bits, the indication of padding (P), packet expansion (X), the number of users (CC) when data of several users are mixed in the playload, Whether to include specific data to be distinguished in the data in the packet (M), the type of data field included in the packet (PT: Playload Type), the sequence number of the packet (SNP), and the transmission delay time at the receiving end. Or time stamped from the codec board (TPE: Timestamp of Primary Encoding), transmission side identifier (SSRC: Synchronizar source identifier), standard The additional transmission method (O) of the currently transmitted packet, which represents any one of the following methods: one-order redundancy method and two-order redundancy method, and previously encoded main-encoded data (original data) used for reproducing additional data and redundant encoding. Generation time difference (TO: Timestamp Offset) between data (additional data), size of redundant encoding data (BL: Block Length) to distinguish main encoding data from redundant encoding data, redundant encoding data (REB), and primary encoding data ( PEB) is a field.
도 4의 송신측 부가 전송 처리기(250-1)의 레지스터 중에서 CSR(Current State Register)은 현재의 부가 전송 방식을 나타낸다. 예를 들어 CSR == 0 인 경우 도 3의 (31) 방식, CSR == 1 인 경우 도 3의 (32) 방식, 그리고 CSR == 2 인 경우는 도 3의 (33) 방식으로 부가 데이터가 포함되는 후속 패킷의 위치를 지정한다. 또한 LTR(Loss Tolerance Register)은 응용 서비스의 요구를 반영하는 패킷 손실 허용 값을 저장하는 레지스터로서 응용 서비스로부터 직접 제공 받는다. LRR(Loss Rate Register)는 전송 품질 정보 처리기(240)로부터 제공된 패킷 손실률을 저장하는 레지스터이다. 그리고, CLR1은 수신측의 독립 패킷 손실률(Single Loss Rate Register)을 저장하는 레지스터이고, CLR2는 2-버스트 패킷 손실률(2-burstness Loss Rate Register)을 저장하는 레지스터이다.Among the registers of the transmission side additional transfer processor 250-1 of FIG. 4, a current state register (CSR) indicates a current additional transmission scheme. For example, if CSR == 0, the method (31) of FIG. 3, if the CSR == 1 (32) of FIG. 3, and if CSR == 2, the additional data is stored in the method (33) of FIG. Specifies the location of subsequent packets to be included. In addition, the LTR (Loss Tolerance Register) is a register that stores packet loss tolerance values that reflect the needs of the application service, and is directly provided from the application service. The Loss Rate Register (LRR) is a register that stores a packet loss rate provided from the transmission quality information processor 240. CLR1 is a register for storing a single loss rate register on the receiving side, and CLR2 is a register for storing a 2-burstness loss rate register.
그리고, HSR(Highest Sequence Register)은 최근 패킷 순서번호를 저장하는 레지스터이고, ISR(Initial State Register)는 부가전송 방식의 초기상태를 저장하는 레지스터이며, Counter는 송신한 패킷 수를 카운트하는 카운터이다.The highest sequence register (HSR) is a register that stores the latest packet sequence number, the initial state register (ISR) is a register that stores the initial state of the additional transmission method, and the counter is a counter that counts the number of transmitted packets.
이하에서, 상술한 송신측 부가 전송 처리기(250-1)에 의한 본 발명의 적응형 부가 전송 방법에 대해 설명한다.Hereinafter, the adaptive additional transmission method of the present invention by the aforementioned transmission side additional transmission processor 250-1 will be described.
본 발명의 적응형 부가 전송 방법은 크게 전송 품질 정보 처리기(240)의 피드백 정보에서 추출한 패킷 손실에 대한 품질 정보를 이용하여 부가 전송 방식을 설정하는 과정과, 설정된 부가 전송 방식에 따라 RTP 패킷에 부가 데이터를 포함시켜 패킷을 재구성하여 전송하는 과정으로 나눌 수 있으며, 부가 전송 방식의 설정 과정은 도 6에, 부가 전송 수행 과정은 도 7에 나타내었다.The adaptive additional transmission method of the present invention largely sets an additional transmission scheme using quality information on packet loss extracted from feedback information of the transmission quality information processor 240, and adds to the RTP packet according to the configured additional transmission scheme. It can be divided into a process of reconstructing and transmitting a packet including data, and the setting of the additional transmission scheme is shown in FIG. 6 and the additional transmission is shown in FIG. 7.
송신측 부가 전송 처리기(250-1)는 동적 선택 방식을 이용하여 응용 서비스가 요구하는 패킷 손실 허용값 범위 내에 전송할 수 있도록 하기 위하여 부가 전송 방식을 설정한다.The transmitting side additional transmission processor 250-1 sets the additional transmission scheme so that the transmission side may transmit the packet loss within the range of the packet loss allowance required by the application service using the dynamic selection scheme.
이를 위해서 전송 품질 정보 처리기(240)는 그 자체의 알고리즘에 의해서 비정기적으로 수신측의 전송 품질을 송신측에 알려주는 피드백 기능을 수행하며, 송신측 부가 전송 처리기(250-1)는 전송 품질 정보 처리기(240)의 피드백 정보에서 추출한 패킷 손실에 대한 품질 정보를 이용하여 다음과 같은 단계를 거쳐 부가 전송의 방식을 설정한다.To this end, the transmission quality information processor 240 performs a feedback function that informs the transmitting side of the transmission quality of the receiving side irregularly by its own algorithm, and the transmitting side additional transmission processor 250-1 performs transmission quality information. By using the quality information on the packet loss extracted from the feedback information of the processor 240, the additional transmission method is set through the following steps.
즉, 송신측 부가 전송 처리기(250-1)가 전송 품질 정보 처리기(240)로부터 피드백 정보를 전달받아 부가 전송 방식 결정에 필요한 정보를 레지스터에 저장하는 단계와, 패킷 손실률이 허용 손실률 이하인 경우는 부가 전송 방식을 RTP 패킷에 부가 데이터를 포함하지 않는 표준 방식으로 변경하는 단계와, 패킷 손실률이 허용 손실률 보다 큰 경우 독립 손실을 모두 복구할 경우를 대비하여 전체 패킷수, 독립 손실 패킷의 손실률을 계산하는 단계와, 허용 손실률이 패킷 손실률에서 독립 손실 패킷의 손실률을 뺀 값 이상이면, 부가 전송 방식을 첫 번째 후속 패킷에 부가 데이터를 포함시키는 1-순서 중복 방식으로 변경하는 단계, 및 허용 손실률이 패킷 손실률에서 독립 손실 패킷의 손실률을 뺀 값 보다 작으면 부가 전송 방식을 두 번째 후속 패킷에 부가 데이터를 포함시키는 2-순서 중복 방식으로 변경하는 단계를 수행하여 부가 전송 방식을 설정한다.That is, the transmitting side additional transmission processor 250-1 receives feedback information from the transmission quality information processor 240 and stores information necessary for determining the additional transmission scheme in a register, and when the packet loss rate is less than the allowable loss rate, Changing the transmission method to a standard method that does not include additional data in the RTP packet, and calculates the total number of packets and the loss rate of the independent lost packets in case of recovering all the independent losses when the packet loss rate is larger than the allowable loss rate. And if the allowable loss rate is greater than or equal to the packet loss rate minus the loss rate of the independent loss packet, changing the additional transmission scheme to a one-sequence redundancy scheme that includes the additional data in the first subsequent packet, and the allowable loss rate is the packet loss rate. If it is less than the subtracted loss rate of independent packets, the additional transmission scheme is added to the second subsequent packet. Performing the step of changing the 2-order redundancy by including the emitter to set the additional transmission.
이를 상세하게 설명한다.This will be described in detail.
송신측 부가 전송 처리기(250-1)는 일정한 주기를 가지고 전송 품질 정보 처리기(240)에서 입력되는 피드백 정보에서 부가 전송 방식 결정에 필요한 정보(패킷 손실률, 독립 패킷 손실률, 2-버스트 패킷 손실률 및 최근 패킷 순서 번호 등)를 추출한 다음, 패킷 손실률, 독립 패킷 손실률, 2-버스트 패킷 손실률은 각각 LRR, CLR1, CLR2에 저장한다(S10).The transmitting side additional transmission processor 250-1 has a certain period and information necessary for determining the additional transmission scheme from the feedback information input from the transmission quality information processor 240 (packet loss rate, independent packet loss rate, 2-burst packet loss rate, and recent times). Packet sequence number, etc.), the packet loss rate, the independent packet loss rate, and the 2-burst packet loss rate are stored in the LRR, CLR1, and CLR2, respectively (S10).
그런 다음 LRR에 저장된 패킷 손실률과 LTR에 저장된 허용 손실률을 비교한다(S11).Then, the packet loss rate stored in the LRR is compared with the allowable loss rate stored in the LTR (S11).
S11에서의 비교 결과, 패킷 손실률이 허용 손실률 이하인 경우는 현재의 부가 전송 방식이 표준방식(CSR = 0)이 아니면 표준방식으로 변경한다(S12, S13). 따라서 앞으로 전송되는 RTP 패킷에는 부가 데이터를 포함시키지 않는다.As a result of the comparison in S11, when the packet loss rate is less than the allowable loss rate, the current additional transmission scheme is changed to the standard scheme unless the standard scheme (CSR = 0) is used (S12, S13). Therefore, no additional data is included in the forwarded RTP packet.
그러나 S11에서의 비교 결과, 패킷 손실률이 허용 손실률 보다 큰 경우 독립 손실을 모두 복구할 경우를 대비하여 전체 패킷수와 독립 손실 패킷의 손실률을 계산한다(S14, S15).However, as a result of the comparison in S11, when the packet loss rate is larger than the allowable loss rate, the total packet count and the loss rate of the independent lost packet are calculated in case of recovering all the independent losses (S14 and S15).
전체 패킷수는 전송 품질 정보 처리기(240)로부터 받은 최근 패킷 순서 번호에서 HSR 레지스터의 값을 뺀 것이다. 여기서, HSR 레지스터의 값은 지난번 전송 품질 정보 처리기(240)로부터 피드백 정보를 받았을 때의 것이므로, "최근 패킷 순서 번호 - HSR"은 피드백 정보가 되는 전송되는 기간동안에 전달된 패킷 수가 된다.The total number of packets is obtained by subtracting the value of the HSR register from the latest packet sequence number received from the transmission quality information processor 240. Here, since the value of the HSR register is when the feedback information is received from the transmission quality information processor 240 last time, the "recent packet sequence number-HSR" is the number of packets delivered during the transmission period which becomes the feedback information.
그리고 독립 손실 패킷의 손실률(L1)은 패킷 손실률(LRR) * 독립 패킷 손실률(CLR1) 이다.The loss rate L 1 of the independent loss packet is a packet loss rate (LRR) * an independent packet loss rate (CLR1).
전체 패킷수와 독립 손실 패킷의 손실률을 계산한 다음, 패킷 손실률(LRR)에서 독립 손실 패킷의 손실률(L1)을 뺀 값과 허용 손실률(LTR)을 비교한다(S16).After calculating the total number of packets and the loss rate of the independent loss packets, the loss rate (L 1 ) of the independent loss packet is subtracted from the packet loss rate (LRR) and the allowable loss rate (LTR) is compared (S16).
여기서, LRR-L1은 이미 1-순서 방식으로 모든 독립된 손실 패킷이 복구된 이후의 손실률을 의미한다.Here, LRR-L 1 means a loss rate after all independent lost packets have already been recovered in a 1-order manner.
따라서, 단계 S16에서의 비교결과 허용 손실률(LTR)이 패킷 손실률(LRR)에서 독립 손실 패킷의 손실률(L1)을 뺀 값 이상인 경우에는, 현재의 부가 전송 방식이 1-순서 부가 방식(CSR = 1)이 아니면 1-순서 부가 방식(CSR = 1)으로 변경한다. 때문에 앞으로는 도 3의 (32) 방식으로 부가 전송을 전송하게 된다.Therefore, when the allowable loss rate LTR is equal to or larger than the packet loss rate LRR minus the loss rate L 1 of the independent loss packet, the current additional transmission method is the one-sequence addition method (CSR = S16). If not 1), change to the 1-order addition method (CSR = 1). Therefore, the additional transmission will be transmitted in the method of FIG.
그러나 허용 손실률(LTR)이 패킷 손실률(LRR)에서 독립 손실 패킷의 손실률(L1)을 뺀 값 보다 작은 경우, 즉 2개 이상의 중복 손실에서 복구 후 남은 손실 값이 LTR(허용 손실률)을 만족할 수 없다면 현재의 부가 전송 방식이 2-순서 부가 방식(CSR = 2)이 아니면 2-순서 부가 방식(CSR = 2)으로 변경한다(S16 ∼ S19). 때문에 앞으로는 도 3의 (33) 방식으로 부가 전송을 수행하게 된다However, if the allowable loss rate (LTR) is less than the packet loss rate (LRR) minus the loss rate of the independent loss packet (L 1 ), that is, the loss remaining after recovery from two or more redundant losses may satisfy the allowable loss rate (LTR). If not, the current additional transmission scheme is changed to the two-order addition scheme (CSR = 2) unless the current order transmission scheme is the two-order addition scheme (CSR = 2) (S16 to S19). Therefore, the additional transmission will be performed in the method of FIG.
이와 같이 동적으로 설정된 부가 전송 방식에 따라 송신측 부가 전송 처리기(250-1)가 수행하는 부가 전송 과정은 도 7은 나타낸 바와 같다.As shown in FIG. 7, the additional transmission process performed by the transmission side additional transmission processor 250-1 according to the additionally configured additional transmission scheme is described.
즉, 실시간 전송 처리기(230)로부터 RTP 패킷을 수신한 다음 Counter를 1 증가 시키는 단계와, CSR과 Counter를 이용하여 현재의 부가 전송 방식을 확인하여 패킷에 부가 데이터를 포함시킬 것인지를 판단하고, 부가시킬 데이터를 선택하는 단계와, 실시간 전송 처리기(230)로부터 수신된 RTP 패킷과 선택된 부가 데이터를 이용하여 패킷을 재구성하는 단계와, 재구성된 패킷을 실시간 전송 처리기(230)를 통하여 네트워크 디바이스(500)에 전달하는 단계와, 실시간 전송 처리기(230)로부터 수신된 RTP 패킷을 패킷 손실 발생시의 손실 복구를 위해 인코딩하여 저장하는 단계를 수행한다.That is, after receiving the RTP packet from the real-time transmission processor 230, the counter is incremented by one, and the current additional transmission method is checked using the CSR and the counter to determine whether to include the additional data in the packet, and Selecting the data to be configured; reconstructing the packet by using the RTP packet received from the real-time transmission processor 230 and the selected additional data; and reconstructing the reconstructed packet through the real-time transmission processor 230 through the network device 500. And transmitting and storing the RTP packet received from the real-time transmission processor 230 for recovery of loss in case of packet loss.
이를 상세히 설명한다.This will be described in detail.
송신측 부가 전송 처리기(250-1)가 실시간 전송 처리기(230)로부터 오디오RTP 패킷을 수신한다(S20). 이때 수신된 RTP 패킷은 PEB 버퍼(251)에 복제된다. 그런 다음 패킷 연속 번호 카운터(Counter)를 1 증가 시킨다(S20, S21).The transmission side additional transmission processor 250-1 receives the audio RTP packet from the real time transmission processor 230 (S20). At this time, the received RTP packet is copied to the PEB buffer 251. Then, the packet sequential number counter is increased by one (S20, S21).
그런 다음, CSR이 0인지 확인한다(S22).Then, it is checked whether the CSR is 0 (S22).
CSR이 0인 경우 부가 데이터를 포함하지 않는 표준 방식이므로 PEB 버퍼(251)의 데이터만을 실시간 전송 처리기(230)의 전송 기능을 이용하여 네트워크 디바이스(500)로 전송한다(S23).If the CSR is 0, since the standard method does not include additional data, only the data of the PEB buffer 251 is transmitted to the network device 500 using the transmission function of the real-time transmission processor 230 (S23).
그러나, CSR이 0이 아닌 경우는 후속 패킷에 부가 데이터를 포함하는 1-순서 중복 방식(CRS=1) 또는 2-순서 중복 방식(CRS=2)이므로 전송 패킷의 재구성을 위해 PEB 버퍼(251)를 보류 버퍼(252)에 복사한다.(S24)However, if the CSR is not 0, the PEB buffer 251 for reconstruction of the transport packet since the 1-order redundancy method (CRS = 1) or the 2-order redundancy method (CRS = 2) including additional data in subsequent packets. Is copied to the reserved buffer 252. (S24)
그리고나서, CSR이 1인지 확인한다(S25).Then, it is checked whether the CSR is 1 (S25).
확인 결과 CSR이 1인 경우, 즉 현재의 부가 전송 방식이 1-순서 중복 방식이면 REB 버퍼(254) 중에서 REB 버퍼-1이 비었는지 확인한다(S26).If it is determined that the CSR is 1, that is, the current additional transmission scheme is a 1-sequence duplication scheme, it is checked whether REB buffer-1 is empty among the REB buffers 254 (S26).
확인 결과 REB 버퍼-1이 비어 있지 않으면 패킷 재구성기(255)에서 현재 REB 버퍼-1에 저장되어 있는 이전 패킷의 압축 데이터와 PEB 버퍼(251)의 현재 데이터를 이용하여 도 5에 나타낸 바와 같은 구조로 패킷을 구성하여 실시간 전송 처리기(230)를 통해 네트워크 디바이스(500)로 전송한다(S27, S28). 그런 다음 보류 버퍼(252)의 데이터를 인코더(253)에서 인코딩하여 REB 버퍼-1에 저장함으로써 부가 전송을 끝낸다(S29).As a result of the check, if REB buffer-1 is not empty, the packet reconstructor 255 uses the compressed data of the previous packet stored in the current REB buffer-1 and the current data of the PEB buffer 251, as shown in FIG. 5. The packet is configured to be transmitted to the network device 500 through the real-time transmission processor 230 (S27 and S28). Then, the data of the pending buffer 252 is encoded by the encoder 253 and stored in the REB buffer-1 to terminate additional transmission (S29).
한편, S26에서의 확인 결과 REB 버퍼-1이 비어 있으면 패킷에 부가할 데이터가 없으므로 PEB 버퍼(251)의 데이터만을 실시간 전송 처리기(230)의 전송 기능을 이용하여 네트워크 디바이스(500)로 전송한 후(S30), S29를 수행하여 보류 버퍼(252)의 데이터를 인코더(253)에서 인코딩하여 REB 버퍼-1에 저장함으로써 부가 전송을 끝낸다.On the other hand, if the REB buffer-1 is empty as a result of the check in S26, since there is no data to be added to the packet, only the data of the PEB buffer 251 is transmitted to the network device 500 by using the transmission function of the real-time transmission processor 230. (S30) and S29 are performed to encode the data of the reserved buffer 252 by the encoder 253 and store the data in the REB buffer-1 to finish the additional transmission.
그리고, S25에서 CSR을 확인한 결과, CSR이 1이 아니면 CSR의 값이 2인 경우로서 현재의 부가 전송 방식은 2-순서 중복 방식이다. 때문에, REB 버퍼(254)에 저장된 이전 패킷 중에서 RTP 패킷에 부가 데이터로서 포함될 패킷을 선택하여야 한다.As a result of confirming the CSR in S25, if the CSR is not 1, the value of the CSR is 2, and the current additional transmission scheme is a two-sequence duplication scheme. Therefore, a packet to be included as additional data in the RTP packet should be selected from previous packets stored in the REB buffer 254.
이를 위해 먼저, Counter를 2로 나눈다(S31).To this end, first divide the Counter by 2 (S31).
S31에서 Counter 값을 2로 나눈 나머지가 0(Counter 값이 홀 수)이면 REB 버퍼-1이 비었는지 확인한다(S32). 확인 결과 REB 버퍼-1이 비어있지 않으면 S27 내지 S29를 수행하여 전송을 끝낸다.If the remainder of the counter value divided by 2 in S31 is 0 (the counter value is an odd number), it is checked whether the REB buffer-1 is empty (S32). If the REB buffer-1 is not empty as a result of the check, the transmission is terminated by performing S27 to S29.
즉, 패킷 재구성기(255)에서 REB 버퍼-1에 저장되어 있는 이전 패킷의 압축 데이터와 PEB 버퍼(251)의 현재 데이터를 이용하여 도 5에 나타낸 바와 같은 구조로 패킷을 구성하여 실시간 전송 처리기(230)를 통해 네트워크 디바이스(500)로 전송한다. 그런 다음 보류 버퍼(252)의 데이터를 인코더(253)에서 인코딩하여 REB 버퍼-1에 저장한다.That is, the packet reconstructor 255 uses the compressed data of the previous packet stored in the REB buffer-1 and the current data of the PEB buffer 251 to configure the packet in a structure as shown in FIG. 230 to the network device 500. The data of the pending buffer 252 is then encoded by the encoder 253 and stored in REB buffer-1.
그러나 S32에서의 확인 결과, REB 버퍼-1이 비어있으면 패킷에 부가할 데이터가 없으므로 S30과 S29를 수행하여 전송을 끝낸다. 즉, PEB 버퍼(251)의 데이터만을 실시간 전송 처리기(230)의 전송 기능을 이용하여 네트워크 디바이스(500)로 전송한다. 그후, 보류 버퍼(252)의 데이터를 인코더(253)에서 인코딩하여 REB 버퍼-1에 저장한다.However, as a result of checking in S32, if REB buffer-1 is empty, since there is no data to add to the packet, S30 and S29 are performed to complete the transmission. That is, only the data of the PEB buffer 251 is transmitted to the network device 500 using the transmission function of the real-time transmission processor 230. Thereafter, the data of the pending buffer 252 is encoded by the encoder 253 and stored in the REB buffer-1.
S31에서 Counter 값을 2로 나눈 나머지가 0인 경우(Counter 값이 짝수)에는 REB 버퍼-2이 비었는지 확인한다(S33). 확인 결과 REB 버퍼-2가 비어있지 않으면 S34 내지 S36을 수행하여 전송을 끝낸다. 즉, 패킷 재구성기(255)에서 현재 REB 버퍼-2에 저장되어 있는 이전 패킷의 압축 데이터와 PEB 버퍼(251)의 현재 데이터를 이용하여 도 5에 나타낸 바와 같은 구조로 패킷을 구성하여 실시간 전송 처리기(230)를 통해 네트워크 디바이스(500)로 전송한 다음 보류 버퍼(252)의 데이터를 인코더(253)에서 인코딩하여 REB 버퍼-2에 저장한다.If the remainder of the counter value divided by 2 in S31 is 0 (the counter value is even), it is checked whether the REB buffer-2 is empty (S33). If the REB buffer-2 is not empty as a result of the check, S34 to S36 are performed to complete the transmission. That is, the packet reconstructor 255 uses the compressed data of the previous packet stored in the current REB buffer-2 and the current data of the PEB buffer 251 to configure the packet in a structure as shown in FIG. After the data is transmitted to the network device 500 through the 230, the data of the pending buffer 252 is encoded by the encoder 253 and stored in the REB buffer-2.
그러나 S33에서의 확인 결과, REB 버퍼-2가 비어있으면 패킷에 부가할 데이터가 없으므로 S37과 S36을 순차 수행하여 전송을 끝낸다. 즉, PEB 버퍼(251)의 데이터만을 실시간 전송 처리기(230)의 전송 기능을 이용하여 네트워크 디바이스(500)로 전송한 후, 보류 버퍼(252)의 데이터를 인코더(253)에서 인코딩하여 REB 버퍼-2에 저장한다.However, as a result of checking in S33, if REB buffer-2 is empty, since there is no data to add to the packet, S37 and S36 are sequentially performed to finish the transmission. That is, only the data of the PEB buffer 251 is transmitted to the network device 500 by using the transmission function of the real-time transmission processor 230, and then the data of the pending buffer 252 is encoded by the encoder 253 so that the REB buffer- Save to 2.
도 8은 본 발명의 실시예에 따른 수신측 부가 전송 처리기의 구성도를 나타낸 것이다. 도면에서 보듯이 수신측 부가 전송 처리기(250-2)는 3개의 버퍼(PEB 버퍼, REB, 보류 버퍼), 디코더 및 4개의 레지스터로 구성된다.8 is a block diagram of a receiving side additional transmission processor according to an embodiment of the present invention. As shown in the figure, the receiving side additional transfer processor 250-2 is composed of three buffers (PEB buffer, REB, pending buffer), a decoder, and four registers.
즉, 입력 받은 패킷의 PEB 데이터 부분을 저장하는 PEB 버퍼(256)와; 입력 받은 패킷의 부가 데이터를 저장하는 REB 버퍼(257)와; 이전 패킷이 손실된 경우 손실된 패킷의 복구를 위해 수신된 패킷을 저장하는 보류 버퍼(258)와; 상기 REB 버퍼(275) 또는 보류 버퍼(258)에 저장된 데이터를 디코딩하여 실시간 전송 처리기(230)에 출력하여 패킷 손실을 복구하는 디코더(259); 및 수신된 패킷을 처리하고 패킷 손실을 복구하기 위한 정보(손실 복구 패킷의 존재 유무, 현재의 부가 전송 방식, 송신측 순서 번호, 패킷 순서 번호 등)를 저장하는 다수개의 레지스터(HFR, CSR, SNR, Counter)를 포함하여 구성된다.That is, PEB buffer 256 for storing the PEB data portion of the received packet; A REB buffer 257 for storing additional data of the received packet; A hold buffer 258 for storing the received packet for recovery of the lost packet if the previous packet was lost; A decoder 259 for decoding the data stored in the REB buffer 275 or the hold buffer 258 and outputting the decoded data to a real time transmission processor 230 to recover packet loss; And a plurality of registers (HFR, CSR, SNR) for processing the received packet and storing information (existence of lossy recovery packet, current additional transmission scheme, sender sequence number, packet sequence number, etc.) for recovering packet loss. , Counter).
이와 같이 구성되는 수신측 부가 전송 처리기(250-2)의 동작을 설명한다.The operation of the receiving side additional transfer processor 250-2 configured as described above will be described.
수신측 부가 전송 처리기(250-2)는 수신된 RTP 패킷을 실시간 전송 처리기(230)을 경유하여 받는다. 여기서 수신된 RTP 패킷은 도 5와 같은 구조이다.The receiving side additional transmission processor 250-2 receives the received RTP packet via the real time transmission processor 230. Here, the received RTP packet has a structure as shown in FIG. 5.
입력 받은 패킷의 PEB 부분(본래 데이터)은 PEB 버퍼(256)에 저장하고, 패킷의 REB 부분(부가 데이터)는 REB 버퍼(257)에 저장한다. 그런다음 이전 패킷이 손실된 경우 REB 버퍼(257)의 데이터를 디코더(259)를 통해서 재생하여 실시간 전송 처리기(230) 내의 오디오 출력부(232)에 전달함으로써 손실 패킷 복구를 수행한다.The PEB portion (original data) of the received packet is stored in the PEB buffer 256, and the REB portion (additional data) of the packet is stored in the REB buffer 257. Then, when the previous packet is lost, the lost packet recovery is performed by reproducing the data of the REB buffer 257 through the decoder 259 and delivering the data to the audio output unit 232 in the real time transmission processor 230.
이때 패킷의 재생 순서를 맞추기 위해서 HFR(Holding Flag Register) 레지스터를 이용한다.At this time, the HFR (Holding Flag Register) register is used to match the packet reproduction order.
또 실시간 전송 처리기(230)에서 전달한 패킷의 손실 여부를 확인하기 위해서 패킷 내의 순서 번호와 Counter를 이용한다. 이전 패킷이 손실된 사실을 확인한 후 PEB 버퍼(256)의 데이터는 보류 버퍼(258)로 옮겨져 재생 순서를 기다린다. 이는 다음 패킷이 PEB 버퍼(256)에 도착하기 위한 공간을 비워 주는 역할을 한다. 이때, 수신된 도 5의 구조를 갖는 패킷은 부가 데이터가 어떤 방식으로 재구성 되었는가를 나타내기 위해서 패킷의 부가 전송 방식 필드(O)에 0, 1, 2 중 어느하나를 기록하여 현재 부가 전송 방식을 나타낸다. 이는 수신측 부가 전송 처리기(250-2)의 CSR(Current State Register)에 저장된다.In addition, in order to confirm whether the packet transmitted by the real-time transmission processor 230 is lost, the sequence number and the counter in the packet are used. After confirming that the previous packet has been lost, the data in PEB buffer 256 is moved to pending buffer 258 to wait for the playback sequence. This frees up space for the next packet to reach the PEB buffer 256. In this case, the received packet having the structure of FIG. 5 records one of 0, 1, and 2 in the additional transmission method field O of the packet to indicate how the additional data has been reconstructed. Indicates. This is stored in the current state register (CSR) of the receiving side additional transmission processor 250-2.
그런 다음, 수신된 패킷이 손실된 경우 복구 과정을 거치게 된다.Then, if the received packet is lost, it goes through a recovery process.
이하, 도 9에 도시한 본 발명의 실시예에 따른 패킷 손실 복구 방법에 대해 상세하게 설명한다.Hereinafter, a packet loss recovery method according to an embodiment of the present invention shown in FIG. 9 will be described in detail.
손실된 패킷을 복구하기 위하여 수신측 부가 전송 처리기(250-2)는 실시간 전송 처리기(230)로부터 오디오 패킷을 수신하여 패킷의 PEB 부분과 REB 부분을 각각 PEB 버퍼(256)와 REB 버퍼(257)에 저장하고, Counter를 1 증가 시키는 단계, 수신된 패킷의 확장 여부를 확인하는 단계, 패킷이 확장되지 않은 경우에는 PEB 버퍼(256)의 데이터를 실시간 전송 처리기(230)의 오디오 출력부(232)에 전달하고, 패킷이 확장된 경우에는 패킷 순서 번호와 부가 전송 방식 필드를 각각 SNR과 CSR에 저장하는 단계, 패킷 손실 여부를 확인하는 단계, 패킷 손실이 없는 경우 PEB 버퍼(256)의 데이터를 실시간 전송 처리기의 오디오 출력부에 전달하는 단계, 패킷 손실이 발생한 경우 부가 전송 방식을 확인하는 단계, 부가 전송 방식이 표준 방식인 경우 패킷에 복구없이 PEB 버퍼(256)의 데이터를 실시간 전송 처리기의 오디오 출력부에 전달하는 단계, 부가 전송 방식이 1-순서 중복 방식인 경우 REB 버퍼(257)의 데이터를 디코더에 보내어 디코딩하여 실시간 전송 처리기의 오디오 출력부에 전달하여 손실된 이전 패킷을 복구한 다음 PEB 버퍼(256)의 데이터를 실시간 전송 처리기의 오디오 출력부에 전달하는 단계, 부가 전송 방식이 2-순서 중복 방식인 경우 HFR의 값을 확인하는 단계, HFR의 값이 1이면 보류 버퍼에 저장되어 있는 REB 데이터(257)를 디코더에 보내어 디코딩하여 실시간 전송 처리기의 오디오 출력부에 전달함으로써 손실된 이전의 패킷을 복구하는 단계, HFR의 값이 1이 아닌 경우 및 손실 복구를 수행한 다음 SNR과 Counter의 차이를 확인하는 단계, SNR과 Counter의 차이가 2 보다 작은 경우 손실 복구를 끝내는 단계, SNR과 Counter의 차이가 2이상인 경우 패킷 손실 복구를 위해 수신된 패킷을 보류 버퍼에 저장하고 HFR을 1로 세트한 다음 손실 복구를 끝내는 단계를 수행한다.In order to recover the lost packet, the receiving side additional transmission processor 250-2 receives the audio packet from the real time transmission processor 230 and converts the PEB portion and the REB portion of the packet into the PEB buffer 256 and the REB buffer 257, respectively. Storing the data in the control unit, increasing the counter by one, checking whether the received packet is expanded, and if the packet is not expanded, outputs the data of the PEB buffer 256 to the audio output unit 232 of the real-time transmission processor 230. Storing the packet sequence number and the additional transmission field in the SNR and CSR, checking whether the packet is lost or not, and if there is no packet, transmitting the data in the PEB buffer 256 in real time. Delivering to the audio output of the transmission processor; identifying additional transmission schemes in the event of packet loss; and data in the PEB buffer 256 without recovery to packets if the additional transmission schemes are standard. Transmitting to the audio output of the real-time transmission processor; if the additional transmission scheme is a one-sequence duplication scheme, the data of the REB buffer 257 is sent to the decoder for decoding, and then transmitted to the audio output of the real-time transmission processor and lost Recovering the data and passing the data from the PEB buffer 256 to the audio output of the real-time transmission processor; checking the value of the HFR when the additional transmission method is a two-sequence redundancy method; Recovering the previous lost packet by sending the REB data 257 stored in the buffer to the decoder, decoding and forwarding it to the audio output of the real-time transmission processor, when the value of the HFR is not 1, and performing the loss recovery. Checking the difference between the next SNR and the counter; ending loss recovery if the difference between the SNR and the counter is less than 2. In case of packet loss recovery, the received packet is stored in the pending buffer, the HFR is set to 1, and then the loss recovery is completed.
이를 상세하게 설명한다.This will be described in detail.
먼저, 수신측 부가 전송 처리기(250-2)는 실시간 전송 처리기(230)로부터 오디오 패킷을 수신하여 패킷의 PEB 부분과 REB 부분을 각각 PEB 버퍼(256)와 REB 버퍼(257)에 저장한 다음, Counter를 1 증가 시킨다(S40, S41).First, the receiving side additional transmission processor 250-2 receives an audio packet from the real time transmission processor 230 and stores the PEB portion and the REB portion of the packet in the PEB buffer 256 and the REB buffer 257, respectively. Increment the counter by 1 (S40, S41).
이어서, 패킷의 X 필드가 1인지 확인한다(S42). 여기서 패킷의 X 필드는 패킷의 확장여부를 나타내는데, 패킷이 확장된 경우에는 X = 1이다.Next, it is checked whether the X field of the packet is 1 (S42). Herein, the X field of the packet indicates whether the packet is extended. If the packet is extended, X = 1.
S42에서의 확인 결과, 패킷이 확장되지 않은 경우에는 PEB 버퍼(256)의 데이터를 실시간 전송 처리기(230)의 오디오 출력부(232)로 출력한다(S43)As a result of checking in S42, when the packet is not expanded, the data of the PEB buffer 256 is output to the audio output unit 232 of the real-time transmission processor 230 (S43).
그러나, 패킷이 확장된 경우에는 패킷의 순서 번호(sequence number)를 SNR(Sequence Number Register)에 저장하고, 전송 부가 방식 필드(O)의 값을 CSR에 저장한다(S44).However, when the packet is extended, the sequence number of the packet is stored in the Sequence Number Register (SNR), and the value of the transmission addition method field O is stored in the CSR (S44).
이어서, 수신측 부가 전송 처리기(250-2)는 패킷 손실을 검색하기 위해서 Counter와 패킷 순서 번호가 저장된 SNR을 비교한다(S45).Subsequently, the receiving side additional transmission processor 250-2 compares the Counter and the SNR in which the packet sequence number is stored to search for packet loss (S45).
S45의 비교 결과, Counter와 SNR이 같으면 이전 패킷의 손실이 발생하지 않은 경우이므로 S43을 수행하여 PEB 버퍼(256)의 데이터를 실시간 전송 처리기(230)의 오디오 출력부(232)로 출력한다.As a result of the comparison of S45, if the counter and the SNR are the same, since the loss of the previous packet does not occur, S43 is performed to output the data of the PEB buffer 256 to the audio output unit 232 of the real time transmission processor 230.
그러나 S45의 비교 결과 , Counter와 SNR이 같지 않으면 이전 패킷의 손실이 발생한 경우이므로 부가 전송 방식에 따라 패킷 손실 복구를 수행하게 된다.However, as a result of the comparison of S45, if the counter and the SNR are not the same, the packet loss recovery is performed according to the additional transmission method because the previous packet loss occurs.
이를 위해 먼저, 수신된 패킷의 부가 전송 방식을 저장하고 있는 CSR 값이 0인지 확인한다(S46). CSR 값이 0이면 현재 전송되는 부가 방식이 도 3의 (31) 방식즉, 표준 방식이므로 PEB 버퍼의 데이터 만이 의미를 갖는다. 따라서, 손실 패킷의 복구없이 PEB 버퍼(256)의 데이터를 실시간 전송 처리기(230)의 오디오 출력부(231)에 전달한다.To this end, first, it is checked whether the CSR value storing the additional transmission scheme of the received packet is 0 (S46). If the CSR value is 0, only the data in the PEB buffer has meaning since the additional method currently transmitted is the method (31) of FIG. 3. Accordingly, the data of the PEB buffer 256 is transmitted to the audio output unit 231 of the real time transmission processor 230 without recovering the lost packet.
그러나 S46에서의 확인 결과, CSR 값이 0이 아니면 다시 CSR 값이 1인지 확인한다(S47). CSR 값이 1이면 도 3도의 (32) 방식, 즉 1-순서 중복 방식이므로 REB 버퍼(257)의 데이터를 디코더(259)에 보내어 디코딩하여 실시간 전송 처리기(230)의 오디오 출력부(232)에 전달하여 바로 이전에 손실된 패킷을 복구한다(S48). 그런 다음 S43을 수행하여 PEB 버퍼(256)의 현재 패킷 부분을 데이터를 실시간 전송 처리기(230)의 오디오 출력부(231)에 전달한다.However, as a result of the check in S46, if the CSR value is not 0, it is checked whether the CSR value is 1 again (S47). If the CSR value is 1, the method 32 (Fig. 3), that is, the 1-sequence duplication method, sends the data of the REB buffer 257 to the decoder 259 and decodes the data to the audio output unit 232 of the real-time transmission processor 230. The packet is recovered and recovered immediately before the packet is lost (S48). Then, S43 is performed to transfer the current packet part of the PEB buffer 256 to the audio output unit 231 of the real-time transmission processor 230.
그러나 S47에서의 확인 결과 CSR 값이 1이 아니면 2-순서 중복 방식이므로 가장 최근에 손실된 2개의 패킷을 복구할 수 있다.However, if the result of the check in S47 is not 1, the two-sequential redundancy method can recover the two most recently lost packets.
이를 위해 먼저 HFR의 값이 1인지 확인한다(S48). HFR은 패킷 손실 복구에 필요한 데이터가 보류 버퍼(257)에 저장되어 있는지를 알려준다.To this end, first check whether the value of the HFR is 1 (S48). The HFR tells whether the data needed for packet loss recovery is stored in the hold buffer 257.
S48에서의 확인 결과 HFR 값이 1이면 보류 버퍼(258)에 저장되어 있는 REB 데이터를 디코더(259)에 보내어 디코딩하여 실시간 전송 처리기(231)의 오디오 출력부(232)에 전달함으로써 현재 보다 2번째 앞의 손실된 패킷을 복구한다(S49).If the HFR value of S48 is 1, the REB data stored in the holding buffer 258 is sent to the decoder 259 for decoding, and then transmitted to the audio output unit 232 of the real-time transmission processor 231, which is second from the present. The previous lost packet is recovered (S49).
S48에서의 확인 결과 HFR 값이 1이 아닌 경우 및 S49를 수행하여 패킷을 복구한 다음에 SNR과 Counter의 차이가 2 이상 인지를 확인한다(S50). 이는 2개 이상 연속 손실이 발생하였는지를 확인하기 위한 것이다.As a result of the check in S48, if the HFR value is not 1 and S49 is performed to recover the packet, it is checked whether the difference between the SNR and the counter is 2 or more (S50). This is to check whether two or more consecutive losses have occurred.
S50에서의 확인 결과, SNR과 Counter의 차이가 2 보다 작은 경우 현재 수신된 패킷에는 이전에 손실된 패킷을 복구할 부가 데이터가 포함되어 있지 않으므로 패킷 손실의 복구가 불가능하다. 따라서 손실 복구없이 끝낸다.As a result of checking in S50, when the difference between the SNR and the counter is less than 2, the packet currently received cannot be recovered since the currently received packet does not include additional data for recovering the previously lost packet. Thus ends without loss recovery.
S50에서의 확인 결과, SNR과 Counter의 차이가 2 이상인 경우, 즉 이전 패킷이 2개 이상 손실되었으면 손실된 패킷 복구를 위해 수신된 패킷을 보류 버퍼(258)에 저장하고, HFR을 1로 세트한다(S51, S52).As a result of checking in S50, if the difference between the SNR and the counter is 2 or more, that is, if two or more previous packets are lost, the received packet is stored in the pending buffer 258 for recovering the lost packet, and the HFR is set to 1. (S51, S52).
HFR 레지스터를 이용하는 이유는 2-순서 중복 방식에서 이미 수신되어 재생 순서를 기다리는 PEB 데이터가 있는가를 검색하여 보류 버퍼(258)의 데이터를 우선 처리함으로써 오디오 데이터의 재생 순서를 지키기 위함이다.The reason for using the HFR register is to ensure the reproduction order of the audio data by first processing the data in the holding buffer 258 by searching whether there is PEB data already received and waiting for the reproduction order in the two-order redundancy scheme.
상술한 바와 같은 본 발명은 오디오 스트림 데이터를 통신망에 전달할 때 발생하는 패킷 손실에 의해 수신자의 음성 인식 왜곡 또는 인식 불능을 최소화할 수 있으며, 부가 데이터의 트래픽 오버헤드를 최소화함으로써 네트워크의 부담을 줄일 수 있다.As described above, the present invention can minimize the speech recognition distortion or the inability to recognize the receiver due to packet loss generated when the audio stream data is transmitted to the communication network, and can reduce the burden on the network by minimizing the traffic overhead of additional data. have.
또한 응용 서비스의 요구에 따라 가변적으로 손실 복구율을 맞출 수 있는 부가 전송 방식을 선택함으로써 실시간 대화형 서비스에서 질 좋은 오디오를 효과적으로 지원할 수 있다.In addition, it is possible to effectively support high quality audio in the real-time interactive service by selecting an additional transmission method that can adjust the loss recovery rate variably according to the demand of the application service.
이상에서 본 발명에 대한 기술사상을 첨부도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술분야의 통상의 지식을 가진 자라면 누구나 본 발명의 기술사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.The technical spirit of the present invention has been described above with reference to the accompanying drawings, but this is by way of example only and not intended to limit the present invention. In addition, it is obvious that any person skilled in the art can make various modifications and imitations without departing from the scope of the technical idea of the present invention.
Claims (8)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990046087A KR100341391B1 (en) | 1999-10-22 | 1999-10-22 | Adaptive added transmission method and packet loss recovery method for interactive audio service, and audio input-output control device in multimedia computer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990046087A KR100341391B1 (en) | 1999-10-22 | 1999-10-22 | Adaptive added transmission method and packet loss recovery method for interactive audio service, and audio input-output control device in multimedia computer |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20010038203A true KR20010038203A (en) | 2001-05-15 |
| KR100341391B1 KR100341391B1 (en) | 2002-06-21 |
Family
ID=19616542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019990046087A KR100341391B1 (en) | 1999-10-22 | 1999-10-22 | Adaptive added transmission method and packet loss recovery method for interactive audio service, and audio input-output control device in multimedia computer |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100341391B1 (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030017934A (en) * | 2001-08-25 | 2003-03-04 | 주식회사 한디지털 | From internet watch telephone anger sampling characteristic data revision method and revision semiconductor |
| KR100462070B1 (en) * | 2000-10-27 | 2004-12-17 | 엘지전자 주식회사 | Apparatus and Method for Prevention against Data Loss in VoIP |
| KR100462024B1 (en) * | 2002-12-09 | 2004-12-17 | 한국전자통신연구원 | Method for restoring packet loss by using additional speech data and transmitter and receiver using the method |
| KR100594599B1 (en) * | 2004-07-02 | 2006-06-30 | 한국전자통신연구원 | Receiver based packet loss recovery apparatus and method |
| KR100794424B1 (en) * | 2001-11-01 | 2008-01-16 | 엘지노텔 주식회사 | Audio packet switching system and method |
| KR100833222B1 (en) * | 2000-03-29 | 2008-05-28 | 삼성전자주식회사 | Apparatus for transmitting/receiving multimedia data and method thereof |
| US9014037B2 (en) | 2011-10-28 | 2015-04-21 | Electronics And Telecommunications Research Institute | Apparatus and method for transmitting/receiving data in communication system |
| US9036658B2 (en) | 2012-06-29 | 2015-05-19 | Electronics And Telecommunications Research Institute | Apparatus and method for transmitting/receiving data in communication system |
| US9667756B2 (en) | 2012-06-05 | 2017-05-30 | Electronics And Telecommunications Research Institute | Apparatus and method for transmitting/receiving data in communication system |
| KR20200099312A (en) * | 2019-02-14 | 2020-08-24 | 국방과학연구소 | Apparatus and method for controlling multi communication |
| CN114499731A (en) * | 2022-01-25 | 2022-05-13 | 中电科航空电子有限公司 | Ethernet synchronization method and system for cabin broadcast audio |
| CN116846038A (en) * | 2023-08-29 | 2023-10-03 | 武汉船用电力推进装置研究所(中国船舶集团有限公司第七一二研究所) | Method, device, equipment and storage medium for collecting and transmitting battery data |
| US12184749B2 (en) | 2021-06-01 | 2024-12-31 | Lg Electronics Inc. | Display device and operation method of same |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5426640A (en) * | 1992-01-21 | 1995-06-20 | Codex Corporation | Rate-based adaptive congestion control system and method for integrated packet networks |
| US5432787A (en) * | 1994-03-24 | 1995-07-11 | Loral Aerospace Corporation | Packet data transmission system with adaptive data recovery method |
-
1999
- 1999-10-22 KR KR1019990046087A patent/KR100341391B1/en not_active IP Right Cessation
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100833222B1 (en) * | 2000-03-29 | 2008-05-28 | 삼성전자주식회사 | Apparatus for transmitting/receiving multimedia data and method thereof |
| KR100462070B1 (en) * | 2000-10-27 | 2004-12-17 | 엘지전자 주식회사 | Apparatus and Method for Prevention against Data Loss in VoIP |
| KR20030017934A (en) * | 2001-08-25 | 2003-03-04 | 주식회사 한디지털 | From internet watch telephone anger sampling characteristic data revision method and revision semiconductor |
| KR100794424B1 (en) * | 2001-11-01 | 2008-01-16 | 엘지노텔 주식회사 | Audio packet switching system and method |
| KR100462024B1 (en) * | 2002-12-09 | 2004-12-17 | 한국전자통신연구원 | Method for restoring packet loss by using additional speech data and transmitter and receiver using the method |
| KR100594599B1 (en) * | 2004-07-02 | 2006-06-30 | 한국전자통신연구원 | Receiver based packet loss recovery apparatus and method |
| US9014037B2 (en) | 2011-10-28 | 2015-04-21 | Electronics And Telecommunications Research Institute | Apparatus and method for transmitting/receiving data in communication system |
| US9667756B2 (en) | 2012-06-05 | 2017-05-30 | Electronics And Telecommunications Research Institute | Apparatus and method for transmitting/receiving data in communication system |
| US9036658B2 (en) | 2012-06-29 | 2015-05-19 | Electronics And Telecommunications Research Institute | Apparatus and method for transmitting/receiving data in communication system |
| KR20200099312A (en) * | 2019-02-14 | 2020-08-24 | 국방과학연구소 | Apparatus and method for controlling multi communication |
| US11196793B2 (en) | 2019-02-14 | 2021-12-07 | Agency For Defense Development | Method and apparatus for adaptive streaming based on hybrid TCP and UDP in multiple narrowband wireless communication environment |
| US12184749B2 (en) | 2021-06-01 | 2024-12-31 | Lg Electronics Inc. | Display device and operation method of same |
| CN114499731A (en) * | 2022-01-25 | 2022-05-13 | 中电科航空电子有限公司 | Ethernet synchronization method and system for cabin broadcast audio |
| CN114499731B (en) * | 2022-01-25 | 2024-05-28 | 中电科航空电子有限公司 | Ethernet synchronization method and system for cabin broadcast audio |
| CN116846038A (en) * | 2023-08-29 | 2023-10-03 | 武汉船用电力推进装置研究所(中国船舶集团有限公司第七一二研究所) | Method, device, equipment and storage medium for collecting and transmitting battery data |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100341391B1 (en) | 2002-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6574218B1 (en) | Method and system for spatially disjoint joint source and channel coding for high-quality real-time multimedia streaming over connection-less networks via circuit-switched interface links | |
| CN106656422B (en) | Streaming media transmission method for dynamically adjusting FEC redundancy | |
| US10014977B2 (en) | Systems and methods for transmitting data | |
| JP4405875B2 (en) | Method and apparatus for generating data for error correction, generation program, and computer-readable recording medium storing the program | |
| US7151754B1 (en) | Complete user datagram protocol (CUDP) for wireless multimedia packet networks using improved packet level forward error correction (FEC) coding | |
| JP4413437B2 (en) | Updating the packet communication header compression status | |
| US7636298B2 (en) | Apparatus and method for packet error correction | |
| JP4582565B2 (en) | Robust header compression in packet communication | |
| US6233251B1 (en) | Multiplex transmission method and system, and audio jitter absorbing method used therein | |
| KR100341391B1 (en) | Adaptive added transmission method and packet loss recovery method for interactive audio service, and audio input-output control device in multimedia computer | |
| JP3512755B2 (en) | Communication system, communication device, and communication system using this communication device | |
| US7009935B2 (en) | Transmission over packet switched networks | |
| CN101536088B (en) | System and method for providing redundancy management | |
| GB2495929A (en) | Transmitter processing control according to jitter buffer status information of the receiver | |
| GB2495927A (en) | Optimising transmission parameters and receiver buffer state | |
| CN101162973B (en) | Method and devices for digital data transfer | |
| GB2495928A (en) | Real-time streaming system with interdependent determination of transmission parameters and receiver jitter buffer parameters | |
| CN108696491B (en) | Audio data sending processing method and device and audio data receiving processing method and device | |
| JPH11177623A (en) | Data sending device, data reception equipment and data transmission equipment | |
| JPH1198128A (en) | Data transmitter | |
| WO2013072765A2 (en) | Method and apparatus for compressing communication packets | |
| JP4400571B2 (en) | Coding data processing method and gateway device in connection between different types of communication networks | |
| JP2000307637A (en) | Multimedia terminal device and inter-network connecting device | |
| JPH1118086A (en) | Image communication method and system | |
| JP2003023462A (en) | Retransmission method for multipoint broadcast network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 19991022 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20010726 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20020320 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20020607 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20020608 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20050601 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20060601 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20070531 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20080530 Start annual number: 7 End annual number: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20090602 Start annual number: 8 End annual number: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20100601 Start annual number: 9 End annual number: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20110531 Year of fee payment: 10 |
|
| PR1001 | Payment of annual fee |
Payment date: 20110531 Start annual number: 10 End annual number: 10 |
|
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |