JP2005322995A

JP2005322995A - Buffer control method, transmission terminal, reception terminal, video distribution system, and program in real-time video transfer

Info

Publication number: JP2005322995A
Application number: JP2004137699A
Authority: JP
Inventors: Katsuhiko Okazaki; 勝彦岡崎; Masao Masugi; 正男馬杉
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2004-05-06
Filing date: 2004-05-06
Publication date: 2005-11-17

Abstract

【課題】ネットワークのジッタの変化に応じて映像再生遅延時間を最小化し、かつバッファのアンダーフローによる映像停止やオーバーフローによる映像フレームの欠落を最小限に抑える。
【解決手段】送信端末１Ａは映像配信中にフレームレートを変更するフレームレート制御部１４を有している。受信端末２Ａは、ネットワーク３のジッタを吸収するバッファ２２と、バッファ２２からのデコーダ２３によるデータ読み出しのタイミングであるバッファ閾値を制御するバッファ閾値制御部２６と、ＩＰパケットの到着時刻、該ＲＴＰパケットのタイムスタンプ、該映像フレームの到着間隔、該映像フレーム生成時刻の１つ以上のパラメータから計算される映像フレーム間隔の平均ジッタ量に応じて、バッファ閾値制御部２６を介して該バッファ閾値を変更すると同時にフレームレート制御部１４を介してフレームレートを変更する映像品質監視部２５を有している。
【選択図】図１PROBLEM TO BE SOLVED: To minimize a video reproduction delay time according to a change in jitter of a network and to minimize a video frame missing due to a video stop or overflow due to a buffer underflow.
A transmission terminal 1A has a frame rate control unit 14 that changes a frame rate during video distribution. The receiving terminal 2A includes a buffer 22 that absorbs jitter of the network 3, a buffer threshold control unit 26 that controls a buffer threshold that is a timing of data reading by the decoder 23 from the buffer 22, an arrival time of the IP packet, and the RTP packet. The buffer threshold value is changed via the buffer threshold value control unit 26 according to the average jitter amount of the video frame interval calculated from one or more parameters of the time stamp of the video frame, the arrival interval of the video frame, and the video frame generation time. At the same time, a video quality monitoring unit 25 that changes the frame rate via the frame rate control unit 14 is provided.
[Selection] Figure 1

Description

本発明は、ネットワークを介して、複数の端末が接続された環境における映像配信システムに関する。 The present invention relates to a video distribution system in an environment in which a plurality of terminals are connected via a network.

リアルタイムに映像を符号化し、ネットワークを介して複数のユーザに映像を配信するシステムにおいては、映像がシステムに入力されてから、端末で再生されるまでの遅延時間（以下、エンドーエンド遅延とする）を短縮することが求められる。特に、映像による監視サービス、ライブ放送サービス、双方向のビデオ会議サービスにおいては、エンドーエンド遅延はサービス品質に大きく影響を与える。 In a system that encodes video in real time and distributes the video to multiple users via a network, a delay time from when the video is input to the system until it is played back by the terminal (hereinafter referred to as end-to-end delay) Is required to be shortened. In particular, in video surveillance services, live broadcast services, and interactive video conferencing services, end-to-end delay greatly affects service quality.

まず、一般的な映像のパケット転送の仕組みを説明する。映像は、送信端末のエンコーダにて一定時間間隔でフレーム（符号化方式によってはピクチャやＶＯＰ（ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅ）と呼ばれることもある）単位もしくはフレームを構成するマクロブロック（以下ＭＢと略す）単位で符号化され、バッファ（ＶＢＶバッファと呼ばれることもある）にて平滑化された後、転送するネットワークに応じてパケット化された後、特定の送信レートで送信される。受信端末において、到着したパケットはフレーム単位もしくはＭＢ単位に分解され、バッファ（ＶＢＶバッファと呼ばれることもある）にてバッファリングされた後、デコーダにて一定時間間隔で復号され、映像として再生される。 First, a general video packet transfer mechanism will be described. The video is framed at a certain time interval by the encoder of the transmitting terminal (may be called a picture or VOP (Video Object Plane) depending on the coding method) or a macroblock (hereinafter abbreviated as MB) constituting the frame. After being encoded and smoothed in a buffer (sometimes called a VBV buffer), it is packetized according to the network to be transferred, and then transmitted at a specific transmission rate. At the receiving terminal, the arriving packet is decomposed into frame units or MB units, buffered in a buffer (sometimes called a VBV buffer), then decoded by a decoder at regular time intervals and reproduced as video. .

したがって、送信端末における符号化時のバッファおよび受信端末における復号時のバッファで遅延が発生する。特に、復号においては、ネットワークのジッタによって発生するバッファのアンダーフローによる映像の停止やオーバーフローによる映像フレームの欠落を防ぐため、十分なバッファリングが必要になり、そのため遅延時間が増大するという問題がある。すなわち、ジッタを吸収するためには十分なバッファを設けることが必要となるが、必要以上のバッファが遅延時間の増大に繋がる。原理的には、最低でも１フレーム分のバッファリングが必要であり、一般的にはフレームレートが３０ｆ／ｓの映像については、３３ｍｓ×２以上のバッファを装備している。 Therefore, a delay occurs in the encoding buffer in the transmitting terminal and the decoding buffer in the receiving terminal. In particular, in decoding, there is a problem that sufficient buffering is required to prevent video stoppage due to buffer underflow caused by network jitter and loss of video frames due to overflow, which increases delay time. . In other words, it is necessary to provide a sufficient buffer to absorb jitter, but an unnecessarily large buffer leads to an increase in delay time. In principle, at least one frame of buffering is necessary. Generally, for a video with a frame rate of 30 f / s, a buffer of 33 ms × 2 or more is provided.

従来技術では、このバッファリング遅延を短縮するために、バッファ容量を小さくしてもバッファが破綻しないように、符号化時の符号量をなるべく一定に押さえる技術が提案されている（非特許文献１、非特許文献２）。しかし、これらは全てバッファ容量が一定であることを前提としているため、ジッタが時間と共に変動するネットワークにおいては、ジッタに応じた適切なバッファ量の設定を常に行うことは困難である。このため、映像フレームの欠損や必要以上の遅延を生じるといった問題があった。
高橋健志，ｅｔａｌ，“低遅延ＭＰＥＧ−４通信システムにおける解像度変換の有効性”，電子情報通信学会技術研究報告，Ｖｏｌ．１０１，Ｎｏ．６２７（ＩＥ２００１１９０−２３１），ｐｐ．１９−２４，２００１．辻裕之，ｅｔａｌ，“低ビットレート映像符号化の画質改善に関する検討−ピクチャスキップ抑制のためのプレフィルタ制御法−”，情報技術レターズ，Ｖｏｌ．ＦＩＴ２００３，ｐｐ．２５５−２５７，２００３． In the prior art, in order to reduce the buffering delay, a technique has been proposed in which the code amount at the time of encoding is kept as constant as possible so that the buffer does not fail even if the buffer capacity is reduced (Non-patent Document 1). Non-Patent Document 2). However, since these are all based on the assumption that the buffer capacity is constant, it is difficult to always set an appropriate buffer amount according to the jitter in a network in which the jitter varies with time. For this reason, there has been a problem that a video frame is lost or an unnecessary delay occurs.
Takeshi Takahashi, et al, “Effectiveness of Resolution Conversion in Low-Delay MPEG-4 Communication System”, IEICE Technical Report, Vol. 101, no. 627 (IE2001 190-231), pp. 19-24, 2001. Hiroyuki Tsuji, et al, “A Study on Image Quality Improvement of Low Bit Rate Video Coding—Prefilter Control Method for Suppressing Picture Skipping”, Information Technology Letters, Vol. FIT2003, pp. 255-257, 2003.

本発明の目的は、ネットワークのジッタの変化に応じて映像再生遅延時間を最小化し、かつバッファのアンダーフローによる映像停止やオーバーフローによる映像フレームの欠落を最小限に抑えることを可能とするリアルタイムバッファ制御方法、受信端末、送信端末、映像配信システム、およびプログラムを提供することである。 An object of the present invention is to provide a real-time buffer control that minimizes video playback delay time according to changes in network jitter and minimizes video frame loss due to buffer stoppage or overflow. It is to provide a method, a receiving terminal, a transmitting terminal, a video distribution system, and a program.

上記目的を達成するために、本発明は、送信端末に、映像配信中にフレームレートを変更するフレームレート制御部と、受信端末に、ネットワークのジッタを吸収するバッファと、バッファからデコーダへのデータ読み出し閾値を制御するバッファ閾値制御部と、受信端末におけるＩＰパケットの到着時刻、ＲＴＰパケットのタイムスタンプ、映像フレームの到着間隔、映像フレーム生成時刻のうち１つ以上のパラメータを監視する品質監視部を設けて、これらのパラメータから計算される映像フレーム間隔の平均ジッタ量に応じて、バッファ閾値制御部を介してバッファ閾値を変更すると同時にフレームレート制御部を介してフレームレートを変更する。デコーダは読み出し閾値までデータが蓄積されるのを待って、フレームレートの定める時間間隔で復号を開始する。バッファ閾値を超えて蓄積されたデータは破棄し、バッファ閾値にデータ蓄積が達していない場合は、データ読み出しを一時停止し、バッファ閾値までデータが蓄積されるのを待って再度フレームレートの定める時間間隔で復号を開始する。 In order to achieve the above object, the present invention provides a transmission terminal with a frame rate control unit that changes a frame rate during video distribution, a reception terminal with a buffer that absorbs network jitter, and data from the buffer to the decoder. A buffer threshold value control unit that controls the read threshold value, and a quality monitoring unit that monitors one or more parameters of the arrival time of the IP packet, the time stamp of the RTP packet, the arrival interval of the video frames, and the video frame generation time at the receiving terminal The buffer threshold is changed via the buffer threshold control unit and the frame rate is changed via the frame rate control unit according to the average jitter amount of the video frame interval calculated from these parameters. The decoder waits for the data to be accumulated up to the read threshold value and starts decoding at a time interval determined by the frame rate. Data accumulated exceeding the buffer threshold is discarded, and if the data accumulation has not reached the buffer threshold, data reading is temporarily stopped, the data is accumulated until the buffer threshold, and the frame rate is determined again. Start decoding at intervals.

基本的な考え方は以下の通りである。受信端末における必要最小限のバッファリング時間は、ｉ番目のフレームを復号するために必要な最初のパケットが到着してから、ｉ番目のフレームを復号するために必要な最後のパケットが到着し終わるまでの時間である。しかし、フレームの符号量はフレーム毎に異なるため、デコーダへ読み出しを一定時間間隔で実行すると、符号量の大きなフレームの場合は、バッファのアンダーフローが発生する。そこで、これを防ぐためにｉ＋１番目のフレームの先頭パケットが到着するまでバッファリングすることとする。したがって、フレームレートに合わせてバッファ量が常にフレーム間隔となるように制御する。さらに、フレームレートを増加させることで、バッファにおける１フレームあたりの待機時間を短縮できる。ここで、フレーム間隔はジッタ量以下にはできないことから、フレームレートはジッタ量の逆数を上限とする。 The basic idea is as follows. The minimum buffering time required at the receiving terminal is that the first packet necessary for decoding the i-th frame arrives and the last packet necessary for decoding the i-th frame ends. It is time until. However, since the code amount of a frame differs from frame to frame, if reading to the decoder is performed at regular time intervals, a buffer underflow occurs in the case of a frame with a large code amount. Therefore, in order to prevent this, buffering is performed until the leading packet of the (i + 1) th frame arrives. Accordingly, control is performed so that the buffer amount always becomes the frame interval in accordance with the frame rate. Furthermore, the waiting time per frame in the buffer can be shortened by increasing the frame rate. Here, since the frame interval cannot be less than or equal to the jitter amount, the frame rate has the upper limit of the reciprocal of the jitter amount.

フレームレートをＦＲ、バッファ閾値をＢ、平均ジッタ量をＪとしたとき、Ｂ＝Ｊ＋１／ＦＲとなるようにバッファ閾値を制御し、フレームレートＦＲは１／Ｊを上限とするため、ＦＲ＝１／Ｊ、Ｂ＝２Ｊとなるように制御する。すなわち、バッファには常に２つのフレームが蓄積されてからエンコーダに読みだされる。動作としては、ＦＲ＜１／Ｊのときは、ＦＲ＝１／Ｊとなるまでフレームレートを増加させることで、バッファ閾値Ｂを２Ｊまで減少させ、映像再生までの遅延時間を減少させる。ＦＲ＞１／Ｊのときは、ＦＲ＝１／Ｊとなるまでフレームレートを減少させることで、バッファ閾値Ｂを２Ｊまで増加させ、映像再生までの遅延時間を増大させる。 When the frame rate is FR, the buffer threshold is B, and the average jitter amount is J, the buffer threshold is controlled so that B = J + 1 / FR. Since the frame rate FR is 1 / J, FR = 1 Control is performed so that / J, B = 2J. That is, two frames are always stored in the buffer and then read out to the encoder. As an operation, when FR <1 / J, the buffer threshold B is decreased to 2J by increasing the frame rate until FR = 1 / J, and the delay time until video reproduction is decreased. When FR> 1 / J, by reducing the frame rate until FR = 1 / J, the buffer threshold B is increased to 2J, and the delay time until video reproduction is increased.

以上説明したように、本発明によれば、ネットワークの状態変化に応じて映像再生遅延時間を最小化し、かつバッファのアンダーフローによる品質劣化を最小限に抑えることが可能である。すなわち、ネットワークのジッタ量が多い悪条件下では、バッファ量を増加させ、遅延を犠牲にしても画像品質を担保し、条件回復時にはバッファ量を減少させ、遅延時間を短くする。 As described above, according to the present invention, it is possible to minimize the video reproduction delay time in accordance with a change in the state of the network, and to minimize the quality deterioration due to the buffer underflow. That is, under bad conditions with a large amount of jitter in the network, the buffer amount is increased, image quality is ensured even at the expense of delay, the buffer amount is decreased and the delay time is shortened when the condition is restored.

次に、本発明の実施の形態について図面を参照して説明する。 Next, embodiments of the present invention will be described with reference to the drawings.

［第１の実施形態］
図１は本発明の第１の実施形態の映像配信システムの構成図である。 [First Embodiment]
FIG. 1 is a configuration diagram of a video distribution system according to a first embodiment of this invention.

本実施形態の映像配信システムは送信端末１Ａと受信端末２Ａで構成され、両者はネットワーク３を介して互いに接続される。 The video distribution system according to this embodiment includes a transmission terminal 1A and a reception terminal 2A, and both are connected to each other via a network 3.

送信端末１Ａはキャプチャカード１０とエンコーダ１１とバッファ１２とパケット送信部１３とフレームレート制御部１４を有し、キャプチャカード１０には映像入力装置４が接続されている。受信端末２Ａはパケット受信部２１とバッファ２２とデコーダ２３とビデオカード２４と映像品質監視部２５とバッファ閾値制御部２６を有し、ビデオカード２４は映像表示装置５に接続されている。フレームレート制御部１４は、受信端末２Ａ内やネットワーク３上の任意の端末内に配置することが可能であるが、ここでは送信端末１Ａ内に配置した例を示している。 The transmission terminal 1A includes a capture card 10, an encoder 11, a buffer 12, a packet transmission unit 13, and a frame rate control unit 14, and a video input device 4 is connected to the capture card 10. The receiving terminal 2 </ b> A includes a packet receiving unit 21, a buffer 22, a decoder 23, a video card 24, a video quality monitoring unit 25, and a buffer threshold control unit 26, and the video card 24 is connected to the video display device 5. The frame rate control unit 14 can be arranged in the receiving terminal 2A or an arbitrary terminal on the network 3, but here, an example is shown in which it is arranged in the transmitting terminal 1A.

主信号である映像は、映像入力装置４から入力され、キャプチャカード１０によりデジタルデータ化され、エンコーダ１１で圧縮符号化され、バッファ１２で平滑化された後、パケット送信部１３からネットワーク３に送信される。ネットワーク３に送信された映像パケットは、受信端末２におけるパケット受信部２１で受信され、バッファ２２を介してバッファリングされた後、デコーダ２３で復号され、ビデオカード２４にて画面表示処理が施され、映像表示装置５で再生される。映像品質監視部２５は、パケット受信部２１で受信されたＩＰパケットから、ＩＰパケットの到着時刻、ＲＴＰパケットのタイムスタンプ、映像フレームの到着間隔、映像フレーム生成時刻のうち１つ以上のパラメータから計算される映像フレーム間隔のジッタ量、もしくはデコーダ２３からのフレームの生成時刻情報を得ることで、復号後のフレーム生成間隔のジッタ量に応じて、選択的にフレームレート制御部１４に対して、フレームレート変更を指示するとともに、バッファ閾値制御部２６に対して、バッファ閾値の変更を指示する。フレームレート制御部１４は、映像品質監視部２５からの指示によって、エンコーダ１１に対してフレームレートの設定を変更する。バッファ閾値制御部２６は、映像品質監視部２５の指示によりバッファ２２に対してバッファ閾値の変更を指示する。デコーダ２３は読み出し閾値までデータが蓄積されるのを待って、その時点で設定されているフレームレートで復号を開始する。バッファ閾値を超えて蓄積されたデータは破棄し、バッファ閾値にデータ蓄積が達していない場合は、データ読み出しを一時停止し、バッファ閾値までデータが蓄積されるのを待って再度フレームレートの定める時間間隔で復号を開始する。図２にバッファ制御の動作イメージを示す。映像フレーム間隔のジッタ量が大きいときは、フレームレートを小さくするとともにバッファの読み出し閾値も大きくする。映像フレーム間隔のジッタ量が小さいときは、フレームレートを大きくするとともにバッファの読み出し閾値も小さくする。ここでは、バッファ２２に３フレーム分蓄積された時点で読み出す（バッファ閾値＝３フレーム分の時間）状態を表している。 The video that is the main signal is input from the video input device 4, converted into digital data by the capture card 10, compressed and encoded by the encoder 11, smoothed by the buffer 12, and then transmitted from the packet transmitter 13 to the network 3. Is done. The video packet transmitted to the network 3 is received by the packet receiver 21 in the receiving terminal 2, buffered through the buffer 22, decoded by the decoder 23, and subjected to screen display processing by the video card 24. It is reproduced by the video display device 5. The video quality monitoring unit 25 calculates from the IP packet received by the packet receiving unit 21 from one or more parameters of an IP packet arrival time, an RTP packet time stamp, a video frame arrival interval, and a video frame generation time. By obtaining the jitter amount of the video frame interval to be performed or the generation time information of the frame from the decoder 23, the frame rate control unit 14 is selectively subjected to the frame rate according to the jitter amount of the frame generation interval after decoding. In addition to instructing the rate change, the buffer threshold control unit 26 is instructed to change the buffer threshold. The frame rate control unit 14 changes the frame rate setting for the encoder 11 in accordance with an instruction from the video quality monitoring unit 25. The buffer threshold control unit 26 instructs the buffer 22 to change the buffer threshold according to an instruction from the video quality monitoring unit 25. The decoder 23 waits for the data to be accumulated up to the read threshold value, and starts decoding at the frame rate set at that time. Data accumulated exceeding the buffer threshold is discarded, and if the data accumulation has not reached the buffer threshold, data reading is temporarily stopped, the data is accumulated until the buffer threshold, and the frame rate is determined again. Start decoding at intervals. FIG. 2 shows an operation image of buffer control. When the jitter amount of the video frame interval is large, the frame rate is decreased and the buffer reading threshold is also increased. When the jitter amount of the video frame interval is small, the frame rate is increased and the buffer reading threshold is also decreased. Here, a state in which reading is performed when three frames are stored in the buffer 22 (buffer threshold = time corresponding to three frames) is shown.

図３は映像品質監視部２５の構成図である。映像品質監視部２５は入力部３１とＩＰヘッダ解析部３２とＲＴＰヘッダ解析部３３とペイロード解析部３４とジッタ解析部３５と判断部３６と制御出力部３７で構成されている。入力部３１は、パケット受信部２１からＩＰパケットの到着時刻、ＩＰパケットヘッダ情報、ＲＴＰヘッダ情報、ペイロード情報を得る。ＩＰヘッダ解析部３２にてＩＰパケットの到着時刻を、ＲＴＰヘッダ解析部３３にてＲＴＰタイムスタンプによるＲＴＰパケットの送信時刻とマーカビットによるフレーム境界を、ペイロード解析部３４にてフレーム種別（Ｉフレーム、Ｐフレーム、Ｂフレーム）を検出する。 FIG. 3 is a configuration diagram of the video quality monitoring unit 25. The video quality monitoring unit 25 includes an input unit 31, an IP header analysis unit 32, an RTP header analysis unit 33, a payload analysis unit 34, a jitter analysis unit 35, a determination unit 36, and a control output unit 37. The input unit 31 obtains the arrival time of the IP packet, IP packet header information, RTP header information, and payload information from the packet receiving unit 21. The IP header analysis unit 32 sets the arrival time of the IP packet, the RTP header analysis unit 33 sets the RTP packet transmission time based on the RTP time stamp and the frame boundary based on the marker bit, and the payload analysis unit 34 sets the frame type (I frame, P frame and B frame) are detected.

次に、ジッタ解析部３５における映像フレーム間隔のジッタ量の計算例を示す。ＲＴＰパケットの送信時刻とＩＰパケット到着時刻から、復号前のフレームレベルのジッタ量を計算する。この場合の受信端末２Ｂの構成は図４に示す構成となる。ここで、ＩＰパケットの到着時刻は、ＲＴＰパケットを構成するＩＰパケットのうち最後に到着したパケットを対象とすればよい。平均ジッタ量Ｊの算出については、例えばＳiをｉ番目のパケットのパケット送信時刻、Ｒ_iをｉ番目のパケットのパケット到着時刻、Ｄを瞬間のジッタ量として、Ｍ個のパケットの単純移動平均として以下の式で与えることができる。（参考：ＲＦＣ１８８９６．３．１ＳＲ：ＳｅｎｄｅｒｒｅｐｏｒｔＲＴＣＰｐａｃｋｅｔｈｔｔｐ：／／ｗｗｗ．ｉｅｔｆ．ｏｒｇ／ｒｆｃ／ｒｆｃ１８８９．ｔｘｔ）。 Next, a calculation example of the jitter amount of the video frame interval in the jitter analysis unit 35 will be shown. From the RTP packet transmission time and the IP packet arrival time, the amount of jitter at the frame level before decoding is calculated. The configuration of the receiving terminal 2B in this case is the configuration shown in FIG. Here, the arrival time of the IP packet may be the packet that arrives last among the IP packets constituting the RTP packet. Regarding the calculation of the average jitter amount J, for example, Si is the packet transmission time of the i-th packet, R _i is the packet arrival time of the i-th packet, D is the instantaneous jitter amount, and a simple moving average of M packets. It can be given by the following formula. (Reference: RFC1889 6.3.1 SR: Sender report RTCP packet http://www.ietf.org/rfc/rfc1889.txt).

Ji=Ji-1+(|D(i-1,i)|-Ji-1)/M （１）
D(i,j)=(Rj-Ri)-(Sj-Si)=(Rj-Sj)-(Ri-Si) （２）
Ｍの値はＲＦＣ１８８９ではＭ＝１６となっているが、任意の値を取ることが可能である。また、他の例としては、最近の値に重みを付けて算出する加重移動平均や指数平滑移動平均等を用いることも考えられる。 Ji = Ji-1 + (| D (i-1, i) | -Ji-1) / M (1)
D (i, j) = (Rj-Ri)-(Sj-Si) = (Rj-Sj)-(Ri-Si) (2)
The value of M is M = 16 in RFC1889, but any value can be taken. As another example, it may be possible to use a weighted moving average or an exponential smoothing moving average calculated by weighting recent values.

ＲＴＰパケットの実装によっては、複数の小さな符号量のフレームを一つのＲＴＰパケットで転送する場合がある。この場合、フレーム毎のジッタを計算することができないため、ＲＴＰパケットのペイロード解析部３４にて解析し、内在するフレーム数をカウントして、部分的にジッタ計算から省くことも考えられる。ただし、端末の処理能力によってはパケットキャプチャによるヘッダの解析の負荷が増大する懸念がある。 Depending on the implementation of the RTP packet, a plurality of small code amount frames may be transferred in one RTP packet. In this case, since the jitter for each frame cannot be calculated, it is conceivable that the RTP packet is analyzed by the payload analysis unit 34, the number of frames present is counted, and partially excluded from the jitter calculation. However, there is a concern that the header analysis load by packet capture increases depending on the processing capability of the terminal.

もしくは、復号後のフレーム生成時刻情報から平均ジッタ量を求めることも可能であり、この場合受信端末２Ｃの構成は図５に示す構成となる。入力部３１を通して、デコーダ２３からのフレームの生成時刻情報を得ることで、復号後のフレーム生成間隔のジッタ量を算出することができる。すなわち、ｉ番目のフレームの到着時刻をＲ_i、送信端末１において予め設定されるフレームレートをＦＲとして、前記（２）式の瞬間のジッタ量をＪ_i＝１／ＦＲ−｜Ｒ_i−Ｒ_i+1｜として前記（１）式より平均ジッタ量Ｊを算出する。ただし、符号化方式のプロファイルによっては、双方向予測を用いたＢフレームが混在する映像の場合は注意が必要である。すなわち、Ｂフレームが到着した際には、次のＰフレームもしくはＩフレームの到着を待って復号を行う必要があるため、復号の順序が逆転する。このため、復号後のフレーム生成時刻情報を平均ジッタ量の計算に使用する場合は、Ｂフレームを除いたＩフレームとＰフレームから平均ジッタ量を求める必要がある。また、復号後のフレームのジッタ量は、復号に要する時間のジッタを含んでおり、フレームの符号量によっては、復号に要する時間が異なる。このため、ネットワークのジッタを吸収するためのバッファの制御に用いる本発明では、制御の精度が低くなることがある。 Alternatively, the average jitter amount can be obtained from the frame generation time information after decoding. In this case, the configuration of the receiving terminal 2C is as shown in FIG. By obtaining the frame generation time information from the decoder 23 through the input unit 31, it is possible to calculate the jitter amount of the frame generation interval after decoding. That is, assuming that the arrival time of the i-th frame is R _i , the frame rate preset in the transmission terminal 1 is FR, and the instantaneous jitter amount in the equation (2) is J _i = 1 / FR− | R _i −R. _The average jitter amount J is calculated from the equation (1) as _{i + 1} |. However, depending on the encoding scheme profile, care must be taken in the case of a video in which B frames using bidirectional prediction are mixed. That is, when the B frame arrives, it is necessary to perform decoding after waiting for the arrival of the next P frame or I frame, so that the decoding order is reversed. For this reason, when the decoded frame generation time information is used for calculating the average jitter amount, it is necessary to obtain the average jitter amount from the I frame and the P frame excluding the B frame. Moreover, the jitter amount of the frame after decoding includes jitter of time required for decoding, and the time required for decoding differs depending on the code amount of the frame. For this reason, in the present invention used for buffer control for absorbing network jitter, the accuracy of control may be lowered.

次に、ジッタ解析部３５で求めた平均ジッタ量Ｊに応じて、判断部３６で後述する判断ロジックを元に判断を行い、制御出力部３７からフレームレート制御部１４およびバッファ閾値制御部２６を通してフレームレートおよびバッファ閾値を制御する。 Next, according to the average jitter amount J obtained by the jitter analysis unit 35, the determination unit 36 makes a determination based on the determination logic described later, and passes from the control output unit 37 through the frame rate control unit 14 and the buffer threshold value control unit 26. Control frame rate and buffer threshold.

図６は、フレームレートおよびバッファ閾値制御のフローチャートである。フレームレートをＦＲ、バッファ閾値をＢ、平均ジッタ量をＪとする。初期値の設定は、フレームレートに関してはフレームレート制御部１４で行い、バッファ閾値に関してはバッファ閾値制御部２６で行う（ステップ１０１）。次に、パケット送信部１３より映像送信を開始し（ステップ１０２）、送信端末１より映像が停止されなければ動作を継続し、停止されれば終了する（ステップ１０３）。次に、パケット受信部２１にてパケットを受信し（ステップ１０４）、映像品質監視部２５にて受信パケットの平均ジッタ量Ｊを計算する（ステップ１０５）。次に、映像ＦＲ＝１／Ｊとなる場合は、バッファ閾値ＢはＢ＝２Ｊとしてフレームレートは変更しない（ステップ１０６、１０７）。ＦＲ≠１／Ｊのときは、映像品質監視部２５によりバッファ閾値制御部２６を介してＢ＝２Ｊとなるように変更し、フレームレート制御部１４を介してフレームレートＦＲ＝１／Ｊとなるように変更する（ステップ１０６、１０８、１０９）。次に、バッファ閾値制御部２６にて、バッファにおけるフレームの蓄積量とバッファ閾値を比較し、蓄積フレーム量＜Ｂの場合は、バッファ閾値を超える分のフレームを廃棄して（ステップ１１０、１１２）、蓄積フレーム量＞Ｂの場合は、そのまま受信フレームを蓄積して（ステップ１１０、１１１）、デコーダ２３がフレームを読み出し（ステップ１１３）、デコーダ２３にて復号する（ステップ１１４）。 FIG. 6 is a flowchart of frame rate and buffer threshold control. Assume that the frame rate is FR, the buffer threshold is B, and the average jitter amount is J. The initial value is set by the frame rate control unit 14 for the frame rate and the buffer threshold control unit 26 for the buffer threshold (step 101). Next, video transmission is started from the packet transmission unit 13 (step 102). If the video is not stopped from the transmission terminal 1, the operation is continued, and if it is stopped, the operation is ended (step 103). Next, the packet receiving unit 21 receives the packet (step 104), and the video quality monitoring unit 25 calculates the average jitter amount J of the received packet (step 105). Next, when the video FR = 1 / J, the buffer threshold B is set to B = 2J, and the frame rate is not changed (steps 106 and 107). When FR ≠ 1 / J, the video quality monitoring unit 25 changes the buffer threshold control unit 26 so that B = 2J, and the frame rate control unit 14 sets the frame rate FR = 1 / J. (Steps 106, 108, and 109). Next, the buffer threshold value control unit 26 compares the frame accumulation amount in the buffer with the buffer threshold value, and if the accumulation frame amount <B, discards frames exceeding the buffer threshold value (steps 110 and 112). If the amount of accumulated frames> B, the received frames are accumulated as they are (steps 110 and 111), the decoder 23 reads the frames (step 113), and the decoder 23 decodes them (step 114).

復号後のフレーム生成時刻情報から平均ジッタ量を求める場合は、図７に示す手順となる。すなわち、図６における映像品質監視部２５の動作ステップ１０５から１０９までをステップ２０３とし、バッファ閾値制御部２６の動作ステップ１１０から１１４までをステップ２０４とすれば、図６におけるステップ１０１から１０５までは同様の動作とし、パケット受信したのち、バッファリングおよび復号（ステップ２０１、２０２）を行った後、ステップ２０３およびステップ２０４を実行する。 When obtaining the average jitter amount from the frame generation time information after decoding, the procedure is as shown in FIG. That is, if operation steps 105 to 109 of the video quality monitoring unit 25 in FIG. 6 are set as step 203 and operation steps 110 to 114 of the buffer threshold value control unit 26 are set as step 204, steps 101 to 105 in FIG. The same operation is performed, and after receiving the packet, buffering and decoding (steps 201 and 202) are performed, and then step 203 and step 204 are executed.

また、蓄積フレーム数をｎとして新たに定義し、バッファ閾値をＢ＝ｎＪとすれば、バッファ２２にはｎ個のフレームが蓄積されてからデコーダ２３に読みだされることになる。このため、ジッタ量の急峻な変化に伴い必要以上にフレーム廃棄が増大する場合には、ｎを増やすことでフレーム廃棄を減らすことも可能である。ただし、遅延時間はその分増大することとなる。図２はｎ＝３の場合を示している。 If the number of accumulated frames is newly defined as n and the buffer threshold is set to B = nJ, n frames are accumulated in the buffer 22 and then read out to the decoder 23. For this reason, when frame discard increases more than necessary due to a sharp change in the jitter amount, it is possible to reduce frame discard by increasing n. However, the delay time increases accordingly. FIG. 2 shows the case where n = 3.

［第２の実施形態］
図８は本発明の第２の実施形態の映像配信システムの構成図である。図１の第１の実施形態との相異点は、送信端末１Ｂにおけるエンコーダ１１がバッファ１２を内蔵しており、受信端末２Ｄにおけるデコーダ２３がバッファ２２を内蔵している点であり、基本的な動作は第１の実施形態の通りである。このような構成をとることによって、映像配信システムやビデオ会議システムといったアプリケーションからはＡＰＩ（ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍＩｎｔｅｒｆａｃｅ）を規定しやすいといった利点がある。 [Second Embodiment]
FIG. 8 is a configuration diagram of a video distribution system according to the second embodiment of this invention. The difference from the first embodiment of FIG. 1 is that the encoder 11 in the transmission terminal 1B has a buffer 12 built in, and the decoder 23 in the reception terminal 2D has a buffer 22 built in. The operation is the same as in the first embodiment. By adopting such a configuration, there is an advantage that an application program interface (API) is easily defined from an application such as a video distribution system or a video conference system.

なお、本発明の送信端末、受信端末は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。 The transmission terminal and the reception terminal of the present invention are recorded on a computer-readable recording medium, and the program for realizing the function is recorded on the recording medium, in addition to those realized by dedicated hardware. The program may be read by a computer system and executed. The computer-readable recording medium refers to a recording medium such as a floppy disk, a magneto-optical disk, a CD-ROM, or a storage device such as a hard disk device built in the computer system. Furthermore, a computer-readable recording medium is a server that dynamically holds a program (transmission medium or transmission wave) for a short period of time, as in the case of transmitting a program via the Internet, and a server in that case. Some of them hold programs for a certain period of time, such as volatile memory inside computer systems.

本発明の第１の実施形態の映像配信システムの構成図である。It is a block diagram of the video delivery system of the 1st Embodiment of this invention. バッファ制御動作の説明図である。It is explanatory drawing of a buffer control operation | movement. 映像品質監視部のブロック図である。It is a block diagram of a video quality monitoring unit. 受信端末の他の例のブロック図である。It is a block diagram of the other example of a receiving terminal. 受信端末の他の例のブロック図である。It is a block diagram of the other example of a receiving terminal. フレームレートおよびバッファ閾値制御のフローチャートである。It is a flowchart of frame rate and buffer threshold value control. 復号後のフレーム生成時刻情報から平均ジッタ量を求める処理のフローチャートである。It is a flowchart of the process which calculates | requires average jitter amount from the frame production | generation time information after decoding. 本発明の第２の実施形態の映像配信システムの構成図である。It is a block diagram of the video delivery system of the 2nd Embodiment of this invention.

Explanation of symbols

１Ａ、１Ｂ送信端末
２Ａ〜２Ｄ受信端末
３ネットワーク
４映像入力装置
１０キャプチャカード
１１エンコーダ
１２バッファ
１３パケット送信部
１４フレームレート制御部
２１パケット受信部
２２バッファ
２３デコーダ
２４ビデオカード
２５映像品質監視部
２６バッファ閾値制御部
３１入力部
３２ＩＰヘッダ制御部
３３ＲＴＰヘッダ解析部
３４ペイロード解析部
３５ジッタ解析部
３６判断部
３７制御出力部
１０１〜１１４、２０１〜２０４ステップ 1A, 1B Transmission terminal 2A-2D Reception terminal 3 Network 4 Video input device 10 Capture card 11 Encoder 12 Buffer 13 Packet transmission unit 14 Frame rate control unit 21 Packet reception unit 22 Buffer 23 Decoder 24 Video card 25 Video quality monitoring unit 26 Buffer Threshold control unit 31 Input unit 32 IP header control unit 33 RTP header analysis unit 34 Payload analysis unit 35 Jitter analysis unit 36 Judgment unit 37 Control output unit 101-114, 201-204 steps

Claims

In a video distribution system that encodes video in real time and distributes it to one or more terminals via a network,
A frame rate control unit that changes the frame rate during video distribution in the transmitting terminal, a buffer in the receiving terminal that absorbs jitter that is a network transfer delay fluctuation, and a data read timing by the decoder from the buffer A buffer threshold control unit for controlling the buffer threshold and video quality for monitoring one or more parameters of an arrival time of an IP packet, a time stamp of an RTP packet, an arrival interval of video frames, and a video frame generation time at a receiving terminal A monitoring unit,
The video quality monitoring unit sets the average jitter amount of the video frame interval calculated from one or more parameters of the arrival time of the IP packet, the time stamp of the RTP packet, the arrival interval of the video frame, and the generation time of the video frame. Accordingly, the buffer threshold is changed via the buffer threshold controller, and the frame rate is changed via the frame rate controller at the same time.

The decoder waits for data to be accumulated up to the buffer threshold, starts decoding at a time interval determined by the frame rate, discards data accumulated beyond the buffer threshold, and has not reached the buffer threshold. 2. The real-time buffer control method according to claim 1, wherein the data reading is temporarily stopped, the data is accumulated until the buffer threshold value, and decoding is started again at a time interval determined by the frame rate.

2. The real-time buffer control method according to claim 1, wherein the buffer threshold is controlled so that B = J + 1 / FR, where FR is the frame rate, B is the buffer threshold, and J is the average jitter amount.

The real-time buffer control method according to claim 3, wherein FR = 1 / J.

A transmission terminal that encodes video in real time and distributes it to one or more terminals via a network, and has means for changing a frame rate during video distribution.

In a receiving terminal that receives a video encoded in real time via a network, a buffer threshold control means for controlling a buffer threshold that is a timing of data reading by a decoder from the buffer, an arrival time of the IP packet in itself, A receiving terminal, comprising: video quality monitoring means for monitoring one or more parameters of a time stamp of an RTP packet, an arrival interval of the video frame, and a generation time of the video frame.

The video quality monitoring means includes an average jitter of the video frame interval calculated from one or more parameters of the arrival time of the IP packet, the time stamp of the RTP packet, the arrival interval of the video frame, and the generation time of the video frame. The receiving terminal according to claim 6, wherein the receiving terminal instructs the means for changing the frame rate at the transmitting terminal simultaneously with changing the buffer threshold according to the amount, to change the frame rate.

In a video distribution system that encodes video in real time and distributes it to one or more terminals via a network,
The transmission terminal has a frame rate control means for changing the frame rate during video distribution,
A buffer in which a receiving terminal absorbs jitter, which is a fluctuation in network transfer delay, a buffer threshold control means for controlling a buffer threshold that is a data read timing by the decoder from the buffer, and an arrival time of an IP packet in the receiving terminal Monitoring one or more parameters of RTP packet time stamp, video frame arrival interval, and video frame generation time, and depending on the average jitter amount of the video frame interval calculated from the parameters, the buffer threshold control means And a video quality monitoring means for changing the frame rate via the frame rate control means simultaneously with changing the buffer threshold.

The decoder waits for data to be accumulated up to the buffer threshold, starts decoding at a time interval determined by the frame rate, discards data accumulated beyond the buffer threshold, and has not reached the buffer threshold. The video distribution system according to claim 8, wherein the video distribution system pauses data reading, waits for data to be accumulated up to a buffer threshold value, and starts decoding again at a time interval determined by a frame rate.

9. The video distribution system according to claim 8, wherein the buffer threshold control means controls the buffer threshold so that B = J + 1 / FR, where the frame rate is FR, the buffer threshold is B, and the average jitter amount is J. .

The video distribution system according to claim 10, wherein FR = 1 / J.

The program for making a computer perform the function of the terminal in any one of Claims 5-7.