JP5098784B2

JP5098784B2 - Video communication device

Info

Publication number: JP5098784B2
Application number: JP2008118888A
Authority: JP
Inventors: 耕二山宮
Original assignee: サクサ株式会社
Priority date: 2008-04-30
Filing date: 2008-04-30
Publication date: 2012-12-12
Anticipated expiration: 2028-04-30
Also published as: JP2009272684A

Description

本発明は、例えばＭＰＥＧ−４等の符号化方式により符号化された映像を、ＲＴＰ（Real−time Transport Protocol）を用いてパケット通信する映像通信装置に関する。 The present invention relates to a video communication apparatus that performs packet communication of video encoded by an encoding method such as MPEG-4 using RTP (Real-time Transport Protocol).

ＭＰＥＧ−４符号化方式で符号化されたフレームには、フレーム内予測により静止画モードで符号化されたＩフレーム（Intra Picture）と、時間的に前のフレームから動き補償フレーム間予測により符号化されたＰフレーム（Predictive Picture）が含まれている。 A frame encoded by the MPEG-4 encoding method is encoded by an I frame (Intra Picture) encoded in the still image mode by intra-frame prediction and by motion compensation inter-frame prediction from a temporally previous frame. P frame (Predictive Picture) is included.

こうしたフレームのパケット通信時にパケット損失によってデータの一部が欠落した場合、そのまま復号化処理と画面出力処理を継続すると、対象のフレームだけではなくその後のフレームに対してエラーが波及し、次のＩフレームが到着するまで画面表示が乱れたままになり、その間、映像品質が非常に低下するという問題を生じている。 If a part of data is lost due to packet loss during packet communication of such a frame, if the decoding process and the screen output process are continued as they are, an error will propagate not only to the target frame but also to the subsequent frame, and the next I The screen display remains distorted until the frame arrives, during which time the video quality is greatly degraded.

こうした問題を解消するために、次のような第１および第２の方法が考えられている（非特許文献１，２参照）。すなわち、第１の方法は、受信側でＲＴＰによりパケット損失が検出された場合、次のＩフレームが送られてくるまで映像の更新を中止し、次のＩフレームが送られてきたら映像の更新を再開する方法である。この第１の方法は最後に正常受信した映像の表示を続行する方法でもある。 In order to solve such problems, the following first and second methods have been considered (see Non-Patent Documents 1 and 2). That is, in the first method, when packet loss is detected by RTP on the receiving side, updating of video is stopped until the next I frame is sent, and updating of the video is performed when the next I frame is sent. Is a way to resume. This first method is also a method of continuing the display of the last successfully received video.

また、第２の方法は、送信側では受信側からのＲＴＣＰ（RTP Control Protocol）パケットにより、受信側がパケット損失していたことが分かった場合、映像更新の再開を早めるために、次のフレームとしてＩフレームを送信する方法である。 Also, in the second method, when it is found that the receiving side has lost the packet by the RTCP (RTP Control Protocol) packet from the receiving side, the second frame is used as the next frame in order to speed up the restart of the video update. This is a method of transmitting an I frame.

映像通信クライアントソフトウェア（樫本晋一、江里通昭、神田智宏、東芝レビューVol.61 No.4（2006)）Video communication client software (Keiichi Enomoto, Michiaki Eri, Tomohiro Kanda, Toshiba Review Vol.61 No.4 (2006)) インテリジェントＱｏＳ（VIDEO COMMUNICATION SYSTEM-TECHNICAL DOCUMENTATION：Sony Corporation June, 2007/Ver 2.1）Intelligent QoS (VIDEO COMMUNICATION SYSTEM-TECHNICAL DOCUMENTATION: Sony Corporation June, 2007 / Ver 2.1)

前述した第１の方法の場合は、映像品質が低下するという問題がある。また、第２の方法の場合は、正常な映像を表示するまでの時間を短縮できるが、依然として正常に表示できない時間が存在するとともに、Ｉフレームは１つのフレームの伝送量が多量であることから伝送レートを一定に保持しようとすると、映像の圧縮度を高めて送信することになり、その結果、やはり映像品質が低下するという問題を生じる。 In the case of the first method described above, there is a problem that the video quality is degraded. In the case of the second method, it is possible to shorten the time until normal video is displayed. However, there is still time during which normal video cannot be displayed, and the transmission amount of one frame is large for I frames. If an attempt is made to keep the transmission rate constant, the video will be transmitted with a higher degree of compression, and as a result, there will be a problem that the video quality will deteriorate.

本発明は以上のような問題点に鑑みてなされたものであり、その目的とするところは、符号化されたＩフレームとＰフレームとを含む映像をパケットデータとして通信した時にパケット損失が発生した場合、映像の品質低下を抑制することを目的とする。 The present invention has been made in view of the above problems, and the object of the present invention is that packet loss occurs when video including encoded I frames and P frames is communicated as packet data. In this case, an object is to suppress the quality degradation of the video.

このような課題を解決するために本発明は、映像信号をフレーム内予測により符号化したＩフレーム（第１フレーム）と、映像信号を時間的に前のフレームから動き補償フレーム間予測により符号化したＰフレーム（第２フレーム）とを含むフレームをパケットデータとして送受信することにより映像信号の通信を行う映像通信装置において、Ｉフレームの送信後、このＩフレームを参照フレームとするｎ個のＰフレームをそれぞれ生成して以降のｎ個の各送信時点でそれぞれ送信するようにしてｎ系列のＰフレームを生成し送信する第１送信部と、第１送信部によるＰフレームの送信後、ｎ個の各送信時点でそれぞれ送信されたこれらｎ個のＰフレームをそれぞれ参照フレームとするＰフレームをそれぞれ生成してそれぞれ以降のｎ個の各送信時点で送信する動作を順次繰り返し行うようにしてｎ系列のＰフレームを生成し送信する第２送信部と、受信側における前記第２フレームの受信エラーを検出する検出部とを備え、第２送信部は、検出部により連続して受信エラーとして検出されたＰフレームの数がｎ個に満たない場合は、受信エラーとして検出されない他の系列のＰフレームのうち最後に送信したＰフレームを参照フレームとするｎ個のＰフレームをそれぞれ生成してそれぞれ以降のｎ個の各送信時点で送信し、検出部により連続して受信エラーとして検出されたＰフレームの数がｎ個以上の場合は、受信側で正常に受信された最後のＰフレームを参照フレームとするｎ個のＰフレームをそれぞれ生成してそれぞれ以降のｎ個の各送信時点で送信することを特徴とする。 In order to solve such a problem, the present invention encodes an I frame (first frame) obtained by encoding a video signal by intra-frame prediction and a video signal by motion compensation inter-frame prediction from a temporally previous frame. In a video communication apparatus that performs video signal communication by transmitting and receiving a frame including the P frame (second frame) as packet data, after transmitting the I frame, n P frames using the I frame as a reference frame A first transmitter that generates and transmits an n-sequence P-frame so as to transmit at each of the subsequent n transmission points, and after transmission of the P-frame by the first transmitter, A P frame is generated using each of the n P frames transmitted at each transmission time point as a reference frame, and each of the subsequent n frames is generated. Comprising a second transmission section which in the sequentially repeated operation generating and transmitting P-frame of the n sequences transmitted at signal point, and a detector for detecting a reception error of the second frame on the receiving side, a second When the number of P frames continuously detected as reception errors by the detection unit is less than n, the transmission unit refers to the last transmitted P frame among other series of P frames that are not detected as reception errors. When n P frames as frames are generated and transmitted at each subsequent n transmission time points, and the number of P frames detected continuously as reception errors by the detection unit is n or more, and transmitting the n P frames that the last P frame received correctly at the receiving side and the reference frame respectively generated by the n respective transmission time of the later respectively

本発明によれば、Ｉフレームの送信後、このＩフレームを参照フレームとするｎ個のＰフレームをそれぞれ生成して以降のｎ個の各送信時点でそれぞれ送信するようにしてｎ系列のＰフレームを生成し送信する第１送信部と、第１送信部によるＰフレームの送信後、ｎ個の各送信時点でそれぞれ送信されたこれらｎ個のＰフレームをそれぞれ参照フレームとするＰフレームをそれぞれ生成してそれぞれ以降のｎ個の各送信時点で送信する動作を順次繰り返し行うようにしてｎ系列のＰフレームを生成し送信する第２送信部と、受信側における第２フレームの受信エラーを検出する検出部とを備え、第２送信部で、検出部により連続して受信エラーとして検出されたＰフレームの数がｎ個に満たない場合は、受信エラーとして検出されない他の系列のＰフレームのうち最後に送信したＰフレームを参照フレームとするｎ個のＰフレームをそれぞれ生成してそれぞれ以降のｎ個の各送信時点で送信し、検出部により連続して受信エラーとして検出されたＰフレームの数がｎ個以上の場合は、受信側で正常に受信された最後のＰフレームを参照フレームとするｎ個のＰフレームをそれぞれ生成してそれぞれ以降のｎ個の各送信時点で送信するようにしたことにより、ＩフレームとＰフレームとを含む映像をパケットデータとして通信した時にＰフレームにパケット損失が発生しこれを受信できなかった場合でも、パケット損失の発生しない他の系列のＰフレームのうち最後に送信したＰフレームを参照フレームとするＰフレームの映像、または、正常受信された最後のＰフレームを参照フレームとするＰフレームの映像を復号化し再生できることから、品質の低下を招くことなく映像の再生を行うことができる。 According to the present invention, after transmitting an I frame, n P frames with the I frame as a reference frame are generated and transmitted at each subsequent n transmission time point, so that n series P frames are transmitted. A first transmission unit that generates and transmits the P frame, and after the transmission of the P frame by the first transmission unit, generates a P frame using each of the n P frames transmitted at each of the n transmission points as reference frames. Then, a second transmission unit that generates and transmits an n-sequence P frame by sequentially repeating the operation of transmission at each of subsequent n transmission points, and detects a reception error of the second frame on the reception side. A detection unit, and when the number of P frames continuously detected by the detection unit as a reception error is less than n by the second transmission unit, Each of the P frames in the sequence generates n P frames with the last P frame transmitted as a reference frame, and transmits each of the subsequent n transmission frames at each subsequent transmission time point. The detection unit continuously detects a reception error. If the number of received P frames is n or more, each of the subsequent n transmission points is generated by generating n P frames with the last P frame successfully received on the receiving side as reference frames. When the video including the I frame and the P frame is communicated as packet data, packet loss occurs in the P frame when the video including the I frame and the P frame is transmitted. P frame video using the last transmitted P frame as a reference frame, or the last P frame received normally as a reference frame. Because it can reproduce and decode the image of the P frame to over arm, it is possible to reproduce the image without lowering the quality.

以下、本発明について図面を参照して説明する。
図１は、本発明に係る映像通信装置の構成を示すブロック図である。本映像通信装置は図１に示すように、映像送信装置１と映像受信装置２とから構成される。 The present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a video communication apparatus according to the present invention. As shown in FIG. 1, the video communication apparatus includes a video transmission apparatus 1 and a video reception apparatus 2.

ここで、映像送信装置１は図１（ａ）に示すように、カメラ１１と、カメラ１１により撮影された画像を例えばＭＰＥＧ−４等の所定の符号化方式により符号化するエンコーダ１２と、エンコーダ１２により符号化されたデータをＲＴＰ（Real−time Transport Protocol）を用いてパケットデータとして映像受信装置２側へ送信するＲＴＰ送信部１３と、映像受信装置２側からのＲＴＣＰ（RTP Control Protocol）パケットを受信するＲＴＣＰ受信部１４と、ＲＴＣＰ受信部１４により受信されたＲＴＣＰパケットに基づいてエンコーダ１２を制御するエンコーダ制御部１５とから構成される。 Here, as shown in FIG. 1A, the video transmission device 1 includes a camera 11, an encoder 12 that encodes an image captured by the camera 11 using a predetermined encoding method such as MPEG-4, and an encoder. 12, RTP transmission unit 13 that transmits data encoded as packet data to the video reception device 2 side using RTP (Real-time Transport Protocol), and an RTCP (RTP Control Protocol) packet from the video reception device 2 side RTCP receiver 14 and encoder controller 15 that controls encoder 12 based on the RTCP packet received by RTCP receiver 14.

一方、映像受信装置２は図１（ｂ）に示すように、映像送信装置１のＲＴＰ送信部１３から送信されるＲＴＰパケットを受信するＲＴＰ受信部２１と、映像送信装置１側へＲＴＣＰパケットを送信するＲＴＣＰ送信部２２と、ＲＴＰパケットの受信エラーに基づくパケット損失をＲＴＰ受信部２１を介して検出すると、“フレームエラー検出”旨のＲＴＣＰパケットをＲＴＣＰ送信部２２から映像送信装置１側へ送信させるように制御する制御部する制御部２３と、ＲＴＰ受信部２１によりＲＴＰパケットとして受信された符号化画像データを制御部２３を介して入力すると画像データとして復号化処理するデコーダ２４と、デコーダ２４により復号化処理された画像データを表示する表示部２５とから構成される。 On the other hand, as shown in FIG. 1B, the video receiver 2 receives an RTP receiver 21 that receives an RTP packet transmitted from the RTP transmitter 13 of the video transmitter 1 and sends an RTCP packet to the video transmitter 1 side. When the RTCP transmission unit 22 to transmit and the packet loss based on the reception error of the RTP packet are detected via the RTP reception unit 21, the RTCP packet indicating “frame error detection” is transmitted from the RTCP transmission unit 22 to the video transmission device 1 side. A control unit 23 that performs control to control, a decoder 24 that performs decoding processing as image data when the encoded image data received as an RTP packet by the RTP reception unit 21 is input via the control unit 23, and a decoder 24 And a display unit 25 for displaying the image data decoded by.

次に、以上のように構成された映像通信装置の動作の概要について説明する。
映像送信装置１では、エンコーダ制御部１５の制御のもとに、エンコーダ１２が、カメラ１１により撮影された画像を入力して、１つのＩフレーム（Intra Picture）と、その後に続く複数のＰフレーム（Predictive Picture）とに符号化して、順次ＲＴＰ送信部１３に送り、ＲＴＰ送信部１３から映像受信装置２側へＲＴＰパケットとして送信させるようにしている。 Next, an outline of the operation of the video communication apparatus configured as described above will be described.
In the video transmission device 1, the encoder 12 inputs an image captured by the camera 11 under the control of the encoder control unit 15, and one I frame (Intra Picture), followed by a plurality of P frames. (Predictive Picture) is encoded and sequentially sent to the RTP transmission unit 13 to be transmitted as an RTP packet from the RTP transmission unit 13 to the video reception device 2 side.

この場合、映像受信装置２側では、ＲＴＰ受信部２１がＲＴＰ送信部１３からのＲＴＰパケットを受信し、ＩフレームまたはＰフレームの符号化画像データとして制御部２３へ送り、制御部２３からデコーダ２４へ送出させる。デコーダ２４では、その符号化画データを復号化処理して表示部２５に送り表示させる。 In this case, on the video receiving device 2 side, the RTP receiver 21 receives the RTP packet from the RTP transmitter 13 and sends it to the controller 23 as I frame or P frame encoded image data. To send. The decoder 24 decodes the encoded image data and sends it to the display unit 25 for display.

ここで、本発明では図２に示すように、エンコーダ制御部１５の制御のもとに、エンコーダ１２がまずＩフレームＩ０を生成し、ＲＴＰ送信部１３が時点ｔ１でこのＩフレームＩ０を送信（ステップＳ１）した後、エンコーダ１２がこのＩフレームＩ０を参照フレームとし、その参照フレームから動き補償フレーム間予測により符号化した２つのＰフレームＰ１（Ｉ０），Ｐ２（Ｉ０）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ２，ｔ３で送信する（ステップＳ２，Ｓ３）。 Here, in the present invention, as shown in FIG. 2, under the control of the encoder control unit 15, the encoder 12 first generates an I frame I0, and the RTP transmission unit 13 transmits this I frame I0 at time t1 ( After step S1), the encoder 12 uses the I frame I0 as a reference frame, and generates two P frames P1 (I0) and P2 (I0) encoded by motion compensation interframe prediction from the reference frame. The RTP transmitter 13 transmits at time points t2 and t3 (steps S2 and S3).

次に、エンコーダ１２がこのＰフレームＰ１，Ｐ２を参照フレームとして、その参照フレームＰ１，Ｐ２からそれぞれ動き補償フレーム間予測により符号化した２つのＰフレームＰ３（Ｐ１），Ｐ４（Ｐ２）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ４，ｔ５で送信する（ステップＳ４，Ｓ５）。続いて、エンコーダ１２がこのＰフレームＰ３，Ｐ４を参照フレームとして、その参照フレームＰ３，Ｐ４からそれぞれ動き補償フレーム間予測により符号化した２つのＰフレームＰ５（Ｐ３），Ｐ６（Ｐ４）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ６，ｔ７で送信する（ステップＳ６，Ｓ７）。 Next, the encoder 12 uses the P frames P1 and P2 as reference frames, and generates two P frames P3 (P1) and P4 (P2) encoded from the reference frames P1 and P2 by motion compensation interframe prediction, respectively. These are transmitted by the RTP transmitter 13 at time points t4 and t5 (steps S4 and S5). Subsequently, the encoder 12 uses the P frames P3 and P4 as reference frames, and generates two P frames P5 (P3) and P6 (P4) encoded from the reference frames P3 and P4 by motion compensation interframe prediction, respectively. The RTP transmitter 13 transmits these at time points t6 and t7 (steps S6 and S7).

続いて以下同様に、エンコーダ１２がこのＰフレームＰ５，Ｐ６を参照フレームとして、その参照フレームＰ５，Ｐ６からそれぞれ動き補償フレーム間予測により符号化した２つのＰフレームＰ７（Ｐ５），Ｐ８（Ｐ６）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ８，ｔ９で送信する（ステップＳ８，Ｓ９）。さらに、エンコーダ１２がこのＰフレームＰ７，Ｐ８を参照フレームとして、その参照フレームＰ７，Ｐ８からそれぞれ動き補償フレーム間予測により符号化した２つのＰフレームＰ９（Ｐ７），Ｐ１０（Ｐ８）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ１０，ｔ１１で送信する（ステップＳ１０，Ｓ１１）。さらにまた、エンコーダ１２がこのＰフレームＰ９，Ｐ１０を参照フレームとして、その参照フレームＰ９，Ｐ１０からそれぞれ動き補償フレーム間予測により符号化した２つのＰフレームＰ１１（Ｐ９），Ｐ１２（Ｐ１０）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ１２，ｔ１３で送信する（ステップＳ１２，Ｓ１３）。 Subsequently, in the same manner, the encoder 12 uses the P frames P5 and P6 as reference frames, and two P frames P7 (P5) and P8 (P6) encoded by the motion compensation interframe prediction from the reference frames P5 and P6, respectively. Are transmitted by the RTP transmitter 13 at time points t8 and t9 (steps S8 and S9). Further, the encoder 12 uses the P frames P7 and P8 as reference frames, and generates two P frames P9 (P7) and P10 (P8) encoded by the motion compensation inter-frame prediction from the reference frames P7 and P8, respectively. The RTP transmitter 13 transmits these at time points t10 and t11 (steps S10 and S11). Furthermore, the encoder 12 uses the P frames P9 and P10 as reference frames, and generates two P frames P11 (P9) and P12 (P10) encoded from the reference frames P9 and P10 by motion compensation interframe prediction, respectively. These are transmitted by the RTP transmitter 13 at time points t12 and t13, respectively (steps S12 and S13).

映像受信装置２のＲＴＰ受信部２１ではこれらのフレームの送信パケットをそれぞれ時点ｔ１’〜ｔ１３’で受信し、フレームデータとして制御部２３へ送る。制御部２３はこれらの符号化されているフレームデータをデコーダ２４に送って復号化処理させ、表示部２５に表示させる。 The RTP reception unit 21 of the video reception device 2 receives the transmission packets of these frames at time points t1 'to t13' and sends them to the control unit 23 as frame data. The control unit 23 sends these encoded frame data to the decoder 24 for decoding, and displays them on the display unit 25.

このように、映像送信装置１では、Ｉフレームを送信した後、次の送信時点ｔ２と、その次の送信時点ｔ３では、上記Ｉフレームを同一の参照フレームとしてそのＩフレームから動き補償フレーム間予測により符号化した２つのＰフレームＰ１（Ｉ０），Ｐ２（Ｉ０）をそれぞれ生成して送信し、さらに、以降、時間的に隣接した２つの送信時点においても同様に、Ｐフレームを参照フレームとしてそのＰフレームから動き補償フレーム間予測により符号化した２つのＰフレームを生成してそれぞれ送信するようにしたものである。 As described above, after transmitting the I frame, the video transmission apparatus 1 uses the I frame as the same reference frame at the next transmission time t2 and the next transmission time t3, and performs motion compensation interframe prediction from the I frame. The two P frames P1 (I0) and P2 (I0) encoded by the above are generated and transmitted, and thereafter, similarly, at two transmission points adjacent in time, the P frame is used as a reference frame. Two P frames encoded by motion compensation inter-frame prediction are generated from the P frames and transmitted respectively.

なお、図２及び後述の図３，図４では同一の参照フレームに対して２系列のＰフレームを生成する例を示しているが、ｎ個の系列のＰフレーム系で構成することもできる。この場合、映像送信装置１では、Ｉフレームを送信した後、そのＩフレームを参照フレームとする複数個（ｎ個）のＰフレームをそれぞれ生成して以降の各時点でそれぞれ送信し、その後さらに、前記ｎ個のＰフレームをそれぞれ参照フレームとするｎ個のＰフレームをそれぞれ生成して以降の各時点でそれぞれ送信する。これにより、ｎ個のＰフレーム系を構成することができ、その結果、或る系列のＰフレームのパケット損失が発生した場合でも、映像受信装置２側では、他の系列の正常受信されたＰフレームの映像を復号化し再生できることから、品質の低下を招くことなく映像の再生を行うことができる。 2 and FIGS. 3 and 4 to be described later show an example in which two series of P frames are generated for the same reference frame, but it may be composed of n series of P frame systems. In this case, in the video transmission device 1, after transmitting the I frame, a plurality of (n) P frames having the I frame as a reference frame are generated and transmitted at each subsequent time point, and then further, Each of the n P frames is generated by using the n P frames as reference frames, and transmitted at each subsequent time point. As a result, n P frame systems can be configured. As a result, even when a packet loss of a certain series of P frames occurs, the video reception apparatus 2 side can receive the Ps that have been successfully received from other series. Since the video of the frame can be decoded and reproduced, the video can be reproduced without degrading the quality.

次に、映像送信装置１からパケットデータとして送信された符号化画像データのパケット損失が発生した場合の本映像通信装置における第１および第２の回復動作について説明する。 Next, the first and second recovery operations in the video communication apparatus when the packet loss of the encoded image data transmitted as packet data from the video transmission apparatus 1 occurs will be described.

（第１の実施の形態）
図３は映像送信装置１から送信されたＰフレームのパケット損失が発生した場合の第１の回復動作を示すシーケンス図である。
前述したように、映像送信装置１側ではエンコーダ制御部１５の制御のもとで、エンコーダ１２がまずＩフレームＩ０を生成し、ＲＴＰ送信部１３が時点ｔ１でこのＩフレームＩ０を送信（ステップＳ２１）した後、エンコーダ１２がこのＩフレームＩ０を参照フレームとし、その参照フレームから動き補償フレーム間予測により符号化した２つのＰフレームＰ１（Ｉ０），Ｐ２（Ｉ０）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ２，ｔ３で送信している（ステップＳ２２，Ｓ２３）。 (First embodiment)
FIG. 3 is a sequence diagram showing a first recovery operation when a packet loss of the P frame transmitted from the video transmission apparatus 1 occurs.
As described above, on the video transmission device 1 side, under the control of the encoder control unit 15, the encoder 12 first generates an I frame I0, and the RTP transmission unit 13 transmits this I frame I0 at time t1 (step S21). After that, the encoder 12 uses the I frame I0 as a reference frame, generates two P frames P1 (I0) and P2 (I0) encoded by the motion compensation interframe prediction from the reference frame, and transmits them to the RTP. The unit 13 transmits at time points t2 and t3 (steps S22 and S23).

続いて、エンコーダ１２がこのＰフレームＰ１，Ｐ２を参照フレームとして、その参照フレームＰ１，Ｐ２からそれぞれ動き補償フレーム間予測により符号化した２つのＰフレームＰ３（Ｐ１），Ｐ４（Ｐ２）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ４，ｔ５で送信している（ステップＳ２４，Ｓ２５）。 Subsequently, the encoder 12 uses the P frames P1 and P2 as reference frames, and generates two P frames P3 (P1) and P4 (P2) encoded from the reference frames P1 and P2 by motion compensation interframe prediction, respectively. These are transmitted by the RTP transmitter 13 at time points t4 and t5 (steps S24 and S25).

ここで、映像受信装置２側では、映像送信装置１側からそれぞれ時点ｔ，ｔ２，ｔ３，ｔ４，…で送信されるフレームＩ０，Ｐ１（Ｉ０），Ｐ２（Ｉ０），Ｐ３（Ｐ１），…を、それぞれ時点ｔ１’，ｔ２’，ｔ３’，ｔ４’，…で受信して復号化し再生することになるが、時点ｔ３’で受信されるべきフレームＰ２（Ｉ０）が受信できずに、次の時点ｔ４’で受信されるべきフレームＰ３（Ｐ１）がＲＴＰ受信部２１により受信された場合は、制御部２３は、フレームＰ２（Ｉ０）を受信エラーとして検出し（ステップＳ２７）、この“フレームＰ２エラー検出”の旨を示すＲＴＣＰパケット（すなわち、エラーとなったＰフレームの番号の範囲を含むパケット損失検出通知パケット）をＲＴＣＰ送信部２２から映像送信装置１側へ送信させる（ステップＳ２８）。 Here, on the video reception device 2 side, frames I0, P1 (I0), P2 (I0), P3 (P1),... Transmitted from the video transmission device 1 side at time points t, t2, t3, t4,. Are received and decoded and reproduced at times t1 ′, t2 ′, t3 ′, t4 ′,..., But the frame P2 (I0) to be received at time t3 ′ cannot be received and the next is received. When the frame P3 (P1) to be received at time t4 ′ is received by the RTP receiver 21, the controller 23 detects the frame P2 (I0) as a reception error (step S27), and this “frame” An RTCP packet indicating “P2 error detection” (that is, a packet loss detection notification packet including a range of P frame numbers in error) is transmitted from the RTCP transmitting unit 22 to the video transmitting apparatus 1 side. That (step S28).

この映像受信装置２側からのＲＴＣＰパケットはＲＴＣＰ受信部１４で受信され、エンコーダ制御部１５に通知される。ここで、エンコーダ制御部１５はこのＲＴＣＰパケットで示されるエラーのフレームがフレームＰ２（Ｉ０）であることを確認すると、次に送信すべきＰフレームが、エラーとなったフレームＰ２を参照フレームとした例えばフレームＰ６（Ｐ４）であれば、エンコーダ１２を制御して、このフレームＰ６（Ｐ４）の送信に代えて、フレームＰ５（すなわち、エラーとなったフレームＰ２の直前に送信されて正常受信されたフレームＰ１を参照フレームのルーツとし最後に送信されたフレームＰ５）を参照フレームとしたフレームＰ６（Ｐ５）を生成させて、時点ｔ７で送信させる（ステップＳ２９）。これにより、映像受信装置２側では、参照フレームが存在するＰフレームのみを受信して復号化しその映像を再生できる。その結果、品質の低下を招くことなく映像を再生することができる。 The RTCP packet from the video receiving device 2 side is received by the RTCP receiving unit 14 and notified to the encoder control unit 15. Here, when the encoder control unit 15 confirms that the error frame indicated by the RTCP packet is the frame P2 (I0), the P frame to be transmitted next is the frame P2 in which the error occurred as a reference frame. For example, in the case of the frame P6 (P4), the encoder 12 is controlled to transmit the frame P5 (that is, immediately before the frame P2 in which an error has occurred) instead of the transmission of the frame P6 (P4). A frame P6 (P5) having the frame P1 as the reference frame and the last transmitted frame P5) as a reference frame is generated and transmitted at time t7 (step S29). As a result, only the P frame in which the reference frame exists can be received and decoded on the video receiving apparatus 2 side, and the video can be reproduced. As a result, the video can be reproduced without degrading the quality.

その後、映像受信装置２側から、エラーとなったＰフレームの番号の範囲を含むパケット損失検出通知パケットが送信されない場合は、エンコーダ制御部１５は、エンコーダ１２を制御して、従前どおりに、エンコーダ１２により、ＰフレームＰ５，Ｐ６を参照フレームとする２つのＰフレームＰ７（Ｐ５），Ｐ８（Ｐ６）を生成させ、これらをＲＴＰ送信部１３からそれぞれ時点ｔ８，ｔ９で送信させる（ステップＳ３０，Ｓ３１）。さらに、エンコーダ１２によりこのＰフレームＰ７，Ｐ８を参照フレームとする２つのＰフレームＰ９（Ｐ７），Ｐ１０（Ｐ８）を生成させ、これらをＲＴＰ送信部１３からそれぞれ時点ｔ１０，ｔ１１で送信させる（ステップＳ３２，Ｓ３３）。さらにまた、エンコーダ１２によりこのＰフレームＰ９，Ｐ１０を参照フレームとする２つのＰフレームＰ１１（Ｐ９），Ｐ１２（Ｐ１０）を生成させ、これらをＲＴＰ送信部１３からそれぞれ時点ｔ１２，ｔ１３で送信させる（ステップＳ３４，Ｓ３５）。映像受信装置２側では、これらの各Ｐフレームを、それぞれ時点ｔ８’〜ｔ１３’で受信して復号化処理し、表示部２５に表示する。 Thereafter, when the packet loss detection notification packet including the range of the number of the P frame in error is not transmitted from the video receiving device 2 side, the encoder control unit 15 controls the encoder 12 to perform the encoder as before. 12 generates two P frames P7 (P5) and P8 (P6) using the P frames P5 and P6 as reference frames, and transmits them from the RTP transmitter 13 at time points t8 and t9, respectively (steps S30 and S31). ). Further, the encoder 12 generates two P frames P9 (P7) and P10 (P8) using the P frames P7 and P8 as reference frames, and transmits them from the RTP transmitter 13 at time points t10 and t11, respectively (step S11). S32, S33). Furthermore, the encoder 12 generates two P frames P11 (P9) and P12 (P10) using the P frames P9 and P10 as reference frames, and transmits them from the RTP transmitter 13 at time points t12 and t13, respectively ( Steps S34 and S35). On the video receiving device 2 side, each of these P frames is received at time points t8 'to t13', decoded, and displayed on the display unit 25.

このように、映像受信装置２側から、エラーとなったＰフレームの番号の範囲を含むパケット損失検出通知パケットが送信された場合は、映像送信装置１のエンコーダ制御部１５は、エラーとして通知されたＰフレームを参照フレームとするＰフレームの送信を行わずに、エラーとして通知されていないＰフレームを参照フレームとするＰフレームを生成させ、これの送信を行うように制御する。すなわち、ｎ個のＰフレーム系で構成されている場合、パケット損失したＰフレームの番号の範囲がｎ個未満のときには、映像送信装置１側では映像受信装置２側で正常に受信されている他のＰフレーム系が存在していると判断し、そのＰフレーム系のうち最後に送信したＰフレームを参照フレームとするｎ個のＰフレームをそれぞれ生成して各時点で送信するようにする。そして、それ以降はさらに、前記ｎ個のＰフレームをそれぞれ参照フレームとするｎ個のＰフレームを生成して各時点で送信する。これにより、ｎ個のＰフレーム系が回復される。 Thus, when the packet loss detection notification packet including the range of the P frame number in error is transmitted from the video reception device 2 side, the encoder control unit 15 of the video transmission device 1 is notified as an error. Instead of transmitting the P frame using the P frame as a reference frame, control is performed to generate a P frame using the P frame not notified as an error as a reference frame and to transmit the P frame. That is, in the case of n P frame systems, when the number of P frame numbers that have lost packets is less than n, the video transmitting apparatus 1 side is normally receiving on the video receiving apparatus 2 side. It is determined that there is a P frame system, and n P frames having the last transmitted P frame as a reference frame in the P frame system are generated and transmitted at each time point. Thereafter, n P frames with the n P frames as reference frames are generated and transmitted at each time point. As a result, n P frame systems are recovered.

このように第１の実施の形態では、パケット損失したＰフレームの番号の範囲がｎ個未満のときには、映像送信装置１側では映像受信装置２側で正常に受信されている他のＰフレーム系が存在していると判断し、そのＰフレーム系のうち最後に送信したＰフレームを参照フレームとするｎ個のＰフレームをそれぞれ生成して各時点で送信するようにしたことにより、複数個のＰフレームのパケット損失が発生した場合でも、映像受信装置２側で正常に受信されている他のＰフレーム系が存在している場合は、映像を正常に復号化し再生できることから、伝送帯域の増加やエンコーダの負荷の増加を招くことなく、映像の的確な再生を行うことができる。 As described above, in the first embodiment, when the range of the number of P frames with packet loss is less than n, another P frame system that is normally received on the video receiving device 2 side on the video transmitting device 1 side. In the P frame system, a plurality of P frames having the last transmitted P frame as a reference frame are generated and transmitted at each time point. Even if a P-frame packet loss occurs, if there is another P-frame system that is normally received on the video receiver 2 side, the video can be normally decoded and reproduced, so that the transmission band is increased. In addition, the video can be reproduced accurately without increasing the load on the encoder.

（第２の実施の形態）
図４映像送信装置１から送信されたＰフレームのパケット損失が発生した場合の第２の回復動作を示すシーケンス図である。
前述したように、映像送信装置１側ではエンコーダ制御部１５の制御のもとで、エンコーダ１２がまずＩフレームＩ０を生成し、ＲＴＰ送信部１３が時点ｔ１でこのＩフレームＩ０を送信（ステップＳ４１）した後、エンコーダ１２がこのＩフレームＩ０を参照フレームとし、その参照フレームから動き補償フレーム間予測により符号化した２つのＰフレームＰ１（Ｉ０），Ｐ２（Ｉ０）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ２，ｔ３で送信している（ステップＳ４２，Ｓ４３）。 (Second Embodiment)
4 is a sequence diagram showing a second recovery operation when packet loss of the P frame transmitted from the video transmission device 1 occurs.
As described above, on the video transmission device 1 side, under the control of the encoder control unit 15, the encoder 12 first generates an I frame I0, and the RTP transmission unit 13 transmits this I frame I0 at time t1 (step S41). After that, the encoder 12 uses the I frame I0 as a reference frame, generates two P frames P1 (I0) and P2 (I0) encoded by the motion compensation interframe prediction from the reference frame, and transmits them to the RTP. The unit 13 transmits at time points t2 and t3 (steps S42 and S43).

続いて、エンコーダ１２がこのＰフレームＰ１，Ｐ２を参照フレームとして、その参照フレームＰ１，Ｐ２からそれぞれ動き補償フレーム間予測により符号化した２つのＰフレームＰ３（Ｐ１），Ｐ４（Ｐ２）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ４，ｔ５で送信している（ステップＳ４４，Ｓ４５）。さらに、エンコーダ１２がこのＰフレームＰ３，Ｐ４を参照フレームとして、その参照フレームＰ３，Ｐ４からそれぞれ動き補償フレーム間予測により符号化した２つのＰフレームＰ５（Ｐ３），Ｐ６（Ｐ４）を生成し、これらをＲＴＰ送信部１３がそれぞれ時点ｔ６，ｔ７で送信している（ステップＳ４６，Ｓ４７）。 Subsequently, the encoder 12 uses the P frames P1 and P2 as reference frames, and generates two P frames P3 (P1) and P4 (P2) encoded from the reference frames P1 and P2 by motion compensation interframe prediction, respectively. These are transmitted by the RTP transmitter 13 at time points t4 and t5 (steps S44 and S45). Further, the encoder 12 uses the P frames P3 and P4 as reference frames, and generates two P frames P5 (P3) and P6 (P4) encoded from the reference frames P3 and P4 by motion compensation interframe prediction, These are transmitted by the RTP transmitter 13 at time points t6 and t7 (steps S46 and S47).

ここで、映像受信装置２側では、映像送信装置１側からそれぞれ時点ｔ１，ｔ２，ｔ３，ｔ４，…で送信されるフレームＩ０，Ｐ１（Ｉ０），Ｐ２（Ｉ０），Ｐ３（Ｐ１），…を、それぞれ時点ｔ１’，ｔ２’，ｔ３’，ｔ４’，…で受信して復号化処理をすることになるが、時点ｔ３’およびｔ４’でそれぞれ受信されるべきフレームＰ２（Ｉ０）およびＰ３（Ｐ１）が受信できずに、次の時点ｔ５’で受信されるべきフレームＰ４（Ｐ２）がＲＴＰ受信部２１により受信された場合は、制御部２３は、フレームＰ２（Ｉ０）およびＰ３（Ｐ１）を受信エラーとして検出し（ステップＳ４８）、この“フレームＰ２及びＰ３エラー検出”の旨を示すＲＴＣＰパケット（すなわち、エラーとなったＰフレームの番号の範囲を含むパケット損失検出通知パケット）をＲＴＣＰ送信部２２から映像送信装置１側へ送信させる（ステップＳ４９）。 Here, on the video receiving device 2 side, frames I0, P1 (I0), P2 (I0), P3 (P1),... Transmitted from the video transmitting device 1 side at time points t1, t2, t3, t4,. Are received and decoded at time points t1 ′, t2 ′, t3 ′, t4 ′,..., But frames P2 (I0) and P3 to be received at time points t3 ′ and t4 ′, respectively. When (P1) cannot be received and the frame P4 (P2) to be received at the next time point t5 ′ is received by the RTP receiver 21, the controller 23 causes the frames P2 (I0) and P3 (P1 ) Is detected as a reception error (step S48), and the RTCP packet indicating that this “frame P2 and P3 error is detected” (that is, a packet loss including a range of numbers of P frames in error) The output notification packet) from the RTCP transmitting unit 22 to transmit to the video transmitting apparatus 1 (step S49).

この映像受信装置２側からのＲＴＣＰパケットはＲＴＣＰ受信部１４で受信され、エンコーダ制御部１５に通知される。ここで、エンコーダ制御部１５はこのＲＴＣＰパケットで示されるエラーのフレームがフレームＰ２（Ｉ０），Ｐ３（Ｐ１）であることを確認すると、次に送信すべきＰフレームが、エラーとなったフレームＰ２，Ｐ３をそれぞれ参照フレームとした例えばフレームＰ８（Ｐ６），Ｐ７（Ｐ５）であれば、エンコーダ１２を制御して、このフレームＰ８（Ｐ６），Ｐ７（Ｐ５）の送信に代えて、エラー検出されたフレームＰ２，Ｐ３の直前に送信し映像受信装置２側で正常受信されたフレームＰ１を参照フレームとするＰ８（Ｐ１），Ｐ７（Ｐ１）を生成させて、それぞれ時点ｔ９と時点ｔ８で送信させる（ステップＳ５１，Ｓ５０）。これにより、映像受信装置２側では、参照フレームが存在するＰフレームのみを受信して復号化しその映像を再生できる。その結果、品質の低下を招くことなく映像を再生することができる。 The RTCP packet from the video receiving device 2 side is received by the RTCP receiving unit 14 and notified to the encoder control unit 15. Here, when the encoder control unit 15 confirms that the error frame indicated by the RTCP packet is the frames P2 (I0) and P3 (P1), the P frame to be transmitted next is the frame P2 in which an error has occurred. , P3, for example, for frames P8 (P6) and P7 (P5), the encoder 12 is controlled to detect errors instead of transmitting the frames P8 (P6) and P7 (P5). P8 (P1) and P7 (P1) are generated with reference to the frame P1 transmitted immediately before the frames P2 and P3 and normally received on the video receiving apparatus 2 side, and transmitted at time t9 and time t8, respectively. (Steps S51 and S50). As a result, only the P frame in which the reference frame exists can be received and decoded on the video receiving apparatus 2 side, and the video can be reproduced. As a result, the video can be reproduced without degrading the quality.

その後、映像受信装置２側から、エラーとなったＰフレームの番号の範囲を含むパケット損失検出通知パケットが送信されない場合は、エンコーダ制御部１５は、エンコーダ１２を制御して、従前どおりに、エンコーダ１２により、このＰフレームＰ７，Ｐ８を参照フレームとする２つのＰフレームＰ９（Ｐ７），Ｐ１０（Ｐ８）を生成させ、これらをＲＴＰ送信部１３からそれぞれ時点ｔ１０，ｔ１１で送信させる（ステップＳ５２，Ｓ５３）。さらに、エンコーダ１２によりこのＰフレームＰ９，Ｐ１０を参照フレームとする２つのＰフレームＰ１１（Ｐ９），Ｐ１２（Ｐ１０）を生成させ、これらをＲＴＰ送信部１３からそれぞれ時点ｔ１２，ｔ１３で送信させる（ステップＳ５４，Ｓ５５）。映像受信装置２側では、これらの各Ｐフレームを、それぞれ時点ｔ１０’〜ｔ１３’で受信して復号化処理し、表示部２５に表示する。 Thereafter, when the packet loss detection notification packet including the range of the number of the P frame in error is not transmitted from the video receiving device 2 side, the encoder control unit 15 controls the encoder 12 to perform the encoder as before. 12 generates two P frames P9 (P7) and P10 (P8) using the P frames P7 and P8 as reference frames, and transmits them from the RTP transmitter 13 at time points t10 and t11, respectively (step S52, S53). Further, the encoder 12 generates two P frames P11 (P9) and P12 (P10) using the P frames P9 and P10 as reference frames, and transmits them from the RTP transmission unit 13 at time points t12 and t13, respectively (step S12). S54, S55). On the video receiving device 2 side, each of these P frames is received and decoded at time points t10 'to t13' and displayed on the display unit 25.

このように、映像受信装置２側から、エラーとなったＰフレームの番号の範囲を含むパケット損失検出通知パケットが送信された場合は、映像送信装置１のエンコーダ制御部１５は、エラーとして通知されたＰフレームを参照フレームとするＰフレームの送信を行わずに、エラーとして通知されていないＰフレーム（映像受信装置２側で正常に受信された最後のＰフレーム）を参照フレームとするＰフレームを生成させ、これの送信を行うように制御する。すなわち、ｎ個のＰフレーム系で構成されている場合、パケット損失したＰフレームの番号の範囲がｎ個以上のときには、映像送信装置１側では、映像受信装置２側で正常に受信された最後のＰフレームを参照フレームとするｎ個のＰフレームをそれぞれ生成して各時点で送信するようにする。そして、それ以降はさらに前記ｎ個のＰフレームをそれぞれ参照フレームとするｎ個のＰフレームを生成してそれぞれ各時点で送信する。これにより、ｎ個のＰフレーム系が回復される。 Thus, when the packet loss detection notification packet including the range of the P frame number in error is transmitted from the video reception device 2 side, the encoder control unit 15 of the video transmission device 1 is notified as an error. The P frame that does not transmit the P frame using the P frame as the reference frame and that is not notified as an error (the last P frame that has been normally received on the video receiving device 2 side) is used as the reference frame. Generate and control to send this. That is, in the case of n P-frame systems, when the number range of P-frames with packet loss is n or more, the video transmitting device 1 side last received normally on the video receiving device 2 side. N P frames using the P frames as reference frames are generated and transmitted at each time point. Thereafter, n P frames with the n P frames as reference frames are generated and transmitted at each time point. As a result, n P frame systems are recovered.

このように第２の実施の形態では、パケット損失したＰフレームの番号の範囲がｎ個以上のときには、映像送信装置１側では、映像受信装置２側で正常に受信された最後のＰフレームを参照フレームとするｎ個のＰフレームをそれぞれ生成して各時点で送信するようにしたことにより、連続したｎ個以上の全ての系列のＰフレームのパケット損失が発生した場合でも、伝送帯域の増加やエンコーダの負荷の増加を招くことなく、さらには映像の品質低下を招くことなく、最短の時間で映像の正常な再生を回復できる。 As described above, in the second embodiment, when the number range of P-frames with packet loss is n or more, the video transmitting device 1 side determines the last P frame normally received on the video receiving device 2 side. By generating n P frames as reference frames and transmitting them at each time point, the transmission band increases even when packet loss of all the consecutive P frames of n or more occurs. The normal reproduction of the video can be recovered in the shortest time without causing an increase in the load on the encoder and without further degrading the quality of the video.

本発明の映像通信装置の構成を示すブロック図である。It is a block diagram which shows the structure of the video communication apparatus of this invention. 本映像通信装置を構成する映像送信装置と映像受信装置との間で正常なパケット通信が行われた場合のシーケンス図である。It is a sequence diagram in case normal packet communication is performed between the video transmission apparatus and video reception apparatus which comprise this video communication apparatus. 本映像通信装置を構成する映像送信装置と映像受信装置との間のパケット通信時にパケット損失が発生した場合のシーケンス図である。It is a sequence diagram when packet loss occurs at the time of packet communication between a video transmission device and a video reception device constituting the video communication device. 本映像通信装置を構成する映像送信装置と映像受信装置との間のパケット通信時にパケット損失が発生した場合のシーケンス図である。It is a sequence diagram when packet loss occurs at the time of packet communication between a video transmission device and a video reception device constituting the video communication device.

Explanation of symbols

１…映像送信装置、２…映像受信装置、１１…カメラ、１２…エンコーダ、１３…ＲＴＰ送信部、１４…ＲＴＣＰ受信部、１５…エンコーダ制御部、２１…ＲＴＰ受信部、２２…ＲＴＣＰ受信部、２３…制御部、２４…デコーダ、２５…表示部。 DESCRIPTION OF SYMBOLS 1 ... Video transmission device, 2 ... Video reception device, 11 ... Camera, 12 ... Encoder, 13 ... RTP transmission part, 14 ... RTCP reception part, 15 ... Encoder control part, 21 ... RTP reception part, 22 ... RTCP reception part, 23: Control unit, 24: Decoder, 25: Display unit.

Claims

By transmitting and receiving, as packet data, a frame including a first frame in which the video signal is encoded by intra-frame prediction and a second frame in which the video signal is encoded by motion compensation inter-frame prediction from a temporally previous frame. In a video communication device that performs communication of
After the transmission of the first frame, a plurality of (n) second frames having the first frame as a reference frame are generated and transmitted at each of the subsequent n transmission time points. A first transmitter for generating and transmitting a second frame;
After the transmission of the second frame by the first transmission unit, a second frame is generated with each of the n second frames transmitted at each of the n transmission time points as reference frames. A second transmitter that generates and transmits an n-sequence second frame by sequentially repeating the operation of transmitting at each transmission time point ;
A detection unit for detecting a reception error of the second frame on the reception side,
When the number of second frames continuously detected as reception errors by the detection unit is less than n, the second transmission unit ends with the second frame of another sequence that is not detected as a reception error. N second frames each having the transmitted second frame as a reference frame are generated and transmitted at each subsequent n transmission time points, and the second frames continuously detected as reception errors by the detection unit Is n or more, each of the n second frames having the last second frame successfully received at the receiving side as a reference frame is generated and each subsequent n transmission time points are generated. A video communication apparatus for transmitting .