[go: up one dir, main page]

KR100602916B1 - 화상전송방법 및 화상전송장치 - Google Patents

화상전송방법 및 화상전송장치 Download PDF

Info

Publication number
KR100602916B1
KR100602916B1 KR20040036227A KR20040036227A KR100602916B1 KR 100602916 B1 KR100602916 B1 KR 100602916B1 KR 20040036227 A KR20040036227 A KR 20040036227A KR 20040036227 A KR20040036227 A KR 20040036227A KR 100602916 B1 KR100602916 B1 KR 100602916B1
Authority
KR
South Korea
Prior art keywords
transmission
image
processing unit
data
data packet
Prior art date
Application number
KR20040036227A
Other languages
English (en)
Other versions
KR20040101046A (ko
Inventor
마스다고지
아이카와도모히로
Original Assignee
가부시키가이샤 히다치 고쿠사이 덴키
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 히다치 고쿠사이 덴키 filed Critical 가부시키가이샤 히다치 고쿠사이 덴키
Publication of KR20040101046A publication Critical patent/KR20040101046A/ko
Application granted granted Critical
Publication of KR100602916B1 publication Critical patent/KR100602916B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q1/00—Details of, or arrangements associated with, antennas
    • H01Q1/12—Supports; Mounting means
    • H01Q1/22—Supports; Mounting means by structural association with other equipment or articles
    • H01Q1/24—Supports; Mounting means by structural association with other equipment or articles with receiving set
    • H01Q1/241—Supports; Mounting means by structural association with other equipment or articles with receiving set used in mobile communications, e.g. GSM
    • H01Q1/242—Supports; Mounting means by structural association with other equipment or articles with receiving set used in mobile communications, e.g. GSM specially adapted for hand-held use
    • H01Q1/243—Supports; Mounting means by structural association with other equipment or articles with receiving set used in mobile communications, e.g. GSM specially adapted for hand-held use with built-in antennas
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q1/00—Details of, or arrangements associated with, antennas
    • H01Q1/36—Structural form of radiating elements, e.g. cone, spiral, umbrella; Particular materials used therewith
    • H01Q1/38—Structural form of radiating elements, e.g. cone, spiral, umbrella; Particular materials used therewith formed by a conductive layer on an insulating support
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746—Control signals issued by the network directed to the server or the client
    • H04N21/64761—Control signals issued by the network directed to the server or the client directed to the server
    • H04N21/64769—Control signals issued by the network directed to the server or the client directed to the server for rate control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Communication Control (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 적어도 2 이상의 회선속도가 다른 전송로에 사용되는 화상전송장치 및 방법이다. 화상신호를 입력하는 화상입력부와, 화상신호를 부호화하는 부호화처리부와, 부호화처리부에서 부호화된 데이터를 패킷화하여 송신하는 프로토콜제어부 및 상기 패킷화된 데이터패킷을 전송하는 전송부를 구비한다. 프로토콜제어부는 적어도 1개의 타이머처리부를 가지고, 타이머처리부는 전송로로부터의 데이터패킷의 파기율 정보에 의거하여 데이터패킷의 송신간격을 각각의 전송로의 회선속도에 개별로 대응하여 제어하는 화상전송장치 및 방법.

Description

화상전송방법 및 화상전송장치{AN IMAGE TRANSMISSION METHOD AND ITS APPARATUS}
도 1은 본 발명의 일 실시예를 설명하기 위한 블록도,
도 2는 본 발명의 다른 일 실시예를 설명하기 위한 블록도,
도 3은 종래의 화상데이터의 파기를 설명하기 위한 원리설명도,
도 4는 종래의 화상데이터의 파기를 설명하기 위한 원리설명도,
도 5는 본 발명의 원리를 설명하기 위한 도,
도 6은 본 발명의 동작을 설명하기 위한 블록도,
도 7은 도 2에 나타내는 본 발명의 일 실시예의 동작을 설명하기 위한 플로우 차트,
도 8은 네트워크형 동화상 배신시스템의 일례를 나타내는 블록도,
도 9는 종래의 화상 전송부의 일례를 설명하기 위한 블록도이다.
본 발명은, 화상전송방법 및 전송장치에 관한 것으로, 특히 동화상을 압축하여 네트워크에 동화상을 전송하는 동화상 전송방법 및 전송장치에 관한 것이다.
원격 화상감시시스템 또는 화상 배신시스템에서는 공중회선이나 인터넷으로 대표되는 바와 같이 IP(Intenet Protoco1) 네트워크를 전도로(傳導路)로 한 동화상 전송장치의 요구가 급속하게 확대되고 있다. 예를 들면 종래, MPEG-4(Moving Picture Experts Group Phase 4)에 있어서의 화상의 스트림데이터(압축 데이터로 구성되어 있다)의 배신에서는 화상전송부에 있어서 보내야 할 화상 데이터를 MPEG-4에 의해, 부호화 변환을 행하고 부호화 변환된 화상 데이터를 스트림데이터로서 화상 전송부의 기억부에 일단 저장된다. 이 화상 데이터로서는, 정지화상, 동화상, CG (Computer Graphics), 애니메이션 등의 화상이고, 또 음성, 오디오, 합성음악 등도 포함된다. 이들 화상데이터는 네트워크로부터의 요구에 의하여 기억부로부터 배신된다.
이와 같은 화상데이터, 특히 동화상을 배신하기 위해서는 디지털화하여 전송할 필요가 있으나, 디지털화한 경우, 그 정보량은 방대해지기 때문에, 그 정보의 전송용량을 감소시키기 위하여 동화상의 압축기술이 필요하게 된다. 여기서 종래부터 잘 알려져 있는 동화상의 압축방식으로서 MPEG-2 또는 MPEG-4 등의 압축의 세계표준방식이 사용된다.
여기서, MPEG 방식의 화상 압축기술에 대하여 설명한다. MPEG-2나 MPEG-4의 화상 압축데이터, 즉 스트림데이터는 Intra Picture(이하, I 픽처라 함), Predictive Picture(이하, P 픽처라 함) 및 Biderectionally Predictive Picture(이하, B 픽처라 함)의 3종류의 데이터로 구성되어, 픽처마다 3개의 다른 부호화모드로 압축되어 있다. I픽처란, 아날로그영상의 1 프레임분 전부의 화상 데이터를 그 프레임 내에서 부호화 변환된 데이터이다. 따라서 화상 수신부에서는 이 픽처를 수신한 경우, 하나의 I 픽처만으로 화상을 재생할 수 있다. P 픽처란, 앞의 화상 데이터(I 픽처 또는 P 픽처)로부터 일 방향의 프레임간 예측을 행하여 차분의 데이터만 부호화한 것이다. 따라서 화상 수신부에서는 수신한 P 픽처만으로는 화상을 재생할 수 없고, 기초가 되는 I 픽처가 없으면 화상을 재생할 수 없다. 또한 도중의 P 픽처가 없으면, 잘못된 화상, 예를 들면 플록왜곡 등이 발생한 화상이 된다. B 픽처란, 앞의 화상 데이터와 다음의 화상 데이터의 2개의 화상 데이터로부터 2방향의 프레임간 예측을 행하여 차분 데이터만 부호화한 것이다. 이 B 픽처는, P 픽처와 마찬가지로 B 픽처만으로는 원래의 화상을 재생할 수 없다. P 픽처 및 B 픽처는 전후 픽처와의 시간축 방향의 용장도를 줄이고 있기 때문에, 압축데이터량을 적게 할 수 있으나, 그것만으로는 원래의 화상을 재생할 수 없다. 또한 일반적인 MPEG-2의 각 픽처의 조합의 일례를 다음에 나타낸다. (I) (B) (P) (B) (B) (P) (B) (B) (P) (B) (B) (P) (B) (B) (I) (B) (B) (P) …
이와 같이 I 픽처는 15 픽처에 1회 존재하고, 이것이 반복되는 구성이 일반적이다.
다음에 상기한 바와 같은 압축 동화상을 네트워크에 배신하는 시스템에 대하여 설명한다. 도 8은 본 발명자들이 앞서 제안한 일본국 특개평2003-309847호 공보에서 설명되어 있는 네트워크형 동화상 배신시스템이 있다.
그리고 카메라(120)로 촬영된 감시화상은, 인코더와 같은 화상 전송부(111)에서 부호화되어 네트워크(122)를 거쳐 각각 디코더와 같은 화상 수신부(112-1, 112-2및 112-3)에 배신되고, 여기서 복호되어 화상 모니터(124-1, 124-2 및 124-3)에 각각 감시화상으로서 표시된다.
동화상을 압축하는 화상 전송부(111)는 화상 전송부 내부의 압축 처리부에 의하여 소정의 비트레이트(압축율)로 압축되고, 여기에서 생성되는 화상 압축데이터(스트림)를 화상 수신부(112-1, 112-2 및 112-3)에 전송하고, 각 화상 수신부는 상기 스트림을 원래의 화상 데이터로 신장하여 모니터에 출력한다. 또한 도 8에 있어서는 화상 전송부(111)로부터의 출력 스트림이 직접 네트워크(122-1, 122-2, 122-3)에 전송되고 있다. 이러한 전송방식을 유니캐스트구성이라 부르고 있다.
이 시스템의 동작은, 예를 들면 화상 수신부(112-1)로부터 네트워크(122-1)를 경유하여 화상 전송부(111)에 스트림데이터를 요구한다. 화상 송신부(111)는 스트림데이터의 요구가 있었던 화상 수신부(112-1)에 스트림데이터를 배신한다.
화상 수신부(112-1)는, 스트림데이터를 수신하고, 압축되어 있는 스트림데이터를 신장하여 모니터(124-1)에 표시함과 동시에, 필요에 의하여 기록부(도시 생략)에 기록된다. 다음에 화상 수신부(112-1)는 계속해서 네트워크(122-1)를 경유하여 화상 전송부(111)에 다음의 스트림데이터를 요구한다.
화상 전송부(111)는, 스트림데이터요구가 있었던 화상 수신부(112-1)에 다음의 스트림데이터를 전송한다. 화상 수신부(112-1)는, 다음의 스트림데이터를 수신하고, 상기와 마찬가지로 압축되어 있는 스트림데이터를 신장하여 모니터(124-1)에 표시함과 동시에 필요에 의하여 기록부에 기록한다.
이후도 마찬가지이며, 또 다른 화상 수신부(112-2 및 112-3)에 있어서도 연 속하여 스트림데이터의 송신요구와 수신 및 신장을 행한다.
다음에, 화상 전송부(111)에 대하여 도 9를 사용하여 상세하게 설명한다. 도 9에 있어서 카메라(120)로부터의 영상신호가 입력단자(130)를 거쳐 화상 전송부(111)에 영상신호가 입력된다. 화상 전송부(111)의 내부는 부호화 처리부(131) 및 프로토콜제어부(132)로 이루어진다. 또한 본 예에서는 부호화 처리부(131)는, MPEG-4의 부호화 처리부로 설명하나, 이것에 한정되는 것이 아니라, MPEG-2 등의 다른 방식의 부호화 처리부로 구성하는 것도 가능하다. 프로토콜제어부(132)는 I-V0P(Video 0bject Plane)주기 버퍼(133), RTP(real time transport protocol)패킷 처리부(134-1, 134-2, 134-3) 및 TCP(transmission control protocol)_ UDP(user datagram protocol)처리부(135)로 구성되어 있다. 또한 TCP_UDP처리부(135)의 출력은, 출력단자(136)로부터 각각의 네트워크(122)에 보내진다. 여기서 RTP 패킷 처리부가 3개 나타나 있으나, 본예의 경우, 다른 전송속도의 전송로(122)가 3종류이기 때문에, 3개에 한정되는 것은 아니다.
그리고, 프로토콜제어부(132)를 상기와 같이 구성함으로써 전송레이트 적응형 패킷전송을 실현하고 있다. 이하에 이 구성에 대하여 상세하게 설명한다. 또한 I-V0P 주기 버퍼(133)는 적어도 I-V0P(앞서 설명한 I 픽처에 상당한다)로부터 다음의 I-VOP 직전까지의 부호화 데이터를 축적 가능한 용량을 가지는 버퍼이다.
RTP 패킷 처리부(134)는, MPEG-4 부호화 데이터 등을 네트워크상에서 전송하는 데 적합한 패킷을 생성한다. 즉, RTP의 기본사양에 따라 부호화 데이터를 각 VOP 마다 1 내지 수 패킷으로 분할한 패킷으로 하고, 다음의 TCP_UDP 처리부(135) 에 출력한다.
TCP_UDP 처리부(135)에서는 커넥션형의 TCP 프로토콜이나, 커넥션리스형의 UDP 프로코콜 중 어느 한쪽의 프로토콜에 의해 RTP패킷을 네트워크(122)에 전송한다. 또한 이 선택은 사용자가 퍼스널 컴퓨터 등으로 리모트 설정할 수 있도록 구성할 수도 있다.
프로토콜제어부(132)는 주로 프로세서에 의한 소프트웨어처리이고, RTP 패킷처리부(134)는 유니캐스트로 동시 배신하기 위하여 전송로에 접속되는 화상 수신부 (112)의 3종류의 전송로(122)의 처리를 행한다.
MPEG-4 사양의 부호화처리부(131)는, 영상신호를 입력하여 MPEG-4 부호화 데이터를 출력하고, I-VOP 주기 버퍼(133)에 부호화 데이터를 기록한다. RTP 패킷처리부(134)는 TCP_ UDP 처리부(135)로부터의 전송레이트에 따른 레디신호(도 9에서는 점선으로 나타내는 신호)에 의해, I-V0P 주기 버퍼(133)로부터 부호화 데이터를 판독한다. 즉, 각 RTP 패킷 처리부(134-1, 134-2, 134-3)는, 각각의 화상 수신부(112-1, 112-2, 112-3)까지의 전송로레이트(전송속도)에 따른 데이터량을 I-VOP 주기 버퍼 (133)로부터 판독하게 된다. 즉, 높은 비트레이트의 전송로로부터 낮은 레이트 전송로에 대하여 필연적으로 I-V0P 주기 버퍼(133) 내에서 화상 데이터가 파기되게 된다. 이와 같이 하여 자동적으로 전송로의 전송속도에 맞추어 화상 데이터가 전송된다.
또한 TCP_UDP 처리부(135)에서 전송레이트에 따른 레디신호를 생성하는 방법은, 선택된 프로토콜에 의해 다르다. TCP 프로토콜의 경우는, 커넥션형이기 때문 에 부호화 처리부(131)로부터의 전송 패킷에 대한 응답에 의하여 자동적으로 전송레이트에 따른 레디신호가 생성 가능하다.
한편, UDP 프로토콜의 경우는 커넥션리스형이기 때문에, 자동적으로 레디신호를 생성할 수는 없다. 그래서 화상 수신부(112)로부터 정기적으로 전송되는 패킷 파기율 정보를 TCP_UDP 처리부(135)에서 수집한다. 이 정기적인 정보로부터 패킷파기율이 제로가 되도록 TCP_UDP 처리부(135)가 패킷의 전송레이트를 제어하고, 그것에 따른 레디신호를 생성한다. 이에 의하여 전송레이트에 따른 레디신호의 생성이 가능하게 된다.
여기서 패킷 파기율은, RTP 패킷의 예상 수신 패킷수와 실제의 수신 패킷수로부터 구할 수 있다. 예상 수신 패킷수란, 송신측으로부터 도달한 패킷의 수이고, 지연 패킷이나 중복 패킷도 포함된다. 기간은 전회의 RTCP 패킷 수신으로부터 이번의 RTCP 패킷 수신까지의 사이이다. 계산은 수신패킷의 최대 시퀀스번호와 최소 시퀀스번호로부터 구한다. 시퀀스번호란 RTP 헤더에 포함되는 패킷의 순서를 나타낸 것이다.(상세한 것은 RFC 1889 참조)
(예상 수신 패킷수) = (최대 시퀀스번호) - (최소 시퀀스번호) + 1
패킷 파기율은, 이하와 같이 하여 구한다.
(패킷 파기수) = (예상 수신 패킷수) - (실제의 수신 패킷수)
(패킷 파기율) = ((패킷 파기수)/(예상 수신 패킷수)) × 255
또, 파기율 송신간격에 대해서는 RFC1889, A. 7RRCP 송신간격의 계산에 상세하게 설명되어 있으나, 파기율은 BTCP의 RR 패킷의 헤더에 포함되는 정보로, 약 5 초간격으로 송신하고 있다.
상기한 바와 같이 높은 비트 레이트 전송로로부터 낮은 비트 레이트 전송로에 화상 데이터를 전송하는 경우의 화상 데이터의 파기에 대하여 더욱 상세하게 설명한다.
먼저, 화상 데이터의 파기가 행하여지는 구성의 일례를 도 3을 사용하여 설명한다. 도 3에 있어서 화상 전송부(111)로부터 화상 수신부(112)로 화상 데이터를 전송하는 경우에 대하여 설명한다. 또한 여기서 설명하는 화상 데이터란, 화상 부호화데이터의 것이다. 화상 전송로(111)로부터 화상 수신부(112)에 화상 데이터를 송신하는 경우, 높은 비트 레이트 전송로(네트워크를 포함함, 이하 동일)(125) 및 낮은 비트 레이트 전송로(126)를 거쳐 화상 데이터가 보내지게 된다. 이때 높은 비트 레이트 전송로(125)로부터 낮은 비트 레이트 전송로(126)에 비트 레이트가 낮아지기 때문에 화상 데이터의 파기가 발생한다. 또한 상세에 대하여 설명하면, 상기한 화상 데이터전송방법에서는 화상 부호화 데이터는, 상기한 바와 같이 픽처단위로 관리하고 있기 때문에 도 4에 나타내는 바와 같이 높은 비트 레이트 전송로(125)(예를 들면 전송 레이트는, 1Mbps이다)에서는 P1, P2로 나타내는 버스트적인 화상 부호화 데이터로 전송된다. 한편 낮은 비트 레이트 전송로(126)(예를 들면 전송 레이트는, 384 Kbps 이다)에서는 낮은 비트 레이트의 화상 부호화 데이터(P3)로서 전송되기 때문에, 여기서는 화상 부호화 데이터의 파기가 행하여진다. 또한 상기한 바와 같은 높은 비트 레이트의 전송로는 아니나, 예를 들면 전송 레이트가 320 Kbps의 네트워크로부터 전송 레이트가 38.8 Kbps의 일반 공중회선에 데이터를 보내는 경우에도 일어날 수 있다.
그리고, TCP 프로토콜사용시에는 재송처리가 행하여지기 때문에, 화상 부호화데이터의 파기가 행하여졌다 하여도 문제 없으나, UDP 프로토콜사용시에서는 화상 부호화 데이터를 상대측으로 보내는 보증이 없기 때문에 버스트적인 데이터에 대해서는 화상 부호화 데이터의 파기가 빈번하게 발생한다. 따라서 화상 부호화 데이터를 정확하게 전송할 수 없는 경우가 있다. 이것을 대책하기 위하여 픽처 데이터를 요구하는 레디신호의 생성을 제어하여 평균적인 화상 부호화 데이터의 송신을 행하도록 하는 것이 필요하다.
또 화상 부호화 데이터의 파기를 일으키지 않는 방법으로서 일본국 특개평 2002-77260호 공보(제 4 내지 5페이지, 도 1, 도 2)에 예시한 화상 전송을 위한 시스템 및 방법이 있으나, 이것은 패킷 데이터 각각을 미리 결정된 소정시간 이상 비우기 위하여 송신 타이밍을 지연하는 방법이 제안되어 있다.
상기한 바와 같이 UDP 프로토콜사용시에는 화상 부호화 데이터의 파기가 빈번하게 발생하여 화상 부호화 데이터를 확실하게 상대측으로 보내는 보증이 없기 때문에 수신측에서 요구하는 화상 부호화 데이터를 입수할 수 없다는 문제가 발생한다. 또한 상기 일본국 특개평2002-77260호 공보의 기술은, 패킷 데이터의 크기와 미리 설정되어 있는 네트워크의 대역, 최저 지연시간으로부터 지연시간을 계산하는 방법이기때문에, 처리가 복잡하고 또한 회로 규모도 커진다는 문제가 있다.
본 발명의 목적은, 수신측에서 요구하는 화상 부호화 데이터를 정확하게 전 송가능하게 하는 화상 전송방법 및 화상 전송장치를 제공하는 것이다.
본 발명의 다른 목적은, 버스트적인 데이터가 아닌 시간단위에 있어서 평균적인 화상 부호화 데이터를 전송 가능하게 하는 화상 전송방법 및 화상 전송장치를 제공하는 것이다.
본 발명의 다른 목적은, 낮은 비트 레이트 전송로에서의 패킷 파기를 저감하여 화상 부호화 데이터를 전송 가능하게 하는 화상 전송방법 및 화상 전송장치를 제공하는 것이다.
본 발명의 또 다른 목적은, 전송부하의 집중 등의 일시적인 전송로의 장해에 대해서도 화상 부호화 데이터를 전송 가능하게 하는 화상 전송방법 및 화상 전송장치를 제공하는 것이다.
본 발명의 화상전송장치는, 화상신호를 입력하는 화상 입력수단과, 상기 화상 신호를 부호화하는 부호화 처리부와, 상기 부호화 처리부에서 부호화된 데이터를 패킷화하여 송신하는 프로토콜제어부 및 상기 패킷화된 데이터 패킷을 전송하는 전송수단을 가지고, 상기 프로토콜제어부는 적어도 1개의 타이머처리부를 가지고, 상기 타이머처리부는 상기 전송로로부터의 패킷 파기율 정보에 의거하여 상기 데이터 패킷의 송신간격을 제어하도록 구성된다.
또, 본 발명의 화상 전송장치에 있어서, 상기 프로토콜 제어부는, 또한 트리거발생부를 가지고, 상기 트리거발생부는 소정간격으로 상기 타이머처리부를 재설정하기 위한 트리거 펄스를 발생하도록 구성된다.
또 본 발명의 화상 전송장치에 있어서, 상기 프로토콜제어부는, 상기 파기율과 지연시간을 설정하는 테이블을 더 가지고, 상기 타이머처리부는 상기 테이블에 의거하여 지연시간이 설정된다.
또한, 본 발명의 화상 전송방법은, 부호화된 화상 데이터를 패킷화하여 전송로에 송신하는 화상 전송방법으로서, 화상신호를 입력하여 상기 화상신호를 부호화 데이터로 변환하고, 상기 부호화 데이터를 패킷화하여 패킷 데이터를 송신하는 경우에 상기 전송로로부터의 파기율 정보에 의거하여 타이머처리부를 제어하고, 상기 타이머처리부에서 설정된 송신간격으로 상기 패킷 데이터를 송신하도록 구성된다.
본 발명의 원리를 도 5에 의하여 설명한다. 도 5에 있어서, 높은 비트 레이트 전송로(125)로부터 낮은 비트 레이트 전송로(126)에 화상 부호화 데이터를 보내는 경우, 높은 비트 레이트 전송로(125)로부터의 화상 부호화 데이터의 송신을 분산한 화상 부호화 데이터로서 낮은 비트 레이트 전송로(126)에 송신하도록 구성하는 것이다. 이하, 이것에 대하여 상세하게 설명한다.
도 1은, 본 발명의 일 실시예를 나타내는 블록도이다. 137-1, 137-2, 137-3은 RTP 패킷 처리부이다. 또한 특별히 구별할 필요가 없을 때는, RTP 패킷 처리부 (137)라 총칭한다. 138은 UDP 처리부, 139-1, 139-2, 139-3은 타이머처리부[총칭하는 경우는, 타이머처리부(139)라 한다]이다. 또한 도 9와 동일한 것에는 동일부호가 붙혀져 있다. 또, 이 화상전송부(111)는 예를 들면 도 8에 나타내는 화상배신시스템에도 사용되는 것으로, 그 상세에 대해서는 이미 설명하였기 때문에 여기서는 설명을 생략한다.
도 1에 있어서, 카메라(120)로부터의 영상신호가 입력단자(130)를 거쳐 화상전송부(111)에 입력된다. 화상전송부(111)의 내부는, 부호화처리부(131) 및 프로토콜제어부(132)로 이루어진다. 또한 부호화처리부(131)는 MPEG-4나 MPEG-2 등의 방식의 부호화처리부로 구성하는 것이 가능하다. 프로토콜제어부(132)는 I-VOP 주기 버퍼(133), RTP 패킷처리부(137-1, 137-2, 137-3) 및 UDP 처리부(138)로 구성되어 있다. UDP 처리부(138) 중에는 타이머처리부(139-1, 139-2, 139-3)가 있다. 또한 UDP 처리부(138)의 출력은 출력단자(136)로부터 각각의 네트워크(122)에 보내진다. 여기서 RTP 패킷처리부, 타이머처리부가 각각 3개 나타내고 있으나, 3개에 한정되는 것이 아니다.
다음에 이 동작에 대하여 도 6을 사용하여 설명한다. 도 6은 도 1 중의 구성에서 예를 들면 I-VOP 주기 버퍼(133), RTP 패킷처리부(137-1) 및 UDP 처리부(138)의 타이머처리부(139-1)의 동작을 설명하기 위한 도면이다. 또한 입력단자(145)에는 부호화처리부(131)로부터 부호화된 화상부호화 데이터가 인가된다. 또 다른 RTP 패킷처리부(137-2, 137-3) 및 타이머처리부(139-2, 139-3)의 동작도 동일하기 때문에 설명은 생략한다.
먼저, 미리 네트워크(122)의 비트레이트를 알고 있는 경우, 하나하나의 네트워크접속시에 화상수신부(112)로부터 네트워크(122)의 비트레이트가 단자(136)를 거쳐 화상전송부(111)에 통지된다. 화상수신부(112)의 비트레이트설정은, PC 등으로 설정할 수 있다. 예를 들면 화상수신부(112-1)가 화상전송부(111)에 네트워크로 접속되었다고 하면, 비트레이트정보는, UDP 처리부(138)에 보내진다. UDP 처리 부(138)는 타이머처리부(139-1)에 비트레이트정보를 보내고, 타이머처리부(139-1)에서는 비트레이트정보에 맞춘 대기시간설정, 소위 비트레이트 대기시간을 설정한다. 타이머처리부(139-1)에서는 UDP 처리부(138)로부터 레디신호가 보내져 오면, 비트레이트 대기시간 분만큼 처리를 쉬게 하고 나서 레디신호를 RTP 패킷처리부(137-1)에 보낸다. 예를 들면 비트레이트 대기시간이 10msec 로 설정된 경우, 타이머처리부(139-1)는 시스템의 동작시(초기값 설정시)는, 10msec 간격으로 패킷(화상부호화 데이터를 전송하기 위하여 패킷화한 것)을 보내도록 RTP 패킷처리부(137-1)에 요구를 내는 작용을 한다. 또한 이 요구간격(초기값은 비트레이트 대기시간)에는 전송로(122)로부터 보내져 오는 파기율 정보에 의거하여 적절히 지연시간이 가산된다. 예를 들면 표 1은 파기율과 지연시간과의 관계를 나타내는 것으로, 이와 같은 테이블이 UDP 처리부(138)의 메모리(도시 생략)에 기억되어 있다.
파기 지연시간
0 없음
1 ~ 10 10ms
11 ~ 20 20ms
21 ~ 30 60ms
· · · · · ·
241 ~ 255 1000ms
표 1에 있어서, 파기율 정보는 0 (0%에 상당) ∼ 255 (100%에 상당)로 나타내고, 그것들에 대응하여 지연시간이 설정되어 있다. 즉, 파기율 O 에서 지연시간 0 msec(정상시), 파기율 1 내지 10에서는 10 msec, 파기율 11 ∼ 20에서는 20 msec, … 와 같이 파기율이 커짐에 따라 패킷의 요구간격에 가산되는 지연시간이 증가하도록 설정되어 있다. 또, 표 1과 같이 파기율에 따라 지연시간을 다르게 하는 것은 아니고, 파기율이 0 이 아닌 경우는 요구간격에 일정한 지연시간을 가산하는 예를 들면 10 mscc 씩 가산하도록 하는 것도 가능하다. 이와 같이 파기율에 대한 지연시간의 설정은 파기율이 전송로의 전송대역, 사용빈도 등의 여러가지의 요인으로 변화하기 때문에, 미리 실험 등에 의해 정하여 두는 것이 바람직하다.
도 6에 있어서는 먼저 UDP 처리부(138)로부터 레디신호(R1)로 패킷(D)을 보내는 요구를 RTP 패킷처리부(137-1)에 낸다. RTP 패킷처리부(137-1)에서는 레디신호 (R1)를 수신하면, 패킷(D)을 보내는 동작을 개시하나, 보내야 할 패킷이 존재하지 않는 경우, RTP 패킷처리부(137-1)는 레디신호(R2)에 의하여 I-VOP 주기 버퍼(133)에 화상부호화 데이터(S1)를 요구한다. 화상부호화 데이터(S1)가 보내져 오면, RTP 패킷처리부(137-1)는 화상부호화 데이터(S1)를 패킷화하여 축적함과 동시에, 패킷(D1)을 UDP 처리부(138)에 보낸다. UDP 처리부(138)에서는 보내여져 온 패킷(D1)을 출력단자(136)를 거쳐 전송로(122)에 전송한다. 또한 RTP 패킷처리부(137-1)에서는 화상부호화 데이터(S1)를 D1, D2, D3의 3개의 패킷으로 패킷화한 경우를 나타내고 있으나, 특별히 이것에 한정되는 것은 아니다(이에 대하여, 도 5의 원리설명도에서는 화상부호화 데이터로서 P4, P5, P6, P7을 각각 4개의 패킷으로 패킷화한 경우에 대하여 예시하고 있다).
다음에 UDP 처리부(138)에서 패킷(D1)을 수신하면, UDP 처리부(138)에서는 다음의 레디신호(R3)에 의해 다음 패킷(D2)의 송신을 요구한다. 여기서 패킷(D2) 을 요구하는 레디신호(R3)를 송신함에 있어서, 타이머처리부(139-1)에 설정되어 있는 요구간격에 따라 레디신호(R3)가 송신된다. 예를 들면 지금 타이머처리부(139-1)에 설정되어 있는 요구간격이 10 msec이라고 하면, 패킷(D1)을 수신하여 10 msec 후에 레디신호(R3)가 RTP 패킷처리부(137-1)에 보내지고, 다음의 패킷(D2)이 UDP 처리부(138)에 보내진다. 마찬가지로 다시 10 msec 후에 레디신호(R4)가 RTP 패킷처리부(137-1)에 보내지고, 패킷(D3)이 UDP 처리부(138)에 보내진다. 이와 같이 UDP 처리부(138)는 타이머처리부(139-1)에 설정되어 있는 요구간격에 의거하여 패킷(D)을 요구하는 레디신호(R)의 요구 타이밍을 제어하도록 구성되어 있다. 또, 타이머처리부(139-1)에 설정되어 있는 요구간격은, 상기한 표 1에 나타내는 파기율과 지연시간과의 관계로 적절하게 증가하여 간다. 또한 도 6에서는 레디신호(R1)의 요구시에 패킷(D)이 존재하지 않는 경우에 대하여 설명하였으나, 패킷(D)이 존재한 경우는, 레디신호(R1)의 도래에 따라 패킷(D1)을 송신하는 것은 물론이다. 또 상기한 설명에서는 UDP처리부 (138)의 타이머처리부(139-1)와 RTP 패킷처리부(137-1)에 대한 동작을 설명하였으나, 다른 타이머처리부(139)와 RTP 패킷처리부(137)에 대해서도 동일하기 때문에, 설명은 생략한다. 이와 같이 함으로써 도 5에 나타내는 바와 같이 높은 비트레이트 전송로 (125)로부터 분산한 화상부호화 데이터(P4, P5)로서 낮은 비트레이트 전송로(126)에 전송할 수 있으므로, 낮은 비트레이트 전송로(126)에서의 패킷파기를 저감한 화상부호화 데이터(P6, P7)로 하는 것이 가능해진다.
이상은, 미리 네트워크(122)의 비트레이트를 알고 있는 경우에 대하여 설명 하였으나, 네트워크(122)의 비트레이트가 불분명한 경우, 접속시에 화상수신부(122)는 비트레이트가 불분명한 것을 화상전송부(111), 구체적으로는 UDP 처리부(138)에 통지한다. 이 경우, 타이머처리부(139)에서는, 레디신호(R)의 요구간격을 미리 설정하여 둔 시스템의 최소의 대기시간(초기값)에 설정한다. 예를 들면 여기서는 10 msec로 한다. 이에 의하여 화상배신시스템은, 화상부호화 데이터를 최소의 간격으로 화상전송부(111)로부터 네트워크(122)에 송신하여 간다. 이 때문에 화상부호화 데이터는 버스트적이 되어, 낮은 비트레이트 전송로를 통과할 때에 데이터의 파기가 일어나 화상수신부(112)에서는 정확한 데이터를 수신할 수 없게 된다. 그 결과, 화상수신부 (112)는 화상전송부(111)의 UDP 처리부(138)에 패킷 파기율 정보를 송신한다. UDP 처리부(138)에서는, 이 파기율 정보에 의거하여 표 1에 나타내는 테이블로부터 타이머처리부(139)에서 적절한 레디신호(R)의 요구간격을 설정한다. 즉, 파기율 정보에 의거하여 지연시간을 가산하여 가서 요구간격을 증가시킨다. 이와 같이 구성함으로써 미리 네트워크(122)의 비트레이트를 알고 있는 경우와 마찬가지로 낮은 비트레이트 전송로에서의 패킷파기를 저감한 화상부호화 데이터를 전송하는 것이 가능해진다.
그리고 도 1에서 설명한 실시예의 경우, 네트워크(122)의 통화량의 증대, 소위, 트래픽의 증가나 네트워크장해 등 때문에 일시적인 네트워크의 제약이 발생한다. 이 경우, 파기율이 증대하여 잠깐동안 네트워크의 전송하는 비트레이트가 내려간다. 비트레이트가 내려가면, 패킷의 파기가 발생하여, 상기한 바와 같은 실시예의 동작이 행하여져 화상부호화 데이터의 배신이 저속이 된다. 그 결과, 일시적 으로 네트워크의 비트레이트가 내려간 만큼에도 관계없이, UDP 처리부(138)는 네트워크(122)를 낮은 비트레이트 전송로라고 인식하여, 타이머처리부의 패킷의 요구간격(대기시간)을 연장한다. 결과로서, 트래픽의 해소나 네트워크 장해가 제거되어 네트워크의 전송용량이 충분함에도 불구하고(예를 들면 패킷의 파기율이 0 으로 되어 있었다 하여도), 연장된 그대로의 요구간격을 사용하기 때문에 소량의 화상부호화 데이터를 송신하여, 회선의 사용용량을 남기게 하는 결과가 된다. 따라서 상기 실시예에서 설명한 기술에서는 트래픽의 증가나 네트워크 장해 등의 일시적인 장해에는 충분하지 않은 경우도 있었다.
다음에 이것을 개선하기 위한 본 발명의 다른 일 실시예를 도 2를 사용하여 설명한다. 도 2에 있어서, 140은 UDP 처리부에서 새롭게 트리거발생부(141-1, 141-2, 141-3)를 설치하고 있다. 또한 도 1과 동일한 것에는 동일부호가 붙여져 있다. 도 2에 있어서 카메라(120)로부터의 영상신호가 입력단자(130)를 거쳐 화상전송부 (111)에 영상신호가 입력된다. 화상전송부(111)의 내부는 부호화처리부(131) 및 프로토콜제어부(132)로 이루어진다. 또한 부호화처리부(131)는 MPEG-4, MPEG-2 등의 방식의 부호화 처리부로 구성하는 것이 가능하다. 프로토콜제어부(132)는 I-VOP 주기 버퍼(133), RTP 패킷처리부(137-1, 137-2, 137-3) 및 UDP 처리부(140)로 구성되어 있다. UDP 처리부(140) 중에는, 타이머처리부(139-1, 139-2, 139-3) 및 트리거발생부(141-1, 141-2, 141-3)가 설치되어 있다. 또한 UDP 처리부(140)의 출력은, 출력단자(136)로부터 각각의 네트워크(122)에 보내진다. 여기서 RTP 패킷처리부, 타이머처리부, 트리거발생부가 각각 3개 표시되어 있으나, 3개에 한정되는 것은 아니다.
다음에 도 2에 나타내는 실시예의 동작에 대하여 설명한다. 이 화상전송부 (111)의 기본적인 동작은 상기 실시예와 동일하기 때문에, 트리거발생부(141)에 의한 송신 대기시간의 제어에 대하여 설명한다. 앞의 실시예에서 설명한 바와 같이, 예를 들면 RTP 패킷처리부(137-1)로부터 UDP 처리부(140)에 보내져 오는 패킷의 시간간격은 레디신호의 요구간격으로 결정되는 것을 설명하였다. 이 레디신호의 요구간격은, 타이머처리부(139)에서 설정되는 간격, 예를 들면 10 msec로 결정되나, 네트워크로부터의 파기율에 의하여 이 레디신호의 패킷의 요구간격이 증대한다. 트리거발생부 (141)는, 이 증대한 레디신호의 패킷의 요구간격을 정기적으로 줄여 초기값(상기한 비트레이트 대기시간 또는 최소의 대기시간)으로 되돌아가는 작용을 한다.
일례를 들면, 트리거발생부(141)는, 예를 들면 1분, 10분, 1시간 또는 24시간이라는 간격으로 타이머처리부(139)의 요구간격을, 예를 들면 10 mscc 씩 되돌리는 작용을 한다. 예를 들면 트리거발생부(141-1)에 1시간 마다 타이머처리부(139-1)의 레디신호의 요구간격을 10 msec 줄이도록 설정되어 있으면, 제일 먼저 타이머처리부 (139-1)의 레디신호의 요구간격이 10 msec(초기값)로 설정되고, 1시간후에 네트워크로부터의 파기율에 의하여 레디신호의 요구간격이 60 msec로 증가되어 있었다고 한다. 이때 트리거발생부(141-1)로부터의 트리거펄스가 타이머처리부(139-1)에 인가되고, 이에 의하여 타이머처리부(139-1)의 레디신호의 요구간격이 10 msec 줄어들어 50 msec로 변경(재설정)된다. 마찬가지로 다시 1시간후에는 트리거 발생부(141-1)로부터 트리거펄스가 타이머처리부(139-1)에 인가되고, 타이머처리부(139-1)의 레디신호의 요구간격이 10 msec 줄어들어 40 msec로 변경된다. 이와 같은 동작이 반복되면 다시 3시간후에는 타이머처리부(139-1)의 레디신호의 요구간격은 초기값인 10 msec로 까지 되돌아간다. 또한 반드시 초기값으로 까지 되돌린다고는 한정하지 않고, 전송로의 전송대역, 사용빈도 등의 여러가지 요인으로 설정값이 변경되는 것은 물론이다. 또, 실제로는 이 사이에 있어서도 네트워크로부터의 파기율에 의하여 레디신호의 요구간격은 서서히 증가하는 것은 물론이다.
이와 같이 트리거발생부(141)는 타이머처리부(139)의 레디신호의 요구간격을 짧게 하는 작용을 한다. 또한 트리거발생간격은 상기한 바와 같이 1분, 10분, 1시간 또는 24시간이라는 바와 같이 실제 시스템의 상황에 따라 여러가지 값을 사용하는 것이 가능하여 미리 메모리(도시 생략)에 등록하여 둘 수 있다. 또 상기에서는 타이머처리부(139)의 요구간격을 10 msec씩 줄이도록 하고 있었으나, 몇 msec씩 줄일지라는 값에 대해서도 실제 시스템의 상황에 따라 여러가지 값을 사용하는 것이 가능하여, 미리 메모리(도시 생략)에 등록하여 둘 수 있다.
동작의 상세를 도 7에 의하여 설명한다. 트리거발생부(141)에서는 단계 151에서 전회 트리거발생으로부터의 경과시간을 측정한다. 단계 152에서는 전회 트리거발생으로부터의 경과시간이 트리거 발생간격에 도달하여 있는지를 조사하여, 트리거 발생간격에 도달하여 있던 경우는, 트리거를 타이머처리부(139)에 발생시킨다(단계 153). 트리거 발생간격에 도달하고 있지 않은 경우는, 시간대기(단계 154)를 행한다.
트리거를 수신한 타이머처리부(139)에서는, 단계 155에서 화상수신부(112)로부터 비트레이트가 통지되어 있는지를 검출한다. 비트레이트가 통지되어 있는 경우, 현재의 대기시간(요구간격)과 비트레이트 대기시간을 비교(단계 156)하여, 현재의 대기시간이 비트레이트 대기시간보다 큰 경우, 대기시간을 줄이는(단계 157)처리를 행한다. 반대의 경우는 대기시간을 줄일 필요는 없다. 또 비트레이트가 통지되어 있지 않은 경우, 단계 158로 진행하고, 현재의 대기시간이 최소의 대기시간, 예를 들면 10 msec보다 큰 경우, 대기시간을 줄이는(단계 157) 처리를 행한다. 반대의 경우는 대기시간을 줄일 필요는 없다.
이상의 동작을 반복함으로써 타이머처리부139)의 대기시간을 원래로 되돌려(초기값으로 되돌림) 전송로의 일시적인 비트레이트의 변화에 대응하는 것이 가능해진다.
또한, 상기한 실시예에서는 트리거가 발생할 때마다 타이머처리부(139)는 예를 들면 현재의 요구간격을 예를 들면 10 msec씩 줄이도록 하고 있었으나, 다른 예로서 트리거가 발생할 때마다 타이머처리부(139)는 요구간격을 강제적으로 초기값(비트레이트 대기시간, 또는 최소의 대기시간)으로 되돌리도록 하여도 좋다. 또 그때 초기값으로 되돌리기 전의 직전의 요구간격을 UDP 처리부(140)의 메모리(도시 생략)에 기억하여 두고, 예를 들면 요구간격을 초기값으로 되돌린 직후의 파기율이 소정치 이상(예를 들면, 초기값으로 되돌리기 직전의 파기율 이상)이었던 경우는, 요구간격을 상기 메모리에 기억하여 둔 직전의 요구간격으로 되돌리도록 하여도 좋다.
파기율 요구시간
0(초기값) 10ms
1 ~ 10 20ms
11 ~ 20 60ms
21 ~ 30 120ms
· · · · · ·
다음에, 표 2에 언급하여 본 발명의 또 다른 실시예를 설명한다. 또한 화상전송부(111)의 구성은 도 1에 나타낸 것과 동일하다. 상기한 실시예에서는 타이머처리부(139)는 표 1에 나타낸 테이블을 사용하여 파기율에 의거하여 지연시간을 가산하여 요구간격을 증대시키는 처리를 행하는 한편으로, 그 처리와는 별도로 소정간격으로 발생하는 트리거에 의거하여 도 7에서 나타낸 바와 같이 요구간격을 줄이는 처리를 행하고 있었다. 본 실시예에서는 표 2로 나타낸 테이블을 사용하여 전송로부터 보내져 오는 파기율 정보에 의거하여 적절하게 요구간격을 재설정하도록 하였기 때문에 상기한 실시예와는 달리 파기율의 증감에 따라 요구간격은 적절히 긴 간격으로 되거나, 짧은 간격으로 되기도 한다. 표 2는 파기율과 요구간격의 관계를 나타내는 것으로, 이와 같은 테이블이 UDP 처리부(138)의 메모리에 기억되어 있다. 표 2에 있어서, 파기율 정보는 0 (0%에 상당) ∼ 255 (100%에 상당)로 나타내고, 그들에 대응하여 요구간격이 설정되어 있다. 즉 일례로서 파기율 0 (초기값)에서 요구간격 10 msec (정상시), 파기율 1 내지 10에서는 20 msec, 파기율 11 내지 20에서는 60 msec, … 와 같이 파기율이 커짐에 따라 패킷의 요구간격이 증가하도록 설정되어 있다.
예를 들면 네트워크(122)의 비트레이트가 불분명한 경우, 타이머처리부(139-1)에서는 UDP 처리부(138)로부터 레디신호가 보내져 오면 시스템의 동작시(초기값 설정시)는 정상이라고 간주하고, 예를 들면 표 2에 나타나 있는 파기율 0 에 대응하는 요구간격, 즉 10 msec 간격으로 패킷을 보내도록 RTP 패킷처리부(137-1)에 요구를 내는 작용을 한다. 이 요구간격(대기시간)은, 전송로로부터 보내져 오는 파기율 정보에 의거하여 적절하게 변경된다.
따라서 예를 들면 네트워크(122)의 통화량이 증대하여 패킷의 파기가 발생한 경우, 표 2에 나타낸 테이블에 따라 파기율에 따른 요구간격이 설정된다. 한편, 네트워크(122)의 통화량의 증대가 해소된 경우, 패킷의 파기는 발생하지 않게 되고, 예를 들면 패킷의 파기율이 0 이 되면 요구간격은 표 2에 나타낸 바와 같이 파기율 O에 대응한 요구간격, 즉 초기값으로 되돌아가게 된다.
또한 네트워크(122)의 비트레이트를 알고 있는 경우에는, 비트레이트 정보에 맞춘 대기시간설정, 소위 비트레이트 대기시간을 파기율이 0인 경우의 초기값의 요구간격으로서 설정하면 좋다.
이상, 본 발명의 실시예에 대하여 상세하게 설명하였으나, 본 발명은 여기에 기재된 화상전송방법 및 화상전송장치의 실시예에 한정되는 것이 아니라, 상기 이외에 화상전송방법 및 화상전송장치에 널리 적응할 수 있는 것은 물론이다. 또 지금까지의 실시예에서는 처리대상이 되는 데이터는 MPEG-4, MPEG-2 등을 예로 들어 설명하였으나, 단순한 예시로서 처리대상 데이터를 MPEG에 한정하는 것은 아니다.
본 발명의 실시예에 의하면, 각각의 전송로의 회선속도를 개별로 대응하고 제어하여 수신측에서 요구하는 화상부호화 데이터를 정확하게 전송 가능하게 함과 동시에, 높은 비트레이트 전송로로부터 낮은 비트레이트 전송로에의 부호화 데이터의 전송에 대하여 패킷 파기율을 저감하여, 화상부호화 데이터를 전송 가능하게 하는 화상전송방법 및 화상전송장치를 제공할 수 있다. 또 일시적인 전송로의 장해에 대해서도 화상부호화 데이터를 최적의 상태로 전송 가능하게 하는 화상전송방법 및 화상전송장치를 제공할 수 있다.

Claims (10)

  1. 적어도 2 이상의 회선속도가 다른 전송로에 사용되는 화상전송장치에 있어서,
    화상신호를 입력하는 화상 입력수단과,
    상기 화상신호를 부호화하는 부호화처리부와,
    상기 부호화처리부에서 부호화된 데이터를 패킷화하여 송신하는 프로토콜제어부 및 상기 패킷화된 데이터 패킷을 전송하는 전송수단을 가지고,
    상기 프로토콜제어부는, 적어도 1개의 타이머처리부를 가지고,
    상기 타이머처리부는, 상기 전송로로부터의 데이터 패킷의 파기율 정보에 의거하여 상기 데이터패킷의 송신간격을 각각의 전송로의 회선속도에 개별로 대응하여 제어하는 것을 특징으로 하는 화상전송장치.
  2. 제 1항에 있어서,
    상기 프로토콜제어부는, 상기 데이터 패킷의 파기율 정보의 파기율에 대응한지연시간이 설정된 테이블을 가지고, 상기 타이머처리부는 상기 전송로로부터의 데이터 패킷의 파기율 정보에 대응하는 상기 테이블의 지연시간에 따라 데이터 패킷의 송출처리를 지연시키는 것을 특징으로 하는 화상전송장치.
  3. 제 1항에 있어서,
    상기 프로토콜제어부는 상기 데이터 패킷의 파기율 정보의 파기율에 대응한 데이터 패킷 송출의 요구간격이 설정된 테이블을 가지고, 상기 타이머처리부는 상기전송로로부터의 데이터 패킷의 파기율 정보에 대응하는 상기 테이블의 요구간격에 따라 데이터 패킷의 송출처리를 제어하는 것을 특징으로 하는 화상전송장치.
  4. 제 2항에 있어서,
    상기 프로토콜제어부는, 트리거발생부를 더 가지고, 상기 트리거발생부는, 소정간격으로 상기 타이머처리부를 재설정하기 위한 트리거 펄스를 발생하는 것을 특징으로 하는 화상전송장치.
  5. 제 4항에 있어서,
    상기 타이머처리부는 상기 트리거발생부로부터의 트리거 펄스에 의거하여 상기 테이블의 지연시간에 따라 지연시킨 데이터 패킷의 송출처리를 원래의 송신간격으로 되돌리도록 제어하는 것을 특징으로 하는 화상전송장치.
  6. 적어도 2 이상의 회선속도가 다른 전송로에서, 부호화된 화상 데이터를 패킷화하여 전송로에 송신하는 화상전송방법에 있어서,
    화상신호를 입력하여 상기 화상신호를 부호화 데이터로 변환하고,
    상기 부호화 데이터를 패킷화하여 패킷 데이터를 송신하는 경우에, 상기 전송로로부터의 파기율 정보에 의거하여 타이머처리부를 제어하고,
    상기 타이머처리부에서 설정된 송신간격으로 각각의 전송로의 회선속도에 개별로 대응하고 제어하여 상기 패킷 데이터를 송신하는 것을 특징으로 하는 화상전송방법.
  7. 제 6항에 있어서,
    상기 타이머처리부는, 상기 데이터 패킷의 파기율 정보의 파기율에 대응한 지연시간이 설정된 테이블에 의거하여 상기 전송로로부터의 데이터 패킷의 파기율 정보에 대응하는 상기 테이블의 지연시간에 따라 데이터 패킷의 송출처리를 지연시키는 것을 특징으로 하는 화상전송방법.
  8. 제 6항에 있어서,
    상기 타이머처리부는, 상기 데이터 패킷의 파기율 정보의 파기율에 대응한 데이터 패킷 송출 요구시간이 설정된 테이블에 의거하고, 상기 전송로로부터의 데이터 패킷의 파기율 정보에 대응하는 상기 테이블의 요구시간에 따라 데이터 패킷의 송출을 제어하는 것을 특징으로 하는 화상전송방법.
  9. 제 7항에 있어서,
    소정간격으로 트리거를 더욱 발생하고, 상기 트리거에 의하여 소정간격으로 상기 타이머처리부에서의 송신간격 설정을 재설정하는 것을 특징으로 하는 화상전송방법.
  10. 제 9항에 있어서,
    상기 트리거에 의거하여 상기 테이블의 지연시간에 따라 지연시킨 데이터 패킷의 송출처리를 원래의 송신간격으로 되돌리도록 제어하는 것을 특징으로 하는 화상전송방법.
KR20040036227A 2003-05-23 2004-05-21 화상전송방법 및 화상전송장치 KR100602916B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003145677 2003-05-23
JPJP-P-2003-00145677 2003-05-23

Publications (2)

Publication Number Publication Date
KR20040101046A KR20040101046A (ko) 2004-12-02
KR100602916B1 true KR100602916B1 (ko) 2006-07-19

Family

ID=34090595

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20040036227A KR100602916B1 (ko) 2003-05-23 2004-05-21 화상전송방법 및 화상전송장치

Country Status (3)

Country Link
US (1) US7433069B2 (ko)
JP (1) JP4850932B2 (ko)
KR (1) KR100602916B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4822952B2 (ja) * 2006-06-26 2011-11-24 富士通セミコンダクター株式会社 符号化データ転送装置および符号化データ転送方法
EP2117196A4 (en) * 2007-01-18 2014-01-08 Panasonic Corp COMMUNICATION DEVICE AND POWER SUPPLY METHOD
US8200959B2 (en) 2007-06-28 2012-06-12 Cisco Technology, Inc. Verifying cryptographic identity during media session initialization
US8417942B2 (en) * 2007-08-31 2013-04-09 Cisco Technology, Inc. System and method for identifying encrypted conference media traffic
US20090169001A1 (en) * 2007-12-28 2009-07-02 Cisco Technology, Inc. System and Method for Encryption and Secure Transmission of Compressed Media
US8837598B2 (en) * 2007-12-28 2014-09-16 Cisco Technology, Inc. System and method for securely transmitting video over a network
JP2011215707A (ja) * 2010-03-31 2011-10-27 Canon Inc 画像処理装置、撮像装置、画像処理方法およびプログラム
US9985864B2 (en) * 2010-08-04 2018-05-29 Keysight Technologies Singapore (Holdings) Pte. Ltd. High precision packet generation in software using a hardware time stamp counter
CN102075740A (zh) * 2010-12-21 2011-05-25 佛山市顺德区必达电子科技有限公司 图片抓拍并传输的方法
GB2500875A (en) * 2012-03-25 2013-10-09 Christopher Michael Glaister Protocol for packetizing image data and user data to send across a connection
US20140003520A1 (en) * 2012-07-02 2014-01-02 Cisco Technology, Inc. Differentiating Decodable and Non-Decodable Pictures After RAP Pictures
JP6302209B2 (ja) * 2013-10-28 2018-03-28 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09116563A (ja) * 1995-10-16 1997-05-02 Nippon Shisutemuuea Kk Ｍｐｅｇ２データ転送装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11284659A (ja) 1998-03-31 1999-10-15 Canon Inc 通信制御方法及びその装置及び記憶媒体
JP3668110B2 (ja) 2000-08-31 2005-07-06 株式会社東芝 画像伝送システムおよび画像伝送方法
JP3699910B2 (ja) * 2000-10-31 2005-09-28 株式会社東芝 データ伝送装置、データ伝送方法及びプログラム
JP2003169090A (ja) * 2001-11-30 2003-06-13 Fujitsu Ltd 伝送システム
JP4255685B2 (ja) 2002-02-18 2009-04-15 株式会社日立国際電気 画像伝送方法および画像伝送装置
JP4000895B2 (ja) * 2002-04-23 2007-10-31 日本電気株式会社 リアルタイム通信のためのビットレート制御方法および装置
US7558323B2 (en) * 2002-11-27 2009-07-07 Hitachi Kokusai Electric Inc. Video data transmission method for changing transmission data amounts in accordance with a transmission speed and a transmission system therefor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09116563A (ja) * 1995-10-16 1997-05-02 Nippon Shisutemuuea Kk Ｍｐｅｇ２データ転送装置

Also Published As

Publication number Publication date
US7433069B2 (en) 2008-10-07
JP4850932B2 (ja) 2012-01-11
US20050025048A1 (en) 2005-02-03
JP2009284500A (ja) 2009-12-03
KR20040101046A (ko) 2004-12-02

Similar Documents

Publication Publication Date Title
JP4850932B2 (ja) 画像伝送装置
JP3957460B2 (ja) 伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システム
US7443797B2 (en) Medium streaming distribution system
US7539925B2 (en) Transmission apparatus and method, reception apparatus and method, storage medium, and program
US7539187B2 (en) System and method for low-latency content-sensitive forward error correction
CN103780907B (zh) 一种视频数据流量整形的方法和装置
KR20030051265A (ko) 데이터통신시스템, 데이터송신장치, 데이터수신장치, 데이터통신방법 및 컴퓨터가 판독가능한 기록 매체
US8184529B2 (en) Communication apparatus, method, and program for transmitting and receiving packet data
EP1679895A1 (en) Medium signal transmission method, reception method, transmission/reception method, and device
JP4661373B2 (ja) 特定メディアデータの破棄を制御する送信装置及び送信プログラム
CN109862400B (zh) 一种流媒体传输方法、装置及其系统
JP3871661B2 (ja) マルチメディアコンテンツ受信装置及びマルチメディアコンテンツ受信方法
JP2005322995A (ja) リアルタイム映像転送におけるバッファ制御方法、送信端末、受信端末、映像配信システム、およびプログラム
JP2005033556A (ja) データ送信装置、データ送信方法、データ受信装置、データ受信方法
JP2002112265A (ja) 動画像符号化データの送信装置および送信方法
JP4541758B2 (ja) 画像伝送装置
JP5682292B2 (ja) 映像配信装置及び映像配信方法
JP2001086153A (ja) データ通信装置、データ通信システム、データ通信方法及び記憶媒体
JP2003023639A (ja) データ伝送装置及び方法、データ伝送プログラム、並びに記録媒体
EP2337257B1 (en) Method and apparatus of sending encoded multimedia digital data taking into account sending deadlines
JP4049378B2 (ja) 双方向画像通信システムにおけるサーバ及びその処理方法並びにプログラム
JP4343808B2 (ja) 双方向画像通信システムにおけるサーバ及びその処理方法並びにプログラム
Bassey et al. AN EFFECTIVE ADAPTIVE MEDIA PLAY-OUT ALGORITHM FOR REAL-TIME VIDEO STREAMING OVER PACKET NETWORKS
JP2004120148A (ja) マルチメディアコンテンツ送信装置およびマルチメディアコンテンツ受信装置
JP2006067410A (ja) 送信装置および方法、プログラム、並びに送受信システム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20040521

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20060127

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20060519

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20060712

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20060713

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20090708

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20100712

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20110617

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20120621

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20130621

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20130621

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20140626

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20140626

Start annual number: 9

End annual number: 9

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20160609