JP3944440B2

JP3944440B2 - Moving picture transmission system, emergency medical transmission system, and moving picture transmission apparatus

Info

Publication number: JP3944440B2
Application number: JP2002283913A
Authority: JP
Inventors: 宣宏坪根; 大輔塚原; 仁小崎
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2002-09-27
Filing date: 2002-09-27
Publication date: 2007-07-11
Anticipated expiration: 2022-09-27
Also published as: AU2003248319A1; JP2004120609A; AU2003248319B2; KR100560011B1; KR20040027460A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像伝送システム、救急医療用伝送システム及び動画像伝送装置に係り、さらに詳しくは、狭帯域の伝送路を用いて高品質のフレーム画像を伝送するための動画像伝送システムの改良に関する。
【０００２】
【従来の技術】
遠隔医療の分野では、人工衛星を介した移動体通信によって、救急搬送中の救急車から遠隔地にいる医師へ患者の様子を伝えるシステムについて検討がなされている（非特許文献１を参照）。救急車内で救急隊員が処置や治療を行う際、病院内にいる医師がデータ通信回線を介して患者の状態を把握することができれば、救急隊員に対し適切な指示を出すことができる。このような遠隔医療を実現するためには、高品質の動画像を伝送することができる高速データ通信回線が必要になる。
【０００３】
従来の移動体通信に用いられている通信衛星は、赤道上の静止衛星や低軌道の周回衛星であり、いずれもアンテナ仰角が小さいことから、建物、木立などが通信の障害となるシャドウイングが生じ易く、救急搬送時の通信手段には適していない。このため、準天頂を通過する人工衛星（準天頂衛星）を利用した動画像伝送が提案されている。準天頂衛星は、静止衛星よりも高度が高い長楕円軌道を周回する衛星（いわゆる８の字衛星など）であり、大きなアンテナ仰角を確保することができ、シャドウイングが生じにくいという特徴がある。
【０００４】
非特許文献１によれば、救急車１台当たり６Mbpsの帯域幅が必要であり、全国で同時に少なくとも５０台の救急車が活動する必要があると報告されている。従って、準天頂衛星（8の字衛星）の場合には６Mbps／台×５０台＝３００Mbpsの回線容量が必要とされている。ところが、３００Mbpsの回線容量は準天頂衛星の回線設計にとって過大な負担であり、必要な回線容量をできる限り削減する必要がある。
【０００５】
動画像の伝送帯域幅を削減する従来技術としては、ＭＰＥＧ２において動画を構成する各フレーム画像の品質を低減することにより、動画像の情報量を低減する方法がある。一般に、動画像はフレーム周期でサンプリングされた一連の画像フレームにより構成され、各フレームのデータ量を削減することによって、動画像のデータ量を削減することができる。
【０００６】
また、他の従来技術としては特許文献１に開示された方法がある。特許文献１に記載された技術は、動画像の符号化方式としてウェーブレット変換を用いるものである。送信端末においてウェーブレット変換することによって、受信端末においてウェーブレット復号する際、復号に必要な信号を全て受信しなくても、所定の信号を受け取った段階で動画像を復号することができる。このため、動画像の伝送帯域幅を削減することができる。
【０００７】
これらの技術を適用すれば、動画像送信端末、動画像受信端末間の伝送路の帯域幅に応じて動画像データを伝送することができる。すなわち、動画像送信端末から送信される帯域幅を低減し、動画像の伝送に必要な回線容量を削減することができる。
【０００８】
しかしながら、ＭＰＥＧ２や特許文献１による従来の方法では、いずれの場合にも動画像を構成する各フレーム画像の品質が劣化するという問題がある。このため、これらの従来技術はフレーム画像に高い品質が要求される分野には適していない。特に、医療分野に適用され、伝送された動画像によって医師が患者の様子を観察しようとする場合、患者の顔の表情を細かく観察する必要があるが、このような用途では従来技術を用いて帯域幅を低減することはできないという問題があった。
【０００９】
ここで、動画像を一連の画像フレームとして伝送する場合、各フレーム画像の品質を劣化させるのではなく、フレームレートを低下させて、動画像のデータ量を削減することも考えられる。つまり、各フレームのデータ量を削減するのではなく、フレーム数を削減する方法である。特に、医療分野に適用する場合、患者の表情などを伝える動画像は一般の動画像に比べ動きは少ないことから、各フレーム画像の品質を劣化させずに、フレーム転送レートを低下させて、必要な伝送帯域幅を削減することが望ましい。
【００１０】
ところが、動画像のエンコーダ（符号器）として既に一般市場にも広く普及しているＭＰＥＧ２の標準規格によれば、フレームレートは常に約３０フレーム毎秒にする必要があり、フレームレートを減少させる伝送制御は許されていない。フレームレートを制御することができるエンコーダを採用することも原理的には可能であるが、ＭＰＥＧ２の標準規格に反する特異なエンコーダを動画像送信端末に導入することは、その製造コストの観点から好ましいとは言えない。
【００１１】
また、別の案としては、フレームレートの減少制御をＭＰＥＧ２の標準規格に新たに盛り込むべく標準変更の活動を行うことも想定できるが、既に広く普及しているＭＰＥＧ２のような標準規格について、標準化機関で標準変更の合意を得ることは容易でないと考えられる。
【００１２】
【特許文献１】
特開平７−１５６０９号公報
【非特許文献１】
中島功、他４名，「長楕円・８の字衛星に向けた救急医療アプリケーション＜救急車からの動画像伝送必要回線数と帯域＞」，技術研究報告 SANE2000-178 SAT2000-127，社団法人電子情報通信学会，２００１年２月，ｐ．１７−２４
【００１３】
【発明が解決しようとする課題】
本発明は、上記の事情に鑑みてなされたものであり、伝送帯域幅の狭い伝送路を介して高品質のフレーム画像を伝送する動画像伝送システムを安価に提供することを目的とする。
【００１４】
また、フレームレートが予め定められた動画像を送信する動画像送信端末を用いて、動画像受信端末へ伝送されるフレーム画像の品質を低下させることなく、伝送路の伝送帯域幅を低減することができる動画像伝送システムを提供することを目的とする。また、動画像受信端末から伝送路の帯域幅を制御することができる動画像伝送システムを提供することを目的とする。
【００１５】
また、動画像データに関する受信状況報告パケットに基づいて、あるいは、受信状況報告パケットが受信できないことに基づいて、動画像送信端末がフレーム画像の品質を低下させるのを防止する動画像伝送システムを提供することを目的とする。
【００１６】
さらに、これらの動画像伝送システムに適用可能な動画像伝送装置、及び、これらの動画像伝送システムを適用した救急医療用伝送システムを提供することを目的とする。
【００１７】
【課題を解決するための手段】
本発明による動画像伝送システムは、動画像データを送信する動画像送信端末と、上記動画像データを受信する動画像受信端末と、上記動画像送信端末から上記動画像受信端末への上記動画像データの伝送を行う動画像伝送装置により構成される。上記動画像送信端末から送信される上記動画像データは、予め定められたフレームレートで生成された一連の画像フレームからなり、符号化処理の異なる複数のフレームデータからなるグループに含まれる各フレームデータが１又は２以上のデータパケットとして送信される。上記動画像伝送装置は、上記動画像送信端末から受信した上記データパケット内の属性データに基づいて、上記グループ又は上記フレームデータごとに上記データパケットを廃棄し、パケット数を削減する。上記動画像受信端末は、パケット数の削減された上記データパケットを上記動画像伝送装置から受信する。なお、上記フレームには、インターレス動画像におけるフィールドも含まれる。
【００１８】
この様な構成により、一定のフレームレートで動画像データを送信する動画像送信端末を用いて動画像データを送信する場合でも、フレーム画像の品質を低下させることなく伝送帯域幅を低減することができる。このため、伝送帯域幅の狭い伝送路を介して動画像受信端末に対し高画質の動画像データを伝送することができる。
【００２１】
また、本発明による動画像伝送システムは、動画像受信端末が、パケット欠落数を含む受信状況報告パケットを生成して上記動画像伝送装置へ送信し、上記動画像伝送装置が、上記受信状況報告パケット内の上記パケット欠落数を上記データパケットの廃棄数に基づいて減少し、減少された上記受信状況報告パケットを上記動画像送信端末へ送信し、上記動画像送信端末が、上記受信状況報告パケットに含まれる上記パケット欠落数が所定値を越えている場合に、送信する上記フレームデータの画質を低下させるように構成される。このような構成により、動画像伝送装置におけるパケットの廃棄に起因して、動画像送信端末から送信されるフレーム画像の品質が低下するのを防止することができる。
【００２２】
また、本発明による動画像伝送システムは、上記動画像受信端末が、所定の第１期間ごとにパケット欠落数を含む受信状況報告パケットを生成して上記動画像伝送装置へ送信し、上記動画像伝送装置は、上記第１期間以上の所定の第２期間が経過しても上記動画像受信端末からの上記受信状況報告パケットが到達しない場合に、上記受信状況報告パケットを生成し、上記動画像送信端末へ送信し、上記動画像送信端末は、上記第２期間以上の所定の第３期間、上記受信状況報告パケットを受信できなかった場合に、送信する上記フレームデータの画質を低下させるように構成される。この様な構成により、受信状況報告パケットが受信されないことに起因して、動画像送信端末から送信されるフレーム画像の品質が低下するのを防止することができる。
【００２３】
また、本発明による救急医療用伝送システムは、車両内に設置された動画像送信端末から医療機関内に設置された動画像受信端末へ通信衛星を介して動画像データを伝送するシステムであり、上記動画像送信端末が、予め定められたフレームレートで生成された一連の画像フレームからなる動画像データについて、符号化処理の異なる複数のフレームデータからなるグループに含まれる各フレームデータを１又は２以上のデータパケットとして送信する。また、上記車両内には、さらに、上記動画像送信端末から受信した上記データパケット内の属性データに基づいて上記グループ又は上記フレームデータごとに上記データパケットを廃棄し、パケット数を削減する動画像伝送装置と、上記動画像伝送装置からのデータパケットを上記通信衛星へ無線送信する衛星回線制御装置とを備えている。
【００２４】
この様な構成により、車両に設置された動画像伝送装置によりパケットを廃棄して、パケット数を削減することにより、フレーム画像の品質を低下させることなく、一定のフレームレートで動画像データを送信する動画像送信端末を用いて救急医療用伝送システムを実現することができる。また、衛星通信回線の限られた回線容量を有効利用することができる。
【００２５】
また、本発明による動画像伝送装置は、予め定められたフレームレートで生成された動画像データを動画像送信端末から受信し、動画像受信端末へ伝送する装置であり、第１の通信回線インタフェースと、パケット削減制御部と、第２の通信回線インタフェースとを備えている。上記第１の通信回線インタフェースは、符号化処理の異なる複数のフレームデータからなるグループに含まれる各フレームデータを１又は２以上のデータパケットとして上記動画像送信端末から受信する。上記パケット削減制御部は、上記動画像送信端末から受信した上記データパケット内の属性データに基づいて上記グループ又は上記フレームデータごとに上記データパケットを廃棄し、パケット数を削減する。上記第２の通信回線インタフェースは、パケット数削減後の上記データパケットを上記動画像受信端末へ送信する。
【００２６】
また、本発明による動画像伝送装置は、パケット削減制御部が、受信パケット内の属性データに基づいて、画像フレームごと、あるいは、グループ化された画像フレームにデータパケットを廃棄し、フレーム伝送レートを低減する。
【００２７】
例えば、独立して復号可能な第１のフレームデータと、他のフレームデータとともに復号される第２のフレームデータからなる動画像データの場合には、他のフレームデータとともに復号される第２のフレームデータを廃棄する。独立して復号可能な第１のフレームデータと、時間軸上で一方向に存在する他のフレームデータとともに復号される第２のフレームデータと、時間軸上で両方向に存在する２以上の他のフレームデータとともに復号される第３フレームデータからなる動画像データの場合には、第３のフレームデータを廃棄する。
【００２９】
【発明の実施の形態】
実施の形態１．
図１は、本発明の実施の形態１による動画像伝送システムの構成及び動作の一例を示した概略図である。ＭＰＥＧ送信端末１及びＭＰＥＧ受信端末３は通信ネットワークＮＷを介して接続され、ＭＰＥＧ送信端末１からＭＰＥＧ受信端末３へパケット化された動画像データが伝送される。
【００３０】
通信ネットワークＮＷは、第１の伝送路４１、第２の伝送路４２及び動画像伝送装置２からなる。動画像伝送装置２は、第１の伝送路４１を介してＭＰＥＧ送信端末１に接続されるとともに、第２の伝送路４２を介してＭＰＥＧ受信端末３に接続され、ＭＰＥＧ送信端末１からＭＰＥＧ受信端末３へのデータ伝送を中継している。
【００３１】
第２の伝送路４２によるＭＰＥＧ動画像の伝送帯域幅は、第１の伝送路４１によるＭＰＥＧ動画像の伝送帯域幅よりも狭く、動画像伝送装置２では動画像データパケットの間引きが行われる。すなわち、動画像伝送装置２は第２の伝送路４２から受信したパケットのうち一部のパケットを廃棄し、廃棄されずに残ったパケットを第２の伝送路４２に送出する。
【００３２】
パケットの間引きは、受信パケットの属性データに基づいて画像フレームごと（画像フレームの集合体ごとを含む）に行われ、動画像伝送装置２においてフレーム伝送レートが低減される。つまり、ＭＰＥＧ送信端末１からは、高いフレーム伝送レートでＭＰＥＧ動画像が送信される一方、ＭＰＥＧ受信端末３では、これよりも低いフレーム伝送レートでＭＰＥＧ動画像が受信できる。
【００３３】
図２は、図１の各装置の一構成例を示したブロック図である。ＭＰＥＧ送信端末１は、ＭＰＥＧエンコーダ１０及びパケット送信部１１からなり、撮像装置などから入力された動画像データは、ＭＰＥＧエンコーダ１０により符号化され、ＭＰＥＧ−ＴＳ（Transport Stream）に変換される。パケット送信部１１はこのＭＰＥＧ−ＴＳをＩＰパケットにカプセル化し、第１の伝送路４１へ送出する。
【００３４】
ＭＰＥＧ受信端末３は、パケット受信部３０及びＭＰＥＧデコーダ（復号器）３１からなり、第２の伝送路４２から受信したＩＰパケットはパケット受信部３０によりＭＰＥＧ−ＴＳに展開される。ＭＰＥＧデコーダ３１は、このＭＰＥＧ−ＴＳを復号化し、映像表示機器などへ動画像データを出力する。
【００３５】
図３は、ＭＰＥＧデータの一例を示した概念図であり、多数のＭＰＥＧピクチャーが時間軸（横方向）上に撮像順で並べられている。一般に、動画像は、所定のフレームレート（３０フレーム毎秒）でサンプリングされた静止画からなる画像フレームに分割され、一連の画像フレームにより動画像データが形成される。ＭＰＥＧのフレーム画像はピクチャーと呼ばれ、符号化処理の相違によってＩピクチャー（Intra-coded picture）、Ｐピクチャー（Predictive-coded picture）、Ｂピクチャー（Bidirectionally predictive-coded picture）の３種類のピクチャータイプがある。
【００３６】
Ｉピクチャーは、フレーム内の符号化処理により、データ量が削減されたピクチャーであり、符号化の対象となる画像フレームのみに基づいて符号化される。通常は、２次元ＤＣＴ（離散コサイン変換：Discrete Cosine Translation）で得られた係数を量子化した後にエントロピー符号化して生成される。
【００３７】
Ｐピクチャー及びＢピクチャーは、画像フレーム間の符号化処理により、データ量が削減されたピクチャーであり、他の画像フレームを利用した動き補償によって符号化される。Ｐピクチャーの場合は、時間軸上の一方向（過去）の画像フレームのみを利用して前向き予測を行って符号化され、Ｂピクチャーの場合は、時間軸上の双方向（過去と将来）の画像フレームを利用して前向き及び後向き予測を行って符号化される。
【００３８】
また、一連のピクチャーは、ランダムアクセス時にアクセスポイントを提供するピクチャーグループ（ＧＯＰ：Group Of Picture）に区分されている。各ピクチャーグループは、所定の規則に基づいて並べられたピクチャータイプの異なる複数のピクチャーからなり、ランダムアクセス時にはピクチャーグループ単位でアクセスされる。
【００３９】
図４は、ＭＰＥＧ送信端末１からＭＰＥＧ受信端末３へ伝送されるデータパケットの一構成例を示した図である。図示したデータパケット５は、ＩＰヘッダ５０、ＵＤＰヘッダ５１、ＲＴＰヘッダ５２及びＲＴＰペイロード５３により構成される。また、ＲＴＰペイロード５３は、ＭＰＥＧヘッダ５４及びＭＰＥＧコンテンツ５５からなる。
【００４０】
このデータパケットは、ネットワーク層、トランスポート層、アプリケーション層の通信プロトコルとして、それぞれＩＰ（Internet Protocol）、ＵＤＰ（User Datagram Protocol）、ＲＴＰ(Real-time Transport Protocol）が採用されている。また、ＭＰＥＧコンテンツ５５は、ＩＥＴＦ（Internet Engineering Task Force）標準ＲＦＣ２２５０（RTP Payload Format for MPEG1/MPEG2 Video）に基づき、ＭＰＥＧヘッダ５４が付加され、ＭＰＥＧペイロード５３としてカプセル化されている。
【００４１】
ＵＤＰ／ＩＰは、伝送路上での伝送パケット欠落や遅延揺らぎを考慮しない簡易な通信プロトコルである。パケット欠落時にも再送処理は行わないことから高速データ伝送が可能であり、リアルタイム性が要求される動画像データの伝送に広く用いられている。ＩＰヘッダ５０には、送信元及び送信先のＩＰアドレスなどが格納されている。また、ＵＤＰヘッダ５１には、送信元及び送信先のポート番号などが格納されている。
【００４２】
ＲＴＰヘッダ５２には、タイムスタンプやシーケンス番号が格納され、ＭＰＥＧ受信端末３は、ＲＴＰヘッダに基づいて伝送路上での遅延時間やパケット欠落を検出することができる。これらの受信状況は、ＲＴＣＰ（RTP Control Protocol）を用いてＭＰＥＧ受信端末３からＭＰＥＧ送信端末１へ定期的に送信され、フィードバックされる。
【００４３】
また、ＲＴＰヘッダ５２には、ピクチャーグループ（ＧＯＰ）の終わりを示す１ビットのマーカーが格納されている。このため、ＭＰＥＧ受信端末３は、ＲＴＰヘッダ５２を解析することにより、マーカーに基づいて各ＧＯＰの最後のパケットか否かを判別することができる。
【００４４】
ＭＰＥＧコンテンツ５５は、１又は２以上のＭＰＥＧ−ＴＳ（Transport Stream）パケットにより構成される。ＭＰＥＧ−ＴＳは、ＭＰＥＧピクチャーから生成される１８８バイトのパケットデータである。また、ＭＰＥＧヘッダ５４には、ＭＰＥＧコンテンツ５５に含まれるＭＰＥＧピクチャーのピクチャータイプが格納されている。このため、ＭＰＥＧ受信端末３は、ＭＰＥＧヘッダ５４を解析することにより、ピクチャータイプを判別することができる。
【００４５】
次に、動画像伝送装置２における動作について説明する。動画像伝送装置２は、ＭＰＥＧ送信端末１からＩＰパケットを受信すると、ＩＰパケットに含まれるＭＰＥＧ動画像データの属性情報を分析し、当該ＩＰパケットを廃棄するか否かを決定する。廃棄の決定は、ピクチャーグループ（ＧＯＰ）又はピクチャーごとに決定され、ＩＰパケットごとに廃棄される。この結果、廃棄されずに残ったＩＰパケットがＭＰＥＧ受信端末３へ送出される。
【００４６】
図５〜図７は、動画像伝送装置２による帯域幅削減方法の一例を示した概念図である。図５には、ピクチャーグループＧＯＰごとにパケットを廃棄する場合の例が示されている。動画像伝送装置２は、受信したＩＰパケット内のＲＴＰヘッダ５２に基づいてピクチャーグループの最後のパケットを判別する。この判別結果に基づいて、ピクチャーグループごとにＩＰパケットを廃棄し、あるいは中継する。この様にしてＮ個のピクチャーグループごとにＭ個のピクチャーグループを廃棄すれば、伝送帯域幅を（Ｎ−Ｍ）／Ｎに削減することができる。例えば、ピクチャーグループごとに廃棄及び中継を交互に行えば伝送帯域幅を１／２にすることができる。
【００４７】
図６には、動き補償が行われているピクチャーのみを廃棄する場合の例が示されている。動画像伝送装置２は、受信したＩＰパケット内のＭＰＥＧヘッダ５４に基づいてＭＰＥＧコンテンツ５５のピクチャータイプを判別する。この判別結果に基づいて、ピクチャーごとにＩＰパケットの廃棄又は中継を行う。廃棄されるピクチャーは、動き補償が行われているピクチャー、すなわち、Ｐピクチャー及びＢピクチャーであり、Ｉピクチャーは中継される。
【００４８】
図７には、双方向の動き補償が行われているピクチャーのみを廃棄する場合の例が示されている。図６の場合と同様、動画像伝送装置２は、ピクチャータイプの判別結果に基づいて、ピクチャーごとにＩＰパケットの廃棄又は中継を行う。このとき、前向き予測及び後ろ向き予測が行われているＢピクチャーのみを廃棄し、Ｉピクチャー及びＰピクチャーは中継される。
【００４９】
なお、伝送帯域幅の削減方法は、複数の削減方法の中から、コンテンツの種類や、帯域幅、伝送路の状況に応じて任意に選択可能とすることが望ましい。また、これらの帯域幅削減方法を適宜に組み合わせて使用することもできる。例えば、所定のピクチャーグループ内のＰパケット及びＢパケットのみを廃棄することもできる。さらに、これらの帯域幅削減方法は一例であり、受信パケット内の属性データに基づいてパケットを間引くための他の方法を採用することもできる。
【００５０】
本実施の形態による動画像伝送システムでは、ＭＰＥＧ動画像を形成する一連のピクチャーが、ＭＰＥＧ送信端末１から第１の伝送路４１を介して動画像伝送装置２へパケット送信され、動画像伝送装置２において受信されたパケットの一部が廃棄される。このとき、受信パケットに含まれる属性データに基づいて、ピクチャーグループやピクチャータイプを判別し、ピクチャーグループ又はピクチャーごとに受信パケットが廃棄される。そして、廃棄されずに残ったパケットのみが、第２の伝送路４２を介してＭＰＥＧ受信端末３へ送信される。
【００５１】
すなわち、動画像伝送装置２は、動きの滑らかさよりも各画像フレームの画質を優先させて、動画像データをＭＰＥＧ受信端末３へ伝送する。このため、第２の伝送路４２が十分な帯域幅を有しない場合であっても、フレームごとの画像品質の高い動画像を伝送することができる。
【００５２】
特に、第２の伝送路４１の帯域幅が第１の伝送路の帯域幅よりも狭い場合に、ＭＰＥＧ送信端末１から高伝送レートで動画像データを送信させる一方、動画像伝送装置２において伝送レートを低下させて、ＭＰＥＧ受信端末３において高画質のピクチャーデータを受信することができる。
【００５３】
しかも、上記動画像伝送システムは、特別なＭＰＥＧ送信端末１を用いる必要がないため、安価に実現することができる。すなわち、ＭＰＥＧ送信端末１において、フレーム伝送レートを低下させて各フレーム画像の品質を向上させるのではなく、広帯域の第１の伝送路４１を介してＭＰＥＧ送信端末１に接続された動画像伝送装置２においてフレーム伝送レートを低減することによって安価にシステムを構築することができる。
【００５４】
実施の形態２．
図８は、本発明の実施の形態２による動画像伝送システムの構成及び動作の一例を示した概略図である。動画像伝送装置２Ａは、複数の帯域削減方法から任意の帯域削減方法を選択し、選択された削減方法によってＭＰＥＧ動画像データの伝送帯域幅を削減可能な装置である。ＭＰＥＧ受信端末３は、動画像伝送装置２Ａに対し削減方法を指示し、動画像伝送装置２Ａは、この指示に基づいて削減方法を選択する。
【００５５】
図９は、図８の動画像伝送装置２Ａの要部の一例を示したブロック図である。動画像伝送装置２Ａは、通信回線インタフェース２０及び２１と、ＭＰＥＧ帯域削減制御部２２とにより構成される。通信回線インタフェース２０，２１は、通信ネットワークＮＷへの接続制御を行っている。つまり、通信回線インタフェース２０は第１の伝送路４１を介してＭＰＥＧ送信端末１との接続制御を行い、通信回線インタフェース２１は第２の伝送路４２を介してＭＰＥＧ受信端末３との接続制御を行っている。
【００５６】
ＭＰＥＧ帯域削減制御部２２は、パケット削減制御部２３及び受信端末要求処理部２４により構成される。受信端末要求処理部２４は、通信回線インタフェース２１を介して、ＭＰＥＧ受信端末３からの削減方法指示パケットを受け取ると、当該パケットに含まれる削減方法の情報を取り出し、パケット削減制御部５２へ出力する。
【００５７】
その後、パケット削減制御部２３によるパケットの削減処理は、ＭＰＥＧ受信端末３により指定された削減方法によって行われる。削減方法指定パケットにより指定される削減方法は、例えば、実施の形態１（図５〜図７）で示された各削減方法であってもよいし、伝送帯域幅の削減率であってもよいし、これらの組み合わせであってもよい。
【００５８】
本実施の形態による動画像伝送システムは、ＭＰＥＧ受信端末３から動画像伝送装置２へ削減方法指示パケットを送信し、動画像伝送装置２が、当該パケットに基づいて、ＭＰＥＧ動画像の伝送帯域削減の方法を選択している。このため、送信先であるＭＰＥＧ受信端末３からフレーム画像の品質を制御することができる。すなわち、必要とされるフレーム画像の品質に応じて、動画像伝送装置２の削減処理を制御することができる。
【００５９】
実施の形態３．
図１０は、本発明の実施の形態３による動画像伝送システムの構成及び動作の一例を示した概略図である。この動画像伝送システムでは、２つのＭＰＥＧ送信端末１Ａ及び１Ｂと、１つのＭＰＥＧ受信端末３が通信ネットワークＮＷを介して接続され、ＭＰＥＧ送信端末１Ａ，１ＢのぞれぞれからＭＰＥＧ受信端末３へパケット化された動画像データが伝送される。
【００６０】
すなわち、動画像伝送装置２Ｂには、広帯域の第１の伝送路４１を介して、OLE_LINK1ＭＰＥＧ送信端末OLE_LINK1１Ａ及びＭＰＥＧ送信端末１Ｂが接続されるとともに、狭帯域の第２の伝送路４２を介してＭＰＥＧ受信端末３が接続されている。そして、動画像伝送装置２Ｂが、ＭＰＥＧ送信端末１Ａ及びＭＰＥＧ送信端末１ＢからＭＰＥＧ受信端末３へ送信されるデータパケットの中継を行っている。
【００６１】
動画像伝送装置２Ｂは、ＭＰＥＧ送信端末１Ａ，１Ｂごとに帯域削減方法を選択可能な装置である。ＭＰＥＧ受信端末３は、動画像伝送装置２Ａに対しＭＰＥＧ送信端末ごとの削減方法（削減率も含む）を指示し、動画像伝送装置２Ａはこの指示に基づいて削減方法を選択する。
【００６２】
ＭＰＥＧ受信端末３には、ディスプレイ装置６が接続され、ＭＰＥＧ送信端末１Ａ及び１Ｂから送信された動画像がともに表示される。ＭＰＥＧ受信端末３から各動画像について帯域削減方法を指示することができるので、受信側での必要に応じてそれぞれの画質を制御することができる。図１０では、ＭＰＥＧ送信端末１Ａからの動画像は帯域削減せずに伝送し表示させる一方、ＭＰＥＧ送信端末１Ｂからの動画像は帯域幅を１／４に削減して伝送し、低画質で表示させた場合の例が示されている。
【００６３】
図１１は、図１０の動画像伝送システムの他の動作状態の例を示した図である。図１０の場合とは逆に、ＭＰＥＧ送信端末１Ｂからの動画像を高画質で表示させる場合が示されている。ＭＰＥＧ送信端末１Ａからの動画像は帯域幅を１／４に削減して伝送し、ＭＰＥＧ送信端末１Ｂからの動画像は帯域削減せずに伝送するように、ＭＰＥＧ受信端末３から動画像伝送装置２Ｂに指示すれば、ＭＰＥＧ送信端末１Ａからの動画像を低画質で表示し、ＭＰＥＧ送信端末１Ｂからの動画像を高画質で表示させることができる。
【００６４】
図１２は、図１０及び図１１の動画像伝送装置２Ｂの要部の一例を示したブロック図である。図中のＭＰＥＧ帯域削減制御部２２は、パケット削減制御部２３、受信端末要求処理部２４及び削減制御テーブル２５により構成され、図９の動画像伝送装置２Ａ（実施の形態２）と比較すれば、削減制御テーブル２５を有する点で異なる。
【００６５】
削減制御テーブル２５は、ＭＰＥＧ送信端末１Ａ，１Ｂごとに帯域削減方法を記憶保持し、受信端末要求処理部２４により更新される。パケット削減制御部２３は、この削減制御テーブル２５に基づいてパケットの送信元であるＭＰＥＧ送信端末１Ａ，１Ｂごとに帯域削減方法を選択してＭＰＥＧパケットを廃棄する。
【００６６】
受信端末要求処理部２４は、通信回線インタフェース２１を介して、ＭＰＥＧ受信端末３からの削減方法指示パケットを受け取ると、当該パケットに含まれる削減処理対象の送信元（ＭＰＥＧ送信端末１Ａ又は１Ｂ）及び削減方法の情報を取り出し、送信元に削減方法を関連づけて削減制御テーブル２５に書き込む。
【００６７】
本実施の形態による動画像伝送システムは、ＭＰＥＧ受信端末３から送信元及び削減方法の情報を含む削減方法指示パケットを送信し、動画像伝送装置２Ｂが、送信端末１Ａ，１ＢごとにＭＰＥＧ動画像の伝送帯域削減の方法を選択している。このため、送信先であるＭＰＥＧ受信端末３からフレーム画像の品質を制御することができ、受信側で必要とされるフレーム画像の品質に応じて、動画像伝送装置２Ｂにおける削減処理を制御し、伝送帯域幅を調整することができる。
【００６８】
例えば、ＭＰＥＧ受信端末３において、２以上の動画像を受信している場合に、特定の動画像について高品質のフレーム画像が必要になれば、他の動画像の伝送帯域を削減することにより、トータルの伝送帯域を一定にしたままで、上記特定の動画像の伝送帯域を拡大させることができる。
【００６９】
実施の形態４．
図１３は、本発明の実施の形態４による動画像伝送システムの構成及び動作の一例を示した概略図である。この動画像伝送システムは、負荷状況監視装置７を有して構成され、動画像伝送装置２Ｃは、通信ネットワークＮＷの負荷状況に応じて伝送帯域の削減方法を選択する。
【００７０】
負荷状況検出装置７は、通信ネットワークＮＷの負荷状況、特に狭帯域の伝送路である第２の伝送路４２の負荷状況を検出し、検出された負荷状況を動画像伝送装置２Ｃへ通知する。負荷状況は、通信ネットワークＮＷのトラフィックを監視することにより検出することができる。また、その他の方法、例えば、通信ネットワークＮＷに接続されたＭＰＥＧ送信端末１の数に基づいて負荷状況を判別してもよい。
【００７１】
図１４は、図１３の動画像伝送装置２Ｃの要部の一構成例を示したブロック図である。図中のＭＰＥＧ帯域削減制御部２２は、パケット削減制御部２３、受信端末要求処理部２４、削減制御テーブル２５及び負荷状況対応処理部２６により構成される。図１２の動画像伝送装置２Ｂ（実施の形態３）と比較すれば、負荷状況対応処理部２６を有する点で異なる。
【００７２】
負荷状況対応処理部２６は、負荷状況検出装置７からの負荷状況通知を受信すると、負荷状況に応じて削減制御テーブル２５を更新する。すなわち、通信ネットワークＮＷの負荷が重くなれば、より多くの送信端末１についてＭＰＥＧパケットの削減処理を行い、あるいは、伝送帯域の削減率がより高い削減処理を行うように削減制御テーブル２５を更新する。負荷が軽く成った場合には、逆の更新処理を行う。
【００７３】
本実施の形態による動画像伝送システムは、負荷状況検出装置７が、通信ネットワークＮＷの負荷を検出し、動画像伝送装置２Ｃが、負荷状況検出装置７からの負荷状況通知に基づいて、ＭＰＥＧ動画像の伝送帯域削減の方法を選択している。このため、通信ネットワークＮＷの負荷状況に応じてフレーム画像の品質を制御することができる。
【００７４】
なお、負荷状況検出装置７は、動画像伝送装置２Ｃの負荷状況対応処理部２６に対して負荷状況を通知することができる装置であればよく、通信ネットワークＮＷ外の装置であってもよいし、通信ネットワークＮＷ内の装置であってもよい。また、動画像伝送装置２Ｃ内に設けられていてもよい。
【００７５】
実施の形態５．
図１５は、本発明の実施の形態５による動画像伝送システムの構成及び動作の一例を示した概略図である。動画像伝送装置２Ｄは、ＭＰＥＧ受信端末３からＭＰＥＧ送信端末１へ送信される受信状況報告パケットを中継する際、受信状況報告パケットを変更し、ＭＰＥＧ送信端末１から送信されるフレーム画像の品質低下を抑制している。また、通信ネットワークＮＷ内での輻輳の発生を検出し、ネットワーク管理センター８へ通知する。
【００７６】
上述した通り、ＭＰＥＧ受信端末３は、正常受信できなかったパケットの数（パケット欠落数）を受信パケット中のＲＴＰヘッダに基づいて求め、パケット欠落数を含む受信状況報告パケット（ＲＴＣＰパケット）をＭＰＥＧ送信端末１へ定期的に送信している。
【００７７】
パケット欠落数が多い場合、通常は、通信ネットワークＮＷ内部で輻輳が生じていると考えられる。このため、ＭＰＥＧ送信端末１は、受信状況報告パケットに含まれるパケット欠落数が多くなった場合、あるいは、所定の期間、受信状況報告パケットを受信できなかった場合には、その後の送信帯域幅を低減させる。
【００７８】
ここで、ＭＰＥＧ送信端末１のフレーム伝送レートは一定であることから、送信帯域幅を低減するには、ＭＰＥＧエンコーダ１０での符号化パラメータを変更して、フレーム画像の品質を低下させる必要がある。つまり、ＭＰＥＧ送信端末１において送信帯域幅を低減すれば、フレーム画像の品質が低下する。
【００７９】
このため、動画像伝送装置２Ｄは、ＭＰＥＧ受信端末３からの受信状況報告パケット内のパケット欠落数を変更してＭＰＥＧ送信端末１へ送出する。この様にして、動画像伝送装置２Ｄにおけるパケットの廃棄をＭＰＥＧ送信端末１に対して隠蔽し、ＭＰＥＧパケットの受信状況が実際以上に良好であるように見せかけることにより、パケットの廃棄に基づきＭＰＥＧ送信端末１の送信画質が低下するのを防止している。
【００８０】
図１６は、図１５の動画像伝送装置２Ｄの要部の一構成例を示したブロック図である。図中のＭＰＥＧ帯域削減制御部２２は、パケット削減制御部２３、受信端末要求処理部２４、削減制御テーブル２５、負荷状況対応処理部２６及び受信状況報告パケット制御部２７により構成される。図１４の動画像伝送装置２Ｃ（実施の形態４）と比較すれば、受信状況報告パケット制御部２７を有する点で異なる。
【００８１】
受信状況報告パケット制御部２７は、通信回線インタフェース２１を介してＭＰＥＧ受信端末３から受信状況報告パケットを受け取る。この受信状況報告パケット内のパケット欠落数が読み出され、パケット削減制御部２３において廃棄したパケット数だけパケット欠落数が減少するように変更される。すなわち、動画像伝送装置２Ｄで廃棄されたパケット数だけを除外する。なお、動画像伝送装置２Ｄにおいて廃棄されたパケット数は、削減制御テーブル２５から削減方法を読み出して求めることができる。あるいは、パケット削減制御部２３が廃棄したパケット数を保持している場合には、そのパケット数を利用してもよい。
【００８２】
パケット欠落数がパケット廃棄数を越えている場合には、通信ネットワークＮＷ内で輻輳が生じていると考えられる。このため、変更後のパケット欠落数が所定値（例えばゼロでもよい）を越えている場合、受信状況報告パケット制御部２７は、ネットワーク管理センター８へ輻輳の発生を通知する。この通知を受け取ったネットワーク管理センター８は、例えば、通信ネットワークＮＷの帯域幅を増大させ、あるいは、各ＭＰＥＧ送信端末１ごとの伝導帯域幅を減少させる。
【００８３】
本実施の形態による動画像伝送システムは、動画像伝送装置２Ｄが、ＭＰＥＧ受信端末３からＭＰＥＧ送信端末１へ伝送される受信状況報告パケットのパケット欠落数を変更している。このため、動画像伝送装置２Ｄでのパケット廃棄に起因してＭＰＥＧ送信端末１から送信される画像フレームの品質が低下するのを防止することができる。
【００８４】
実施の形態６．
図１７は、本発明の実施の形態６による動画像伝送システムの構成及び動作の一例を示した概略図である。動画像伝送装置２Ｅは、本来、ＭＰＥＧ受信端末３によって生成される受信状況報告パケットを自ら生成し、ＭＰＥＧ送信端末１へ送出し、ＭＰＥＧ送信端末１から送信されるフレーム画像の品質低下を抑制している。
【００８５】
動画像伝送装置２Ｅの詳細構成は、図１６に示された動画像伝送装置２Ｄと同様である。ＭＰＥＧ受信端末３は定期的に受信状況報告パケット（ＲＴＣＰパケット）を送信しているが、通信ネットワークＮＷ内部での輻輳や伝送誤りなどに起因して、予め定められた一定時間が経過しても動画像伝送装置２Ｅに受信状況報告パケットが到着しない場合がある。この場合、ＭＰＥＧ送信端末１は、フレーム画像の品質を低下させることになる。
【００８６】
このため、受信状況報告パケット制御部２７は、所定時間が経過しても受信状況報告パケットが到着しない場合には、受信状況報告パケットを自ら生成し、通信回線インタフェース２０を介してＭＰＥＧ送信端末１へ送信する。なお、動画像伝送装置２Ｅは、ＭＰＥＧパケットの中継時に、受信状況報告パケットの生成に必要な情報、例えばＲＴＰヘッダ内の情報を記憶保持しており、当該情報に基づいて受信状況報告パケットを生成している。
【００８７】
本実施の形態による動画像伝送システムは、動画像伝送装置２Ｅが、受信状況報告パケットを生成し、ＭＰＥＧ送信端末１へ送出している。このため、ＭＰＥＧ受信端末３からＭＰＥＧ送信端末１へ受信状況報告パケットが正常に送信されなかった場合にも、ＭＰＥＧパケットの受信状況が実際以上に良好であるように見せかけることができ、ＭＰＥＧ送信端末１からの送信画質が低下するのを防止できる。
【００８８】
実施の形態７．
本実施の形態では、上記実施の形態１〜６の動画像伝送システムを救急医療用の動画像伝送システムに適用する場合の例について説明する。
【００８９】
図１８は、救急医療用の動画像伝送システムの概略構成を示した図である。複数台の救急車６１と、複数の病院６５とが衛星通信回線及び地上ネットワーク６４を介して接続されている。救急車６１内にはＭＰＥＧ送信端末（不図示）が設置され、病院６５内にはＭＰＥＧ受信端末（不図示）が設置されており、救急搬送時には、患者の様子や診断機器による診断結果が動画像データとして救急車６１から病院６５へ送信される。
【００９０】
衛星通信回線及び地上ネットワーク６４間の中継は、地上に設置されたフィーダー局６３によって行われている。すなわち、移動体としての救急車６１は、通信衛星６２を介してフィーダー局６３と通信している。通信衛星６２は、救急車６１において大きなアンテナ仰角を確保可能な準天頂衛星であり、概ね日本全国をカバーすることができる。
【００９１】
図１９は、図１８の救急車６１についてその要部の一構成例を示した図である。救急車６１には、アンテナ７１、衛星回線制御装置７２、動画像伝送装置７３、ＭＰＥＧ送信端末７４及びカメラ７５が設置されている。
【００９２】
ＭＰＥＧ送信端末７４は、100Base-TXなどのＬＡＮケーブルを介して、動画像伝送装置７３に接続され、動画像伝送装置７３との間でＩＰパケットを送受信している。また、動画像伝送装置７３は、衛星回線制御装置７２に接続され、衛星回線制御装置７２は、アンテナ７１を介して通信衛星との間でＲＦ信号の送受信を行っている。
【００９３】
カメラ７５は、ＭＰＥＧ送信端末７４に接続され、カメラ７５で撮影された患者の様子は動画像データとしてＭＰＥＧ送信端末７４へ出力される。ＭＰＥＧ送信端末７４は、この動画像データをＭＰＥＧ標準規格（例えばＭＰＥＧ２）により符号化して動画像伝送装置７３へ出力する。
【００９４】
動画像伝送装置７３は、実施の形態１〜６における動画像伝送装置２〜２Ｅに相当する装置であり、ＭＰＥＧ送信端末７４から受信したデータパケットに対し間引き処理を行って衛星回線制御装置７２へ出力している。すなわち、帯域削減後の動画像データがアンテナ７１から通信衛星６２へ送出される。
【００９５】
通信衛星６２は、広いエリアをカバーすることができるが、同時に稼働している救急車６１が増加すれば、各救急車６１に割り当てることができる帯域幅は狭くなる。このため、ＭＰＥＧ送信端末７４、衛星回線制御装置７２間に動画像伝送装置７３を介在させている。
【００９６】
すなわち、動画像伝送装置７３を各救急車６１に割り当てられた衛星通信回線の伝送帯域幅よりも帯域幅の広い伝送路を介してＭＰＥＧ送信端末７４に接続し、動画像伝送装置７３においてフレーム伝送レートを低下させている。このため、割り当てられた衛星通信回線の帯域幅が狭い場合でも、フレーム画像の品質を低下させることなく、動画像データを伝送することができる。
【００９７】
一般に、救急搬送中の患者について遠隔診断を行う際には、色や形状の情報が重要になる場合が多く、動画像を伝送する際は、動きの滑らかさよりも画質を優先して伝送する必要がある。このため、利用可能な衛星通信回線の帯域幅に応じて、動画像伝送装置７３がフレーム伝送レートを低下させれば、医師による遠隔診断が可能となる。
【００９８】
図２０は、図１８の救急車６１についてその要部の他の構成例を示した図である。動画像伝送装置７３には、ＬＡＮケーブルを介して複数のＭＰＥＧ送信端末７４が接続され、各ＭＰＥＧ送信端末７４から動画像伝送装置７３へ動画像データが出力され、衛星通信回線を介して病院６５のＭＰＥＧ受信端末へ送信される。
【００９９】
ここでは、３台のＭＰＥＧ送信端末７４が接続されている。このうちの１台は超音波診断装置等の診断装置７６に接続され、他の２台はカメラ７５に接続されている。カメラ７５からは、カラー動画像が出力され、診断装置７６からは超音波エコー画像（モノクロ動画像）が出力される。医師は、これらの動画像を見ながら診断を行う。
【０１００】
利用可能な衛星通信回線の帯域幅が狭い場合、一部の動画像についてフレーム伝送レートを低下させる必要が生ずると考えられる。この様な場合、どの動画像について、どのパケット削減方法を採用するのかを医師が判断し、削減制御指定パケットとしてＭＰＥＧ受信端末から送信することにより、全体としての帯域幅を抑制することができる。すなわち、各動画像の重要性に応じて、パケット削減の有無又は削減率を異ならせて、割り当てられた帯域幅を有効活用することができ、その判断が受信側にいる医師によって行われる。
【０１０１】
【発明の効果】
本発明による動画像伝送システムは、動画像送信端末が、各フレームデータを１又は２以上のデータパケットとして送信し、動画像伝送装置が受信パケット内の属性データに基づいて、データパケットを廃棄し、パケット数を削減して動画像受信端末へ送信する。このため、フレーム画像の品質を低下させることなく、あるいは品質の低下を抑制しつつ、伝送帯域幅を低減することができる。また、一定のフレームレートで動画像データを送信する動画像送信端末を用いることができる。従って、伝送帯域幅の狭い伝送路を介して高品質のフレーム画像を伝送する動画像伝送システムを安価に提供することができる。また、この様な動画像伝送システムに適用可能な動画像伝送装置を提供することができる。
【０１０４】
また、本発明による動画像伝送システムは、動画像伝送装置が、動画像受信端末からの受信状況報告パケット内のパケット欠落数をデータパケットの廃棄数に基づいて変更する。従って、動画像伝送装置におけるパケットの廃棄により、動画像送信端末から送信されるフレーム画像の品質が低下するのを防止することができる。
【０１０５】
また、本発明による動画像伝送システムは、動画像伝送装置が、所定の期間、動画像受信端末からの受信状況報告パケットが到達しない場合に、受信状況報告パケットを生成する。従って、受信状況報告パケットが動画像送信端末に到達しないことにより、動画像送信端末から送信されるフレーム画像の品質が低下するのを防止することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による動画像伝送システムの構成及び動作の一例を示した概略図である。
【図２】図１の各装置の一構成例を示したブロック図である。
【図３】ＭＰＥＧデータの一例を示した概念図であり、多数のＭＰＥＧピクチャーが時間軸（横方向）上に撮像順で並べられている。
【図４】ＭＰＥＧ送信端末１からＭＰＥＧ受信端末３へ伝送されるデータパケットの一構成例を示した図である。
【図５】ピクチャーグループＧＯＰごとにパケットを廃棄する場合の例が示されている。
【図６】動き補償が行われているピクチャーのみを廃棄する場合の例が示されている。
【図７】双方向の動き補償が行われているピクチャーのみを廃棄する場合の例が示されている。
【図８】本発明の実施の形態２による動画像伝送システムの構成及び動作の一例を示した概略図である
【図９】図８の動画像伝送装置２Ａの要部の一例を示したブロック図である。
【図１０】本発明の実施の形態３による動画像伝送システムの構成及び動作の一例を示した概略図である。
【図１１】図１０の動画像伝送システムの他の動作状態の例を示した図である。
【図１２】図１０及び図１１の動画像伝送装置２Ｂの要部の一例を示したブロック図である。
【図１３】本発明の実施の形態４による動画像伝送システムの構成及び動作の一例を示した概略図である。
【図１４】図１３の動画像伝送装置２Ｃの要部の一構成例を示したブロック図である。
【図１５】本発明の実施の形態５による動画像伝送システムの構成及び動作の一例を示した概略図である。
【図１６】図１５の動画像伝送装置２Ｄの要部の一構成例を示したブロック図である。
【図１７】本発明の実施の形態６による動画像伝送システムの構成及び動作の一例を示した概略図である。
【図１８】救急医療用の動画像伝送システムの概略構成を示した図である。
【図１９】図１８の救急車６１についてその要部の一構成例を示した図である。
【図２０】図１８の救急車６１についてその要部の他の構成例を示した図である。
【符号の説明】
１，１Ａ，１Ｂ動画像送信端末、２，２Ａ〜２Ｅ動画像伝送装置、
３動画像受信端末、５データパケット、６ディスプレイ装置、
７負荷状況検出装置、８ネットワーク管理センター、
４１第１の伝送路、４２第２の伝送路、
２０第１の通信回線インタフェース、２１第２の通信回線インタフェース、
２２ＭＰＥＧ削減制御部、２３パケット削減制御部、
２４受信端末要求処理部、２５削減制御テーブル、
２６負荷状況対応処理部、２７受信状況報告パケット制御部、
６１救急車、６２通信衛星、６３フィーダー局、
６４地上ネットワーク、６５病院、７１アンテナ、
７２衛星回線制御装置、７３動画像伝送装置、７４動画像送信端末
７５カメラ、７６診断装置、ＮＷ通信ネットワーク[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image transmission system, an emergency medical transmission system, and a moving image transmission apparatus, and more particularly, an improvement of a moving image transmission system for transmitting a high-quality frame image using a narrow-band transmission path. About.
[0002]
[Prior art]
In the field of telemedicine, studies have been made on a system that conveys the state of a patient from an ambulance during emergency transport to a doctor at a remote location by mobile communication via an artificial satellite (see Non-Patent Document 1). When an ambulance member performs treatment or treatment in an ambulance, if a doctor in the hospital can grasp the state of the patient via the data communication line, an appropriate instruction can be issued to the ambulance member. In order to realize such telemedicine, a high-speed data communication line capable of transmitting high-quality moving images is required.
[0003]
Communication satellites used for conventional mobile communications are geostationary satellites on the equator and low-orbit orbiting satellites, both of which have a small antenna elevation angle. It is likely to occur and is not suitable for communication means during emergency transport. For this reason, video transmission using an artificial satellite (quasi-zenith satellite) passing through the quasi-zenith has been proposed. The quasi-zenith satellite is a satellite (such as a so-called 8-shaped satellite) that orbits a long elliptical orbit with a higher altitude than a geostationary satellite.
[0004]
According to Non-Patent Document 1, it is reported that a bandwidth of 6 Mbps is required per ambulance, and at least 50 ambulances need to be active simultaneously throughout the country. Therefore, in the case of a quasi-zenith satellite (eight-shaped satellite), a line capacity of 6 Mbps / unit × 50 units = 300 Mbps is required. However, the line capacity of 300 Mbps is an excessive burden for the line design of the quasi-zenith satellite, and it is necessary to reduce the necessary line capacity as much as possible.
[0005]
As a conventional technique for reducing the transmission bandwidth of moving images, there is a method for reducing the amount of information of moving images by reducing the quality of each frame image constituting a moving image in MPEG2. In general, a moving image is composed of a series of image frames sampled at a frame period, and the amount of moving image data can be reduced by reducing the data amount of each frame.
[0006]
As another conventional technique, there is a method disclosed in Patent Document 1. The technique described in Patent Document 1 uses wavelet transform as a moving image encoding method. By performing wavelet transformation at the transmitting terminal, when wavelet decoding is performed at the receiving terminal, a moving image can be decoded at the stage of receiving a predetermined signal without receiving all signals necessary for decoding. For this reason, the transmission bandwidth of a moving image can be reduced.
[0007]
If these techniques are applied, moving image data can be transmitted according to the bandwidth of the transmission path between the moving image transmitting terminal and the moving image receiving terminal. That is, it is possible to reduce the bandwidth transmitted from the moving picture transmitting terminal and reduce the line capacity necessary for moving picture transmission.
[0008]
However, the conventional methods according to MPEG2 and Patent Document 1 have a problem that the quality of each frame image constituting a moving image deteriorates in any case. For this reason, these conventional techniques are not suitable for fields in which high quality is required for frame images. In particular, when applied to the medical field and a doctor wants to observe the state of a patient with a transmitted moving image, it is necessary to closely observe the facial expression of the patient. In such applications, conventional techniques are used. There was a problem that the bandwidth could not be reduced.
[0009]
Here, when transmitting a moving image as a series of image frames, it is conceivable to reduce the data amount of the moving image by reducing the frame rate instead of degrading the quality of each frame image. That is, it is a method of reducing the number of frames, not reducing the data amount of each frame. In particular, when applied to the medical field, moving images that convey the patient's facial expressions, etc. have less movement than general moving images. It is desirable to reduce the transmission bandwidth.
[0010]
However, according to the MPEG2 standard, which is already widely used in the general market as a moving image encoder (encoder), the frame rate must always be about 30 frames per second, and transmission control reduces the frame rate. Is not allowed. Although it is possible in principle to employ an encoder capable of controlling the frame rate, it is preferable from the viewpoint of manufacturing cost to introduce a unique encoder that violates the MPEG2 standard to the moving picture transmission terminal. It can not be said.
[0011]
As another proposal, it can be assumed that the standard change activity will be carried out in order to incorporate the frame rate reduction control into the MPEG2 standard. However, the standard such as MPEG2 that has already been widely used is standardized. It seems that it is not easy for an institution to agree on a standard change.
[0012]
[Patent Document 1]
Japanese Patent Laid-Open No. 7-15609
[Non-Patent Document 1]
Isao Nakajima and 4 others, "Emergency medical application for oblong and 8-shaped satellites <Number of necessary video transmission lines and bandwidth from ambulance>", Technical Research Report SANE2000-178 SAT2000-127, Electronic Information Corporation Communication Association, February 2001, p. 17-24
[0013]
[Problems to be solved by the invention]
The present invention has been made in view of the above circumstances, and an object thereof is to provide a moving image transmission system that transmits a high-quality frame image via a transmission path having a narrow transmission bandwidth at low cost.
[0014]
In addition, by using a moving image transmitting terminal that transmits a moving image having a predetermined frame rate, the transmission bandwidth of the transmission path is reduced without degrading the quality of the frame image transmitted to the moving image receiving terminal. It is an object of the present invention to provide a moving picture transmission system capable of It is another object of the present invention to provide a moving image transmission system capable of controlling the bandwidth of a transmission path from a moving image receiving terminal.
[0015]
Also provided is a moving image transmission system that prevents a moving image transmitting terminal from degrading the quality of a frame image based on a reception status report packet related to moving image data or based on the inability to receive a reception status report packet. The purpose is to do.
[0016]
Furthermore, it aims at providing the moving image transmission apparatus applicable to these moving image transmission systems, and the emergency medical transmission system to which these moving image transmission systems are applied.
[0017]
[Means for Solving the Problems]
A moving image transmission system according to the present invention includes a moving image transmission terminal for transmitting moving image data, the above A moving image receiving terminal for receiving moving image data; the above From a video transmission terminal the above To video receiver the above It is comprised by the moving image transmission apparatus which transmits moving image data. the above Sent from a video transmission terminal the above The moving image data consists of a series of image frames generated at a predetermined frame rate, Included in a group consisting of multiple frame data with different encoding processes Each frame data is transmitted as one or more data packets. the above The video transmission device the above Received from a video transmission terminal the above Based on the attribute data in the data packet, For each group or frame data Discard data packets and reduce the number of packets. the above The video receiving terminal has reduced the number of packets the above Data packet the above Received from the video transmission device. Note that the frame includes a field in an interlaced video.
[0018]
With such a configuration, even when moving image data is transmitted using a moving image transmission terminal that transmits moving image data at a constant frame rate, the transmission bandwidth can be reduced without degrading the quality of the frame image. it can. For this reason, high-quality moving image data can be transmitted to the moving image receiving terminal via a transmission line having a narrow transmission bandwidth.
[0021]
In the moving picture transmission system according to the present invention, the moving picture receiving terminal generates a reception status report packet including the number of missing packets. the above Sent to the video transmission device, the above The video transmission device the above In the reception status report packet the above Packet loss count the above Based on the number of discarded data packets Decrease And Decrease Was the above Receive status report packet the above Send to video transmission terminal When the number of missing packets included in the reception status report packet exceeds a predetermined value, the moving image transmitting terminal reduces the image quality of the frame data to be transmitted. Configured as follows. With such a configuration, it is possible to prevent the quality of the frame image transmitted from the moving image transmitting terminal from being deteriorated due to the discard of the packet in the moving image transmission apparatus.
[0022]
In addition, the moving image transmission system according to the present invention includes: the above The moving image receiving terminal First Generate a reception status report packet that includes the number of missing packets for each period. the above Sent to the video transmission device, the above The video transmission device Above the first period Predetermined Second period Even after elapses From a video receiver the above If the reception status report packet does not arrive, the above Generate a reception status report packet, the above Send to video transmission terminal Then, the moving image transmission terminal reduces the image quality of the frame data to be transmitted when the reception status report packet cannot be received for a predetermined third period equal to or greater than the second period. Configured as follows. With such a configuration, it is possible to prevent the quality of the frame image transmitted from the moving image transmitting terminal from being deteriorated due to the reception status report packet not being received.
[0023]
The emergency medical transmission system according to the present invention is a system for transmitting moving image data from a moving image transmitting terminal installed in a vehicle to a moving image receiving terminal installed in a medical institution via a communication satellite, the above For moving image data consisting of a series of image frames generated by a moving image transmission terminal at a predetermined frame rate, Included in a group of multiple frame data with different encoding processes Each frame data is transmitted as one or more data packets. In the vehicle, the above Received from a video transmission terminal the above Based on the attribute data in the data packet For each group or frame data A video transmission device that discards data packets and reduces the number of packets; the above Data packets from the video transmission device the above And a satellite line control device that wirelessly transmits to a communication satellite.
[0024]
With such a configuration, moving image data is transmitted at a constant frame rate without degrading the quality of the frame image by discarding packets by the moving image transmission device installed in the vehicle and reducing the number of packets. An emergency medical transmission system can be realized using the moving image transmitting terminal. In addition, the limited line capacity of the satellite communication line can be used effectively.
[0025]
A moving image transmission apparatus according to the present invention is an apparatus that receives moving image data generated at a predetermined frame rate from a moving image transmission terminal and transmits the moving image data to the moving image reception terminal. The first communication line interface A packet reduction control unit, and a second communication line interface. the above The first communication line interface is Included in a group of multiple frame data with different encoding processes Each frame data as one or more data packets the above Received from a moving image transmission terminal the above The packet reduction controller the above Received from a video transmission terminal the above Based on the attribute data in the data packet For each group or frame data Discard data packets and reduce the number of packets. the above The second communication line interface is the above Data packet the above Transmit to the moving image receiving terminal.
[0026]
In the moving image transmission apparatus according to the present invention, the packet reduction control unit discards the data packet for each image frame or grouped image frame based on the attribute data in the received packet, and sets the frame transmission rate. To reduce.
[0027]
For example, in the case of moving image data composed of first frame data that can be decoded independently and second frame data that is decoded together with other frame data, the second frame that is decoded together with the other frame data Discard the data. First frame data that can be independently decoded, second frame data decoded together with other frame data existing in one direction on the time axis, and two or more other frame data existing in both directions on the time axis In the case of moving image data composed of third frame data decoded together with the frame data, the third frame data is discarded.
[0029]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
FIG. 1 is a schematic diagram showing an example of the configuration and operation of a moving image transmission system according to Embodiment 1 of the present invention. The MPEG transmission terminal 1 and the MPEG reception terminal 3 are connected via a communication network NW, and packetized moving image data is transmitted from the MPEG transmission terminal 1 to the MPEG reception terminal 3.
[0030]
The communication network NW includes a first transmission path 41, a second transmission path 42, and the moving image transmission apparatus 2. The moving image transmission apparatus 2 is connected to the MPEG transmission terminal 1 via the first transmission path 41 and is connected to the MPEG reception terminal 3 via the second transmission path 42, and receives MPEG from the MPEG transmission terminal 1. Data transmission to the terminal 3 is relayed.
[0031]
The transmission bandwidth of the MPEG moving image by the second transmission path 42 is narrower than the transmission bandwidth of the MPEG moving image by the first transmission path 41, and the moving image transmission apparatus 2 performs thinning of moving image data packets. That is, the moving image transmission apparatus 2 discards some of the packets received from the second transmission path 42 and sends out the remaining packets to the second transmission path 42.
[0032]
Packet thinning is performed for each image frame (including for each aggregate of image frames) based on the attribute data of the received packet, and the frame transmission rate is reduced in the moving image transmission apparatus 2. That is, the MPEG moving picture is transmitted from the MPEG transmitting terminal 1 at a high frame transmission rate, while the MPEG receiving terminal 3 can receive the MPEG moving picture at a lower frame transmission rate.
[0033]
FIG. 2 is a block diagram showing a configuration example of each device in FIG. The MPEG transmission terminal 1 includes an MPEG encoder 10 and a packet transmission unit 11, and moving image data input from an imaging device or the like is encoded by the MPEG encoder 10 and converted into MPEG-TS (Transport Stream). The packet transmission unit 11 encapsulates the MPEG-TS into an IP packet and sends it to the first transmission path 41.
[0034]
The MPEG receiving terminal 3 includes a packet receiving unit 30 and an MPEG decoder (decoder) 31, and an IP packet received from the second transmission path 42 is expanded into MPEG-TS by the packet receiving unit 30. The MPEG decoder 31 decodes the MPEG-TS and outputs moving image data to a video display device or the like.
[0035]
FIG. 3 is a conceptual diagram showing an example of MPEG data, in which a large number of MPEG pictures are arranged in the order of imaging on the time axis (horizontal direction). Generally, a moving image is divided into image frames composed of still images sampled at a predetermined frame rate (30 frames per second), and moving image data is formed by a series of image frames. An MPEG frame picture is called a picture, and there are three types of picture types: I picture (Intra-coded picture), P picture (Predictive-coded picture), and B picture (Bidirectionally predictive-coded picture) depending on the encoding process. is there.
[0036]
The I picture is a picture in which the data amount is reduced by the encoding process in the frame, and is encoded based on only the image frame to be encoded. Usually, the coefficient obtained by two-dimensional DCT (Discrete Cosine Translation) is quantized and then entropy-coded.
[0037]
The P picture and the B picture are pictures in which the data amount is reduced by the encoding process between image frames, and are encoded by motion compensation using other image frames. In the case of a P picture, encoding is performed by performing forward prediction using only image frames in one direction (past) on the time axis, and in the case of a B picture, bi-directional (past and future) on the time axis. Encoding is performed using forward and backward prediction using image frames.
[0038]
A series of pictures is divided into picture groups (GOPs) that provide access points during random access. Each picture group is made up of a plurality of pictures of different picture types arranged according to a predetermined rule, and is accessed in units of picture groups during random access.
[0039]
FIG. 4 is a diagram showing a configuration example of a data packet transmitted from the MPEG transmission terminal 1 to the MPEG reception terminal 3. The illustrated data packet 5 includes an IP header 50, a UDP header 51, an RTP header 52, and an RTP payload 53. The RTP payload 53 includes an MPEG header 54 and MPEG content 55.
[0040]
The data packet employs IP (Internet Protocol), UDP (User Datagram Protocol), and RTP (Real-time Transport Protocol) as communication protocols of the network layer, transport layer, and application layer, respectively. The MPEG content 55 is encapsulated as an MPEG payload 53 with an MPEG header 54 added thereto based on IETF (Internet Engineering Task Force) standard RFC 2250 (RTP Payload Format for MPEG1 / MPEG2 Video).
[0041]
UDP / IP is a simple communication protocol that does not consider transmission packet loss or delay fluctuation on the transmission path. Since retransmission processing is not performed even when a packet is missing, high-speed data transmission is possible, and it is widely used for transmission of moving image data that requires real-time performance. The IP header 50 stores the source and destination IP addresses and the like. Further, the UDP header 51 stores port numbers of transmission sources and transmission destinations.
[0042]
The RTP header 52 stores a time stamp and a sequence number, and the MPEG receiving terminal 3 can detect a delay time and a packet loss on the transmission path based on the RTP header. These reception states are periodically transmitted from the MPEG receiving terminal 3 to the MPEG transmitting terminal 1 using RTCP (RTP Control Protocol) and fed back.
[0043]
The RTP header 52 stores a 1-bit marker indicating the end of the picture group (GOP). Therefore, the MPEG receiving terminal 3 can determine whether it is the last packet of each GOP based on the marker by analyzing the RTP header 52.
[0044]
The MPEG content 55 is composed of one or more MPEG-TS (Transport Stream) packets. MPEG-TS is 188-byte packet data generated from an MPEG picture. The MPEG header 54 stores the picture type of the MPEG picture included in the MPEG content 55. Therefore, the MPEG receiving terminal 3 can determine the picture type by analyzing the MPEG header 54.
[0045]
Next, the operation in the moving image transmission apparatus 2 will be described. When receiving the IP packet from the MPEG transmission terminal 1, the moving image transmission apparatus 2 analyzes the attribute information of the MPEG moving image data included in the IP packet and determines whether or not to discard the IP packet. The discard decision is determined for each picture group (GOP) or picture, and is discarded for each IP packet. As a result, the IP packet remaining without being discarded is transmitted to the MPEG receiving terminal 3.
[0046]
5 to 7 are conceptual diagrams illustrating an example of a bandwidth reduction method by the moving image transmission apparatus 2. FIG. 5 shows an example in which a packet is discarded for each picture group GOP. The moving image transmission apparatus 2 determines the last packet of the picture group based on the RTP header 52 in the received IP packet. Based on the determination result, the IP packet is discarded or relayed for each picture group. If M picture groups are discarded for every N picture groups in this way, the transmission bandwidth can be reduced to (N−M) / N. For example, if discarding and relaying are alternately performed for each picture group, the transmission bandwidth can be halved.
[0047]
FIG. 6 shows an example in which only a picture for which motion compensation is performed is discarded. The moving image transmission apparatus 2 determines the picture type of the MPEG content 55 based on the MPEG header 54 in the received IP packet. Based on the determination result, the IP packet is discarded or relayed for each picture. The discarded pictures are pictures for which motion compensation is performed, that is, P pictures and B pictures, and I pictures are relayed.
[0048]
FIG. 7 shows an example in which only a picture for which bidirectional motion compensation is performed is discarded. Similar to the case of FIG. 6, the moving image transmission apparatus 2 discards or relays the IP packet for each picture based on the picture type discrimination result. At this time, only the B picture for which the forward prediction and the backward prediction are performed is discarded, and the I picture and the P picture are relayed.
[0049]
It is desirable that the transmission bandwidth reduction method can be arbitrarily selected from a plurality of reduction methods according to the content type, bandwidth, and transmission path status. These bandwidth reduction methods can also be used in appropriate combination. For example, only P packets and B packets in a predetermined picture group can be discarded. Furthermore, these bandwidth reduction methods are merely examples, and other methods for thinning out packets based on attribute data in received packets may be employed.
[0050]
In the moving picture transmission system according to the present embodiment, a series of pictures forming an MPEG moving picture is packet-transmitted from the MPEG transmission terminal 1 to the moving picture transmission apparatus 2 via the first transmission path 41, and the moving picture transmission apparatus Part of the packet received at 2 is discarded. At this time, the picture group and the picture type are determined based on the attribute data included in the received packet, and the received packet is discarded for each picture group or picture. Then, only the packets that remain without being discarded are transmitted to the MPEG receiving terminal 3 via the second transmission path 42.
[0051]
That is, the moving image transmission apparatus 2 transmits the moving image data to the MPEG receiving terminal 3 by giving priority to the image quality of each image frame over the smoothness of motion. For this reason, even if the second transmission path 42 does not have a sufficient bandwidth, a moving image with high image quality for each frame can be transmitted.
[0052]
In particular, when the bandwidth of the second transmission path 41 is narrower than the bandwidth of the first transmission path, moving picture data is transmitted from the MPEG transmission terminal 1 at a high transmission rate, while being transmitted by the moving picture transmission apparatus 2. The MPEG receiving terminal 3 can receive high-quality picture data at a reduced rate.
[0053]
In addition, the moving image transmission system does not need to use a special MPEG transmission terminal 1 and can be realized at low cost. That is, the MPEG transmission terminal 1 does not improve the quality of each frame image by lowering the frame transmission rate, but rather the moving image transmission apparatus connected to the MPEG transmission terminal 1 via the broadband first transmission path 41. By reducing the frame transmission rate in 2, the system can be constructed at low cost.
[0054]
Embodiment 2. FIG.
FIG. 8 is a schematic diagram showing an example of the configuration and operation of a moving image transmission system according to Embodiment 2 of the present invention. The moving image transmission apparatus 2A is an apparatus that can select an arbitrary band reduction method from a plurality of band reduction methods and reduce the transmission bandwidth of MPEG moving image data by the selected reduction method. The MPEG receiving terminal 3 instructs the reduction method to the moving picture transmission apparatus 2A, and the moving picture transmission apparatus 2A selects the reduction method based on this instruction.
[0055]
FIG. 9 is a block diagram showing an example of a main part of the moving image transmission apparatus 2A of FIG. The moving image transmission apparatus 2 </ b> A includes communication line interfaces 20 and 21 and an MPEG band reduction control unit 22. The communication line interfaces 20 and 21 control connection to the communication network NW. That is, the communication line interface 20 performs connection control with the MPEG transmission terminal 1 via the first transmission path 41, and the communication line interface 21 performs connection control with the MPEG reception terminal 3 via the second transmission path 42. Is going.
[0056]
The MPEG bandwidth reduction control unit 22 includes a packet reduction control unit 23 and a receiving terminal request processing unit 24. When the receiving terminal request processing unit 24 receives the reduction method instruction packet from the MPEG receiving terminal 3 via the communication line interface 21, the receiving terminal request processing unit 24 extracts information on the reduction method included in the packet and outputs the information to the packet reduction control unit 52. .
[0057]
Thereafter, packet reduction processing by the packet reduction control unit 23 is performed by a reduction method designated by the MPEG receiving terminal 3. The reduction method specified by the reduction method specification packet may be, for example, each reduction method shown in the first embodiment (FIGS. 5 to 7) or may be a transmission bandwidth reduction rate. These may be combined.
[0058]
The moving picture transmission system according to the present embodiment transmits a reduction method instruction packet from the MPEG receiving terminal 3 to the moving picture transmission apparatus 2, and the moving picture transmission apparatus 2 reduces the transmission band of the MPEG moving picture based on the packet. Choose the method. Therefore, the quality of the frame image can be controlled from the MPEG receiving terminal 3 that is the transmission destination. That is, the reduction process of the moving image transmission apparatus 2 can be controlled according to the required frame image quality.
[0059]
Embodiment 3 FIG.
FIG. 10 is a schematic diagram showing an example of the configuration and operation of a moving image transmission system according to Embodiment 3 of the present invention. In this moving image transmission system, two MPEG transmitting terminals 1A and 1B and one MPEG receiving terminal 3 are connected via a communication network NW, and each of the MPEG transmitting terminals 1A and 1B is connected to the MPEG receiving terminal 3. Packetized moving image data is transmitted.
[0060]
That is, the moving image transmission apparatus 2B is connected to the OLE_LINK1 MPEG transmission terminal OLE_LINK11A and the MPEG transmission terminal 1B via the broadband first transmission path 41, and to the MPEG via the narrowband second transmission path 42. A receiving terminal 3 is connected. The moving image transmission apparatus 2B relays data packets transmitted from the MPEG transmission terminal 1A and the MPEG transmission terminal 1B to the MPEG reception terminal 3.
[0061]
The moving image transmission apparatus 2B is an apparatus that can select a band reduction method for each of the MPEG transmission terminals 1A and 1B. The MPEG receiving terminal 3 instructs the moving picture transmission apparatus 2A on a reduction method (including a reduction rate) for each MPEG transmitting terminal, and the moving picture transmission apparatus 2A selects a reduction method based on this instruction.
[0062]
A display device 6 is connected to the MPEG receiving terminal 3, and the moving images transmitted from the MPEG transmitting terminals 1A and 1B are displayed together. Since it is possible to instruct the band reduction method for each moving picture from the MPEG receiving terminal 3, it is possible to control the respective image quality as required on the receiving side. In FIG. 10, the moving image from the MPEG transmission terminal 1A is transmitted and displayed without reducing the bandwidth, while the moving image from the MPEG transmission terminal 1B is transmitted with the bandwidth reduced to ¼ and displayed with low image quality. An example of the case is shown.
[0063]
FIG. 11 is a diagram illustrating an example of another operation state of the moving image transmission system of FIG. Contrary to the case of FIG. 10, the case where the moving image from the MPEG transmission terminal 1B is displayed with high image quality is shown. The moving picture transmission apparatus from the MPEG receiving terminal 3 transmits the moving picture from the MPEG transmitting terminal 1A with the bandwidth reduced to ¼, and the moving picture from the MPEG transmitting terminal 1B is transmitted without reducing the band. If 2B is instructed, the moving image from the MPEG transmission terminal 1A can be displayed with low image quality, and the moving image from the MPEG transmission terminal 1B can be displayed with high image quality.
[0064]
FIG. 12 is a block diagram illustrating an example of a main part of the moving image transmission apparatus 2B of FIGS. The MPEG band reduction control unit 22 in the figure includes a packet reduction control unit 23, a receiving terminal request processing unit 24, and a reduction control table 25. Compared with the moving image transmission apparatus 2A (Embodiment 2) shown in FIG. The difference is that a reduction control table 25 is provided.
[0065]
The reduction control table 25 stores and holds the bandwidth reduction method for each of the MPEG transmission terminals 1A and 1B, and is updated by the reception terminal request processing unit 24. Based on the reduction control table 25, the packet reduction control unit 23 selects a bandwidth reduction method for each of the MPEG transmission terminals 1A and 1B that are packet transmission sources, and discards the MPEG packet.
[0066]
When receiving the reduction method instruction packet from the MPEG receiving terminal 3 via the communication line interface 21, the receiving terminal request processing unit 24 receives the transmission source (MPEG transmitting terminal 1A or 1B) included in the packet and the reduction processing target. Information on the reduction method is extracted, and the reduction method is associated with the transmission source and written in the reduction control table 25.
[0067]
The moving image transmission system according to the present embodiment transmits a reduction method instruction packet including information on the transmission source and the reduction method from the MPEG receiving terminal 3, and the moving image transmission apparatus 2B transmits the MPEG moving image for each of the transmission terminals 1A and 1B. The transmission band reduction method is selected. Therefore, the quality of the frame image can be controlled from the MPEG receiving terminal 3 that is the transmission destination, and the reduction process in the moving image transmission apparatus 2B is controlled according to the quality of the frame image required on the receiving side, The transmission bandwidth can be adjusted.
[0068]
For example, when two or more moving images are received at the MPEG receiving terminal 3, if a high-quality frame image is required for a specific moving image, the transmission band of the other moving images is reduced. The transmission band of the specific moving image can be expanded while keeping the total transmission band constant.
[0069]
Embodiment 4 FIG.
FIG. 13 is a schematic diagram showing an example of the configuration and operation of a moving image transmission system according to Embodiment 4 of the present invention. This moving image transmission system is configured to include a load status monitoring device 7, and the moving image transmission device 2C selects a transmission band reduction method according to the load status of the communication network NW.
[0070]
The load status detection device 7 detects the load status of the communication network NW, in particular, the load status of the second transmission path 42 which is a narrow-band transmission path, and notifies the moving image transmission apparatus 2C of the detected load status. The load situation can be detected by monitoring the traffic of the communication network NW. Moreover, you may discriminate | determine a load condition based on the other method, for example, the number of the MPEG transmission terminals 1 connected to the communication network NW.
[0071]
FIG. 14 is a block diagram showing a configuration example of a main part of the moving image transmission apparatus 2C of FIG. The MPEG band reduction control unit 22 in the figure includes a packet reduction control unit 23, a receiving terminal request processing unit 24, a reduction control table 25, and a load situation handling processing unit 26. Compared with the moving image transmission apparatus 2B (Embodiment 3) of FIG.
[0072]
When receiving the load status notification from the load status detection device 7, the load status handling processing unit 26 updates the reduction control table 25 according to the load status. That is, if the load of the communication network NW increases, the reduction control table 25 is updated so that the MPEG packet reduction process is performed for more transmission terminals 1 or the reduction process with a higher transmission band reduction rate is performed. . When the load is light, the reverse update process is performed.
[0073]
In the moving image transmission system according to the present embodiment, the load situation detection device 7 detects the load of the communication network NW, and the moving image transmission device 2C is based on the load situation notification from the load situation detection device 7. A method for reducing the transmission band of the image is selected. For this reason, the quality of the frame image can be controlled according to the load status of the communication network NW.
[0074]
The load status detection device 7 may be any device that can notify the load status handling unit 26 of the moving image transmission device 2C of the load status, and may be a device outside the communication network NW. A device in the communication network NW may be used. Further, it may be provided in the moving image transmission apparatus 2C.
[0075]
Embodiment 5 FIG.
FIG. 15 is a schematic diagram showing an example of the configuration and operation of a moving image transmission system according to Embodiment 5 of the present invention. When the moving image transmission apparatus 2D relays the reception status report packet transmitted from the MPEG receiving terminal 3 to the MPEG transmission terminal 1, the moving image transmission device 2D changes the reception status report packet to reduce the quality of the frame image transmitted from the MPEG transmission terminal 1. Is suppressed. Further, the occurrence of congestion in the communication network NW is detected and notified to the network management center 8.
[0076]
As described above, the MPEG receiving terminal 3 obtains the number of packets that could not be normally received (number of missing packets) based on the RTP header in the received packet, and obtains a reception status report packet (RTCP packet) including the number of missing packets. The data is periodically transmitted to the transmission terminal 1.
[0077]
When the number of missing packets is large, it is usually considered that congestion occurs in the communication network NW. For this reason, when the number of missing packets included in the reception status report packet increases or when the MPEG transmission terminal 1 fails to receive the reception status report packet for a predetermined period, the MPEG transmission terminal 1 increases the subsequent transmission bandwidth. Reduce.
[0078]
Here, since the frame transmission rate of the MPEG transmission terminal 1 is constant, in order to reduce the transmission bandwidth, it is necessary to change the encoding parameter in the MPEG encoder 10 to reduce the quality of the frame image. . That is, if the transmission bandwidth is reduced in the MPEG transmission terminal 1, the quality of the frame image is lowered.
[0079]
Therefore, the moving image transmission apparatus 2D changes the number of missing packets in the reception status report packet from the MPEG receiving terminal 3 and sends it to the MPEG transmitting terminal 1. In this way, the discard of the packet in the moving image transmission apparatus 2D is concealed from the MPEG transmission terminal 1, and the MPEG transmission is made based on the discard of the packet by making it appear that the reception state of the MPEG packet is better than the actual situation. The transmission image quality of the terminal 1 is prevented from deteriorating.
[0080]
FIG. 16 is a block diagram showing a configuration example of a main part of the moving image transmission apparatus 2D of FIG. The MPEG band reduction control unit 22 in the figure includes a packet reduction control unit 23, a receiving terminal request processing unit 24, a reduction control table 25, a load status handling processing unit 26, and a reception status report packet control unit 27. Compared with the moving image transmission apparatus 2C (Embodiment 4) of FIG. 14, the difference is that it includes a reception status report packet control unit 27.
[0081]
The reception status report packet control unit 27 receives a reception status report packet from the MPEG receiving terminal 3 via the communication line interface 21. The number of lost packets in the reception status report packet is read out and changed so that the number of lost packets is reduced by the number of packets discarded in the packet reduction control unit 23. That is, only the number of packets discarded by the moving image transmission apparatus 2D is excluded. The number of packets discarded in the moving image transmission apparatus 2D can be obtained by reading the reduction method from the reduction control table 25. Alternatively, when the packet reduction control unit 23 holds the number of discarded packets, the number of packets may be used.
[0082]
If the number of lost packets exceeds the number of discarded packets, it is considered that congestion has occurred in the communication network NW. For this reason, when the number of lost packets after the change exceeds a predetermined value (for example, it may be zero), the reception status report packet control unit 27 notifies the network management center 8 of the occurrence of congestion. The network management center 8 that has received this notification increases, for example, the bandwidth of the communication network NW or decreases the conduction bandwidth of each MPEG transmission terminal 1.
[0083]
In the moving image transmission system according to the present embodiment, the moving image transmission apparatus 2D changes the number of missing packets of the reception status report packet transmitted from the MPEG receiving terminal 3 to the MPEG transmitting terminal 1. For this reason, it is possible to prevent the quality of the image frame transmitted from the MPEG transmission terminal 1 from being deteriorated due to the packet discard in the moving image transmission apparatus 2D.
[0084]
Embodiment 6 FIG.
FIG. 17 is a schematic diagram showing an example of the configuration and operation of a moving image transmission system according to Embodiment 6 of the present invention. The moving picture transmission apparatus 2E originally generates a reception status report packet generated by the MPEG receiving terminal 3, sends it to the MPEG transmitting terminal 1, and suppresses deterioration in the quality of the frame image transmitted from the MPEG transmitting terminal 1. ing.
[0085]
The detailed configuration of the moving image transmission apparatus 2E is the same as that of the moving image transmission apparatus 2D shown in FIG. The MPEG receiving terminal 3 periodically transmits a reception status report packet (RTCP packet). However, even if a predetermined time elapses due to congestion or transmission error in the communication network NW. The reception status report packet may not arrive at the moving image transmission apparatus 2E. In this case, the MPEG transmission terminal 1 deteriorates the quality of the frame image.
[0086]
Therefore, if the reception status report packet does not arrive even after a predetermined time has elapsed, the reception status report packet control unit 27 generates a reception status report packet by itself, and transmits the MPEG transmission terminal 1 via the communication line interface 20. Send to. Note that the moving picture transmission apparatus 2E stores and holds information necessary for generating a reception status report packet, for example, information in an RTP header, when the MPEG packet is relayed, and generates a reception status report packet based on the information. is doing.
[0087]
In the moving picture transmission system according to the present embodiment, the moving picture transmission apparatus 2E generates a reception status report packet and sends it to the MPEG transmission terminal 1. For this reason, even when the reception status report packet is not normally transmitted from the MPEG receiving terminal 3 to the MPEG transmitting terminal 1, it is possible to make the reception status of the MPEG packet appear to be better than the actual situation. It is possible to prevent the transmission image quality from 1 from being deteriorated.
[0088]
Embodiment 7 FIG.
In the present embodiment, an example will be described in which the moving image transmission system of the first to sixth embodiments is applied to a moving image transmission system for emergency medical care.
[0089]
FIG. 18 is a diagram showing a schematic configuration of a moving image transmission system for emergency medicine. A plurality of ambulances 61 and a plurality of hospitals 65 are connected via a satellite communication line and a ground network 64. An MPEG transmission terminal (not shown) is installed in the ambulance 61, and an MPEG reception terminal (not shown) is installed in the hospital 65. During ambulance transportation, the state of the patient and the diagnosis result by the diagnostic device are moving images. Data is transmitted from the ambulance 61 to the hospital 65 as data.
[0090]
The relay between the satellite communication line and the ground network 64 is performed by a feeder station 63 installed on the ground. That is, an ambulance 61 as a moving body communicates with the feeder station 63 via the communication satellite 62. The communication satellite 62 is a quasi-zenith satellite capable of securing a large antenna elevation angle in the ambulance 61 and can cover the whole of Japan.
[0091]
FIG. 19 is a diagram showing a configuration example of a main part of the ambulance 61 in FIG. The ambulance 61 is provided with an antenna 71, a satellite line control device 72, a moving image transmission device 73, an MPEG transmission terminal 74, and a camera 75.
[0092]
The MPEG transmission terminal 74 is connected to the moving image transmission apparatus 73 via a LAN cable such as 100Base-TX, and transmits and receives IP packets to and from the moving image transmission apparatus 73. The moving image transmission device 73 is connected to a satellite channel control device 72, and the satellite channel control device 72 transmits and receives RF signals to and from a communication satellite via an antenna 71.
[0093]
The camera 75 is connected to the MPEG transmission terminal 74, and the state of the patient photographed by the camera 75 is output to the MPEG transmission terminal 74 as moving image data. The MPEG transmission terminal 74 encodes the moving image data according to the MPEG standard (for example, MPEG2) and outputs the encoded data to the moving image transmission apparatus 73.
[0094]
The moving image transmission device 73 is a device corresponding to the moving image transmission devices 2 to 2E in the first to sixth embodiments. The moving image transmission device 73 performs a thinning process on the data packet received from the MPEG transmission terminal 74 to the satellite channel control device 72. Output. That is, the moving image data after the band reduction is transmitted from the antenna 71 to the communication satellite 62.
[0095]
The communication satellite 62 can cover a wide area, but if the number of ambulances 61 operating simultaneously increases, the bandwidth that can be allocated to each ambulance 61 becomes narrower. For this reason, a moving image transmission device 73 is interposed between the MPEG transmission terminal 74 and the satellite line control device 72.
[0096]
That is, the moving picture transmission device 73 is connected to the MPEG transmission terminal 74 via a transmission line having a bandwidth wider than the transmission bandwidth of the satellite communication line assigned to each ambulance 61, and the moving picture transmission device 73 uses the frame transmission rate. Is reduced. For this reason, even when the bandwidth of the allocated satellite communication line is narrow, it is possible to transmit the moving image data without degrading the quality of the frame image.
[0097]
In general, color and shape information is often important when performing remote diagnosis for patients in emergency transport. When moving images are transmitted, it is necessary to prioritize image quality over smoothness of movement. There is. For this reason, if the moving image transmission apparatus 73 reduces the frame transmission rate according to the bandwidth of the available satellite communication line, a remote diagnosis by a doctor becomes possible.
[0098]
FIG. 20 is a diagram showing another configuration example of the main part of the ambulance 61 in FIG. A plurality of MPEG transmission terminals 74 are connected to the moving image transmission apparatus 73 via a LAN cable, moving image data is output from each MPEG transmission terminal 74 to the moving image transmission apparatus 73, and the hospital 65 is connected via a satellite communication line. To the MPEG receiving terminal.
[0099]
Here, three MPEG transmission terminals 74 are connected. One of them is connected to a diagnostic device 76 such as an ultrasonic diagnostic device, and the other two are connected to a camera 75. A color moving image is output from the camera 75, and an ultrasonic echo image (monochrome moving image) is output from the diagnostic device 76. The doctor makes a diagnosis while viewing these moving images.
[0100]
If the bandwidth of the available satellite communication line is narrow, it may be necessary to reduce the frame transmission rate for some moving images. In such a case, the doctor determines which packet reduction method is to be used for which moving image, and transmits it as a reduction control designation packet from the MPEG receiving terminal, whereby the overall bandwidth can be suppressed. That is, according to the importance of each moving image, the allocated bandwidth can be effectively used by changing the presence or absence of the packet reduction or the reduction rate, and the determination is made by the doctor on the receiving side.
[0101]
【The invention's effect】
In the moving image transmission system according to the present invention, the moving image transmission terminal transmits each frame data as one or more data packets, and the moving image transmission apparatus discards the data packet based on the attribute data in the received packet. The number of packets is reduced and transmitted to the moving image receiving terminal. For this reason, it is possible to reduce the transmission bandwidth without reducing the quality of the frame image or suppressing the deterioration of the quality. Also, a moving image transmission terminal that transmits moving image data at a constant frame rate can be used. Therefore, it is possible to provide a moving image transmission system that transmits a high-quality frame image via a transmission path having a narrow transmission bandwidth at a low cost. Also, it is possible to provide a moving image transmission apparatus applicable to such a moving image transmission system.
[0104]
In the moving image transmission system according to the present invention, the moving image transmission apparatus changes the number of missing packets in the reception status report packet from the moving image receiving terminal based on the number of discarded data packets. Therefore, it is possible to prevent the quality of the frame image transmitted from the moving image transmitting terminal from being deteriorated due to the discard of the packet in the moving image transmission apparatus.
[0105]
The moving picture transmission system according to the present invention generates a receiving situation report packet when the moving picture transmission apparatus does not reach the receiving situation report packet from the moving picture receiving terminal for a predetermined period. Therefore, it is possible to prevent the quality of the frame image transmitted from the moving image transmitting terminal from deteriorating due to the reception status report packet not reaching the moving image transmitting terminal.
[Brief description of the drawings]
FIG. 1 is a schematic diagram showing an example of the configuration and operation of a moving image transmission system according to Embodiment 1 of the present invention.
2 is a block diagram showing an example of the configuration of each device in FIG. 1;
FIG. 3 is a conceptual diagram showing an example of MPEG data, in which a large number of MPEG pictures are arranged in the imaging order on a time axis (horizontal direction).
FIG. 4 is a diagram showing a configuration example of a data packet transmitted from an MPEG transmission terminal 1 to an MPEG reception terminal 3;
FIG. 5 shows an example in which a packet is discarded for each picture group GOP.
FIG. 6 shows an example in which only a picture for which motion compensation is performed is discarded.
FIG. 7 shows an example of discarding only pictures for which bi-directional motion compensation is performed.
FIG. 8 is a schematic diagram showing an example of the configuration and operation of a moving image transmission system according to Embodiment 2 of the present invention.
9 is a block diagram showing an example of a main part of the moving image transmission apparatus 2A of FIG.
FIG. 10 is a schematic diagram showing an example of the configuration and operation of a moving image transmission system according to Embodiment 3 of the present invention.
FIG. 11 is a diagram illustrating an example of another operation state of the moving image transmission system of FIG.
12 is a block diagram showing an example of a main part of the moving image transmission apparatus 2B of FIGS. 10 and 11. FIG.
FIG. 13 is a schematic diagram showing an example of the configuration and operation of a moving image transmission system according to Embodiment 4 of the present invention.
14 is a block diagram showing a configuration example of a main part of the moving image transmission apparatus 2C of FIG.
FIG. 15 is a schematic diagram illustrating an example of a configuration and operation of a moving image transmission system according to a fifth embodiment of the present invention.
16 is a block diagram showing a configuration example of a main part of the moving image transmission apparatus 2D of FIG.
FIG. 17 is a schematic diagram showing an example of the configuration and operation of a moving image transmission system according to a sixth embodiment of the present invention.
FIG. 18 is a diagram showing a schematic configuration of a moving image transmission system for emergency medicine.
FIG. 19 is a diagram showing a configuration example of a main part of the ambulance 61 in FIG.
20 is a view showing another configuration example of the main part of the ambulance 61 in FIG.
[Explanation of symbols]
1, 1A, 1B moving image transmission terminal, 2, 2A-2E moving image transmission device,
3 moving image receiving terminal, 5 data packet, 6 display device,
7 Load status detection device, 8 Network management center,
41 1st transmission line, 42 2nd transmission line,
20 first communication line interface, 21 second communication line interface,
22 MPEG reduction control unit, 23 packet reduction control unit,
24 receiving terminal request processing unit, 25 reduction control table,
26 load status response processing unit, 27 reception status report packet control unit,
61 ambulance, 62 communication satellite, 63 feeder station,
64 ground networks, 65 hospitals, 71 antennas,
72 satellite line control device, 73 moving image transmission device, 74 moving image transmission terminal
75 camera, 76 diagnostic device, NW communication network

Claims

For moving image data composed of a series of image frames generated at a predetermined frame rate, each frame data included in a group composed of a plurality of frame data with different encoding processes is transmitted as one or more data packets. A video transmission terminal,
Based on the attribute data in the data packet received from the moving picture transmission terminal discards the data packets for each of the group or the frame data, a moving picture transmission apparatus for reducing the number of packets,
Includes the moving picture receiver terminal for receiving the data packets from the video transmission device,
The moving picture receiving terminal generates a reception status report packet containing the number of missing packets sent to the moving picture transmission apparatus,
The moving picture transmission apparatus, the number of missing of the packet in the received status report packet decreased based on the number of discarded the data packet, the reduced the reception status report packet is transmitted to the moving picture transmission terminal,
The moving picture transmission terminal, the moving picture transmission system, characterized in that the number of packets lost contained in the received status report packet when exceeds a predetermined value, reducing the image quality of the frame data to be transmitted.

For moving image data composed of a series of image frames generated at a predetermined frame rate, each frame data included in a group composed of a plurality of frame data with different encoding processes is transmitted as one or more data packets. A video transmission terminal,
Based on the attribute data in the data packet received from the moving picture transmission terminal discards the data packets for each of the group or the frame data, a moving picture transmission apparatus for reducing the number of packets,
Includes the moving picture receiver terminal for receiving the data packets from the video transmission device,
The moving picture receiving terminal transmits to the moving picture transmission apparatus generates a reception status report packet containing the number of missing packets every predetermined first time period,
It said moving picture transmission device, when the reception status report packet from the first the moving picture reception terminal even after a predetermined second time period or more periods does not reach, and generates the reception status report packet, Send to the above video transmission terminal,
The moving picture transmission terminal, the second period more than the predetermined third period, if it can not receive the reception status report packet, video transmission, characterized in that to reduce the image quality of the frame data to be transmitted system.

In an emergency medical transmission system for transmitting moving image data via a communication satellite from two or more moving image transmitting terminals installed in a vehicle to a moving image receiving terminal installed in a medical institution,
For the moving image data composed of a series of image frames generated at a predetermined frame rate, the moving image transmitting terminal sets 1 or 2 of each frame data included in a group composed of a plurality of frame data with different encoding processes. Send each as the above data packet,
Within the vehicle, further, two or more of the data packets from the moving picture transmission terminal receives respectively, discards the data packets for each of the group or the frame data based on the attribute data received in said data packet and includes a moving picture transmission apparatus for reducing the number of packets, the data packets from the moving picture transmission apparatus and a satellite line controller for wirelessly transmitting to said communication satellite,
The moving picture receiving terminal generates a reception status report packet containing the number of missing packets sent to the moving picture transmission apparatus,
The moving picture transmission apparatus, the number of missing of the packet in the received status report packet decreased based on the number of discarded the data packet, the reduced the reception status report packet is transmitted to the moving picture transmission terminal,
The moving picture transmission terminal, emergency medical transmission system, characterized in that the number of packets lost contained in the received status report packet when exceeds a predetermined value, reducing the image quality of the frame data to be transmitted.

In an emergency medical transmission system for transmitting moving image data via a communication satellite from two or more moving image transmitting terminals installed in a vehicle to a moving image receiving terminal installed in a medical institution,
For the moving image data composed of a series of image frames generated at a predetermined frame rate, the moving image transmitting terminal sets 1 or 2 of each frame data included in a group composed of a plurality of frame data with different encoding processes. Send each as the above data packet,
Within the vehicle, further, two or more of the data packets from the moving picture transmission terminal receives respectively, discards the data packets for each of the group or the frame data based on the attribute data received in said data packet and includes a moving picture transmission apparatus for reducing the number of packets, the data packets from the moving picture transmission apparatus and a satellite line controller for wirelessly transmitting to said communication satellite,
The moving picture receiving terminal transmits to the moving picture transmission apparatus generates a reception status report packet containing the number of missing packets every predetermined first time period,
It said moving picture transmission device, when the reception status report packet from the first the moving picture reception terminal even after a predetermined second time period or more periods does not reach, and generates the reception status report packet, Send to the above video transmission terminal,
The moving picture transmission terminal, the second period more than the predetermined third period, if it can not receive the reception status report packet, for emergency care, characterized in that to reduce the image quality of the frame data to be transmitted Transmission system.

The emergency medical transmission system according to claim 3 or 4, wherein the communication satellite is a communication satellite orbiting an elliptical orbit.

In a moving image transmission apparatus that receives moving image data generated at a predetermined frame rate from a moving image transmitting terminal and transmits the moving image data to the moving image receiving terminal,
A first communication line interface for receiving from the moving picture transmission terminal as one or more data packets each frame data included in the group consisting of a plurality of different frame data of the encoding process,
Based on the attribute data in the data packet received from the moving picture transmission terminal discards the data packets for each of the groups or the frame data, a packet reduction control unit to reduce the number of packets,
The data packet after the packet number reduction and the second communication line interface for transmission to the moving picture reception terminal,
The number of missing packets in the received status report packet received from the moving picture reception terminal includes a reception status report packet control unit to decrease based on the number of discarded the data packet,
The second communication line interface is, were reduced the reception status report packet video transmission apparatus and transmits to the moving picture transmission device.

In a moving image transmission apparatus that receives moving image data generated at a predetermined frame rate from a moving image transmitting terminal and transmits the moving image data to the moving image receiving terminal,
A first communication line interface for receiving from the moving picture transmission terminal as one or more data packets each frame data included in the group consisting of a plurality of different frame data of the encoding process,
Based on the attribute data in the data packet received from the moving picture transmission terminal discards the data packets for each of the groups or the frame data, a packet reduction control unit to reduce the number of packets,
The data packet after the packet number reduction and the second communication line interface for transmission to the moving picture reception terminal,
Predetermined first period, if the received status report packet from the moving picture reception terminal does not arrive, a reception status report packet control unit for generating the reception status report packet,
The second communication line interface is, the generated the reception status report packet video transmission apparatus and transmits to the moving picture transmission device.