[go: up one dir, main page]

JPH10322673A - 通信装置及び方法及び記憶媒体 - Google Patents

通信装置及び方法及び記憶媒体

Info

Publication number
JPH10322673A
JPH10322673A JP12551497A JP12551497A JPH10322673A JP H10322673 A JPH10322673 A JP H10322673A JP 12551497 A JP12551497 A JP 12551497A JP 12551497 A JP12551497 A JP 12551497A JP H10322673 A JPH10322673 A JP H10322673A
Authority
JP
Japan
Prior art keywords
packet
image
data
audio
transmitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP12551497A
Other languages
English (en)
Inventor
Shuichi Okamura
秀一 岡村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP12551497A priority Critical patent/JPH10322673A/ja
Priority to US09/057,556 priority patent/US6947447B1/en
Publication of JPH10322673A publication Critical patent/JPH10322673A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

(57)【要約】 【課題】 画像データと音声データをパケット通信する
場合において、画像データに伴う音声データをスムーズ
に受信側に送信することを目的とする。 【解決手段】 画像データ或いは音声データをパケット
送信するパケット送信手段と、パケット送信されるべき
音声データの量を検知する検知手段と、該検知手段によ
る検知結果に基づいて、前記パケット送信手段によりパ
ケット送信される画像データのパケットサイズを切り換
える制御手段とを有することを特徴とする。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は画像と音声をパケッ
ト送信可能な通信装置及び方法及び方法を記憶した記憶
媒体であって、具体的には画像とその画像に伴う音声を
スムーズに通信するものである。
【０００２】
【従来の技術】画像及び音声をパケット送信する様なテ
レビ電話アプリケーションなどにおいて、従来画像のパ
ケットサイズと音声のパケットサイズは連携を取ること
なく独立に送信されている。
【０００３】また、音声のパケットの送信の場合には、
音声のキャプチャしてパケット化する時間、更に音声デ
ータを圧縮送信する場合には圧縮に要する時間だけ、受
信側で音声が遅延して受信されている様に感じることを
少なくする為、できるだけ小さいパケットサイズにして
送信される。
【０００４】なお、パケット送信の開始時間と終了時間
は、送信側と受信側ではパケット送信にかかる時間だけ
全体的にずれるので、パケット送信にかかる時間によっ
て受信側が音声データの受信タイミングに違和感を感じ
ることは少ない。むしろ、上述した音声のキャプチャ等
に要する時間等をできるだけ少なくする必要がある。
【０００５】一方、画像のパケットの送信の場合には、
１画面分キャプチャする度にできるだけ大きなサイズに
パケット分割して送信することにより高速に画像送信す
ることができる。よって、画像のパケットサイズはでき
るだけ大きい方が好ましい。
【０００６】上述した様に、パケット通信においては、
画像データと音声データはパケットサイズの点から異な
る性質を有する。
【０００７】また、テレビ電話アプリケーション等で
は、受信側において画像の遅れよりも音声の遅れの方が
目立つため、画像データより音声データの送信を優先し
て行う場合が一般的である。また、無音部分の音声デー
タをパケット送信することは無駄なため、音声レベルが
ある閾値以下であればキャプチャされてもデータ伝送さ
れない機能が一般的についている。
【０００８】通常パケット送信では、送信できるパケッ
トサイズの上限が定められている。この制限をネットワ
ークの最大転送単位（Ｍａｘｉｍｕｍ Ｔｒａｎｓｆｅ
ｒＵｎｉｔ）、ＭＴＵと呼んでいる。例えば、イーサネ
ットでは、ＭＴＵ＝１５００ｂytｅである。インターネ
ットではパケットサイズの最大値を特定のサイズに制限
はしていないが、ネットワークとゲートウェイでは、フ
ラグメント化せずに１パケット５７６バイトのデータサ
イズを扱えるようになっているべきだと推奨している。
これにプロトコルのヘッダなどがつくため、実際のデー
タ領域は５７６バイトよりも小さくなる。この様な実質
的な上限のパケットサイズが最大パケットサイズとされ
ている。
【０００９】
【発明が解決しようとする課題】上述した画像、音声の
各々に適したパケットサイズで画像・音声送信される従
来のパケット通信の場合には、大きなパケットサイズで
送信される画像と小さいパケットサイズで送信される音
声とをそのまま同一伝送路に順次出力すると、受信画像
に対してこの画像に伴う音声を遅延して受信してしまう
という問題がある。
【００１０】例えば、画像パケットと音声パケットをシ
リアル送信する場合において、従来は画像データの１パ
ケットが送信し終わるまで音声データのパケットは送信
できないので、送信するべき音声データが多い場合（即
ち連続して音声が発生する場合）にも、連続する音声で
あるはずの複数の音声パケットの間隔が大きくなってい
まい、結果的に音声がとぎれる間隔が非常に大きくなっ
てしまう。
【００１１】本発明は上記従来例に鑑みて成されたもの
であり、画像データと音声データをパケット通信する場
合において、画像データに伴う音声データをスムーズに
受信側に送信することを目的とする。
【００１２】具体的には、画像データと音声データをで
きるだけ各々の性質に適したパケットサイズで送信しつ
つ、入力された画像データと同じタイミングで入力され
た音声データをできるだけ同じタイミングで送信するこ
とを目的とする。
【００１３】
【課題を解決するための手段】上記課題を解決するため
に本発明の通信装置によれば、画像データ或いは音声デ
ータをパケット送信するパケット送信手段と、パケット
送信されるべき音声データの量を検知する検知手段と、
該検知手段による検知結果に基づいて、前記パケット送
信手段によりパケット送信される画像データのパケット
サイズを切り換える制御手段とを有することを特徴とす
る。
【００１４】
【発明の実施の形態】以下、添付図面に従って、本発明
の実施の形態について説明する。
【００１５】（第１の実施の形態）図１は本発明の各実
施の形態の画像通信装置を説明するブロック図である。
【００１６】図１は画像通信装置を説明するブロック図
である。
【００１７】図中、１は画像キャプチャであり動画、静
止画カメラ等を介して入力された画像データをキャプチ
ャするものである。
【００１８】２は圧縮部であり、画像キャプチャ１から
入力された画像データを圧縮した後出力するものであ
る。３は、データ分割部であり、圧縮された一連の画像
データを所定単位のデータ量になる様に分割する事によ
り複数の画像パケットを順次生成するものである。
【００１９】４は音声キャプチャであり、マイク等を介
して入力された音声データをキャプチャするものであ
る。５は圧縮部であり、音声キャプチャ４から入力され
た音声データを圧縮するものである。６はデータ分割部
であり、圧縮された一連の音声データを所定単位のデー
タ量になる様に分割することにより複数の音声パケット
を生成するものである。
【００２０】７は音声パケット検知部であり、データ分
割部６に入力された音声データ、或いはその後生成され
る音声パケットの有無を検知するものであり、この有無
に応じた制御信号をデータ分割部３に出力するものであ
る。８は伝送用バッファメモリであり、画像パケット、
音声パケットを一旦格納するものである。９は、画像及
び音声を出力可能である伝送先の端末に対して伝送用バ
ッファメモリ８に格納された各パケットを後述する送信
順序で順次無線送信（パケット送信）するものである。
【００２１】なお、本発明はこれに限らず電話回線等に
直接繋げてパケット送信する場合、又は専用のネットワ
ーク回線に直接繋げてパケット送信する場合も本発明に
含まれる。
【００２２】また、画像キャプチャ１にキャプチャされ
る画像データと音声キャプチャ４にキャプチャされる音
声データは、上記カメラ、マイクから入力される画像及
び音声に同期してキャプチャされ、各圧縮部に出力す
る。よって、伝送用データバッファメモリに入力される
画像パケット、及び音声パケットのタイミングは、実際
に入力される画像、音声にほぼ同じタイミングになる。
【００２３】以下、図１のブロック図の動作を説明す
る。
【００２４】画像キャプチャ１でキャプチャされた画像
データは、圧縮部２で圧縮された後、データ分割部３に
送られる。データ分割部３では音声パケット検知部７か
ら入力される制御信号に基づいて画像データを最適なサ
イズ（サイズ可変）の画像パケットを生成して伝送用バ
ッファメモリ８に出力する。音声パケット検知部７とデ
ータ分割部３の具体的な関係は後述する。
【００２５】一方、音声キャプチャ４でキャプチャされ
た音声データは、圧縮部５で圧縮された後、データ分割
部６に送られる。データ分割部６では入力された音声デ
ータを予め決められた所定のサイズの音声パケットに一
意的に生成し、順次伝送バッファメモリ８に出力する。
【００２６】ここで、音声パケット検知部７とデータ分
割部３の関係を具体的に説明する。音声パケット検知部
７は音声データのデータ分割部６に入力された音声デー
タ、或いは出力されるべき音声パケットの有無を所定間
隔で検知する。この検知の結果、音声データ、或いは音
声パケットがあると判断した場合には、音声パケット検
知部７はデータ分割部３に対して、画像パケットを音声
パケットと同じサイズに順次分割することを命令する制
御信号を出力する。一方、音声データ、或いは音声パケ
ットが無いと判断した場合には、音声パケット検知部７
はデータ分割部３に対して、画像パケットを音声パケッ
トのサイズよりも大きい別のサイズに順次分割すること
を命令する制御信号を出力する。
【００２７】この制御信号の出力はリアルタイムで行わ
れ、データ分割部６に音声データ、音声パケットがある
場合、無い場合に応じて速やかに制御信号が出力され
る。
【００２８】この制御信号を受信したデータ分割部３
も、入力される画像データをパケット分割するサイズを
リアルタイムに切り換える。
【００２９】以上の様にパケットサイズを制御された画
像パケット及び音声パケットは、伝送バッファメモリ８
に入力、格納される。
【００３０】続いて、伝送部９は伝送用バッファメモリ
８に入力されてくる画像パケット及び音声パケットを入
力された順で順次相手先に無線送信する。即ち、伝送部
９は画像パケット、音声パケットを交互に出力するとは
限らず、音声パケットの入力数が少ない場合には画像パ
ケットを頻繁に送信することになる。
【００３１】図２に本実施の形態の画像通信装置の動作
の流れである画像通信方法を示す。
【００３２】図２において、１０１、１０２、１０３、
１０９の系を有する（ｂ）は音声データを処理する手順
であり、１０４、１０５、１０６、１０７、１０８、１
０９の系を有する（ａ）は画像データを処理する手順で
ある。なお、この音声データを処理する系と画像データ
を処理する系の動作の周期は、画像とこの画像に伴う音
声の同期が失われない程度の短い時間にする。
【００３３】まず、図２（ｂ）について説明する。図２
（ｂ）において、音声のデータ分割部６において分割さ
れるサイズを最大パケットサイズよりも小さい所定サイ
ズに設定する（１０１）。
【００３４】これは、音声のパケットサイズが大きいこ
とにより、通信相手先で再生される音声のリアルタイム
性を失わないためである。続いて、順次キャプチャされ
る音声データを入力し（１０２）、上記設定された音声
パケットのサイズに分割する（１０３）。ステップ１０
３の分割に際して、入力される音声データが上記パケッ
トのサイズを満たしたか否かを判別しながら、入力され
た音声データが音声パケットのサイズ以上に達したなら
ば、この音声データを音声パケットとして、伝送用バッ
ファメモリ８乃至伝送部９に出力し、伝送部９から所定
のネットワークプロトコルを用いて無線送信する（１０
９）。
【００３５】一方、入力された音声データが音声パケッ
トのサイズ以上に達していない場合には、この音声パケ
ットのサイズ以上に達するまで処理を繰り返す。
【００３６】次に、図２（ａ）について説明する。図２
（ａ）において、まず画像データを１フレーム（１画
面）キャプチャする（１０４）。次にパケット生成中の
音声データ、或いは生成された音声パケットが存在する
否かを判断する（１０５）。
【００３７】ステップ１０５において、パケット生成中
の音声データ、或いは生成された音声パケットが存在す
る場合には、キャプチャされた画像データをパケットに
分割する際のサイズを音声パケットに予め決められてい
る所定サイズに設定する（１０６）。
【００３８】一方、パケット生成中の音声データ、或い
は生成された音声パケットが存在しなければ、画像パケ
ットサイズを無線送信を行う際に用いるネットワークプ
ロトコルが許容できる最大のサイズに設定する（１０
７）。
【００３９】次に、キャプチャされた１フレームの画像
データをステップ１０６又は１０７により設定されたパ
ケットサイズに分割する（１０８）。
【００４０】分割されたパケットサイズは、伝送用バッ
ファメモリ８乃至伝送部９に出力し、伝送部９から所定
のネットワークプロトコルを用いて無線送信する（１０
９）。
【００４１】なお、ネットワークプロトコルは例えばTC
P／IP或いはUDP等を用いることとするが、本発明はこれ
に限らずその他のネットワークプロトコルを用いても良
い。
【００４２】以上、本実施の形態で説明した画像・音声
通信の様子を図３を用いて説明する。
【００４３】図３において、（ａ）は上述したマイク等
から音声を入力するタイミングを示す図であり、１〜１
０の各ブロックはマイクから入力される音声データのあ
る１単位を示すものである。また、（ｂ）は上述したカ
メラ等から画像を入力するタイミングを示す図であり、
Ａ、Ｂ、Ｃの各ブロックは画像のある１単位、例えば１
フレームを表すものである。
【００４４】図中（ａ）、（ｂ）は音声の４単位が入力
されると画像が１単位入力されることを示し、これによ
れば、画像・音声を同期させて送信を行う場合には、音
声４単位のデータに対して画像１単位のデータを送信で
きれば画像とその画像に伴う音声をほぼ等しいタイミン
グで送信でき、結果的に受信側で画像・音声をほぼ等し
いタイミングで再生することができる。
【００４５】また、ネットワークプロトコルの最大のパ
ケットサイズは、図中縦ラインの４つ分とし、これ以上
のパケットサイズで画像・音声の通信を行うことはな
い。
【００４６】なお、画像は常に一定のタイミングでリア
ルタイムに入力されるものとし、画像が入力されないこ
とは無いものとして説明する。一方、音声は一定の音量
以上の入力が行われない限りは音声が入力されたものと
しない様にマイク或いは音声キャプチャ４が制御する。
よって、音声が入力される量だけが変化する場合につい
て説明する。
【００４７】図３の（ｃ）、（ｄ）は音声が頻繁に入力
されている状態の画像パケット、音声パケットの生成の
様子を示したものである。
【００４８】（ｃ）においては、音声が最も頻繁に入力
されているので、音声パケットのサイズ（予め決まって
いる小さいサイズ）と画像パケットのサイズが同じにな
るように制御が行われ、画像・音声が順次無線送信され
る。具体的には、音声パケットであるブロック「１」が
送信された後、画像パケットであるブロック「A１」が
送信され、同様にして「２」、「A2」、「３」、
「A3」、「４」・・の順に送信が行われる。これによ
り、通信相手先では画像に対して音声の受信が遅延して
感じる様な違和感が無く、スムーズな画像・音声通信が
行える。なお、この（ｃ）、（ｄ）のパケット分割の説
明は、図１において音声パケットが音声パケット有りを
判別した時に制御信号を出力した場合のデータ分割部３
のパケット分割の方法に適用可能であり、同じく図２に
おけるステップ１０６及び１０８の制御の方法に適用可
能である。
【００４９】一方、画像データの入力量に対して音声デ
ータの入力比率が１／２である場合を、（ｅ）、（ｆ）
に示す。
【００５０】この場合、画像パケットのサイズを最大の
パケットサイズとはせずとも最大サイズの１／２のサイ
ズに設定し、画像パケットを生成する。こうすることに
より、送信されるデータの順番が、音声パケット
「１」、画像パケット「A1+2」、同様に「３」、
「A3+4」、「５」、「Ｂ1+2」、「７」、「A3+4」・・
の順に送信が行われる。これによりこの場合の画像と音
声の存在比率に最適な画像・音声通信が行え、画像に対
して音声の受信が遅延して感じる様な違和感が無い。
【００５１】この場合のパケットサイズの制御について
は上述していないが、図１における音声パケット検知部
７とデータ分割部３を変形、又は図２におけるステップ
１０６、１０７と同様の分岐を構成することにより実現
可能である。
【００５２】また、画像データの入力量に対して音声デ
ータの入力比率が１／３である場合を、（ｇ）、（ｈ）
に示す。
【００５３】この場合、画像パケットのサイズを最大の
パケットサイズとはせずとも最大サイズの１／３のサイ
ズに設定し、画像パケットを生成する。こうすることに
より、送信されるデータの順番が、音声パケット
「１」、画像パケット「A1+2+3」、同様に「４」、「A4
＋Ｂ1+2」、「７」、「Ｂ3+4＋Ｃ１」、「１０」、「Ｃ
1+2+3」・・の順に送信が行われる。これによりこの場
合の画像と音声の存在比率に最適な画像・音声通信が行
え、画像に対して音声の受信が遅延して感じる様な違和
感が無い。
【００５４】この場合のパケットサイズの制御について
は上述していないが、図１における音声パケット検知部
７とデータ分割部３を変形、又は図２におけるステップ
１０６、１０７と同様の分岐を構成することにより実現
可能である。
【００５５】また、画像データの入力はあるが音声デー
タの入力が全くない場合を、（ｇ）、（ｈ）に示す。
【００５６】この場合、画像パケットのサイズをネット
ワークプロトコルにおいて可能な最大のパケットサイズ
（４ブロック）とし、画像パケットを生成する。こうす
ることにより、送信されるデータの順番が、画像パケッ
ト「A」、「Ｂ」、「Ｃ」の順に送信が行われる。これ
により画像に最適な通信が行える。
【００５７】また、この（ｃ）、（ｄ）に対して、従来
の場合には、（ｊ）、（ｋ）の様な形態になり、画像及
び音声の存在比率に適用することなく画像のパケットを
分割しているので、画像に対して音声の受信が遅延して
感じてしまう。
【００５８】なお、本実施の形態は、図１の様に画像入
力部として動画、或いは静止画カメラ、音声入力部とし
てマイクを有し、これら入力部により画像・音声送信を
行う画像通信装置に適用されるが、同装置に伝送部９と
同様の受信機能を有する受信部、伝送用バッファメモリ
８と同様の機能を有するメモリ、受信した画像データ或
いは音声データを各々のパケット分割方式、圧縮方式に
従って伸長し、元の画像データ、音声データを再生する
再生部、及びこれら画像データ、音声データを出力する
液晶ディスプレイ、スピーカを備えることにより、上述
した送信動作に対応する受信動作も実行可能な画像通信
装置に適用されることが好ましい。
【００５９】また、本発明は図４の（ａ）の様に上記送
信、受信に必要な機能を有する各部を通信線で接続して
動作するシステムに適用される場合と、図４の（ｂ）の
様にこれら各部を一つの筐体に内蔵する単体の装置の場
合を含む。
【００６０】なお、図４（ａ）、（ｂ）において画像音
声通信処理部は上述した機能の内の画像、音声キャプチ
ャ機能、圧縮・伸長機能、パケット分割機能、バッファ
リング機能、通信機能等の全てを有するものである。
【００６１】以上説明した様に本実施の形態によれば、
音声パケットを送信するか否か、又は画像と音声の存在
（入力又は送信）比率に応じて画像のパケットサイズを
変化させるので、各場合に最適な画像・音声通信が行え
る。特に、受信側において画像に対してこれに伴う音声
の受信が遅延して感じる様な違和感が無いスムーズな画
像・音声通信を行うことができる。よって、リアルタイ
ム性の高い画像・音声通信を行うことができる。
【００６２】（第２の実施の形態）次に、画像の伝送を
制御するアプリケーション（画像伝送アプリケーション
とする）と音声の伝送を制御するアプリケーション（音
声伝送アプリケーションとする）を各々独立して存在す
るテレビ電話システムについて説明する。
【００６３】なお、本実施の形態におけるテレビ会議シ
ステムとは、画像入力部として動画、或いは静止画カメ
ラ、音声入力部としてマイクを有し、画像出力部として
液晶ディスプレイ等、音声出力部としてスピーカ等を有
するシステムに適用可能であり、これら各部を通信線で
接続して動作するシステムの場合と、これら各部を一つ
の筐体に内蔵するシステムの場合を含む。
【００６４】画像伝送アプリケーション側から音声伝送
アプリケーションの動作状態を検知した場合、音声伝送
アプリケーションの動作は以下の３つの状態に分類され
る。 状態１：音声伝送アプリケーションが起動していない。 状態２：音声伝送アプリケーションが起動しているが、
音声が伝送されていない（音声パケットが存在しな
い）。 状態３：音声伝送アプリケーションが起動しており、音
声が伝送されている（音声パケットが存在する）。
【００６５】本実施の形態において、状態２の場合と
は、ある１パケット内の音声データの全てがある閾値の
音声レベル（音量）以下の時に、無音部分を送る無駄を
省くためにそのパケットは伝送されない機能が働く場合
とする。しかしながら本発明はこれに限らず、例えばテ
レビ電話システム（音声伝送アプリケーション）に対し
て、ユーザー（送信側又は受信側）が画像だけ通信した
い旨の指定を行うことにより、音声伝送アプリケーショ
ンが音声のキャプチャを一時的に止めるといった場合に
も適用できる。
【００６６】以下、図５を用いて上記３つの状態の場合
における画像データと音声データの伝送形態を説明す
る。
【００６７】図５に画像データ、音声データをパケット
として伝送路に伝送する様子を示す。
【００６８】画像伝送アプリケーションは、画像伝送の
際に一定間隔で音声伝送アプリケーションの動作状態を
監視する。
【００６９】監視の結果が状態１の場合には、図５の
（ａ）に示すように、画像伝送アプリケーションは、入
力される画像データをネットワークプロトコルにおいて
可能な最大パケットサイズに分割して順次伝送路に伝送
する。
【００７０】監視の結果が状態２の場合には、入力され
る画像データをネットワークプロトコルにおいて可能な
最大パケットサイズに分割して順次伝送路に伝送する。
一方で画像伝送アプリケーションは常に音声パケットが
存在するかどうかを監視する。そして伝送されるべき音
声パケットの存在を検知した場合は、状態３に遷移す
る。
【００７１】監視の結果が状態３の場合には、入力され
る画像データを音声データをパケット分割するサイズと
同じサイズに分割して順次伝送路に伝送する。よって、
図５の（ｂ）の様な伝送形態になる。
【００７２】画像は、１フレーム毎に画像データをパケ
ット分割して伝送する。例えば、１フレームの画像デー
タのデータサイズを１４００バイトとし、画像伝送の最
大パケットサイズを５１２バイトとすると、１フレーム
当たり３パケット（１４００／５１２＝２．７３４３７
５）必要になる。よって最後のパケット（３パケット
目）のパケットサイズを５１２バイトより小さくし、３
７６（１４００バイト−５１２バイト×２パケット）バ
イトとする。
【００７３】上記状態１又は状態２の場合（画像パケッ
トのみを送信する場合）のパケットサイズを具体的に示
すと、図６の（ａ）の様になる。図中、１フレームは、
画像１、画像２、画像３から成る。
【００７４】ここで、状態３の様に伝送路に伝送される
べき音声パケット（パケットサイズが２５６バイト）が
存在する場合、１フレームの画像データを２５６バイト
のパケットサイズで分割して伝送する。
【００７５】これを具体的に示すと図５（ｂ）の様にな
る。ここでは、１フレーム当たり６パケット（１４００
／２５６ ＝ ５．４６８７５）となるので、１フレーム
毎の最後の画像パケット（６パケット目）だけは、１２
０（１４００バイト−２５６バイト×５パケット）バイ
トになる。
【００７６】また、第１の実施の形態と同様、画像伝送
アプリケーションと音声伝送アプリケーションに画像・
音声送信機能だけでなく、これに対応する画像・音声受
信機能を備える様にすれば送受信可能なテレビ会議シス
テムを構成できる。
【００７７】なお本発明は画像伝送用と音声伝送用のア
プリケーションを独立のものとして説明したが、本発明
はこれに限らず画像及び音声の両方を伝送制御可能な単
一のアプリケーションに適用しても良い。
【００７８】以上、画像伝送アプリケーションと音声伝
送アプリケーションを有するテレビ会議システムにおい
ても、音声パケットを送信するか否か、又は画像と音声
の存在（入力又は送信）比率に応じて画像のパケットサ
イズを変化させるので、各場合に最適な画像・音声通信
が行える。特に、受信側において画像に対してこれに伴
う音声の受信が遅延して感じる様な違和感が無いスムー
ズな画像・音声通信を行うことができる。
【００７９】なお、第１の実施の形態では、パケット送
信されるべき音声データの比率が最大の時（図３では
（ｃ）（ｄ）に相当する）には画像データのパケットサ
イズと音声データのパケットサイズを同じにしていた
が、本発明はこれに限るものではなく、画像に対する音
声の比率が大きくなる程、画像データのパケットサイズ
を小さくする様にすれば画像と音声のパケットサイズが
同じでなくても良い。
【００８０】なお、本発明は複数の機器から構成される
システムの１部として適用しても、１つの機器からなる
装置の１部に適用してもよい。
【００８１】また、本発明は上記実施の形態を実現する
ための装置及び方法のみに限定されるものではなく、上
記システム又は装置内のコンピュータ（CPUあるいはMP
U）に、上記実施の形態を実現するためのソフトウエア
のプログラムコードを供給し、このプログラムコードに
従って上記システムあるいは装置のコンピュータが上記
各種デバイスを動作させることにより上記実施の形態を
実現する場合も本発明の範疇に含まれる。
【００８２】またこの場合、前記ソフトウエアのプログ
ラムコード自体が上記実施の形態の機能を実現すること
になり、そのプログラムコード自体、及びそのプログラ
ムコードをコンピュータに供給するための手段、具体的
には上記プログラムコードを格納した記憶媒体は本発明
の範疇に含まれる。
【００８３】この様なプログラムコードを格納する記憶
媒体としては、例えばフロッピーディスク、ハードディ
スク、光ディスク、光磁気ディスク、CD-ROM、磁気テー
プ、不揮発性のメモリカード、ROM等を用いることがで
きる。
【００８４】また、上記コンピュータが、供給されたプ
ログラムコードのみに従って各種デバイスを制御するこ
とにより、上記実施の形態の機能が実現される場合だけ
ではなく、上記プログラムコードがコンピュータ上で稼
働しているOS(オペレーティングシステム)、あるいは他
のアプリケーションソフト等と共同して上記実施の形態
が実現される場合にもかかるプログラムコードは本発明
の範疇に含まれる。
【００８５】更に、この供給されたプログラムコード
が、コンピュータの機能拡張ボードやコンピュータに接
続された機能拡張ユニットに備わるメモリに格納された
後、そのプログラムコードの指示に基づいてその機能拡
張ボードや機能格納ユニットに備わるCPU等が実際の処
理の一部または全部を行い、その処理によって上記実施
の形態が実現される場合も本発明の範疇に含まれる。
【００８６】
【発明の効果】以上説明したように本発明によれば、画
像データ或いは音声データをパケット送信するパケット
送信手段と、パケット送信されるべき音声データの量を
検知する検知手段と、該検知手段による検知結果に基づ
いて、前記パケット送信手段によりパケット送信される
画像データのパケットサイズを切り換える制御手段とを
有するので、画像データと音声データをパケット通信す
る場合において、画像データに伴う音声データをスムー
ズに受信側に送信できる。具体的には、画像データと音
声データをできるだけ各々の性質に適したパケットサイ
ズで送信しつつ、入力された画像データと同じタイミン
グで入力された音声データをできるだけ同じタイミング
で送信することができる。
【図面の簡単な説明】
【図１】本発明の画像通信装置のブロック図
【図２】画像通信装置の動作手順を示すフローチャート
【図３】画像パケットと音声パケットの伝送の様子を示
す概略図
【図４】本発明の通信処理を行う装置の代表的な構成図
【図５】画像パケットと音声パケットの伝送の様子を示
す概略図
【図６】画像パケットと音声パケットの具体的なサイズ
を用いた説明図
【符号の説明】
１ 画像キャプチャ ２ 圧縮部 ３ データ分割部 ４ 音声キャプチャ ５ 圧縮部 ６ データ分割部 ７ 音声パケット検知部 ８ 伝送用バッファメモリ ９ 伝送部

Claims (14)

    【特許請求の範囲】
  1. 【請求項１】 画像データ或いは音声データをパケット
    送信するパケット送信手段と、 パケット送信されるべき音声データの量を検知する検知
    手段と、 該検知手段による検知結果に基づいて、前記パケット送
    信手段によりパケット送信される画像データのパケット
    サイズを切り換える制御手段とを有することを特徴とす
    る通信装置。
  2. 【請求項２】 前記制御手段は、前記パケット送信され
    るべき音声データの量に基づいて、段階的に前記画像デ
    ータのパケットサイズを変化させることを特徴とする請
    求項１に記載の通信装置。
  3. 【請求項３】 前記制御手段は、前記パケット送信され
    るべき音声データが存在するか否かに基づいて、前記画
    像データのパケットサイズを変化させることを特徴とす
    る請求項１に記載の通信装置。
  4. 【請求項４】 更に、画像を撮影することにより画像デ
    ータを入力する画像入力手段を有することを特徴とする
    請求項１に記載の通信装置。
  5. 【請求項５】 前記画像入力手段は、動画カメラ又は静
    止画カメラであることを特徴とする請求項４に記載の通
    信装置。
  6. 【請求項６】 更に、音声データを入力する音声入力手
    段を有することを特徴とする請求項１に記載の通信装
    置。
  7. 【請求項７】 前記音声入力手段は、マイクであること
    を特徴とする請求項６に記載の通信装置。
  8. 【請求項８】 更に前記画像データ或いは音声データを
    圧縮する圧縮手段を有することを特徴とする請求項１に
    記載の通信装置。
  9. 【請求項９】 更に、パケット送信された画像データ及
    び音声データを受信する受信手段と、該受信手段により
    受信した画像データ及び音声データを再生する再生手段
    を有することを特徴とする請求項１に記載の通信装置。
  10. 【請求項１０】 前記再生手段には、画像データ或いは
    音声データを伸長する伸長手段を含むことを特徴とする
    請求項９に記載の通信装置。
  11. 【請求項１１】 前記再生手段には、画像データを可視
    化するディスプレイを含むことを特徴とする請求項９に
    記載の通信装置。
  12. 【請求項１２】 前記再生手段には、音声データを出力
    するスピーカを含むことを特徴とする請求項９に記載の
    通信装置。
  13. 【請求項１３】 画像データ或いは音声データを選択的
    にパケット送信するパケット送信ステップと、 パケット送信されるべき音声データの量を検知する検知
    ステップと、 該検知ステップにおける検知結果に基づいて、前記パケ
    ット送信ステップでパケット送信される画像データのパ
    ケットサイズを切り換える制御ステップを有することを
    特徴とする通信方法。
  14. 【請求項１４】 画像データ或いは音声データを選択的
    にパケット送信するパケット送信ステップと、 パケット送信されるべき音声データの量を検知する検知
    ステップと、 該検知ステップにおける検知結果に基づいて、前記パケ
    ット送信ステップでパケット送信される画像データのパ
    ケットサイズを切り換える制御ステップを通信装置に実
    行させるプログラムをコンピュータから読み出し可能な
    状態に記憶した記憶媒体。
JP12551497A 1997-05-15 1997-05-15 通信装置及び方法及び記憶媒体 Pending JPH10322673A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP12551497A JPH10322673A (ja) 1997-05-15 1997-05-15 通信装置及び方法及び記憶媒体
US09/057,556 US6947447B1 (en) 1997-05-15 1998-04-09 Image communication apparatus, image communication method and recording medium which stores the sound and image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12551497A JPH10322673A (ja) 1997-05-15 1997-05-15 通信装置及び方法及び記憶媒体

Publications (1)

Publication Number Publication Date
JPH10322673A true JPH10322673A (ja) 1998-12-04

Family

ID=14912034

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12551497A Pending JPH10322673A (ja) 1997-05-15 1997-05-15 通信装置及び方法及び記憶媒体

Country Status (2)

Country Link
US (1) US6947447B1 (ja)
JP (1) JPH10322673A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006087109A (ja) * 2004-09-14 2006-03-30 Lucent Technol Inc ＶｏｉｃｅｏｖｅｒＩｎｔｅｒｎｅｔプロトコルを用いる無線通信の方法および装置
EP1670248A1 (en) * 2004-12-09 2006-06-14 OmniVision Technologies, Inc. Low bit rate video transmission over GSM network
JP2009510942A (ja) * 2005-09-29 2009-03-12 クゥアルコム・インコーポレイテッド テレビ電話のためのビデオパケット整形
US8406309B2 (en) 2005-10-21 2013-03-26 Qualcomm Incorporated Video rate adaptation to reverse link conditions
US8842555B2 (en) 2005-10-21 2014-09-23 Qualcomm Incorporated Methods and systems for adaptive encoding of real-time information in packet-switched wireless communication systems

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2071441A1 (en) 2007-12-03 2009-06-17 Semiconductor Energy Laboratory Co., Ltd. Mobile phone
WO2012104952A1 (ja) 2011-02-03 2012-08-09 パナソニック株式会社 音声読上げ装置、音声出力装置、音声出力システム、音声読上げ方法および音声出力方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4785349A (en) * 1987-10-05 1988-11-15 Technology Inc. 64 Digital video decompression system
JP2766919B2 (ja) * 1991-06-07 1998-06-18 三菱電機株式会社 ディジタル信号記録再生装置、ディジタル信号記録装置、ディジタル信号再生装置
US5375068A (en) * 1992-06-03 1994-12-20 Digital Equipment Corporation Video teleconferencing for networked workstations
US5392223A (en) * 1992-07-29 1995-02-21 International Business Machines Corp. Audio/video communications processor
US5784112A (en) * 1993-07-02 1998-07-21 Canon Kabushiki Kaisha Encoding apparatus
EP0700205A3 (en) * 1994-08-31 1997-04-02 Toshiba Kk Multimedia television receiver and initialization process therefor
JPH09266460A (ja) * 1996-03-28 1997-10-07 Sony Corp 送受信システム
EP0805601B1 (en) * 1996-05-02 2005-03-30 Sony Corporation Encoding, storing and transmitting digital signals
SG71709A1 (en) * 1996-05-08 2000-04-18 Matsushita Electric Ind Co Ltd Multiplex transmission method and system and audio jitter absorbing method used therein
US5956729A (en) * 1996-09-06 1999-09-21 Motorola, Inc. Multimedia file, supporting multiple instances of media types, and method for forming same
US5893062A (en) * 1996-12-05 1999-04-06 Interval Research Corporation Variable rate video playback with synchronized audio

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006087109A (ja) * 2004-09-14 2006-03-30 Lucent Technol Inc ＶｏｉｃｅｏｖｅｒＩｎｔｅｒｎｅｔプロトコルを用いる無線通信の方法および装置
EP1670248A1 (en) * 2004-12-09 2006-06-14 OmniVision Technologies, Inc. Low bit rate video transmission over GSM network
US7596149B2 (en) 2004-12-09 2009-09-29 Omnivision Technologies, Inc. Low bit rate video transmission over GSM network
JP2009510942A (ja) * 2005-09-29 2009-03-12 クゥアルコム・インコーポレイテッド テレビ電話のためのビデオパケット整形
US8102878B2 (en) 2005-09-29 2012-01-24 Qualcomm Incorporated Video packet shaping for video telephony
US8406309B2 (en) 2005-10-21 2013-03-26 Qualcomm Incorporated Video rate adaptation to reverse link conditions
US8842555B2 (en) 2005-10-21 2014-09-23 Qualcomm Incorporated Methods and systems for adaptive encoding of real-time information in packet-switched wireless communication systems

Also Published As

Publication number Publication date
US6947447B1 (en) 2005-09-20

Similar Documents

Publication Publication Date Title
JP3658087B2 (ja) 端末装置及び端末装置の制御方法
US8089514B2 (en) Moving image communication device, moving image communication system and semiconductor integrated circuit used for communication of moving image
JP4949591B2 (ja) ビデオ誤り回復方法
KR100800716B1 (ko) 근거리 통신을 이용한 동영상 데이터 송수신 장치 및 그송수신 장치에서의 동영상 데이터 송수신 방법
WO2007003701A1 (en) Audio and video synchronization
CN109495761A (zh) 视频切换方法及装置
JP2001298479A (ja) インターネット電話装置
US7535484B2 (en) Communication terminals that vary a video stream based on how it is displayed
EP1679895A1 (en) Medium signal transmission method, reception method, transmission/reception method, and device
JP3715332B2 (ja) 通信システム、受信装置及び方法
JPH10322673A (ja) 通信装置及び方法及び記憶媒体
JPH11215480A (ja) 映像通信システム及び映像送信装置及び映像受信装置及びそれらの制御方法及び記憶媒体
US20190089755A1 (en) Multiplexing data
JP2004147030A (ja) 受信装置、データ通信システム及びその通信方法
JP4255685B2 (ja) 画像伝送方法および画像伝送装置
JP3799070B2 (ja) 送信装置及び方法
JP2006074359A (ja) 遠隔会議システムにおける音声データの送受信システム及び制御方法
JPH11163934A (ja) 伝送システム及び伝送装置及び受信装置及び実時間動画像及び音声送信システム及び装置及びその制御方法及び記憶媒体
JP6481937B2 (ja) テレビ会議用通信装置
JP4408743B2 (ja) 通信装置及び受信バッファの制御方法
JP4892541B2 (ja) 画像伝送方法および画像伝送システム
JP2004088480A (ja) 撮像装置及びそのデータ伝送制御方法
JP2022006536A (ja) 通信システム、通信装置、及び通信プログラム
JP2000115730A (ja) テレビ電話装置とそのモード設定方法
JP2004158919A (ja) ネットワークカメラシステムとそのネットワークカメラ、及びデータ送信方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051020

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20051108