JP3562186B2

JP3562186B2 - ビデオカード、および、ビデオデータ通信装置

Info

Publication number: JP3562186B2
Application number: JP35035896A
Authority: JP
Inventors: 嘉一山本
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-12-27
Filing date: 1996-12-27
Publication date: 2004-09-08
Anticipated expiration: 2016-12-27
Also published as: US6300972B1; JPH10191285A; CA2226006A1; CA2226006C

Description

【０００１】
【発明の属する技術分野】
本発明は、パーソナルコンピュータなどに装着して用いるカード形状の処理装置であって、特にビデオデータの入出力や符号化／復号化および通信処理を適切に行うことのできるビデオカード、および、そのビデオカードを用いて構成されたビデオ会議などを行うのに好適なビデオデータ通信装置に関する。
【０００２】
【従来の技術】
画像処理技術や通信技術の発達により、テレビ電話システムやテレビ会議システムが実現されつつある。
一方、半導体技術の進歩により、情報処理装置の高性能化・小型化が急激に進んでおり、それまでの大型計算機並の性能を有する高性能なパーソナルコンピュータや、より小さいノートブック型パーソナルコンピュータ（ノートブック型ＰＣ）などが開発され広く普及している。またそのようなパソコンなどに接続する周辺機器も、カード形式のものが用いられるようになっており、特にノートブック型ＰＣに対する主な機能付加の手段の１つとなっている。さらにそのカードも、メモリを収容して記録媒体としての役割をするのみであったメモリカードから、特定の演算処理機能を有するＩＣカードへと機能が向上したカードが登場している。
【０００３】
【発明が解決しようとする課題】
ところで、これまでの前述したテレビ電話システムやテレビ会議システムは、装置規模が大きく高価なものがほとんどであり、一般の人が気軽に利用できるようなシステムとはなっていない。そのような機能を実現するためには、画像、特に動画像のリアルタイム処理が必要であるが、これはデータ量が膨大で高速性が要求される処理である。そのため、高性能化が進んだとは言え、前述したような計算器装置においてもその負荷は決して小さくなく、通常は、専用の画像メモリや専用プロセッサあるいはＤＳＰなどを有する専用の処理装置により実行される場合が多い。
【０００４】
したがって、本発明の目的は、ビデオデータの送信および受信に係わる画像のハンドリング、符号化／復号化、通信などの処理を、その送信および受信各々について同時にリアルタイムで行え、情報処理装置に装着されることにより、その情報処理装置とともにテレビ電話システムやテレビ会議システムなどを適切に行うことができるような環境を提供することができるビデオカードを提供することにある。
また、本発明の他の目的は、簡単な構成、すなわち安価な構成により、ビデオデータのリアルタイム双方向通信を伴うような処理を適切に行うことができ、テレビ電話システムやテレビ会議システムなどを実現することのできるビデオデータ通信装置を提供することにある。
【０００５】
【課題を解決するための手段】
前記課題を解決するために、本発明のビデオカードは、１つの半導体メモリと、カメラが接続されそのカメラから入力される映像信号を所望のフォーマットに変換しメモリに記録するカメラ信号入力手段と、その入力された映像信号を符号化し、符号化された映像信号をメモリに記録する符号化手段と、その符号化された映像信号を上位の装置に送信する第１の送信手段と、その上位の装置より送信される符号化映像信号を受信しメモリに記録する受信手段と、その符号化映像信号を復号化し、復号化された映像信号をメモリに記録する復号化手段と、その復号化された映像信号を上位の装置に送信する第２の送信手段と、前記カメラから入力された符号化される前の映像信号を、上位の装置に送信する第３の送信手段と、上位の制御装置から入力される制御信号に基づいて所定の前記手段を有効にし、自律して所望の処理を行わせ、かつ、受信動作を送信動作に優先させ、前記上位の制御装置との間の送信および受信動作の各々は開始後一連の動作を完了するまで継続させ、多重処理は２つの処理までとする制御手段とを有し、前記符号化手段と前記復号化手段は実質的に１つのプログラマブルＤＳＰなどの信号処理手段により構成され、前記第１〜第３の送信手段と前記受信手段と実質的に１つのＰＣＭＣＩＡに準拠したインターフェイス手段により構成される。
【０００６】
好適には、前記ビデオカード内の各信号は、内部のテレビジョン同期信号に同期して上位の装置とは独立して動作する。
また好適には、前記メモリは、カメラから入力された映像信号、その符号化された映像信号、上位の装置から入力された符号化映像信号、その復号化された映像信号を各々所定の領域に記録し、複数のアドレスカウンタを有するメモリ制御回路により実質的に独立して各領域にデータのリード／ライトができるように構成されている。
特定的には、前記制御手段は、前記ビデオカードの内部状態を動作モード、フラグなど種々の変数に規定しておきこれにより制御を行う。すなわち、これらの変数を記録するレジスタと、これに基づいて簡単な条件の演算などを行う論理回路と、これらに基づいて所定の手続に従って信号処理を行う前記信号処理手段より構成される。
【０００７】
また好適には、前記制御手段は、必要に応じて前記カメラ信号入力手段と前記符号化手段を同時に有効にし、前記撮像装置から入力される映像信号の前記メモリ手段への記録と、当該映像信号の符号化とが同時に行えるようにする。
また好適には、前記制御手段は、前記第２の送信手段と前記第３の送信手段とを同時に有効にし、前記インターフェイス手段は前記復号化された映像信号と前記入力された映像信号を実質的に１の送信処理により上位の装置に送信する。
また好適には、前記制御手段は、必要に応じて前記第１の送信手段を、カメラ信号入力手段、符号化手段および復号化手段と同時に有効にし、第１の送信手段は、前記各手段が前記メモリ手段に対して読み出しおよび記録を行っている時の、当該映像信号の水平および垂直ブランキング期間に、前記符号化された映像信号を前記メモリ手段より読み出し、前記上位の装置に送信する。
【０００８】
また好適には、前記制御手段は、必要に応じて前記受信手段を、カメラ信号入力手段、符号化手段および復号化手段と同時に有効にし、前記受信手段は、前記各手段が前記メモリ手段に対して読み出しおよび記録を行っている時の、当該映像信号の水平および垂直ブランキング期間に、前記上位の制御装置より送信される符号化映像信号を受信し前記メモリに記録する。
また特定的には、前記インターフェイス手段は、ＰＣＭＣＩＡ規格に基づいて前記上位の制御装置と通信を行う手段であって、前記カメラ信号入力部より入力され符号化された映像信号の送信、および、前記符号化映像信号の受信を行う基本入出力手段と、前記カメラ信号入力部より入力された映像信号、および、前記第１の入出力手段で受信し復号化された映像信号を、前記上位の制御装置の表示装置において直ちに表示可能な形式に変換するフォーマット変換手段と、前記フォーマット変換された映像信号を送信するＺＶポート出力手段とを有する。
【０００９】
また、本発明のビデオデータ通信装置は、前記ビデオカードと、前記ビデオカードが装着され、ビデオカードにおいて撮像装置より入力され符号化された映像信号を送信用映像信号として獲得する送信用映像信号獲得手段と、獲得した映像信号を通信回線を介して送信する送信手段と、通信回線を介して符号化映像信号を受信する受信手段と、受信した符号化映像信号を前記ビデオカードに入力し復号化させる復号化指示手段と、ビデオカードより、前記復号化された映像信号および前記撮像装置より入力され符号化されていない映像信号を表示用映像信号として読み出す表示用映像信号獲得手段と、獲得した映像信号を表示する表示手段とを有する制御装置とを有する。
【００１０】
好適には、前記制御装置は、前記ビデオカードに対して当該ビデオカードの各手段を有効にする指示を行い、前記ビデオカードは、当該指示に基づいて独立して動作する。
また好適には、前記ビデオカードは、前記映像信号に基づいて決定される所定のテレビジョン同期信号を生成する同期信号生成手段をさらに有し、当該ビデオカードの前記各手段は当該生成された前記制御装置とは独立した同期信号により動作する。
【００１１】
さらに好適には、制御装置とビデオカードとの間の映像信号の転送は、前記ビデオカードの前記カメラ信号入力手段、前記符号化手段および前記復号化手段において処理が行われている時には、当該処理により前記メモリ手段に対してアクセスが行われている映像信号の水平および垂直ブランキング期間に行う。
また好適には、通信回線を介して送信および受信される１フレームの映像信号の伝送時間が、前記ビデオカードの前記符号化手段における１フレームの映像信号の符号化時間と、前記ビデオカードの前記復号化手段における１フレームの映像信号の復号化時間と、前記ビデオカードから前記制御装置の表示用映像信号獲得手段に１フレーム分の映像信号を転送する時間の合計時間より大きくほぼ等しい時間である。
【００１２】
【発明の実施の形態】
本発明の一実施の形態について図１〜図７を参照して説明する。
本実施の形態においては、本発明に係わるビデオカードをノートブック型ＰＣに装着することにより構成される本発明に係わるビデオデータ通信装置により、テレビ会議システムを実現する場合を用いて本発明を説明する。
【００１３】
ビデオデータ通信装置の構成
まず、そのビデオデータ通信装置の構成について図１を参照して説明する。
図１は、そのビデオデータ通信装置１の構成を示すブロック図である。
ビデオデータ通信装置１は、ノートブック型ＰＣ２のＰＣＭＣＩＡ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒＭｅｏｍｏｒｙＣａｒｄＩｎｔｅｒｎａｔｉｏｎａｌＡｓｓｏｃｉａｔｉｏｎが標準化したポータブルコンピュータ用標準メモリカード規格）カード用スロットに、通信インターフェイス（通信Ｉ／Ｆ）カード３と、ビデオカード４が挿入された構成である。
【００１４】
ノートブック型ＰＣ２は、ＶＧＡの解像度のモニタを有し、ＰＣＭＣＩＡカード用のスロットを２スロット以上有する通常の計算機装置であり、ＣＰＵ２１、メインメモリ２２、ハードディスク装置（ＨＤＤ）２３、フロッピーディスク装置（ＦＤＤ）２４，キーボード２５、ディスプレイ２６、ビデオＲＡＭ（ＶＲＡＭ）２７，ＶＧＡコントローラ２８、ＰＣカードコントローラ２９、サウンドコントローラ３０がＰＣＩバスを介して接続されている。
また、サウンドコントローラ３０にはマイクおよびスピーカが、ビデオカード４にはカメラヘッドが装着されている。
【００１５】
このようなビデオデータ通信装置１におけるビデオデータの流れを簡単に説明する。
ビデオデータをネットワークを介して外部の機器へ送信する時においては、カメラヘッドから送られる映像データはビデオカード４内で圧縮処理され、ＰＣカードコントローラ２９に転送される。ＰＣカードコントローラ２９に転送された圧縮された映像データは、メインメモリ２２に入力され、ここから再度ＰＣカードコントローラ２９を介して通信Ｉ／Ｆカード３に転送され、ネットワークに送出される。
【００１６】
また、ネットワークより受信した映像データは、通信Ｉ／Ｆカード３よりＰＣカードコントローラ２９を経て一旦メインメモリ２２に入力される。その後、再度ＰＣカードコントローラ２９を介してビデオカード４に転送される。そしてビデオカード４において圧縮映像データが伸長され、再びＺＶポートを通じてＰＣカードコントローラ２９を介してＶＧＡコントローラ２８に入力され、さらにＶＲＡＭ２７を介してディスプレイ２６に表示される。
【００１７】
すなわち、ネットワークを介した外部の機器へのビデオデータ送信時には、カメラヘッド→ビデオカード４→ＰＣカードコントローラ２９→メインメモリ２２→ＰＣカードコントローラ２９→通信Ｉ／Ｆカード３→ネットワークの順にデータは流れる。
また、ネットワークを介した外部の機器からのビデオデータ受信時には、ネットワーク→通信Ｉ／Ｆカード３→ＰＣカードコントローラ２９→メインメモリ２２→ＰＣカードコントローラ２９→ビデオカード４→ＰＣカードコントローラ２９→ＶＧＡコントローラ２８→ＶＲＡＭ２７→ディスプレイ２６の順にデータは流れる。
【００１８】
なお、テレビ会議システムにおいて自分の端末から送出している映像データを視聴したい時など、カメラヘッドから入ったビデオデータそのものが、そのままＺＶポートを介してＰＣカードコントローラ２９に転送され、ＶＧＡコントローラ２８に入力される場合もある。
また、音声データは、マイクで拾われてサウンドコントローラ３０に入力され、ここで処理されてメインメモリ２２に転送される。メインメモリ２２以降の処理はビデオデータの場合と同じである。また、受信時は、全くその逆に音声データが転送され、最後はサウンドコントローラ３０よりスピーカに出力される。
【００１９】
ビデオカード４
次に、ビデオカード４の構成について図２を参照して説明する。
図２は、ビデオカード４の構成を示すブロック図である。
ビデオカード４は、信号処理部４１と、ＤＲＡＭ部４２、ＤＲＡＭ制御部４３、カメラ信号処理部４４およびカードインターフェイス（カードＩ／Ｆ）部４５を有する。ＤＲＡＭ制御部４３はフィルタ４８、セレクタ４９、アドレスジェネレータ５０、コンバータ５１および状態制御部５２を有し、ＤＲＡＭ部４２にアドレス（ＡＤＲＳ）とライトイネーブル信号（ＷＥ）を供給して、指定アドレスからデータを読んだり、指定アドレスへデータを書き込む。
【００２０】
ビデオカード４の全体構成
まず、ビデオカード４の各部の機能を説明する。
信号処理部４１は、入力される映像データの符号化および復号化の処理と、ビデオカード４の制御とを行う信号処理回路である。信号処理部４１は、実質的にプログラマブルＤＳＰであって、予め記録された制御プログラムに従って動作する。
ＤＲＡＭ部４２は、映像データを記録するＤＲＡＭ４７とそのアドレスデコーダ４６からなるメモリ部である。本実施の形態においては、ＤＲＡＭ４７としてサイクルタイム７０［ｎｓ］の４ＭビットＤＲＡＭ１つを実装している。
【００２１】
ＤＲＡＭ制御部４３は、ＤＲＡＭ部４２に記憶されている、あるいは記憶する画像に対して種々の処理を行うロジック回路である。
フィルタ４８は、カメラ信号処理部４４より入力されるＶＧＡ画像をＱＣＩＦ／ＣＩＦ相当の画像に変換する。
セレクタ４９は、フィルタ４８、信号処理部４１、カードＩ／Ｆ部４５のいずれかから入力される信号を選択し、ＤＲＡＭ制御部４３内のバスに出力する。
アドレスジェネレータ５０は、ＤＲＡＭ４７のアクセスするアドレスを管理するものであり、後述するＤＲＡＭ４７の構成に応じ、また、リード／ライト動作各々に応じてアドレスを管理する。
【００２２】
コンバータ５１は、ノートブック型ＰＣ２のディスプレイ２６に表示するための映像信号を出力する場合などで、符号化されていない映像データをカードＩ／Ｆ部４５のＺＶポートを介して出力するために、４：１：１ＹＵＶ系信号をリアルタイムで４：２：２ＹＵＶ信号系に変換する。
状態制御部５２は、レジスタと簡単な論理回路から構成され信号処理部４１とともにビデオカード４の制御に係わる。レジスタには、後述するビデオカード４の内部状態を示す各種のフラグや、ビデオカード４の動作に係わるパラメータ、その時の動作モードなどが記憶される。また論理回路は、それらのレジスタの内容などに基づいて、状態の遷移や信号処理部４１で行われる処理の条件を検出するための回路である。
【００２３】
カメラ信号処理部４４は、外部のテレビジョンカメラと接続されており、入力されてくるアナログ信号をＡ／Ｄ変換してデジタル信号に変換し、ＤＲＡＭ制御部４３に入力する。
カードＩ／Ｆ部４５は、ノートブック型ＰＣ２のＣＰＵ２１とビデオカード４とのインターフェイス部であり、内部ブロックに指令を出したりその状態をＣＰＵ２１に伝えたりする。具体的には、通常メモリカード用に用いられるＰＣＭＣＩＡインターフェイスである。このインターフェイスにおいては、モード指定によりＺＶポートになり、４：２：２ＹＵＶ信号をＰＣカードコントローラ２９に直接送出できるようになる。
【００２４】
ＤＲＡＭ４７の構成
ここで、ＤＲＡＭ４７の構成についてさらに詳細に説明する。
ビデオデータ通信装置１で扱うＨ．３２０／３２２／３２３／３２４の各規格とも、対象とする画像はＱＣＩＦ（１７６ ×１４４）である。また、４：１：１ＹＵＶ信号系だと４ＭＤＲＡＭにＶＧＡで一画面、ＱＣＩＦで４画面分の画像データが記憶可能である。したがって、本実施の形態においては、４ＭビットのＤＲＡＭ４７を、４つの領域Ａ〜Ｄに等分して、各々ＱＣＩＦ信号でビデオデータを記録する。
【００２５】
領域Ａは、カメラより取り込んだ映像データを記憶する領域である。この領域に記憶された映像データは、圧縮のための信号処理部４１に供給されたり、ＣＰＵ２１の要求に応じてカードＩ／Ｆ部のＺＶポートに出力されたりする。
領域Ｂは圧縮処理後のデータを書き込むための領域で、ある一定量書き込まれたらＣＰＵ２１の求めに応じてメインメモリ２２に転送を開始する。
【００２６】
領域Ｃは伸長処理後のデータを書き込むための領域で、全て書き込みが終わるとＣＰＵ２１の要求に応じてカードＩ／Ｆ部のＺＶポートに向けて復元した画像データをリアルタイムで送出する。
領域ＤはＣＰＵ２１のメインメモリ２２からＰＣＩバスを介して送られてくる受信データを書き込むための領域である。
なお、全二重通信によるビデオ会議などを行う場合には、領域Ａおよび領域Ｃは、同一フレーム期間内で時分割処理により各映像データを読み出しＺＶポートに送出する。
【００２７】
動作概要
次に、ビデオカード４で行われる動作について説明する。
まず、ビデオカード４で行う主要な動作の概要について説明する。
このビデオカード４では、表１に示すような動作が行われる。
【００２８】
【表１】

【００２９】
キャプチュア（Ｃａｐｔｕｒｅ）は、画像を取り込みリアルタイムでＤＲＡＭ４７へ書き込みする動作である。
ローカルディスプレイ（ＬｏｃａｌＤｉｓｐｌａｙ）は、取り込んだ画像をＣＰＵ２１の求めに応じて読み出し、カードＩ／Ｆ部４５のＺＶポートより送出する動作である。
符号化（Ｅｎｃｏｄｉｎｇ）は、取り込んだ画像をＤＲＡＭ４７の領域Ａより読み出して圧縮処理を実行した後、領域Ｂに書き込む動作である。
送信（Ｔｒａｎｓｍｉｔ）は、ＤＲＡＭ４７の領域Ｂより圧縮されたデータを読み出してＰＣＩバスを介してメインメモリ２２に送出する動作である。なお、メインメモリ２２に送出された圧縮データは、通常ＣＰＵ２１により通信Ｉ／Ｆカード３に送出される。
【００３０】
受信（Ｒｅｃｅｉｖｅ）は、メインメモリ２２に通信Ｉ／Ｆカード３を介して送られてきた符号化映像データを、ＰＣＩバスを介して受信してＤＲＡＭ４７の領域Ｄに書き込む動作である。
復号化（Ｄｅｃｏｄｉｎｇ）は、受信しＤＲＡＭ４７の領域Ｄに書き込まれている圧縮画像データを読み出して伸長し、元のデータに復元し、ＤＲＡＭ４７の領域Ｃに書き込む動作である。
リモートディスプレイ（ＲｅｍｏｔｅＤｉｓｐｌａｙ）は、復号化処理により伸長し終わった画像データをＣＰＵ２１からの求めに応じてリアルタイムで読み出しカードＩ／Ｆ部４５のＺＶポートより送出する動作である。
【００３１】
動作モード
次に、このような動作を行うために、ビデオカード４において規定され適宜設定される種々の条件について説明する。
まず、ビデオカード４の基本的な動作条件、動作目的を示す動作モードについて説明する。
ビデオカード４には、表２に示すような動作モードを持っている。
【００３２】
【表２】

【００３３】
ビデオカード４は、電源オン時にはスタンバイモードに入りＣＰＵ２１からの指令を待機する状態となる。画像の取り込みだけを行うモードがキャプチュアモード、ＤＲＡＭ４７の内容をカードＩ／Ｆ部４５のＺＶポートよりリアルタイムで出力するモードがディスプレイモードである。
通信モードにおけるシングルモードとは、たとえば１枚のピクチャを単発的に伝送するような動作であり、シーケンスモードは、シーケンス処理により順次ピクチャを送る動作でビデオ会議などに適した通信モードである。通信モードではキャプチュア／ディスプレイモードが一連の動作として組み込まれている。
また、特殊処理モードはオフラインでＤＲＡＭ４７中の特定のデータに対して特定の処理を施すモードである。
【００３４】
パラメータ
また、ビデオカード４には、前述したような動作を行うためにノートブック型ＰＣ２から設定されるパラメータがいくつかある。
その主要なものを表３に示す。
【００３５】
【表３】

【００３６】
内部状態および状態フラグ
そして、ビデオカード４は、その動作状態や内部状態を明示し、前述したような動作モードやパラメータに従って実際に種々の細かな処理を実行していく時に参照されるフラグ群を有する。
その主要なものと、それらのフラグがオンにされる（フラグが立つという場合もある）要因およびオフにされる要因を表４に示し、以下、このようなフラグ、および、そのフラグによって明示される各状態について説明する。
【００３７】
【表４】

【００３８】
スタンバイ状態（ＳｔａｎｄｂｙＳｔａｔｅ）は、新しい指令を待つ状態であり、スタンバイフラグ（ＳｔａｎｄｂｙＦｌａｇ）は、電源オン時またはＣＰＵ２１の指令によりオンにされる。
キャプチュア状態（ＣａｐｔｕｒｅＳｔａｔｅ）は、内部のＤＲＡＭ４７に画像を取り込む状態であり、ＣＰＵ２１から指令を受け取った直後の垂直同期信号に同期して画像の取り込みが開始される。またその指令を受け取った時にキャプチャフラグ（ＣａｐｔｕｒｅＦｌａｇ）はオンになり、続く垂直同期信号でオフになる。
ローカルレディフラグ（ＬｏｃａｌＲｅａｄｙＦｌａｇ）は、このＣａｐｔｕｒｅフラグがオフになる時にオンになり、ＤＲＡＭ４７の内容が更新されない限りオンのまま維持される。すなわちこのフラグは、ＤＲＡＭ４７中に有為なデータがあることを示すフラグである。なお、電源オン直後ないしデータ更新中はオフになる。
【００３９】
ロ−カルディスプレイ状態（ＬｏｃａｌＤｉｓｐｌａｙＳｔａｔｅ）は、ＤＲＡＭ４７に取り込まれたデータをリアルタイムでカードＩ／Ｆ部４５のＺＶポートより送出する状態であり、ディスプレイモードないし通信モードのときでＬｏｃａｌＲｅａｄｙフラグがオンの時にＣＰＵ２１から指令があればＬｏｃａｌｄｉｓｐｌａｙフラグを立ててこの状態になる。また、Ｌｏｃａｌｄｉｓｐｌａｙフラグは、動作完了後セルフリセットする。
符号化状態（ＥｎｃｏｄｉｎｇＳｔａｔｅ）は、取り込んだ画像データを符号化処理している状態であり、通信モードのときでＣａｐｔｕｒｅフラグオンになると実行が開始される。この状態になると、８水平期間経過後、符号化状態フラグ（ＥｎｃｏｄｉｎｇＦｌａｇ）を立て、ＤＲＡＭ４７の領域Ａから画像データを読み出し信号処理部４１に転送する。信号処理部４１は符号化を行い、圧縮したデータを随時領域Ｂに転送する。これらはサンプル期間にＣａｐｔｕｒｅ動作と多重化されて実行される。処理を完了すると自主的にＥｎｃｏｄｉｎｇフラグをオフする。
【００４０】
送信状態（ＴｒａｎｓｍｉｔＳｔａｔｅ）は、ビデオカード４からノートブック型ＰＣ２のメインメモリ２２に対してデータを転送している状態であり、Ｅｎｃｏｄｉｎｇ中の水平／垂直ブランキング期間にＣＰＵ２１から要求があれば、送信フラグ（ＴｒａｎｓｍｉｔＦｌａｇ）を立てＤＲＡＭ４７の領域Ｂからメインメモリ２２に向けデータ転送する。ＣＰＵ２１から要求されたサンプルを転送し終わると、その都度Ｔｒａｎｓｍｉｔフラグをオフする。全ての圧縮データが読み出し終わると送信終了フラグ（Ｔ−ＦｉｎｉｓｈＦｌａｇ）をオンする。
送信終了フラグ（Ｔ−ＦｉｎｉｓｈＦｌａｇ）は、１つの画像データの送信が終了したことを示すフラグであり、前述したように１つの画像データの全ての圧縮データが読み出し終わるとオンになる。また、その後、ＣＰＵ２１からの信号によりオフにされる。
【００４１】
受信状態（ＲｅｃｅｉｖｅＳｔａｔｅ）は、メインメモリ２２からビデオカード４に対して画像データが転送されている状態であり、全二重ないし受信のみの通信モードの時に、水平／垂直ブランキング期間にＣＰＵ２１からの指令により移行する。ＣＰＵ２１の指令に基づいて、受信フラグ（ＲｅｃｅｉｖｅＦｌａｇ）を立てメインメモリ２２から、指定されたサンプル数のデータの受け取りを開始する。受け取り終わると自主的にＲｅｃｅｉｖｅフラグをオフする。一画面分受信し終わると受信終了フラグ（Ｒ−ＦｉｎｉｓｈＦｌａｇ）をオンする。
受信終了フラグ（Ｒ−ＦｉｎｉｓｈＦｌａｇ）は、１つの画像データの受信が終了したことを示すフラグであり、前述したように１画面分受信し終わるとオンになり、その後、ＣＰＵ２１からの信号によりオフにされる。
【００４２】
復号化状態（ＤｅｃｏｄｉｎｇＳｔａｔｅ）は、受信した圧縮されたビデオデータを復号化処理する状態であり、ＲｅｃｅｉｖｅフラグがハイでＥｎｃｏｄｉｎｇフラグがオフである時に自主的に復号化フラグ（ＤｅｃｏｄｉｎｇＦｌａｇ）を立てて移行する。この状態に入ると、アドレスジェネレータ５０の読み出し領域Ｄの読み出しアドレスカウンタＲＤが動き始め、受信データをＤＲＡＭ４７から信号処理部４１に送り、伸長作業に入る。伸長されたデータはＤＲＡＭ４７の領域Ｃに転送される。一画面分終了するとＤｅｃｏｄｉｎｇフラグを一旦オフし、リモートレディフラグ（Ｒｅｍｏｔｅ−ＲｅａｄｙＦｌａｇ）を立てる。
【００４３】
リモートレディフラグ（Ｒｅｍｏｔｅ−ＲｅａｄｙＦｌａｇ）は、ＤＲＡＭ４７中に有為なデータがあることを示すフラグであり、Ｌｏｃａｌ−Ｒｅａｄｙフラグと同様にＤＲＡＭ４７中に有為なデータがあるときはオンのまま維持される。また、電源オン直後ないし更新中はオフ状態になる。
リモートディスプレイ状態（ＲｅｍｏｔｅＤｉｓｐｌａｙＳｔａｔｅ）は、領域Ｃの復元された画像をリアルタイムで読み出し、カードＩ／Ｆ部４５のＺＶポートより送出している状態であり、Ｒｅｍｏｔｅ−ＲｅａｄｙフラグがオンのときにＣＰＵ２１から指令があるとリモートディスプレイフラグ（ＲｅｍｏｔｅＤｉｓｐｌａｙＦｌａｇ）をオンにして移行する。ＲｅｍｏｔｅＤｉｓｐｌａｙフラグは、動作完了後セルフリセットする。
【００４４】
ビデオデータ通信装置１の制御方式
このような構成のビデオカード４およびそれを有するビデオデータ通信装置１においては、ビデオカード４における自律的な制御と、ノートブック型ＰＣ２のＣＰＵ２１による全体的な制御が協働して、ビデオデータ通信装置１としての通信処理、および、画像データの符号化および復号化処理などを行っていく。
ビデオカード４のような簡単な回路により全二重通信によるビデオ会議を行うためには、それらビデオカード４およびＣＰＵ２１における制御は、効率よく連係して行う必要がある。
以下、本発明に係わるそのような制御方式について説明する。
なお、本実施の形態のような構成、すなわちビデオカード４がノートブック型ＰＣ２に装着されているような形態のシステムにおいては、ＣＰＵ２１における制御とはアプリケーションレベルでの制御、処理内容である。
【００４５】
基本制御方法
まず、このような構成のビデオデータ通信装置１における、ビデオカード４における制御および各種処理の動作と、ＣＰＵ２１における制御およびビデオカード４に対する処理の分担および制御方法についての方針を説明する。これらは、いずれもこのようなリソースの乏しい環境下で効率よく制御を行うための方法である。
まず第１に、ビデオデータ通信装置１においては、ビデオ会議、ビデオキャプチャアなどのビデオデータ通信装置１全体の機能・動作に係わる統合的制御は、ビデオカード４に対してもＣＰＵ２１により、すなわちアプリケーションが行うが、ビデオカード４における実際の処理の実行タイミングはビデオカード４で生成されるＴＶ同期信号に基づいて行う。
【００４６】
第２に、ネットワークを介した外部の機器との通信時は受信動作を送信動作より優先させて行うように制御する。ビデオデータ通信装置１においては、少ない資源を有効に利用して処理を行うためにビジー状態が多くなる。しかし、そのような場合でも応答性を確保し、応答待ちによる効率の低下を少なくするために、受信動作を優先させる。
第３に、ノートブック型ＰＣ２とビデオカード４はできるだけ疎結合にする。すなわち、ビデオカード４側の自律性を高めアプリケーションからの基本命令に従い細かい動作は自律して行うようにすることにより、ハンドシェークによるオーバーヘッドを少なくし、効率よく各々が機能するようにする。
【００４７】
第４に、ビデオカード４内の動作に関してメインメモリとビデオカードとの間の送信側の時系列動作と、受信側のそれとの干渉をできるだけ避ける。すなわち、アプリケーションからの指示がない限りメインメモリ２２とビデオカード４との間の送信／受信動作各々は開始後一連の動作を完了するまで継続する。その結果、送信／受信の時分割多重処理の制御はビデオカード４ではなくてＣＰＵ２１側に依存することになる。
第５に、ネットワークを介した外部の機器との送信／受信の制御は、ともにスループットを極力小さくするような制御を行う。
第６に、極端な多重処理は避ける。多重度は最高でも２に抑える。
このような基本的な方針に基づいて、ビデオカード４およびノートブック型ＰＣ２のＣＰＵ２１は協働して種々の処理を行う。
【００４８】
また、このような方針に従えば、全二重通信における１フレームの伝送時間Ｔｎは式１を満たす１フレームタイムの整数倍とするものとする。
【数１】
Ｔｎ≧（ＥｎｃｏｄｉｎｇＴｉｍｅ）＋（ＤｅｃｏｄｉｎｇＴｉｍｅ）＋（ＤｉｓｐｌａｙＴｉｍｅ）・・・（１）
【００４９】
制御コマンド
このような方針の下で、ノートブック型ＰＣ２のＣＰＵ２１はビデオカード４に対して適宜指令を出しながら所望の処理を行うが、その時に用いる、ＣＰＵ２１からビデオカード４に対して出力されるコマンドを表５に示す。
【００５０】
【表５】

【００５１】
リアルタイムの双方向通信モードのときＣａｐｔｕｒｅは最初ＣＰＵ２１の起動で始まるが、ネットワークを介して外部の機器から受信データを受け始めると、ネットワークを介した送信側と受信側の動作の位相関係を適正にするため、ＣＰＵ２１側でメインメモリ２２内対ネットワークの受信データと送信データの量を見て受信量が勝っていればＣａｐｔｕｒｅコマンドを出すのを控える。
Ｌｏｃａｌ／ＲｅｍｏｔｅｍＲｅａｄｙフラグのオンオフにＣＰＵ２１は介在しないが、画像源がＣＰＵ２１側にあってこれをカード上でオフラインで処理した後、ＶＧＡコントローラ２８に送って表示したい場合はＣＰＵ２１が直接オンしてＤｉｓｐｌａｙＬｏｃａｌコマンドを出さなければならない。動作終了後ＣＰＵ２１がオフすることになる。
【００５２】
同じくＥｎｃｏｄｉｎｇ／Ｄｅｃｏｄｉｎｇもリアルタイムの通信モードのときこれらのオンオフにＣＰＵ２１は介在しないが、先と同様オフラインで処理したいときのために設けてある。
カード上にはこれらのコマンドに対応したフラグが設けられている。そのなかでカード上で自律的にセット／リセットをするものが多い。これはリアルタイム動作に絡むものでカード上で自律的に実行するほうがＣＰＵ２１の負担を軽減する意味でも好ましいからである。
【００５３】
ビデオカード４の動作規定
そして、この方針に基づけば、ビデオカード４においては、次のような方針で動作制御を行うことになる。
まず、ビデオカード４においては、ビデオカード４上のＴＶ同期信号を基準に全ての動作を実行する。
次に、スループットを上げるように伝送側はキャプチュアしながら符号化、メインメモリ２２とビデオカード４との間の送信および受信を実行し、受信側は受信完了直後に復号化を終えるようにする。
また、１つの信号処理部４１を用いるため、符号化と復号化は排他的な関係にする。
そして、ディスプレイは、ローカルディスプレイとリモートディスプレイ同時で、復号化が完了した直後に実行する。
また、受信優先でありキャプチュアは受信データのディスプレイが終わった直後に許す。
【００５４】
多重化処理
このような方針で実際に制御を行うために、ビデオカード４において同時実行な可能な動作、すなわち多重化可能な処理を、表６に示すように規定する。なお、表６において、○印のある部分が同時実行可能なことを示し、無印は同時実行禁止であることを意味する。
【００５５】
【表６】

【００５６】
キャプチュア（Ｃａｐｔｕｒｅ）はＱＣＩＦの通信モードではスループット低減のため符号化（Ｅｎｃｏｄｉｎｇ）、送信（Ｔｒａｎｓｍｉｔ）と時分割多重処理する。この時、キャプチュアに続くローカルディスプレイ（ＬｏｃａｌＤｉｓｐｌａｙ）は、同時性は薄れるが符号化および送信が終わってからにする。
キャプチュアは７９０ｎｓのサンプル周期である。この中に符号化を多重させ、送信と受信（Ｒｅｃｅｉｖｅ）は水平ブランキング期間に実行する。これにより３重処理が回避され遅れもさほど大きくならない。なお、続くキャプチュアは先のローカルディスプレイおよびリモートディスプレイ（ＲｅｍｏｔｅＤｉｓｐｌａｙ）が終わった直後のフレームで実行される。
【００５７】
ローカルディスプレイは、リモートディスプレイと同時実行する。したがって必然的に送信および復号化（Ｄｅｃｏｄｉｎｇ）とは多重処理されない。また、ローカルディスプレイ中に次のフレームの受信が始まり得るので、受信は同時実行できなければならない。
キャプチュアが完了した後も符号化は続くが、送信および受信と同時実行可能でなければならない。ただし、符号化を優先し送信および受信は水平／垂直ブランキングに実行する。その中での時間配分はアプリケーションの指示に従う。
符号化完了後の送信は遅くとも次のフレームの垂直ブランキング以内に終える。
【００５８】
受信は前述したように最優先されるべき動作である。その意味で他の動作との多重化を一番多く許している。送信とはＣＰＵ２１からの指示により時分割多重動作をする。したがってこれらは一つの動作とみなしている。しかも水平／垂直ブランキング期間でしか実行しない。同時実行は常に実質の多重度が２を超えないように制御する。
コストを下げるため信号処理部４１に一人二役させる結果、符号化と復号化とは排他的な関係になるが、送信と受信とは共に同時実行可能にする。
【００５９】
リモートディスプレイは、復号化の完了をＣＰＵ２１が知った上で直近の垂直同期信号に同期して指示され、最優先で実行サイクルに入る。リモートディスプレイは、若干残っている送信と次の受信データ群をＤＲＡＭ４７に取り込む受信と重なることがあり得る。このとき水平／垂直ブランキング期間に送信／受信を実行する。
なお、受信が相当進んだ段階ないし復号化実行中はキャプチュアは延期される。なお、このためにＣＰＵ２１はどれ位受信データをカードに送ったか把握しておく必要がある。伝送側が受信側に譲歩することにより、キャプチュア→符号化→送信と受信→復号化→ディスプレイの送受信の位相関係が自動的に調整され、その結果、伝送側はフレームレートを回復することになる。
【００６０】
信号処理部４１における制御
そして、実際にビデオカード４の信号処理部４１で行われる制御処理を説明する。なおここでは、全二重シーケンシャル通信によるビデオ会議を実行する時の動作を想定して信号処理部４１の処理を説明する。
【００６１】
まず、信号処理部４１は、ＣａｐｔｕｒｅＦｌａｇが立つとリアルタイムで画像データをＤＲＡＭ４７の領域Ａにアドレス管理しながら書き込み制御する。このときＥｎｃｏｄｉｎｇＦｌａｇも立つ。
そして信号処理部４１は、８ライン分書き込んだらＥｎｃｏｄｉｎｇを開始する。領域Ａからマクロブロック単位で画像データを読み出し、前処理を含めた圧縮処理を実行する。
次に、信号処理部４１は、符号化したデータを領域Ｂにアドレス管理しながら書き込む。
【００６２】
また、信号処理部４１は、ＣＰＵ２１からＲｅａｄＤａｔａコマンドがくるとＴｒａｎｓｍｉｔＦｌａｇが立ち、水平垂直ブランキング期間にＢ領域から符号化データを読み出し要求サンプル数メインメモリ２２に向けて転送する。転送終了ごとＴｒａｎｓｍｉｔＦｌａｇをオフする。全転送サンプル数の管理もアドレス管理で行う。
そして、一画面分の符号化データを転送し終わるとＴ−ＦｉｎｉｓｈＦｌａｇを立てる。
【００６３】
また、信号処理部４１は、ＣＰＵ２１からＷｒｉｔｅＤａｔａコマンドがくるとまずＲｅｃｅｉｖｅＦｌａｇをオンにする。そして、Ｅｎｃｏｄｉｎｇ中は水平／垂直ブランキング期間にメインメモリ２２から転送される受信データをＤＲＡＭ４７の領域Ｄへ要求サンプル数書き込み、書き込み終了毎にＲｅｃｅｉｖｅＦｌａｇをオフにする。また、Ｅｎｃｏｄｉｎｇ中でないときはＤｅｃｏｄｉｎｇＦｌａｇを立て、受信データをＤＲＡＭ４７の領域Ｄへ要求サンプル数書き込む動作に加えて、その領域Ｄからデータを読み出しＤｅｃｏｄｉｎｇを実行する。そして、伸長したデータをＣ領域に随時書き込む。なお、これは水平／垂直ブランキング期間以外で実行する。
【００６４】
また、信号処理部４１は、一画面分の符号化データを受信するとＲ−ＦｉｎｉｓｈＦｌａｇを立てる。
また、信号処理部４１は、一画面分の伸長作業を終えるとＤｅｃｏｄｉｎｇＦｌａｇをオフする。これでＲｅｍｏｔｅＲｅａｄｙＦｌａｇが立つ。
さらに、信号処理部４１は、ＣＰＵ２１からＤｉｓｐｌａｙＲｅｍｏｔｅコマンドがくると、予めＣＰＵ２１から指定された表示位置から決定したＬｏｃａｌ、Ｒｅｍｏｔｅの読み出しタイミングでＤＲＡＭ４７の領域Ａ，Ｃから画像データを読み出しカードＩ／Ｆ部４５のＺＶポートに向けて出力する。
【００６５】
状態遷移
また、このような処理による、前述したビデオカード４内の状態フラグの遷移状態を図３に示す。
スタンバイ（ＳｔａｎｄＢｙ）は最初の電源オン（ＰｏｗｅｒＯｎ）時に自動的に入る状態であり、その後はＣＰＵ２１のコマンドによりオンオフされる。
キャプチュア（Ｃａｐｔｕｒｅ）がＣＰＵ２１により起動がかかると符号化（Ｅｎｃｏｄｉｎｇ）、送信（Ｔｒａｎｓｍｉｔ）とシーケンスで時分割多重モードで実行される。ただし、送信（Ｔｒａｎｓｍｉｔ）の実働はＣＰＵ２１からのコマンドによる。実際の制御は信号処理部４１が担当する。
【００６６】
受信（Ｒｅｃｅｉｖｅ）もＣＰＵ２１が起動をかける。このとき符号化（Ｅｎｃｏｄｉｎｇ）が実行されていないと復号化（Ｄｅｃｏｄｉｎｇ）が可能である。符号化（Ｅｎｃｏｄｉｎｇ）／復号化（Ｄｅｃｏｄｉｎｇ）共に、実行開始すると一画面分終わるまでやり通す。画面中途での時分割多重動作はしない。
受信（Ｒｅｃｅｉｖｅ）／送信（Ｔｒａｎｓｍｉｔ）はＴＶ同期信号のブランキング期間にＣＰＵ２１のコマンドに従って信号処理部４１が時分割多重で実際のデータ転送制御を行う。転送モードはブロック転送である。
【００６７】
ＤＲＡＭ４７アクセス制御
ここで、ビデオカード４におけるＤＲＡＭ４７のアクセス制御について図４を参照して説明する。
信号処理部４１によるＤＲＡＭ４７へのアクセス制御のうち一番厳しいケースはＣａｐｔｕｒｅとＥｎｃｄｏｉｎｇの同時実行である。このとき映像をＤＲＡＭ４７の領域Ａに取り込みながら、そのサンプル期間の間を縫って信号処理部４１に転送し圧縮符号化を実行する。符号化されたデータはＤＲＡＭ４７の領域Ｂに書き込まれる。その後ＣＰＵ２１からＲｅａｄＤａｔａコマンドがきてＴｒａｎｓｍｉｔモードに入る。
【００６８】
図４に示すタイムチャートの上半部にはそのＣａｐｔｕｒｅ →Ｅｎｃｏｄｉｎｇ→Ｔｒａｎｓｍｉｔの流れを示している。なお、図４においては時間軸をかなり短縮して示している。ＥｎｃｏｄｉｎｇからＴｒａｎｓｍｉｔまで８ライン遅れているのはブロック符号化のためである。前処理をするときにはそれが更にオーバーヘッドとなる。
Ｔｒａｎｓｍｉｔの部分はＥｎｃｏｄｉｎｇに忙しい期間が断続的に発生するので歯欠け状態になる。その期間はＲｅｃｅｉｖｅに譲る。Ｔｒａｎｓｍｉｔ／ＲｅｃｅｉｖｅともにＣＰＵ２１側から送られてくるクロックで作動する。
【００６９】
Ｔｒａｎｓｍｉｔ／Ｒｅｃｅｉｖｅの切り替えは信号処理部４１がＤＲＡＭ４７のアクセス制御も含めてＥｎｃｏｄｉｎｇ／Ｄｅｃｏｄｉｎｇを実行しているので、信号処理部４１により行われる。すなわち、上記のケースでは信号処理部４１はＣＰＵ２１にインタラプトを掛け、ＣＰＵ２１にＷｒｉｔｅ／ＲｅａｄＤａｔａコマンドを出させる。つまりメインメモリ２２中の送信データが枯渇しないように、ある単位で符号化でき次第Ｔｒａｎｓｍｉｔ優先で進める。
【００７０】
図４の下半部はＣａｐｔｕｒｅとＥｎｃｏｄｉｎｇを時分割多重で実行するさまを示している。このためアドレスレジスターを２本準備し一本はＣａｐｔｕｒｅ用、他はＥｎｃｏｄｉｎｇ用にあてがう。いずれの場合にもメモリアクセスを一度終える毎に、アドレスカウンターが歩進する。動作を切り替える際にはこの歩進したアドレスが次に備えて各レジスターにロードされる。
信号処理部４１は、予めＣＰＵ２１から圧縮倍率、伝送速度、その他の基本パラメータ以外にＷｒｉｔｅ／ＲｅａｄＤａｔａコマンドに伴うブロック転送のためのパラメータを受け取り、それに基づいてＤＲＡＭ４７の領域Ａ〜Ｄを断続的に複雑にアクセルするためのアドレス管理をする。
【００７１】
ビデオデータ通信装置１の動作
次に、具体的なビデオデータ通信装置１の動作について図５〜図７を参照して説明する。
図５および図６は、全二重通信によるビデオ会議実行時のタイムチャートを示す図であり、図５はＩＳＤＮ上を２６倍の圧縮率で４．７フレーム／秒のレートで、図６は通常のアナログ電話回線であるＰＯＴＳ（ＰｌａｉｎＯｌｄＴｅｌｅｐｈｏｎｅＳｙｓｔｅｍ）上を４０倍の圧縮率で２．５フレーム／秒のレートでネットワークを介して外部の機器と通信する場合を示している。なお、ＱＣＩＦ画像の信号処理部４１による純ソフトでの圧縮には前処理も含めて１００ｍｓ、伸長には８０ｍｓかかるものとする。
【００７２】
まず、図５および図６に示す動作について説明する。
まず、キャプチュア動作によりカメラからビデオカード４に映像データが取り込まれる。取り込まれた映像データは直ちにＤＲＡＭ４７の領域Ａに記録される。記録された映像データは、その記録と同時的に適宜読みだされ、信号処理部４１により符号化が行われる。符号化された映像データはＤＲＡＭ４７の領域Ｂに記録される。
符合化されたビデオデータは、順次ノートブック型ＰＣ２のメインメモリ２２に転送され、通信Ｉ／Ｆカード３を介してネットワークに送出される。
【００７３】
また、ネットワークから受信したビデオデータは、一旦メインメモリ２２に蓄積され、その受信と転送がほぼ同時に終了するようにビデオカード４のＤＲＡＭ４７の領域Ｄに転送される。転送された映像データは、信号処理部４１に順次読みだされて復号化され、ＤＲＡＭ４７の領域Ｃに記録される。
そして、次のキャプチュアの開始直前に、ＤＲＡＭ４７の領域Ａに記録されているその前に取り込んだ映像データと、領域Ｃに記録されている受信した映像データとを、１つの映像データとして、ＶＧＡコントローラ２８を介してＶＲＡＭ２７に入力し、ディスプレイ２６に表示する。
【００７４】
図５に示す動作例においては、符合化に１００ｍｓ、復号化に８０ｍｓ、１フレームの表示に３３ｍｓかかり、ネットワークはＩＳＤＮ回線なので、信号処理部４１における処理がネックになって、処理速度が決定される。また、図６に示す動作例においては、ＰＯＴＳのネットワークがボトルネックになっている。
【００７５】
このような全二重通信の処理状態を図７に示す。
図７（Ａ）において、ネットワークの遅延をΔとするとＡ局から伝送されたフレームＳａ１はΔ遅れてＢ局に到達する。これがＲｂ１である。この後Ｂ局からＳｂ１が送信される。Δ遅れてＡ局に到達しＲａ１となる。この影響によりＡ局の端末にメインメモリ２２内の受信／送信データの残留量の相対関係によっては受信が優先されＡ局の送信は２Δ待たされＳａ２とＳａ３の間に間隙ができる。この間隙はまたＢ局に伝搬しＲｂ２とＲｂ３間の間隙となる。
この例では２フレーム伝送毎に２Δの間隙が入ることになる。Δが小さければ２Δの間隙が発生（メインメモリ２２内での受信データの残留量が送信データより多いとき、送信は見送られる）しやすい。
【００７６】
一般に、（ｎ−１）Ｔｎ＜２Δ＜ｎＴｎのとき、ｎ・Ｔｎ−２Δ＜Ｔｎ／２，（ｎ＝１，２，・）が成立すれば、すなわちΔ＞（２ｎ＋１）Ｔｎ／４であれば間隙は発生しない。この関係を満たすために、たとえばＡ局がループ遅延（２Δ）を観測し上式を満たすように、受信データをメインメモリ２２内に余分の時間滞留させる方策を講ずる。先にこれを表すタイムチャートを掲げた。
図７（Ｂ）はこのような場合の全二重通信を示す図である。
【００７７】
図７（Ｂ）においては、Ａ局が実際のネットワーク遅延Δに余分の遅延δを加えて端末内の送信／受信動作の位相を調整し先のような間隙が時間軸上に発生しないようにしている。
【００７８】
ここで複雑な時分割多重処理を継続していると特に受信データがメインメモリ２２上でオーバーフローする懸念がある。しかし、実際の受信データレートはＩＳＤＮで全二重通信でも１２８ｋｂｐｓ（７．８μｓ周期）である。一方、カードとＰＣ本体間の伝送レートは最大８ＭＨｚのクロックであり、さらに１６ｂｉｔ並列のため実際の伝送レートは１２８Ｍｂｐｓである。ＩＳＤＮの６４ｋｂｐｓ全二重通信時の１２８ｋｂｐｓと比しても１０００倍速い。したがって、オーバーフローの心配はない。
【００７９】
このように、本実施の形態のビデオカード４においては、厳密に規定されたルールに基づいて、ビデオデータの送信処理と受信処理とを、時分割で処理している。そのため、１つのＤＲＡＭ、および、１つの信号処理器でそれらの処理を行うことができる。換言すれば、本実施の形態のような構成にすることで、カードに搭載されているＤＲＡＭおよび信号処理器程度の回路でも、適切にビデオデータの送信処理と受信処理とを行うことができる。
【００８０】
【発明の効果】
以上説明したように、本発明のビデオカードによれば、ビデオデータのネットワークを介した外部の機器との送信および受信に係わる画像のハンドリング、符号化／復号化、メインメモリとビデオカードとの間の通信などの処理を、そのネットワークを介した外部の機器との送信および受信各々について同時にリアルタイムで行うことができる。そして、たとえばノートブック型ＰＣなどの情報処理装置に装着されることにより、その情報処理装置においてテレビ電話システムやテレビ会議システムなどを適切に行うことができるような環境を提供することができる。
また、本発明のビデオデータ通信装置によれば、簡単な構成、すなわち安価な構成により、ビデオデータのリアルタイム双方向通信を伴うような処理を適切に行うことができ、テレビ電話システムやテレビ会議システムなどを実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態のビデオデータ通信装置の構成を示すブロック図である。
【図２】図１に示したビデオカードの構成を示すブロック図である。
【図３】リアルタイム通信モードの時の各状態フラグのシーケンス動作を説明するための図である。
【図４】図２に示したＤＲＡＭに対するアクセス制御を説明するための図である。
【図５】ＩＳＤＮ回線を介した全二重通信によるビデオ会議実行時のタイムチャートを示す図である。
【図６】ＰＯＴＳ回線を介した全二重通信によるビデオ会議実行時のタイムチャートを示す図である。
【図７】全二重通信の処理状態を示す図であり、（Ａ）はネットワークの遅延をΔとした時の処理状態を示す図であり、（Ｂ）は、Ａ局が実際のネットワーク遅延Δに余分の遅延δを加えて端末内の送信／受信動作の位相を調整した場合の処理状態を示す図である。
【符号の説明】
１…ビデオデータ通信装置、２…ノートブック型ＰＣ、２１…ＣＰＵ、２２…メインメモリ、２３…ＨＤＤ、２４…ＦＤＤ、２５…キーボード、２６…ディスプレイ、２７…ＶＲＡＭ、２８…ＶＧＡコントローラ、２９…ＰＣカードコントローラ、３０…サウンドコントローラ、３…通信Ｉ／Ｆカード、４…ビデオカード、４１…信号処理部、４２…ＤＲＡＭ部、４３…ＤＲＡＭ制御部、４４…カメラ信号処理部、４５…カードＩ／Ｆ部、４６…アドレスデコーダ、４７…ＤＲＡＭ、４８…フィルタ、４９…セレクタ、５０…アドレスジェネレータ、５１…コンバータ、５２…状態制御部

Claims

映像信号を記録するメモリ手段と、
撮像装置から入力される映像信号を、所望のフォーマットに変換し前記メモリ手段に記録するカメラ信号入力手段と、
前記記録されている前記入力された映像信号を符号化し、該符号化された映像信号を前記メモリ手段に記録する符号化手段と、
前記記録されている前記符号化された映像信号を、上位の制御装置に送信する第１の送信手段と、
前記上位の制御装置より送信される符号化映像信号を受信し前記メモリ手段に記録する受信手段と、
前記記録されている前記受信した符号化映像信号を復号化し、該復号化された映像信号を前記メモリ手段に記録する復号化手段と、
前記記録されている前記復号化された映像信号を、前記上位の制御装置に送信する第２の送信手段と、
前記記録されている前記入力された映像信号を、前記上位の制御装置に送信する第３の送信手段と、
前記上位の制御装置から入力される制御信号に基づいて所定の前記手段を有効にし、自律して所望の処理を行わせ、かつ、受信動作を送信動作に優先させ、前記上位の制御装置との間の送信および受信動作の各々は開始後一連の動作を完了するまで継続させ、多重処理は２つの処理までとする制御手段と
を有し、
前記符号化手段と前記復号化手段は実質的に１つの信号処理手段により構成され、
前記第１〜第３の送信手段と前記受信手段と実質的に１つのインターフェイス手段により構成され、
前記各手段がカード形状の筐体に収容されている
ビデオカード。
前記映像信号に基づいて決定される所定のテレビジョン同期信号を生成する同期信号生成手段をさらに有し、
前記各手段は当該生成された同期信号に同期して前記処理を行う
請求項１記載のビデオカード。
前記メモリ手段は、
前記カメラ信号入力手段を介して入力された映像信号を記録する第１の領域と、当該入力された映像信号が符号化された映像信号を記録する第２の領域と、前記インターフェイス手段を介して受信した符号化映像信号を記録する第３の領域と、当該符号化映像信号が復号化された映像信号を記録する第４の領域とを有すし、実質的に１つの半導体メモリで構成されるメモリ回路と、
複数のアドレスカウンタを有し、前記メモリ回路に対して実質的に独立に信号の記録／再生を行うメモリ回路制御手段と
を有する請求項２記載のビデオカード。
前記制御手段は、前記ビデオカードの内部状態を示す変数を記憶する複数のレジスタ手段を有する論理回路と、前記信号処理手段により実質的に構成される
請求項３記載のビデオカード。
前記制御手段は、前記入力される制御信号に基づき、必要に応じて前記カメラ信号入力手段と前記符号化手段を同時に有効にし、前記撮像装置から入力される映像信号の前記メモリ手段への記録と、当該映像信号の符号化とを同時に行わせる
請求項３記載のビデオカード。
前記制御手段は、前記第２の送信手段と前記第３の送信手段とを同時に有効にし、
前記インターフェイス手段は前記復号化された映像信号と前記入力された映像信号を実質的に１の送信処理により前記上位の制御装置に送信する
請求項３記載のビデオカード。
前記制御手段は、前記入力される制御信号に基づき、必要に応じて前記第１の送信手段を、前記カメラ信号入力手段、前記符号化手段および前記復号化手段と同時に有効にし、
前記第１の送信手段は、前記各手段が前記メモリ手段に対して読み出しおよび記録を行っている時の、当該映像信号の水平および垂直ブランキング期間に、前記符号化された映像信号を前記メモリ手段より読み出し、前記上位の制御装置に送信する
請求項３記載のビデオカード。
前記制御手段は、前記入力される制御信号に基づき、必要に応じて前記受信手段を、前記カメラ信号入力手段、前記符号化手段および前記復号化手段と同時に有効にし、
前記受信手段は、前記各手段が前記メモリ手段に対して読み出しおよび記録を行っている時の、当該映像信号の水平および垂直ブランキング期間に、前記上位の制御装置より送信される符号化映像信号を受信し前記メモリ手段に記録する
請求項３記載のビデオカード。
前記インターフェイス手段は、ＰＣＭＣＩＡ規格に基づいて前記上位の制御装置と通信を行う手段であって、
前記カメラ信号入力部より入力され符号化された映像信号の送信、および、前記符号化映像信号の受信を行う基本入出力手段と、
前記カメラ信号入力部より入力された映像信号、および、前記第１の入出力手段で受信し復号化された映像信号を、前記上位の制御装置の表示装置において直ちに表示可能な形式に変換するフォーマット変換手段と、
前記フォーマット変換された映像信号を送信するＺＶポート出力手段と
を有する請求項３記載のビデオカード。
制御装置にビデオカードが装着されたビデオデータ通信装置であって、
前記ビデオカードは、映像信号を記録するメモリ手段と、撮像装置から入力される映像信号を所望のフォーマットに変換し前記メモリ手段に記録するカメラ信号入力手段と、前記記録されている前記入力された映像信号を符号化し該符号化された映像信号を前記メモリ手段に記録する符号化手段と、前記記録されている前記符号化された映像信号を前記制御装置に送信する第１の送信手段と、前記制御装置より送信される符号化映像信号を受信し前記メモリ手段に記録する受信手段と、前記記録されている前記受信した符号化映像信号を復号化し該復号化された映像信号を前記メモリ手段に記録する復号化手段と、前記記録されている前記復号化された映像信号を前記制御装置に送信する第２の送信手段と、前記記録されている前記入力された映像信号を前記制御装置に送信する第３の送信手段と、前記制御装置から入力される指示信号に基づいて所定の前記手段を有効にし、自律して所望の処理を行わせ、かつ、受信動作を送信動作に優先させ、前記上位の制御装置との間の送信および受信動作の各々は開始後一連の動作を完了するまで継続させ、多重処理は２つの処理までとする制御手段とを有し、
前記制御装置は、
前記ビデオカードにおいて撮像装置より入力され符号化された映像信号を送信用映像信号として獲得する送信用映像信号獲得手段と、
前記獲得した映像信号を通信回線を介して送信する送信手段と、
前記通信回線を介して符号化映像信号を受信する受信手段と、
前記受信した符号化映像信号を前記ビデオカードに入力し復号化させる復号化指示手段と、
前記ビデオカードより、前記復号化された映像信号および前記撮像装置より入力され符号化されていない映像信号を表示用映像信号として読み出す表示用映像信号獲得手段と、
前記獲得した映像信号を表示する表示手段と
を有する
ビデオデータ通信装置。
前記制御装置は、前記ビデオカードに対して当該ビデオカードの各手段を有効にする指示を行い
前記ビデオカードは、当該指示に基づいて独立して動作する
ことを特徴とする請求項１０記載のビデオデータ通信装置。
前記ビデオカードは、前記映像信号に基づいて決定される所定のテレビジョン同期信号を生成する同期信号生成手段をさらに有し、当該ビデオカードの前記各手段は当該生成された前記制御装置とは独立した同期信号により動作する
ことを特徴とする請求項１０記載のビデオデータ通信装置。
前記制御装置と前記ビデオカードとの間の映像信号の転送は、前記ビデオカードの前記カメラ信号入力手段、前記符号化手段および前記復号化手段において処理が行われている時には、当該処理により前記メモリ手段に対してアクセスが行われている映像信号の水平および垂直ブランキング期間に行う
ことを特徴とする請求項１０記載のビデオデータ通信装置。
前記通信回線を介して送信および受信される１フレームの映像信号の伝送時間が、前記ビデオカードの前記符号化手段における１フレームの映像信号の符号化時間と、前記ビデオカードの前記復号化手段における１フレームの映像信号の復号化時間と、前記ビデオカードから前記制御装置の表示用映像信号獲得手段に１フレーム分の映像信号を転送する時間の合計時間より大きくほぼ等しい時間である
ことを特徴とする請求項１０記載のビデオデータ通信装置。