JP5040943B2

JP5040943B2 - 画像音声供給装置、画像音声供給システム、画像音声供給方法、及び画像音声供給用プログラム

Info

Publication number: JP5040943B2
Application number: JP2009059494A
Authority: JP
Inventors: 朋弘野溝
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2009-03-12
Filing date: 2009-03-12
Publication date: 2012-10-03
Anticipated expiration: 2029-03-12
Also published as: US8559522B2; JP2010213179A; US20100232514A1

Description

本発明は、画像音声供給装置、画像音声供給システム、画像音声供給方法、及び画像音声供給用プログラムに係り、特に、画像データ及び音声データを供給する場合において、供給先における音声再生の音途切れを防ぐための、画像データの効率的な供給技術に関する。

パーソナルコンピューター（ＰＣ）と、画像を投写表示するプロジェクターとをＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）ケーブルを介して接続したプロジェクターシステムにおいて、ＰＣからプロジェクターに画像データを供給し、プロジェクターが画像を投写表示する技術が知られている（例えば、特許文献１参照）。

また、本出願人は、ＰＣとプロジェクターとをＵＳＢケーブルを介して接続して、ＰＣから画像データ及び音声データをプロジェクターに供給し、プロジェクターが画像を投写表示するとともに、音声を自機内蔵のスピーカーから出力するプロジェクターシステムを実用化させている。より具体的には、このプロジェクターシステムは、ＰＣが、自機のＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）によるオペレーティング・システムやアプリケーション・プログラムの処理により、表示させるべき画像及び出力させるべき音声のデジタルデータを、ＵＳＢケーブルを介してプロジェクターに送信する。そして、プロジェクターが、そのデジタルデータを受信して画像信号及び音声信号に変換して、投写表示及びスピーカーからの音声出力を行うものである。このプロジェクターシステムにおいては、ＲＧＢケーブルやオーディオケーブル等、複数の信号ケーブルを用いた従来の接続環境を、１本のＵＳＢケーブルを用いた接続環境に替えることができるため、煩雑な接続作業による負担が軽減されるとともに、画像及び音声をデジタルデータとして各装置間で送受信するため、システムの拡張性が高い。

特開２００４−８８１９４号公報

上記実施されている画像音声供給技術においては、ＰＣ及びプロジェクターそれぞれの処理負荷を軽くし、また装置間の伝送データ量を少なくするために、画像データについては、フレーム画像間で動きのある部分を含む矩形領域を抽出してその矩形領域データを伝送するようにしている。そして、プロジェクター側で画像と音声との同期をとりやすくするために、矩形領域データと音声データとを交互に送信するようにしている。これにおいて、プロジェクターにおける音声の再生において音途切れを発生させないようにするためには、ＰＣは、プロジェクター側の音声処理でデータが欠乏しないような一定量の音声データを一定間隔で送信することが望ましい。しかしながら、フレーム間での動きのある領域が広く、よって抽出された矩形領域データのデータ量が多くなると、その矩形領域データの送信にかかる時間が音声データの送信間隔を超えることが発生し、そのような場合には、プロジェクターによる音声の再生において音途切れが発生することになる。

ここで、一度に供給できる矩形領域データの最大データ量を音声データの１周期内に送信可能なデータ量以下に設定し、ＰＣが、送信すべき矩形領域データを最大データ量以下となるように制御すれば、プロジェクターにおける音途切れの発生を回避できると考えられる。しかしながら、データ量の異なる複数の矩形領域データを音声データと交互に送信する場合、矩形領域データを送信したときから次に送信すべき音声データの送信開始時までの間に待ち時間が発生することがあるため、全体的な伝送効率が低下するおそれがある。

そこで、本発明は上記問題に鑑みてなされたものであり、デジタルデータである画像データ及び音声データを供給元から供給先に供給する場合において、画像データを効率的に供給することによって供給先における音声再生の際の音途切れを防ぐことのできる、画像音声供給装置、画像音声供給システム、画像音声供給方法、及び画像音声供給用プログラムを供給することを目的とする。

本発明は、上記の課題を解決するために、以下［１］−［５］の手段を提供するものである。
［１］音声データと画像データとを、前記音声データの送信開始時点が一定間隔となるようにして繰り返し画像音声出力装置に供給する画像音声供給装置であり、
時間差のある２つのフレーム画像を記憶するフレーム画像記憶手段と、
音声データを記憶する音声データ記憶手段と、
前記フレーム画像記憶手段に記憶された２つのフレーム画像間に差分のあるデータを含む第１ブロックデータを抽出するブロックデータ抽出手段と、
一度に送信すべき音声データのデータ量である第１データ量と、その音声データに続けて送信すべき画像データの最大データ量である第２データ量とを前記画像音声出力装置の
音声出力パラメーターに基づいて決定する送信データ量決定手段と、
前記抽出された第１ブロックデータのデータ量が前記第２データ量よりも多い場合に、前記第１ブロックデータを、それぞれが前記第２データ量以下のデータ量となる複数の第２ブロックデータに分割するブロックデータ分割手段と、
前記音声データ記憶手段から前記第１データ量の音声データを読み出して出力する音声データ出力手段と、
前記ブロックデータ分割手段により前記第１ブロックデータが分割されなかった場合には、前記第１ブロックデータを前記音声データ出力手段からの音声データの出力に続けて出力し、前記ブロックデータ分割手段により前記第１ブロックデータが分割された場合には、複数の前記第２ブロックデータを、データサイズの大きな順に、前記音声データ出力手段からの音声データの出力に続けて前記第２データ量以下のデータ量だけ出力するブロックデータ出力手段と、
を備えたことを特徴とする画像音声供給装置。
［２］前記ブロックデータ分割手段は、
前記第１ブロックデータのデータ量が前記第２データ量よりも多い場合に、前記第１ブロックデータを、それぞれが前記第２データ量以下のデータ量であって且つ段階的に変化するデータ量となる複数の第２ブロックデータに分割し、
前記ブロックデータ出力手段は、
前記ブロックデータ分割手段により前記第１ブロックデータが分割されなかった場合には、前記第１ブロックデータを前記音声データ出力手段からの音声データの出力に続けて出力し、前記ブロックデータ分割手段により前記第１ブロックデータが前記複数の第２ブロックデータに分割された場合には、前記複数の第２ブロックデータのうち一部又は全部の第２ブロックデータを前記第２データ量以下のデータ量になるように組み合わせて、その組み合わせた第２ブロックデータを、前記音声データ出力手段からの音声データの出力に続けて出力することを特徴とする上記［１］記載の画像音声供給装置。
［３］音声データと画像データとを、前記音声データの送信開始時点が一定間隔となるようにして繰り返し画像音声出力装置に供給する画像音声供給方法であり、
送信すべき音声データから、一度に送信すべき音声データのデータ量である第１データ量と、その音声データに続けて送信すべき画像データの最大データ量である第２データ量とを前記画像音声出力装置の音声出力パラメーターに基づいて計算する送信データ量計算ステップと、
時間差のある２つのフレーム画像間に差分のあるデータを含む第１ブロックデータを抽出するブロックデータ抽出ステップと、
前記抽出された第１ブロックデータのデータ量が前記第２データ量よりも多い場合に、前記第１ブロックデータを、それぞれが前記第２データ量以下のデータ量となる複数の第２ブロックデータに分割するブロックデータ分割ステップと、
前記送信すべき音声データから前記第１データ量の音声データを取り出して出力する音声データ出力ステップと、
前記ブロックデータ分割ステップにより前記第１ブロックデータが分割されなかった場合には、前記第１ブロックデータを前記音声データ出力ステップにおける音声データの出力に続けて出力し、前記ブロックデータ分割ステップにより前記第１ブロックデータが分割された場合には、複数の前記第２ブロックデータを、データサイズの大きな順に、前記音声データ出力ステップにおける音声データの出力に続けて前記第２データ量以下のデータ量だけ出力するブロックデータ出力ステップと、
を有したことを特徴とする画像音声供給方法。
［４］前記ブロックデータ分割ステップは、
前記第１ブロックデータのデータ量が前記第２データ量よりも多い場合に、前記第１ブロックデータを、それぞれが前記第２データ量以下のデータ量であって且つ段階的に変化するデータ量となる複数の第２ブロックデータに分割し、
前記ブロックデータ出力ステップは、
前記ブロックデータ分割ステップにより前記第１ブロックデータが分割されなかった場合には、前記第１ブロックデータを前記音声データ出力ステップにおける音声データの出力に続けて出力し、前記ブロックデータ分割ステップにより前記第１ブロックデータが前記複数の第２ブロックデータに分割された場合には、前記複数の第２ブロックデータのうち一部又は全部の第２ブロックデータを前記第２データ量以下のデータ量になるように組み合わせて、その組み合わせた第２ブロックデータを、前記音声データ出力ステップにおける音声データの出力に続けて出力することを特徴とする上記［３］記載の画像音声供給方法。
［５］コンピューターに、
音声データと画像データとを、前記音声データの送信開始時点が一定間隔となるようにして繰り返し画像音声出力装置に供給させる処理を実行させるための画像音声供給用プログラムであり、
送信すべき音声データから、一度に送信すべき音声データのデータ量である第１データ量と、その音声データに続けて送信すべき画像データの最大データ量である第２データ量とを前記画像音声出力装置の音声出力パラメーターに基づいて計算する送信データ量計算ステップと、
時間差のある２つのフレーム画像間に差分のあるデータを含む第１ブロックデータを抽出するブロックデータ抽出ステップと、
前記抽出された第１ブロックデータのデータ量が前記第２データ量よりも多い場合に、前記第１ブロックデータを、それぞれが前記第２データ量以下のデータ量となる複数の第２ブロックデータに分割するブロックデータ分割ステップと、
前記送信すべき音声データから前記第１データ量の音声データを取り出して出力させる音声データ出力ステップと、
前記ブロックデータ分割ステップにより前記第１ブロックデータが分割されなかった場合には、前記第１ブロックデータを前記音声データ出力ステップにおける音声データの出力に続けて出力し、前記ブロックデータ分割ステップにより前記第１ブロックデータが分割された場合には、複数の前記第２ブロックデータを、データサイズの大きな順に、前記音声データ出力ステップにおける音声データの出力に続けて前記第２データ量以下のデータ量だけ出力させるブロックデータ出力ステップと、
を前記コンピューターに実行させるための画像音声供給用プログラム。

本発明によれば、音声データを一定間隔で転送することができるため、画像音声の出力側では、音途切れを発生させることなく安定的に音声を出力することができる。それに加えてさらに、画像データの供給側では、画像データを効率よく伝送することができるため、システム全体として極めて転送効率の高いデータ転送を行うことができる。

本発明の実施形態である画像音声供給システムを適用したプロジェクターシステムの構成図である。パーソナルコンピューターからプロジェクターに転送される画像データ及び音声データの転送の順序を説明するためのデータ転送タイムチャートである。ある時刻のフレーム画像とその次のフレーム画像との間で抽出された矩形領域を模式的に表した図である。フレーム画像間で差分のあるデータを含む矩形領域を、最大データサイズ以下のブロックデータに分割した場合の様子を模式的に示した図である。パーソナルコンピューターにおいて構成される転送ブロックデータのデータ構成を示した図である。パーソナルコンピューターとプロジェクターとの間で行われる初期化処理を説明するためのフローチャートである。サイズテーブルのデータ構成を示した図である。パーソナルコンピューターが音声データと、１フレーム画像あたりの転送ブロックデータとを転送する処理を説明するためのフローチャートである。パーソナルコンピューターが音声データと転送ブロックデータとをプロジェクターに転送する場合のタイムチャートである。プロジェクターが、画像を投写表示するとともに音声を出力する処理を説明するためのフローチャートである。

以下、本発明を実施するための形態について、図面を参照して詳細に説明する。図１に、本発明の実施形態である画像音声供給システムを適用したプロジェクターシステムの構成図を示す。同図において、プロジェクターシステム１は、画像音声供給装置であるパーソナルコンピューター（ＰＣ）１０と、ＰＣ１０によるオペレーティング・システム（ＯＳ）やアプリケーション・プログラムの実行に係る情報を表示するための表示装置２０と、画像音声出力装置であるプロジェクター３０とを備えている。そして、ＰＣ１０とプロジェクター３０とは、ＵＳＢケーブル４０を介して接続されている。また、表示装置２０は、ＰＣ１０に接続されている。なお、ＰＣ１０と表示装置２０とを、一般的なノートパソコンのように一体的に構成してもよい。

図１において、ＰＣ１０は、制御部１１と、表示制御部１２と、操作部１３と、格納部１４と、通信部１５とを備えており、これらの構成部はバス１６を介して機能的に接続されている。制御部１１は、ＰＣ１０全体の処理を制御する処理部であり、不図示のＣＰＵ、ＲＡＭ、ＲＯＭ等で構成されている。制御部１１は、格納部１４に格納されているＯＳやアプリケーション・プログラムをＲＡＭに読み出して実行することによってＰＣ１０全体を制御する。例えば、制御部１１が格納部１４に格納されたプレゼンテーション用のアプリケーション・プログラムを読み出して実行すると、ＰＣ１０はプレゼンテーション装置として動作する。また、制御部１１は、ＲＯＭに記憶されたか又は格納部１４に格納された画像音声供給用プログラムをＲＡＭに読み出して実行することにより、ＯＳやアプリケーション・プログラムの実行によってＰＣ１０が出力すべき音声データと、表示させるべき画像データとを転送効率が高く保たれるようにデータ構成を最適化し、通信部１５から出力させる。このデータ構成の最適化処理については詳細を後述する。

表示制御部１２は、制御部１１の制御により、表示装置２０に表示させるべき表示情報をフレームデータとして不図示の画像メモリーに記憶させる。そして、表示制御部１２は、画像メモリーからフレームデータを読み出して画像信号（例えばＲＧＢ信号）に変換して出力する。操作部１３は、ＰＣ１０の操作者に操作入力させるための入力部であり、キーボードやマウス等のポインティング・デバイスを備えている。格納部１４は、上述したように、ＯＳやアプリケーション・プログラムを格納するものである。また、格納部１４は、ＯＳやアプリケーション・プログラムの処理において使用される音声データを格納する。この音声データは、非圧縮データ又は圧縮データのいずれとすることができる。例えば、非圧縮音声データとしてＰＣＭ（ＰｕｌｓｅＣｏｄｅＭｏｄｕｌａｔｉｏｎ）データを用いることができ、圧縮音声データとしてＭＰ３（ＭＰＥＧＡｕｄｉｏＬａｙｅｒ−３）データを用いることができる。

通信部１５は、クライアント側となるプロジェクター３０との間でデジタルデータを送受信するためのＵＳＢ規格に準拠したインターフェイス部であり、ＵＳＢケーブル４０と接続するためのＵＳＢコネクター（ホスト側タイプ）を備えている。通信部１５は、制御部１１の制御により、最大データ転送速度が１２ＭｂｐｓであるＵＳＢ１．１規格と、最大データ転送速度が４８０ＭｂｐｓであるＵＳＢ２．０規格とに対応した２つの転送モードのうちいずれかのモードに設定されて動作する。

図１において、プロジェクター３０は、制御部３１と、通信部３２と、画像処理部３３と、音声処理部３４と、画像投写部３５と、投写制御部３６と、音声出力部３７とを備えており、これらの構成のうち、制御部３１と、通信部３２と、画像処理部３３と、音声処理部３４と、投写制御部３６とは、バス３８を介して機能的に接続されている。制御部３１は、プロジェクター３０全体の処理を制御する処理部であり、不図示のＣＰＵ、ＲＡＭ、ＲＯＭ等で構成されている。制御部３１は、ＲＯＭに記憶された画像音声受給用プログラムを読み出して実行することにより、ＰＣ１０から転送された画像データ及び音声データをプロジェクター３０に受信させて画像処理及び音声処理を行わせ、画像を投写し音声を出力させることができる。制御部３１は、通信部３２で受信した画像データ及び音声データをＲＡＭに記憶させ、これら記憶されたデータのうち画像データを画像処理部３３に供給し、音声データを音声処理部３４に供給する。

通信部３２は、ＰＣ１０の通信部１５と同様のＵＳＢ規格に準拠したインターフェイス部であり、ＵＳＢケーブル４０と接続するためのＵＳＢコネクター（クライアント側タイプ）を備えている。通信部３２は、ホスト側となるＰＣ１０との間で通信のネゴシエーションを行い、ＰＣ１０の通信部１５に設定された転送モードと同一の転送モードに設定されて動作する。

画像処理部３３は、制御部３１の制御によってＲＡＭから供給された画像データに基づいてフレーム画像を構成し、そのフレーム画像を画像投写部３５に供給する。画像処理部３３は、少なくとも１フレーム分のフレームメモリーを備えており、このフレームメモリーに前回のフレーム画像を記憶した状態で、ＲＡＭから供給された画像データを上書きして新たなフレーム画像を構成する。画像投写部３５は、不図示の光源、液晶ライトバルブ、及びレンズを備えており、画像処理部３３から供給されたフレームデータを液晶ライトバルブに入力して表示させ、光源が発光した光を液晶ライトバルブに照射することにより、液晶ライトバルブに表示されたフレーム画像を、レンズを通して外部の投写スクリーンに投写表示する。投写制御部３６は、制御部３１の制御により、画像投写部３５の光源や液晶ライトバルブの動作を制御する。

音声処理部３４は、制御部３１の制御によってＲＡＭから供給された音声データを音声信号に変換して音声出力部３７に供給する。音声出力部３７は、不図示のアンプ、スピーカーを備えており、音声信号をアンプで増幅してスピーカーから音を拡声出力する。

次に、ＰＣ１０からプロジェクター３０に転送される画像データ及び音声データの転送の順序について、図２のデータ転送タイムチャートを参照して説明する。同図において、音声データ転送時間２ａは音声データを転送するために確保された時間であり、画像データ転送最大時間２ｂは画像データを転送するために確保された最大時間である。同図に示すように、音声データ転送時間２ａと画像データ転送最大時間２ｂとは交互に確保される。そして、音声データ転送時間２ａ及び画像データ転送最大時間２ｂの合計時間である周期Ｔで音声データが転送され、画像データは、音声データの転送に続いて画像データ転送最大時間２ｂ以内で転送される。

次に、ＰＣ１０によって転送される画像データの詳細について説明する。本実施形態において、プロジェクター３０に転送される画像データは、所定のフレームレート（例えば、３０ｆｐｓ）で切り替わるフレーム画像の隣り合ったフレーム間に差分のあるデータを含む矩形領域のデータ（第１ブロックデータ）である。すなわち、表示制御部１２は、少なくとも連続した２フレーム分のフレーム画像を画像メモリーに記憶しておき、制御部１１は、画像メモリーに記憶された一方のフレーム画像と、比較対象である他方のフレーム画像とのデータの比較を行い、差分のあるデータを検出してそのデータを含む矩形領域のデータを、プロジェクター３０に転送すべき画像データとして抽出する。なお、制御部１１は、数フレーム分離れたフレーム画像同士で比較するようにしてもよい。画像メモリーに数フレーム分のフレーム画像を記憶できるだけの容量があれば、その数フレームの範囲内で比較すべき距離を調整することができる。

図３に、ある時刻のフレーム画像とその次のフレーム画像との間で抽出された矩形領域を模式的に示す。同図は、差分のあるデータを含むブロック領域Ｂ１，Ｂ２，Ｂ３が抽出されたことを表したフレーム画像３である。同図のフレーム画像３の場合、ブロック領域Ｂ１，Ｂ２，Ｂ３を、図２に示した１回又は複数回繰返される画像データ転送最大時間２ｂ内に転送する必要がある。そこで、本実施形態では、ＰＣ１０は、画像データ転送最大時間２ｂ以内に転送可能な画像データの最大データサイズを算出し、ブロック領域Ｂ１，Ｂ２，Ｂ３それぞれを、最大データサイズ以下のサイズのブロックデータ（第２ブロックデータ）に分割して転送する。

図４に、ブロック領域Ｂ１，Ｂ２，Ｂ３を最大データサイズ以下のブロックデータに分割した場合の様子を模式的に示す。同図において、フレーム画像４のブロック領域Ｂ１は、ブロックデータＢ１ａ，Ｂ１ｂ，Ｂ１ｃ，Ｂ１ｄ，Ｂ１ｅ，Ｂ１ｆに分割されたことを表している。ここで、ブロックデータＢ１ａ，Ｂ１ｃは、最大データサイズのブロックデータであるとする。ブロック領域Ｂ２，Ｂ３は、それぞれのデータサイズが最大データサイズよりも小さなブロック領域であるため、ブロック分割は行われずそのままブロックデータとして扱うものとする。これら８つのブロックデータのデータサイズの関係は、最大データサイズ＝ブロックデータＢ１ａ＝ブロックデータＢ１ｃ＞ブロック領域Ｂ３＞ブロック領域Ｂ２＞ブロックデータＢ１ｄ＞ブロックデータＢ１ｂ＞ブロックデータＢ１ｅ＞ブロックデータＢ１ｆであるとする。

図４に示したようなブロックデータがデータ転送されるため、各ブロックデータは、フレーム画像における位置及び大きさを示す情報が付加された転送ブロックデータとして扱われる。図５に、ＰＣ１０で構成される転送ブロックデータのデータ構成を示す。同図において、転送ブロックデータ５は、始点座標値５ａと、ブロックサイズ５ｂと、データサイズ５ｃと、ブロックデータ５ｄとを含んでいる。始点座標値５ａは、ブロックデータそのものであるブロックデータ５ｄのフレーム画像における始点座標値、例えば、図４のブロックにおける左上の角を示す座標値である。ブロックサイズ５ｂは、ブロックの縦・横のサイズ、例えば縦・横それぞれのピクセル数をいう。データサイズ５ｃは、転送ブロックデータ５全体のデータサイズを示す。

次に、ＰＣ１０からプロジェクター３０に画像データ及び音声データを送信し、これらを受信したプロジェクター３０が画像を投写表示するとともに音声を出力する処理について説明する。まず、プロジェクターシステム１は、ＰＣ１０とプロジェクター３０との間で初期化処理を行う必要がある。この初期化処理においては、ＰＣ１０及びプロジェクター３０双方のＵＳＢ通信の転送モードの設定の他、ＰＣ１０がプロジェクター３０から音声出力に関する音声出力パラメーターを取得してブロックデータの最大データサイズを決定する。

図６に、ＰＣ１０とプロジェクター３０との間で行われる初期化処理において、特に音声出力パラメーターを授受する処理のフローチャートを示す。同図において、ＰＣ１０の制御部１１は、プロジェクター３０が有する音声出力パラメーターを取得するためのパラメーター要求コマンドを通信部１５から送信する（Ｓ６０１）。プロジェクター３０の通信部３２がパラメーター要求コマンドを受信すると（Ｓ６０２）、通信部３２は、これを制御部３１に供給し、制御部３１は、音声処理部３４で処理する音声データの音声出力パラメーターを応答コマンドに含めて通信部３２から送信する（Ｓ６０３）。ＰＣ１０の通信部１５が応答コマンドを受信すると（Ｓ６０４）、通信部１５は、これを制御部１１に供給し、制御部１１は、応答コマンドに含められた音声出力パラメーターに基づいて所定のサイズテーブルを生成する（Ｓ６０５）。

ここで、ＰＣ１０がプロジェクター３０より音声出力パラメーターを取得し、これに基づいて生成するサイズテーブルについて具体的に説明する。ここでは、プロジェクターシステム１が扱う音声データをＰＣＭデータとし、よって、ＰＣ１０が取得する音声出力パラメーターを、サンプリング周波数Ｆ（Ｈｚ）、ビット数Ｂ（ｂｉｔ）、及びチャンネル数Ｃ（チャンネル）とする。また、ＰＣ１０における音声データの送信間隔をＴ（ｓｅｃ）、ＵＳＢバスのデータ転送レートをＲ（ｂｐｓ）とする。また、サイズテーブルのデータ項目数をＭ（２以上の整数）とする。この条件において、送信間隔Ｔである１周期あたりの音声データの送信データサイズＡＤ（ｂｙｔｅ）（第１データ量）は（数式１）で求められる。

また、送信間隔Ｔ内に送信可能なデータサイズＴＤ（ｂｙｔｅ）は（数式２）で求められる。

よって、送信間隔Ｔ内に送信可能な最大画像データサイズＤ（ｂｙｔｅ）（第２データ量）は（数式３）で求められる。

最大画像データサイズＤ及びデータ項目数Ｍを用いてＤ／Ｍ，２Ｄ／Ｍ，３Ｄ／Ｍ・・・（Ｍ−１）Ｄ／Ｍ，ＭＤ／Ｍを計算し、図７（ａ）に示すＭ個のデータからなるサイズテーブル７ａを生成する。同図（ａ）において、サイズテーブル７ａの各項目には、説明のためにサイズテーブル７ａの右側に記載している範囲内のデータサイズのブロックデータが関連付けられることになる。

ここで、制御部１１によって生成されるサイズテーブルの具体例を示す。ＰＣ１０が取得する音声出力パラメーターは、サンプリング周波数Ｆ＝２２．５ＫＨｚ、ビット数Ｂ＝８ｂｉｔ、及びチャンネル数Ｃ＝１チャンネルであるとし、ＰＣ１０における音声データの送信間隔Ｔ＝５０ｍｓｅｃ、ＵＳＢバスのデータ転送レートＲ＝１６０Ｍｂｐｓとする。また、サイズテーブルを生成する際のデータ項目数Ｍ＝５であるとする。ＰＣ１０の制御部１１が上記（数式１）〜（数式３）を計算することにより、ＡＤ＝１１２５（ｂｙｔｅ）、ＴＤ＝１００００００（ｂｙｔｅ）、Ｄ＝９９８８７５（ｂｙｔｅ）となり、図７（ｂ）に示すサイズテーブル７ｂを生成する。

次に、ＰＣ１０の制御部１１が、画像音声供給用プログラムを実行することにより、音声データと、１フレーム画像あたりの転送ブロックデータとを、データ構成を最適化して転送する処理について、図８のフローチャートを参照して説明する。同図において、ＰＣ１０の制御部１１は、前述した初期化処理においてプロジェクター３０から取得した音声出力パラメーターに合致するパラメーターに基づき符号化されたＰＣＭデータを、格納部１４又は制御部１１のＲＡＭから読み出す（Ｓ８０１）。なお、制御部１１は、プロジェクター３０から取得した音声出力パラメーターではないパラメーターに基づき符号化された音声データを、プロジェクター３０から取得した音声出力パラメーターを用いて新たに符号化するようにしてもよい。

次に、制御部１１は、表示制御部１２の画像メモリーに記憶された現在のフレーム画像とその直前のフレーム画像とを比較して、差分のあるデータを検出してそのデータを含む矩形領域を抽出する（Ｓ８０２）。例えば、図３に示すブロック領域Ｂ１，Ｂ２，Ｂ３が抽出される。次に、制御部１１は、抽出された矩形領域を最大画像データサイズＤ以下のブロックデータに分割する。（Ｓ８０３）。例えば、制御部１１は、図３のブロック領域Ｂ１，Ｂ２，Ｂ３それぞれのデータサイズと最大画像データサイズＤとを比較し、図４に示すように、最大画像データサイズＤよりもデータサイズの大きなブロック領域Ｂ１について、最大画像データサイズＤとなる正方形のブロックを単位として、ブロック領域Ｂ１を分割する。図４によれば、最大画像データサイズＤと同一データサイズとなるブロックデータＢ１ａ，Ｂ１ｃの他、ブロックデータＢ１ｂ，Ｂ１ｄ，Ｂ１ｅ，Ｂ１ｆに分割される。ブロック領域Ｂ２，Ｂ３については、それぞれのデータサイズが最大画像データサイズＤよりも小さいためブロック分割はされない。

次に、制御部１１は、初期化処理において生成したサイズテーブルに基づいてブロックデータの組み合わせを最適化する（Ｓ８０４）。すなわち、図４に示した例においては、ブロック領域Ｂ１を分割して得られた６つのブロックデータＢ１ａ，Ｂ１ｂ，Ｂ１ｃ，Ｂ１ｄ，Ｂ１ｅ，Ｂ１ｆと、ブロック領域Ｂ２，Ｂ３のブロックデータとのそれぞれについて、図５に示すデータ構成にフォーマット化し、サイズテーブルに基づいて転送データサイズが最大画像データサイズＤ以内となるように転送ブロックデータの組み合わせを決定する。

具体的には、図４に示した例において、図５のようにフォーマット化された後のブロックデータＢ１ａ，Ｂ１ｂ，Ｂ１ｃ，Ｂ１ｄ，Ｂ１ｅ，Ｂ１ｆ及びブロック領域Ｂ２，Ｂ３のデータサイズが、ブロックデータＢ１ａ＝ブロックデータＢ１ｃ＝９９８８７５（ｂｙｔｅ）、ブロックデータＢ１ｂ＝５８０２６１（ｂｙｔｅ）、ブロックデータＢ１ｄ＝６５４３９７（ｂｙｔｅ）、ブロックデータＢ１ｅ＝３８２４５６（ｂｙｔｅ），ブロックデータＢ１ｆ＝１８０３９２（ｂｙｔｅ）、ブロック領域Ｂ２＝７７３４６２（ｂｙｔｅ）、及びブロック領域Ｂ３＝８６２４６４（ｂｙｔｅ）であるとする。

この場合、図７（ｂ）に示すサイズテーブルを用いた場合、Ｄ／５すなわちＳ≦１９９７５５となるレンジにブロックデータＢ１ｆ、２Ｄ／５すなわち１９９７７５＜Ｓ≦３９９５５０となるレンジにブロックデータＢ１ｅ、３Ｄ／５すなわち３９９５５０＜Ｓ≦５９９３２５となるレンジにブロックデータＢ１ｂ、４Ｄ／５すなわち５９９３２５＜Ｓ≦７９９１００となるレンジにブロック領域Ｂ２，ブロックデータＢ１ｄ、及び５Ｄ／５すなわち７９９１００＜Ｓ≦９９８８７５となるレンジにブロックデータＢ１ａ，Ｂ１ｃ，ブロック領域Ｂ３が関係付けされる。

そして、これらの関係付けに応じて、最大画像データサイズＤを超えないようにして転送ブロックデータの組み合わせを決定し、その組み合わせた転送ブロックデータを、データサイズの大きな順に送信するようにＲＡＭに記憶する。組み合わせは、例えばＤ／５のレンジにあるブロックデータと、４Ｄ／５のレンジにあるデータとの組み合わせ、２Ｄ／５のレンジにあるブロックデータと、３Ｄ／５のレンジにあるブロックデータとの組み合わせを行うようにして決定する。具体的には、例えばブロックデータＢ１ｂとブロックデータＢ１ｅとを組み合わせ、ブロック領域Ｂ２とブロックデータＢ１ｆとを組み合わせる。

ステップＳ８０４の処理の次に、制御部１１は、ステップＳ８０１の処理で読み出した音声データのうち、送信データサイズＡＤ分の音声データを通信部１５よりプロジェクター３０に対して送信させる（Ｓ８０５）。次に、制御部１１は、ＲＡＭに記憶された転送ブロックデータの組み合わせのうち、一番最初に転送するよう指定されている転送ブロックデータの組み合わせを通信部１５よりプロジェクター３０に対して送信させる（Ｓ８０６）。

そして、１フレーム画像分の転送ブロックデータを送信完了したか否かを判定し（Ｓ８０７）、まだ送信すべき転送ブロックデータがＲＡＭに記憶されている場合（Ｓ８０７Ｎｏ）は、送信間隔Ｔに同期させて（Ｓ８０８）、ステップＳ８０５の処理に移行する。一方、１フレーム画像分の転送ブロックデータを送信完了した場合（Ｓ８０７Ｙｅｓ）は、このフローチャートの処理を終了する。このフローチャートの処理により、例えば、図９に示すタイムチャートのように、ＰＣ１０は、音声データと転送ブロックデータとを音声データの送信間隔Ｔに同期させてプロジェクター３０に転送する。

次に、プロジェクター３０の制御部３１が、画像音声受給用プログラムを実行することにより、音声データと１フレーム画像あたりの転送ブロックデータとを受信し、画像を投写表示するとともに音声を出力する処理について、図１０のフローチャートを参照して説明する。同図において、プロジェクター３０は、ＰＣ１０のステップＳ８０５の処理によって送信された送信データサイズＡＤ分の音声データを通信部３２で受信して制御部３１に供給する（Ｓ１００１）。次に、制御部３１は、音声データを一旦ＲＡＭに記憶させ、その記憶させたＲＡＭから音声データを読み出して音声処理部３４に供給する。そして、音声処理部３４は、音声データをデコードして音声信号に変換し音声出力部３７に供給する（Ｓ１００２）。そして、音声出力部３７は、音声信号をアンプで増幅してスピーカーから拡声出力する（Ｓ１００３）。

また、プロジェクター３０は、ＰＣ１０のステップＳ８０６の処理によって送信された転送ブロックデータを通信部３２で受信して制御部３１に供給する（Ｓ１００４）。次に、制御部３１は、転送ブロックデータを一旦ＲＡＭに記憶させ、その記憶させたＲＡＭから各転送ブロックデータを読み出して画像処理部３３に供給する。そして、画像処理部３３は、転送ブロックデータに含まれる始点座標値５ａとブロックサイズ５ｂとに基づきブロックデータ５ｄをフレーム画像に構成して画像投写部３５に供給する（Ｓ１００５）。そして、画像投写部３５は、フレーム画像を投写する（Ｓ１００６）。

上述したとおり、本実施形態によれば、ＰＣとプロジェクターとをＵＳＢケーブルを介して接続したプロジェクターシステムにおいて、ＰＣがプロジェクターに対して音声データを一定間隔で転送し、プロジェクターがその一定間隔で音声データを受信してデコード処理を行うため、プロジェクターは音途切れを発生させることなく安定的に音声を出力することができる。それに加えてさらに、ＰＣはフレーム画像の差分のあるデータを含んだ転送ブロックデータを効率よく転送することができるため、プロジェクターシステム全体として、極めて転送効率の高いデータ転送を行うことができる。

なお、ＰＣ及びプロジェクターそれぞれの通信部は、ＵＳＢ１．１規格又はＵＳＢ２．０規格のいずれかの規格に準拠させた転送モードに設定されて動作するが、各通信部がＵＳＢ２．０規格に準拠した転送モードに設定された場合は、本実施形態で説明したようにＰＣはブロックデータを非圧縮データの転送ブロックデータとして扱うようにし、各通信部がＵＳＢ１．１規格に準拠した転送モードに設定された場合は、ＰＣの制御部はブロックデータをＪＰＥＧ方式で圧縮し、そのＪＰＥＧデータを転送ブロックデータとして扱うようにしてもよい。この場合、プロジェクターは、ＵＳＢ１．１規格の転送モードに設定された場合には、画像処理部においてＪＰＥＧデータを伸長処理してフレーム画像に展開する処理を行うようにすればよい。

また、ＰＣとプロジェクターとの接続インターフェイスはＵＳＢに限らず、例えばＩＥＥＥ１３９４等のシリアルバスを用いてもよい。

以上、本発明の実施形態について詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。

１プロジェクターシステム
１０パーソナルコンピューター
１１，３１制御部
１２表示制御部
１３操作部
１４格納部
１５，３２通信部
１６，３８バス
２０表示装置
３０プロジェクター
３３画像処理部
３４音声処理部
３５画像投写部
３６投写制御部
３７音声出力部
４０ＵＳＢケーブル

Claims

音声データと画像データとを、前記音声データの送信開始時点が一定間隔となるようにして繰り返し画像音声出力装置に供給する画像音声供給装置であり、
時間差のある２つのフレーム画像を記憶するフレーム画像記憶手段と、
音声データを記憶する音声データ記憶手段と、
前記フレーム画像記憶手段に記憶された２つのフレーム画像間に差分のあるデータを含む第１ブロックデータを抽出するブロックデータ抽出手段と、
一度に送信すべき音声データのデータ量である第１データ量と、その音声データに続けて送信すべき画像データの最大データ量である第２データ量とを前記画像音声出力装置の音声出力パラメーターに基づいて決定する送信データ量決定手段と、
前記抽出された第１ブロックデータのデータ量が前記第２データ量よりも多い場合に、前記第１ブロックデータを、それぞれが前記第２データ量以下のデータ量となる複数の第２ブロックデータに分割するブロックデータ分割手段と、
前記音声データ記憶手段から前記第１データ量の音声データを読み出して出力する音声データ出力手段と、
前記ブロックデータ分割手段により前記第１ブロックデータが分割されなかった場合には、前記第１ブロックデータを前記音声データ出力手段からの音声データの出力に続けて出力し、前記ブロックデータ分割手段により前記第１ブロックデータが分割された場合には、複数の前記第２ブロックデータを、データサイズの大きな順に、前記音声データ出力手段からの音声データの出力に続けて前記第２データ量以下のデータ量だけ出力するブロックデータ出力手段と、
を備えることを特徴とする画像音声供給装置。
前記ブロックデータ分割手段は、
前記第１ブロックデータのデータ量が前記第２データ量よりも多い場合に、前記第１ブロックデータを、それぞれが前記第２データ量以下のデータ量であって且つ段階的に変化するデータ量となる複数の第２ブロックデータに分割し、
前記ブロックデータ出力手段は、
前記ブロックデータ分割手段により前記第１ブロックデータが分割されなかった場合には、前記第１ブロックデータを前記音声データ出力手段からの音声データの出力に続けて出力し、前記ブロックデータ分割手段により前記第１ブロックデータが前記複数の第２ブロックデータに分割された場合には、前記複数の第２ブロックデータのうち一部又は全部の第２ブロックデータを前記第２データ量以下のデータ量になるように組み合わせて、その組み合わせた第２ブロックデータを、前記音声データ出力手段からの音声データの出力に続けて出力することを特徴とする請求項１記載の画像音声供給装置。
音声データと画像データとを、前記音声データの送信開始時点が一定間隔となるようにして繰り返し画像音声出力装置に供給する画像音声供給方法であり、
送信すべき音声データから、一度に送信すべき音声データのデータ量である第１データ量と、その音声データに続けて送信すべき画像データの最大データ量である第２データ量とを前記画像音声出力装置の音声出力パラメーターに基づいて計算する送信データ量計算ステップと、
時間差のある２つのフレーム画像間に差分のあるデータを含む第１ブロックデータを抽出するブロックデータ抽出ステップと、
前記抽出された第１ブロックデータのデータ量が前記第２データ量よりも多い場合に、前記第１ブロックデータを、それぞれが前記第２データ量以下のデータ量となる複数の第２ブロックデータに分割するブロックデータ分割ステップと、
前記送信すべき音声データから前記第１データ量の音声データを取り出して出力する音声データ出力ステップと、
前記ブロックデータ分割ステップにより前記第１ブロックデータが分割されなかった場合には、前記第１ブロックデータを前記音声データ出力ステップにおける音声データの出力に続けて出力し、前記ブロックデータ分割ステップにより前記第１ブロックデータが分割された場合には、複数の前記第２ブロックデータを、データサイズの大きな順に、前記音声データ出力ステップにおける音声データの出力に続けて前記第２データ量以下のデータ量だけ出力するブロックデータ出力ステップと、
を有することを特徴とする画像音声供給方法。
前記ブロックデータ分割ステップは、
前記第１ブロックデータのデータ量が前記第２データ量よりも多い場合に、前記第１ブロックデータを、それぞれが前記第２データ量以下のデータ量であって且つ段階的に変化するデータ量となる複数の第２ブロックデータに分割し、
前記ブロックデータ出力ステップは、
前記ブロックデータ分割ステップにより前記第１ブロックデータが分割されなかった場合には、前記第１ブロックデータを前記音声データ出力ステップにおける音声データの出力に続けて出力し、前記ブロックデータ分割ステップにより前記第１ブロックデータが前記複数の第２ブロックデータに分割された場合には、前記複数の第２ブロックデータのうち一部又は全部の第２ブロックデータを前記第２データ量以下のデータ量になるように組み合わせて、その組み合わせた第２ブロックデータを、前記音声データ出力ステップにおける音声データの出力に続けて出力することを特徴とする請求項３記載の画像音声供給方法。
コンピューターに、
音声データと画像データとを、前記音声データの送信開始時点が一定間隔となるようにして繰り返し画像音声出力装置に供給させる処理を実行させるための画像音声供給用プログラムであり、
送信すべき音声データから、一度に送信すべき音声データのデータ量である第１データ量と、その音声データに続けて送信すべき画像データの最大データ量である第２データ量とを前記画像音声出力装置の音声出力パラメーターに基づいて計算する送信データ量計算ステップと、
時間差のある２つのフレーム画像間に差分のあるデータを含む第１ブロックデータを抽出するブロックデータ抽出ステップと、
前記抽出された第１ブロックデータのデータ量が前記第２データ量よりも多い場合に、前記第１ブロックデータを、それぞれが前記第２データ量以下のデータ量となる複数の第２ブロックデータに分割するブロックデータ分割ステップと、
前記送信すべき音声データから前記第１データ量の音声データを取り出して出力させる音声データ出力ステップと、
前記ブロックデータ分割ステップにより前記第１ブロックデータが分割されなかった場合には、前記第１ブロックデータを前記音声データ出力ステップにおける音声データの出力に続けて出力し、前記ブロックデータ分割ステップにより前記第１ブロックデータが分割された場合には、複数の前記第２ブロックデータを、データサイズの大きな順に、前記音声データ出力ステップにおける音声データの出力に続けて前記第２データ量以下のデータ量だけ出力させるブロックデータ出力ステップと、
を前記コンピューターに実行させるための画像音声供給用プログラム。