JP5436870B2

JP5436870B2 - 画像通信装置

Info

Publication number: JP5436870B2
Application number: JP2009006597A
Authority: JP
Inventors: 友紀米本
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2008-02-05
Filing date: 2009-01-15
Publication date: 2014-03-05
Anticipated expiration: 2029-01-15
Also published as: US7986920B2; JP2009213127A; US20090197526A1

Description

本発明は、画像信号を送信する送信装置と、送信装置によって送信された画像信号を受信する受信装置とを備えた画像通信装置に関する。

無線で画像を送受信するシステムでは、周囲の環境により通信状態が変化し、単位時間に送信できるデータ量が変化する。周囲の環境により通信状態が悪化した場合、無線で伝送されたデータのエラー率が高くなり、当該データに基づく画像の表示は見苦しいものとなる。特許文献１には、この問題を解決するため、通信状態の悪化によるエラー率の高い受信データを破棄し、送信側にデータの再送を要求することによって、無線通信システムに応じたスループットを得ることができる技術が記載されている。一方、画像データを送受信する場合に通信時間を短縮し消費電力を抑えるため、撮像した画像をＪＰＥＧ等の圧縮データとして転送することが一般的に行われている。

特開２００２−３２５０７４号公報

特許文献１に記載された技術では、受信した画像データのエラー率をフレーム毎に算出し、エラー率が所定のしきい値以上となった場合にはそのフレームの画像データを廃棄し、エラー率が所定のしきい値以下の場合にはバッファに１フレーム分の画像データを保存すると共に表示部で画像を表示する構成となっている。また、あるフレームで画像データが廃棄された場合、所望のスループットを得るために、バッファに保存されている前フレームの画像データに基づいて画像を表示している。そのため、通信状態が悪化し続けた場合、常に前フレームの画像データが表示に使用されるため、表示画面はフリーズした状態となり、リアルタイムに撮像している画像を目視することができなくなってしまう。

一方、撮像した画像をＪＰＥＧ等の圧縮データとして転送する技術では、圧縮データの転送中にエラーが発生すると、画像として大きなダメージを受ける場合が多く、全データをエラーの無い状態で転送することが必要となる。このため、画像データを小さなブロックに分割して転送を行い、エラー発生時にブロック単位でデータを再送する技術が用いられている。しかし、通信状態が悪化している場合、再転送を必要とするパケットが多くなると共に、再転送でもエラーが発生し、２回目、３回目の再転送が行われていくと、１画面分を送信できる時間は限られているため、規定時間内に１画面分の画像転送が終了しない場合がある。

本発明は、上述した課題に鑑みてなされたものであって、通信状態が悪化した場合においても画像の画質劣化を最小限にすると共に、規定時間内に１フレーム分の画像信号を伝送することができる画像通信装置を提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、画像信号を送信する送信装置と、前記送信装置によって送信された画像信号を受信する受信装置とを備えた画像通信装置において、前記送信装置は、被写体像を撮像して画像信号を生成する撮像部（図１の撮像モジュール１０１、図６の撮像モジュール６０１、図１２の撮像モジュール１２０１に対応）と、前記受信装置から送信された、通信状態を示す通信状態情報を受信する情報受信部（図１の通信部１０４、図６の通信部６０４、図１２の通信部１２０４に対応）と、前記撮像部によって生成された、複数の色信号からなる画像信号から、画素毎に前記複数の色信号の中からいずれかの色信号を削減した画像信号を生成する送信側信号処理部（図１２のＢａｙｅｒデータ生成部１２０２に対応）と、前記送信側信号処理部によって生成された画像信号を前記受信装置へ送信する信号送信部（図１の通信部１０４、図６の通信部６０４、図１２の通信部１２０４に対応）と、受信した前記通信状態情報に基づいて前記送信側信号処理部を制御する送信側制御部（図１の制御部１０３、図６の制御部６０３、図１２の制御部１２０３に対応）とを備え、前記受信装置は、前記送信装置によって送信された画像信号を受信する信号受信部（図２の通信部２０２、図７の通信部７０２、図１３の通信部１３０２に対応）と、受信した画像信号から、前記送信装置で削減された色信号を復元した画像信号を生成する受信側信号処理部（図１３の画像データ補間部１３０４に対応）と、通信状態を検出する通信状態検出部（図２の通信状態検出部２０３、図７の通信状態検出部７０３、図１３の通信状態検出部１３０３に対応）と、前記通信状態検出部によって検出された通信状態を示す前記通信状態情報に基づいて前記受信側信号処理部を制御する受信側制御部（図２の制御部２０７、図７の制御部７０６、図１３の制御部１３０７に対応）と、前記通信状態情報を前記送信装置へ送信する情報送信部（図２の通信部２０２、図７の通信部７０２、図１３の通信部１３０２に対応）とを備えたことを特徴とする画像通信装置である。

また、本発明の画像通信装置において、前記受信装置は、前記通信状態情報に基づいて、通信状態の指標となる情報を表示する表示部（図２の表示部２０６、図７の表示部７０５、図１３の表示部１３０６に対応）をさらに備えたことを特徴とする。

また、本発明の画像通信装置において、前記送信装置は、前記撮像部によって生成された画像信号の色空間を変換する色空間変換部（図１の色空間変換部１０６、図１６の色空間変換部１６０１に対応）をさらに備え、前記送信側信号処理部は、前記色空間変換部によって色空間が変換された画像信号から、画素毎に前記複数の色信号の中からいずれかの色信号を削減した画像信号を生成することを特徴とする。

本発明によれば、送信装置で画像信号のデータ量を削減することによって、データの通信時間を削減できるため、通信エラーが発生したときのデータの再送に余裕ができる。これによって、通信状態が悪化した場合においても、画像データの消失を極力防ぎ、規定時間内に１フレーム分の画像信号を伝送することができる。また、受信装置で画像信号のデータ量を復元することによって、画像の画質劣化を最小限にすることができる。

本発明の第１の実施形態による画像通信装置が備える送信装置の構成を示すブロック図である。本発明の第１の実施形態による画像通信装置が備える受信装置の構成を示すブロック図である。本発明の第１の実施形態による画像通信装置の動作の流れを示すフローチャートである。本発明の第１の実施形態における間引き処理を説明するための参考図である。本発明の第１の実施形態における間引き処理を説明するための参考図である。本発明の第２の実施形態による画像通信装置が備える送信装置の構成を示すブロック図である。本発明の第２の実施形態による画像通信装置が備える受信装置の構成を示すブロック図である。本発明の第２の実施形態による画像通信装置の動作の流れを示すフローチャートである。本発明の第２の実施形態におけるＫｎｅｅ処理を説明するための参考図である。本発明の第２の実施形態におけるＤｅｋｎｅｅ処理を説明するための参考図である。本発明の第２の実施形態の変形例を説明するための参考図である。本発明の第３の実施形態による画像通信装置が備える送信装置の構成を示すブロック図である。本発明の第３の実施形態による画像通信装置が備える受信装置の構成を示すブロック図である。本発明の第３の実施形態による画像通信装置の動作の流れを示すフローチャートである。本発明の各実施形態による画像通信装置を面順次方式の撮像システムに適用する場合の構成を示すブロック図である。本発明の第２の実施形態による画像通信装置が備える送信装置の他の構成を示すブロック図である。本発明の第２の実施形態におけるＫｎｅｅ処理を説明するための参考図である。本発明の第２の実施形態におけるＤｅｋｎｅｅ処理を説明するための参考図である。

以下、図面を参照し、本発明の実施形態を説明する。以下で説明する全ての実施形態では、Ｒ，Ｇ，Ｂ単色のフィルタがそれぞれ貼付された３枚のイメージセンサを用いて構成されている撮像システム（以後、三板の同時化方式と称する）により画像信号が入力されるものとする。

（第１の実施形態）
まず、本発明の第１の実施形態を説明する。本実施形態による画像通信装置は、画像信号を送信する送信装置と、送信装置によって送信された画像信号を受信する受信装置とで構成される。本実施形態では、画像信号のデータ量を削減するための処理として、画像信号の画素を間引く間引き処理が送信装置で行われる。また、画像信号のデータ量を復元するための処理として、送信装置で間引かれた画素を補間する補間処理が受信装置で行われる。従来のＪＰＥＧ圧縮時には色空間から周波数空間への変換処理が行われるが、本実施形態の間引き処理は、画像信号の色空間を保ったまま行われる。

図１は送信装置の構成を示している。図１に示すように、送信装置は、撮像モジュール１０１、画像データ間引き部１０２、制御部１０３、通信部１０４、アンテナ１０５、および色空間変換部１０６を備えている。撮像モジュール１０１は撮像素子を備えており、被写体像を撮像して画像信号を生成する。色空間変換部１０６は、撮像モジュール１０１によって生成された画像信号の色空間を変換する。画像データ間引き部１０２は、色空間変換部１０６によって色空間が変換された画像信号から、間引き処理により画素を間引いた画像信号を生成する。制御部１０３は、通信状態に応じて画像データ間引き部１０２を制御する。通信部１０４は、受信装置へ送信する画像信号の変調処理を行うと共に、受信装置から受信される通信状態情報の復調処理を行う。アンテナ１０５は受信装置との間で電波の送受信を行う。

図２は受信装置の構成を示している。図２に示すように、受信装置は、アンテナ２０１、通信部２０２、通信状態検出部２０３、画像データ補間部２０４、画像データ記憶部２０５、表示部２０６、および制御部２０７を備えている。アンテナ２０１は送信装置との間で電波の送受信を行う。通信部２０２は、送信装置から受信する画像信号の復調処理を行うと共に、送信装置へ送信される通信状態情報の変調処理を行う。通信状態検出部２０３は、受信された画像信号に付加されているデータに基づいて通信状態を検出し、その通信状態の内容を示す通信状態情報を生成する。画像データ補間部２０４は、受信された画像信号から、送信装置で間引かれた画素を補間処理により補間した画像信号を生成する。画像データ記憶部２０５は、受信された画像信号を記憶する。表示部２０６は、画像データ補間部２０４によって画素の補間が行われた画像信号に基づいて画像を表示する。制御部２０７は、通信状態に応じて画像データ補間部２０４を制御する。

次に、本実施形態による画像通信装置の動作を説明する。図３は画像通信時の動作の流れを示している。送信装置および受信装置における電源の投入等による起動の後、送信装置において、撮像モジュール１０１による画像信号の生成が開始される。撮像モジュール１０１から出力されたＲＧＢの画像信号（１フレーム目）は色空間変換部１０６に入力される（画像信号入力Ｓ１００ａ）。色空間変換部１０６に入力された画像信号は、輝度信号と色差信号（以下、ＹＣｂＣｒ信号と称す）に変換され、画像データ間引き部１０２に入力される（色空間変換Ｓ１０１ａ）。画像データ間引き部１０２は、１フレーム目については間引き処理を行うことなく、画像信号を通信部１０４へ出力する。通信部１０４は、アンテナ１０５を介して画像信号を受信装置へ送信する（画像信号送信Ｓ１０２ａ）。画像信号を送信する際には、受信装置で通信状態を検出するために、公知の技術によるＣＲＣデータが画像信号に付加される。

受信装置において、通信部２０２は、送信装置から送信された画像信号を、アンテナ２０１を介して受信する（画像信号受信Ｓ１０３ａ）。受信された画像信号は画像データ補間部２０４および画像データ記憶部２０５へ出力される。画像データ補間部２０４は、１フレーム目については補間処理を行うことなく、画像信号を表示部２０６へ出力する。表示部２０６は、画像信号に基づいて１フレーム目の画像を表示する（表示Ｓ１０４ａ）。また、画像データ記憶部２０５は画像信号を記憶する（画像信号記憶Ｓ１０９ａ）。

一方、通信部２０２は、受信した画像信号に付与されたＣＲＣデータを解析し、解析結果を通信状態検出部２０３へ出力する。通信状態検出部２０３は、解析結果に基づいて通信状態を検出し、通信状態情報を生成する（通信状態検出Ｓ１０５a）。通信状態情報は通信部２０２へ出力され、通信部２０２によって送信装置へ送信される（通信状態送信Ｓ１０８ａ）。また、通信状態情報は制御部２０７へも出力され、次フレームの制御に使用される。

送信された通信状態情報は、送信装置の通信部１０４によって受信される（通信状態取得Ｓ１０６ａ）。受信された通信状態情報は制御部１０３へ出力される。制御部１０３は、通信状態情報に基づいて、次のフレームの間引き量を決定する（間引き量制御Ｓ１０７ａ）。制御部１０３が決定した間引き量を示す情報は画像データ間引き部１０２へ出力される。以上が、１フレーム目の処理の内容である。

通信状態が悪化し、通信エラーが発生したときは、受信装置から送信装置へ画像信号の再送要求が送信される。この再送要求は上記の通信状態情報に含まれる。送信装置は、受信装置からの再送要求を受けて、上記の動作を再度行う。

続いて、２フレーム目の処理が開始される。送信装置において、撮像モジュール１０１から出力されたＲＧＢの画像信号（２フレーム目）は色空間変換部１０６に入力される（画像信号入力Ｓ１００ｂ）。色空間変換部１０６に入力された画像信号は、ＹＣｂＣｒ信号に変換され、画像データ間引き部１０２に入力される（色空間変換Ｓ１０１ｂ）。画像データ間引き部１０２は、前フレームで決定した間引き量に基づいて、画像信号の間引き処理を実行する（間引き処理Ｓ１０２ｂ）。

間引き処理において、画像信号は例えばＹＵＶ４２２フォーマットあるいはＹＵＶ４２０フォーマットで間引かれるものとする。図４は、ＹＵＶ４２２フォーマットによる間引き処理を示している。輝度信号であるＹ信号の画素は間引かれないが、色差信号であるＣｂ信号およびＣｒ信号の画素が１画素おきに間引かれる。また、図５は、ＹＵＶ４２０フォーマットによる間引き処理を示している。輝度信号であるＹ信号の画素は間引かれないが、色差信号であるＣｂ信号およびＣｒ信号の画素が、同一ラインにおいて１画素おきに間引かれると共に、１ラインおきに全ての画素が間引かれる。また、通信状態情報に基づいて、通信状態が良いと判断された場合には、間引き処理が行われないように制御される。

上記のようにして画素を間引いた画像信号は通信部１０４へ出力される。通信部１０４は、１フレーム目と同様にＣＲＣデータを付加して画像信号を送信する（画像信号送信Ｓ１０３ｂ）。

受信装置において、通信部２０２は、送信装置から送信された画像信号を受信する（画像信号受信Ｓ１０４ｂ）。受信された画像信号は画像データ補間部２０４および画像データ記憶部２０５へ出力される。画像データ記憶部２０５は画像信号を記憶する（画像信号記憶Ｓ１１１ｂ）。また、画像データ補間部２０４は画像信号の補間処理を実行する（補間処理Ｓ１０５ｂ）。この補間処理の際に制御部２０７は、補間するデータ量が、間引かれたデータ量と同一となるように、通信状態情報に基づいて補間データ量を制御する。また、図５に示したＹＵＶフォーマット４２０で色差信号が間引かれた場合には、画像データ記憶部２０５に格納されている数ライン前の画像信号を用いてデータが補間される。

補間処理後の画像信号は表示部２０６へ出力される。表示部２０６は、画像信号に基づいて２フレーム目の画像を表示する（表示Ｓ１０６ｂ）。このとき、１フレーム目の通信状態情報に基づいて、現在表示されている画像の間引き量（補間量）が表示部２０６に表示される。

一方、１フレーム目と同様に通信部２０２は、受信した画像信号に付与されたＣＲＣデータを解析し、解析結果を通信状態検出部２０３へ出力する。通信状態検出部２０３は、解析結果に基づいて通信状態を検出し、通信状態情報を生成する（通信状態検出Ｓ１０７ｂ）。通信状態情報は通信部２０２へ出力され、通信部２０２によって送信装置へ送信される（通信状態送信Ｓ１１０ｂ）。また、通信状態情報は制御部２０７へも出力され、次フレームの制御に使用される。

送信された通信状態情報は、送信装置の通信部１０４によって受信される（通信状態取得Ｓ１０８ｂ）。受信された通信状態情報は制御部１０３へ出力される。制御部１０３は、通信状態情報に基づいて、次のフレームの間引き量を決定する（間引き量制御Ｓ１０９ｂ）。制御部１０３が決定した間引き量を示す情報は画像データ間引き部１０２へ出力される。以上が、２フレーム目の処理の内容である。これ以降、２フレーム目の処理と同様の処理が繰り返される。

２フレーム目またはこれ以降に通信状態が悪化し、通信エラーが発生したときは、１フレーム目と同様に受信装置から送信装置へ画像信号の再送要求が送信される。この再送要求は上記の通信状態情報に含まれる。送信装置は、受信装置からの再送要求を受けて、上記の動作を再度行う。

上述したように、本実施形態によれば、送信装置で画像信号のデータ量を削減することによって、データの通信時間を削減できるため、通信エラーが発生したときのデータの再送に余裕ができ、画像信号の再送回数が増加する。これによって、通信状態が悪化した場合においても、画像データの消失を極力防ぎ、規定時間内に１フレーム分の画像信号を伝送することができる。また、受信装置で画像信号のデータ量を復元することによって、画像の画質劣化を最小限にすることができる。また、通信状態の指標となる画像の間引き量（補間量）が表示部に表示されることで、操作者は現在の通信状態を知ることができる。

本実施形態に対しては、各種の変形および変更が可能である。例えば、本実施形態では、画像信号をＹＵＶ４２２フォーマットあるいはＹＵＶ４２０フォーマットで間引いているが、それ以外のフォーマット（ＹＵＶ４１１など）で画像信号を間引いてもよい。また、通信状態をレベルで分別し、通信状態が悪い場合はＹＵＶ４２０フォーマットで間引き処理を行い、通信状態がやや悪い程度の場合はＹＵＶ４２２フォーマットで間引き処理を行ってもよい。

（第２の実施形態）
次に、本発明の第２の実施形態を説明する。本実施形態による画像通信装置も送信装置と受信装置で構成される。本実施形態では、画像信号のデータ量を削減するための処理として、画像信号のデータビット数を削減するＫｎｅｅ処理が送信装置で行われる。また、画像信号のデータ量を復元するための処理として、送信装置で削減されたデータビット数を復元するＤｅｋｎｅｅ処理が受信装置で行われる。従来のＪＰＥＧ圧縮時には色空間から周波数空間への変換処理が行われるが、本実施形態のＫｎｅｅ処理は、画像信号の色空間を保ったまま行われる。

図６は送信装置の構成を示している。図６に示すように、送信装置は、撮像モジュール６０１、Ｋｎｅｅ処理部６０２、制御部６０３、通信部６０４、およびアンテナ６０５を備えている。撮像モジュール６０１は撮像素子を備えており、被写体像を撮像して画像信号を生成する。Ｋｎｅｅ処理部６０２は、撮像モジュール６０１によって生成された画像信号から、Ｋｎｅｅ処理によりデータビット数を削減した画像信号を生成する。制御部６０３は、通信状態に応じてＫｎｅｅ処理部６０２を制御する。通信部６０４は、受信装置へ送信する画像信号の変調処理を行うと共に、受信装置から受信される通信状態情報の復調処理を行う。アンテナ６０５は受信装置との間で電波の送受信を行う。

図７は受信装置の構成を示している。図７に示すように、受信装置は、アンテナ７０１、通信部７０２、通信状態検出部７０３、Ｄｅｋｎｅｅ処理部７０４、表示部７０５、および制御部７０６を備えている。アンテナ７０１は送信装置との間で電波の送受信を行う。通信部７０２は、送信装置から受信する画像信号の復調処理を行うと共に、送信装置へ送信される通信状態情報の変調処理を行う。通信状態検出部７０３は、受信された画像信号に付加されているデータに基づいて通信状態を検出し、その通信状態の内容を示す通信状態情報を生成する。Ｄｅｋｎｅｅ処理部７０４は、受信された画像信号から、Ｄｅｋｎｅｅ処理によりデータビット数を復元した画像信号を生成する。表示部７０５は、Ｄｅｋｎｅｅ処理部７０４によってデータビット数の復元が行われた画像信号に基づいて画像を表示する。制御部７０６は、通信状態に応じてＤｅｋｎｅｅ処理部７０４を制御する。

次に、本実施形態による画像通信装置の動作を説明する。図８は画像通信時の動作の流れを示している。送信装置および受信装置における電源の投入等による起動の後、送信装置において、撮像モジュール６０１による画像信号の生成が開始される。撮像モジュール６０１から出力されたＲＧＢの画像信号（１フレーム目）はＫｎｅｅ処理部６０２に入力される（画像信号入力Ｓ２０１ａ）。Ｋｎｅｅ処理部６０２は、１フレーム目についてはＫｎｅｅ処理を行うことなく、画像信号を通信部６０４へ出力する。通信部６０４は、アンテナ６０５を介して画像信号を受信装置へ送信する（画像信号送信Ｓ２０２ａ）。画像信号を送信する際には、受信装置で通信状態を検出するために、公知の技術によるＣＲＣデータが画像信号に付加される。

受信装置において、通信部７０２は、送信装置から送信された画像信号を、アンテナ７０１を介して受信する（画像信号受信Ｓ２０３ａ）。受信された画像信号はＤｅｋｎｅｅ処理部７０４へ出力される。Ｄｅｋｎｅｅ処理部７０４は、１フレーム目についてはＤｅｋｎｅｅ処理を行うことなく、画像信号を表示部７０５へ出力する。表示部７０５は、画像信号に基づいて１フレーム目の画像を表示する（表示Ｓ２０４ａ）。

一方、通信部７０２は、受信した画像信号に付与されたＣＲＣデータを解析し、解析結果を通信状態検出部７０３へ出力する。通信状態検出部７０３は、解析結果に基づいて通信状態を検出し、通信状態情報を生成する（通信状態検出Ｓ２０５a）。通信状態情報は通信部７０２へ出力され、通信部７０２によって送信装置へ送信される（通信状態送信Ｓ２０８ａ）。また、通信状態情報は制御部７０６へも出力され、次フレームの制御に使用される。

送信された通信状態情報は、送信装置の通信部６０４によって受信される（通信状態取得Ｓ２０６ａ）。受信された通信状態情報は制御部６０３へ出力される。制御部６０３は、通信状態情報に基づいて、次のフレームのデータ削減量（削減ビット数）を決定する（削減量制御Ｓ２０７ａ）。制御部６０３が決定したデータ削減量を示す情報はＫｎｅｅ処理部６０２へ出力される。以上が、１フレーム目の処理の内容である。

続いて、２フレーム目の処理が開始される。送信装置において、撮像モジュール６０１から出力されたＲＧＢの画像信号（２フレーム目）はＫｎｅｅ処理部６０２に入力される（画像信号入力Ｓ２０１ｂ）。Ｋｎｅｅ処理部６０２は、前フレームで決定したデータ削減量に基づいて、画像信号のＫｎｅｅ処理を実行する（Ｋｎｅｅ処理Ｓ２０２ｂ）。

この際にＫｎｅｅ処理部６０２は、Ｋｎｅｅ処理前の画像信号（入力信号）とＫｎｅｅ処理後の画像信号（出力信号）の対応関係を示すテーブルに従ってＫｎｅｅ処理を実行する。図９は、Ｋｎｅｅ処理に用いるテーブルの内容の一例を示している。図９に示す例では、１４ビットの画像信号（入力信号）が１０ビットの画像信号（出力信号）に変換される。また、変換特性の変曲点は３つである。

上記のようにしてデータビット数が削減された画像信号は通信部６０４へ出力される。通信部６０４は、１フレーム目と同様にＣＲＣデータを付加して画像信号を送信する（画像信号送信Ｓ２０３ｂ）。

受信装置において、通信部７０２は、送信装置から送信された画像信号を受信する（画像信号受信Ｓ２０４ｂ）。受信された画像信号はＤｅｋｎｅｅ処理部７０４へ出力される。Ｄｅｋｎｅｅ処理部７０４は画像信号のＤｅｋｎｅｅ処理を実行する（Ｄｅｋｎｅｅ処理Ｓ２０５ｂ）。

この際にＤｅｋｎｅｅ処理部７０４は、Ｄｅｋｎｅｅ処理前の画像信号（入力信号）とＤｅｋｎｅｅ処理後の画像信号（出力信号）の対応関係を示すテーブルに従ってＤｅｋｎｅｅ処理を実行する。図１０は、Ｄｅｋｎｅｅ処理に用いるテーブルの内容の一例を示している。図１０に示す例では、１０ビットの画像信号（入力信号）が１４ビットの画像信号（出力信号）に変換される。また、変換特性の変曲点は３つである。また、Ｄｅｋｎｅｅ処理の際に制御部７０６は、復元するデータビット数が、削減されたデータビット数と同一となるように、通信状態情報に基づいて復元データ量を制御する。

Ｄｅｋｎｅｅ処理後の画像信号は表示部７０５へ出力される。表示部７０５は、画像信号に基づいて２フレーム目の画像を表示する（表示Ｓ２０６ｂ）。このとき、１フレーム目の通信状態情報に基づいて、現在表示されている画像の削減量（復元量）が表示部７０５に表示される。

一方、１フレーム目と同様に通信部７０２は、受信した画像信号に付与されたＣＲＣデータを解析し、通信状態検出部７０３へ出力する。通信状態検出部７０３は、解析結果に基づいて通信状態を検出し、通信状態情報を生成する（通信状態検出Ｓ２０７ｂ）。通信状態情報は通信部７０２へ出力され、通信部７０２によって送信装置へ送信される（通信状態送信Ｓ２１０ｂ）。また、通信状態情報は制御部２０７へも出力され、次フレームの制御に使用される。

送信された通信状態情報は、送信装置の通信部６０４によって受信される（通信状態取得Ｓ２０８ｂ）。受信された通信状態情報は制御部６０３へ出力される。制御部６０３は、通信状態情報に基づいて、次のフレームのデータ削減量を決定する（削減量制御Ｓ２０９ｂ）。制御部６０３が決定したデータ削減量を示す情報はＫｎｅｅ処理部６０２へ出力される。以上が、２フレーム目の処理の内容である。これ以降、２フレーム目の処理と同様の処理が繰り返される。

上述したように、本実施形態によれば、送信装置でＫｎｅｅ処理により画像信号のデータ量を削減することによって、データの通信時間を削減できるため、通信エラーが発生したときのデータの再送に余裕ができ、画像信号の再送回数が増加する。これによって、通信状態が悪化した場合においても、画像データの消失を極力防ぎ、規定時間内に１フレーム分の画像信号を伝送することができる。また、受信装置でＤｅｋｎｅｅ処理により画像信号のデータ量を復元することによって、画像の画質劣化を最小限にすることができる。また、通信状態の指標となるデータ削減量が表示部に表示されることで、操作者は現在の通信状態を知ることができる。

本実施形態に対しては、各種の変形および変更が可能である。例えば、本実施形態では、ＲＧＢの画像信号に対してＫｎｅｅ処理およびＤｅｋｎｅｅ処理を行っているが、ＹＣｂＣｒ信号に対してＫｎｅｅ処理およびＤｅｋｎｅｅ処理を行ってもよい。図１６は、ＹＣｂＣｒ信号に対してＫｎｅｅ処理を行う送信装置の構成を示している。図６に示した構成に対して、撮像モジュール１０１によって生成されたＲＧＢの画像信号をＹＣｂＣｒ信号に変換する色空間変換部１６０１が追加されている。送信装置がＫｎｅｅ処理を行う際には、図１７に示すテーブルを用いればよい。また、受信装置がＤｅｋｎｅｅ処理を行う際には、図１８に示すテーブルを用いればよい。

また、Ｋｎｅｅ処理の際に、Ｒ成分、Ｇ成分、Ｂ成分、およびＹ成分、Ｃｂ成分、Ｃｒ成分の各成分のデータ削減量を一律にする必要はない。例えば、輝度に係るＹ成分のデータ削減量を少なくし、色差に係るＣｒ成分およびＣｂ成分のデータ削減量を多くするということも可能である。

また、Ｋｎｅｅ処理およびＤｅｋｎｅｅ処理における変換特性の変曲点を３つとしているが、復元時の再現性を高めるために変曲点の数をそれ以上にしてもよいし、回路規模削減のためにそれ以下にしてもよい。さらに、通信状態をレベルで分別し、通信状態に応じてデータビット数を１４ビットから８ビットまたは１０ビットにする等、データ量の削減処理を多段階に切り換えてもよい。同様に、通信状態に応じてデータ量の復元処理も多段階に切り換えてもよい。

以下、図１１を参照しながら、本実施形態の変形例を説明する。図１１に示す送信側の処理１１０１は、画像信号を構成する１４ビットのデータのうち上位１０ビットのデータを抽出して送信するものである。また、受信側の処理１１０２は、受信した画像信号を構成するデータの下位４ビットを補間するものである。補間の際には、下位４ビットのＭＳＢ１ビットに‘１’を補間し、ＬＳＢ３ｂｉｔに‘０’を補間する。下位４ビットを上記のように補間することで、送信側の画像データと受信側の画像データとの最大誤差は２^４−１（＝８）となり、下位４ｂｉｔに‘０’を補間した場合の最大誤差２^４−１（＝１５）と比較して誤差が小さくなるので、画質劣化を最小限に抑えることが可能となる。また、この変形例は小規模の回路で実現することができるため、回路規模削減効果もまた得られる。

（第３の実施形態）
次に、本発明の第３の実施形態を説明する。本実施形態による画像通信装置も送信装置と受信装置で構成される。本実施形態では、画像信号のデータ量を削減するための処理として、三板の撮像システムで生成されたＲ，Ｇ，Ｂの各色の信号からなる画像信号から、画素毎に各色の信号の中からいずれかの色信号を削減する処理が送信装置で行われる。すなわち、三板の撮像システムで生成された画像信号では、各画素にＲ，Ｇ，Ｂの３色の信号があるが、送信装置はこの画像信号からＢａｙｅｒデータを生成する。これによって、１画素当たりの色数が３色から１色になるので、データ量が削減される。また、画像信号のデータ量を復元するための処理として、送信装置で削減された色信号を補間する処理が受信装置で行われる。従来のＪＰＥＧ圧縮時には色空間から周波数空間への変換処理が行われるが、本実施形態の処理は、画像信号の色空間を保ったまま行われる。

図１２は送信装置の構成を示している。図１２に示すように、送信装置は、撮像モジュール１２０１、Ｂａｙｅｒデータ生成部１２０２、制御部１２０３、通信部１２０４、およびアンテナ１２０５を備えている。撮像モジュール１２０１は撮像素子を備えており、被写体像を撮像して画像信号を生成する。Ｂａｙｅｒデータ生成部１２０２は、撮像モジュール１２０１によって生成された画像信号から、Ｂａｙｅｒデータで構成される画像信号を生成する。制御部１２０３は、通信状態に応じてＢａｙｅｒデータ生成部１２０２を制御する。通信部１２０４は、受信装置へ送信する画像信号の変調処理を行うと共に、受信装置から受信される通信状態情報の復調処理を行う。アンテナ１２０５は受信装置との間で電波の送受信を行う。

図１３は受信装置の構成を示している。図１３に示すように、受信装置は、アンテナ１３０１、通信部１３０２、通信状態検出部１３０３、画像データ補間部１３０４、画像データ記憶部１３０５、表示部１３０６、および制御部１３０７を備えている。アンテナ１３０１は送信装置との間で電波の送受信を行う。通信部１３０２は、送信装置から受信する画像信号の復調処理を行うと共に、送信装置へ送信される通信状態情報の変調処理を行う。通信状態検出部１３０３は、受信された画像信号に付加されているデータに基づいて通信状態を検出し、その通信状態の内容を示す通信状態情報を生成する。画像データ補間部１３０４は、受信された画像信号から、送信装置で削減された色信号を補間した画像信号を生成する。画像データ記憶部１３０５は、受信された画像信号を記憶する。表示部１３０６は、画像データ補間部１３０４によって色信号の補間が行われた画像信号に基づいて画像を表示する。制御部１３０７は、通信状態に応じて画像データ補間部１３０４を制御する。

次に、本実施形態による画像通信装置の動作を説明する。図１４は画像通信時の動作の流れを示している。送信装置および受信装置における電源の投入等による起動の後、送信装置において、撮像モジュール１２０１による画像信号の生成が開始される。撮像モジュール１２０１から出力されたＲＧＢの画像信号（１フレーム目）はＢａｙｅｒデータ生成部１２０２に入力される（画像信号入力Ｓ３０１ａ）。Ｂａｙｅｒデータ生成部１２０２は、１フレーム目についてはＢａｙｅｒデータの生成を行うことなく、画像信号を通信部１２０４へ出力する。通信部１２０４は、アンテナ１２０５を介して画像信号を受信装置へ送信する（画像信号送信Ｓ３０２ａ）。画像信号を送信する際には、受信装置で通信状態を検出するために、公知の技術によるＣＲＣデータが画像信号に付加される。

受信装置において、通信部１３０２は、送信装置から送信された画像信号を、アンテナ１３０１を介して受信する（画像信号受信Ｓ３０３ａ）。受信された画像信号は画像データ補間部１３０４および画像データ記憶部１３０５へ出力される。画像データ補間部１３０４は、１フレーム目については補間処理を行うことなく、画像信号を表示部１３０６へ出力する。表示部１３０６は、画像信号に基づいて１フレーム目の画像を表示する（表示Ｓ３０４ａ）。また、画像データ記憶部１３０５は画像信号を記憶する（画像信号記憶Ｓ３０９ａ）。

一方、通信部１３０２は、受信した画像信号に付与されたＣＲＣデータを解析し、解析結果を通信状態検出部１３０３へ出力する。通信状態検出部１３０３は、解析結果に基づいて通信状態を検出し、通信状態情報を生成する（通信状態検出Ｓ３０５a）。通信状態情報は通信部１３０２へ出力され、通信部１３０２によって送信装置へ送信される（通信状態送信Ｓ３０８ａ）。また、通信状態情報は制御部１３０７へも出力され、次フレームの制御に使用される。

送信された通信状態情報は、送信装置の通信部１２０４によって受信される（通信状態取得Ｓ３０６ａ）。受信された通信状態情報は制御部１２０３へ出力される。制御部１２０３は、通信状態情報に基づいて、次のフレームの制御内容（Ｂａｙｅｒデータの生成を行うか否か）を決定する（Ｂａｙｅｒ生成制御Ｓ３０７ａ）。制御部１２０３が決定した制御内容を示す情報はＢａｙｅｒデータ生成部１２０２へ出力される。以上が、１フレーム目の処理の内容である。

続いて、２フレーム目の処理が開始される。送信装置において、撮像モジュール１２０１から出力されたＲＧＢの画像信号（２フレーム目）はＢａｙｅｒデータ生成部１２０２に入力される（画像信号入力Ｓ３０１ｂ）。Ｂａｙｅｒデータ生成部１２０２は、前フレームで決定した制御内容に基づいて処理を実行する（Ｂａｙｅｒ生成Ｓ３０２ｂ）。

この際にＢａｙｅｒデータ生成部１２０２は、通信状態が良い場合には、Ｂａｙｅｒデータの生成を行うことなく、画像信号を通信部１２０４へ出力する。また、Ｂａｙｅｒデータ生成部１２０２は、通信状態が悪い場合には、Ｂａｙｅｒデータの生成を行い、Ｂａｙｅｒデータからなる画像信号を通信部１２０４へ出力する。通信部１２０４は、１フレーム目と同様にＣＲＣデータを付加して画像信号を送信する（画像信号送信Ｓ３０３ｂ）。

受信装置において、通信部１３０２は、送信装置から送信された画像信号を受信する（画像信号受信Ｓ３０４ｂ）。受信された画像信号は画像データ補間部１３０４および画像データ記憶部１３０５へ出力される。画像データ記憶部１３０５は画像信号を記憶する（画像信号記憶Ｓ３１１ｂ）。また、画像データ補間部１３０４は画像信号の補間処理（デモザイキング処理等）を実行する（補間処理Ｓ３０５ｂ）。

補間処理後の画像信号は表示部１３０６へ出力される。表示部１３０６は、画像信号に基づいて２フレーム目の画像を表示する（表示Ｓ３０６ｂ）。このとき、１フレーム目の通信状態情報に基づいて、現在表示されている画像の情報（Ｂａｙｅｒデータの生成を行ったか否かの情報）が表示部１３０６に表示される。

一方、１フレーム目と同様に通信部１３０２は、受信した画像信号に付与されたＣＲＣデータを解析し、解析結果を通信状態検出部１３０３へ出力する。通信状態検出部１３０３は、解析結果に基づいて通信状態を検出し、通信状態情報を生成する（通信状態検出Ｓ３０７ｂ）。通信状態情報は通信部１３０２へ出力され、通信部１３０２によって送信装置へ送信される（通信状態送信Ｓ３１０ｂ）。また、通信状態情報は制御部１３０７へも出力され、次フレームの制御に使用される。

送信された通信状態情報は、送信装置の通信部１２０４によって受信される（通信状態取得Ｓ３０８ｂ）。受信された通信状態情報は制御部１２０３へ出力される。制御部１２０３は、通信状態情報に基づいて、次のフレームの制御内容を決定する（Ｂａｙｅｒ生成制御Ｓ３０９ｂ）。制御部１２０３が決定した制御内容を示す情報はＢａｙｅｒデータ生成部１２０２へ出力される。以上が、２フレーム目の処理の内容である。これ以降、２フレーム目の処理と同様の処理が繰り返される。

上述したように、本実施形態によれば、送信装置でＢａｙｅｒデータの生成により画像信号のデータ量を削減することによって、データの通信時間を削減できるため、通信エラーが発生したときのデータの再送に余裕ができ、画像信号の再送回数が増加する。これによって、通信状態が悪化した場合においても、画像データの消失を極力防ぎ、規定時間内に１フレーム分の画像信号を伝送することができる。また、受信装置で補間処理により画像信号のデータ量を復元することによって、画像の画質劣化を最小限にすることができる。また、通信状態の指標となる、Ｂａｙｅｒデータの生成を行ったか否かの情報が表示部に表示されることで、操作者は現在の通信状態を知ることができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、第１の実施形態および第２の実施形態を組み合わせて、ＹＣｂＣｒ信号のうち色差に係る成分を間引くことによって、さらにデータ量を削減してもよい。また、第２の実施形態と第３の実施形態とを組み合わせて、三板の撮像システムから出力された画像信号でＢａｙｅｒデータを生成し、生成したＢａｙｅｒデータのデータビット数を削減してもよい。

また、上記の各実施形態は、三板の同時化方式による撮像システムとなっているが、面順次方式の撮像システムでも可能である。ただし、面順次方式の場合は、画像信号の送信前に同時化処理を行う必要がある。図１５は、第１の実施形態で説明した送信装置を面順次方式の撮像システムに適用する場合の構成を示している。図１５において、図１に示した構成と同一の構成については同一の符号を付与している。図１５に示すように、画像データ間引き部１０２と通信部１０４の間に、画像データ間引き部１０２から出力された画像信号を同時化する同時化処理部１５０１を挿入すればよい。

１０１，６０１，１２０１・・・撮像モジュール、１０２・・・画像データ間引き部、１０３，２０７，６０３，７０６，１２０３，１３０７・・・制御部、１０４，２０２，６０４，７０２，１２０４，１３０２・・・通信部、１０５，２０１，６０５，７０１，１２０５，１３０１・・・アンテナ、１０６，１６０１・・・色空間変換部、２０３，７０３，１３０３・・・通信状態検出部、２０４，１３０４・・・画像データ補間部、２０５，１３０５・・・画像データ記憶部、２０６，７０５，１３０６・・・表示部、６０２・・・Ｋｎｅｅ処理部、７０４・・・Ｄｅｋｎｅｅ処理部、１５０１・・・同時化処理部

Claims

画像信号を送信する送信装置と、前記送信装置によって送信された画像信号を受信する受信装置とを備えた画像通信装置において、
前記送信装置は、
被写体像を撮像して画像信号を生成する撮像部と、
前記受信装置から送信された、通信状態を示す通信状態情報を受信する情報受信部と、
前記撮像部によって生成された、複数の色信号からなる画像信号から、画素毎に前記複数の色信号の中からいずれかの色信号を削減した画像信号を生成する送信側信号処理部と、
前記送信側信号処理部によって生成された画像信号を前記受信装置へ送信する信号送信部と、
受信した前記通信状態情報に基づいて前記送信側信号処理部を制御する送信側制御部とを備え、
前記受信装置は、
前記送信装置によって送信された画像信号を受信する信号受信部と、
受信した画像信号から、前記送信装置で削減された色信号を復元した画像信号を生成する受信側信号処理部と、
通信状態を検出する通信状態検出部と、
前記通信状態検出部によって検出された通信状態を示す前記通信状態情報に基づいて前記受信側信号処理部を制御する受信側制御部と、
前記通信状態情報を前記送信装置へ送信する情報送信部とを備えた
ことを特徴とする画像通信装置。
前記受信装置は、前記通信状態情報に基づいて、通信状態の指標となる情報を表示する表示部をさらに備えたことを特徴とする請求項１に記載の画像通信装置。
前記送信装置は、前記撮像部によって生成された画像信号の色空間を変換する色空間変換部をさらに備え、
前記送信側信号処理部は、前記色空間変換部によって色空間が変換された画像信号から、画素毎に前記複数の色信号の中からいずれかの色信号を削減した画像信号を生成する
ことを特徴とする請求項１に記載の画像通信装置。