JPH07203434A

JPH07203434A - 画像送信装置

Info

Publication number: JPH07203434A
Application number: JP35451193A
Authority: JP
Inventors: Makoto Senda; 誠千田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-12-30
Filing date: 1993-12-30
Publication date: 1995-08-04

Abstract

(57)【要約】【目的】操作者が指定した重要な範囲の画像に対し
て、符号化の際に、重点的に画質向上を図りつつ、効率
の良い符号化処理により伝送効率を向上させることを可
能とする。【構成】操作者が操作部１１より重点範囲指定のモー
ドを選択すると、それを受けてシステム制御部１２は最
初に定められた重点範囲を重点範囲指定部１８に指示
し、重点範囲指定部１８はグラフィック生成部１７にそ
の重点範囲指定を示すための情報を送る。画像符号化部
は、画像の重点位置内の画像データに対しては、それ以
外の位置の画像データより画質を向上させる符号化を行
う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像送信装置に関し、
特にデジタル通信回線を介して、映像及び音声の送受信
を行う画像送信装置に関する。

【０００２】

【従来の技術】従来のアナログの電話回線の場合、音声
のみ伝送可能であり、データも低速でしか伝送できなか
った。

【０００３】しかし、近年、通信技術や半導体技術、光
技術の進歩にともない、デジタル回線が整備され、高速
で大容量のデータの伝送が可能になった。

【０００４】特に、デジタル伝送の特徴としては、伝送
による品質低下がなく同レベルの品質が保たれること、
伝送データのメディアの特性に応じた伝送路を必要とせ
ず、メディアの統合が図れることなどがあり、複合メデ
ィア端末間の伝送が可能になった。よって、従来の音声
のみの伝送から映像をも同時に伝送する電話端末が出現
している。

【０００５】こうした状況の中、異なる複合端末間にお
いても相互通信が可能になるようＣＣＩＴＴなどによる
国際標準化が進められており、デジタル回線を用いたテ
レビ電話、デレビ会議システムなどのＡＶ（Ａｕｄｉｏ
Ｖｉｓｕａｌ）サービスとしてＡＶサービス用のサー
ビス規定、プロトコル規定、マルチメディア多重化フレ
ーム構成規定がＣＣＩＴＴ勧告（または草案）Ｈ．３２
０，Ｈ．２４２，Ｈ．２２１などとして発表されてい
る。

【０００６】Ｈ．２２１では、６４Ｋｂｐｓから１９２
０ＫｂｐｓまでのＡＶサービスにおけるフレーム構成及
び端末能力の交換や通信モードのＦＡＳ（Ｆｒａｍｅ
ＡｌｉｇｎｍｅｎｔＳｉｇｎａｌ）、ＢＡＳ（Ｂｉｔ
ＡｌｌｏｃａｔｉｏｎＳｉｇｎａｌ）の符号割当が
定義されている。

【０００７】Ｈ．２４２ではＢＡＳを用いたＡＶ端末間
での能力交換及び通信モード切り替えなどのプロトコル
が定義され、Ｈ３２０ではＡＶサービス全般のシステム
アスペクトが定義されている。

【０００８】上記勧告（または勧告草案）においては、
エンドツーエンドの物理コネクションの設定及びインチ
ャネルでのＡＦＳによる同期確立後、インチャネルＢＡ
Ｓを用いた端末能力の交換シーケンス、通信モードの指
定によるモード切り替えシーケンスなどの手順により端
末間で画像、音声、データなどのマルチメディア通信を
行うための方法が規定されている。

【０００９】但し、各端末において自己の端末能力を状
況に応じて変化させたり交換された能力の範囲内でどの
通信モードを用いるかは規定の範囲外である。

【００１０】マルチメディア通信における各メディアの
情報転送速度は、音声情報は音声符号化方式を指定する
ことで決定され、データ情報は、その使用の有無、使用
する場合の転送速度を指定することにより決定され、設
定した通信路全体の情報転送速度から、音声情報の転送
速度とデータ情報の転送速度を引いた残りが画像情報の
転送速度になる。

【００１１】

【発明が解決しようとする課題】しかしながら、上記従
来例のＴＶ電話装置によれば、現在の符号化方法の場合
には、あるブロック単位で、そのブロック内の画像の特
性を調べ、その特性に応じた符号化制御方法が実施され
ている。あるいは、背景か人物かなどある程度会議の模
様を想定し、人が中央に居て、周囲が背景であることを
前提とした符号化制御も実施されている。

【００１２】よって、前者の場合には、単にブロック内
の画像の特性で判断してしまうので、かなりミクロ的な
画像の見方となり、そのブロックの画像が画面全体で重
要なブロックか否かを判断するのは難しい。特に、１フ
レームのデータの発生量を任意の値に制限しようとする
と、画面全体が重要度が同一と仮定し均一の画像データ
量に抑えこもうとするので符号化制御も各ブロックで同
一の処理がなされ、本当に重要な画像の画質を向上させ
ることができないという問題かある。

【００１３】また、後者の場合には、固定された条件の
時でその条件に合った場合には、効率的な符号化が可能
であるが、その条件に合わない場合には、逆に、その符
号化制御が効率化の妨げとなり、通常より効率を落して
しまうという問題がある。また、上記条件が必ずしも操
作者の意志が反映されているわけではないので操作者の
要求を満たさないという問題もある。

【００１４】そこで本発明の目的は以上のような問題を
解消した画像送信装置を提供することにある。

【００１５】

【課題を解決するための手段】本発明は、送信画像を表
示する表示手段と、該表示された送信画像に画像の重点
位置を示す情報を表示し、該重点位置を対話的に設定す
る設定手段と、該画像の重点位置内の画像データに対し
ては、それ以外の位置の画像データより画質を向上させ
る符号化を行う符号化手段と、有することを特徴とす
る。

【００１６】さらに本発明は、好ましくは前記画像の重
点位置を少なくとも１つ指定する指定手段を有すること
を特徴とする。

【００１７】さらに好ましくは前記指定手段は前記画像
の重点位置を複数のレベルで指定することを特徴とす
る。

【００１８】さらに好ましくは前記指定手段は、前記画
像の重点位置を符号化の最小画像ブロック単位に指定す
ることを特徴とする。

【００１９】さらに好ましくは前記符号化手段は、前記
画像の重点位置の画像データの量子化ステップ幅を重点
位置以外の量子化ステップ幅より小さくすることを特徴
とする。

【００２０】さらに好ましくは前記符号化手段は、前記
画像の重点位置の画像データの量子化データのしきい値
を重点位置以外の量子化データのしきい値より小さくす
ることを特徴とする。

【００２１】さらに好ましくは前記符号化手段は、前記
画像の重点位置の画像データの（前フレームと現フレー
ムとの差分値を符号化するモード）および（現フレーム
の原画像を符号化するモード）のいずれかを判別するた
めの境界値を前記重点位置以外の境界値より（現フレー
ムの原画像を符号化するモード）をより多く発生するよ
うに定めることを特徴とする。

【００２２】さらに好ましくは前記符号化手段は、前記
画像の重点位置の画像データの強制的な（現フレームの
原画像を符号化するモード）の発生周期を前記重点位置
以外の発生周期より短くすることを特徴とする。

【００２３】さらに好ましくは前記画像の重点位置の表
示がオフしても既に登録済みの前記重点範囲をそのまま
有効にする手段を有することを特徴とする。

【００２４】操作者が指定した重要な範囲の画像に対し
て、符号化の際に、重点的に画質向上を図りつつ、効率
の良い符号化処理により伝送効率を向上させることを可
能とする。

【００２５】

【実施例】以下、本発明の一実施例を図面を参照して説
明する。

【００２６】図１は本発明の一実施例に係わるＴＶ電話
装置の構成ブロック図である。同図において、１は、本
装置の音声入出力手段の一つであるハンドセット、２
は、本装置の音声入力手段の一つであるマイク、３は、
本装置の音声出力手段の一つであるスピーカ、４は、シ
ステム制御部１２の指示により、音声入出力手段として
ハンドセット１、マイク２、スピーカ３を切り換える機
能、音量レベル調整のための利得調整機能、ハンドセッ
ト１が、オンフック状態かオフフック状態かを検知する
オン／オフ検知機能、音声入出力手段として、マイク２
とスピーカ３を使用した時にエコーを消去するためのエ
コーキャンセル機能、ダイヤルトーン、呼出トーン、ビ
ジートーン、着信音などのトーン生成機能をもつ音声イ
ンターフェース（ｉ／ｆ）部、５は、システム制御部１
２の指示により、６４ｋｂｐｓＰＣＭ（Ａ−ｌａｗ）、
６４ｋｂｐｓＡＤＰＣＭ（μ−ｌａｗ）、７ｋＨｚオー
ディオ（ＳＢ−ＡＤＰＣＭ）、３２ｋｂｐｓＰＣＭ、１
６ｋｂｐｓ（たとえば、ＡＰＣ−ＡＢ）８ｋｂｐｓなど
の音声符号化／複合化アルゴリズムにしたがって、送信
音声信号をＡ／Ｄ変換し符号化する機能、受信音声信号
を複合化してＤ／Ａ変換する機能をもつ音声符号化復号
化部である。

【００２７】６は、標準装備され人物を撮像するカメ
ラ、７は、本装置の画像入力手段の一つであり、絵や図
面などを入力するための書画カメラ、８は、カメラ６ま
たは書画カメラ７よりの入力画像や相手からの受信画像
やシステム制御部１２からの画像を表示する表示部、９
は、システム制御部１２の指示により、画像入力手段の
切り換え機能、上述した各画像の表示切り換え及び表示
分割機能、各画像入出力部の映像信号と電気的／信号的
に整合をとるための信号変換機能をもつ画像入出力部、
１０は、送信画像をＡ／Ｄ変換し符号化する機能、受信
画像を復合化しＤ／Ａ変換する機能をもつ画像符号化復
号化部であり、大容量の画像の生データに、動き補償、
駒落とし、フレーム間補償及びフレーム間補償、ＤＣＴ
変換、ベクトル量子化変換などの種々の手法によって帯
域圧縮を行い、小容量化してデジタル回線で伝送可能に
している。現在、ＩＳＤＮ回線の基本インターフェース
が６４ｋｂｐｓであるが、この伝送速度でも伝送可能な
画像の符号化方式としてはＣＣＩＴＴ勧告草案Ｈ、２６
１がある。

【００２８】１１は、本装置の制御をするために制御情
報入力に使用するキーボード、タッチパネルなどの操作
部、１２は、ＣＰＵ、ＲＯＭ、ＲＡＭ、補助記憶装置、
キャラクタジェネレータ、画像信号生成回路などを備
え、各部の状態を監視し装置全体の制御、状態に応じた
操作／表示画面作成およびアプリケーションプログラム
の実行などを行うシステム制御部、１３は、音声符号化
部復号化部５からの音声データ、ビデオ符号化復号化部
１０からの画像データ、システム制御部１２からのＢＡ
Ｓを送信フレーム単位に多重化するとともに、受信フレ
ームを構成単位の各メディアに分離し各部に通知する多
重分離部であり、ＣＣＩＴＴ勧告としては、Ｈ．２２１
がある。

【００２９】１４は、ＩＳＤＮユーザ網インターフェー
スに従って回線を制御する回線インターフェースであ
る。１５は、音声ｉ／ｆ部４および画像入出力部９から
のデータを収録して格納し、かつ、格納されているデー
タを必要に応じて再生可能な蓄積部、１６は、システム
制御部１２からの制御信号ｄにより画像復号化部からの
画像ｂと画像入力部からの画像ａとグラフィック生成部
１７からのグラフィック画像ｃとを合成して画像出力部
へ転送する画像合成部である。グラフィック生成部１７
は、システム制御部１２において生成されるＣＧ及びビ
ットマップからグラフィックデータを生成する。１８
は、システム制御部１２からの情報により画像重点位置
を記憶し、グラフィック生成部１７と画像符号化部にそ
の重点位置を指示する重点範囲指定部、１９はグラフィ
ック生成部１７に転送する送信画面のフォーマット等
や、重点範囲指定の範囲やその処理方法などを記憶して
保管管理しておく記憶部であって、システム制御部１２
内に設けられている。

【００３０】次に、動作説明をすると、操作者が操作部
１１より重点範囲指定のモードを選択すると、それを受
けてシステム制御部１２は最初に定められた重点範囲を
重点範囲指定部１８に指示し、重点範囲指定部１８はグ
ラフィック生成部１７にその重点範囲指定を示すための
情報を送る。その情報とは、例えば重点範囲の表示画面
上の座標位置情報と重点位置の表示方法の情報である。

【００３１】グラフィック生成部１７はその情報を基に
画面に表示されるべくグラフィックデータの表示位置と
そのグラフィックデータの画情報を生成し、画像合成部
１６へ転送する。この画情報とは実際に表示される色情
報ではなく表示可能色の中から同時表示可能な色情報を
選択し登録されているテーブル（カラールックアップテ
ーブル）のインデックス情報である。

【００３２】ここで、画像合成部１６について内部構成
を図２に示す。

【００３３】２０は画像入力部からの送信画像を受信蓄
積する送信ビデオＲＡＭ、２１は、画像復号化部からの
受信画像を受信蓄勢する受信ビデオＲＡＭ、２２は、グ
ラフィック生成部１７から転送されたインデックス情報
を画像データの色情報に変換するカラールックアップテ
ーブル、２３は、送信ビデオＲＡＭ２０、受信ビデオＲ
ＡＭ２１、カラールックアップテーブル２２からの画像
データ出力タイミングである垂直同期及び水平同期信号
を発生するビデオ同期発生部、２４は、送信ビデオＲＡ
Ｍ２０から出力された画像データをシステム制御部１２
からの指示により所望の大きさに変倍する画像変倍部、
２５は、受信ビデオＲＡＭ２１から出力された画像デー
タをシステム制御部１２からの指示により所望の大きさ
に変倍する画像変倍部である。

【００３４】２６は、表示部８の画面上の各画素位置
（各表示タイミング）毎に、システム制御部１２から指
示されたビデオスイッチ（ＳＷ）２７の切換え指示の画
像データに基づいて、カラールックアップテーブル２２
から出力された画像データを監視し、その画像データが
送信ビデオＲＡＭ２０からの画像データを監視し、その
画像データが送信ビデオＲＡＭ２０からの画像データを
選択する画像データの時には、ＳＷ２７に送信ビデオＲ
ＡＭ２０からの画像データを選択して出力させる制御を
し、その画像データが受信ビデオＲＡＭ２１からの画像
データを選択する画像データの時には、ＳＷ２７に受信
ビデオＲＡＭ２１からの画像データを選択して出力させ
る制御をし、それ以外の画像データの場合には、カラー
ルックアップテーブル２２から出力された画像データを
選択して出力させる様に制御するＳＷ制御部、ＳＷ２７
は、各画像データからＳＷ制御に基づきいずれか一つ選
択し画像出力部へ出力する。

【００３５】この画像合成部１６により、カラールック
アップテーブル２２からのグラフィックデータを画面全
面に表示し、その画面上に送信ビデオＲＡＭ２０からの
送信画像データと受信ビデオＲＡＭ２１からの受信画像
データをウィンドウ表示させることができる。また、送
信画像データが受信画像データ上にスーパーインポーズ
表示のようにカラールックアップテーブルからのグラフ
ィックデータを表示させることが可能である。さらにま
た、送信画像データと受信画像データが重なり合った時
に、その重なり部分をどちらかの画像を選択して表示す
ることができる。

【００３６】次に画像符号化復号化部１０内の画像符号
化部の内部構成図を図３に示す。

【００３７】２８は、全体制御部の中でもシステム制御
部からの指示に従い判別処理した、その判別結果に対し
ての各部への制御をしたり、必要な情報の生成を行う符
号化制御部、２９は、重点範囲指定部１８から重点位置
情報を取込み、その重点位置のＭＢ及び重点位置に対し
ての優先される符号化制御を登録しておく重点ＭＢ登録
部、３０は、符号化対象となる画像フレームを間引くこ
とにより発生符号量を抑制するコマ落し制御部、３１
は、前フレームと現フレームの同一のＭＢをフレーム間
の平均二乗誤差やフレーム内の分散等を算出してＩＮＴ
ＥＲ（前フレームと現フレームの画像の差分値）／ＩＮ
ＴＲＡ（現フレームの原画像値）を判別するＩＮＴＥＲ
／ＩＮＴＲＡ判別処理部、３２は、対象となる現フレー
ムのブロックが前フレームのある範囲内をサーチしてパ
ターンマッチングするかどうか、つまり動き補償するか
否かを判別するＭＣ判別部、３３は、ＭＣ判別部３２の
判別結果により動き補償の有無と動きベクトル（方向、
大きさ）を指示することによりＭＣ制御を行うＭＣ制御
部、３４は、ＩＮＴＥＲ／ＩＮＴＲＡ判別部３１の判別
結果によりＩＮＴＥＲ／ＩＮＴＲＡ制御を各部へ指示す
るＩＮＴＥＲ／ＩＮＴＲＡ制御部である。

【００３８】３５は、動き補償した後にフィルタ処理を
指示するフィルタ制御部、３６は、同一のＭＢに対し
て、ＩＮＴＥＲが続くと受信側で量子化誤差が累積す
る、あるいは伝送エラーなどによる復号画像の乱れが生
じた場合に復旧できないなどの問題が生じるために、あ
る期間でＩＮＴＲＡにして、リフレッシュするためのリ
フレッシュ周期カウンタ、３７は、量子化した際のデー
タの発生効率をよくするためにしきい値を制御し、ある
値以下のデータは０値としてデータを発生しないように
する量子化しきい値制御部、３８は、送信バッファ４９
のデータ蓄積量に応じて量子化ステップサイズを制御す
る量子化ステップサイズ制御部、３９は、送信バッファ
４９の蓄積量を検出する送信量検出部、４０は、フレー
ムヘッダ、ＧＯＢヘッダ、ＭＢヘッダを生成するヘッダ
情報生成部、４１は、フレームメモリ、４２，４３は、
ＩＮＴＥＲ／ＩＮＴＲＡを選択するスイッチ、４４は、
ＩＮＴＥＲの際の前フレームと現フレームの差分をとる
減算器である。

【００３９】４５は、直交変換により空間領域から周波
数領域に変換するＤＣＴ変換部（不可逆符号化）、４６
は、量子化器、４７は、発生したデータを可変長符号化
するＶＬＣ部（可逆符号化）、４８は、多重化部、４９
は、送信バッファ、５０は、誤り訂正フレームを生成す
るＢＣＨ部、５１は、逆量子化器、５２は、逆ＤＣＴ変
換部、５３は、前フレームと現フレームとを加算する加
算器、５４，５５は、読みだしフレームと書込みフレー
ムを交互に切換えるスイッチ、５６，５７は、フレーム
メモリ、５８は、スイッチ５４，５５とフレームメモリ
５６，５７を制御するＦＭ制御部、５９は、前フレーム
をサーチして現フレームとのパターンマッチングを検出
する動き補償部、６０，６１は、フィルタのＯＮ／ＯＦ
Ｆを選択するスイッチ、６２は、フィルタ処理部、６３
は、ＦＩＦＯ（メモリ）６４へのデータの入力をＯＮ／
ＯＦＦするスイッチである。

【００４０】符号化処理を行う画像の構成については、
図４に示す。

【００４１】Ｈ．２６１勧告草案においては、取り扱う
ビデオ信号は、ＮＴＳＣ，ＰＡＬ，デジタルテレビ規格
などの異なった複数の規格が存在するため、お互いに通
信ができるように世界共通のビデオ信号フォーマットを
採用している。

【００４２】このフォーマットは、ＣＩＦフォーマット
と称し、標本数が輝度Ｙは３５２画素×２８８ライン、
色差Ｃｒ，Ｃｂは１７６画素×１４４ラインで規定され
ている。

【００４３】標本点（サンプリング点）については、色
差（Ｃｒ，Ｃｂ）は、輝度４地点（Ｙ１，Ｙ２，Ｙ３，
Ｙ４）の等距離にある点と定められている。

【００４４】更に、ＣＩＦの１／４はＱＣＩＦフォーマ
ットと称し、標本数が輝度Ｙは１７６画素×１４４ライ
ン、色差Ｃｒ，Ｃｂは、８８画素×７２ラインで定義さ
れている。

【００４５】ここで、上記フォーマットは、ＧＯＢフォ
ーマット複数個で構成され、そのＧＯＢフォーマットは
ＭＢフォーマット３３個で構成され、更に、ＭＢフォー
マットは、８画素×８ラインの輝度ブロックをＹ１，Ｙ
２，Ｙ３，Ｙ４の４ブロックと８画素×８ラインの色差
ブロックをＣｒ，Ｃｂの２ブロックとで構成されてお
り、階層構造になっている。

【００４６】この階層構造により符号化をＭＢ単位で行
うことが可能となる。

【００４７】ＧＯＢは、標本数が輝度１７６画素×４８
ライン、色差Ｃｒ，Ｃｂ８８画素×２４ラインに定義さ
れ、ＣＩＦの１／１２，ＱＣＩＦの１／３に相当し、Ｇ
ＯＢの番号がＣＩＦはＧＯＢ１からＧＯＢ１２まで、Ｑ
ＣＩＦは、ＧＯＢ１，ＧＯＢ３，ＧＯＢ５が割り当てら
れている。

【００４８】次に、符号化された画像データのフレーム
構成は図５に示すような多重化フレーム構成となってい
る。ただし、ここでは説明の都合上、ＦＨは付加したま
ま説明することとする。

【００４９】図５の（ａ）はＧＯＢのブロックによる構
成を示している。このように画面の１フレームのデータ
の先頭にＦＨがつき、画面を１２分割したブロックをＧ
ＯＢとして、ＧＯＢ１からＧＯＢ１２まで順次伝送され
る。

【００５０】ＧＯＢの分割方法を、図５の（ｂ）に示
す。図５の（ｂ）は、（ａ）のＦＨとＧＯＢの詳細の内
容を示している。ＦＨは、ＰＳＣとＴＲとＰＴＹＰＥで
構成されている。ＰＳＣはフレーム開始符号で２０ビッ
トの“０００００００００００００００１００
００”である。ＴＲはフレーム番号で５ビットの“１”
から“３０”までの値を使用する。ＰＴＹＰＥはタイプ
情報で６ビットで、スプリット・スクリーン指示情報、
書画カメラ指示情報、画面凍結解除、情報源フォーマッ
ト指示情報（ＣＩＦ，ＱＣＩＦ）が含まれている。つま
り、ＦＨ解読部は、上記内容の解読結果を制御部２８に
通知することになる。

【００５１】次に、ＧＯＢヘッダは、ＧＢＳＣとＧＮと
ＧＱＵＡＮＴで構成されている。ＧＢＳＣはＧＯＢ開始
符号で１６ビットの“００００００００００００
０００１”である。ＧＮはＧＯＢ番号で４ビットで
“１”から“１２”まで使用する。ＧＮが“０”の場合
にはＰＳＣで使用しているので、ＦＨのＰＳＣとＧＯＢ
のＧＢＳＣ＋ＧＮは、共に２０ビットで連続した値と見
なすことができる。ＧＱＵＡＮＴは量子化特性情報で５
ビットで量子化ステップサイズの情報を含む。

【００５２】ＭＢヘッダはマクロブロック（以後、ＭＢ
と称する）と称する画素ブロックのヘッダである。

【００５３】ＭＢは上述したように、３３個のＭＢで１
つのＧＯＢを構成しており、ＩＭＢは８画素×８ライン
の輝度信号（Ｙ）４個と８画素×８ラインの色差信号
（Ｃｂ，Ｃｒ）２個で構成されている。ここで、各ブロ
ックの番号として、Ｙには１から４まで、Ｃｂには５、
Ｃｒには６の番号が割当てられている。このＭＢヘッダ
はＭＢＡとＭＴＹＰＥとＭＱＵＡＮＴとＭＶＤとＣＢＰ
で構成されている。

【００５４】ＭＢＡはＭＢの位置を表すマクロブロック
アドレスで先頭のＭＢのみ絶対値で、それ以降は、差分
の可変長符号である。ＭＴＹＰＥはＭＢのタイプ情報
で、ＩＮＴＲＡ（フレーム内符号化）、ＩＮＴＥＲ（フ
レーム間差分符号化）、ＭＣ（動き補償付きフレーム間
差分符号化）、ＦＩＬ（フィルター）などそのＭＢのデ
ータに処理を施した処理タイプが挿入されている。ＭＱ
ＵＡＮＴはＧＱＵＡＮＴと同じである。ＭＶＤは動きベ
クトル情報である。ＣＢＰは有意ブロックパターンで先
ほどのＭＢのＹの４個とＣｒ，Ｃｂのうちの有効な画素
ブロックの番号を情報として含んでいる。このＭＢヘッ
ダのあとには、圧縮符号化した画像データが先述したよ
うに、Ｙ４個Ｃｒ，Ｃｂのうち有意ブロックとなった画
素ブロックが番号順に入っている。

【００５５】次に、回線に出力されるデータは、図６に
示すようなフォーマットの誤り訂正フレームである。１
フレームは、誤り訂正フレームビットが１ビット、フィ
ル識別子が１ビット、画素データが４９２ビット、誤り
訂正パリティーが１８ビットの計５１２ビットで構成さ
れている。更に、このフレームが８フレームで１マルチ
フレームを構成している。

【００５６】この画像の圧縮方法は、ＣＣＩＴＴでＨ．
２６１勧告として勧告化されており、その勧告に準拠し
ていれば、他の勧告に準拠したＴＶ電話とも相互通信が
可能となる。

【００５７】符号化方法を簡単に説明すると、まず、自
然界の映像には画素間の相関が強いことや周波数成分が
低周波に集中し高周波は小さいことなどを利用してフレ
ーム内のデータを８画素×８画素のブロックとし２次元
ＤＣＴ変換するフレーム内符号化と、前フレームと現フ
レームの同位置の画像ブロックにおいて両者の相関が強
い時にフレーム間の差分を取りその差分値に対して８画
素×８画素のブロックを２次元ＤＣＴ変換するフレーム
間符号化と、前フレームから現フレームへ類似した画像
ブロックが相対的に隣接移動した場合に、これを検知し
てその画像ブロックの移動量と移動方向の情報を送るの
みで画像データそのものを送らずに済ませることで発生
データ量を減らす動き補償と、ＤＣＴ変換後の各周波数
ごとの係数値が低周波領域では値が発生するが、高周波
領域では値が発生しにくくゼロ値が続くことを利用した
ゼロランレングス符号化と、データの発生量に応じてデ
ータの量子化ステップ幅を変更する事でデータの発生量
を調整する量子化と、発生頻度の高いデータパターンに
対しては短い符号値を、発生頻度の低いデータパターン
に対しては長い符号値に割当てることで、トータル的に
発生したデータ量よりも少ないデータ量に変換する可変
長符号化と、フレームをスキップして、画像データその
ものを落してしまう駒落しなど複数の圧縮技術をハイブ
リットにし低レートの通信においても動画像を通信可能
としている。

【００５８】次に、重点範囲指定をする方法であるが、
図７に示すように重点範囲をＭＢ単位に指定する。図７
の粗いドットで示した領域は、優先順位２番目、斜線で
示した領域は、優先順位１番目を示している。

【００５９】この領域を囲んだ枠を図１の重点範囲指定
部１８からグラフィック生成部１７へ転送し、グラフィ
ック生成部１７はその枠情報を画像合成部１６へ転送
し、画像合成部１６は、映像信号ａのカメラからの自画
像に上記の枠情報を合成して画像出力部へ転送し画像出
力部から表示部８へ表示する事で、操作者に重点範囲を
知らせる。その表示画面の具体的なイメージを図８に示
す。

【００６０】図８の（ａ）は、相手画像をフル画面、自
画像をサブ画面として表示し、その自画像を拡大したの
が（ｂ）である。（ｂ）には、重点範囲を示す枠が表示
されている。この枠内が重点範囲を示している。

【００６１】（ｃ）は、複数の重点位置を指定している
場合の例である。このように複数の被写体が対象の場合
には、複数の重点範囲を指定して重点的に符号化するこ
とにより符号化効率を高めることができる。（ｄ）は、
重点範囲を複数のレベルで指定する場合である。内枠の
方が外枠よりも高い重点レベルに指定する事で、よりき
め細かく重点的に符号化することが可能となる。

【００６２】図９は、ＭＢ制御管理テーブルを示す。こ
のＭＢ制御管理テーブルは、各ＭＢに対して如何に符号
化を制御するかを管理するテーブルである。

【００６３】ＭＢNo. の指定方法は、ＧＯＢNo. とSTAR
T ＭＢNo. とEND ＭＢNo. により指定され管理されてい
る。START ＢNo. は、ＧＯＢNo. 内の重点位置が開始し
たＭＢNo. であり、END ＭＢNo. は、ＧＯＢNo. 内の重
点位置が開始したＭＢNo. である。このSTART ＭＢNo.
とEND ＭＢNo. 間のＭＢについても重点範囲のＭＢとな
る。よって、複数の範囲指定や複数のレベル指定がある
場合には同一のＧＯＢNo. 内で、複数のSTART ＭＢNo.
とEND ＭＢNo. の指定がある。

【００６４】こうして定められたＭＢは、その重点レベ
ルにより、ＩＮＴＥＲ／ＩＮＴＲＡ判別基準、量子化し
きい値基準、量子化ステップサイズ基準、リフレッシュ
周期基準が規定されておりその各制御基準により制御さ
れる。重点レベルが非該当のＭＢは、通常のＭＢと判断
され制御される。

【００６５】図９の管理表は、図７の重点位置指定に基
づいて作成した例である。ＩＮＴＥＲ／ＩＮＴＲＡ判別
基準については、図１０で示されている。図１０の
（ａ）は、通常の場合のＩＮＴＥＲ／ＩＮＴＲＡ判別基
準を示している。縦軸は、対象となるＭＢの現フレーム
のブロック内（Ｂ）の差分の分散値であり、下式で定義
されている。

【００６６】

【数１】ｆ−ｄｉｆ＝ ΣＢ²／２５６ − （ΣＢ
／２５６）² 横軸は、対象となるＭＢの前フレームの動き補償後のブ
ロック（ＭＣＢ）と現フレームのブロック（Ｂ）との差
分の平均二乗誤差値であり、下式で定義されている。

【００６７】

【数２】ｍｃ−ｄｉｆ＝ Σ｜Ｂ−ＭＣＢ｜²／２５６判別基準としては、ｍｃ−ｄｉｆがある値より小さい場
合には、無条件に、ＩＮＴＥＲモードと判別され、ｆ−
ｄｉｆ≧ｍｃ−ｄｉｆの時は、ＩＮＴＥＲ、ｆ−ｄｉｆ
＜ｍｃ−ｄｉｆの時は、ＩＮＴＲＡと判別される。

【００６８】（ｂ）は、無条件にＩＮＴＥＲモードに判
別するｍｃ−ｄｉｆの値を通常より小さい値に設定する
ことで、ｍｃ−ｄｉｆが小さい場合にもｆ−ｄｉｆ≧ｍ
ｃ−ｄｉｆの時は、ＩＮＴＥＲ、ｆ−ｄｉｆ＜ｍｃ−ｄ
ｉｆの時は、ＩＮＴＲＡと判別させることで、通常よ
り、ＩＮＴＲＡの発生確率を上げた場合の判別基準であ
る。これは、フレーム内の差分が小さい場合にＩＮＴＲ
Ａとしてしまうことで、データの発生量が少ない状態で
受信側の量子化誤差を無くすことが可能となる。

【００６９】（ｃ）は、ＩＮＴＥＲとＩＮＴＲＡの境界
線の傾きを通常より大きくする事で、点線と実線の境界
に囲まれる領域において、つまり、通常の場合より傾き
の増加の割合分だけ多くＩＮＴＲＡと判別するようにし
た場合のＩＮＴＥＲ／ＩＮＴＲＡ判別基準である。よっ
て、上記割合分は、ＩＮＴＲＡと判別され、その発生確
率分だけ、受信側の量子化誤差を無くすことが可能とな
り、画質の向上が図れる。特に、ｍｃ−ｄｉｆが大きく
なるにつれてＩＮＴＲＡの発生確率が増すため、差分値
が大きい場合の量子化誤差の累積を軽減することが可能
となる。

【００７０】（ｄ）は、通常時より、ＩＮＴＥＲ／ＩＮ
ＴＲＡの境界線を、ｍｃ−ｄｉｆの小さい方へ平行にシ
フトすることで、その境界線のズレた領域においては、
ＩＮＴＲＡを発生するようにした場合のＩＮＴＥＲ／Ｉ
ＮＴＲＡ判別基準である。つまり、ＩＮＴＥＲとＩＮＴ
ＲＡの発生する境界のしきい値がｆ−ｄｉｆの高い方へ
一定値分シフトしているのでそのシフトした値分だけ、
ＩＮＴＲＡが発生することになるため、ｍｃ−ｄｉｆの
値に関わらず、確実にＩＮＴＲＡと判別される確率が増
すことになる。

【００７１】このように、通常よりＩＮＴＲＡが発生す
るようにすることで、受信側の量子化誤差の累積を極力
抑え、また、復号化誤り等による画質劣化をできるだけ
早期にリフレッシュすることが可能となる。

【００７２】図９の量子化しきい値基準は、量子化後に
０となった係数値に対しては、ゼロランレングス符号化
をして、データ発生量を抑える手法をとっているため、
この０の係数をできるだけ連続して発生するための可変
しきい値制御の最大値を示している。ただし、設定され
た量子化ステップサイズに対して倍率であるので量子化
ステップサイズにこの倍率をかけた値が量子化しきい値
の最大値となる。通常は、２倍とし、しきい値を大きく
することでより多くの係数０値が発生される。よって、
量子化しきい値を小さくすることで、通常であれば０値
に丸められていた係数値も値をもつようになり、より詳
細な係数を送ることが可能となるため復号時の画像の再
現性は向上する。

【００７３】次に、図９の量子化ステップサイズ基準で
あるが、通常、重点画像など特別な画像ブロックが存在
しない場合には、図１１の（ａ）のように、各画像ブロ
ックとも同一の量子化処理がなされる。

【００７４】図１１の縦軸は、量子化ステップサイズを
表している。値としては、２から６２の幅で変化する。
横軸は、送信バッファの充足度である。バッファ充足度
とは、フレームの発生データ量が決められているため
（Ｈ．２６１勧告では、ＱＣＩＦでは、６４ｋｂｉｔ
で、ＣＩＦでは、２５６ｋｂｉｔと規定されている）、
そのデータ量を基に各ブロックに平均的に割当てた場合
に期待される発生データ量を基準にして実際に発生した
データ量との差の増減を累積した値のことである。

【００７５】（ａ）は、充足度に対して量子化ステップ
サイズがリニアに変化している場合を示している。つま
り、発生データ量が多くなり充足度が大きくなるにつれ
て、量子化ステップサイズを大きくし、発生データ量を
抑える。逆に、発生データ量が少なく充足度が小さくな
るにつれて、量子化ステップサイズを小さくし、画質を
向上させる。

【００７６】（ｂ）は、通常の画像ブロックと重点位置
の画像ブロックの量子化ステップサイズ処理を分け、同
一の送信バッファ充足度において、通常の場合には、量
子化ステップサイズを大きくし、重点位置の場合には、
量子化ステップサイズを小さくすることで重点位置の画
像ブロックに対してより多くのデータを割当てるように
した。

【００７７】（ｃ）は、重点レベルが複数ある場合で、
重点レベル１の方が重点レベル２よりも重点レベルが上
の場合である。通常の場合には、送信バッファ充足度が
フルになる前に、量子化ステップサイズが最大値に達し
ているので、かなり荒い画質になると思われる。

【００７８】（ｄ）は、通常と重点位置の画質を極端に
した場合の例である。（ｃ）に比べかなりの開きがある
ので、（ｃ）よりも重点位置の画質は向上しているもの
と思われる。図９の例では、図１１の（ｃ）が使用され
ている。

【００７９】次に、図９のリフレッシュ周期基準である
が、受信側の量子化誤差や受信データのエラーなどによ
って、ＩＮＴＥＲモードによる差分値だけの伝送では改
善されないので、通常は、最大１３２回までに原画像
（ＩＮＴＲＡ）を相手端末に送信することで画像をリフ
レッシュして対応する。そこで、このリフレッシュ周期
基準を重点位置の方が通常時より短くする（つまり、最
大のリフレッシュ回数が少なくなる）ことで優劣を付け
ている。例では、重点レベル１は、６６回、重点レベル
２は、１１０回となっている。

【００８０】図９の上記の様な処理を各マクロブロック
を処理するごとに、参照することで、重点位置のマクロ
ブロックは、通常のマクロブロックより画質が向上する
処理がなされる。こうすることで、操作者は、モニタを
見ながら重点位置を指定し、指定された重点位置につい
ては、通常位置よりも画質を向上させた制御を自動的に
実行することが可能となった。

【００８１】以上はＴＶ電話装置を例にとって説明した
が、本発明はこれに限らず動画像を通信するものであれ
ば同様に適用できる。

【００８２】

【発明の効果】以上説明したように、本発明によれば、
表示画面を見ながら相手端末に送信している画像の重点
位置の画像の画質向上を図ることが可能となった。

【００８３】よって、操作者が重点範囲で指定した画像
領域に対しては、優先的に画像の符号化データを割当て
られるので、的確でかつ適切な符号化制御が行われ、画
質を向上させつつ符号化効率が飛躍的に向上するという
効果がある。また、操作者の要望に応じて目視確認しな
がら確実に、画質の向上が図れるため操作者の利便性が
向上するという効果もある。

【図面の簡単な説明】

【図１】本発明の一実施例を示すブロック図である。

【図２】画像合成部の内部構成図である。

【図３】画像符号化部の内部構成図である。

【図４】画像フォーマットを示す図である。

【図５】画像データ多重化フレームを示す図である。

【図６】誤り訂正フレーム同期を示す図である。

【図７】重点位置指定を示す図である。

【図８】重点画像指定表示例を示す図である。

【図９】ＭＢ管理表を示す図である。

【図１０】ＩＮＴＥＲ／ＩＮＴＲＡ判別制御を説明する
図である。

【図１１】量子化ステップサイズ制御を説明する図であ
る。

【符号の説明】

１ハンドセット２マイク３スピーカ４音声ｉ／ｆ部５音声符号化復号化部６カメラ７書画カメラ８表示部９画像入出力部１０画像符号化復号化部１１操作部１２システム制御部１３多重化分離部１４回線ｉ／ｆ部１５蓄積部１６画像合成部１７グラフィック生成部１８重点範囲指定部１９記憶部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 5/66 Ｂ 7/08 7/081

Claims

【特許請求の範囲】

【請求項１】送信画像を表示する表示手段と、該表示された送信画像に画像の重点位置を示す情報を表
示し、該重点位置を対話的に設定する設定手段と、該画像の重点位置内の画像データに対しては、それ以外
の位置の画像データより画質を向上させる符号化を行う
符号化手段と、有することを特徴とする画像送信装置。
【請求項２】請求項項１において、前記画像の重点位置を少なくとも１つ指定する指定手段
を有することを特徴とする画像送信装置。
【請求項３】請求項２において、前記指定手段は前記画像の重点位置を複数のレベルで指
定することを特徴とする画像送信装置。
【請求項４】請求項２において、前記指定手段は、前記画像の重点位置を符号化の最小画
像ブロック単位に指定することを特徴とする画像送信装
置。
【請求項５】請求項１において、前記符号化手段は、前記画像の重点位置の画像データの
量子化ステップ幅を重点位置以外の量子化ステップ幅よ
り小さくすることを特徴とする画像送信装置。
【請求項６】請求項１において、前記符号化手段は、前記画像の重点位置の画像データの
量子化データのしきい値を重点位置以外の量子化データ
のしきい値より小さくすることを特徴とする画像送信装
置。
【請求項７】請求項１において、前記符号化手段は、前記画像の重点位置の画像データの
（前フレームと現フレームとの差分値を符号化するモー
ド）および（現フレームの原画像を符号化するモード）
のいずれかを判別するための境界値を前記重点位置以外
の境界値より（現フレームの原画像を符号化するモー
ド）をより多く発生するように定めることを特徴とする
画像送信装置。
【請求項８】請求項１において、前記符号化手段は、前記画像の重点位置の画像データの
強制的な（現フレームの原画像を符号化するモード）の
発生周期を前記重点位置以外の発生周期より短くするこ
とを特徴とする画像送信装置。
【請求項９】請求項１において、前記画像の重点位置の表示がオフしても既に登録済みの
前記重点範囲をそのまま有効にする手段を有することを
特徴とする画像送信装置。