JPH10178639A - 画像コーデック部および画像データ符号化方法 - Google Patents

Abstract

(57)【要約】 【課題】 指定した部分の画質を調整できる画像コーデ
ック部および画像データ符号化方法を提供することを目
的とする。 【解決手段】 精細なマクロブロックの領域と粗大なマ
クロブロックの領域と各マクロブロックの領域の大きさ
とを指定する可変領域入力部４と、指定された各マクロ
ブロックの領域及び各マクロブロックの領域の大きさに
基づく枠データと画像データとから枠合成データを生成
する枠合成部５と、指定された各マクロブロックの領域
の位置を枠合成データから読み取る可変マクロブロック
指定部９と、読み取られたマクロブロックの領域の位置
と各マクロブロックの領域の大きさとから画像データを
指定された各マクロブロックに分割する画像分割部１０
と、分割されたマクロブロック毎に画像データ符号化を
行う符号化部１１とを有することにより、指定した部分
の画質を調整できる画像コーデック部が得られる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テレビ会議装置に
用いられる画像コーデック部および画像符号化方法に関
する。

【０００２】

【従来の技術】テレビ会議装置等において画像データの
符号化を行う際には一般的に、符号化データ量圧縮のた
め、ＤＣＴ（離散コサイン変換）やフレーム間予測符号
化、フレーム内予測符号化、動き補償などの手法が用い
られる。

【０００３】ＤＣＴは、ＭＰＥＧ（Moving Picture Exp
erts Group）やＪＰＥＧ（Joint P-hotograph Coding E
xperts Group）、Ｈ．２６１などの国際標準規格にも採
用されており、符号化効率が高い方式として知られてい
る。また、ＤＣＴは、画像を低い周波数成分から高い周
波数成分に分解する直交変換の一種であり、変換後、低
周波項に値が集中し、従って高周波項の値を丸める（小
さくする）ことができるため、圧縮が行われる。

【０００４】図３は伝送画像を示す画像図である。図３
のような画像をテレビ会議システムで伝送する場合を考
える。図３の画像は背景（Background）と人物（Perso
n）と机（Desk）とから構成されている。ＤＣＴは、画
像を或る大きさのブロック（マクロブロック）毎に区切
り、そのブロック毎に対して変換を行う。この場合、す
べてのマクロブロックの大きさは画像全域にわたって同
じ大きさになっている。

【０００５】図３に示す画像の伝送において重要な部分
は人物の部分である。背景や机は、会議を行う場合に、
人物ほど重要ではない。

【０００６】

【発明が解決しようとする課題】しかしながら、テレビ
会議装置の従来の画像コーデック部および従来の画像デ
ータ符号化方法では、背景や机も人物と同じように符号
化されており、低ビットレートのテレビ会議システムで
は、重要であるはずの人物の映像の解像度の低下やフレ
ームレートの低下を招き、再生画質を悪化させるという
問題点を有していた。

【０００７】この画像コーデック部および画像データ符
号化方法では、重要な部分の画質を悪化させないことが
要求されている。

【０００８】本発明は、指定した部分の画質を調整でき
る画像コーデック部および指定した部分の画質が調整さ
れる画像データ符号化方法を提供することを目的とす
る。

【０００９】

【課題を解決するための手段】この課題を解決するため
に本発明の画像コーデック部は、精細なマクロブロック
の領域と粗大なマクロブロックの領域とそれぞれのマク
ロブロックの領域の大きさとを指定する可変領域入力部
と、指定されたそれぞれのマクロブロックの領域および
それぞれのマクロブロックの領域の大きさに基づく枠デ
ータとカメラ出力をＡ／Ｄ変換して得られた画像データ
とから枠合成データを生成する枠合成部と、指定された
それぞれのマクロブロックの領域の位置を枠合成データ
から読み取る可変マクロブロック指定部と、読み取られ
たマクロブロックの領域の位置と可変マクロブロック指
定部を介して入力したマクロブロックの領域の大きさと
から画像データを指定されたそれぞれのマクロブロック
に分割する画像分割部と、分割されたマクロブロック毎
に画像データ符号化を行う符号化部とを有するように構
成した。

【００１０】これにより、指定した部分の画質を調整で
きる画像コーデック部が得られる。この課題を解決する
ための本発明の画像データ符号化方法は、精細なマクロ
ブロックの領域と粗大なマクロブロックの領域とそれぞ
れのマクロブロックの領域の大きさとを指定する可変領
域入力ステップと、指定されたそれぞれのマクロブロッ
クの領域およびそれぞれのマクロブロックの領域の大き
さに基づく枠データとカメラ出力をＡ／Ｄ変換して得ら
れた画像データとから枠合成データを生成する枠合成ス
テップと、指定されたそれぞれのマクロブロックの領域
の位置を枠合成データから読み取る可変マクロブロック
指定ステップと、読み取られたマクロブロックの領域の
位置とマクロブロックの領域の大きさとから画像データ
を指定されたそれぞれのマクロブロックに分割する画像
分割ステップと、分割されたマクロブロック毎に画像デ
ータ符号化を行う符号化ステップとを有するように構成
した。

【００１１】これにより、指定した部分の画質が調整さ
れる画像データ符号化方法が得られる。

【００１２】

【発明の実施の形態】本発明の請求項１に記載の発明
は、精細なマクロブロックの領域と粗大なマクロブロッ
クの領域とそれぞれのマクロブロックの領域の大きさと
を指定する可変領域入力部と、指定されたそれぞれのマ
クロブロックの領域およびそれぞれのマクロブロックの
領域の大きさに基づく枠データとカメラ出力をＡ／Ｄ変
換して得られた画像データとから枠合成データを生成す
る枠合成部と、指定されたそれぞれのマクロブロックの
領域の位置を枠合成データから読み取る可変マクロブロ
ック指定部と、読み取られたマクロブロックの領域の位
置と可変マクロブロック指定部を介して入力したマクロ
ブロックの領域の大きさとから画像データを指定された
それぞれのマクロブロックに分割する画像分割部と、分
割されたマクロブロック毎に画像データ符号化を行う符
号化部とを有することとしたものであり、それぞれのマ
クロブロックの領域の大きさが指定され、その大きさに
応じた精細度になるという作用を有する。

【００１３】請求項２に記載の発明は、精細なマクロブ
ロックの領域と粗大なマクロブロックの領域とそれぞれ
のマクロブロックの領域の大きさとを指定する可変領域
入力ステップと、指定されたそれぞれのマクロブロック
の領域およびそれぞれのマクロブロックの領域の大きさ
に基づく枠データとカメラ出力をＡ／Ｄ変換して得られ
た画像データとから枠合成データを生成する枠合成ステ
ップと、指定されたそれぞれのマクロブロックの領域の
位置を枠合成データから読み取る可変マクロブロック指
定ステップと、読み取られたマクロブロックの領域の位
置とマクロブロックの領域の大きさとから画像データを
指定されたそれぞれのマクロブロックに分割する画像分
割ステップと、分割されたマクロブロック毎に画像デー
タ符号化を行う符号化ステップとを有することとしたも
のであり、それぞれのマクロブロックの領域の大きさが
指定され、その大きさに応じた精細度になるという作用
を有する。

【００１４】以下、本発明の実施の形態について、図１
から図５を用いて説明する。 （実施の形態１）図１は本発明の実施の形態１による画
像コーデック部の符号化系統を示すブロック図である。
図１において、１は被写体を映して画像信号を出力する
カメラ、２は画像を監視するためのモニタ、３はカメラ
１からのアナログビデオ信号である画像信号をデジタル
ビデオ信号である画像データに変換するＡ／Ｄ変換部、
４は精細なマクロブロックと粗大なマクロブロックとを
どの領域に割り当てるか、またそれぞれのマクロブロッ
クの領域の大きさをいくらにするかを決定する可変領域
入力部、５は可変領域入力部４からのデータ（指定され
たそれぞれのマクロブロックの領域およびそれぞれのマ
クロブロックの領域の大きさを示すデータ）およびＡ／
Ｄ変換部３からの画像データに基づいて、現に選択され
ている画像領域を示す枠を画面に表示するための枠合成
データを生成する枠合成部、６は枠合成部５からの枠合
成データをＤ／Ａ変換してモニタ２に画像信号として渡
すためのＤ／Ａ変換部、７は画像データを一時的に蓄え
るフレームメモリ、８は符号化を行うために画像データ
のフォーマットを変換するフォーマット変換部である。
フォーマット変換部８でフォーマットを変換するのは、
相手端末の画像通信方式（ＮＴＳＣ、ＰＡＬ等の通信方
式）に影響されないように画像データのフォーマットを
統一するのが目的である。

【００１５】また、９は指定されたそれぞれのマクロブ
ロックの領域の位置（ライン数）を枠合成データから読
み取り、また可変領域入力部４からのマクロブロックの
大きさを伝達する可変マクロブロック指定部である。１
０はフォーマット変換部８で得られた画像データを可変
マクロブロック指定部９からの情報（可変マクロブロッ
ク指定部９で読み取られたマクロブロックの領域の位置
および可変マクロブロック指定部９を介して入力したマ
クロブロックの領域の大きさを示す情報）に基づいて指
定されたそれぞれのマクロブロックに分割する画面分割
部、１１は画面分割部１０で分割されたマクロブロック
毎に画像データの符号化を行う符号化部である。１２は
符号化部１１で変換された各係数（低周波成分から高周
波成分にわたる各係数）を或る除数（量子化ステップ）
で割り算を行い、余りをまるめ、高周波成分の係数のカ
ットを行う量子化部である。１３は量子化部１２からの
変換画像データと可変マクロブロック指定部９からの可
変マクロブロックデータ（それぞれのマクロブロック領
域の位置情報とそれぞれのマクロブロックの大きさの情
報）の多重化を行うデータ多重化部である。

【００１６】図２は本実施の形態による画像コーデック
部の復号化系統を示すブロック図である。図２におい
て、２１はマクロブロックデータｍｂと画像符号化デー
タｖｃとを多重したデータであるマクロブロックデータ
多重画像符号化データｍｖｃを画像符号化データｖｃと
マクロブロックデータｍｂとに分離するデータ分離部で
ある。２２は各領域のマクロブロック毎に量子化係数を
乗算して量子化前の画像データに戻す逆量子化部、２３
は符号化されている画像データの復号化を行う復号化
部、２４は符号化前の画像データのフォーマットに変換
を行うフォーマット変換部、２５は画像データを画像信
号にＤ／Ａ変換してモニタ２６に出力するＤ／Ａ変換部
である。

【００１７】以上のように構成された画像コーデック部
について、可変マクロブロックの符号化による画像伝送
の動作を図１、図３、図４を用いて説明する。図３は前
述したように伝送画像を示す画像図であり、図４は本実
施の形態におけるフォーマット変換された画像の一例を
示す画像図である。図４において、Ａはフォーマット変
換された画像データの原点、すなわち水平方向ライン数
０、垂直方向ライン数０の点であり、座標（Ｈ０、Ｖ
０）と表す。Ｂは水平方向ライン数ａ、垂直方向ライン
数ｃの点であり、座標（Ｈａ、Ｖｃ）と表す。また、Ｃ
は同様に（Ｈｂ、Ｖｃ）と表し、Ｄは（Ｈａ、Ｖｄ）、
Ｅは（Ｈｂ、Ｖｄ）と表す。さらに、ＭＢ１は精細なマ
クロブロック、ＭＢ２は粗大なマクロブロックである。

【００１８】図３のような画像をカメラ１で撮ると、ア
ナログの画像信号がＡ／Ｄ変換部３に送られ、デジタル
の画像データに変換される。ここで、ユーザは、可変マ
クロブロックの領域を指定するため、可変領域入力部４
を用いてデータの入力を行う。本実施の形態では、図３
において点線で囲まれた部分以外すなわち人物の領域以
外の領域を粗いマクロブロック（粗大なマクロブロッ
ク）とする。ユーザが可変領域入力部４を用いてデータ
（各マクロブロックの領域および各マクロブロックの領
域の大きさを示すデータ）の入力を行うと（可変領域入
力ステップ）、枠合成部５は、入力データに従い、枠の
データ（入力データに基づく枠を示すデータ）をＡ／Ｄ
変換部２からの画像データと合成し（枠合成ステッ
プ）、Ｄ／Ａ変換部６はこの合成画像データ（枠合成デ
ータ）をＤ／Ａ変換してアナログの画像信号に戻し、枠
が入った画像をモニタ２に表示する。すなわち、ユーザ
は、可変領域入力部４を用い、モニタ２を見ながら可変
マクロブロックの入力を行う。可変マクロブロック指定
部９は、枠合成部５で枠と画像データとを合成して得ら
れた枠合成データに基づいて、データクロックＣＬＫ
（data clock）をカウントし、入力された枠の領域のラ
イン情報（水平方向のライン数および垂直方向のライン
数）を演算する（可変マクロブロック指定ステップ）。
このライン情報は画像データのフォーマット変換前のラ
イン情報であるため、可変マクロブロック指定部９はフ
ォーマット変換後のライン情報を演算しなければならな
い（可変マクロブロック指定ステップ）。すなわち、図
４の点Ｂ〜点Ｅのライン情報を演算する。また、可変領
域入力部４は、各領域に適用するマクロブロックの大き
さを入力しているので、図４における点Ｂ〜点Ｅのライ
ン情報と各マクロブロックの大きさの情報とを画面分割
部１０に伝える。

【００１９】画面分割部１０は、可変マクロブロック指
定部９から送られてくるライン情報と各マクロブロック
の大きさの情報に基づいて、フォーマット変換部８から
送られてくるフォーマット変換された画像をマクロブロ
ックに分割する（画面分割ステップ）。図４において、
点Ｂ、Ｃ、Ｄ、Ｅに囲まれた部分のマクロブロックの大
きさを“１”（デフォルトの値つまりマクロブロックＭ
Ｂ１の大きさ）とし、それ以外の領域のマクロブロック
の大きさを“４”（デフォルトの値の４倍つまりマクロ
ブロックＭＢ２の大きさ）とすれば、画面分割部１０は
データクロックＣＬＫをカウントしており、垂直方向に
ｃ、水平方向にａカウントするまではマクロブロックの
大きさを“４”として、後段の符号化部１１に画像デー
タをわたす。ライン情報が点Ｂの座標（Ｈａ、Ｖｃ）と
なったら、マクロブロックの大きさを“１”として符号
化部１１に画像データをわたす。次に、ライン情報が点
Ｃの（Ｈｂ、Ｖｃ）となったら、またマクロブロックの
大きさを“４”として符号化部１１に画像データをわた
す。

【００２０】その後、垂直方向にｄカウントして点Ｅの
（Ｈｂ、Ｖｄ）となったら、それ以後はマクロブロック
の大きさを“４”としてデータをわたす。符号化部１１
はマクロブロックの大きさに応じた符号化を行い（符号
化ステップ）、量子化部１２に符号化データを渡し、量
子化部１２では量子化を行って、高周波成分の係数の丸
め込みを行う。データ多重化部１３は、どのラインでど
のような大きさのマクロブロックで符号化が行われたか
を受信側端末（相手端末）に伝えるために、可変マクロ
ブロック指定部９からのマクロブロックデータｍｂと量
子化部１２からの量子化画像データｖｃとの多重化を行
って得られた多重データｍｖｃ（図２参照）を伝送す
る。

【００２１】図２の受信側の復号化系統では、多重デー
タｍｖｃからデータ分離部２１においてマクロブロック
データ（可変マクロブロックの領域情報およびそのマク
ロブロックの大きさの情報）ｍｂと量子化画像データｖ
ｃとに分離を行い、逆量子化部２２、復号化部２３はマ
クロブロックデータｍｂの情報に基づいて、それぞれ逆
量子化、復号化を行う。そして、フォーマット変換部２
４でその復号データをＮＴＳＣやＰＡＬなどのフォーマ
ットに変換し、最後にＤ／Ａ変換部２５でＤ／Ａ変換し
てモニタ２６に画像を表示する。

【００２２】以上のように本実施の形態によれば、図４
の点Ｂ、Ｃ、Ｄ、Ｅから成る四角形で囲まれた領域以外
の領域が粗いマクロブロックで符号化されるので、この
領域の符号化データ量が減少し、その分フレームレート
を上げることができるので、従来に比べて人物の領域の
動きが良くなる、すなわち人物の領域の画質を向上させ
ることができる。

【００２３】（実施の形態２）図５は実施の形態１によ
る画像コーデック部を使用したテレビ会議装置を示すブ
ロック図である。図５において、３１は被写体を撮像し
て画像信号を出力するカメラ、３２は画像信号を入力し
て画像を表示するモニタ、３３はカメラ３１からの画像
信号の符号を行ったり、相手端末から送られてくる符号
化画像データの復号化を行う画像コーデック部、３４は
入力音声を音声信号として出力するマイク、３５は音声
信号を音声に変換して送出するスピーカ、３６は音声デ
ータのやり取りを行う際、自端末から送った音声データ
が相手端末で復号、再生され、その音声が相手端末のマ
イクを通じてまた自端末へ返されてくることにより生じ
るエコーをなくすためのエコーキャンセラ、３７はマイ
ク３４からの音声信号の符号化を行ったり、相手端末か
ら送られてくる符号化音声データの復号化を行う音声コ
ーデック部、３８は相手端末とネゴシエーションし、互
いに通信に支障がないようにする端末間信号制御部、３
９は符号化された画像データ、音声データおよび相手端
末とのやり取りのデータを多重化したり、また相手端末
から送られてくる多重化データの分離を行うデータ多重
分離部、４０は通信網とのインタフェース（同期化等）
を行って多重化データの送受信を行う通信網インタフェ
ース部、４１を通信網インタフェース部４０を制御する
通信網制御部である。

【００２４】図５に示すテレビ会議装置の画像コーデッ
ク部３３は、図１の符号化系統と図２の復号化系統とを
有する。

【００２５】以上のように本実施の形態によれば、図１
の符号化系統と図２の復号化系統とを有する画像コーデ
ック部３３を使用してテレビ会議装置を構成するように
したので、例えば人物の領域のような重要な領域の画質
を向上させることができるテレビ会議装置を実現するこ
とが可能になる。

【００２６】

【発明の効果】以上のように本発明の画像コーデック部
によれば、各マクロブロックの領域の大きさを指定し、
指定した領域の精細度を決定することができるので、重
要な領域の画質を向上させることが可能になるという有
利な効果が得られる。

【００２７】また、本発明の画像データ符号化方法によ
れば、精細なマクロブロックの領域と粗大なマクロブロ
ックの領域とそれぞれのマクロブロックの領域の大きさ
とを指定する可変領域入力ステップと、指定されたそれ
ぞれのマクロブロックの領域およびそれぞれのマクロブ
ロックの領域の大きさに基づく枠データとカメラ出力を
Ａ／Ｄ変換して得られた画像データとから枠合成データ
を生成する枠合成ステップと、指定されたそれぞれのマ
クロブロックの領域の位置を枠合成データから読み取る
可変マクロブロック指定ステップと、読み取られたマク
ロブロックの領域の位置とマクロブロックの領域の大き
さとから画像データを指定されたそれぞれのマクロブロ
ックに分割する画像分割ステップと、分割されたマクロ
ブロック毎に画像データ符号化を行う符号化ステップと
を有することにより、各マクロブロックの領域の大きさ
を指定し、指定した領域の精細度を決定するので、重要
な領域の画質が向上するという有利な効果が得られる。

【図面の簡単な説明】

【図１】本発明の実施の形態１による画像コーデック部
の符号化系統を示すブロック図

【図２】本発明の実施の形態１による画像コーデック部
の復号化系統を示すブロック図

【図３】伝送画像を示す画像図

【図４】本発明の実施の形態１におけるフォーマット変
換された画像の一例を示す画像図

【図５】本発明の実施の形態１による画像コーデック部
を使用したテレビ会議装置を示すブロック図

【符号の説明】

１、３１ カメラ ２、２６、３２ モニタ ３ Ａ／Ｄ変換部 ４ 可変領域入力部 ５ 枠合成部 ６、２５ Ｄ／Ａ変換部 ７ フレームメモリ ８ フォーマット変換部 ９ 可変マクロブロック指定部 １０ 画面分割部 １１ 符号化部 １２ 量子化部 １３ データ多重化部 ２１ データ分離部 ２２ 逆量子化部 ２３ 復号化部 ２４ フォーマット変換部 ３４ マイク ３５ スピーカ ３６ エコーキャンセラ部 ３７ 音声コーデック部 ３８ 端末間信号制御部 ３９ データ多重分離部 ４０ 通信網インタフェース部 ４１ 通信網制御部

Claims (2)

【特許請求の範囲】
1. 【請求項１】精細なマクロブロックの領域と粗大なマク
   ロブロックの領域とそれぞれのマクロブロックの領域の
   大きさとを指定する可変領域入力部と、前記指定された
   それぞれのマクロブロックの領域および前記それぞれの
   マクロブロックの領域の大きさに基づく枠データとカメ
   ラ出力をＡ／Ｄ変換して得られた画像データとから枠合
   成データを生成する枠合成部と、前記指定されたそれぞ
   れのマクロブロックの領域の位置を前記枠合成データか
   ら読み取る可変マクロブロック指定部と、前記読み取ら
   れたマクロブロックの領域の位置と前記可変マクロブロ
   ック指定部を介して入力した前記マクロブロックの領域
   の大きさとから画像データを前記指定されたそれぞれの
   マクロブロックに分割する画像分割部と、前記分割され
   たマクロブロック毎に画像データ符号化を行う符号化部
   とを有することを特徴とする画像コーデック部。
2. 【請求項２】精細なマクロブロックの領域と粗大なマク
   ロブロックの領域とそれぞれのマクロブロックの領域の
   大きさとを指定する可変領域入力ステップと、前記指定
   されたそれぞれのマクロブロックの領域および前記それ
   ぞれのマクロブロックの領域の大きさに基づく枠データ
   とカメラ出力をＡ／Ｄ変換して得られた画像データとか
   ら枠合成データを生成する枠合成ステップと、前記指定
   されたそれぞれのマクロブロックの領域の位置を前記枠
   合成データから読み取る可変マクロブロック指定ステッ
   プと、前記読み取られたマクロブロックの領域の位置と
   前記マクロブロックの領域の大きさとから画像データを
   前記指定されたそれぞれのマクロブロックに分割する画
   像分割ステップと、前記分割されたマクロブロック毎に
   画像データ符号化を行う符号化ステップとを有すること
   を特徴とする画像符号化方法。