JP2016213615A - 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム - Google Patents

Abstract

【課題】符号化を行う単位となるブロックのサイズを適切に決定できる動画像符号化装置を提供する。【解決手段】動画像符号化装置は、動画像データに含まれるピクチャ上のブロックを分割した、複数のサブブロックのそれぞれの複雑度及び各サブブロック間の類似度に応じたオフセット値を算出し、ブロックを符号化単位としてそのブロックを符号化する場合の第１の符号化コストが、サブブロックを符号化単位としてそのブロックを符号化する場合の複数のサブブロックのそれぞれの第２の符号化コストの和とオフセット値の合計以下である場合、符号化単位としてブロックを選択し、一方、第１の符号化コストがその合計よりも大きい場合、符号化単位としてサブブロックを選択する符号化モード決定部１２と、ブロックを選択した符号化単位ごとに符号化する符号化部１３とを有する。【選択図】図４

Description

本発明は、例えば、動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラムに関する。

動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを符号化することにより圧縮する。代表的な動画像の符号化方式として、International Organization for Standardization /International Electrotechnical Commission(ISO/IEC)またはInternational Telecommunication Union - Telecommunication Standardization Sector(ITU-T)で策定されたMoving Picture Experts Group phase 2（MPEG-2/H.262）、MPEG-4、あるいはH.264 MPEG-4 Advanced Video Coding（H.264 MPEG-4 AVC）が利用されている。MPEG-4 AVC/H.264以降は、合同で設立された(Joint Collaborative Team on Video Coding (JCT-VC)によって標準化が進められ、新たな符号化標準として、HEVC(High Efficiency Video Coding, MPEG-H/H.265、正式名称はISO/IEC 23008、あるいはITU-T H.265)が策定されている。

HEVCでは、従来の動画像符号化方式と比較して、動画像データに含まれる各ピクチャを分割するブロックのサイズの自由度が向上している。図１は、HEVCによる、ピクチャの分割の一例を示す図である。

図１に示されるように、ピクチャ１００は、符号化ブロックCoding Tree Unit(CTU)単位で分割され、各CTU１０１は、ラスタスキャン順に符号化される。CTU１０１のサイズは、64x64〜16x16画素の中から選択できる。ただし、CTU１０１のサイズは、シーケンス単位で一定とされる。

CTU１０１は、さらに、四分木構造で複数のCoding Unit（CU）１０２に分割される。一つのCTU１０１内の各CU１０２は、Zスキャン順に符号化される。CU１０２のサイズは可変であり、そのサイズは、CU分割モード8x8〜64x64画素の中から選択される。CU１０２は、符号化モードの一例であるイントラ予測符号化モードとインター予測符号化モードを選択する単位となる。CU１０２は、Prediction Unit（PU）１０３単位またはTransform Unit（TU）１０４単位で個別に処理される。PU１０３は、符号化モードに応じた予測が行われる単位となる。例えば、PU１０３は、イントラ予測符号化モードでは、予測モードが適用される単位となり、インター予測符号化モードでは、動き補償を行う単位となる。PU１０３のサイズは、例えば、イントラ予測符号化モードが適用される場合、2Nx2NとNxN（Nは、CUサイズ/2）から選択可能である。

一方、TU１０４は、直交変換の単位である。またイントラ予測符号化モードでは、TU１０４は、予測ブロックの生成単位でもある。TU１０４のサイズは、4x4画素〜32x32画素の中から選択される。TU１０４は、四分木構造で分割され、Zスキャン順に処理される。
なお、イントラ予測符号化モードは、動画像データが空間方向に相関性が高いことを利用する符号化モードであり、符号化対象ピクチャの符号化対象ブロックを、符号化対象ピクチャの既に符号化された領域の情報を用いて符号化する符号化モードである。一方、インター予測符号化モードは、動画像データが時間方向に相関性が高いことを利用する符号化モードであり、符号化対象ピクチャの符号化対象ブロックを、既に符号化された他のピクチャの情報を用いて符号化する符号化モードである。

HEVCでは、着目するCTUについて、CU、PU及びTUのサイズを決定する際に、例えば、CU、PU及びTUのそれぞれの取り得るサイズと符号化モードの組み合わせごとに、符号化コストが算出される。そしてその符号化コストが最小となるCU、PU及びTUのそれぞれのサイズと符号化モードの組み合わせが、着目するCTUの符号化の際に適用される。

また、符号化対象のブロックのサイズを決定する際に、対象となるブロックの複雑度を表す空間アクティビティ値を用いる技術が提案されている（例えば、特許文献１を参照）。特許文献１に開示された動画像符号化方法は、対象ブロックの符号化条件の決定の際に、その対象ブロックの少なくとも一部の領域の複雑度を表す第１空間アクティビティ値が第１閾値より小さい場合、小分割用の第１符号化条件を対象ブロックの符号化条件とする。一方、その動画像符号化方法は、第１空間アクティビティ値が第１閾値以上である場合、大分割用の第２符号化条件を対象ブロックの符号化条件とする。

国際公開第２０１０／１５０４８６号

特許文献１に開示された技術では、符号化対象ブロックの複雑度が大きいほど、その符号化対象ブロックのサイズは大きくなる。

一方、符号化された動画像データを復号して得られる動画像の画質と圧縮効率のバランスを最適化するよう、適用する符号化モードを決定するための方式として、レート歪み最適化(Rate distortion optimization, RDO)方式が提案されている。RDO方式では、符号化モードを決定する際に、符号化の前後での誤差統計量である歪み量と、符号化対象のブロックの符号量であるレートとが考慮される。そして歪み量とレートとの関係を表すRD特性が最も良好となる符号化モードが選択される。

ここで、特許文献１に記載のように、符号化対象ブロックの複雑度に基づいて符号化対象ブロックのサイズを決定した場合、その決定されたサイズについてのRD特性が必ずしも最良とならず、他のサイズについてのRD特性の方がより良好となることがあった。

そこで、本明細書は、符号化を行う単位となるブロックのサイズを適切に決定できる動画像符号化装置を提供することを目的とする。

一つの実施形態によれば、動画像符号化装置が提供される。この動画像符号化装置は、動画像データに含まれるピクチャ上のブロックを分割した、複数のサブブロックのそれぞれの複雑度及び各サブブロック間の類似度に応じたオフセット値を算出し、ブロックを符号化単位としてそのブロックを符号化する場合の第１の符号化コストが、サブブロックを符号化単位としてそのブロックを符号化する場合の複数のサブブロックのそれぞれの第２の符号化コストの和とオフセット値の合計以下である場合、符号化単位としてブロックを選択し、一方、第１の符号化コストがその合計よりも大きい場合、符号化単位としてサブブロックを選択する符号化モード決定部と、ブロックを選択した符号化単位ごとに符号化する符号化部とを有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

本明細書に開示された動画像符号化装置は、符号化を行う単位となるブロックのサイズを適切に決定できる。

HEVCによる、ピクチャの分割の一例を示す図である。 （ａ）及び（ｂ）は、それぞれ、ブロック分割の一例を示すである。 （ａ）及び（ｂ）は、それぞれ、図２（ａ）及び図２（ｂ）に示されたピクチャについて、TUサイズを予め設定された値としたときのRD特性を示す図である。 一つの実施形態による動画像符号化装置の概略構成図である。 符号化モード決定処理の動作フローチャートである。 動画像符号化処理の動作フローチャートである。 上記の実施形態またはその変形例による動画像符号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置として動作するコンピュータの構成図である。

以下、図を参照しつつ、動画像符号化装置について説明する。最初に、HEVCに準拠してピクチャをブロックごとに分割する例について説明する。

図２（ａ）及び図２（ｂ）は、それぞれ、ブロック分割の一例を示すである。図２（ａ）に示されたピクチャ２００には、並木が写っている。また、図２（ｂ）に示されたピクチャ２１０は、ホワイドノイズを表している。そしてピクチャ２００上に示された各ブロック２０１、及び、ピクチャ２１０上に示された各ブロック２１１は、CU、PU及びTUのそれぞれのサイズの組み合わせごとの符号化コストを次式で算出した場合に、符号化コストが最小となるTUを表す。なお、この例では、ピクチャを他のピクチャの情報を参照しないイントラ予測符号化モードで符号化すると仮定して符号化コストを算出した。

ここで予測誤差は、例えば、符号化コスト算出対象となるブロックと予測ブロックの対応画素間の誤差絶対値和として算出される。またモード情報量は、符号化コスト算出対象となる符号化モードで用いられる情報についての情報量を表す。そしてλは、ラグランジュの未定乗数である。
図２（ａ）及び図２（ｂ）に示されるように、複雑なところほど、小さいサイズのTUが選択されている。特に、ピクチャ２１０については、ピクチャ全体において最小サイズのTUが選択されている。しかしながら、このような複雑なシーンが写っているピクチャにおいて、ピクチャのRD特性は、ピクチャの分割サイズが小さいほど良好になるとは限らない。

図３（ａ）及び図３（ｂ）は、それぞれ、図２（ａ）及び図２（ｂ）に示されたピクチャについて、TUサイズを予め設定された値としたときのRD特性を示す図である。図３（ａ）及び図３（ｂ）において、横軸は発生情報量、すなわち、レート(単位：Mbps)を表し、縦軸はピーク信号対雑音比(Peak Signal-to-Noise Ratio, PSNR)、すなわち、歪み量(単位：dB)を表す。したがって、左上に近いRD特性ほど、良好である。図３（ａ）において、グラフ３０１〜グラフ３０４は、それぞれ、TUサイズが32、16、8、4である場合のピクチャ２００についてのRD特性を表す。同様に、図３（ｂ）において、グラフ３１１〜グラフ３１４は、それぞれ、TUサイズが32、16、8、4である場合のピクチャ２１０についてのRD特性を表す。

図３（ａ）及び図３（ｂ）に示されるように、ピクチャ２００及びピクチャ２１０の両方について、TUサイズが32のときのRD特性が最も良好となっており、TUサイズが小さくなるほど、RD特性は低下する。

このように、（１）式に従って算出された符号化コストに基づいて、ピクチャを分割するブロックのサイズを決定すると、必ずしもRD特性は最適とはならない。一方、ピクチャ２００及びピクチャ２１０では、ピクチャ全体が相対的に複雑である。そのため、特許文献１に記載のように複雑度に基づいてブロックのサイズを決定すると、ピクチャ上の局所的な位置によっては、小さいブロックサイズを用いた方がRD特性が良好となる場合でも、ピクチャ全体で大きなブロックサイズが選択される可能性が高い。

ここで、本発明者は、鋭意研究の結果、複数のサブブロックに分割可能なブロックについて、以下の二つの条件が満たされる場合には、サブブロックに分割しない方がRD特性が良好となる可能性が高いことを見出した。
（１）各サブブロックに写っている被写体が複雑であること
（２）各サブブロックに写っている被写体が互いに類似していること

そこで、本実施形態による動画像符号化装置は、符号化モード及び符号化単位となるブロックのサイズを決定する際に、着目するブロックについて、そのブロックを分割可能な複数のサブブロックのそれぞれの複雑度と、サブブロック間の類似度を算出する。動画像符号化装置は、サブブロックごとの複雑度、及びサブブロック間の類似度が上記の（１）と（２）の条件を満たす場合に正の値を持つオフセットを算出する。さらに、動画像符号化装置は、着目するブロックをサブブロックを符号化単位として符号化する際のサブブロックごとの符号化コストとブロックそのものを符号化単位として着目するブロックを符号化する際の符号化コストを算出する。そして動画像符号化装置は、サブブロックごとの符号化コストの和と着目するブロックそのものの符号化コストとの比較の際に、各サブブロックの符号化コストの和にオフセットを加算する。これにより、この動画像符号化装置は、上記の（１）と（２）の条件が満たされるブロックについてはサブブロックに分割され難くする。

本実施形態では、動画像符号化装置は、HEVCに準拠するものとする。動画像符号化装置は、ピクチャをCTU単位で分割し、CTUごとに、CUサイズ、PUサイズ、TUサイズ及び符号化モードの組み合わせを選択する。そして動画像符号化装置は、CTUごとに、選択した組み合わせにしたがってそのCTUを符号化する。

図４は、一つの実施形態による動画像符号化装置の概略構成図である。動画像符号化装置１は、動きベクトル算出部１１と、符号化モード決定部１２と、符号化部１３と、記憶部１４とを有する。

動画像符号化装置１が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像符号化装置１が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像符号化装置１に実装されてもよい。さらに、動画像符号化装置１が有するこれらの各部は、動画像符号化装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。

符号化対象となるピクチャは、例えば、動画像符号化装置１全体を制御する制御部（図示せず）により複数のCTUに分割される。そして動画像符号化装置１には、各CTUが、例えばラスタスキャン順で入力される。そして動画像符号化装置１は、CTUごとに符号化する。以下、動画像符号化装置１が有する各部について説明する。

動きベクトル算出部１１は、符号化対象ピクチャが、PピクチャまたはBピクチャといった、インター予測符号化モードが適用可能なピクチャである場合、符号化対象のCTUについて適用可能なPUのそれぞれについて、動きベクトルを算出する。その際、動きベクトル算出部１１は、各PUについて、既に符号化され、かつ、符号化対象ピクチャが参照可能な参照ピクチャに対してブロックマッチングを実行して、PUと最も一致する参照ピクチャ及びその参照ピクチャ上の領域の位置を決定する。そして動きベクトル算出部１１は、PUとその領域間の空間的な移動量を表すベクトルを動きベクトルとして算出する。
なお、動きベクトル算出部１１は、各PUについて、そのPUと参照ピクチャ上の対応領域との対応画素間の差分絶対値和と動きベクトルの符号量の合計が最小となるときのPUと対応領域間の移動量を動きベクトルとしてもよい。
動きベクトル算出部１１は、各PUについて、動きベクトル及びその動きベクトルが参照する参照ピクチャを示す情報を、符号化モード決定部１２へ出力する。

符号化モード決定部１２は、符号化対象のCTUにおいて、適用可能なCUサイズ、PUサイズ、TUサイズ、及び符号化モードの組み合わせを求める。そして符号化モード決定部１２は、各組み合わせについて、符号量の推定値である符号化コストを算出する。そして符号化モード決定部１２は、各組み合わせの符号化コストに基づいて、符号化対象のCTUに適用するCUサイズ、PUサイズ、TUサイズ、及び符号化モードの組み合わせを決定する。

符号化モード決定部１２は、適用可能なCUサイズ、PUサイズ、TUサイズ、及び符号化モードの組み合わせのそれぞれごとに、予測ブロックを生成する。予測ブロックは、着目する組み合わせに含まれる符号化モードに従って、符号化済みの参照ピクチャまたは符号化済みの他のブロックから生成される。なお、符号化モードには、例えば、イントラ予測符号化モード及びインター予測符号化モードが含まれる。さらに、イントラ予測符号化モードに基づいて予測ブロックが作成される場合、符号化モード決定部１２は、例えば、HEVCに規定される、予測ブロックの作成方法を規定する複数のモードのそれぞれについて予測ブロックを作成する。また、インター予測符号化モードに基づいて予測ブロックが生成される場合、符号化モード決定部１２は、適用可能な動きベクトルの生成方式または予測方式のそれぞれ（例えば、ダイレクトモードあるいはマージモードなど）について予測ブロックを作成する。また、符号化対象ピクチャが双方向予測が可能なBピクチャである場合、符号化モード決定部１２は、一方向の予測による動きベクトルに基づく予測ブロックだけでなく、各方向の予測による二つの動きベクトルに基づく予測ブロックも作成する。
以下では、便宜上、イントラ予測符号化モードにおける、予測ブロックの作成方法を規定するモードだけでなく、インター予測符号化モードにおける、動きベクトルの生成方式または予測方式と一方向予測または双方向予測の組み合わせを、予測モードと呼ぶ。

符号化モード決定部１２は、例えば、着目する組み合わせの符号化コストを算出するために、その組み合わせに含まれるTUについて、予測誤差を算出する。本実施形態では、符号化モード決定部１２は、予測誤差として、次式に従って画素差分絶対値和SADを算出する。

ここで、OrgPixelは着目する組み合わせに含まれるTU内の画素の値であり、PredPixelは、予測ブロックの対応画素の値である。

なお、符号化モード決定部１２は、予測誤差として、SADを算出する代わりに、着目するTUと予測ブロック間の差分画像をアダマール変換した後の各画素の値の絶対値和SATDなどを算出してもよい。また、TUがピクチャの左上端に位置し、かつ、着目する符号化モードがイントラ予測符号化モードである場合のように、予測ブロックが作成されないTUについては、符号化モード決定部１２は、予測誤差として、アクティビティを算出してもよい。アクティビティACTは、例えば、次式に従って算出される。

ここで、AveBは、TU全体の画素値の平均値である。

符号化モード決定部１２は、着目する組み合わせについて、次式に従って符号化コストCostを算出する。

ここで、SADは、着目する組み合わせに含まれるTUについて算出された予測誤差である。またRは、モード情報量であり、動きベクトル、予測モードを表すフラグなど、直交変換係数以外の項目についての符号量の推定値である。そしてλはラグランジュの未定乗数である。

符号化モード決定部１２は、インター予測符号化モードとイントラ予測符号化モードとについて、別個に、適用するCUサイズ、PUサイズ、TUサイズ、及び予測モードの組み合わせを求める。その際、符号化モード決定部１２は、例えば、同一サイズのTUごとに、符号化コストが最小となるPUサイズ及び予測モードを決定する。さらに、符号化モード決定部１２は、そのTUについて決定したPUサイズ及び予測モードを用いる場合の符号化コストと、そのTUを４分割した各TU（以下、便宜上、サブTUと呼ぶ）について決定したPUサイズ及び予測モードを用いる場合の符号化コストの和を比較する。そして符号化モード決定部１２は、符号化コストの比較結果に応じてTUのサイズを選択する。符号化モード決定部１２は、再帰的に上記の処理をTUサイズの大きい方から順に繰り返すことで、インター予測符号化モードとイントラ予測符号化モードのそれぞれごとに、CUサイズ、PUサイズ、TUサイズ、及び予測モードの組み合わせを求める。そして符号化モード決定部１２は、CUごとに、インター予測符号化モードについて求めた組み合わせとイントラ予測符号化モードについて求めた組み合わせのうち、符号化コストが小さい方を、符号化対象のCTUに適用する組み合わせとする。

図１に関して説明したように、TUのサイズは、4x4画素〜32x32画素の中から選択される。そこで符号化モード決定部１２は、例えば、32x32画素のサイズを持つTUについての符号化コストと、そのTUを４分割した、16x16画素のサイズを持つ４個のサブTUのそれぞれの符号化コストの和とを比較する。同様に、符号化モード決定部１２は、16x16画素のサイズを持つTUについての符号化コストと、そのTUを４分割した、8x8画素のサイズを持つ４個のサブTUのそれぞれの符号化コストの和とを比較する。さらに、符号化モード決定部１２は、8x8画素のサイズを持つTUについての符号化コストと、そのTUを４分割した、4x4画素のサイズを持つ４個のサブTUのそれぞれの符号化コストの和とを比較する。

本実施形態では、異なるTUサイズについての符号化コストを比較する際、符号化モード決定部１２は、上記の（１）及び（２）の条件が満たされる場合に、着目するTUを分割して得られる４個のサブTUよりも着目するTUの方が選択され易いようにする。

例えば、着目するTUの符号化コストをC0とし、着目するTUを４分割した４個のサブTUのそれぞれの符号化コストをC1[i](i=1,2,3,4)とする。この場合、符号化モード決定部１２は、次式が満たされる場合に、TUのサイズとして、着目するTUのサイズ、すなわち、大きい方のTUのサイズを選択する。一方、次式が満たされない場合、符号化モード決定部１２は、TUのサイズとして、サブTUのサイズ、すなわち、小さい方のTUのサイズを選択する。

ここでoffsetは、着目するTUを４分割した４個のTUのそれぞれの複雑度及び４個のTU間の類似度に基づいて決定されるオフセット値である。

符号化コストC1[i]が大きいほど、対応するサブTUとその予測ブロック間の予測誤差が大きいので、そのサブTUに写っている被写体は複雑であると想定される。また、各サブTUの符号化コストC1[i]の分散が小さいほど、各サブTUに写っている被写体は類似していると想定される。したがって、本実施形態では、符号化モード決定部１２は、各サブTUについて算出された符号化コストC1[i]を、そのサブTUについての複雑度とし、各サブTUの符号化コストC1[i]の分散を、各サブTU間の類似度とする。

この場合、offsetは、例えば、次式に従って算出される。

ここでμは定数であり、例えば、0よりも大きく、かつ、1以下の値に設定される。またVar(C1[i])は、各サブTUの符号化コストC1[i]の分散であり、次式で算出される。閾値Th1は、例えば、サブTUの画素数に定数α（例えば、1〜5）を乗じた値に設定される。また、閾値Th2は、着目するTUに含まれるサブTUの数（本実施形態では、4）に画素の取り得る値の最大値（例えば、255）と定数β（例えば、0.05〜0.1）を乗じた値に設定される。

すなわち、各サブTUが一定以上複雑である場合、かつ、サブTU間のシーンが類似しているほどoffsetは大きな値となり、その結果として大きい方のTUのサイズが選択され易くなる。

なお、変形例によれば、符号化モード決定部１２は、各サブTUの予測誤差を、そのサブTUについての複雑度とし、各サブTUの予測誤差の分散を、各サブTU間の類似度としてもよい。この場合、符号化モード決定部１２は、例えば、次式に従ってoffsetを算出する。

ここでt1[i](i=1,2,3,4)は、各サブTUについて、そのサブTUと対応する予測ブロック間の差分画像をアダマール変換した後の各画素の値の絶対値和SATDである。そしてVar(t1[i])は、各サブTUのSATDの分散である。閾値Th3は、例えば、サブTUの画素数に定数α（例えば、1〜5）を乗じた値に設定される。また、閾値Th4は、着目するTUに含まれるサブTUの数（本実施形態では、4）に画素の取り得る値の最大値（例えば、255）と定数β（例えば、0.05〜0.1）を乗じた値に設定される。SATDは、周波数領域でのサブTUの成分の大きさを表している。そのため、Var(t1[i])が小さいほど、各サブTUに写っている被写体はより類似していると想定される。この変形例における定数μの値は、上記の（６）式におけるμの値よりも大きい方が好ましい。

また他の変形例によれば、各サブTU間の類似度は、サブTU間のSADの差の絶対値で評価されてもよい。この場合、符号化モード決定部１２は、例えば、次式に従ってoffsetを算出する。

ここでs1[i](i=1,2,3,4)は、各サブTUについて、そのサブTUと対応する予測ブロック間のSADである。また、関数max(s1[i])は、s1[i](i=1,2,3,4)のうちの最大値を出力する関数であり、関数min(s1[i])は、s1[i](i=1,2,3,4)のうちの最小値を出力する関数である。閾値Th5は、例えば、サブTUの画素数に定数α（例えば、1〜5）を乗じた値に設定される。また、閾値Th6は、着目するTUに含まれるサブTUの数（本実施形態では、4）に画素の取り得る値の最大値（例えば、255）と定数β（例えば、0.05〜0.1）を乗じた値に設定される。

なお、(max(s1[i])- min(s1[i]))が0である場合、各サブTUに写っているシーンは同一である可能性がある。そこでこの場合には、符号化モード決定部１２は、（９）式によらず、大きい方のTUのサイズを選択することが好ましい。
さらに他の変形例によれば、各サブTU間の類似度は、各サブTUの符号化コストC1[i]のうちの最大値と最小値の差として算出されてもよい。また、各サブTUの複雑度は、（３）式で算出されるアクティビティとして算出されてもよい。

図５は、符号化モード決定処理の動作フローチャートである。符号化モード決定部１２はCTUごとに、下記の動作フローチャートに従って、符号化対象のCTUに適用するCUサイズ、PUサイズ、TUサイズ及び符号化モードの組み合わせを決定する。

符号化モード決定部１２は、イントラ予測符号化モードを着目する符号化モードに設定する（ステップＳ１０１）。そして符号化モード決定部１２は、最大のTUサイズを着目するTUサイズに設定する（ステップＳ１０２）。

符号化モード決定部１２は、着目するTUサイズを持つTUのそれぞれと、そのTUを４分割したサブTUのそれぞれについて、符号化コストの最小値C0、C1[i]を算出する（ステップＳ１０３）。

符号化モード決定部１２は、着目するTUサイズを持つTUのそれぞれについて、そのTUを４分割した各サブTUの複雑度及びサブTU間の類似度に基づいてoffsetを算出する（ステップＳ１０４）。

符号化モード決定部１２は、着目するTUサイズを持つTUのそれぞれについて、そのTUの符号化コストC0が、各サブTUの符号化コストの和ΣC1[i]とoffsetの合計以下か否か判定する（ステップＳ１０５）。そして符号化モード決定部１２は、符号化コストC0が各サブTUの符号化コストの和ΣC1[i]とoffsetの合計以下である場合（ステップＳ１０５−Ｙｅｓ）、着目するTUのサイズを選択する（ステップＳ１０６）。一方、符号化コストC0が各サブTUの符号化コストの和ΣC1[i]とoffsetの合計より大きい場合（ステップＳ１０５−Ｎｏ）、符号化モード決定部１２は、サブTUのサイズを選択する（ステップＳ１０７）。

符号化モード決定部１２は、サブTUのサイズが選択されたTUが有るか否か判定する（ステップＳ１０８）。サブTUサイズが選択されたTUが一つ以上あれば（ステップＳ１０８−Ｙｅｓ）、符号化モード決定部１２は、サブTUのサイズがTUの取り得る最小サイズか否か判定する（ステップＳ１０９）。なお、TUの取り得る最小サイズは、HEVCで規定される4x4画素であってもよく、あるいは、4x4画素以上で、予め設定されるサイズであってもよい。サブTUのサイズがTUの取り得る最小サイズでなければ（ステップＳ１０９−Ｎｏ）、符号化モード決定部１２は、サブTUのサイズを着目するTUのサイズに設定する（ステップＳ１１０）。そして符号化モード決定部１２は、サブTUのサイズが選択されたTUのそれぞれについて、サブTUとTUとして、ステップＳ１０３以降の処理を繰り返す。

一方、ステップＳ１０８において、サブTUのサイズが選択されたTUが無い場合（ステップＳ１０８−Ｎｏ）、符号化モード決定部１２は、TUの分割を終了する。また、ステップＳ１０９においてサブTUのサイズがTUの取り得る最小サイズである場合（ステップＳ１０９−Ｙｅｓ）も、符号化モード決定部１２は、TUの分割を終了する。その後、符号化モード決定部１２は、着目する符号化モードがインター予測符号化モードか否か判定する（ステップＳ１１１）。着目する符号化モードがイントラ予測符号化モードであれば（ステップＳ１１１−Ｎｏ）、符号化モード決定部１２は、インター予測符号化モードを着目する符号化モードに設定する（ステップＳ１１２）。そして符号化モード決定部１２は、ステップＳ１０２以降の処理を繰り返す。

一方、着目する符号化モードがインター予測符号化モードであれば（ステップＳ１１１−Ｙｅｓ）、符号化モード決定部１２は、CUごとに、上記のTU分割結果及び対応するPUと予測モードとに基づいて、インター予測符号化モードの符号化コストとイントラ予測符号化モードの符号化コストを算出する。そして符号化モード決定部１２は、インター予測符号化モードとイントラ予測符号化モードのうち、符号化コストが小さい方をそのCUについて適用する符号化モードとする（ステップＳ１１３）。なお、符号化モード決定部１２は、CUについても、取り得る最大サイズのCUから順に、CUの符号化コストと、そのCUを4分割した4個のサブCUのそれぞれの符号化コストの和とを比較して、符号化コストが小さい方を選択すればよい。ただし、TU及びPUは、複数のCUにわたって設定されることはないので、上記のTU分割の結果により、着目するCUが4個のサブCUに分割できない場合には、着目するCUは、それ以上分割されない。そして符号化モード決定部１２は、符号化モード決定処理を終了する。

なお、符号化対象ピクチャが、インター予測符号化モードの適用がない、Iピクチャである場合には、符号化モード決定部１２は、ステップＳ１１０以降の処理を行わずに符号化モード決定処理を終了する。

符号化モード決定部１２は、符号化対象のCTUに適用するCUサイズ、PUサイズ、TUサイズ及び符号化モードの組み合わせを決定すると、その組み合わせを符号化部１３に出力する。なお、インター予測符号化されるCUについては、符号化モード決定部１２は、そのCUに含まれるPUについて算出された動きベクトルも符号化部１３へ出力する。

符号化部１３は、符号化モード決定部１２により決定されたCUサイズ、PUサイズ及びTUサイズに従って、符号化対象のCTUを分割する。そして符号化部１３は、符号化モード決定部１２により決定されたCUごとの符号化モードに従って、そのCUに含まれる各TUの予測ブロックを作成する。そして符号化部１３は、符号化対象のCTUに含まれる各TUと対応する予測ブロック間の予測誤差信号を、TUごとに直交変換して得られる直交変換係数を量子化及び可変長符号化することで、符号化対象のCTUを符号化する。
再度図４を参照すると、符号化部１３は、予測ブロック生成部２１と、予測誤差信号算出部２２と、直交変換部２３と、量子化部２４と、復号部２５と、可変長符号化部２６とを有する。

予測ブロック生成部２１は、予測ブロックを生成する。予測ブロック生成部２１は、符号化対象のCTUに含まれる着目するCUがインター予測符号化される場合、そのCUに含まれる各PUについて、そのPUに設定される動きベクトルを用いて参照ピクチャを動き補償することで予測ブロックを生成する。また、予測ブロック生成部２１は、着目するCUがイントラ予測符号化される場合、そのCUに含まれる各PUについて、そのPUに適用される予測モードに従って、そのPUの周囲の符号化済みのブロックに含まれる画素から予測ブロックを生成する。

予測ブロック生成部２１は、予測ブロックを予測誤差信号算出部２２へ出力する。

予測誤差信号算出部２２は、符号化対象のCTU内の各画素について、予測ブロックの対応する画素との差分演算を実行する。そして予測誤差信号算出部２２は、その差分演算により得られた各画素に対応する差分値を、予測誤差信号とする。予測誤差信号算出部２２は、予測誤差信号を直交変換部２３へ出力する。

直交変換部２３は、符号化対象のCTU内のTUごとに、予測誤差信号を直交変換することにより、直交変換係数の組を求める。例えば、直交変換部２３は、直交変換処理として、離散コサイン変換（Discrete Cosine Transform、DCT）を用いることで、直交変換係数として、TUごとのDCT係数の組を得る。あるいは、直交変換部２３は、直交変換処理として、アダマール変換を利用してもよい。
直交変換部２３は、TUごとの直交変換係数の組を量子化部２４へ出力する。

量子化部２４は、TUごとに、直交変換係数を量子化することにより、その直交変換係数の量子化係数を算出する。この量子化処理は、一定区間に含まれる信号値を一つの信号値で表す処理である。そしてその一定区間は、量子化幅と呼ばれる。例えば、量子化部２４は、直交変換係数から、量子化幅に相当する所定数の下位ビットを切り捨てることにより、その直交変換係数を量子化する。量子化幅は、量子化パラメータによって決定される。例えば、量子化部２４は、量子化パラメータの値に対する量子化幅の値を表す関数にしたがって、使用される量子化幅を決定する。またその関数は、量子化パラメータの値に対する単調増加関数とすることができ、予め設定される。

また量子化部２４は、HEVCなどの動画像符号化規格に対応した様々な量子化パラメータ決定方法の何れかに従って量子化パラメータを決定すればよい。量子化部２４は、例えば、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法を用いることができる。なお、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法に関しては、例えば、http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.htmlで特定されるURLを参照されたい。
量子化部２４は、量子化処理を実行することにより、直交変換係数を表すために使用されるビットの数を削減できるので、符号量を低減できる。量子化部２４は、量子化係数を復号部２５及び可変長符号化部２６へ出力する。

復号部２５は、符号化対象のCTUの量子化係数から、そのCTUよりも後のCTU及び符号化対象のCTUを含むピクチャよりも符号化順で後のピクチャを符号化するために参照される参照ピクチャを生成する。そのために、復号部２５は、量子化係数に、量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより、量子化係数を逆量子化する。この逆量子化により、各TUの直交変換係数の組、例えば、DCT係数の組が復元される。その後、復号部２５は、TUごとに、直交変換係数の組を逆直交変換処理する。例えば、直交変換部２３がDCTを用いている場合、復号部２５は、各TUに対して逆DCT処理を実行する。逆量子化処理及び逆直交変換処理を量子化信号に対して実行することにより、符号化前の予測誤差信号と同程度の情報を有する予測誤差信号が再生される。

復号部２５は、予測ブロックの各画素値に、その画素に対応する再生された予測誤差信号を加算する。これらの処理を各予測ブロックについて実行することにより、復号部２５は、その後に符号化されるPUに対する予測ブロックを生成するために参照されるブロックを復元する。さらに、復号部２５は、復元したブロックに対してデブロッキングフィルタ処理を実行してもよい。
復号部２５は、ブロックを復元する度に、その復元されたブロックを、記憶部１４に記憶する。

記憶部１４は、復元されたブロックを一時的に記憶する。各ブロックの符号化順序にしたがって、１枚のピクチャ分の復元されたブロックを結合することで、後続するピクチャの符号化の際に参照されるピクチャが得られる。記憶部１４は、符号化対象ピクチャが参照する可能性がある、予め定められた所定枚数分のピクチャを記憶し、記憶しているピクチャの枚数がその所定枚数を超えると、符号化順序が古いピクチャから順に破棄する。

さらに、記憶部１４は、インター予測符号化されたPUのそれぞれについての動きベクトルを記憶する。

可変長符号化部２６は、符号化対象のCTUに含まれる量子化係数を可変長符号化する。さらに、可変長符号化部２６は、予測ブロックの作成に利用された動きベクトルなども可変長符号化する。そして可変長符号化部２６は、その可変長符号化によって得られた符号化ビットを、HEVCなどに従って所定の順序に並べたビットストリームを出力する。なお、可変長符号化部２６は、可変長符号化方式として、Context-based Adaptive Binary Arithmetic Coding(CABAC)といった算術符号化処理を用いることができる。あるいは、可変長符号化部２６は、可変長符号化方式として、Context-based Adaptive Variable Length Coding (CAVLC)といったハフマン符号化処理を用いてもよい。

制御部（図示せず）は、出力されたビットストリームを所定の順序で結合し、HEVCなどに従ったヘッダ情報などを付加することで、符号化された動画像データを含むビットストリームを得る。

図６は、動画像符号化装置１による動画像符号化処理の動作フローチャートである。動画像符号化装置１はCTUごとに、下記の動作フローチャートに従って符号化する。

動きベクトル算出部１１は、符号化対象ピクチャが、PピクチャまたはBピクチャといった、インター予測符号化モードが適用可能なピクチャである場合、符号化対象のCTUについて適用可能なPUのそれぞれについて、動きベクトルを算出する（ステップＳ２０１）。

符号化モード決定部１２は、符号化対象のCTUに適用される、CUサイズ、PUサイズ、TUサイズ、及び符号化モードの組み合わせを決定する（ステップＳ２０２）。

符号化部１３の予測ブロック生成部２１は、決定した組み合わせに含まれる符号化モードに従って、PUごとに予測ブロックを算出する（ステップＳ２０３）。そして符号化部１３の予測誤差信号算出部２２は、TUごとに、TUとそのTUに対応する予測ブロック間で画素ごとに差分演算することで、予測誤差信号を算出する（ステップＳ２０４）。

その後、符号化部１３の直交変換部２３は、予測誤差信号をTUごとに直交変換して直交変換係数の組を算出する（ステップＳ２０５）。そして符号化部１３の量子化部２４は、各直交変換係数を量子化する（ステップＳ２０６）。

符号化部１３の復号部２５は、量子化係数を逆量子化及び逆直交変換して再生した予測誤差信号と予測ブロックを加算して参照ブロックを生成する（ステップＳ２０７）。そして復号部２５は、その参照ブロックを記憶部１４に記憶する。一方、符号化部１３の可変長符号化部２６は、各量子化係数を可変長符号化する（ステップＳ２０８）。そして動画像符号化装置１は、動画像符号化処理を終了する。

以上に説明してきたように、この動画像符号化装置は、符号化対象のブロックについて、そのブロックを分割した複数のサブブロックのそれぞれの複雑度が所定以上で、各サブブロック間の類似度が高いほど、そのブロックを分割され難くする。これにより、この動画像符号化装置は、符号化単位のサイズ、例えば、直交変換の単位のサイズを適切に決定できる。

なお、インター予測符号化モードが適用されるピクチャについては、着目するTUを分割した各サブTUの複雑度が高く、かつ、各サブTU間の類似度が高い場合でも、参照ピクチャ上に各サブTUと良好に一致する領域が存在することがある。このような場合には、着目するTUがサブTUに分割されたとしても、各サブTUについての予測誤差が非常に少なく、RD特性が比較的良好となることがある。そこで、符号化モード決定部１２は、符号化モードとしてインター予測符号化モードが適用される場合には、offsetを常に0として、TUサイズを決定してもよい。

また、他の変形例によれば、動画像符号化装置は、直交変換の単位だけでなく、符号化モードを選択する単位を決定する際にも、上記の処理を適用してもよい。例えば、動画像符号化装置は、着目するCUとそのCUを４分割したサブCU間で符号化コストを比較する際に、各サブCUの複雑度と各サブCU間の類似度に応じて決定されるオフセットを、各サブCUの符号化コストの和に加えてもよい。

図７は、上記の実施形態またはその変形例による動画像符号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置として動作するコンピュータの構成図である。

コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。

ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、符号化する動画像データを選択する操作信号をプロセッサ１０５へ出力する。

通信インターフェース部１０２は、コンピュータ１００を、動画像データを生成する装置、例えば、ビデオカメラと接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、High-Definition Multimedia Interface(HDMI)(登録商標)、またはUniversal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。

さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。

この場合には、通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、符号化する動画像データを取得し、そのデータをプロセッサ１０５へ渡す。また通信インターフェース部１０２は、プロセッサ１０５から受け取った、符号化済みの動画像データを通信ネットワークを介して他の機器へ出力してもよい。

記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、動画像符号化処理を実行するためのコンピュータプログラム、及びこれらの処理の途中または結果として生成されるデータを記憶する。

記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、動画像符号化処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。

プロセッサ１０５は、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラムを実行することにより、符号化動画像データを生成する。そしてプロセッサ１０５は、生成された符号化動画像データを記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。

なお、動画像符号化装置１の各部の機能をプロセッサ上で実行可能なコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
動画像データに含まれるピクチャ上のブロックを分割した、複数のサブブロックのそれぞれの複雑度及び各サブブロック間の類似度に応じたオフセット値を算出し、前記ブロックを符号化単位として前記ブロックを符号化する場合の第１の符号化コストが、前記サブブロックを前記符号化単位として前記ブロックを符号化する場合の前記複数のサブブロックのそれぞれの第２の符号化コストの和と前記オフセット値の合計以下である場合、前記符号化単位として前記ブロックを選択し、一方、前記第１の符号化コストが前記合計よりも大きい場合、前記符号化単位として前記サブブロックを選択する符号化モード決定部と、
前記ブロックを前記選択した符号化単位ごとに符号化する符号化部と、
を有する動画像符号化装置。
（付記２）
前記符号化モード決定部は、前記複数のサブブロックのそれぞれについて、当該サブブロックの前記第２の符号化コストを当該サブブロックの前記複雑度とする、付記１に記載の動画像符号化装置。
（付記３）
前記符号化モード決定部は、前記複数のサブブロックのそれぞれについて、当該サブブロックと当該サブブロックについての予測ブロックとの対応画素間の差分絶対値和を当該サブブロックの前記複雑度とする、付記１に記載の動画像符号化装置。
（付記４）
前記符号化モード決定部は、前記複数のサブブロックのそれぞれの前記複雑度の分散を前記類似度として算出する、付記２または３に記載の動画像符号化装置。
（付記５）
前記符号化モード決定部は、前記複数のサブブロックのそれぞれの前記複雑度のうちの最大値と最小値の差を前記類似度として算出する、付記２または３に記載の動画像符号化装置。
（付記６）
前記符号化モード決定部は、前記ブロックを符号化済みの他のピクチャを参照して符号化するインター予測符号化モードに基づいて符号化する場合、前記オフセットを０とし、一方、前記ブロックを前記ピクチャの符号化済みの領域を参照して符号化するイントラ予測符号化モードに基づいて符号化する場合、前記複数のサブブロックのそれぞれの前記複雑度及び各サブブロック間の前記類似度に応じて前記オフセット値を算出する、付記１〜５の何れかに記載の動画像符号化装置。
（付記７）
前記符号化部は、前記ブロックと、前記ブロックについての予測ブロック間の予測誤差を前記選択した符号化単位ごとに直交変換して前記符号化単位ごとに直交変換係数を算出し、前記符号化単位ごとの前記直交変換係数を符号化する、付記１〜６の何れかに記載の動画像符号化装置。
（付記８）
動画像データに含まれるピクチャ上のブロックを分割した、複数のサブブロックのそれぞれの複雑度及び各サブブロック間の類似度に応じたオフセット値を算出し、
前記ブロックを符号化単位として前記ブロックを符号化する場合の第１の符号化コストが、前記サブブロックを前記符号化単位として前記ブロックを符号化する場合の前記複数のサブブロックのそれぞれの第２の符号化コストの和と前記オフセット値の合計以下である場合、前記符号化単位として前記ブロックを選択し、一方、前記第１の符号化コストが前記合計よりも大きい場合、前記符号化単位として前記サブブロックを選択し、
前記ブロックを前記選択した符号化単位ごとに符号化する、
ことを含む動画像符号化方法。
（付記９）
動画像データに含まれるピクチャ上のブロックを分割した、複数のサブブロックのそれぞれの複雑度及び各サブブロック間の類似度に応じたオフセット値を算出し、
前記ブロックを符号化単位として前記ブロックを符号化する場合の第１の符号化コストが、前記サブブロックを前記符号化単位として前記ブロックを符号化する場合の前記複数のサブブロックのそれぞれの第２の符号化コストの和と前記オフセット値の合計以下である場合、前記符号化単位として前記ブロックを選択し、一方、前記第１の符号化コストが前記合計よりも大きい場合、前記符号化単位として前記サブブロックを選択し、
前記ブロックを前記選択した符号化単位ごとに符号化する、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。

１ 動画像符号化装置
１１ 動きベクトル算出部
１２ 符号化モード決定部
１３ 符号化部
１４ 記憶部
２１ 予測ブロック生成部
２２ 予測誤差信号算出部
２３ 直交変換部
２４ 量子化部
２５ 復号部
２６ 可変長符号化部
１００ コンピュータ
１０１ ユーザインターフェース部
１０２ 通信インターフェース部
１０３ 記憶部
１０４ 記憶媒体アクセス装置
１０５ プロセッサ

Claims (7)

1. 動画像データに含まれるピクチャ上のブロックを分割した、複数のサブブロックのそれぞれの複雑度及び各サブブロック間の類似度に応じたオフセット値を算出し、前記ブロックを符号化単位として前記ブロックを符号化する場合の第１の符号化コストが、前記サブブロックを前記符号化単位として前記ブロックを符号化する場合の前記複数のサブブロックのそれぞれの第２の符号化コストの和と前記オフセット値の合計以下である場合、前記符号化単位として前記ブロックを選択し、一方、前記第１の符号化コストが前記合計よりも大きい場合、前記符号化単位として前記サブブロックを選択する符号化モード決定部と、
   前記ブロックを前記選択した符号化単位ごとに符号化する符号化部と、
   を有する動画像符号化装置。
2. 前記符号化モード決定部は、前記複数のサブブロックのそれぞれについて、当該サブブロックの前記第２の符号化コストを当該サブブロックの前記複雑度とする、請求項１に記載の動画像符号化装置。
3. 前記符号化モード決定部は、前記複数のサブブロックのそれぞれについて、当該サブブロックと当該サブブロックについての予測ブロックとの対応画素間の差分絶対値和を当該サブブロックの前記複雑度とする、請求項１に記載の動画像符号化装置。
4. 前記符号化モード決定部は、前記複数のサブブロックのそれぞれの前記複雑度の分散を前記類似度として算出する、請求項２または３に記載の動画像符号化装置。
5. 前記符号化モード決定部は、前記複数のサブブロックのそれぞれの前記複雑度のうちの最大値と最小値の差を前記類似度として算出する、請求項２または３に記載の動画像符号化装置。
6. 動画像データに含まれるピクチャ上のブロックを分割した、複数のサブブロックのそれぞれの複雑度及び各サブブロック間の類似度に応じたオフセット値を算出し、
   前記ブロックを符号化単位として前記ブロックを符号化する場合の第１の符号化コストが、前記サブブロックを前記符号化単位として前記ブロックを符号化する場合の前記複数のサブブロックのそれぞれの第２の符号化コストの和と前記オフセット値の合計以下である場合、前記符号化単位として前記ブロックを選択し、一方、前記第１の符号化コストが前記合計よりも大きい場合、前記符号化単位として前記サブブロックを選択し、
   前記ブロックを前記選択した符号化単位ごとに符号化する、
   ことを含む動画像符号化方法。
7. 動画像データに含まれるピクチャ上のブロックを分割した、複数のサブブロックのそれぞれの複雑度及び各サブブロック間の類似度に応じたオフセット値を算出し、
   前記ブロックを符号化単位として前記ブロックを符号化する場合の第１の符号化コストが、前記サブブロックを前記符号化単位として前記ブロックを符号化する場合の前記複数のサブブロックのそれぞれの第２の符号化コストの和と前記オフセット値の合計以下である場合、前記符号化単位として前記ブロックを選択し、一方、前記第１の符号化コストが前記合計よりも大きい場合、前記符号化単位として前記サブブロックを選択し、
   前記ブロックを前記選択した符号化単位ごとに符号化する、
   ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。

Images