JP6677482B2 - 階層符号化装置及び送信装置 - Google Patents

Description

本発明は階層符号化装置に係り、伝送帯域に応じて複数種類の空間解像度あるいは複数種類の画質で、映像を圧縮符号化する装置に関するものである。また、本発明は、その階層符号化装置を備えた送信装置に関するものである。

近年、水平７６８０×垂直４３２０（８Ｋ×４Ｋ、いわゆる８Ｋ）又は水平３８４０×垂直２１６０（４Ｋ×２Ｋ、いわゆる４Ｋ）の画素数を有する超高精細映像の放送分野での開発・応用が進んでいる。また、超高精細映像の衛星波やネットワークを利用したサービスも順次開始されている。一方、放送サービスで重要な役割を占める地上波における超高精細映像伝送の検討も開始されつつあるが、地上波の場合は、１チャンネル当たりの帯域が固定されているため、伝送容量を格段に増やすことが困難であるだけでなく、既に、現行のＨＤＴＶ（High Definition Television）放送サービスで多くのチャンネルが使用されており、新たなサービスの開始が困難な状況である。

図１２は、現在、地上波で用いられている伝送方式の概念図である。片偏波（例えば、水平偏波）の電波を送信する１つのアンテナを有する送信装置と、同じ片偏波（例えば、水平偏波）の電波を受信する１つのアンテナを有する受信装置からシステムが構成されており、ＳＩＳＯ（Single Input Single Output）方式と呼ばれる。送信側において、映像信号Ｘは変調器１１で必要な圧縮符号化と変調が行われ、水平偏波送信用のアンテナ１２から、水平偏波の電波として送信される。また、受信側では、水平偏波受信用のアンテナ２２で水平偏波として送られた電波（圧縮信号）を受信し、復調器２１にて復調及び復号が行われて、映像信号Ｘが再生される。

現在のＳＩＳＯ方式は、変調方式を改善することにより、伝送容量をある程度まで増やすことが可能であり、４Ｋ×２Ｋの高精細画像を高画質で伝送することはできるが、８Ｋ×４Ｋの超高精細映像を高画質で伝送することはできない。

このような状況の中、地上波での伝送方式として、複数のアンテナを活用するＭＩＭＯ（Multi Input Multi Output）方式が注目されている。ＭＩＭＯ方式は、送信側から複数のアンテナを用いて信号を送信するとともに、受信側も複数のアンテナを用いて信号を受信する方式であり、伝送容量を大幅に増大させることができる。特に、電波の偏波面を利用し、同じ周波数の水平偏波の電波と垂直偏波の電波をそれぞれ別のアンテナで送受信する偏波ＭＩＭＯ方式は、伝送容量をＳＩＳＯ方式の２倍に拡張することが可能であり、８Ｋ×４Ｋの超高精細映像を高画質で伝送できる伝送方式として期待されている（非特許文献１）。

図１３は、偏波ＭＩＭＯ方式の概念図である。送信側において、映像信号Ｘは変調器１１で必要な圧縮符号化と変調が行われ、水平偏波送信用のアンテナ１２から、水平偏波の電波として送信される。また、映像信号Ｘ’は変調器１３で必要な圧縮符号化と変調が行われ、垂直偏波送信用のアンテナ１４から、垂直偏波の電波として送信される。受信装置２０は、水平偏波と垂直偏波の両者を受信可能な設備を備えている。すなわち、水平偏波受信用のアンテナ２２で水平偏波として送られた電波（圧縮信号）を受信し、復調器２１にて復調及び復号が行われて映像信号Ｘが再生され、また、垂直偏波受信用のアンテナ２４で垂直偏波として送られた電波（圧縮信号）を受信し、復調器２３にて復調及び復号が行われて映像信号Ｘ’が再生される。この映像信号Ｘと映像信号Ｘ’は、両信号を合わせて一つの超高精細画像（例えば、８Ｋ×４Ｋの高画質の超高精細映像）を生成できる。

一方、超高精細映像の伝送に不可欠な映像の圧縮符号化の方式に階層（あるいはスケーラブル）符号化方式がある（非特許文献２）。階層符号化は、１つの圧縮ストリームのうち一部分を取り出すと、低解像の映像や低画質の映像、或いは低フレームレートの映像が再生され、ストリーム全部を受信すると、高解像度や高画質の映像、或いは高フレームレートの映像が再生可能な方式である。この階層符号化方式は、それぞれの受信装置の信号処理能力の相違に柔軟に対応可能な符号化方式として、今後の活用が期待されている。

蔀 拓也、「マルチパス環境における偏波ＭＩＭＯ−超多値ＯＦＤＭの伝送特性」、ＮＨＫ技研Ｒ＆Ｄ、２０１２年１１月、Ｎｏ．１３６、ｐ．２４−３２ 角野 眞也、「知っておきたいキーワード 階層符号化（スケーラブル符号化）」、映像情報メディア学会誌、２００７年、Ｖｏｌ．６１、Ｎｏ．４、ｐ．４５９−４６１

前述のとおり、偏波ＭＩＭＯ方式を導入することにより、８Ｋ×４Ｋの超高精細映像を高画質で送信する放送システムが実現できる。しかしながら、偏波ＭＩＭＯ方式の導入のためには、受信側（すなわち、視聴者側）において、片偏波（例えば、水平偏波）の信号に対応していた従来の受信装置を、水平・垂直の両偏波に対応させるため、アンテナ等の受信設備の変更が必要であり、仮に両偏波の放送波によるサービスを開始したとしても、新しい受信設備が全体に普及するには時間を要する。そこで、現状の片偏波のみを利用するＳＩＳＯ方式による送受信システムからの段階的な移行、普及を図ることが求められる。すなわち、ある段階の放送サービスの伝送方式に対応した受信装置が、次の段階の放送サービスの伝送方式が導入された際にも信号を受信できる必要がある。ここでの次の段階とは、伝送可能なビットレートが増大することにより、映像の解像度を精細化したり、画質を向上させることをいう。

従って、上記のような問題点に鑑みてなされた本発明の目的は、伝送方式の移行時において、ある段階の伝送方式に対応した受信装置と、次の段階の伝送方式に対応した受信装置の両者が信号受信可能な信号伝送システムに適した、階層符号化装置を提供することにある。

また、本発明の別の目的は、伝送方式の移行時において、受信装置に対応してそれぞれ適切な映像を再生できる圧縮信号を、送信可能な送信装置を提供することにある。

上記課題を解決するために本発明に係る階層符号化装置は、第１偏波の電波により伝送される第１の伝送信号と、第２偏波の電波により伝送される第２の伝送信号とを用いて、高解像度映像を伝送するための階層符号化装置において、前記第１の伝送信号を基本階層の映像符号化データとし、前記第２の伝送信号を基本階層の映像に対して解像度が高い映像を符号化した拡張階層とし、映像を複数階層で符号化伝送する第１の階層符号化装置と、前記第１の伝送信号を基本階層の映像符号化データとし、前記第２の伝送信号を基本階層の映像に対して同解像度で画質を向上させた映像を符号化した拡張階層とし、映像を複数階層で符号化伝送する第２の階層符号化装置とを備えており、前記第１の階層符号化装置と前記第２の階層符号化装置を切り換え選択し、前記切り換え選択は、画質を示す評価尺度により、復号した映像の画質が高い映像符号化データを生成する階層符号化装置を選択することを特徴とする。

また、本発明に係る送信装置は、上記の階層符号化装置を備え、前記第１の伝送信号を前記第１偏波の電波で送信し、前記第２の伝送信号を前記第２偏波の電波で送信することを特徴とする。

本発明によれば、ＳＩＳＯ方式から、ＳＩＳＯx2方式、さらに偏波ＭＩＭＯ方式へと段階的な伝送方式の移行に対応して、ある段階の放送サービスの伝送方式に対応した受信装置が、次の段階の放送サービスの伝送方式においても信号受信可能な信号伝送システムが構成できる。また、伝送方式の拡張に伴い画質や解像度などの向上を図ることができ、伝送方式のスムーズな移行を促すことができる。

伝送方式の移行時におけるＳＩＳＯx2方式の概念図である。 ＳＩＳＯ方式において高画質画像を伝送する符号化方式を説明する図である。 ＳＩＳＯ方式において高解像度画像を伝送する符号化方式を説明する図である。 ＳＩＳＯx2方式において階層符号化により高画質画像を伝送する符号化方式を説明する図である。 ＳＩＳＯx2方式において階層符号化により高解像度画像を伝送する符号化方式を説明する図である。 偏波ＭＩＭＯ方式において階層符号化により高画質画像を伝送する符号化方式を説明する図である。 偏波ＭＩＭＯ方式において階層符号化により高解像度画像を伝送する符号化方式を説明する図である。 本発明の高画質画像の符号化処理を実現する階層符号化装置のブロック図である。 高画質画像の復号処理を実現する階層復号装置のブロック図である。 本発明の高解像度画像の符号化処理を実現する階層符号化装置のブロック図である。 高解像度画像の復号処理を実現する階層復号装置のブロック図である。 ＳＩＳＯ方式の概念図である。 偏波ＭＩＭＯ方式の概念図である。

以下、本発明の実施の形態について説明する。

（実施の形態）
図１は、ＳＩＳＯ方式から偏波ＭＩＭＯ方式に移行する間に、本発明で採用を想定する伝送方式の概念図である。図１の伝送方式は、ＳＩＳＯ方式と同様に水平偏波の電波を大電力で送信しつつ、さらに、垂直偏波の電波を別途弱電力で送出する方式である。この方式を、ＳＩＳＯx2方式と呼ぶこととする。

送信側では、映像信号Ｘ（伝送容量ｘ）は変調器１１で必要な圧縮符号化と変調が行われ、水平偏波送信用のアンテナ１２から、ある周波数の水平偏波（第１偏波）の電波として送信される。この水平偏波はＳＩＳＯ方式と同様である。さらに、送信側において、映像信号Ｙ（伝送容量ｙ）が変調器１３で必要な圧縮符号化と変調が行われ、垂直偏波送信用のアンテナ１４から、同じ周波数の垂直偏波（第２偏波）の弱電波として送信される。ここで伝送容量ｙは、例えば、伝送容量ｘの半分程度とする。

受信側では、水平偏波のみを受信する受信装置においては、従来のＳＩＳＯ方式と同様に、水平偏波受信用のアンテナ２２で水平偏波として送られた電波（圧縮信号）を受信し、復調器２１にて復調及び復号が行われて、映像信号Ｘが再生される。なお、垂直偏波は同じ周波数の電波であるが弱電力であるため、既存の水平偏波の受信に大きな影響を与えない。

また、水平・垂直両偏波が受信可能な新受信設備を有する受信装置２０では、水平偏波受信用のアンテナ２２で水平偏波として送られた電波（圧縮信号）を受信し、復調器２１にて復調及び復号が行われて映像信号Ｘが再生され、また、垂直偏波受信用のアンテナ２４で垂直偏波として送られた電波（圧縮信号）を受信し、復調器２３にて復調及び復号が行われて映像信号Ｙが再生される。すなわち、受信装置２０では垂直偏波により映像信号Ｙ（伝送容量ｙ）が追加的に受信可能となり、伝送容量が拡大する。映像信号Ｘと映像信号Ｙは、両信号を合わせて一つの超高精細画像を作成できる。

このように、ＳＩＳＯx2方式では、水平偏波の電波のみを受信可能な受信装置と、水平・垂直両偏波が受信可能な受信装置２０とが共存できる。その後、水平・垂直両偏波が受信可能な受信設備（受信装置２０）が十分普及した後、水平・垂直両偏波を同電力で送出する図１３の偏波ＭＩＭＯ方式に移行することができる。

なお、偏波ＭＩＭＯ方式に移行する際にも、水平・垂直両偏波が受信可能であるが、垂直偏波の電波信号の一部（映像信号Ｙに相当する信号）のみが受信可能なＳＩＳＯx2方式に対応した受信装置が存在する場合は、このＳＩＳＯx2方式に対応した受信装置と、偏波ＭＩＭＯ方式に完全に対応した受信装置とが共存できる移行段階の信号伝送システムを、さらに設計することができる。

本発明では、これらのＳＩＳＯ、ＳＩＳＯx2、偏波ＭＩＭＯの各伝送方式に対応した映像の圧縮符号化方式により、段階的に高画質化・高精細度化を可能とする。そして、この段階的な伝送方式の変更に対応させるため、映像の符号化方式として階層符号化を適用する。以下では説明上、具体的な伝送容量（ビットレート）や映像の解像度（サイズ）を例示するが、本発明においてはこれらに限るものではない。

図２は、ＳＩＳＯ方式を前提として高画質画像を伝送するための符号化方式を、概念的に説明する図である。ＳＩＳＯ方式による伝送容量を３０Ｍｂｐｓ程度とすると、映像符号化方式にＭＰＥＧ−Ｈ ＨＥＶＣ／Ｈ．２６５（Moving Picture Experts Group−High Efficiency Video Coding / H.265）のような最新の圧縮技術を適用すれば、４Ｋ×２Ｋ程度の映像を高画質に圧縮符号化し伝送可能である。このように、高画質を優先する伝送方法を、以下「Ａパターン」ということとする。４Ｋ×２Ｋの映像信号を符号化器（encoder）３１によって符号化し、これを伝送路（伝送容量３０Ｍｂｐｓ）により伝送し、復号器（decoder）４１によって復号することにより、４Ｋ×２Ｋの高画質の映像復号信号が得られる。

図３は、ＳＩＳＯ方式を前提として高解像度画像を伝送するための符号化方式を、概念的に説明する図である。ＳＩＳＯ方式による伝送容量を３０Ｍｂｐｓ程度とすると、圧縮技術により、６Ｋ×３Ｋ（5760×3240）程度の映像を中程度の画質で圧縮符号化し伝送可能である。このように、高解像度を優先する伝送方法を、以下「Ｂパターン」ということとする。６Ｋ×３Ｋの映像信号を符号化器３１によって符号化し、これを伝送路（伝送容量３０Ｍｂｐｓ）により伝送し、復号器４１によって復号することにより、６Ｋ×３Ｋの中程度の画質の映像復号信号が得られる。なお、ここで「中程度画質」・「高画質」とは画像上のノイズの多寡の程度を意味しており、画素の明暗のビット数を意味するものではない。また、ここで６Ｋ×３Ｋとは、伝送する映像信号の解像度（フォーマット・サイズ）であり、必ずしも、受信側の表示画面（モニター）の解像度を意味するものではない。受信側の表示装置においては、映像復号信号をもとに適宜の解像度に変換（例えば、８Ｋ×４Ｋに拡大）して、表示が可能である。

図４は、ＳＩＳＯx2方式を前提として階層符号化により高画質画像を伝送するための符号化方式を、概念的に説明する図である。ＳＩＳＯx2方式では、垂直偏波の利用により伝送容量ｙとして、１３Ｍｂｐｓ程度が追加的に伝送可能になる。したがって、両偏波を受信可能な受信装置においては、３０Ｍｂｐｓ＋１３Ｍｂｐｓ＝４３Ｍｂｐｓとなるので、６Ｋ×３Ｋ程度の映像を高画質で圧縮符号化し伝送可能となる。

図４では、元となる６Ｋ×３Ｋの映像信号を、４Ｋ×２Ｋの映像信号に縮小し、これを、符号化器３１によって符号化し伝送容量３０Ｍｂｐｓの圧縮符号化信号とする。この圧縮符号化信号は、階層符号化の基本階層データとなる。この圧縮符号化信号は、例えば水平偏波の電波で送信され、復号器４１により復号されて４Ｋ×２Ｋの高画質の映像復号信号となる（Ａパターン）。

また、送信側では、この３０Ｍｂｐｓの圧縮符号化信号を復号器４１により４Ｋ×２Ｋの映像復号信号にし、この映像復号信号を６Ｋ×３Ｋの映像信号に拡大して、符号化器３２の入力信号とする。符号化器３２は、復号器４１からの映像復号信号を予測参照画像（基本階層画像）として利用し、元となる６Ｋ×３Ｋの映像信号を階層符号化して、伝送容量１３Ｍｂｐｓの第１階層データを生成する。この第１階層データは、垂直偏波の電波で送信されて、復号器４２で、基本階層データから復号した映像復号信号とともに階層復号され、６Ｋ×３Ｋの高画質の映像復号信号を生成することができる。

図４において、符号化器３１及び復号器４１を含む符号化方式の部分５０は、図２と同じであり、ＳＩＳＯ方式で受信可能である。したがって、図４に示すＳＩＳＯx2方式は、図２のＳＩＳＯ方式の伝送路構成に新たに１３Ｍｂｐｓの伝送路が追加された方式ということができ、ＳＩＳＯ方式と共存することができる。

なお、図４は階層符号化と復号の関係を説明する図であって、図４において、復号器４１，４２は受信装置の復号部を意味するだけではなく、送信装置内の復号部であってもよい。同様に、図５〜図７においても、復号器（decoder）は、単に受信装置を意味するものではなく、送信装置内の復号部をも意味する。

図５は、ＳＩＳＯx2方式を前提として階層符号化により高解像度画像を伝送するための符号化方式を、概念的に説明する図である。図５では、元となる６Ｋ×３Ｋの映像信号を、符号化器３１によって符号化し伝送容量３０Ｍｂｐｓの圧縮符号化信号とする。この圧縮符号化信号は、階層符号化の基本階層データとなる。この圧縮符号化信号は、例えば水平偏波の電波で送信され、復号器４１により復号されて６Ｋ×３Ｋの中程度画質の映像復号信号となる（Ｂパターン）。

また、送信側では、この３０Ｍｂｐｓの圧縮符号化信号を復号器４１により６Ｋ×３Ｋの映像復号信号にし、この映像復号信号を符号化器３２の入力信号とする。符号化器３２は、復号器４１からの映像復号信号を予測参照画像（基本階層画像）として利用し、元となる６Ｋ×３Ｋの映像信号を階層符号化して、伝送容量１３Ｍｂｐｓの第１階層データを生成する。この第１階層データは、垂直偏波の電波で送信されて、復号器４２で、基本階層データから復号した映像復号信号とともに階層復号され、６Ｋ×３Ｋの高画質の映像復号信号を生成する。

図５において、符号化器３１及び復号器４１を含む符号化方式の部分５０は、図３と同じであり、ＳＩＳＯ方式で受信可能である。したがって、図５に示すＳＩＳＯx2方式は、図３のＳＩＳＯ方式の伝送路構成に新たに１３Ｍｂｐｓの伝送路が追加された方式ということができ、ＳＩＳＯ方式と共存することができる。

なお、図４及び図５のＳＩＳＯx2方式において使用する階層符号化機能は、基本階層である低ビットレートあるいは低解像度映像の符号化方式については制限がなく、たとえば階層符号化にＨＥＶＣ／Ｈ．２６５方式を利用する場合、基本階層はＡＶＣ／Ｈ．２６４やＭＰＥＧ−２など従来の方式でも構わない。

図６は、偏波ＭＩＭＯ方式を前提として階層符号化により高画質画像を伝送するための符号化方式を、概念的に説明する図である。偏波ＭＩＭＯ方式では、垂直偏波を水平偏波と同程度の電力出力として、それぞれ３０Ｍｂｐｓ程度の伝送信号が伝送可能になる。したがって、両偏波を受信可能な受信装置においては、６０Ｍｂｐｓとなるので、８Ｋ×４Ｋの映像を高画質で圧縮符号化し伝送可能となる。なお、偏波ＭＩＭＯ方式では、水平偏波はＳＩＳＯ方式と同様に出力されるが、垂直偏波が、水平偏波と同じ周波数で且つ水平偏波と同程度の電力で送信されるため、水平偏波の受信に影響を与える。したがって、従来のＳＩＳＯ方式の受信設備で水平偏波のみを受信することは困難であり、ＳＩＳＯ方式の受信設備が少なくともＳＩＳＯx2方式に全て移行した後に導入することが望ましい。

図６では、階層符号化機能を図４のＳＩＳＯx2方式の上に利用することで、ＳＩＳＯx2方式の受信設備と互換性を保ったまま、８Ｋ×４Ｋの映像信号を符号化可能とする。まず、元となる８Ｋ×４Ｋの映像信号を６Ｋ×３Ｋの映像信号に縮小し、更にこの信号を４Ｋ×２Ｋの映像信号に縮小し、これを符号化器３１によって符号化し伝送容量３０Ｍｂｐｓの圧縮符号化信号とする。この圧縮符号化信号は、階層符号化の基本階層データとなり、水平偏波の電波で送信される。この３０Ｍｂｐｓの圧縮符号化信号を復号器４１により４Ｋ×２Ｋの映像復号信号にし、この映像復号信号を６Ｋ×３Ｋの映像信号に拡大して、符号化器３２の入力信号とする。符号化器３２は、復号器４１からの映像復号信号を予測参照画像（基本階層画像）として利用し、元となる６Ｋ×３Ｋの映像信号を階層符号化して、伝送容量１３Ｍｂｐｓの第１階層データを生成する。この第１階層データは、復号器４２で、基本階層データから復号した映像復号信号とともに階層復号され、６Ｋ×３Ｋの高画質の映像復号信号を生成する（Ａパターン）。６Ｋ×３Ｋの映像復号信号は、８Ｋ×４Ｋの映像信号に拡大して、符号化器３３の入力信号とする。符号化器３３は、復号器４２からの映像復号信号を予測参照画像（第１階層画像）として利用し、元となる８Ｋ×４Ｋの映像信号を階層符号化して、伝送容量１７Ｍｂｐｓの第２階層データを生成する。この第２階層データは、第１階層データとともに垂直偏波の電波で送信されて、復号器４３で、第１階層データから復号した映像復号信号とともに階層復号され、８Ｋ×４Ｋの高画質の映像復号信号を生成することができる。

図６において、符号化器３１，３２及び復号器４１，４２を含む符号化方式の部分５１は、図４と同じであり、ＳＩＳＯx2方式のみに対応した受信装置で受信可能である。したがって、図６に示す偏波ＭＩＭＯ方式は、図４のＳＩＳＯx2方式の伝送路構成に新たに１７Ｍｂｐｓの伝送路が追加された方式ということができ、ＳＩＳＯx2方式と共存することができる。

図７は、偏波ＭＩＭＯ方式を前提として階層符号化により高解像度画像を伝送するための符号化方式を、概念的に説明する図である。図７では、階層符号化機能を図５のＳＩＳＯx2方式の上に利用することで、ＳＩＳＯx2方式の受信設備と互換性を保ったまま、８Ｋ×４Ｋの映像信号を符号化可能とする。まず、元となる８Ｋ×４Ｋの映像信号を符号化器３１によって符号化し伝送容量３０Ｍｂｐｓの圧縮符号化信号とする。この圧縮符号化信号は、階層符号化の基本階層データとなり、水平偏波の電波で送信される。この３０Ｍｂｐｓの圧縮符号化信号を復号器４１により８Ｋ×４Ｋの低画質の映像復号信号にし、この映像復号信号を符号化器３２の入力信号とする。符号化器３２は、復号器４１からの映像復号信号を予測参照画像（基本階層画像）として利用し、元となる８Ｋ×４Ｋの映像信号を階層符号化して、伝送容量１３Ｍｂｐｓの第１階層データを生成する。この第１階層データは、復号器４２で、基本階層データから復号した映像復号信号とともに階層復号され、８Ｋ×４Ｋの中程度の画質の映像復号信号を生成する（Ｂパターン）。８Ｋ×４Ｋの中画質の映像復号信号は、符号化器３３の入力信号とする。符号化器３３は、復号器４２からの映像復号信号を予測参照画像（第１階層画像）として利用し、元となる８Ｋ×４Ｋの映像信号を階層符号化して、伝送容量１７Ｍｂｐｓの第２階層データを生成する。この第２階層データは、第１階層データとともに垂直偏波の電波で送信されて、復号器４３で、第１階層データから復号した映像復号信号とともに階層復号され、８Ｋ×４Ｋの高画質の映像復号信号を生成することができる。

図７において、符号化器３１，３２及び復号器４１，４２を含む符号化方式の部分５１は、構成として図５と同じであり、ＳＩＳＯx2方式のみに対応した受信装置で受信可能である。したがって、図７に示す偏波ＭＩＭＯ方式は、ＳＩＳＯx2方式と共存することができる。

なお、図７においては、ＳＩＳＯx2方式で８Ｋ×４Ｋ（中画質）の画像処理が可能であるとして説明したが、図５のように、ＳＩＳＯx2方式が６Ｋ×３Ｋ（高画質）の処理を前提とする場合は、入力信号である８Ｋ×４Ｋの映像信号を、６Ｋ×３Ｋの映像信号に圧縮して、ＳＩＳＯx2方式の部分５１（符号化器３１，３２）に入力し、ブロック５１内での処理終了後に、復号器４２で階層復号された６Ｋ×３Ｋ（高画質）の映像復号信号を８Ｋ×４Ｋの映像信号に拡大して、符号化器３３の入力信号とすることもできる。この場合、偏波ＭＩＭＯ方式は、図５のＳＩＳＯx2方式の伝送路構成に新たに１７Ｍｂｐｓの伝送路が追加された方式ということができ、図５のＳＩＳＯx2方式と完全に共存することができる。

以上のように、伝送方式の段階的な変更に対して階層符号化を適用することで、受信設備の普及の過程で既存伝送方式のサービスと互換性を保ち、すなわち既存の受信装置を利用可能なまま新しいサービスを提供可能になる。

これまで、上記の枠組み内で新サービスとして可能性のある複数サービス（ＡパターンとＢパターン）をそれぞれ別々に説明したが、一つの送信装置に両方のサービスの階層符号化装置を設けて、切り換え可能とすることができる。

以上説明した２種類の方式（ＡパターンとＢパターン）の選択（切り換え）に関しては、以下のように決定することができる。

パターンの選択の方針としては、圧縮符号化により生じる劣化をできるだけ避け高画質を求める場合はＡパターン、画像の解像度を高くする場合はＢパターンとする。

どちらの方式（パターン）を選択するかの基準を、画質を示す評価尺度を利用して行う。たとえば、原画像との比較になるＭＳＥ（Mean Squared Error）（あるいはＰＳＮＲ（Peak Signal-to-Noise Ratio））やＳＳＩＭ（Structural SIMilarity）を利用する。移行段階において、ある段階（既存設備）の受信装置を利用して得られた画像（低解像度又は低画質の画像）の尺度をＥ_M、次の段階の受信装置を利用して得られた高解像度且つ高画質の画像の尺度をＥ_Hとし、全体の尺度Ｄをこれらの線形和である次式（１）とする。

Ｄ＝Ｅ_M＋αＥ_H ――――――（１）

すなわち、Ｄが大きいほど画質が高くなるような尺度として定義する。ここでαは係数である。αを調整することにより低解像度と高解像度のバランスを取ることができる。普及の初期段階では、既存設備の受信装置による低解像度映像を重視するのでαを小さく（例えば、１より小さく）し、普及の後半段階では新受信設備による高解像度映像を重視するのでαを大きく（例えば、１以上）とする。

なお、Ｅ_MおよびＥ_Hは、原画像との差分を基本として計算する。そのため、Ａパターンの低解像度映像の場合には原画像と符号化画像の解像度が異なるので、復号した画像を拡大した画像と原画像の差分を計算する。

Ａパターンの画像のＤ値とＢパターンの画像のＤ値を比較し、Ｄ値の高い方のサービスを提供する。

なお、パターンの切換えはフレーム単位でも可能であるが、現実的ではないので、シーンごとや番組ごとなどにＤ値を計算し（複数フレームの平均でも可）選択することとする。したがって、送信側でＤ値により自動的にサービスを切り換えることもできる。

図８は、図６に示す符号化処理（Ａパターン）を実現する階層符号化装置のブロック図である。この例は、偏波ＭＩＭＯ方式により、両偏波の伝送信号によりトータル６０Ｍｂｐｓで８Ｋ×４Ｋの映像信号を伝送する装置である。既存の方式であるＳＩＳＯx2との互換を保つために階層符号化方式としている。さらに、ＳＩＳＯx2方式がそれ以前のＳＩＳＯ方式と互換となるために多段の階層符号化方式としている。

階層符号化装置は、低解像度符号化部６３と、低解像度復号部６４と、拡大処理部６５と、中解像度符号化部６６と、中解像度復号部６７と、拡大処理部６８と、高解像度符号化部６９とを備える。

８Ｋ×４Ｋ映像信号は、縮小処理部６１で水平・垂直がそれぞれ３／４に縮小され、６Ｋ×３Ｋ映像信号に変換される。縮小処理には通常フィルタが施されるが、ここではフィルタの種類は問わない。続いて、６Ｋ×３Ｋ映像信号は、縮小処理部６２で水平・垂直がそれぞれ２／３に縮小され、４Ｋ×２Ｋ映像信号に変換される。縮小処理には通常フィルタが施されるが、ここではフィルタの種類は問わない。縮小処理部６１，６２は、階層符号化装置の一部を構成しても良いが、階層符号化装置とは別に処理を行っても良い。

低解像度符号化部６３は、４Ｋ×２Ｋ映像信号を適切なビットレートで圧縮符号化し、４Ｋ×２Ｋ圧縮信号を生成する。符号化手段としては、ＨＥＶＣ／Ｈ．２６５のような既存方式を用いることができ、また更に、他の方式でも構わない。ビットレートは例えば３０Ｍｂｐｓであり、４Ｋ×２Ｋ映像信号を高画質を維持したまま圧縮符号化することができる。

圧縮符号化された信号は、音声信号などと多重化されて、ＳＩＳＯ方式のサービスが存在する場合は単独で伝送される。あるいはＳＩＳＯx2方式や偏波ＭＩＭＯ方式の場合は、階層符号化方式の基本階層データとして伝送される。

低解像度復号部６４は、圧縮信号を低解像度符号化部６３の圧縮符号化方式に対応した復号方式によって復号し、４Ｋ×２Ｋ映像復号信号を生成する。拡大処理部６５は、この４Ｋ×２Ｋ映像復号信号を水平・垂直をそれぞれ３／２に拡大し、６Ｋ×３Ｋ映像信号に変換する。拡大処理には通常フィルタや超解像処理が施されるが、ここではその処理の種類は問わない。

中解像度階層符号化部６６は、８Ｋ×４Ｋ映像信号から縮小された６Ｋ×３Ｋ映像信号を符号化し、６Ｋ×３Ｋ圧縮信号を生成する。ここでは階層符号化方式を用いるので、４Ｋ×２Ｋ映像復号信号から拡大された６Ｋ×３Ｋ映像信号を予測参照画像として用いて符号化する。符号化手段としては、ＨＥＶＣ／Ｈ．２６５のような既存方式を用いることができ、また更に、他の方式でも構わない。

圧縮符号化された信号は、音声信号などと多重化されて、ＳＩＳＯx2方式のサービスが存在する場合は単独で伝送され、ＳＩＳＯ方式の４Ｋ×２Ｋ映像信号と合わせて復号側で復号処理される。あるいは偏波ＭＩＭＯ方式の場合は、階層符号化方式の第１階層データとして伝送される。

中解像度復号部６７は、圧縮信号を中解像度階層符号化部６６の圧縮符号化方式に対応した復号方式（拡大処理部６５で得られた６Ｋ×３Ｋ映像信号を参照した階層復号）によって復号し、６Ｋ×３Ｋ映像復号信号を生成する。拡大処理部６８は、この６Ｋ×３Ｋ映像復号信号を水平・垂直をそれぞれ４／３に拡大し、８Ｋ×４Ｋ映像信号に変換する。拡大処理には通常フィルタや超解像処理が施されるが、ここではその処理の種類は問わない。

高解像度階層符号化部６９は、８Ｋ×４Ｋ映像信号を符号化し、８Ｋ×４Ｋ圧縮信号を生成する。ここでは階層符号化方式を用いるので、６Ｋ×３Ｋ映像復号信号から拡大された８Ｋ×４Ｋ映像信号を予測参照画像として用いて符号化する。符号化手段としては、ＨＥＶＣ／Ｈ．２６５のような既存方式を用いることができ、また更に、他の方式でも構わない。

圧縮符号化された信号は、音声信号などと多重化されて、偏波ＭＩＭＯ方式のサービスとして伝送される。ここでは、階層符号化方式の第２階層データとして伝送される。

図９は、図８の階層符号化装置に対応する復号装置（階層復号装置）のブロック図である。復号装置は、低解像度復号部７１と、拡大処理部７２と、中解像度復号部７３と、拡大処理部７４と、高解像度復号部７５とを備える。

低解像度復号部７１は、符号化装置における低解像度符号化部６３の圧縮符号化方式に対応した復号方式によって、４Ｋ×２Ｋ圧縮信号を復号し、４Ｋ×２Ｋ映像復号信号を生成する。拡大処理部７２は、この４Ｋ×２Ｋ映像復号信号を水平・垂直をそれぞれ３／２に拡大し、６Ｋ×３Ｋ映像信号に変換する。拡大処理には通常フィルタや超解像処理が施されるが、ここではその処理の種類は問わない。

中解像度復号部７３は、拡大処理部７２で得られた６Ｋ×３Ｋ映像信号を参照した階層復号によって、６Ｋ×３Ｋ圧縮信号を復号し、６Ｋ×３Ｋ映像復号信号を生成する。拡大処理部７４は、この６Ｋ×３Ｋ映像復号信号を水平・垂直をそれぞれ４／３に拡大し、８Ｋ×４Ｋ映像信号に変換する。拡大処理には通常フィルタや超解像処理が施されるが、ここではその処理の種類は問わない。

高解像度復号部７５は、拡大処理部７４で得られた８Ｋ×４Ｋ映像信号を参照した階層復号によって、８Ｋ×４Ｋ圧縮信号を復号し、８Ｋ×４Ｋ映像復号信号を生成する。このように、階層ごとに適切な解像度の映像復号信号を、高画質で復号することができる。

図１０は、図７に示す符号化処理（Ｂパターン）を実現する階層符号化装置のブロック図である。

この例は、偏波ＭＩＭＯ方式により、両偏波の伝送信号によりトータル６０Ｍｂｐｓで８Ｋ×４Ｋの映像信号を伝送する装置である。既存の方式であるＳＩＳＯx2との互換を保つために階層符号化方式としている。さらに、ＳＩＳＯx2方式がそれ以前のＳＩＳＯ方式と互換となるために多段の階層符号化方式としており、各階層においてそれぞれの画質で８Ｋ×４Ｋの映像信号を圧縮符号化する。

階層符号化装置は、低画質符号化部８１と、低画質復号部８２と、中画質符号化部８３と、中画質復号部８４と、高画質符号化部８５とを備える。８Ｋ×４Ｋ映像信号は、そのまま、各符号化部に入力される。

低画質符号化部８１は、８Ｋ×４Ｋ映像信号を適切なビットレート（例えば３０Ｍｂｐｓ）で圧縮符号化し、８Ｋ×４Ｋ（低画質）圧縮信号を生成する。符号化手段としては、ＨＥＶＣ／Ｈ．２６５のような既存方式を用いることができ、また更に、他の方式でも構わない。

圧縮符号化された信号は、音声信号などと多重化されて、ＳＩＳＯ方式のサービスが存在する場合は単独で伝送される。あるいはＳＩＳＯx2方式や偏波ＭＩＭＯ方式の場合は、階層符号化方式の基本階層データとして伝送される。

低画質復号部８２は、圧縮信号を低画質符号化部８１の圧縮符号化方式に対応した復号方式によって復号し、８Ｋ×４Ｋ（低画質）映像復号信号を生成する。

中画質階層符号化部８３は、８Ｋ×４Ｋ映像信号を符号化し、８Ｋ×４Ｋ（中画質）圧縮信号を生成する。ここでは階層符号化方式を用いるので、低画質復号部８２で得られた８Ｋ×４Ｋ（低画質）映像復号信号を予測参照画像として用いて符号化する。符号化手段としては、ＨＥＶＣ／Ｈ．２６５のような既存方式を用いることができ、また更に、他の方式でも構わない。

圧縮符号化された信号は、音声信号などと多重化されて、ＳＩＳＯx2方式のサービスが存在する場合は単独で伝送され、ＳＩＳＯ方式の８Ｋ×４Ｋ映像信号と合わせて復号側で復号処理される。あるいは偏波ＭＩＭＯ方式の場合は、階層符号化方式の第１階層データとして伝送される。

中画質復号部８４は、圧縮信号を中画質階層符号化部８３の圧縮符号化方式に対応した復号方式（８Ｋ×４Ｋ（低画質）映像復号信号を参照した階層復号）によって復号し、８Ｋ×４Ｋ（中画質）映像復号信号を生成する。

高画質階層符号化部８５は、８Ｋ×４Ｋ映像信号を符号化し、８Ｋ×４Ｋ（高画質）圧縮信号を生成する。ここでは階層符号化方式を用いるので、中画質復号部８４で得られた８Ｋ×４Ｋ（中画質）映像復号信号を予測参照画像として用いて符号化する。符号化手段としては、ＨＥＶＣ／Ｈ．２６５のような既存方式を用いることができ、また更に、他の方式でも構わない。

圧縮符号化された信号は、音声信号などと多重化されて、偏波ＭＩＭＯ方式のサービスとして伝送される。ここでは、階層符号化方式の第２階層データとして伝送される。

図１１は、図１０の階層符号化装置に対応する復号装置（階層復号装置）のブロック図である。復号装置は、低画質復号部９１と、中画質復号部９２と、高画質復号部９３とを備える。

低画質復号部９１は、符号化装置における低画質符号化部８１の圧縮符号化方式に対応した復号方式によって、８Ｋ×４Ｋ（低画質）圧縮信号を復号し、８Ｋ×４Ｋ（低画質）映像復号信号を生成する。

中画質復号部９２は、低画質復号部９１で得られた８Ｋ×４Ｋ（低画質）映像復号信号を参照した階層復号によって、８Ｋ×４Ｋ（中画質）圧縮信号を復号し、８Ｋ×４Ｋ（中画質）映像復号信号を生成する。

高画質復号部９３は、中画質復号部９２で得られた８Ｋ×４Ｋ（中画質）映像復号信号を参照した階層復号によって、８Ｋ×４Ｋ（高画質）圧縮信号を復号し、８Ｋ×４Ｋ（高画質）映像復号信号を生成する。

このように、階層ごとに適切な画質の映像復号信号を、高解像度で復号することができる。

なお、図８の階層符号化装置と図１０の階層符号化装置の両者を備えた階層符号化装置を構成し、例えば、前述の画質の尺度Ｄに基づいて、両装置を切り換え選択してもよい。

また、図８の階層符号化装置と図１０の階層符号化装置の少なくとも一方を備えた送信装置を構成し、水平偏波（第１偏波）の電波により基本階層の映像符号化データ（図８の４Ｋ×２Ｋ圧縮信号、又は、図１０の８Ｋ×４Ｋ（低画質）圧縮信号）を送信し、垂直偏波（第２偏波）の電波により上位階層の映像符号化データ（図８の６Ｋ×３Ｋ圧縮信号及び８Ｋ×４Ｋ圧縮信号、又は、図１０の８Ｋ×４Ｋ（中画質）圧縮信号及び８Ｋ×４Ｋ（高画質）圧縮信号）を送信することができる。

この送信装置によれば、伝送方式の移行時において、ある段階の伝送方式に対応した受信装置と、次段階の伝送方式に対応した受信装置の両者が信号受信可能な信号伝送システムを構成することができる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１１ 変調器
１２ 水平偏波送信用のアンテナ
１３ 変調器
１４ 垂直偏波送信用のアンテナ
２０ 受信装置
２１ 復調器
２２ 水平偏波受信用のアンテナ
２３ 復調器
２４ 垂直偏波受信用のアンテナ
３１〜３３ 符号化器
４１〜４３ 復号器
６１，６２ 縮小処理部
６３ 低解像度符号化部
６４ 低解像度復号部
６５ 拡大処理部
６６ 中解像度符号化部
６７ 中解像度復号部
６８ 拡大処理部
６９ 高解像度符号化部
７１ 低解像度復号部
７２ 拡大処理部
７３ 中解像度復号部
７４ 拡大処理部
７５ 高解像度復号部
８１ 低画質符号化部
８２ 低画質復号部
８３ 中画質符号化部
８４ 中画質復号部
８５ 高画質符号化部
９１ 低画質復号部
９２ 中画質復号部
９３ 高画質復号部

Claims (2)

1. 第１偏波の電波により伝送される第１の伝送信号と、第２偏波の電波により伝送される第２の伝送信号とを用いて、高解像度映像を伝送するための階層符号化装置において、
   前記第１の伝送信号を基本階層の映像符号化データとし、前記第２の伝送信号を基本階層の映像に対して解像度が高い映像を符号化した拡張階層とし、映像を複数階層で符号化伝送する第１の階層符号化装置と、
   前記第１の伝送信号を基本階層の映像符号化データとし、前記第２の伝送信号を基本階層の映像に対して同解像度で画質を向上させた映像を符号化した拡張階層とし、映像を複数階層で符号化伝送する第２の階層符号化装置とを備えており、
   前記第１の階層符号化装置と前記第２の階層符号化装置を切り換え選択し、
   前記切り換え選択は、画質を示す評価尺度により、復号した映像の画質が高い映像符号化データを生成する階層符号化装置を選択することを特徴とする階層符号化装置。
2. 請求項１に記載の階層符号化装置を備え、前記第１の伝送信号を前記第１偏波の電波で送信し、前記第２の伝送信号を前記第２偏波の電波で送信する送信装置。