JP7569195B2 - 送信装置および受信装置 - Google Patents

Description

本発明は、送信装置および受信装置に係り、特に、ＭＭＴ（MPEG Media Transport）を用いた放送システムで映像や音声のコンテンツを送受信する送信装置および受信装置に関する。

非特許文献１に規定されるＭＭＴでは、映像・音声コーデックの処理単位をＭＰＵ（Media Processing Unit）と呼ぶ。ＭＰＵの先頭データは、過去に送信されたデータに依存せずに処理が可能なランダムアクセスポイントである必要がある。ＭＭＴの放送利用を規定する非特許文献２では、映像符号化のイントラ（Intra）フレーム（フレーム内符号化を行うフレーム）を復号順の先頭とするＧＯＰ（Group Of Picture）をＭＰＵとして扱う。
なお、映像符号化方式の一例として用いられるＨＥＶＣ（High Efficiency Video Coding）の規格上ではＧＯＰという用語は使用されていない。ただし、ＭＰＥＧ－２ Ｖｉｄｅｏなどの従来方式にならい、イントラフレームを先頭とするフレームの集合を便宜上、ＧＯＰと呼ぶことがある。

非特許文献１によれば、本来、ＭＰＵは、ＩＳＯＢＭＦＦ（ISO Base Media File Format）形式をベースとしたものとして規定されている。また、非特許文献１では、ＭＭＴＰ（MMT Protocol）により、ＩＳＯＢＭＦＦのメタデータ部分をＭＰＵメタデータおよびムービーフラグメントメタデータとして送信する方法が規定されている。しかし、非特許文献２で規定される放送用途では、処理の低遅延化を図るためＭＰＵメタデータおよびムービーフラグメントメタデータの生成・伝送を省略しており、ＨＥＶＣエンコーダが生成するＮＡＬ（Network Abstraction Layer）ユニットをそのままＭＭＴＰ／ＵＤＰ（User Diagram Protocol）／ＩＰ（Internet Protocol）パケットに多重して送信する。

ＩＳＯＢＭＦＦは、基本のデータ構造が非特許文献３により規定されており、その拡張として、例えば、非特許文献４では、ＨＴＴＰ（Hypertext Transfer Protocol）／ＴＣＰ（Transmission Control Protocol）通信を用いた映像ストリーミング配信方式であるＭＰＥＧ－ＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）の運用方法や拡張データ構造が規定されている。ＭＰＥＧ－ＤＡＳＨと同様にＨＴＴＰ／ＴＣＰを用いる動画ストリーミング配信方式として、非特許文献５に規定されるＨＬＳ（HTTP Live Streaming）が使用されている。ＭＰＥＧ－ＤＡＳＨとＨＬＳで共通に使用できるＩＳＯＢＭＦＦベースのセグメント形式については、非特許文献６においてＣＭＡＦとして規定されている。なお、ＣＭＡＦは、非特許文献１および非特許文献２よりも最近策定された、新しい規格である。ＣＭＡＦでは、セグメント形式の共通化の他に、映像ストリーミング配信の低遅延化を図る技術として、セグメント構造をさらに細分化するチャンク構造が定義された。

非特許文献２では、放送における映像・音声コンテンツ伝送の低遅延化を図るために、ＩＳＯＢＭＦＦ構造のメタデータ生成と、ムービーフラグメントメタデータとしての伝送と、を省略することとしている。しかし、ムービーフラグメントメタデータの伝送を省略すると、ＤＴＳ－ＰＴＳ差分情報（dts_pts_offset）を受信装置のデコーダに伝送できないという問題があった。このＤＴＳ－ＰＴＳ差分情報は、映像符号化のフレーム間参照構造に伴う、映像フレームの復号タイミングを指示するＤＴＳ（Decoding Timestamp）と、映像フレームの提示タイミングを指示するＰＴＳ（Presentation Timestamp）との差分値を指示する情報である。
そこで、非特許文献２では、このＤＴＳ－ＰＴＳ差分情報等の情報を別途記述する「ＭＰＵ拡張タイムスタンプ記述子」を定義し、制御情報であるMMT Package Table（ＭＰテーブル）内の記述子として伝送することを規定した。ＭＰＵ拡張タイムスタンプ記述子には、ＭＰＵ（ＧＯＰ）内の全てのフレームのＤＴＳ－ＰＴＳ差分情報を列挙する。
なお、映像を符号化したビットストリーム上は、受信装置において復号処理を実行する順に映像フレームが符号化されている。したがって、復号タイミングを指示するＤＴＳは、送信装置から受信装置へ明示的に送信されなくとも、受信装置でフレームレートの逆数を加算していくことで計算により容易に求められる。例えば、毎秒６０フレームの映像であれば、各映像フレームのＤＴＳは、受信した順に６０分の１秒を一定間隔で加算していくことで求められる。

他方、非特許文献７においては、非特許文献２で規定されたＭＭＴの利用方法について、実際のサービス（高度広帯域衛星デジタル放送）を対象に、より詳細な運用方法が規定されている。非特許文献７によれば、ＭＰＵ拡張タイムスタンプ記述子について、該当するＭＰＵよりも、早いタイミングで伝送することを要求している。しかしながら、ＭＰＵ拡張タイムスタンプ記述子は、ＭＰＵ全体の映像符号化が終わった後でなければ生成できない。このような映像遅延を回避するために、ＭＭＴにおいても、新たにＣＭＡＦで規定されたチャンク構造に対応したＩＳＯＢＭＦＦメタデータを使用することが考えられる。ＣＭＡＦチャンクは、ＩＳＯＢＭＦＦをベースにした構造であるため、ＭＭＴＰでの多重化が可能である。このとき、ＭＰＵ（ＧＯＰ）をさらに細分化した数フレーム単位をチャンクとして構成する。そして、チャンク単位で、ＩＳＯＢＭＦＦメタデータによるＤＴＳ－ＰＴＳ差分情報を記述し、ＭＭＴＰのムービーフラグメントメタデータとして伝送することで、ＭＰＵ拡張タイムスタンプ記述子を使用せずとも、デコーダに対して必要なＤＴＳ－ＰＴＳ差分情報を伝送できる。具体的には、TrackFragmentRunBox（‘trun’）のsample_composition_time_offsetにより、チャンク内の各フレームのＤＴＳ－ＰＴＳ差分情報を記述することができる。

各ＭＰＵの提示タイミングは、既存の技術では、ＭＰＵタイムスタンプ記述子（非特許文献１）により、ＭＰＵ先頭の提示タイミングの絶対時刻が伝送され、その時刻が受信装置での映像・音声提示制御に使用される。ＭＰＵタイムスタンプ記述子に記載されるＭＰＵタイムスタンプ（mpu_presentation_time）は、ＭＰＵの提示時刻を６４ビットのＮＴＰ（Network Time Protocol）形式のＵＴＣ（Coordinated Universal Time）時刻で示す。そのため、「うるう秒」の挿入・削除が行われると、ＭＰＵタイムスタンプの巻き戻りなど非連続が生じる。この対策として、ＭＰＵ拡張タイムスタンプ記述子において、２ビットのうるう秒指示子（mpu_prasentation_time_leap_indicator；以下、Leap Indicatorと略記する）を伝送することとされた。うるう秒指示子（Leap Indicator）は、ＭＰＵタイムスタンプ記述子に記載された同一のＭＰＵシーケンス番号で対応付けられるＭＰＵのＭＰＵタイムスタンプ（ＵＴＣ時刻）が、次の（１）～（３）のいずれであるかを示す。
（１）「うるう秒」を挿入する日（ＵＴＣ基準）の「うるう秒」を挿入する前の時刻を基準とする（Leap Indicator＝１）、
（２）「うるう秒」を削除する日（ＵＴＣ基準）の「うるう秒」を削除する前の時刻を基準とする（Leap Indicator＝２）、
（３）「うるう秒」のない日（ＵＴＣ基準）の時刻や「うるう秒」の挿入・削除された後の時刻を基準とする（Leap Indicator＝０）。

なお、ＵＴＣ基準の一日は、日本時間の午前９時０分０秒から翌日の午前８時５９分５９秒までに対応する。「うるう秒」の挿入では、日本時間の午前８時５９分５９秒のあとに午前８時５９分６０秒の挿入されることで１日が１秒伸びる。一方、「うるう秒」の削除では、午前８時５９分５９秒が削除されることで、１日が１秒短くなる。

"Information technology - High efficiency coding and media delivery in heterogeneous environments: MPEG media transport", ISO/IEC 23008-1 「デジタル放送におけるＭＭＴによるメディアトランスポート方式（ＡＲＩＢ ＳＴＤ－Ｂ６０）」 "ISO/IEC base media file format", ISO/IEC 14496-12 "Dynamic adaptive streaming over HTTP (DASH) - Part 1: Media presentation description and segment formats", ISO/IEC 23009-1 "HTTP Live Streaming"、［online］、［令和2年7月7日検索］、インターネット〈URL：https://developer.apple.com/streaming/〉 "Common media application format (CMAF) for segmented media", ISO/IEC23000-19 「高度広帯域衛星デジタル放送運用規定（第三分冊）（ＡＲＩＢ ＴＲ－Ｂ３９）」

しかしながら、ＤＴＳ－ＰＴＳ差分情報をＩＳＯＢＭＦＦメタデータで送信することにしてＭＰＵ拡張タイムスタンプ記述子を使用しないこととした場合、ＭＰＵ拡張タイムスタンプ記述子の「うるう秒」に関する補助情報（うるう秒指示子）を伝送することができなくなってしまう。

本発明は、以上のような問題点に鑑みてなされたものであり、ＭＰＵ拡張タイムスタンプ記述子を使用せずに、うるう秒の対策をすることができる送信装置および受信装置を提供することを課題とする。

前記課題を解決するために、本発明に係る送信装置は、符号化された映像信号と、ＭＰＵ（Media Processing Unit）に付与されるタイムスタンプ記述子と、メタデータとを多重化したＭＭＴ（MPEG Media Transport）信号を送信する送信装置であって、ＴＡＩ（International Atomic Time）時刻を提供する時刻サーバと通信してＴＡＩ時刻を表現するカウンタ値を再生するＴＡＩクロック再生部と、映像フレームの符号化を行って符号化された映像信号とＧＯＰ（Group Of Picture）開始トリガ信号とを出力する映像エンコーダ部と、前記ＴＡＩクロック再生部で再生されたＴＡＩ時刻を表現するカウンタ値に基づいて、前記映像エンコーダ部からの前記ＧＯＰ開始トリガ信号に従って、ＭＰＵに付与するＰＴＳ(Presentation Timestamp)として、ＴＡＩ時刻で表したＭＰＵタイムスタンプを決定するＰＴＳ決定部と、ＭＰＵシーケンス番号と、前記ＴＡＩ時刻で表したＭＰＵタイムスタンプと、前記ＴＡＩ時刻で表したＭＰＵタイムスタンプが前記ＭＰＵに付与されたのと同じタイミングにおける秒で表したＵＴＣ（Coordinated Universal Time）時刻とＴＡＩ時刻との差分を示すＵＴＣ－ＴＡＩオフセットと、を含む記述子を前記タイムスタンプ記述子として生成する記述子生成部と、前記映像エンコーダ部から、各フレームのピクチャリオーダー情報としてＤＴＳ（Decoding Timestamp）とＰＴＳとの差分値を指示する情報であるＤＴＳ－ＰＴＳ差分情報を取得し、前記メタデータとして、前記ＭＰＵ単位または前記ＭＰＵを分割したチャンク単位で前記ＤＴＳ－ＰＴＳ差分情報を含むＩＳＯベース・メディア・ファイル・フォーマット（ＩＳＯＢＭＦＦ）のメタデータを生成するＩＳＯＢＭＦＦメタデータ生成部と、前記符号化された映像信号と、前記ＭＰＵに付与されるタイムスタンプ記述子と、前記ＤＴＳ－ＰＴＳ差分情報を含む前記メタデータと、を多重化して前記ＭＭＴ信号を生成するＭＭＴ多重化部と、を備える構成とした。

また、本発明に係る受信装置は、送信装置から送信されるＭＭＴ信号を受信する受信装置であって、ＵＴＣ時刻を提供する時刻サーバと通信してＵＴＣ時刻を表現するカウンタ値を再生するＵＴＣクロック再生部と、前記ＭＭＴ信号に多重され伝送されたタイムスタンプ記述子から、所定のＭＰＵにおけるＴＡＩ時刻で表したＭＰＵタイムスタンプと、ＵＴＣ－ＴＡＩオフセットと、を抽出する記述子解析部と、前記ＵＴＣクロック再生部で再生されたＵＴＣ時刻を表現するカウンタ値に前記ＵＴＣ－ＴＡＩオフセットを加算することで前記カウンタ値をＴＡＩ時刻を表現するカウンタ値へ変換するＴＡＩオフセット加算部と、前記ＭＭＴ信号に多重され伝送されたメタデータから各フレームのピクチャリオーダー情報としてＤＴＳとＰＴＳとの差分値を指示する情報であるＤＴＳ－ＰＴＳ差分情報を抽出するＩＳＯＢＭＦＦメタデータ解析部と、前記ＴＡＩ時刻で表したＭＰＵタイムスタンプと、前記ＩＳＯＢＭＦＦメタデータ解析部から抽出された各フレームのＤＴＳ－ＰＴＳ差分情報と、から各フレームのＴＡＩ時刻で表したＰＴＳを計算するＰＴＳ計算部と、前記ＭＭＴ信号に多重され伝送された映像信号を復号した映像フレームが入力され、前記ＴＡＩオフセット加算部で変換されたＴＡＩ時刻を表現するカウンタ値と、各フレームのＴＡＩ時刻で表したＰＴＳと、を比較して必要に応じて前記映像フレームを並べ替えて出力するピクチャリオーダーバッファと、を備える構成とした。

本発明は、以下に示す優れた効果を奏するものである。
送信装置は、ＴＡＩ時刻で表したＭＰＵタイムスタンプを使用して、ＭＰＵの提示時刻を伝送することができる。また、送信装置によれば、ＴＡＩ時刻で表したＭＰＵタイムスタンプがＭＰＵに付与されたのと同じタイミングにおけるＵＴＣ時刻とＴＡＩ時刻の差分を示すＵＴＣ－ＴＡＩオフセットをＭＭＴ信号により伝送することができる。ＴＡＩ時刻で表したＭＰＵタイムスタンプは、うるう秒の挿入・削除に関わらず単純増加するため、このＭＭＴ信号を受信する受信装置は、ＴＡＩ時刻を基準クロックとすることで、うるう秒の挿入・削除について特別に考慮した制御を必ずしもする必要がなく、映像・音声等の提示制御が可能となる。また、受信装置は、ＭＭＴ信号に多重され伝送されてきたタイムスタンプ記述子から抽出されたＵＴＣ－ＴＡＩオフセットを利用することによって、ＵＴＣ時刻を提供する時刻サーバから取得したＵＴＣ時刻をＴＡＩ時刻に変換し、映像・音声等の提示制御に使用することができる。

本発明の第１実施形態に係る伝送システムの全体構成を示すブロック図である。 比較例に係るＭＰＵタイムスタンプ記述子の構造を示すデータ構造図である。 実施例に係るＴＡＩ－ＭＰＵタイムスタンプ記述子の構造を示すデータ構造図である。 ＵＴＣ時刻（ＮＴＰ形式）とＴＡＩ時刻（ＰＴＰ形式）の関係とうるう秒の挿入を示す説明図である。 本発明の第１実施形態に係る送信装置の構成を模式的に示すブロック図である。 本発明の第１実施形態に係る送信装置の動作を示すフローチャートである。 本発明の第１実施形態に係る受信装置の構成を模式的に示すブロック図である。 本発明の第１実施形態に係る受信装置の動作を示すフローチャートである。 本発明の第２実施形態に係る送信装置の構成を模式的に示すブロック図である。

以下、本発明に係る送信装置および受信装置の実施形態について説明する。
（第１実施形態）
ここでは、説明の都合上、１．伝送システムの全体構成、２．ＭＰＵに付与されるタイムスタンプ記述子、３．ＵＴＣ－ＴＡＩオフセット、４．送信装置の構成、５．送信装置の動作、６．受信装置の構成、７．受信装置の動作、の各章に分けて説明する。

［１．伝送システムの全体構成］
まず、第１実施形態に係る伝送システムの全体構成について図１を参照して説明する。
伝送システム１は、送信装置３００と、受信装置５００と、を含んでいる。
送信装置３００は、映像音声信号源１００から入力された映像音声信号を符号化して送出するものである。一例として、送信装置３００は、映像を映像符号化方式のＨＥＶＣでエンコードを行い、また、音声を音声符号化方式のＡＡＣでエンコードを行い、ＭＭＴで多重化して送信している。ＭＭＴでは、符号化された映像・音声データの処理単位であるＭＰＵに、絶対時刻のＭＰＵタイムスタンプを付与して送信することになっている。送信装置３００は、ＴＡＩ時刻サーバ２００をリファレンスクロックとして利用してＴＡＩ（国際原子時）時刻を参照し、ＴＡＩ時刻を基準とした映像・音声等のＭＰＵの提示時刻と、提示時刻と同じタイミングのＵＴＣ時刻とＴＡＩ時刻の差分情報をＭＭＴ制御情報の記述子に記載して伝送する。以下では、この記述子を、ＴＡＩ－ＭＰＵタイムスタンプ記述子と呼称して説明する。

映像音声信号源１００は、映像信号や音声信号等のコンテンツを蓄積した電子機器やサーバ等である。例えば映像信号を蓄積した映像信号源は、ビデオカメラやビデオサーバ等である。
ＴＡＩ時刻サーバ２００は、ＧＰＳ等から時刻情報を取得して、ネットワークを介して各種機器にＴＡＩ時刻を分配する時刻サーバである。本実施形態では、ＴＡＩ時刻サーバ２００は、例えば、ＰＴＰ（Precision Time Protocol）サーバであるものとする。ＰＴＰサーバは、ＵＴＣ時刻とＴＡＩ時刻との差分情報も配信するため、各種機器は、ＵＴＣ時刻を得ることもできる。なお、ＰＴＰサーバには、ＧＰＳ等の信号源を直接参照するグランドマスターと、グランドマスターに同期するスレイブとの種別があるが、どちらであってもよい。

図１に示す伝送路４００は、放送やインターネット等を模式的に示している。ここで、放送とは、例えば、衛星放送、地上放送、ケーブル放送、ＩＰ（Internet Protocol）マルチキャスト放送を意味する。つまり、送信装置３００は、例えば、衛星放送、地上放送、ケーブル放送、ＩＰマルチキャスト放送等のＭＭＴ（MPEG Media Transport）を用いたコンテンツ伝送を行う。

受信装置５００は、送信装置３００が送出したＭＭＴＰパケット列（ＭＭＴ信号）を伝送路４００を通じて受信し、多重分離し、放送番組の映像や音声を復号・再生するものである。送出されたＭＭＴ信号には、映像・音声データと、ＴＡＩ時刻のタイムスタンプ情報と、が多重化されている。受信装置５００は、映像を復号してモニタ６００に出力し、また、音声を復号してスピーカ７００に出力する。図１では、モニタ６００やスピーカ７００が、受信装置５００の外部に図示されているが、モニタ６００やスピーカ７００は、受信装置５００に内蔵していてもよい。また、受信装置５００としては、例えば、一般的なテレビ、スマートフォン、タブレットが挙げられる。なお、図１では、図面を見やすくするために受信装置５００を１台のみ図示したが、通常、受信装置５００は複数台である。

受信装置５００は、インターネット上などに存在するＵＴＣ時刻サーバ８００から、ＵＴＣ時刻を取得する。本実施形態では、ＵＴＣ時刻サーバ８００は、例えば、ＮＴＰサーバであるものとする。なお、送信側のＰＴＰサーバは、放送局設備として使用されていたり業務用サーバとして使用されたりしているが、受信側では、ＰＴＰサーバは普及していないのが現状であり、ＮＴＰサーバが、時刻合わせに一般的に利用されている。

受信装置５００は、ＵＴＣ時刻サーバ８００に同期したＵＴＣ（協定世界時、ユニバーサルタイム）時刻と、送信装置３００から受信した記述子（ＴＡＩ－ＭＰＵタイムスタンプ記述子）のＴＡＩ時刻を基準とした映像・音声のＭＰＵの提示時刻と、提示時刻と同じタイミングのＵＴＣ時刻とＴＡＩ時刻の差分情報を参照して、映像・音声等を再生する。

ＴＡＩ時刻とＵＴＣ時刻との相違点は、ＵＴＣ時刻が、うるう秒の挿入によって同じ値を繰り返す場合があるのに対して、ＴＡＩ時刻は、うるう秒の挿入があっても構わずカウントアップされる点である。後記するように、本実施形態では、送信装置３００は、映像・音声等のＭＰＵの提示時刻を、ＴＡＩ時刻で表現して記載した記述子を伝送する。一方、受信装置５００は、一般にネットワークを介してＮＴＰサーバ等のＵＴＣ時刻サーバ８００から提供されるＵＴＣ時刻を参照しているため、従来は、ＴＡＩ時刻を得ることができなかった。これに対して、後記するように、本実施形態では、送信装置３００は、ＴＡＩ－ＭＰＵタイムスタンプ記述子に、ＵＴＣ時刻とＴＡＩ時刻との差分情報として、ＵＴＣ－ＴＡＩオフセットを含めて伝送する。これにより、受信装置５００は、ＵＴＣ時刻サーバ８００から提供されるＵＴＣ時刻のカウント値を、ＴＡＩ時刻のカウント値へ変換して基準クロックとして利用することができるので、ＴＡＩオフセット加算部においてうるう秒の存在を考慮した制御を行う必要がなくなる。

ＵＴＣ時刻サーバ８００から受信装置５００へは、ＵＴＣ時刻に加えて、うるう秒の挿入・削除を予告する、うるう秒指示子（Leap Indicator）が提供される。うるう秒指示子は、０または１または２の値をとる。うるう秒指示子が０の場合はうるう秒の挿入・削除の予定がないことを示す。うるう秒指示子が１の場合には次の午前８時５９分５９秒（日本時間）のあとにうるう秒の挿入が予定されていることを示す。うるう秒指示子が２の場合には次の午前８時５９分５８秒（日本時間）のあとにうるう秒の削除が予定されていることを示す。受信装置５００は、うるう秒指示子によって、うるう秒の追加・削除のタイミングを事前に知ることができる。

なお、送信装置３００は、ＰＴＰサーバ等のＴＡＩ時刻サーバ２００からＵＴＣ時刻とＴＡＩ時刻との差分情報を得ることができ、これを記述子に記載することは容易である。
ＰＴＰサーバの場合、Announce Messageにより、過去に行ったうるう秒の挿入・削除の積算によるＵＴＣ時刻とＴＡＩ時刻の差分をcurrentUTCOffsetとして配信している。このcurrentUTCOffsetの値は、２０２０年６月時点では３７秒である。また、この３７秒のうちの１０秒は、１９７２年にＵＴＣが制定された際の初期値である。つまり、３７秒のうちの２７秒は、過去に２７回行われたうるう秒の挿入による積算値である。

［２．ＭＰＵに付与されるタイムスタンプ記述子］
次に、本実施形態に係る送信装置３００が、ＭＰＵに付与されるタイムスタンプ記述子として生成するＴＡＩ－ＭＰＵタイムスタンプ記述子（図３参照）について、既存のＭＰＵタイムスタンプ記述子（図２参照）と対比しながら説明する。図２は、非特許文献１で規定されるＭＰＵタイムスタンプ記述子のデータ構造を示している。また、図３は、本実施形態に係るＴＡＩ－ＭＰＵタイムスタンプ記述子のデータ構造の一例を示している。

なお、図２、図３の項目「データ表記」において、uimsbfは、unsigned integer most significant bit firstの略語であり、「符号無し整数、最上位ビットが先頭」を意味する。また、simsbfは、signed integer most significant bit firstの略語であり、「符号あり整数、最上位ビットが先頭」を意味する。

図２に示す既存のＭＰＵタイムスタンプ記述子において、「descriptor_tag」には、記述子の種類を特定するための識別値が格納される。
「descriptor_length」には、記述子のバイトサイズを示す数値が格納される。
forループの中で、「mpu_sequence_number」と、「mpu_presentation_time」とについて、複数の組み合わせを格納することができる。
「mpu_sequence_number」には、対象のＭＰＵを指定するＭＰＵシーケンス番号が格納される。
「mpu_presentation_time」には、ＮＴＰ形式のＵＴＣ時刻のＭＰＵタイムスタンプが格納される。

図３に示すＴＡＩ－ＭＰＵタイムスタンプ記述子は、図２に示すＭＰＵタイムスタンプ記述子と比べて、forループの中が一部異なっている。ＴＡＩ－ＭＰＵタイムスタンプ記述子は、「mpu_presentation_time」に代えて、「tai_mpu_presentation_time」を備えている。「tai_mpu_presentation_time」には、ＴＡＩ時刻のＭＰＵタイムスタンプが格納される。ＴＡＩ時刻には様々な記述フォーマット（形式）を取り得るが、図３においては、一例として「tai_mpu_presentation_time」のビット数を６４ビットとした。この６４ビットのタイムスタンプをＮＴＰ形式と同様に用いる場合、前半３２ビットが秒数を表し、後半３２ビットが、小数点以下（２進数小数）を表す。
その他の記述フォーマットの例として、ＰＴＰ形式と同様のタイムスタンプを用いることもでき、この場合は合計８０ビットで、前半４８ビットで秒数を表し、後半３２ビットで小数点以下（ナノ秒）を表す。

また、図３に示すＴＡＩ－ＭＰＵタイムスタンプ記述子は、ＭＰＵタイムスタンプ記述子にはなかった「utc_tai_offset」を備えている。
「utc_tai_offset」には、そのＭＰＵに「tai_mpu_presentation_time」が付与されたのと同じタイミングにおける、秒で表したＵＴＣ時刻とＴＡＩ時刻との差分が格納される。以下では、このＵＴＣ時刻とＴＡＩ時刻との差分のことをＵＴＣ－ＴＡＩオフセットと呼称し、詳細に説明する。

［３．ＵＴＣ－ＴＡＩオフセット］
次に、ＵＴＣ－ＴＡＩオフセットについて図４を参照して説明する。図４は、「うるう秒」を挿入する場合の概念図である。図４の横軸において、時間Ｔ１は、日本時間でうるう秒挿入日の午前８時５９分５９秒である。時間Ｔ２は、日本時間でうるう秒挿入日の午前８時５９分６０秒（うるう秒）である。時間Ｔ３は、日本時間でうるう秒挿入日の午前９時００分００秒である。図４の縦軸は、ＵＴＣ時刻（ＮＴＰ形式）の起点日時からのカウンタ値と、ＴＡＩ時刻（ＰＴＰ形式）の起点日時からのカウンタ値をそれぞれ示している。

図４に示すように、ＵＴＣ時刻（ＮＴＰ形式）とＴＡＩ時刻（ＰＴＰ形式）とは、それぞれ、ある起点日時からのカウンタ値によって、時刻情報を示している。具体的には、ＵＴＣ時刻（ＮＴＰ形式）は、起点日時を１９００年１月１日０：００：００（ＵＴＣ）としている。ＵＴＣ時刻（ＮＴＰ形式）のカウンタ値は、１９００年１月１日０：００：００（ＵＴＣ）からの経過時間をカウントした値である。

また、ＴＡＩ時刻（ＰＴＰ形式）は、起点日時を１９７０年１月１日０：００：００（ＵＴＣ）としている。ＴＡＩ時刻（ＰＴＰ形式）のカウンタ値は、１９７０年１月１日０：００：００（ＵＴＣ）からの経過時間をカウントした値である。なお、本明細書中では、（ＵＴＣ）の表記は、協定世界時（ユニバーサルタイム）の絶対時刻を示している。

以下では、特に断らない場合、単にＵＴＣ時刻と表記した場合、１９００年１月１日０：００：００（ＵＴＣ）を起点（エポック）としたＮＴＰ形式の時刻情報を示すものとする。また、単にＴＡＩ時刻と表記した場合、その表記は、１９７０年１月１日０：００：００（ＵＴＣ）を起点（エポック）としたＰＴＰ形式の時刻情報を示すものとする。

ＵＴＣ時刻に適用される「うるう秒」の挿入・削除については、削除も考慮されているが、過去の実績としては挿入されたことしかない。「うるう秒」挿入の場合には、図４に太い破線で示すように、ＵＴＣ時刻のカウンタ値は、時間Ｔ２において非連続であり、１秒だけ巻き戻ることとなる。一方、図４に太い実線で示すように、ＴＡＩ時刻のカウンタ値は、時間Ｔ２において巻き戻ることはない。よって、図４に示すように、うるう秒を挿入した後のＵＴＣ－ＴＡＩオフセットΔ２は、うるう秒を挿入する前のＵＴＣ－ＴＡＩオフセットΔ１よりも１秒だけ小さな値となる。
以下では、分かりやすくするために、うるう秒の挿入前後のＵＴＣ－ＴＡＩオフセットΔ１，Δ２を区別せずに、単にＵＴＣ－ＴＡＩオフセットと表記する。

ＵＴＣ－ＴＡＩオフセットは、ＵＴＣ時刻のカウンタ値の整数部（ＮＴＰ形式のタイムスタンプでは６４ビットのうち上位の３２ビット）と、ＴＡＩ時刻のカウンタ値の整数部（ＰＴＰ形式のタイムスタンプでは８０ビットのうち上位の４８ビット）との差分の秒によって表現することができる。
ＵＴＣ－ＴＡＩオフセットは、例えば、（ｉ）ＵＴＣ時刻の起点とＴＡＩ時刻の起点との違いによる７０年分のオフセット値と、（ｉｉ）過去のうるう秒の挿入が積算された秒数を示すオフセット値と、の和によって定義することができる。このように、前記（ｉ）のオフセット値と前記（ｉｉ）のオフセット値との和で定義された場合、ＵＴＣ－ＴＡＩオフセットのデータは、例えば３２ビットの整数で表現できる。具体例として、（ｉ）が－２２０８９８８８００（秒）、（ｉｉ）が３７（秒）とすると、ＵＴＣ－ＴＡＩオフセットは（ｉ）と（ｉｉ）の和である－２２０８９８８７６３（秒）を伝送する。

なお、前記（ｉ）の７０年分のオフセット値は既知の固定値であるため、織り込み済みのものとして、送信装置３００から受信装置５００へ伝送するＵＴＣ－ＴＡＩオフセットの値は、前記（ｉｉ）過去のうるう秒の挿入が積算された秒数を示すオフセット値のみとしてもよい。具体例としては、（ｉ）の－２２０８９８８８００秒は織り込み済みのものとして、ＵＴＣ－ＴＡＩオフセットの値としては（ｉｉ）の３７（秒）を伝送する。

また、ＵＴＣ－ＴＡＩオフセットには、差分を表すのに十分なビット幅を有する必要があるが、前記した３２ビットのビット幅に限るものではない。ＵＴＣ－ＴＡＩオフセットが、例えば、前記（ｉ）の７０年分のオフセット値を含まず、前記（ｉｉ）過去のうるう秒の挿入が積算された秒数を示すオフセット値のみであるものとした場合、例えば、８ビットや１６ビットのビット幅でも十分である。

さらに、ＵＴＣ時刻とＴＡＩ時刻とのどちらを基準とするかによってオフセットの正負が変わるが、送信装置３００と受信装置５００との間で認識が合うように共通の規格・運用によって定めればよく、本実施形態の適用において、オフセットの正負がどちらかに限定されるものではない。例えば、ＵＴＣ時刻を基準としてＴＡＩ時刻に変換するには、ＵＴＣ時刻に対して負数のオフセットを加算する必要があるが、オフセットが負数となることも織り込み済みとして、ＵＴＣ－ＴＡＩオフセットの値としては絶対値の２２０８９８８７６３（秒）を伝送することとしても良い。

また、伝送される記述子に記載されるＴＡＩ時刻は、フォーマットの一例としての形式では、ＰＴＰ形式と同様の１９７０年１月１日０：００：００（ＵＴＣ）を起点としたカウンタ値で表現されるが、その他の日時を起点とした表現を用いたとしても、本実施形態の適用性をなんら損なうものではない。

［４．送信装置の構成］
次に、送信装置３００の構成例について図５を参照して説明する。なお、説明を簡略化するために、特にピクチャリオーダー（フレームの復号順序と表示順序の並び替え）情報が必要な映像処理に特化して説明し、音声処理の説明を省略し、送信装置３００は、ＨＥＶＣ／ＭＭＴエンコーダであるものとする。

送信装置３００は、符号化された映像信号と、ＭＰＵ（Media Processing Unit）に付与されるタイムスタンプ記述子と、メタデータとを多重化したＭＭＴ（MPEG Media Transport）信号を送信するものであり、ＴＡＩクロック再生部３１０と、フレームバッファ部３２０と、ＨＥＶＣエンコーダ部（映像エンコーダ部）３３０と、ＭＭＴ多重化部３４０と、ＰＴＳ決定部３５０と、ＭＰＵシーケンス番号カウンタ部３６０と、記述子生成部３７０と、ＩＳＯＢＭＦＦメタデータ生成部３８０と、を備えている。

ＴＡＩクロック再生部３１０は、ＴＡＩ（International Atomic Time）時刻を提供するＴＡＩ時刻サーバ２００（例えばＰＴＰサーバ）と通信してＴＡＩ時刻を表現するカウンタ値を再生するものである。ＴＡＩクロック再生部３１０は、ＴＡＩ時刻サーバ２００から離散的に送られてくるＰＴＰパケットのＴＡＩ時刻のカウンタ値を連続的なものとして再生して、この再生された絶対値のＴＡＩ時刻（装置内の基準クロック）をＰＴＳ決定部３５０に出力する。また、本実施形態では、ＴＡＩクロック再生部３１０は、ＴＡＩ時刻サーバ２００からＵＴＣ－ＴＡＩオフセット（currentUTCOffset）を取得して保持する。

受信装置５００において利用するＵＴＣ－ＴＡＩオフセットは、例えば、前記（ｉ）の７０年分のオフセット値と、前記（ｉｉ）過去のうるう秒の挿入が積算された秒数を示すオフセット値との和で定義され、３２ビットのビット幅を有する。この場合、ＴＡＩクロック再生部３１０は、ＴＡＩ時刻サーバ２００から取得した（ｉｉ）過去のうるう秒の挿入が積算された秒数（currentUTCOffset）に対して、前記（ｉ）の７０年分のオフセット値を加算した値を有するＵＴＣ－ＴＡＩオフセットをＰＴＳ決定部３５０に出力する。なお、ＵＴＣ－ＴＡＩオフセットが、例えば、前記（ｉｉ）過去のうるう秒の挿入が積算された秒数を示すオフセット値で定義される場合、ＴＡＩクロック再生部３１０は、ＴＡＩ時刻サーバ２００から取得した（ｉｉ）過去のうるう秒の挿入が積算された秒数（currentUTCOffset）をそのままＵＴＣ－ＴＡＩオフセットとしてＰＴＳ決定部３５０に出力する。

フレームバッファ部３２０は、映像音声信号源１００から入力する映像信号を保持するメモリであり、保持された映像信号は、ＨＥＶＣエンコーダ部３３０に入力される。つまり、フレームバッファ部３２０は、ＨＥＶＣエンコーダ部３３０に入力される前の映像信号を一時的に保持する。

ＨＥＶＣエンコーダ部３３０は、映像フレームの符号化を行って符号化された映像信号とＧＯＰ（Group Of Picture）開始トリガ信号とを出力するものである。ＨＥＶＣエンコーダ部３３０は、フレームバッファ部３２０から映像フレームを取得し、符号化を行う。ＨＥＶＣエンコーダ部３３０においては、各フレームについて、フレーム内符号化やフレーム間参照符号化など各種符号化モードを決定して、符号化モードを行う。放送用途では、およそ０．５秒の一定周期でフレーム内符号化を行うイントラフレームでの符号化を行う。
ＨＥＶＣエンコーダ部３３０は、符号化された映像信号（ＨＥＶＣ符号化データ）をＭＭＴ多重化部３４０に出力する。ＭＭＴ多重化部３４０では、イントラフレームを先頭とするＧＯＰをＭＰＵとして扱うため、ＨＥＶＣエンコーダ部３３０は、イントラフレームを符号化したタイミングで、ＰＴＳ決定部３５０とＭＰＵシーケンス番号カウンタ部３６０にＧＯＰ開始トリガを送信する。ＨＥＶＣエンコーダ部３３０は、各フレームのピクチャリオーダー情報としてＤＴＳ－ＰＴＳ差分情報を、ＩＳＯＢＭＦＦメタデータ生成部３８０に出力する。
ＧＯＰ開始トリガ信号とは、ＨＥＶＣエンコーダ部３３０が、あるフレームをフレーム内符号化のみでイントラフレームとして符号化し、新規のＭＰＵ（ＧＯＰ）が開始することを送信装置３００内の各部に通知するトリガ信号である。なお、ＧＯＰ開始トリガ信号の実現のためにインターフェースやデータの形式が限定されるものではない。一例として、ＨＥＶＣエンコーダ部３３０が、符号化処理中のフレームの符号化モードをイントラフレームと決定した時点でＧＯＰ開始トリガ信号を出力しても良い。また、既存のエンコーダへの軽微な機能付加によってＧＯＰ開始トリガ信号を実現することができる。例えば、ＨＥＶＣエンコーダ部３３０が、既存のエンコーダと、このエンコーダから実際にイントラフレームとして符号化された符号データが出力されたこと検知するとＧＯＰ開始トリガ信号を生成する付加機能部と、を備える構成としても良い。このようにＧＯＰ開始トリガ信号の実現のためには様々な実装が可能である。

ＰＴＳ決定部３５０は、ＴＡＩクロック再生部３１０で再生されたＴＡＩ時刻を表現するカウンタ値に基づいて、ＨＥＶＣエンコーダ部３３０からのＧＯＰ開始トリガ信号に従って、ＭＰＵに付与するＰＴＳ（Presentation Timestamp）として、ＴＡＩ時刻で表したＭＰＵタイムスタンプ（以下、ＴＡＩ－ＭＰＵタイムスタンプという）を決定するものである。ＰＴＳ決定部３５０は、ＴＡＩ－ＭＰＵタイムスタンプを記述子生成部３７０に出力する。また、ＰＴＳ決定部３５０は、ＴＡＩ－ＭＰＵタイムスタンプを決定するのと同じタイミングのＵＴＣ－ＴＡＩオフセット情報を、記述子生成部３７０に出力する。
なお、ＰＴＳ決定部３５０がＧＯＰ開始トリガ信号を受けたＵＴＣ時刻をそのまま該当ＭＰＵのＰＴＳとすると、処理タイミングによる誤差を生じる可能性がある。このような誤差を防止するため、本実施形態では、ＰＴＳ決定部３５０は、新規に開始するＭＰＵに付与するＰＴＳを次のように決定する。すなわち、ＰＴＳ決定部３５０は、新規に開始するＭＰＵの直前のＭＰＵ内のフレーム数に基づいて当該直前のＭＰＵのデュレーション（時間長）を計算する。そして、ＰＴＳ決定部３５０は、当該直前のＭＰＵに付与されたＰＴＳ（ＵＴＣ時刻）に、当該直前のＭＰＵのデュレーション（時間長）を加算した値（ＵＴＣ時刻）を、新規に開始するＭＰＵのＰＴＳとして決定する。つまり、前のＭＰＵの先頭時刻にそのＭＰＵの継続時間を加算した時刻を次のＭＰＵの先頭時刻とすることを再帰的に繰り返す。ＰＴＳ決定部３５０は、このようにすることで正確なＰＴＳを算出してＭＰＵに付与できる。

ＭＰＵシーケンス番号カウンタ部３６０は、ＭＰＵ毎に、そのＭＰＵを特定するためのＭＰＵシーケンス番号を１ずつインクリメントするものである。ＭＰＵシーケンス番号カウンタ部３６０は、ＭＰＵシーケンス番号の現在値を保持しており、ＨＥＶＣエンコーダ部３３０からのＧＯＰ開始トリガ信号に従って、ＭＰＵシーケンス番号をカウントアップして、新たなＭＰＵのＭＰＵシーケンス番号を決定し、ＭＰＵシーケンス番号の現在値を記述子生成部３７０に出力する。

記述子生成部３７０は、ＭＰＵシーケンス番号と、ＴＡＩ時刻で表したＭＰＵタイムスタンプ（ＴＡＩ－ＭＰＵタイムスタンプ）と、ＵＴＣ－ＴＡＩオフセットと、を含む記述子をＴＡＩ－ＭＰＵタイムスタンプ記述子（図３）として生成する。ここで、ＵＴＣ－ＴＡＩオフセットは、ＴＡＩ－ＭＰＵタイムスタンプがＭＰＵに付与されたのと同じタイミングにおける秒で表したＵＴＣ（Coordinated Universal Time）時刻とＴＡＩ時刻との差分を示す。ＴＡＩ－ＭＰＵタイムスタンプ記述子は、ＭＭＴの制御情報に多重化されてＭＭＴ多重化部３４０に出力される。

ＩＳＯＢＭＦＦメタデータ生成部３８０は、ＨＥＶＣエンコーダ部３３０から、各フレームのピクチャリオーダー情報としてＤＴＳ（Decoding Timestamp）とＰＴＳとの差分値を指示する情報であるＤＴＳ－ＰＴＳ差分情報を取得し、ＭＰＵ単位またはＭＰＵを分割したチャンク単位のメタデータとして、ＤＴＳ－ＰＴＳ差分情報を含むＩＳＯＢＭＦＦのメタデータを生成する。フレーム間参照を用いた符号化処理のために順序を入れ替えたＩ（イントラ）フレーム、Ｐ（Predictive）フレーム、Ｂ（Bidirectionally Predictive）フレームには、時間方向にリオーダー（復号順序と表示順序の並び替え）が発生するので、ＩＳＯＢＭＦＦメタデータ生成部３８０は、そのリオーダー情報として、ＤＴＳ－ＰＴＳ差分情報のＩＳＯＢＭＦＦメタデータを生成する。生成されたメタデータはムービーフラグメントメタデータのパケットに多重化されてＭＭＴ多重化部３４０に出力される。
なお、ＤＴＳ－ＰＴＳ差分情報を含むＩＳＯＢＭＦＦメタデータは、ＭＰＵ（ＧＯＰ）を分割したチャンク単位で生成して送信することもできる。例えば、ＭＰＵ（ＧＯＰ）が３２フレームで構成される場合に、８フレームをチャンクとし、８フレーム分のＤＴＳ－ＰＴＳ差分情報を含むＩＳＯＢＭＦＦメタデータを生成し、ムービーフラグメントメタデータとして送信することができる。

ＭＭＴ多重化部３４０は、映像信号と各種制御情報とを多重化し、ＭＭＴ信号として伝送路４００を介して受信装置５００へ伝送する。ＭＭＴ多重化部３４０には、ＨＥＶＣエンコーダ部３３０から、ＨＥＶＣ符号化データが入力し、記述子生成部３７０から、ＴＡＩ－ＭＰＵタイムスタンプ記述子が入力し、ＩＳＯＢＭＦＦメタデータ生成部３８０からメタデータが入力する。ＭＭＴ多重化部３４０は、符号化された映像信号（ＨＥＶＣ符号化データ）と、ＭＰＵに付与されるタイムスタンプ記述子（ＴＡＩ－ＭＰＵタイムスタンプ記述子）と、ＤＴＳ－ＰＴＳ差分情報を含むメタデータと、を多重化してＭＭＴ信号を生成する。

［５．送信装置の動作］
次に、図６を参照（適宜図１および図５参照）して、本発明の第１実施形態に係る送信装置の動作について説明する。
送信装置３００のＴＡＩクロック再生部３１０は、ＴＡＩ時刻サーバ２００と通信してＴＡＩ時刻を表現するカウンタ値を再生する（ステップＳ１０１）。一方、ＨＥＶＣエンコーダ部３３０は、入力する映像信号の符号化を行ってＨＥＶＣ符号データとＧＯＰ開始トリガ信号とを出力する。
そして、ＰＴＳ決定部３５０は、ＴＡＩクロック再生部３１０で再生されたＴＡＩ時刻を表現するカウンタ値に基づいて、ＨＥＶＣエンコーダ部３３０からのＧＯＰ開始トリガ信号に従って、ＴＡＩ－ＭＰＵタイムスタンプを決定する（ステップＳ１０２）。

そして、記述子生成部３７０は、ＭＰＵシーケンス番号と、ＴＡＩ－ＭＰＵタイムスタンプと、ＵＴＣ－ＴＡＩオフセットと、を含むＴＡＩ－ＭＰＵタイムスタンプ記述子を生成する（ステップＳ１０３）。一方、ＩＳＯＢＭＦＦメタデータ生成部３８０は、ＨＥＶＣエンコーダ部３３０から、各フレームのピクチャリオーダー情報としてＤＴＳ－ＰＴＳ差分情報を取得し、ＤＴＳ－ＰＴＳ差分情報を含むＩＳＯＢＭＦＦメタデータとして生成する。
そして、ＭＭＴ多重化部３４０は、ＨＥＶＣエンコーダ部３３０からのＨＥＶＣ符号データと、記述子生成部３７０からのＴＡＩ－ＭＰＵタイムスタンプ記述子と、ＤＴＳ－ＰＴＳ差分を含むメタデータと、を多重化してＭＭＴ信号を生成し、伝送路４００から受信装置５００へ送信する（ステップＳ１０４）。

［６．受信装置の構成］
次に、受信装置５００の構成例について図７を参照して説明する。なお、説明を簡略化するために、特にピクチャリオーダー（復号順序と表示順序の並び替え）情報が必要な映像処理に特化して説明し、音声処理の説明を省略している。

受信装置５００は、送信装置３００から送信されるＭＭＴ信号を受信する受信装置であって、ＵＴＣクロック再生部５１０と、ＭＭＴ多重分離部５２０と、記述子解析部５３０と、ＴＡＩオフセット加算部５４０と、ＩＳＯＢＭＦＦメタデータ解析部５５０と、ＰＴＳ計算部５６０と、ＨＥＶＣデコーダ部（映像デコーダ部）５７０と、ピクチャリオーダーバッファ５８０と、を備えている。

ＵＴＣクロック再生部５１０は、ＵＴＣ時刻を提供するＵＴＣ時刻サーバ８００（例えばＮＴＰサーバ）と通信してＵＴＣ時刻を表現するカウンタ値を再生するものである。ＵＴＣクロック再生部５１０は、ＵＴＣ時刻のカウンタ値をクロックとして再生し、ＴＡＩオフセット加算部５４０に出力する。また、ＵＴＣクロック再生部５１０は、ＵＴＣ時刻サーバ８００から提供されるうるう秒の挿入・削除を予告する、うるう秒指示子（Leap Indicator）も受信する。

ＭＭＴ多重分離部５２０は、この受信装置５００に入力するＭＭＴ信号から、例えば、制御情報、ＭＰＵシーケンス番号、メタデータ、ＨＥＶＣ符号データ（符号化された映像信号）を分離して、制御情報からＴＡＩ－ＭＰＵタイムスタンプ記述子を抽出する。ＭＭＴ多重分離部５２０は、ＴＡＩ－ＭＰＵタイムスタンプ記述子等の制御情報およびＭＰＵシーケンス番号を記述子解析部５３０に出力する。ＭＭＴ多重分離部５２０は、メタデータをＩＳＯＢＭＦＦメタデータ解析部５５０に出力し、ＨＥＶＣ符号データをＨＥＶＣデコーダ部５７０に出力する。

記述子解析部５３０は、ＭＭＴ信号に多重され伝送されたＴＡＩ－ＭＰＵタイムスタンプ記述子から、所定のＭＰＵにおけるＴＡＩ時刻で表したＭＰＵタイムスタンプ（ＴＡＩ－ＭＰＵタイムスタンプ）と、ＵＴＣ－ＴＡＩオフセットと、を抽出するものである。記述子解析部５３０は、ＭＭＴ多重分離部５２０から取得したＴＡＩ－ＭＰＵタイムスタンプ記述子を解析して、現在のＭＰＵのＴＡＩ－ＭＰＵタイムスタンプと、ＵＴＣ－ＴＡＩオフセットとを特定する。記述子解析部５３０は、ＵＴＣ－ＴＡＩオフセットをＴＡＩオフセット加算部５４０に出力する。記述子解析部５３０は、ＴＡＩ－ＭＰＵタイムスタンプをＰＴＳ計算部５６０に出力する。なお、ＴＡＩ－ＭＰＵタイムスタンプには、ＭＰＵの先頭のピクチャの絶対時刻による提示時刻が格納されている。

ＴＡＩオフセット加算部５４０は、ＵＴＣクロック再生部５１０で再生されたＵＴＣ時刻を表現するカウンタ値にＵＴＣ－ＴＡＩオフセットを加算することでカウンタ値をＴＡＩ時刻を表現するカウンタ値へ変換するものである。ＴＡＩオフセット加算部５４０は、ＵＴＣクロック再生部５１０から取得したＵＴＣ時刻に対して、記述子解析部５３０から取得したＵＴＣ－ＴＡＩオフセットを加算して、クロックをＴＡＩ時刻の絶対時刻で表現されたクロックへ変換する。ＴＡＩオフセット加算部５４０は、ＴＡＩ時刻のクロックをピクチャリオーダーバッファ５８０に出力する。

ここで、ＴＡＩ－ＭＰＵタイムスタンプ記述子で伝送されるＵＴＣ－ＴＡＩオフセットは、あくまでも送信装置３００がＰＴＳを決定したタイミングのＵＴＣ時刻においてのＵＴＣ－ＴＡＩオフセットである。そのため、送信装置３００と受信装置５００との間に伝送遅延がある場合には、以下の注意が必要である。図４に示したようにＵＴＣ時刻へのうるう秒の挿入のタイミングではＵＴＣ－ＴＡＩオフセットが減少し、一方、うるう秒の削除のタイミングでは図示を省略するがＵＴＣ－ＴＡＩオフセットが増加する。伝送遅延がなければ、受信装置５００においてＵＴＣ時刻へうるう秒の挿入・削除のタイミングは、例えばＴＡＩ－ＭＰＵタイムスタンプ記述子で伝送されるＵＴＣ－ＴＡＩオフセットが増減するタイミングと等しい。一方、伝送遅延がある場合、受信装置５００がＵＴＣ時刻サーバ８００から直接参照するＵＴＣ時刻へのうるう秒の挿入・削除のタイミングに対して、ＴＡＩ－ＭＰＵタイムスタンプ記述子で伝送されるＵＴＣ－ＴＡＩオフセットが増減するタイミングが伝送遅延の分だけ遅延し、タイミングにずれが生じることで正しくＴＡＩ時刻に変換されない可能性がある。

これを回避するために、本実施形態では、以下の方法を用いてもよい。この対処方法では、受信装置５００のＵＴＣクロック再生部５１０は、送信装置３００からのＭＭＴ信号の受信開始時の一度だけＵＴＣ時刻サーバ８００（例えばＮＴＰサーバ）から取得したＵＴＣ時刻の絶対値を利用して、その後は、ＵＴＣ時刻サーバ８００から取得される時刻情報を単に時間経過の速度リファレンスとして使用して、単純増加する時刻を出力する。ＵＴＣクロック再生部５１０は、ＭＭＴ信号の受信開始後にＵＴＣ時刻サーバ８００（例えばＮＴＰサーバ）の時刻情報を時間経過の速度リファレンスとして使用する際に、うるう秒指示子も参照して、うるう秒の挿入・削除が行われたとしても、そのうるう秒の影響を除外するよう考慮した制御として、ＴＡＩ時刻と同様に単純増加する時刻（ＵＴＣ時刻の絶対値）を出力し続ける。このようにすることで、ＵＴＣクロック再生部５１０の後段のＴＡＩオフセット加算部５４０は、うるう秒の挿入・削除について特別に考慮した制御が不要となる。この場合、ＴＡＩオフセット加算部５４０は、ＭＭＴ信号の受信開始後最初に受信したＵＴＣ－ＴＡＩオフセット（初期値）を保持して、その後、ＴＡＩ－ＭＰＵタイムスタンプ記述子で伝送されるＵＴＣ－ＴＡＩオフセットが増減しても、受信開始時に保持したＵＴＣ－ＴＡＩオフセットの初期値をそのまま利用する。

なお、ＴＡＩオフセット加算部５４０は、送信側と受信側とで共通の規格・運用の取り決めによる必要に応じて、ＴＡＩ－ＭＰＵタイムスタンプ記述子で伝送されるＵＴＣ－ＴＡＩオフセットの値をそのままＵＴＣ時刻に加算するのではなく、伝送されてきたＵＴＣ－ＴＡＩオフセットの正負符号の反転や、織り込み済みの固定値のオフセットの加算などを行った上で、ＵＴＣ時刻に加算することでＴＡＩ時刻に変換する。

ＩＳＯＢＭＦＦメタデータ解析部５５０は、ＭＭＴ信号に多重され伝送されたメタデータからＤＴＳ－ＰＴＳ差分情報を抽出するものである。ＩＳＯＢＭＦＦメタデータ解析部５５０は、ＭＭＴ多重分離部５２０で分離されたメタデータから、例えば現在のＭＰＵに属する各フレームのＤＴＳ－ＰＴＳ差分情報を抽出し、ＤＴＳ－ＰＴＳ差分情報をＰＴＳ計算部５６０に出力する。ＤＴＳ－ＰＴＳ差分情報は、絶対時刻ではなく相対値で表現されている。なお、ＤＴＳ－ＰＴＳ差分情報を含むＩＳＯＢＭＦＦメタデータが、ＭＰＵ（ＧＯＰ）を分割したチャンク単位で受信される場合には、ＩＳＯＢＭＦＦメタデータ解析部５５０は、例えば、８フレームのチャンク単位でＤＴＳ－ＰＴＳ差分情報をＰＴＳ計算部５６０に出力する。

ＰＴＳ計算部５６０は、ＴＡＩ時刻で表したＭＰＵタイムスタンプ（ＴＡＩ－ＭＰＵタイムスタンプ）と、ＩＳＯＢＭＦＦメタデータ解析部５５０から抽出された各フレームのＤＴＳ－ＰＴＳ差分情報と、からＭＰＵ内の各フレームのＴＡＩ時刻で表したＰＴＳを計算するものである。ＰＴＳ計算部５６０は、記述子解析部５３０から取得したＴＡＩ－ＭＰＵタイムスタンプと、ＩＳＯＢＭＦＦメタデータ解析部５５０から出力されたＤＴＳ－ＰＴＳ差分情報（相対値）とから、各フレームのＴＡＩ時刻で表したＰＴＳを計算する。ＴＡＩオフセット加算部５４０は、各フレームのＴＡＩ時刻のＰＴＳをピクチャリオーダーバッファ５８０に出力する。

ＨＥＶＣデコーダ部５７０は、ＭＭＴ多重分離部５２０で分離されたＨＥＶＣ符号データを復号し、復号した映像フレーム（各ピクチャ）をピクチャリオーダーバッファ５８０に出力する。

ピクチャリオーダーバッファ５８０は、ＭＭＴ信号に多重され伝送された映像信号を復号した映像フレームが入力され、ＴＡＩオフセット加算部５４０で変換されたＴＡＩ時刻を表現するカウンタ値と、ＰＴＳ計算部５６０で算出された各フレームのＴＡＩ時刻で表したＰＴＳと、を比較し、必要に応じて映像フレームを並べ替えて、モニタ６００等に出力する。
なお、送信装置３００と受信装置５００の間に伝送遅延がある場合においては、ＰＴＳで指示されたＴＡＩ時刻が、ＴＡＩオフセット加算部５４０で変換されたＴＡＩ時刻に対して過去の時刻になる場合がある。この場合、ピクチャリオーダーバッファ５８０は、ＰＴＳに加算するオフセット時間を調整し、各フレームのＰＴＳにこのオフセット時間を加算したＴＡＩ時刻と、ＴＡＩオフセット加算部５４０で変換されたＴＡＩ時刻と、を比較して提示制御を行う。オフセット時間については、バッファアンダーフローが起きる場合にはオフセット時間を大きくし、バッファオーバーフローが起きる場合にはオフセット時間を小さくするように制御を行うことで、安定した再生が可能となる。

［７．受信装置の動作］
次に、図８を参照（適宜図１および図７参照）して、本発明の第１実施形態に係る受信装置の動作について説明する。
受信装置５００のＵＴＣクロック再生部５１０は、ＵＴＣ時刻サーバ８００と通信してＵＴＣ時刻を表現するカウンタ値を再生する（ステップＳ２０１）。一方、ＭＭＴ多重分離部５２０は、伝送されてきたＭＭＴ信号から、制御情報、ＭＰＵシーケンス番号、メタデータ、ＨＥＶＣ符号データを分離して、制御情報からＴＡＩ－ＭＰＵタイムスタンプ記述子を抽出する。
そして、記述子解析部５３０は、ＭＭＴ信号から多重分離されたＴＡＩ－ＭＰＵタイムスタンプ記述子から、ＴＡＩ－ＭＰＵタイムスタンプと、ＵＴＣ－ＴＡＩオフセットと、を抽出する（ステップＳ２０２）。そして、ＴＡＩオフセット加算部５４０は、ＵＴＣクロック再生部５１０で再生されたＵＴＣ時刻を表現するカウンタ値にＵＴＣ－ＴＡＩオフセットを加算して、ＴＡＩ時刻へ変換する（ステップＳ２０３）。

そして、ＩＳＯＢＭＦＦメタデータ解析部５５０は、ＭＭＴ信号から多重分離されたメタデータから、ＤＴＳ－ＰＴＳ差分を抽出する（ステップＳ２０４）。そして、ＰＴＳ計算部５６０は、ＴＡＩ－ＭＰＵタイムスタンプと、例えばＭＰＵに属する各フレームのＤＴＳ－ＰＴＳ差分とから、ＭＰＵ内の各フレームのＴＡＩ時刻で表したＰＴＳを計算する（ステップＳ２０５）。一方、ＨＥＶＣデコーダ部５７０は、ＭＭＴ信号から多重分離されたＨＥＶＣ符号データを復号し、復号した映像フレーム（各ピクチャ）をピクチャリオーダーバッファ５８０に出力する。
そして、ピクチャリオーダーバッファ５８０は、ＴＡＩ時刻を表現するカウンタ値と、各フレームのＴＡＩ時刻で表したＰＴＳ（必要に応じてオフセット時間を加算）と、を比較し、必要に応じて映像フレームを並べ替えてモニタ６００に出力する（ステップＳ２０６）。

（第２実施形態）
次に、第２実施形態に係る伝送システムについて説明する。第２実施形態に係る伝送システムの全体構成は第１実施形態と同様であり（図１参照）、送信装置の構成が異なっている。図９は、第２実施形態に係る送信装置を模式的に示すブロック図である。なお、図９において、図５に示した送信装置の構成と同じ構成には同じ符号を付して説明を省略する。

図９に示すように、送信装置３００Ｂは、ＴＡＩクロック再生部３１０と、フレームバッファ部３２０と、ＨＥＶＣエンコーダ部３３０と、ＭＭＴ多重化部３４０と、ＰＴＳ決定部３５０と、ＭＰＵシーケンス番号カウンタ部３６０と、記述子生成部３７０と、ＩＳＯＢＭＦＦメタデータ生成部３８０と、を備えると共に、さらに、起点（エポック）を変えるために起点オフセット加算部３９０を備えている。

本実施形態では、ＴＡＩクロック再生部３１０は、通信によりＴＡＩ時刻サーバ２００から取得したＴＡＩ時刻のカウンタ値を、装置内の基準クロックとして再生し、起点オフセット加算部３９０に出力する。また、ＴＡＩクロック再生部３１０は、ＴＡＩ時刻サーバ２００からＵＴＣ－ＴＡＩオフセット（currentUTCOffset）を取得して保持し、起点オフセット加算部３９０に出力する。

起点オフセット加算部３９０は、ＴＡＩクロック再生部３１０で再生されたＴＡＩ時刻を表現するカウンタ値に秒で表した所定の固定値のオフセットを加算して、ＴＡＩ時刻を表現するカウンタ値の起点を変更するものである。起点オフセット加算部３９０は、オフセットが加算されたＴＡＩ時刻を表現するカウンタ値と、ＵＴＣ－ＴＡＩオフセットとをＰＴＳ決定部３５０に出力する。本実施形態では、ＰＴＳ決定部３５０は、起点オフセット加算部３９０でオフセットが加算されたＴＡＩ時刻を表現するカウンタ値と、ＧＯＰ開始トリガ信号と、に従って、ＴＡＩ時刻で表したＭＰＵタイムスタンプ（ＴＡＩ－ＭＰＵタイムスタンプ）を決定する。

ＴＡＩ時刻を提供するＴＡＩ時刻サーバ２００がＰＴＰサーバである場合、ＴＡＩクロック再生部３１０で再生されたＴＡＩ時刻を表現するカウンタ値は、起点（エポック）が１９７０年１月１日０：００：００（ＵＴＣ）の時刻情報を示している。起点オフセット加算部３９０は、この起点（エポック）を変更する。起点オフセット加算部３９０は、再生されたＴＡＩ時刻を表現するカウンタ値に、正のオフセットまたは負のオフセットを加算することができる。正のオフセットが加算される場合、起点（エポック）が時間的に遡ることに相当するので、起点が１９７０年１月１日０：００：００（ＵＴＣ）よりも前の日時、例えばＵＴＣ時刻の起点と同じ日時のように変更することができる。一方、正のオフセットが加算される場合、起点（エポック）が延期されることに相当するので、起点が１９７０年１月１日０：００：００（ＵＴＣ）よりも後の日時、例えば２０００年１月１日０：００：００（ＵＴＣ）のように変更することができる。

ＴＡＩ時刻を提供するＴＡＩ時刻サーバ２００がＰＴＰサーバである場合、起点オフセット加算部３９０は、一例として、次のようにＴＡＩ時刻を表現するカウンタ値の起点を、ＮＴＰ形式のＵＴＣ時刻の起点と同じ日時に変更してもよい。すなわち、起点オフセット加算部３９０は、ＴＡＩ時刻を表現するカウンタ値の起点を１９７０年１月１日０：００：００（ＵＴＣ）とするＰＴＰ形式のＴＡＩ時刻を表現するカウンタ値に、秒で表した所定のオフセットを加算することで、ＮＴＰ（Network Time Protocol）形式のＵＴＣ時刻と同様の１９００年１月１日０：００：００（ＵＴＣ）を起点としたＴＡＩ時刻を表現するカウンタ値を生成する。ここで、ＰＴＰ形式のＴＡＩ時刻を表現するカウンタ値（秒部分）に加算されるオフセットは、具体的には、ＮＴＰ形式のＵＴＣ時刻において１９７０年１月１日０：００：００（ＵＴＣ）を表現するカウンタ値（秒部分）である。

このようにＴＡＩ時刻を表現するカウンタ値の起点を、ＮＴＰ形式のＵＴＣ時刻の起点と同じ日時に変更した場合、起点オフセット加算部３９０がＰＴＳ決定部３５０に出力するＵＴＣ－ＴＡＩオフセットにおいて、前記（ｉ）の７０年分のオフセット値を考慮する必要はない。よって、この場合、起点オフセット加算部３９０がＰＴＳ決定部３５０に出力するＵＴＣ－ＴＡＩオフセットは、前記（ｉｉ）過去のうるう秒の挿入が積算された秒数を示すオフセット値とすればよい。

なお、第１実施形態では、ＴＡＩクロック再生部３１０が、ＴＡＩ時刻サーバ２００から取得したcurrentUTCOffsetに例えば前記（ｉ）の７０年分のオフセット値を加算した値を有するＵＴＣ－ＴＡＩオフセットを出力できることとしたが、このような機能を起点オフセット加算部３９０へ集約してもよい。つまり、第２実施形態では、ＴＡＩクロック再生部３１０は、currentUTCOffsetをそのまま起点オフセット加算部３９０へ出力し、起点オフセット加算部３９０が、再生されたＴＡＩ時刻を表現するカウンタ値にオフセットを加算する機能と、ＰＴＳ決定部３５０へ出力するＵＴＣ－ＴＡＩオフセットの値を決定する機能と、を兼務するようにしてもよい。

（変形例）
前記各実施形態に係る送信装置および受信装置において、映像コーデックはＨＥＶＣの場合を例に説明したが、これ限定されるものではない。例えば、ＡＶＣ（Advanced Video Coding）、ＶＶＣ（Versatile Video Coding）やＡＶ１（AOMedia Video 1）のようなその他の映像符号化方式であっても適用が可能である。

また、映像コーデックのみならず、ＡＡＣ（Advanced Audio Codec）など音声コーデックにも適用可能である。なお、映像でＧＯＰに相当する符号化単位のＭＰＵは、音声コーデックの場合、任意のＡＵ（Access Unit）を境界にすることができるため、一定の時間周期でＭＰＵを構成する場合や、映像のＧＯＰに同期してＭＰＵを構成する場合が考えられる。

また、送信装置は、ＴＡＩ時刻（起点日時を変更した場合も含む）によるＴＡＩ－ＭＰＵタイムスタンプを含むＴＡＩ－ＭＰＵタイムスタンプ記述子と、ＵＴＣ時刻によるＭＰＵタイムスタンプを含むＭＰＵタイムスタンプ記述子とを併用して送信しても良い。さらにこの場合、ＭＰＵタイムスタンプ（ＵＴＣ）の秒未満の小数部とＴＡＩ－ＭＰＵタイムスタンプの秒未満の小数部はうるう秒によらず共通であるため、ＴＡＩ－ＭＰＵタイムスタンプ記述子ではＴＡＩ－ＭＰＵタイムスタンプの秒未満の小数部（小数点以下のビット部分）を省略し、整数部（秒数を表すビット部分）のみを伝送することも可能である。

また、送信側と受信側との間に伝送遅延がある場合に受信装置５００において正しくＴＡＩ時刻に変換されない可能性に対処する方法として、前記実施形態で説明した対処方法の代わりに以下の対処方法を用いてもよい。この変形例の受信装置５００では、ＵＴＣクロック再生部５１０は、ＵＴＣ時刻サーバ８００から取得したＵＴＣ時刻の絶対値を常に利用してＴＡＩオフセット加算部５４０に出力し、うるう秒の挿入・削除が行われたときには、それを反映したＵＴＣ時刻の絶対値を出力する。そして、ＴＡＩオフセット加算部５４０は、ＴＡＩ－ＭＰＵタイムスタンプ記述子で伝送されるＵＴＣ－ＴＡＩオフセットの増減するのを待たず、うるう秒指示子で予告されたＵＴＣ時刻へうるう秒の挿入・削除のタイミングに合わせて、先行的にＵＴＣ－ＴＡＩオフセットを増減させる。変形例の受信装置５００は、ＵＴＣ－ＴＡＩオフセットの絶対値を知るにはＴＡＩ－ＭＰＵタイムスタンプ記述子を少なくとも一回受信する必要があるものの、ＵＴＣ時刻へのうるう秒の削除・挿入によってＵＴＣ－ＴＡＩオフセットがどのように増減するかは、送信側と受信側とで共通の規格・運用の取り決めによって容易に予測できる。

以上、本発明の実施形態に係る送信装置および受信装置について説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変などしたものも本発明の趣旨に含まれることはいうまでもない。

本実施形態に係る送信装置および受信装置は、衛星放送、地上放送、ケーブル放送、ＩＰマルチキャスト放送などでＭＭＴを用いたコンテンツ伝送に利用することができる。

１ 伝送システム
１００ 映像音声信号源
２００ ＴＡＩ時刻サーバ（時刻サーバ）
３００，３００Ｂ 送信装置
３１０ ＴＡＩクロック再生部
３２０ フレームバッファ部
３３０ ＨＥＶＣエンコーダ部（映像エンコーダ部）
３４０ ＭＭＴ多重化部
３５０ ＰＴＳ決定部
３６０ ＭＰＵシーケンス番号カウンタ部
３７０ 記述子生成部
３８０ ＩＳＯＢＭＦＦメタデータ生成部
３９０ 起点オフセット加算部
４００ 伝送路
５００ 受信装置
５１０ ＵＴＣクロック再生部
５２０ ＭＭＴ多重分離部
５３０ 記述子解析部
５４０ ＴＡＩオフセット加算部
５５０ ＩＳＯＢＭＦＦメタデータ解析部
５６０ ＰＴＳ計算部
５７０ ＨＥＶＣデコーダ部
５８０ ピクチャリオーダーバッファ
６００ モニタ
７００ スピーカ
８００ ＵＴＣ時刻サーバ（時刻サーバ）

Claims (4)

1. 符号化された映像信号と、ＭＰＵ（Media Processing Unit）に付与されるタイムスタンプ記述子と、メタデータとを多重化したＭＭＴ（MPEG Media Transport）信号を送信する送信装置であって、
   ＴＡＩ（International Atomic Time）時刻を提供する時刻サーバと通信してＴＡＩ時刻を表現するカウンタ値を再生するＴＡＩクロック再生部と、
   映像フレームの符号化を行って符号化された映像信号とＧＯＰ（Group Of Picture）開始トリガ信号とを出力する映像エンコーダ部と、
   前記ＴＡＩクロック再生部で再生されたＴＡＩ時刻を表現するカウンタ値に基づいて、前記映像エンコーダ部からの前記ＧＯＰ開始トリガ信号に従って、ＭＰＵに付与するＰＴＳ(Presentation Timestamp)として、ＴＡＩ時刻で表したＭＰＵタイムスタンプを決定するＰＴＳ決定部と、
   ＭＰＵシーケンス番号と、前記ＴＡＩ時刻で表したＭＰＵタイムスタンプと、前記ＴＡＩ時刻で表したＭＰＵタイムスタンプが前記ＭＰＵに付与されたのと同じタイミングにおける秒で表したＵＴＣ（Coordinated Universal Time）時刻とＴＡＩ時刻との差分を示すＵＴＣ－ＴＡＩオフセットと、を含む記述子を前記タイムスタンプ記述子として生成する記述子生成部と、
   前記映像エンコーダ部から、各フレームのピクチャリオーダー情報としてＤＴＳ（Decoding Timestamp）とＰＴＳとの差分値を指示する情報であるＤＴＳ－ＰＴＳ差分情報を取得し、前記メタデータとして、ＭＰＵ単位または前記ＭＰＵを分割したチャンク単位で前記ＤＴＳ－ＰＴＳ差分情報を含むＩＳＯベース・メディア・ファイル・フォーマット（ＩＳＯＢＭＦＦ）のメタデータを生成するＩＳＯＢＭＦＦメタデータ生成部と、
   前記符号化された映像信号と、前記ＭＰＵに付与されるタイムスタンプ記述子と、前記ＤＴＳ－ＰＴＳ差分情報を含む前記メタデータと、を多重化して前記ＭＭＴ信号を生成するＭＭＴ多重化部と、を備える
   ことを特徴とする送信装置。
2. 前記ＴＡＩクロック再生部で再生されたＴＡＩ時刻を表現するカウンタ値に秒で表した所定のオフセットを加算して、ＴＡＩ時刻を表現するカウンタ値の起点を変更する起点オフセット加算部を備え、
   前記ＰＴＳ決定部は、前記起点オフセット加算部で前記オフセットが加算されたＴＡＩ時刻を表現するカウンタ値と、前記ＧＯＰ開始トリガ信号と、に従って、前記ＴＡＩ時刻で表したＭＰＵタイムスタンプを決定する、
   ことを特徴とする請求項１に記載の送信装置。
3. 前記ＴＡＩ時刻を提供する時刻サーバはＰＴＰ（Precision Time Protocol）サーバであり、
   前記起点オフセット加算部は、ＴＡＩ時刻を表現するカウンタ値の起点を１９７０年１月１日０：００：００（ＵＴＣ）とするＰＴＰ形式のＴＡＩ時刻を表現するカウンタ値に、秒で表した所定の正のオフセットまたは負のオフセットを加算することで、１９７０年１月１日０：００：００（ＵＴＣ）よりも前の日時または後の日時を起点としたＴＡＩ時刻を表現するカウンタ値を生成する、
   ことを特徴とする請求項２に記載の送信装置。
4. 送信装置から送信されるＭＭＴ信号を受信する受信装置であって、
   ＵＴＣ時刻を提供する時刻サーバと通信してＵＴＣ時刻を表現するカウンタ値を再生するＵＴＣクロック再生部と、
   前記ＭＭＴ信号に多重され伝送されたタイムスタンプ記述子から、所定のＭＰＵにおけるＴＡＩ時刻で表したＭＰＵタイムスタンプと、ＵＴＣ－ＴＡＩオフセットと、を抽出する記述子解析部と、
   前記ＵＴＣクロック再生部で再生されたＵＴＣ時刻を表現するカウンタ値に前記ＵＴＣ－ＴＡＩオフセットを加算することで前記カウンタ値をＴＡＩ時刻を表現するカウンタ値へ変換するＴＡＩオフセット加算部と、
   前記ＭＭＴ信号に多重され伝送されたメタデータから各フレームのピクチャリオーダー情報としてＤＴＳとＰＴＳとの差分値を指示する情報であるＤＴＳ－ＰＴＳ差分情報を抽出するＩＳＯＢＭＦＦメタデータ解析部と、
   前記ＴＡＩ時刻で表したＭＰＵタイムスタンプと、前記ＩＳＯＢＭＦＦメタデータ解析部から抽出された各フレームのＤＴＳ－ＰＴＳ差分情報と、から各フレームのＴＡＩ時刻で表したＰＴＳを計算するＰＴＳ計算部と、
   前記ＭＭＴ信号に多重され伝送された映像信号を復号した映像フレームが入力され、前記ＴＡＩオフセット加算部で変換されたＴＡＩ時刻を表現するカウンタ値と、各フレームのＴＡＩ時刻で表したＰＴＳと、を比較して必要に応じて前記映像フレームを並べ替えて出力するピクチャリオーダーバッファと、を備える
   ことを特徴とする受信装置。

Images