JP7639169B2 - 字幕の処理方法、装置、機器及び記憶媒体 - Google Patents

Description

本願は、２０２１年０４月２６日に中国特許庁に出願された出願番号２０２１１０４５５６４７．３、発明の名称が「字幕の処理方法、装置、機器及び記憶媒体」である中国特許出願の優先権を主張し、その内容全体は本願に援用する。

本願はマルチメディア技術分野に関し、特に字幕の処理方法、装置、機器及び記憶媒体に関する。

４Ｋ技術の普及およびＴＴＭＬ２（Ｔｉｍｅｄ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ ２，タイムテキストのマークアップ言語Ｖ２．０）の字幕規格がますます重視され、字幕に対する要求もますます高まってきており、日本のＩＳＤＢ－Ｓ３標準（第３世代総合サービスデジタル放送標準）では、ＴＴＭＬ字幕は、一般的に２Ｋ制式、４Ｋ制式、８Ｋ制式などの様々な制式に分類されることができる。簡単に言えば、２Ｋと４Ｋの制式の違いは、両方が異なるキャンバスにあることを含む。例えば、字幕領域の範囲は９６０＊５４０ｐｘで表れる場合、２Ｋキャンバス（１９２０＊１０８０ｐｘ）では、そのレンダリング画像はディスプレイの１／４を占めるべき、４Ｋキャンバス（３８４０＊２１６０ｐｘ）では、そのレンダリング画像はディスプレイの１／１６を占めるべきである。逆に、画面の１／４の表示領域を占める字幕を形成するために、２Ｋは９６０＊５４０ｐｘの画像を必要とし、４Ｋは１９２０＊１０８０ｐｘの画像を必要とする。

一般の視聴者にとって、異なる制式の間には、参照物のみが異なり、スケーリング関係が存在する。しかし、字幕の実現のために、異なる制式の字幕はメモリの使用には大きな違いがあり、異なる制式が切り替わる時、頻繁にキャンバスの再構築を行う必要があり、システムの性能に影響を与える。

本発明は、新たな字幕の処理方法、装置、機器及び記憶媒体を提供することを目的とする。

本願の目的は、以下の技術案によって実現される。本願が提供する字幕の処理方法は、対象字幕の配置情報を取得し、前記配置情報は前記対象字幕の初期制式と対象スタイル属性の第１属性値とを含むことと、前記初期制式と所定制式とが異なる場合、前記初期制式と前記所定制式との対応関係に基づいて、前記第１属性値を第２属性値に修正することと、前記第２属性値に基づいて、前記対象字幕を前記所定制式に対応するキャンバスにおいてレンダリングすることと、を含む。

本願の目的は、以下の技術案によってさらに実現されることができる。

前記字幕の処理方法では、前記所定制式は所定解像度規格を含み、前記初期制式は前記対象字幕の初期解像度規格を含み、前記対応関係は前記所定解像度規格と初期解像度規格に対応する数値関係を含み、前記初期制式と前記所定制式との対応関係に基づいて、前記第１属性値を第２属性値に修正することは、前記所定解像度規格と前記初期解像度規格に基づいて前記数値関係を決定することと、修正された前記第２属性値を得るために、前記数値関係に基づいて前記第１属性値を修正することと、を含む。

前記字幕の処理方法では、前記第２属性値に基づいて前記対象字幕を前記所定制式に対応するキャンバスにおいてレンダリングする前に、前記所定制式に対応するキャンバスを作成することをさらに含む。

前記字幕の処理方法では、前記対象スタイル属性は、前記対象字幕の表示位置又は寸法に関するスタイル属性を含む。

前記字幕の処理方法では、前記対象字幕の配置情報を取得することは、メディアストリームから前記対象字幕の初期コードストリーム及び前記初期制式を解析することと、前記第１属性値を得るために、前記初期コードストリームに対し内容解析を行うことと、を含む。

前記字幕の処理方法では、前記第２属性値に基づいて、前記対象字幕を前記所定制式に対応するキャンバスにおいてレンダリングした後に、前記第２属性値に基づいて前記対象字幕を前記所定制式に対応するキャンバスにおいてレンダリングして得られた、前記所定制式に適応する字幕画像を顕示することをさらに含む。

前記字幕の処理方法では、前記対象字幕は、ＩＳＤＢ－Ｓ３標準におけるＴＴＭＬ２規格を用いたＣｌｏｓｅｄ Ｃａｐｔｉｏｎｓ字幕である。

また、本願の目的は以下の技術案によって実現される。本開示が提供する字幕処理装置は、対象字幕の配置情報を取得し、前記配置情報が前記対象字幕の初期制式と対象スタイル属性の第１属性値とを含むことに用いられる取得モジュールと、前記取得モジュールによって取得された前記初期制式と所定制式とが異なる場合、前記初期制式と前記所定制式との対応関係に基づいて、前記第１属性値を第２属性値に修正することに用いられる修正モジュールと、前記修正モジュールによって得られた前記第２属性値に基づいて、前記対象字幕を前記所定制式に対応するキャンバスにおいてレンダリングすることに用いられるレンダリングモジュールと、を含む。

また、本願の目的は以下の技術案によってさらに実現される。

前記字幕処理装置では、前記所定制式は所定解像度規格を含み、前記初期制式は前記対象字幕の初期解像度規格を含み、前記対応関係は前記所定解像度規格と初期解像度規格に対応する数値関係を含み、前記修正モジュールは、具体的に前記所定解像度規格と前記取得モジュールによって取得された前記初期解像度規格に基づいて前記数値関係を決定し、修正された前記第２属性値を得るために、前記数値関係に基づいて前記第１属性値を修正することに用いられる。

前記字幕処理装置では、前記レンダリングモジュールが前記第２属性値に基づいて前記対象字幕を前記所定制式に対応するキャンバスにおいてレンダリングする前に、前記所定制式に対応するキャンバスを作成することに用いられる作成モジュールをさらに含む。

前記字幕処理装置では、前記対象スタイル属性は、前記対象字幕の表示位置又は寸法に関するスタイル属性を含む。

前記字幕処理装置では、前記取得モジュールは、具体的にメディアストリームから前記対象字幕の初期コードストリーム及び前記初期制式を解析すること、及び前記第１属性値を得るために、前記初期コードストリームに対し内容解析を行うことに用いられる。

前記字幕処理装置は顕示モジュールをさらに含み、前記表示モジュールは、前記レンダリングモジュールが前記第２属性値に基づいて前記対象字幕を前記所定制式に対応するキャンバスにおいてレンダリングして得られた、前記所定制式に適応する字幕画像を顕示することに用いられる。

また、本願の目的は以下の技術案によって実現される。本開示が提供する字幕処理機器は、非一時的なコンピュータ可読命令を記憶することに用いられるメモリと、前記コンピュータ可読命令を実行することにより、前記プロセッサに実行される時、上記いずれかの字幕の処理方法を実現させることに用いられるプロセッサと、を含む。

また、本願の目的は以下の技術案によって実現される。本開示が提供するコンピュータ可読記憶媒体は、非一時的なコンピュータ可読命令を記憶し、前記非一時的なコンピュータ可読命令がコンピュータによって実行される時、前記コンピュータに上記いずれかの字幕の処理方法を実行させることに用いられる。

本願は、従来技術と比較して明らかな利点及び有利な効果を有する。上記技術案によって、本願が提供する字幕の処理方法、装置、機器及び記憶媒体は統一された所定制式のキャンバスを用い、処理される予定の対象字幕の初期制式が所定制式と異なる場合、対象字幕の初期制式と所定制式との対応関係に基づいて、対象字幕の対象スタイル属性の初期属性値を修正して所定制式に適応する修正属性値を取得し、その後、該修正属性値に基づいて、所定制式のキャンバスにおいてレンダリングし、それにより、字幕規格が変化する時のキャンバスの再構築を防止することができ、システム性能を向上させ、字幕キャンバスの作成、字幕画像の生成、記憶、伝送などの字幕処理に有利である。

上記説明は本願の技術案の概要に過ぎず、本願の技術的手段をより明確に理解するために、明細書の内容に従って実施することができ、また、本願の上記及び他の目的、特徴及び利点をより明確に理解するために、以下、好ましい実施例を添付の図面と併せて詳細に説明する。

本願の実施例に係る字幕の処理方法を示すフロー模式図である。 本願の他の実施例に係る字幕の処理方法を示すフロー模式図である。 本願の他の実施例に係る字幕の処理方法を示すフロー模式図である。 本願の実施例に係る２つの字幕レンダリング手段を示すフロー模式図である。 本願の実施例に係る字形スケーリングを示す模式図である。 本願の他の実施例に係る字幕の処理方法を示すフロー模式図である。 本願の実施例に係る字幕処理装置を示す模式図である。 本願の他の実施例に係る字幕処理装置を示す模式図である。 本願の実施例に係る字幕処理機器を示す模式図である。

本願の目的の実現、機能特徴及び利点を、実施例と併せて、図面を参照してさらに説明する。

本願が出願の目的を達成するために使用した技術的手段及び効果をさらに説明するため、以下、図面及び好ましい実施例を参考して、本願が提供する字幕の処理方法、装置、機器及び記憶媒体の具体的な実施形態、構造、特徴及び効果について詳細に説明する。

なお、本明細書では、「第１」、「第２」などの関係用語は、ある対象又は動作を別の対象又は動作から区別することにのみ用いられ、これらの対象又は動作同士の間にそのような実際の関係又は順序が存在することを必ずしも必要とせず、又は示唆するものではないことを理解されるべきである。また、用語「含む」、「備える」又はそれらのいずれかの変形は、一連の要素を含むプロセス、方法、物品、又は機器が、それらの要素だけでなく、明示的に列挙されていない他の要素も含むか、又はそのようなプロセス、方法、物品、又は機器に固有の要素も含むように、非排他的な包含を含むことが意図される。これ以上の制限がない限り、用語「含む」によって限定された要素は、その要素を含むプロセス、方法、物品、又は機器における追加の同じ要素の存在を排除するものではない。

図１は、本願の実施例に係る字幕の処理方法を示すフロー模式図である。図１を参照すると、本願の一部の実施例では、本願の例示的な字幕の処理方法は、主にステップＳ１１～ステップＳ１３を含む。

ステップＳ１１では、端末装置は対象字幕の配置情報を取得し、前記配置情報は対象字幕の初期制式と対象スタイル属性の第１属性値とを含む。

本願の実施例では、端末装置は、テレビ、デスクトップコンピュータなどの固定端末装置、スマートフォン、ノート型パソコン、デジタル放送受信機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＡＤ（タブレットコンピュータ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、ナビゲーション装置、車載端末装置、車載ディスプレイ端末、車載用電子バックミラーなどの携帯端末装置などを含むが、これらに限定されない。

本願の一部の変形例では、処理された字幕は、放送テレビジョン信号における字幕、コンピュータ記憶媒体に記憶されたメディアデータにおける字幕などを含む。１つの具体的な実施例として、対象字幕は、ＩＳＤＢ－Ｓ３標準におけるクローズド字幕（略称はＣＣであり，Ｃｌｏｓｅｄ Ｃａｐｔｉｏｎｓ，ＴＴＭＬ２規格を用いる）字幕である。

本願の実施例では、字幕規格は字幕の解像度規格を含むことができる。ここで、字幕の解像度は、画素表現のサイズ、キャンバス解像度、キャンバス寸法、又はキャンバスの画素ドット数などであってもよい。なお、本願において参照されるキャンバス規格は、現在の通常的な規格や標準的な規格であってもよく、又は、通常的な規格や標準的な規格でなくてもよい。キャンバス解像度を例にとると、現在の字幕の解像度規格は、１２８０×７２０、１９２０×１０８０、３８４０×２１６０、２０４８×１０８０、４０９６×２１６０などのいずれかの寸法であってもよく、これらに限定されない。ＩＳＤＢ－Ｓ３標準におけるＴＴＭＬ２規格に基づく字幕を例にとると、ＩＳＤＢ－Ｓ３標準におけるＴＴＭＬ２規格の字幕規格は、一般的に、２Ｋ、４Ｋ及び８Ｋ規格を含む。

本願の実施例では、字幕スタイル属性は、字幕スタイルに関する属性を指す。本願の実施例では、字幕スタイル属性は、字幕のフォント色（ｆｏｎｔ ｃｏｌｏｒ）、フォントサイズ（ｆｏｎｔ ｓｉｚｅ）、背景色（ｂａｃｋｇｒｏｕｎｄ ｃｏｌｏｒ）、表示座標値（ｏｒｉｇｉｎ）、透明度（ｏｐａｃｉｔｙ）、字幕表示領域の幅と高さ（ｅｘｔｅｎｔ）又は行高さ（ｌｉｎｅ－ｈｅｉｇｈｔ）、枠線幅、フォントの線幅、字形幅、行間隔、文字間隔、特殊効果位置、オフセット位置などの一連の字幕表示に関する属性を含むことができる。本願の一部の変形例では、対象スタイル属性は、字幕の表示及び／又は寸法に関する１つ以上のスタイル属性を含み、例えば、対象スタイル属性は、フォントサイズ又は表示座標値などの字幕の表示又は寸法に関する属性の一部又は全部を含む。

なお、対象スタイル属性は、字幕の表示や寸法に関するスタイル属性に加えて、他のタイプのスタイル属性を含んでもよく、本願の実施例はこれを限定しない。

好ましくは、ｘ軸方向（ディスプレイの幅方向）及びｙ軸方向（ディスプレイの高さ方向）の配置情報をそれぞれ取得し、例えば、初期制式については、対象字幕のキャンバス幅規格、キャンバス高さ規格をそれぞれ取得し、対象スタイル属性については、字幕表示領域の幅、フォントの幅、字幕表示領域の高さ、フォントの高さをそれぞれ取得する。実際には、字幕の幅方向と高さ方向のうち一方の方向の配置情報のみを取得し、他方の方向の配置情報は取得せず、ひいては後続ステップにおいて当該方向の字幕スタイル属性値を調整しなくてもよい。

本願の実施例では、端末装置は、まず対象字幕の配置情報を取得し、前記配置情報は対象字幕の初期制式と対象スタイル属性の第１属性値とを含む。ここで、対象字幕の初期制式は対象字幕の初期に配置された規格を指し、例えば初期に配置された解像度規格である。対象スタイル属性の第１属性値は対象字幕の対象スタイル属性の初期に配置された属性値である。

好ましくは、本願の実施例では、端末装置は、メディアストリームから対象字幕が初期に配置された初期制式と対象字幕の初期コードストリームを解析する。例えば、メディアストリームから取得された対象字幕の初期制式は４Ｋである。端末装置は初期コードストリームの内容を解析し、対象スタイル属性の第１属性値を取得する。例えば、対象スタイル属性は、対象字幕のフォントサイズ、表示座標値、及び表示領域の幅と高さを含み、初期コードストリームの内容を解析することにより、得られた対象スタイル属性の第１属性値（即ち、初期に配置された属性値）は、それぞれ、フォントサイズが２０ｐｘであり、表示座標値が（２００，２００）であり、表示領域の幅及び高さ（１０００，２４０）である。なお、メディアストリームには、通常、字幕規格を識別するために用いられるフィールドがあり、該フィールドは字幕制御ストリームのうちにある可能性があり、対象字幕の初期制式がフィールドを取得及び解析することによって直接に得られる。なお、メディアストリームにおいて、通常、オーディオ、映像、字幕ストリームが多重化（ｍｕｘ）しており、従って、上記メディアストリームから字幕を解析して初期コードストリームを取得することは、メディアストリームを逆多重化（ｄｅｍｕｘ）してそれぞれのデータを得ることを含む。

なお、本願の実施例では、対象字幕の配置情報は、対象字幕の初期制式及び対象スタイル属性の第１属性値に加えて、対象字幕に関する他のタイプの情報を含んでもよく、本願の実施例はこれを限定しない。

ステップＳ１２では、対象字幕の初期制式と所定制式とが異なる場合、端末装置は、所定制式と対象字幕の初期制式との対応関係に基づいて、対象字幕の第１属性値を第２属性値に修正する。

本願の実施例では、所定制式は、予め設定された字幕制式である。本願の実施例では、所定制式は、対象字幕とは無関係であり、即ち、対象字幕の変更に応じて変更しない。

好ましくは、予め設定可能な所定制式は、使用する字幕標準における通常の字幕制式であってもよく、対象字幕が顕示される画面などの表示装置の規格に適応する字幕制式であってもよく、メモリ占有が小さい又は最小の字幕制式であってもよく、通用の字幕制式のうち、メモリ占有が小さい又は最小の字幕制式であってもよく、高精細度又は最高解像度が大きい又は最大の字幕制式などであってもよい。好ましくは、上記画面などの表示装置の規格は、例えば１６：９、１６：１０などの画面のアスペクト比を含む。

例えば、使用される字幕は、ＩＳＤＢ－Ｓ３標準におけるＴＴＭＬ２規格に基づく字幕である。ＩＳＤＢ－Ｓ３標準におけるＴＴＭＬ２規格に合わせる字幕は、一般に２Ｋ、４Ｋ、及び８Ｋ制式を含み、処理される予定の対象字幕の制式に関わらず、本願の実施例では予め設定の所定制式は２Ｋであり、本願の実施例では寸法が１９２０＊１０８０である１６：９の２Ｋキャンバスなどの所定制式の２Ｋキャンバスを統一的に作成する。

好ましくは、ｘ軸方向（ディスプレイの幅方向）とｙ軸方向（ディスプレイの高さ方向）について、それぞれ対応する所定制式を決定し、例えば、字幕のキャンバス幅の所定値を１９２０、字幕のキャンバス高さの所定値を１０８０としてそれぞれ設定してもよい。実際には、幅方向と高さ方向のうち一方の所定制式のみを設定し、他方の方向の所定制式を設定せず、且つ対応する方向の字幕スタイル属性を調整しなくてもよい。

本願の実施例では、端末装置は、対象字幕の初期制式と対象スタイル属性の第１属性値を取得した後、対象字幕の初期制式と所定制式とが異なる場合、端末装置は、当該所定制式と対象字幕の当該初期制式との対応関係に基づいて、対象字幕の第１属性値を第２属性値に修正する。例えば、対象字幕が初期に配置された初期制式は４Ｋであり、所定制式は２Ｋである場合、端末装置は、４Ｋと２Ｋの対応関係に基づいて、対象字幕の対象スタイル属性の第１属性値を、所定制式２Ｋに対応する第２属性値に修正する。

好ましくは、本願の実施例では、所定制式と初期制式との対応関係は、具体的には、対象字幕の初期解像度規格と所定解像度規格との対応数値関係であってもよい。

例えば、対象字幕の初期制式は４Ｋであり、所定制式は２Ｋである場合、初期解像度規格と所定解像度規格との対応数値関係は、スケーリング係数１／２であると決定できる。端末装置は、該スケーリング係数に基づいて、対象スタイル属性からの第１属性値を、該スケーリング係数に従って第２属性値に修正する。そして、得られた該第２属性値は、所定制式２Ｋに対応する対象スタイル属性の属性値である。表１は、本願の実施例が提供する対象スタイル属性を示す変形例である。

ここで、本願の実施例における対象スタイル属性は、対象字幕のフォントサイズ、表示座標値、表示領域の幅と高さ、及び行高さを含み、その第１属性値（即ち、初期に配置された属性値）は、それぞれ、フォントサイズが２０ｐｘであり、表示座標値が（２００，２００）であり、表示領域の幅と高さが（１０００，２４０）であり、及び行高さが２４０である。対象字幕の初期制式４Ｋと所定制式２Ｋとの間のスケーリング係数１／２に基づいて、フォントサイズの第１属性値２０ｐｘを第２属性値１０ｐｘに修正し、表示座標値の第１属性値（２００，２００）を第２属性値（１００，１００）に修正し、表示領域の幅と高さの第１属性値（１０００，２４０）を第２属性値（５００，１２０）に修正し、行高さの第１属性値２４０を第２属性値１２０に修正する。

なお、表１は、対象スタイル属性の変形例を示すものであり、本願を限定するものではないことを理解されるべきである。所定制式に適応する字幕画像を得るために、対応する任意の対象スタイル属性を修正することができる。例えば、対象字幕の所定のキャンバス解像度に適応する字幕画像を生成するために、調整可能な字幕スタイル属性は、ボーダー幅サイズ（Ｂｏｒｄｅｒ－ｌｅｎｇｔｈ）、フォントの線サイズ（Ｏｕｔｌｉｎｅ－ｌｅｎｇｔｈ）、ぼかし半径サイズ（Ｂｌｕｒ－ｒａｄｉｕｓ）、パンディング（Ｐａｄｄｉｎｇ）、グリフ間隔（Ｌｅｔｔｅｒ－ｓｐａｃｉｎｇ）、シャドウオフセット座標設定（Ｓｈａｄｏｗ－ｏｆｆｓｅｔ）などをさらに含んでもよい。

なお、所定制式と初期制式との対応関係は、他の対応関係を含んでもよく、上記は、所定制式と初期制式との対応関係の一例に過ぎず、本願を限定するものではない。

ステップＳ１３では、端末装置は対象スタイル属性の第２属性値に基づいて、所定制式に対応するキャンバスに対象字幕をレンダリングする。

本願の実施例では、端末装置は、該所定制式と対象字幕の該初期制式との対応関係に基づいて、対象字幕の第１属性値を第２属性値に修正した後、修正された第２属性値に基づいて、所定制式に対応するキャンバスに対象字幕をレンダリングし、それにより、対象字幕の、所定制式に適応する字幕画像（字幕レイヤとも呼ぶ）を得る。

本願の実施例では、所定制式に対応するキャンバスは、端末装置が上記「対象スタイル属性の第２属性値に基づいて所定制式に対応するキャンバスに対象字幕をレンダリングする」を行う前の任意の時点で予め作成されるものである。

なお、キャンバスは字幕がレンダリングする時に基礎となる抽象空間であり、字幕はキャンバスにおいて１つの画像にレンダリングされ、キャンバスのサイズを１９２０＊１０８０に設定してもよい。映像や画面の規格は表示時の論理概念であり、表示時に１９２０＊１０８０の画像を表示ウィンドウのサイズにスケーリングする必要がある。

なお、本願の実施例では、字幕データをレンダリングして得られたのは、対象字幕の初期制式に基づく字幕画像ではなく、所定制式に基づく字幕画像である。

ここで、本願の実施例におけるレンダリングは、字幕が初期のテキスト表現からキャンバスに画像内容を描くまでのプロセスを指す。好ましくは、キャンバスにおいてレンダリングした結果は、１つのメモリブロックで記憶されたＲＧＢＡ（赤、緑、青、アルファチャンネルを含むカラースペースを表す）データであり、該データはメモリに保存される。

一般に、対象字幕の画像データをレンダリングして得た後、端末装置は該画像データを一時的に記憶し、後に表示などの処理を行う。

本願の実施例が提供する字幕の処理方法において統一された所定制式のキャンバスを使用し、処理する予定の対象字幕の初期制式が所定制式と異なる場合、対象字幕の初期制式と所定制式との間の対応関係に基づいて、対象字幕の対象スタイル属性の第１（初期）属性値を修正して、所定制式に適応する第２属性値を取得し、最後に修正された第２属性値に基づいて所定制式のキャンバスにおいてレンダリングを行い、それにより制式切替プロセスにおけるキャンバスの再構築を回避することができ、システム性能の向上に有利である。

なお、字幕制式切替は、多くの状況において発生可能であり、様々な信号源の切替プロセスにおいて、字幕が基づくキャンバス制式が変化可能であり、これを限定しない。例えば、２Ｋ信号源のテレビ番組が４Ｋ信号源のテレビ番組に切り替わったり、４Ｋのテレビ番組が２Ｋに切り替わったりすると、テレビ番組の字幕制式もテレビ番組の形式によって変わるのが一般的である。また、例えば、映画、テレビ番組、ネット生放送中にメッセージ、ニュース、広告を割り込む場合、メッセージ、ニュース、広告の解像度が現在放送されているメディア制式と異なる場合があるため、字幕制式が変化することもある。また、映画を再生する場合、予め記憶された複数の字幕（例えば、多言語字幕）の字幕制式が異なると、字幕を切り替える際に字幕制式が切り替わることもある。本願の実施例が提供する字幕の処理方法は、字幕処理を行う場合、字幕が基づくキャンバス制式が変化する場合、予め作成された所定制式に対応するキャンバスを利用して、キャンバスを新たに作成するのではなく、切り替えた字幕をレンダリングすることにより、制式の切替プロセスにおけるキャンバスの再構築を低減することができる。

図２は、本願の他の実施例に係る字幕の処理方法を示す模式図である。

図２に示された本願の実施例が提供する字幕の処理方法の他の実施例は、ステップＳ２１～ステップＳ２６を含む。

ステップＳ２１では、所定制式に対応するキャンバスを作成し、ここで、該所定制式は予め設定された小さいメモリ空間を占有する低制式である。本願の実施例では、端末装置は、予め設定された小さいメモリ空間を占有する所定字幕制式を読み取り、後続ステップにおいて字幕画像をレンダリングするために用いられる該所定字幕制式に対応するキャンバスを作成する。

本願の実施例では、所定制式に対応するキャンバスは、端末装置によって予め作成される。端末装置は一度だけ所定制式に対応するキャンバスを作成することができ、後続の予め設定された時間周期内において、端末装置は受信した任意のメディアストリームのうちの字幕に対して、このキャンバスに基づいて字幕のレンダリングを行うことができる。

特に、本実施例における所定制式は、例えば、通常の字幕制式のうち、メモリ占有が小さい又は最小の低制式などの予め設定されたメモリ占有が小さい低制式である。ＩＳＤＢ－Ｓ３標準におけるＴＴＭＬ２規格に基づく字幕を例にとると、ＩＳＤＢ－Ｓ３標準におけるＴＴＭＬ２規格に合わせる字幕は、通常、該規格が規定する２Ｋ、４Ｋ及び８Ｋ制式を含み、本願の実施例に示す方法を用いて字幕処理を行うと、２Ｋキャンバス、具体的には、寸法は１９２０＊１０８０である１６：９の２Ｋキャンバスを統一的に作成する。

ステップＳ２２では、対象字幕の配置情報を取得する。本願の実施例では、端末装置は、メディアストリームを取得し、メディアストリームから対象字幕の初期制式及び初期コードストリームを解析し、該初期コードストリームに対し内容解析を行って、対象字幕の対象スタイル属性の第１属性値（初期属性値）を取得する。

具体的な実施例として、ＴＴＭＬ字幕を例にとると、対象字幕の初期制式を取得するプロセスは、具体的には、ｐｃａｐコードストリームから現在のＴＴＭＬ字幕が使用する字幕規格を解析し、例えば、対象字幕が２Ｋ、４Ｋ、又は８Ｋ制式であるか、例えば、初期制式が４Ｋであることを決定することを含む。対象字幕の対象スタイル属性の第１属性値を取得するプロセスは、具体的には、ｐｃａｐコードストリームから現在のＴＴＭＬ字幕の初期コードストリームを解析し、ＴＴＭＬ字幕に対し内容解析を行い、字幕の対象スタイル設定の初期属性値、即ち上記第１属性値を取得する。例えば、対象スタイル属性は、対象字幕のフォントサイズ、表示座標値、及び表示領域の幅及び高さを含み、初期コードストリームの内容を解析することにより、対象スタイル属性の第１属性値（即ち、初期に配置された属性値）は、それぞれ、フォントサイズが２０ｐｘであり、表示座標値が（２００，２００）であり、表示領域の幅及び高さは（１０００，２４０）である。ここで、ｐｃａｐコードストリームは、ネットワークパケットキャプチャ及びネットワークパケットにおいてよく使用されるデータパケットである。なお、本願は、使用されるメディアストリームを限定せず、上記ｐｃａｐコードストリームに加えて、ＲＴＰコードストリームパケットのような他のタイプ及びフォーマットのデータを用いてもよいことを理解されるべきである。

本願の実施例におけるステップＳ２２についての詳細な説明は、図１のステップＳ１１を参照して理解することができ、ここではこれ以上説明しない。

ステップＳ２３では、対象字幕の初期制式と所定制式とが同一であるか否かを判断する。

本願の実施例では、ステップＳ２２を行って対象字幕の初期制式を取得した後、端末装置は、該初期制式とステップＳ２１で予め設定された所定制式とに基づいて、対象字幕の初期制式と所定制式とが同一であるか否かを判断する。

ステップＳ２４では、ステップＳ２３の判断の結果は対象字幕の初期制式と所定制式とが異なる場合、端末装置は、該所定制式と対象字幕の該初期制式との対応関係に基づいて、対象字幕の第１属性値を第２属性値に修正し、ここで、所定制式は、予め設定されたメモリ占有空間が小さい低制式である。

本願の実施例におけるステップＳ２４についての詳細な説明は、図１のステップＳ１２を参照して理解することができ、ここではこれ以上説明しない。

ステップＳ２５では、対象字幕の予め設定されたメモリ占有空間が小さい低制式に適応する字幕画像を取得するため、対象字幕の対象スタイル属性の第２属性値に基づいて、所定制式に対応するキャンバスに対象字幕をレンダリングする。

本願の実施例におけるステップＳ２５についての詳細な説明は、図１のステップＳ１３を参照して理解することができ、ここではこれ以上説明しない。

ステップＳ２６では、字幕画像を顕示する。

本願の実施例では、対象字幕の所定制式に適応する字幕画像を得た後、端末装置は該字幕画像を表示し、一般的に表示モジュールが画面に字幕を顕示するために、レンダリングされた字幕画像を端末装置の表示モジュール（例えばテレビ又はコンピュータのグラフィックスプロセッサＧＰＵ）に送信することができる。なお、表示モジュールは、任意のサイズの画像、任意の解像度の映像に応じて全画面表示を行い、または他の任意の表示領域に調整するために、調整してスケーリングすることができることを理解されるべきである。

本願の実施例では、本願の実施例が提供する字幕の処理方法において統一された所定制式のキャンバスを使用し、処理する予定の対象字幕の初期制式が所定制式と異なる場合、対象字幕の初期制式と所定制式との間の対応関係に基づいて、対象字幕の対象スタイル属性の第１（初期）属性値を修正して、所定制式に適応する第２属性値を取得し、最後に修正された第２属性値に基づいて所定制式のキャンバスにおいてレンダリングを行い、それにより制式切替プロセスにおけるキャンバスの再構築を回避することができ、システム性能の向上に有利である。また、使用する所定制式は予め設定されたメモリ占有空間が小さい低制式であるため、キャンバスの作成、字幕画像の生成、記憶、伝送及び画面表示などの字幕処理プロセスに必要なメモリ空間を低減することができ、レンダリングプロセスにおけるメモリコストを低減することができ、大容量メモリを得られないことによる字幕を表示できないことを回避する。ＩＳＤＢ－Ｓ３ ＣＣ字幕を例にとると、本願が開示した字幕の処理方法を用いてＩＳＤＢ－Ｓ３ ＣＣ字幕のメモリ使用量を低減することができ、テレビなどの機器において、メモリの占用が高すぎることによる他のプロセスがメモリ不足で消去（ｋｉｌｌ）されることを回避し、同時にレンダリング効率を向上させることができる。

図３は、本願の他の実施例に係る字幕の処理方法を示す模式図である。

図３は、図２に示された本願の実施例が提供する字幕の処理方法の他の実施例は、ステップＳ３１～ステップＳ３６を含む。

ステップＳ３１では、所定制式に対応するキャンバスを作成し、ここで、該所定制式は予め設定された高精細度の高制式である。本願の実施例では、端末装置は、予め設定された高精細度の所定字幕制式を読み取り、後続ステップにおいて字幕画像をレンダリングするために用いられる該所定字幕制式に対応するキャンバスを作成する。

本願の実施例では、所定制式に対応するキャンバスは、端末装置によって予め作成される。端末装置は一度だけ所定制式に対応するキャンバスを作成することができ、後続の予め設定された時間周期内において、端末装置は受信した任意のメディアストリームのうちの字幕に対して、このキャンバスに基づいて字幕のレンダリングを行うことができる。

特に、本実施例における所定制式は、例えば、通常の字幕制式のうち、高精細度の高制式などの予め設定された高精細度の高制式である。ＩＳＤＢ－Ｓ３標準におけるＴＴＭＬ２規格に基づく字幕を例にとると、ＩＳＤＢ－Ｓ３標準におけるＴＴＭＬ２規格に合わせる字幕は、通常、該規格が規定する２Ｋ、４Ｋ及び８Ｋ制式を含み、本願の実施例に示す方法を用いて字幕処理を行うと、精細度が一番高いである８Ｋキャンバスを統一的に作成する。

ステップＳ３２では、対象字幕の配置情報を取得する。本願の実施例では、端末装置は、メディアストリームを取得し、メディアストリームから対象字幕の初期制式及び初期コードストリームを解析し、該初期コードストリームに対し内容解析を行って、対象字幕の対象スタイル属性の第１属性値（初期属性値）を取得する。

具体的な実施例として、ＴＴＭＬ字幕を例にとると、対象字幕の初期制式を取得するプロセスは、具体的には、ｐｃａｐコードストリームから現在のＴＴＭＬ字幕が使用する字幕規格を解析し、例えば、対象字幕が２Ｋ、４Ｋ、又は８Ｋ制式であるか、例えば、初期制式が４Ｋであることを決定することを含む。対象字幕の対象スタイル属性の第１属性値を取得するプロセスは、具体的には、ｐｃａｐコードストリームから現在のＴＴＭＬ字幕の初期コードストリームを解析し、ＴＴＭＬ字幕に対し内容解析を行い、字幕の対象スタイル設定の初期属性値、即ち上記第１属性値を取得する。例えば、対象スタイル属性は、対象字幕のフォントサイズ、表示座標値、及び表示領域の幅及び高さを含み、初期コードストリームの内容を解析することにより、対象スタイル属性の第１属性値（即ち、初期に配置された属性値）は、それぞれ、フォントサイズが２０ｐｘであり、表示座標値が（２００，２００）であり、表示領域の幅及び高さは（１０００，２４０）である。ここで、ｐｃａｐコードストリームは、ネットワークパケット捕捉及びネットワークパケット分析においてよく使用されるデータグラムである。なお、本願は、使用されるメディアストリームを限定せず、上記ｐｃａｐコードストリームに加えて、ＲＴＰコードストリームパケットのような他のタイプ及びフォーマットのデータを用いてもよいことを理解されるべきである。

本願の実施例におけるステップＳ３２についての詳細な説明は、図１のステップＳ１１を参照して理解することができ、ここではこれ以上説明しない。

ステップＳ３３では、対象字幕の初期制式と所定制式とが同一であるか否かを判断する。

本願の実施例では、ステップＳ３２を行って対象字幕の初期制式を取得した後、端末装置は、該初期制式とステップＳ３１で予め設定された所定制式とに基づいて、対象字幕の初期制式と所定制式とが同一であるか否かを判断する。

ステップＳ３４では、ステップＳ３３の判断の結果は対象字幕の初期制式と所定制式とが異なる場合、端末装置は、該所定制式と対象字幕の該初期制式との対応関係に基づいて、対象字幕の第１属性値を第２属性値に修正し、ここで、所定制式は、予め設定された高精細度の高制式である。

本願の実施例におけるステップＳ３４についての詳細な説明は、図１のステップＳ１２を参照して理解することができ、ここではこれ以上説明しない。

ステップＳ３５では、対象字幕の予め設定された高精細度の高制式に適応する字幕画像を取得するため、対象字幕の対象スタイル属性の第２属性値に基づいて、所定制式に対応するキャンバスに対象字幕をレンダリングする。

ステップＳ３６では、字幕画像を顕示する。

本願の実施例では、対象字幕の所定制式に適応する字幕画像を得た後、端末装置は該字幕画像を表示することがあり、通常、表示モジュールが画面に字幕を顕示するために、レンダリングされた字幕画像を端末装置の表示モジュール（例えばテレビ又はコンピュータのグラフィックスプロセッサＧＰＵ）に送信する。なお、任意のサイズの画像、任意の解像度の映像に対し、全画面表示を行い、または他の任意の表示領域に調整するために、表示モジュールは、自ら調整してスケーリングすることができることを理解されるべきである。

本願の実施例では、本願の実施例が提供する字幕の処理方法において統一された所定制式のキャンバスを使用し、処理する予定の対象字幕の初期制式が所定制式と異なる場合、対象字幕の初期制式と所定制式との間の対応関係に基づいて、対象字幕の対象スタイル属性の第１（初期）属性値を修正して、所定制式に適応する第２属性値を取得し、最後に修正された第２属性値に基づいて所定制式のキャンバスにおいてレンダリングを行い、それにより制式切替プロセスにおけるキャンバスの再構築を回避することができ、システム性能の向上に有利である。また、使用する所定制式は予め設定された高精細度の高制式であるため、字幕の精細度を向上させることができ、字幕の後続処理における表示モジュールによって拡大されてぼやけてしまうという問題を回避することができる。

本願が提供する字幕の処理方法のさらなる実施例では、予め設定された字幕制式は、画面規格に合わせるキャンバス制式、又は通常的な標準制式のキャンバス制式である。予め設定された画面規格に合わせるキャンバス、又は通常的な標準制式のキャンバス制式に基づいて字幕をレンダリングすることにより、異なる制式の字幕を画面規格に合わせる字幕、又は通常的な標準制式の字幕に調整することができ、キャンバスの作成、字幕画像の生成、記憶、伝送及び顕示などの字幕処理プロセスの実行に有利である。

なお、所定制式に合わせた字幕画像を得る方法は、様々な方法で行うことが可能である。本願の上記実施例ではソース側スケーリング方式を使用し、即ち業務プロセスの最初位置でスケーリングを行い、スタイル属性値修正の方式とも呼ばれる。まず、対象スタイル属性の第１属性値を調整して第２属性値を得、次に、該第２属性値に基づいてレンダリングを行いて所定制式に合わせる字幕画像を取得する。それにより、上記実施例を用いる時、ソース側の点におけるスタイル属性値は、対象点の値まで比例的に直接調整される。他の実施形態では末端スケーリング方式を使用してもよく、即ち業務プロセスの最後位置でスケーリングを行い、レンダリングする時の修正の方式とも呼ばれる。まず、字幕の対象スタイル属性の初期設定値（即ち、第１属性値）に基づいて、対象字幕の初期制式に基づく字幕画像をレンダリングし、次に、所定制式と対象字幕の初期制式との対応関係に基づいて、その初期制式の字幕画像を調整して該字幕画像を所定制式に合わせるキャンバスに調整する。

上記２つの変形例は、メモリ及び時間のコストにおいて大きな違いがあることを理解されるべきである。図４は、本願の実施例に係る２つの字幕レンダリング方式を示すフロー模式図である。図４を参照すると、対象字幕の初期制式は４Ｋキャンバス解像度であり、所定制式は２Ｋキャンバス解像度である。図４の上半分は上記末端スケーリング方式（即ち、レンダリングする時の修正方式）を使用する場合を示す。４Ｋ字幕の内容を、まず幅と高さが４００×１００である４Ｋ制式字幕にレンダリングし、次に幅と高さが２００×５０である字幕レイヤにスケーリングし、２Ｋキャンバスに置く、最後に該字幕レイヤを表示モジュールに送信して表示モジュールのハードウェアが４Ｋ字幕の内容を４Ｋ画面にスケーリングして顕示する。図４の下半分は上記ソース側スケーリング方式（即ち、スタイル属性値修正の方式）を使用する場合を示す。まず４Ｋ字幕の４Ｋ制式に合わせる初期属性値を調整して２Ｋ制式に合わせる属性値を得、次に４Ｋ字幕の内容を調整した後の属性値に基づいて、直接に２Ｋキャンバスにおいてレンダリングして幅と高さが２００×５０である字幕レイヤを得、最後に該字幕レイヤを表示モジュールに送信して表示モジュールのハードウェアが４Ｋ字幕の内容を４Ｋ画面にスケーリングして顕示する。これによって、字幕が初期の４Ｋ制式でレンダリングして２Ｋにスケーリングされることは、直接に２Ｋ制式でレンダリングすることよりもメモリ（該メモリのサイズは４Ｋ字幕の初期サイズで、４００×１００×４Ｂである）請求が１回増え、同時にスケーリングする時間が１回増える。従って、本願の上記実施例で開示したソース側スケーリング方式を用いると、メモリ及び時間のコストに関して大きな利点を有する。

なお、表示モジュールによる字幕画像の調整は、表示モジュールによる処理（通常、ＧＰＵに関連する）であり、一般には、設定された表示ウィンドウサイズにのみ関連し、本願で開示されたスタイル属性修正、レンダリングする時の修正には関連しない。例えば、表示モジュールは１９２０＊７６８ｐｘの画像を表示するために、その画像を全画面で表示させるか、画面の１／４サイズ（座標は任意）を表示するかにかかわらず、表示モジュールはまずその画像を１枚の１９２０＊７６８ｐｘである画像にデコードし（もちろん、画像の一部の領域をデコードすることを許可し、そうしないと、数百万ピクセルを有する画像はメモリを使い果たすことになる）、それから表示ウィンドウの設定を指定する領域サイズにスケーリングする。

本願の一部の実施例では、対象字幕は、ベクトルに基づくフォントを用いる。ベクトルフォントの字幕は、ＰＮＧリソースなどの字幕とは異なり、テキストレンダリングする時にベクトルデータは、その精細度に影響を与えることなく任意にスケーリングされることができるという特性を有する。

さらに、上記ステップＳ１３のレンダリングプロセスは、対象字幕のテキストに対応する初期ベクトルグリフに対しスケーリング、シフト、回転、及び／又は傾けを行うことにより、対象字幕の第２属性値に合わせる字幕画像を取得することを含む。具体的には、マトリックスを用いて、ベクトルグリフに対しスケーリング、シフト、回転、及び／又は傾けを行うことにより、所定制式に適応する字幕画像を得ることができる。

具体的な例として、マトリックスを用いて字幕のスケーリングを行う式は、

で表されることができ、ここで、マトリックス

はスケーリングするために用いられるマトリックスであり、座標値を全て２倍に拡大するために用いられる。同様に、シフトマトリックス、回転マトリックス、傾斜マトリックスなどを用いて字幕スタイルを調整することもできる。

なお、キャンバス制式を変更するためにスケーリングが必要となることは、画像に対する基本的なデコードスケーリングであることを理解されるべきである。テキストレンダリングでは、フォントサイズが直接にスケーリングされることができるかどうかが最も重要な課題である。本願の一部の実施例では、字幕制式を修正する時に使用するのはスタイル属性を最初にスケーリングする方式であり、スタイルのスケーリングの理論的な根拠は、比例関係である。また、本願の一部の実施例では、グリフのレンダリングは、フォントサイズが単純な倍数関係を有することができるように、統一された「キャンバス」に基づくことにされる。

異なるフォントサイズ（ｆｏｎｔ ｓｉｚｅ）の文字を形成するプロセスは、実際には、初期グリフに対するスケーリングである。一般に、ＴＴＦ（完全名はＴｒｕｅＴｙｐｅである）、ＳＶＧ（完全名はＳｃａｌａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｐｈｉｃｓである）グリフは、いずれもベクトル表現を用い、ベクトル表現は指定された空間の数学的表現に基づくものである。規格化にする場合、各キーポイントの座標の指定された空間におけるパーセンテージとして理解することができる。例えば、図５に示すように、Ａｄｖａｎｃｅが２０４８であるグリフに設定されたベクトルグリフに対し、そのグリフの初期ベクトル表現は２０４８＊２０４８に基づく空間であり、フォントが１４４ｐｘ＊７２ｐｘに設定されたことは、即ち２０４８＊２０４８の空間表現に基づくベクトル画像を１４４ｐｘ＊７２ｐｘにスケーリングすることである。なお、上記フォントが１４４ｐｘ＊７２ｐｘに設定されたことは、水平方向における寸法は１４４ｐｘであり、垂直方向における寸法は７２ｐｘであることを指し、該寸法は余白を含むことを理解されるべきである。なお、水平方向と垂直方向とは分離して配置されることができることを理解されるべきである。従って、キャンバスを特定の倍率で拡大すると、フォントサイズは同じ倍率で拡大される。例えば、４Ｋが２Ｋにスケーリングされ、キャンバスが水平と垂直の両方でいずれも２倍のスケーリング関係になる場合、フォントも２倍のスケーリング関係を有するべきであり、そうすると、２０４８＊２０４８を７２ｐｘ＊３６ｐｘにスケーリングしたことと等価であり、４Ｋで設定された１４４ｐｘのフォントサイズは、２Ｋで設定された７２ｐｘのフォントサイズと等しくなり、即ち、フォントサイズは同じ倍数にスケーリングされる。最後に画面スケーリングされた（表示モジュールスケーリング）後、ユーザは画面に対して同じサイズの文字を感じる。

なお、対象字幕の初期制式と所定制式とが一致すれば、字幕画像の調整を行う必要はなく、直接に初期コードストリームを用いて再生するようにしてもよい。具体的には、本願の一部の実施例では、上記ステップＳ１２の前に、本願が提供する字幕の処理方法は、対象字幕の初期制式と所定制式とが一致するか否かを判断することをさらに含み、判定結果が一致しない場合、字幕の初期コードストリームを初期制式に適応する字幕画像に調整し、その後、表示モジュールに送信して顕示することができるために、上記ステップＳ１２及びステップＳ１３のプロセスを行い、判断結果が一致する場合、字幕の初期コードストリームに基づいて直接にレンダリングし、且つ表示モジュールに送信して顕示することができる。

本願の一部の実施例では、字幕はソフトウェアによってデコードされ、メディアストリームを逆多重化して得られた字幕ストリームは別々に処理され、その後、別個のレイヤに表示される。例えば、字幕と映像の両方は独立であり、字幕画像は１つの表示レイヤとして形成され、映像は別の表示レイヤであり、字幕レイヤと映像レイヤを別々に処理し、それぞれ表示モジュールに送信する。なお、字幕と映像の処理は一般的に独立であり、無関係である。字幕と映像の関連は、字幕と映像の両方を同じ時間軸において操作し、字幕と映像を同期させて顕示するように、両方のタイミングを同期させ、一時停止、再生、早送りなどの操作を行う時に、両方を同様に実行する。

本願の一部の実施例では、本願が提供する字幕の処理方法は、字幕画像を映像内容と混合することをさらに含む。

本願の一部の実施例では、表示モジュール及び字幕の処理方法を実行する装置は、２つの独立した装置とすることができ、例えば、字幕処理装置は、テレビ、コンピュータ、スマートフォンなどの端末装置内のＣＰＵとすることができ、表示モジュールは、その中のＧＰＵとすることができる。また、本願の他の実施例では、本願の字幕の処理方法を実行する装置は、字幕処理を実行するモジュールと表示モジュールとを含み、即ち、本願の字幕の処理方法の操作と表示モジュールの操作とを、同一の装置を用いて実行する。

本願の一部の実施例では、上記実施例が提供する表示モジュールが対象字幕の所定制式に適応する字幕画像に基づいて字幕を顕示するステップは、具体的には、表示モジュールは対象字幕の所定制式に適応する字幕画像を、表示領域の寸法及び位置に適応する画像に調整して顕示することを含むことができる。なお、字幕画像の最終的な表示状況は、字幕の初期制式によって設定された寸法や表示位置に限定されない。実際には、字幕の画面における表示領域の寸法サイズや表示領域の位置は任意であってもよく、字幕の再生インターフェースは任意のサイズであってもよく、例えば、非全画面表示、分割画面表示、ピクチャインピクチャモードなどの方式で表示されてもよい。好ましくは、アプリケーションによって設定された表示ウィンドウのサイズを表示範囲として画像を表示することにより、表示モジュールが字幕画像を調整し、字幕画像を大きくしたり小さくしたりすることができ、また、表示領域の寸法と位置に合わせるように、表示位置を変更してもよく、例えば、映像の表示領域が画面の中央からずれると、字幕の表示位置を調整してもよく、この表示領域が最終表示範囲となる。

具体的な例として、対象字幕の初期制式は、３８４０＊２１６０（４Ｋと略称される）の解像度規格であってもよく、デフォルト設定の所定制式が１９２０＊１０８０（２Ｋと略称される）の解像度規格である場合、上記方法を用いて２Ｋキャンバスに基づく字幕画像をレンダリングして得ることができる。画面解像度が４Ｋで、且つアプリケーションによって設定された表示範囲が全画面である場合、表示モジュールは２Ｋキャンバスに基づく字幕画像を４Ｋキャンバスに復元して顕示する。一方、アプリケーションによって設定された表示範囲が非全画面状態、例えば表示範囲が１／４画面である場合、表示モジュールは、２Ｋキャンバスに基づく字幕画像を１／４画面に適応する寸法に調整して顕示する。

一部の字幕規格では、字幕のいくつかのスタイル属性は、特定の値ではなく、キャンバスとの対応関係によって表現されてもよい。例えば、ＴＴＭＬ２規格では、キャンバスサイズに対するパーセンテージを用いて、座標、フォントサイズなどのスタイルを表すことができる。このような比例形式のスタイル属性を特定の値の形式に変換し、上記図１に示す字幕の処理方法で処理してもよく、このような比例形式のスタイル属性を直接に用いて字幕処理を行いってもよい。

図６は、本願の他の実施例に係る字幕の処理方法を示すフロー模式図である。図６を参照すると、本願の実施例は他の字幕の処理方法をさらに提供し、主にステップＳ４１～ステップＳ４３を含む。

ステップＳ４１では、対象字幕の配置情報を取得する。ここで、該配置情報は、対象字幕の対象スタイル属性とキャンバスとの対応関係を含む。表示位置と寸法に関するスタイル属性を例にとすると、該対応関係は対象スタイル属性の属性値とキャンバスの属性値との比例値であってもよい。

ステップＳ４２では、対象字幕の対象スタイル属性とキャンバスとの対応関係と、所定制式に対応するキャンバスの属性とに基づいて、対象字幕の所定制式に適応するスタイル属性の特定の値を決定する。

ステップＳ４３では、対象字幕の所定制式に適応するスタイル属性に基づいて値を特定し、所定制式に対応するキャンバスに対象字幕をレンダリングする。

なお、対象字幕の初期制式が所定制式と異なる場合、上記ステップＳ４２では、所定制式に対応するキャンバスの属性に基づいて決定された対象字幕のスタイル属性の特定の値は、対象字幕のスタイル属性の初期に特定された値ではなく、上記図１に対応する実施例における第２属性値に相当する、所定制式に適応する修正スタイル属性である。

具体的な例として、対象字幕の対象スタイル属性は、表示位置と寸法に関する属性を含む。上記所定制式に対応する前記キャンバスの属性は、キャンバスの位置と寸法とを含む。上記対象スタイル属性とキャンバスとの対応関係は、対象スタイル属性とキャンバス属性との比例関係を含む。従って、座標、位置、ピッチなどのスタイル属性を調整する時に、該スタイル属性のｘ軸、ｙ軸方向におけるキャンバスとのパーセント関係が特定される場合、キャンバスがδ倍に拡大して調整されると、該スタイル属性とキャンバスとのパーセント関係は変わらず、該スタイル属性の属性値は対等にδ倍に拡大される。

好ましくは、該所定制式は、予め設定されたメモリ空間の占有が小さい低制式であってもよく、高精細度の高制式であってもよく、表示機器の規格に適応する制式であってもよい。

なお、図６に例示した字幕の処理方法と図１に例示した字幕の処理方法との違いは、主に、対象字幕の配置情報が最初に取得された形態が異なる点であり、以降のレンダリングプロプスは、基本的に同一であるため、図１に対応する上記具体的な詳細は、図６に例示した字幕の処理方法にも適用され、その詳細な説明及び技術的効果は、上記各実施例における対応する説明を参照することができ、ここで説明を省略する。

図７は本願の実施例に係る字幕処理装置を示す模式ブロック図である。図７を参照すると、本願の実施例は字幕処理装置１００をさらに提供し、該装置は主に取得モジュール１０１と修正モジュール１０２とレンダリングモジュール１０３とを含む。

ここで、取得モジュール１０１は、対象字幕の配置情報を取得し、ここで、該配置情報は対象字幕の初期制式と対象スタイル属性の第１属性値とを含むことに用いられる。

本願の一部の変形例では、取得モジュール１０１は、具体的にメディアストリームから対象字幕の初期コードストリームと初期制式を解析し、第１属性値を得るために、初期コードストリームに対し内容解析を行うことに用いられる。

該修正モジュール１０２は、取得モジュール１０１によって取得した初期制式が所定制式と異なる場合、初期制式と所定制式との対応関係に基づいて、第１属性値を第２属性値に修正することに用いられる。

該レンダリングモジュール１０３は、修正モジュール１０２によって修正されて得られた第２属性値に基づいて、所定制式に対応するキャンバスにおいて対象字幕をレンダリングすることに用いられる。本願の一部の変形例では、上記対象スタイル属性は、対象字幕の表示位置又は寸法に関連するスタイル属性を含む。

本願の一部の変形例では、所定制式は、所定解像度規格を含み、初期制式は、対象字幕の初期解像度規格を含み、対象字幕の初期制式と所定制式との対応関係は、所定解像度規格及び初期解像度規格に対応する数値関係を含む。修正モジュール１０２は、具体的に所定解像度規格と取得モジュール１０１によって取得された初期解像度規格との数値関係を決定し、修正された第２属性値を得るように、数値関係に基づいて第１属性値を修正することに用いられる。

本願の一部の変形例では、字幕処理装置１００は、レンダリングモジュール１０３が、第２属性値に基づいて、所定制式に対応するキャンバスに対象字幕をレンダリングする前に、所定制式に対応するキャンバスを作成することに用いられる作成モジュール（図示せず）をさらに含む。

本願の一部の変形例では、字幕処理装置１００は、レンダリングモジュール１０３が第２属性値に基づいて所定制式に対応するキャンバスに対象字幕をレンダリングして得た、所定制式に適応する字幕画像を顕示することに用いられる顕示モジュール（図示せず）をさらに含む。

また、本願の実施例に例示した各字幕処理装置１００は、上記各実施例の方法を実行することに対応するモジュールとユニットを含み、その詳細な説明及び技術的効果は、上記各実施例に関する説明を参照すればよく、ここではこれ以上説明しない。

図８は、本願の他の実施例に係る字幕処理装置を示す模式ブロック図である。図８を参照すると、本願の実施例は字幕処理装置１００’をさらに提供し、該装置は、主に取得モジュール１０１’と決定モジュール１１２とレンダリングモジュール１０３’とを含む。

ここで、前記取得モジュール１０１’は、対象字幕の配置情報を取得し、ここで、該配置情報は、字幕の対象スタイル属性とキャンバスとの対応関係を含むことに用いられる。

該決定モジュール１１２は、対象字幕の対象スタイル属性とキャンバスとの対応関係と、所定制式に対応するキャンバスの属性とに基づいて、対象字幕の所定制式に適応するスタイル属性の特定の値を決定することに用いられる。

該レンダリングモジュール１０３’は、対象字幕の所定制式に適応するスタイル属性に基づいて値を特定し、所定制式に対応するキャンバスに対象字幕をレンダリングすることに用いられる。

また、本願の実施例に例示した各字幕処理装置１００’は、上記各実施例の方法を実行することに対応するモジュールとユニットを含み、その詳細な説明及び技術的効果は、上記各実施例の対応する説明を参照すればよく、ここではこれ以上説明しない。

図９は本願の実施例に係る字幕処理機器を示す模式ブロック図である。図９に示すように、本願の実施例が提供する字幕処理機器２００は、メモリ２０１と、プロセッサ２０２とを含む。

該メモリ２０１は、非一時的なコンピュータ可読命令を記憶することに用いられる。具体には、メモリ２０１は、１つ以上のコンピュータプログラム製品を含むことができる。該コンピュータプログラム製品は、揮発性メモリ及び／又は不揮発性メモリなどの様々な形態のコンピュータ可読記憶媒体を含むことができる。該揮発性メモリは、ランダム・アクセス・メモリ（ＲＡＭ）及び／又はキャッシュメモリ（ｃａｃｈｅ）などを含むことができる。該不揮発性メモリは、リード・オンリ・メモリ（ＲＯＭ）、ハードディスク、フラッシュメモリなどを含むことができる。

該プロセッサ２０２は、中央処理装置（ＣＰＵ）又はデータ処理能力及び／又は命令実行能力を有する他の形式の処理ユニットであってよく、所望の機能を実行するように字幕処理機器２００内における他の構成要素を制御することができる。本願の一例では、字幕処理機器２００が上記本発明の実施例が提供する字幕の処理方法のステップの全て又は一部を実行させるように、該プロセッサ２０２は、メモリ２０１に記憶されたコンピュータ可読命令を実行することに用いられる。

当業者であれば、ユーザエクスペリエンスの良好な効果を得るための技術的課題を解決するために、本実施例では、通信バスやインターフェース等の周知の構成を含むことができ、これらの公知の構造も本願の保護範囲に含まれるべきである。

本実施例の詳細な説明及び技術的効果については、上記各実施例に関する説明を参照することができ、ここではこれ以上説明しない。

本願の実施例はコンピュータ記憶媒体をさらに提供し、該コンピュータ記憶媒体においてコンピュータ命令を記憶しており、該コンピュータ命令が機器で実行されると、機器を上記関連方法ステップを実行させることにより、上記実施例における字幕の処理方法を実現する。

本願の実施例はコンピュータプログラム製品をさらに提供し、該コンピュータプログラム製品がコンピュータで実行されると、コンピュータを上記関連方法ステップを実行させることにより、上記実施例における字幕の処理方法を実現する。

また、本願の実施例は装置をさらに提供し、該装置は、具体的にチップ、アセンブリ、又はモジュールであってよく、該装置は、接続されたプロセッサ及びメモリを含んでもよい。ここで、メモリはコンピュータ実行命令を記憶することに用いられ、装置が実行されると、チップに上記各方法実施例における字幕の処理方法を実行させるように、プロセッサはメモリに記憶されたコンピュータ実行命令を実行することができる。

ここで、本願が提供する装置、コンピュータ記憶媒体、コンピュータプログラム製品、又はチップは、いずれも上記で開示された関連方法を実行することに用いられ、従って、その達成可能な効果は上記で開示された対応する方法の効果を参照することができ、ここではこれ以上説明しない。

以上、本願の好ましい実施例に過ぎず、本願を何ら制限するものではない。本願は、以上のように好ましい実施例として開示が、本願を限定するものではなく、当業者が、本願の技術的範囲から逸脱することなく、上記で開示された技術的内容を用いてあらゆる簡単な変更又は修飾は同等変形の等価実施例であれば、本願の技術案の内容から逸脱することでない場合、本願の技術的思想に基づいて上記で開示された実施例に対して行うあらゆる簡単な変更、同等変形と修飾、いずれも本願の技術案の範囲内に属する。

１００ 字幕処理装置
１００’ 字幕処理装置
１０１ 取得モジュール
１０１’ 取得モジュール
１０２ 修正モジュール
１０３ レンダリングモジュール
１０３’ レンダリングモジュール
１１２ 決定モジュール
２００ 字幕処理機器
２０１ メモリ
２０２ プロセッサ
Ｓ１１ ステップ
Ｓ１２ ステップ
Ｓ１３ ステップ
Ｓ２１ ステップ
Ｓ２２ ステップ
Ｓ２３ ステップ
Ｓ２４ ステップ
Ｓ２５ ステップ
Ｓ２６ ステップ
Ｓ３１ ステップ
Ｓ３２ ステップ
Ｓ３３ ステップ
Ｓ３４ ステップ
Ｓ３５ ステップ
Ｓ３６ ステップ
Ｓ４１ ステップ
Ｓ４２ ステップ
Ｓ４３ ステップ

Claims (18)

1. 所定制式に対応するキャンバスを作成することと、
   対象字幕の配置情報を取得し、前記配置情報は前記対象字幕の初期制式と対象スタイル属性の第１属性値とを含むことと、
   前記初期制式と前記所定制式とが異なる場合、前記初期制式と前記所定制式との対応関係に基づいて、前記第１属性値を第２属性値に修正することと、
   前記第２属性値に基づいて、前記対象字幕を前記所定制式に対応するキャンバスにおいてレンダリングして、前記対象字幕の、前記所定制式に適応する字幕画像を得ることと、を含む、字幕の処理方法。
2. 前記所定制式は所定解像度規格を含み、前記初期制式は前記対象字幕の初期解像度規格を含み、前記対応関係は前記所定解像度規格と初期解像度規格に対応する数値関係を含み、
   前記初期制式と前記所定制式との対応関係に基づいて、前記第１属性値を第２属性値に修正することは、
   前記所定解像度規格と前記初期解像度規格に基づいて前記数値関係を決定することと、
   修正された前記第２属性値を得るために、前記数値関係に基づいて前記第１属性値を修正することと、を含む、請求項１に記載の字幕の処理方法。
3. 前記対象スタイル属性は、前記対象字幕の表示位置又は寸法に関するスタイル属性を含む、請求項１又は２に記載の字幕の処理方法。
4. 前記対象字幕の配置情報を取得することは、
   メディアストリームから前記対象字幕の初期コードストリーム及び前記初期制式を解析することと、
   前記第１属性値を得るために、前記初期コードストリームに対し内容解析を行うことと、を含む、請求項１又は２に記載の字幕の処理方法。
5. 前記第２属性値に基づいて、前記対象字幕を前記所定制式に対応するキャンバスにおいてレンダリングした後に、
   前記第２属性値に基づいて前記対象字幕を前記所定制式に対応するキャンバスにおいてレンダリングして得られた、前記所定制式に適応する字幕画像を顕示することをさらに含む、請求項１又は２に記載の字幕の処理方法。
6. 前記第２属性値に基づいて前記対象字幕を前記所定制式に対応するキャンバスにおいてレンダリングして得られた、前記所定制式に適応する字幕画像を顕示することは、
   表示モジュールが画面に字幕を表示するために、前記第２属性値に基づいて、前記対象字幕を前記所定制式に対応するキャンバスにおいてレンダリングして得られた、前記所定制式に適応する字幕画像を端末装置の前記表示モジュールに送信することを含む、請求項５に記載の字幕の処理方法。
7. 表示モジュールが画面に字幕を表示するために、前記第２属性値に基づいて、前記対象字幕を前記所定制式に対応するキャンバスにおいてレンダリングして得られた、前記所定制式に適応する字幕画像を端末装置の前記表示モジュールに送信する前に、
   前記第２属性値に基づいて、前記対象字幕を前記所定制式に対応するキャンバスにおいてレンダリングして得られた、前記所定制式に適応する字幕画像のＲＧＢＡデータをメモリブロックに一時的に記憶することを含む、請求項６に記載の字幕の処理方法。
8. 前記対象字幕の配置情報を取得した後に、
   前記対象スタイル属性の第１属性値に基づいて、前記対象字幕の、前記初期制式に基づく字幕画像をレンダリングすることと、
   前記所定制式と前記対象字幕の初期制式との対応関係に基づいて、前記初期制式の字幕画像を調整して前記字幕画像を前記所定制式に合わせるキャンバスに調整することとをさらに含む、請求項１又は２に記載の字幕の処理方法。
9. 前記対象字幕は、ＩＳＤＢ－Ｓ３標準におけるＴＴＭＬ２規格を用いたＣｌｏｓｅｄ Ｃａｐｔｉｏｎｓ字幕である、請求項１又は２に記載の字幕の処理方法。
10. 所定制式に対応するキャンバスを作成することに用いられる作成モジュールと、
    対象字幕の配置情報を取得し、前記配置情報は前記対象字幕の初期制式と対象スタイル属性の第１属性値とを含むことに用いられる取得モジュールと、
    前記取得モジュールによって取得された前記初期制式と前記所定制式とが異なる場合、前記初期制式と前記所定制式との対応関係に基づいて、前記第１属性値を第２属性値に修正することに用いられる修正モジュールと、
    前記修正モジュールによって得られた前記第２属性値に基づいて、前記作成モジュールによって作成されたキャンバスにおいて前記対象字幕をレンダリングして、前記対象字幕の、前記所定制式に適応する字幕画像を得ることに用いられるレンダリングモジュールと、を含む、字幕処理装置。
11. 前記所定制式は所定解像度規格を含み、前記初期制式は前記対象字幕の初期解像度規格を含み、前記対応関係は前記所定解像度規格と初期解像度規格に対応する数値関係を含み、
    前記修正モジュールは、前記所定解像度規格と前記取得モジュールによって取得された前記初期解像度規格に基づいて前記数値関係を決定し、修正された前記第２属性値を得るために、前記数値関係に基づいて前記第１属性値を修正することに用いられる、請求項１０に記載の字幕処理装置。
12. 前記取得モジュールは、メディアストリームから前記対象字幕の初期コードストリーム及び前記初期制式を解析し、前記第１属性値を得るために、前記初期コードストリームに対し内容解析を行うことに用いられる、請求項１０又は１１に記載の字幕処理装置。
13. 前記取得モジュールは、前記対象スタイル属性の第１属性値に基づいて、前記対象字幕の、前記初期制式に基づく字幕画像をレンダリングし、前記所定制式と前記対象字幕の初期制式との対応関係に基づいて、前記初期制式の字幕画像を調整して前記字幕画像を前記所定制式に合わせるキャンバスに調整することに用いられる、請求項１２に記載の字幕処理装置。
14. 前記レンダリングモジュールが前記第２属性値に基づいて前記対象字幕を前記所定制式に対応するキャンバスにおいてレンダリングして得られた、前記所定制式に適応する字幕画像を顕示することに用いられる顕示モジュールをさらに含む、請求項１０又は１１に記載の字幕処理装置。
15. 前記顕示モジュールは、表示モジュールによって画面に字幕を表示するために、前記第２属性値に基づいて前記対象字幕を前記所定制式に対応するキャンバスにおいてレンダリングして得られた、前記所定制式に適応する字幕画像を端末装置の前記表示モジュールに送信することに用いられる、請求項１４に記載の字幕処理装置。
16. 前記顕示モジュールは、前記第２属性値に基づいて前記対象字幕を前記所定制式に対応するキャンバスにおいてレンダリングして得られた、前記所定制式に適応する字幕画像のＲＧＢＡデータをメモリブロックに一時的に記憶することに用いられる、請求項１４に記載の字幕処理装置。
17. 非一時的なコンピュータ可読命令を記憶することに用いられるメモリと、
    前記コンピュータ可読命令を実行することにより、前記コンピュータ可読命令がプロセッサによって実行されるとき、請求項１又は２に記載の字幕の処理方法を実現させることに用いられるプロセッサと、を含む、字幕処理機器。
18. コンピュータ命令を含み、前記コンピュータ命令が機器で実行されると、前記機器に請求項１又は２に記載の字幕の処理方法を実行させる、コンピュータ記憶媒体。