JPWO2003041405A1 - Data receiving device - Google Patents
Data receiving device Download PDFInfo
- Publication number
- JPWO2003041405A1 JPWO2003041405A1 JP2003543315A JP2003543315A JPWO2003041405A1 JP WO2003041405 A1 JPWO2003041405 A1 JP WO2003041405A1 JP 2003543315 A JP2003543315 A JP 2003543315A JP 2003543315 A JP2003543315 A JP 2003543315A JP WO2003041405 A1 JPWO2003041405 A1 JP WO2003041405A1
- Authority
- JP
- Japan
- Prior art keywords
- video
- attention area
- information
- video object
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000203 mixture Substances 0.000 claims abstract description 7
- 239000002131 composite material Substances 0.000 claims description 14
- 230000015572 biosynthetic process Effects 0.000 abstract description 16
- 238000003786 synthesis reaction Methods 0.000 abstract description 16
- 238000004458 analytical method Methods 0.000 abstract description 4
- 230000002194 synthesizing effect Effects 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000007726 management method Methods 0.000 description 7
- 230000001771 impaired effect Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
映像番組のデジタルデータを受信する受信部（１）と、受信した番組映像のデジタルデータを各々のオブジェクトの符号化データに分離する解析部（２）と、各オブジェクトの符号化データを復号する復号部（３）と、復号されたオブジェクトから再生映像を合成する合成部（５）と、合成された再生映像を表示する表示部（９）とを備えたデータ受信装置において、任意のオブジェクトの画面内での合成位置を移動させるための入力装置（６）と、画面内での注目領域を特定するための注目領域情報に基づき、入力装置（６）により移動が指示されたオブジェクトが、前記注目領域に重ならないか否かを判定する制限判定部（８）とを備え、前記オブジェクトと前記注目領域とが重なる場合には、前記注目領域の属性を記述した制限属性情報に基づき、前記オブジェクトの移動又は合成を制限するものである。A receiving unit (1) that receives digital data of a video program, an analysis unit (2) that separates the received digital data of the program video into encoded data of each object, and a decoding that decodes the encoded data of each object A screen of an arbitrary object in a data receiving device including a unit (3), a synthesis unit (5) for synthesizing a playback video from the decoded object, and a display unit (9) for displaying the synthesized playback video An object for which movement has been instructed by the input device (6) based on the input device (6) for moving the composition position in the screen and the attention area information for specifying the attention area in the screen. A restriction determination unit (8) that determines whether or not the region overlaps, and when the object and the region of interest overlap, the restriction attribute information describing the attribute of the region of interest Based on, it is to limit the movement or synthetic of the object.
Description
技術分野
本発明は、複数のオブジェクトで構成された番組映像を受信して再生するデータ受信装置に関するものである。
背景技術
近年開始されたディジタルテレビ放送においては、圧縮技術を利用した番組映像の提供が行われている。この圧縮技術を利用した番組映像の一つとして、ＭＰＥＧ−４符号化のオブジェクトの概念を用いたものが考えられる。ＭＰＥＧ−４符号化では、背景映像や番組の登場人物などの部品画像や音声などの映像を構成する要素と、それらのオブジェクトの合成情報とを個々に符号化する。
従って、ユーザーは例えばオブジェクト化された物件（部品画像）の表示・非表示を切り替えたり、オブジェクト表示の位置をレイウクトする技術が考えられる。例えば特開２０００−１７５１１８号公報では、オブジェクトを含むディジタルテレビ放送を受信し、ユーザーにより選択されたオブジェクトの移動、拡大／縮小、表示のオン／オフを任意に設定することが可能な放送受信装置が提案されている。
しかしながら、ユーザーが受信装置にて配信された映像オブジェクトの表示位置を変更したり、表示・非表示を切り替えたりすると、ユーザー側の受信装置で再生される番組映像は、配信側が意図したものとは異なる。配信される映像に番組スポンサーの広告映像が含まれている場合、配信側はこの広告映像をユーザーに見てもらうことを意図して配信するが、番組映像に含まれる映像オブジェクトがユーザーにより広告映像の上に移動されてしまうと、配信側の意図に反してその広告映像は映像オブジェクトに隠されることになり、該ユーザーの受信装置では表示されない。
一方、映像オブジェクトの移動を完全に禁止すれば上述の問題を回避することはできるが、画面レイアウトを自由に変更できなくなり、ユーザーの利便性を損なうことになる。配信側が受信装置側で再生されている映像状態をフィードバックすることで受信装置から受け、そのフィードバックされた情報を判定し、配信側が見てもらいたい映像が隠されてしまっている場合には、オブジェクトの位置を変更するようにデータを配信すればよいが、特定のユーザーに対して特定のデータを配信するのは困難であり現実的ではない。
本発明は、上記課題に鑑みてなされたものであり、配信側の意図を損なわない範囲で、ユーザーが自由に画面レイアウトを変更することが可能なデータ受信装置を提供するものである。
発明の開示
本発明は、上記の目的を達成するため、次の構成を有する。
本願の第１の発明は、複数のオブジェクトの符号化データが多重化された番組映像のデジタルデータを受信する受信部と、前記受信した番組映像のデジタルデータを各々のオブジェクトの符号化データに分離する多重化分離部と、前記分離されたオブジェクトの符号化データを復号する復号部と、前記復号されたオブジェクトを合成し、再生映像を形成する合成部と、前記再生映像を画面に表示する表示部とを備えたデータ受信装置において、任意のオブジェクトの画面内での合成位置の移動を指示する入力部と、前記番組映像のデジタルデータに含まれる、画面内での注目領域を特定するための注目領域情報に基づき、前記入力部により移動が指示されたオブジェクトが、前記注目領域に重なるか否かを判定する判定部と、前記オブジェクトと前記注目領域とが重なる場合には、前記番組映像のデジタルデータに含まれる、前記注目領域の属性を記述した制限属性情報に基づき、前記オブジェクトの移動及び／又は合成を制限する制限部とを備えたことを特徴とする。
本願の第２の発明は、前記注目領域が、前記番組映像に含まれる前記オブジェクトであり、前記注目領域情報が、該オブジェクトの形状情報であることを特徴とする。
本願の第３の発明は、前記制限属性情報には、前記オブジェクトごとの優先度が記述されており、前記制限部が、前記注目領域が前記オブジェクトに重なる場合には、前記優先度の比較により前記オブジェクトの移動の制限を行うことを特徴とする。
本願の第４の発明は、前記制限属性情報には、前記注目領域ごとに前記オブジェクト識別情報と、移動制限情報と、が記述されていることを特徴とする。
本願の第５の発明は、特定の注目領域が、全てのオブジェクトに対して同じ属性を持つ場合には、前記制限属性情報には、前記特定注目領域に対応する前記オブジェクト識別情報が記述されていないことを特徴とする。
本願の第６の発明は、前記制限属性情報には、前記オブジェクトごとに移動制限されている注目領域の識別情報が記述されていることを特徴とする。
本願の第７の発明は、前記制限部が、前記注目領域が前記オブジェクトに重なる部分を、透過度信号を用いて前記オブジェクトを合成するように制限することで、前記注目領域を隠さずに前記オブジェクトを表示可能にしたことを特徴とする。
本願の第８の発明は、前記制限部が、前記注目領域が前記オブジェクトに重なる場合、前記オブジェクトの縮小映像を前記注目領域の近傍に合成するように制限することで、前記注目領域を隠さずに前記オブジェクトを表示可能にしたことを特徴とする。
本願の第９の発明は、前記制限部が、前記注目領域が前記オブジェクトに重なる場合、前記オブジェクトを示すアイコン又は記号映像を前記注目領域の近傍に合成するよう制限することで、前記注目領域を隠さずに前記オブジェクトを表示可能にしたことを特徴とする。
本願の第１０の発明は、前記番組映像のデジタルデータが、前記注目領域情報が有効であるかどうかを示す領域情報有効フラグを含み、前記制限部が、前記領域情報有効フラグにより、前記注目領域情報が有効であることが示されている場合には、最後に受信した前記注目領域情報を用いて、前記オブジェクトの移動の制限を行い、前記注目領域情報が無効であることが示されている場合には、前記注目領域情報の存在にかかわらず、前記オブジェクトの移動の制限を行わないことを特徴とする。
発明を実施するための最良の形態
以下、本発明の実施形態について、図面とともに詳細に説明する。
図１は本実施形態におけるデータ受信装置の概略構成を示すブロック図である。本実施形態のデータ受信装置は、図１に示すように、受信部１、解析部２、復号部３、映像管理部４、合成部５、入力装置６、入力操作解析都７、制限判定部８、表示部９を備えて構成している。
受信部１では、配信側により放送映像として送信される番組映像のデジタルデータを受信する。この番組映像デジタルデータは、少なくも一つ以上の符号化された映像オブジェクトを含んでいる。ここで、映像オブジェクトとは矩形あるいは任意の形状の部品画像をいう。この映像オブジェクトは、例えばＭＰＥＧ−４により符号化される。ＭＰＥＧ−４は画像の構成要素であるオブジェクトを、それぞれ別の方式で符号化する機能を有する。
配信側はこれらの映像オブジェクトを組み合わせて番組映像を作成することが可能である。例えば、風景などを撮影した自然画像と、人物が撮影された映像から人物だけを抜き出した映像とを合成して配信する。この合成は、従来のように配信側で行うことも可能だが、本実施形態のようにそれぞれの符号化データとそれらの合成情報（シーン記述情報）とを多重化して配信することで、ユーザーの受信装置側で合成・表示することが可能である。
この映像オブジェクトは、画素値信号（カラー情報）、形状信号、透過度信号等で構成される。形状信号は、各画素がオブジェクトの外部であるか内部であるかを示した識別データで、２値信号として規定される。未実施形態では、この形状信号を用いて、映像オブジェクトが配信側が指定する特定注目領域にあるかどうかを判定する。また、透過度信号は、各画素について、０を透明、２５５を不透明とする８ビットで表現され、背景と合成する際の比率を示すデータである。
本実施形態において、配信される番組映像データには、この映像オブジェクトや合成情報（シーン記述情報）などに加えて、注目領域情報と制限属性情報とが多重化されたものとする。注目領域とは、配信側が映像オブジェクトの移動を制限する領域であり、例えば、ユーザーに視聴を望む映像の表示領域が映像オブジェクトの移動により隠されることを避ける際に設定する。そして、注目領域情報とは、その注目領域を表すデータである。
制限属性情報は、その注目領域の属性を記述したものであり、詳細は後述する。上述の注目領域には、背景映像のような表示系全体の一部を設定してもよいし、映像オブジェクトを設定してもよい。本実施形態では、背景映像は受信装置の表示系全体に表示される映像とし、ユーザーは背景映像に対して移動指示できないものとする。まず、注目領域として背景映像内のある領域を指定した場合について述べる。
解析部２では、注目領域情報と制限属性情報とが多重化された番組映像データを適宜分離する。すなわち、各映像オブジェクトの符号化データやそれらの合成情報（シーン記述情報）などのデータに分離する。分離された各映像オブジェクトデータは、復号部３にてそれぞれ復号される。また、合成情報や注目領域情報、制限属性情報などは、映像管理部４に送られる。
映像管理部４では、各映像オブジェクトの合成位置などを記述した合成情報（シーン記述情報）を解析する。また、注目領域情報や制限属性情報などを解析、管理する。ユーザーは入力装置６を用いて映像オブジェクトの移動指示などを行う。入力装置郎６は、少なくとも映像オブジェクトの選択ができ、選択した映像オブジェクトを移動させる位置を指定可能であれば、マウス、キーボード、リモコンなどの形状および方式は問わない。
入力操作解析部７では、入力装置６を用いてユーザーが行った操作を解析する。解析された操作は、制限判定部８に出力される。制限判定部８は、ユーザーが入力装置６を用いて選択した映像オブジェクトの移動先が配信側によって禁止された注目領域に重なっているかどうかを判定する処理と、重なりが判定された場合に、注目領域に属する制限属性情報を用いて映像オブジェクトが移動可能かどうかを判定し、映像オブジェクトの移動先を決定する処理とを行なう。
制限判定部８での移動先が注目領域かどうかの判定には、映像管理部４から送られた注目領域情報や制限属性情報のデータと復号部３によってオブジェクトを復号する際に用いられる形状信号とを用いる。これらにより映像オブジェクトと注目領域が重なっていると判定された場合は、制限判定部８は移動先の注目領域の属性を記述した制限属性情報から、映像オブジェクトが移動可能かどうか、移動可能であれば、どのように移動されるかを判定する。
この判定結果に従い、映像オブジェクトが移動可能であれば、合成情報が更新され、制限判定部８から合成部５に送られる。移動不可と判定された場合には、合成情報は更新しない。また、制限判定部８によって変更された合成情報は、映像管理部４にも送られ、現在の合成情報が管理される。
合成部５では、制限判定部８によって出力された合成情報に従い、復号部３で復号された各映像オブジェクトを合成する。各映像オブジェクトの合成に際しては、透過度信号を用いる。合成された映像は、表示部９にてユーザーの受像装置に合わせた出力形式に変換された上で表示される。
次に、本実施形態における、注目領域情報の表現方法について説明する。図２は背景映像２１と時計を表す映像オブジェクトＯＢＪ１、人物を表す映像オブジェクトＯＢＪ２とを含む映像である。映像オブジェクトＯＢＪ１と映像オブジェクトＯＢＪ２とは、ユーザーの指示により移動させることができ、表示位置の変更が可能である。
このような番組映像において、背景映像２１中の領域２２は映像に番組スポンサーの商品映像といったＣＭ映像が表示される領域とする。このため、配信側は、領域２２に映像オブジェクトＯＢＪ１やＯＢＪ２が移動されて、背景映像の該当領域が隠されることを望まない。従って、配信側は領域２２を注目領域に設定し、合わせて、その注目領域を移動禁止領域に設定することで、映像オブジェクトＯＢＪ１や映像オブジェクトＯＢＪ２が領域２２に移動することを禁止する。この注目領域情報は、背景映像の毎フレーム毎に送信される。
図２においては、注目領域を移動禁止領域としたが、禁止領域に限らず、移動可能な領域として指定してもよい。指定された注目領域が移動禁止であるか、移動可能であるかは、後述する制限属性情報によって指定することができる。
配信側が注目領域を指定する方法としては、矩形での指定と自由曲線による任意な形状での指定が考えられる。矩形であれば、図３のように表示系座標の基準点からの距離（図３におけるＶとＨ）と指定矩形の縦横の長さ（図３におけるｈｅｉｇｈｔとｗｉｄｔｈ）とだけを情報として使用する方法がある。
また、対象とする領域形状が任意の形状であっても、その領域を内包する矩形と考えることで、矩形領域として注目領域を扱うことが可能である。しかし、任意の形状、例えば、人物などの領域、が内包される矩形を注目領域とした場合、注目領域として不要な部分も増え、映像オブジェクトの移動の自由度が減少する。
この自由度を減少させることなく注目領域を指定する方法として、背景映像に対して指定した注目領域の各画素を、バイナリマスクのように、任意の値で表したデータを用いる方法を用いる。これは、図２のように、番組映像中の全ての映像オブジェクトに対して背景映像の特定領域を注日領域とする場合、２値のデータで構わない。
すなわち、背景映像の全ての画素に対して、注目領域であるかないかが区別可能であればよい。例えば、図２における注目領域である領域２２に含まれる各画素を１で表し、それ以外の領域の画素を０で表したとすると図４（ａ）のようなデータが生成される。図４（ｂ）は図４（ａ）の破線で囲まれた部分を拡大したものであり、１マスが１画素を表す。
次に、図５に示すように番組映像中に複数の映像オブジェクトが含まれ、背景映像の注目領域の属性がそれぞれの映像オブジェクトで異なる場合、２値では表現できない。例えば、図５において、図中の領域Ａ、領域Ｂ、領域Ｃを注目領域と設定し、映像オブジェクトＯＢＪ１は領域Ａ，Ｃへの移動が禁止で、領域Ｂへの移動は可能であり、映像オブジェクトＯＢＪ２は領域Ａへの移動が可能で、領域Ｂ，Ｃへの移動は禁止であるような状態を表現することができない。
これを表現するには、２値ではなく、例えば多値（３値以上）によって表現する。この値を本実施形態では、領域ＩＤと呼ぶ。領域ＩＤは、それぞれの領域が区別できれば、任意の値を割り当ててよい。それぞれの領域に割り当てられた領域ＩＤは、図４と同様にその領域に含まれる全ての画素に対して、割り当てられる。このような注目領域の情報は、背景映像のフレームごとに付随して配信される。
これらの注目領域は、制限属性情報により属性を与えられる。この制限属性情報は、注目領域識別子、移動オブジェクト識別子、制限状態識別子を有している。
注目領域識別子は、配信側が移動制限を設定する注目領域を表す。移動オブジェクト識別子は、ユーザーが移動させることが可能な映像オブジェクトのうち、注目領域に移動された際に、制限を受ける映像オブジェクトを記述する。制限状態識別子は、ある注目領域に映像オブジェクトが移動された時に、その移動が可能かどうかを記述する。この制限属性情報の例を図６（ａ）に示す。
注目領域識別子は、それぞれの注目領域を識別するためのＩＤを記述する。図６（ａ）では図５（ａ）にて割り当てた注目領域のＩＤを用いた例である。移動オブジェクト識別子は、該当注目領域に移動された時に制限を受ける映像オブジェクトのＩＤが記述される。この制限、例えば、移動禁止や移動可能という状態は、制限状態識別子にて記述される。
前述したように、図５において、注目領域である領域Ａ、Ｂ、Ｃに対して、映像オブジェクトＯＢＪ１は領域Ａ，Ｃは移動禁止、領域Ｂは移動可能、映像オブジェクトＯＢＪ２は領域Ａは移動可能で、領域Ｂ，Ｃは移動禁止とした場合の領域属性情報が図６である。それぞれの映像オブジェクトに対して移動可能な領域は、制限されている領域以外の領域であるため、明示していない。
また、図６（ａ）に示した制限属性情報は、背景映像に設定された注目領域に対して、映像オブジェクトの移動禁止／可能について記述していると捉えることができる。このように記述されていた場合、番組映像が配信されている途中で、映像オブジェクトが追加され、その映像オブジェクトにも注目領域を設定する必要が生じた場合、配信側は制限属性情報を再構成し、配信する必要がある。
この手間を軽減させるために、制限属性情報は図６（ｂ）に示すように映像オブジェクトに着目して記述してもよい。図６（ｂ）のように記述することにより、番組映像が配信されている途中で映像オブジェクトを追加する場面があったとしても、配信側は増えた映像オブジェクトの制限属性情報だけを追加配信するだけで、受信側の対応も容易である。
注目領域に映像オブジェクトが移動したかどうかの判定には、映像オブジェクトに付随する形状信号を用いる。形状信号を復号したデータとユーザーが指定した移動後の位置から映像オブジェクトが合成される領域を算出し、映像オブジェクトの画素を注目領域情報と比較する。
映像オブジェクトの画素に対応する注目領域の領域ＩＤを取得し、映像オブジェクトのオブジェクトＩＤと注目領域の領域ＩＤの組み合わせが制限属性情報に記述されているか判定する。オブジェクトＩＤと領域ＩＤの組み合わせが制限属性情報に記述されていた場合は、映像オブジェクトと注目領域が重なっていると判定される。
重なりが判定された後、その映像オブジェクトと背景映像の注目領域の属性を制限属性情報の制限状態識別子から取得する。この比較を映像オブジェクトの各画素について逐次行う。一画素でも重なりが判定され、取得した属性が移動禁止であれば、その時点で映像オブジェクトの移動はできないとして、判定を終了する。
このようにして、映像オブジェクトの移動が判定された結果、その移動が認められた際には、ユーザーが指定した位置に映像オブジェクトを合成するように合成情報を設定する。逆に、移動ができない場合は、画面上にメッセージを表示したり、警告音等で注意を促し、新たに合成情報は設定しない。そのため、映像オブジェクトの移動は行われず、移動前の位置に映像オブジェクトは合成される。
図７にこの注目領域情報と制限属性情報を用いた処理のフローチャートを示す。まず、ユーザーが入力装置を用いて映像オブジェクトに対して移動指示を行ったかどうかを判定する（ステップ１）。映像オブジェクトに移動指示を与えなかった場合は、映像に対する変化は生じないので、映像管理部４から現在の合成情報を取得し（ステップ１１）、合成映像を作成する。
映像オブジェクトに移動指示が与えられた場合には、ユーザーからの入力を解析し、移動対象の映像オブジェクトとそのオブジェクトの移動先を獲得する（ステップ２）。そして、復号部３から復号された移動対象の映像オブジェクトの形状信号を獲得し移動後の形状信号を作成する（ステップ３）。
また、映像オブジェクトの移動先の形状信号と注目領域情報を比較し重なりを判定し（ステップ４）、重なりが判定されなかった場合は、合成情報を更新設定する（ステップ７）。重なりが判定された場合は、注目領域情報と制限属性情報を利用して、移動対象の映像オブジェクトに関する制限属性情報を獲得する（ステップ５）。
次に、ステップ５で獲得された制限属性情報の制限状態識別子を判定する（ステップ６）し、移動可能と判定された場合は、ステップ７で指定された移動位置へ映像オブジェクトを合成するように合成情報を設定し、その合成情報の映像管理部４へのフィードバックを行う。逆に、移動不可と判定された場合には、ユーザーに警告を発する（ステップ１２）。ここでは、新たに合成情報は設定しない。
また、上記のように設定された合成情報を基に、各映像オブジェクトの合成画像を作成し（ステップ８）、表示部９へ送る（ステップ９）。表示部９では送られてきた表示すべき映像をユーザーの受信装置に合わせて変換し、表示を行う（ステップ１０）。
このようにすることで、配信側が望む領域には、他の映像オブジェクトが移動されることがなくなり、配信側がユーザーに見てもらいたい映像は、常にユーザーの受信機にて表示される。また、指定した領域以外への映像オブジェクトの移動はユーザーの意思に従って可能なため、ユーザーの噂好に合わせた画面のレイアウトなどが可能となる。
上述の説明においては、注目領域の情報は背景映像のフレームごとに付随されているものとした。しかしながら、背景映像の動きが少ないと、配信側の望む注目領域も変化が少ない。このような場合、注目領域情報にも変化が生じないため、フレームごとに注目領域情報を配信することは冗長である。
この冗長さを減らすためには、注目領域に変化がない場合はフレームごとに配信せず、表示しようとする背景映像のフレームに注目領域情報が付随していない場合は、最後に送信された注目領域情報（最新の注目領域情報）を有効とすればよい。しかしながら、常に最後に送信された注目領域情報が有効であるとした場合、本当に注目領域がないのか、繰り返して用いてよいのかが明確ではない。
これを回避するために、例えば、領域情報有効フラグを用いる。このフラグは、注目領域情報が有効かどうかを示すフラグである。このフラグは有効／無効の２値を取る。有効の値を取る時は、最後に配信された注目領域情報を用いて判定を行う。無効の値が設定された時は、注目領域情報が存在しないものとし、映像オブジェクトは自由に移動させることができる。
この場合のフローチャートは図８のようになる。図７と異なる部分のみ、以下説明する。ステップ１にて移動指示があったと判定された場合、ステップ２、３を経た後、合成しようとしている映像の領域情報有効フラグを参照する（ステップ２１）。領域情報有効フラグが有効であれば、注目領域情報を獲得する。
注目領域情報を獲得するために、まず合成しようとする映像のフレームに注目領域情報が存在しているかどうかを判定する（ステップ２２）。注目領域情報も存在するのであれば、その付随する注目領域情報を従来どおり取得する（ステップ２３）。ステップ２２で、フレームに注目領域情報が存在しないと判定された場合は、最後に送られてきた注目領域情報を取得する（ステップ２４）。また、領域情報有効フラグが無効の場合には、比較は行わずユーザーの指定位置に映像オブジェクトを表示するように合成情報を設定する（ステップ７）。
これにより、配信データの冗長度を減らすことができ、配信データ量も減少させることができる。また、配信側の都合で一時的に映像オブジェクトの移動制限を解除するなどの利用が可能となる。
上記の説明では、注目領域と映像オブジェクトの対で制限属性情報を作成して移動制限を行った。しかしながら、番組映像が多数の映像オブジェクトで構成されている場合、全ての映像オブジェクトについて注目領域との属性を記述する必要があるため、制限属性情報のデータ量は増大する。これを回避するために、図６に示した制限属性情報を拡張して対応することが可能である。
全ての映像オブジェクトが同じ注目領域に対して同一の属性を持つ時、制限属性情報の移動オブジェクト識別子に映像オブジェクトのＩＤを記載しない。図９は、図５に示した番組映像において、領域Ｃを注目領域と設定し、その領域Ｃは全ての映像オブジェクトが移動できない領域であることを示した制限属性情報の例である。
これによって、移動オブジェクト識別子に特定の映像オブジェクトの記載がない場合、注目領域は全ての映像オブジェクトが移動することが禁止され、制限属性情報のデータ量とデータ作成の手間とを軽減させることが可能である。
本実施形態では、映像オブジェクトのＩＤを記載しない例を示したが、特定の領域ＩＤを持つ注目領城は常に移動禁止の属性を持つとしてもよい。また、移動オブジェクト識別子に全ての映像オブジェクトを示す特定のＩＤを設定し、記述してもよい。
これまでは、映像オブジェクトが移動する先の注目領域の属性が禁止であった場合、その映像オブジェクトは移動できないものとした。しかしながら、番組映像が図１０（ａ）に示す注目領域と図１０（ｂ）に示す制限属性情報とを持つ場合、注目領域である領域Ａは表示系のほぼ大半を占めており、映像オブジェクトＯＢＪ１は移動の自由度がほとんどない。
そこで、映像オブジェクトを移動した際に、映像オブジェクトの一部が移動禁止の属性を持つ注目領域に重なった場合、映像オブジェクトの注目領域と重なった部分を表示しないで合成する。この合成方法には、映像オブジェクトに付随する透過度信号から合成用の透過度信号情報を作成して用いる。
例えば、映像オブジェクトＯＢＪ１を図１０（ｃ）のように移動させた時、これまでは制限判定部８にて、背景映像と映像オブジェクトの重なりを１画素でも見つけると移動不可としていたが、ここでは全ての映像オブジェクト内の画素の重なり判定を行う。各画素において、注目領域にあると判定された場合、合成用の透過度信号情報を作成する。
透過度信号は、各画素と１対１で対応しており、０から２５５の間の値が設定される。その値が０であれば透明、２５５であれば不透明を意味する。移動対象の映像オブジェクトの透過度信号から、注目領域に重なっていると判定された画素の透過度信号を０（透明）と設定し、重なっていないと判定された画素の透過度信号は映像オブジェクトの透過度信号の値に設定することで、合成用の透過度信号情報を作成する。
この透過度信号情報を用いて映像オブジェクトを合成することで、合成時には図１０（ｄ）のように、映像オブジェクトが重なった注目領域は背景映像の画素が表示される映像となる。これによって、映像オブジェクトの移動の自由度を広げることが可能となる。
しかしながら、上記の場合、映像オブジェクトの移動先において、映像オブジェクト全体が注目領域に含まれてしまう場合、映像オブジェクトから作成される合成用の透過度信号情報の全ての画素の値が透明に設定され、図１１（ａ）のように映像オブジェクトが表示されない。これでは、再度、ユーザーが映像オブジェクトを移動させようとした際に、映像オブジェクトの位置を特定するのは困難である。
これを回避するために、合成用の透過度信号情報の値が全て０となってしまった場合、図１１（ｂ）に示すように、そのオブジェクトの縮小表示を注目領域のそばに合成・表示する。ユーザーはその縮小された映像オブジェクトに対して移動指示をすることで、再度の移動が可能となる。
上記の例においては、映像オブジェクトが隠れた際の表示を縮小表示としたが、表示する映像は、縮小表示に限らず、その映像オブジェクトを示すアイコンであってもよいし、該当映像オブジェクトを示す記号などで表示してもよい。
また、本実施例では映像オブジェクトの全ての画素が注目領域に含まれた場合について述べたが、全ての画素に限定するものではなく、例えば映像オブジェクトの全画素数に対する割合などを閾値とし、その閾値を超える数の画素が重なった時に、縮小表示とするとしてもよい。その時、映像オブジェクトの重なっていない部分（表示されている部分）も含め、映像オブジェクトは表示しない。
さらに、これまでは、図１２（ａ）のように移動先が注目領域であった場合、その属性が移動禁止であれば、移動させることができなかった。オブジェクトの移動に失敗した場合、ユーザーは再度移動をやり直さねばならない。この手間を回避するために、図１２（ｂ）に示したように移動先の注目領域が移動禁止属性の場合には、その領域の近傍を移動指示された映像オブジェクトの移動先として設定し、合成・表示してもよい。
また、配信側がユーザーに見てもらいたい映像がオブジェクトで配信される場合には、注目領域にその映像オブジェクトを指定することで、その映像オブジェクトの表示を確保することができる。例えば、配信側が番組映像中に含める広告映像を映像オブジェクトとして配信したいと望む場合、この広告映像のオブジェクトが他の映像オブジェクトにより隠されることは好ましくない。このように隠されることが好ましくない映像オブジェクトの例としては、広告映像の他にも、例えば、ニュース番組におけるニュースキャスターの映像オブジェクトや、番組中のニュース速報のテロップなどがある。
この時、注目領域として映像オブジェクトを指定し、制限属性情報の注目領域織別子にその映像オブジェクトのＩＤを記述する。すなわち、注目領域識別子には、背景映像の場合と同様に、配信側が移動制限を設定する映像オブジェクトのＩＤが記述される。
制限属性情報の他の識別子も同様に、移動オブジェクト識別子には、制限を受ける映像オブジェクトのＩＤを記述し、制限状態識別子には、その時の適用される属性を記述する。映像オブジェクト同士の重なりの判定に用いる注目領域情報には、注目領域識別子で記述される映像オブジェクトの形状信号を用いる。
図１３（ａ）において、映像オブジェクトＯＢＪ１と映像オブジェクトＯＢＪ２とに対して、それぞれが重ならないようにするには、映像オブジェクトＯＢＪ１、ＯＢＪ２を注目領域として設定し、制限属性情報を図１３（ｃ）のように設定する。
このように記述することで、例えば、映像オブジェクトＯＢＪ１を映像オブジェクトＯＢＪ２の上に移動させた時には、これまでの手順と同様にして、映像オブジェクトＯＢＪ１の形状信号と映像オブジェクトＯＢＪ２の形状信号から重なりが判定され、図１３（ｃ）の制限属性情報から移動禁止と判定される。このため、映像オブジェクトの移動は行われない。
しかしながら、図１３（ａ）のような映像が図１３（ｂ），（ｃ）に示す制限属性情報とともに配信された場合を考える。図１３（ｂ），（ｃ）に示されるように、領域Ａ，映像オブジェクトＯＢＪ１、映像オブジェクトＯＢＪ２はそれぞれ注目領域として設定されている。映像オブジェクトＯＢＪ１を移動させようとした場合、領域Ａも映像オブジェクトＯＢＪ２も移動禁止であるため、映像オブジェクトＯＢＪ１が実際に移動できる領域はほとんどない。
このような場合に、ユーザーによる映像オブジェクトの移動の自由度を増すため、映像オブジェクト間に優先度を設定する。この優先度は配信側にて設定され、番組映像に多重化されて配信される。図１３（ｄ）は映像オブジェクトＯＢＪ１より映像オブジェクトＯＢＪ２のほうが優先度が高い時の例である。
図１３（ｄ）の場合、優先度は０〜２５５の値で設定されているとする。優先度が低い映像オブジェクトＯＢＪ１が優先度の高いオブジェクトＯＢＪ２に重なるように移動された場合、制限属性情報がないため、合成方法は受信側のシステムによって異なり、表示方法は受信側のシステムに依存する。
図１３（ｅ）は移動させた映像オブジェクトが隠されてしまった例である。図１３（ｅ）ではユーザーが移動したオブジェクトＯＢＪ１が隠れており、加えて、映像オブジェクトＯＢＪ１は表示されていないのと同様なため、再度移動させることなどが困難である。また、逆に、映像オブジェクトＯＢＪ１が映像オブジェクトＯＢＪ２の上に表示されてしまい、配信側が見てもらいたい映像オブジェクトＯＢＪ１の表示が隠れてしまうことも起きる。
これを回避するために、ユーザーによる映像オブジェクトの移動などによって、優先度の低い映像オブジェクトが優先度の高い映像オブジェクトにより隠されてしまって表示されない場合には、図１３（ｆ）のように、隠されてしまう（優先度の低い）映像オブジェクトの縮小表示を隠している（優先度の高い）映像オブジェクトの横に表示する。
これにより、配信側が隠されたくない映像オブジェクトがユーザーの移動操作により隠されることなく表示され、また、ユーザーにとっても移動した映像オブジェクトを再度移動させることが容易になる。ここでは、縮小表示することとしたが、ユーザーの利便性が損なわれることがなければ、移動指示された映像オブジェクトをイメージしたアイコンを表示してもよいし、あるいは、その映像オブジェクトを示す記号を表示してもよい。
また、映像オブジェクト同士が完全に重なった場合としたが、重りを許す画素数を配信側あるいはユーザーが設定し、その値を閾値として閾値を画素数が重なっていると判定された場合に縮小表示を行ってもよい。
さらに、これまでは、図１４（ａ）に示すように、映像オブジェクトＯＢＪ１，ＯＢＪ２を注目領域として設定し、ユーザーが映像オブジェクトＯＢＪ１を映像オブジェクトＯＢＪ２に重なるように移動させる際に、図１４（ｂ）のように移動先の注目領域の属性が移動禁止であれば、映像オブジェクトは移動できなかった。映像オブジェクトの移動に失敗した場合、ユーザーは再度移動をやり直さねばならない。
この手間を回避するために、図１４（ｂ）に示すように注目領域である移動先の映像オブジェクトが移動禁止の場合には、図１４（ｃ）のように移動先の映像オブジェクトの近辺に移動指示された映像オブジェクトの移動先を設定するようにしてもよい。
これまで、ユーザーによる移動により、映像オブジェクトが隠れてしまう際に、その映像オブジェクトを縮小表示を行うことで、ユーザーの利便性を損なわない方法を示した。次に、映像オブジェクトが隠れてしまう際に、映像オブジェクトの一部を隠している映像オブジェクトの外に表示することで、縮小表示と同様に利便性を損なわない例を示す。図１３において、ユーザーの移動操作などにより、優先度が低い映像オブジェクトＯＢＪ１が図１３（ｅ）のような状態になった場合、図１５のようにＯＢＪ１を移動させ、その一部が隠しているオブジェクトＯＢＪ２の外に表示されるように移動させる。ユーザーはこのように外に表示された部分をマウスなどの入力装置にて指定し、ＯＢＪ１を移動させることができる。このようにすることで、隠れてしまう映像オブジェクトをユーザーは再度移動させることができ、利便性を損なうことがない。
図１５では、ＯＢＪ２の特定位置にＯＢＪ１を表示した例を示したが、表示させる位置と領域に特に限定はなく、ＯＢＪ１のどこか一部がＯＢＪ２の外に表示されているようにすれば良い。
優先度が低い映像オブジェクトが隠れてしまう場合に、縮小表示やその一部を表示する変わりに、その映像オブジェクトを隠してしまう優先度の高い映像オブジェクトを移動させて、優先度が低い映像オブジェクトを表示させてもよい。
例えば、図１３（ｅ）の状態では、ＯＢＪ１が隠れてユーザーが操作できなくなっている。ここで、図１３（ｆ）のようにＯＢＪ１をＯＢＪ２のそばに縮小表示させるのではなく、ＯＢＪ２を移動させることでＯＢＪ１を表示する。図１６（ａ）がその例であり、映像オブジェクトＯＢＪ２を映像オブジェクトＯＢＪ１が表示される位置まで移動させた状態を示す。これによりユーザーは映像オブジェクトＯＢＪ１を再度移動させることができる。
本例では、映像オブジェクトＯＢＪ１が完全に表示されるまで、映像オブジェクトＯＢＪ２を移動させた例であるが、映像オブジェクトＯＢＪ２にも移動の制限が存在するなどの理由により、映像オブジェクトＯＢＪ１を全て表示できるほど移動できない場合には、図１６（ｂ）のように映像オブジェクトＯＢＪ１を縮小表示し、映像オブジェクトＯＢＪ２を移動させて両者を表示させてもよい。あるいは、図１６（ｃ）のように、映像オブジェクトＯＢＪ１の一部が表示できる位置に映像オブジェクトＯＢＪ２を移動させてもよい。
これまで述べたように、本発明によれば、番組映像内での映像オブジェクトの移動を制限する領域を注目領域として設定し、その注目領域の情報を番組映像に合わせて配信するので、ユーザーによる映像オブジェクトの移動を限られた範囲で許可することにより、ユーザーの受信装置で再生される番組映像において常に配信側の意図を反映させことができる。
また、本発明によれば、領域有効フラグを用いることで、フレームごとに注目領域の情報を配信する必要がないため、番組映像を配信する際のデータ量を軽減することができる。
さらに、本発明によれば、注目領域ごとに映像オブジェクトの移動の制限が設定可能なため、配信側の意図を映像にきめこまかに反映させることができる。
そしてまた、本発明によれば、映像オブジェクトごとに移動が制限される注目領域を設定可能なため、番組途中で映像オブジェクトを追加する際は、追加する映像オブジェクトの移動が制限される注目領域の情報を追加するだけで容易に対応することができる。
また、本発明によれば、注目領域が全ての映像オブジェクトに対して同一の移動の制限を持つ場合には、全ての映像オブジェクトに対してそれぞれ別の制限を設定する必要が無いために、映像オブジェクトの移動の制限を設定する手間を軽減することができる。
さらに、本発明によれば、ユーザーが注目領域に映像オブジェクトを移動させた際に、映像オブジェクトの注目領域と重なった部分だけを表示しないように合成するので、ユーザーはより自由に映像オブジェクトを移動させることができる。
そしてまた、本発明によれば、ユーザーが注目領域に映像オブジェクトを移動させた際に、映像オブジェクトが隠されてしまうような場合は、映像オブジェクトの縮小表示や映像オブジェクトを示すアイコンや記号をその注目領域の近傍に表示することで、ユーザーは映像オブジェクトを見失うことなく、また、容易に再度移動させることが可能になる。
産業上の利用可能性
本発明に係るデータ受信装置は、複数のオブジェクトで構成された番組映像を受信して再生するに際し、配信側が希望する広告等の画面への表示を確保しながら、ユーザーが自由に画面内での映像オブジェクトのレイアウトの変更を可能とするデータ受信装置に適している。
【図面の簡単な説明】
図１は、本発明の一実施形態における放送受信装置を示すブロック図である。
図２は、本発明の一実施形態における画面構成の一例を示す説明図である。
図３は、本発明の一実施形態における矩形領域の指定方法例を示す説明図である。
図４は、本発明の一実施形態における領域を２値で指定する方法例を示す説明図である。
図５は、本発明の一実施形態における画面構成例と注目領域を多値で指定する例を示す説明図である。
図６は、本発明の一実施形態における領域属性情報の構成例を示す説明図である。
図７は、本発明の一実施形態における映像オブジェクトの移動処理を示すフローチャートである。
図８は、本発明の一実施形態における領域有効フラグを用いた映像オブジェクトの移動処理を示すフローチャートである。
図９は、本発明の一実施形態における注目領域を全ての映像オブジェクトに有効にした領域属性情報の構成例を示す説明図である。
図１０は、本発明の一実施形態における注目領域へ映像オブジェクトを移動させた際の映像合成例を示す説明図である。
図１１は、本発明の一実施形態における注目領域へ映像オブジェクトを移動させた際の縮小表示例を示す説明図である。
図１２は、本発明の一実施形態における注目領域へ映像オブジェクトを移動させた際に、注目領域の近傍に映像オブジェクトが移動される例を示す説明図である。
図１３は、本発明の一実施形態における映像オブジェクトを他の映像オブジェクトに移動させた際に縮小表示される例を示す説明図である。
図１４は、本発明の一実施形態における映像オブジェクトを他の映像オブジェクトに移動させた際に、移動先の映像オブジェクトの傍らに移動される例を示す説明図である。
図１５は、本発明の一実施形態における映像オブジェクトを他の映像オブジェクトに移動させた際に、移動先の映像オブジェクトの外に移動した映像オブジェクトの一部が表示される例を示す説明図である。
図１６は、本発明の一実施形態における映像オブジェクトを他の映像オブジェクトに移動させた際に、２つの映像オブジェクトの各種表示態様を示す説明図である。Technical field
The present invention relates to a data receiving apparatus that receives and reproduces a program video composed of a plurality of objects.
Background art
In digital television broadcasting started in recent years, program videos using compression technology are being provided. As one of the program videos using this compression technique, one using the concept of MPEG-4 encoded object can be considered. In MPEG-4 encoding, elements constituting video images such as component images such as background video and program characters and audio, and composite information of these objects are individually encoded.
Therefore, for example, a technique is conceivable in which the user switches between display and non-display of an object (part image) that is converted into an object, and the position of the object display. For example, in Japanese Patent Laid-Open No. 2000-175118, a broadcast receiving apparatus that receives a digital television broadcast including an object and can arbitrarily set the movement, enlargement / reduction, and display on / off of the object selected by the user. Has been proposed.
However, if the user changes the display position of the video object distributed by the receiving device or switches between display and non-display, the program video played on the receiving device on the user side is not intended by the distribution side different. If the video to be distributed contains advertising video from the program sponsor, the distribution side distributes it with the intention that the user will see this advertising video, but the video object contained in the program video will be advertised by the user. The advertisement video is hidden by the video object against the intention of the distribution side and is not displayed on the receiving device of the user.
On the other hand, if the movement of the video object is completely prohibited, the above-mentioned problem can be avoided, but the screen layout cannot be freely changed, and the convenience of the user is impaired. If the distribution side feeds back the video state being played back on the receiving device side, the information received from the receiving device is determined, and if the video that the distribution side wants to see is hidden, the object However, it is difficult and unrealistic to distribute specific data to a specific user.
The present invention has been made in view of the above problems, and provides a data receiving apparatus that allows a user to freely change the screen layout within a range that does not impair the intention of the distribution side.
Disclosure of the invention
In order to achieve the above object, the present invention has the following configuration.
According to a first aspect of the present application, a receiving unit that receives digital data of a program video in which encoded data of a plurality of objects is multiplexed, and the received digital data of the program video is separated into encoded data of each object A demultiplexing unit for decoding, a decoding unit for decoding the encoded data of the separated object, a synthesis unit for synthesizing the decoded objects to form a reproduced video, and a display for displaying the reproduced video on the screen An input unit for instructing movement of a composite position within a screen of an arbitrary object, and a region of interest included in the digital data of the program video A determination unit that determines whether or not an object that is instructed to move by the input unit overlaps the region of interest based on the region of interest information; And a restriction unit that restricts movement and / or composition of the object based on restriction attribute information that describes the attribute of the attention area included in the digital data of the program video. It is characterized by having.
According to a second aspect of the present invention, the attention area is the object included in the program video, and the attention area information is shape information of the object.
In the third invention of the present application, the restriction attribute information describes a priority for each object, and the restriction unit compares the priority when the attention area overlaps the object. The movement of the object is limited.
A fourth invention of the present application is characterized in that the restriction attribute information includes the object identification information and movement restriction information for each region of interest.
In a fifth invention of the present application, when a specific attention area has the same attribute for all objects, the restriction attribute information describes the object identification information corresponding to the specific attention area. It is characterized by not.
The sixth invention of the present application is characterized in that the restriction attribute information describes identification information of an attention area that is restricted in movement for each object.
In a seventh invention of the present application, the restriction unit restricts a portion where the attention area overlaps the object so as to synthesize the object using a transparency signal, so that the attention area is not hidden. The feature is that the object can be displayed.
According to an eighth aspect of the present invention, the restriction unit does not hide the attention area by restricting the reduced video of the object to be synthesized in the vicinity of the attention area when the attention area overlaps the object. Further, the object can be displayed.
According to a ninth aspect of the present application, the restriction unit restricts the icon or symbol image indicating the object to be synthesized in the vicinity of the attention area when the attention area overlaps the object. The object can be displayed without being hidden.
In a tenth aspect of the present application, the digital data of the program video includes a region information valid flag indicating whether the region-of-interest information is valid, and the restricting unit uses the region information valid flag to indicate the region of interest. When the information indicates that the attention area information is valid, the movement of the object is restricted using the attention area information received last, and the attention area information is invalid. In this case, the movement of the object is not restricted regardless of the presence of the attention area information.
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram showing a schematic configuration of a data receiving apparatus according to the present embodiment. As shown in FIG. 1, the data receiving apparatus of the present embodiment includes a
The
The distribution side can create a program video by combining these video objects. For example, a natural image obtained by photographing a landscape or the like and a video obtained by extracting only a person from a video obtained by photographing a person are combined and distributed. Although this synthesis can be performed on the distribution side as in the past, each encoded data and their synthesis information (scene description information) are multiplexed and distributed as in this embodiment, so that the user can It can be synthesized and displayed on the receiving device side.
This video object includes a pixel value signal (color information), a shape signal, a transparency signal, and the like. The shape signal is identification data indicating whether each pixel is outside or inside the object, and is defined as a binary signal. In the embodiment, this shape signal is used to determine whether or not the video object is in a specific region of interest designated by the distribution side. The transparency signal is expressed by 8 bits with 0 being transparent and 255 being opaque for each pixel, and is data indicating a ratio when combined with the background.
In the present embodiment, it is assumed that attention area information and restriction attribute information are multiplexed in the program video data to be distributed, in addition to the video object and the synthesis information (scene description information). The attention area is an area where the distribution side restricts the movement of the video object. For example, the attention area is set when the display area of the video desired to be viewed by the user is prevented from being hidden by the movement of the video object. The attention area information is data representing the attention area.
The restriction attribute information describes the attribute of the attention area, and details will be described later. A part of the entire display system such as a background image or a video object may be set in the attention area described above. In the present embodiment, it is assumed that the background video is a video displayed on the entire display system of the receiving apparatus, and the user cannot instruct movement of the background video. First, a case where a certain area in the background video is designated as the attention area will be described.
The
The
The input
In the determination of whether or not the movement destination is the attention area in the
If the video object is movable according to the determination result, the combination information is updated and sent from the
The
Next, a method for expressing attention area information in the present embodiment will be described. FIG. 2 shows a video including a
In such a program video, an
In FIG. 2, the attention area is the movement prohibited area. However, the area of interest is not limited to the prohibited area and may be designated as a movable area. Whether the designated region of interest is prohibited from moving or can be moved can be specified by restriction attribute information described later.
As a method for the delivery side to designate a region of interest, it is conceivable to designate a rectangle and an arbitrary shape using a free curve. In the case of a rectangle, only the distance from the reference point of the display system coordinates (V and H in FIG. 3) and the vertical and horizontal lengths of the specified rectangle (height and width in FIG. 3) are used as information as shown in FIG. There is a way.
Further, even if the target area shape is an arbitrary shape, it is possible to treat the attention area as a rectangular area by considering it as a rectangle that encloses the area. However, when a rectangular shape including an arbitrary shape, for example, a region such as a person, is used as the attention area, an unnecessary portion increases as the attention area, and the degree of freedom of movement of the video object decreases.
As a method for designating a region of interest without reducing this degree of freedom, a method is used in which each pixel of the region of interest designated for the background video is represented by an arbitrary value such as a binary mask. As shown in FIG. 2, binary data may be used when the specific area of the background video is the date-of-day area for all video objects in the program video.
That is, it suffices if all the pixels of the background video can be distinguished as to whether or not they are the attention area. For example, if each pixel included in the
Next, as shown in FIG. 5, when a plurality of video objects are included in the program video and the attribute of the attention area of the background video is different for each video object, it cannot be expressed in binary. For example, in FIG. 5, areas A, B, and C in the figure are set as attention areas, and the video object OBJ1 is prohibited from moving to areas A and C, and can be moved to area B. The object OBJ2 can move to the area A and cannot express a state where movement to the areas B and C is prohibited.
In order to express this, instead of binary, for example, it is expressed by multiple values (three or more values). This value is referred to as a region ID in this embodiment. The area ID may be assigned an arbitrary value as long as each area can be distinguished. The area ID assigned to each area is assigned to all the pixels included in the area as in FIG. Such attention area information is distributed accompanying each frame of the background video.
These attention areas are given attributes by the restriction attribute information. This restriction attribute information includes an attention area identifier, a moving object identifier, and a restriction state identifier.
The attention area identifier represents an attention area where the distribution side sets movement restrictions. The moving object identifier describes a video object that is restricted when moved to a region of interest among video objects that can be moved by the user. The restriction state identifier describes whether or not a video object can be moved when it is moved to a certain region of interest. An example of the restriction attribute information is shown in FIG.
The attention area identifier describes an ID for identifying each attention area. FIG. 6A shows an example in which the attention area ID assigned in FIG. 5A is used. The moving object identifier describes the ID of a video object that is restricted when it is moved to the target region of interest. This restriction, for example, a state where movement is prohibited or movement is possible, is described by a restriction state identifier.
As described above, in FIG. 5, the video object OBJ1 is prohibited from moving in the areas A, B, and C, the area B is movable, and the video object OBJ2 is movable in the area A with respect to the areas A, B, and C that are attention areas. FIG. 6 shows the region attribute information when the regions B and C are prohibited from moving. The area that can be moved with respect to each video object is an area other than the restricted area, and is not clearly shown.
Further, it can be understood that the restriction attribute information shown in FIG. 6A describes the prohibition / possibility of movement of the video object with respect to the attention area set in the background video. In this case, when a video object is added while the program video is being distributed and it is necessary to set a region of interest for the video object, the distribution side reconstructs the restricted attribute information. And need to be delivered.
In order to reduce this effort, the restriction attribute information may be described by paying attention to the video object as shown in FIG. By describing as shown in FIG. 6B, even if there is a scene where a video object is added while the program video is being distributed, the distribution side additionally distributes only the limited attribute information of the increased video object. It is easy to deal with the reception side.
A shape signal associated with the video object is used to determine whether or not the video object has moved to the region of interest. A region where the video object is synthesized is calculated from the data obtained by decoding the shape signal and the moved position designated by the user, and the pixel of the video object is compared with the attention region information.
The area ID of the attention area corresponding to the pixel of the video object is acquired, and it is determined whether the combination of the object ID of the video object and the area ID of the attention area is described in the restriction attribute information. If the combination of the object ID and the area ID is described in the restriction attribute information, it is determined that the video object and the attention area overlap.
After the overlap is determined, the attribute of the attention area of the video object and the background video is acquired from the restriction state identifier of the restriction attribute information. This comparison is sequentially performed for each pixel of the video object. If it is determined that even one pixel overlaps and the acquired attribute is prohibition of movement, the determination is terminated because the video object cannot be moved at that time.
In this way, when the movement of the video object is determined as a result of the determination, the combination information is set so that the video object is combined at the position designated by the user. On the other hand, if the user cannot move, a message is displayed on the screen, a warning is given with warning sound, and no new composite information is set. Therefore, the video object is not moved, and the video object is synthesized at the position before the movement.
FIG. 7 shows a flowchart of processing using this attention area information and restriction attribute information. First, it is determined whether or not the user has given a movement instruction to the video object using the input device (step 1). If no movement instruction is given to the video object, no change occurs in the video, so the current composite information is acquired from the video management unit 4 (step 11), and a composite video is created.
When a moving instruction is given to the video object, the input from the user is analyzed, and the moving video object and the movement destination of the object are acquired (step 2). Then, the shape signal of the moving target video object decoded from the
Further, the shape signal of the moving destination of the video object is compared with the attention area information to determine the overlap (step 4). If the overlap is not determined, the composite information is updated and set (step 7). If the overlap is determined, the restriction attribute information regarding the moving video object is acquired using the attention area information and the restriction attribute information (step 5).
Next, the restriction state identifier of the restriction attribute information acquired in
Further, based on the composite information set as described above, a composite image of each video object is created (step 8) and sent to the display unit 9 (step 9). The
In this way, no other video object is moved to an area desired by the distribution side, and the video that the distribution side wants the user to see is always displayed on the user's receiver. In addition, since the video object can be moved to a region other than the designated area in accordance with the user's intention, a screen layout adapted to the user's rumors can be achieved.
In the above description, it is assumed that the attention area information is attached to each frame of the background video. However, if the movement of the background video is small, the attention area desired by the distribution side is also little changed. In such a case, since attention area information does not change, it is redundant to distribute the attention area information for each frame.
In order to reduce this redundancy, when there is no change in the attention area, it is not delivered frame by frame, and when attention area information is not attached to the frame of the background video to be displayed, the attention that was sent last is sent. The area information (latest attention area information) may be validated. However, if the attention area information transmitted last is always valid, it is not clear whether there is really no attention area or it can be used repeatedly.
In order to avoid this, for example, an area information valid flag is used. This flag is a flag indicating whether attention area information is valid. This flag takes two values, valid / invalid. When taking a valid value, the determination is performed using the attention area information distributed last. When an invalid value is set, it is assumed that attention area information does not exist, and the video object can be moved freely.
The flowchart in this case is as shown in FIG. Only the parts different from FIG. 7 will be described below. If it is determined in
In order to acquire attention area information, it is first determined whether attention area information exists in a frame of a video to be synthesized (step 22). If attention area information also exists, the accompanying attention area information is acquired as usual (step 23). If it is determined in
Thereby, the redundancy of distribution data can be reduced and the amount of distribution data can also be reduced. In addition, it is possible to use such as temporarily releasing the movement restriction of the video object for the convenience of the distribution side.
In the above description, movement restriction is performed by creating restriction attribute information for a pair of an attention area and a video object. However, when the program video is composed of a large number of video objects, it is necessary to describe the attributes of the attention area for all the video objects, so the data amount of the limited attribute information increases. In order to avoid this, it is possible to cope with the restriction attribute information shown in FIG.
When all video objects have the same attribute for the same region of interest, the ID of the video object is not described in the moving object identifier of the restriction attribute information. FIG. 9 is an example of restriction attribute information indicating that a region C is set as a region of interest in the program video shown in FIG. 5 and that the region C is a region where all video objects cannot move.
As a result, when there is no description of a specific video object in the moving object identifier, it is prohibited to move all video objects in the attention area, and it is possible to reduce the amount of data of restriction attribute information and the effort of data creation. It is.
In the present embodiment, an example is described in which the ID of the video object is not described. However, the noted castle having a specific area ID may always have a movement prohibition attribute. In addition, a specific ID indicating all video objects may be set and described in the moving object identifier.
Up to now, when the attribute of the attention area to which the video object moves is prohibited, the video object cannot be moved. However, when the program video has the attention area shown in FIG. 10A and the restriction attribute information shown in FIG. 10B, the area A which is the attention area occupies most of the display system, and the video object OBJ1. Has little freedom of movement.
Therefore, when the video object is moved, if a part of the video object overlaps the attention area having the movement prohibition attribute, the video object is synthesized without displaying the part overlapping the attention area of the video object. In this synthesis method, transparency signal information for synthesis is created and used from the transparency signal associated with the video object.
For example, when the video object OBJ1 is moved as shown in FIG. 10C, until now, the
The transparency signal has a one-to-one correspondence with each pixel, and a value between 0 and 255 is set. If the value is 0, it means transparent, and if it is 255, it means opaque. Based on the transparency signal of the moving video object, the transparency signal of the pixel determined to overlap the attention area is set to 0 (transparent), and the transparency signal of the pixel determined not to overlap is the video object. The transparency signal information for synthesis is created by setting to the value of the transparency signal.
By synthesizing the video object using this transparency signal information, at the time of synthesis, as shown in FIG. 10D, the attention area where the video object is overlapped becomes a video on which the pixels of the background video are displayed. As a result, the degree of freedom of movement of the video object can be expanded.
However, in the above case, when the entire video object is included in the attention area at the destination of the video object, the values of all the pixels of the transparency signal information for synthesis created from the video object are set to be transparent. The video object is not displayed as shown in FIG. This makes it difficult to specify the position of the video object when the user tries to move the video object again.
In order to avoid this, when all the values of the transparency signal information for synthesis become 0, as shown in FIG. 11B, the reduced display of the object is synthesized and displayed near the attention area. To do. The user can move again by giving a movement instruction to the reduced video object.
In the above example, the display when the video object is hidden is reduced display. However, the video to be displayed is not limited to the reduced display, and may be an icon indicating the video object or may indicate the corresponding video object. You may display with a symbol.
Further, in this embodiment, the case where all the pixels of the video object are included in the attention area is described. However, the present invention is not limited to all the pixels. When the pixels exceeding the threshold value overlap, the reduced display may be performed. At that time, the video object is not displayed, including the part where the video object does not overlap (the displayed part).
Furthermore, until now, as shown in FIG. 12A, when the movement destination is the attention area, if the movement attribute is prohibited, the movement destination cannot be moved. If the move of the object fails, the user must move again. In order to avoid this effort, as shown in FIG. 12B, when the attention area of the movement destination has the movement prohibition attribute, the vicinity of the area is set as the movement destination of the video object instructed to move, You may combine and display.
In addition, when a video that the distribution side wants the user to view is distributed as an object, the display of the video object can be ensured by designating the video object in the attention area. For example, when the distribution side wants to distribute an advertisement video included in a program video as a video object, it is not preferable that the advertisement video object is hidden by another video object. Examples of video objects that are not preferably hidden in this manner include, for example, video objects of news casters in news programs and telops of breaking news in programs in addition to advertisement videos.
At this time, a video object is designated as a region of interest, and the ID of the video object is described in the region of interest eliminator of the restriction attribute information. That is, the attention area identifier describes the ID of the video object for which the distribution side sets the movement restriction, as in the case of the background video.
Similarly for other identifiers of restriction attribute information, the moving object identifier describes the ID of the video object subject to restriction, and the restriction state identifier describes the attribute applied at that time. As the attention area information used for determining the overlap between the video objects, the shape signal of the video object described by the attention area identifier is used.
In FIG. 13A, in order to prevent the video object OBJ1 and the video object OBJ2 from overlapping each other, the video objects OBJ1 and OBJ2 are set as attention areas, and the restriction attribute information is set in FIG. 13C. Set as follows.
By describing in this way, for example, when the video object OBJ1 is moved onto the video object OBJ2, the overlap from the shape signal of the video object OBJ1 and the shape signal of the video object OBJ2 is performed in the same manner as the previous procedure. It is determined, and it is determined that movement is prohibited from the restriction attribute information of FIG. For this reason, the video object is not moved.
However, let us consider a case where a video as shown in FIG. 13 (a) is distributed together with the restriction attribute information shown in FIGS. 13 (b) and 13 (c). As shown in FIGS. 13B and 13C, the area A, the video object OBJ1, and the video object OBJ2 are set as attention areas, respectively. When the video object OBJ1 is to be moved, neither the area A nor the video object OBJ2 is allowed to move, so there is almost no area where the video object OBJ1 can actually move.
In such a case, in order to increase the degree of freedom of movement of the video object by the user, priority is set between the video objects. This priority is set on the distribution side, and is multiplexed and distributed on the program video. FIG. 13D shows an example in which the video object OBJ2 has a higher priority than the video object OBJ1.
In the case of FIG. 13D, it is assumed that the priority is set to a value from 0 to 255. When the video object OBJ1 having a low priority is moved so as to overlap the object OBJ2 having a high priority, since there is no restriction attribute information, the composition method differs depending on the receiving system, and the display method depends on the receiving system. .
FIG. 13E shows an example in which the moved video object is hidden. In FIG. 13 (e), the object OBJ1 moved by the user is hidden, and in addition, since the video object OBJ1 is not displayed, it is difficult to move it again. Conversely, the video object OBJ1 is displayed on the video object OBJ2, and the display of the video object OBJ1 that the distribution side wants to see may be hidden.
In order to avoid this, when a video object with a low priority is hidden by a video object with a high priority and is not displayed due to the movement of the video object by the user or the like, as shown in FIG. The reduced display of the video object that is hidden (low priority) is displayed next to the video object that is hidden (high priority).
As a result, the video object that the distribution side does not want to be hidden is displayed without being hidden by the user's moving operation, and it becomes easy for the user to move the moved video object again. Here, the reduced display is used. However, as long as the user's convenience is not impaired, an icon that represents the video object that is instructed to move may be displayed, or a symbol indicating the video object may be displayed. It may be displayed.
In addition, the video objects are completely overlapped. However, when the distribution side or the user sets the number of pixels that allow weighting, and the value is used as a threshold, it is determined that the threshold is the number of pixels. May be performed.
Furthermore, until now, as shown in FIG. 14A, when the video objects OBJ1 and OBJ2 are set as the attention area and the user moves the video object OBJ1 so as to overlap the video object OBJ2, FIG. If the attribute of the attention area at the movement destination is prohibited to move as in (), the video object cannot be moved. If the movement of the video object fails, the user must move again.
In order to avoid this effort, as shown in FIG. 14B, when the movement destination video object that is the attention area is prohibited from moving, as shown in FIG. The moving destination of the video object instructed to move may be set.
So far, when a video object is hidden by movement by the user, a method has been shown in which the user's convenience is not impaired by performing a reduced display of the video object. Next, an example will be described in which when a video object is hidden, a part of the video object is displayed outside the hidden video object so that convenience is not impaired as in the reduced display. In FIG. 13, when the video object OBJ1 having a low priority is in a state as shown in FIG. 13E due to the user's moving operation or the like, the OBJ1 is moved as shown in FIG. It is moved so that it is displayed outside the object OBJ2. The user can move the
FIG. 15 shows an example in which OBJ1 is displayed at a specific position of OBJ2. However, the position and area to be displayed are not particularly limited, and some part of OBJ1 may be displayed outside OBJ2. .
When a video object with a low priority is hidden, instead of displaying a reduced display or part of it, moving a video object with a high priority that hides the video object, and moving a video object with a low priority. It may be displayed.
For example, in the state of FIG. 13E, OBJ1 is hidden and cannot be operated by the user. Here, OBJ1 is displayed by moving OBJ2 instead of reducing OBJ1 near OBJ2 as shown in FIG. FIG. 16A shows an example in which the video object OBJ2 is moved to a position where the video object OBJ1 is displayed. As a result, the user can move the video object OBJ1 again.
In this example, the video object OBJ2 is moved until the video object OBJ1 is completely displayed. However, all the video objects OBJ1 can be displayed because the video object OBJ2 also has movement restrictions. If it cannot be moved so much, the video object OBJ1 may be reduced and displayed as shown in FIG. 16B, and the video object OBJ2 may be moved and displayed. Alternatively, as shown in FIG. 16C, the video object OBJ2 may be moved to a position where a part of the video object OBJ1 can be displayed.
As described above, according to the present invention, an area that restricts the movement of a video object in a program video is set as an attention area, and information on the attention area is distributed according to the program video. By permitting the movement of the video object within a limited range, it is possible to always reflect the intention of the distribution side in the program video reproduced by the user's receiving device.
In addition, according to the present invention, since the area validity flag is used, it is not necessary to distribute the information of the attention area for each frame, so that the data amount when distributing the program video can be reduced.
Furthermore, according to the present invention, it is possible to set a restriction on the movement of the video object for each attention area, so that the intention of the distribution side can be reflected in the video smoothly.
In addition, according to the present invention, it is possible to set an attention area in which movement is restricted for each video object. Therefore, when adding a video object in the middle of a program, the attention area in which movement of the video object to be added is restricted is added. It can be easily handled by simply adding information.
Further, according to the present invention, when the attention area has the same movement restriction for all the video objects, it is not necessary to set different restrictions for all the video objects. It is possible to reduce the trouble of setting restrictions on object movement.
Furthermore, according to the present invention, when the user moves the video object to the attention area, the composition is performed so that only the portion of the video object that overlaps the attention area is not displayed, so the user can move the video object more freely. Can be made.
In addition, according to the present invention, when the video object is hidden when the user moves the video object to the attention area, a reduced display of the video object or an icon or symbol indicating the video object is displayed. By displaying in the vicinity of the attention area, the user can easily move again without losing sight of the video object.
Industrial applicability
The data receiving apparatus according to the present invention allows a user to freely display an image or the like desired by a distribution side on the screen while receiving and reproducing a program video composed of a plurality of objects while reproducing the program video. This is suitable for a data receiving apparatus that can change the layout of a video object.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a broadcast receiving apparatus according to an embodiment of the present invention.
FIG. 2 is an explanatory diagram illustrating an example of a screen configuration according to an embodiment of the present invention.
FIG. 3 is an explanatory diagram illustrating an example of a rectangular region designation method according to an embodiment of the present invention.
FIG. 4 is an explanatory diagram illustrating an example of a method for designating a region by binary values according to an embodiment of the present invention.
FIG. 5 is an explanatory diagram illustrating an example of a screen configuration and an example of designating a region of interest with multiple values according to an embodiment of the present invention.
FIG. 6 is an explanatory diagram showing a configuration example of area attribute information according to an embodiment of the present invention.
FIG. 7 is a flowchart showing the moving process of the video object in one embodiment of the present invention.
FIG. 8 is a flowchart showing the moving process of the video object using the area valid flag according to the embodiment of the present invention.
FIG. 9 is an explanatory diagram illustrating a configuration example of region attribute information in which a region of interest is valid for all video objects according to an embodiment of the present invention.
FIG. 10 is an explanatory diagram illustrating an example of video composition when a video object is moved to a region of interest according to an embodiment of the present invention.
FIG. 11 is an explanatory diagram showing a reduced display example when the video object is moved to the attention area according to the embodiment of the present invention.
FIG. 12 is an explanatory diagram illustrating an example in which the video object is moved in the vicinity of the attention area when the video object is moved to the attention area in the embodiment of the present invention.
FIG. 13 is an explanatory diagram showing an example of a reduced display when moving a video object to another video object according to an embodiment of the present invention.
FIG. 14 is an explanatory diagram illustrating an example in which when a video object according to an embodiment of the present invention is moved to another video object, the video object is moved along with the destination video object.
FIG. 15 is an explanatory diagram illustrating an example in which a part of the video object moved outside the destination video object is displayed when the video object is moved to another video object in the embodiment of the present invention. is there.
FIG. 16 is an explanatory diagram showing various display modes of two video objects when the video object is moved to another video object in one embodiment of the present invention.
Claims (10)
前記受信した番組映像のデジタルデータを各々のオブジェクトの符号化データに分離する多重化分離部と、
前記分離されたオブジェクトの符号化データを復号する復号部と、
前記復号されたオブジェクトを合成し、再生映像を形成する合成部と、
前記再生映像を画面に表示する表示部とを備えたデータ受信装置において、
任意のオブジェクトの画面内での合成位置の移動を指示する入力部と、
前記番組映像のデジタルデータに含まれる、画面内での注目領域を特定するための注目領域情報に基づき、前記入力部により移動が指示されたオブジェクトが、前記注目領域に重なるか否かを判定する判定部と、
前記オブジェクトと前記注日領域とが重なる場合には、前記番組映像のデジタルデータに含まれる、前記注目領域の属性を記述した制限属性情報に基づき、前記オブジェクトの移動及び／又は合成を制限する制限部とを備えたことを特徴とするデータ受信装置。A receiver for receiving digital data of a program video in which encoded data of a plurality of objects is multiplexed;
A demultiplexing unit for separating the digital data of the received program video into encoded data of each object;
A decoding unit for decoding encoded data of the separated object;
Combining a decrypted object to form a playback video; and
In a data receiving device comprising a display unit for displaying the reproduced video on a screen,
An input unit for instructing movement of a composite position on the screen of an arbitrary object;
Based on the attention area information for specifying the attention area on the screen included in the digital data of the program video, it is determined whether or not the object instructed to move by the input unit overlaps the attention area. A determination unit;
When the object overlaps with the date-of-date area, a restriction for restricting movement and / or composition of the object based on restriction attribute information describing the attribute of the attention area included in the digital data of the program video And a data receiving device.
前記注目領域情報は、該オブジェクトの形状情報であることを特徴とする前記請求の範囲第１項に記載のデータ受信装置。The attention area is the object included in the program video,
The data receiving apparatus according to claim 1, wherein the attention area information is shape information of the object.
前記制限部は、前記注目領域が前記オブジェクトに重なる場合にはＪ前記優先度の比較により前記オブジェクトの移動の制限を行うことを特徴とする前記請求の範囲第２項に記載のデータ受信装置。The restriction attribute information describes the priority for each object,
3. The data receiving apparatus according to claim 2, wherein when the region of interest overlaps the object, the restriction unit restricts movement of the object by comparing the J priority. 4.
前記制限部は、前記領域情報有効フラグにより、前記注目領域情報が有効であることが示されている場合には、最後に受信した前記注目領域情報を用いて、前記オブジェクトの移動の制限を行い、
前記注目領域情報が無効であることが示されている場合には、前記注目領域情報の存在にかかわらず、前記オブジェクトの移動の制限を行わないことを特徴とする前記請求の範囲第１項乃至第９項のいずれかに記載のデータ受信装置。The digital data of the program video includes a region information valid flag indicating whether the region of interest information is valid,
When the region information valid flag indicates that the region-of-interest information is valid, the restricting unit restricts movement of the object using the region-of-interest information received last. ,
The range according to any one of claims 1 to 3, wherein when the attention area information is invalid, the movement of the object is not restricted regardless of the presence of the attention area information. 10. A data receiving device according to any one of items 9.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001341306 | 2001-11-07 | ||
| JP2001341306 | 2001-11-07 | ||
| PCT/JP2002/011568 WO2003041405A1 (en) | 2001-11-07 | 2002-11-06 | Data reception apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2003041405A1 true JPWO2003041405A1 (en) | 2005-03-03 |
Family
ID=19155345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003543315A Pending JPWO2003041405A1 (en) | 2001-11-07 | 2002-11-06 | Data receiving device |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPWO2003041405A1 (en) |
| WO (1) | WO2003041405A1 (en) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006254129A (en) * | 2005-03-11 | 2006-09-21 | Casio Comput Co Ltd | Histogram display device |
| US8325796B2 (en) * | 2008-09-11 | 2012-12-04 | Google Inc. | System and method for video coding using adaptive segmentation |
| US9154799B2 (en) | 2011-04-07 | 2015-10-06 | Google Inc. | Encoding and decoding motion via image segmentation |
| JP5706236B2 (en) | 2011-05-31 | 2015-04-22 | 楽天株式会社 | Information processing apparatus, information processing method, and information processing program |
| US9262670B2 (en) | 2012-02-10 | 2016-02-16 | Google Inc. | Adaptive region of interest |
| JP6216109B2 (en) * | 2012-10-25 | 2017-10-18 | 京セラ株式会社 | Display control device, display control program, and display control method |
| EP2866436A1 (en) * | 2013-10-23 | 2015-04-29 | Thomson Licensing | Method and apparatus for transmission and reception of media data |
| US9392272B1 (en) | 2014-06-02 | 2016-07-12 | Google Inc. | Video coding using adaptive source variance based partitioning |
| US9578324B1 (en) | 2014-06-27 | 2017-02-21 | Google Inc. | Video coding using statistical-based spatially differentiated partitioning |
| JP6149952B2 (en) * | 2016-01-25 | 2017-06-21 | カシオ計算機株式会社 | Electronic device, display control method and program |
| JP7404640B2 (en) * | 2019-04-03 | 2023-12-26 | 沖電気工業株式会社 | Encoding device, decoding device, and image processing method |
| JP7221134B2 (en) * | 2019-05-24 | 2023-02-13 | 東芝ライフスタイル株式会社 | refrigerators and refrigerator systems |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4306850B2 (en) * | 1998-12-08 | 2009-08-05 | キヤノン株式会社 | Broadcast receiving apparatus and method thereof |
| JP2001103468A (en) * | 1999-09-28 | 2001-04-13 | Toshiba Corp | Object video image display device |
| JP2001188525A (en) * | 1999-12-28 | 2001-07-10 | Toshiba Corp | Image display device |
-
2002
- 2002-11-06 JP JP2003543315A patent/JPWO2003041405A1/en active Pending
- 2002-11-06 WO PCT/JP2002/011568 patent/WO2003041405A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2003041405A1 (en) | 2003-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10609308B2 (en) | Overly non-video content on a mobile device | |
| US9762817B2 (en) | Overlay non-video content on a mobile device | |
| JP3177221B2 (en) | Method and apparatus for displaying an image of an interesting scene | |
| EP2338278B1 (en) | Method for presenting an interactive video/multimedia application using content-aware metadata | |
| CN109922360B (en) | Video processing method, device and storage medium | |
| WO2010041457A1 (en) | Picture output device and picture output method | |
| JP2002508095A (en) | Method and apparatus for generating a display signal | |
| JP2004500770A (en) | Method and apparatus for receiving television broadcasts linked by hyperlinks | |
| EP0783818A1 (en) | Content programmer control of video and data display using associated data | |
| JPWO2003041405A1 (en) | Data receiving device | |
| CN1726726A (en) | Stereoscopic video creating device and stereoscopic video distributing method | |
| EP1376587A2 (en) | Video data reproduction apparatus, schedule data, video data reproduction method, and video data reproduction program | |
| CN102714747A (en) | Stereoscopic video graphics overlay | |
| CN105491396A (en) | Multimedia information processing method and server | |
| US20030011714A1 (en) | System and method for transmitting program data including immersive content | |
| JP6934052B2 (en) | Display control device, display control method and program | |
| JP4444323B2 (en) | Digital broadcast receiver | |
| JP2000165641A (en) | Image processing method, image processing device, and data storage medium | |
| JP2003198979A (en) | Moving picture viewing device | |
| KR20100026361A (en) | Apparatus and method for receiving broadcasting signal in dmb system | |
| KR100390028B1 (en) | Control apparatus and method for On Screen Display of the moving picture player | |
| KR100693510B1 (en) | Object based image effect processing device and method | |
| JP2006211488A (en) | Video reproducing apparatus | |
| US20030167468A1 (en) | Video-processing method and system for enriching the content of a tv program | |
| EP1045339B1 (en) | Digital display control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A524 | Written submission of copy of amendment under section 19 (pct) |
Free format text: JAPANESE INTERMEDIATE CODE: A527 Effective date: 20040316 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051021 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051021 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051021 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081020 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081111 |