JP6302194B2

JP6302194B2 - Inverse multiplexing apparatus and program

Info

Publication number: JP6302194B2
Application number: JP2013185780A
Authority: JP
Inventors: 俊枝三須; 井口　和久; 和久井口; 境田　慎一; 慎一境田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2013-09-07
Filing date: 2013-09-07
Publication date: 2018-03-28
Anticipated expiration: 2033-09-07
Also published as: JP2015053619A

Description

本発明は、複数のデータの多重化技術に関し、特に、多重化されたデータから信号データと補助情報、フラグ情報等とを生成する逆多重化装置及びプログラムに関する。 The present invention relates to a multiplexing technique of the plurality of data, in particular, the signal data and the auxiliary information from the multiplexed data relates to demultiplexing apparatus and program for generating a flag information or the like.

従来、アナログ映像信号等の信号データに補助情報、フラグ情報等（以下、補助情報データという。）を重畳する多重化装置として、ブランキング期間にこれらの情報を重畳するものが知られている。この多重化装置によれば、映像信号の見た目に影響を与えることなく、補助情報データを伝送することができる。 2. Description of the Related Art Conventionally, as a multiplexing device that superimposes auxiliary information, flag information, etc. (hereinafter referred to as auxiliary information data) on signal data such as an analog video signal, an apparatus that superimposes such information in a blanking period is known. According to this multiplexing apparatus, it is possible to transmit auxiliary information data without affecting the appearance of the video signal.

デジタルデータ伝送においては、補助情報データを埋め込むためのデータ領域（アンシラリー領域）が予め確保されており、このアンシラリー領域を用いて補助情報データを伝送する手法もある。 In digital data transmission, a data area (ancillary area) for embedding auxiliary information data is secured in advance, and there is a method of transmitting auxiliary information data using this ancillary area.

また、データ上に他のデータを秘匿的に埋め込むステガノグラフィー技術が知られている。多重化装置は、このステガノグラフィー技術を用いることにより、映像信号等の信号データに補助情報データを埋め込んで伝送することができ、補助情報データの内容を秘匿することができる。 Also known is a steganography technique that secretly embeds other data on the data. By using this steganography technique, the multiplexing apparatus can embed auxiliary information data in signal data such as a video signal and transmit it, and can conceal the contents of the auxiliary information data.

さらに、映像データとマルチメディアデータとを合成するためのコンテンツＩＤ及び同期情報を得るために、映像を取り込むと共に、映像上に見える状態で表示されたマーカを取り込む手法が知られている（特許文献１を参照）。この手法は、受信機が映像上にマーカを見える状態で表示し、他の端末が、受信機に表示されたテレビ画面を撮影することで、映像及びマーカを取り込み、取り込んだマーカからコンテンツＩＤ及び同期情報を得るものである。 Furthermore, in order to obtain a content ID and synchronization information for synthesizing video data and multimedia data, there is known a method for capturing a video and a marker displayed in a state visible on the video (Patent Literature). 1). In this method, the receiver displays the marker on the video in a visible state, and the other terminal captures the video and the marker by photographing the television screen displayed on the receiver, and the content ID and the content from the captured marker are captured. Synchronous information is obtained.

特開２０１１−３５５７６号公報JP 2011-35576 A

しかしながら、補助情報データをブランキング期間に重畳する手法及び予め確保されたアンシラリー領域に埋め込む手法は、装置によっては、その伝送を保証しないものがある。このため、ブランキング期間またはアンシラリー領域を利用した伝送を保証しない装置が伝送路内に１つでも存在すると、補助情報データを伝送することができなくなる。 However, the method of superimposing the auxiliary information data in the blanking period and the method of embedding in the ancillary area secured in advance do not guarantee the transmission depending on the apparatus. For this reason, if there is even one device in the transmission path that does not guarantee transmission using a blanking period or an ancillary area, auxiliary information data cannot be transmitted.

また、ステガノグラフィー技術を用いた場合には、見た目と音質に違和感のない信号レベルで補助情報データが埋め込まれるが、例えば符号化劣化等のデータ損失が伴うときは、補助情報データの再生が不安定になる可能性がある。 In addition, when the steganography technique is used, auxiliary information data is embedded at a signal level that does not give a sense of incongruity to the appearance and sound quality. However, for example, when data loss such as encoding deterioration is accompanied, reproduction of auxiliary information data is not possible. It may become stable.

また、特許文献１の手法では、他の端末を使用する意図がない場合であっても、受信機の画面には常にマーカが表示されるから、映像の視聴を妨げてしまう。 Further, in the method of Patent Document 1, even when there is no intention to use another terminal, since a marker is always displayed on the screen of the receiver, viewing of the video is hindered.

このように、多重化装置が映像信号等の信号データに補助情報データを重畳して伝送する場合、多重化装置によっては補助情報データの伝送を保証しなかったり、補助情報データの再生が不安定になったりするという問題があった。また、補助情報データであるマーカが常に画面表示され、視聴を妨げてしまうという問題もあった。 As described above, when the multiplexing device transmits the auxiliary information data superimposed on the signal data such as the video signal, the multiplexing device does not guarantee the transmission of the auxiliary information data or the reproduction of the auxiliary information data is unstable. There was a problem of becoming. In addition, there is a problem in that a marker which is auxiliary information data is always displayed on the screen, which hinders viewing.

ここで、補助情報データとは、映像信号等の信号データに対応する補助情報、フラグ情報等の各種データをいい、例えば、同期情報、制御情報、時刻情報、コンテンツＩＤである。 Here, the auxiliary information data refers to various data such as auxiliary information and flag information corresponding to signal data such as a video signal, for example, synchronization information, control information, time information, and content ID.

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、信号データに補助情報データが重畳された多重化データを受信する際に、補助情報データを頑健に再生可能な逆多重化装置及びプログラムを提供することにある。 Accordingly, the present invention has been made to solve the above-described problems, and the object of the present invention is to robustly reproduce auxiliary information data when receiving multiplexed data in which auxiliary information data is superimposed on signal data. to provide a demultiplexer, and a program.

前記目的を達成するために、請求項１の逆多重化装置は、信号データに補助情報データが重畳された多重化データまたは前記信号データを、伝送路を介して伝送データとして受信し、前記伝送データが多重化データの場合、前記多重化データを逆多重化して前記補助情報データ及び信号データを生成して出力し、前記伝送データが信号データの場合、前記受信した信号データを出力する逆多重化装置であって、前記受信した伝送データに前記補助情報データが存在するか否かを判定し、前記補助情報データが存在すると判定した場合、前記受信した伝送データの複数の所定領域から、前記信号データにおける一部のデータに代えて付加された前記補助情報データを検出する補助情報データ検出手段と、前記補助情報データ検出手段により補助情報データが存在すると判定された場合、前記伝送データである多重化データに対し電子透かしの検出を行い、前記電子透かしとして付加されたデータを再生する電子透かし検出手段と、前記電子透かし検出手段により再生されたデータを、前記多重化データの前記複数の所定領域に上書き合成する信号合成手段と、を備え、前記補助情報データ検出手段が、前記複数の所定領域のそれぞれについて、当該所定領域の画素値が予め設定された第一の閾値を下回っている場合を黒のベタ塗りと判定し、当該所定領域の画素値が予め設定された第二の閾値を上回っている場合を白のベタ塗りと判定し、前記複数の所定領域のそれぞれが、黒のベタ塗りまたは白のベタ塗りであると判定した場合を以って、補助情報データが存在すると判定し、前記複数の所定領域のいずれかが、黒のベタ塗りでなくかつ白のベタ塗りでないと判定した場合を以って、補助情報データが存在しないと判定し、当該逆多重化装置が、前記補助情報データ検出手段により補助情報データが存在すると判定された場合、前記補助情報データ検出手段により検出された補助情報データを出力すると共に、前記信号合成手段により前記データが上書き合成された多重化データを前記信号データとして出力し、前記補助情報データ検出手段により補助情報データが存在しないと判定された場合、前記電子透かし検出手段による電子透かし検出処理、及び前記信号合成手段による上書き合成処理を行うことなく、前記伝送データである信号データを出力する、ことを特徴とする。 To achieve the object, the demultiplexing apparatus according to claim 1 receives multiplexed data in which auxiliary information data is superimposed on signal data or the signal data as transmission data via a transmission line, and transmits the transmission data. When the data is multiplexed data, the multiplexed data is demultiplexed to generate and output the auxiliary information data and signal data, and when the transmission data is signal data, the received signal data is output. a apparatus, determines whether previous SL auxiliary information data exists in the transmission the received data, when it is determined that the auxiliary information data exists, from a plurality of predetermined regions of the transmission the received data, Auxiliary information data detecting means for detecting the auxiliary information data added instead of a part of the data in the signal data, and auxiliary information data detecting means for assisting When it is determined that the report data exists, the digital watermark is detected for the multiplexed data as the transmission data, and the digital watermark detection means for reproducing the data added as the digital watermark, and the digital watermark detection means Signal synthesizing means for overwriting and synthesizing the reproduced data on the plurality of predetermined areas of the multiplexed data, and the auxiliary information data detection means for each of the plurality of predetermined areas, the pixels of the predetermined area When the value is lower than the preset first threshold, it is determined as black solid painting, and when the pixel value of the predetermined area is higher than the preset second threshold is white solid painting Determining that each of the plurality of predetermined areas is black solid or white solid, and determining that auxiliary information data exists, Any number of predetermined regions, drives out if it is determined that it is not and areafill white rather than black solid color, it is determined that the auxiliary information data does not exist, is the inverse multiplexer, said auxiliary information When it is determined by the data detection means that auxiliary information data exists, the auxiliary information data detected by the auxiliary information data detection means is output, and the multiplexed data in which the data is overwritten by the signal synthesis means is When it is determined that the auxiliary information data is not present by the auxiliary information data detection unit, the signal is output as signal data, without performing the digital watermark detection process by the digital watermark detection unit and the overwrite synthesis process by the signal synthesis unit, Signal data that is the transmission data is output.

係る構成によれば、補助情報データが存在する場合、所定領域に付加されて伝送された補助情報データを再生することができ、補助情報データの頑健な伝送を実現することができる。 With such a configuration, when the auxiliary information data exists, it is possible to reproduce auxiliary information data transmitted is added to a Jo Tokoro region, it is possible to realize a robust transmission of the auxiliary information data.

さらに、請求項２のプログラムは、コンピュータを、請求項１に記載の逆多重化装置として機能させることを特徴とする。 Furthermore, the program according to claim 2 causes a computer to function as the demultiplexing device according to claim 1 .

以上のように、本発明によれば、信号データに補助情報データが重畳された多重化データを受信する際に、補助情報データを頑健に再生することが可能となる。 As described above, according to the present invention, it is possible to robustly reproduce auxiliary information data when receiving multiplexed data in which auxiliary information data is superimposed on signal data.

本発明の実施形態による多重化装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the multiplexing apparatus by embodiment of this invention. （１）は、信号データＶの例において、埋め込み領域Ｅ，Ｄを説明する図である。（２）は、多重化データＷの例において、補助情報データＦの埋め込みパターン及び電子透かしが埋め込まれた信号データを説明する図である。(1) is a diagram illustrating the embedding areas E and D in the example of the signal data V. FIG. (2) is a diagram illustrating signal data in which an embedding pattern of auxiliary information data F and a digital watermark are embedded in an example of multiplexed data W. FIG. 図２の例において、多重化装置の処理を示すフローチャートである。3 is a flowchart illustrating processing of a multiplexing device in the example of FIG. 本発明の他の実施形態による多重化装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the multiplexing apparatus by other embodiment of this invention. 本発明の実施形態による逆多重化装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the demultiplexing apparatus by embodiment of this invention. 多重化データＷ及び信号データＶ’の例、並びに電子透かし検出手段及び信号合成手段の動作例を説明する図である。It is a figure explaining the operation example of the example of multiplexed data W and signal data V ', and a digital watermark detection means and a signal synthetic | combination means. 図２及び図６の例において、逆多重化装置の処理を示すフローチャートである。7 is a flowchart showing processing of the demultiplexer in the examples of FIGS. 2 and 6. 図７のステップＳ７０３における補助情報データＦ’からＦへの変換処理を示すフローチャートである。It is a flowchart which shows the conversion process from auxiliary information data F 'to F in step S703 of FIG.

以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明の実施形態による多重化装置は、映像信号等の信号データに補助情報データを重畳し、多重化データとして伝送路を介して逆多重化装置へ送信することにより、多重化伝送を実現する。また、本発明の実施形態による逆多重化装置は、多重化装置により送信された多重化データを伝送路を介して受信し、多重化データの逆多重化を行い、信号データ及び補助情報データを生成する。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings. A multiplexing apparatus according to an embodiment of the present invention realizes multiplexed transmission by superimposing auxiliary information data on signal data such as a video signal and transmitting the multiplexed data as multiplexed data to a demultiplexing apparatus via a transmission line. . In addition, the demultiplexer according to the embodiment of the present invention receives multiplexed data transmitted by the multiplexer via a transmission path, demultiplexes the multiplexed data, and receives signal data and auxiliary information data. Generate.

具体的には、多重化装置は、補助情報データを高い信号レベルで、信号データの所定領域に埋め込むと共に、前記所定領域に存在していたデータを低い信号レベルで、電子透かしとして信号データに埋め込み、多重化データを生成して逆多重化装置へ送信する。ここで、高い信号レベルは、低い信号レベルに比べ、信号劣化に対して逆多重化装置における再生度合いが高いことを意味する。 Specifically, the multiplexing apparatus embeds auxiliary information data at a high signal level in a predetermined area of the signal data, and embeds data existing in the predetermined area in the signal data as a digital watermark at a low signal level. Multiplexed data is generated and transmitted to the demultiplexer. Here, a high signal level means that the degree of reproduction in the demultiplexing apparatus is high with respect to signal degradation compared to a low signal level.

これにより、信号劣化が小さい場合には、逆多重化装置は、信号データ及び補助情報データを安定的に再生することができる。一方、信号劣化が大きい場合には、信号データのうち電子透かしとして埋め込まれたデータを再生する際の安定性は低下するが、補助情報データは安定的に再生することができる。 As a result, when the signal degradation is small, the demultiplexer can stably reproduce the signal data and the auxiliary information data. On the other hand, when the signal deterioration is large, the stability when reproducing the data embedded as the digital watermark among the signal data is lowered, but the auxiliary information data can be stably reproduced.

このように、所定領域に埋め込まれた補助情報データ及び前記所定領域以外の領域の信号データは高い信号レベルで伝送し、前記所定領域に存在していたデータは低い信号レベルで伝送するという２階層の伝送を行うようにした。これにより、信号劣化の程度が変動しても、低い信号レベルのデータのみが途切れてしまう可能性はあるものの、補助情報データについては、途切れることなく頑健に伝送することができる。 As described above, the auxiliary information data embedded in the predetermined area and the signal data of the area other than the predetermined area are transmitted at a high signal level, and the data existing in the predetermined area is transmitted at a low signal level. Was made to transmit. As a result, even if the degree of signal deterioration varies, only low signal level data may be interrupted, but auxiliary information data can be transmitted robustly without interruption.

〔多重化装置〕
まず、本発明の実施形態による多重化装置について説明する。図１は、本発明の実施形態による多重化装置の構成例を示すブロック図である。この多重化装置１は、信号区間切出手段１０、パターン付加手段（補助情報データ置換手段）１１及び電子透かし付加手段１２を備えている。 [Multiplexer]
First, a multiplexing device according to an embodiment of the present invention will be described. FIG. 1 is a block diagram illustrating a configuration example of a multiplexing device according to an embodiment of the present invention. The multiplexing apparatus 1 includes a signal section extracting unit 10, a pattern adding unit (auxiliary information data replacing unit) 11, and a digital watermark adding unit 12.

多重化装置１は、信号データＶ及び補助情報データＦを入力し、信号データＶにおける所定のデータ領域（以下、埋め込み領域Ｅという。）の信号データＵを補助情報データＦに置換する。そして、多重化装置１は、信号データＵを電子透かしとして、信号データＶにおける所定のデータ領域（以下、埋め込み領域Ｄという。）に埋め込む。これにより、信号データＶと補助情報データＦとが多重化され、多重化データＷが出力される。 Multiplexer 1 receives signal data V and auxiliary information data F, and replaces signal data U in a predetermined data area (hereinafter referred to as an embedded area E) in signal data V with auxiliary information data F. The multiplexing apparatus 1 embeds the signal data U as a digital watermark in a predetermined data area (hereinafter referred to as an embedding area D) in the signal data V. Thereby, the signal data V and the auxiliary information data F are multiplexed, and the multiplexed data W is output.

ここで、信号データＶは、例えば映像信号であり、補助情報データは、例えば同期情報である。埋め込み領域Ｅは、補助情報データが埋め込まれる領域であり、埋め込み領域Ｄは、信号データＵが電子透かしとして埋め込まれる領域であり、これらの領域は、オペレータにより予め設定される。 Here, the signal data V is, for example, a video signal, and the auxiliary information data is, for example, synchronization information. The embedding area E is an area in which auxiliary information data is embedded, and the embedding area D is an area in which the signal data U is embedded as a digital watermark. These areas are set in advance by an operator.

信号区間切出手段１０は、信号データＶを入力し、信号データＶの全領域のうち、予め設定された埋め込み領域Ｅの信号区間に存在する信号データＵを切り出し、切り出した信号データＵを電子透かし付加手段１２に出力する。 The signal section cutout means 10 receives the signal data V, cuts out the signal data U existing in the preset signal section of the embedding area E from all the areas of the signal data V, and extracts the cut signal data U as an electronic signal. Output to the watermark adding means 12.

パターン付加手段１１は、信号データＶ及び補助情報データＦを入力し、信号データＶにおける埋め込み領域Ｅに存在する信号データＵを補助情報データＦに置換することで、埋め込み領域Ｅに、補助情報データＦのパターンを付加する。そして、パターン付加手段１１は、信号データＵを補助情報データＦに置換した信号データＶを電子透かし付加手段１２に出力する。 The pattern adding means 11 receives the signal data V and the auxiliary information data F and replaces the signal data U existing in the embedding area E in the signal data V with the auxiliary information data F, whereby the auxiliary information data is stored in the embedding area E. An F pattern is added. Then, the pattern adding unit 11 outputs the signal data V obtained by replacing the signal data U with the auxiliary information data F to the digital watermark adding unit 12.

この場合、パターン付加手段１１は、補助情報データＦを所定の変換規則にて変換して補助情報データＦ’を生成し、信号データＶにおける埋め込み領域Ｅに存在する信号データＵを、変換後の補助情報データＦ’に置換するようにしてもよい。 In this case, the pattern adding means 11 converts the auxiliary information data F according to a predetermined conversion rule to generate auxiliary information data F ′, and converts the signal data U existing in the embedding area E in the signal data V into the post-conversion data. The auxiliary information data F ′ may be replaced.

変換規則としては、例えば、補助情報データＦの各ビットを複製して複数のビットとしたり、補助情報データＦの値を所定の関数で変換したり、補助情報データＦに対して誤り訂正ビットを付加したり、補助情報データＦに対してエントロピー符号化を適用したりする。例えば、信号データＶが映像信号または画像信号である場合、パターン付加手段１１は、補助情報データＦのあるビットが０であるとき、複数画素からなるブロックの画素値を０とし、補助情報データＦのあるビットが１であるとき、複数画素からなるブロックの画素値を２５５とする変換を行う。 As the conversion rule, for example, each bit of the auxiliary information data F is duplicated into a plurality of bits, the value of the auxiliary information data F is converted by a predetermined function, or an error correction bit is set for the auxiliary information data F. Or entropy coding is applied to the auxiliary information data F. For example, when the signal data V is a video signal or an image signal, the pattern adding unit 11 sets the pixel value of a block composed of a plurality of pixels to 0 when a certain bit of the auxiliary information data F is 0, and sets the auxiliary information data F When a certain bit is 1, conversion is performed such that the pixel value of a block composed of a plurality of pixels is 255.

電子透かし付加手段１２は、信号区間切出手段１０から、埋め込み領域Ｅから切り出した信号データＵを入力すると共に、パターン付加手段１１から、埋め込み領域Ｅに補助情報データＦのパターンが付加された信号データＶを入力する。そして、電子透かし付加手段１２は、信号データＵを電子透かしとして、予め設定された埋め込み領域Ｄに付加することで、信号データＶと補助情報データＦとを多重化した多重化データＷを生成し、多重化データＷを出力する。 The digital watermark adding means 12 receives the signal data U cut out from the embedding area E from the signal section cutting means 10 and the signal in which the pattern of the auxiliary information data F is added to the embedding area E from the pattern adding means 11. Input data V. Then, the digital watermark adding means 12 generates multiplexed data W obtained by multiplexing the signal data V and the auxiliary information data F by adding the signal data U as a digital watermark to a preset embedding area D. The multiplexed data W is output.

ここで、電子透かし付加手段１２は、電子透かしを埋め込む既存の技術を用いることができる。電子透かしを埋め込む技術には様々な手法があるが、これらの手法は既知であるからここでは説明を省略する。 Here, the digital watermark adding means 12 can use an existing technique for embedding a digital watermark. There are various techniques for embedding a digital watermark. Since these techniques are known, the description thereof is omitted here.

（具体例）
次に、図１に示した多重化装置１の処理について、具体例を挙げて説明する。図２（１）は、信号データＶの例において、埋め込み領域Ｅ，Ｄを説明する図であり、図２（２）は、多重化データＷの例において、補助情報データＦの埋め込みパターン及び電子透かしが埋め込まれた信号データを説明する図である。また、図３は、図２の例において、多重化装置１の処理を示すフローチャートである。 (Concrete example)
Next, the processing of the multiplexing apparatus 1 shown in FIG. 1 will be described with a specific example. 2A is a diagram for explaining the embedding areas E and D in the example of the signal data V. FIG. 2B is a diagram illustrating the embedding pattern and the electronic information of the auxiliary information data F in the example of the multiplexed data W. FIG. It is a figure explaining the signal data with which the watermark was embedded. FIG. 3 is a flowchart showing processing of the multiplexing apparatus 1 in the example of FIG.

図３を参照して、まず、多重化装置１は、図２（１）に示す信号データ４０（Ｖ）、及び補助情報データＦを入力する（ステップＳ３０１）。図２（１）に示すように、信号データ４０（Ｖ）には、補助情報データＦが埋め込まれる埋め込み領域Ｅ（左上、右上、左下及び右下の４箇所）、及び切り出した信号データＵが電子透かしとして埋め込まれる埋め込み領域Ｄ（中央の１箇所）が予め設定されており、信号データ４０（Ｖ）における埋め込み領域Ｅのデータは、それぞれ信号データ４１−１，４１−２，４１−３，４１−４である。補助情報データＦは、Ｆ₁，Ｆ₂，Ｆ₃，Ｆ₄の４ビットからなるものとする。 Referring to FIG. 3, first, multiplexing apparatus 1 receives signal data 40 (V) and auxiliary information data F shown in FIG. 2 (1) (step S301). As shown in FIG. 2 (1), the signal data 40 (V) includes an embedding area E (four locations at the upper left, upper right, lower left and lower right) where the auxiliary information data F is embedded, and the cut out signal data U. An embedding area D (one place at the center) to be embedded as a digital watermark is set in advance, and the data of the embedding area E in the signal data 40 (V) is signal data 41-1, 41-2, 41-3, respectively. 41-4. The auxiliary information data F is assumed to be composed of 4 bits of F ₁ , F ₂ , F ₃ and F ₄ .

図３に戻って、多重化装置１の信号区間切出手段１０は、信号データ４０（Ｖ）における埋め込み領域Ｅの信号区間から、信号データ４１−１〜４１−４を信号データＵとして切り出す（ステップＳ３０２）。 Returning to FIG. 3, the signal section cutout means 10 of the multiplexing apparatus 1 cuts out the signal data 41-1 to 41-4 as the signal data U from the signal section of the embedding area E in the signal data 40 (V) ( Step S302).

パターン付加手段１１は、補助情報データＦを構成する各要素Ｆ₁，Ｆ₂，Ｆ₃，Ｆ₄のビット値（０または１）を画素値（０または２５５）に変換する。つまり、パターン付加手段１１は、補助情報データＦを構成するビット値の各要素Ｆ₁，Ｆ₂，Ｆ₃，Ｆ₄を画素値の各要素Ｆ₁’，Ｆ₂’，Ｆ₃’，Ｆ₄’に変換し、補助情報データＦ’（Ｆ₁’〜Ｆ₄’）を生成する（ステップＳ３０３）。 The pattern adding means 11 converts the bit values (0 or 1) of the elements F ₁ , F ₂ , F ₃ and F ₄ constituting the auxiliary information data F into pixel values (0 or 255). That is, the pattern adding means 11 converts the elements F ₁ , F ₂ , F ₃ , and F ₄ of the bit values constituting the auxiliary information data F into the elements F ₁ ′, F ₂ ′, F ₃ ′, and F of the pixel values. ₄ 'is converted into auxiliary information data F' (F ₁ 'to F ₄ ') (step S303).

そして、パターン付加手段１１は、図２（２）に示すように、補助情報データＦ’を構成する各要素Ｆ₁’〜Ｆ₄’である画素値０または２５５に対応する埋め込みパターン５１−１〜５１−４を生成し、埋め込みパターン５１−１〜５１−４を埋め込み領域Ｅにそれぞれ付加する（ステップＳ３０４）。 Then, the pattern adding means 11, as shown in FIG. 2 (2), the embedding pattern 51-1 corresponding to the pixel value 0 or 255 that is each element F ₁ ′ to F ₄ ′ constituting the auxiliary information data F ′. To 51-4 are generated, and the embedding patterns 51-1 to 51-4 are added to the embedding area E, respectively (step S304).

図２（２）の例では、補助情報データＦ（Ｆ₁＝０，Ｆ₂＝１，Ｆ₃＝０，Ｆ₄＝０）が補助情報データＦ’（Ｆ₁’＝０，Ｆ₂’＝２５５，Ｆ₃’＝０，Ｆ₄’＝０）に変換され、黒色の埋め込みパターン５１−１，５１−３，５１−４が左上、左下及び右下の埋め込み領域Ｅにそれぞれ付加され、白色の埋め込みパターン５１−２が右上の埋め込み領域Ｅに付加される。 In the example of FIG. 2 (2), the auxiliary information data _{F (F 1 = 0, F} 2 = 1, F 3 = 0, F 4 = 0) auxiliary information data _{F '(F 1' = 0} , F 2 ' = 255, F ₃ '= 0, F ₄ ' = 0), and black embedding patterns 51-1, 51-3, 51-4 are added to the upper left, lower left and lower right embedding areas E, respectively. A white embedding pattern 51-2 is added to the upper right embedding area E.

図３に戻って、電子透かし付加手段１２は、ステップＳ３０２において信号区間切出手段１０が切り出した信号データＵを、図２（２）に示すように電子透かし５２として、図２（１）に示した埋め込み領域Ｄに付加する（ステップＳ３０５）。これにより、図２（２）に示すような多重化データＷが生成される。そして、電子透かし付加手段１２は、多重化データＷを出力する（ステップＳ３０６）。 Returning to FIG. 3, the digital watermark adding unit 12 converts the signal data U extracted by the signal section extracting unit 10 in step S302 into the digital watermark 52 as shown in FIG. This is added to the indicated embedding area D (step S305). As a result, multiplexed data W as shown in FIG. 2B is generated. Then, the digital watermark adding unit 12 outputs the multiplexed data W (step S306).

以上のように、本発明の実施形態による多重化装置１によれば、信号区間切出手段１０は、信号データＶの埋め込み領域Ｅから信号データＵを切り出し、パターン付加手段１１は、補助情報データＦを信号データＶの埋め込み領域Ｅに付加し、電子透かし付加手段１２は、信号区間切出手段１０により切り出された信号データＵを電子透かしとして、信号データＶの埋め込み領域Ｄに付加するようにした。そして、多重化装置１は、信号データＶと補助情報データＦとを多重化した多重化データＷを伝送するようにした。伝送する多重化データＷには、埋め込み領域Ｅに付加した補助情報データＦ、及び、埋め込み領域Ｄに電子透かしとして付加した信号データＵ（埋め込み領域Ｅから切り出された信号データＵ）が含まれる。 As described above, according to the multiplexing apparatus 1 according to the embodiment of the present invention, the signal section extracting unit 10 extracts the signal data U from the embedding area E of the signal data V, and the pattern adding unit 11 includes the auxiliary information data. F is added to the embedding area E of the signal data V, and the digital watermark adding means 12 adds the signal data U extracted by the signal section extracting means 10 to the embedding area D of the signal data V as an electronic watermark. did. The multiplexing device 1 transmits multiplexed data W obtained by multiplexing the signal data V and the auxiliary information data F. The multiplexed data W to be transmitted includes auxiliary information data F added to the embedding area E and signal data U (signal data U cut out from the embedding area E) added to the embedding area D as a digital watermark.

これにより、補助情報データＦは、信号データＶを構成する一部の領域に埋め込まれて伝送されるから、電子透かしとして一部の領域に埋め込まれて伝送される場合に比べ、頑健な伝送を実現することができる。これは、補助情報データＦが信号データＶを構成する一部の領域に埋め込まれた場合には、補助情報データＦは信号レベルが高い状態で伝送されるのに対し、補助情報データＦが電子透かしとして一部の領域に埋め込まれた場合には、信号データＶの品質はさほど損なわれることはないが、補助情報データＦは信号レベルが比較的低い状態で伝送されるからである。 As a result, the auxiliary information data F is embedded and transmitted in a part of the area constituting the signal data V. Therefore, the auxiliary information data F can be transmitted more robustly than in the case where the auxiliary information data F is embedded and transmitted in a part of the area as a digital watermark. Can be realized. This is because when the auxiliary information data F is embedded in a part of the area constituting the signal data V, the auxiliary information data F is transmitted with a high signal level, whereas the auxiliary information data F is electronic. This is because the quality of the signal data V is not significantly impaired when it is embedded in a partial area as a watermark, but the auxiliary information data F is transmitted with a relatively low signal level.

したがって、信号データＶに補助情報データＦを重畳して伝送する際に、信号レベルの高い補助情報データＦを伝送するようにしたから、信号データＶの画像全体が鈍化したり、モスキートーノイズまたはブロック状のエッジが発生したりする信号劣化が生じる場合であっても、補助情報データＦを頑健に伝送することが可能となる。 Therefore, when the auxiliary information data F is superimposed on the signal data V and transmitted, the auxiliary information data F having a high signal level is transmitted, so that the entire image of the signal data V becomes dull, Mosquito noise or Even when the signal deterioration such as the occurrence of block-like edges occurs, the auxiliary information data F can be transmitted robustly.

また、多重化装置１は、補助情報データＦを、ブランキング期間またはアンシラリー領域に埋め込むことなく伝送することができるから、本発明の実施形態は、ブランキング期間またはアンシラリー領域による伝送を保証しない多重化装置１についても適用がある。 Further, since the multiplexing apparatus 1 can transmit the auxiliary information data F without being embedded in the blanking period or the ancillary area, the embodiment of the present invention does not guarantee transmission in the blanking period or the ancillary area. The present invention is also applicable to the conversion apparatus 1.

また、前述のステガノグラフィー技術を用いた場合には、補助情報データＦの再生が不安定になる可能性があるが、本発明の実施形態では、補助情報データＦを頑健に伝送することができるから、後述する逆多重化装置３において補助情報データＦを安定的に再生することができる。 Further, when the above-described steganography technique is used, the reproduction of the auxiliary information data F may become unstable. However, in the embodiment of the present invention, the auxiliary information data F can be transmitted robustly. Thus, the auxiliary information data F can be stably reproduced in the demultiplexer 3 described later.

また、特許文献１の手法では、他の端末を使用する意図がない場合であっても、受信機には常にマーカが画面上に表示され、映像の視聴を妨げてしまう。これに対し、多重化装置１により伝送される多重化データＷを受信する後述する逆多重化装置３（受信機に相当）に対し、他の端末を使用しない場合に、補助情報データＦ（マーカ）が表示される埋め込み領域Ｅに、電子透かしから再生した信号データＵを上書き合成させることにより、補助情報データＦ（マーカ）を隠すことができる。したがって、補助情報データＦ（マーカ）が映像の視聴を妨げることがない。 Further, in the method of Patent Document 1, even when there is no intention of using another terminal, a marker is always displayed on the screen on the receiver, which hinders viewing of the video. On the other hand, when no other terminal is used for a demultiplexer 3 (corresponding to a receiver), which will be described later, which receives multiplexed data W transmitted by the multiplexer 1, auxiliary information data F (marker The auxiliary information data F (marker) can be hidden by overwriting and synthesizing the signal data U reproduced from the digital watermark in the embedding area E in which) is displayed. Therefore, the auxiliary information data F (marker) does not hinder viewing of the video.

このように、本発明の実施形態による多重化装置１によれば、映像信号等の信号データＶに補助情報データＦを重畳して伝送する場合、補助情報データＦの伝送を保証しないという問題、補助情報データＦの再生が不安定になるという問題、及び補助情報データＦであるマーカが常に画面表示されて視聴を妨げるという問題を解消することができる。 As described above, according to the multiplexing device 1 according to the embodiment of the present invention, when the auxiliary information data F is transmitted by being superimposed on the signal data V such as a video signal, the transmission of the auxiliary information data F is not guaranteed. The problem that the reproduction of the auxiliary information data F becomes unstable and the problem that the marker that is the auxiliary information data F is always displayed on the screen and prevents viewing can be solved.

（他の実施形態）
次に、本発明の他の実施形態による多重化装置について説明する。図４は、本発明の他の実施形態による多重化装置の構成例を示すブロック図である。この多重化装置２は、信号区間切出手段１０、パターン付加手段１１及び電子透かし付加手段１２を備えている。 (Other embodiments)
Next, a multiplexing device according to another embodiment of the present invention will be described. FIG. 4 is a block diagram showing a configuration example of a multiplexing apparatus according to another embodiment of the present invention. The multiplexing apparatus 2 includes a signal section extracting unit 10, a pattern adding unit 11, and a digital watermark adding unit 12.

多重化装置２は、信号データＶ及び補助情報データＦを入力し、信号データＶにおける埋め込み領域Ｅの信号データＵを電子透かしとして、信号データＶにおける埋め込み領域Ｄに埋め込む。そして、多重化装置２は、信号データＶにおける埋め込み領域Ｅの信号データＵを補助情報データＦに置換する。これにより、信号データＶと補助情報データＦとが多重化され、多重化データＷが出力される。 The multiplexer 2 receives the signal data V and the auxiliary information data F, and embeds the signal data U in the embedding area E in the signal data V as an electronic watermark in the embedding area D in the signal data V. Then, the multiplexing device 2 replaces the signal data U in the embedded area E in the signal data V with the auxiliary information data F. Thereby, the signal data V and the auxiliary information data F are multiplexed, and the multiplexed data W is output.

図１に示した多重化装置１と図４に示す多重化装置２とを比較すると、両多重化装置１，２は、同じ構成部を備えている点で同一である。一方、多重化装置１は、パターン付加手段１１の後段に電子透かし付加手段１２を備えているが、多重化装置２は、電子透かし付加手段１２の後段にパターン付加手段１１を備えている点で相違する。つまり、多重化装置２は、図１に示した多重化装置１におけるパターン付加手段１１と電子透かし付加手段１２とを入れ替えた構成をとる。 Comparing the multiplexer 1 shown in FIG. 1 with the multiplexer 2 shown in FIG. 4, both multiplexers 1 and 2 are the same in that they have the same components. On the other hand, the multiplexing apparatus 1 includes the digital watermark adding means 12 subsequent to the pattern adding means 11, but the multiplexing apparatus 2 includes the pattern adding means 11 subsequent to the digital watermark adding means 12. Is different. That is, the multiplexing apparatus 2 has a configuration in which the pattern adding unit 11 and the digital watermark adding unit 12 in the multiplexing apparatus 1 shown in FIG.

図４において、信号区間切出手段１０は、図１に示した信号区間切出手段１０と同様の処理を行い、切り出した信号データＵを電子透かし付加手段１２に出力する。 In FIG. 4, the signal section extracting unit 10 performs the same processing as the signal section extracting unit 10 illustrated in FIG. 1, and outputs the extracted signal data U to the digital watermark adding unit 12.

電子透かし付加手段１２は、信号データＶを入力すると共に、信号区間切出手段１０から、埋め込み領域Ｅから切り出した信号データＵを入力し、信号データＵを電子透かしとして、信号データＶにおける予め設定された埋め込み領域Ｄに付加する。そして、電子透かし付加手段１２は、信号データＵを電子透かしとして付加した信号データＶを、パターン付加手段１１に出力する。 The digital watermark adding means 12 receives the signal data V, and also receives the signal data U cut out from the embedding area E from the signal section cut-out means 10, and the signal data U is set in advance in the signal data V as a digital watermark. Added to the embedded region D. Then, the digital watermark adding unit 12 outputs the signal data V to which the signal data U is added as a digital watermark to the pattern adding unit 11.

パターン付加手段１１は、補助情報データＦを入力すると共に、電子透かし付加手段１２から、信号データＵを電子透かしとして付加した信号データＶを入力し、信号データＶにおける埋め込み領域Ｅの信号データＵを補助情報データＦに置換することで、埋め込み領域Ｅに、補助情報データＦのパターンを付加する。そして、パターン付加手段１１は、信号データＶと補助情報データＦとを多重化した多重化データＷを生成し、多重化データＷを出力する。 The pattern adding means 11 receives the auxiliary information data F and also receives the signal data V added with the signal data U as an electronic watermark from the digital watermark adding means 12, and the signal data U in the embedding area E in the signal data V is input. By substituting with the auxiliary information data F, the pattern of the auxiliary information data F is added to the embedding area E. The pattern adding unit 11 generates multiplexed data W obtained by multiplexing the signal data V and the auxiliary information data F, and outputs the multiplexed data W.

以上のように、本発明の他の実施形態による多重化装置２によれば、信号区間切出手段１０は、信号データＶの埋め込み領域Ｅから信号データＵを切り出し、電子透かし付加手段１２は、信号区間切出手段１０により切り出された信号データＵを電子透かしとして、信号データＶの埋め込み領域Ｄに付加し、パターン付加手段１１は、補助情報データＦを信号データＶの埋め込み領域Ｅに付加するようにした。そして、多重化装置２は、信号データＶと補助情報データＦとを多重化した多重化データＷを伝送するようにした。 As described above, according to the multiplexing device 2 according to another embodiment of the present invention, the signal section extraction unit 10 extracts the signal data U from the embedding area E of the signal data V, and the digital watermark addition unit 12 The signal data U cut out by the signal section cutout means 10 is added as an electronic watermark to the embedding area D of the signal data V, and the pattern addition means 11 adds the auxiliary information data F to the embedding area E of the signal data V. I did it. The multiplexing device 2 transmits multiplexed data W obtained by multiplexing the signal data V and the auxiliary information data F.

これにより、多重化装置１と同様に、補助情報データＦは、信号データＶを構成する一部の領域に埋め込んで伝送されるから、電子透かしとして一部の領域に埋め込まれて伝送される場合に比べ、頑健な伝送を実現することができる。したがって、信号データＶに補助情報データＦを重畳して伝送する際に、補助情報データＦを頑健に伝送することが可能となる。 As a result, as with the multiplexing device 1, the auxiliary information data F is transmitted by being embedded in a part of the area constituting the signal data V. Compared to, robust transmission can be realized. Accordingly, when the auxiliary information data F is superimposed on the signal data V and transmitted, the auxiliary information data F can be transmitted robustly.

また、本発明の実施形態による多重化装置２によれば、図１に示した多重化装置１と同様に、映像信号等の信号データＶに補助情報データＦを重畳して伝送する場合、補助情報データＦの伝送を保証しないという問題、補助情報データＦの再生が不安定になるという問題、及び補助情報データＦであるマーカが常に画面表示されて視聴を妨げるという問題を解消することができる。 Further, according to the multiplexing apparatus 2 according to the embodiment of the present invention, as in the multiplexing apparatus 1 shown in FIG. 1, when the auxiliary information data F is superimposed on the signal data V such as a video signal and transmitted, the auxiliary information The problem that transmission of the information data F is not guaranteed, the problem that the reproduction of the auxiliary information data F becomes unstable, and the problem that the marker that is the auxiliary information data F is always displayed on the screen and obstructs viewing can be solved. .

〔逆多重化装置〕
次に、本発明の実施形態による逆多重化装置について説明する。図５は、本発明の実施形態による逆多重化装置の構成例を示すブロック図である。この逆多重化装置３は、パターン検出手段（補助情報データ検出手段）３０、電子透かし検出手段３１及び信号合成手段３２を備えている。 [Demultiplexer]
Next, a demultiplexer according to an embodiment of the present invention will be described. FIG. 5 is a block diagram illustrating a configuration example of a demultiplexer according to an embodiment of the present invention. The demultiplexing apparatus 3 includes a pattern detection unit (auxiliary information data detection unit) 30, a digital watermark detection unit 31, and a signal synthesis unit 32.

逆多重化装置３は、図１に示した多重化装置１または図４に示した多重化装置２と対をなす装置であり、多重化装置１，２により出力（送信）された多重化データＷを、伝送路を介して入力（受信）し、多重化データＷの逆多重化を行い、信号データＶに対応する信号データＶ’及び補助情報データＦを生成して出力する。 The demultiplexer 3 is a device that forms a pair with the multiplexer 1 shown in FIG. 1 or the multiplexer 2 shown in FIG. 4, and the multiplexed data output (transmitted) by the multiplexers 1 and 2. W is input (received) through the transmission line, the multiplexed data W is demultiplexed, and signal data V ′ and auxiliary information data F corresponding to the signal data V are generated and output.

パターン検出手段３０は、多重化データＷを入力し、予め設定された埋め込み領域Ｅから補助情報データＦを取り出して再生することでそのパターンを検出し、補助情報データＦを出力する。 The pattern detection means 30 receives the multiplexed data W, extracts the auxiliary information data F from the preset embedding area E and reproduces it, detects the pattern, and outputs the auxiliary information data F.

尚、図１に示した多重化装置１または図４に示した多重化装置２のパターン付加手段１１が、補助情報データＦを所定の変換規則にて変換して補助情報データＦ’を生成し、埋め込み領域Ｅに補助情報データＦ’を付加した場合には、パターン検出手段３０は、埋め込み領域Ｅから補助情報データＦ’を取り出し、前記所定の変換規則に対応した規則により、補助情報データＦ’を補助情報データＦに変換することで、補助情報データＦを再生する。 Note that the pattern adding means 11 of the multiplexing device 1 shown in FIG. 1 or the multiplexing device 2 shown in FIG. 4 converts the auxiliary information data F according to a predetermined conversion rule to generate auxiliary information data F ′. When the auxiliary information data F ′ is added to the embedding area E, the pattern detecting means 30 takes out the auxiliary information data F ′ from the embedding area E, and the auxiliary information data F F according to a rule corresponding to the predetermined conversion rule. The auxiliary information data F is reproduced by converting 'to auxiliary information data F.

電子透かし検出手段３１は、図１及び図４に示した電子透かし付加手段１２と対をなし、多重化データＷを入力する。電子透かし検出手段３１は、予め設定された埋め込み領域Ｄについて電子透かしの検出を行い、図１及び図４に示した電子透かし付加手段１２により電子透かしとして付加された信号データＵを再生する。そして、電子透かし検出手段３１は、信号データＵを信号合成手段３２に出力する。 The digital watermark detection means 31 is paired with the digital watermark addition means 12 shown in FIGS. 1 and 4 and receives multiplexed data W. The digital watermark detection means 31 detects a digital watermark for a preset embedded area D, and reproduces the signal data U added as a digital watermark by the digital watermark addition means 12 shown in FIGS. Then, the digital watermark detection unit 31 outputs the signal data U to the signal synthesis unit 32.

ここで、電子透かし検出手段３１は、図１及び図４に示した電子透かし付加手段１２による電子透かしを埋め込む技術に対応した技術にて、電子透かしの検出を行う。電子透かしの検出技術は既知であるからここでは説明を省略する。 Here, the digital watermark detection means 31 detects the digital watermark by a technique corresponding to the technique for embedding the digital watermark by the digital watermark adding means 12 shown in FIGS. Since the digital watermark detection technique is known, the description thereof is omitted here.

信号合成手段３２は、多重化データＷを入力すると共に、電子透かし検出手段３１から信号データＵを入力し、予め設定された埋め込み領域Ｅ（補助情報データＦが埋め込まれていた領域）に信号データＵを上書き合成し、信号データＶ’を生成して出力する。 The signal synthesizing unit 32 receives the multiplexed data W and also receives the signal data U from the digital watermark detection unit 31, and the signal data is stored in a preset embedding area E (an area where the auxiliary information data F is embedded). U is overwritten and synthesized to generate and output signal data V ′.

（具体例）
次に、図５に示した逆多重化装置３の処理について、具体例を挙げて説明する。図６は、多重化データＷ及び信号データＶ’の例、並びに電子透かし検出手段３１及び信号合成手段３２の動作例を説明する図である。図７は、図２及び図６の例において、逆多重化装置３の処理を示すフローチャートである。 (Concrete example)
Next, the process of the demultiplexer 3 shown in FIG. 5 will be described with a specific example. FIG. 6 is a diagram for explaining an example of the multiplexed data W and the signal data V ′, and an operation example of the digital watermark detection means 31 and the signal synthesis means 32. FIG. 7 is a flowchart showing processing of the demultiplexer 3 in the examples of FIGS. 2 and 6.

図７を参照して、まず、逆多重化装置３は、図６に示す多重化データＷ（図２（２）に示した多重化データＷに相当）を入力する（ステップＳ７０１）。図６（１）に示すように、多重化データＷにおいて、埋め込み領域Ｅ（四隅に近い四角の黒色及び白色の箇所）には、ビット値（０または１）の補助情報データＦ（Ｆ₁〜Ｆ₄）が変換された画素値（０または２５５）の補助情報データＦ’（Ｆ₁’〜Ｆ₄’）が埋め込まれており、埋め込み領域Ｄには、図２（１）に示した信号データ４０（Ｖ）の埋め込み領域Ｅから切り出された信号データＵが電子透かしとして埋め込まれている。 Referring to FIG. 7, first, demultiplexer 3 inputs multiplexed data W shown in FIG. 6 (corresponding to multiplexed data W shown in FIG. 2 (2)) (step S701). As shown in FIG. 6A, in the multiplexed data W, the auxiliary information data F (F ₁ to F ₁ ) having a bit value (0 or 1) is included in the embedding area E (square black and white portions close to the four corners). F ₄₎ are embedded is transformed pixel values (0 or 255) of auxiliary information data _{_{F '(F 1' ~F 4}} '), the buried region D, signal shown in FIG. 2 (1) The signal data U cut out from the embedding area E of the data 40 (V) is embedded as a digital watermark.

図７に戻って、逆多重化装置３のパターン検出手段３０は、多重化データＷの埋め込み領域Ｅから補助情報データＦ’（Ｆ₁’〜Ｆ₄’）を取り出す（ステップＳ７０２）。そして、パターン検出手段３０は、補助情報データＦ’（Ｆ₁’〜Ｆ₄’）をビット値（０または１）の補助データＦ（Ｆ₁〜Ｆ₄）に変換する（ステップＳ７０３）。 Returning to FIG. 7, the pattern detection means 30 of the demultiplexer 3 extracts auxiliary information data F ′ (F ₁ ′ to F ₄ ′) from the embedded area E of the multiplexed data W (step S 702). Then, the pattern detecting means 30 converts the auxiliary information data F ′ (F ₁ ′ to F ₄ ′) into auxiliary data F (F _{1 to} F ₄ ) having a bit value (0 or 1) (step S703).

図８は、図７のステップＳ７０３における補助情報データＦ’からＦへの変換処理を示すフローチャートである。パターン検出手段３０は、図７のステップＳ７０３において、まず、補助情報データＦ’（Ｆ₁’〜Ｆ₄’）について、その要素Ｆ’_ｎの平均値Ｇ_ｎを算出し（ステップＳ８０１）、以下に示す閾値処理を行う。ｎは１〜４の自然数である。 FIG. 8 is a flowchart showing the conversion process from auxiliary information data F ′ to F in step S703 of FIG. In step S703 of FIG. 7, the pattern detection means 30 first calculates the average value G _n of the elements F ′ _{n for} the auxiliary information data F ′ (F ₁ ′ to F ₄ ′) (step S801), and the following The threshold process shown in FIG. n is a natural number of 1 to 4.

パターン検出手段３０は、ｎ＝１に設定し（ステップＳ８０２）、要素Ｆ’₁の平均値Ｇ₁が予め設定された閾値θよりも大きいか否かを判定する（ステップＳ８０３）。閾値θは、例えば信号データＶのビット深度（例えば８ビット）で表現できるレベル数の半値（例えばθ＝１２８）とする。 Pattern detecting means 30 is set to n = 1 (step S802), and determines whether or not the average value G ₁ of the elements F _'1 is greater than the threshold value θ that is set in advance (step S803). The threshold θ is, for example, a half value (for example, θ = 128) of the number of levels that can be expressed by the bit depth (for example, 8 bits) of the signal data V.

パターン検出手段３０は、ステップＳ８０３において、平均値Ｇ₁が閾値θよりも大きいと判定した場合（ステップＳ８０３：Ｙ）、補助情報データＦの要素Ｆ₁＝１に設定することで（ステップＳ８０４）、その領域にはビット値１が埋め込まれていたものと判定する。一方、パターン検出手段３０は、ステップＳ８０３において、平均値Ｇ₁が閾値θよりも大きくないと判定した場合（ステップＳ８０３：Ｎ）、補助情報データＦの要素Ｆ₁＝０に設定することで（ステップＳ８０５）、その領域にはビット値０が埋め込まれていたものと判定する。 Pattern detecting means 30 in step S803, when the average value G ₁ is determined to be greater than the threshold value theta (step S803: Y), by setting the elements F ₁ = 1 of the auxiliary information data F (step S804) It is determined that the bit value 1 is embedded in the area. On the other hand, the pattern detecting means 30 in step S803, when the average value G ₁ is determined to be not greater than the threshold value theta (step S803: N), by setting the elements F ₁ = 0 of the auxiliary information data F ( In step S805), it is determined that the bit value 0 is embedded in the area.

パターン検出手段３０は、ｎ＝４であるか否かを判定し（ステップＳ８０６）、ｎ＝４でないと判定した場合（ステップＳ８０６：Ｎ）、すなわちｎ＝１，２，３を判定した場合、ｎをインクリメント（ｎ＋１）し（ステップＳ８０７）、ステップＳ８０３へ移行する。一方、パターン検出手段３０は、ステップＳ８０６において、ｎ＝４を判定した場合（ステップＳ８０６：Ｙ）、補助情報データＦ（Ｆ₁〜Ｆ₄）を生成する（ステップＳ８０８）。 The pattern detection unit 30 determines whether n = 4 (step S806), and when it is determined that n = 4 is not satisfied (step S806: N), that is, when n = 1, 2, 3 is determined, n is incremented (n + 1) (step S807), and the process proceeds to step S803. On the other hand, when n = 4 is determined in step S806 (step S806: Y), the pattern detection unit 30 generates auxiliary information data F (F _{1 to} F ₄ ) (step S808).

このように、パターン検出手段３０は、ステップＳ８０３〜ステップＳ８０５において、補助情報データＦの要素Ｆ’_ｎの平均値Ｇ_ｎに対する閾値処理により、補助情報データＦの要素Ｆ₁，Ｆ₂，Ｆ₃，Ｆ₄に０または１のビット値を設定し、その領域に埋め込まれていたビット値を判定する。 As described above, the pattern detection unit 30 performs the threshold processing on the average value G _n of the elements F ′ _n of the auxiliary information data F in Steps S803 to S805 to perform the elements F ₁ , F ₂ , F ₃ of the auxiliary information data F. , F ₄ is set to a bit value of 0 or 1, and the bit value embedded in the area is determined.

尚、パターン検出手段３０は、ステップＳ８０３において、補助情報データＦ’における要素Ｆ’_ｎの平均値Ｇ_nが閾値θ以上であるか否かを判定するようにしてもよい。この場合、パターン検出手段３０は、平均値Ｇ_nが閾値θ以上であると判定した場合（ステップＳ８０３：Ｙ）、補助情報データＦの要素Ｆ_n＝１に設定し（ステップＳ８０４）、平均値Ｇ_nが閾値θ以上でないと判定した場合（ステップＳ８０３：Ｎ）、補助情報データＦの要素Ｆ_n＝０に設定する。 In step S803, the pattern detection unit 30 may determine whether the average value G _n of the elements F ′ _n in the auxiliary information data F ′ is _equal to or greater than the threshold θ. In this case, when the pattern detection unit 30 determines that the average value G _n is _equal to or greater than the threshold θ (step S803: Y), the pattern detection unit 30 sets the element F _n = 1 of the auxiliary information data F (step S804), and sets the average value. If it is determined that G _n is not _equal to or greater than the threshold θ (step S803: N), the element F _n of the auxiliary information data F is set to 0.

図７に戻って、パターン検出手段３０は、ステップＳ７０３及び図８のステップＳ８０１〜ステップＳ８０８にて生成した補助情報データＦ（Ｆ₁〜Ｆ₄）を出力する（ステップＳ７０４）。 Returning to FIG. 7, the pattern detection means 30 outputs the auxiliary information data F (F _{1 to} F ₄ ) generated in step S703 and steps S801 to S808 of FIG. 8 (step S704).

電子透かし検出手段３１は、図６に示すように、多重化データＷにおける埋め込み領域Ｄの信号データ６２に対し電子透かしの検出を行い、信号データ６１−１，６１−２，６１−３，６１−４（Ｕ）を再生する（ステップＳ７０５）。 As shown in FIG. 6, the digital watermark detection means 31 detects a digital watermark for the signal data 62 in the embedded area D in the multiplexed data W, and the signal data 61-1, 61-2, 61-3, 61. -4 (U) is reproduced (step S705).

信号合成手段３２は、図６に示すように、ステップＳ７０５にて電子透かし検出手段３１が再生した信号データ６１−１，６１−２，６１−３，６１−４（Ｕ）を、埋め込み領域Ｅ（左上、右上、左下及び右下の４箇所）に上書き合成する（ステップＳ７０６）。これにより、信号データＶ’が生成される。信号データＶ’が図１に示した多重化装置１及び図４に示した多重化装置２の入力する信号データＶと異なるのは、信号データＶ’に電子透かし７１として付加された信号データが残存するからである。 As shown in FIG. 6, the signal synthesis unit 32 converts the signal data 61-1, 61-2, 61-3, 61-4 (U) reproduced by the digital watermark detection unit 31 in step S705 into the embedded region E. Overwrite synthesis is performed on (upper left, upper right, lower left, and lower right) (step S706). As a result, signal data V ′ is generated. The signal data V ′ is different from the signal data V input by the multiplexer 1 shown in FIG. 1 and the multiplexer 2 shown in FIG. 4 because the signal data added as the digital watermark 71 to the signal data V ′ is different. This is because it remains.

そして、信号合成手段３２は、ステップＳ７０６にて生成した信号データＶ’を出力する（ステップＳ７０７）。 Then, the signal synthesizing unit 32 outputs the signal data V ′ generated in step S706 (step S707).

以上のように、本発明の実施形態による逆多重化装置３によれば、図１に示した多重化装置１または図４に示した多重化装置２により信号データＶと補助情報データＦとが多重化された多重化データＷを受信し、多重化データＷから補助情報データＦと信号データＶ’とを再生するようにした。具体的には、逆多重化装置３のパターン検出手段３０は、多重化データＷの埋め込み領域Ｅから補助情報データＦを再生し、電子透かし検出手段３１は、多重化データＷの埋め込み領域Ｄから電子透かしとして付加された信号データＵを再生し、信号合成手段３２は、再生した信号データＵを埋め込み領域Ｅに上書き合成するようにした。そして、逆多重化装置３は、多重化データＷの逆多重化に伴い、パターン検出手段３０にて再生した補助情報データＦを出力し、信号合成手段３２にて上書き合成して生成した信号データＶ’を出力するようにした。 As described above, according to the demultiplexer 3 according to the embodiment of the present invention, the signal data V and the auxiliary information data F are generated by the multiplexer 1 shown in FIG. 1 or the multiplexer 2 shown in FIG. Multiplexed multiplexed data W is received, and auxiliary information data F and signal data V ′ are reproduced from the multiplexed data W. Specifically, the pattern detection means 30 of the demultiplexer 3 reproduces the auxiliary information data F from the embedded area E of the multiplexed data W, and the digital watermark detection means 31 starts from the embedded area D of the multiplexed data W. The signal data U added as a digital watermark is reproduced, and the signal synthesis means 32 overwrites and synthesizes the reproduced signal data U in the embedded area E. Then, the demultiplexer 3 outputs the auxiliary information data F reproduced by the pattern detection means 30 in accordance with the demultiplexing of the multiplexed data W, and the signal data generated by overwriting the signal synthesis means 32 V 'is output.

これにより、信号データＶを構成する一部の領域に埋め込まれて伝送された補助情報データＦが再生されるから、電子透かしとして一部の領域に埋め込まれて伝送された補助情報データＦが再生される場合に比べ、補助情報データＦを頑健に検出し再生することができる。これは、補助情報データＦが信号データＶを構成する一部の領域に埋め込まれた場合には、補助情報データＦは信号レベルが高い状態で伝送されるのに対し、補助情報データＦが電子透かしとして一部の領域に埋め込まれた場合には、信号データＶの品質はさほど損なわれることはないが、補助情報データＦは信号レベルが比較的低い状態で伝送されるからである。 Thus, the auxiliary information data F embedded and transmitted in a part of the area constituting the signal data V is reproduced, so that the auxiliary information data F embedded and transmitted in the part of the area as a digital watermark is reproduced. The auxiliary information data F can be robustly detected and reproduced as compared with the case where it is performed. This is because when the auxiliary information data F is embedded in a part of the area constituting the signal data V, the auxiliary information data F is transmitted with a high signal level, whereas the auxiliary information data F is electronic. This is because the quality of the signal data V is not significantly impaired when it is embedded in a partial area as a watermark, but the auxiliary information data F is transmitted with a relatively low signal level.

したがって、信号データＶに補助情報データＦを重畳して伝送する際に、信号レベルの高い補助情報データＦを伝送するようにしたから、信号データＶの画像全体が鈍化したり、モスキートーノイズまたはブロック状のエッジが発生したりする信号劣化が生じる場合であっても、補助情報データＦを頑健に伝送し再生することが可能となる。 Therefore, when the auxiliary information data F is superimposed on the signal data V and transmitted, the auxiliary information data F having a high signal level is transmitted, so that the entire image of the signal data V becomes dull, Mosquito noise or Even when signal degradation such as occurrence of block-like edges occurs, the auxiliary information data F can be robustly transmitted and reproduced.

一方、補助情報データＦが埋め込まれたことにより改変された信号データＶの部分領域（埋め込み領域Ｅ）は、電子透かしによって伝送された信号データＵにより補完される。信号伝送における信号劣化が存在する場合であっても、補助情報データＦの検出精度を上げることができる。また、信号劣化が少ない場合には、補助情報データＦの伝送のために埋め込み領域Ｅから切り出された信号データＵを電子透かしとして隠蔽することができ、高品質な信号データＶ’を再現することができる。 On the other hand, the partial area (embedded area E) of the signal data V modified by embedding the auxiliary information data F is complemented by the signal data U transmitted by the digital watermark. Even when there is signal degradation in signal transmission, the detection accuracy of the auxiliary information data F can be increased. When signal degradation is small, the signal data U cut out from the embedding area E for transmission of the auxiliary information data F can be concealed as a digital watermark, and high-quality signal data V ′ can be reproduced. Can do.

また、本発明の実施形態による逆多重化装置３によれば、多重化装置１，２と同様に、補助情報データＦの伝送を保証しないという問題、補助情報データＦの再生が不安定になるという問題、及び補助情報データＦを表すマーカが常に画面表示されて視聴を妨げるという問題を解消することができる。 In addition, according to the demultiplexer 3 according to the embodiment of the present invention, similarly to the multiplexers 1 and 2, the problem of not guaranteeing the transmission of the auxiliary information data F and the reproduction of the auxiliary information data F become unstable. And the problem that the marker representing the auxiliary information data F is always displayed on the screen and obstructs viewing.

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、本発明は、多重化装置１，２から逆多重化装置３への多重化データＷの伝送において、非可逆のデータ圧縮を伴う場合にも適用がある。 The present invention has been described with reference to the embodiment. However, the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the technical idea thereof. For example, the present invention is also applicable to the case where transmission of multiplexed data W from the multiplexers 1 and 2 to the demultiplexer 3 involves irreversible data compression.

また、多重化装置１，２の電子透かし付加手段１２は、信号データＵを電子透かしとして付加する際に、信号データ４０（Ｖ）の全領域のうち埋め込み領域Ｅ以外の領域を埋め込み領域Ｄとして、信号データＵを当該埋め込み領域Ｄに付加するようにしてもよいし（図２を参照）、埋め込み領域Ｅの全部または一部を含む領域を埋め込み領域Ｄとして、信号データＵを当該埋め込み領域Ｄに付加するようにしてもよい。前者の場合（電子透かしを埋め込み領域Ｅ以外の領域に付加する場合）は、後者（電子透かしを埋め込み領域Ｅの全部または一部を含む領域に付加する場合）に比べ、補助情報データＦを一層頑健に伝送することができる。 Also, the digital watermark adding means 12 of the multiplexing devices 1 and 2 adds the area other than the embedded area E as the embedded area D in the entire area of the signal data 40 (V) when adding the signal data U as the digital watermark. The signal data U may be added to the embedding area D (see FIG. 2), or the area including all or part of the embedding area E is set as the embedding area D, and the signal data U is added to the embedding area D. You may make it add to. In the former case (when the digital watermark is added to an area other than the embedding area E), the auxiliary information data F is further increased compared to the latter (when the digital watermark is added to an area including all or part of the embedding area E). It can be transmitted robustly.

また、多重化装置１，２は、伝送すべき補助情報データＦが存在しない場合、すなわち補助情報データＦを入力しない（ヌルの補助情報データＦを入力した）場合、パターン付加手段１１にてパターン付加処理を行わず、また、電子透かし付加手段１２にて電子透かし付加処理も行わない。 Further, when there is no auxiliary information data F to be transmitted, that is, when the auxiliary information data F is not input (the null auxiliary information data F is input), the multiplexing devices 1 and 2 perform the pattern addition at the pattern adding unit 11. No additional processing is performed, and the digital watermark adding means 12 does not perform digital watermark addition processing.

具体的には、多重化装置１，２のパターン付加手段１１は、補助情報データＦを入力した場合、パターン付加処理を行って補助情報データＦを付加した信号データＶを電子透かし付加手段１２に出力し、補助情報データＦを入力しない場合、パターン付加処理を行わず、入力した信号データＶをそのまま電子透かし付加手段１２に出力する。そして、電子透かし付加手段１２は、補助情報データＦを入力した場合、電子透かし付加処理を行って多重化データＷを出力し、補助情報データＦを入力しない場合、電子透かし付加処理を行わず、パターン付加手段１１から入力した信号データＶを出力する。このようにして、多重化装置１，２から多重化データＷまたは信号データＶが伝送される。 Specifically, when the auxiliary information data F is input, the pattern adding unit 11 of the multiplexing apparatuses 1 and 2 performs the pattern adding process and adds the signal data V added with the auxiliary information data F to the digital watermark adding unit 12. If the auxiliary information data F is not input, the pattern adding process is not performed and the input signal data V is output to the digital watermark adding means 12 as it is. When the auxiliary information data F is input, the digital watermark adding means 12 performs the digital watermark adding process and outputs the multiplexed data W. When the auxiliary information data F is not input, the digital watermark adding unit 12 does not perform the digital watermark adding process. The signal data V input from the pattern adding means 11 is output. In this way, multiplexed data W or signal data V is transmitted from the multiplexing devices 1 and 2.

また、逆多重化装置３は、多重化装置１，２から伝送された多重化データＷまたは信号データＶを伝送データとして受信し、伝送データに補助情報データＦが存在しない場合、電子透かし検出手段３１にて電子透かし検出処理を行わず、信号合成手段３２にて上書き合成処理を行わない。 The demultiplexer 3 receives the multiplexed data W or the signal data V transmitted from the multiplexers 1 and 2 as transmission data, and when the auxiliary information data F does not exist in the transmission data, the digital watermark detection means No digital watermark detection process is performed at 31 and no overwrite synthesis process is performed at the signal synthesis unit 32.

具体的には、パターン検出手段３０は、後述するベタ塗り検出方式等により伝送データに補助情報データＦが存在するか否かを判定し、伝送データに補助情報データＦが存在すると判定した場合、再生した補助情報データＦを電子透かし検出手段３１に出力する。一方、パターン検出手段３０は、伝送データに補助情報データＦが存在しないと判定した場合、電子透かし検出手段３１に対し何らのデータも出力しない（ヌルの補助情報データＦを出力する）。 Specifically, the pattern detection unit 30 determines whether or not the auxiliary information data F exists in the transmission data by a solid coating detection method described later, and determines that the auxiliary information data F exists in the transmission data. The reproduced auxiliary information data F is output to the digital watermark detection means 31. On the other hand, if the pattern detection unit 30 determines that the auxiliary information data F does not exist in the transmission data, it does not output any data to the digital watermark detection unit 31 (outputs null auxiliary information data F).

電子透かし検出手段３１は、パターン検出手段３０から補助情報データＦを入力した場合、電子透かし検出処理を行って再生した信号データＵを信号合成手段３２に出力し、パターン検出手段３０から補助情報データＦを入力しない場合（ヌルの補助情報データＦを入力した場合）、電子透かし検出処理を行わず、信号合成手段３２に対し何らのデータも出力しない（ヌルの信号データＵを出力する）。 When the auxiliary information data F is input from the pattern detection unit 30, the digital watermark detection unit 31 outputs the signal data U reproduced by performing the digital watermark detection process to the signal synthesis unit 32, and the auxiliary information data from the pattern detection unit 30. When F is not input (when null auxiliary information data F is input), digital watermark detection processing is not performed, and no data is output to the signal synthesis unit 32 (null signal data U is output).

信号合成手段３２は、電子透かし検出手段３１から信号データＵを入力した場合、上書き合成処理を行い、入力した伝送データの多重化データＷから生成した信号データＶ’を出力し、電子透かし検出手段３１から信号データＵを入力しない場合（ヌルの信号データＵを入力した場合）、上書き合成処理を行わず、入力した伝送データは信号データＶであるとし、信号データＶを信号データＶ’として出力する。 When the signal data U is input from the digital watermark detection unit 31, the signal synthesis unit 32 performs an overwrite synthesis process, outputs the signal data V ′ generated from the multiplexed data W of the input transmission data, and the digital watermark detection unit When no signal data U is input from 31 (when null signal data U is input), the overwriting synthesis process is not performed, and the input transmission data is assumed to be signal data V, and the signal data V is output as signal data V ′. To do.

この場合、電子透かし検出手段３１は、既存の電子透かしを検出する技術により電子透かしを検出できないと判定した場合、信号合成手段３２に対し何らのデータも出力しない（ヌルの信号データＵを出力する）。そして、信号合成手段３２は、電子透かし検出手段３１から信号データＵを入力しないから（ヌルの信号データＵを入力するから）、上書き合成処理を行わず、入力した伝送データは信号データＶであるとし、信号データＶを信号データＶ’として出力する。 In this case, when it is determined that the digital watermark cannot be detected by the technology for detecting the existing digital watermark, the digital watermark detection unit 31 does not output any data to the signal synthesis unit 32 (outputs null signal data U). ). Then, since the signal synthesis unit 32 does not input the signal data U from the digital watermark detection unit 31 (since it inputs the null signal data U), the overwriting synthesis process is not performed, and the input transmission data is the signal data V. The signal data V is output as signal data V ′.

このように、多重化装置１，２により補助情報データＦの伝送が行われない場合には、補助情報データＦの付加及び電子透かしの付加も行われないため、逆多重化装置３は、一層高品質な信号データＶ’を生成することができる。 As described above, when the auxiliary information data F is not transmitted by the multiplexers 1 and 2, neither the auxiliary information data F nor the digital watermark is added. High quality signal data V ′ can be generated.

次に、逆多重化装置３のパターン検出手段３０によるベタ塗り検出方式にて、多重化データＷに補助情報データＦが存在するか否かを判定する処理について説明する。パターン検出手段３０は、多重化データＷの埋め込み領域Ｅに埋め込まれている信号データ５１−ｎ（図２（２）を参照）の全ての画素値が予め設定された閾値θ_B（例えば、θ_B＝１６）を下回っているか否かを判定し、下回っていると判定した場合、その領域の信号データ５１−ｎは黒のベタ塗りのデータであると判定する。また、パターン検出手段３０は、信号データ５１−ｎ内の全ての画素値が予め設定された閾値θ_W（例えば、θ_W＝２４０）を上回っているか否かを判定し、上回っていると判定した場合、その領域の信号データ５１−ｎは白のベタ塗りのデータであると判定する。ｎ＝１〜４であり、θ_B≦θ_Wとする。 Next, a process for determining whether or not the auxiliary information data F exists in the multiplexed data W by the solid paint detection method by the pattern detection unit 30 of the demultiplexer 3 will be described. The pattern detection means 30 has a threshold value θ _B (for example, θ) in which all the pixel values of the signal data 51-n (see FIG. 2B) embedded in the embedded region E of the multiplexed data W are set in advance. _B = 16), and if it is determined that the signal data is lower, the signal data 51-n in that region is determined to be black solid data. Further, the pattern detection means 30 determines whether or not all the pixel values in the signal data 51-n exceed a preset threshold value θ _W (for example, θ _W = 240), and determines that it is higher. In this case, it is determined that the signal data 51-n in the area is white solid data. n = 1 to 4, and θ _B ≦ θ _W.

そして、パターン検出手段３０は、全ての埋め込み領域Ｅ内の信号データ５１−ｎが黒のベタ塗りまたは白のベタ塗りのデータであると判定した場合、多重化データＷに補助情報データＦが存在すると判定する。一方、パターン検出手段３０は、全ての埋め込み領域Ｅ内の信号データ５１−ｎのうちいずれかが黒のベタ塗りのデータでなくかつ白のベタ塗りのデータでもないと判定した場合、多重化データＷに補助情報データＦが存在しないと判定する。後者の場合、パターン検出手段３０は、多重化装置１，２により補助情報データＦの伝送が行われているときには、ノイズ等により信号劣化が起こっているものと判断する。 When the pattern detection unit 30 determines that the signal data 51-n in all the embedding areas E is black solid data or white solid data, the auxiliary data data F exists in the multiplexed data W. Judge that. On the other hand, if the pattern detection unit 30 determines that any one of the signal data 51-n in all the embedding areas E is not black solid data and white solid data, the multiplexed data It is determined that auxiliary information data F does not exist in W. In the latter case, the pattern detecting means 30 determines that signal degradation has occurred due to noise or the like when the auxiliary information data F is transmitted by the multiplexing devices 1 and 2.

パターン検出手段３０は、多重化データＷに補助情報データＦが存在すると判定した場合、黒のベタ塗りと判定した埋め込み領域Ｅについて補助情報データＦの要素Ｆ_n＝０に設定することで、その埋め込み領域Ｅにはビット値０が埋め込まれていたものと判定し、白のベタ塗りと判定した埋め込み領域Ｅについて補助情報データＦの要素Ｆ_n＝１に設定することで、その埋め込み領域Ｅにはビット値１が埋め込まれていたものと判定する。そして、パターン検出手段３０は、補助情報データＦ（Ｆ₁〜Ｆ₄）を生成して出力する。 If the pattern detection means 30 determines that the auxiliary information data F is present in the multiplexed data W, the pattern detection means 30 sets the element F _n = 0 of the auxiliary information data F for the embedding area E determined to be solid black. It is determined that a bit value 0 is embedded in the embedding area E, and the element F _n = 1 of the auxiliary information data F is set for the embedding area E determined to be solid white. Determines that bit value 1 is embedded. Then, the pattern detection unit 30, auxiliary information data F (F ₁ ~F ₄₎ generates and outputs.

尚、本発明の実施形態による多重化装置１，２及び逆多重化装置３のハードウェア構成としては、通常のコンピュータをそれぞれ使用することができる。多重化装置１，２及び逆多重化装置３は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによってそれぞれ構成される。多重化装置１，２に備えた信号区間切出手段１０、パターン付加手段１１及び電子透かし付加手段１２の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、逆多重化装置３に備えたパターン検出手段３０、電子透かし検出手段３１及び信号合成手段３２の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。 As hardware configurations of the multiplexing devices 1 and 2 and the demultiplexing device 3 according to the embodiment of the present invention, ordinary computers can be used. The multiplexing devices 1 and 2 and the demultiplexing device 3 are each configured by a computer having a volatile storage medium such as a CPU and a RAM, a non-volatile storage medium such as a ROM, and an interface. Each function of the signal section extraction means 10, the pattern addition means 11 and the digital watermark addition means 12 provided in the multiplexing devices 1 and 2 is realized by causing the CPU to execute a program describing these functions. The functions of the pattern detection unit 30, the digital watermark detection unit 31, and the signal synthesis unit 32 provided in the demultiplexing device 3 are realized by causing the CPU to execute a program describing these functions. These programs can be stored and distributed on a storage medium such as a magnetic disk (floppy (registered trademark) disk, hard disk, etc.), optical disk (CD-ROM, DVD, etc.), semiconductor memory, etc., and sent and received via a network. You can also

１，２多重化装置
３逆多重化装置
１０信号区間切出手段
１１パターン付加手段
１２電子透かし付加手段
３０パターン検出手段
３１電子透かし検出手段
３２信号合成手段
４０信号データ
４１−１，４１−２，４１−３，４１−４埋め込み領域Ｅの信号データ
４２埋め込み領域Ｄの信号データ
５１−１，５１−２，５１−３，５１−４補助情報データＦの埋め込みパターン
５２電子透かし（電子透かしが埋め込まれた信号データ）
６１−１，６１−２，６１−３，６１−４電子透かしから再生した信号データ
６２埋め込み領域Ｄの信号データ
７１電子透かし（電子透かしが埋め込まれた信号データ） DESCRIPTION OF SYMBOLS 1, 2 Multiplexer 3 Demultiplexer 10 Signal section extraction means 11 Pattern addition means 12 Digital watermark addition means 30 Pattern detection means 31 Digital watermark detection means 32 Signal synthesis means 40 Signal data 41-1, 41-2, 41-3, 41-4 Signal data 42 in embedding area E Signal data 51-1, 51-2, 51-3, 51-4 in embedding area D Embedding pattern 52 of auxiliary information data F Digital watermark (embedding digital watermark) Signal data)
61-1, 61-2, 61-3, 61-4 Signal data reproduced from digital watermark 62 Signal data 71 in embedding area D Digital watermark (signal data in which digital watermark is embedded)

Claims

Multiplexed data in which auxiliary information data is superimposed on signal data or the signal data is received as transmission data via a transmission path. When the transmission data is multiplexed data, the multiplexed data is demultiplexed and the data is demultiplexed. Auxiliary information data and signal data are generated and output, and when the transmission data is signal data, a demultiplexer that outputs the received signal data,
Determines whether previous SL auxiliary information data exists in the transmission the received data, when it is determined that the auxiliary information data exists, from a plurality of predetermined regions of the transmission data thus received, a portion of the signal data Auxiliary information data detection means for detecting the auxiliary information data added instead of the data;
Electronic watermark detection means for detecting a digital watermark for the multiplexed data as the transmission data and reproducing the data added as the digital watermark when the auxiliary information data detection means determines that auxiliary information data exists When,
Signal synthesis means for overwriting and synthesizing the data reproduced by the digital watermark detection means on the plurality of predetermined areas of the multiplexed data;
The auxiliary information data detecting means includes
For each of the plurality of predetermined areas, a case where the pixel value of the predetermined area is lower than a preset first threshold value is determined to be black solid color, and the pixel value of the predetermined area is set in advance. If it exceeds the second threshold, it is determined as white solid painting.
When each of the plurality of predetermined areas is determined to be black solid or white solid, it is determined that auxiliary information data exists, and any of the plurality of predetermined areas is black It is determined that the auxiliary information data does not exist when it is determined that it is not solid and white solid.
The demultiplexer is
When the auxiliary information data detecting means determines that the auxiliary information data exists, the auxiliary information data detected by the auxiliary information data detecting means is output, and the data is overwritten and combined by the signal combining means Output data as the signal data,
When the auxiliary information data detecting means determines that the auxiliary information data does not exist, the signal that is the transmission data without performing the digital watermark detection processing by the digital watermark detection means and the overwrite synthesis processing by the signal synthesis means A demultiplexer that outputs data.

A program for causing a computer to function as the demultiplexing device according to claim 1 .